JP2011199382A - 画像評価装置、方法、及びプログラム - Google Patents
画像評価装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2011199382A JP2011199382A JP2010061114A JP2010061114A JP2011199382A JP 2011199382 A JP2011199382 A JP 2011199382A JP 2010061114 A JP2010061114 A JP 2010061114A JP 2010061114 A JP2010061114 A JP 2010061114A JP 2011199382 A JP2011199382 A JP 2011199382A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- images
- motion vector
- approximation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】人間の高度な判断を必要とせずに、多視点画像の評価を行う。
【解決手段】多視点画像入力部11は、複数の生成手法で生成された複数の多視点画像を入力する。動きベクトル検出部12は、入力された複数の多視点画像のそれぞれで、動きベクトルを検出する。予測画像生成部31は、動きベクトルを用いて予測画像を生成する。近似度算出部32は、予測画像のそれぞれに対し、予測画像と多視点画像中の対応する視点の画像とを比較する。スコア算出部33は、動きベクトルごとに、予測画像に対する近似度の総和を求め、評価値算出部34は、多視点画像ごとに、スコア算出部33が求めた値を合計して評価値とする。生成手法選択部15は、多視点画像の評価値を比較し、複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する。
【選択図】図1
【解決手段】多視点画像入力部11は、複数の生成手法で生成された複数の多視点画像を入力する。動きベクトル検出部12は、入力された複数の多視点画像のそれぞれで、動きベクトルを検出する。予測画像生成部31は、動きベクトルを用いて予測画像を生成する。近似度算出部32は、予測画像のそれぞれに対し、予測画像と多視点画像中の対応する視点の画像とを比較する。スコア算出部33は、動きベクトルごとに、予測画像に対する近似度の総和を求め、評価値算出部34は、多視点画像ごとに、スコア算出部33が求めた値を合計して評価値とする。生成手法選択部15は、多視点画像の評価値を比較し、複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する。
【選択図】図1
Description
本発明は、画像評価装置、方法、及びプログラムに関し、特に、立体視可能な画像に対する評価を行う画像評価装置、方法、及びプログラムに関する。
視差を有する複数の画像(ステレオ画像)を用いて画像を立体視可能に表示する技術が知られている。ステレオ画像は、典型的には右目画像と左目画像とを含む。ステレオ画像から、視点が互いに異なる複数の視点を想定した多視点画像を生成する技術も知られている。多視点画像の生成は、例えば特許文献1に記載されている。特許文献1では、仮想視点が左右視点の内側にあれば、左右画素間距離を内挿して、複数の仮想視点から見たことを想定した画像を生成する。
特許文献2は、1視点の連続フレーム画像から立体表示用画像(3次元データ)を生成することが記載された文献である。この特許文献2では、情報処理装置は、連続フレーム画像から複数の選択画像を選び出し、選択画像から特徴点を抽出する。情報処理装置は、特徴点抽出後、参照画像から特徴点を抽出又は追跡し、選択画像の特徴点からカメラ位置情報と特徴点の3次元位置情報とを求める。その後、情報処理装置は、特徴点の3次元位置から参照画像上への再投影点を求め、誤差を求め、誤差の大きさで選択画像が3次元データ生成に適しているか否かを判断する。
ところで、多視点画像の生成には、複数のアルゴリズムを用いることができる。多視点画像の生成に用いるアルゴリズムが異なれば、生成される多視点画像も相互に異なる画像になることが予想される。また、多視点画像の生成では、パラメータとして選択可能な値がいくつかあり、パラメータを調整することで生成される多視点画像の調整が可能な場合もある。
従来技術の問題点は、複数のアルゴリズムやパラメータを用いて複数の多視点画像を生成したときに、どのアルゴリズムやパラメータを用いて生成した多視点画像が表示に適した画像であるかを自動的に評価する仕組みがないということである。このため、多視点画像の選択に際しては、人間が、生成された複数の多視点画像を見て、どの多視点画像が表示に最適な多視点画像であるか、つまり最も自然に見える多視点画像であるかを判断する必要があり、高度に人間的な判断が必要であった。
本発明は、上記従来技術の問題点に鑑み、ステレオ画像から複数のアルゴリズムやパラメータを用いて生成された複数の多視点画像があるときに、高度に人間的な判断を必要とせずに多視点画像の評価が可能な画像評価装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明は、互いに視点が異なる2つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる1以上の仮想視点から見たことを想定した画像を1つ以上含む複数の多視点画像を入力する多視点画像入力部と、前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する2以上の視点の画像に基づいて、該2以上の画像間の動きベクトルを検出する動きベクトル検出部と、前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う多視点画像評価部と、前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する生成手法選択部とを備えることを特徴とする画像評価装置を提供する。
ここで、「評価」に用いる指標(評価値)には、値が大きいほど評価が高いことを表わす評価値と、値が小さいほど評価が高いことを表わす評価値との何れを用いてもよい。値が大きいほど評価が高いことを表わす評価値を用いる場合、生成手法選択部は、複数の多視点画像のうち、評価値が最も大きい多視点画像の生成手法を選択すればよい。これとは逆に、値が小さいほど評価が高いことを表わす評価値を用いる場合、生成手法選択部は、複数の多視点画像のうち、評価値が最も小さい多視点画像の生成手法を選択すればよい。なお、各多視点画像は、各生成手法を用いて生成された画像であるため、生成手法選択部が評価が高い生成手法を選択するということは、評価が高い多視点画像そのものを選択するということと同義である。
本発明の画像評価装置では、前記多視点画像評価部が、前記動きベクトルに基づいて、前記多視点画像における視点のうちで前記動きベクトルの検出元の画像の視点以外の視点のうちの少なくとも1つの視点の画像を予測する予測画像生成部と、前記予測された画像のそれぞれに対して、該予測された画像と、前記多視点画像のうちで前記予測された画像の視点に対応する視点の画像との近似度を求める近似度算出部と、前記複数の多視点画像のそれぞれに対して、前記予測された画像に対して求められた近似度の総和を評価値として求める評価値算出部とを含む構成を採用することができる。
ここで、「近似度」は、比較対象の画像のうちの対応する部分がどれだけ似ているかを表わす指標である。「近似度」の値は、近似度が高いほど値が大きくなるものでもよく、或いは、近似度が高いほど値が小さくなるものでよい。「評価値」は、「近似度」の和で求められるため、「近似度」として、近似度が高いほど値が大きくなるものを用いた場合、評価値の値が大きいほど評価が高い。逆に、「近似度」として、近似度が高いほど値が小さくなるものを用いた場合、評価値の値が小さいほど評価が高い。「近似度」には、比較対象の画像のうちの対応する部分同士がどれだけ一致するかを示す一致度を用いることができる。
本発明の画像処理装置は、前記予測画像に対して求められた近似度を、前記予測画像の生成に用いられた動きベクトルごとに集計するスコア算出部を更に備え、前記評価値算出部が、前記スコア算出部で動きベクトルごとに集計された近似度を、前記動きベクトルの検出元の多視点画像ごとに集計することで前記評価値を求めるものである構成を採用できる。
本発明の画像評価装置では、前記スコア算出部が、前記予測された画像と前記動きベクトルの検出元の画像との距離に応じ、距離が近いほど重みが重くなるように重み付けをした上で、前記近似度の総和の合計を計算する構成を採用することができる。
本発明の画像評価装置では、前記予測画像生成部が、前記動きベクトル検出元の画像の両側に隣接する視点のうちの少なくとも1つを含む視点の画像を予測する構成を採用することができる。
本発明の画像評価装置では、前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、対応する位置関係にある画素における画素値に基づいて前記近似度を算出する構成を採用することができる。
また、前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、同じ座標位置の画素の画素値の差分絶対値、及び画素値の差分の分散の少なくとも一方を算出し、該算出した差分絶対値、及び差分の分散の少なくとも一方に基づいて近似度を求める構成としてもよい。
本発明の画像評価装置では、前記多視点画像入力部が、前記多視点画像と共に、該多視点画像に含まれる仮想視点から見たことを想定した画像の信用度情報を入力し、前記近似度算出部が、前記画像の信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させる構成とすることができる。
本発明の画像評価装置では、前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素がオクルージョン領域の画素に該当するか否かを示す情報を含み、前記近似度算出部が、前記オクルージョン領域に該当する画素が前記近似度の算出に与える影響を、前記オクルージョン領域ではない領域に該当する画素が前記近似度の算出に与える影響よりも大きくする構成とすることができる。
また、前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素と、該画像の生成元の前記ステレオ画像の各画素との相関関係の度合いを示す情報を含み、前記近似度算出部が、前記相関関係の度合いが小さいほど、前記画素が前記近似度の算出に与える影響を大きくする構成としてもよい。
本発明の画像評価装置では、前記動きベクトル検出部が、動きベクトルの信用度情報を生成する動きベクトル信用度算出部を含み、前記近似度算出部が、前記動きベクトルの信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させる構成を採用することができる。
ここで、前記動きベクトルの信用度情報が、画素の特徴量の局所的な変化の度合いを示す情報を含み、前記近似度算出部が、前記局所的な変化の度合いが大きいほど、前記画素が前記近似度の算出に与える影響を大きくする構成を採用することができる。
本発明の画像評価装置では、前記多視点画像評価部が、前記検出された動きベクトルのうち、隣接関係にある動きベクトル同士を比較し、動きベクトルの近似度を求める動きベクトル比較部と、前記複数の多視点画像のそれぞれに対して、前記動きベクトルの近似度の総和を評価値として求める評価値算出部とを含む構成を採用することができる。
本発明の画像評価装置では、前記動きベクトル比較部が、前記多視点画像に含まれる画像のうちの1つを着目画像としたときに、該着目画像の視点に対して第1の方向に隣接する1以上の視点の画像と前記着目画像とから検出された動きベクトルと、前記着目画像の視点に対して第1の方向とは反対側の第2の方向に隣接する1以上の視点の画像と前記着目画像とから検出された動きベクトルとを比較する構成を採用することができる。
本発明の画像評価装置は、ステレオ画像から、生成アルゴリズム及び生成時のパラメータのうちの少なくとも一方が相互に異なる複数の生成手法で前記多視点画像を生成し、前記多視点画像入力部に入力する多視点画像生成部を更に備える構成を採用することができる。
本発明の画像評価装置では、前記多視点画像生成部が、前記仮想視点から見たことを想定した画像の信用度情報を生成する対応点信用度情報評価部を含む構成を採用することができる。
本発明の画像評価装置は、前記生成手法選択部が選択した多視点画像の生成手法で生成された多視点画像を出力する選択画像出力部を更に備える構成を採用することができる。
本発明は、互いに視点が異なる2つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる1以上の仮想視点から見たことを想定した画像を1つ以上含む複数の多視点画像を入力するステップと、前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する2以上の視点の画像に基づいて、該2以上の画像間の動きベクトルを検出するステップと、前記検出した動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行うステップと、前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択するステップとを有することを特徴とする画像評価方法を提供する。
本発明は、コンピュータに、互いに視点が異なる2つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる1以上の仮想視点から見たことを想定した画像を1つ以上含む複数の多視点画像を入力する処理と、前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する2以上の視点の画像に基づいて、該2以上の画像間の動きベクトルを検出する処理と、前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う処理と、前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する処理とを実行させることを特徴とするプログラムを提供する。
本発明の画像評価装置、方法、及びプログラムでは、多視点画像評価部が、多視点画像から検出された動きベクトルに基づいて、多視点画像のそれぞれに対して多視点画像の評価を行う。人間が多視点画像を観察した際に、画像が自然に見えるか否かは、隣接画像間の動きに基づいて判断できると考えられる。本発明では、動きベクトルに基づいて多視点画像を評価するため、人間の高度な判断を必要とせずに、多視点画像の複数の生成手法のうちで高い評価が得られる生成手法を判断することができる。
動きベクトルに基づく多視点画像の評価は、動きベクトルに基づいて予測画像を生成し、予測画像と、多視点画像に含まれる対応する視点の画像との近似度を求め、その近似度に基づいて行うことができる。人間が見て自然に見える多視点画像ほど、動きベクトルを用いて予測された画像と、多視点画像に含まれる対応する視点の画像との近似度が高いと考えられる。このため、予測画像の近似度に基づいて多視点画像の評価を行う構成を採用する場合、多視点画像ごとに予測画像の近似度を求め、それを評価値として評価を行うことで、多視点画像の複数の生成手法から、人が見て自然に見える生成手法を選択することができる。この処理は機械的に実行可能であるため、人間の高度な判断は必要がない。
動きベクトルに基づく多視点画像の評価は、隣接関係にある動きベクトル同士を比較し、その近似度に基づいて行うことができる。人間が見て自然に見える多視点画像ほど、隣接する動きベクトルは、似た動きを示すと考えられる。このため、動きベクトルの近似度に基づいて多視点画像の評価を行う構成を採用する場合、多視点画像ごとに動きベクトルの近似度を求め、それを評価値として評価を行うことで、多視点画像の複数の生成手法から、人が見て自然に見える生成手法を選択することができる。この処理も機械的に実行可能であるため、人間の高度な判断は必要がない。
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図1は、本発明の第1実施形態の画像評価装置を示している。画像評価装置10は、多視点画像入力部11、動きベクトル検出部12、多視点画像評価部13、生成手法選択部14、及び選択画像出力部15を備える。画像評価装置10内の各部の機能は、コンピュータが所定のプログラムに従って処理を実行することで実現可能である。
多視点画像入力部11は、互いに視点が異なる2つの画像を含むステレオ画像に基づいて生成された多視点画像を入力する。多視点画像入力部11には、複数の多視点画像が入力される。複数の入力画像のそれぞれは、例えばアルゴリズム、及び/又はパラメータが相互に異なる複数の生成手法を用いて生成されている。各多視点画像は、合計で3つ以上の画像を含む。また、多視点画像は、ステレオ画像における視点とは異なる1以上の視点(仮想視点)から見たことを想定した画像を1つ以上含む。
多視点画像における仮想視点は、ほぼ、ステレオ画像における2つの視点間を結ぶ直線上に存在しているとする。また、ほぼ直線上に並ぶ仮想視点の隣接する視点間の間隔は、等間隔であるとする。仮想視点は、ステレオ画像における2つの視点よりも内側の視点であるとする。すなわち仮想視点は、ステレオ画像における2つの視点を結ぶ直線を所定の内分比で内分した点に対応する位置に存在するとする。或いは、仮想視点の一部又は全でが、ステレオ画像における2つの視点よりも外側に存在していてもかまわない。多視点画像は、生成元となるステレオ画像の各視点の画像(右目画像及び左目画像)の少なくとも一方を含む。或いは、多視点画像は、仮想視点から見た画像のみを含み、生成元である右目画像及び左目画像を含んでいなくてもよい。
動きベクトル検出部12は、多視点画像に含まれる隣接する2以上の視点の画像に基づいて、2以上の画像間の動きベクトルを検出する。動きベクトル検出部12は、複数の多視点画像のそれぞれで、動きベクトルの検出を行う。多視点画像評価部13は、動きベクトル検出部12で検出された動きベクトルに基づいて、複数の多視点画像のそれぞれに対し、多視点画像の評価を行う。生成手法選択部14は、多視点画像の評価を比較し、複数の多視点画像の生成手法のうちで評価が最も高い生成手法を選択する。選択画像出力部15は、選択された多視点画像の生成手法で生成された多視点画像を出力する。
多視点画像評価部13は、予測画像生成部31、近似度算出部32、スコア算出部33、及び評価値算出部34を含む。予測画像生成部31は、検出された動きベクトルに基づいて、動きベクトル検出元の画像とは異なる視点の画像を予測する。より詳細には、予測画像生成部31は、多視点画像における視点のうち、動きベクトル検出元の画像よりも外側の1以上の視点の画像を予測する。すなわち予測画像生成部31は、他視点画像における視点のうちで動きベクトル検出元の画像の視点以外の視点のうちの少なくとも1つの視点の画像を予測する。予測画像の生成には、任意の手法を用いることができる。
近似度算出部32は、予測画像生成部31が生成した予測画像と、多視点画像に含まれる画像とに基づいて、画像がどれだけ似ているかを表す近似度を求める。近似度算出部32は、予測画像生成部31が複数の画像を予測したときは、そのそれぞれについて、画像の近似度を求める。近似度算出部32は、画像の近似度を求める際には、予測画像と、多視点画像のうちで予測画像の視点に対応する視点の画像とを比較し、近似度を求める。
スコア算出部33は、動きベクトルから予測された1以上の予測画像に対して求められた画像の近似度の総和を求める。スコア算出部33は、予測画像の近似度の総和を、予測画像の生成に用いられた動きベクトルごとに求める。つまり、スコア算出部33は、予測画像に対して求められた近似度を、生成元の動きベクトルごとに集計する。例えば、ある動きベクトルを用いて生成された予測画像が3つあるとき、スコア算出部33は、3つの予測画像のそれぞれに対して求められた近似度の和を求める。スコア算出部33は、複数の予測画像の近似度の和を求める際には、近似度に何らかの重み付けを行った上で、近似度を集計してもよい。スコア算出部33は、例えば、多視点画像から5つの動きベクトルが検出されているとき、それら5つの動きベクトルのそれぞれに対して、予測画像から求めた画像の近似度の総和を求める。
評価値算出部34は、予測された画像に対して求められた近似度の総和を評価値として求める。評価値算出部34は、入力された複数の多視点画像、すなわち複数の生成手法で生成された複数の多視点画像のそれぞれに対して評価値を計算する。より詳細には評価値算出部34は、スコア算出部33で動きベクトルごとに集計された近似度を、動きベクトルの検出元の多視点画像ごとに集計し、これを多視点画像に対する評価値として求める。
生成手法選択部14は、複数の多視点画像に対する評価値を相互に比較し、評価が最も高い多視点画像の生成方法を、最適生成手法として選択する。例えば、近似度として、画像の近似度が高いほど近似度の値が大きくなるような近似度を使用した場合、生成手法選択部14は評価値の値が最も大きい多視点画像の生成方法を選択する。逆に、近似度として画像の近似度が高いほど値が小さくなるような近似度を使用した場合には、生成手法選択部14は評価値の値が最も小さい多視点画像の生成方法を選択すればよい。
図2は、画像評価装置の動作手順を示している。多視点画像入力部11は、複数の生成手法で生成された複数の多視点画像を入力する(ステップS11)。画像評価装置10は、入力された多視点画像から未処理の多視点画像を1つ選択する(ステップS12)。動きベクトル検出部12は、ステップS12で選択された多視点画像に含まれる画像から、隣接画像間の動きベクトルを検出する(ステップS13)。動きベクトル検出のアルゴリズムには、任意のアルゴリズムを用いることができる。動きベクトル検出部12は、例えば勾配法を用いて、画素ごとに動きベクトルを求める。
多視点画像評価部13は、ステップS13で検出された動きベクトルのうちで未処理の動きベクトルを1つ選択する(ステップS14)。予測画像生成部31は、ステップS14で選択された動きベクトルを用いて予測画像を生成する(ステップS15)。予測画像生成部31は、ステップS15では、選択された動きベクトルと、その動きベクトルの検出元となった画像とに基づいて、検出元の画像よりも外側の視点の画像を予測して生成する。予測画像生成部31は、動きベクトル検出元の画像の両側に隣接する視点のうちの少なくとも1つを含む視点の画像を予測するものとする。予測画像生成のアルゴリズムには、フレーム間予測などの任意のアルゴリズムを用いることができる。
近似度算出部32は、ステップS15で生成された予測画像と、多視点画像に含まれる画像のうちで予測画像の視点に対応する視点の画像との近似度を求める(ステップS16)。近似度算出部32は、ステップS14で選択された動きベクトルを用いて生成された予測画像のそれぞれに対して、画像の近似度を求める。
近似度算出部32は、例えば予測画像と、多視点画像に含まれる画像のうちで予測画像の視点に対応する視点の画像とで、対応する位置関係にある画素における画素値に基づいて近似度を算出する。より詳細には、近似度算出部32は、例えば予測画像と、多視点画像の対応する視点の画像とで同じ座標位置の画素の画素値の差分絶対値を求め、その差分絶対値の総和を近似度として算出する。これに代えて、或いは、加えて、近似度算出部32は、同じ座標位置にある画素値の差分の分散を求め、その差分の分散を近似度に反映してもよい。
スコア算出部33は、予測画像ごとに求められる画像の近似度の総和を計算する(ステップS17)。スコア算出部33は、計算した画像の近似度の総和を、ステップS14で選択された動きベクトルに対するスコアとする。なお、動きベクトルを用いて生成された予測画像が1つのみ場合は、ステップS16で求められる近似度の数は1つしかないので、その予測画像の近似度が動きベクトルに対するスコアとなる。
多視点画像評価部13は、ステップS13で検出された動きベクトルの中に未処理の動きベクトル、つまりステップS14でまだ選択されていない動きベクトルが存在するか否かを判断する(ステップS18)。未処理の動きベクトルがあるとき、多視点画像評価部13は、ステップS14に戻って動きベクトルを1つ選択する。多視点画像評価部13は、ステップS14からステップS18までの処理を、未処理の動きベクトルがなくなるまで繰り返し実行し、動きベクトルごとのスコアを求める。
ステップS18で未処理の動きベクトルがないと判断されると、評価値算出部34は、動きベクトルごとに求められたスコアを合計し、それを多視点画像に対する評価値とする(ステップS19)。評価値算出部34は、例えばステップS12で選択された多視点画像からステップS13で5つの動きベクトルが検出されていたときは、5つの動きベクトルのそれぞれに対して算出されたスコアの合計を、ステップS12で選択された多視点画像に対する評価値とする。
画像評価装置10は、ステップS11で入力された複数の多視点画像の中に未処理の多視点画像が存在するか否かを判断する(ステップS20)。画像評価装置10は、未処理の多視点画像が存在すると判断したときは、ステップS12に戻って多視点画像を1つ選択する。画像評価装置10は、未処理の多視点画像がなくなるまで、動きベクトル検出部12及び多視点画像評価部13を用いてステップS12からステップS20までの処理を繰り返し実行し、各多視点画像に対する評価値を求める。
ステップS20で未処理の多視点画像が存在しないと判断されると、生成手法選択部14は、各多視点画像に対して求められた評価値を比較する(ステップS21)。生成手法選択部14は、評価値が最も高い多視点画像の生成手法を最適生成手法として選択する。なお、評価が最も高い多視点画像の生成手法を選択することと、評価が最も高い多視点画像そのものを選択することとは同義である。選択画像出力部15は、ステップS11で入力された複数の多視点画像のうち、生成手法選択部14が選択した生成手法で生成された多視点画像を出力する(ステップS22)。出力された多視点画像は、例えば立体表示が可能なディスプレイに表示される。或いは、出力された多視点画像は、3Dプリントとして印刷される。
以下、具体例を交えつつ、動作を詳細に説明する。図3は、複数の多視点画像を例示している。図3では、多視点画像の生成手法として、手法A、手法B、手法Cの3つを想定している。ステレオ画像(L、R)は、多視点画像の生成元の画像である。各多視点画像は、ステレオ画像の画像Lの視点と画像Rの視点との内側に存在する4つの仮想視点のそれぞれから見たことを想定した画像を含む。各多視点画像は、中間視点画像生成やモーフィングなどのアルゴリズムを用いてステレオ画像から生成される。
手法Aで生成された多視点画像は、生成元であるステレオ画像(L、R)と、4つの仮想視点の画像(A1〜A4)とを含む。手法Bで生成された多視点画像は、ステレオ画像(L、R)と、4つの仮想視点画像(B1〜B4)とを含む。手法Cで生成された多視点画像は、ステレオ画像(L、R)と、4つの仮想視点画像(C1〜C4)とを含む。各多視点画像における仮想視点は、画像Lの視点と画像Rの視点とを結ぶ直線上に、ほぼ等間隔で並んでいるとする。
図4は、手法Aで生成された多視点画像における動きベクトル検出を例示している。動きベクトル検出部12は、隣接する視点の画像間の動きベクトルを検出する。より詳細には、動きベクトル検出部12は、画像Lと画像A1との間、画像A1と画像A2との間、画像A2と画像A3との間、画像A3と画像A4との間、及び画像A4と画像Rとの間の動きベクトルをそれぞれ検出する。なお、動きベクトルの検出に際しては、隣接画像以外の画像の情報を用いることも可能である。例えば、画像Lと画像A1との間の動きベクトルを検出する際に、画像A2を参照することも可能である。
画像Lと画像A1との間の動きベクトルの検出について、具体的に説明する。動きベクトル検出部12は、例えば勾配法を用いて、画素ごとの動きベクトルu(x,y)、v(x,y)を求める。動きベクトル検出部12は、YL(x,y)を画像Lにおける座標(x,y)の画素の輝度、YA1(x,y)を画像A1における座標(x,y)の画素の輝度として、画像Lの画素ごとの輝度YL(x,y)に対して、下記の拘束方程式を解く。
動きベクトル検出部12は、上記拘束方程式に対して、拘束条件「動きは局所的に滑らか」を課し、注目画素の周囲の画素の拘束方程式と組み合わせて、動きベクトルu(x,y)とv(x、y)とを求める。
なお、多視点画像において、隣接する視点間で垂直方向(画像Lの視点と画像Rの視点とを結ぶ直線に直交する方向)の変位がないと仮定すると、v(x,y)=0とすることができる。この場合、上記拘束方程式は、下記のように表わすことができる。
垂直方向の変位がないとした場合、動きベクトル検出部12は、「滑らか」の拘束条件なしに、画素ごとに一意に動きベクトルu(x,y)を求めることができる。
図5は、動きベクトルに基づく予測画像生成を例示している。図5では、画像Lと画像A1との間の動きベクトル(動きベクトルLA1)に基づく予測画像の生成を示している。予測画像生成部31は、動きベクトルLA1と、画像L及び/又は画像A1とから、画像L及び画像A1よりも外側の視点の画像を予測する。一般に、予測画像は、隣接視点間の画像の変化分(動きベクトル)を検出し、その変化分に基づいて、隣の視点の画像を生成することで生成可能である。予測画像生成部31は、動きベクトルLA1を用いて、多視点画像を構成する画像L、画像A1〜A4、及び画像Rのうち、動きベクトルLA1の検出元の画像以外の画像(画像A2〜A4及び画像R)の視点に対する予測画像(予測画像A2〜A4及び予測画像R)を生成する。
図6は、動きベクトルLA1を用いて予測された画像と、多視点画像に含まれる画像との近似度計算を例示している。近似度には、例えば両画像間で各画素がどれだけ一致するかを示す一致度を用いることができる。一致度には、画素値の差分絶対値の総和、又は画素値の差分の分散を用いることができる。或いは、差分絶対値の総和と差分の分散とを組み合わせて、これを一致度としてもよい。
具体的には、画素値が輝度信号Yと色差信号Cr、Cbとで表わされるとき、近似度算出部32は、下記式を用いて、予測画像における各画素の画素値と、多視点画像に含まれる対応する視点の画像における各画素の画素値との差分絶対値の総和を計算する。
一致度=aΣ|Y予測(x,y)-Y入力(x,y)|
+bΣ|Cr予測(x,y)-Cr入力(x,y)|
+cΣ|Cb予測(x,y)-Cb入力(x,y)|
ここで、輝度信号Y予測(x,y)は、動きベクトルを用いて予測された画像の座標(x,y)における輝度値を表わし、輝度信号Y入力(x,y)は、多視点画像に含まれる対応する視点の画像の座標(x,y)における輝度値を表わす。色差信号Cr、Cbも同様である。a、b、cは係数であり、例えばa=1、b=c=0.5とする。
一致度=aΣ|Y予測(x,y)-Y入力(x,y)|
+bΣ|Cr予測(x,y)-Cr入力(x,y)|
+cΣ|Cb予測(x,y)-Cb入力(x,y)|
ここで、輝度信号Y予測(x,y)は、動きベクトルを用いて予測された画像の座標(x,y)における輝度値を表わし、輝度信号Y入力(x,y)は、多視点画像に含まれる対応する視点の画像の座標(x,y)における輝度値を表わす。色差信号Cr、Cbも同様である。a、b、cは係数であり、例えばa=1、b=c=0.5とする。
また、近似度算出部32は、下記式を用いて、予測画像における各画素の画素値と、多視点画像に含まれる対応する視点の画像における各画素の画素値との差分の分散を計算してもよい。
一致度=aΣ((Y予測(x,y)-Y入力(x,y))-平均(Y予測-Y入力))2
+bΣ((Cr予測(x,y)-Cr入力(x,y))-平均(Cr予測-Cr入力))2
+cΣ((Cr予測(x,y)-Cr入力(x,y))-平均(Cr予測-Cr入力))2
a、b、cは係数であり、例えば上記と同様に、a=1、b=c=0.5とすることができる。なお、上記では輝度信号と色差信号Cr、Cbとの双方を用いて一致度を計算しているが、これには限定されず、画素値のうち、例えば輝度信号のみを用いて一致度を計算してもかまわない。近似度算出部32は、予測画像生成部31が生成した予測画像のそれぞれに対し、すなわち予測画像A2〜A4及び予測画像Rのそれぞれに対して、画像の一致度を算出する。
一致度=aΣ((Y予測(x,y)-Y入力(x,y))-平均(Y予測-Y入力))2
+bΣ((Cr予測(x,y)-Cr入力(x,y))-平均(Cr予測-Cr入力))2
+cΣ((Cr予測(x,y)-Cr入力(x,y))-平均(Cr予測-Cr入力))2
a、b、cは係数であり、例えば上記と同様に、a=1、b=c=0.5とすることができる。なお、上記では輝度信号と色差信号Cr、Cbとの双方を用いて一致度を計算しているが、これには限定されず、画素値のうち、例えば輝度信号のみを用いて一致度を計算してもかまわない。近似度算出部32は、予測画像生成部31が生成した予測画像のそれぞれに対し、すなわち予測画像A2〜A4及び予測画像Rのそれぞれに対して、画像の一致度を算出する。
図7は、動きベクトルLA1に対するスコア算出を例示している。スコア算出部33は、図6で求められた各予測画像の一致度の総和を、動きベクトルLA1に対するスコアとして求める。その際、スコア算出部33は、動きベクトルの検出元である画像L、A1の視点から各予測画像の視点までの距離に応じて重み付けした上で、各予測画像の一致度の総和を求めることができる。
具体的には、スコア算出部33は、下記式を用いて、動きベクトルLA1に対するスコアを算出することができる。
スコア=w1×一致度(予測A2)+w2×一致度(予測A3)
+w3×一致度(予測A4)+w4×一致度(予測R)
w1〜w4は距離に応じた重み(係数)であり、例えばw1=1.0、w2=0.5、w3=0.25、w4=0・125とする。このような重み付けを行う場合、より動きベクトル検出元の画像の視点から近い予測画像の近似度ほど、スコアに与える影響を大きくすることができる。
スコア=w1×一致度(予測A2)+w2×一致度(予測A3)
+w3×一致度(予測A4)+w4×一致度(予測R)
w1〜w4は距離に応じた重み(係数)であり、例えばw1=1.0、w2=0.5、w3=0.25、w4=0・125とする。このような重み付けを行う場合、より動きベクトル検出元の画像の視点から近い予測画像の近似度ほど、スコアに与える影響を大きくすることができる。
予測画像生成部31は、図4に示す動きベクトルLA1以外の動きベクトルについても、同様に予測画像を生成する。より詳細には、予測画像生成部31は、動きベクトルA1A2を用いて予測画像L、予測画像A3、A4、予測画像Rを生成する。予測画像生成部31は、動きベクトルA2A3を用いて予測画像L、予測画像A1、A4、予測画像Rを生成する。予測画像生成部31は、動きベクトルA3A4を用いて予測画像L、予測画像A1、A2、予測画像Rを生成する。予測画像生成部31は、動きベクトルA4Rを用いて予測画像L、予測画像A1〜A3を生成する。近似度算出部32は、予測画像生成部31が生成した予測画像のそれぞれに対して画像の一致度を算出する。
スコア算出部33は、動きベクトルごとに、予測画像の近似度の総和をスコアとして求める。より詳細には、スコア算出部33は、動きベクトルA1A2を用いて生成された予測画像L、予測画像A3、A4、予測画像Rの一致度の総和を、動きベクトルA1A2に対するスコアとする。また、スコア算出部33は、動きベクトルA2A3を用いて生成された予測画像L、予測画像A1、A4、予測画像Rの一致度の総和を、動きベクトルA2A3に対するスコアとする。スコア算出部33は、動きベクトルA3A4を用いて生成された予測画像L、予測画像A1、A2、予測画像Rの一致度の総和を、動きベクトルA3A4に対するスコアとする。スコア算出部33は、動きベクトルA4Rを用いて生成された予測画像L、予測画像A1〜A3の一致度の総和を、動きベクトルA4Rに対するスコアとする。
なお、図5では、画像L、A1から検出された動きベクトルを用いて他の全ての視点の画像を予測する例を説明したが、予測画像生成部31は、必ずしも他の全ての視点の予測画像を生成する必要はない。また、図6では、他の全ての視点の予測画像の近似度(一致度)を、動きベクトルのスコア算出に用いる例を説明したが、スコア算出部33は、必ずしもスコア算出に他の全ての視点の予測画像の近似度を用いる必要はない。例えば、予測画像生成部31で検出元の画像に隣接する視点の予測画像のみを生成し、近似度算出部32でその予測画像に対して近似度を求め、スコア算出部33で近似度に基づいて動きベクトルに対するスコアを算出してもよい。例えば、動きベクトルの検出元の画像が画像A1、A2である場合、それらの視点に隣接する視点の画像は、画像Lと画像A3の2つの画像があるが、予測画像生成部31は、それらのうちの少なくとも一方の画像を予測すればよい。
図8は、手法Aで生成された多視点画像の評価値算出を例示している。評価値算出部34は、動きベクトルごとに求められたスコアの合計を、手法Aの多視点画像に対する評価値として算出する。より詳細には、評価値算出部34は、図4に示す動きベクトルLA1、動きベクトルA1A2、動きベクトルA2A3、動きベクトルA3A4、及び動きベクトルA4Rのそれぞれに対して求められたスコアの総和を、手法Aの多視点画像に対する評価値として算出する。
動きベクトル検出部12は、他の手法、すなわち図3の手法B、手法Cのそれぞれで生成された多視点画像に対しても、図4と同様な処理で、隣接する画像間の動きベクトルを検出する。予測画像生成部31は、図5と同様な処理で、各手法で生成された多視点画像から検出された動きベクトルのそれぞれを用いて予測画像を生成する。近似度算出部32は、図6と同様な処理で、予測画像の近似度を求める。スコア算出部33は、図7と同様な処理で、動きベクトルごとのスコアを算出する。評価値算出部34は、他の手法、すなわち図3の手法B、手法Cのそれぞれで生成された多視点画像に対しても、図8と同様な処理で、評価値を算出する。
生成手法選択部14は、各多視点画像に対して求められた評価値を相互に比較し、評価が最も高い多視点画像の生成手法を最適生成手法として決定する。例えば、画像の近似度として差分絶対値の総和を用いる場合、画像間の各画素の輝度信号及び色度信号が一致するほど差分の絶対値の値は小さくなる。従って、一致度の値が小さいほど、予測された画像と多視点画像に含まれる画像とにおける画素は、一致していることなる。その場合、生成手法選択部14は、各多視点画像に対して求められた評価値のうち、値が最小になる評価値を持ち多視点画像の生成手法を最適生成手法として決定する。選択画像出力部15は、選択された手法の多視点画像、すなわち評価が最も高い多視点画像を出力する。
本実施形態では、多視点画像入力部11は、ステレオ画像から複数の生成手法を用いて生成された複数の多視点画像を入力し、動きベクトル検出部12は、複数の多視点画像のそれぞれにおいて、隣接する視点の画像間の動きベクトルを検出する。多視点画像評価部13は、検出された動きベクトルに基づいて、多視点画像のそれぞれに対して多視点画像の評価を行う。生成手法選択部14は、多視点画像の評価を比較し、最も評価が高い多視点画像の生成手法を最適生成手法として選択する。人間が多視点画像を観察した際に、画像が自然に見えるか否かは、隣接画像間の動きに基づいて判断できると考えられる。本実施形態では、画像評価装置10は、複数の多視点画像に対する評価の仕組みを持つため、人間の高度な判断を必要とせずに、複数の生成手法のうちで最も高い評価が得られる生成手法を判断することができる。
特に、本実施形態では、予測画像生成部31は、動きベクトルに基づいて他の視点の画像を予測し、近似度算出部32は、その予測画像と多視点画像に含まれる対応する視点の画像との近似度を求める。スコア算出部33は、動きベクトルごとに予測画像の近似度の総和を求め、評価値算出部34は、動きベクトルごとの近似度の総和を合計し、これを多視点画像に対する評価値とする。求められた評価値が高いほど、すなわち各動きベクトルを用いて予測された画像と、多視点画像に含まれる対応する視点の画像との近似度が高いほど、その多視点画像は、表示に適した多視点画像であると考えられる。従って、生成手法選択部14にて、評価値に基づいて最適生成手法を選択し、選択画像出力部15から、選択された生成手法で生成された多視点画像を出力することで、入力された複数の多視点画像のうち、表示に適した多視点画像の選択・出力が可能になる。
ここで、観察者は、表示された多視点の立体画像を観察するとき、通常、表示装置を動かしながら、或いは、自身が動きながら画像を観察する。つまり観察者は、立体画像を運動する(回転する)対象として観察していることになる。従って、多視点画像は、運動する一連の(複数の)対象として評価したときに評価値が高いものの方が、より表示に適した画像であると言える。これが、動き予測系のアルゴリズムを用いて予測画像を生成し、その予測画像の近似度の評価を行う理由である。一方、ステレオ画像から複数の多視点画像を生成する際には、主に、内挿・補間処理を行うため、動き予測系のアルゴリズムは使用しにくい。従って、多視点画像の生成には、内挿処理を得意とするモーフィングや中間視点画像生成等のアルゴリズムを用いることが好適である。本実施形態では、多視点画像の生成に適したアルゴリズムと、評価に適したアルゴリズムとを使い分けることで、効率的、かつ、人が見て自然な感じがする多視点立体画像の評価が可能である。
なお、上記実施形態の説明では、評価値算出部34は、スコア算出部33で動きベクトルごとに集計された予測画像の近似度を、更に多視点画像ごとに集計しているが、評価値算出の手法はこれには限定されない。例えば、図1に示す構成からスコア算出部33を省き、評価値算出部34で、多視点画像ごとに、その多視点画像から検出された動き予測ベクトルを用いて予測された画像の近似度の総和を求め、それを多視点画像に対する評価値として求めてもよい。
次いで、本発明の第2実施形態を説明する。図9は、本発明の第2実施形態の画像評価装置を示している。本実施形態の画像評価装置10aは、図1に示す画像評価装置10の構成に加えて、ステレオ画像入力部16、複数の多視点画像生成部17、及び多視点画像出力部18を備える。図9では、多視点画像の生成手法として生成手法1から生成手法N(Nは2以上の整数)までを想定しており、画像評価装置10aは、多視点画像生成部17−1から多視点画像生成部17−NまでのN個の多視点画像生成部を有する。
ステレオ画像入力部16は、互いに視点が異なる2つの画像を含むステレオ画像を入力する。ステレオ画像は、典型的には、右目用画像と左目用画像とから成る。多視点画像生成部17−1〜17−Nは、それぞれ、ステレオ画像から、ステレオ画像における視点とは異なる1以上の仮想視点から見たことを想定した画像を1つ以上含む多視点画像を生成する。多視点画像生成部17−1〜17−Nは、それぞれ、任意の中間視点画像作成アルゴリズムを用いて多視点画像を生成する。多視点画像生成部17−1〜17−Nのそれぞれにおける生成アルゴリズム及び生成時のパラメータのうちの少なくとも一方は、相互に異なる。
各多視点画像生成部17は、典型的には、対応点検出部71、中間視点画像生成部72、中間視点画像補正部73、及び対応点信用度評価部74を有する。対応点検出部71は、ステレオ画像に含まれる2つの視点の画像間の対応点を探索する。中間視点画像生成部72は、あらかじめ設定された中間視点画像の視点位置に応じた内分点の位置を求め、その位置に、ステレオ画像の画素(色)をマッピングする。対応点信用度評価部74は、対応点検出部71が検出した対応点の信用度を評価する。中間視点画像補正部73は、信用度を参照して、例えばオクルージョン領域と判定された領域の画素を補完する。
多視点画像生成の際のアルゴリズムのバリエーションには、以下に記すようなアルゴリズムがあり、多視点画像生成部17−1〜17−Nは、それらを適宜組み合わせて、手法1〜手法NまでのN通りの生成手法で、多視点画像を生成する。
多視点画像生成部17−1〜17−Nは、それぞれ、生成した多視点画像を多視点画像出力部18に出力する。多視点画像出力部18は、多視点画像入力部11に複数の多視点画像を出力する。多視点画像入力部11に複数の多視点画像が入力された後の画像評価装置10aの動作は、第1実施形態で説明した動作(図2)と同様である。すなわち画像評価装置10aは、動きベクトルを検出し、検出した動きベクトルを用いて予測画像を生成し、予測画像の近似度を求めてその総和(スコア)を計算し、スコアの総和を多視点画像に対する評価値として算出する。また、画像評価装置10aは、評価値に基づいて最適生成手法を選択し、その生成手法で生成された多視点画像を出力する。
本実施形態では、画像評価装置10aが、複数の生成手法で多視点画像を生成する複数の多視点画像生成部17を備えている。本実施形態では、画像評価装置10a自体が複数の多視点画像を生成するため、画像評価装置10aに対する入力はステレオ画像でよく、入力がシンプルとなる。その他の効果は、第1実施形態と同様である。すなわち画像評価装置10aは、人間の高度な判断を必要とせずに、人が見て自然に見える多視点画像の生成手法を判断することができる。また、入力された複数の多視点画像のうち、表示に適した多視点画像を出力することが可能である。
次に、本発明の第3実施形態を説明する。図10は、本発明の第3実施形態の画像評価装置を示している。本実施形態の画像評価装置10bは、図9に示す第2実施形態の画像評価装置10aの構成に加えて、多視点画像信用度情報出力部19と、多視点画像信用度情報入力部20とを備える。本実施形態の画像評価装置10bは、多視点画像(仮想視点画像)の信用度情報を考慮して予測画像の近似度を演算する点で、第2実施形態の画像評価装置10aと相違する。その他の点は、第2実施形態と同様である。
各多視点画像生成部17の対応点信用度評価部74は、仮想視点の画像の生成に際して、仮想視点画像とステレオ画像との相関度や、周囲の対応点との連続性などを評価する。対応点信用度評価部74は、例えば画素ごとに評価値を求め、その評価値を信用度情報として出力する。或いは、対応点信用度評価部74は、画素がオクルージョンと判定されたか否かを示すフラグや、ブロックマッチングに用いたウィンドウサイズなどを、信用度情報として出力してもよい。対応点信用度評価部74は、ステレオ画像から生成した仮想視点の画像のそれぞれ(例えば図3のA1〜A4、B1〜B4、C1〜C4)に対して、信用度情報を出力する。
多視点画像信用度情報出力部19は、多視点画像生成部17−1〜17−Nから、それぞれの対応点信用度評価部74で得られた信用度に関する情報を受け取る。多視点画像信用度情報出力部19は、多視点画像信用度情報入力部20に、信用度情報を出力する。多視点画像信用度情報入力部20は、信用度情報が入力されると、入力された信用度情報を近似度算出部32に与える。近似度算出部32は、信用度情報を用いて、動きベクトルに基づいて予測された画像と、その予測画像に対応する視点の画像との近似度を演算する。より詳細には、近似度算出部32は、予測画像と、その予測画像に対応する視点の画像とで対応する関係にある画素が近似度の算出に与える影響を、信用度情報に応じて変化させて、近似度を演算する。
図11は、信用度情報の一例を示している。信用度情報は、例えば0又は1の2値で表わされる。対応点信用度評価部74は、ステレオ画像の右目用画像又は左目用画像の何れか一方のみからマッピングした画素の信用度を“0”とし、双方の画像からマッピングできた画素の信用度を“1”とする。図9では、信用度情報“0”の画素を黒色で表わし、信用度情報“1”の画素を白色で表わしている。中間視点画像において、信用度情報“0”の画素の領域はオクルージョン領域に相当し、信用度情報“1”の画素の領域は非オクルージョン領域に相当する。
ここで、非オクルージョン領域の画素は、ステレオ画像の双方の画像からマッピングされた画素であるため、複数の生成手法の何れを用いても、マッピングされた画素の輝度や色度などは、生成手法間で大差ないと考えられる。一方、オクルージョン領域の画素は、ステレオ画像うちの一方の画像のみからしかマッピングできない画素であるため、多視点画像生成のアルゴリズムやパラメータに依存してマッピングの仕方が変わってくる可能性がある。従って、仮想視点画像の評価では、オクルージョン領域に該当する画素が自然に見えるか否かが特に重要であると考えることができる。
そこで、本実施形態では、近似度算出部32は、オクルージョン領域に該当する画素が近似度の算出に与える影響を、非オクルージョン領域に該当する領域の画素が近似度の算出に与える影響を大きくして、画像全体の近似度を演算する。例えば、近似度算出部32は、差分絶対値の総和を求める際に、画素ごとに、信用度情報に基づく重み付けを行う。画素ごとの重みは、座標(x,y)の画素の信用度情報を信用度(x,y)として、例えば下記式で定義する。
Weight(x,y)=1.0+(1−信用度(x,y))×0.2
近似度算出部32は、例えば上記式で定義される重みを用いて、下記式で画像の近似度(一致度)を算出する。
一致度=aΣ(Weight(x,y)×|Y予測(x,y)-Y入力(x,y)|)
+bΣ(Weight(x,y)×|Cr予測(x,y)-Cr入力(x,y)|)
+cΣ(Weight(x,y)×|Cb予測(x,y)-Cb入力(x,y)|)
Weight(x,y)=1.0+(1−信用度(x,y))×0.2
近似度算出部32は、例えば上記式で定義される重みを用いて、下記式で画像の近似度(一致度)を算出する。
一致度=aΣ(Weight(x,y)×|Y予測(x,y)-Y入力(x,y)|)
+bΣ(Weight(x,y)×|Cr予測(x,y)-Cr入力(x,y)|)
+cΣ(Weight(x,y)×|Cb予測(x,y)-Cb入力(x,y)|)
図12は、信用度情報の別の例を示す。図12では、相関度に関する情報を信用度情報として用いており、信用度情報は0〜255までの256段階の値を持つ。図12では、各画素の信用度(相関度)を、0(黒)〜255(白)までのグレースケールで表現している。例えば、図12では、左右何れかの画像のみからマッピングされた画素(オクルージョン領域の画素)は、信用度が0である。また、図12では、人物のうちの顔の部分はパターンが少なく、相関度はあまり高くない。人物のうちの服の部分は、パターンが豊富で、相関度が高い。背景のうち、空の部分(背景の上部)はパターンがなく、相関度が低い。背景の道路面(背景の下部)はパターンが豊富で、相関度が高い。
近似度算出部32は、信用度情報が相関度で表わされるとき、相関度が低い画素が近似度の算出に与える影響を大きくし、相関度が高い画素が近似度の算出に与える影響を大きくして、画像全体の近似度を演算する。例えば、近似度算出部32は、下記式で定義される重みを用いて近似度(一致度)を算出する。
Weight(x,y)=255−信用度(x,y)
上記のように定義した重みを用いて上記の一致度の計算式を計算することで、各画素が画像全体の近似度の計算に与える影響を相関度に応じて変化させることができる。
Weight(x,y)=255−信用度(x,y)
上記のように定義した重みを用いて上記の一致度の計算式を計算することで、各画素が画像全体の近似度の計算に与える影響を相関度に応じて変化させることができる。
本実施形態では、近似度の演算に、多視点画像の信用度情報を用いている。信用度情報を参照することで、多視点画像の生成時に、誤差が大きいと思われる領域を特定することが可能である。誤差が大きいと思われる領域は、不自然に見えやすい領域に相当するため、近似度の演算に際しては、そのような領域を重点的に調べることが好ましい。すなわち不自然に見えやすい領域の画素が、近似度の演算に与える影響を大きくすることが好ましい。本実施形態では、多視点画像の信用度情報を用いて画素が近似度の演算に与える影響を変化させているため、近似度の演算を、より適切に行うことができる。その他の効果は、第2実施形態と同様である。
次に、本発明の第4実施形態を説明する。図13は、本発明の第4実施形態の画像評価装置を示している。本実施形態の画像評価装置10cは、図9に示す第2実施形態の画像評価装置10aの構成に加えて、動きベクトル信用度算出部21を備える。本実施形態の画像評価装置10cは、動きベクトルの信用度情報を考慮して予測画像の近似度を演算する点で、第2実施形態の画像評価装置10aと相違する。その他の点は、第2実施形態と同様である。
動きベクトル信用度算出部21は、動きベクトルの信用度情報を生成する。動きベクトル信用度算出部21は、画素における特徴量の強さを、動きベクトルの信用度として算出する。動きベクトル信用度算出部21は、例えば画素の局所的な輝度変化の大きさを特徴量として、信用度を算出する。具体的には、動きベクトル信用度算出部21は、勾配法を用いた動き予測(動きベクトル)の計算で得られた値を用いて、下記式で信用度を算出する。
この場合、信用度の値が大きいほど、強い特徴を持つ場所ということができる。
近似度算出部32は、動きベクトルの信用度情報に基づいて、予測画像と、それに対応する視点の画像とで対応する関係にある画素が、近似度の算出に与える影響を変化させる。近似度算出部32は、例えば上記式で定義される各画素の信用度を、近似度計算の際の重みとして用いる。近似度算出部32は、画素ごとに重み付けを行って、画素値の差分絶対値の総和などを計算する。重みとして、上記式で定義される信用度を用いることで、近似度算出部32は、強い特徴を持つ画素ほど、すなわち輝度などの局所的な変化の度合いが大きい画素ほど、その画素が画像全体の近似度の算出に与える影響を大きくすることができる。
本実施形態では、近似度の演算に、動きベクトルの信用度情報を用いている。信用度情報を参照することで、強い特徴を持つ場所(画素位置)を特定することが可能である。強い特徴を持つ場所は、人目につきやすいため、近似度の演算に際しては、そのような領域を重点的に調べることが好ましい。すなわち強い特徴を持つ領域の画素が、近似度の演算に与える影響を大きくすることが好ましい。本実施形態では、動きベクトルの信用度情報を用いて画素が近似度の演算に与える影響を変化させているため、近似度の演算を、より適切に行うことができる。その他の効果は、第2実施形態と同様である。
また、本実施形態は、第3実施形態に比して、以下のようなメリットがある。すなわち第3実施形態では、多視点画像生成時の情報(中間演算情報)を信用度情報としているため、近似度を演算する手段は、多視点画像を生成する手段から、信用度の情報を受け取る必要がある。また、多視点画像の生成アルゴリズムに依存して、出力可能な中間演算情報が異なる場合もあり、第3実施形態の画像評価装置は、多視点画像生成のアルゴリズムとして利用可能なアルゴリズムが制限されることがある。本実施形態では、動きベクトルの信用度情報を用いるので、多視点画像生成の際に用いるアルゴリズムが特に制限されることがない。また、多視点画像生成時の中間演算情報が必要ないので、例えば図1に示す第1実施形態の画像評価装置10のように、画像評価装置が多視点画像を生成する部分を含まない場合にも適用が容易である。
続いて、本発明の第5実施形態を説明する。図14は、本発明の第5実施形態の画像評価装置を示している。本実施形態の画像評価装置10dは、図9に示す第2実施形態の画像評価装置10aとは、多視点画像評価部13の部分の構成が異なる。本実施形態の画像評価装置10dにおける多視点画像評価部13aは、動きベクトル比較部35と、評価値算出部36とを有する。本実施形態の画像評価装置10dは、多視点画像に対する評価値の算出手法が、第2実施形態の画像評価装置10aにおける評価値算出手法とは異なる。その他の点は、第2実施形態と同様である。
動きベクトル比較部35は、動きベクトル検出部12で検出された動きベクトルのうち、隣接関係にある動きベクトル同士を相互に比較する。より詳細には、動きベクトル比較部35は、多視点画像に含まれる画像のうちの1つを着目画像としたときに、その着目画像と、着目画像の視点に対して第1の方向に隣接する視点の画像とから検出された動きベクトルと、着目画像と、着目画像の視点に対して第1の方向とは反対側の第2の方向に隣接する視点の画像とから検出された動きベクトルとを比較する。なお、動きベクトルが、隣接する3以上の画像から検出されている場合、動きベクトル比較部35は、着目画像と、着目画像の視点に対して第1の方向に隣接する2以上の視点の画像とから検出された動きベクトルと、着目画像と、着目画像の視点に対して第2の方向に隣接する視点の2以上の画像とから検出された動きベクトルとを比較すればよい。
動きベクトル比較部35は、隣接する関係にある動きベクトル同士を比較し、動きベクトルの近似度を求める。評価値算出部36は、複数の多視点画像のそれぞれに対して、動きベクトルの近似度の総和を評価値として求める。例えば、ある多視点画像から、第1〜第4までの4つの動きベクトルが検出されているとき、評価値算出部36は、第1の動きベクトルと第2の動きベクトルとの近似度、第2の動きベクトルと第3の動きベクトルとの近似度、及び第3の動きベクトルと第4の動きベクトルとの近似度の総和を、動きベクトル検出元の多視点画像に対する評価値として求める。
図15は、第5実施形態の画像評価装置の動作手順を示している。多視点画像生成部17−1〜17−Nは、それぞれ、ステレオ画像入力部16から入力されたステレオ画像に基づいて多視点画像を生成する。多視点画像出力部18は、多視点画像入力部11に複数の多視点画像を出力する。多視点画像入力部11は、複数の生成手法で生成された複数の多視点画像を入力する(ステップS31)。
画像評価装置10dは、入力された多視点画像から、未処理の多視点画像を1つ選択する(ステップS32)。動きベクトル検出部12は、ステップS32で選択された多視点画像に含まれる画像から、隣接画像間の動きベクトルを検出する(ステップS33)。動きベクトル検出のアルゴリズムには、任意のアルゴリズムを用いることができる。動きベクトル検出部12は、例えば勾配法を用いて、画素ごとに動きベクトルを求める。ここまでの動作は、第2実施形態における動作と同様である。
動きベクトル比較部35は、ステップS33で検出された動きベクトルのうち、隣接する関係にある動きベクトル同士を比較し、近似度を求める(ステップS34)。動きベクトル比較部35は、例えば各画素の動きベクトルの変化量の大きさの二乗の総和を、動きベクトルの近似度(一致度)として求める。或いは、動きベクトル比較部35は、各画素の動きベクトルの変化の角度の絶対値の総和を、動きベクトルの一致度として求めてもよい。評価値算出部36は、動きベクトル間の近似度の総和を求め、それをステップS32で選択された多視点画像に対する評価値とする(ステップS35)。
画像評価装置10dは、ステップS31で入力された複数の多視点画像の中に、未処理の多視点画像が存在するか否かを判断する(ステップS36)。画像評価装置10dは、未処理の多視点画像が存在すると判断したときは、ステップS32に戻って多視点画像を1つ選択する。画像評価装置10dは、未処理の多視点画像がなくなるまで、動きベクトル検出部12及び多視点画像評価部13を用いてステップS32からステップS35までの処理を繰り返し実行し、各多視点画像に対する評価値を求める。
ステップS36で未処理の多視点画像が存在しないと判断されると、生成手法選択部14は、各多視点画像に対して求められた評価値を比較する(ステップS37)。生成手法選択部14は、評価値が最も高い多視点画像の生成手法を最適生成手法として選択する。選択画像出力部15は、ステップS31で入力された複数の多視点画像のうち、生成手法選択部14が選択した生成手法で生成された多視点画像を出力する(ステップS38)。出力された多視点画像は、例えば立体表示が可能なディスプレイに表示される。或いは、出力された多視点画像は、3Dプリントとして印刷される。
図16は、動きベクトルの近似度の演算を例示している。図4と同様に、手法Aで生成された多視点画像(画像L、A1〜A4、R)と、隣接画像間から検出された動きベクトル(動きベクトルLA1、A1A2、A2A3、A3A4、A4L)とを考える。動きベクトル比較部35は、動きベクトルLA1と動きベクトルA1A2とから、両ベクトル間の近似度を求める。また、動きベクトル比較部35は、動きベクトルA1A2と動きベクトルA2A3とから、両ベクトル間の近似度を求める。動きベクトル比較部35は、動きベクトルA2A3と動きベクトルA3A4とから、両ベクトル間の近似度を求める。動きベクトル比較部35は、動きベクトルA3A4と動きベクトルA4Rとから、両ベクトル間の近似度を求める。
具体的には、動きベクトル比較部35は、例えば動きベクトルLA1(uLA1(x,y)、vLA1(x,y))と動きベクトルA1A2(uA1A1(x,y)、vA1A2(x,y))とに対し、下記式で、各画素の動きベクトルの変化量の大きさの二乗の総和を計算し、それを、両ベクトルの近似度(一致度)をとする。
動きベクトル比較部35は、上記に代えて、下記式で、各画素の動きベクトルの変化の角度の絶対値の総和を計算し、それを、両ベクトルの一致度としてもよい。
なお、一致度は、動きベクトルの変化量の大きさの二乗の総和と、変化の角度の絶対値の総和との双方に基づいて定義してもよい。
動きベクトル比較部35は、動きベクトルLA1、A1A2以外の動きベクトルに対しても上記と同様な計算を行い、動きベクトル間の一致度を求める。評価値算出部36は、求められた隣接動きベクトル間の一致度の総和を、手法Aの多視点画像に対する評価値とする。動きベクトル比較部35は、手法A以外の手法で生成された多視点画像から検出された動くベクトルに対しても上記と同様な処理を行い、評価値算出部36は、各手法の多視点画像に対する評価値を算出する。
本実施形態では、動きベクトルに基づいて多視点画像を評価する際に、動きベクトル同士を比較している。観察者が見て違和感が生じない多視点画像ができているとき、隣接する関係にある動きベクトルは、相互に似た動きを表わすベクトルになり、両ベクトルはよく一致すると考えられる。従って、動きベクトル間の近似度が高い多視点画像を選択することで、表示に適した多視点画像を得ることができる。本実施形態は、第1〜第4実施形態に対して、予測画像を生成する必要がなくなることで、処理を簡略化できるというメリットがある。
なお、図2及び図15では、複数の多視点画像から多視点画像を1つずつ順次に選択し、評価値を求める例を説明したが、これには限定されない。結果として、多視点画像ごとに評価値を求めることができればよく、評価値を求めるまでの動作手順の組み立て方は任意である。例えば、全ての多視点画像のから検出された全ての動きベクトルを用いて予測画像を一度に生成し、全ての予測画像について近似度を計算する処理を行った後に、動きベクトルごと近似度を集計し、それを更に多視点画像ごとに集計して多視点画像ごとの評価値を求めてもよい。
図9などでは、N種類の多視点画像の生成手法に対して、画像評価装置がN個の多視点画像生成部を有することとしたが、多視点画像生成部の数と、多視点画像の生成手法の数とは必ずしも一致していなくてよい。例えば、多視点画像生成部を1つのみ設け、その多視点画像生成部にて、生成手法を変更しつつ多視点画像の生成を繰り返し行い、複数の多視点画像を生成してもよい。また、用いるアルゴリズムの数だけ多視点画像生成部を設け、同じ多視点画像生成部を用いて、生成の際に用いるパラメータを変更した複数の多視点画像を順次に生成してもよい。
図10では、多視点画像出力と多視点画像信用度情報出力部とを別々に描いているが、多視点画像出力部が、多視点画像信用度情報出力部を兼ねる構成でも構わない。また、多視点画像入力部が、多視点画像信用度情報入力部を兼ねる構成でもよい。例えば図1に示す画像評価装置のように、画像評価装置が多視点画像を生成する部分を含まない場合には、外部から多視点画像の信用度情報を与え、多視点画像信用度情報を用いた近似度の演算を行ってもよい。その場合、例えば図1に示す構成にて、多視点画像入力部に、多視点画像と共に、各仮想視点画像(中間視点画像)の信用度情報を入力すればよい。
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像評価装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
10:画像評価装置
11:多視点画像入力部
12:ベクトル検出部
13:多視点画像評価部
14:生成手法選択部
15:選択画像出力部
16:ステレオ画像入力部
17:多視点画像生成部
18:多視点画像出力部
19:多視点画像信用度情報出力部
20:多視点画像信用度情報入力部
21:ベクトル信用度算出部
31:予測画像生成部
32:近似度算出部
33:スコア算出部
34:評価値算出部
35:ベクトル比較部
36:評価値算出部
71:対応点検出部
72:中間視点画像生成部
73:中間視点画像補正部
74:対応点信用度評価部
11:多視点画像入力部
12:ベクトル検出部
13:多視点画像評価部
14:生成手法選択部
15:選択画像出力部
16:ステレオ画像入力部
17:多視点画像生成部
18:多視点画像出力部
19:多視点画像信用度情報出力部
20:多視点画像信用度情報入力部
21:ベクトル信用度算出部
31:予測画像生成部
32:近似度算出部
33:スコア算出部
34:評価値算出部
35:ベクトル比較部
36:評価値算出部
71:対応点検出部
72:中間視点画像生成部
73:中間視点画像補正部
74:対応点信用度評価部
Claims (21)
- 互いに視点が異なる2つの画像を含むステレオ画像に基づいて、複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる1以上の仮想視点から見たことを想定した画像を1つ以上含む複数の多視点画像を入力する多視点画像入力部と、
前記複数の多視点画像のそれぞれにおいて、前記多視点画像に含まれる隣接する2以上の視点の画像に基づいて、該2以上の画像間の動きベクトルを検出する動きベクトル検出部と、
前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う多視点画像評価部と、
前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する生成手法選択部とを備えることを特徴とする画像評価装置。 - 前記多視点画像評価部が、
前記動きベクトルに基づいて、前記多視点画像における視点のうちで前記動きベクトルの検出元の画像の視点以外の視点のうちの少なくとも1つの視点の画像を予測する予測画像生成部と、
前記予測された画像のそれぞれに対して、該予測された画像と、前記多視点画像のうちで前記予測された画像の視点に対応する視点の画像との近似度を求める近似度算出部と、
前記複数の多視点画像のそれぞれに対して、前記予測された画像に対して求められた近似度の総和を評価値として求める評価値算出部とを含むことを特徴とする請求項1に記載の画像評価装置。 - 前記予測画像に対して求められた近似度を、前記予測画像の生成に用いられた動きベクトルごとに集計するスコア算出部を更に備えており、
前記評価値算出部が、前記スコア算出部で動きベクトルごとに集計された近似度を、前記動きベクトルの検出元の多視点画像ごとに集計することで前記評価値を求めるものであることを特徴とする請求項2に記載の画像評価装置。 - 前記スコア算出部が、前記予測された画像と前記動きベクトルの検出元の画像との距離に応じ、距離が近いほど重みが重くなるように重み付けをした上で、前記近似度を集計するものであることを特徴とする請求項3に記載の画像評価装置。
- 前記予測画像生成部が、前記動きベクトル検出元の画像の両側に隣接する視点のうちの少なくとも1つを含む視点の画像を予測するものであることを特徴とする請求項2乃至4の何れか一に記載の画像評価装置。
- 前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、対応する位置関係にある画素における画素値に基づいて前記近似度を算出するものであることを特徴とする請求項2乃至5の何れか一に記載の画像評価装置。
- 前記近似度算出部が、前記予測された画像と、前記予測された画像の視点に対応する視点の画像とで、同じ座標位置の画素の画素値の差分絶対値、及び画素値の差分の分散の少なくとも一方を算出し、該算出した差分絶対値、及び差分の分散の少なくとも一方に基づいて近似度を求めるものであることを特徴とする請求項6に記載の画像評価装置。
- 前記多視点画像入力部が、前記多視点画像と共に、該多視点画像に含まれる仮想視点から見たことを想定した画像の信用度情報を入力し、前記近似度算出部は、前記画像の信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させるものであることを特徴とする請求項6又は7に記載の画像評価装置。
- 前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素がオクルージョン領域の画素に該当するか否かを示す情報を含み、前記近似度算出部が、前記オクルージョン領域に該当する画素が前記近似度の算出に与える影響を、前記オクルージョン領域ではない領域に該当する画素が前記近似度の算出に与える影響よりも大きくするものであることを特徴とする請求項8に記載の画像評価装置。
- 前記画像の信用度情報が、前記仮想視点から見たことを想定した画像の各画素と、該画像の生成元の前記ステレオ画像の各画素との相関関係の度合いを示す情報を含み、前記近似度算出部は、前記相関関係の度合いが小さいほど、前記画素が前記近似度の算出に与える影響を大きくするものであることを特徴とする請求項8に記載の画像評価装置。
- 前記動きベクトル検出部が、動きベクトルの信用度情報を生成する動きベクトル信用度算出部を含み、前記近似度算出部が、前記動きベクトルの信用度情報に基づいて、前記対応する関係にある画素が前記近似度の算出に与える影響を変化させるものであることを特徴とする請求項6又は7に記載の画像評価装置。
- 前記動きベクトルの信用度情報は、画素の特徴量の局所的な変化の度合いを示す情報を含み、前記近似度算出部は、前記局所的な変化の度合いが大きいほど、前記画素が前記近似度の算出に与える影響を大きくするものであることを特徴とする請求項11に記載の画像評価装置。
- 前記多視点画像評価部が、
前記検出された動きベクトルのうち、隣接関係にある動きベクトル同士を比較し、動きベクトルの近似度を求める動きベクトル比較部と、
前記複数の多視点画像のそれぞれに対して、前記動きベクトルの近似度の総和を評価値として求める評価値算出部とを含むことを特徴とする請求項1に記載の画像評価装置。 - 前記動きベクトル比較部が、前記多視点画像に含まれる画像のうちの1つを着目画像としたときに、該着目画像の視点に対して第1の方向に隣接する1以上の視点の画像と前記着目画像とから検出された動きベクトルと、前記着目画像の視点に対して第1の方向とは反対側の第2の方向に隣接する1以上の視点の画像と前記着目画像とから検出された動きベクトルとを比較するものであることを特徴とする請求項13に記載の画像評価装置。
- ステレオ画像から、生成アルゴリズム及び生成時のパラメータのうちの少なくとも一方が相互に異なる複数の生成手法で前記多視点画像を生成し、前記多視点画像入力部に入力する多視点画像生成部を更に備えることを特徴とする請求項1乃至14の何れか一に記載の画像評価装置。
- 前記多視点画像生成部が、前記仮想視点から見たことを想定した画像の信用度情報を生成する対応点信用度情報評価部を含むことを特徴とする請求項15に記載の画像評価装置。
- 前記生成手法選択部が選択した多視点画像の生成手法で生成された多視点画像を出力する選択画像出力部を更に備えることを特徴とする請求項1乃至16の何れか一に記載の画像評価装置。
- 互いに視点が異なる2つの画像を含むステレオ画像に基づき複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる1以上の仮想視点から見たことを想定した画像を1つ以上含む複数の多視点画像を入力するステップと、
前記複数の多視点画像のそれぞれで、前記多視点画像に含まれる隣接する2以上の視点の画像に基づいて、該2以上の画像間の動きベクトルを検出するステップと、
前記検出した動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行うステップと、
前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択するステップとを有することを特徴とする画像評価方法。 - 前記多視点画像の評価を行うステップが、
前記動きベクトルに基づいて、前記多視点画像における視点のうちで前記動きベクトルの検出元の画像の視点以外の視点のうちの少なくとも1つの視点の画像を予測するステップと、
前記予測した画像のそれぞれに対して、該予測した画像と、前記多視点画像のうちで前記予測した画像の視点に対応する視点の画像との近似度を求めるステップと、
前記複数の多視点画像のそれぞれに対して、前記予測された画像に対して求められた近似度の総和を評価値として求めるステップとを含むことを特徴とする請求項18に記載の画像評価方法。 - 前記多視点画像の評価を行うステップが、
前記検出した動きベクトルのうち、隣接関係にある動きベクトル同士を比較し、動きベクトルの近似度を求めるステップと、
前記複数の多視点画像のそれぞれに対して、前記動きベクトルの近似度の総和を評価値として求めるステップとを含むことを特徴とする請求項18に記載の画像評価方法。 - コンピュータに、
互いに視点が異なる2つの画像を含むステレオ画像に基づき複数の生成手法を用いて生成された、前記ステレオ画像における視点とは異なる1以上の仮想視点から見たことを想定した画像を1つ以上含む複数の多視点画像を入力する処理と、
前記複数の多視点画像のそれぞれで、前記多視点画像に含まれる隣接する2以上の視点の画像に基づいて、該2以上の画像間の動きベクトルを検出する処理と、
前記検出された動きベクトルに基づいて、前記複数の多視点画像のそれぞれに対して多視点画像の評価を行う処理と、
前記多視点画像の評価を比較し、前記複数の多視点画像の生成手法のうち、最も評価が高い多視点画像の生成手法を選択する処理とを実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010061114A JP2011199382A (ja) | 2010-03-17 | 2010-03-17 | 画像評価装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010061114A JP2011199382A (ja) | 2010-03-17 | 2010-03-17 | 画像評価装置、方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011199382A true JP2011199382A (ja) | 2011-10-06 |
Family
ID=44877091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010061114A Withdrawn JP2011199382A (ja) | 2010-03-17 | 2010-03-17 | 画像評価装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011199382A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014076868A1 (ja) * | 2012-11-19 | 2014-05-22 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
WO2020105520A1 (ja) * | 2018-11-21 | 2020-05-28 | 日本電信電話株式会社 | 評価装置、評価方法、及びプログラム。 |
-
2010
- 2010-03-17 JP JP2010061114A patent/JP2011199382A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014076868A1 (ja) * | 2012-11-19 | 2014-05-22 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
US9652881B2 (en) | 2012-11-19 | 2017-05-16 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device and image processing method |
WO2020105520A1 (ja) * | 2018-11-21 | 2020-05-28 | 日本電信電話株式会社 | 評価装置、評価方法、及びプログラム。 |
US20220021903A1 (en) * | 2018-11-21 | 2022-01-20 | Nippon Telegraph And Telephone Corporation | Evaluation apparatus, evaluation method and program |
US11671624B2 (en) * | 2018-11-21 | 2023-06-06 | Nippon Telegraph And Telephone Corporation | Evaluation apparatus, evaluation method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8953874B2 (en) | Conversion of monoscopic visual content using image-depth database | |
JP4056154B2 (ja) | 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法 | |
JP4966431B2 (ja) | 画像処理装置 | |
JP2014078095A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9769460B1 (en) | Conversion of monoscopic visual content to stereoscopic 3D | |
WO2012071356A1 (en) | Depth estimation based on global motion | |
CN101247530A (zh) | 增强图像的立体效果的三维图像显示设备和方法 | |
CN102665086A (zh) | 利用基于区域的局部立体匹配获取视差的方法 | |
JP2013073598A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JPWO2013105381A1 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
CN103843336B (zh) | 图像处理装置、图像处理方法 | |
WO2012070372A1 (en) | A method and a system for displaying a pair of stereoscopic images on a display | |
US8976171B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
US8884951B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
JP2011199382A (ja) | 画像評価装置、方法、及びプログラム | |
JP5304758B2 (ja) | 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
JP2013090129A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
Orozco et al. | HDR multiview image sequence generation: Toward 3D HDR video | |
JP2012203852A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Caviedes et al. | Real time 2D to 3D conversion: Technical and visual quality requirements | |
KR101804157B1 (ko) | 개선된 sgm 기반한 시차 맵 생성 방법 | |
JP2012203851A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5786807B2 (ja) | 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置 | |
KR101547281B1 (ko) | 다시점 3차원 영상신호 생성 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120702 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20130419 |