JP2010072700A - 画像処理装置、画像処理方法、及び、撮像システム - Google Patents
画像処理装置、画像処理方法、及び、撮像システム Download PDFInfo
- Publication number
- JP2010072700A JP2010072700A JP2008236485A JP2008236485A JP2010072700A JP 2010072700 A JP2010072700 A JP 2010072700A JP 2008236485 A JP2008236485 A JP 2008236485A JP 2008236485 A JP2008236485 A JP 2008236485A JP 2010072700 A JP2010072700 A JP 2010072700A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image information
- viewpoint
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】精度よく二次元の画像情報から三次元形状を復元して出力することができる画像処理装置を提供する。
【解決手段】二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部22の情報を参照して、奥行き情報推定部23が奥行き情報を推定し、他視点画像情報生成部25が推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな奥行き情報を推定するように制御部27が奥行き情報推定部23を制御することで、二次元の画像情報から三次元形状を復元して出力部26から出力する。
【選択図】 図1
【解決手段】二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部22の情報を参照して、奥行き情報推定部23が奥行き情報を推定し、他視点画像情報生成部25が推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな奥行き情報を推定するように制御部27が奥行き情報推定部23を制御することで、二次元の画像情報から三次元形状を復元して出力部26から出力する。
【選択図】 図1
Description
本発明は、撮像装置により撮像された画像情報から、被写体の奥行き方向の距離を示す奥行き情報を推定することにより被写体の三次元形状情報を生成する画像処理装置、画像処理方法、及び、この画像処理装置が組み込まれた撮像システムに関する。
撮像装置により撮像された画像情報から、被写体の三次元形状を復元する手法は、従来から提案されている。
例えば、非特許文献1には、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とを予め学習しておき、この学習結果を利用して、単一の二次元画像情報から物体の奥行き情報を推定して、物体の三次元形状を復元する手法が記載されている。
長井 隆行、池原 雅章、榑松 明、HMMを用いた単一画像からの物体形状復元、情報通信学会論文誌VOL.J86−D−II No.9 SEPTEMBER,2003
非特許文献1に記載された手法では、学習結果を利用して、単一の二次元画像情報から三次元形状を精度よく復元することができるが更なる精度向上が望まれる。
本発明は、このような実情に鑑みて提案されたものであり、より精度よく二次元の画像情報から三次元形状を復元して出力することができる画像処理装置、画像処理方法、及び、この画像処理装置が組み込まれた撮像システムを提供することを目的とする。
上述した課題を解決するための手段として、本発明に係る画像処理装置は、同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部と、二次元空間上の画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて記憶部に記憶された三次元形状を示す情報を参照して、被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、基準画像情報とともに入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、基準画像情報を変化させた他視点画像情報を、奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部に入力された画像情報との誤差が小さくなる新たな奥行き情報を、奥行き情報推定部により推定させる制御部と、基準画像情報と、新たな奥行き情報とを対応付けた被写体の三次元形状を示す情報を出力する出力部とを備える。
また、本発明に係る画像処理方法は、同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部の三次元形状を示す情報を参照して、被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定ステップと、奥行き情報推定ステップにより推定された奥行き情報に基づいて、基準画像情報とともに入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、基準画像情報を変化させた他視点画像情報を生成する他視点画像情報生成ステップとを有し、他視点画像情報生成ステップにより生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部に入力される画像情報との誤差が小さくなる新たな奥行き情報を、奥行き情報推定ステップにより推定して、基準画像情報と、新たな奥行き情報とを対応付けた被写体の三次元形状を示す情報を出力する。
また、本発明に係る撮像システムは、互いに異なる視点に配置された複数の撮像装置を用いて、同一の被写体に対して複数の画像情報を撮像する撮像部と、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、撮像部により撮像された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、記憶部に記憶された三次元形状を示す情報を参照して、被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、基準画像情報とともに撮像部により撮像される他の画像情報が撮像された視点と同じ視点になるように、基準画像情報を変化させた他視点画像情報を、奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像部により撮像された画像情報との誤差が小さくなる新たな奥行き情報を、奥行き情報推定部により推定させる制御部と、基準画像情報と、新たな奥行き情報とを対応付けた被写体の三次元形状を示す情報を出力する出力部とを備える。
本発明は、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部の情報を参照して推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな情報を推定するので、より精度よく二次元の画像情報から三次元形状を復元して出力することができる。
本発明が適用された画像処理装置は、撮像装置により撮像された画像情報から、被写体の奥行き情報を推定することにより被写体の三次元形状情報を生成する装置であり、例えば、図1に示すような撮像システム1に組み込まれる。
この撮像システム1は、被写体2を撮像する撮像部1aと、撮像部1aにより撮像された画像情報から被写体2の三次元形状情報を得て出力して例えば記録媒体3に記録する画像処理部1bとを備える。
撮像部1aは、互いに異なる視点に配置されたビデオカメラ10、11、12を有し、各ビデオカメラ10、11、12を用いて同一の被写体2を撮像することにより、複数の画像情報を生成する。ここで、撮像部1aが備えるビデオカメラ、すなわち撮像装置の数は、3つに限定されず同一の被写体に対して異なる視点の画像情報が複数得られればよいが、以下では、ビデオカメラの数が3つとして説明する。
撮像部1aでは、ビデオカメラ10から得られる画像情報を基準画像情報I0とし、他のビデオカメラ11、12から得られる画像情報をそれぞれ画像情報I1、I2として、3つの画像情報I0、I1、I2を画像処理部1bに供給する。
画像処理部1bは、撮像部1aから複数の画像情報が入力される入力部21と、予め種々の物体の三次元形状に関する情報が記憶された記憶部22と、記憶部22の情報を参照して基準画像情報I0から被写体の奥行き情報を推定する奥行き情報推定部23とを備える。また、画像処理部1bは、入力部21により入力された各画像情報が得られた視点の位置を示す視点位置情報を推定する視点位置情報推定部24と、基準画像情報から視点を変化させた他視点画像情報を生成する他視点画像情報生成部25とを備える。また、画像処理部1bは、基準画像情報とこの画像情報から推定された奥行き情報とを対応付けた被写体2の三次元形状を示す三次元形状情報を出力する出力部26と、各処理部の動作全体を制御する制御部27とを備える。
入力部21は、撮像部1aにより同一の被写体2に対して互いに異なる視点で撮像された複数の画像情報I0、I1、I2が入力される。そして、入力部21は、画像情報I0を基準画像として、奥行き情報推定部23及び出力部26にそれぞれ供給する。また、入力部21は、入力された全ての画像情報I0、I1、I2を視点位置情報推定部24に供給する。
記憶部22は、物体の三次元形状に関する情報として、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とを予め学習しておき、この学習により得られる情報が記憶される。具体的に、学習データとして、予め物体をカテゴリに分類し、その画像の特徴である見た目とその画像に示される物体の三次元形状の情報を与える。そして、記憶部22には、これらのデータ対を例えばマルチバンドの二次元隠れマルコフモデルで学習させることによって得られる、各物体カテゴリそれぞれに対応した特徴と形状の対応関係が記憶される。すなわち、記憶部22には、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶されていればよく、上述した学習データに限定されない。なお、二次元隠れマルコフモデルで学習された学習データを記憶部22が記憶しているものとする。
奥行き情報推定部23は、記憶部22に記憶された情報を参照して、入力部21から供給される基準画像情報I0で示される画像の特徴に基づいて、具体的には後述するようにして、被写体2の奥行き情報を推定する。そして、奥行き情報推定部23は、推定した奥行き情報を、他視点画像情報生成部25及び出力部26にそれぞれ供給する。
出力部26は、基準画像情報I0と、奥行き情報推定部23により推定された奥行き情報とを対応付けた被写体2の三次元形状を示す情報を、例えば図1に示す記録媒体3に出力して記録する。
制御部27は、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなるような奥行き情報を新たに推定するように奥行き情報推定部23を制御する。
以上のような構成からなる撮像システム1では、図2に示すような処理フローに従って動作することで、被写体2の三次元形状を示す情報を精度よく取得することができる。
ステップST1において、入力部21には、撮像部1aにより同一の被写体2に対して互いに異なる視点で撮像された複数の画像情報I0、I1、I2が入力されると、ステップST2及びステップST5に進む。ここで、画像情報I0、I1、I2は、図3に示すように、人間や家具などの3次元物体を被写体2として、基準となる座標系x−y−zに対して、それぞれ視点(x0、y0、z0)、(x1、y1、z1)、(x2、y2、z2)で撮像された画像情報である。
ステップST2において、視点位置情報推定部24は、図4に示すように、画像情報I1、I2それぞれに対して、基準画像情報I0上の点対応を知るため、図中の○で示す特徴点を各画像で抽出してステップST3に進む。具体的に、視点位置情報推定部24は、例えばSIFT(Scale Invariant Feature Transform)と呼ばれる手法を用いて特徴を抽出するが、基本的にはコーナー点などどのようなものを用いて特徴を抽出するようにしてもよい。
ステップST3において、視点位置情報推定部24は、ステップST2により抽出した特徴点に基づいて、図5に示すように、画像情報I1、I2それぞれに対して、基準画像情報I0上の点対応を求めて、ステップST4に進む。具体的には、SIFTを用いて抽出した特徴に対して、画像情報I0−I1、I0−I2間でマッチング処理を行うことにより、画像情報I1、I2それぞれに対する基準画像情報I0上の点対応を求める。なお、図5中のmkiは、画像情報Ikにおけるi番目の特徴点の2次元上の画像座標点を示している。
ステップST4において、視点位置情報推定部24は、ステップST3により求めた点対応を用いることで各ビデオカメラ10、11、12の位置関係、すなわち、各画像情報間での視点位置を示す情報を推定する。
具体的に、画像情報I0−I1間における対応点を、m0i=[u0i v0i 1]T、m1i=[u1i v1i 1]Tのように斉次座標で表現すると、下記の(1)式の関係が成立する。
ここで、Fは、3×3の行列である基礎行列とする。u0i、v0i、u1i、v1iは既知であるから、(1)式は基礎行列の各要素を変数fとした下記の(2)式に示すような線形方程式で表現することができる。
したがって、基礎行列Fは、画像情報間において8点以上の対応点があれば、下記の(3)式に示すような連立方程式から決定することができる。
このように画像情報間において8点以上の対応点があれば(3)式の関係が成立するので、下記の(4)式に示すような最小自乗法により基礎行列Fを求めることができる。
このようにして求めた基礎行列Fは、ビデオカメラの平行移動、回転と下記の(5)式のような関係がある。
ただし、Aはカメラの内部パラメータであり、本実施形態においては、既知であるものとする。また、Tは、下記の(6)式で示される行列である。
なお、tは、画像情報I0−I1間での平行移動を示すベクトルである。さらに、(5)式中の行列E(以下、基本行列Eという。)は、下記の(7)式に示すような関係が成立する。
したがって、EETの最小固有値に対応する固有ベクトルとして、平行移動ベクトルtの方向を指す下記の(8)式に示す単位ベクトルを求めることができる。
ここで、単位ベクトルにスケールを合わせると、下記の(9)式から回転行列Rが求められる。
以上のようにして、視点位置情報推定部24は、各画像情報間の平行移動ベクトル及び回転行列を求めることで、各画像情報における相対的な視点位置を示す情報を得ることができる。視点位置情報推定部24は、ビデオカメラ10、11、12の位置、すなわち、各画像情報I0、I1、I2の視点位置を示す情報を他視点画像情報生成部25に通知して、ステップST8に進む。なお、ステップST8の説明に先立ち、ステップST5について説明する。
ステップST5において、奥行き情報推定部23は、基準画像情報に対して、予め知識により獲得した情報を用いた3次元復元を行うため、まずは、どの知識を適用すべきか判断する。すなわち、奥行き情報推定部23は、画像中の特徴を抽出し、物体の認識を行う。ここで、奥行き情報推定部23は、どのような手法を用いてもよいが、3次元復元で用いるHMM(Hidden Markov Model、隠れマルコフモデル)をそのまま用いることで、物体の認識を行うことができる。したがって、奥行き情報推定部23は、離散コサイン(DCT)変換を用いて、基準画像情報I0で示される画像の特徴を抽出する。具体的には、奥行き情報推定部23は、基準画像情報I0で示される画像に対して、図6に示すように、ブロック毎にDCTを施して、下記の(10)式から特徴量O0を算出して、ステップST6に進む。
ここで、Iは画像の輝度情報であり、Wは画像を特徴量に変換する変換行列である。なお、特徴量の算出手法としては、DCTに限定されず、ブロック単位の画像の特徴を表現する指標であれば如何なる値を用いるようにしてもよい。
ステップST6において、奥行き情報推定部23は、HMMを用いた物体認識を行う。具体的に、奥行き情報推定部23は、事前に学習して記憶部22に記憶されている各物体の画像モデルを読み出して、読み出した画像モデルに基準画像情報の各ブロックの画像を入力してその尤度を計算する。そして、奥行き情報推定部23は、記憶部22に記憶されている最終的に全ての画像モデルの中で、最も高い尤度を出力した画像モデルに対応する三次元モデルが、その画像中の被写体に存在する物体であると判断してステップST7に進む。
ステップST7において、奥行き情報推定部23は、基準画像情報I0に対して、最も確率の高い三次元モデルをマッピングする。ここで、記憶部22には、図7(A)に示すように、ある特定の物体の特徴である見え方、たとえば正面から見た顔に対して、どのような3次元情報が対応するかが事前にHMMでモデル化されて記憶されている。奥行き情報推定部23は、図7(B)に示すように、記憶部22に記憶されている情報を参照して、基準画像情報I0に対してその輝度情報が学習した輝度情報とどのように対応するかを輝度情報のHMMをビタビアルゴリズムなどによるデコード処理によって奥行き情報のHMMを求める(ステップST21)。そして、奥行き情報推定部23は、その対応関係、すなわち、状態遷移の情報から三次元形状を示す情報を参照する(ステップST22)ことで、基準画像情報I0で示される被写体2の奥行き方向の距離を示す奥行き情報を推定して、ステップST8に進む。
具体的に、奥行き情報推定部23は、最も確率の高い奥行き情報をマッピングするために、下記の(11)式に示す確率の対数を最大とする奥行き情報pを求めればよい。
ここで、Pは確率を表している。ただし、Odは、Od=Wpで表される奥行き情報の特徴量である。qは、輝度HMMのデコード処理によって得られる状態遷移情報である。Wは、奥行き情報pを特徴量に変換する行列である。μは、状態遷移情報により計算される平均値ベクトルである。Σは、状態遷移情報により計算される共分散行列である。
上記の(11)式は2次形式であるので、下記の(12)式に示すように、奥行き情報pで偏微分してゼロとおくことで奥行き情報pを求めることができる。
ステップST8において、具体的に図8に示す処理フローにしたがって、制御部27は、他視点画像情報生成部25により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部21に入力される画像情報との誤差が小さくなるような新たな奥行き情報を、奥行き情報推定部23により推定させる。このような処理を行うのは、ステップST7において基準画像情報のみを用いて奥行き情報を推定しただけでは、正しい推定である保証がないからである。
まず、下記の(13)式に示すように、奥行き情報pを確率的に定式化する。
上式において第1項が複数視点によって得られる幾何学的情報、第2項が陰影などの情報、第3項がHMMの結合学習によって得られる知識情報である。なお、上式ではIを用いて奥行き情報pを表現しているが、これを特徴量に変換したOを用いて表現してもよい。
誤差が例えばi.i.d.ガウス分布に従うとすると、第1項の条件付確率は、下記の(14)式のように表現することができる。
ここで、J(I0,p)は、基準画像情報I0と奥行き情報pから他視点の画像情報を生成する関数である。また、σ2は、誤差の分散値である。
他視点画像情報生成部25は、関数Jを用いた演算を行うことで、画像情報I1と同じ視点となるように基準画像情報I0を変化させた下記の(15)式に示す画像情報が得られる(ステップST81)。
ここで、他視点画像情報を生成するのにビデオカメラの位置を知っている必要があるが、他視点画像情報生成部25は、ビデオカメラ10、11、12の位置を予め把握していなくても、ステップST4により取得することができる。なお、画像情報のメタデータとして視点位置に関する情報が含まれている場合には、ステップST2〜ST4の処理を行うことなく、メタデータを利用して、他視点画像情報を生成するようにしてもよい。
そして、下記の(16)式に示す関数(対数尤度関数)を最小化することで、誤差が所定の閾値よりも小さく、精度が高い奥行き情報を得ることができる。
このようにして、制御部27は、他視点画像情報生成部25により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部21に入力される画像情報との誤差を計算し(ステップST82)、この誤差が所定の閾値よりも小さくなるまで、繰り返し奥行き情報推定部23に新たな奥行き情報pを推定させて、例えば(16)式の条件が満たされる(ステップST84)と、出力部26により被写体2の三次元形状を示す情報を出力するように制御する。
上記の(16)式の最小化関数では、下記の(17)式に示す陰影の情報を考慮していない。
そこで、この情報も次のように取り入れた下記の(18)式に示す最小化関数を満たすような奥行き情報を得ることで、更に精度よく被写体2の三次元形状を示す情報を得ることができる。すなわち、奥行き情報推定部23は、推定した奥行き情報pと基準画像情報I0とに基づいて、被写体の陰影を示す陰影情報S(p)を推定する。そして、制御部27は、陰影情報S(p)と基準画像情報I0との誤差が小さくなるような下記の(18)式に示す最小化関数を満たす新たな奥行き情報pを、奥行き情報推定部23により推定させる(ステップST83)。
ここで、σs 2は、陰影情報に関する誤差の分散値である。
上述した(17)式、(18)式に示す最小化関数いずれも非線形関数である。そこでこれらの最小化には非線形最適化の手法を直接適用するか、下記の(19)式の値をテーラー展開を用いて線形化することによって、線形方程式へと変換し、これを繰り返し解くことで最終的な奥行き情報pを得ることができる。
ただし、いずれの場合も、奥行き情報pに対する初期値が必要となるが、これはステップST7によって得られる解をそのまま用いることができる。このようにして、制御部27は、他視点画像情報生成部25により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された入力部21に入力される画像情報との誤差が小さくなるような新たな奥行き情報を、奥行き情報推定部23により推定させる。そして、制御部27は、誤差が低減された新たな奥行き情報を基準画像情報I0と対応付けて被写体2の三次元形状を示す情報として出力部26により出力する。
例えば、図9(A)に示すような、5つの異なる視点から観測した画像から三次元形状を復元して、復元した三次元形状の情報に基づいて視点を変えた画像を生成した結果は、図9(B)のようになる。図9(B)は、左図が、実際に撮像された画像情報、中央図が5枚の画像を用いて本実施形態に係る撮像システム1により得られた三次元形状の情報を用いて生成した他視点画像情報、右図が、上述した最適化処理を行わないで1枚の画像情報のみから推定した奥行き情報を用いて生成した他視点画像情報を示している。
また、図10(A)に示すような、2つの異なる視点から観測した画像から復元した三次元形状は、図10(B)のようになる。図10(B)は、左図が、本実施形態に係る撮像システム1により得られた三次元形状の情報であり、中央図が、既存のグラフィカルモデル手法により得られた三次元形状の情報であり、左図が、既存のグラフカット手法により得られた三次元形状の情報である。
以上の図9、図10に示す2つの実施例から明らかなように、撮像システム1に組み込まれた画像処理部1bは、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部22の情報を参照して推定された奥行き情報を利用して他視点画像情報を生成し、生成した他視点画像情報と実際に撮像された画像情報を比較して誤差が小さくなる新たな奥行き情報を推定するので、より精度よく二次元の画像情報から三次元形状を復元して出力することができる。これにより、コンピュータグラフィックスやバーチャルリアリティなど、三次元モデリングの必要な応用において、人手による手間を少なくすることが可能となる。
なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
1 撮像システム、2 被写体、1a 撮像部、1b 画像処理部、21 入力部、22 記憶部、23 奥行き情報情報推定部、24 視点位置情報推定部、25 他視点画像情報生成部、26 出力部、27 制御部、3 記録媒体、10、11、12 ビデオカメラ
Claims (6)
- 同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部と、
二次元空間上の画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、
上記入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて上記記憶部に記憶された三次元形状を示す情報を参照して、上記被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、
上記基準画像情報とともに上記入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、上記基準画像情報を変化させた他視点画像情報を、上記奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、
上記他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された上記入力部に入力された画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定部により推定させる制御部と、
上記基準画像情報と、上記新たな奥行き情報とを対応付けた上記被写体の三次元形状を示す情報を出力する出力部とを備える画像処理装置。 - 上記制御部は、上記他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された上記入力部に入力される画像情報との誤差が、所定の閾値よりも小さくなるまで、繰り返し上記奥行き情報推定部に新たな奥行き情報を推定させてから、上記出力部により上記被写体の三次元形状を示す情報を出力するように制御する請求項1記載の画像処理装置。
- 上記入力部により入力された各画像情報から特徴点を抽出して、当該特徴点に基づいて画像情報が撮像された視点の位置を示す視点位置情報を推定する視点位置情報推定部を更に備え、
上記制御部は、上記奥行き情報推定部により推定された奥行き情報、及び、上記視点位置情報推定部により推定された視点位置情報に基づいて、上記他視点画像情報生成部に、上記入力部により基準画像情報とともに入力される他の画像情報が撮像された視点に変化させた他視点画像情報を生成させるように制御する請求項2記載の画像処理装置。 - 上記奥行き情報推定部は、推定した奥行き情報と上記基準画像情報とに基づいて、上記被写体の陰影を示す陰影情報を推定し、
上記制御部は、上記陰影情報と上記基準画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定部により推定させる請求項3記載の画像処理装置。 - 同一の被写体に対して互いに異なる視点で撮像された複数の画像情報が入力される入力部に入力された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部の三次元形状を示す情報を参照して、上記被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定ステップと、
上記奥行き情報推定ステップにより推定された奥行き情報に基づいて、上記基準画像情報とともに上記入力部に入力される他の画像情報が撮像された視点と同じ視点になるように、上記基準画像情報を変化させた他視点画像情報を生成する他視点画像情報生成ステップとを有し、
上記他視点画像情報生成ステップにより生成された他視点画像情報と、この他視点画像情報と同じ視点で撮像された上記入力部に入力される画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定ステップにより推定して、上記基準画像情報と、上記新たな奥行き情報とを対応付けた上記被写体の三次元形状を示す情報を出力する画像処理方法。 - 互いに異なる視点に配置された複数の撮像装置を用いて、同一の被写体に対して複数の画像情報を撮像する撮像部と、
二次元空間上における画像で示される物体の特徴と、この物体の三次元形状を示す情報とが対応付けて記憶された記憶部と、
上記撮像部により撮像された一の画像情報を基準画像情報とし、この基準画像情報で示される画像の特徴に基づいて、上記記憶部に記憶された三次元形状を示す情報を参照して、上記被写体の奥行き方向の距離を示す奥行き情報を推定する奥行き情報推定部と、
上記基準画像情報とともに上記撮像部により撮像される他の画像情報が撮像された視点と同じ視点になるように、上記基準画像情報を変化させた他視点画像情報を、上記奥行き情報推定部により推定された奥行き情報に基づいて生成する他視点画像情報生成部と、
上記他視点画像情報生成部により生成された他視点画像情報と、この他視点画像情報と同じ視点で上記撮像部により撮像された画像情報との誤差が小さくなる新たな奥行き情報を、上記奥行き情報推定部により推定させる制御部と、
上記基準画像情報と、上記新たな奥行き情報とを対応付けた上記被写体の三次元形状を示す情報を出力する出力部とを備える撮像システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008236485A JP2010072700A (ja) | 2008-09-16 | 2008-09-16 | 画像処理装置、画像処理方法、及び、撮像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008236485A JP2010072700A (ja) | 2008-09-16 | 2008-09-16 | 画像処理装置、画像処理方法、及び、撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010072700A true JP2010072700A (ja) | 2010-04-02 |
Family
ID=42204457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008236485A Withdrawn JP2010072700A (ja) | 2008-09-16 | 2008-09-16 | 画像処理装置、画像処理方法、及び、撮像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010072700A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942746A (zh) * | 2014-04-08 | 2014-07-23 | 上海师范大学 | 基于光学扫描的目标的光学图像加密方法 |
JP2014520332A (ja) * | 2011-06-20 | 2014-08-21 | アルカテル−ルーセント | 画像モデルの構築のための方法および装置 |
JP2017194301A (ja) * | 2016-04-19 | 2017-10-26 | 株式会社デジタルハンズ | 顔形状測定装置及び方法 |
WO2019167453A1 (ja) * | 2018-02-28 | 2019-09-06 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2022244176A1 (ja) * | 2021-05-20 | 2022-11-24 | 日本電気株式会社 | 欠品検出装置、欠品検出方法、及びプログラム |
JP7364540B2 (ja) | 2020-08-05 | 2023-10-18 | 株式会社日立ハイテク | 画像処理システム |
-
2008
- 2008-09-16 JP JP2008236485A patent/JP2010072700A/ja not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014520332A (ja) * | 2011-06-20 | 2014-08-21 | アルカテル−ルーセント | 画像モデルの構築のための方法および装置 |
KR101560508B1 (ko) | 2011-06-20 | 2015-10-14 | 알까뗄 루슨트 | 3차원 이미지 모델 조정을 위한 방법 및 장치 |
US9269194B2 (en) | 2011-06-20 | 2016-02-23 | Alcatel Lucent | Method and arrangement for 3-dimensional image model adaptation |
US9324191B2 (en) | 2011-06-20 | 2016-04-26 | Alcatel Lucent | Method and arrangement for image model construction |
CN103942746A (zh) * | 2014-04-08 | 2014-07-23 | 上海师范大学 | 基于光学扫描的目标的光学图像加密方法 |
CN103942746B (zh) * | 2014-04-08 | 2017-05-17 | 上海师范大学 | 基于光学扫描的目标的光学图像加密方法 |
JP2017194301A (ja) * | 2016-04-19 | 2017-10-26 | 株式会社デジタルハンズ | 顔形状測定装置及び方法 |
WO2019167453A1 (ja) * | 2018-02-28 | 2019-09-06 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JPWO2019167453A1 (ja) * | 2018-02-28 | 2021-03-18 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP7364540B2 (ja) | 2020-08-05 | 2023-10-18 | 株式会社日立ハイテク | 画像処理システム |
WO2022244176A1 (ja) * | 2021-05-20 | 2022-11-24 | 日本電気株式会社 | 欠品検出装置、欠品検出方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109961506B (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
JP6854780B2 (ja) | 三次元空間のモデリング | |
KR102647351B1 (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
US9619704B2 (en) | Fast articulated motion tracking | |
KR101135186B1 (ko) | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 | |
WO2019157924A1 (zh) | 三维物体的实时检测方法及系统 | |
Carozza et al. | Markerless vision‐based augmented reality for urban planning | |
JP6242334B2 (ja) | 平面特性基盤マーカーレス拡張現実システムおよびその動作方法 | |
Choi et al. | Depth analogy: Data-driven approach for single image depth estimation using gradient samples | |
WO2006062908A2 (en) | Optical motion capturing with fill-in of missing marker points using a human model derived from principal component analysis | |
CN113474815A (zh) | 使用图像处理的场景表示 | |
JP2010072700A (ja) | 画像処理装置、画像処理方法、及び、撮像システム | |
CN114556421A (zh) | 使用图像处理的场景表示 | |
KR101478709B1 (ko) | Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치 | |
CN112562001A (zh) | 一种物体6d位姿估计方法、装置、设备及介质 | |
JP2006285952A (ja) | 画像処理方法、画像処理装置、プログラムおよび記録媒体 | |
JP5500245B2 (ja) | トレーニング方法及び装置並びに画像における対象の姿勢視角を推定する方法及び装置 | |
US20240005598A1 (en) | Modelling an environment using image data | |
GB2581957A (en) | Image processing to determine object thickness | |
Gao et al. | HDRNet: High‐Dimensional Regression Network for Point Cloud Registration | |
CN111344741A (zh) | 一种三维轨迹数据的数据缺失处理方法及装置 | |
EP4064125A1 (en) | Multi-dimensional object pose regression | |
KR102338491B1 (ko) | 영상 기반 사람의 3차원 자세 및 형상 모델 복원 장치 및 방법 | |
KR101373397B1 (ko) | 증강현실의 호모그래피 정확도 향상을 위한 csp 기반의 ransac 샘플링 방법 | |
JP2018022390A (ja) | 検証装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111206 |