JP2009032123A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2009032123A JP2009032123A JP2007196741A JP2007196741A JP2009032123A JP 2009032123 A JP2009032123 A JP 2009032123A JP 2007196741 A JP2007196741 A JP 2007196741A JP 2007196741 A JP2007196741 A JP 2007196741A JP 2009032123 A JP2009032123 A JP 2009032123A
- Authority
- JP
- Japan
- Prior art keywords
- coplanarity
- plane
- solution
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【課題】シーンを撮影した2次元画像に含まれる共面性と幾何学的条件とを利用して、3次元形状を生成する画像処理装置等を提供する。
【解決手段】本発明は、入力された2次元画像から3次元形状を生成する画像処理装置であり、2次元画像から抽出された共面性を基に射影解を算出する射影解算出部14と、2次元画像から抽出された幾何学的条件を基に射影解の自由度を解消して射影解からユークリッド解を得るユークリッド解算出部16と、ユークリッド解を基に密な3次元形状を生成する曲線復元部18とを具備する。
【選択図】図1
【解決手段】本発明は、入力された2次元画像から3次元形状を生成する画像処理装置であり、2次元画像から抽出された共面性を基に射影解を算出する射影解算出部14と、2次元画像から抽出された幾何学的条件を基に射影解の自由度を解消して射影解からユークリッド解を得るユークリッド解算出部16と、ユークリッド解を基に密な3次元形状を生成する曲線復元部18とを具備する。
【選択図】図1
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、入力された2次元画像に含まれる共面性とシーンの幾何学的条件とを用いて3次元形状を復元する画像処理装置、画像処理方法およびプログラムに関する。
1つの単眼カメラにて撮影された2次元画像から3次元の画像を復元することは、コンピュータビジョンやコンピュータグラフィクスの分野に於いて重要な処理である。そして、2次元画像を基にした3次元形状の復元に関しては、多数の研究が成されている。
例えば、シーン(被写体)の3次元形状復元に影を使う手法がこれまで提案されている(下記非特許文献1および非特許文献2)。3次元形状復元に影を使うことの利点として、影は、光源があれば常に存在するため、特殊な装置を用いることなくシーンの情報を取得できることが挙げられる。また、単眼カメラによる復元が可能であることも、影を使う形状復元の利点の一つである。
最近、直線物による影を用いた効率的な形状復元手法が提案されている(下記非特許文献3および非特許文献4)。これはアクティブスキャンにおいて光源の代わりに影を用いた手法であり、レーザの代わりに棒などを振って、固定された光源によって生じる影を用いて対象シーンをスキャンする手法である。
下記非特許文献5では、線画に描かれた多面体を解釈するために、多面体の1面を囲む線分が全て同一平面上にあること(共面性)を用いて、それらの平面の間に成り立つ関係式が導かれている。これは、少なくとも4自由度の解を持つ線型方程式である。この式は、照度差ステレオ法と組み合わせた多面体の形状復元(下記特許文献6参照)や、折り紙解析(下記特許文献7参照)、騙し絵の解析(下記特許文献8参照)などの多くの研究に利用された。更に、最近、上記関係式をimplicitな共面性(〔発明を実施するための最良の形態〕において詳述)に適用することで曲面を含むシーンの復元が可能であることが示された(下記特許文献9参照)。
また、単眼カメラで、対象シーンにラインレーザを照射しながら連続画像を撮影し、曲面を含む形状モデルを獲得する方法がいくつか提案されている。これらの方法では、ラインレーザのレーザ光線が通る平面(レーザ平面)の位置を計算するために、
(1) ラインレーザの位置を機械で制御する方法(市販のレーザスキャナ)、
(2) 複数のラインレーザを既知の構造に組み付けて計測する方法(非特許文献9)
(3)正方形状のフレーム(枠)を、対象シーンを囲むように配置し、フレーム上のラインレーザに照らされた位置からレーザ平面の位置を推定する方法(非特許文献10)、
(4)ラインレーザに複数のLEDマーカを取り付け、それらのマーカの位置からレーザ平面の位置を推定する方法(非特許文献11)、
(5)5本以上の平行光線を出力する特殊な投光器を対象シーンに照射しながら、同時にラインレーザを照射する方法(非特許文献12)、が提案されている。
(1) ラインレーザの位置を機械で制御する方法(市販のレーザスキャナ)、
(2) 複数のラインレーザを既知の構造に組み付けて計測する方法(非特許文献9)
(3)正方形状のフレーム(枠)を、対象シーンを囲むように配置し、フレーム上のラインレーザに照らされた位置からレーザ平面の位置を推定する方法(非特許文献10)、
(4)ラインレーザに複数のLEDマーカを取り付け、それらのマーカの位置からレーザ平面の位置を推定する方法(非特許文献11)、
(5)5本以上の平行光線を出力する特殊な投光器を対象シーンに照射しながら、同時にラインレーザを照射する方法(非特許文献12)、が提案されている。
更に、直線状のエッジを持った物体の影で、対象シーンをスキャンし、それを撮影することで形状の3次元モデルを獲得する方法がある(非特許文献13)。
また、対象シーンが多面体からなる場合、対象シーンを構成する平面の幾何学的条件(平行性、共面性、直行性など)から、それらの平面位置を推定し、形状モデルを復元する手法がある。これらの方法には、画像上の平行線の消失点を用いる方法(非特許文献14)、画像上の直方体を利用する方法(非特許文献15)などがある。
M.Hatzitheodorou and J. Kender: "An optimal algorithm for thederivation of shape from shadows", CVPR pp486-491 (1988). M. Daum and G. Dudek: "On 3-d surface reconstruction using shape from shadows", CVPR, pp461-468 (1998). J. Y. Bouguet and P. Perona: "3D photography on your desk", ICCV,pp129-149 (1998). J.−Y. Bouguet, M. Weber and P. Perona: "What do planar shadows tell about scene geometry?", CVPR, 01, pp514−520 (1999). K. Sugihara: "An algebraic アプローチ to shape−from−image problems", Artificial Intelligence, 23, pp59−95 (1984). I. Shimshoni and J. Ponce: "Recovering the shape of polyhedra using line−drawing analysis and complex reflectance models", CVIU,65, 2, pp296−310 (1997). P. Parodi: "The complexity of understanding line drawings of origami scenes", IJCV, 18, 2, pp139-170 (1996). K. Sugihara: "Three−dimensional realization of anomalous pictures−an application of picture interpretation theory to toy design.", Pattern Recognition, 30, 7, pp1061−1067 (1997). 古川、川崎:"共面性とメトリックな制約を用いた3次元再構成", CVIM−156, pp. 85-92 (2006). C. W. Chu, S. Hwang, and S. K. Jung. Calibration−free approach to 3D reconstruction using light stripe projections on a cube frame. In Third Int. Conf. on 3DIM, pages 13-19, 2001. R. Furukawa and H. Kawasaki. Interactive shape acquisition using marker attached laser projector. In Int. Conf. on 3DIM2003, pages 491-498, 2003. 日向, 佐藤:"ハンドスイープされたスリット輝線の幾何拘束に基づく三次元復元", MIRU 2005, pp. IS3-132(2005). J. Y. Bouguet and P. Perona. 3D photography on your desk. In ICCV, pageS119-149, 1998. D. Liebowitz and A. Zisserman. Metric rectification for perspective images of planes. In CVPR, page 482, 1998. M. Wilczkowiak, E. Boyer, and P. Sturm. Camera calibration and 3d reconstruction from single images using parallelepipeds. In The 8th ICCV, volume 1, pageS122-148, Jul 2001.
M.Hatzitheodorou and J. Kender: "An optimal algorithm for thederivation of shape from shadows", CVPR pp486-491 (1988). M. Daum and G. Dudek: "On 3-d surface reconstruction using shape from shadows", CVPR, pp461-468 (1998). J. Y. Bouguet and P. Perona: "3D photography on your desk", ICCV,pp129-149 (1998). J.−Y. Bouguet, M. Weber and P. Perona: "What do planar shadows tell about scene geometry?", CVPR, 01, pp514−520 (1999). K. Sugihara: "An algebraic アプローチ to shape−from−image problems", Artificial Intelligence, 23, pp59−95 (1984). I. Shimshoni and J. Ponce: "Recovering the shape of polyhedra using line−drawing analysis and complex reflectance models", CVIU,65, 2, pp296−310 (1997). P. Parodi: "The complexity of understanding line drawings of origami scenes", IJCV, 18, 2, pp139-170 (1996). K. Sugihara: "Three−dimensional realization of anomalous pictures−an application of picture interpretation theory to toy design.", Pattern Recognition, 30, 7, pp1061−1067 (1997). 古川、川崎:"共面性とメトリックな制約を用いた3次元再構成", CVIM−156, pp. 85-92 (2006). C. W. Chu, S. Hwang, and S. K. Jung. Calibration−free approach to 3D reconstruction using light stripe projections on a cube frame. In Third Int. Conf. on 3DIM, pages 13-19, 2001. R. Furukawa and H. Kawasaki. Interactive shape acquisition using marker attached laser projector. In Int. Conf. on 3DIM2003, pages 491-498, 2003. 日向, 佐藤:"ハンドスイープされたスリット輝線の幾何拘束に基づく三次元復元", MIRU 2005, pp. IS3-132(2005). J. Y. Bouguet and P. Perona. 3D photography on your desk. In ICCV, pageS119-149, 1998. D. Liebowitz and A. Zisserman. Metric rectification for perspective images of planes. In CVPR, page 482, 1998. M. Wilczkowiak, E. Boyer, and P. Sturm. Camera calibration and 3d reconstruction from single images using parallelepipeds. In The 8th ICCV, volume 1, pageS122-148, Jul 2001.
しかしながら、上記した非特許文献1乃至非特許文献4に記載された影を用いた3次元形状復元技術では、カメラの内部パラメータ、固定光源の位置、参照平面のキャリブレーション等が必要である。このため、計測する前のキャリブレーションや平面設定など、多くの準備や専門知識を必要とするため、実際に利用されることはあまり無かった。
また、上記した非特許文献5乃至非特許文献8を考えてみると、これら過去の研究は全て、多面体シーンの解析に限定されたものであった。
また、非特許文献9に記載された技術では、ラインレーザ一個のみでは自由度を残した解しか得られなかった。従って、ユークリッド復元を行なうためにはレーザ平面の直交する特殊なレーザ装置を必要とし、また、カメラの内部パラメータが既知でなければならないなど、実際に利用するには制限が多かった。
また、上記した非特許文献10乃至非特許文献12に記載された技術では、ラインレーザのほかに特殊な機器を必要とするので、汎用性が低くコストが高くなる問題があった。
また、非特許文献13に記載された技術では、光源が固定であり、光源位置の校正が必要であり、高い専門性が必要とされていたので、この技術を一般的に広めることが困難であった。
また、非特許文献14に記載された技術では、対象に既知の角度を持った平行線の組が必要であり、非特許文献15の方法は対象が直方体を含む必要があった。このことから、これらの非特許文献に記載された方法は、汎用性が低い問題があった。
本発明は、上記問題を鑑みて成されたものである。本発明の主たる目的は、シーンを撮影した2次元画像に含まれる共面性とシーンの幾何学的条件とを利用して、3次元形状を復元する画像処理装置等を提供することにある。
本発明は、入力された2次元画像から3次元形状を復元する画像処理装置であり、前記2次元画像から抽出された共面性を基に、前記共面性に対応する第1平面及び前記第1平面同士の交点である第1交点の解である第1解を算出する第1算出部と、前記2次元画像中のシーンに含まれる幾何学的条件を利用して前記第1解の自由度を解消して、前記第1交点と前記第1平面の解である第2解を算出する第2算出部と、を具備することを特徴とする。
本発明は、入力された2次元画像から3次元形状を復元する画像処理方法であり、前記2次元画像から抽出された共面性を基に、前記共面性に対応する第1平面及び前記第1平面同士の交点である第1交点の解である第1解を算出するステップと、前記2次元画像中のシーンに含まれる幾何学的条件を利用して前記第1解の自由度を解消して、前記第1交点と前記第1平面の解である第2解を算出するステップと、を具備することを特徴とする。
本発明のプログラムは、入力された2次元画像から3次元形状を復元する画像処理装置に、前記2次元画像から抽出された共面性を基に、前記共面性に対応する第1平面及び前記第1平面同士の交点である第1交点の解である第1解を算出する機能と、前記2次元画像中のシーンに含まれる幾何学的条件を利用して前記第1解の自由度を解消して、前記第1交点と前記第1平面の解である第2解を算出する機能と、を実行させることを特徴とする。
ここで、上記した第1解は以下の射影解に対応し、第2解はユークリッド解に対応している。
本発明の画像処理装置等によれば、光源の位置が分からず、カメラのキャリブレーションも行われていないシーンの画像から、直線状物体の影を用いて形状復元することができる。更に、本発明は一般性が高く、遮蔽物である直線状の物体の位置や、光源の位置は、各フレームで異なっていてもよく、計測時には遮蔽物と光源を自由に動かしてよい。また、本発明では、曲面を含む対象シーンを復元できることができる。
更に本発明によれば、影の代わりにラインレーザを利用してimplicitな共面性を得ることでも良く、その場合1本のラインレーザほかに、特殊な機器を必要としない。従って、3次元形状の復元にかかるコストが低減される。また、影を利用してimplicitな共面性を得る場合は、影は自然に発生する現象であるから、implicitな共面性を得るための機器が必要とされず、3次元形状復元にかかるコストを更に小さくすることができる。
更に本発明は、光源位置は自由に動かすことができ、光源位置の校正も必要ない。従って、専門的な知識が無くとも、3次元形状を復元することができる。
また、本発明は、既知の角度を持った平行線の組や直方体が、シーンに含まれる必要がないので、それらの情報を利用して3次元形状を復元する手法と比較して、より広い範囲の2次元画像を基に3次元形状を復元できる。
<第1の実施の形態:画像処理装置の構成>
図1を参照して、本実施の形態に係る画像処理装置10の構成を説明する。
図1を参照して、本実施の形態に係る画像処理装置10の構成を説明する。
本実施の形態の画像処理装置10は、画像処理部12と、制御部20と、入力部22と、記憶部24と、表示部26と、操作部28とを主要に具備する。画像処理装置10の全体的な概略的機能は、入力された2次元画像を画像処理して、3次元形状を復元して出力することにある。また、具現化された画像処理装置10としては、所定の機能を実行するアプリケーション(プログラム)がインストールされたパーソナルコンピュータ等のコンピュータでも良いし、所定の機能を実行するように構成された画像処理専用の機器として構成されても良い。更にまた、画像処理装置10を構成する各部位は、バスを経由して相互に電気的に接続される。
画像処理部12は、主たる画像処理の機能を果たす部位であり、射影解算出部14と、ユークリッド解算出部16と、曲線復元部18とを含む。
射影解算出部14は、入力された2次元画像から抽出された共面性を基に射影解を算出する機能を有する。射影解の算出方法等は第3の実施の形態にて詳述する。この部位にて算出された射影解の情報はユークリッド解算出部16に入力される。
ユークリッド解算出部16は、射影解算出部14にて算出された射影解の自由度を解消させて、射影解をユークリッド解にアップグレードする機能を有する。このアップグレードに関する事項も、第3の実施の形態にて詳述する。この部位にて算出されたユークリッド解の情報は、曲線復元部18に伝送される。
曲線復元部18では、ユークリッド解を基に、入力された2次元画像から抽出された曲線を抽出して、この曲線上の点を3次元復元する。ここでは、射影解算出部14で利用された共面性に対応する平面とシーンとの交線を復元することができる。さらに、上記の平面以外の平面とシーンとの交線を抽出して復元することもできる。こうして密な形状を復元することができる。復元された3次元情報は、記憶部24に記憶されても良いし、表示部26に表示されても良いし、不図示のプリンタにて紙面に出力されても良い。
制御部20は、画像処理装置10全体(画像処理部12、入力部22、記憶部24、表示部26)の動作を制御している部位である。
入力部22は、外部から画像処理装置10に情報が入力される部位である。本実施の形態では、2次元画像である動画像または静止画像が入力される。
記憶部24は、HDD(Hard Disk Drive)に代表される固定式の記憶ディスク、CD(Compact Disc)やDVD(Digital Versatile Disk)等の着脱式記憶ディスク、固定式あるいは着脱式の半導体メモリ等である。本実施の形態では、記憶部24には、処理前の2次元画像、当該2次元画像から復元された3次元形状、当該2次元画像を処理することにより得られる中間的な情報が記憶される。ここで、中間的な情報とは、例えば、射影解算出部14により算出された射影解の情報、ユークリッド解算出部16により算出されたユークリッド解の情報である。
更に、記憶部24には、下記する画像処理方法を実行するためのプログラムが格納される。このプログラムは、使用者が操作部28を操作することにより呼び出されて、上記した各部位の機能を実行させる。具体的には、入力された2次元画像のデータから、3次元形状のデータを復元するように、プログラムは各部位を動作させる。
表示部26は、例えば液晶ディスプレイ、CRT(Cathode Ray Tube)、ビデオプロジェクタであり、入力された2次元画像や、この2次元画像を基に復元された3次元形状が表示される。
操作部28は、例えば、キーボードやマウスであり、使用者がこの操作部28を操作することにより、画像処理装置10は2次元画像から3次元形状を復元する。
以上が画像処理装置10の構成であるが、上記した構成要素の他にも例えば、シーンの2次元画像を撮影して取得するカメラ等の撮像手段が追加されても良い。
<第2の実施の形態:共面性に関する説明>
本実施の形態では、図2および図3を参照して共面性を説明する。
本実施の形態では、図2および図3を参照して共面性を説明する。
図2(A)を参照して、点群が同じ平面上にあるとき、それらは共面であるという。例えば、物体の表面が平面である場合、その平面上の点はすべて共面である。平面上に模様が無く、平面上の点が画像上のパターンとして観測できない場合でも、平面上の点は共面である。このように平面構造物で構成されるシーン中には多くの共面性がある。本実施の形態では、画像上で実際に観測された、物理的に存在する面上の点が持つ共面性をexplicitな共面性(請求項5に記載の第2共面性)と呼ぶ。また、このような共面性を持つ点の集合を、以降explicit共面な点集合であると記述する。
一方で、空間中には普段は陽には見えないが、ある特定な条件下において観測可能となる共面性が無数に存在している。例えば、ラインレーザの光線で物体を照らした軌跡は共面な点の集合である。こうした共面性は、通常は目に見えず、光線があたったときにのみ観測されるものである。本実施の形態ではこれを、implicitな共面性(請求項2に記載の第1共面性)と呼ぶ。また、このようにして検出された共面な点群はimplicit共面であるといい、implicit共面な点群をカメラで観測することで得られる曲線をimplicit共面な曲線と呼ぶ。explicitな共面性が一般に物体の平面部でのみ観測されるのに対して、implicitな共面性は自由な曲面を含む物体表面の任意の部分で観測可能である。
図2(B)を参照して、ラインレーザの照射と同様に、直線物の影からもimplicitな共面性の情報が得られる。影は、光のあるシーンにおいては常に存在するため、影によるimplicitな共面性は特殊な装置を用いることなく、あらゆるシーンで観測可能である。例えば、晴天の屋外に直線状の縁を持つ建物等の物体が建っていれば、その影のエッジ(境界)上の点集合はimplicit共面である。
そこで、本実施の形態では、直線状の棒に点光源をあてて出来る影からなるimplicitな共面性と、シーン中の平面として観測されるexplicitな共面性を用いて、3次元の形状を復元する。ここで、使用される共面性としては、explicitな共面性のみでも良い。
また、共面性条件のみから得られる解(請求項1に記載の第1解)は少なくとも4個の自由度を持つためユークリッドな形状を得るためには、残る自由度を解消する必要がある。本明細書ではこれをユークリッド復元と呼ぶ。また、ユークリッド復元によって得られる解(請求項1に記載の第2解)をユークリッド解と呼ぶ。
ユークリッド復元を行うには、共面性以外の条件を使う必要がある。多くの条件下において、直線状の物体の影や、シーン中の平面からは、共面性以外の情報が得られる。このような情報の例を、図3(A)を用いて説明する。
(1)地面が平面π0であり、直線状の物体λが地面と垂直に立っている場合を考える。それぞれの影に対応する平面を、π1、π2とすると、λ⊥π0より、π0⊥π1、π0⊥π2が成り立つ。
(2)図3(A)で写った直方体Bの側面を、π3、π4、π5とする。Bが直方体であるという情報があれば、π3、π4、π5は互いに直交する。また、Bが地面に接していれば、π3とπ0は並行である。上記のような情報(シーンに含まれる幾何学的条件)から得られる方程式から、解に残された自由度に対応する変数を決定し、ユークリッド復元を実現できる。さらに十分な情報があれば、カメラパラメータが未知である場合に、このパラメータを同時に推定することも可能である。
(1)地面が平面π0であり、直線状の物体λが地面と垂直に立っている場合を考える。それぞれの影に対応する平面を、π1、π2とすると、λ⊥π0より、π0⊥π1、π0⊥π2が成り立つ。
(2)図3(A)で写った直方体Bの側面を、π3、π4、π5とする。Bが直方体であるという情報があれば、π3、π4、π5は互いに直交する。また、Bが地面に接していれば、π3とπ0は並行である。上記のような情報(シーンに含まれる幾何学的条件)から得られる方程式から、解に残された自由度に対応する変数を決定し、ユークリッド復元を実現できる。さらに十分な情報があれば、カメラパラメータが未知である場合に、このパラメータを同時に推定することも可能である。
上記の例で上げた幾何学的条件において、π0⊥π1、π0⊥π2は、implicitな共面性に対応する平面(π1、π2)とexplicitな共面性に対応する平面(π0)との幾何学的条件である。また、π3、π4、π5は互いに直交するという条件は、explicitな共面性に対応する平面同士の幾何学的条件である。
また、上記した幾何学的条件としては、射影解を求めるために用いた共面性条件に対応する平面のパラメータを変数とする数式として表現可能な条件であれば、ほとんどの条件が利用可能である。ただし、共面性、共線性など、射影変換に対して不変な条件は利用することができない。利用可能な幾何学的条件の例としては、2次元画像に撮影された物体を構成する平面(explicitな共面性に対応する平面)同士の直交性、それら平面同士の平行性、平面上の直線の直交性または平行性が挙げられる。また、上記の例に挙げたように、implicitな共面性に対応する平面と、explicitな共面性に対応する平面との直交性または平行性も利用できる。また、explicitな共面性に対応する平面上の2本の直線の直交性や、平行性も利用できる。更に、シーン中の平面や点、線などの間の距離を幾何学的条件として利用することもできる。このような距離の例としては、2次元画像に撮影された物体を構成する平面同士の距離や、平面上の2点の間の距離、平面上の平行線の間の距離などが利用できる。さらに、これらの距離の比率が既知であれば、それも幾何学的条件として利用可能である。ここで、幾何学的条件としては、列挙された条件の中から2個以上が組み合わされて使用されても良い。また、これらの幾何学的条件の一部は、メトリック条件と呼ばれる場合もある。
利用する幾何学的条件によっては、最終的に得られるユークリッド解において、スケーリングを決定できない場合がある。このような解であっても、実用上問題ない場合も多い。スケーリングを決定できない場合、ユークリッド復元をメトリック復元、ユークリッド解をメトリック解と呼ぶことがある。
非特許文献9に記載の技術と本発明との違いの一つについて述べる。非特許文献9ではレーザ平面(implicitな共面性に対応する平面)同士の関係のみをユークリッド復元に利用しているため、ラインレーザ1個のみの構成では射影解しか得られず、ユークリッド解を得るためにはラインレーザを複数個組み合わせる必要があった。これに対し、本発明ではシーン中の平面(explicitな共面性に対応する平面)を含めた幾何学的条件を考慮することで、ラインレーザ1個のみの構成でのユークリッド復元を実現することができる。
<第3の実施の形態:画像処理方法の説明>
本実施の形態では、図4を参照して、2次元画像から3次元形状を復元する画像処理方法を説明する。本実施の形態の画像処理方法は、カメラで撮影された画像から共面性に基づくデータを獲得するステップS10と、獲得された共面性から射影復元を行って射影解を得るステップS11と、2次元画像に写り込んだメトリックな条件を用いて射影解からユークリッド解を算出するステップS12と、復元された3次元点を用いてimplicit共面な曲線上の点を3次元復元するステップS13から成る。画像処理方法の基本的な方針は、シーンから多くの共面な曲線群および領域群を取得し、それらの交点群から得られる多数の拘束式を、連立方程式として数値的に解くことである。共面性の拘束式を方程式としたとき、方程式系の解は4自由度を持つため、ユークリッド解を得るためには、これにメトリック拘束を加える必要がある。以下に各ステップの詳細を示す。
本実施の形態では、図4を参照して、2次元画像から3次元形状を復元する画像処理方法を説明する。本実施の形態の画像処理方法は、カメラで撮影された画像から共面性に基づくデータを獲得するステップS10と、獲得された共面性から射影復元を行って射影解を得るステップS11と、2次元画像に写り込んだメトリックな条件を用いて射影解からユークリッド解を算出するステップS12と、復元された3次元点を用いてimplicit共面な曲線上の点を3次元復元するステップS13から成る。画像処理方法の基本的な方針は、シーンから多くの共面な曲線群および領域群を取得し、それらの交点群から得られる多数の拘束式を、連立方程式として数値的に解くことである。共面性の拘束式を方程式としたとき、方程式系の解は4自由度を持つため、ユークリッド解を得るためには、これにメトリック拘束を加える必要がある。以下に各ステップの詳細を示す。
ステップS10:データの獲得
本ステップでは、影が投影されたシーンを固定カメラで撮影し、2次元の画像系列を得る。この系列の各画像から直線的な遮蔽物の影のエッジを検出することで、implicitな共面性を持つ曲線群を抽出することが出来る。また、シーンに平面領域があれば、それらの領域からサンプリングされた点は、explicitな共面性を持つ点集合とすることができる。また、以下のステップS11およびステップS12では、計算を効率的に行うために、幾つかの代表的なフレーム(2次元画像)を選択し、それらのフレームから抽出された共面性を持つ曲線のみを用いるものとする。
本ステップでは、影が投影されたシーンを固定カメラで撮影し、2次元の画像系列を得る。この系列の各画像から直線的な遮蔽物の影のエッジを検出することで、implicitな共面性を持つ曲線群を抽出することが出来る。また、シーンに平面領域があれば、それらの領域からサンプリングされた点は、explicitな共面性を持つ点集合とすることができる。また、以下のステップS11およびステップS12では、計算を効率的に行うために、幾つかの代表的なフレーム(2次元画像)を選択し、それらのフレームから抽出された共面性を持つ曲線のみを用いるものとする。
また、フレームの選択方法に関しては、自動に選択することも可能である。この時、交点を持たなかったり、共線性を持つなどの、意味の無いフレームを予め除去することで、以降の計算において、処理に要するフレームを減らすことが出来る。
具体的には、本ステップでは次のような処理を行う。即ち、シーン中の共面性を、投影された影の境界を検出することで行う。密な形状復元を行うために、連続して撮影された画像系列から、影領域のエッジを抽出する。影領域をシーン中から完全に自動抽出することは容易ではない。しかし、影の検出は長く研究されており、それら多くの手法を利用することが出来る。
この事項は既に公開された文献に記載されており、例えば、C. Jiang and M. O. Ward: “Shadow segmentation and classification in a constrained environment“, CVGIP: Image Underst. 59, 2, pp213-225 (1994).に記載されている。更に、係る事項は、E. Salvador, A. Cavallaro and T. Ebrahimi: “Cast shadow segmentation using invariant color features“, Comput. Vis. Image Underst. 95, 2, pp238-259 (2004).にも記載されている。
今回は対象が定点カメラにおける動画像であることから、時空間解析を用いることで安定した影の検出を行うことができる。以下に処理の手順を述べる。
(1)定点カメラの映像を一定時間間隔でキャプチャし、フレーム間差分により背景領域の除去を行う。
(2)こうして得られた画像列を積層し、時空間画像を作成する。
(3)時空間画像に対して、領域拡張法によるセグメンテーションを3次元空間に適用し領域分割を行う(理想的には、これら領域は、「影」と「影以外」のボリュームからなる)。
(4)分割された領域中には、ノイズなどの影響により「影」以外の領域が多数含まれるため、閾値以下の領域を削除した後、影にあたる領域をインタラクティブに選択する。
(5)その領域を各フレームに再分割し、各フレーム上でエッジを抽出する。
(1)定点カメラの映像を一定時間間隔でキャプチャし、フレーム間差分により背景領域の除去を行う。
(2)こうして得られた画像列を積層し、時空間画像を作成する。
(3)時空間画像に対して、領域拡張法によるセグメンテーションを3次元空間に適用し領域分割を行う(理想的には、これら領域は、「影」と「影以外」のボリュームからなる)。
(4)分割された領域中には、ノイズなどの影響により「影」以外の領域が多数含まれるため、閾値以下の領域を削除した後、影にあたる領域をインタラクティブに選択する。
(5)その領域を各フレームに再分割し、各フレーム上でエッジを抽出する。
上記手法により得られた、影の境界が通る平面(以下このような平面を影平面と呼ぶ)と対象物体との交わりが、implicit共面な曲線群として検出される。また、シーン中に平面がある場合、この平面に対応する領域上の全ての点は、共面である。実際には、領域上の全ての点を抽出する必要は無く、図3(B)のように、その平面を通るimplicit共面な曲線と交点を持つように、その領域上に手動で直線や曲線を適当に設定すれば良い。得られた交点は、それぞれ、複数の平面上にある。こうして得られた交点集合の共面性情報を用いて、以下で述べる手法により3次元復元及び自己校正を実現する。
共面性情報の獲得には、影の代替としてラインレーザを使用することもできる。この場合、ラインレーザを対象シーンに照射しながら撮影を行ない、撮影された画像中からラインレーザに照射された点の軌跡を抽出すればよい。この場合、ラインレーザが通過する3次元空間中での平面を、レーザ平面と呼ぶことがある。
ステップS11:射影復元
本ステップでは、共面性からの形状復元(shape from coplanarity)を行う。即ち、共面性の情報から多数の拘束式を抽出し、これらの拘束式から得られる線形連立方程式を数値的に解くことで、4以上の自由度を持つ射影解が得られる。
本ステップでは、共面性からの形状復元(shape from coplanarity)を行う。即ち、共面性の情報から多数の拘束式を抽出し、これらの拘束式から得られる線形連立方程式を数値的に解くことで、4以上の自由度を持つ射影解が得られる。
具体的には、先ず、影平面、レーザ平面、およびシーン中の平面集合を考え、j番目の平面をπjとする。カメラ座標系において、平面πjを以下の方程式で表す。
これより解xは、
ステップS12:ユークリッド復元
シーン内に、直交性や平行性を持った構造物が写っていることがある。それら直交性や平行性などの幾何学的条件からは、共面性とは別の拘束式が得られるため、これを非線形解法により解くことで、射影解からユークリッド解を得ることが出来る。
シーン内に、直交性や平行性を持った構造物が写っていることがある。それら直交性や平行性などの幾何学的条件からは、共面性とは別の拘束式が得られるため、これを非線形解法により解くことで、射影解からユークリッド解を得ることが出来る。
具体的には、上記ステップS11で得られた射影解は、f1、・・・、f4による4自由度を持つ。これにはスケーリングの自由度が含まれる。また、カメラの内部パラメータαが未知である場合、パラメータαによる自由度も射影解に含まれる。これらの自由度は共面性の条件のみでは解消できない。ただし、シーンに含まれる幾何学的条件によって射影解の自由度の一部、あるいはすべてを解消できる場合がある。
例として、平面πsと平面πtの直交性が既知情報として与えられているとする。平面πsの単位法線ベクトルを、変数ベクトルfの関数として、ns(f、α)=N((as(f、α)bs(f、α)-1)T)とおく。ただしN()は、ベクトルの正規化を表すとする。すると、直交性の条件は次のように記述できる。
カメラパラメータαが未知の場合には、幾何学的条件は、f及びαの関数として表現可能であるので、非線形最適化によってこれらのパラメータの値を推定する。
一方、カメラパラメータが既知の場合には、fのみによる最適化を行ない、fの値を推定する。
これにより、ステップS11で述べたN個の平面とM個の点の位置が求められる。
非線形最適化を実行する場合、初期値の決定の仕方が問題になる。このためには、適当な平面パラメータから、線型方程式の解ベクトルxiを作成し、これからfI=VTxIとし、fIの最後の4個の要素をf1、・・・、f4の初期値とすることで自由変数を決定することができる。これは、平面パラメータxの空間(3N次元)から、線形方程式の解空間(4次元)に対し、xIとfIのユークリッド距離が最小になるように射影を行うことに相当する。この方法により、任意の平面パラメータの組み合わせから、共面性の条件の満たされた平面パラメータを得ることが出来る。
ステップS13:密な形状復元
ここまでのステップの処理は、効率的な計算のため少ないフレームを用いた形状復元であったため、既に復元された3次元点を用いて、全ての画像列の共面な曲線の3次元復元を行うことで、シーンの密な形状復元を実現する。
ここまでのステップの処理は、効率的な計算のため少ないフレームを用いた形状復元であったため、既に復元された3次元点を用いて、全ての画像列の共面な曲線の3次元復元を行うことで、シーンの密な形状復元を実現する。
具体的には、さらに、ここまでのステップでの復元結果をもとにして、画像系列の全ての画像における3次元復元を行うことで密な形状復元を実現できる。以下にその処理の手順を述べる。
まず、既に推定された影平面あるいはレーザ平面(請求項9に記載の第1平面)について、対応するimplicit共面な曲線を抽出し、曲線上の全ての点を三角測量の原理で3次元復元する。
次に、画像列のすべての画像におけるimplicit共面な曲線(請求項10に記載の軌跡)を求める。これは、影を用いた復元の場合には、時空間画像におけるセグメンテーションなどにより、ラインレーザを用いた復元の場合にはレーザ軌跡の抽出などにより求めることができる。画像系列全ての画像についてimplicit共面な曲線が求まっていることから、それらの曲線と既に3次元復元された曲線との交点(請求項10に記載の共有点)を複数検出する。こうして得られた複数の3次元点を主成分分析によって平面近似することで影平面あるいはレーザ平面の推定を行う。影平面が得られればその曲線上の全ての点の3次元点を復元できる。これを繰り返すことで、全ての影曲線の形状復元が実現できる。
また、上記した画像処理方法は、HDD等の記憶手段に格納されたプログラムにより順次実行可能である。
<第4の実施の形態:実験結果の説明>
上記した第3の実施の形態で述べた手法を実装し、その有効性を確かめるための実験を、CGにより生成したデータと、実データについて行った。この時、スケーリングの自由度を残したユークリッド復元を実現するためのメトリックな拘束として、シーン中にある既知の情報を用いた。この情報は、(1)直方体の角などにある直角成分と、(2)影が1つの棒から投影されている時に、対応する全ての影平面がその棒で交わる、という2つである。またここで、影の代替としてレーザを使用することもできる。
上記した第3の実施の形態で述べた手法を実装し、その有効性を確かめるための実験を、CGにより生成したデータと、実データについて行った。この時、スケーリングの自由度を残したユークリッド復元を実現するためのメトリックな拘束として、シーン中にある既知の情報を用いた。この情報は、(1)直方体の角などにある直角成分と、(2)影が1つの棒から投影されている時に、対応する全ての影平面がその棒で交わる、という2つである。またここで、影の代替としてレーザを使用することもできる。
図5を参照して、先ず、シミュレーションデータに関して説明する。図5(A)および図5(B)はCGで生成したときのデータを示す。これらのデータは、平面状の床の上にバニーの形状データと鉛直なポールの3つのオブジェクトが置いてあるシーンとなっている。このシーンの手前側で光源が動くことで、シーンの奥の方向に向かって出来ている影が動く。この影による曲線を検出して拘束式を作る。ここでは、160枚の画像が使用され、160個の影平面と床面とが復元の対象となった。影平面の非線形最適化の初期値を、光源が手前側の左右どちらに存在しているかということから与えた。
この例では、影平面については全て右側の光源から生成されるので、z=x-1.0という初期値を与え、床面の初期値はz=y-1.0とした。これらの条件の下で、ユークリッド復元を行った。上記したように、この問題設定ではスケーリングの自由度は解消不能なので、4自由度からのアップグレードは3変数の非線形最適化問題として解を求めることで行った。ユークリッド復元のための拘束としては、ポールが床面と垂直であることから、影平面のうちの2個についての床面との直交条件と、床面の角の一つの直交性を用いた。復元結果を正解と比較するために、正解位置を利用して、カメラからの平均距離が正解に等しくなるようにスケーリングを施した。
図5(C)および図5(D)に、結果として得た曲線と、正解形状にシェーディングを施したものを示す。復元結果は正解形状に非常に近く、ほぼ正しい形状が復元された。
図6を参照して、次に、室内で、光源としてプロジェクタを用いて、実際のシーンについて実験を行った。カメラの内部パラメータは未知である。計測手順として、まず、対象物体にビデオカメラを向け、光源であるプロジェクタおよび、影を作る棒状の物体をそれぞれ自由に動かしながら、対象物体に出来る影を撮影し、画像系列を得た。続いて、この画像系列から、適当な画像を複数枚選択し、それらの画像上で影が作る曲線を検出し、それら曲線どうしの交点から本形態により3次元復元を行った。
実験では、7枚の画像を選択し、シーンの3次元復元を行った。復元に用いた対象物体、入力画像と検出された曲線、復元結果を図6(A)乃至図6(F)に示す。ここで、図6(A)および図6(B)は実験状況を撮影した画像であり、図6(C)および図6(D)は3次元復元を行った結果の画像であり、図6(E)および図6(F)は復元された3次元形状にテクスチャを適用させたものである。特に、図6(E)等を参照すると、密な形状がテクスチャつきで正しく復元できていることが分かる。3D photographyとは異なり、光源も影を作る棒も自由に動かしても正しく形状復元できており、これは本形態の大きな効果である。
図7を参照して、次に、本形態の手法の精度を検証するため、箱と円筒状の物体を、本形態の手法および空間コード化法の2つの手法で計測し、空間コード化法による形状を正解とし比較を行った。
ここで、空間コード化法は、K. Sato and S. Inokuchi: “Range−imaging system utilizing nematic liquid crystal mask“, Proc. of FirstICCV, pp. 657−661 (1987).に記載されている。
図7(A)および図7(B)に本形態による計測シーンを、図7(C)および図7(D)に計測結果を示す。また、図7(E)および図7(F)に、本形態により復元された結果(シェーディング表示)に、正解形状(ワイアフレーム表示)を重ねて示した。本形態はスケーリングが不定のため、正解形状との比較にあたり、平均の深さ値が一致するようにスケーリングを施した。図7(E)および図7(F)より、本形態による復元結果は正解形状に対して少しずれが見られるものの正しく形状復元できていることが分かる。また、RMS誤差は、平均デプス値を1として1.80ラ10-2であった。
図8を参照して、次に、屋外に設置された内部パラメータ未知な定点カメラによる映像からの形状復元を行った。これは、屋外に設置された定点カメラから転送されてくる画像を一定時間取り込み、そのシーンに写っている影から本形態により形状復元を行うものである。シーン内には、共面性を持たない多くの影も存在しており、完全な影の自動抽出は困難ではあるが、本形態の時空間画像処理手法により、共面性を持つ影のみを簡単な操作でインタラクティブに抽出することが出来る。用いたシーン画像の例と、復元結果を図8(A)乃至図8(E)に示す。
ここで、図8(A)および図8(B)は入力された2次元画像であり、図8(C)および図8(D)は3次元復元を行った結果の画像であり、図8(E)および図8(F)は復元された3次元形状にテクスチャを適用させたものである。影抽出段階で細かいデティールを削除してしまうため、滑らかな形状となっているが、本形態により、定点カメラに写ったシーンが正しく形状復元できていることが分かる。
以上の実験結果から、次のことを述べることができる。即ち、本実施の形態では、光源の位置が固定されておらず未知であり、またカメラが未校正な場合であっても、シーン内に写る直線物体の影を複数用いて、3次元の形状を復元できる。これは、従来の線画研究において、平面同士の交線から、共面の性質を利用して多面体の形状解析の手法として提案されたものを、一般の曲面に拡張した手法となっている。その際、共面性のみによる復元では4自由度の射影解しか得られないため、これに幾何学的条件を加えユークリッド解を計算し、同時にカメラの内部パラメータの推定を実現する。また、本実施の形態は、影領域をシーンから安定して抽出するための時空間画像解析手法としても利用できる。
<第5の実施の形態:他の画像処理方法の説明>
上記方法では、レーザや影によるimplicitな共面性と2次元画像に含まれるexplicitな共面性とを利用して3次元形状を復元した。しかしながら、本実施の形態の画像処理方法では、implicitな共面性を使用せずに、2次元画像に含まれるexplicitな共面性のみを使用して3次元形状を復元することも可能である。
上記方法では、レーザや影によるimplicitな共面性と2次元画像に含まれるexplicitな共面性とを利用して3次元形状を復元した。しかしながら、本実施の形態の画像処理方法では、implicitな共面性を使用せずに、2次元画像に含まれるexplicitな共面性のみを使用して3次元形状を復元することも可能である。
図9および図10を参照して、explicitな共面性のみを用いて2次元画像から3次元形状を復元した例を説明する。
ここでは、2つのシーン(2次元画像)を用いた。第1のシーン(図9参照)は、従来からの復元方法にて仮定された幾何学的条件を含むものである。すなわち、この第1のシーンは、互いに垂直な方向の一対の消失点を含む。図10に示す第2のシーンは、従来からの復元方法にて仮定された幾何学的条件を含まないものである。
図9(A)は、第1の実験に用いられた画像を示す。この画像を撮影したカメラのパラメータは未知である。このシーンから、共面性と直交性が抽出された。そして、シーンの復元と固有パラメータの推定が、この2次元画像に対して実行された。ここで、ユークリッド復元の際の仮定は、αu=αv、uc=vc=0である。
この復元では、スケールを除いてユークリッド解が求められた。図9(B)および図9(C)は、ユークリッド復元の結果を示す。これらの図を参照すると、3次元シーンは、直交性および平行性を含めて的確に復元されている。
図10を参照して、次に、2つの柱を含むシーンの合成とCGイメージの復元を行った。更に、このCGイメージに対して復元処理を行った。ここで、図10(A)は合成データからの復元であり、図10(B)は実際の3Dモデルであり、図10(C)は図10(B)と同じ方向と視点から描画された復元モデルであり、図10(D)および図10(E)は実際の3Dモデルと、推定された3Dポイントとの差を示す図である。
図10(A)を参照して、この柱の形状は細長い直方体である。また、この直方体形状の柱の上面は不可視であり、底面は床により塞がれている。互いの柱の短手方向の縁の比は既知であると仮定されている。
2つの平行性がシーンに存在しているが、この平行性を示す平行線の方向の角度は未知である。更に、長方形の箱や平行6面体の形状も、シーンに存在しない。従って、この様な特徴を仮定する復元方法は、このシーンの復元には使用できない。
しかしながら、このシーンには、十分な数の幾何学的条件がある。すなわち、柱の2つの面の直交性、2つの短いエッジの比、柱に沿った2つの平行性である。従って、本形態の方法が利用可能である。スケーリングを除いてユークリッド復元を行なった。また、αuは、αu=αv、uc=vc=0と仮定した。
復元の結果は、図10(B)乃至図10(E)に示されている。図10(D)と(E)において点で示されているのが3次元復元結果であり、シェーディング表示されているのが正解である。これらの図から、非常に高い精度で復元できていることが図から確認できる。ここで、αuは、1.101×103と評価された。一方、αuの真の値は、1.120×103である。従って、シーンは適切に復元されており、更に、αuは正しく評価されている。定量的に復元のエラーを評価するために、深さについて、誤差と、真の値との比を算出した。この比の平均平方の累乗根は、1.990×10−3であった。
本発明によれば、例えば、ネットワーク上で公開されている定点カメラで内部パラメータが未知であり、キャリブレーションや棒の移動など、現地での作業が不可能な場合でも、計測された2次元画像から、3次元形状を生成することができる。具体的には、カメラパラメータ等のパラメータが未知であっても、太陽の動きによる影の移動を一定時間撮影することで、3次元形状を復元することができる。また、1本のレーザのみを用いた形状復元が可能となるため、ピラミッドのような巨大な物体や、原子炉の中のように複雑な装置を運び込むことが難しい場所でも3次元形状を復元できるようになる。
10 画像処理装置
12 画像処理部
14 射影解算出部
16 ユークリッド解算出部
18 曲線復元部
20 制御部
22 入力部
24 記憶部
26 表示部
28 操作部
12 画像処理部
14 射影解算出部
16 ユークリッド解算出部
18 曲線復元部
20 制御部
22 入力部
24 記憶部
26 表示部
28 操作部
Claims (12)
- 入力された2次元画像から3次元形状を復元する画像処理装置であり、
前記2次元画像から抽出された共面性を基に、前記共面性に対応する第1平面及び前記第1平面同士の交点である第1交点の解である第1解を算出する第1算出部と、
前記2次元画像中のシーンに含まれる幾何学的条件を利用して前記第1解の自由度を解消して、前記第1交点と前記第1平面の解である第2解を算出する第2算出部と、
を具備することを特徴とする画像処理装置。 - 前記第1算出部にて用いられる共面性は、前記2次元画像上のシーン中には物理的に存在しない平面による共面性である第1共面性のみであることを特徴とする請求項1記載の画像処理装置。
- 前記第1共面性は、直線的な形状を有する遮蔽物により前記2次元画像に射影された影の境界の共面性であることを特徴とする請求項2記載の画像処理装置。
- 前記第1共面性は、1つのラインレーザプロジェクタで照射されたレーザーの軌跡の共面性であることを特徴とする請求項2記載の画像処理装置。
- 前記第1算出部にて用いられる共面性は、前記2次元画像上のシーン中に物理的に存在する平面による共面性である第2共面性のみであることを特徴とする請求項1記載の画像処理装置。
- 前記第1算出部にて用いられる共面性は、
前記2次元画像上のシーン中には物理的に存在しない平面による共面性である第1共面性と、前記2次元画像上のシーン中に物理的に存在する平面よる共面性である第2共面性との両方を含むことを特徴とする請求項1記載の画像処理装置。 - 前記第2算出部にて用いられる前記幾何学的条件は、
前記2次元画像に撮影された物体を構成する平面である第2平面同士の直交性、前記第2平面同士の平行性、前記第2平面上の直線の直交性または平行性、前記第2平面上の直線の直交性または平行性、前記第1平面と前記第2平面の直交性または平行性、前記2次元画像に撮影された平面または直線または点の間の距離、または前記距離の比率を含むことを特徴とする請求項1記載の画像処理装置。 - 前記第1解の自由度は、前記2次元画像を撮影したカメラの内部パラメータの自由度を含み、前記第2算出部において前記内部パラメータの自由度を解消することを特徴とする請求項1記載の画像処理装置。
- 前記2次元画像上において抽出される前記第1平面上の点について、その3次元位置を三角測量の原理で復元する曲線復元部と、
を具備することを特徴とする請求項1記載の画像処理装置。 - 前記曲線復元部では、前記第1共面性に対応する平面であり且つ3次元位置が求まっていない第2平面について、前記2次元画像上で前記第2平面がシーンと交わる軌跡を抽出し、前記軌跡と前記得られた第1平面上の点の3次元位置との前記2次元画像上での共有点から前記第2平面のパラメータを推定することを特徴とする請求項9記載の画像処理装置。
- 入力された2次元画像から3次元形状を復元する画像処理方法であり、
前記2次元画像から抽出された共面性を基に、前記共面性に対応する第1平面及び前記第1平面同士の交点である第1交点の解である第1解を算出するステップと、
前記2次元画像中のシーンに含まれる幾何学的条件を利用して前記第1解の自由度を解消して、前記第1交点と前記第1平面の解である第2解を算出するステップと、
を具備することを特徴とする画像処理方法。 - 入力された2次元画像から3次元形状を復元する画像処理装置に、
前記2次元画像から抽出された共面性を基に、前記共面性に対応する第1平面及び前記第1平面同士の交点である第1交点の解である第1解を算出する機能と、
前記2次元画像中のシーンに含まれる幾何学的条件を利用して前記第1解の自由度を解消して、前記第1交点と前記第1平面の解である第2解を算出する機能と、
を実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007196741A JP2009032123A (ja) | 2007-07-27 | 2007-07-27 | 画像処理装置、画像処理方法およびプログラム |
PCT/JP2008/001971 WO2009016809A1 (ja) | 2007-07-27 | 2008-07-24 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007196741A JP2009032123A (ja) | 2007-07-27 | 2007-07-27 | 画像処理装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009032123A true JP2009032123A (ja) | 2009-02-12 |
Family
ID=40304053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007196741A Pending JP2009032123A (ja) | 2007-07-27 | 2007-07-27 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2009032123A (ja) |
WO (1) | WO2009016809A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020537210A (ja) * | 2017-10-06 | 2020-12-17 | バーンスタイン,アーロン | 物体の三次元モデルを形成するための1つ又は複数の光度エッジの生成 |
KR20210040849A (ko) * | 2020-05-15 | 2021-04-14 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3729533B2 (ja) * | 1995-05-25 | 2005-12-21 | 沖電気工業株式会社 | ポインティングシステム |
JP2005071264A (ja) * | 2003-08-27 | 2005-03-17 | Ricoh Co Ltd | 三次元画像生成装置 |
-
2007
- 2007-07-27 JP JP2007196741A patent/JP2009032123A/ja active Pending
-
2008
- 2008-07-24 WO PCT/JP2008/001971 patent/WO2009016809A1/ja active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020537210A (ja) * | 2017-10-06 | 2020-12-17 | バーンスタイン,アーロン | 物体の三次元モデルを形成するための1つ又は複数の光度エッジの生成 |
JP7086330B2 (ja) | 2017-10-06 | 2022-06-20 | アドバンスド スキャナーズ,インコーポレイテッド | 物体の三次元モデルを形成するための1つ又は複数の光度エッジの生成 |
KR20210040849A (ko) * | 2020-05-15 | 2021-04-14 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체 |
JP2021119528A (ja) * | 2020-05-15 | 2021-08-12 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 三次元物体検出方法、三次元物体検出装置、電子機器、記憶媒体及びコンピュータプログラム |
JP7189270B2 (ja) | 2020-05-15 | 2022-12-13 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 三次元物体検出方法、三次元物体検出装置、電子機器、記憶媒体及びコンピュータプログラム |
US11587338B2 (en) | 2020-05-15 | 2023-02-21 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Three-dimensional object detection method, electronic device and readable storage medium |
KR102605535B1 (ko) * | 2020-05-15 | 2023-11-22 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체 |
Also Published As
Publication number | Publication date |
---|---|
WO2009016809A1 (ja) | 2009-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10916033B2 (en) | System and method for determining a camera pose | |
EP3242275B1 (en) | Using photo collections for three dimensional modeling | |
Faugeras et al. | 3-d reconstruction of urban scenes from image sequences | |
Yang et al. | Image-based 3D scene reconstruction and exploration in augmented reality | |
US8823775B2 (en) | Body surface imaging | |
US8452081B2 (en) | Forming 3D models using multiple images | |
US8433157B2 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
US9519968B2 (en) | Calibrating visual sensors using homography operators | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
US20130259403A1 (en) | Flexible easy-to-use system and method of automatically inserting a photorealistic view of a two or three dimensional object into an image using a cd,dvd or blu-ray disc | |
JP2015201850A (ja) | 撮像装置のパラメータ推定方法 | |
WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
US10783607B2 (en) | Method of acquiring optimized spherical image using multiple cameras | |
Winnemöller et al. | Light waving: Estimating light positions from photographs alone | |
WO2020136523A1 (en) | System and method for the recognition of geometric shapes | |
WO2018056802A1 (en) | A method for estimating three-dimensional depth value from two-dimensional images | |
JP2000268179A (ja) | 三次元形状情報取得方法及び装置,二次元画像取得方法及び装置並びに記録媒体 | |
EP2779102A1 (en) | Method of generating an animated video sequence | |
JP2009032123A (ja) | 画像処理装置、画像処理方法およびプログラム | |
Maimone et al. | A taxonomy for stereo computer vision experiments | |
Frisky et al. | Acquisition Evaluation on Outdoor Scanning for Archaeological Artifact Digitalization. | |
TWI595446B (zh) | 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 | |
CN113379899B (zh) | 一种建筑工程工作面区域图像自动提取方法 | |
JP5307549B2 (ja) | 3次元形状計測方法およびその装置 | |
Miles et al. | Computational photography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081216 |