JP2004046772A - 画像処理方法、画像処理システム、及び画像処理装置 - Google Patents
画像処理方法、画像処理システム、及び画像処理装置 Download PDFInfo
- Publication number
- JP2004046772A JP2004046772A JP2002289178A JP2002289178A JP2004046772A JP 2004046772 A JP2004046772 A JP 2004046772A JP 2002289178 A JP2002289178 A JP 2002289178A JP 2002289178 A JP2002289178 A JP 2002289178A JP 2004046772 A JP2004046772 A JP 2004046772A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- light
- image processing
- light emitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Abstract
【課題】画像における特徴点の抽出、画像間での特徴点の対応付けを容易にする画像処理方法、画像処理システム、及び画像処理装置の提供。
【解決手段】撮像対象物Ｔを撮像する撮像装置１０Ｐ，１０Ｑと、複数の発光部Ｌ１ 〜Ｌ８ 及び該発光部Ｌ１ 〜Ｌ８ の点灯及び消灯を制御する制御部２１を有する発光装置２０と、画像処理機能を有する画像処理装置３０とを備え、発光装置２０により撮像対象物Ｔに照射された光像に基づき特徴点を抽出し、複数の画像間で特徴点同士の対応付けを行う。また、対応付けを行った特徴点に基づき、撮像装置１０Ｐ，１０Ｑの位置及び姿勢を求める。
【選択図】 図１
【解決手段】撮像対象物Ｔを撮像する撮像装置１０Ｐ，１０Ｑと、複数の発光部Ｌ１ 〜Ｌ８ 及び該発光部Ｌ１ 〜Ｌ８ の点灯及び消灯を制御する制御部２１を有する発光装置２０と、画像処理機能を有する画像処理装置３０とを備え、発光装置２０により撮像対象物Ｔに照射された光像に基づき特徴点を抽出し、複数の画像間で特徴点同士の対応付けを行う。また、対応付けを行った特徴点に基づき、撮像装置１０Ｐ，１０Ｑの位置及び姿勢を求める。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は複数の画像間の対応関係を求める際の特徴点を人工的に作り出して画像処理を行う画像処理方法、画像処理システム、及び画像処理装置に関する。
【０００２】
【従来の技術】
近年の画像処理技術の発達に伴い、複数の２次元画像から３次元形状モデルを作成する技術、３次元形状を計測する技術、及び複数の２次元画像を貼り合わせて２次元のパノラマ画像を合成する技術の開発が盛んに行われている。
【０００３】
以下、従来の３次元形状モデルの作成方法について説明する。３次元形状モデルを作成する際、まず、撮像対象となるものをデジタルカメラ又は銀塩カメラを用いて複数の視点から撮像し、撮像して得られた複数の２次元画像をパーソナルコンピュータのような画像処理を行うことができる画像処理装置に読込む。銀塩カメラにより得られた２次元画像は、スキャナ装置等の光学式読取り装置によって予めデジタル化した後、画像処理装置に読込む。
【０００４】
図１２は撮像対象を撮像する際の配置を示す模式図であり、図１３は撮像して得られた２次元画像間の関係を説明する模式図である。図中１０Ｐ，１０Ｑは、撮像対象物Ｔを撮像するためのデジタルカメラ、銀塩カメラ等の撮像装置である。撮像装置１０Ｐ，１０Ｑにより撮像された画像は、前述した方法により画像処理装置に読込まれる。図１２に示した如く立方体と三角錐とからなる撮像対象物Ｔを撮像装置１０Ｐ，１０Ｑにより撮像した場合、撮像した視点により画像に現れる撮像対象物Ｔの形状の向きが異なる。例えば、撮像装置１０Ｐにより撮像された画像１００Ｐは撮像対象物Ｔの正面近傍から撮像されたものであり、撮像装置１０Ｑにより撮像された画像１００Ｑは、撮像対象物Ｔの斜め上方から撮像されたものである。
【０００５】
このような画像（２次元画像）を用いて３次元形状モデルを作成する場合、まず、異なる２つの視点から撮像された２次元画像上で互いに対応する対応点を求め、求めた対応点から撮像対象物Ｔを撮像する際の撮像装置１０Ｐ，１０Ｑの位置及び姿勢を導き出す。次いで、導き出した撮像装置１０Ｐ，１０Ｑの位置及び姿勢に基づき、立体視の原理を利用して形状のモデリングを行う。
【０００６】
このように３次元形状モデルを作成する場合には、２次元画像上で互いに対応する対応点を求める必要がある。従来では、まず、読込んだ画像から２値画像、明暗画像、エッジ画像等を生成して、２次元画像に写っている形状の輪郭を抽出し、その輪郭情報を元に形状の特徴的な点（特徴点）を求める。そして、各画像間で求めた特徴点間の対応付けを行い、対応点を求めることを行っていた（例えば、非特許文献１参照）。
【０００７】
図１３に示した例では、各２次元画像から立方体及び三角錐が持つ頂点を特徴点として抽出する。画像１００Ｐからは、点Ｐ１ 〜点Ｐ１１を特徴点として抽出することが可能であり、画像１００Ｑからは、点Ｑ１ 〜点Ｑ１１を特徴点として抽出することが可能である。そして、撮像した際の撮像装置１０Ｐ，１０Ｑの位置及び姿勢を求めるために、特徴点間の対応付けを行い、（Ｐ１ ，Ｑ１ ）、（Ｐ２ ，Ｑ２ ）、（Ｐ３ ，Ｑ３ ）、…のように互いに対応する特徴点（対応点）の組を求める。
【０００８】
【非特許文献１】
井口征士，佐藤宏介共著，「三次元画像計測」，初版，株式会社昭晃堂，１９９０年１１月２０日，ｐ１２０−ｐ１４１
【０００９】
【発明が解決しようとする課題】
撮像対象物Ｔの形状が立方体、三角錐のように頂点を有するものである場合、特徴点の抽出が比較的容易であるが、撮像対象の形状が、球状、円柱状、又はそれらの組合せからなる場合には、画像処理装置により自動的に特徴点を抽出することが困難であるため、必ずしも撮像装置１０Ｐ，１０Ｑの位置及び姿勢を求める際に必要な数の対応点の組を求めることが出来ない場合がある。
【００１０】
また、対応点を求める際には、例えば、読込んだ２次元画像から２値画像、明暗画像等を生成して、２次元画像に含まれる形状から特徴点を抽出し、抽出した特徴点の対応付けを行う必要があり、対応点を求める際の計算時間が長くなる場合が生じていた。
【００１１】
本発明は斯かる事情に鑑みてなされたものであり、撮像対象に光を照射して撮像した複数の画像を読込み、照射した光により撮像対象に生じた光像の位置を読込まれた各画像から算出し、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求め、求めた対応点からの撮像した際の撮像装置の位置及び姿勢を算出する構成とすることにより、撮像対象に特徴点を見出せない場合であっても、照射した光の光像に基づき各画像間で対応する対応点を求めることができ、求めた対応点に基づいて撮像装置の位置及び姿勢を求めることができる画像処理方法、画像処理システム、及び画像処理装置を提供することを目的とする。
【００１２】
本発明の他の目的は、スポット光を撮像対象に照射して撮像する構成とすることにより、撮像対象に特徴点を見出せない場合であっても、照射した光の光像に基づき各画像間で対応する対応点を求めることができ、求めた対応点に基づいて撮像装置の位置及び姿勢を求めることができる画像処理システムを提供することにある。
【００１３】
本発明の更に他の目的は、各別に固有の色を有する複数のスポット光を撮像対象に照射して撮像する構成とすることにより、複数の画像に夫々現れるスポット光の光像の位置を容易に対応付けることができる画像処理システムを提供することにある。
【００１４】
本発明の更に他の目的は、照射するスポット光毎の点灯及び消灯を制御する制御手段を更に備える構成とすることにより、複数の画像に夫々現れるスポット光の光像の位置を容易に対応付けることができる画像処理システムを提供することにある。
【００１５】
本発明の更に他の目的は、計時手段により出力された時間に基づきスポット光毎の点灯及び消灯を制御する構成とすることにより、複数の画像に夫々現れるスポット光の光像の位置を容易に対応付けることができる画像処理システムを提供することにある。
【００１６】
本発明の更に他の目的は、算出した撮像装置の位置及び姿勢に基づいて３次元画像を求める構成とすることにより、容易に３次元画像を求めることができる画像処理装置を提供することにある。
【００１７】
本発明の更に他の目的は、算出した撮像装置の位置及び姿勢に基づいて合成画像を求める構成とすることにより、容易に合成画像を求めることができる画像処理装置を提供することにある。
【００１８】
【課題を解決するための手段】
第１発明に係る画像処理方法は、撮像対象を撮像装置により撮像するステップと、撮像して得られた画像を画像処理装置に読込むステップと、該ステップにより読込まれた複数の画像に基づいて、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を算出するステップとを有する画像処理方法において、前記撮像対象に光を照射するステップと、光を照射して撮像した複数の画像を読込むステップと、照射した光により前記撮像対象に生じた光像の位置情報を読込まれた各画像から算出するステップと、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求めるステップと、求めた対応点に基づき、前記撮像装置の位置及び姿勢を算出するステップとを有することを特徴とする。
【００１９】
第２発明に係る画像処理システムは、撮像対象を撮像する撮像装置と、該撮像装置により撮像して得られた画像を読込む手段、及び該手段により読込まれた複数の画像に基づいて、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を求める手段を有する画像処理装置とを備える画像処理システムにおいて、前記撮像対象に光を照射する発光装置を備え、前記画像処理装置は、前記発光装置により光を照射して撮像した複数の画像を読込むべくなしてあり、照射した光により前記撮像対象に生じた光像の位置情報を読込まれた各画像から算出する手段と、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求める手段とを備え、求めた対応点に基づき、前記撮像装置の位置及び姿勢を算出すべくなしてあることを特徴とする。
【００２０】
第３発明に係る画像処理システムは、第２発明に係る画像処理システムにおいて、前記発光装置は、１又は複数のスポット光を照射する手段を備えることを特徴とする。
【００２１】
第４発明に係る画像処理システムは、第２発明に係る画像処理システムにおいて、前記発光装置は、各別に固有の色を有する複数のスポット光を照射する手段を備えることを特徴とする。
【００２２】
第５発明に係る画像処理システムは、第３発明又は第４発明に係る画像処理システムにおいて、前記発光装置は、照射するスポット光毎の点灯及び消灯を制御する制御手段を更に備えることを特徴とする。
【００２３】
第６発明に係る画像処理システムは、第５発明に係る画像処理システムにおいて、計時手段を更に備え、前記制御手段は前記計時手段が出力した時間に基づき制御すべくなしてあることを特徴とする。
【００２４】
第７発明に係る画像処理装置は、撮像装置により撮像対象を撮像した画像を読込む読込手段と、該読込手段により読込まれた複数の画像に基づいて、撮像対象を撮像した際の撮像装置の位置及び姿勢を求める手段とを備える画像処理装置において、撮像対象に光を照射して撮像した複数の画像を前記読込手段により読込むべくなしてあり、照射した光により前記撮像対象に生じた光像の位置情報を読込まれた各画像から算出する手段と、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求める手段とを備え、求めた対応点に基づき、撮像装置の位置及び姿勢を算出すべくなしてあることを特徴とする。
【００２５】
第８発明に係る画像処理装置は、第７発明に係る画像処理装置において、算出した撮像装置の位置及び姿勢に基づき、前記撮像対象の３次元画像を求める手段を更に備えることを特徴とする。
【００２６】
第９発明に係る画像処理装置は、第７発明に係る画像処理装置において、算出した撮像装置の位置及び姿勢に基づき、前記画像から合成画像を生成する手段を更に備えることを特徴とする。
【００２７】
第１発明、第２発明、及び第７発明にあっては、撮像対象に光を照射して撮像した複数の画像を読込み、照射した光により撮像対象に生じた光像の位置を各画像から算出し、算出した光像の位置に基づき撮像した際の撮像装置の位置及び姿勢を求めるようにしている。したがって、撮像対象に特徴点を見出せない場合であっても、発光装置により照射した光の光像を特徴点の代わりとして利用することが可能であり、それらの特徴点に基づき各画像上で互いに対応する対応点を求めることが可能となる。また、特徴点を抽出する際、２値画像、明暗画像等を生成する処理を省くことができ、計算時間を短縮することができる。
【００２８】
第３発明にあっては、発光装置が複数のスポット光を照射する手段を備えているため、撮像対象に特徴点を見出せない場合であっても、照射したスポット光の光像を特徴点の代わりとして利用することが可能であり、この特徴点に基づき各画像間での対応点を算出することができる。また、特徴点を抽出する際、２値画像、明暗画像等を生成する処理を省くことができ、計算時間を短縮することができる。
【００２９】
第４発明にあっては、各別に固有の色を有する複数のスポット光を照射する手段を備えているため、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００３０】
第５発明にあっては、照射するスポット光毎の点灯及び消灯を制御する手段を備えている。したがって、スポット光を照射した場合の画像とスポット光を照射しない場合の画像とを比較することによって、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００３１】
第６発明にあっては、照射するスポット光毎の点灯及び消灯を時間により制御する手段を備えている。したがって、スポット光を照射した場合の画像とスポット光を照射しない場合の画像とを比較することによって、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００３２】
第８発明にあっては、算出した撮像装置の位置及び姿勢に基づき、３次元画像を生成するようにしているため、各画像における対応点を利用した３次元画像の生成が容易となる。
【００３３】
第９発明にあっては、算出した撮像装置の位置及び姿勢に基づき、合成画像を生成するようにしているため、各画像における対応点を利用した合成画像の生成が容易となる。
【００３４】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本実施の形態に係る画像処理システムを説明するブロック図であり、図中１０Ｐ，１０Ｑは撮像対象物Ｔを撮像するための銀塩カメラ、デジタルカメラ等の撮像装置である。ここで撮像対象物Ｔには３次元の形状を有する物体の他、背景を含むものとする。撮像装置１０Ｐ，１０Ｑを用いて撮像対象物Ｔを撮像する際、発光装置２０により撮像対象物Ｔに所定の光像が現れるように光を照射する。光を照射した後に撮像して得られた２次元画像は、パーソナルコンピュータのような画像処理機能を有する画像処理装置３０に読込まれる。画像処理装置３０では、読込まれた複数の２次元画像上に現れている光像の位置情報を求め、撮像対象物Ｔを撮像した際の撮像装置１０Ｐ，１０Ｑの位置及び姿勢を算出する。画像処理装置３０は、更に、算出した撮像装置１０Ｐ，１０Ｑの位置及び姿勢に基づいて撮像対象物Ｔの３次元形状モデルを作成する。また、３次元形状を計測するようにしても良く、複数の２次元画像を貼り合わせた２次元のパノラマ画像を作成するようにしても良い。
【００３５】
発光装置２０は、８つの発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ と該発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の点灯及び消灯を制御する制御部２１とを備えている。各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ は、撮像対象物Ｔに点状の光像を形成できるようにレーザポインタのようなスポット光を照射する光源を備えていることが望ましい。本実施の形態では、発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の数を８つとしたが、これらの数は８つに限定されるものではないことは勿論である。
【００３６】
制御部２１は、例えば、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ を点灯及び消灯させるためのボタンスイッチ（不図示）を有しており、人の手により各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ を点灯又は消灯することができるようになっている。
【００３７】
画像処理装置３０はＣＰＵ３１を備えており、該ＣＰＵ３１にバス３２を介してＲＯＭ３３、ＲＡＭ３４、入力部３５、表示部３６、画像入力部３７、記憶部３８等のハードウェアが接続されている。ＲＯＭ３３には各種制御プログラムが格納されており、ＣＰＵ３１が該制御プログラムを読込むことによって、前記ハードウェアを制御する。ＲＡＭ３４はＳＲＡＭ又はフラッシュメモリ等で構成され、ＲＯＭ３３に格納された制御プログラムの実行時に発生するデータを記憶する。
【００３８】
入力部３５は、キーボード、マウス、タブレット等の入力装置からなり、画像処理をする際の指示を入力し、選択操作等を行う。表示部３６は、ＣＲＴ又は液晶表示装置等の表示装置からなり、画像処理を行った結果の画像等を表示する。
【００３９】
画像入力部３７は、光学式の画像読取り装置であるスキャナ装置、フィルムスキャナ等であって、撮像装置１０Ｐ，１０Ｑにより得られた銀塩写真、写真フィルム等を２次元の画像データに変換する。画像入力部３７を用いて画像データを入力する代わりに、デジタルカメラで撮像された画像データを記録する可搬型メモリを利用し、該可搬型メモリの読取り装置を用いて画像データを入力する形態であっても良い。入力された画像データはハードディスク等の記憶部３８に記憶される。
【００４０】
図２は発光装置２０の外観斜視図である。発光装置２０は前述の制御部２１を内蔵する直方体の筐体からなり、その一側面に８つの発光部Ｌ１ 〜Ｌ８ を設けている。図２に示した如く、４つの発光部Ｌ１ 〜Ｌ４ を適宜間隔を隔てて水平方向に配列しており、それらの４つの発光部Ｌ１ 〜Ｌ４ の下側に他の４つの発光部Ｌ５ 〜Ｌ８ を適宜間隔を隔てて水平方向に配列している。
【００４１】
図２に示した如く整列させることにより、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の位置関係が容易に把握できるため、撮像対象物Ｔに形成された光像の位置関係も把握しやすくなる。その結果、複数の画像間の光像の対応関係を容易に見いだすことが可能となる。なお、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の光軸は必ずしも発光装置２０の筐体に対して固定されている必要はなく、必要に応じて光軸の向きを変えることができるようにしてあっても良い。
【００４２】
本実施の形態では、８つの発光部Ｌ１ 〜Ｌ８ の構成を２段４列の配列構成としたが、必ずしもこのような配列に限定する必要はない。例えば、配列をランダムにして発光部Ｌ１ 〜Ｌ８ を設置ことも可能である。この場合、画像処理を行う際に、２つの画像間にて対応関係がある光像を特定することが容易でないため、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ が発する光の色を変えておくことが望ましい。撮像対象物Ｔに現れる光像の色を識別することで容易に対応関係が見出せるからである。出力する光の色を変える方法は主として２つある。一つは、発光色そのものの色を変更する方法であり、出力する光の周波数特性が異なる発光素子、レーザ等を利用することによって実現することができる。もう一つは、発光装置２０から外部へ出力する直前でカラーフィルム等のフィルタを通すことによって変更する方法である。この場合、周波数特性が異なる発光素子、レーザ等を用意する必要がなくなるため、比較的安価に実現することが可能である。
【００４３】
図３は、撮像装置１０Ｐ，１０Ｑにより得られた２つの画像の関係を説明する模式図である。球状の物体、円柱状の物体、及びそれらの背景を撮像対象物Ｔとして撮像した場合について説明する。発光装置２０の８つの発光部Ｌ１ 〜Ｌ８ から照射した光によって、球状の物体、円柱状の物体、及びその背景に光像が形成されるように発光装置２０の位置及び光軸を調節する。そして、撮像した画像に発光部Ｌ１ 〜Ｌ８ からの光による光像が含まれるように撮像装置１０Ｐ，１０Ｑを利用して撮像対象物Ｔを撮像する。
【００４４】
例えば、図３の上段に示した如き画像１００Ｐは撮像装置１０Ｐにより撮像されたものであり、下段に示した如き画像１００Ｑは撮像装置１０Ｑにより撮像されたものである。画像１００Ｐにおいて、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ から発せられた光による光像は、夫々×印で示されている点Ｐ１ ，Ｐ２ ，…，Ｐ８ の位置に現れている。同様に、画像１００Ｑにおいて、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ から発せられた光による光像は、夫々×印で示されている点Ｑ１ ，Ｑ２ ，…，Ｑ８ の位置に現れている。
【００４５】
本実施の形態では、画像１００Ｐに現れた点Ｐ１ 〜Ｐ８ と、画像１００Ｑに現れた点Ｑ１ 〜Ｑ８ とを後述する手法により対応付けを行い、２つの画像１００Ｐ，１００Ｑ間にて対応する点（対応点）の組合わせ（Ｐ１ ，Ｑ１ ），（Ｐ２ ，Ｑ２ ），…，（Ｐ８ ，Ｑ８ ）を求める。
【００４６】
図４は撮像装置１０Ｐ，１０Ｑにより得られた２つの画像１００Ｐ，１００Ｑ間の関係を説明する模式図である。図中Ｍは、撮像対象物Ｔ上に現れた光像の位置座標であり、撮像装置１０Ｐ，１０Ｑの位置によらない物体座標系によって表された３次元空間の座標である。また、前記光像の位置に対応した位置座標ｍ，ｍ’は、それぞれ画像１００Ｐ，１００Ｑに固定された２次元座標で表した座標であり、２つの画像１００Ｐ，１００Ｑ間で対応する点となっている。
【００４７】
３次元空間の位置座標Ｍと２次元画像の位置座標ｍとの関係は、射影行列Ｐを用いることによって、
【００４８】
【数１】
【００４９】
と表すことができ、射影行列Ｐは、
【００５０】
【数２】
【００５１】
と表すことができる。ここで、Ａはカメラパラメータを要素とした内部行列、ｔ及びＲは両撮像装置１０Ｐ，１０Ｑの並進ベクトル及び回転行列を表している。なお、内部行列Ａの要素であるカメラパラメータには、焦点距離、画素サイズ、画像の中心座標等のパラメータが含まれているが、近年のカメラ製造技術の進歩により、画像サイズ及び画像の中心座標を既知の量として取り扱うことが可能となってきており、カメラパラメータとして未知のパラメータは焦点距離のみとみなすことができる。
【００５２】
また、射影幾何学により、２つの画像における対応点の位置座標ｍ，ｍ’間には、次式で表される関係式が成り立つことが知られている。
【００５３】
【数３】
【００５４】
ここで、Ｆは基礎行列であり、数式（３）は２つの画像１００Ｐ，１００Ｑ間のエピポーラ拘束条件を示している。基礎行列Ｆは３×３の行列であり、特異値の一つがゼロであり、基礎行列Ｆのスケールが任意であるため、数式（３）は７つの拘束条件を与える。すなわち、２つの画像１００Ｐ，１００Ｑ間で７組以上の対応点が存在する場合には、基礎行列Ｆを求めることが可能である。しかしながら、実際には、光像が有限の大きさを持つこと、撮像装置１０Ｐ，１０Ｑから得られた画像１００Ｐ，１００Ｑにノイズ等が含まれていること等を考慮した場合、必ずしも位置座標ｍと位置座標ｍ’とが厳密な意味で対応しないことがある。そこで、７組より多くの対応点を利用して数式（３）による連立方程式を立て、最小２乗法により基礎行列Ｆを良好に求めることが望ましい。
【００５５】
更に、基礎行列Ｆは、前述した内部行列Ａ、並進ベクトルｔ、及び回転行列Ｒ、並びに基本行列Ｅ（＝［ｔ］ｘ Ｒ）を用いて、以下のように表すことができる。
【００５６】
【数４】
【００５７】
すなわち、数式（３）を利用することによって、基礎行列Ｆを求めることができ、求めた基礎行列Ｆから基本行列Ｅを求めることができる。更に、基本行列Ｅから並進ベクトルｔ及び回転行列Ｒを求めることができる。
【００５８】
並進ベクトルｔ及び回転行列Ｒが求まった場合、それらを用いて画像１００Ｐ，１００Ｑ上の位置座標ｍ，ｍ’を物体座標系における位置座標Ｍに変換することができる。しかしながら、画像１００Ｐ，１００Ｑに含まれるノイズ等の影響により、変換後の位置座標は３次元空間で一致しないことが多い。言い換えると、物体座標系における位置座標Ｍを並進ベクトルｔ及び回転行列Ｒを用いて各画像１００Ｐ，１００Ｑに射影した場合、射影後の位置座標は前記位置座標ｍ，ｍ’からずれていることが多い。そのため、並進ベクトルｔ、及び回転行列Ｒの各要素のバンドル調整（最適化）を行うことが望ましい。具体的には以下のようにしてバンドル調整を行う。
【００５９】
まず、物体座標系における３次元空間の位置座標Ｍｉ （ｉ＝１，２，…）を、並進ベクトルｔ及び回転行列Ｒを利用して各画像１００Ｐ，１００Ｑに射影し、夫々の画像１００Ｐ，１００Ｑ上の位置座標ｍｉ ，ｍｉ ’を求める。そして、求めた位置座標ｍｉ （位置座標ｍｉ ’）と、撮像対象物Ｔに生じた光像に関して実測した位置座標との間で距離の２乗和に関する評価関数を設定し、設定した評価関数の値が最小になるように並進ベクトルｔ及び回転行列Ｒの各要素を定めるようにしている。
【００６０】
このように、本実施の形態では、異なる２つの視点から撮像された画像１００Ｐ，１００Ｑを用いることによって、物体座標系における撮像装置１０Ｐ，１０Ｑの位置及び姿勢を、並進ベクトルｔ及び回転行列Ｒとして求めることができ、各撮像装置１０Ｐ，１０Ｑに固定したカメラ座標系と物体座標系との関係が求まる。
【００６１】
図５は画像処理装置３０の処理手順を説明するフローチャートである。まず、画像処理装置３０のＣＰＵ３１は、２つの画像１００Ｐ，１００Ｑを読込む（ステップＳ１）。読込む画像は、撮像装置１０Ｐ，１０Ｑにより撮像されて画像入力部３７から入力された画像、又は予め撮像されて記憶部３８に記憶された画像である。
【００６２】
次いで、ＣＰＵ３１は、読込まれた２つの画像１００Ｐ，１００Ｑから特徴点の抽出を行う（ステップＳ２）。特徴点の抽出は、読込まれた画像１００Ｐ，１００Ｑから最大輝度値を有する画素を検出することによって行う。また、発光装置２０の各発光部Ｌ１ 〜Ｌ８ がそれぞれ異なる色の光を発するようにしている場合には、当該色の情報に基づいて発光装置２０による光像を検出することも可能である。
【００６３】
次いで、各画像１００Ｐ，１００Ｑにおいて抽出した特徴点間の対応付けを行う（ステップＳ３）。特徴点間の対応付けは、例えば、以下のようにして求めることができる。すなわち、各画像１００Ｐ，１００Ｑには有限個の特徴点が存在し、考えられる特徴点間の対応関係は有限の組合せに限定される。それらの組合せの中から一つの組合せを選択し、選択した組合せに含まれる複数組の特徴点に基づき、数式（３）を利用して基礎行列Ｆを求める。仮に適切な組合せを選択した場合には、互いに対応関係にある他の特徴点の位置座標を数式（３）に代入したときに１つの基礎行列Ｆを共有することができ、適切でない組合せを選択した場合には、基礎行列Ｆを共有できないことになる。このように、各組合せに含まれる複数の特徴点を利用して求めた基礎行列Ｆが、他の特徴点間でも共有できるか否かを調べることによって、特徴点間の対応付けが適切であるか否かを検討することができ、画像１００Ｐ，１００Ｑ間における特徴点の対応付けを行うことが可能となる。
【００６４】
次いで、求めた複数組の対応点に基づき、前述の手法を利用して撮像装置１０Ｐ，１０Ｑの位置及び姿勢を算出する（ステップＳ４）。すなわち、本実施の形態では、８組の対応点を各画像から求めることができ、その８組の対応点を利用して基礎行列Ｆを求めて、撮像装置１０Ｐ，１０Ｑの並進ベクトルｔ及び回転行列Ｒを求めることができる。
【００６５】
次いで、算出した撮像装置１０Ｐ，１０Ｑの位置及び姿勢に基づいて、３次元画像の生成を行う（ステップＳ５）。ステップＳ４で撮像装置１０Ｐ，１０Ｑの並進ベクトルｔ及び回転行列Ｒを求めているため、数式（１）及び数式（２）を用いることによって、画像上の位置座標を物体座標系における３次元空間の位置座標に変換することができ、３次元画像の再構成を行うことができる。
【００６６】
尚、本実施の形態では、３次元画像を求める構成としたが、撮像装置１０Ｐ，１０Ｑの並進ベクトル及び回転行列Ｒを求めているため、撮像対象物Ｔ上の位置座標を求める３次元計測も可能であり、求めた位置座標により３次元のＣＡＤデータ（ＣＡＤ ： Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）を作成することも可能である。また、２つの画像１００Ｐ，１００Ｑ間の幾何学的関係が求まっているため、一方の画像１００Ｐ（又は１００Ｑ）を並進及び回転させて他方の画像１００Ｑ（１００Ｐ）に合成する画像合成も可能である。
【００６７】
本実施の形態では、発光装置２０はレーザポインタのようなスポット光を照射できる発光部Ｌ１ 〜Ｌ８ を備える形態としたが、必ずしも撮像対象物Ｔに点状の光像が形成される必要はなく、スリット状、グリッド状の光像が撮像対象物Ｔに形成されるような光を照射できる発光装置を利用しても良い。また、発光装置２０の代わりに所定の光像が形成できるようなプロジェクタを利用することも可能である。
【００６８】
また、本実施の形態では、２台の撮像装置１０Ｐ，１０Ｑを利用して異なる視点から撮像対象物Ｔを撮像する形態であったが、３台以上の撮像装置を利用してもよく、１台の撮像装置を用いて順次視点を変えて撮像する形態であってもよい。
【００６９】
また、従来法により抽出した特徴点と、本発明による手法を用いて抽出した特徴点とを混在して利用する形態であってもよい。
【００７０】
実施の形態２．
本実施の形態では、発光装置２０の各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ を時間制御し、画像間の特徴点の対応付けを容易にした画像処理システムについて説明する。画像処理システム全体の概略構成は実施の形態１と同じである。図６に本実施の形態に係る画像処理システムで利用される発光装置２０のブロック図を示す。発光装置２０は、８つの発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ を備えており、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ は夫々スイッチ部ＳＷ１ ，ＳＷ２ ，…，ＳＷ８ を介して制御部２１に接続されている。制御部２１にはタイマ２２が接続されており、タイマ２２から出力される時間情報に基づいて、スイッチ部ＳＷ１ 〜ＳＷ８ の開閉を制御する。例えば、スイッチ部ＳＷ１ が閉路した場合、発光部Ｌ１ が点灯し、スイッチ部ＳＷ１ が開路した場合、発光部Ｌ１ が消灯するようになしてあり、各発光部Ｌ１ ，…，Ｌ８ の点灯・消灯を各別に時間制御するようにしている。
【００７１】
図７は、発光部Ｌ１ 〜Ｌ８ の点灯タイミングと撮像装置１０Ｐ，１０Ｑによる撮像タイミングとを示すタイムチャートである。最上段のタイムチャートは、発光部Ｌ１ の点灯タイミングを表しており、所定時刻（ｔ＝ｔ０ とする）から時間ｔ１ が経過したとき、制御部２１はスイッチ部ＳＷ１ を閉路し、発光部Ｌ１ を点灯させる。そして、所定時間（例えば５秒）が経過したとき、制御部２１はスイッチ部ＳＷ１ を開路して、発光部Ｌ１ を消灯させる。次いで、時刻ｔ＝ｔ０ から時間ｔ２ が経過したとき、スイッチＳＷ２ を閉路して、発光部Ｌ２ を点灯させ、更に所定時間が経過したときに発光部Ｌ２ を消灯させる。そして、発光部Ｌ３ 〜Ｌ８ を順次、点灯及び消灯させる。
【００７２】
一方、撮像装置１０Ｐ，１０Ｑは、発光部Ｌ１ 〜Ｌ８ の何れかが点灯するタイミングで撮像対象物Ｔを撮像する。発光部Ｌ１ 〜Ｌ８ が点灯するタイミングに同期させて自動的に撮像する形態であってもよく、また、人の手によりタイミングを計って撮像する形態であってもよい。
【００７３】
図８は、本実施の形態に係る画像処理システムにより撮像された画像間の関係を説明する模式図である。図８（ａ）は、ｔ＝ｔ１ のときに撮像された画像であり、左側の画像１００Ｐは、撮像装置１０Ｐにより撮像対象物Ｔを撮像したもの、右側の画像１００Ｑは、撮像装置１０Ｑにより前記撮像対象物Ｔを撮像したものである。図７のタイムチャートを用いて説明したように、ｔ＝ｔ１ のときには発光部Ｌ１ のみを点灯させて両撮像装置１０Ｐ，１０Ｑにより撮像する構成であるため、発光部Ｌ１ から照射された光の光像のみがそれぞれ点Ｐ１ ，Ｑ１ の位置に現れる。これらの光像の位置を示す点Ｐ１ ，Ｑ１ は、撮像装置１０Ｐ，１０Ｑの位置及び姿勢を求める際の特徴点として採用することができ、それらの特徴点を対応点として対応付けることが容易となる。
【００７４】
同様に、図８（ｂ）に示した如くｔ＝ｔ２ では、発光部Ｌ２ のみを点灯させるため、発光部Ｌ２ から照射された光の光像のみがそれぞれ点Ｐ２ ，Ｑ２ の位置に現れ、特徴点として採用することができる。以降ｔ＝ｔ３ ，ｔ４ ，…，ｔ８ において撮像された画像１００Ｐ，１００Ｑから夫々の特徴点を抽出して対応付けを行うことができる。
【００７５】
以上のように、本実施の形態では、撮像対象物Ｔの画像を２つの撮像装置１０Ｐ，１０Ｑにより撮像する際、複数の発光部Ｌ１ 〜Ｌ８ を有する発光装置２０において、各発光部Ｌ１ ，Ｌ２ ，…Ｌ８ の発光タイミングを時間制御するようにしている。したがって、撮像対象物Ｔに現れる光像が各画像につき１つに限定されるため、特徴点の抽出及び特徴点間の対応付けが容易となる。
【００７６】
なお、各画像の特徴点の対応付けに基づく撮像装置１０Ｐ，１０Ｑの位置及び姿勢の算出手法、三次元画像の生成等は実施の形態１と同様に行うことができるため説明を省略する。
【００７７】
実施の形態３．
実施の形態１及び実施の形態２では銀塩カメラ、デジタルカメラ等の静止画を撮像する撮像装置１０Ｐ，１０Ｑを用いて撮像対象物Ｔの２次元画像を取得する形態であったが、アナログビデオカメラ、デジタルビデオカメラ等の動画像を撮像するための撮像装置を利用することも可能である。
【００７８】
図９は、本実施の形態に係る画像処理システムの構成を示すブロック図である。実施の形態１と同様に、画像処理システムは、２つの撮像装置５０Ｐ，５０Ｑ、発光装置２０、及び画像処理装置３０を備えている。
【００７９】
撮像装置５０Ｐ，５０Ｑは、アナログビデオカメラ、デジタルビデオカメラ等であり、撮像装置５０Ｐ，５０Ｑにより得られた映像は、撮像装置５０Ｐ，５０Ｑに接続された画像処理装置３０へ送信される。
【００８０】
発光装置２０は、発光部Ｌ１ 〜Ｌ８ の点灯及び消灯を制御する制御部２１、該制御部２１に接続されているタイマ２２を備え、制御部２１は、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ に接続されているスイッチ部ＳＷ１ ，ＳＷ２ ，…，ＳＷ８ を開閉させることにより点灯及び消灯の制御を行う。また、制御部２１には通信部２３が接続されており、画像処理装置３０から送信された制御信号を受信できるようになっている。制御部２１では、受信した制御信号に基づき点灯すべきか、又は消灯すべきかの判断を行い、スイッチ部ＳＷ１ 〜ＳＷ８ の開閉を制御する。
【００８１】
画像処理装置３０は、撮像装置５０Ｐ，５０Ｑから送られた映像フレームを受信するための第１通信部３９ａ、及び発光装置２０の通信部２３へ接続されている第２通信部３９ｂを備えている。第１通信部３９ａにて受信した映像フレームは、ＲＡＭ３４又は記憶部３８に記憶されるようになっている。また、ＣＰＵ３１は、発光部Ｌ１ 〜Ｌ８ を点灯及び消灯させるタイミングの情報を含んだ制御信号を生成し、第２通信部３９ｂから送信するようにしている。
【００８２】
画像処理装置３０では、発光部Ｌ１ 〜Ｌ８ により照射された光の光像が写っている映像フレームを解析し、前述した如く特徴点の抽出、各特徴点間の対応付けを行う。
【００８３】
図１０及び図１１は、本実施の形態に係る画像処理装置３０の処理手順を説明するフローチャートである。まず、画像処理装置３０は、撮像装置５０Ｐ，５０Ｑからの映像フレームを第１通信部３９ａにより受付け、映像フレームの入力を開始する（ステップＳ１１）。そして、カウンタをｉ＝１にセットしたうえで（ステップＳ１２）、図に示していないタイマをリセットする（ステップＳ１３）。
【００８４】
画像処理装置３０のＣＰＵ３１は、タイマが示す時間を参照することにより所定時間が経過したか否かを判断し（ステップＳ１４）、所定時間が経過していない場合（Ｓ１４：ＮＯ）、所定時間が経過するまで待機する。
【００８５】
所定時間が経過した場合（Ｓ１４：ＹＥＳ）、発光部Ｌｉ を点灯及び消灯させるための制御信号を第２通信部３９ｂを介して発光装置２０へ送信する（ステップＳ１５）。そして、発光部Ｌｉ が点灯した時刻Ｔｉ をＲＡＭ３４に記憶させる（ステップＳ１６）。
【００８６】
次いで、カウンタの値ｉが所定値ｎ（例えば、ｎ＝８）に達したか否かを判断し（ステップＳ１７）、所定値ｎに達していない場合（Ｓ１７：ＮＯ）、カウンタの値ｉを１だけ増やし（ステップＳ１８）、処理をＳ１３へ戻す。
【００８７】
カウンタの値ｉが所定値ｎに達した場合（Ｓ１７：ＹＥＳ）、別のカウンタの値ｊを１にセットし（ステップＳ１９）、撮像装置５０Ｐ，５０Ｑにより撮像された時刻Ｔｊ の映像フレームを検索して読込み（ステップＳ２０）、画像処理装置３０の記憶部３８に一時的に記憶させる。
そして、画像処理装置３０のＣＰＵ３１は、ステップＳ２０において読込まれた２つの映像フレームから夫々特徴点を抽出し（ステップＳ２１）、それらの特徴点間の対応付けを行う（ステップＳ２２）。ステップＳ１２からステップＳ１７において、タイミングをずらして各発光部Ｌ１ 〜Ｌ８ を点灯及び消灯するように制御しているため、各映像フレームには、発光部Ｌｉ （ｉ＝１〜８）からの光像が一つだけ現れる。したがって、その光像に基づき抽出した特徴点を利用して、映像フレーム間の対応付けを容易に行うことができる。
【００８８】
次いで、ＣＰＵ３１は、カウンタの値ｊが所定値ｎに達したか否かを判断し（ステップＳ２３）、所定値ｎに達していない場合（Ｓ２３：ＮＯ）、カウンタの値ｊを１だけ増やした後（ステップＳ２４）、処理をステップＳ２０へ戻す。
【００８９】
カウンタの値ｊが所定値に達した場合（Ｓ２３：ＹＥＳ）、求めた複数組の対応点に基づき、前述した手法を利用して撮像装置１０Ｐ，１０Ｑの位置及び姿勢を算出する（ステップＳ２５）。すなわち、本実施の形態では、８組の対応点を各映像フレームから求めることができ、その８組の対応点を利用して基礎行列Ｆを求めて、撮像装置５０Ｐ，５０Ｑの並進ベクトルｔ及び回転行列Ｒを求めることができる。
【００９０】
次いで、算出した撮像装置５０Ｐ，５０Ｑの位置及び姿勢に基づいて、３次元画像の生成を行う（ステップＳ２６）。ステップＳ２５で撮像装置５０Ｐ，５０Ｑの並進ベクトルｔ及び回転行列Ｒを求めているため、数式（１）及び数式（２）を用いることによって、画像（映像フレーム）上の位置座標を物体座標系における３次元空間の位置座標に変換することができ、３次元画像の再構成を行うことができる。
尚、本実施の形態では、３次元画像を求める構成としたが、撮像装置５０Ｐ，５０Ｑの並進ベクトルｔ及び回転行列Ｒを求めているため、撮像対象物Ｔ上の位置座標を求める３次元計測も可能であり、求めた位置座標により３次元のＣＡＤデータを作成することも可能である。また、２つの画像間の幾何学的関係が求まっているため、一方の画像を並進及び回転させて他方の画像に合成する画像合成も可能である。
【００９１】
このように本実施の形態では、動画像を撮像する撮像装置５０Ｐ，５０Ｑを利用しているため、発光装置２０の各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の発光タイミングに同期させて撮像する必要はないが、発光したタイミングに係る情報を通信部２３から第２通信部３９ｂへ送信するようにした場合、その情報を元に照射した光の光像が現れる映像フレームの検索を行うことができ、映像フレーム間の特徴点の対応付けが容易となる。
【００９２】
【発明の効果】
以上、詳述したように、第１発明、第２発明、及び第７発明による場合は、撮像対象に光を照射して撮像した複数の画像を読込み、照射した光により撮像対象に生じた光像の位置を各画像から算出し、算出した光像の位置に基づき撮像した際の撮像装置の位置及び姿勢を求めるようにしている。したがって、撮像対象に特徴点を見出せない場合であっても、発光装置により照射した光の光像を特徴点の代わりとして利用することが可能であり、それらの特徴点に基づき各画像上で互いに対応する対応点を求めることが可能となる。また、特徴点を抽出する際、２値画像、明暗画像等を生成する処理を省くことができ、計算時間を短縮することができる。
【００９３】
第３発明による場合は、発光装置が複数のスポット光を照射する手段を備えているため、撮像対象に特徴点を見出せない場合であっても、照射したスポット光の光像を特徴点の代わりとして利用することが可能であり、この特徴点に基づき各画像間での対応点を算出することができる。また、特徴点を抽出する際、２値画像、明暗画像等を生成する処理を省くことができ、計算時間を短縮することができる。
【００９４】
第４発明による場合は、各別に固有の色を有する複数のスポット光を照射する手段を備えているため、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００９５】
第５発明による場合は、照射するスポット光毎の点灯及び消灯を制御する手段を備えている。したがって、スポット光を照射した場合の画像とスポット光を照射しない場合の画像とを比較することによって、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００９６】
第６発明による場合は、照射するスポット光毎の点灯及び消灯を時間により制御する手段を備えている。したがって、スポット光を照射した場合の画像とスポット光を照射しない場合の画像とを比較することによって、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００９７】
第８発明による場合は、算出した撮像装置の位置及び姿勢に基づき、３次元画像を生成するようにしているため、各画像における対応点を利用した３次元画像の生成が容易となる。
【００９８】
第９発明による場合は、算出した撮像装置の位置及び姿勢に基づき、合成画像を生成するようにしているため、各画像における対応点を利用した合成画像の生成が容易となる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理システムを説明するブロック図である。
【図２】発光装置の外観斜視図である。
【図３】撮像装置により得られた２つの画像の関係を説明する模式図である。
【図４】撮像装置により得られた２つの画像間の関係を説明する模式図である。
【図５】画像処理装置の処理手順を説明するフローチャートである。
【図６】本実施の形態に係る画像処理システムで利用される発光装置のブロック図を示す。
【図７】発光部の点灯タイミングと撮像装置による撮像タイミングとを示すタイムチャートである。
【図８】本実施の形態に係る画像処理システムにより撮像された画像間の関係を説明する模式図である。
【図９】本実施の形態に係る画像処理システムの構成を示すブロック図である。
【図１０】本実施の形態に係る画像処理装置の処理手順を説明するフローチャートである。
【図１１】本実施の形態に係る画像処理装置の処理手順を説明するフローチャートである。
【図１２】撮像対象を撮像する際の配置を示す模式図である。
【図１３】撮像して得られた２次元画像間の関係を説明する模式図である。
【符号の説明】
１０Ｐ，１０Ｑ 撮像装置
２０ 発光装置
２１ 制御部
２２ タイマ
２３ 通信部
Ｌ１ 〜Ｌ８ 発光部
ＳＷ１ 〜ＳＷ２ スイッチ部
３０ 画像処置装置
３１ ＣＰＵ
３７ 画像入力部
５０Ｐ，５０Ｑ 撮像装置
Ｔ 撮像対象物
【発明の属する技術分野】
本発明は複数の画像間の対応関係を求める際の特徴点を人工的に作り出して画像処理を行う画像処理方法、画像処理システム、及び画像処理装置に関する。
【０００２】
【従来の技術】
近年の画像処理技術の発達に伴い、複数の２次元画像から３次元形状モデルを作成する技術、３次元形状を計測する技術、及び複数の２次元画像を貼り合わせて２次元のパノラマ画像を合成する技術の開発が盛んに行われている。
【０００３】
以下、従来の３次元形状モデルの作成方法について説明する。３次元形状モデルを作成する際、まず、撮像対象となるものをデジタルカメラ又は銀塩カメラを用いて複数の視点から撮像し、撮像して得られた複数の２次元画像をパーソナルコンピュータのような画像処理を行うことができる画像処理装置に読込む。銀塩カメラにより得られた２次元画像は、スキャナ装置等の光学式読取り装置によって予めデジタル化した後、画像処理装置に読込む。
【０００４】
図１２は撮像対象を撮像する際の配置を示す模式図であり、図１３は撮像して得られた２次元画像間の関係を説明する模式図である。図中１０Ｐ，１０Ｑは、撮像対象物Ｔを撮像するためのデジタルカメラ、銀塩カメラ等の撮像装置である。撮像装置１０Ｐ，１０Ｑにより撮像された画像は、前述した方法により画像処理装置に読込まれる。図１２に示した如く立方体と三角錐とからなる撮像対象物Ｔを撮像装置１０Ｐ，１０Ｑにより撮像した場合、撮像した視点により画像に現れる撮像対象物Ｔの形状の向きが異なる。例えば、撮像装置１０Ｐにより撮像された画像１００Ｐは撮像対象物Ｔの正面近傍から撮像されたものであり、撮像装置１０Ｑにより撮像された画像１００Ｑは、撮像対象物Ｔの斜め上方から撮像されたものである。
【０００５】
このような画像（２次元画像）を用いて３次元形状モデルを作成する場合、まず、異なる２つの視点から撮像された２次元画像上で互いに対応する対応点を求め、求めた対応点から撮像対象物Ｔを撮像する際の撮像装置１０Ｐ，１０Ｑの位置及び姿勢を導き出す。次いで、導き出した撮像装置１０Ｐ，１０Ｑの位置及び姿勢に基づき、立体視の原理を利用して形状のモデリングを行う。
【０００６】
このように３次元形状モデルを作成する場合には、２次元画像上で互いに対応する対応点を求める必要がある。従来では、まず、読込んだ画像から２値画像、明暗画像、エッジ画像等を生成して、２次元画像に写っている形状の輪郭を抽出し、その輪郭情報を元に形状の特徴的な点（特徴点）を求める。そして、各画像間で求めた特徴点間の対応付けを行い、対応点を求めることを行っていた（例えば、非特許文献１参照）。
【０００７】
図１３に示した例では、各２次元画像から立方体及び三角錐が持つ頂点を特徴点として抽出する。画像１００Ｐからは、点Ｐ１ 〜点Ｐ１１を特徴点として抽出することが可能であり、画像１００Ｑからは、点Ｑ１ 〜点Ｑ１１を特徴点として抽出することが可能である。そして、撮像した際の撮像装置１０Ｐ，１０Ｑの位置及び姿勢を求めるために、特徴点間の対応付けを行い、（Ｐ１ ，Ｑ１ ）、（Ｐ２ ，Ｑ２ ）、（Ｐ３ ，Ｑ３ ）、…のように互いに対応する特徴点（対応点）の組を求める。
【０００８】
【非特許文献１】
井口征士，佐藤宏介共著，「三次元画像計測」，初版，株式会社昭晃堂，１９９０年１１月２０日，ｐ１２０−ｐ１４１
【０００９】
【発明が解決しようとする課題】
撮像対象物Ｔの形状が立方体、三角錐のように頂点を有するものである場合、特徴点の抽出が比較的容易であるが、撮像対象の形状が、球状、円柱状、又はそれらの組合せからなる場合には、画像処理装置により自動的に特徴点を抽出することが困難であるため、必ずしも撮像装置１０Ｐ，１０Ｑの位置及び姿勢を求める際に必要な数の対応点の組を求めることが出来ない場合がある。
【００１０】
また、対応点を求める際には、例えば、読込んだ２次元画像から２値画像、明暗画像等を生成して、２次元画像に含まれる形状から特徴点を抽出し、抽出した特徴点の対応付けを行う必要があり、対応点を求める際の計算時間が長くなる場合が生じていた。
【００１１】
本発明は斯かる事情に鑑みてなされたものであり、撮像対象に光を照射して撮像した複数の画像を読込み、照射した光により撮像対象に生じた光像の位置を読込まれた各画像から算出し、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求め、求めた対応点からの撮像した際の撮像装置の位置及び姿勢を算出する構成とすることにより、撮像対象に特徴点を見出せない場合であっても、照射した光の光像に基づき各画像間で対応する対応点を求めることができ、求めた対応点に基づいて撮像装置の位置及び姿勢を求めることができる画像処理方法、画像処理システム、及び画像処理装置を提供することを目的とする。
【００１２】
本発明の他の目的は、スポット光を撮像対象に照射して撮像する構成とすることにより、撮像対象に特徴点を見出せない場合であっても、照射した光の光像に基づき各画像間で対応する対応点を求めることができ、求めた対応点に基づいて撮像装置の位置及び姿勢を求めることができる画像処理システムを提供することにある。
【００１３】
本発明の更に他の目的は、各別に固有の色を有する複数のスポット光を撮像対象に照射して撮像する構成とすることにより、複数の画像に夫々現れるスポット光の光像の位置を容易に対応付けることができる画像処理システムを提供することにある。
【００１４】
本発明の更に他の目的は、照射するスポット光毎の点灯及び消灯を制御する制御手段を更に備える構成とすることにより、複数の画像に夫々現れるスポット光の光像の位置を容易に対応付けることができる画像処理システムを提供することにある。
【００１５】
本発明の更に他の目的は、計時手段により出力された時間に基づきスポット光毎の点灯及び消灯を制御する構成とすることにより、複数の画像に夫々現れるスポット光の光像の位置を容易に対応付けることができる画像処理システムを提供することにある。
【００１６】
本発明の更に他の目的は、算出した撮像装置の位置及び姿勢に基づいて３次元画像を求める構成とすることにより、容易に３次元画像を求めることができる画像処理装置を提供することにある。
【００１７】
本発明の更に他の目的は、算出した撮像装置の位置及び姿勢に基づいて合成画像を求める構成とすることにより、容易に合成画像を求めることができる画像処理装置を提供することにある。
【００１８】
【課題を解決するための手段】
第１発明に係る画像処理方法は、撮像対象を撮像装置により撮像するステップと、撮像して得られた画像を画像処理装置に読込むステップと、該ステップにより読込まれた複数の画像に基づいて、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を算出するステップとを有する画像処理方法において、前記撮像対象に光を照射するステップと、光を照射して撮像した複数の画像を読込むステップと、照射した光により前記撮像対象に生じた光像の位置情報を読込まれた各画像から算出するステップと、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求めるステップと、求めた対応点に基づき、前記撮像装置の位置及び姿勢を算出するステップとを有することを特徴とする。
【００１９】
第２発明に係る画像処理システムは、撮像対象を撮像する撮像装置と、該撮像装置により撮像して得られた画像を読込む手段、及び該手段により読込まれた複数の画像に基づいて、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を求める手段を有する画像処理装置とを備える画像処理システムにおいて、前記撮像対象に光を照射する発光装置を備え、前記画像処理装置は、前記発光装置により光を照射して撮像した複数の画像を読込むべくなしてあり、照射した光により前記撮像対象に生じた光像の位置情報を読込まれた各画像から算出する手段と、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求める手段とを備え、求めた対応点に基づき、前記撮像装置の位置及び姿勢を算出すべくなしてあることを特徴とする。
【００２０】
第３発明に係る画像処理システムは、第２発明に係る画像処理システムにおいて、前記発光装置は、１又は複数のスポット光を照射する手段を備えることを特徴とする。
【００２１】
第４発明に係る画像処理システムは、第２発明に係る画像処理システムにおいて、前記発光装置は、各別に固有の色を有する複数のスポット光を照射する手段を備えることを特徴とする。
【００２２】
第５発明に係る画像処理システムは、第３発明又は第４発明に係る画像処理システムにおいて、前記発光装置は、照射するスポット光毎の点灯及び消灯を制御する制御手段を更に備えることを特徴とする。
【００２３】
第６発明に係る画像処理システムは、第５発明に係る画像処理システムにおいて、計時手段を更に備え、前記制御手段は前記計時手段が出力した時間に基づき制御すべくなしてあることを特徴とする。
【００２４】
第７発明に係る画像処理装置は、撮像装置により撮像対象を撮像した画像を読込む読込手段と、該読込手段により読込まれた複数の画像に基づいて、撮像対象を撮像した際の撮像装置の位置及び姿勢を求める手段とを備える画像処理装置において、撮像対象に光を照射して撮像した複数の画像を前記読込手段により読込むべくなしてあり、照射した光により前記撮像対象に生じた光像の位置情報を読込まれた各画像から算出する手段と、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求める手段とを備え、求めた対応点に基づき、撮像装置の位置及び姿勢を算出すべくなしてあることを特徴とする。
【００２５】
第８発明に係る画像処理装置は、第７発明に係る画像処理装置において、算出した撮像装置の位置及び姿勢に基づき、前記撮像対象の３次元画像を求める手段を更に備えることを特徴とする。
【００２６】
第９発明に係る画像処理装置は、第７発明に係る画像処理装置において、算出した撮像装置の位置及び姿勢に基づき、前記画像から合成画像を生成する手段を更に備えることを特徴とする。
【００２７】
第１発明、第２発明、及び第７発明にあっては、撮像対象に光を照射して撮像した複数の画像を読込み、照射した光により撮像対象に生じた光像の位置を各画像から算出し、算出した光像の位置に基づき撮像した際の撮像装置の位置及び姿勢を求めるようにしている。したがって、撮像対象に特徴点を見出せない場合であっても、発光装置により照射した光の光像を特徴点の代わりとして利用することが可能であり、それらの特徴点に基づき各画像上で互いに対応する対応点を求めることが可能となる。また、特徴点を抽出する際、２値画像、明暗画像等を生成する処理を省くことができ、計算時間を短縮することができる。
【００２８】
第３発明にあっては、発光装置が複数のスポット光を照射する手段を備えているため、撮像対象に特徴点を見出せない場合であっても、照射したスポット光の光像を特徴点の代わりとして利用することが可能であり、この特徴点に基づき各画像間での対応点を算出することができる。また、特徴点を抽出する際、２値画像、明暗画像等を生成する処理を省くことができ、計算時間を短縮することができる。
【００２９】
第４発明にあっては、各別に固有の色を有する複数のスポット光を照射する手段を備えているため、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００３０】
第５発明にあっては、照射するスポット光毎の点灯及び消灯を制御する手段を備えている。したがって、スポット光を照射した場合の画像とスポット光を照射しない場合の画像とを比較することによって、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００３１】
第６発明にあっては、照射するスポット光毎の点灯及び消灯を時間により制御する手段を備えている。したがって、スポット光を照射した場合の画像とスポット光を照射しない場合の画像とを比較することによって、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００３２】
第８発明にあっては、算出した撮像装置の位置及び姿勢に基づき、３次元画像を生成するようにしているため、各画像における対応点を利用した３次元画像の生成が容易となる。
【００３３】
第９発明にあっては、算出した撮像装置の位置及び姿勢に基づき、合成画像を生成するようにしているため、各画像における対応点を利用した合成画像の生成が容易となる。
【００３４】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本実施の形態に係る画像処理システムを説明するブロック図であり、図中１０Ｐ，１０Ｑは撮像対象物Ｔを撮像するための銀塩カメラ、デジタルカメラ等の撮像装置である。ここで撮像対象物Ｔには３次元の形状を有する物体の他、背景を含むものとする。撮像装置１０Ｐ，１０Ｑを用いて撮像対象物Ｔを撮像する際、発光装置２０により撮像対象物Ｔに所定の光像が現れるように光を照射する。光を照射した後に撮像して得られた２次元画像は、パーソナルコンピュータのような画像処理機能を有する画像処理装置３０に読込まれる。画像処理装置３０では、読込まれた複数の２次元画像上に現れている光像の位置情報を求め、撮像対象物Ｔを撮像した際の撮像装置１０Ｐ，１０Ｑの位置及び姿勢を算出する。画像処理装置３０は、更に、算出した撮像装置１０Ｐ，１０Ｑの位置及び姿勢に基づいて撮像対象物Ｔの３次元形状モデルを作成する。また、３次元形状を計測するようにしても良く、複数の２次元画像を貼り合わせた２次元のパノラマ画像を作成するようにしても良い。
【００３５】
発光装置２０は、８つの発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ と該発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の点灯及び消灯を制御する制御部２１とを備えている。各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ は、撮像対象物Ｔに点状の光像を形成できるようにレーザポインタのようなスポット光を照射する光源を備えていることが望ましい。本実施の形態では、発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の数を８つとしたが、これらの数は８つに限定されるものではないことは勿論である。
【００３６】
制御部２１は、例えば、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ を点灯及び消灯させるためのボタンスイッチ（不図示）を有しており、人の手により各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ を点灯又は消灯することができるようになっている。
【００３７】
画像処理装置３０はＣＰＵ３１を備えており、該ＣＰＵ３１にバス３２を介してＲＯＭ３３、ＲＡＭ３４、入力部３５、表示部３６、画像入力部３７、記憶部３８等のハードウェアが接続されている。ＲＯＭ３３には各種制御プログラムが格納されており、ＣＰＵ３１が該制御プログラムを読込むことによって、前記ハードウェアを制御する。ＲＡＭ３４はＳＲＡＭ又はフラッシュメモリ等で構成され、ＲＯＭ３３に格納された制御プログラムの実行時に発生するデータを記憶する。
【００３８】
入力部３５は、キーボード、マウス、タブレット等の入力装置からなり、画像処理をする際の指示を入力し、選択操作等を行う。表示部３６は、ＣＲＴ又は液晶表示装置等の表示装置からなり、画像処理を行った結果の画像等を表示する。
【００３９】
画像入力部３７は、光学式の画像読取り装置であるスキャナ装置、フィルムスキャナ等であって、撮像装置１０Ｐ，１０Ｑにより得られた銀塩写真、写真フィルム等を２次元の画像データに変換する。画像入力部３７を用いて画像データを入力する代わりに、デジタルカメラで撮像された画像データを記録する可搬型メモリを利用し、該可搬型メモリの読取り装置を用いて画像データを入力する形態であっても良い。入力された画像データはハードディスク等の記憶部３８に記憶される。
【００４０】
図２は発光装置２０の外観斜視図である。発光装置２０は前述の制御部２１を内蔵する直方体の筐体からなり、その一側面に８つの発光部Ｌ１ 〜Ｌ８ を設けている。図２に示した如く、４つの発光部Ｌ１ 〜Ｌ４ を適宜間隔を隔てて水平方向に配列しており、それらの４つの発光部Ｌ１ 〜Ｌ４ の下側に他の４つの発光部Ｌ５ 〜Ｌ８ を適宜間隔を隔てて水平方向に配列している。
【００４１】
図２に示した如く整列させることにより、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の位置関係が容易に把握できるため、撮像対象物Ｔに形成された光像の位置関係も把握しやすくなる。その結果、複数の画像間の光像の対応関係を容易に見いだすことが可能となる。なお、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の光軸は必ずしも発光装置２０の筐体に対して固定されている必要はなく、必要に応じて光軸の向きを変えることができるようにしてあっても良い。
【００４２】
本実施の形態では、８つの発光部Ｌ１ 〜Ｌ８ の構成を２段４列の配列構成としたが、必ずしもこのような配列に限定する必要はない。例えば、配列をランダムにして発光部Ｌ１ 〜Ｌ８ を設置ことも可能である。この場合、画像処理を行う際に、２つの画像間にて対応関係がある光像を特定することが容易でないため、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ が発する光の色を変えておくことが望ましい。撮像対象物Ｔに現れる光像の色を識別することで容易に対応関係が見出せるからである。出力する光の色を変える方法は主として２つある。一つは、発光色そのものの色を変更する方法であり、出力する光の周波数特性が異なる発光素子、レーザ等を利用することによって実現することができる。もう一つは、発光装置２０から外部へ出力する直前でカラーフィルム等のフィルタを通すことによって変更する方法である。この場合、周波数特性が異なる発光素子、レーザ等を用意する必要がなくなるため、比較的安価に実現することが可能である。
【００４３】
図３は、撮像装置１０Ｐ，１０Ｑにより得られた２つの画像の関係を説明する模式図である。球状の物体、円柱状の物体、及びそれらの背景を撮像対象物Ｔとして撮像した場合について説明する。発光装置２０の８つの発光部Ｌ１ 〜Ｌ８ から照射した光によって、球状の物体、円柱状の物体、及びその背景に光像が形成されるように発光装置２０の位置及び光軸を調節する。そして、撮像した画像に発光部Ｌ１ 〜Ｌ８ からの光による光像が含まれるように撮像装置１０Ｐ，１０Ｑを利用して撮像対象物Ｔを撮像する。
【００４４】
例えば、図３の上段に示した如き画像１００Ｐは撮像装置１０Ｐにより撮像されたものであり、下段に示した如き画像１００Ｑは撮像装置１０Ｑにより撮像されたものである。画像１００Ｐにおいて、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ から発せられた光による光像は、夫々×印で示されている点Ｐ１ ，Ｐ２ ，…，Ｐ８ の位置に現れている。同様に、画像１００Ｑにおいて、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ から発せられた光による光像は、夫々×印で示されている点Ｑ１ ，Ｑ２ ，…，Ｑ８ の位置に現れている。
【００４５】
本実施の形態では、画像１００Ｐに現れた点Ｐ１ 〜Ｐ８ と、画像１００Ｑに現れた点Ｑ１ 〜Ｑ８ とを後述する手法により対応付けを行い、２つの画像１００Ｐ，１００Ｑ間にて対応する点（対応点）の組合わせ（Ｐ１ ，Ｑ１ ），（Ｐ２ ，Ｑ２ ），…，（Ｐ８ ，Ｑ８ ）を求める。
【００４６】
図４は撮像装置１０Ｐ，１０Ｑにより得られた２つの画像１００Ｐ，１００Ｑ間の関係を説明する模式図である。図中Ｍは、撮像対象物Ｔ上に現れた光像の位置座標であり、撮像装置１０Ｐ，１０Ｑの位置によらない物体座標系によって表された３次元空間の座標である。また、前記光像の位置に対応した位置座標ｍ，ｍ’は、それぞれ画像１００Ｐ，１００Ｑに固定された２次元座標で表した座標であり、２つの画像１００Ｐ，１００Ｑ間で対応する点となっている。
【００４７】
３次元空間の位置座標Ｍと２次元画像の位置座標ｍとの関係は、射影行列Ｐを用いることによって、
【００４８】
【数１】
と表すことができ、射影行列Ｐは、
【００５０】
【数２】
と表すことができる。ここで、Ａはカメラパラメータを要素とした内部行列、ｔ及びＲは両撮像装置１０Ｐ，１０Ｑの並進ベクトル及び回転行列を表している。なお、内部行列Ａの要素であるカメラパラメータには、焦点距離、画素サイズ、画像の中心座標等のパラメータが含まれているが、近年のカメラ製造技術の進歩により、画像サイズ及び画像の中心座標を既知の量として取り扱うことが可能となってきており、カメラパラメータとして未知のパラメータは焦点距離のみとみなすことができる。
【００５２】
また、射影幾何学により、２つの画像における対応点の位置座標ｍ，ｍ’間には、次式で表される関係式が成り立つことが知られている。
【００５３】
【数３】
ここで、Ｆは基礎行列であり、数式（３）は２つの画像１００Ｐ，１００Ｑ間のエピポーラ拘束条件を示している。基礎行列Ｆは３×３の行列であり、特異値の一つがゼロであり、基礎行列Ｆのスケールが任意であるため、数式（３）は７つの拘束条件を与える。すなわち、２つの画像１００Ｐ，１００Ｑ間で７組以上の対応点が存在する場合には、基礎行列Ｆを求めることが可能である。しかしながら、実際には、光像が有限の大きさを持つこと、撮像装置１０Ｐ，１０Ｑから得られた画像１００Ｐ，１００Ｑにノイズ等が含まれていること等を考慮した場合、必ずしも位置座標ｍと位置座標ｍ’とが厳密な意味で対応しないことがある。そこで、７組より多くの対応点を利用して数式（３）による連立方程式を立て、最小２乗法により基礎行列Ｆを良好に求めることが望ましい。
【００５５】
更に、基礎行列Ｆは、前述した内部行列Ａ、並進ベクトルｔ、及び回転行列Ｒ、並びに基本行列Ｅ（＝［ｔ］ｘ Ｒ）を用いて、以下のように表すことができる。
【００５６】
【数４】
すなわち、数式（３）を利用することによって、基礎行列Ｆを求めることができ、求めた基礎行列Ｆから基本行列Ｅを求めることができる。更に、基本行列Ｅから並進ベクトルｔ及び回転行列Ｒを求めることができる。
【００５８】
並進ベクトルｔ及び回転行列Ｒが求まった場合、それらを用いて画像１００Ｐ，１００Ｑ上の位置座標ｍ，ｍ’を物体座標系における位置座標Ｍに変換することができる。しかしながら、画像１００Ｐ，１００Ｑに含まれるノイズ等の影響により、変換後の位置座標は３次元空間で一致しないことが多い。言い換えると、物体座標系における位置座標Ｍを並進ベクトルｔ及び回転行列Ｒを用いて各画像１００Ｐ，１００Ｑに射影した場合、射影後の位置座標は前記位置座標ｍ，ｍ’からずれていることが多い。そのため、並進ベクトルｔ、及び回転行列Ｒの各要素のバンドル調整（最適化）を行うことが望ましい。具体的には以下のようにしてバンドル調整を行う。
【００５９】
まず、物体座標系における３次元空間の位置座標Ｍｉ （ｉ＝１，２，…）を、並進ベクトルｔ及び回転行列Ｒを利用して各画像１００Ｐ，１００Ｑに射影し、夫々の画像１００Ｐ，１００Ｑ上の位置座標ｍｉ ，ｍｉ ’を求める。そして、求めた位置座標ｍｉ （位置座標ｍｉ ’）と、撮像対象物Ｔに生じた光像に関して実測した位置座標との間で距離の２乗和に関する評価関数を設定し、設定した評価関数の値が最小になるように並進ベクトルｔ及び回転行列Ｒの各要素を定めるようにしている。
【００６０】
このように、本実施の形態では、異なる２つの視点から撮像された画像１００Ｐ，１００Ｑを用いることによって、物体座標系における撮像装置１０Ｐ，１０Ｑの位置及び姿勢を、並進ベクトルｔ及び回転行列Ｒとして求めることができ、各撮像装置１０Ｐ，１０Ｑに固定したカメラ座標系と物体座標系との関係が求まる。
【００６１】
図５は画像処理装置３０の処理手順を説明するフローチャートである。まず、画像処理装置３０のＣＰＵ３１は、２つの画像１００Ｐ，１００Ｑを読込む（ステップＳ１）。読込む画像は、撮像装置１０Ｐ，１０Ｑにより撮像されて画像入力部３７から入力された画像、又は予め撮像されて記憶部３８に記憶された画像である。
【００６２】
次いで、ＣＰＵ３１は、読込まれた２つの画像１００Ｐ，１００Ｑから特徴点の抽出を行う（ステップＳ２）。特徴点の抽出は、読込まれた画像１００Ｐ，１００Ｑから最大輝度値を有する画素を検出することによって行う。また、発光装置２０の各発光部Ｌ１ 〜Ｌ８ がそれぞれ異なる色の光を発するようにしている場合には、当該色の情報に基づいて発光装置２０による光像を検出することも可能である。
【００６３】
次いで、各画像１００Ｐ，１００Ｑにおいて抽出した特徴点間の対応付けを行う（ステップＳ３）。特徴点間の対応付けは、例えば、以下のようにして求めることができる。すなわち、各画像１００Ｐ，１００Ｑには有限個の特徴点が存在し、考えられる特徴点間の対応関係は有限の組合せに限定される。それらの組合せの中から一つの組合せを選択し、選択した組合せに含まれる複数組の特徴点に基づき、数式（３）を利用して基礎行列Ｆを求める。仮に適切な組合せを選択した場合には、互いに対応関係にある他の特徴点の位置座標を数式（３）に代入したときに１つの基礎行列Ｆを共有することができ、適切でない組合せを選択した場合には、基礎行列Ｆを共有できないことになる。このように、各組合せに含まれる複数の特徴点を利用して求めた基礎行列Ｆが、他の特徴点間でも共有できるか否かを調べることによって、特徴点間の対応付けが適切であるか否かを検討することができ、画像１００Ｐ，１００Ｑ間における特徴点の対応付けを行うことが可能となる。
【００６４】
次いで、求めた複数組の対応点に基づき、前述の手法を利用して撮像装置１０Ｐ，１０Ｑの位置及び姿勢を算出する（ステップＳ４）。すなわち、本実施の形態では、８組の対応点を各画像から求めることができ、その８組の対応点を利用して基礎行列Ｆを求めて、撮像装置１０Ｐ，１０Ｑの並進ベクトルｔ及び回転行列Ｒを求めることができる。
【００６５】
次いで、算出した撮像装置１０Ｐ，１０Ｑの位置及び姿勢に基づいて、３次元画像の生成を行う（ステップＳ５）。ステップＳ４で撮像装置１０Ｐ，１０Ｑの並進ベクトルｔ及び回転行列Ｒを求めているため、数式（１）及び数式（２）を用いることによって、画像上の位置座標を物体座標系における３次元空間の位置座標に変換することができ、３次元画像の再構成を行うことができる。
【００６６】
尚、本実施の形態では、３次元画像を求める構成としたが、撮像装置１０Ｐ，１０Ｑの並進ベクトル及び回転行列Ｒを求めているため、撮像対象物Ｔ上の位置座標を求める３次元計測も可能であり、求めた位置座標により３次元のＣＡＤデータ（ＣＡＤ ： Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）を作成することも可能である。また、２つの画像１００Ｐ，１００Ｑ間の幾何学的関係が求まっているため、一方の画像１００Ｐ（又は１００Ｑ）を並進及び回転させて他方の画像１００Ｑ（１００Ｐ）に合成する画像合成も可能である。
【００６７】
本実施の形態では、発光装置２０はレーザポインタのようなスポット光を照射できる発光部Ｌ１ 〜Ｌ８ を備える形態としたが、必ずしも撮像対象物Ｔに点状の光像が形成される必要はなく、スリット状、グリッド状の光像が撮像対象物Ｔに形成されるような光を照射できる発光装置を利用しても良い。また、発光装置２０の代わりに所定の光像が形成できるようなプロジェクタを利用することも可能である。
【００６８】
また、本実施の形態では、２台の撮像装置１０Ｐ，１０Ｑを利用して異なる視点から撮像対象物Ｔを撮像する形態であったが、３台以上の撮像装置を利用してもよく、１台の撮像装置を用いて順次視点を変えて撮像する形態であってもよい。
【００６９】
また、従来法により抽出した特徴点と、本発明による手法を用いて抽出した特徴点とを混在して利用する形態であってもよい。
【００７０】
実施の形態２．
本実施の形態では、発光装置２０の各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ を時間制御し、画像間の特徴点の対応付けを容易にした画像処理システムについて説明する。画像処理システム全体の概略構成は実施の形態１と同じである。図６に本実施の形態に係る画像処理システムで利用される発光装置２０のブロック図を示す。発光装置２０は、８つの発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ を備えており、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ は夫々スイッチ部ＳＷ１ ，ＳＷ２ ，…，ＳＷ８ を介して制御部２１に接続されている。制御部２１にはタイマ２２が接続されており、タイマ２２から出力される時間情報に基づいて、スイッチ部ＳＷ１ 〜ＳＷ８ の開閉を制御する。例えば、スイッチ部ＳＷ１ が閉路した場合、発光部Ｌ１ が点灯し、スイッチ部ＳＷ１ が開路した場合、発光部Ｌ１ が消灯するようになしてあり、各発光部Ｌ１ ，…，Ｌ８ の点灯・消灯を各別に時間制御するようにしている。
【００７１】
図７は、発光部Ｌ１ 〜Ｌ８ の点灯タイミングと撮像装置１０Ｐ，１０Ｑによる撮像タイミングとを示すタイムチャートである。最上段のタイムチャートは、発光部Ｌ１ の点灯タイミングを表しており、所定時刻（ｔ＝ｔ０ とする）から時間ｔ１ が経過したとき、制御部２１はスイッチ部ＳＷ１ を閉路し、発光部Ｌ１ を点灯させる。そして、所定時間（例えば５秒）が経過したとき、制御部２１はスイッチ部ＳＷ１ を開路して、発光部Ｌ１ を消灯させる。次いで、時刻ｔ＝ｔ０ から時間ｔ２ が経過したとき、スイッチＳＷ２ を閉路して、発光部Ｌ２ を点灯させ、更に所定時間が経過したときに発光部Ｌ２ を消灯させる。そして、発光部Ｌ３ 〜Ｌ８ を順次、点灯及び消灯させる。
【００７２】
一方、撮像装置１０Ｐ，１０Ｑは、発光部Ｌ１ 〜Ｌ８ の何れかが点灯するタイミングで撮像対象物Ｔを撮像する。発光部Ｌ１ 〜Ｌ８ が点灯するタイミングに同期させて自動的に撮像する形態であってもよく、また、人の手によりタイミングを計って撮像する形態であってもよい。
【００７３】
図８は、本実施の形態に係る画像処理システムにより撮像された画像間の関係を説明する模式図である。図８（ａ）は、ｔ＝ｔ１ のときに撮像された画像であり、左側の画像１００Ｐは、撮像装置１０Ｐにより撮像対象物Ｔを撮像したもの、右側の画像１００Ｑは、撮像装置１０Ｑにより前記撮像対象物Ｔを撮像したものである。図７のタイムチャートを用いて説明したように、ｔ＝ｔ１ のときには発光部Ｌ１ のみを点灯させて両撮像装置１０Ｐ，１０Ｑにより撮像する構成であるため、発光部Ｌ１ から照射された光の光像のみがそれぞれ点Ｐ１ ，Ｑ１ の位置に現れる。これらの光像の位置を示す点Ｐ１ ，Ｑ１ は、撮像装置１０Ｐ，１０Ｑの位置及び姿勢を求める際の特徴点として採用することができ、それらの特徴点を対応点として対応付けることが容易となる。
【００７４】
同様に、図８（ｂ）に示した如くｔ＝ｔ２ では、発光部Ｌ２ のみを点灯させるため、発光部Ｌ２ から照射された光の光像のみがそれぞれ点Ｐ２ ，Ｑ２ の位置に現れ、特徴点として採用することができる。以降ｔ＝ｔ３ ，ｔ４ ，…，ｔ８ において撮像された画像１００Ｐ，１００Ｑから夫々の特徴点を抽出して対応付けを行うことができる。
【００７５】
以上のように、本実施の形態では、撮像対象物Ｔの画像を２つの撮像装置１０Ｐ，１０Ｑにより撮像する際、複数の発光部Ｌ１ 〜Ｌ８ を有する発光装置２０において、各発光部Ｌ１ ，Ｌ２ ，…Ｌ８ の発光タイミングを時間制御するようにしている。したがって、撮像対象物Ｔに現れる光像が各画像につき１つに限定されるため、特徴点の抽出及び特徴点間の対応付けが容易となる。
【００７６】
なお、各画像の特徴点の対応付けに基づく撮像装置１０Ｐ，１０Ｑの位置及び姿勢の算出手法、三次元画像の生成等は実施の形態１と同様に行うことができるため説明を省略する。
【００７７】
実施の形態３．
実施の形態１及び実施の形態２では銀塩カメラ、デジタルカメラ等の静止画を撮像する撮像装置１０Ｐ，１０Ｑを用いて撮像対象物Ｔの２次元画像を取得する形態であったが、アナログビデオカメラ、デジタルビデオカメラ等の動画像を撮像するための撮像装置を利用することも可能である。
【００７８】
図９は、本実施の形態に係る画像処理システムの構成を示すブロック図である。実施の形態１と同様に、画像処理システムは、２つの撮像装置５０Ｐ，５０Ｑ、発光装置２０、及び画像処理装置３０を備えている。
【００７９】
撮像装置５０Ｐ，５０Ｑは、アナログビデオカメラ、デジタルビデオカメラ等であり、撮像装置５０Ｐ，５０Ｑにより得られた映像は、撮像装置５０Ｐ，５０Ｑに接続された画像処理装置３０へ送信される。
【００８０】
発光装置２０は、発光部Ｌ１ 〜Ｌ８ の点灯及び消灯を制御する制御部２１、該制御部２１に接続されているタイマ２２を備え、制御部２１は、各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ に接続されているスイッチ部ＳＷ１ ，ＳＷ２ ，…，ＳＷ８ を開閉させることにより点灯及び消灯の制御を行う。また、制御部２１には通信部２３が接続されており、画像処理装置３０から送信された制御信号を受信できるようになっている。制御部２１では、受信した制御信号に基づき点灯すべきか、又は消灯すべきかの判断を行い、スイッチ部ＳＷ１ 〜ＳＷ８ の開閉を制御する。
【００８１】
画像処理装置３０は、撮像装置５０Ｐ，５０Ｑから送られた映像フレームを受信するための第１通信部３９ａ、及び発光装置２０の通信部２３へ接続されている第２通信部３９ｂを備えている。第１通信部３９ａにて受信した映像フレームは、ＲＡＭ３４又は記憶部３８に記憶されるようになっている。また、ＣＰＵ３１は、発光部Ｌ１ 〜Ｌ８ を点灯及び消灯させるタイミングの情報を含んだ制御信号を生成し、第２通信部３９ｂから送信するようにしている。
【００８２】
画像処理装置３０では、発光部Ｌ１ 〜Ｌ８ により照射された光の光像が写っている映像フレームを解析し、前述した如く特徴点の抽出、各特徴点間の対応付けを行う。
【００８３】
図１０及び図１１は、本実施の形態に係る画像処理装置３０の処理手順を説明するフローチャートである。まず、画像処理装置３０は、撮像装置５０Ｐ，５０Ｑからの映像フレームを第１通信部３９ａにより受付け、映像フレームの入力を開始する（ステップＳ１１）。そして、カウンタをｉ＝１にセットしたうえで（ステップＳ１２）、図に示していないタイマをリセットする（ステップＳ１３）。
【００８４】
画像処理装置３０のＣＰＵ３１は、タイマが示す時間を参照することにより所定時間が経過したか否かを判断し（ステップＳ１４）、所定時間が経過していない場合（Ｓ１４：ＮＯ）、所定時間が経過するまで待機する。
【００８５】
所定時間が経過した場合（Ｓ１４：ＹＥＳ）、発光部Ｌｉ を点灯及び消灯させるための制御信号を第２通信部３９ｂを介して発光装置２０へ送信する（ステップＳ１５）。そして、発光部Ｌｉ が点灯した時刻Ｔｉ をＲＡＭ３４に記憶させる（ステップＳ１６）。
【００８６】
次いで、カウンタの値ｉが所定値ｎ（例えば、ｎ＝８）に達したか否かを判断し（ステップＳ１７）、所定値ｎに達していない場合（Ｓ１７：ＮＯ）、カウンタの値ｉを１だけ増やし（ステップＳ１８）、処理をＳ１３へ戻す。
【００８７】
カウンタの値ｉが所定値ｎに達した場合（Ｓ１７：ＹＥＳ）、別のカウンタの値ｊを１にセットし（ステップＳ１９）、撮像装置５０Ｐ，５０Ｑにより撮像された時刻Ｔｊ の映像フレームを検索して読込み（ステップＳ２０）、画像処理装置３０の記憶部３８に一時的に記憶させる。
そして、画像処理装置３０のＣＰＵ３１は、ステップＳ２０において読込まれた２つの映像フレームから夫々特徴点を抽出し（ステップＳ２１）、それらの特徴点間の対応付けを行う（ステップＳ２２）。ステップＳ１２からステップＳ１７において、タイミングをずらして各発光部Ｌ１ 〜Ｌ８ を点灯及び消灯するように制御しているため、各映像フレームには、発光部Ｌｉ （ｉ＝１〜８）からの光像が一つだけ現れる。したがって、その光像に基づき抽出した特徴点を利用して、映像フレーム間の対応付けを容易に行うことができる。
【００８８】
次いで、ＣＰＵ３１は、カウンタの値ｊが所定値ｎに達したか否かを判断し（ステップＳ２３）、所定値ｎに達していない場合（Ｓ２３：ＮＯ）、カウンタの値ｊを１だけ増やした後（ステップＳ２４）、処理をステップＳ２０へ戻す。
【００８９】
カウンタの値ｊが所定値に達した場合（Ｓ２３：ＹＥＳ）、求めた複数組の対応点に基づき、前述した手法を利用して撮像装置１０Ｐ，１０Ｑの位置及び姿勢を算出する（ステップＳ２５）。すなわち、本実施の形態では、８組の対応点を各映像フレームから求めることができ、その８組の対応点を利用して基礎行列Ｆを求めて、撮像装置５０Ｐ，５０Ｑの並進ベクトルｔ及び回転行列Ｒを求めることができる。
【００９０】
次いで、算出した撮像装置５０Ｐ，５０Ｑの位置及び姿勢に基づいて、３次元画像の生成を行う（ステップＳ２６）。ステップＳ２５で撮像装置５０Ｐ，５０Ｑの並進ベクトルｔ及び回転行列Ｒを求めているため、数式（１）及び数式（２）を用いることによって、画像（映像フレーム）上の位置座標を物体座標系における３次元空間の位置座標に変換することができ、３次元画像の再構成を行うことができる。
尚、本実施の形態では、３次元画像を求める構成としたが、撮像装置５０Ｐ，５０Ｑの並進ベクトルｔ及び回転行列Ｒを求めているため、撮像対象物Ｔ上の位置座標を求める３次元計測も可能であり、求めた位置座標により３次元のＣＡＤデータを作成することも可能である。また、２つの画像間の幾何学的関係が求まっているため、一方の画像を並進及び回転させて他方の画像に合成する画像合成も可能である。
【００９１】
このように本実施の形態では、動画像を撮像する撮像装置５０Ｐ，５０Ｑを利用しているため、発光装置２０の各発光部Ｌ１ ，Ｌ２ ，…，Ｌ８ の発光タイミングに同期させて撮像する必要はないが、発光したタイミングに係る情報を通信部２３から第２通信部３９ｂへ送信するようにした場合、その情報を元に照射した光の光像が現れる映像フレームの検索を行うことができ、映像フレーム間の特徴点の対応付けが容易となる。
【００９２】
【発明の効果】
以上、詳述したように、第１発明、第２発明、及び第７発明による場合は、撮像対象に光を照射して撮像した複数の画像を読込み、照射した光により撮像対象に生じた光像の位置を各画像から算出し、算出した光像の位置に基づき撮像した際の撮像装置の位置及び姿勢を求めるようにしている。したがって、撮像対象に特徴点を見出せない場合であっても、発光装置により照射した光の光像を特徴点の代わりとして利用することが可能であり、それらの特徴点に基づき各画像上で互いに対応する対応点を求めることが可能となる。また、特徴点を抽出する際、２値画像、明暗画像等を生成する処理を省くことができ、計算時間を短縮することができる。
【００９３】
第３発明による場合は、発光装置が複数のスポット光を照射する手段を備えているため、撮像対象に特徴点を見出せない場合であっても、照射したスポット光の光像を特徴点の代わりとして利用することが可能であり、この特徴点に基づき各画像間での対応点を算出することができる。また、特徴点を抽出する際、２値画像、明暗画像等を生成する処理を省くことができ、計算時間を短縮することができる。
【００９４】
第４発明による場合は、各別に固有の色を有する複数のスポット光を照射する手段を備えているため、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００９５】
第５発明による場合は、照射するスポット光毎の点灯及び消灯を制御する手段を備えている。したがって、スポット光を照射した場合の画像とスポット光を照射しない場合の画像とを比較することによって、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００９６】
第６発明による場合は、照射するスポット光毎の点灯及び消灯を時間により制御する手段を備えている。したがって、スポット光を照射した場合の画像とスポット光を照射しない場合の画像とを比較することによって、各画像上に現れる特徴点間の対応付けが容易となり、対応点を算出する際の時間を短縮することが可能となる。
【００９７】
第８発明による場合は、算出した撮像装置の位置及び姿勢に基づき、３次元画像を生成するようにしているため、各画像における対応点を利用した３次元画像の生成が容易となる。
【００９８】
第９発明による場合は、算出した撮像装置の位置及び姿勢に基づき、合成画像を生成するようにしているため、各画像における対応点を利用した合成画像の生成が容易となる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理システムを説明するブロック図である。
【図２】発光装置の外観斜視図である。
【図３】撮像装置により得られた２つの画像の関係を説明する模式図である。
【図４】撮像装置により得られた２つの画像間の関係を説明する模式図である。
【図５】画像処理装置の処理手順を説明するフローチャートである。
【図６】本実施の形態に係る画像処理システムで利用される発光装置のブロック図を示す。
【図７】発光部の点灯タイミングと撮像装置による撮像タイミングとを示すタイムチャートである。
【図８】本実施の形態に係る画像処理システムにより撮像された画像間の関係を説明する模式図である。
【図９】本実施の形態に係る画像処理システムの構成を示すブロック図である。
【図１０】本実施の形態に係る画像処理装置の処理手順を説明するフローチャートである。
【図１１】本実施の形態に係る画像処理装置の処理手順を説明するフローチャートである。
【図１２】撮像対象を撮像する際の配置を示す模式図である。
【図１３】撮像して得られた２次元画像間の関係を説明する模式図である。
【符号の説明】
１０Ｐ，１０Ｑ 撮像装置
２０ 発光装置
２１ 制御部
２２ タイマ
２３ 通信部
Ｌ１ 〜Ｌ８ 発光部
ＳＷ１ 〜ＳＷ２ スイッチ部
３０ 画像処置装置
３１ ＣＰＵ
３７ 画像入力部
５０Ｐ，５０Ｑ 撮像装置
Ｔ 撮像対象物
Claims (9)
- 撮像対象を撮像装置により撮像するステップと、撮像して得られた画像を画像処理装置に読込むステップと、該ステップにより読込まれた複数の画像に基づいて、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を算出するステップとを有する画像処理方法において、
前記撮像対象に光を照射するステップと、光を照射して撮像した複数の画像を読込むステップと、照射した光により前記撮像対象に生じた光像の位置情報を読込まれた各画像から算出するステップと、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求めるステップと、求めた対応点に基づき、前記撮像装置の位置及び姿勢を算出するステップとを有することを特徴とする画像処理方法。 - 撮像対象を撮像する撮像装置と、該撮像装置により撮像して得られた画像を読込む手段、及び該手段により読込まれた複数の画像に基づいて、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を求める手段を有する画像処理装置とを備える画像処理システムにおいて、
前記撮像対象に光を照射する発光装置を備え、前記画像処理装置は、前記発光装置により光を照射して撮像した複数の画像を読込むべくなしてあり、照射した光により前記撮像対象に生じた光像の位置情報を読込まれた各画像から算出する手段と、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求める手段とを備え、求めた対応点に基づき、前記撮像装置の位置及び姿勢を算出すべくなしてあることを特徴とする画像処理システム。 - 前記発光装置は、１又は複数のスポット光を照射する手段を備えることを特徴とする請求項２に記載の画像処理システム。
- 前記発光装置は、各別に固有の色を有する複数のスポット光を照射する手段を備えることを特徴とする請求項２に記載の画像処理システム。
- 前記発光装置は、照射するスポット光毎の点灯及び消灯を制御する制御手段を更に備えることを特徴とする請求項３又は請求項４に記載の画像処理システム。
- 計時手段を更に備え、前記制御手段は前記計時手段が出力した時間に基づき制御すべくなしてあることを特徴とする請求項５に記載の画像処理システム。
- 撮像装置により撮像対象を撮像した画像を読込む読込手段と、該読込手段により読込まれた複数の画像に基づいて、撮像対象を撮像した際の撮像装置の位置及び姿勢を求める手段とを備える画像処理装置において、
撮像対象に光を照射して撮像した複数の画像を前記読込手段により読込むべくなしてあり、照射した光により前記撮像対象に生じた光像の位置情報を読込まれた各画像から算出する手段と、算出した光像の位置情報に基づき各画像上で互いに対応する対応点を求める手段とを備え、求めた対応点に基づき、撮像装置の位置及び姿勢を算出すべくなしてあることを特徴とする画像処理装置。 - 算出した撮像装置の位置及び姿勢に基づき、前記撮像対象の３次元画像を求める手段を更に備えることを特徴とする請求項７に記載の画像処理装置。
- 算出した撮像装置の位置及び姿勢に基づき、前記画像から合成画像を生成する手段を更に備えることを特徴とする請求項７に記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002289178A JP2004046772A (ja) | 2002-05-13 | 2002-10-01 | 画像処理方法、画像処理システム、及び画像処理装置 |
| US10/340,647 US20030210407A1 (en) | 2002-05-13 | 2003-01-13 | Image processing method, image processing system and image processing apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002137673 | 2002-05-13 | ||
| JP2002289178A JP2004046772A (ja) | 2002-05-13 | 2002-10-01 | 画像処理方法、画像処理システム、及び画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004046772A true JP2004046772A (ja) | 2004-02-12 |
Family
ID=29405335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002289178A Pending JP2004046772A (ja) | 2002-05-13 | 2002-10-01 | 画像処理方法、画像処理システム、及び画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030210407A1 (ja) |
| JP (1) | JP2004046772A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006098255A (ja) * | 2004-09-30 | 2006-04-13 | Ricoh Co Ltd | 撮影方法、撮影システム、複合装置、３次元形状復元方法、プログラム及び情報記録媒体 |
| JP2006098256A (ja) * | 2004-09-30 | 2006-04-13 | Ricoh Co Ltd | ３次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体 |
| JP2006138735A (ja) * | 2004-11-12 | 2006-06-01 | Central Res Inst Of Electric Power Ind | カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法 |
| KR100633797B1 (ko) | 2004-07-07 | 2006-10-16 | 최종주 | 물체 표면 외곽단면과 입체 형상의 측정장치 및 방법 |
| JP2007219765A (ja) * | 2006-02-15 | 2007-08-30 | Toyota Motor Corp | 画像処理装置、その方法、および画像処理用プログラム |
| KR101155816B1 (ko) * | 2005-06-17 | 2012-06-12 | 오므론 가부시키가이샤 | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 |
| JP2013187860A (ja) * | 2012-03-09 | 2013-09-19 | Ricoh Co Ltd | 画像合成装置及びプログラム |
| JP2014112798A (ja) * | 2012-12-05 | 2014-06-19 | Secom Co Ltd | カメラシステム |
| JP2016003930A (ja) * | 2014-06-16 | 2016-01-12 | 日本電信電話株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2016223935A (ja) * | 2015-06-01 | 2016-12-28 | 株式会社Ｎｔｔファシリティーズ | 画像処理システム、画像処理方法及びプログラム |
| JP6132221B1 (ja) * | 2016-10-12 | 2017-05-24 | 国際航業株式会社 | 画像取得方法、及び画像取得装置 |
| JP2021503603A (ja) * | 2017-11-17 | 2021-02-12 | トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 少なくとも１つの物体の位置を決定するための検出器 |
| KR20220150132A (ko) * | 2021-05-03 | 2022-11-10 | (주)이레에프에이 | 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법 |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020163573A1 (en) * | 2001-04-11 | 2002-11-07 | Bieman Leonard H. | Imaging system |
| US20060033906A1 (en) * | 2002-11-15 | 2006-02-16 | Fuji Photo Film Co., Ltd. | Exposure device |
| US7519907B2 (en) * | 2003-08-04 | 2009-04-14 | Microsoft Corp. | System and method for image editing using an image stack |
| US20050254032A1 (en) * | 2003-11-13 | 2005-11-17 | Fuji Photo Film Co., Ltd. | Exposure device |
| US7555331B2 (en) * | 2004-08-26 | 2009-06-30 | Stereotaxis, Inc. | Method for surgical navigation utilizing scale-invariant registration between a navigation system and a localization system |
| WO2008054496A2 (en) * | 2006-04-05 | 2008-05-08 | California Institute Of Technology | 3- dimensional imaging by acoustic warping and defocusing |
| DE102006036671A1 (de) | 2006-08-03 | 2008-02-07 | Dürr Assembly Products GmbH | Verfahren zur Bestimmung der Achsgeometrie eines Fahrzeugs |
| US8089635B2 (en) | 2007-01-22 | 2012-01-03 | California Institute Of Technology | Method and system for fast three-dimensional imaging using defocusing and feature recognition |
| WO2008091691A1 (en) | 2007-01-22 | 2008-07-31 | California Institute Of Technology | Method and apparatus for quantitative 3-d imaging |
| WO2008133960A1 (en) * | 2007-04-23 | 2008-11-06 | California Institute Of Technology | An aperture system with spatially-biased aperture shapes for 3-d defocusing-based imaging |
| JP2010044180A (ja) * | 2008-08-12 | 2010-02-25 | Victor Co Of Japan Ltd | 液晶表示装置及びこれに用いる映像信号処理方法 |
| EP2428932A1 (en) | 2008-08-27 | 2012-03-14 | California Institute of Technology | Method and device for high-resolution three-dimensional imaging which obtains camera pose using defocusing |
| US20100061593A1 (en) * | 2008-09-05 | 2010-03-11 | Macdonald Willard S | Extrapolation system for solar access determination |
| US8773507B2 (en) | 2009-08-11 | 2014-07-08 | California Institute Of Technology | Defocusing feature matching system to measure camera pose with interchangeable lens cameras |
| WO2011031538A2 (en) * | 2009-08-27 | 2011-03-17 | California Institute Of Technology | Accurate 3d object reconstruction using a handheld device with a projected light pattern |
| DE102010013498B4 (de) * | 2010-03-31 | 2016-06-02 | Siemens Aktiengesellschaft | Verfahren zum Ermitteln von dreidimensionalen Volumendaten, Bildgebungsvorrichtung und Datenträger |
| US9229106B2 (en) | 2010-08-13 | 2016-01-05 | Ryan Dotson | Enhancement of range measurement resolution using imagery |
| CN107103622B (zh) | 2010-09-03 | 2021-08-03 | 加州理工学院 | 三维成像系统 |
| JP5158223B2 (ja) * | 2011-04-06 | 2013-03-06 | カシオ計算機株式会社 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
| CN102269572A (zh) * | 2011-04-26 | 2011-12-07 | 中国科学院上海光学精密机械研究所 | 光盘翘曲测试装置和测试方法 |
| CN102538672B (zh) * | 2011-12-16 | 2015-05-20 | 中北大学 | 一种基于cmos机器视觉零件尺寸测量系统及测量检验方法 |
| US10046700B2 (en) * | 2012-05-22 | 2018-08-14 | Mitsubishi Electric Corporation | Image processing device |
| KR20140075163A (ko) * | 2012-12-11 | 2014-06-19 | 한국전자통신연구원 | 구조광 방식을 활용한 패턴 프로젝팅 방법 및 장치 |
| US9644942B2 (en) * | 2012-11-29 | 2017-05-09 | Mitsubishi Hitachi Power Systems, Ltd. | Method and apparatus for laser projection, and machining method |
| CN103471509A (zh) * | 2013-03-25 | 2013-12-25 | 深圳信息职业技术学院 | 一种应用于贴片机的图像分析测试方法及系统 |
| CN103383730A (zh) * | 2013-06-03 | 2013-11-06 | 上海索广映像有限公司 | 一种bnc端子自动检测机及其工作方法 |
| CN103383239A (zh) * | 2013-06-03 | 2013-11-06 | 上海索广映像有限公司 | 一种bnc端子图像识别装置及识别方法 |
| US9254682B2 (en) * | 2013-10-28 | 2016-02-09 | Eastman Kodak Company | Imaging module with aligned imaging systems |
| US9189711B2 (en) * | 2013-10-28 | 2015-11-17 | Eastman Kodak Company | Method for aligning imaging systems |
| CN103673923B (zh) * | 2013-12-25 | 2017-02-15 | 裘钧 | 基于数字图像处理的曲线纤维网络结构形貌特征测量方法 |
| CN104132612B (zh) * | 2014-07-01 | 2017-01-04 | 西安电子科技大学 | 一种丝杠尺寸参数检测方法与设备 |
| CN104316530A (zh) * | 2014-11-04 | 2015-01-28 | 无锡港湾网络科技有限公司 | 一种零部件检测方法及应用 |
| CN105300316B (zh) * | 2015-09-22 | 2017-10-13 | 大连理工大学 | 基于灰度重心法的光条中心快速提取方法 |
| CN105092608B (zh) * | 2015-09-24 | 2017-11-03 | 哈尔滨工业大学 | 终端光学元件损伤在线检测中孪生像的剔除方法 |
| WO2017132165A1 (en) | 2016-01-25 | 2017-08-03 | California Institute Of Technology | Non-invasive measurement of intraocular pressure |
| WO2017149850A1 (ja) * | 2016-02-29 | 2017-09-08 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN106066153A (zh) * | 2016-05-25 | 2016-11-02 | 武汉理工大学 | 一种检测仓储货物尺寸和重量的装置 |
| US10388027B2 (en) * | 2016-06-01 | 2019-08-20 | Kyocera Corporation | Detection method, display apparatus, and detection system |
| CN106767399B (zh) * | 2016-11-11 | 2018-11-09 | 大连理工大学 | 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法 |
| JP6713015B2 (ja) * | 2018-04-13 | 2020-06-24 | 株式会社大気社 | 自動研磨システム |
-
2002
- 2002-10-01 JP JP2002289178A patent/JP2004046772A/ja active Pending
-
2003
- 2003-01-13 US US10/340,647 patent/US20030210407A1/en not_active Abandoned
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100633797B1 (ko) | 2004-07-07 | 2006-10-16 | 최종주 | 물체 표면 외곽단면과 입체 형상의 측정장치 및 방법 |
| JP2006098256A (ja) * | 2004-09-30 | 2006-04-13 | Ricoh Co Ltd | ３次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体 |
| JP2006098255A (ja) * | 2004-09-30 | 2006-04-13 | Ricoh Co Ltd | 撮影方法、撮影システム、複合装置、３次元形状復元方法、プログラム及び情報記録媒体 |
| JP4680558B2 (ja) * | 2004-09-30 | 2011-05-11 | 株式会社リコー | 撮影及び３次元形状復元方法、並びに撮影及び３次元形状復元システム |
| JP2006138735A (ja) * | 2004-11-12 | 2006-06-01 | Central Res Inst Of Electric Power Ind | カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法 |
| KR101155816B1 (ko) * | 2005-06-17 | 2012-06-12 | 오므론 가부시키가이샤 | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 |
| US8233041B2 (en) | 2005-06-17 | 2012-07-31 | Omron Corporation | Image processing device and image processing method for performing three dimensional measurements |
| JP2007219765A (ja) * | 2006-02-15 | 2007-08-30 | Toyota Motor Corp | 画像処理装置、その方法、および画像処理用プログラム |
| JP4715539B2 (ja) * | 2006-02-15 | 2011-07-06 | トヨタ自動車株式会社 | 画像処理装置、その方法、および画像処理用プログラム |
| JP2013187860A (ja) * | 2012-03-09 | 2013-09-19 | Ricoh Co Ltd | 画像合成装置及びプログラム |
| JP2014112798A (ja) * | 2012-12-05 | 2014-06-19 | Secom Co Ltd | カメラシステム |
| JP2016003930A (ja) * | 2014-06-16 | 2016-01-12 | 日本電信電話株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2016223935A (ja) * | 2015-06-01 | 2016-12-28 | 株式会社Ｎｔｔファシリティーズ | 画像処理システム、画像処理方法及びプログラム |
| JP6132221B1 (ja) * | 2016-10-12 | 2017-05-24 | 国際航業株式会社 | 画像取得方法、及び画像取得装置 |
| JP2018063162A (ja) * | 2016-10-12 | 2018-04-19 | 国際航業株式会社 | 画像取得方法、及び画像取得装置 |
| JP2021503603A (ja) * | 2017-11-17 | 2021-02-12 | トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 少なくとも１つの物体の位置を決定するための検出器 |
| JP7254799B2 (ja) | 2017-11-17 | 2023-04-10 | トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 少なくとも１つの物体の位置を決定するための検出器 |
| KR20220150132A (ko) * | 2021-05-03 | 2022-11-10 | (주)이레에프에이 | 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법 |
| KR102535300B1 (ko) * | 2021-05-03 | 2023-05-26 | (주)이레에프에이 | 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030210407A1 (en) | 2003-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004046772A (ja) | 画像処理方法、画像処理システム、及び画像処理装置 | |
| CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
| EP2620915B1 (en) | Three-dimensional scan recovery | |
| JP6429772B2 (ja) | ３ｄ走査および位置決めシステム | |
| US7742635B2 (en) | Artifact mitigation in three-dimensional imaging | |
| US6930685B1 (en) | Image processing method and apparatus | |
| JP5921271B2 (ja) | 物体測定装置、及び物体測定方法 | |
| US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
| US20030202120A1 (en) | Virtual lighting system | |
| JP2009515493A (ja) | カメラ動きの決定 | |
| CN105190229B (zh) | 三维形状计测装置、三维形状计测方法及三维形状计测程序 | |
| US11182945B2 (en) | Automatically generating an animatable object from various types of user input | |
| JP7241933B2 (ja) | 画像レジストレーション方法及びそれに関係するモデルトレーニング方法、デバイス、装置 | |
| CN111292239A (zh) | 一种三维模型拼接设备及方法 | |
| JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| JP2012185772A (ja) | 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム | |
| JP2023511670A (ja) | 多視点カメラシステムからのデータを用いるなどで深度センサからの深度データを増強する方法及びシステム | |
| CN111028341A (zh) | 一种三维模型生成方法 | |
| JP2003202216A (ja) | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム | |
| CN111340959B (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 | |
| US11645800B2 (en) | Advanced systems and methods for automatically generating an animatable object from various types of user input | |
| Bartczak et al. | Integration of a time-of-flight camera into a mixed reality system for handling dynamic scenes, moving viewpoints and occlusions in real-time | |
| JP2005063041A (ja) | ３次元モデリング装置、方法、及びプログラム | |
| JP5506371B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2005031044A (ja) | 三次元誤差測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050412 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050809 |