JP2012202942A - Three-dimensional modeling device, three-dimensional modeling method, and program - Google Patents
Three-dimensional modeling device, three-dimensional modeling method, and program Download PDFInfo
- Publication number
- JP2012202942A JP2012202942A JP2011070349A JP2011070349A JP2012202942A JP 2012202942 A JP2012202942 A JP 2012202942A JP 2011070349 A JP2011070349 A JP 2011070349A JP 2011070349 A JP2011070349 A JP 2011070349A JP 2012202942 A JP2012202942 A JP 2012202942A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- correspondence
- unit
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
本発明は、被写体を適切に三次元モデリングするための三次元モデリング装置、三次元モデリング方法、ならびに、プログラムに関する。 The present invention relates to a three-dimensional modeling apparatus, a three-dimensional modeling method, and a program for appropriately three-dimensionally modeling a subject.
人間、動物、あるいは、美術品などの被写体を右眼用撮像部と左目用撮像部とを備えるステレオカメラを用いて撮像し、撮像により得られたステレオ画像(右眼用画像と左眼用画像)から、被写体の三次元モデルを構築する技術が知られている。 A subject such as a human being, an animal, or a work of art is imaged using a stereo camera including an imaging unit for the right eye and an imaging unit for the left eye, and a stereo image obtained by the imaging (an image for the right eye and an image for the left eye) ), A technique for constructing a three-dimensional model of a subject is known.
また、カメラのズーム機能を使用して撮像したステレオ画像から三次元モデルを構築することを可能にした技術についても開示されている。 Also disclosed is a technique that makes it possible to construct a three-dimensional model from a stereo image captured using the zoom function of a camera.
例えば、特許文献1に記載の発明では、ズーム位置毎に、予め測定した補正用データ(カメラ情報)をテーブルに格納しておく。そして、ステレオ画像を撮像した際に、撮像制御部から当該撮像したズーム位置を特定する。そして、特定したズーム位置に対応した補正用データをテーブルから取得し、取得した補正データに基づいて、ステレオ画像の歪み補正と平行化とを行うことで、ズーム機能を使用して撮像されたステレオ画像から三次元モデルを作成する。
For example, in the invention described in
ステレオカメラの左右の撮像部は、経年劣化や機械的な「遊び」による影響により、焦点距離等の内部パラメータに誤差が生じることが多い。このような誤差が生じている場合は、特許文献1に記載の発明のようにズーム位置毎に記憶された補正データを用いて、ステレオ画像の歪み補正と平行化とを行ったとしても、左右画像でエピ極線の高さが異なるため、作成される三次元モデルの精度が低下してしまうという問題があった。
The left and right imaging units of a stereo camera often have errors in internal parameters such as focal length due to the effects of aging and mechanical “play”. When such an error occurs, even if the correction and parallelization of the stereo image are performed using the correction data stored for each zoom position as in the invention described in
また、特許文献1に記載の発明では、ズームさせるためにカメラのレンズ位置を移動させるモータ等の駆動装置にばらつきがあるため、ズーム位置毎の補正データの測定を細かいステップで事前に行なう必要がある。従って、測定に多大な時間がかかり製品の生産性が低下するという問題があった。
Further, in the invention described in
本発明は上記実情に鑑みてなされたものであり、ズーム機能を用いた場合であっても、精度よく三次元モデルを作成することができる三次元モデリング装置、三次元モデリング方法、ならびに、プログラムを提供することを目的とする。
また、ズーム位置毎の補正データの測定にかかる時間を短縮することができる三次元モデリング装置、三次元モデリング方法、ならびに、プログラムを提供することを他の目的とする。
The present invention has been made in view of the above circumstances, and a three-dimensional modeling apparatus, a three-dimensional modeling method, and a program that can accurately create a three-dimensional model even when the zoom function is used. The purpose is to provide.
Another object of the present invention is to provide a three-dimensional modeling apparatus, a three-dimensional modeling method, and a program that can reduce the time required for measuring correction data for each zoom position.
上記目的を達成するため本発明の三次元モデリング装置は、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得手段と、
前記特徴点対応取得手段が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去手段と、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得手段が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第1画像補正手段と、
前記第1画像補正手段が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成手段と、
を備えることを特徴とする。
In order to achieve the above object, the three-dimensional modeling apparatus of the present invention provides:
Image acquisition means for acquiring a plurality of images obtained by imaging the same subject from different angles;
Feature point correspondence acquisition means for acquiring a feature point from each image acquired by the image acquisition means, and acquiring a set corresponding to the feature point by matching the acquired feature points;
Among the feature point correspondence sets acquired by the feature point correspondence acquisition unit, an erroneous correspondence removal unit that removes, as an erroneous correspondence, a pair whose vertical coordinate difference is equal to or greater than a predetermined value;
The display magnification of the subject between the images acquired by the image acquisition unit based on the vertical coordinates of the set corresponding to the feature point acquired by the feature point correspondence acquisition unit and after the erroneous correspondence is removed by the erroneous correspondence removal unit First image correcting means for correcting the image so that the difference between the two and the difference between the vertical coordinates are within a predetermined range;
3D model generation means for generating a 3D model of the subject from each image corrected by the first image correction means;
It is characterized by providing.
本発明によれば、ズーム機能を用いた場合であっても、精度よく三次元モデルを作成することができる。また、ズーム位置毎の補正データの測定にかかる時間を短縮することができる。 According to the present invention, a three-dimensional model can be created with high accuracy even when the zoom function is used. In addition, the time required for measuring correction data for each zoom position can be shortened.
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。本実施形態では、本発明をデジタル式のステレオカメラに適用した例を示す。なお、本発明は下記の実施形態及び図面によって限定されるものではない。また、本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来る。また、図中同一または相当部分には同一符号を付す。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In this embodiment, an example in which the present invention is applied to a digital stereo camera is shown. In addition, this invention is not limited by the following embodiment and drawing. Moreover, a change can be added to following embodiment and drawing in the range which does not change the summary of this invention. Moreover, the same code | symbol is attached | subjected to the same or an equivalent part in a figure.
図1(A)、(B)は、本実施形態に係るステレオカメラ1の外観図である。図1(A)に示すように、このステレオカメラ1の前面には、レンズ111Aと、レンズ111Bと、ストロボ発光部400と、が設けられ、上面には、シャッタボタン331が設けられている。レンズ111Aとレンズ111Bは、シャッタボタン331が上になる方向で、ステレオカメラ1を水平にした場合に、各々の中心位置が水平方向で同一線上となるように、所定の間隔を隔てて配置されている。ストロボ発光部400は、必要に応じて被写体に向けてストロボ光を照射する。シャッタボタン331は、ユーザからのシャッタ動作指示を受け付けるためのボタンである。
1A and 1B are external views of a
ステレオカメラ1の背面には、図1(B)に示すように、表示部310と、操作キー332と、電源ボタン333と、ズームボタン334と、が設けられている。表示部310は、例えば、液晶表示装置等から構成され、ステレオカメラ1を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像等を表示するための電子ビューファインダとして機能する。
As shown in FIG. 1B, a
操作キー332は、十字キーや決定キー等を含み、モード切替や表示切替等、ユーザからの各種の操作を受け付ける。電源ボタン333は、ステレオカメラ1の電源のオン・オフをユーザから受け付けるためのボタンである。
The
ズームボタン334は、ステレオカメラ1のズーム機能を動作させるためのボタンである。ズームボタン334を押下することで、第1撮像部100Aと第2撮像部100Bとの撮像倍率が同時に変更される。
The
図2は、ステレオカメラ1の電気的構成を示すブロック図である。図2に示すように、ステレオカメラ1は、第1撮像部100Aと、第2撮像部100Bと、データ処理部200と、I/F部300と、ストロボ発光部400と、を備える。
FIG. 2 is a block diagram showing an electrical configuration of the
第1撮像部100A及び第2撮像部100Bは、それぞれ被写体を撮像する機能を担う部分である。ステレオカメラ1は、いわゆる複眼カメラであり、このように2つの撮像部を有する構成であるが、第1撮像部100Aと第2撮像部100Bは同一の構成である。以下、第1撮像部100Aについての構成には参照符号の末尾に「A」を付し、第2撮像部100Bについての構成には参照符号の末尾に「B」を付す。
Each of the
図2に示すように、第1撮像部100A(第2撮像部100B)は、光学装置110A(110B)、イメージセンサ部120A(120B)、及び、レンズ駆動部130A(130B)等から構成されている。光学装置110A(110B)は、例えば、可動可能なレンズ、絞り機構、シャッタ機構、等を含み、撮像に係る光学的動作を行う。即ち、光学装置110A(110B)の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピード等といった、画角やピント、露出等にかかる光学的要素の調整がなされる。
As shown in FIG. 2, the
なお、光学装置110A(110B)に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置110A(110B)にシャッタ機構が含まれていなくてもよい。また、光学装置110A(110B)は、後述する制御部210による制御によって動作する。
The shutter mechanism included in the optical device 110A (110B) is a so-called mechanical shutter. When the shutter operation is performed only by the operation of the image sensor, the optical device 110A (110B) may not include the shutter mechanism. Good. The optical device 110A (110B) operates under the control of the
イメージセンサ部120A(120B)は、光学装置110A(110B)によって集光された入射光に応じた電気信号を生成する。イメージセンサ部120A(120B)は、例えば、CCD(Charge Coupled Device)やCMOS(Complementally Metal Oxide Semiconductor)等のイメージセンサから構成され、光電変換を行うことで、受光した光の強度に応じた電気信号を生成し、生成した電気信号をデータ処理部200に出力する。
The image sensor unit 120A (120B) generates an electrical signal corresponding to the incident light collected by the optical device 110A (110B). The image sensor unit 120A (120B) is composed of, for example, an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and performs an electrical signal according to the intensity of received light by performing photoelectric conversion. And the generated electrical signal is output to the
レンズ駆動部130A(130B)は、ステッピングモータやアクチュエータなどから構成され、制御部210の指示に基づいて、光学装置110A(110B)のレンズを図1の紙面に垂直方向に移動させる。レンズが移動することにより被写体の撮像倍率が変化し、ズーム機能が達成される。なお、本実施形態では、両レンズ駆動部130A,130Bはほぼ同時に駆動制御され、ズーム機能を用いても、第1撮像部と第2撮像部の撮像倍率は同一に制御される。しかし、実際には、レンズ駆動部130A,130Bの経年劣化や機械的な「遊び」の影響により、ズーム機能を用いた場合、第1撮像部と第2撮像部の撮像倍率に誤差が生じている可能性が高い。
The
なお、上述したように、第1撮像部100Aと第2撮像部100Bとは同一の構成である。より詳細には、レンズの焦点距離fやF値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、配列、画素面積等の各仕様が全て同一である。第1撮像部100Aと第2撮像部100Bとを同時に動作させた場合、同一被写体について2つの画像(ペア画像)が撮像されるが、光軸位置は横方向で異なっている。
As described above, the
データ処理部200は、第1撮像部100A及び第2撮像部100Bによる撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成すると共に、撮像画像に対する画像処理等を行う。データ処理部200は、制御部210、画像処理部220、画像メモリ230、画像出力部240、記憶部250、外部記憶部260、カメラ情報記憶部270等から構成される。
The
制御部210は、例えば、CPU(Central Processing Unit)等のプロセッサや、RAM(Random Access Memory)等の主記憶装置等から構成され、記憶部250等に格納されているプログラムを実行することで、ステレオカメラ1の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する三次元モデリング処理等にかかる機能が制御部210によって実現する。
The
画像処理部220は、例えば、ADC(Analog-Digital Converter)、バッファメモリ、画像処理用のプロセッサ(いわゆる、画像処理エンジン)等から構成され、イメージセンサ部120A及び120Bによって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。即ち、イメージセンサ部120A(120B)から出力されたアナログ電気信号をADCがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンが、いわゆる現像処理等を行うことで、画質の調整やデータ圧縮等を行う。
The
画像メモリ230は、例えば、RAMやフラッシュメモリ等の記憶装置から構成され、画像処理部220によって生成された撮像画像データや、制御部210によって処理される画像データ等を一時的に保存する。
The
画像出力部240は、例えば、RGB信号を生成する回路等から構成され、画像メモリ230に格納された画像データをRGB信号等に変換して表示画面(表示部310等)に出力する。
The
記憶部250は、例えば、ROM(Read Only Memory)やフラッシュメモリ等の記憶装置から構成され、ステレオカメラ1の動作に必要なプログラムやデータ等を格納する。本実施形態では、制御部210等が実行する動作プログラムや、その実行時に必要となるパラメータや演算式等のデータが記憶部250に格納されているものとする。
The
外部記憶部260は、例えば、メモリカード等といった、ステレオカメラ1に着脱可能な記憶装置から構成され、ステレオカメラ1で撮像した画像データ、三次元モデルデータ等を格納する。
The
カメラ情報記憶部270には、第1撮像部100Aおよび第2撮像部100Bが撮像したペア画像から三次元モデルを作成するために必要な情報(カメラ情報)が格納されている。
カメラ情報は、具体的には、第1撮像部100Aおよび第2撮像部100Bそれぞれの解像度、画角、フォーカス距離、焦点距離係数、画像の角度係数、レンズの歪み係数等の情報である。なお、カメラ情報のうち、第1撮像部100A(第2撮像部100B)のズーム状態に応じて変化する情報(焦点距離係数、画像の角度係数、レンズの歪み係数等)については、複数のズーム状態毎に、対応した情報がカメラ情報記憶部270に複数格納される。また、カメラ情報は、工場出荷時の初期調整時に、校正パターンなどを用いた既存のカメラキャリブレーションの手法を用いて計測し、事前にカメラ情報記憶部270に格納すればよい。
The camera
Specifically, the camera information is information such as the resolution, field angle, focus distance, focal length coefficient, image angle coefficient, and lens distortion coefficient of each of the first
I/F部300は、ステレオカメラ1と、ユーザあるいは外部装置との間のインタフェースに係る機能を担う処理部であり、表示部310、外部I/F部320、操作部330等から構成される。
The I /
表示部310は、上述したように、例えば、液晶表示装置等から構成され、ユーザがステレオカメラ1を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像等を表示出力する。本実施形態では、画像出力部240からの画像信号(RGB信号)等に基づいて撮像画像等の表示出力が行われる。
As described above, the
外部I/F部320は、例えば、USB(Universal Serial Bus)コネクタやビデオ出力端子等から構成され、外部のコンピュータ装置への画像データの出力や外部モニタ装置への撮像画像の表示出力等を行う。
The external I /
操作部330は、ステレオカメラ1の外面上に設けられている各種ボタン等によって構成され、ユーザによる操作に応じた入力信号を生成して制御部210に送出する。操作部330を構成するボタンには、上述したように、シャッタボタン331、操作キー332、電源ボタン333、ズームボタン334等が含まれる。
The
ストロボ発光部400は、例えば、キセノンランプ(キセノンフラッシュ)により構成される。ストロボ発光部400は、制御部210の制御に従って被写体にストロボ光を照射する。
The strobe
以上、本発明を実現するために必要となるステレオカメラ1の構成について説明したが、ステレオカメラ1は、このほかにも、一般的なステレオカメラの機能を実現するための構成を備えているものとする。
Although the configuration of the
続いて、ステレオカメラ1の動作の内、ステレオ撮影モードに係る動作について説明する。
Next, of the operations of the
図3は、ステレオカメラ1における、ステレオ撮影モードに係る動作を実現するための主要な機能構成を示すブロック図である。図3に示すように、ステレオカメラ1は、機能的に、画像取得部11と、画像補正部12と、三次元モデル生成部13と、を備える。なお、これらの各部は、例えば、制御部210により構成される。
FIG. 3 is a block diagram illustrating a main functional configuration for realizing the operation related to the stereo shooting mode in the
画像取得部11は、第1撮像部100Aおよび第2撮像部100Bが同一被写体を異なる角度から撮像した画像のペア(以下、ペア画像とする)を取得する。なお、この際、画像取得部11は、ペア画像とともに、当該ペア画像を撮像した際の第1撮像部100Aおよび第2撮像部100Bのズーム状態を示すズーム制御情報を取得する。
The
画像補正部12は、三次元モデル作成に適した画像になるように画像取得部11が取得したペア画像を補正する。画像補正部12は、図3に示すように、第2補正部12Aと、特徴点対応抽出部12Bと、誤対応除去部12Cと、第1補正部12Dとを備える。
The
第2補正部12Aは、ズーム制御情報に基づいて、ペア画像を構成する各画像のレンズ歪みを補正する処理、及び、各画像間で画像上の対応する点が同一の水平ラインに並ぶように補正する平行化処理を行う。
Based on the zoom control information, the
特徴点対応抽出部12Bは、第2補正部12Aが補正したペア画像の各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組(ペア画像の画像間で対応する特徴点の組)を抽出する。
The feature point
誤対応除去部12Cは、特徴点対応抽出部12Bによって抽出された特徴点対応の組において、垂直座標の差が所定値以上ある組を誤対応として除去する。
The
第1補正部12Dは、誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、第2補正部12Aが補正したペア画像を、三次元モデル作成に適した画像に補正する。
The
三次元モデル生成部13は、画像取得部11が取得し、画像補正部12が補正したペア画像から、被写体の三次元モデルを生成する。
The three-dimensional
続いて、図4に示すフローチャートを用いて、ステレオ撮影モードに係る動作時の処理(三次元モデリング処理)について説明する。三次元モデリング処理は、ユーザが、操作キー332等の操作部330を操作することで、ステレオ撮影モードが選択されたことを契機に開始される。
Next, processing (three-dimensional modeling processing) during operation according to the stereo shooting mode will be described using the flowchart shown in FIG. The three-dimensional modeling process is started when the user operates the
三次元モデリング処理が開始されると、まず、制御部210は、終了イベントが発生したか否かを判定する(ステップS101)。終了イベントは、例えば、ユーザにより、再生モード等へのモード移行操作が行われた場合や、ステレオカメラ1の電源がオフされた場合等に発生する。
When the three-dimensional modeling process is started, first, the
終了イベントが発生している場合(ステップS101;Yes)、三次元モデリング処理は終了する。一方、終了イベントが発生していない場合(ステップS101;No)、制御部210は、一方の撮像部(例えば、第1撮像部100A)を介して得られた画像データに基づく画像(いわゆる、ライブビュー画像)を表示部310に表示させる(ステップS102)。
When the end event has occurred (step S101; Yes), the three-dimensional modeling process ends. On the other hand, when the end event has not occurred (step S101; No), the
続いて、制御部210は、ズームボタン334が押下されているか否かを判定する(ステップS103)。ズームボタン334が押下されていない場合(ステップS103;No)、ステップS105に処理は移る。
Subsequently, the
一方、ズームボタン334が押下されている場合(ステップS103;Yes)、制御部210は、被写体を撮像する第1撮像部100A及び第2撮像部100Bのズーム状態(撮像倍率)を変化させる(ステップS104)。具体的には、制御部210は、両レンズ駆動部130A,130Bを制御して、光学装置110A,110Bのレンズ位置を、ズームボタン334の押下時間や押下位置に応じて移動させることでズーム状態を変化させる。なお、ズーム状態の変化に応じて、表示部に表示されるライブビュー画像のズーム状態も適宜変化する。
On the other hand, when the
続いて、制御部210は、シャッタボタン331が押下されているか否かを判定する(ステップS105)。シャッタボタン331が押下されていない場合(ステップS105;No)、制御部210は、再度、ステップS101の処理を実行する。一方、シャッタボタン331が押下されている場合(ステップS105;Yes)、制御部210は、第1撮像部100A、第2撮像部100B、及び、画像処理部220を制御して、被写体を撮像する(ステップS106)。
Subsequently, the
続いて、制御部210(画像取得部11)は、第1撮像部100A及び第2撮像部100Bが撮像した2枚のステレオ画像(ペア画像)を、画像メモリ230に保存する(ステップS107)。なお、この際、制御部210は、両レンズ駆動部130A,130Bから撮像時のズーム状態を示すズーム制御情報を取得し、画像メモリ230又は記憶部250に記憶する。例えば、レンズ駆動部130A,130Bがステッピングモータから構成される場合、制御部210は、ステッピングモータのステップ数を示す情報をズーム制御情報として取得して保存すればよい。なお、以降の説明において、ペア画像の内、第1撮像部100Aによる撮像の結果得られた画像を画像A0、第2撮像部100Bによる撮像の結果得られた画像を画像B0とする。
Subsequently, the control unit 210 (image acquisition unit 11) stores two stereo images (pair images) captured by the
続いて、制御部210(画像補正部12)は、画像メモリ230に保存したペア画像を、三次元モデル作成に適した画像に補正する画像補正処理を実行する(ステップS108)。
Subsequently, the control unit 210 (image correction unit 12) executes an image correction process for correcting the pair image stored in the
ここで、画像補正処理の詳細について、図5のフローチャートを参照して説明する。 Here, the details of the image correction processing will be described with reference to the flowchart of FIG.
まず、制御部210(第2補正部12A)は、ペア画像とともに格納したズーム制御情報に基づいて、レンズ歪みの補正、および、平行化処理を行う(ステップS201)。
具体的には、まず、制御部210は、レンズ歪み補正と平行化に必要なカメラ情報をカメラ情報記憶部270から取得する。この際、ズーム制御情報に応じて変化するカメラ情報については、ペア画像とともに保存したズーム制御情報に対応したカメラ情報を取得する。なお、ズーム制御情報に対応したカメラ情報がカメラ情報記憶部270に記憶されていない場合は、近傍のズーム制御情報で対応するカメラ情報が記憶されている場合はそのカメラ情報を代用して取得する。または、近傍の対応するカメラ情報が存在する複数のズーム制御情報を参照し、実際のズーム制御情報との関係から重みを付けてカメラ情報を線形補間することで精度の良いカメラ情報を取得してもよい。そして、制御部210は、このようにして取得したカメラ情報を用いてレンズ歪み補正と平行化処理とを行えばよい。なお、本処理を行った結果、ペア画像(画像A0、画像B0)が、ペア画像(画像A1、画像B1)に補正されたものとして以下説明する。
First, the control unit 210 (
Specifically, first, the
ここで、ステップS201の処理により、レンズ歪み補正、および、平行化がなされたペア画像(画像A1、画像B1)の例を図6(A)に示す。この段階では、両レンズ駆動部130A,130Bの経年劣化や機械的な遊びの影響により、ペア画像の平行化がなされていても、画像A1と画像B1との間で、対応する点同士の破線で示すエピ極線の高さにずれが発生している。
Here, FIG. 6A shows an example of a pair image (image A1, image B1) that has been subjected to lens distortion correction and parallelization by the process of step S201. At this stage, even if the paired images are parallelized due to the aging of both
図5に戻り、続いて、制御部210(特徴点対応抽出部12B)は、レンズ歪み補正及び平行化処理がなされたペア画像の各々から、特徴点を取得する(ステップS202)。
例えば、制御部210は、画像のスケール変化にロバストな特徴量をもつ特徴点、例えばSURF(Speeded-Up Robust Features)特徴点やSIFT(Scale-invariant feature transform)特徴点を特徴点として画像A1、B1から取得すればよい。
Returning to FIG. 5, subsequently, the control unit 210 (feature point
For example, the
続いて、制御部210(特徴点対応抽出部12B)は、特徴量マッチングを実行し、画像A1の各特徴点と画像B1の各特徴点の対応付けから特徴点対応の組を抽出する(ステップS203)。具体的には、制御部210は、特徴量空間で互いに最近傍かつ他に近い距離の特徴点が存在しないものを対応付ける。
Subsequently, the control unit 210 (feature point
続いて、制御部210(誤対応除去部12C)は、抽出した特徴点対応の組のうち、誤った対応付けがなされている組を除去する(ステップS204)。
具体的には、制御部210は、対応する特徴点の垂直座標の差が所定の閾値以上ある場合に、この特徴点対応の組を除去すればよい。なお、この所定の閾値は、ズーム機構の遊びを考慮に入れた適切な値を事前に実験等により求めて設定すればよい。
Subsequently, the control unit 210 (
Specifically, when the vertical coordinate difference between the corresponding feature points is equal to or greater than a predetermined threshold, the
続いて制御部210(第1補正部12D)は、誤対応が除去された特徴点対応の組の垂直座標から、ペア画像(画像A1、画像B1)を補正(変換)するための係数(補正係数)を求める(ステップS205)。
具体的には、制御部210は、ペア画像の両画像で被写体の表示倍率が略一致し(所定の倍率範囲内に収まり)、且つ、各特徴点と対応点との垂直座標が略一致する(所定値内に収まる)ように、画像A1と画像B2とが補正(変換)されるような補正係数を、公知の幾何学的手法を用いて求める。
Subsequently, the control unit 210 (
Specifically, the
続いて、制御部210(第1補正部12D)は、求めた補正係数を用いて、画像A1、画像B1を補正(変換)する(ステップS206)。なお、この補正処理により、画像A2、画像B2が生成されたものとする。また、補正された画像A2と画像B2は、例えば、画像メモリ230に記憶される。このステップS206の処理により、図6(B)に示すように、画像A2と画像B2とで、対応する点同士のエピ極線の高さはほぼ一致する。従って、画像A2と画像B2とから、精度のよい三次元モデルを作成することが可能となる。
勿論、画像A1、画像B1の代わりに、画像A0、画像B0から画像A2、画像B2を生成されるようにしてもよい。一般的には画像変換は2回実行するよりも、1回で済ませるほうが画像の劣化が少ないので、状況によってはこちらの方が望ましい。
Subsequently, the control unit 210 (
Of course, instead of the images A1 and B1, the images A2 and B2 may be generated from the images A0 and B0. In general, image conversion is less likely to be performed once than image conversion is performed twice, so this is preferable depending on the situation.
図4に戻り、画像補正処理(ステップS108)が完了すると、制御部210(三次元モデル生成部13)は、画像メモリ230に記憶されている補正後のペア画像(画像A2と画像B2)から三次元モデルを生成する三次元モデル生成処理を実行する(ステップS109)。
Returning to FIG. 4, when the image correction process (step S <b> 108) is completed, the control unit 210 (three-dimensional model generation unit 13) starts from the corrected pair images (image A <b> 2 and image B <b> 2) stored in the
ここで、図7に示すフローチャートを参照して、三次元モデル生成処理について説明する。 Here, the three-dimensional model generation process will be described with reference to the flowchart shown in FIG.
まず、制御部210は、特徴点の候補を抽出する(ステップS301)。例えば、制御部210は、画像A2に対してコーナー検出を行う。コーナー検出においては、ハリスなどのコーナー特徴量が、所定閾値以上かつ所定半径内で最大になる点がコーナー点として選択される。従って、被写体の先端など、他の点に対して特徴のある点が特徴点として抽出される。
First, the
続いて、制御部210は、ステップS301の処理を完了すると、ステレオマッチングを実行し、画像A2の特徴点に対応する点(対応点)を画像B2から探す(ステップS302)。具体的には、制御部210は、テンプレートマッチングにより類似度が所定閾値以上かつ最大のもの(相違度が所定閾値以下かつ最小のもの)を対応点とする。テンプレートマッチングには、例えば、残差絶対値和(SAD)、残差平方和(SSD)、正規化相関(NCCやZNCC)、方向符号相関など、様々な既知の技法が利用可能である。
Subsequently, when the process of step S301 is completed, the
続いて、制御部210は、ステップS302において見つけられた対応点の視差情報(水平座標の差)、および、第1撮像部100Aおよび第2撮像部100Bのカメラ情報(画角、基線長など)に基づいて、特徴点の位置情報を算出する(ステップS303)。生成された特徴点の位置情報は、例えば、記憶部250に記憶される。
Subsequently, the
続いて、制御部210は、ステップS303において算出された特徴点の位置情報をもとにドロネー三角形分割を実行し、ポリゴン化を実行する(ステップS304)。生成されたポリゴン情報は、例えば、記憶部250に記憶される。制御部210は、ステップS304の処理を完了すると、三次元モデル生成処理を終了する。
Subsequently, the
図4に戻り、制御部210は、上記の三次元モデル生成処理(ステップS109)を終了すると、生成した三次元モデルデータを表示する(ステップS110)。具体的には、制御部210は、生成した三次元モデルデータを確認用の二次元データに変換して表示部310に表示する。そして、制御部210は、三次元モデルデータを外部記憶部260等に保存し(ステップS111)、ステップS101の処理に戻る。
Returning to FIG. 4, when the above three-dimensional model generation process (step S109) is completed, the
このように、本実施形態に係るステレオカメラ1によれば、レンズ歪み補正と平行化処理とを行ったペア画像から抽出した特徴点対応の組のうち、誤って対応付けられた組を除去する。そして、除去後の特徴点対応の組の位置関係から、ペア画像の両画像で対応点のエピ極線の高さがほぼ一致するようにペア画像を補正し、当該補正したペア画像から三次元モデルを生成する。従って、ズーム機能を用いて撮像されたペア画像から、精度よく三次元モデルを作成することができる。
As described above, according to the
また、本実施形態に係るステレオカメラ1では、レンズ歪み補正と平行化処理は、必ずしも精度良く行う必要はない。従って、レンズ歪み補正と平行化処理のために、ズーム状態ごとに測定しておく補正データ(カメラ情報)を、細かい段階で測定して記憶しておく必要がなく、測定時間を短縮することができ、生産効率を向上させることができる。
In the
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。 The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
例えば、上記実施形態では、画像補正処理における誤対応の組の除去(図5のステップS204)の際、対応する特徴点の垂直座標の差が所定の閾値以上ある組を誤対応であるとして除去した。しかしながら、この条件に加えて、さらに、以下の条件A〜条件Cにより誤対応の組を除去してもよい。このようにすることで、より精度よく誤対応の組を除去することが可能となるため、より精度のよい三次元モデルを作成することができる。 For example, in the above-described embodiment, when the erroneous correspondence pair is removed in the image correction process (step S204 in FIG. 5), the pair having the difference in the vertical coordinate of the corresponding feature point equal to or greater than a predetermined threshold is removed as the erroneous correspondence. did. However, in addition to this condition, the erroneous correspondence set may be removed according to the following conditions A to C. By doing so, it becomes possible to remove the erroneous correspondence pair with higher accuracy, so that a more accurate three-dimensional model can be created.
(条件A)
オートフォーカス機能などを用いてステレオカメラ1と被写体と間の大まかな距離を求め、求めた距離から画像A1と画像B1との間の視差のとるべき範囲を求める。そして、対応する特徴点の水平座標から求めた視差がこの範囲内に無い場合に、当該特徴点対応の組を誤対応として除去する。
(Condition A)
A rough distance between the
(条件B)
画像A1と画像B1の各々の特徴点対応に対して、周囲の他の特徴点対応の配置を示す情報(例えば、Shape Context)を求める。そして、求めた配置を示す情報間の類似度が所定値以下である場合に、この特徴点対応の組を誤対応として除去する。
(Condition B)
For each feature point correspondence between the image A1 and the image B1, information (for example, Shape Context) indicating an arrangement corresponding to other feature points around is obtained. Then, when the similarity between pieces of information indicating the obtained arrangement is equal to or less than a predetermined value, the set corresponding to the feature point is removed as an incorrect correspondence.
(条件C)
各特徴点対応の組の垂直座標に対し、補正係数の推定をRANSAC(RANdom SAmple Consensus)法や最小メジアン法等のロバスト推定法を用いて行い、ノイズ(誤対応の組)を除去する。
(Condition C)
A correction coefficient is estimated with respect to the vertical coordinates of a set corresponding to each feature point by using a robust estimation method such as a RANSAC (RANdom SAmple Consensus) method or a minimum median method, and noise (mismatched set) is removed.
また、上記実施形態では、第1撮像部100Aと第2撮像部100Bとのズーム機能による撮像倍率は同時に制御されるものとしているが、第1撮像部100Aと第2撮像部100Bとで個別に撮像倍率を変化させることができるステレオカメラにも、本発明は適用可能である。
In the above embodiment, the imaging magnification by the zoom function of the
また、カメラ(撮像部)の数は2に限定するものではなく、それ以上の任意の数の撮像部を備えて、2以上の撮像画像から三次元モデルを作成するカメラにも、本発明は適用可能である。 The number of cameras (imaging units) is not limited to two, and the present invention is also applicable to a camera that includes an arbitrary number of imaging units larger than that and creates a three-dimensional model from two or more captured images. Applicable.
また、画像補正処理において、レンズ歪みの補正、および、平行化処理(ステップS201)を必ずしも実施する必要は無い。この場合、制御部210は、ステレオカメラ1が撮像したペア画像から直接特徴点対応の組を抽出し、誤対応の組を除去した後、エピ極線の高さがほぼ一致するようにペア画像を補正すればよい。
In the image correction process, it is not always necessary to perform the lens distortion correction and the parallelization process (step S201). In this case, the
また、既存のステレオカメラ等を本発明に係る三次元モデリング装置として機能させることも可能である。即ち、上述した制御部210が実行したようなプログラムを既存のステレオカメラ等に適用し、そのステレオカメラ等のCPU等が当該プログラムを実行することで、当該ステレオカメラ等を本発明に係る三次元モデリング装置として機能させることができる。
It is also possible to make an existing stereo camera or the like function as the three-dimensional modeling apparatus according to the present invention. That is, the program as executed by the
このようなプログラムの配布方法は任意であり、例えば、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。 Such a program distribution method is arbitrary, for example, a computer-readable recording medium such as a CD-ROM (Compact Disk Read-Only Memory), a DVD (Digital Versatile Disk), an MO (Magneto Optical Disk), or a memory card. It may be stored and distributed in a network, or distributed via a communication network such as the Internet.
この場合、上述した本発明に係る機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などでは、アプリケーションプログラム部分のみを記録媒体等に格納してもよい。 In this case, when the functions according to the present invention described above are realized by sharing an OS (operating system) and an application program, or by cooperation between the OS and the application program, only the application program portion is stored in a recording medium or the like. May be.
これまで、本発明のいくつかの実施形態を説明したが、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although several embodiments of the present invention have been described so far, the present invention includes the invention described in the scope of claims and equivalents thereof. Hereinafter, the invention described in the scope of claims of the present application will be appended.
(付記1)
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得手段と、
前記特徴点対応取得手段が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去手段と、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得手段が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第1画像補正手段と、
前記第1画像補正手段が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成手段と、
を備えることを特徴とする三次元モデリング装置。
(Appendix 1)
Image acquisition means for acquiring a plurality of images obtained by imaging the same subject from different angles;
Feature point correspondence acquisition means for acquiring a feature point from each image acquired by the image acquisition means, and acquiring a set corresponding to the feature point by matching the acquired feature points;
Among the feature point correspondence sets acquired by the feature point correspondence acquisition unit, an erroneous correspondence removal unit that removes, as an erroneous correspondence, a pair whose vertical coordinate difference is a predetermined value or more;
The display magnification of the subject between the images acquired by the image acquisition unit based on the vertical coordinates of the set corresponding to the feature point acquired by the feature point correspondence acquisition unit and after the erroneous correspondence is removed by the erroneous correspondence removal unit First image correcting means for correcting the image so that the difference between the two and the difference between the vertical coordinates are within a predetermined range;
3D model generation means for generating a 3D model of the subject from each image corrected by the first image correction means;
A three-dimensional modeling apparatus comprising:
(付記2)
前記画像取得手段は、
同一被写体を異なる角度から撮像した複数の画像を、該複数の画像を撮像した各撮像装置のズーム状態を示すズーム制御情報とともに取得し、
前記三次元モデリング装置は、
前記画像取得手段が複数の画像とともに取得したズーム制御情報に基づいて、該複数の画像間の平行化及びレンズ歪みの補正を行う第2画像補正手段を更に備え、
前記特徴点対応取得手段は、
前記画像取得手段が取得し、更に前記第2画像補正手段が補正した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得し、
前記第1画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記第2画像補正手段が補正した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記第2画像補正手段が補正した画像をさらに補正する、
ことを特徴とする付記1に記載の三次元モデリング装置。
(Appendix 2)
The image acquisition means includes
Acquiring a plurality of images obtained by imaging the same subject from different angles together with zoom control information indicating a zoom state of each imaging device that has captured the plurality of images;
The three-dimensional modeling apparatus
Based on zoom control information acquired together with a plurality of images by the image acquisition means, further comprising a second image correction means for correcting the parallelism between the plurality of images and lens distortion;
The feature point correspondence acquisition means includes:
The feature acquisition unit acquires feature points from each image acquired by the image acquisition unit and corrected by the second image correction unit, and acquires a set of feature point correspondences by matching the acquired feature points;
The first image correcting means includes
Based on the vertical coordinates of the set corresponding to the feature points obtained by the feature point correspondence acquisition unit and after the erroneous correspondences are removed by the erroneous correspondence removal unit, the second image correction unit corrects the object between the images corrected by the second image correction unit. Further correcting the image corrected by the second image correction means so that the difference in display magnification and the difference in vertical coordinates are within a predetermined range;
The three-dimensional modeling apparatus according to
(付記3)
前記特徴点対応取得手段は、
前記各々の画像からスケールにロバストな特徴量を持つ特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する、
ことを特徴とする付記1又は2に記載の三次元モデリング装置。
(Appendix 3)
The feature point correspondence acquisition means includes:
Obtaining feature points having a feature quantity robust to the scale from each of the images, and obtaining a set corresponding to the feature points by associating the obtained feature points;
The three-dimensional modeling apparatus according to
(付記4)
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の組の水平座標に基づいて視差を求め、該視差が所定範囲内に無い場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする付記1乃至3の何れか1つに記載の三次元モデリング装置。
(Appendix 4)
The erroneous correspondence removal unit obtains a parallax based on the horizontal coordinates of the feature point correspondence set acquired by the feature point correspondence acquisition unit, and if the parallax is not within a predetermined range, the feature point correspondence set is erroneously determined. Remove as correspondence,
The three-dimensional modeling apparatus according to any one of
(付記5)
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の各々について、周囲の他の特徴点対応の配置を示す情報を求め、求めた配置を示す情報間の類似度が所定値以下である場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする付記1乃至4の何れか1つに記載の三次元モデリング装置。
(Appendix 5)
The erroneous correspondence removing unit obtains information indicating an arrangement corresponding to another feature point around each of the feature point correspondences acquired by the feature point correspondence acquiring unit, and a similarity between the information indicating the obtained arrangements is predetermined. If the value is less than or equal to the value, the feature point correspondence set is removed as an erroneous correspondence.
The three-dimensional modeling apparatus according to any one of
(付記6)
前記第1画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に対して、RANSAC法、又は最小メジアン法によるロバスト推定法を用いて画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるような補正係数求め、該補正係数を用いて前記画像を補正する、
ことを特徴とする付記1乃至5の何れか1つに記載の三次元モデリング装置。
(Appendix 6)
The first image correcting means includes
Using the RANSAC method or the robust mediation method based on the minimum median method on the vertical coordinates of the feature point correspondence set obtained by the feature point correspondence acquisition unit and after the erroneous correspondence removal is removed by the erroneous correspondence removal unit Obtaining a correction coefficient such that the difference in display magnification of the subject and the difference in vertical coordinates between images are within a predetermined range, and correcting the image using the correction coefficient;
The three-dimensional modeling apparatus according to any one of
(付記7)
三次元モデリング方法であって、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得ステップと、
前記特徴点対応取得ステップで取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去ステップと、
前記特徴点対応取得ステップで取得され、前記誤対応除去ステップで誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得ステップで取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第1画像補正ステップと、
前記第1画像補正ステップで補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成ステップと、
を含むことを特徴とする三次元モデリング方法。
(Appendix 7)
A three-dimensional modeling method,
An image acquisition step of acquiring a plurality of images obtained by imaging the same subject from different angles;
A feature point correspondence obtaining step for obtaining a feature point from each image obtained in the image obtaining step and obtaining a set corresponding to the feature point by associating the obtained feature point;
Among the feature point correspondence sets acquired in the feature point correspondence acquisition step, an erroneous correspondence removal step of removing a pair whose vertical coordinate difference is a predetermined value or more as an erroneous correspondence;
Display magnification of the subject between the images acquired in the image acquisition step based on the vertical coordinates of the set corresponding to the feature point after the erroneous correspondence is removed in the erroneous correspondence removal step acquired in the feature point correspondence acquisition step A first image correction step for correcting the image so that the difference between the first and second coordinates is within a predetermined range;
A three-dimensional model generation step of generating a three-dimensional model of the subject from each image corrected in the first image correction step;
A three-dimensional modeling method comprising:
(付記8)
コンピュータに、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得機能、
前記画像取得機能が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得機能、
前記特徴点対応取得機能が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去機能、
前記特徴点対応取得機能により取得され、前記誤対応除去機能により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得機能が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第1画像補正機能、
前記第1画像補正機能が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成機能、
を実現させることを特徴とするプログラム。
(Appendix 8)
On the computer,
An image acquisition function that acquires multiple images of the same subject taken from different angles,
A feature point correspondence acquisition function for acquiring feature points from each image acquired by the image acquisition function and acquiring a set corresponding to the feature points by associating the acquired feature points;
An erroneous correspondence removal function for removing a pair whose vertical coordinate difference is equal to or greater than a predetermined value from the feature point correspondence set acquired by the feature point correspondence acquisition function,
Display magnification of the subject between the images acquired by the image acquisition function based on the vertical coordinates of the set corresponding to the feature point obtained by the feature point correspondence acquisition function and after the erroneous correspondence removal by the erroneous correspondence removal function A first image correction function for correcting the image so that a difference between the first and second coordinates is within a predetermined range;
A three-dimensional model generation function for generating a three-dimensional model of the subject from each image corrected by the first image correction function;
A program characterized by realizing.
1…ステレオカメラ、11…画像取得部、12…画像補正部、12A…第2補正部、12B…特徴点対応抽出部、12C…誤対応除去部、12D…第1補正部、13…三次元モデル生成部
DESCRIPTION OF
Claims (8)
前記画像取得手段が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得手段と、
前記特徴点対応取得手段が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去手段と、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得手段が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第1画像補正手段と、
前記第1画像補正手段が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成手段と、
を備えることを特徴とする三次元モデリング装置。 Image acquisition means for acquiring a plurality of images obtained by imaging the same subject from different angles;
Feature point correspondence acquisition means for acquiring a feature point from each image acquired by the image acquisition means, and acquiring a set corresponding to the feature point by matching the acquired feature points;
Among the feature point correspondence sets acquired by the feature point correspondence acquisition unit, an erroneous correspondence removal unit that removes, as an erroneous correspondence, a pair whose vertical coordinate difference is equal to or greater than a predetermined value;
The display magnification of the subject between the images acquired by the image acquisition unit based on the vertical coordinates of the set corresponding to the feature point acquired by the feature point correspondence acquisition unit and after the erroneous correspondence is removed by the erroneous correspondence removal unit First image correcting means for correcting the image so that the difference between the two and the difference between the vertical coordinates are within a predetermined range;
3D model generation means for generating a 3D model of the subject from each image corrected by the first image correction means;
A three-dimensional modeling apparatus comprising:
同一被写体を異なる角度から撮像した複数の画像を、該複数の画像を撮像した各撮像装置のズーム状態を示すズーム制御情報とともに取得し、
前記三次元モデリング装置は、
前記画像取得手段が複数の画像とともに取得したズーム制御情報に基づいて、該複数の画像間の平行化及びレンズ歪みの補正を行う第2画像補正手段を更に備え、
前記特徴点対応取得手段は、
前記画像取得手段が取得し、更に前記第2画像補正手段が補正した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得し、
前記第1画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記第2画像補正手段が補正した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記第2画像補正手段が補正した画像をさらに補正する、
ことを特徴とする請求項1に記載の三次元モデリング装置。 The image acquisition means includes
Acquiring a plurality of images obtained by imaging the same subject from different angles together with zoom control information indicating a zoom state of each imaging device that has captured the plurality of images;
The three-dimensional modeling apparatus
Based on zoom control information acquired together with a plurality of images by the image acquisition means, further comprising a second image correction means for correcting the parallelism between the plurality of images and lens distortion;
The feature point correspondence acquisition means includes:
The feature acquisition unit acquires feature points from each image acquired by the image acquisition unit and corrected by the second image correction unit, and acquires a set of feature point correspondences by matching the acquired feature points;
The first image correcting means includes
Based on the vertical coordinates of the set corresponding to the feature points obtained by the feature point correspondence acquisition unit and after the erroneous correspondences are removed by the erroneous correspondence removal unit, the second image correction unit corrects the object between the images corrected by the second image correction unit. Further correcting the image corrected by the second image correction means so that the difference in display magnification and the difference in vertical coordinates are within a predetermined range;
The three-dimensional modeling apparatus according to claim 1.
前記各々の画像からスケールにロバストな特徴量を持つ特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する、
ことを特徴とする請求項1又は2に記載の三次元モデリング装置。 The feature point correspondence acquisition means includes:
Obtaining feature points having a feature quantity robust to the scale from each of the images, and obtaining a set corresponding to the feature points by associating the obtained feature points;
The three-dimensional modeling apparatus according to claim 1 or 2, characterized in that
ことを特徴とする請求項1乃至3の何れか1項に記載の三次元モデリング装置。 The erroneous correspondence removal unit obtains a parallax based on the horizontal coordinates of the feature point correspondence set acquired by the feature point correspondence acquisition unit, and if the parallax is not within a predetermined range, the feature point correspondence set is erroneously determined. Remove as correspondence,
The three-dimensional modeling apparatus according to any one of claims 1 to 3, wherein
ことを特徴とする請求項1乃至4の何れか1項に記載の三次元モデリング装置。 The erroneous correspondence removing unit obtains information indicating an arrangement corresponding to another feature point around each of the feature point correspondences acquired by the feature point correspondence acquiring unit, and a similarity between the information indicating the obtained arrangements is predetermined. If the value is less than or equal to the value, the feature point correspondence set is removed as an erroneous correspondence.
The three-dimensional modeling apparatus according to any one of claims 1 to 4, wherein the three-dimensional modeling apparatus is characterized in that:
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に対して、RANSAC法、又は最小メジアン法によるロバスト推定法を用いて画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるような補正係数求め、該補正係数を用いて前記画像を補正する、
ことを特徴とする請求項1乃至5の何れか1項に記載の三次元モデリング装置。 The first image correcting means includes
Using the RANSAC method or the robust mediation method based on the minimum median method on the vertical coordinates of the feature point correspondence set obtained by the feature point correspondence acquisition unit and after the erroneous correspondence removal is removed by the erroneous correspondence removal unit Obtaining a correction coefficient such that the difference in display magnification of the subject and the difference in vertical coordinates between images are within a predetermined range, and correcting the image using the correction coefficient;
The three-dimensional modeling apparatus according to any one of claims 1 to 5, wherein
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得ステップと、
前記特徴点対応取得ステップで取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去ステップと、
前記特徴点対応取得ステップで取得され、前記誤対応除去ステップで誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得ステップで取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第1画像補正ステップと、
前記第1画像補正ステップで補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成ステップと、
を含むことを特徴とする三次元モデリング方法。 A three-dimensional modeling method,
An image acquisition step of acquiring a plurality of images obtained by imaging the same subject from different angles;
A feature point correspondence obtaining step for obtaining a feature point from each image obtained in the image obtaining step and obtaining a set corresponding to the feature point by associating the obtained feature point;
Among the feature point correspondence sets acquired in the feature point correspondence acquisition step, an erroneous correspondence removal step of removing a pair whose vertical coordinate difference is a predetermined value or more as an erroneous correspondence;
Display magnification of the subject between the images acquired in the image acquisition step based on the vertical coordinates of the set corresponding to the feature point after the erroneous correspondence is removed in the erroneous correspondence removal step acquired in the feature point correspondence acquisition step A first image correction step for correcting the image so that the difference between the first and second coordinates is within a predetermined range;
A three-dimensional model generation step of generating a three-dimensional model of the subject from each image corrected in the first image correction step;
A three-dimensional modeling method comprising:
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得機能、
前記画像取得機能が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得機能、
前記特徴点対応取得機能が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去機能、
前記特徴点対応取得機能により取得され、前記誤対応除去機能により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得機能が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第1画像補正機能、
前記第1画像補正機能が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成機能、
を実現させることを特徴とするプログラム。 On the computer,
An image acquisition function that acquires multiple images of the same subject taken from different angles,
A feature point correspondence acquisition function for acquiring feature points from each image acquired by the image acquisition function and acquiring a set corresponding to the feature points by associating the acquired feature points;
An erroneous correspondence removal function for removing a pair whose vertical coordinate difference is equal to or greater than a predetermined value from the feature point correspondence set acquired by the feature point correspondence acquisition function,
Display magnification of the subject between the images acquired by the image acquisition function based on the vertical coordinates of the set corresponding to the feature point obtained by the feature point correspondence acquisition function and after the erroneous correspondence removal by the erroneous correspondence removal function A first image correction function for correcting the image so that a difference between the first and second coordinates is within a predetermined range;
A three-dimensional model generation function for generating a three-dimensional model of the subject from each image corrected by the first image correction function;
A program characterized by realizing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011070349A JP2012202942A (en) | 2011-03-28 | 2011-03-28 | Three-dimensional modeling device, three-dimensional modeling method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011070349A JP2012202942A (en) | 2011-03-28 | 2011-03-28 | Three-dimensional modeling device, three-dimensional modeling method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012202942A true JP2012202942A (en) | 2012-10-22 |
Family
ID=47184088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011070349A Pending JP2012202942A (en) | 2011-03-28 | 2011-03-28 | Three-dimensional modeling device, three-dimensional modeling method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012202942A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0735158A (en) * | 1993-07-22 | 1995-02-03 | Shinko Electric Co Ltd | Cooling structure of marine hydraulic clutch unit |
JP2014178190A (en) * | 2013-03-14 | 2014-09-25 | Ricoh Co Ltd | Stereocamera |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354257A (en) * | 2003-05-29 | 2004-12-16 | Olympus Corp | Calibration slippage correction device, and stereo camera and stereo camera system equipped with the device |
JP2007212430A (en) * | 2006-08-07 | 2007-08-23 | Kurabo Ind Ltd | Photogrammetry device and system |
JP2008070120A (en) * | 2006-09-12 | 2008-03-27 | Hitachi Ltd | Distance measuring device |
JP2009014628A (en) * | 2007-07-06 | 2009-01-22 | Topcon Corp | Position measuring apparatus and position measuring method |
JP2010014450A (en) * | 2008-07-01 | 2010-01-21 | Topcon Corp | Position measurement method, position measurement device, and program |
JP2010062911A (en) * | 2008-09-04 | 2010-03-18 | Canon Inc | Image processing apparatus, image processing method, and program |
JP2010133751A (en) * | 2008-12-02 | 2010-06-17 | Topcon Corp | Shape measuring device and program |
-
2011
- 2011-03-28 JP JP2011070349A patent/JP2012202942A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354257A (en) * | 2003-05-29 | 2004-12-16 | Olympus Corp | Calibration slippage correction device, and stereo camera and stereo camera system equipped with the device |
JP2007212430A (en) * | 2006-08-07 | 2007-08-23 | Kurabo Ind Ltd | Photogrammetry device and system |
JP2008070120A (en) * | 2006-09-12 | 2008-03-27 | Hitachi Ltd | Distance measuring device |
JP2009014628A (en) * | 2007-07-06 | 2009-01-22 | Topcon Corp | Position measuring apparatus and position measuring method |
JP2010014450A (en) * | 2008-07-01 | 2010-01-21 | Topcon Corp | Position measurement method, position measurement device, and program |
JP2010062911A (en) * | 2008-09-04 | 2010-03-18 | Canon Inc | Image processing apparatus, image processing method, and program |
JP2010133751A (en) * | 2008-12-02 | 2010-06-17 | Topcon Corp | Shape measuring device and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0735158A (en) * | 1993-07-22 | 1995-02-03 | Shinko Electric Co Ltd | Cooling structure of marine hydraulic clutch unit |
JP2014178190A (en) * | 2013-03-14 | 2014-09-25 | Ricoh Co Ltd | Stereocamera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5035372B2 (en) | 3D modeling apparatus, 3D modeling method, and program | |
JP5018980B2 (en) | Imaging apparatus, length measurement method, and program | |
JP5024410B2 (en) | 3D modeling apparatus, 3D modeling method, and program | |
JP4983905B2 (en) | Imaging apparatus, 3D modeling data generation method, and program | |
JP4752918B2 (en) | Image processing apparatus, image collation method, and program | |
TWI451750B (en) | Image capture apparatus, computer readable recording medium and control method | |
JP2015197745A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP4894939B2 (en) | Imaging apparatus, display method, and program | |
JP6304244B2 (en) | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program | |
JP2012068861A (en) | Ar processing unit, ar processing method and program | |
JP6071257B2 (en) | Image processing apparatus, control method therefor, and program | |
JP2013123123A (en) | Stereo image generation device, stereo image generation method and computer program for stereo image generation | |
JP5857712B2 (en) | Stereo image generation apparatus, stereo image generation method, and computer program for stereo image generation | |
JP6409769B2 (en) | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program | |
TWI508554B (en) | An image focus processing method based on light-field camera and the system thereof are disclosed | |
WO2020017377A1 (en) | Ranging camera | |
JP2012202942A (en) | Three-dimensional modeling device, three-dimensional modeling method, and program | |
JP2017103695A (en) | Image processing apparatus, image processing method, and program of them | |
JP6648916B2 (en) | Imaging device | |
JP2012073930A (en) | Image processing apparatus, image processing method, and program | |
JP5967470B2 (en) | Inspection device | |
JP2008058279A (en) | Apparatus and method for forming range image, and program | |
JP2016099322A (en) | Imaging device, control method of imaging device, and program | |
JP6292785B2 (en) | Image processing apparatus, image processing method, and program | |
CN112424566B (en) | Distance measuring camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140925 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150609 |