JP3799019B2 - Stereo shooting device and shooting method of stereo shooting device - Google Patents

Stereo shooting device and shooting method of stereo shooting device

Info

Publication number
JP3799019B2
JP3799019B2 JP2003007213A JP2003007213A JP3799019B2 JP 3799019 B2 JP3799019 B2 JP 3799019B2 JP 2003007213 A JP2003007213 A JP 2003007213A JP 2003007213 A JP2003007213 A JP 2003007213A JP 3799019 B2 JP3799019 B2 JP 3799019B2
Authority
JP
Japan
Prior art keywords
stereo
image
matching processing
frame
stereo matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003007213A
Other languages
Japanese (ja)
Other versions
JP2003284096A (en
Inventor
和彦 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003007213A priority Critical patent/JP3799019B2/en
Publication of JP2003284096A publication Critical patent/JP2003284096A/en
Application granted granted Critical
Publication of JP3799019B2 publication Critical patent/JP3799019B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像から３次元情報を取得する３次元情報取得方法及び装置に適用可能なステレオ撮影装置及びステレオ撮影装置の撮影方法に関する。
【０００２】
【従来の技術】
従来から非接触で３次元情報を取得する手法として、ステレオ計測が知られている。このステレオ計測による３次元情報取得手法は、異なる視点からの画像を獲得し、各視点の位置関係と各画像の見え方の違いから３次元情報を得るというものである。
【０００３】
例えば、図１３に示すように、複数（この場合、２つ）の視点からの複数の画像２を獲得し、その中の１つの画像を基準画像３とする（この場合、図示左側の画像）。そして、撮影対象４上の点Ａの基準画像３の座標上での位置Ａ１と、他方の画像２の座標上での位置Ａ２との差（以下、視差）と、視点位置と視線方向から三角測量の原理に基づいて、点Ａまでの距離を算出する。同様にして、基準画像３の座標上での位置Ｂ１と他方の画像２の座標上での位置Ｂ２とを用いて撮影対象４上の点Ｂまでの距離を算出することができる。このように、通常、ステレオ画像による３次元情報の取得を行う場合、１つの基準となる画像上の点が、その他の画像上のどの点に対応しているかを対応点探索によって認識する。
【０００４】
このような対応点探索によって基準となる画像上の点が、その他の画像上のどの点に対応しているかを認識する手法は、従来より知られている（例えば、特許文献１参照）。
【０００５】
また、一般的なカメラにより複数視点からのステレオ画像を撮影するため、通常の撮像系にミラーで光路を２分するようにしたステレオアダプタが広く使用されている。
【０００６】
そして、さらに、ファインダ内に、そのようなスフレオアダプタの装着に応じたステレオ撮影視野切り替え機能を持たせるようにした技術が存在する（例えば、特許文献２参照）。
【０００７】
また、３次元情報の入力ミスが生じないようにするため、撮影画象のモニタ表示用の表示部に、３次元情報を得られる領域を表示するような技術も提案されている（例えば、特許文献３参照）。
【０００８】
【特許文献１】
特開平６−２１５１１１号公報
【０００９】
【特許文献２】
特開平７−６４２１６号公報
【００１０】
【特許文献３】
特開２０００−２８３７３９号公報
【００１４】
【発明が解決しようとする課題】
上記特許文献３に開示の従来技術の場合は、撮像手段が１つであるので、３次元情報を得られる領域の表示位置は、表示部に表示される出力画面の略中央に位置していた。しかしながら、ステレオ撮像手段で撮影を行う場合には、複数の視点の相互関係、つまり異なる視点の距離、輻輳角、画角によってステレオマッチングを施す領域、３次元情報を得られる領域、が変化するので、撮影対象を捉えるのに適切な領域が単一視点からの撮影と比べて大きく異なり、また撮影者が適切な領域を認識することが困難である。
【００１５】
例えば、図１４の（ａ）及び（ｂ）に示すように、輻輳角が異なると、左右のそれぞれの視点５１，５２からの視野中で撮影対象を何処に捉える必要があるかが異なる。即ち、複数視点５１，５２それぞれから撮像可能な撮像空間である重畳領域３３（図ではハッチングにより示す）が、ステレオマッチングを施す領域、３次元情報を得られる領域となるが、この重畳領域３３は輻輳角により異なるため、撮影対象を捉えるのに適切な領域の表示位置は、単純に出力画面の略中央に設定すれば良いというものではない。
【００１６】
さらに、この撮影対象を捉えるのに適切な領域は、距離や各視点からの撮影画角によっても影響を受ける。
【００１７】
ところで、近年のデジタルカメラでは、カメラ背面部に電子ファインダを搭載しているものが多いため、ステレオ視野の確認は容易になっている。
【００１８】
しかし、上述したようなデジタルカメラを用いる形状認識システムにおいて、計算機を用いてステレオマッチングを行う場合の処理領域は、デジタルカメラに装着されるステレオアダプタの形状や、レンズディストーション、計算装置の能力、要求される３次元情報の質等の関係から、必ずしも、ファインダに表示されているステレオ視野と一致しない。
【００１９】
このため、上述したような従来のデジタルカメラを用いる形状認識システムでは、被写体を３次元形状認識可能領域で撮影することが困難であるという問題がある。
【００２０】
また、上述したような従来のデジタルカメラを用いる形状認識システムでは、デジタルカメラに装着されるステレオアダプタの内側が黒く表示されている場合、暗い場所や、黒っぽい被写体を撮影する場合などでは、電子ファインダによるステレオ視野の確認自体が困難であるという問題がある。
【００２１】
上記の理由から、上述したような従来のデジタルカメラを用いる形状認識システムでは、実際に使用される画像領域は、ステレオ視野の内側に限定される。
【００２２】
また、ステレオアダプタを使用しないステレオ撮像系の場合でも、撮影している画面全体に対してステレオマッチングを行うわけではないので、やはり、ステレオ視野とステレオマッチングを行う処理領域とは一致しない。
【００２３】
本発明は、このような点に着目し、ステレオ画像撮像手段を用いてステレオ画像を撮像する際に、例えば、撮像した画像の中のステレオマッチング処理に使用できる部分（ステレオマッチング領域）を、操作者が判別可能で、撮影対象をその処理領域内に入れられるように、枠線など領域目印を表示手段としてステレオ画像撮像手段に内蔵される電子ファインダまたは外部のディスプレイの画面上に表示することにより、ステレオ視野だけでなく、ステレオマッチングを行う処理領域を撮影者に提示することにより、ステレオ撮影を容易にすることが可能となるステレオ撮影装置及びステレオ撮影装置の撮影方法を提供することを目的とする。
【００２４】
［用語の定義］
なお、本明細書における「ステレオ撮影」とは、複数の視点からの撮影を意味している。
【００２５】
さらに、本明細書における「ステレオ撮影」とは、１台の撮影装置をステレオコンバータ等を用いて複数視点の画像を得る場合や、複数の撮影装置を使用する場合も含む。
【００２６】
また、本明細書における「ステレオ撮影によって得られた画像」とは、複数視点からの画像を意味する。この場合、複数の撮影装置からの複数の画像だけでなく、１枚の画像の中に複数の視点の画像が埋め込まれているものも含む。
【００２７】
さらに、撮影対象を複数視点から撮像するとき、それら複数視点それぞれから撮像可能な撮像空間、即ち撮像画角は重なった領域を有する。本明細書では、この領域を「重畳領域」と称する。
【００２８】
また、本明細書における「キャリブレーションパターン」とは、形状及び表面属性の両方あるいは一方が既知の物体を意味する。このキャリブレーションパターンを撮影し、その撮影された画像上でのキャリブレーションパターンの歪み具合から撮影に使用した撮影系のレンズ歪み等カメラパラメータを算出するために使用される。カメラパラメータを算出するための条件を揃えるために３次元形状の「キャリブレーションパターン」を使用する場合と２次元形状の「キャリブレーションパターン」を複数枚撮影する場合等があるが、本発明ではこれらの方式に左右されない。
【００３５】
【課題を解決するための手段】
本発明のステレオ撮影装置の一態様によれば、複数の視点から撮影対象の画像を撮像するステレオ画像撮像手段と、上記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面上に表示する表示手段と、上記表示手段によって上記表示画面上に表示される上記出力画像の中の領域であって、上記ステレオ画像撮像手段の撮影した画像を利用して測定される測定距離範囲に基づいて決定される領域である第１の閉領域に対して、ステレオマッチング処理を施す計算手段と、上記撮影対象を撮像するときに、上記撮影対象を上記第１の閉領域内に捕らえるための目印として、上記第１の閉領域に含まれる第２の閉領域を示す目印を上記表示画面上に表示する手段とを具備することを特徴とする。
【００４２】
また、本発明のステレオ撮影装置の別の態様によれば、撮影対象の３次元情報を得るためのステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像するステレオ撮影装置であって、上記撮影対象の画像を撮像するステレオ画像撮像手段と、上記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面に表示する表示手段と、「上記表示手段によって上記表示画面上に表示される上記出力画像の中において上記ステレオマッチング処理が施される領域として、上記ステレオ撮像手段の撮像した画像を利用して測定される測定距離範囲に基づいて決定される第１の閉領域」に含まれる第２の閉領域を示す目印を、上記撮影対象を撮像するときに、上記撮影対象を上記第１の閉領域内に捕らえるための目印として上記表示画面上に視認可能に提示する手段とを具備することを特徴とする。
【００５３】
また、本発明のステレオ撮影装置の撮影方法の一態様によれば、撮影対象の３次元情報を得るためのステレオマッチング処理を行う画像を、複数の視点から撮像し、当該撮像された画像を表示画面上に表示するステレオ撮影装置の撮影方法において、「上記画像を撮影するときに、上記表示される画像の中において上記ステレオマッチング処理が施される領域として、上記撮像された画像を利用して測定される測定距離範囲に基づいて決定される第１の閉領域」に含まれる第２の閉領域を示す目印を、上記画像を撮像するときに、上記撮影対象を上記第１の閉領域内に捕らえるための目印として上記表示画面上に視認可能に表示することを特徴とする。
【００５９】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００６０】
［第１の実施の形態］
図１の（ａ）は、本発明の第１の実施の形態によるステレオ撮影装置の構成を示すと共に、撮影対象４を撮影する状態を示す図である。
【００６１】
即ち、本発明の第１の実施の形態によるステレオ撮影装置は、複数の視点から撮影対象４の画像を撮影するステレオ画像撮像手段として、その前面部にステレオアダプタ９が装着されているデジタルカメラ１０と、このデジタルカメラ１０に接続される外部のパーソナルコンピュータ等の計算装置６とによって構成されている。
【００６２】
ここで、ステレオ画像撮像手段としてその前面部にステレオアダプタ９が装着されているデジタルカメラ１０には、該デジタルカメラ１０によって撮像された出力画像を表示画面上に表示する表示手段としてその背面部に電子ファインダ５が備えられている。
【００６３】
即ち、この第１の実施の形態は、ステレオアダプタ９を装着したデジタルカメラ１０の電子ファインダ５上に、後述するようなステレオマッチング処理領域枠８を表示する例である。
【００６４】
図２の（ａ）及び（ｂ）は、図１の（ａ）に示したように構成される本発明の第１の実施の形態によるステレオ撮影装置に用いられるステレオ画像撮像手段としてのデジタルカメラ１０と、このデジタルカメラ１０の前面部に装着されているステレオアダプタ９の構成を示す平面図及び正面図である。
【００６５】
即ち、デジタルカメラ１０の前面部に装着されているステレオアダプタ９は、それぞれ所定の傾斜角度を有して互いに対向して配置された各一対の第１の反射ミラー１８ａ，１８ｂ及び第２の反射ミラー１８ｃ，１８ｄを介して撮影対象４を２つの視点からの画像としてデジタルカメラ１０が撮影することを可能ならしめている。
【００６６】
図１の（ｂ）は、本発明の第１の実施の形態によるステレオ撮影装置を構成する図１の（ａ）に示したようなステレオ画像撮像手段としてその前面部にステレオアダプタ９が装着されているデジタルカメラ１０と計算手段としての計算装置６とを用いて撮影対象４を撮影する際に、ステレオマッチング処理が施される閉領域（以下、ステレオマッチング処理領域）７を撮影者に提示するための目印として、表示手段としての電子ファインダ５の表示画面上に表示される画像の外縁より内側に存在する閉領域を示すステレオマッチング処理領域枠８を例示する図である。
【００６７】
即ち、本発明の第１の実施の形態によるステレオ撮影装置では、ステレオ画像撮像手段としてその前面部にステレオアダプタ９が装着されているデジタルカメラ１０と計算手段としての計算装置６とを用いて、図１の（ａ）に示したような撮影対象４を撮影する場合、デジタルカメラ１０における表示手段としての電子ファインダ５の表示画面上に、該デジタルカメラ１０によって撮像された出力画像を表示するに際し、レンズディストーションやレクティフィケーション、計算手段としての計算装置６自体の能力等によって決定される図１の（ｂ）に示したようなステレオマッチング処理領域７を撮影者に提示するために、有意の画像が表示されている部分の内側にステレオマッチング処理領域枠８を上記出力画像に電気的に重畳された状態で表示するようにしている。
【００６８】
これにより、使用者は、デジタルカメラ１０における表示手段としての電子ファインダ５の表示画面上に表示されたステレオマッチング処理領域枠（第２の閉領域を囲む枠）８を見ることによって、撮影対象４の画像をステレオマッチング処理領域（第１の閉領域）７に入れることが容易になる。ここで、ステレオマッチング処理領域枠（第２の閉領域を囲む枠）８は、上記ステレオ画像撮像手段としてのデジタルカメラ１０によって撮像された上記出力画像の歪みが所定のレベル以下であることが望ましい。
【００６９】
なお、上記第１の閉領域とは、実際にステレオマッチング処理を行う領域であり、上記第２の閉領域とは、その第１の閉領域の内側にある程度の余裕を設けて設定される、上記第１の閉領域の内側の領域である。但し、この第１の実施の形態では、第１の閉領域の外縁と第２の閉領域を囲む枠とが一致するものとしている。
【００７０】
そして、計算手段としての計算装置６は、上記表示手段としての電子ファインダ５の表示画面上に表示された上記出力画像の中の第１の閉領域としてのステレオマッチング処理領域７に対して、ステレオマッチング処理を実行する。
【００７１】
なお、この発明の第１の実施の形態の各構成は、当然各種の変形変更が可能である。
【００７２】
例えば、ステレオマッチング処理領域枠８は、図１の（ｂ）に示したような直線で構成された枠である必要はなく、図３の（ａ）乃至（ｃ）に示すように、点線、折れ線等でステレオマッチング処理領域枠８を提示するようにしても良い。
【００７３】
即ち、図３の（ａ）に示すように、ステレオマッチング処理領域枠８を完全に囲わずに、点線でステレオマッチング処理領域枠８を提示するようにしても良い。
【００７４】
また、図３の（ｂ）に示すように、ステレオマッチング処理領域枠８として、その領域のコーナーを２本の交差した線分で示した目印を設けるようにしても良い。この変形例としては、図４の（ａ）や（ｂ）に示すように、上記線分同士の交点位置に点や小さな円などの閉曲線を配置するようにしても良い。もちろん、図４の（ｃ）乃至（ｅ）に示すように、目印をステレオマッチング処理領域枠８のコーナー以外の部分に適度な間隔で配置するようにしても良い。即ち、目印として、線分または交差した線分または曲線または交差した曲線または点もしくは閉曲線を配置したものなど、撮影する際の手がかりとなる目印であればどのようなものでも良い。要するに、ステレオマッチング処理領域枠８として使用者が分かるようになっている目印であれば良い。
【００７５】
また、図３の（ｃ）に示すように、ステレオマッチング処理領域枠８として、黒枠（但し、図示ではハッチングの枠で示している）等でステレオマッチング処理領域枠８を提示するようにしても良い。
【００７６】
あるいは、ステレオマッチング処理領域枠８を表示するのではなく、ステレオマッチング処理領域７以外の部分は表示を行わない、又は、色を変える等で領域を指示しても良い。
【００７７】
また、ステレオマッチング処理領域７の決定は、ステレオ撮影装置の各種パラメータから、計算手段としての計算装置６が撮影時に決定しても、撮影者が決定するようにしても良い。
【００７８】
また、ステレオマッチング処理領域枠８は、図示のような四角形である必要はない。例えば、レンズディストーション等を閾値としてステレオマッチング処理領域７を決定した場合、図５に示すような黒枠による半円形状の枠（但し、図示ではハッチングの枠で示している）であっても良い。
【００７９】
また、ステレオマッチング処理領域７の決定は撮影時でも、それ以前であってもよい。
【００８０】
さらには、本実施の形態では、視点は２つであるが、３つ以上の視点及び出力画像でも良い。
【００８１】
また、ステレオマッチング処理領域枠８と同時にステレオ視野も使用者に提示するようにしても良い。
【００８２】
さらに、表示手段としては、必ずしもデジタルカメラ１０に内蔵された電子ファインダ５を用いる場合に限らず、外部のディスプレイを使用する方式であってもよい。
【００８３】
また、ステレオマッチング処理領域枠８の表示を点滅させても良い。このような点滅表示を行えば、ステレオマッチング処理領域枠８が目立つので、更に位置合わせが容易になる。
【００８４】
またこの場合、この点滅表示動作の有無を、例えばメニュー釦等のデジタルカメラ１０が持つ入力デバイス（図示せず）やキーボード等の計算装置６が持つ入力デバイス（図示せず）を用いて、使用者が選択できるようにしても良い。
【００８５】
さらには、この入力デバイスを用いて、ステレオマッチング処理領域枠８の表示の有無自体も選択できるようにしても良い。勿論、デジタルカメラ１０へのステレオアダプタ９の装着状態を検出し、その検出結果に応じてステレオマッチング処理領域枠８の表示／非表示を自動切り替えするような構成も考えられる。
【００８６】
［第２の実施の形態］
図６は、本発明の第２の実施の形態によるステレオ撮影装置の構成を示す斜視図である。
【００８７】
即ち、図６に示すように、本発明の第２の実施の形態によるステレオ撮影装置は、ステレオ画像撮像手段として、前述したステレオアダプタを用いる代わりに、２つの撮像カメラからなるステレオ撮像系１と、このステレオ撮像系１に接続される計算手段としての外部の計算装置６と、この計算手段としての計算装置６に接続される表示手段としての外部のディスプレイ５Ａとから構成されている。
【００８８】
そして、本発明の第２の実施の形態によるステレオ撮影装置は、ステレオ撮像系１で撮影対象４を撮影する際、表示手段としてのディスプレイ５Ａには、ステレオ撮像系１によって撮像された出力画像が表示される。この場合、本発明の第２の実施の形態によるステレオ撮影装置では、表示手段してのディスプレイ５Ａ上に、ステレオ撮像系１のレンズディストーションやレクティフィケーション、計算手段としての計算装置６自体の能力等によって決定されるステレオマッチング処理が施される閉領域（以下、ステレオマッチング処理領域）７を撮影者に提示するために、ステレオマッチング処理領域枠８を上記出力画像に電気的に重畳された状態で表示する。
【００８９】
これにより、使用者は、表示手段としてのディスプレイ５Ａ上に表示されたステレオマッチング処理領域枠（第２の閉領域を囲む枠）８を見ることによって、撮影対象４をステレオマッチング処理領域（第１の閉領域）７の中に入れることが容易になる。
【００９０】
ここで、ステレオマッチング処理領域枠（第２の閉領域を囲む枠）８は、上記ステレオ撮像系１によって撮像された上記出力画像の歪みが所定のレベル以下であることが望ましい。
【００９１】
そして、計算手段としての計算装置６は、上記表示手段としてのディスプレイ５Ａの表示画面上に表示された上記出力画像の中の第１の閉領域としてのステレオマッチング処理領域７に対して、ステレオマッチング処理を実行する。
【００９２】
なお、この発明の第２の実施の形態の各構成は、当然各種の変形変更が可能である。
【００９３】
例えば、ステレオマッチング処理領域枠８は直線で構成された枠である必要はなく、図３の（ａ）乃至（ｃ）に示されるように、点線、折れ線等でステレオマッチング処理領域枠８を前述したと同様に提示するようにしても良い。
【００９４】
また、ステレオマッチング処理領域枠８を表示するのではなく、ステレオマッチング処理領域７以外の部分は表示を行わない、又は、色を変える等で領域を指示しても良い。
【００９５】
また、ステレオマッチング処理領域７の決定は各種パラメータから、計算手段としての計算装置６が撮影時に決定するようにしても良く、あるいは撮影者が決定するようにしても良い。
【００９６】
さらに、ステレオマッチング処理領域枠８は、図示のように四角形である必要はない。例えば、ステレオ撮像系１のレンズディストーション等を閾値としてステレオマッチング処理領域７を決定した場合、図５に示すような黒枠による半円形状の枠（但し、図示ではハッチングの枠で示している）であっても良い。
【００９７】
また、ステレオマッチング処理領域７の決定は撮影時でも、それ以前であっても良い。
【００９８】
また、ステレオ撮像系１は、３台以上のカメラで構成されていても良い。
【００９９】
さらに、表示装置としてのディスプレイ５Ａを複数用意して、各ディスプレイに各視点からの画像を表示する形態であっても良い。
【０１００】
また、ステレオマッチング処理領域枠８と同時にステレオ視野も使用者に提示するようにしても良い。
【０１０１】
また、ステレオマッチング処理領域枠８の表示を点滅させても良い。さらにこの場合、この点滅表示動作の有無を、計算装置６が持つ入力デバイスを用いて使用者が選択できるようにしても良い。
【０１０２】
［第３の実施の形態］
この第３の実施の形態によるステレオ撮影装置の構成は、基本的には、前述した第１の実施の形態の図１の（ａ）または第２の実施の形態の図６に示したように構成されるステレオ撮影装置のそれと同様である。
【０１０３】
そして、本発明の第３の実施の形態によるステレオ撮影装置は、表示手段として前述した第１の実施の形態の電子ファインダ５または第２の実施の形態のディスプレイ５Ａ上に、ステレオ撮影装置のレンズディストーションやレクティフィケーション、計算手段としての計算装置６自体の能力等によって前もって決定されるステレオマッチング処理が施される閉領域（以下、ステレオマッチング処理領域）７を撮影者に提示するために、ステレオマッチング処理領域枠８が、前述した第１または第２の実施の形態のように出力画像に電気的に重畳された状態で表示する代わりに、予め、表示手段としての電子ファインダ５またはディスプレイ５Ａ上に表示される画像の内側に直接印刷されている例である。
【０１０４】
即ち、この第３の実施の形態では、図１の（ａ）または図６に示したように構成されるステレオ撮影装置を用いて、撮影対象４を撮影する際、表示手段としての電子ファインダ５またはディスプレイ５Ａ上に、ステレオ撮影装置のレンズディストーションやレクティフィケーション、計算手段としての計算装置６自体の能力等によって、予め、決定される図１の（ｂ）または図６に示したようなステレオマッチング処理領域７を撮影者に提示するために、ステレオマッチング処理領域枠８が、予め、直接印刷により固着されている。
【０１０５】
これにより、使用者は、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に予め直接印刷により固着されているステレオマッチング処理領域枠（第２の閉領域を囲む枠）８を見ることによって、撮影対象４の画像をステレオマッチング処理領域（第１の閉領域）７に入れることが容易になる。
【０１０６】
ここで、ステレオマッチング処理領域枠（第２の閉領域を囲む枠）８は、上記ステレオ撮影装置によって撮像された上記出力画像の歪みが所定のレベル以下であることが望ましい。
【０１０７】
そして、計算手段としての計算装置６は、上記表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示された上記出力画像の中の第１の閉領域としてのステレオマッチング処理領域７に対して、ステレオマッチング処理を実行する。
【０１０８】
このように、本発明の第３の実施の形態によるステレオ撮影装置は、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に、上記第１の閉領域に含まれる第２の閉領域を示す目印として上記表示画面上に直接印刷により固着された枠（ステレオマッチング処理領域枠８）を表示することにより、枠８内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０１０９】
なお、この発明の第３の実施の形態の各構成は、当然各種の変形変更が可能である。
【０１１０】
例えば、ステレオマッチング処理領域枠８は直線で構成された枠である必要はなく、前述した図３の（ａ）、図３の（ｂ）、図３の（ｃ）に示されているように、点線、折れ線、黒枠（但し、図示ではハッチングの枠で示している）等でステレオマッチング処理領域枠８を直接印刷により固着して提示するようにしても良い。
【０１１１】
また、ステレオマッチング処理領域枠８を印刷するのではなく、ステレオマッチング処理領域７以外の部分は表示を行わない、又は、色を変える等で領域を指示しても良い。
【０１１２】
その他、上記目印を視認可能に提示する手段としては、次のようなものがある。
【０１１３】
例えば、ステレオマッチング処理領域枠８を表示手段としての電子ファインダ５上またはディスプレイ５Ａに直接印刷により固着するのではなく、ステレオマッチング処理領域枠８を印刷したステレオマッチング処理領域枠表示体としてのシールを表示手段としての電子ファインダ５上またはディスプレイ５Ａ上に貼り付けにより固着するようにしても良い。
【０１１４】
また、ステレオマッチング処理領域７の部分を可視にして、その他の部分を不可視にしたステレオマッチング処理領域枠表示体としてのプレートを表示手段としての電子ファインダ５上またはディスプレイ５Ａ上に固着するようにしても良い。
【０１１５】
さらに、上記電子ファインダ５またはディスプレイ５Ａのような表示手段以外に、あるいはその代わりに、光学ファインダを有する撮影装置に於いて、目印を光学的画像重畳で提示する方法がある。
【０１１６】
この光学的画像重畳の例を、図７の（ａ）及び（ｂ）を用いて説明する。
【０１１７】
図７の（ａ）は、２眼式の撮影装置の場合の構成を示す図である。この場合、拡散板２０から取り入れられた外光がステレオマッチング処理領域枠８と相似な部材であるガラス板２７を通過してステレオマッチング処理領域枠像を生成し、このステレオマッチング処理領域枠像がミラー１８及び光路調整レンズ３７を介してハーフミラー１７によって、対物レンズ２１からの映像と重畳される。そして、その映像が接眼レンズ２２を通して使用者の眼１９に入る。
【０１１８】
また、図７の（Ｂ）は、１眼レフ撮影装置の場合の構成を示す図である。この場合には、対物レンズ２１からの映像は撮像素子２５の前面に配された可動ミラー２４によって反射し、ガラス板２７を通過しステレオマッチング処理領域枠像が重畳される。そして、その映像は、プリズム２３、接眼レンズ２２を通過して使用者の眼１９に入る。
【０１１９】
このような光学的画像重畳の場合、例えば、拡散板２０から外光を取り入れる代わりにＬＥＤ等を光源とした自発光方式でステレオマッチング処理領域枠８を提示したり、ガラス板２７の代わりに透過型ＬＣＤ等を使用したりしても良い。ステレオマッチング処理領域枠像は複数のＬＥＤそのものの像でも良い。
【０１２０】
また、ＬＥＤもしくは透過型のＬＣＤをオン・オフすることで、またはステレオマッチング処理領域枠像を撮影者の眼に導く光路を遮ることで、上記ステレオマッチング処理領域枠像を表示・非表示の状態にしたり、点滅させたりすることができる。
【０１２１】
あるいは、ステレオマッチング処理領域枠８が視認可能なように、ステレオマッチング処理領域枠８がファインダの表面又は裏面に描かれていたり印刷されていても良い。
【０１２２】
また、図８の（ａ）に示すような、ステレオマッチング処理領域枠８の提示された、可視光を透過するフィルムやパネル等の目印提示部材３０、ステレオマッチング処理領域枠８が視認可能なようにファインダに取り付けられていても良い。あるいは、可視光を透過する薄いシールの形態で提供され、ファインダに貼付されるものであっても良い。
【０１２３】
あるいは、図８の（ｂ）に示すように、ステレオマッチング処理領域枠８の形状に合わせた形で可視光を透過する穴の開いた穴開き部材３６をファインダに取り付けるようにしても良い。この場合には、このステレオマッチング処理領域枠８に対応する穴内に撮影対象４が収まるように撮影すれば良く、少なくとも視野の外枠が認識可能であれば、撮影対象４に目の焦点が完全には合わない状態でも位置合わせが可能である。よって、図４に示すような線状の目印の提示された部材を取り付ける場合に比べて、取り付け位置の制限が緩いという利点がある。
【０１２４】
上述のような手段を用いて、閉領域を示す目印を光学ファインダに提示するようにしても良い。
【０１２５】
また、上記光学的画像重畳においてガラス板の代わりに透過型ＬＣＤを使用したような場合や、上記までの実施の形態のように表示手段として電子ファインダ５やディスプレイ５Ａを使用した場合、使用者の希望によって、撮影装置が持つ入力デバイスを用いて目印の表示、非表示を選択することができるようにしても良い。
【０１２６】
即ち、上記のように常にステレオマッチング処理領域枠８を重畳することでそれを常時表示するのではなく、使用者の希望によって、つまり、撮影時に、使用者が操作用の入力デバイスを用いて、上記目印としてのステレオマッチング処理領域枠８の表示・非表示を選択することができるようにしても良い。このように、ステレオマッチング処理領域枠８の表示・非表示を選択できるようにすることで、例えばキャリブレーションを目的としない撮影時にはステレオマッチング処理領域枠８を表示しないことを選択することで、ステレオマッチング処理領域枠８が邪魔になることを防ぐことができる。
【０１２７】
さらには、ステレオマッチング処理領域枠８の表示を点滅させても良い。またこの場合、上記ステレオマッチング処理領域枠８の表示の有無と同様に、この点滅表示動作の有無を上記入力デバイスを用いて使用者が選択できるようにしても良い。
【０１２８】
また、本実施の形態では、視点は２つであるが、３つ以上の視点及び出力画像でも良い。
【０１２９】
さらに、ステレオマッチング処理領域枠８と同時にステレオ視野も使用者に提示するようにしても良い。
【０１３０】
また、ステレオマッチング処理領域枠８は、図示のような四角形である必要はなく、例えば、図５に示すような黒枠（但し、図示ではハッチングの枠で示している）による半円形状の枠であっても良い。
【０１３１】
［第４の実施の形態］
次に、本発明の第４の実施の形態を説明する。
【０１３２】
本実施の形態は、所定のキャリブレーションパターンを撮影して画像歪みを算出し、それに基づいてステレオマッチング処理領域（第１の閉領域）７を決定し、ステレオマッチング処理領域枠（第２の閉領域を囲む枠）８を提示するというものである。
【０１３３】
ここで、上記キャリブレーションパターン１１としては、図９の（ａ）に示すように立体的なものでも、図９の（ｂ）に示すように平面的なものでも良く、形状及び表面属性の両方あるいは一方が既知であり、画像歪みを算出するための情報が得られるものであれば構わない。
【０１３４】
図１０は、本発明の第４の実施の形態によるステレオ撮影装置の構成を示すと共に、撮影対象４を撮影する状態を示す図である。
【０１３５】
この第４の実施の形態によるステレオ撮影装置の構成は、基本的には、前述した第１の実施の形態の図１の（ａ）に示したように構成されるステレオ撮影装置のそれと同様である。
【０１３６】
そして、本発明の第４の実施の形態によるステレオ撮影装置においては、電子ファインダ５を具備しステレオアダプタ９を装着したデジタルカメラ１０を用いて、形状及び表面属性が既知であるコーナーキューブ型のキャリブレーションパターン１１を撮影し、キャリブレーションパターン画像１３を獲得する。計算装置６は、このキャリブレーションパターン画像１３上に写っているキャリブレーションパターン１１上の模様（表面属性）を認識する。そして、認識された模様と形状及び表面属性が既知であるキャリブレーションパターン１１の模様のずれ具合からキャリブレーションパターン画像１３がどのように歪んでいるか算出する。ここで、キャリブレーションパターン画像１３の各画素に関してずれが１画素未満である閉領域つまりステレオマッチング処理領域（第１の閉領域）７を当該計算装置６内の記憶装置２６に格納する。
【０１３７】
而して、デジタルカメラ１０を用いて撮影対象４を撮影する際、計算装置６は、上記記憶装置２６に格納されたステレオマッチング処理領域７を撮影者に提示するために、表示手段としての電子ファインダ５にステレオマッチング処理領域枠（第２の閉領域を囲む枠）８を表示させる。
【０１３８】
使用者は、この電子ファインダ５に表示されたステレオマッチング処理領域枠８を見ることで、撮影対象４をステレオマッチング処理領域７に入れることが容易になる。
【０１３９】
なお、この発明の実施の形態の各構成は当然各種の変形変更が可能である。
【０１４０】
例えば、通常歪みが所定のレベル以下の領域を示す枠は図５の様になる。さらには、ステレオマッチング処理領域枠８は直線である必要はなく、図３の（ａ）乃至（ｃ）で示される様に、点線、折れ線等で領域を指示しても良い。
【０１４１】
また、ステレオマッチング処理領域枠８を表示するのではなく、ステレオマッチング処理領域７以外の部分は表示を行わない、又は色を変える等で領域を指示しても良い。
【０１４２】
また、画像歪みを算出する方法はコーナーキューブ型のキャリブレーションパターン１１の撮影である必要はない。例えば、図９の（ｂ）の様な表面属性が既知の板状のキャリブレーションパターン１１を距離を変えて複数枚撮影し、その画像情報から画像歪みを算出しても良い。さらに、キャリブレーションパターン１１を撮影せずに、形状及び表面属性が不明な物を撮影した場合でも、基準画像３上の各画素が、画像２上のどの場所に対応するかを探索することで画像歪みを算出することもできる（セルフキャリブレーション）。
【０１４３】
また、ステレオマッチング処理領域７の境界を決定する歪みレベルの境界はずれ量が１画素である必要はなく、任意設定可能である（算出されるずれ画素数が整数である必要もない）。さらに、対応点探索を行うための探索窓の大きさと連動して変化させても良い。
【０１４４】
また、計算装置６や記憶装置２６が存在する場所はデジタルカメラ１０の外部ではなく、デジタルカメラ１０の内部としても良い。さらに、記憶装置２６も、計算装置６の内部ではなく、外部に存在しても良い。
【０１４５】
また、ステレオマッチング処理領域７は記憶装置２６に前もって格納されているものを使用しても良い。この場合、ほぼ同様の画像歪みが存在する別のデジタルカメラ１０で撮影したキャリブレーションパターン画像１３から算出されたステレオマッチング処理領域７を格納しても構わない。
【０１４６】
また、本実施の形態では、視点は２つであるが、３つ以上の視点及び出力画像でも良い。
【０１４７】
また、ステレオマッチング処理領域枠８と同時にステレオ視野も使用者に提示しても良い。
【０１４８】
また、表示手段としては、デジタルカメラ１０に具備された電子ファインダ５ではなく、外部ディスプレイを使用する方式でも良い。
【０１４９】
さらに、ステレオアダプタ９を用いたシステムである必要はなく、第２の実施の形態の図６に示したような複数の撮像系を用いたステレオ画像測定システムで用いても良い。
【０１５０】
また、上記のようにステレオマッチング処理領域枠８を決定した後、ストロボ装置や光パターン投影装置などの投光装置の投光範囲を決定されたステレオマッチング処理領域枠８に合わせて投光装置のズームや絞りなどを行うことで調整しても良い。この場合、ステレオマッチング処理領域枠８の外に投光しないので投光装置の小型化や省電力化が期待できる。
【０１５１】
また、デジタルカメラ１０にＡＦ、ＡＥ等の機能が搭載されている場合、上記決定されたステレオマッチング処理領域枠８内の画像を基準にＡＦ、ＡＥ等を作動させるように構成しても良い。
【０１５２】
さらに、上記ステレオマッチング処理領域枠８により規定される測定範囲情報を撮像手段であるデジタルカメラ１０に送ることによって、ＡＦに利用しても良い。
【０１５３】
［第５の実施の形態］
次に、本発明の第５の実施の形態を説明する。
【０１５４】
この第５の実施の形態によるステレオ撮影装置の構成は、基本的には、前述した第１の実施の形態の図１の（ａ）に示したように構成されるステレオ撮影装置のそれと同様である。
【０１５５】
そして、本第５の実施の形態においては、電子ファインダ５を具備しステレオアダプタ９を装着したデジタルカメラ１０を用いて撮影対象４を撮影する際に、計算装置６は、電子ファインダ５上にステレオマッチング処理領域７以外の部分の表示を行わない画像を表示するものである。
【０１５６】
使用者は、この表示された画像を見ることで、撮影対象４をステレオマッチング処理領域７に入れることが容易になる。
【０１５７】
なお、この発明の実施の形態の各構成は当然各種の変形変更が可能である。
【０１５８】
例えば、ステレオマッチング処理領域７以外の部分は表示を行わないだけでなく、その境界線を示すステレオマッチング処理領域枠８を表示しても良い。また、ステレオマッチング処理領域７以外の部分の色を変える等で領域を指示しても良い。
【０１５９】
また、ステレオマッチング処理領域枠８は四角形である必要はない。例えば、図５で示すような形状でも良い。
【０１６０】
また、本実施の形態では、視点は２つであるが、３つ以上の視点及び出力画像でも良い。
【０１６１】
また、表示手段としては、デジタルカメラ１０に具備された電子ファインダ５ではなく、外部ディスプレイを使用する方式でも良い。
【０１６２】
また、ステレオアダプタ９を用いたシステムである必要はなく、第２の実施の形態の図６に示したような複数の撮像系を用いたステレオ画像測定システムで用いても良い。
【０１６３】
［第６の実施の形態］
次に、本発明の第６の実施の形態を説明する。
【０１６４】
この第６の実施の形態によるステレオ撮影装置の構成は、基本的には、前述した第１の実施の形態の図１の（ａ）に示したように構成されるステレオ撮影装置のそれと同様である。
【０１６５】
そして、本実施の形態においては、電子ファインダ５を具備しステレオアダプタ９を装着したデジタルカメラ１０を用いて撮影対象４を撮影する際、撮影者はデジタルカメラ１０又は計算装置６が備える入力デバイスを用いて測定距離範囲を入力する。この入力された測定距離範囲の値は、計算装置６が備える記憶装置２６に記憶される。計算装置６は、この入力され記憶された測定距離範囲を元に、ステレオマッチング処理領域７を決定する。
【０１６６】
ここで、本実施の形態の場合、図１１に示すようにステレオアダプタ９によって分割される左右の画像の内、左の画像を基準画像３、右の画像を対応画像１２とする。
【０１６７】
計算装置６は、この基準画像３上の探索点Ｍまでの距離を算出するために、その探索点Ｍに対応する上記対応画像１２中の対応点Ｎを探索する。
【０１６８】
このとき、図１１に示すように左視点５１から見た基準画像３中の撮影対象４は右よりに、右視点５２から見た対応画像１２中の撮影対象４は左よりに写っているとする。
【０１６９】
この場合、対応点探索は、対応画像１２において、基準画像３中の探索点Ｍの横座標よりも左側の座標上に対して行われる。
【０１７０】
このとき、上記測定距離範囲が設定されていない場合は、対応画像１２中で探索点Ｍの横座標よりも左側全て、即ち、測定距離範囲が設定されていない場合の探索範囲４０を探索することになる。
【０１７１】
ここで、三角測定の原理とは、撮影されたステレオ画像中の探索点Ｍと対応点Ｎとの横座標の差（以下、視差と称する）と各種パラメータ（基線長、輻輳角等）とから、撮影対象４（の探索点Ｍに相当する点）と撮影装置との距離が算出できる原理であり、視差が小さいときには撮影対象との距離が遠く、視差が大きいときは距離が近いという、測定（撮影）距離と視差との対応が存在する。即ち、測定距離範囲が設定されている場合には、視差のとり得る値も制限されるので、結果として上記探索点Ｍに対する対応点Ｎの探索範囲を狭めることができる。
【０１７２】
本実施の形態の場合、測定距離範囲の設定（この場合、最遠距離値）を行うことにより、とり得る最小視差４２、つまり撮影対象４との距離が限定した最遠距離値であった場合の視差が決定する。
【０１７３】
これにより、上記測定距離範囲が設定されている場合には、対応画像１２中で探索点Ｍの横座標から上記とり得る最小視差４２だけ左にずれた点から左に向かって探索を行えば良いことになる。即ち、対応画像１２中で探索点Ｍの横座標から上記とり得る最小視差４２だけ左にずれた点よりも左側全て、つまり、測定距離範囲に基づき探索点Ｍの対応点Ｎの探索を行う範囲４１を探索することになる。
【０１７４】
よって、基準画像３の最右上の点を測定する場合、探索する領域は対応画像１２上の最右からとり得る最小視差４２だけ左にずれた点から左に向かって探索を行えば良いことになる。従って、図１２の（ａ）に示すように、対応画像１２上の最右から最小視差４２の範囲はステレオマッチングには使用されない。また、基準画像３上の最左から最小視差４２だけ右にずれた範囲に関しては、対応画像１２上での探索が行えない（探索範囲が対応画像１２の左外に出てしまう）ため、やはりステレオマッチングには使用されない。
【０１７５】
このようにして、測定距離を設定することで、ステレオマッチングには使用されない領域、つまり探索不要領域が算出される。
【０１７６】
計算装置６は、基準画像３または対応画像１２から上記探索不要領域を除く形でステレオマッチング処理領域７を設定し、ステレオマッチング処理領域枠８を電子ファインダ５により撮影者に提示する。
【０１７７】
なお、この発明の実施の形態の各構成は当然各種の変形変更が可能である。
【０１７８】
例えば、測定距離範囲は入力デバイスによって入力されるのではなく、他のセンサを用いて得られた概略距離から決定しても良い。
【０１７９】
また、基準画像は左である必要はない。
【０１８０】
また、本実施の形態では左右２枚のステレオ方式であるが、３枚以上、または上下配置のステレオ方式でもそれぞれに対応したステレオマッチング処理領域７、ステレオマッチング処理領域枠８の設定が可能である。
【０１８１】
また、ステレオアダプタ９を用いたシステムである必要はなく、第２の実施の形態の図６に示したような複数の撮像系を用いたステレオ画像測定システムで用いても良い。
【０１８２】
また、例えば上記基準画像３および対応画像１２中の想定される最大のステレオマッチング処理領域等、他の手段で決定された所望の領域から上記探索不要領域を除く形で、ステレオマッチング処理領域７及びステレオマッチング処理領域枠８を設定しても良い。
【０１８３】
さらに、上記測定距離範囲は最遠距離値だけでなく、最近距離値のみ、またはその両方を設定するようにしても良い。最遠距離値と最近距離値の両方を設定した場合には、最近距離から決定されたとり得る最大視差４３を用いて、図１２の（ｂ）に示すようにステレオマッチング処理領域７を設定し、ステレオマッチング処理領域枠８を提示するようにしても良い。この場合、撮影者はステレオマッチング処理領域枠８を目印にすることで、ステレオマッチング処理を行い３次元再構成を行うのに好適な画像を撮影することができる。
【０１８４】
また、測定距離範囲によるステレオマッチング領域の決定は測定距離範囲入力時である必要はなく、前もって測定距離範囲とステレオマッチング領域の対応テーブルを記憶装置２６に記憶させておいても良い。
【０１８５】
［第７の実施の形態］
次に、本発明の第７の実施の形態を説明する。
【０１８６】
この第７の実施の形態によるステレオ撮影装置の構成は、基本的には、前述した第１の実施の形態の図１の（ａ）に示したように構成されるステレオ撮影装置のそれと同様であるが、本実施の形態では、ステレオアダプタ９内にある第１の反射ミラー１８ａ，１８ｂは可動ミラーであり、入力された測定距離範囲に応じて輻輳角θを変化させるようになっている。
【０１８７】
即ち、本実施の形態においては、上記第６の実施の形態と同様に、電子ファインダ５を具備しステレオアダプタ９を装着したデジタルカメラ１０を用いて撮影対象４を撮影する際、撮影者は入力デバイスを用いて測定距離範囲を入力し、その値は記憶装置２６に記憶される。そして、計算装置６は、入力され記憶された測定距離範囲に応じて、ステレオアダプタ９内にある第１の反射ミラー１８ａ，１８ｂの輻輳角θを変化させる。また、その変化させた輻輳角θとデジタルカメラ１０のズーム状況によって決定される重畳領域３３の範囲を使用者に提示するために、電子ファインダ５にステレオマッチング処理領域枠８を表示させる。これにより、使用者は、輻輳角θの変化に応じて変化するステレオマッチング処理領域７を認識することが容易となる。
【０１８８】
なお、この発明の実施の形態の各構成は当然各種の変形変更が可能である。
【０１８９】
例えば、測定距離範囲は入力デバイスを用いて入力されるのではなく、他のセンサを用いて得られた概略距離から決定しても良い。
【０１９０】
以上のように、複数視点の撮影画角および輻輳角ならびに測定距離範囲に関する情報のうち１つ以上を用いてステレオマッチング処理領域７を設定し、ステレオマッチング処理領域枠８を提示するようにしても良い。
【０１９１】
また、ステレオアダプタ９を用いるのではなく、第２の実施の形態の図６に示したような複数の視点の異なるカメラを用いても良い。但しこの場合には、さらに、入力された測定距離範囲に応じて２つのカメラの向きを自動的に変更する機構、あるいは、手動によって変更すべきカメラの向きを視覚的又は聴覚的に指示する手段を備えることが必要となる。
【０１９２】
ところで、上記第１乃至第７の各実施の形態においては、ステレオマッチング処理が行われるステレオマッチング処理領域７の外縁と、使用者が表示するステレオマッチング処理領域枠８が一致するようにしていた。
【０１９３】
ただし、実際の使用にあっては、手ブレや使用者の位置合わせ誤差等を考慮して、ステレオマッチング処理領域７とそれを表示するステレオマッチング処理領域枠８との間に余裕を設けておくことが望まれる。
【０１９４】
即ち、実際にステレオマッチング処理を行うステレオマッチング処理領域７（第１の閉領域）の内側にある程度の余裕を設け、さらにその内側に領域（第２の閉領域）を設定し、この内側の領域（第２の閉領域）の外縁に沿って表示するステレオマッチング処理領域枠８を配置するのが好ましい。
【０１９５】
これによって、使用者は表示されるステレオマッチング処理領域枠８内に撮影対象を入れた画像を撮影しようとするため、若干の手ブレがあっても、撮影対象の全体がステレオマッチング処理領域７の外にはみ出る可能性が低くなり、確実に所望の対象のステレオ撮影が可能となる。
【０１９６】
また、ステレオ撮影において、３次元情報を得られる領域は複数視点それぞれから撮像可能な撮像空間が重なった重畳領域に含まれる。従って、前述の第１乃至第７の全実施の形態を通して、ステレオマッチング処理を行う領域の代わりに、出力画像中の重畳領域に対応する領域を撮影者に提示するようにしても良い。
【０１９７】
［付記］
前記の具体的実施の形態から、以下のような構成の発明を抽出することができる。
【０１９８】
（１） 複数の視点から撮影対象の画像を撮像するステレオ画像撮像手段と、上記ステレオ画像撮像手段によって撮像された出力画像を表示画面上に表示する表示手段と、
上記表示手段によって上記表示画面上に表示された画像の外縁より内側に存在する閉領域を示すために、上記表示画面上に表示される目印と、
を具備することを特徴とするステレオ撮影装置。
【０１９９】
（対応する実施の形態）
この（１）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（１）に記載のステレオ撮影装置によれば、ステレオ画像撮像手段で撮影対象４を撮像した画像を、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示する。このとき、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示された画像の外縁より内側に存在する閉領域を示すために、上記表示画面上に表示された目印としての枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２００】
（２） 上記目印は、線分または交差した線分または曲線または交差した曲線または点もしくは閉曲線を配置することによって、少なくとも上記閉領域のコーナーの位置を示すものであることを特徴とする（１）に記載のステレオ撮影装置。
【０２０１】
（対応する実施の形態）
この（２）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（２）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示された画像の外縁より内側に存在する閉領域を示すために、上記表示画面上に表示された目印として線分または交差した線分または曲線または交差した曲線または点もしくは閉曲線を配置することによって、少なくとも上記閉領域のコーナーの位置を示す枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２０２】
（３） 上記目印は、上記閉領域の外縁を囲むものであることを特徴とする（１）に記載のステレオ撮影装置。
【０２０３】
（対応する実施の形態）
この（３）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（３）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示された画像の外縁より内側に存在する閉領域を示すために、上記表示画面上に表示された目印として上記閉領域の外緑を囲む枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２０４】
（４） 上記目印は、上記ステレオ画像撮像手段によって撮像された上記出力画像に電気的に重畳されたものであることを特徴とする（１）に記載のステレオ撮影装置。
【０２０５】
（対応する実施の形態）
この（４）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（４）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示された画像の外縁より内側に存在する閉領域を示すために、上記表示画面上に表示された目印として上記ステレオ画像撮像手段によって撮像された上記出力画像に電気的に重畳された枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２０６】
（５） 上記目印は、上記表示手段上に固着されたものであることを特徴とする（１）に記載のステレオ撮影装置。
【０２０７】
（対応する実施の形態）
この（５）に記載のステレオ撮影装置に関する実施の形態は、第３の実施の形態が対応する。
（作用効果）
この（５）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示された画像の外縁より内側に存在する閉領域を示すために、上記表示画面上に表示された目印として上記表示手段上に固着された枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２０８】
（６） 上記閉領域は、上記ステレオ画像撮像手段によって撮像された上記出力画像の歪みが所定のレベル以下であることを特徴とする（１）に記載のステレオ撮影装置。
【０２０９】
（対応する実施の形態）
この（６）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（６）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示された画像の外縁より内側に存在する閉領域として上記ステレオ画像撮像手段によって撮像された上記出力画像の歪みが所定のレベル以下である閉領域を示すために、上記表示画面上に表示された目印として枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２１０】
（７） 複数の視点から撮影対象の画像を撮像するステレオ画像撮像手段と、
上記ステレオ画像撮像手段によって撮像された出力画像を表示画面上に表示する表示手段と、
上記表示手段によって上記表示画面上に表示された上記出力画像の中の第１の閉領域に対して、ステレオマッチング処理を施す計算手段と、
上記第１の閉領域に含まれる第２の閉領域を示すものであって、上記表示画面上に表示された目印と、
を具備することを特徴とするステレオ撮影装置。
【０２１１】
（対応する実施の形態）
この（７）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（７）に記載のステレオ撮影装置は、ステレオ画像撮像手段で撮影対象４を撮像した画像を、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示する。計算手段としての計算装置６は、上記表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示された上記出力画像の中の第１の閉領域（ステレオマッチング処理領域７）に対して、ステレオマッチング処理を施す。そして、この（７）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に、上記第１の閉領域に含まれる第２の領域を示す目印として枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２１２】
（８） 上記目印は、線分または交差した線分または曲線または交差した曲線または点もしくは閉曲線を配置することによって、少なくとも上記第２の閉領域のコーナーの位置を示すものであることを特徴とする（７）に記載のステレオ撮影装置。
【０２１３】
（対応する実施の形態）
この（８）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（８）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に、上記第１の閉領域に含まれる第２の領域を示す目印として線分または交差した線分または曲線または交差した曲線または点もしくは閉曲線を配置することによって、少なくとも上記第２の閉領域のコーナーの位置を示す枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２１４】
（９） 上記目印は、上記第２の閉領域の外縁を囲むものであることを特徴とする（７）に記載のステレオ撮影装置。
【０２１５】
（対応する実施の形態）
この（９）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（９）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に、上記第１の閉領域に含まれる第２の領域を示す目印として上記第２の閉領域の外縁を囲む枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２１６】
（１０） 上記目印は、上記ステレオ画像撮像手段によって撮像された上記出力画像に電気的に重畳されたものであることを特徴とする（７）に記載のステレオ撮影装置。
【０２１７】
（対応する実施の形態）
この（１０）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（１０）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に、上記第１の閉領域に含まれる第２の領域を示す目印として上記ステレオ画像撮像手段によって撮像された上記出力画像に電気的に重畳された枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２１８】
（１１） 上記目印は、上記表示画面上に固着されたものであることを特徴とする（７）に記載のステレオ撮影装置。
【０２１９】
（対応する実施の形態）
この（１１）に記載のステレオ撮影装置に関する実施の形態は、第３の実施の形態が対応する。
（作用効果）
この（１１）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に、上記第１の閉領域に含まれる第２の領域を示す目印として上記表示画面上に固着された枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２２０】
（１２） 上記第２の閉領域は、上記ステレオ画像撮像手段によって撮像された上記出力画像の歪みが所定のレベル以下であることを特徴とする（７）に記載のステレオ撮影装置。
【０２２１】
（対応する実施の形態）
この（１２）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（１２）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に、上記第１の閉領域に含まれる第２の領域として上記ステレオ画像撮像手段によって撮像された上記出力画像の歪みが所定のレベル以下である領域を示す目印として枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２２２】
（１３） 上記第２の閉領域は、上記ステレオ画像撮像手段の特性に基づいて、上記計算手段が特定することを特徴とする（７）に記載のステレオ撮影装置。
【０２２３】
（対応する実施の形態）
この（１３）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（１３）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に、上記第１の閉領域に含まれる第２の領域として、ステレオ画像撮像手段の特性に基づいて、上記計算手段が特定する領域を表示することにより、枠（ステレオマッチング処理領域枠８）内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２２４】
（１４） 撮影対象の３次元情報を得るためのステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像するステレオ撮影装置であって、
上記撮影対象の画像を撮像するステレオ画像撮像手段と、
上記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面に表示する表示手段と、
上記出力画像中の閉領域であって、上記出力画像の外縁より内側に存在するステレオマッチング処理を施す領域である閉領域を示す目印を、上記表示画面に視認可能に提示する手段と、
を具備することを特徴とするステレオ撮影装置。
【０２２５】
（対応する実施の形態）
この（１４）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第６、及び第７の実施の形態が対応する。
（作用効果）
この（１４）に記載のステレオ撮影装置によれば、ステレオ画像撮像手段で撮影対象４を撮像した画像を、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に出力画像として表示する。このとき、上記出力画像中の閉領域であって、上記出力画像の外縁より内側に存在するステレオマッチング処理を施す領域である閉領域（ステレオマッチング処理領域７）を示すために、上記表示画面に目印としての枠（ステレオマッチング処理領域枠８）を視認可能に提示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２２６】
（１５） 撮影対象の３次元情報を得るためのステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像するステレオ撮影装置であって、
上記撮影対象の画像を撮像するステレオ画像撮像手段と、
上記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面に表示する表示手段と、
上記出力画像中の閉領域であって、上記出力画像の外縁より内側に存在するステレオマッチング処理を施す領域より内側に存在する閉領域を示す目印を、上記表示画面に視認可能に提示する手段と、
を具備することを特徴とするステレオ撮影装置。
【０２２７】
（対応する実施の形態）
この（１５）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第６、及び第７の実施の形態が対応する。
（作用効果）
この（１５）に記載のステレオ撮影装置によれば、ステレオ画像撮像手段で撮影対象４を撮像した画像を、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に出力画像として表示する。このとき、上記出力画像中の閉領域であって、上記出力画像の外縁より内側に存在するステレオマッチング処理を施す領域（ステレオマッチング処理領域７）より内側に存在する閉領域を示すために、上記表示画面に目印としての枠（ステレオマッチング処理領域枠８）を視認可能に提示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２２８】
（１６） 撮影対象の３次元情報を得るためのステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像するステレオ撮影装置であって、
上記撮影対象の画像を撮像するステレオ画像撮像手段と、
上記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面に表示する表示手段と、
上記出力画像中の閉領域であって、上記複数の視点それぞれから撮像可能な撮像空間が重なった重畳領域に対応する閉領域を示す目印を、上記表示画面に視認可能に提示する手段と、
を具備することを特徴とするステレオ撮影装置。
【０２２９】
（対応する実施の形態）
この（１６）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第６、及び第７の実施の形態が対応する。
（作用効果）
この（１６）に記載のステレオ撮影装置によれば、ステレオ画像撮像手段で撮影対象４を撮像した画像を、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に出力画像として表示する。このとき、上記出力画像中の閉領域であって、上記複数の視点それぞれから撮像可能な撮像空間が重なった重畳領域に対応する閉領域を示すために、上記表示画面に目印としての枠（ステレオマッチング処理領域枠８）を視認可能に提示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２３０】
（１７） 撮影対象の３次元情報を得るためのステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像するステレオ撮影装置であって、
上記撮影対象の画像を撮像するステレオ画像撮像手段と、
上記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面に表示する表示手段と、
上記出力画像中の閉領域であって、上記複数の視点それぞれから撮像可能な撮像空間が重なった重畳領域に対応する領域より内側に存在する閉領域を示す目印を、上記表示画面に視認可能に提示する手段と、
を具備することを特徴とするステレオ撮影装置。
【０２３１】
（対応する実施の形態）
この（１７）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第６、及び第７の実施の形態が対応する。
（作用効果）
この（１７）に記載のステレオ撮影装置によれば、ステレオ画像撮像手段で撮影対象４を撮像した画像を、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に出力画像として表示する。このとき、上記出力画像中の閉領域であって、上記複数の視点それぞれから撮像可能な撮像空間が重なった重畳領域に対応する領域より内側に存在する閉領域を示すために、上記表示画面に目印としての枠（ステレオマッチング処理領域枠８）を視認可能に提示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２３２】
（１８） 可視光を透過しその一部に目印が提示された部材または上記目印からなる部材を上記表示画面上に固着することで、上記目印を表示もしくは提示することを特徴とする（１）、（７）、及び（１４）乃至（１７）の何れかに記載のステレオ撮影装置。
【０２３３】
（対応する実施の形態）
この（１８）に記載のステレオ撮影装置に関する実施の形態は、第３の実施の形態が対応する。
（作用効果）
この（１８）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に、可視光を透過しその一部に目印が提示された部材または上記目印からなる部材を固着することで上記目印としての枠（ステレオマッチング処理領域枠８）を提示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２３４】
（１９） 上記表示画面に表示された画像に上記目印を電気的に重畳することで、上記目印を表示もしくは提示することを特徴とする（１）、（７）、（１４）乃至（１７）の何れかに記載のステレオ撮影装置。
【０２３５】
（対応する実施の形態）
この（１９）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第６、及び第７の実施の形態が対応する。
（作用効果）
この（１９）に記載のステレオ撮影装置によれば、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に表示された画像に上記目印を電気的に重畳することで上記目印としての枠（ステレオマッチング処理領域枠８）を提示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２３６】
（２０） 当該ステレオ撮影装置を操作するための入力手段を更に具備し、
上記入力手段で設定された結果に基づいて、上記目印の表示もしくは提示と非表示もしくは非提示との切り替えが可能であることを特徴とする（１９）に記載のステレオ撮影装置。
【０２３７】
（対応する実施の形態）
この（２０）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第６、及び第７の実施の形態が対応する。
（作用効果）
この（２０）に記載のステレオ撮影装置によれば、使用者の希望によって、上記目印の表示もしくは提示と、非表示もしくは非提示とを、例えばステレオ画像撮像手段を構成するデジタルカメラのメニュー釦や計算手段としての計算装置のキーボード等の入力手段の操作によって設定できる。
【０２３８】
（２１） 上記目印が点滅することを特徴とする（１９）に記載のステレオ撮影装置。
【０２３９】
（対応する実施の形態）
この（２１）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第６、及び第７の実施の形態が対応する。
（作用効果）
この（２１）に記載のステレオ撮影装置によれば、上記目印を点滅することで、視認性を高めることができる。
【０２４０】
（２２） 撮影対象の像を操作者の目に導く光路を形成するファインダ光学系を具備するステレオ撮影装置のファインダにおいて、
撮影対象の３次元情報を得るステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像する際に、
上記画像中の閉領域であって、上記画像の外縁より内側に存在するステレオマッチング処理を施す領域である閉領域を示す目印を、上記ファインダ光学系を通して視認可能に提示する手段を備えることを特徴とするファインダ。
【０２４１】
（対応する実施の形態）
この（２２）に記載のファインダに関する実施の形態は、第３の実施の形態が対応する。
（作用効果）
この（２２）に記載のファインダによれば、ファインダ光学系の光路中に、撮影対象の画像中の閉領域であって、上記画像の外縁より内側に存在するステレオマッチング処理を施す領域（ステレオマッチング処理領域７）である閉領域を示す目印としての枠（ステレオマッチング処理領域枠８）を、上記ファインダ光学系を通して視認可能に提示する手段を設けることで、上記枠を提示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２４２】
（２３） 撮影対象の像を操作者の目に導く光路を形成するファインダ光学系を具備するステレオ撮影装置のファインダにおいて、
撮影対象の３次元情報を得るステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像する際に、
上記画像中の閉領域であって、上記画像の外縁より内側に存在するステレオマッチング処理を施す領域より内側に存在する閉領域を示す目印を、上記ファインダ光学系を通して視認可能に提示する手段を備えることを特徴とするファインダ。
【０２４３】
（対応する実施の形態）
この（２３）に記載のファインダに関する実施の形態は、第３の実施の形態が対応する。
（作用効果）
この（２３）に記載のファインダによれば、ファインダ光学系の光路中に、撮影対象の画像中の閉領域であって、上記画像中の閉領域であって、上記画像の外縁より内側に存在するステレオマッチング処理を施す領域（ステレオマッチング処理領域７）より内側に存在する閉領域を示す目印としての枠（ステレオマッチング処理領域枠８）を、上記ファインダ光学系を通して視認可能に提示する手段を設けることで、上記枠を提示することにより、枠内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２４４】
（２４） 撮影対象の３次元情報を得るステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像する際に、撮影装置のファインダに取り付けるための部材であって、
可視光を透過しその一部に目印が提示された部材または上記目印からなる部材であることを特徴とする目印提示部材。
【０２４５】
（対応する実施の形態）
この（２４）に記載の目印提示部材に関する実施の形態は、第３の実施の形態が対応する。
（作用効果）
この（２４）に記載の目印提示部材によれば、可視光を透過しその一部に目印（ステレオマッチング処理領域枠８）が提示された部材または上記目印からなる部材であるので、該目印提示部材３０を撮影装置のファインダに取り付けることにより、枠内に撮影対象４を捕らえることを容易にする。
【０２４６】
（２５） 複数の視点から撮影対象の画像を撮像し、撮像された画像を表示画面上に表示するステレオ撮影装置の撮影方法において、
上記表示された画像の外縁より内側に存在する閉領域を示すために、上記表示画面上に目印を表示することを特徴とするステレオ撮影装置の撮影方法。
【０２４７】
（対応する実施の形態）
この（２５）に記載のステレオ撮影装置の撮影方法に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（２５）に記載のステレオ撮影装置の撮影方法によれば、複数の視点から撮影対象４の画像を撮像する際に、その撮像された画像を表示するための表示画面上に、上記表示された画像の外縁より内側に存在する閉領域を示すための目印としての枠（ステレオマッチング処理領域枠８）を表示することにより、枠内に撮影対象４を捕らえることを容易にする。
【０２４８】
（２６） 上記歪みは、形状及び表面属性の両方あるいは一方が既知の物体を上記ステレオ画像撮像手段を用いて撮像した画像に基づいて求められることを特徴とする（６）または（１２）に記載のステレオ撮影装置。
【０２４９】
（対応する実施の形態）
この（２６）に記載のステレオ撮影装置に関する実施の形態は、第４の実施の形態が対応する。
（作用効果）
この（２６）に記載のステレオ撮影装置によれば、形状及び表面属性の両方あるいは一方が既知の物体であるキャリブレーションパターン１１を上記ステレオ画像撮像手段を用いて撮像した画像に基づいて、上記ステレオ画像撮像手段によって撮像された上記出力画像の歪みを求めることで、ステレオ画像撮影手段の固体バラツキを較正でき、正しい目印としての枠（ステレオマッチング処理領域枠８）を表示できる。
【０２５０】
（２７） 撮影対象の３次元情報を得るためのステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像するステレオ撮影装置であって、
上記撮影対象の画像を撮像するステレオ画像撮像手段と、
上記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面に表示する表示手段と、
を具備し、
上記出力画像中の閉領域であって、上記出力画像の外縁より内側に存在するステレオマッチング処理を施す領域である閉領域のみを、上記表示手段によって表示することを特徴とするステレオ撮影装置。
【０２５１】
（対応する実施の形態）
この（２７）に記載のステレオ撮影装置に関する実施の形態は、第５乃至第７の実施の形態が対応する。
（作用効果）
この（２７）に記載のステレオ撮影装置によれば、ステレオ画像撮像手段で撮影対象４を撮像した画像を、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に出力画像として表示する。このとき、上記出力画像中の閉領域であって、上記出力画像の外縁より内側に存在するステレオマッチング処理を施す領域である閉領域（ステレオマッチング処理領域７）のみを上記表示手段によって表示することにより、ステレオマッチング処理領域７内に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２５２】
（２８） 撮影対象の３次元情報を得るためのステレオマッチング処理を行うために、複数の視点から上記撮影対象の画像を撮像するステレオ撮影装置であって、
上記撮影対象の画像を撮像するステレオ画像撮像手段と、
上記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面に表示する表示手段と、
を具備し、
上記出力画像中の閉領域であって、上記出力画像の外縁より内側に存在するステレオマッチング処理を施す領域より内側に存在する閉領域のみを、上記表示手段によって表示することを特徴とするステレオ撮影装置。
【０２５３】
（対応する実施の形態）
この（２８）に記載のステレオ撮影装置に関する実施の形態は、第５乃至第７の実施の形態が対応する。
（作用効果）
この（２８）に記載のステレオ撮影装置によれば、ステレオ画像撮像手段で撮影対象４を撮像した画像を、表示手段としての電子ファインダ５またはディスプレイ５Ａの表示画面上に出力画像として表示する。このとき、上記出力画像中の閉領域であって、上記出力画像の外縁より内側に存在するステレオマッチング処理を施す領域である閉領域（ステレオマッチング処理領域７）より内側に存在する閉領域のみを上記表示手段によって表示することにより、ステレオマッチング処理領域７内に確実に撮影対象４を捕らえると共に、ステレオマッチング処理を行うことを容易にする。
【０２５４】
（２９） 上記閉領域の大きさが、上記撮影対象から上記ステレオ画像撮像手段までの距離に基づいて決定されることを特徴とする（１）、（１４）乃至（１７）、（２７）、及び（２８）の何れかに記載のステレオ撮影装置。
【０２５５】
（対応する実施の形態）
この（２９）に記載のステレオ撮影装置に関する実施の形態は、第１乃至第７の実施の形態が対応する。
（作用効果）
この（２９）に記載のステレオ撮影装置によれば、上記撮影対象４から上記ステレオ画像撮像手段までの撮影距離の変化に基づいて、上記閉領域の大きさを変化させることにより、撮影距離の変化があっても撮影対象４を適切な領域に捕らえることが容易になる。
【０２５６】
（３０） 上記第１の閉領域または上記第２の閉領域の大きさが、上記撮影対象から上記ステレオ画像撮像手段までの距離に基づいて決定されることを特徴とする（７）に記載のステレオ撮影装置。
【０２５７】
（対応する実施の形態）
この（３０）に記載のステレオ撮影装置に関する実施の形態は、第１、第２、第３、第４、第６、及び第７の実施の形態が対応する。
（作用効果）
この（３０）に記載のステレオ撮影装置によれば、上記撮影対象４から上記ステレオ画像撮像手段までの撮影距離の変化に基づいて、上記第１の閉領域または上記第２の閉領域の大きさを変化させることにより、撮影距離の変化があっても撮影対象４を適切な領域に捕らえることが容易になる。
【０２５８】
【発明の効果】
従って、以上説明したように、本発明によれば、ステレオ画像撮像手段を用いてステレオ画像を撮像する際に、例えば、撮像した画像の中のステレオマッチング処理に使用できる部分（ステレオマッチング領域）を、操作者が判別可能で、撮影対象をその処理領域内に入れられるように、枠線など領域目印を表示手段としてステレオ画像撮像手段に内蔵される電子ファインダまたは外部のディスプレイの画面上に表示することにより、ステレオ視野だけでなく、ステレオマッチングを行う処理領域を撮影者に提示することにより、ステレオ撮影を容易にすることが可能となるステレオ撮影装置及びステレオ撮影装置の撮影方法を提供することができる。
【図面の簡単な説明】
【図１】 （ａ）は本発明の第１の実施の形態によるステレオ撮影装置の構成を示すと共に撮影対象を撮影する状態を示す図であり、（ｂ）は（ａ）に示したようなデジタルカメラと計算装置とを用いて撮影対象を撮影する際にステレオマッチング処理領域を撮影者に提示するために電子ファインダ上に電子的に表示されるステレオマッチング処理領域枠を例示する図である。
【図２】 第１の実施の形態によるステレオ撮影装置に用いられるステレオ画像撮像手段としてのデジタルカメラとこのデジタルカメラの前面部に装着されているステレオアダプタの構成を示す平面図及び正面図である。
【図３】 （ａ）乃至（ｃ）はそれぞれ第１の実施の形態によるステレオ撮影装置においてステレオマッチング処理領域枠として点線、折れ線、黒枠（但し、図示ではハッチングの枠で示している）等で提示するようにした変形例を示す図である。
【図４】 第１の実施の形態によるステレオ撮影装置において提示されるステレオマッチング処理領域枠の変形例を示す図である。
【図５】 第１の実施の形態によるステレオ撮影装置において、レンズディストーション等を閾値としてステレオマッチング処理領域を決定した場合にステレオマッチング処理領域枠として黒枠による半円形状の枠（但し、図示ではハッチングの枠で示している）で提示する変形例を示す図である。
【図６】 本発明の第２の実施の形態によるステレオ撮影装置の構成を示す斜視図である。
【図７】 ２眼式の場合及び１眼レフ式の場合の本発明の第３の実施の形態によるステレオ撮影装置のファインダの構造例を示す図である。
【図８】 （ａ）は第３の実施の形態の変形例としてステレオマッチング処理領域枠の提示された可視光を透過するフィルムやパネル等の目印提示部材を示す図であり、（ｂ）は同じくステレオマッチング処理領域枠の形状に合わせた形で可視光を透過する穴の開いた穴開き部材を示す図である。
【図９】 本発明の第４の実施の形態によるステレオ撮影装置に利用されるキャリブレーションパターンの例を示す図である。
【図１０】 第４の実施の形態によるステレオ撮影装置の構成を示すと共にキャリブレーションパターンの撮影状況を示す図である。
【図１１】 本発明の第６の実施の形態によるステレオ撮影装置での測定距離範囲が設定されていない場合の探索範囲、最小視差、測定距離範囲に基づき探索点Ｍの対応点Ｎの探索を行う範囲の関係を説明するための基準画像と対応画像を示す図である。
【図１２】 （ａ）はステレオマッチングに使用されない探索不要領域を説明するための基準画像と対応画像を示す図であり、（ｂ）は測定距離範囲として最遠距離値と最近距離値の両方を設定した場合のステレオマッチング処理領域及びステレオマッチング処理領域枠を説明するための基準画像と対応画像を示す図である。
【図１３】 従来技術のステレオ計測による３次元情報取得手法において複数の視点からの複数の画像２を獲得しその中の１つの画像を基準画像とする例を示す図である。
【図１４】 輻輳角が異なる場合の複数視点それぞれから撮像可能な撮像空間である重畳領域を説明するための図である。
【符号の説明】
１…ステレオ撮像系（ステレオ画像撮像手段）、３…基準画像、４…撮影対象、５…電子ファインダ（表示手段）、５Ａ…ディスプレイ（表示手段）、６…計算装置（計算手段）、７…ステレオマッチング処理領域、８…ステレオマッチング処理領域枠、９…ステレオアダプタ（ステレオ画像撮像手段）、１０…デジタルカメラ（ステレオ画像撮像手段）、１１…キャリブレーションパターン（形状及び表面属性の両方あるいは一方が既知の物体）、１２…対応画像、１３…キャリブレーションパターン画像（形状及び表面属性の両方あるいは一方が既知の物体を撮影した画像）、１７…ハーフミラー、１８…ミラー、１９…使用者の眼、２０…拡散板、２２…接眼レンズ、２３…プリズム、２４…可動ミラー、２５…撮像素子、２６…記憶装置、２７…ガラス板、３０…目印提示部材、３３…重畳領域、３６…穴開き部材、４０…測定距離範囲が設定されていない場合の探索範囲、４１…測定距離範囲に基づき探索点Ｍの対応点Ｎの探索を行う範囲、４２…最小視差、４３…最大視差、５１…左視点、５２…右視点。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereo photographing applicable to a three-dimensional information acquisition method and apparatus for acquiring three-dimensional information from a stereo image. Equipment and stereo The present invention relates to a photographing method of a photographing apparatus.
[0002]
[Prior art]
Conventionally, stereo measurement is known as a method for acquiring three-dimensional information without contact. This three-dimensional information acquisition method by stereo measurement acquires images from different viewpoints, and acquires three-dimensional information from the positional relationship between the viewpoints and the difference in appearance of the images.
[0003]
For example, as shown in FIG. 13, a plurality of images 2 from a plurality of (in this case, two) viewpoints are acquired, and one of the images is used as a reference image 3 (in this case, the left image in the figure). . Then, the difference between the position A1 on the coordinates of the reference image 3 of the point A on the photographing object 4 and the position A2 on the coordinates of the other image 2 (hereinafter referred to as parallax), and a triangle from the viewpoint position and the line-of-sight direction. Based on the principle of surveying, the distance to point A is calculated. Similarly, the distance to the point B on the subject 4 can be calculated using the position B1 on the coordinates of the reference image 3 and the position B2 on the coordinates of the other image 2. As described above, usually, when acquiring three-dimensional information using a stereo image, it is recognized by corresponding point search which point on the image serving as one reference corresponds to which point on the other image.
[0004]
A technique for recognizing to which point on the other image the point on the image serving as the reference corresponds by such a corresponding point search is known (for example, see Patent Document 1).
[0005]
Further, in order to capture a stereo image from a plurality of viewpoints with a general camera, a stereo adapter in which an optical path is divided into two by a mirror in a normal imaging system is widely used.
[0006]
In addition, there is a technique in which a function for switching a stereo photographing field of view according to the attachment of such a souffle adapter is provided in the finder (see, for example, Patent Document 2).
[0007]
In order to prevent an input error of 3D information, a technique for displaying an area where 3D information can be obtained has been proposed (for example, a patent). Reference 3).
[0008]
[Patent Document 1]
JP-A-6-215111
[0009]
[Patent Document 2]
JP-A-7-64216
[0010]
[Patent Document 3]
JP 2000-283739 A
[0014]
[Problems to be solved by the invention]
the above In the case of the prior art disclosed in Patent Document 3, since there is one imaging unit, the display position of the region where the three-dimensional information can be obtained is located at the approximate center of the output screen displayed on the display unit. However, when shooting with stereo imaging means, the interrelationship between multiple viewpoints, Different perspectives Since the area where stereo matching is performed and the area where 3D information can be obtained change depending on the distance, convergence angle, and angle of view, the area suitable for capturing the subject is significantly different from that for shooting from a single viewpoint. In addition, it is difficult for the photographer to recognize an appropriate area.
[0015]
For example, as shown in FIGS. 14 (a) and 14 (b), when the convergence angles are different, it is different where the imaging object needs to be captured in the field of view from the left and right viewpoints 51 and 52, respectively. That is, a superimposition area 33 (shown by hatching in the figure) that is an imaging space that can be imaged from each of the plurality of viewpoints 51 and 52 is an area where stereo matching is performed, and an area where three-dimensional information can be obtained. Since the angle varies depending on the convergence angle, the display position of the area suitable for capturing the object to be imaged is not simply set at the approximate center of the output screen.
[0016]
Furthermore, the appropriate area for capturing the object to be imaged is also affected by the distance and the angle of view from each viewpoint.
[0017]
By the way, since many digital cameras in recent years have an electronic viewfinder mounted on the back side of the camera, it is easy to check the stereo field of view.
[0018]
However, in the shape recognition system using a digital camera as described above, the processing area when performing stereo matching using a computer is the shape of the stereo adapter attached to the digital camera, the lens distortion, the capability of the computing device, and the requirements. Because of the relationship between the quality of the three-dimensional information to be displayed, it does not necessarily match the stereo field of view displayed on the viewfinder.
[0019]
For this reason, in the shape recognition system using the conventional digital camera as described above, there is a problem that it is difficult to photograph the subject in the three-dimensional shape recognizable region.
[0020]
In addition, in the shape recognition system using the conventional digital camera as described above, the electronic viewfinder is used when the inside of the stereo adapter attached to the digital camera is displayed in black, when shooting a dark place or a black subject. There is a problem that it is difficult to confirm the stereo field of view itself.
[0021]
For the above reason, in the shape recognition system using the conventional digital camera as described above, the image region actually used is limited to the inside of the stereo visual field.
[0022]
Further, even in the case of a stereo imaging system that does not use a stereo adapter, stereo matching is not performed on the entire captured image, so that the stereo field of view and the processing area for performing stereo matching do not match.
[0023]
The present invention pays attention to such points, and is used for, for example, stereo matching processing in captured images when capturing a stereo image using a stereo image capturing means. Parts that can be done (Stereo matching area) can be discriminated by the operator, and an electronic finder or an external display built in the stereo image pickup means with an area mark such as a frame line as a display means so that the object to be photographed can be put in the processing area By displaying on the screen, the stereo imaging device and the imaging of the stereo imaging device can be made easy by presenting the processing area for performing stereo matching to the photographer in addition to the stereo field of view. It aims to provide a method.
[0024]
[Definition of terms]
Note that “stereo shooting” in this specification means shooting from a plurality of viewpoints.
[0025]
Furthermore, “stereo shooting” in this specification includes a case where a single shooting device is used to obtain images from a plurality of viewpoints using a stereo converter or the like, and a case where a plurality of shooting devices are used.
[0026]
Further, “an image obtained by stereo shooting” in this specification means an image from a plurality of viewpoints. In this case, not only a plurality of images from a plurality of photographing apparatuses but also one in which images of a plurality of viewpoints are embedded in one image.
[0027]
Furthermore, when the imaging target is imaged from a plurality of viewpoints, the imaging space that can be imaged from each of the plurality of viewpoints, that is, the imaging angle of view has an overlapping region. In this specification, this region is referred to as a “superimposed region”.
[0028]
The “calibration pattern” in this specification means an object whose shape and / or surface attribute is known. This calibration pattern is photographed and used to calculate camera parameters such as lens distortion of the photographing system used for photographing from the degree of distortion of the calibration pattern on the photographed image. There are a case where a “calibration pattern” having a three-dimensional shape is used to align the conditions for calculating camera parameters, and a case where a plurality of “calibration patterns” having a two-dimensional shape are photographed. It does not depend on the method.
[0035]
[Means for Solving the Problems]
According to one aspect of the stereo imaging device of the present invention, a stereo image capturing unit that captures images to be captured from a plurality of viewpoints, and an image captured by the stereo image capturing unit is displayed on the display screen as an output image. Display means, and the output image displayed on the display screen by the display means. An area that is determined based on a measurement distance range that is measured using an image captured by the stereo image capturing unit. Calculating means for performing a stereo matching process on the first closed region; As a mark for capturing the imaging object in the first closed region when imaging the imaging object, And means for displaying a mark indicating the second closed region included in the first closed region on the display screen.
[0042]
Moreover, according to another aspect of the stereo imaging device of the present invention, a stereo imaging device that captures the image of the imaging target from a plurality of viewpoints in order to perform stereo matching processing for obtaining three-dimensional information of the imaging target. A stereo image capturing unit that captures the image to be captured; a display unit that displays an image captured by the stereo image capturing unit as an output image on a display screen; " The stereo matching process is performed in the output image displayed on the display screen by the display means. The area is determined based on a measurement distance range measured using an image captured by the stereo imaging means. First closed region " A mark indicating the second closed region included in As a mark for capturing the imaging object in the first closed region when imaging the imaging object Display screen above Up And means for presenting in a visible manner.
[0053]
Also, the photographing method of the stereo photographing apparatus of the present invention of According to one aspect, in an imaging method of a stereo imaging device that captures an image to be subjected to stereo matching processing for obtaining 3D information of an imaging target from a plurality of viewpoints and displays the captured images on a display screen. , " When the image is taken, the stereo matching process is performed on the displayed image. The area is determined based on the measurement distance range measured using the captured image. First closed region " The second closed region included in When the image is captured, the mark to be displayed is visible on the display screen as a mark for capturing the photographing object in the first closed region. It is characterized by displaying.
[0059]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0060]
[First Embodiment]
FIG. 1A is a diagram showing a configuration of the stereo photographing apparatus according to the first embodiment of the present invention and a state where the photographing object 4 is photographed.
[0061]
That is, the stereo photographing apparatus according to the first embodiment of the present invention is a digital camera 10 in which a stereo adapter 9 is mounted on the front surface thereof as stereo image photographing means for photographing images of the photographing object 4 from a plurality of viewpoints. And a computing device 6 such as an external personal computer connected to the digital camera 10.
[0062]
Here, a digital camera 10 having a stereo adapter 9 attached to the front surface thereof as a stereo image capturing means has a rear surface portion as a display means for displaying an output image captured by the digital camera 10 on a display screen. An electronic viewfinder 5 is provided.
[0063]
In other words, the first embodiment is an example in which a stereo matching processing area frame 8 as described later is displayed on the electronic viewfinder 5 of the digital camera 10 to which the stereo adapter 9 is attached.
[0064]
2 (a) and 2 (b) show a digital camera as a stereo image capturing means used in the stereo photographing apparatus according to the first embodiment of the present invention configured as shown in FIG. 1 (a). 10 and a plan view and a front view showing the configuration of the stereo adapter 9 attached to the front surface of the digital camera 10.
[0065]
That is, the stereo adapter 9 mounted on the front surface of the digital camera 10 has a pair of first reflection mirrors 18a and 18b and a second reflection mirror, which are arranged to face each other with a predetermined inclination angle. Through the mirrors 18c and 18d, it is possible for the digital camera 10 to photograph the photographing object 4 as images from two viewpoints.
[0066]
FIG. 1 (b) shows a stereo adapter 9 mounted on the front surface of the stereo image pickup means as shown in FIG. 1 (a) constituting the stereo photographing apparatus according to the first embodiment of the present invention. When the photographing object 4 is photographed using the digital camera 10 and the computing device 6 as the calculation means, a closed region (hereinafter referred to as a stereo matching processing region) 7 on which stereo matching processing is performed is presented to the photographer. It is a figure which illustrates the stereo matching process area | region frame 8 which shows the closed area | region which exists inside the outer edge of the image displayed on the display screen of the electronic finder 5 as a display means as a mark for it.
[0067]
That is, in the stereo imaging device according to the first embodiment of the present invention, using the digital camera 10 having the stereo adapter 9 attached to the front surface thereof as the stereo image imaging means and the calculation device 6 as the calculation means, When shooting the shooting target 4 as shown in FIG. 1A, when an output image captured by the digital camera 10 is displayed on the display screen of the electronic viewfinder 5 as display means in the digital camera 10. In order to present to the photographer a stereo matching processing region 7 as shown in FIG. 1B determined by lens distortion, rectification, the ability of the calculation device 6 itself as a calculation means, etc. A state in which the stereo matching processing region frame 8 is electrically superimposed on the output image inside the portion where the image is displayed In is to be displayed.
[0068]
As a result, the user looks at the stereo matching processing area frame (frame surrounding the second closed area) 8 displayed on the display screen of the electronic viewfinder 5 as display means in the digital camera 10, thereby capturing the object 4. It becomes easy to put the image in the stereo matching processing area (first closed area) 7. Here, in the stereo matching processing area frame (frame surrounding the second closed area) 8, it is preferable that the distortion of the output image captured by the digital camera 10 as the stereo image capturing unit is not more than a predetermined level. .
[0069]
The first closed region is a region where the stereo matching process is actually performed, and the second closed region is set with a certain margin inside the first closed region. It is a region inside the first closed region. However, in the first embodiment, the outer edge of the first closed region and the frame surrounding the second closed region are assumed to coincide.
[0070]
Then, the calculation device 6 as the calculation means is stereo for the stereo matching processing area 7 as the first closed area in the output image displayed on the display screen of the electronic viewfinder 5 as the display means. Execute the matching process.
[0071]
It should be noted that the configuration of the first embodiment of the present invention can naturally be variously modified and changed.
[0072]
For example, the stereo matching processing area frame 8 does not have to be a frame constituted by a straight line as shown in FIG. 1B, but as shown in FIGS. 3A to 3C, The stereo matching processing area frame 8 may be presented by a broken line or the like.
[0073]
That is, as shown in FIG. 3A, the stereo matching processing area frame 8 may be presented with a dotted line without completely surrounding the stereo matching processing area frame 8.
[0074]
Further, as shown in FIG. 3B, as the stereo matching processing region frame 8, a mark indicating the corner of the region by two intersecting line segments may be provided. As a modified example, as shown in FIGS. 4A and 4B, a closed curve such as a point or a small circle may be arranged at the intersection position of the line segments. Of course, as shown in (c) to (e) of FIG. 4, the marks may be arranged at appropriate intervals in portions other than the corners of the stereo matching processing region frame 8. That is, any mark may be used as long as it is a clue at the time of photographing, such as a line segment, a crossed line segment, a curve, a crossed curve, a point, or a closed curve. In short, any mark may be used as long as the user can recognize the stereo matching processing area frame 8.
[0075]
Further, as shown in FIG. 3C, the stereo matching processing area frame 8 may be presented as a stereo matching processing area frame 8 with a black frame (however, shown in the figure as a hatched frame). good.
[0076]
Alternatively, instead of displaying the stereo matching processing area frame 8, the area other than the stereo matching processing area 7 may not be displayed, or the area may be indicated by changing the color.
[0077]
Further, the stereo matching processing area 7 may be determined by the photographer from the various parameters of the stereo photographing apparatus, even if the calculation apparatus 6 as the calculation means determines at the time of photographing.
[0078]
Further, the stereo matching processing area frame 8 does not have to be a quadrangle as shown. For example, when the stereo matching processing region 7 is determined using lens distortion or the like as a threshold, it may be a semicircular frame (shown by a hatched frame in the drawing) as shown in FIG.
[0079]
Further, the stereo matching processing area 7 may be determined at the time of photographing or before.
[0080]
Furthermore, in this embodiment, there are two viewpoints, but three or more viewpoints and output images may be used.
[0081]
In addition, a stereo field of view may be presented to the user simultaneously with the stereo matching processing area frame 8.
[0082]
Furthermore, the display means is not necessarily limited to the case where the electronic viewfinder 5 built in the digital camera 10 is used, and a system using an external display may be used.
[0083]
Further, the display of the stereo matching processing area frame 8 may be blinked. If such a blinking display is performed, the stereo matching processing area frame 8 is conspicuous, and the alignment is further facilitated.
[0084]
In this case, the presence / absence of the blinking display operation is used by using, for example, an input device (not shown) of the digital camera 10 such as a menu button or an input device (not shown) of the computing device 6 such as a keyboard. The user may be able to select.
[0085]
Furthermore, the presence / absence of display of the stereo matching processing area frame 8 itself may be selected using this input device. Of course, a configuration in which the mounting state of the stereo adapter 9 to the digital camera 10 is detected and the display / non-display of the stereo matching processing area frame 8 is automatically switched according to the detection result is also conceivable.
[0086]
[Second Embodiment]
FIG. 6 is a perspective view showing a configuration of a stereo photographing apparatus according to the second embodiment of the present invention.
[0087]
That is, as shown in FIG. 6, the stereo imaging apparatus according to the second embodiment of the present invention has a stereo imaging system 1 including two imaging cameras instead of using the above-described stereo adapter as a stereo image imaging unit. An external calculation device 6 as calculation means connected to the stereo imaging system 1 and an external display 5A as display means connected to the calculation device 6 as calculation means.
[0088]
And when the stereo imaging device by the 2nd Embodiment of this invention image | photographs the imaging | photography object 4 with the stereo imaging system 1, the output image imaged with the stereo imaging system 1 is displayed on the display 5A as a display means. Is displayed. In this case, in the stereo imaging device according to the second embodiment of the present invention, the lens distortion and rectification of the stereo imaging system 1 and the capability of the calculation device 6 itself as the calculation unit are displayed on the display 5A as the display unit. A state in which the stereo matching processing region frame 8 is electrically superimposed on the output image in order to present the photographer with a closed region (hereinafter referred to as a stereo matching processing region) 7 to be subjected to stereo matching processing determined by Is displayed.
[0089]
As a result, the user looks at the stereo matching processing area frame (frame surrounding the second closed area) 8 displayed on the display 5A as the display means, thereby making the photographing object 4 the stereo matching processing area (first area). It is easy to put it in the closed region 7).
[0090]
Here, in the stereo matching processing area frame (frame surrounding the second closed area) 8, it is desirable that the distortion of the output image captured by the stereo imaging system 1 is not more than a predetermined level.
[0091]
Then, the calculation device 6 as the calculation means performs stereo matching with respect to the stereo matching processing area 7 as the first closed area in the output image displayed on the display screen of the display 5A as the display means. Execute the process.
[0092]
It should be noted that the configuration of the second embodiment of the present invention can naturally be variously modified and changed.
[0093]
For example, the stereo matching processing area frame 8 does not need to be a frame constituted by a straight line. As shown in FIGS. 3A to 3C, the stereo matching processing area frame 8 is described with a dotted line, a broken line, or the like. You may make it present similarly.
[0094]
Further, instead of displaying the stereo matching processing area frame 8, the area other than the stereo matching processing area 7 may not be displayed, or the area may be indicated by changing the color.
[0095]
Further, the stereo matching processing area 7 may be determined from various parameters by the calculation device 6 as the calculation means at the time of shooting, or may be determined by the photographer.
[0096]
Furthermore, the stereo matching processing area frame 8 does not have to be a quadrangle as shown in the figure. For example, when the stereo matching processing region 7 is determined using the lens distortion or the like of the stereo imaging system 1 as a threshold, it is a semicircular frame with a black frame as shown in FIG. 5 (however, it is indicated by a hatched frame in the drawing). There may be.
[0097]
Further, the stereo matching processing area 7 may be determined at the time of photographing or before that.
[0098]
Further, the stereo imaging system 1 may be composed of three or more cameras.
[0099]
Furthermore, a form in which a plurality of displays 5A as display devices are prepared and an image from each viewpoint is displayed on each display may be employed.
[0100]
In addition, a stereo field of view may be presented to the user simultaneously with the stereo matching processing area frame 8.
[0101]
Further, the display of the stereo matching processing area frame 8 may be blinked. Further, in this case, the presence or absence of the blinking display operation may be selected by the user using an input device of the calculation device 6.
[0102]
[Third Embodiment]
The configuration of the stereo photographing apparatus according to the third embodiment is basically as shown in FIG. 1A of the first embodiment or FIG. 6 of the second embodiment. It is the same as that of the stereo imaging device comprised.
[0103]
Then, the stereo photographing apparatus according to the third embodiment of the present invention has a lens of the stereo photographing apparatus on the electronic finder 5 of the first embodiment or the display 5A of the second embodiment described above as the display means. In order to present to the photographer a closed region (hereinafter referred to as a stereo matching processing region) 7 subjected to stereo matching processing determined in advance by distortion, rectification, the ability of the calculation device 6 itself as a calculation means, and the like. Instead of displaying the matching processing area frame 8 in a state where it is electrically superimposed on the output image as in the first or second embodiment described above, it is previously displayed on the electronic viewfinder 5 or display 5A as a display means. This is an example of printing directly on the inside of the image displayed on the screen.
[0104]
That is, in the third embodiment, when the photographing object 4 is photographed using the stereo photographing apparatus configured as shown in FIG. 1A or FIG. Alternatively, on the display 5A, the stereo as shown in FIG. 1B or FIG. 6, which is determined in advance by the lens distortion and rectification of the stereo photographing device, the ability of the calculation device 6 itself as the calculation means, and the like. In order to present the matching processing area 7 to the photographer, a stereo matching processing area frame 8 is fixed in advance by direct printing.
[0105]
Thereby, the user sees the stereo matching processing area frame (frame surrounding the second closed area) 8 fixed in advance by direct printing on the display screen of the electronic finder 5 or display 5A as the display means. It becomes easy to put the image of the subject 4 into the stereo matching processing area (first closed area) 7.
[0106]
Here, in the stereo matching processing area frame (frame surrounding the second closed area) 8, it is desirable that the distortion of the output image captured by the stereo imaging device is not more than a predetermined level.
[0107]
Then, the calculation device 6 as the calculation means performs the stereo matching processing area 7 as the first closed area in the output image displayed on the display screen of the electronic finder 5 or the display 5A as the display means. The stereo matching process is executed.
[0108]
As described above, the stereo photographing apparatus according to the third embodiment of the present invention includes the second closed region included in the first closed region on the display screen of the electronic finder 5 or the display 5A as the display unit. By displaying a frame (stereo matching process area frame 8) fixed by direct printing on the display screen as a mark to be shown, the photographing object 4 is captured in the frame 8 and the stereo matching process is facilitated. .
[0109]
It should be noted that each configuration of the third embodiment of the present invention can be variously modified and changed.
[0110]
For example, the stereo matching processing area frame 8 does not have to be a straight line frame, as shown in FIGS. 3A, 3B, and 3C described above. Alternatively, the stereo matching processing region frame 8 may be directly fixed and presented by a dotted line, a broken line, a black frame (however, indicated by a hatched frame in the drawing), or the like.
[0111]
In addition, instead of printing the stereo matching processing area frame 8, the area other than the stereo matching processing area 7 may not be displayed, or the area may be indicated by changing the color.
[0112]
Other means for presenting the above-mentioned mark so as to be visible are as follows.
[0113]
For example, instead of fixing the stereo matching processing area frame 8 on the electronic viewfinder 5 or the display 5A as a display means by direct printing, a seal as a stereo matching processing area frame display body on which the stereo matching processing area frame 8 is printed is provided. You may make it adhere by sticking on the electronic finder 5 or display 5A as a display means.
[0114]
Further, the plate as the stereo matching processing region frame display body in which the portion of the stereo matching processing region 7 is visible and the other portions are invisible is fixed on the electronic finder 5 or the display 5A as the display means. Also good.
[0115]
Further, there is a method of presenting a mark by optical image superposition in an imaging device having an optical viewfinder other than or in place of the display means such as the electronic viewfinder 5 or the display 5A.
[0116]
An example of this optical image superimposition will be described with reference to FIGS.
[0117]
FIG. 7A is a diagram illustrating a configuration in the case of a twin-lens imaging device. In this case, the external light taken in from the diffusion plate 20 passes through the glass plate 27 which is a member similar to the stereo matching processing region frame 8 to generate a stereo matching processing region frame image. The image from the objective lens 21 is superposed by the half mirror 17 via the mirror 18 and the optical path adjustment lens 37. Then, the image enters the user's eye 19 through the eyepiece 22.
[0118]
FIG. 7B is a diagram illustrating a configuration in the case of a single-lens reflex photographing apparatus. In this case, the image from the objective lens 21 is reflected by the movable mirror 24 disposed on the front surface of the image sensor 25, passes through the glass plate 27, and the stereo matching processing region frame image is superimposed. Then, the image passes through the prism 23 and the eyepiece 22 and enters the user's eye 19.
[0119]
In the case of such optical image superimposition, for example, instead of taking in external light from the diffuser plate 20, the stereo matching processing region frame 8 is presented by a self-luminous method using LEDs or the like as a light source, or transmitted instead of the glass plate 27. A type LCD or the like may be used. The stereo matching processing area frame image may be an image of a plurality of LEDs themselves.
[0120]
Also, the stereo matching processing area frame image is displayed / hidden by turning on / off the LED or the transmissive LCD or by blocking the optical path that guides the stereo matching processing area frame image to the photographer's eyes. Or flash.
[0121]
Alternatively, the stereo matching processing area frame 8 may be drawn or printed on the front or back surface of the finder so that the stereo matching processing area frame 8 is visible.
[0122]
Further, as shown in FIG. 8A, the stereo matching processing region frame 8 presented as a mark presenting member 30, such as a film or panel that transmits visible light, and the stereo matching processing region frame 8 are visible. It may be attached to the viewfinder. Alternatively, it may be provided in the form of a thin seal that transmits visible light and attached to the viewfinder.
[0123]
Alternatively, as shown in FIG. 8 (b), a perforated member 36 having a hole that transmits visible light may be attached to the viewfinder in accordance with the shape of the stereo matching processing region frame 8. In this case, it suffices to shoot so that the photographic subject 4 fits in the hole corresponding to the stereo matching processing region frame 8, and at least if the outer frame of the field of view is recognizable, the focus of the eye is completely on the photographic subject 4. Position alignment is possible even in a state that does not fit. Therefore, there is an advantage that the restriction of the attachment position is loose compared with the case where a member with a linear mark as shown in FIG. 4 is attached.
[0124]
A mark indicating the closed region may be presented on the optical viewfinder using the above-described means.
[0125]
In addition, when a transmissive LCD is used instead of a glass plate in the optical image superposition, or when the electronic finder 5 or the display 5A is used as a display unit as in the above embodiments, the user's If desired, the display or non-display of the mark may be selected using an input device of the photographing apparatus.
[0126]
That is, as described above, the stereo matching processing region frame 8 is not always displayed by always superimposing it, but at the user's request, that is, at the time of shooting, the user uses the operation input device, The display / non-display of the stereo matching processing area frame 8 as the mark may be selected. In this manner, by enabling the display / non-display of the stereo matching processing area frame 8, for example, by selecting not to display the stereo matching processing area frame 8 at the time of shooting not intended for calibration, the stereo matching processing area frame 8 can be selected. It is possible to prevent the matching processing area frame 8 from becoming an obstacle.
[0127]
Furthermore, the display of the stereo matching processing area frame 8 may be blinked. In this case, the presence or absence of the blinking display operation may be selected by the user using the input device, similar to the presence or absence of the display of the stereo matching processing area frame 8.
[0128]
In the present embodiment, there are two viewpoints, but three or more viewpoints and output images may be used.
[0129]
Further, a stereo field of view may be presented to the user simultaneously with the stereo matching processing area frame 8.
[0130]
Further, the stereo matching processing area frame 8 does not have to be a quadrangle as shown in the figure, and is, for example, a semicircular frame with a black frame as shown in FIG. 5 (however, shown in the figure as a hatched frame). There may be.
[0131]
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described.
[0132]
In the present embodiment, a predetermined calibration pattern is photographed to calculate image distortion, a stereo matching processing area (first closed area) 7 is determined based on the image distortion, and a stereo matching processing area frame (second closed area) is determined. (Frame surrounding the area) 8 is presented.
[0133]
Here, the calibration pattern 11 may be a three-dimensional pattern as shown in FIG. 9A or a two-dimensional pattern as shown in FIG. 9B. Alternatively, one is known as long as it is known and information for calculating image distortion can be obtained.
[0134]
FIG. 10 is a diagram illustrating a configuration of a stereo imaging device according to the fourth embodiment of the present invention and a state in which the imaging target 4 is captured.
[0135]
The configuration of the stereo photographing apparatus according to the fourth embodiment is basically the same as that of the stereo photographing apparatus configured as shown in FIG. 1A of the first embodiment described above. is there.
[0136]
Then, in the stereo photographing apparatus according to the fourth embodiment of the present invention, using a digital camera 10 having an electronic viewfinder 5 and a stereo adapter 9, a corner cube type calibration whose shape and surface attributes are known is used. A calibration pattern image 13 is acquired. The calculation device 6 recognizes the pattern (surface attribute) on the calibration pattern 11 shown on the calibration pattern image 13. Then, how the calibration pattern image 13 is distorted is calculated based on the recognized pattern, the shape, and the degree of deviation of the pattern of the calibration pattern 11 whose surface attribute is known. Here, the closed region, that is, the stereo matching processing region (first closed region) 7 in which the shift is less than one pixel with respect to each pixel of the calibration pattern image 13 is stored in the storage device 26 in the calculation device 6.
[0137]
Thus, when the photographing object 4 is photographed using the digital camera 10, the calculation device 6 is an electronic display device for presenting the stereo matching processing area 7 stored in the storage device 26 to the photographer. A stereo matching processing area frame (frame surrounding the second closed area) 8 is displayed on the finder 5.
[0138]
The user can easily put the photographing object 4 in the stereo matching processing area 7 by looking at the stereo matching processing area frame 8 displayed on the electronic viewfinder 5.
[0139]
It should be noted that various changes and modifications can naturally be made to each configuration of the embodiment of the present invention.
[0140]
For example, a frame indicating a region where the normal distortion is below a predetermined level is as shown in FIG. Become. Moreover The stereo matching processing area frame 8 does not need to be a straight line, and the area may be indicated by a dotted line, a broken line, or the like as shown in FIGS.
[0141]
Further, instead of displaying the stereo matching processing area frame 8, the area other than the stereo matching processing area 7 may not be displayed, or the area may be indicated by changing the color.
[0142]
In addition, the method for calculating the image distortion does not have to be the photographing of the corner cube type calibration pattern 11. For example, a plurality of plate-like calibration patterns 11 with known surface attributes as shown in FIG. 9B may be taken at different distances, and image distortion may be calculated from the image information. Further, even when an object with an unknown shape and surface attribute is photographed without photographing the calibration pattern 11, a search is made as to which location on the image 2 each pixel on the reference image 3 corresponds to. Image distortion can also be calculated (self-calibration).
[0143]
Further, the distortion level boundary that determines the boundary of the stereo matching processing region 7 does not need to be shifted by one pixel, and can be arbitrarily set (the calculated shift pixel number does not have to be an integer). Furthermore, it may be changed in conjunction with the size of the search window for performing the corresponding point search.
[0144]
Further, the place where the computing device 6 and the storage device 26 exist may be inside the digital camera 10 instead of outside the digital camera 10. Further, the storage device 26 may exist outside the computing device 6 instead of inside.
[0145]
Further, the stereo matching processing area 7 may be stored in the storage device 26 in advance. In this case, the stereo matching processing area 7 calculated from the calibration pattern image 13 photographed by another digital camera 10 having substantially the same image distortion may be stored.
[0146]
In the present embodiment, there are two viewpoints, but three or more viewpoints and output images may be used.
[0147]
In addition, a stereo field of view may be presented to the user simultaneously with the stereo matching processing area frame 8.
[0148]
Further, as a display means, a system using an external display instead of the electronic viewfinder 5 provided in the digital camera 10 may be used.
[0149]
Furthermore, the system need not be a system using the stereo adapter 9 and may be used in a stereo image measurement system using a plurality of imaging systems as shown in FIG. 6 of the second embodiment.
[0150]
In addition, after determining the stereo matching processing area frame 8 as described above, the light projecting range of the light projecting apparatus such as the strobe device or the light pattern projection apparatus is matched with the determined stereo matching processing area frame 8 of the light projecting apparatus. Adjustment may be performed by performing zooming or aperture. In this case, since no light is projected outside the stereo matching processing area frame 8, it is possible to expect downsizing and power saving of the light projecting device.
[0151]
If the digital camera 10 is equipped with functions such as AF and AE, the AF and AE may be operated based on the image in the determined stereo matching processing area frame 8.
[0152]
Further, the measurement range information defined by the stereo matching processing area frame 8 may be used for AF by sending it to the digital camera 10 as the imaging means.
[0153]
[Fifth Embodiment]
Next, a fifth embodiment of the present invention will be described.
[0154]
The configuration of the stereo imaging device according to the fifth embodiment is basically the same as that of the stereo imaging device configured as shown in FIG. 1A of the first embodiment described above. is there.
[0155]
In the fifth embodiment, when photographing the photographing object 4 using the digital camera 10 having the electronic viewfinder 5 and the stereo adapter 9 attached, the computing device 6 stereos on the electronic viewfinder 5. An image in which a portion other than the matching processing area 7 is not displayed is displayed.
[0156]
The user can easily put the photographing object 4 in the stereo matching processing area 7 by looking at the displayed image.
[0157]
It should be noted that various changes and modifications can naturally be made to each configuration of the embodiment of the present invention.
[0158]
For example, not only the portion other than the stereo matching processing area 7 is displayed, but a stereo matching processing area frame 8 indicating the boundary line may be displayed. Alternatively, the area may be indicated by changing the color of the part other than the stereo matching processing area 7.
[0159]
Further, the stereo matching processing area frame 8 does not have to be a rectangle. For example, the shape shown in FIG. 5 may be used.
[0160]
In the present embodiment, there are two viewpoints, but three or more viewpoints and output images may be used.
[0161]
Further, as a display means, a system using an external display instead of the electronic viewfinder 5 provided in the digital camera 10 may be used.
[0162]
Further, the system need not be a system using the stereo adapter 9, and may be used in a stereo image measurement system using a plurality of imaging systems as shown in FIG. 6 of the second embodiment.
[0163]
[Sixth Embodiment]
Next, a sixth embodiment of the present invention will be described.
[0164]
The configuration of the stereo imaging apparatus according to the sixth embodiment is basically the same as that of the stereo imaging apparatus configured as shown in FIG. 1A of the first embodiment described above. is there.
[0165]
In the present embodiment, when the photographing object 4 is photographed using the digital camera 10 equipped with the electronic viewfinder 5 and the stereo adapter 9 attached, the photographer uses an input device provided in the digital camera 10 or the computing device 6. Use to enter the measurement distance range. The input measurement distance range value is stored in the storage device 26 included in the calculation device 6. The calculation device 6 determines the stereo matching processing region 7 based on the measurement distance range that is input and stored.
[0166]
Here, in the case of the present embodiment, as shown in FIG. 11, among the left and right images divided by the stereo adapter 9, the left image is the reference image 3 and the right image is the corresponding image 12.
[0167]
In order to calculate the distance to the search point M on the reference image 3, the calculation device 6 searches for the corresponding point N in the corresponding image 12 corresponding to the search point M.
[0168]
At this time, as shown in FIG. 11, the shooting target 4 in the reference image 3 viewed from the left viewpoint 51 is shown from the right, and the shooting target 4 in the corresponding image 12 viewed from the right viewpoint 52 is shown from the left. To do.
[0169]
In this case, the corresponding point search is performed on the coordinates on the left side of the corresponding image 12 with respect to the abscissa of the search point M in the reference image 3.
[0170]
At this time, if the measurement distance range is not set, search all the left sides of the abscissa of the search point M in the corresponding image 12, that is, the search range 40 when the measurement distance range is not set. become.
[0171]
Here, the principle of triangulation is based on the difference between the abscissas between the search point M and the corresponding point N in the captured stereo image (hereinafter referred to as parallax) and various parameters (baseline length, convergence angle, etc.). The principle is that the distance between the photographing object 4 (a point corresponding to the search point M) and the photographing apparatus can be calculated, and the distance from the photographing object is far when the parallax is small, and the distance is short when the parallax is large. There is a correspondence between (photographing) distance and parallax. That is, when the measurement distance range is set, the value that the parallax can take is also limited, and as a result, the search range of the corresponding point N with respect to the search point M can be narrowed.
[0172]
In the case of the present embodiment, when the measurement distance range is set (in this case, the farthest distance value), the minimum possible parallax 42, that is, the farthest distance value with a limited distance to the imaging target 4 The parallax is determined.
[0173]
Thereby, when the measurement distance range is set, the search may be performed from the point shifted to the left by the minimum parallax 42 that can be taken from the abscissa of the search point M in the corresponding image 12. It will be. That is, in the corresponding image 12, all the points to the left of the point shifted to the left by the minimum parallax 42 that can be taken from the abscissa of the search point M, that is, the range in which the corresponding point N of the search point M is searched based on the measurement distance range. 41 will be searched.
[0174]
Therefore, when measuring the upper right point of the reference image 3, the region to be searched may be searched from the point shifted to the left by the minimum parallax 42 that can be taken from the right most on the corresponding image 12. Become. Accordingly, as shown in FIG. 12A, the range of the minimum parallax 42 from the rightmost on the corresponding image 12 is not used for stereo matching. In addition, regarding the range shifted to the right by the minimum parallax 42 from the leftmost on the reference image 3, the search on the corresponding image 12 cannot be performed (the search range goes out of the left of the corresponding image 12). Not used for stereo matching.
[0175]
By setting the measurement distance in this manner, an area that is not used for stereo matching, that is, a search unnecessary area is calculated.
[0176]
The calculation device 6 sets the stereo matching processing area 7 in a form excluding the search unnecessary area from the reference image 3 or the corresponding image 12, and presents the stereo matching processing area frame 8 to the photographer through the electronic viewfinder 5.
[0177]
It should be noted that various changes and modifications can naturally be made to each configuration of the embodiment of the present invention.
[0178]
For example, the measurement distance range is not input by the input device, but may be determined from the approximate distance obtained using another sensor.
[0179]
Also, the reference image need not be left.
[0180]
In the present embodiment, the left and right stereo systems are used. However, the stereo matching process area 7 and the stereo matching process area frame 8 can be set corresponding to each of three or more or top and bottom stereo systems. .
[0181]
Further, the system need not be a system using the stereo adapter 9, and may be used in a stereo image measurement system using a plurality of imaging systems as shown in FIG. 6 of the second embodiment.
[0182]
Further, the stereo matching processing area 7 and the search unnecessary area are excluded from a desired area determined by other means such as the maximum stereo matching processing area assumed in the reference image 3 and the corresponding image 12, for example. A stereo matching processing area frame 8 may be set.
[0183]
Further, not only the farthest distance value but also the nearest distance value or both may be set as the measurement distance range. When both the farthest distance value and the nearest distance value are set, the stereo matching processing area 7 is set as shown in FIG. 12B using the maximum parallax 43 that can be determined from the nearest distance. The stereo matching processing area frame 8 may be presented. In this case, the photographer can take an image suitable for performing the stereo matching process and performing the three-dimensional reconstruction by using the stereo matching process area frame 8 as a mark.
[0184]
The determination of the stereo matching area based on the measurement distance range does not have to be performed when the measurement distance range is input, and a correspondence table between the measurement distance range and the stereo matching area may be stored in the storage device 26 in advance.
[0185]
[Seventh Embodiment]
Next, a seventh embodiment of the present invention will be described.
[0186]
The configuration of the stereo imaging apparatus according to the seventh embodiment is basically the same as that of the stereo imaging apparatus configured as shown in FIG. 1A of the first embodiment described above. However, in the present embodiment, the first reflection mirrors 18a and 18b in the stereo adapter 9 are movable mirrors, and the convergence angle θ is changed according to the input measurement distance range.
[0187]
That is, in the present embodiment, as in the sixth embodiment, when the photographing object 4 is photographed using the digital camera 10 that includes the electronic viewfinder 5 and the stereo adapter 9, the photographer inputs The measurement distance range is input using the device, and the value is stored in the storage device 26. Then, the calculation device 6 changes the convergence angle θ of the first reflecting mirrors 18a and 18b in the stereo adapter 9 according to the measurement distance range that is input and stored. Further, the stereo matching processing area frame 8 is displayed on the electronic viewfinder 5 in order to present to the user the range of the overlapping area 33 determined by the changed convergence angle θ and the zoom status of the digital camera 10. Thereby, the user can easily recognize the stereo matching processing region 7 that changes in accordance with the change in the convergence angle θ.
[0188]
It should be noted that various changes and modifications can naturally be made to each configuration of the embodiment of the present invention.
[0189]
For example, the measurement distance range is not input using an input device, but may be determined from the approximate distance obtained using another sensor.
[0190]
As described above, the stereo matching processing area 7 is set using one or more of the information regarding the shooting angle of view and the convergence angle of multiple viewpoints and the measurement distance range, and the stereo matching processing area frame 8 is presented. good.
[0191]
Further, instead of using the stereo adapter 9, a plurality of cameras with different viewpoints as shown in FIG. 6 of the second embodiment may be used. In this case, however, a mechanism for automatically changing the orientations of the two cameras according to the input measurement distance range, or means for visually or audibly instructing the orientation of the cameras to be changed manually. It is necessary to provide.
[0192]
By the way, in each of the first to seventh embodiments, the outer edge of the stereo matching process area 7 where the stereo matching process is performed and the stereo matching process area frame 8 displayed by the user are matched.
[0193]
However, in actual use, an allowance is provided between the stereo matching processing region 7 and the stereo matching processing region frame 8 for displaying it in consideration of camera shake, user positioning error, and the like. It is desirable.
[0194]
That is, a certain amount of margin is provided inside the stereo matching processing area 7 (first closed area) where the stereo matching process is actually performed, and further, an area (second closed area) is set inside thereof, and this inner area is set. It is preferable to arrange a stereo matching processing region frame 8 to be displayed along the outer edge of the (second closed region).
[0195]
As a result, the user intends to shoot an image in which the shooting target is put in the displayed stereo matching processing area frame 8, so that the entire shooting target is in the stereo matching processing area 7 even if there is a slight camera shake. The possibility of protruding outside is reduced, and stereo shooting of a desired object can be reliably performed.
[0196]
In stereo shooting, a region where three-dimensional information can be obtained is included in a superimposed region where imaging spaces that can be imaged from a plurality of viewpoints overlap. Accordingly, through the first to seventh embodiments described above, a region corresponding to the superimposed region in the output image may be presented to the photographer instead of the region where the stereo matching process is performed.
[0197]
[Appendix]
The invention having the following configuration can be extracted from the specific embodiment described above.
[0198]
(1) Stereo image capturing means for capturing images to be photographed from a plurality of viewpoints; Display means for displaying an output image captured by the stereo image capturing means on a display screen;
A mark displayed on the display screen in order to indicate a closed region existing inside the outer edge of the image displayed on the display screen by the display means;
A stereo photographing apparatus comprising:
[0199]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments relating to the stereo imaging device described in (1).
(Function and effect)
According to the stereo photographing apparatus described in (1), an image obtained by photographing the photographing object 4 by the stereo image photographing unit is displayed on the display screen of the electronic finder 5 or the display 5A as the display unit. At this time, in order to show the closed region existing inside the outer edge of the image displayed on the display screen of the electronic finder 5 or display 5A as the display means, a frame (stereo) as a mark displayed on the display screen is displayed. By displaying the matching processing area frame 8), it is easy to capture the photographing object 4 in the frame.
[0200]
(2) The mark is characterized in that it indicates at least the position of the corner of the closed region by arranging a line segment, a crossed line segment or curve, a crossed curve, a point or a closed curve (1) Stereo imaging device described in).
[0201]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments relating to the stereo imaging device described in (2).
(Function and effect)
According to the stereo photographing apparatus described in (2), in order to show the closed region existing inside the outer edge of the image displayed on the display screen of the electronic finder 5 or the display 5A as the display means, the display screen By arranging a line segment, a crossed line segment, a curve, a crossed curve, a point or a closed curve as a mark displayed above, a frame (stereo matching processing region frame 8) indicating at least the position of the corner of the closed region is provided. By displaying, it is easy to capture the photographing object 4 in the frame.
[0202]
(3) The stereo photographing apparatus according to (1), wherein the mark surrounds an outer edge of the closed region.
[0203]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments relating to the stereo imaging device described in (3).
(Function and effect)
According to the stereo photographing apparatus described in (3), in order to show the closed region existing inside the outer edge of the image displayed on the display screen of the electronic viewfinder 5 or the display 5A as the display means, the display screen By displaying a frame (stereo matching processing region frame 8) surrounding the outside green of the closed region as a mark displayed above, it is easy to capture the photographing object 4 in the frame.
[0204]
(4) The stereo photographing apparatus according to (1), wherein the mark is electrically superimposed on the output image captured by the stereo image capturing unit.
[0205]
(Corresponding embodiment)
The first, second, fourth, sixth, and seventh embodiments correspond to the embodiments relating to the stereo imaging device described in (4).
(Function and effect)
According to the stereo photographing apparatus described in (4), in order to show the closed region existing inside the outer edge of the image displayed on the display screen of the electronic viewfinder 5 or the display 5A as the display means, the display screen By capturing a frame (stereo matching processing region frame 8) that is electrically superimposed on the output image captured by the stereo image capturing means as a mark displayed above, the imaging object 4 is captured in the frame. To make it easier.
[0206]
(5) The stereo photographing apparatus according to (1), wherein the mark is fixed on the display means.
[0207]
(Corresponding embodiment)
The embodiment relating to the stereo photographing apparatus described in (5) corresponds to the third embodiment.
(Function and effect)
According to the stereo photographing apparatus described in (5), in order to show the closed region existing inside the outer edge of the image displayed on the display screen of the electronic finder 5 or the display 5A as the display means, the display screen By displaying a frame (stereo matching processing region frame 8) fixed on the display means as a mark displayed above, it is easy to capture the photographing object 4 in the frame.
[0208]
(6) The stereo photographing apparatus according to (1), wherein the closed region has a distortion of the output image captured by the stereo image capturing unit equal to or lower than a predetermined level.
[0209]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments related to the stereo photographing device described in (6).
(Function and effect)
According to the stereo photographing apparatus described in (6), the stereo image capturing unit captures a closed area existing inside the outer edge of the image displayed on the display screen of the electronic finder 5 or the display 5A as the display unit. By displaying a frame (stereo matching processing region frame 8) as a mark displayed on the display screen in order to indicate a closed region where the distortion of the output image is less than or equal to a predetermined level, shooting is performed within the frame. It makes it easy to capture the object 4.
[0210]
(7) stereo image capturing means for capturing images to be photographed from a plurality of viewpoints;
Display means for displaying an output image captured by the stereo image capturing means on a display screen;
Calculation means for performing a stereo matching process on the first closed region in the output image displayed on the display screen by the display means;
A second closed region included in the first closed region, the mark displayed on the display screen;
A stereo photographing apparatus comprising:
[0211]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments relating to the stereo photographing device described in (7).
(Function and effect)
The stereo photographing apparatus described in (7) displays an image obtained by photographing the photographing object 4 by the stereo image photographing unit on the display screen of the electronic finder 5 or the display 5A as the display unit. The calculation device 6 as the calculation means is for the first closed region (stereo matching processing region 7) in the output image displayed on the display screen of the electronic finder 5 or the display 5A as the display means. Perform stereo matching processing. According to the stereo photographing apparatus described in (7), the frame as a mark indicating the second area included in the first closed area on the display screen of the electronic finder 5 or the display 5A as the display means. By displaying the (stereo matching process area frame 8), it is possible to capture the photographing object 4 in the frame and to easily perform the stereo matching process.
[0212]
(8) The mark is characterized in that it indicates at least the position of the corner of the second closed region by arranging a line segment, a crossed line segment, a curve, a crossed curve, a point, or a closed curve. The stereo photographing apparatus according to (7).
[0213]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments related to the stereo photographing apparatus described in (8).
(Function and effect)
According to the stereo photographing apparatus described in (8), on the display screen of the electronic finder 5 or the display 5A as the display means, a line segment or mark as a mark indicating the second area included in the first closed area is used. By arranging a crossed line segment or curve, a crossed curve, a point or a closed curve, and displaying a frame (stereo matching processing region frame 8) indicating at least the corner position of the second closed region, In addition to capturing the object 4 to be photographed, it is easy to perform stereo matching processing.
[0214]
(9) The stereo photographing apparatus according to (7), wherein the mark surrounds an outer edge of the second closed region.
[0215]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments related to the stereo photographing device described in (9).
(Function and effect)
According to the stereo photographing apparatus described in (9), the second view as a mark indicating the second area included in the first closed area on the display screen of the electronic viewfinder 5 or the display 5A as the display means. By displaying a frame surrounding the outer edge of the closed region (stereo matching processing region frame 8), it is possible to capture the photographing object 4 in the frame and to easily perform the stereo matching processing.
[0216]
(10) The stereo photographing apparatus according to (7), wherein the mark is electrically superimposed on the output image captured by the stereo image capturing unit.
[0217]
(Corresponding embodiment)
The first, second, fourth, sixth, and seventh embodiments correspond to the stereo imaging device described in (10).
(Function and effect)
According to the stereo photographing apparatus described in (10), the stereo image is used as a mark indicating the second area included in the first closed area on the display screen of the electronic finder 5 or the display 5A as the display means. By displaying a frame (stereo matching processing region frame 8) that is electrically superimposed on the output image captured by the imaging means, it is possible to easily capture the photographing object 4 in the frame and perform stereo matching processing. To do.
[0218]
(11) The stereo photographing apparatus according to (7), wherein the mark is fixed on the display screen.
[0219]
(Corresponding embodiment)
The third embodiment corresponds to the embodiment relating to the stereo photographing apparatus described in (11).
(Function and effect)
According to the stereo photographing apparatus described in (11), the display screen is used as a mark indicating the second area included in the first closed area on the display screen of the electronic finder 5 or the display 5A as display means. By displaying the frame (stereo matching processing area frame 8) fixed on the top, it is possible to capture the photographing object 4 in the frame and to easily perform the stereo matching processing.
[0220]
(12) The stereo photographing apparatus according to (7), wherein the second closed region has a distortion of the output image captured by the stereo image capturing unit equal to or lower than a predetermined level.
[0221]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments related to the stereo photographing device described in (12).
(Function and effect)
According to the stereo photographing apparatus described in (12), the stereo image capturing means as the second area included in the first closed area on the display screen of the electronic viewfinder 5 or the display 5A as the display means. By displaying a frame (stereo matching processing region frame 8) as a mark indicating a region where the distortion of the captured output image is equal to or lower than a predetermined level, the photographing target 4 is captured in the frame and stereo matching processing is performed. To make it easier.
[0222]
(13) The stereo photographing apparatus according to (7), wherein the second closed region is specified by the calculation unit based on characteristics of the stereo image capturing unit.
[0223]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments relating to the stereo imaging device described in (13).
(Function and effect)
According to the stereo photographing apparatus described in (13), the stereo image capturing means is used as the second area included in the first closed area on the display screen of the electronic viewfinder 5 or the display 5A as the display means. By displaying the area specified by the calculation means based on the characteristics, the photographing object 4 is captured in the frame (stereo matching process area frame 8), and the stereo matching process is facilitated.
[0224]
(14) A stereo imaging device that captures images of the imaging target from a plurality of viewpoints in order to perform stereo matching processing for obtaining three-dimensional information of the imaging target.
Stereo image capturing means for capturing the image to be captured;
Display means for displaying an image captured by the stereo image capturing means as an output image on a display screen;
Means for presenting a mark indicating a closed region in the output image, which is a region to be subjected to stereo matching processing existing inside the outer edge of the output image, on the display screen.
A stereo photographing apparatus comprising:
[0225]
(Corresponding embodiment)
The first, second, third, sixth, and seventh embodiments correspond to the stereo imaging device described in (14).
(Function and effect)
According to the stereo photographing apparatus described in (14), an image obtained by photographing the photographing target 4 by the stereo image photographing unit is displayed as an output image on the display screen of the electronic finder 5 or the display 5A as the display unit. At this time, in order to show a closed region (stereo matching processing region 7) that is a closed region in the output image and that is subjected to stereo matching processing existing inside the outer edge of the output image, the display screen displays By presenting the frame (stereo matching processing area frame 8) as a mark so as to be visible, it is possible to capture the photographing object 4 in the frame and to easily perform the stereo matching process.
[0226]
(15) A stereo imaging device that captures images of the imaging target from a plurality of viewpoints in order to perform stereo matching processing for obtaining three-dimensional information of the imaging target.
Stereo image capturing means for capturing the image to be captured;
Display means for displaying an image captured by the stereo image capturing means as an output image on a display screen;
Means for visibly presenting on the display screen a mark indicating a closed region in the output image, the closed region existing on the inner side of the region on which the stereo matching process exists on the inner side of the outer edge of the output image; ,
A stereo photographing apparatus comprising:
[0227]
(Corresponding embodiment)
The first, second, third, sixth, and seventh embodiments correspond to the stereo imaging device described in (15).
(Function and effect)
According to the stereo photographing apparatus described in (15), an image obtained by photographing the photographing object 4 by the stereo image photographing means is displayed as an output image on the display screen of the electronic finder 5 or the display 5A as the display means. At this time, in order to indicate a closed region in the output image, and a closed region existing inside the region (stereo matching processing region 7) on which stereo matching processing exists inside the outer edge of the output image, By presenting a frame (stereo matching process area frame 8) as a mark on the display screen so as to be visible, it is possible to capture the photographing object 4 in the frame and to easily perform the stereo matching process.
[0228]
(16) A stereo imaging device that captures images of the imaging target from a plurality of viewpoints in order to perform stereo matching processing for obtaining three-dimensional information of the imaging target.
Stereo image capturing means for capturing the image to be captured;
Display means for displaying an image captured by the stereo image capturing means as an output image on a display screen;
Means for visibly presenting on the display screen a mark indicating a closed region corresponding to a superimposed region in which the imaging spaces that can be captured from each of the plurality of viewpoints overlap each other, in the output image.
A stereo photographing apparatus comprising:
[0229]
(Corresponding embodiment)
The first, second, third, sixth, and seventh embodiments correspond to the stereo imaging device described in (16).
(Function and effect)
According to the stereo photographing apparatus described in (16), an image obtained by photographing the photographing object 4 by the stereo image photographing unit is displayed as an output image on the display screen of the electronic finder 5 or the display 5A as the display unit. At this time, in order to indicate a closed region in the output image corresponding to a superimposed region in which imaging spaces that can be captured from each of the plurality of viewpoints overlap, a frame (stereo) as a mark is displayed on the display screen. Presenting the matching processing area frame 8) so as to be visible makes it easy to capture the photographing object 4 in the frame.
[0230]
(17) A stereo imaging device that captures images of the imaging target from a plurality of viewpoints in order to perform stereo matching processing for obtaining three-dimensional information of the imaging target.
Stereo image capturing means for capturing the image to be captured;
Display means for displaying an image captured by the stereo image capturing means as an output image on a display screen;
A mark indicating a closed region in the output image, which is inside the region corresponding to the overlapping region where the imaging spaces that can be captured from each of the plurality of viewpoints overlap, is visible on the display screen. Means to present;
A stereo photographing apparatus comprising:
[0231]
(Corresponding embodiment)
The first, second, third, sixth, and seventh embodiments correspond to the stereo imaging device described in (17).
(Function and effect)
According to the stereo photographing apparatus described in (17), an image obtained by photographing the photographing object 4 by the stereo image photographing means is displayed as an output image on the display screen of the electronic finder 5 or the display 5A as the display means. At this time, in order to show the closed region in the output image, the closed region existing inside the region corresponding to the overlapping region where the imaging spaces that can be captured from each of the plurality of viewpoints overlap each other on the display screen. By presenting a frame (stereo matching processing region frame 8) as a mark so as to be visible, it is easy to capture the photographing object 4 in the frame.
[0232]
(18) The mark is displayed or presented by fixing a member that transmits visible light and has a mark on a part thereof or a member made of the mark on the display screen (1). Stereo imaging apparatus according to any one of (7) and (14) to (17).
[0233]
(Corresponding embodiment)
The embodiment relating to the stereo photographing apparatus described in (18) corresponds to the third embodiment.
(Function and effect)
According to the stereo photographing apparatus described in (18), the electronic finder 5 or the display 5A as a display means includes a member that transmits visible light and has a mark displayed on a part thereof or the mark. By presenting the frame (stereo matching processing region frame 8) as the mark by fixing the member, it is easy to capture the photographing object 4 in the frame.
[0234]
(19) The mark is displayed or presented by electrically superimposing the mark on the image displayed on the display screen. (1), (7), (14) to (17) The stereo imaging device according to any one of the above.
[0235]
(Corresponding embodiment)
The first, second, sixth, and seventh embodiments correspond to the stereo imaging device described in (19).
(Function and effect)
According to the stereo photographing apparatus described in (19), the mark is electrically superimposed on the image displayed on the display screen of the electronic finder 5 or the display 5A as the display means, whereby the frame ( Presenting the stereo matching processing area frame 8) makes it easy to capture the photographing object 4 in the frame.
[0236]
(20) further comprising an input means for operating the stereo photographing device;
The stereo photographing apparatus according to (19), wherein the display can be switched between display or presentation and non-display or non-presentation based on the result set by the input means.
[0237]
(Corresponding embodiment)
The first, second, sixth, and seventh embodiments correspond to the stereo imaging device described in (20).
(Function and effect)
According to the stereo photographing apparatus described in (20), display or presentation of the mark and non-display or non-presentation may be performed according to a user's request, for example, a menu button of a digital camera constituting a stereo image capturing unit, It can be set by operating an input means such as a keyboard of a calculation device as a calculation means.
[0238]
(21) The stereo photographing apparatus according to (19), wherein the mark blinks.
[0239]
(Corresponding embodiment)
The first, second, sixth, and seventh embodiments correspond to the stereo imaging device described in (21).
(Function and effect)
According to the stereo photographing apparatus described in (21), visibility can be improved by blinking the mark.
[0240]
(22) In a finder of a stereo photographing apparatus including a finder optical system that forms an optical path for guiding an image to be photographed to the eyes of an operator,
In order to perform stereo matching processing for obtaining three-dimensional information of the imaging target, when capturing the imaging target image from a plurality of viewpoints,
A means for presenting a mark indicating a closed region in the image, which is a region to be subjected to stereo matching processing existing on the inner side of the outer edge of the image, through the finder optical system. Finder.
[0241]
(Corresponding embodiment)
The embodiment related to the viewfinder described in (22) corresponds to the third embodiment.
(Function and effect)
According to the finder described in (22), in the optical path of the finder optical system, a closed region in the image to be photographed, and a region to be subjected to stereo matching processing existing inside the outer edge of the image (stereo matching) By providing means for presenting a frame (stereo matching processing region frame 8) as a mark indicating the closed region which is the processing region 7) so as to be visible through the finder optical system, In addition to capturing the object 4 to be photographed, it is easy to perform stereo matching processing.
[0242]
(23) In a finder of a stereo photographing apparatus including a finder optical system that forms an optical path that guides an image to be photographed to an operator's eyes,
In order to perform stereo matching processing for obtaining three-dimensional information of the imaging target, when capturing the imaging target image from a plurality of viewpoints,
Means for presenting a mark indicating a closed region in the image, which is a region inside the outer edge of the image and is present inside a region to which stereo matching processing is performed, is visible through the finder optical system. Finder characterized by that.
[0243]
(Corresponding embodiment)
The embodiment related to the finder described in (23) corresponds to the third embodiment.
(Function and effect)
According to the finder described in (23), in the optical path of the finder optical system, a closed region in the image to be photographed, which is a closed region in the image, and is present inside the outer edge of the image. Means for presenting a frame (stereo matching processing region frame 8) as a mark indicating a closed region existing inside the region to be subjected to stereo matching processing (stereo matching processing region 7) so as to be visible through the finder optical system. Thus, by presenting the frame, it is easy to capture the photographing object 4 in the frame and perform the stereo matching process.
[0244]
(24) A member that is attached to a viewfinder of an imaging device when capturing images of the imaging target from a plurality of viewpoints in order to perform stereo matching processing for obtaining three-dimensional information of the imaging target.
A mark presenting member which is a member which transmits visible light and has a mark presented on a part of the visible light or a member made of the mark.
[0245]
(Corresponding embodiment)
The embodiment relating to the mark presenting member described in (24) corresponds to the third embodiment.
(Function and effect)
According to the mark presenting member described in (24), the mark presenting member is a member that transmits visible light and has a mark (stereo matching processing region frame 8) partially displayed thereon or a member made of the above mark. By attaching the member 30 to the viewfinder of the photographing apparatus, it is easy to capture the photographing object 4 in the frame.
[0246]
(25) In a photographing method of a stereo photographing device that captures images to be photographed from a plurality of viewpoints and displays the captured images on a display screen.
A photographing method for a stereo photographing device, characterized in that a mark is displayed on the display screen to indicate a closed region existing inside an outer edge of the displayed image.
[0247]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments relating to the photographing method of the stereo photographing device described in (25).
(Function and effect)
According to the photographing method of the stereo photographing device described in (25), when the image of the photographing target 4 is picked up from a plurality of viewpoints, the above display is performed on the display screen for displaying the picked up image. By displaying a frame (stereo matching processing region frame 8) as a mark for indicating the closed region existing inside the outer edge of the image, it is easy to capture the photographing object 4 in the frame.
[0248]
(26) The distortion described in (6) or (12) is characterized in that the distortion is obtained based on an image obtained by imaging an object whose shape and / or surface attribute is known using the stereo image imaging means. Stereo shooting device.
[0249]
(Corresponding embodiment)
The embodiment relating to the stereo photographing apparatus described in (26) corresponds to the fourth embodiment.
(Function and effect)
According to the stereo imaging device described in (26), the stereo image is acquired based on an image obtained by capturing the calibration pattern 11 having a known shape and / or surface attribute using the stereo image capturing unit. By obtaining the distortion of the output image captured by the image capturing means, the solid variation of the stereo image capturing means can be calibrated, and a frame (stereo matching processing region frame 8) as a correct mark can be displayed.
[0250]
(27) A stereo imaging device that captures images of the imaging target from a plurality of viewpoints in order to perform stereo matching processing for obtaining three-dimensional information of the imaging target.
Stereo image capturing means for capturing the image to be captured;
Display means for displaying an image captured by the stereo image capturing means as an output image on a display screen;
Comprising
A stereo photographing apparatus characterized in that only the closed region in the output image, which is a region to be subjected to stereo matching processing existing inside the outer edge of the output image, is displayed by the display means.
[0251]
(Corresponding embodiment)
The fifth to seventh embodiments correspond to the embodiment relating to the stereo photographing apparatus described in (27).
(Function and effect)
According to the stereo photographing apparatus described in (27), an image obtained by photographing the photographing object 4 by the stereo image photographing means is displayed as an output image on the display screen of the electronic finder 5 or the display 5A as the display means. At this time, only the closed region (stereo matching processing region 7) that is a closed region in the output image and that is subjected to stereo matching processing existing inside the outer edge of the output image is displayed by the display means. This makes it easy to capture the photographing object 4 in the stereo matching processing area 7 and perform the stereo matching process.
[0252]
(28) A stereo imaging device that captures images of the imaging target from a plurality of viewpoints in order to perform stereo matching processing for obtaining three-dimensional information of the imaging target.
Stereo image capturing means for capturing the image to be captured;
Display means for displaying an image captured by the stereo image capturing means as an output image on a display screen;
Comprising
Stereo imaging, characterized in that only the closed region in the output image, which is present inside the region to which stereo matching processing exists inside the outer edge of the output image, is displayed by the display means. apparatus.
[0253]
(Corresponding embodiment)
The fifth to seventh embodiments correspond to the embodiment relating to the stereo photographing apparatus described in (28).
(Function and effect)
According to the stereo photographing apparatus described in (28), an image obtained by photographing the photographing object 4 by the stereo image photographing means is displayed as an output image on the display screen of the electronic finder 5 or the display 5A as the display means. At this time, only the closed region in the output image that is inside the closed region (stereo matching processing region 7), which is the region on the inner side of the outer edge of the output image to which the stereo matching process is applied, is selected. By displaying by the display means, the photographing object 4 is surely captured in the stereo matching processing area 7 and the stereo matching processing is facilitated.
[0254]
(29) (1), (14) to (17), (27), wherein the size of the closed region is determined based on a distance from the photographing target to the stereo image capturing unit. And the stereo photographing device according to any one of (28).
[0255]
(Corresponding embodiment)
The first to seventh embodiments correspond to the embodiment relating to the stereo photographing apparatus described in (29).
(Function and effect)
According to the stereo imaging device described in (29), the change in the shooting distance is obtained by changing the size of the closed region based on the change in the shooting distance from the shooting object 4 to the stereo image pickup means. Even if there is, it becomes easy to capture the photographing object 4 in an appropriate area.
[0256]
(30) The size of the first closed region or the second closed region is determined based on a distance from the photographing target to the stereo image capturing unit. Stereo shooting device.
[0257]
(Corresponding embodiment)
The first, second, third, fourth, sixth, and seventh embodiments correspond to the embodiments relating to the stereo photographing device described in (30).
(Function and effect)
According to the stereo imaging device described in (30), the size of the first closed region or the second closed region is based on the change in the shooting distance from the shooting target 4 to the stereo image pickup means. By changing the, it becomes easy to capture the photographing object 4 in an appropriate area even if the photographing distance changes.
[0258]
【The invention's effect】
Therefore, as described above, according to the present invention, when a stereo image is captured using the stereo image capturing unit, for example, it is used for stereo matching processing in the captured image. Parts that can be done (Stereo matching area) can be discriminated by the operator, and an electronic finder or an external display built in the stereo image pickup means with an area mark such as a frame line as a display means so that the object to be photographed can be put in the processing area By displaying on the screen, the stereo imaging device and the imaging of the stereo imaging device can be made easy by presenting the processing area for performing stereo matching to the photographer in addition to the stereo field of view. A method can be provided.
[Brief description of the drawings]
FIG. 1A is a diagram showing a configuration of a stereo photographing apparatus according to a first embodiment of the present invention and a state of photographing a photographing target, and FIG. 1B is a diagram as shown in FIG. It is a figure which illustrates the stereo matching process area | region frame displayed electronically on an electronic finder in order to show a stereo matching process area | region to a photographer, when image | photographing an imaging | photography object using a digital camera and a calculation apparatus.
FIGS. 2A and 2B are a plan view and a front view showing a configuration of a digital camera as a stereo image capturing unit used in the stereo photographing apparatus according to the first embodiment and a stereo adapter mounted on the front surface of the digital camera. FIGS. .
FIGS. 3A to 3C are a dotted line, a broken line, a black frame (however, shown as hatched frames in the figure) as stereo matching processing area frames in the stereo photographing apparatus according to the first embodiment. It is a figure which shows the modification made to show.
FIG. 4 is a diagram illustrating a modification of the stereo matching processing area frame presented in the stereo imaging apparatus according to the first embodiment.
FIG. 5 shows a semi-photographing apparatus according to the first embodiment in which a stereo matching processing area is determined using lens distortion or the like as a threshold value, and a semi-circular frame made up of a black frame as a stereo matching processing area frame (however, hatching in the drawing) It is a figure which shows the modification shown by this frame.
FIG. 6 is a perspective view illustrating a configuration of a stereo photographing device according to a second embodiment of the present invention.
FIG. 7 is a diagram illustrating a structure example of a viewfinder of a stereo photographing device according to a third embodiment of the present invention in the case of a twin-lens type and a single-lens reflex type.
FIG. 8A is a diagram showing a marker presenting member such as a film or a panel that transmits visible light on which a stereo matching processing area frame is presented as a modification of the third embodiment, and FIG. It is a figure which similarly shows the perforated member with the hole which permeate | transmits visible light in the shape matched with the shape of the stereo matching process area | region frame.
FIG. 9 is a diagram illustrating an example of a calibration pattern used in a stereo imaging device according to a fourth embodiment of the present invention.
FIG. 10 is a diagram showing a configuration of a stereo photographing apparatus according to a fourth embodiment and a photographing state of a calibration pattern.
FIG. 11 is a diagram illustrating a search for a corresponding point N of a search point M based on a search range, a minimum parallax, and a measurement distance range when a measurement distance range is not set in the stereo imaging device according to the sixth embodiment of the present invention. It is a figure which shows the reference | standard image and corresponding image for demonstrating the relationship of the range to perform.
FIG. 12A is a diagram showing a reference image and a corresponding image for explaining a search-unnecessary region that is not used for stereo matching, and FIG. 12B shows both a farthest distance value and a nearest distance value as a measurement distance range. It is a figure which shows the reference | standard image and corresponding image for demonstrating the stereo matching process area | region and stereo matching process area | region frame at the time of setting.
FIG. 13 is a diagram illustrating an example in which a plurality of images 2 from a plurality of viewpoints are acquired and one of the images is used as a reference image in the conventional three-dimensional information acquisition method using stereo measurement.
FIG. 14 is a diagram for explaining a superimposed region that is an imaging space in which imaging is possible from each of a plurality of viewpoints when the convergence angles are different.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Stereo imaging system (stereo image imaging means), 3 ... Reference | standard image, 4 ... Shooting object, 5 ... Electronic finder (display means), 5A ... Display (display means), 6 ... Calculation apparatus (calculation means), 7 ... Stereo matching processing area, 8 ... stereo matching processing area frame, 9 ... stereo adapter (stereo image imaging means), 10 ... digital camera (stereo image imaging means), 11 ... calibration pattern (both shape and / or surface attributes are Known object), 12 ... corresponding image, 13 ... calibration pattern image (image obtained by capturing an object with known shape and / or surface attribute), 17 ... half mirror, 18 ... mirror, 19 ... user's eye , 20 ... Diffuser, 22 ... Eyepiece, 23 ... Prism, 24 ... Movable mirror, 25 ... Image sensor, 26 ... Memory 27 ... Glass plate, 30 ... Mark presenting member, 33 ... Overlapping region, 36 ... Hole member, 40 ... Search range when no measurement distance range is set, 41 ... Search point M based on the measurement distance range Range in which the corresponding point N is searched, 42... Minimum parallax, 43... Maximum parallax, 51.

Claims (7)

複数の視点から撮影対象の画像を撮像するステレオ画像撮像手段と、
前記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面上に表示する表示手段と、
前記表示手段によって前記表示画面上に表示される前記出力画像の中の領域であって、前記ステレオ画像撮像手段の撮影した画像を利用して測定される測定距離範囲に基づいて決定される領域である第１の閉領域に対して、ステレオマッチング処理を施す計算手段と、
前記撮影対象を撮像するときに、前記撮影対象を前記第１の閉領域内に捕らえるための目印として、前記第１の閉領域に含まれる第２の閉領域を示す目印を前記表示画面上に表示する手段と、
を具備することを特徴とするステレオ撮影装置。Stereo image capturing means for capturing images to be photographed from a plurality of viewpoints;
Display means for displaying an image picked up by the stereo image pickup means as an output image on a display screen;
An area in the output image displayed on the display screen by the display means, which is an area determined based on a measurement distance range measured using an image captured by the stereo image imaging means. for a first closed region, and calculating means for performing stereo matching,
A mark indicating the second closed area included in the first closed area is displayed on the display screen as a mark for capturing the shot object in the first closed area when the shooting target is imaged. Means for displaying;
A stereo photographing apparatus comprising: 前記第１の閉領域は、前記出力画像の外縁より内側であることを特徴とする請求項１に記載のステレオ撮影装置。  The stereo imaging device according to claim 1, wherein the first closed region is inside an outer edge of the output image. 前記第２の閉領域は、前記第１の閉領域の外縁より内側であることを特徴とする請求項１に記載のステレオ撮影装置。  The stereo imaging device according to claim 1, wherein the second closed region is located inside an outer edge of the first closed region. 前記目印は、線分または交差した線分または曲線または交差した曲線または点もしくは閉曲線を配置することによって、少なくとも前記第２の閉領域のコーナーの位置を示すものであることを特徴とする請求項１に記載のステレオ撮影装置。  The at least one mark is at least a corner position of the second closed region by arranging a line segment, an intersecting line segment, a curve, an intersecting curve, a point, or a closed curve. The stereo photographing apparatus according to 1. 前記目印は、前記第２の閉領域の外縁を囲むものであることを特徴とする請求項１に記載のステレオ撮影装置。  The stereo imaging device according to claim 1, wherein the mark surrounds an outer edge of the second closed region. 撮影対象の３次元情報を得るためのステレオマッチング処理を行うために、複数の視点から前記撮影対象の画像を撮像するステレオ撮影装置であって、
前記撮影対象の画像を撮像するステレオ画像撮像手段と、
前記ステレオ画像撮像手段によって撮像された画像を出力画像として表示画面に表示する表示手段と、
「前記表示手段によって前記表示画面上に表示される前記出力画像の中において前記ステレオマッチング処理が施される領域として、前記ステレオ撮像手段の撮像した画像を利用して測定される測定距離範囲に基づいて決定される第１の閉領域」に含まれる第２の閉領域を示す目印を、前記撮影対象を撮像するときに、前記撮影対象を前記第１の閉領域内に捕らえるための目印として前記表示画面上に視認可能に提示する手段と、
を具備することを特徴とするステレオ撮影装置。In order to perform a stereo matching process for obtaining three-dimensional information of a shooting target, the stereo shooting device captures images of the shooting target from a plurality of viewpoints,
Stereo image imaging means for imaging the image to be imaged;
Display means for displaying an image picked up by the stereo image pickup means as an output image on a display screen;
“ Based on a measurement distance range measured using an image picked up by the stereo image pickup means as an area to be subjected to the stereo matching process in the output image displayed on the display screen by the display means. The mark indicating the second closed region included in the “ first closed region determined in the above ” is used as a mark for capturing the shooting target in the first closed region when imaging the shooting target. and means for presenting the visible on the display screen,
A stereo photographing apparatus comprising: 撮影対象の３次元情報を得るためのステレオマッチング処理を行う画像を、複数の視点から撮像し、当該撮像された画像を表示画面上に表示するステレオ撮影装置の撮影方法において、
「前記画像を撮影するときに、前記表示される画像の中において前記ステレオマッチング処理が施される領域として、前記撮像された画像を利用して測定される測定距離範囲に基づいて決定される第１の閉領域」に含まれる第２の閉領域を示す目印を、前記画像を撮像するときに、前記撮影対象を前記第１の閉領域内に捕らえるための目印として前記表示画面上に視認可能に表示することを特徴とするステレオ撮影装置の撮影方法。In an imaging method of a stereo imaging device that captures an image to be subjected to stereo matching processing for obtaining three-dimensional information of an imaging target from a plurality of viewpoints and displays the captured image on a display screen.
“ When the image is captured, the region to be subjected to the stereo matching process in the displayed image is determined based on a measurement distance range measured using the captured image . A mark indicating the second closed area included in “ 1 closed area ” can be visually recognized on the display screen as a mark for capturing the object to be captured in the first closed area when the image is captured. A method for photographing with a stereo photographing device, characterized by comprising:
JP2003007213A 2002-01-16 2003-01-15 Stereo shooting device and shooting method of stereo shooting device Expired - Fee Related JP3799019B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003007213A JP3799019B2 (en) 2002-01-16 2003-01-15 Stereo shooting device and shooting method of stereo shooting device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002-7688 2002-01-16
JP2002007688 2002-01-16
JP2003007213A JP3799019B2 (en) 2002-01-16 2003-01-15 Stereo shooting device and shooting method of stereo shooting device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006028414A Division JP4226010B2 (en) 2002-01-16 2006-02-06 Stereo shooting device and shooting method of stereo shooting device

Publications (2)

Publication Number Publication Date
JP2003284096A JP2003284096A (en) 2003-10-03
JP3799019B2 true JP3799019B2 (en) 2006-07-19

Family

ID=29252928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003007213A Expired - Fee Related JP3799019B2 (en) 2002-01-16 2003-01-15 Stereo shooting device and shooting method of stereo shooting device

Country Status (1)

Country Link
JP (1) JP3799019B2 (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4536527B2 (en) * 2004-01-23 2010-09-01 オリンパス株式会社 Electronic camera and image generation apparatus for generating stereo image
US7791640B2 (en) * 2004-01-23 2010-09-07 Olympus Corporation Electronic camera and image generating apparatus generating stereo image
JP2005311983A (en) * 2004-04-26 2005-11-04 Olympus Corp Image processing apparatus
JP4260094B2 (en) * 2004-10-19 2009-04-30 富士フイルム株式会社 Stereo camera
JP4774824B2 (en) * 2005-06-17 2011-09-14 オムロン株式会社 Method for confirming measurement target range in three-dimensional measurement processing, method for setting measurement target range, and apparatus for performing each method
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
CN100430690C (en) * 2006-12-19 2008-11-05 南京航空航天大学 Method for making three-dimensional measurement of objects utilizing single digital camera to freely shoot
FI123049B (en) * 2007-09-03 2012-10-15 Mapvision Ltd Oy Recording Machine Vision System
JP5243003B2 (en) * 2007-11-28 2013-07-24 富士フイルム株式会社 Image processing apparatus and method, and program
JP5161619B2 (en) * 2008-03-13 2013-03-13 キヤノン株式会社 Imaging apparatus, control method thereof, and program
EP2621178A1 (en) * 2009-01-19 2013-07-31 Minoru Inaba Stereoscopic video imaging display system
CN102802006B (en) 2012-08-03 2014-08-06 梁智伟 Digital camera, laminating type photograph printer and three-dimensional colorful image making system
JP6089819B2 (en) * 2013-03-13 2017-03-08 株式会社ジェイテクト Behavior analysis method and behavior analysis apparatus for bearing components
JP6245885B2 (en) 2013-08-02 2017-12-13 キヤノン株式会社 Imaging apparatus and control method thereof
WO2017169598A1 (en) * 2016-03-30 2017-10-05 株式会社小松製作所 Terminal device, control device, data integration device, work vehicle, image-capturing system, and image-capturing method
JP6767241B2 (en) * 2016-03-30 2020-10-14 株式会社小松製作所 Terminal devices, control devices, data integration devices, work vehicles, imaging systems, and imaging methods
CN107369172B (en) * 2017-07-14 2021-07-09 上海肇观电子科技有限公司 Intelligent device and method for outputting depth image

Also Published As

Publication number Publication date
JP2003284096A (en) 2003-10-03

Similar Documents

Publication Publication Date Title
JP3929384B2 (en) Viewfinder, photographing apparatus, marker presenting member, and photographing method for calibration
JP3799019B2 (en) Stereo shooting device and shooting method of stereo shooting device
US8902289B2 (en) Method for capturing three dimensional image
JP4275643B2 (en) Digital stereo camera or digital stereo video camera
JP2017192086A (en) Image generating apparatus, image observing apparatus, imaging apparatus and image processing program
JP2001116985A (en) Camera with subject recognizing function and subject recognizing method
KR20140134043A (en) System and method for providing three dimensional image
JP2013017125A (en) Imaging apparatus and display method for monitoring image of the same
JP4226010B2 (en) Stereo shooting device and shooting method of stereo shooting device
JP5822700B2 (en) Image capturing method, image capturing apparatus, and program
JPH07306486A (en) Camera
JP2013074473A (en) Panorama imaging apparatus
JPH07325354A (en) Camera
US11454866B2 (en) Electronic rangefinder
JP2013135448A (en) Imaging apparatus
JP2001083563A (en) Camera
JP3266293B2 (en) Video camera
JP3236115B2 (en) Focus area setting device
JP3095829B2 (en) Camera display device
KR200246797Y1 (en) A photo shown as distance and real size
JP2003161983A (en) Range finder interlocked type camera
JP2601586Y2 (en) Albada-type finder device
JP2023063760A (en) identification device
CN115868169A (en) Electronic device, control method of controlling electronic device, and computer-readable storage medium
JP2014115497A (en) Auxiliary light projector, flash device, and camera

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060421

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees