JP2002352271A - Three-dimensional image acquisition device - Google Patents

Three-dimensional image acquisition device

Info

Publication number
JP2002352271A
JP2002352271A JP2001159521A JP2001159521A JP2002352271A JP 2002352271 A JP2002352271 A JP 2002352271A JP 2001159521 A JP2001159521 A JP 2001159521A JP 2001159521 A JP2001159521 A JP 2001159521A JP 2002352271 A JP2002352271 A JP 2002352271A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
dimensional shape
dimensional
means
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001159521A
Other languages
Japanese (ja)
Inventor
Kazuhiko Arai
和彦 荒井
Original Assignee
Olympus Optical Co Ltd
オリンパス光学工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide a three-dimensional shape acquisition device capable of presenting a three-dimensional shape reconfigured image to an operator as an image viewed from various viewpoints and easily and efficiently performing judgment to see whether an acquired image is good or bad as the three- dimensional shape reconfigured image. SOLUTION: The three-dimensional shape acquisition device acquires three- dimensional shape information on an object of image pickup based on an image formed by picking up the object of image pickup from a plurality of viewpoints away from a prescribed distance and outputs a signal to display the three- dimensional shape of the object of image pickup to a display means. The device is characterized by being provided with a three-dimensional image operating means to specify a viewpoint position of the three-dimensional shape image to be displayed on the display means and a three-dimensional shape reconfiguring means to reconfigure the three-dimensional shape based on the picked up image, to simultaneously generate the signal to display the three-dimensional shape image formed by viewing the object of image pickup from a desired viewpoint and to output it to the display means according to specification by the three-dimensional image operating means.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は3次元形状取得装置に係り、特に、3次元物体形状を測定する撮像装置等を含む3次元形状取得装置に関する。 The present invention relates to relates to a three-dimensional shape acquiring apparatus, in particular, it relates to a three-dimensional shape acquiring apparatus including an image pickup device or the like for measuring the three-dimensional object shape.

【0002】 [0002]

【従来の技術】例えば、特開平10−155110号公報に開示されているように、複数の撮像系からなる撮像装置では、視差画像を用いて対応点抽出を行うモジュールにおいて視差画像の信頼度を判定するようにしている。 BACKGROUND ART For example, as disclosed in JP-A-10-155110, the imaging apparatus comprising a plurality of imaging systems, the reliability of the parallax images in a module for extracting corresponding points using the disparity image It is to be determined.

【0003】そして、その判定結果に基づき、操作者に、撮像対象の取り直しの指示を行うようにしている。 [0003] Then, based on the determination result, the operator, so that an instruction of retaken imaged.

【0004】 [0004]

【発明が解決しようとする課題】ところで、プロカメラマンによるフィルムカメラを用いた撮影では、撮影が正しく行われるかどうかを判定するために、ポラロイド(登録商標)フィルムによる撮影を別途行い撮影現場での画像確認作業が行われることもあるが、一般には現像後の写真を見るまでは画像の確認は行えない。 The object of the invention is to be Solved by the way, in the imaging using a film camera by a professional photographer, shooting in order to determine whether correctly, Polaroid (registered trademark) film of a separate done shooting the shooting by the sometimes the image confirmation work is performed, but the confirmation of the image can not be done is generally up to see the photos after development.

【0005】これに対してディジタルカメラによる撮影では、撮影装置に液晶ディスプレイを搭載していることにより、撮影の直後、または撮影しながら画像確認を行えるので、撮影者は取り直し判断が容易に行えるという利点を有している。 [0005] In contrast photographing by a digital camera, by being equipped with a liquid crystal display to the imaging device, immediately after the shooting, or so captured perform the image checking while, that the photographer is retaken can be easily determined It has the advantage.

【0006】同様の観点で見ると、3次元画像取得を目的とする装置においては、撮像装置で撮影した何らかの原画像を画像記録装置に記録し、その記録画像を別途パーソナルコンピュータ等に取りこみ、画像処理に基づく3次元画像再構成を行い、得られた3次元画像により撮影の良否を判定するものがほとんどである。 [0006] Looking at the same point of view, in a device intended three-dimensional image acquisition, some original image captured by the imaging device is recorded in the image recording apparatus captures the recorded image separately on a personal computer or the like, the image It performs three-dimensional image reconstruction based on the processing, which determine the quality of the resulting three-dimensional image photographing is almost.

【0007】従って、撮影が有効でなかった場合には、 [0007] Therefore, if the shooting was not effective,
再度、撮像装置での撮影を行った上、また上記と同様の3次元画像再構成プロセスをたどる必要がある。 Again, on was captured in the imaging device and it is necessary to follow the same 3-dimensional image reconstruction process as above.

【0008】このため、撮影アングル、照明条件、背景条件などの変更などが容易に行える撮影環境を与えるというものではなかった。 [0008] For this reason, the shooting angle, lighting conditions, was not giving the shooting environment changes and easily, such as background conditions.

【0009】以上の点を総合すると、従来技術においては、複数の撮像系を有する撮像装置により取得した原画像の処理プロセス上で視差画像抽出ステップにおける視差の信頼度に基づき、再度取り直すか否かを判定し、その結果を操作者に対して告知するものであるが、3次元形状に再構成された画像を直接見て判断するのと違って直感的ではなかった。 [0009] Together, these points, in the prior art, based on the reliability of the parallax in the parallax image extraction step on a plurality of processes of the acquired original image by an imaging device having an imaging system, whether take heart again determine, but is intended to announce the result to the operator, it was not intuitive unlike to determine watches the reconstructed image in the three-dimensional shape directly.

【0010】また、ある視点からの撮影で取得された3 [0010] In addition, 3 obtained by shooting from a certain point of view
次元形状再構成画像は、その後に複数視点からの撮影によって取得される3次元形状再構成画像と張り合わせて、物体を全周から取り囲むような3次元画像を取得する目的にも使用されるが、その場合には1視点からの取得三次元画像の境界部分の撮影の良否に大きな関心が払われる。 Dimension shape reconstructed image, then by bonding the three-dimensional shape reconstruction image obtained by photographing from a plurality of viewpoints, but also used for the purpose of obtaining a three-dimensional image so as to surround the object from the entire circumference, great interest is paid to the quality of imaging of a boundary portion of the acquired three-dimensional image from one viewpoint in the case.

【0011】従って、これら境界部分の撮影の良否を判断するのは固定視点からのものだけでは不十分で、取得した三次元画像を回転、移動、縮小、拡大し、様々な視点から観察することによって確認できる機能が必要となる。 Accordingly, to determine the acceptability of the imaging of these boundary portions is not enough that from fixed viewpoint, rotating the three-dimensional image obtained, move, shrink, enlarge, and be observed from various viewpoints it is necessary to function that can be confirmed by.

【0012】本発明は、上記の事情に鑑みてなされたもので、撮影された対象物体に対し、撮影と同時または撮影直後に、取得画像に基づく3次元形状再構成画像を様々な視点から眺めた画像として操作者に提示し、3次元形状再構成画像として取得画像の良否判定を簡易に、効果的に行える3次元形状取得装置を提供することを目的とする。 [0012] The present invention has been made in view of the above circumstances, with respect to captured target object, after capturing the same time or shooting, viewing the three-dimensional shape reconstructed image based on the acquired images from different viewpoints presented to the operator as an image, a simple quality determination of the acquired image as a three-dimensional shape reconstructed image, and an object thereof is to provide a three-dimensional shape acquiring device capable effectively.

【0013】 [0013]

【課題を解決するための手段】本発明によると、上記課題を解決するために、(1)所定の距離離れた複数の視点から撮像対象を撮像した画像に基づいて撮像対象の3 According to the present invention SUMMARY OF], in order to solve the above problems, (1) 3 of the imaging target based on the image of the captured imaging object from a plurality of viewpoints at a predetermined distance
次元形状情報を取得し、前記撮像対象の3次元形状画像を表示するための信号を表示手段に出力する3次元形状取得装置であって、前記表示手段に表示されるべき3次元形状画像の視点位置を指定する3次元画像操作手段と、前記撮像された画像を基に3次元形状を再構成すると共に、前記3次元画像操作手段の指定に従い、所望の視点から撮像対象を眺めた3次元形状画像を表示するための信号を生成かつ前記表示手段に出力する3次元画像再構成手段と、を具備することを特徴とする3次元形状取得装置が提供される。 Acquires dimension shape information, wherein a three-dimensional shape acquiring device that outputs to the display means a signal for displaying a three-dimensional shape image of the imaging object, the viewpoint of the three-dimensional shape image to be displayed on said display means and a three-dimensional image operating means for specifying the position, as well as reconstruct the 3-dimensional shape based on the captured image, as specified in the three-dimensional image manipulation means, three-dimensional shape viewing the imaging target from the desired viewpoint 3D shape acquiring apparatus according to claim is provided that includes a three-dimensional image reconstruction means for outputting a signal for displaying an image generated and on the display means.

【0014】また、本発明によると、上記課題を解決するために、(2)前記表示手段に表示される前記3次元形状画像の画像精度を指定する3次元画像精度操作手段をさらに有することを特徴とする(1)に記載の3次元形状取得装置が提供される。 [0014] According to the present invention, in order to solve the above problem, further comprising a three-dimensional image accuracy operating means for designating an image accuracy of the three-dimensional shape image displayed on (2) the display means 3-dimensional shape acquiring apparatus according is provided in (1).

【0015】また、本発明によると、上記課題を解決するために、(3)前記撮像対象の画像を取得するための撮像手段と、前記撮像手段を操作するための操作入力手段とをさらに有し、前記操作入力手段の少なくとも一部は、前記3次元画像操作手段または3次元画像精度操作手段と兼ねていることを特徴とする(1)に記載の3次元形状取得装置が提供される。 [0015] According to the present invention, in order to solve the above problem, further have the operation input means for operating the imaging means and the imaging means for obtaining (3) the image of the imaging target and, at least part of the operation input means, 3-dimensional shape acquiring apparatus according to (1) that also serves as said three-dimensional image operating means or three-dimensional image precision operation means.

【0016】また、本発明によると、上記課題を解決するために、(4)異なる3次元形状画像を高速度で繰り返し表示が必要な動画表示の場合、表示情報量を削減することを特徴とする(1)に記載の3次元形状取得装置が提供される。 [0016] According to the present invention, in order to solve the above problems, and wherein (4) the case of repeated display the required video display different three-dimensional shape image at high speed, reducing the display information amount to (1) 3-dimensional shape acquiring apparatus according to is provided.

【0017】また、本発明によると、上記課題を解決するために、(5)前記表示手段に表示される3次元形状画像の視点および画像精度の少なくとも一方を操作するための第2の3次元画像操作手段を接続し得るインターフェイスをさらに有することを特徴とする(1)に記載の3次元形状取得装置が提供される。 [0017] According to the present invention, in order to solve the above problems, (5) the display means to the viewpoint of the three-dimensional shape image displayed and the image accuracy of at least one second three-dimensional for operating the 3-dimensional shape acquiring apparatus according is provided, characterized in that it further comprises an interface capable of connecting the image operating means (1).

【0018】 [0018]

【発明の実施の形態】以下図面を参照して本発明の実施の形態について説明する。 Referring to DETAILED DESCRIPTION OF THE INVENTION The drawings will be described embodiments of the present invention.

【0019】(第1の実施の形態)図1乃至図7は、本発明による3次元形状取得装置の第1の実施の形態の構成及び動作を説明するために示す図である。 [0019] (First Embodiment) FIGS. 1 to 7 are diagrams for explaining the structure and operation of the first embodiment of the three-dimensional shape acquiring apparatus according to the present invention.

【0020】まず、この発明の第1の実施の形態は、次のように構成されている。 [0020] First, a first embodiment of the present invention is constructed as follows.

【0021】図1は、ステレオアダプタ2を用いて、ステレオ方式で距離測定を行うデジタルカメラを主体とした撮像装置を裏面から見た様子を示している。 [0021] Figure 1, using a stereo adapter 2 shows a state viewed imaging device mainly composed of a digital camera for distance measurement in the stereo system from the back.

【0022】この撮像装置は、カメラ本体1の組み合わせレンズ部3にステレオアダプタ2が搭載され構成されている。 [0022] The image pickup apparatus, the stereo adapter 2 is mounted configuration on the combination lens portion 3 of the camera body 1.

【0023】カメラ本体1は、一般的なデジタルカメラにも付与されているレンズ、フラッシュ、バッテリー、 [0023] The camera body 1, the lens also to general digital cameras have been granted, flash, battery,
電気回路など様々な部位から構成されるが、説明上必要な部位以外は図示、説明を行わない。 Composed of various parts, such as electrical circuit, except explanation necessary for sites shown and does not explained.

【0024】ここで、デジタルカメラとは、数値データとしての画像を出力可能なカメラであって、静止画像を主として撮影するものおよびビデオ画像を主として撮影するものの両方が含まれる。 [0024] Here, the digital camera, an image can be output camera as numerical data include both those intended primarily taking a still image and a video image mainly captured.

【0025】まず、撮影に当たっては、カメラ本体1に設けられた主機能切り替えダイヤル3を用いて撮影モードを選択し行う。 [0025] First of all, when shooting, selected carry out the shooting mode using the main function switching dial 3 provided on the camera body 1.

【0026】この主機能切り替えダイヤル3は、主電源のオン・オフ、撮影モード、再生モードの切替え等を主に行う。 [0026] The main function switching dial 3, the main power supply on and off, shooting mode, mainly to switch or the like of the playback mode.

【0027】図2は、図1のステレオアダプタ2の概念図を示す図である。 [0027] FIG. 2 is a diagram showing a conceptual diagram of a stereo adapter 2 in Figure 1.

【0028】この図2の概念図に示すように、ステレオアダプタ2では、ミラー11、11′、12、12′による反射光学系を用いて光路を二分する。 As shown in a conceptual diagram of FIG. 2, the stereo adapter 2, mirrors 11, 11 ', 12, 12' bisects the optical path using the reflection optical system according to.

【0029】従って、カメラ本体1に搭載されたCCD [0029] Therefore, CCD mounted on the camera body 1
14上には、ある基線長分だけ離れた二箇所からの観察画像と等価な左右画像が画像のほぼ中央部で二分割された形でレンズ系13を経て結像される。 On 14, the observation image equivalent to the left and right images from two positions separated by certain base length component is imaged through a lens system 13 at substantially the central portion bisected in image configuration.

【0030】このように、ステレオアダプタ2を既存のカメラに取り付けるだけで簡単にステレオ撮影が可能になる。 [0030] In this way, it is possible to simply by stereo photography installing a stereo adapter 2 to the existing camera.

【0031】CCD14での結像画像は、図3に示す原画像選択部23により動画像か静止画像かが選択され出力されている。 The imaging images in CCD14 are either moving images or a still image is selectively output by the original image selecting unit 23 shown in FIG.

【0032】つまり、CCD14での結像画像は、通常、ドラフトモードと呼ばれるCCD画素の間引き読み出し方式により、ビデオ信号準拠の動画取得画像15′ [0032] That is, imaging an image in CCD14 typically by skip reading method of the CCD pixels called draft mode, moving the acquired image 15 of the compliant video signals'
を出力し、図示せぬ所望の液晶モニタドライブ用信号処理回路を経てカメラ本体1の裏面部に搭載された液晶モニタ4に動画として提示されている。 Outputs, are presented as a moving image on the liquid crystal monitor 4 mounted on the rear surface of the camera body 1 through a desired liquid crystal monitor drive signal processing circuit, not shown.

【0033】操作者は、カメラ本体1に設けられた接眼式のビューファインダ5か、前記の液晶モニタ4による対象物体10の観察画像を見ながら画角、ピント、明るさなどを確認、図示せぬオートフォーカス、ズーム機能などを用いて調節し、カメラ本体1上面に設けられたシャッター6を押下することによって、今度は、CCD1 The operator, or eye-type viewfinder 5 provided in the camera body 1, the angle of view while looking at an observation image of the target object 10 by the liquid crystal monitor 4, focus, check the brightness, shown unexpected autofocus, by adjusted by using a zoom function, the user presses the shutter 6 provided in the camera body 1 top, in turn, CCD 1
4の全画素を呼び出すことにより静止画像を撮影する。 A still image capturing by calling all the pixels of the 4.

【0034】デジタルカメラによってはドラフトモードを具備していない機種もあり、その場合には、静止取得画像15が液晶モニタ4に提示されることになるため、 [0034] by a digital camera is also model that does not include a draft mode, in which case, since the still acquired image 15 is to be presented on the LCD monitor 4,
この静止取得画像15も同様に図示せぬ所望の信号処理回路を経て撮影と同時に、または直後に液晶モニタ4に提示される。 The still obtained image 15 simultaneously with photographing through a desired signal processing circuit (not shown) in the same manner, or is presented on the LCD monitor 4 immediately.

【0035】ステレオアダプタ2の使用により、これら静止取得画像、動画取得画像ともに左右の分割画像として液晶モニタ4に提示される。 [0035] The use of a stereo adapter 2, these still acquired images are presented on the LCD monitor 4 as a divided image of the left and right video acquired image both.

【0036】さらに、これと同時に、これら静止取得画像、動画取得画像ともに、図3に示す画像記録装置17 Furthermore, the same time, they still get image, the moving image obtaining image both image recording apparatus shown in FIG. 3 17
によって記録メモリに保存される。 It is stored in the recording memory by.

【0037】記録された画像は、主機能切替えダイヤル8にて、再生を選択すれば液晶モニタ4に様々な形態で呼び出すことが可能である。 The recorded image is at the main function switching dial 8, it is possible to call in various forms on the liquid crystal monitor 4 by selecting the playback.

【0038】このようにして取得された静止取得画像1 The still obtaining images 1 obtained this way
5は、図3に示す3次元形状再構成部16に入力され、 5 is input to the three-dimensional shape reconstruction unit 16 shown in FIG. 3,
予め、別途獲得の3次元形状再構成に必要なカメラキャリブレーションパラメータを用いて所望のステレオマッチング処理により、3次元距離マップデータ及びテクスチャマッピング用画像データからなる3次元形状再構成画像が生成される。 Previously, the desired stereo matching, a three-dimensional shape reconstructed image consisting of three-dimensional distance map data and texture mapping image data generated by using the camera calibration parameters required separately 3D shape reconstruction acquisition .

【0039】一般に、3次元形状再構成には多大な処理時間がかかるため、後述の3次元画像精度操作部21によるモードの選択によっては、テクスチャマッピング処理をオフにすることも可能である。 [0039] Generally, it takes a great deal of processing time to the three-dimensional shape reconstruction, depending on the selected mode by 3D image precision operation unit 21 to be described later, it is also possible to turn off texture mapping.

【0040】その場合には、3次元形状再構成部16において既述のテクスチャーマッピング用画像データの生成は行われないため、より短時間で3次元形状再構成画像出力を提示することが可能になる。 [0040] In this case, since the three-dimensional shape reconstruction unit 16 generates the image data for aforementioned texture mapping not performed, to be capable of presenting a shorter time 3D shape reconstruction image output Become.

【0041】さらに、3次元形状再構成部16の処理能力がテクスチャーマッピングの処理機能を搭載しないことも可能である。 [0041] Further, it is also possible to process capability of the three-dimensional shape reconstruction unit 16 is not mounted the processing function of texture mapping.

【0042】この場合にも、3次元形状再構成部16からの出力は、グレイシェーディング標示によりリアルティは劣るが、3次元形状計測が行えたか否かを確認するには十分である。 [0042] Also in this case, the output from the three-dimensional shape reconstruction unit 16 is Realty is inferior by gray shading indication is sufficient to verify whether performed is three-dimensional shape measurement.

【0043】以下は、テクスチャマッピング処理が行われる場合に関して説明する。 [0043] Hereinafter will be described with respect to the case where texture mapping is performed.

【0044】図3は、本発明の第1の実施の形態による3次元再構成装置の構成を示すブロック図である。 [0044] Figure 3 is a block diagram showing the configuration of a three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【0045】この図3に示すように、3次元形状再構成部16は、3次元画像操作部20により操作者が指示した3次元形状再構成物体画像の観察位置及び姿勢を入力として、その指令値に基づいた三次元形状再構成物体画像の回転、移動の座標変換を行って、距離マップデータにテクスチャマッピングが施された画像信号を出力する。 [0045] As this, as shown in FIG. 3, the three-dimensional shape reconstruction unit 16, inputs the observation position and orientation of the three-dimensional shape reconstructed image the operator has instructed by the three-dimensional image manipulation section 20, the instruction rotation of the three-dimensional shape reconstructed image based on the value, by performing coordinate conversion of the movement, the texture mapping outputs the image signal subjected to the distance map data.

【0046】この場合、位置、姿勢の指令値としては、 [0046] In this case, the position, as a command value of attitude,
予め、規定した直交座標系に対してX軸、Y軸、Z軸方向の並進及びX軸周り、Y軸周り、Z軸周りの回転の最大6自由度が考えられるが、3次元画像操作部20の製作上の制限などにより、操作可能な自由度を6未満にしても構わない。 Previously, the X-axis with respect to defined the orthogonal coordinate system, the Y-axis, translational and X axis about the Z-axis direction, around the Y axis, but up to 6 degrees of freedom of rotation around the Z-axis is considered, the three-dimensional image manipulation section due limitations 20 fabrication, it may also be operable freedom to less than 6.

【0047】図4は、実際に撮像装置1に既存のスイッチ、レバーに既述の操作機能を割り当てた例で、提示画像のために設定した基準座標系に対して、ズームレバー7でZ軸方向の並進、メニュー選択用の+字カーソルキー9の上下キー機能にX軸周りの回転θx、左右キー機能にY軸周りの回転θyを割り当てた例である。 [0047] Figure 4 is actually existing switches the imaging apparatus 1, an example in which allocated the above-described operation function to the lever, with respect to the reference coordinate system set for the presentation image, Z-axis in the zoom lever 7 direction of translation, an example of assigning the rotation θy about the Y axis to the rotation [theta] x, the left and right keys function about the X axis in the vertical key function menu selection for the + character cursor keys 9.

【0048】本来、これらのスイッチ、レバーには別機能が割り当てられているが、モード選択によって3次元形状再構成物体画像が提示されるようになっている場合には、同時にズーム操作やメニュー選択操作は行わないため、上記のような機能割り当てをすることが可能になる。 [0048] Originally, these switches, but the lever has another function is assigned, when the three-dimensional shape reconstructed image by the mode selection is to be presented simultaneously zooming and menu selection since the operation is not performed, it is possible to the function assignment as described above.

【0049】そして、3次元形状再構成物体画像を提示するモードから抜けたいときには、カメラ本体1に設けられたメニュー選択キー22の押下により行うことができるようになる。 [0049] Then, when you want exit from the mode of presenting the three-dimensional shape reconstructed image, it is possible to perform by pressing a menu selection key 22 provided on the camera body 1.

【0050】これによって、通常の撮影モードに戻れば、ズームレバー7、+字カーソルキー9は本来の機能が再割り当てされる。 [0050] Thus, if the return to the normal recording mode, the zoom lever 7, +-shaped cursor key 9 is re-assigned the original function.

【0051】図4は、本発明の第1の実施の形態による3次元再構成装置の動作を説明するために示す図である。 [0051] Figure 4 is a view for explaining the operation of the three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【0052】なお、図4は、基本的には、図1と同等であり、同じ番号を付したものは図1と同等のものを示している。 [0052] Incidentally, FIG. 4 is basically the same as FIG. 1, that denoted by the same numerals indicate the equivalent of Figure 1.

【0053】また、図4では、スイッチ、レバーの説明に特に不要であるものは番号を付すことを省略している。 [0053] Further, in FIG. 4, switches, those which are particularly required in the description of the lever is omitted that numbered.

【0054】さらに、図4では、対象物体の2次元画像ではなくて3次元形状再構成画像であることを強調するためにハッチングを施して描画している。 [0054] Further, in FIG. 4, it is drawn hatched in order to emphasize that the two-dimensional image of the target object is a three-dimensional shape reconstructed image without.

【0055】以降の説明図でも同様の方式をとるものとする。 [0055] assumed to take the same manner also in the following illustration.

【0056】一般的に、3次元形状再構成物体画像の確認は、物体の輪郭部分や、前側に存在する物体で遮蔽された部分の確認作業が主である。 [0056] Generally, confirmation of a three-dimensional shape reconstructed image, and the object contour portion of the confirmation work of the portions shielded by the object existing in front is the main.

【0057】そして、既述の操作機能割り当ては、このような作業に最低限必要な自由度を操作者に提供するものであり、さらに既存のスイッチ、レバーを利用しているため生産コストの観点からも有利である。 [0057] Then, above-described operation function assignment, minimal there is provided the necessary flexibility to the operator, in view of production cost because it utilizes more existing switch, a lever such work from which it is also advantageous.

【0058】また、新たな操作キーを導入しない分、操作者が操作感を学習する負担も軽減することができる。 [0058] In addition, the amount that does not introduce a new operation key, it is also possible to reduce the burden of the operator to learn a sense of operation.

【0059】この割り当てはメニュー操作により、様々に再割り当てが可能であり、また回転軸の位置も別途メニュー調整可能である。 [0059] This assignment menu operation, but may be variously reassigned, and the position of the rotation axis can be separately menu adjustment.

【0060】また、3次元形状再構成画像は、図3に示している画像記録装置17に記録することも可能である。 [0060] Also, 3-dimensional shape reconstructed image can also be recorded in the image recording apparatus 17 which is shown in FIG.

【0061】その場合には、所望の画像圧縮方式に基づいて圧縮し、記録することも可能である。 [0061] In this case, compressed on the basis of the desired image compression method, it is possible to record.

【0062】さらに、記録した3次元画像は、再度、呼び出して3次元形状再構成画像として、図3に示す画像提示部19に提示することも可能である。 [0062] Further, the recorded three-dimensional image again, as a three-dimensional shape reconstructed image calling, can be presented to the image presenting unit 19 shown in FIG.

【0063】この画像提示部19は基本的には液晶モニタ4であるが、接眼式のビューファンダや図示せぬ外部モニタでも構わない。 [0063] While the image presenting unit 19 is basically the LCD monitor 4, it may be a eyepiece type view Fanda and not shown external monitor.

【0064】この画像提示部19の方式もCRTや液晶、さらにはタッチ入力機能を備えたのものなど様々に考えられる。 [0064] scheme also CRT or a liquid crystal of the image presenting unit 19, furthermore conceivable variety such as those provided with a touch input function.

【0065】続いて、3次元形状再構成画像を取得する際の一連の作業における出力画像の形態に関して説明を行う。 [0065] Subsequently, a description in form of an output image in a series of operations for acquiring a three-dimensional shape reconstructed image.

【0066】まず、出力画像選択部18による画像選択は、メニュー選択キー22によって呼び出され液晶モニタ4上のメニュー操作により行われる。 [0066] First, the image selection by the output image selection section 18, called by the menu selection key 22 is performed by a menu operation on the LCD monitor 4.

【0067】図5は、本発明の第1の実施の形態による3次元再構成装置の動作を説明するために示す図である。 [0067] Figure 5 is a view for explaining the operation of the three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【0068】この図5に示すように、静止画取得画像− [0068] As shown in FIG. 5, the still image acquired images -
静止3次元形状再構成画像提示モードでは、接眼式ビューファインダ5による撮影アングル確認後、シャッター6が押下されるまでは液晶モニタ4には画像提示は行われず、シャッター6の押下後、静止取得画像15が液晶モニタ4に静止画としてまず提示される。 The static 3-dimensional shape reconstructed image presentation mode after confirming photographing angle by the eyepiece viewfinder 5, the image presentation is not performed on the liquid crystal monitor 4 until the shutter 6 is pushed down, after depression of the shutter 6, still obtaining images 15 is first presented as a still image on the LCD monitor 4.

【0069】続いて、3次元形状再構成部16における演算完了をトリガーに3次元形状再構成画像が液晶モニタ4に提示される。 [0069] Then, three-dimensional shape reconstructed image trigger operation completion in 3-dimensional shape reconstruction unit 16 is presented on the LCD monitor 4.

【0070】この場合、3次元形状再構成画像のみが提示されるだけで、静止取得画像15を表示しなくても構わない。 [0070] In this case, only the only three-dimensional shape reconstructed image is presented, it may be without displaying a still acquired image 15.

【0071】ここでは、動画再生を伴わないため、これらのモードは、ドラフト再生モードを有していないデジタルカメラに有効である。 [0071] Here, since without video playback, these modes are effective in a digital camera that does not have a draft playback mode.

【0072】図6は、本発明の第1の実施の形態による3次元再構成装置の動作を説明するために示す図である。 [0072] Figure 6 is a view for explaining the operation of the three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【0073】この図6に示すように、動画取得画像−静止3次元形状再構成画像提示モードでは、ドラフト再生モードでステレオアダプタを利用して取得した動画再生画像15′を液晶モニタ4に提示している。 [0073] As shown in FIG. 6, moving the acquired image - a stationary three-dimensional shape reconstructed image presentation mode presents the video playback image 15 'obtained by using a stereo adapter in the draft reproduction mode to the LCD monitor 4 ing.

【0074】従って、左右分割画像ではあるが、通常のディジタルカメラ同様に撮影アングルをリアルタイムで確認することが可能である。 [0074] Thus, although the right and left divided image is the normal digital camera likewise photographing angle can be confirmed in real time.

【0075】撮影アングルが決定され、シャッター6の押下後、まず、静止取得画像15が液晶モニタ4に提示される。 [0075] photographing angle is determined, after depression of the shutter 6, firstly, still obtaining an image 15 is presented on the LCD monitor 4.

【0076】その後、3次元形状再構成部16での3次元形状再構成処理完了をトリガーに3次元形状再構成画像が液晶モニタ4に提示される。 [0076] Then, three-dimensional shape reconstructed image trigger the three-dimensional shape reconstruction process completed in the three-dimensional shape reconstruction unit 16 is presented on the LCD monitor 4.

【0077】図5の場合と同様、静止取得画像15の提示の必要がない場合には、非表示としても構わない。 [0077] As in the case of FIG. 5, when there is no need for the presentation of the still acquired image 15, it may be hidden.

【0078】図7は、本発明の第1の実施の形態による3次元再構成装置の動作を説明するために示す図である。 [0078] Figure 7 is a diagram for explaining the operation of the three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【0079】この図7に示すように、動画3次元形状再構成画像−静止3次元形状再構成画像提示モードでは、 [0079] As shown in FIG. 7, moving 3-dimensional shape reconstructed image - a stationary three-dimensional shape reconstructed image presentation mode,
シャッター6が押下される前も、常に、動画取得画像1 Even before the shutter 6 is pushed down, always moving image obtaining image 1
5′を入力とし3次元画像再構成部16により動画として再構成された動画3次元形状再構成画像が、液晶モニタ4に提示されている。 Reconstructed video 3D shape reconstruction image 5 'as moving the three-dimensional image reconstruction unit 16 as an input is presented on the LCD monitor 4.

【0080】従って、この段階でも液晶モニタ4において、3次元形状再構成物体画像の回転、移動が行えるので、3次元形状再構成結果の良否判定がほぼリアルタイムで行えるようになる。 [0080] Thus, the liquid crystal monitor 4 even at this stage, the rotation of the three-dimensional shape reconstructed image, since allows movement will allow near real-time is quality determination of the three-dimensional shape reconstruction results.

【0081】そして、操作者が、3次元形状再構成結果を十分に確認した上でシャッター6を押下することにより、静止3次元形状再構成画像が取得され、液晶モニタ4にその画像が提示される。 [0081] Then, the operator has pressed the shutter 6 after confirming sufficient 3D shape reconstruction result, static 3D shape reconstruction image is acquired, the image is presented on the LCD monitor 4 that.

【0082】上記動画3次元形状再構成画像−静止3次元形状再構成画像提示モードでは、理想的には、最高精度での動画3次元形状再構成画像が液晶モニタ4に提示されていることが望ましい。 [0082] The moving image three-dimensional shape reconstructed image - in the still 3D shape reconstruction image presentation mode, ideally, be moving three-dimensional shape reconstructed image at the highest accuracy are presented on the LCD monitor 4 desirable.

【0083】しかるに、演算処理能力の制限等によりその実現が難しい場合には、動画として再現されるフレームレートとの低減や、3次元形状再構成されるポリゴン数の制限、テクスチャーマッピングの取りやめ等により、3次元形状再構成画像の良否判定を損なわない程度の間引き作業を行っても構わない。 [0083] However, if its realization is difficult due to limitations such as the computing power is reduced or the frame rate to be reproduced as a moving picture, three-dimensional shape reconstructed polygon number restriction, the canceled like the texture mapping , it may be thinned out work to the extent that does not impair the quality determination of the three-dimensional shape reconstructed image.

【0084】その場合でも、最終的にシャッター6を押下した後に取得される静止3次元形状再構成画像が、最高精度の3次元形状再構成処理を行っていれば、この段階での画質良否判定が行えるので問題は生じない。 [0084] Even in this case, still three-dimensional shape reconstructed image is finally obtained after pressing the shutter 6, if performing a three-dimensional shape reconstruction process highest accuracy, quality quality determination at this stage is no problem since performed.

【0085】また、動画3次元形状再構成画像を液晶モニタ4にて再生中においては、実際には、例えば、ズームレバー7は、実際にズームのテレ、ワイド作業に利用されている。 [0085] Also, during reproducing a three-dimensional shape reconstructed image video on the liquid crystal monitor 4, in fact, for example, the zoom lever 7 is actually utilized telephoto zoom, wide work.

【0086】このため、3次元形状再構成画像の移動、 [0086] the movement of this end, three-dimensional shape reconstructed image,
回転作業はこのままでは行えないが、この場合には、メニュー選択キー22を押下し、メニューモードに入り、 The rotating work can not be performed while this, in this case, by pressing the menu selection key 22, enter the menu mode,
機能切替えを行えばズーム操作を取りやめ、ズーム状態は固定のまま3次元形状再構成画像を回転移動して確認する作業を行うことが可能である。 Cancel the zoom operation by performing the function switching, zoom state is possible to perform the operation of confirming the rotating moving the three-dimensional shape reconstructed image remains fixed.

【0087】この作業を止めて、再び、ズームのテレ、 [0087] to stop this work, again, zoom tele,
ワイド作変更業を行いたい場合には、やはり、メニュー選択キー22を押下することにより、機能切り替えを行うことができる。 If you want to make a wide operation change industry, still, by pressing the menu selection key 22, it is possible to perform the function switching.

【0088】以上、図5乃至図7に記載のS、Mの記号は、実際に液晶モニタ4中に表示されている文字ではなく、説明として記載したもので、Sは静止画像、Mは動画像が提示されていることを示している。 [0088] above, S according to FIGS. 5 to 7, the symbol of the M actually not the character displayed in the LCD monitor 4, which was described as described, S is a still image, M is moving It indicates that the image is presented.

【0089】また、6自由度の矢印が記載されているものは、位置、姿勢の変更による3次元形状再構成画像の画像の良否判定が行えることを示す。 [0089] Moreover, what is described in six degrees of freedom arrow indicates that enable position, the quality determination of the image of the three-dimensional shape reconstructed image due to a change in posture.

【0090】また、図7の左側の画像のメッシュ画像は右側の最終出力画像に比べ画像精度を制限して提示される可能性があることを示している。 [0090] Further, mesh images on the left side of the image of FIG. 7 indicates that there is likely to be presented by limiting the image accuracy as compared to the right side of the final output image.

【0091】なお、3次元画像精度操作部20により指示される三次元形状再構成部16から画像出力の形態については、様々に考えられる。 [0091] Note that the embodiment of the image output from the three-dimensional shape reconstruction unit 16 which is indicated by the three-dimensional image precision operation unit 20 is variously considered.

【0092】すなわち、レンダリングの形態としてワイヤーフレーム、フルレンダリング、テクスチャーマッピング、ノンテクスチャーマッピング、などが考えられ、 [0092] That is, a wire frame in the form of rendering full rendering, texture mapping, non texture mapping, etc. are considered,
各形態の属性としては三角パッチの大きさや、張り付けるテクスチャーの画像解像度等がある。 Size and triangular patches as an attribute of each form, there is an image resolution and the like of the texture pasting.

【0093】これらの3次元画像精度操作部21による画像の形態の変更は、3次元形状再構成部16での画像処理の処理量にも影響を与え、その結果として描画スピードを増減させるため、ユーザーは撮影意図に応じて様々にこれらの設定を変更することが可能である。 [0093] Since the changes in form of the images by the three-dimensional image precision operation unit 21 also affects the amount of processing of the image processing in the three-dimensional shape reconstruction unit 16 increases or decreases the drawing speed as a result, Users can be variously change these settings to desired shot.

【0094】そして、3次元形状再構成部16は、例えば、画像処理に最適な単一命令複数データ同時実行(S [0094] Then, three-dimensional shape reconstruction unit 16, for example, the optimal single instruction multiple data simultaneously executed by the image processing (S
IMD)型の命令を備えた高速CPUが利用可能で、周辺部には取得画像の形態に応じてアナログ画像信号をデジタル画像信号に変換する回路の実装が必要な場合もある。 IMD) high-speed CPU having instructions are available, the peripheral portion may be required implementation of a circuit for converting an analog image signal into a digital image signal according to the form of the acquired image.

【0095】また、構成の一部として、例えば、Ope [0095] In addition, as part of the configuration, for example, Ope
nGLやDirectXなどのグラフィックライブラリに特化して開発された3次元画像描画用の既存CPUを主として、または併用して使用することが可能である。 Mainly nGL or existing CPU for specialized graphic library 3-dimensional image drawn was developed such as DirectX, or can in combination be used.

【0096】すなわち、3次元画像提示に特化したビデオフレームメモリのダブルバッファリング、ジオメトリ座標変換行列、透視変換手法、テクスチャーマッピング等の処理の工夫に煩わされることなく、汎用的な記述で描画の実現が可能となる。 [0096] That is, the double buffering of the video frame memory dedicated to the three-dimensional image presentation, geometric coordinate transformation matrix, perspective transformation techniques, without being troubled by devising processing such as texture mapping, rendering a generic description realization is possible.

【0097】なお、以上のような第1の実施の形態の各構成については、当然、各種の変形、変更が可能である。 [0097] Note that the respective configuration of the first embodiment as described above of course modified, changes are possible.

【0098】以下の説明で同じ番号を付したものは、第1の実施の形態と同等とする。 [0098] that given the same numbers in the following description are the same as in the first embodiment.

【0099】(第1の変形例)図8は、第1の実施の形態の第1の変形例を示す図である。 [0099] (First Modification) FIG 8 is a diagram showing a first modification of the first embodiment.

【0100】この図8に示すように、第1の変形例では、3次元画像操作部23をカメラ本体1と別体に設けたもので、3次元画像操作部23はジョイスティック2 [0100] As shown in FIG. 8, in the first modification, the three-dimensional image manipulation section 23 which was provided with the camera body 1 separately, the three-dimensional image manipulation section 23 joystick 2
4と、カメラ本体1に設けられた+字カーソルキー9と同じ役割を果たす+字カーソルキー9′が設けられ、カメラ本体1と有線で接続されている。 4, play the same role +-shaped cursor key 9 'is provided with +-shaped cursor key 9 provided on the camera body 1 is connected with the camera body 1 and the wire.

【0101】ここで、+字カーソルキー9′に対する3 [0101] Here, 3 with respect to the + shaped cursor key 9 '
次元形状再構成画像に対する回転機能の割付は、例えば、+字カーソルキー9への割り付けと同等で、ジョイスティック24の上下方向の操作は対象物体のZ軸方向への並進運動、ジョイスティック24の左左右方向の操作はX軸方向への並進運動を割り当てる。 Allocation of rotation function for dimension shape reconstructed image, for example, + shape equivalent to the assignment of the cursor key 9, the vertical direction of the operation of the joystick 24 is translational motion in the Z axis direction of the target object, the left left joystick 24 direction of the operating assign translational motion in the X-axis direction.

【0102】この場合、当然、操作性を考えて、これら操作の割り当ては自由に改変することが可能である。 [0102] In this case, of course, consider the operation of the allocation of these operations can be freely modified.

【0103】但し、本説明に用いた座標系は第1の実施の形態の説明で用いた、図4と同等とする。 [0103] However, the coordinate system used in this description is used in the description of the first embodiment, it is equivalent to Figure 4.

【0104】また、カメラ本体1と3次元画像操作部2 [0104] Also, the camera body 1 and the three-dimensional image manipulation section 2
3との接続は無線でも構わない。 3 connection with is not may be a radio.

【0105】さらに、メニュー選択キー22と同等の機能を有するスイッチを搭載する、その他のキーを別途設けるなどの工夫でユーザビリティーの向上を目指すことも可能である。 [0105] In addition, equipped with a switch that has a menu selection key 22 the same function, it is also possible to aim to improve the usability in devising such as the other key separately provided.

【0106】また、さらに、カスタム製の3次元画像操作部23を用いる代わりに、PC用の汎用的なマウス、 [0106] In addition, further, instead of using the 3-dimensional image manipulation section 23 made of custom, generic mouse for PC,
ホイルー付きマウスを等を利用して3次元画像操作部としても構わない。 It may be a 3-dimensional image manipulation section by using such a Hoiru with mouse.

【0107】この場合には、もしカメラ本体1に、予め、USBなどの汎用シリアルポートがあれば、このポートを利用して3次元画像操作部とカメラ本体1との接続をすることが可能になる。 [0107] In this case, if the camera body 1, previously, if there is a general-purpose serial port such as USB, to be capable of connection and 3D image manipulation section by using the port and the camera body 1 Become.

【0108】操作機能の割り当ても任意であるが、液晶モニタ4上に別途ユーザーインターフェース用のアイコンを描画して、操作機能を割り付けるのが望ましい。 [0108] Optionally also allocation of operation functions, draw a separate icon for user interface on the liquid crystal monitor 4, that allocates the operation function desired.

【0109】また、液晶パネルにタッチ操作機能があれば、これを利用することも可能である。 [0109] In addition, if there is a touch operation function on the liquid crystal panel, it is also possible to take advantage of this.

【0110】その場合にも、汎用マウスの利用同様に、 [0110] In this case as well, use well as general-purpose mouse,
アイコンの描画によるインターフェースが有効である。 Interface by the drawing of the icon is valid.

【0111】(第2の変形例)次に、第1の実施の形態の第2の変形例を図9、図10を用いて説明する。 [0111] (Second Modification) Next, a second modification example 9 of the first embodiment will be described with reference to FIG. 10.

【0112】上記第1の実施の形態で示した3次元画像再構成は、ステレオ距離計測による一例を示しているが、これは、3次元形状再構成の方法を特に規定するものではなく、例えば、シングルカメラによる異視点からの撮影画像を利用したステレオ距離撮影方式が考えられる。 [0112] 3-dimensional image reconstruction as shown in the first embodiment, is shown an example by the stereo distance measurement, which is not particularly define the method of three-dimensional shape reconstruction, e.g. , it is considered a stereo distance imaging method using the photographed images from a different point of view by a single camera.

【0113】図9では、まず、視点Aにおいて静止画を撮影し、続いてAとは異なる視点Bで同様に静止画像を取得する。 [0113] In Figure 9, first, the still image captured at the viewpoint A, followed by obtaining the same still images in different viewpoints B from A.

【0114】本説明では、3次元形状再構成アルゴリズムの詳細な議論は行わないが、これら異視点取得ステレオ画像からの3次元形状再構成は、複数画像からマッチングアルゴリズムを用いての対応点探索、対応点探索結果を利用しての各視点におけるカメラ位置、姿勢推定、 [0114] In this description, does not perform a detailed discussion of a three-dimensional shape reconstruction algorithm, the three-dimensional shape reconstruction from these different perspective taking stereo images, the corresponding point search using a matching algorithm from the plurality of images, camera position in each viewpoint by using corresponding point search result, pose estimation,
これらの推定情報を更に利用した対応点の算出を繰り返し法により精度良く算出することによって三角測量を行い、最終的に距離マップを求めると言うものが一般的である。 It performs triangulation by accurately calculated by repeating the calculation of the estimated information further corresponding points using method, which means ultimately determine the distance map is common.

【0115】これらのプロセスに基づき、液晶モニタ4 [0115] Based on these processes, the liquid crystal monitor 4
での表示画像は、図10に示すように、まず、視点Aでの静止取得画像を提示し、続いて視点Bにおける静止取得画像を提示し、3次元形状再構成部で既述の異視点ステレオ画像による3次元形状再構成アルゴリズムを用いて再構成処理を行い、この完了をトリガーとして3次元形状再構成画像を液晶モニタ4に提示するという手順を踏む。 Display image, as shown in FIG. 10, first, presents still obtaining images of the viewpoint A, followed by presenting the still acquired image at the viewpoint B, different viewpoints earlier in the three-dimensional shape reconstruction unit It performs reconstruction processing by using the three-dimensional shape reconstruction algorithm by the stereo image, stepping on the steps of presenting a 3-dimensional shape reconstructed image the completion as a trigger on the liquid crystal monitor 4.

【0116】さら、3次元形状再構成の方法は、既述の1つの撮像系に対してステレオアダプタを用いて行ったステレオ撮影にテクスチャー投影やパターン縞投影を組み合わせたものや、複数の撮像系でステレオ撮影を行ったもの、および複数の撮像系の撮影に加えテクスチャー投影やパターン縞投影を組み合わせたもの、レーザースリットスキャン方式など様々に考えられる。 [0116] Further, the method of three-dimensional shape reconstruction a combination of texture projection and pattern fringe projection stereo imaging was performed using a stereo adapter for one of the imaging system described above and, a plurality of imaging systems in those subjected to stereoscopic photography, and a combination of textures projection and pattern fringe projection addition to the imaging of a plurality of imaging systems, it is considered different, laser slit scan method.

【0117】(第2の実施の形態)次に、第2の実施の形態を図3、図11を用いて説明する。 [0117] (Second Embodiment) Next, Fig. 3 a second embodiment will be described with reference to FIG. 11.

【0118】図11に示す第2の実施の形態による3次元再構成装置25は、まず、図示せぬ信号入出力部を用いてカメラ本体1と接続されている。 [0118] Figure 11 illustrates a second three-dimensional reconstruction apparatus according to the embodiment 25, first, is connected to the camera body 1 by using a signal output section (not shown).

【0119】接続方法はUSBやIEEE1394、又は、ビデオ信号とシリアル通信信号接続などを利用して必要な画像情報、制御信号を送受信する。 [0119] The connection method USB or IEEE1394, or a video signal and an image information required by using a serial communication signal connections, to send and receive control signals.

【0120】ここでは、結果的に画像と制御情報を送受信できれば良く、その手法は問わない。 [0120] Here, consequently it is sufficient transmitting image and control information, no matter its method.

【0121】カメラ本体1から前記信号入出力部を経て入手した動画取得画像15′、静止取得画像15の画像より、3次元再構成装置25に設けられた3次元再構成部16により、3次元形状画像を生成する。 [0121] The camera body 1 moving the acquired image 15 obtained through the signal output unit from ', from the image of the still acquired image 15, the three-dimensional reconstruction unit 16 provided in the three-dimensional reconstruction unit 25, a three-dimensional generating a shape image.

【0122】この3次元再構成の方法は、本発明の第1 [0122] The method of the three-dimensional reconstruction, the first invention
の実施の形態で説明した方法と同様である。 It is similar to the method described in the embodiment of.

【0123】そして、生成された3次元再構成画像は、 [0123] The generated three-dimensional reconstructed image,
3次元再構成装置25に設けられた画像提示部4′に提示される。 It is presented to the image presenting unit 4 'provided in the three-dimensional reconstruction unit 25.

【0124】ここで、提示された3次元再構成画像を移動、回転して画像確認を行なう手法に関しても、本発明の第1の実施の形態において説明したものと同様である。 [0124] Here, moving the three-dimensional reconstruction image presented, with regard technique rotated performing image confirmation is the same as that described in the first embodiment of the present invention.

【0125】また、3次元再構成装置25には、第1の実施の形態で説明を行った機能部と同等の機能を持った画像提示部4′、3次元画像提示部20としてのズームレバー7′、3次元画像精度操作部21としての+字カーソルキー9″や主機能選択キー3′、メニュー選択キー22′、シャッター6′などが搭載されている。 [0125] Further, the three-dimensional reconstruction unit 25, an image presentation unit having a functional unit equivalent function has been described in the first embodiment 4 ', the zoom lever as a three-dimensional image presentation unit 20 7 ', the three-dimensional image precision operation unit 21 as the + character cursor key 9 "and key function selection keys 3', a menu selection key 22 ', the shutter 6', etc. are mounted.

【0126】そして、この3次元再構成装置25は、ズーム、フォーカスロック、シャッター、メニュー選択などのカメラとしての基本操作機能を実現するとともに、 [0126] Then, the three-dimensional reconstruction unit 25, zoom, focus lock, shutter, with realizing the basic operating functions of the camera such as a menu selection,
カメラ本体1で取得した画像から3次元画像を再構成し、回転、移動操作を行って3次元画像の良否を確認するために必要な諸機能を実現する。 Reconstructs a three-dimensional image from the acquired image by the camera body 1, the rotation, it realizes various functions necessary to verify the quality of the 3-dimensional image by performing the moving operation.

【0127】なお、カメラ本体1の諸機能の操作をリモートでも実現できるように、この3次元再構成装置25 [0127] Incidentally, the operation of the various functions of the camera body 1 so that it can be implemented remotely, the three-dimensional reconstruction unit 25
には、カメラ本体1とほぼ同等の操作インターフェースを備えたが、本変更例はこれを規定するものではなく、 Include, but with almost the same operation interface between the camera body 1, this modification is not intended to define the same,
3次元画像操作や3次元画像精度操作のためのインターフェースを任意に設定可能である。 An interface for 3D image manipulation and three-dimensional image precision operation can be arbitrarily set.

【0128】また、カメラ本体1と3次元再構成装置2 [0128] Also, the camera body 1 and the three-dimensional reconstruction unit 2
5との接続を有線で行なっているが、無線でも構わない。 It is performed 5 and of the wired connection, but may be wireless.

【0129】このように、3次元形状再構成機能の大半を実現する3次元再構成装置25を外部に設けることによって、カメラ本体1の基本機能を変更することなしに、3次元形状再構成が実現可能になる。 [0129] Thus, by providing a three-dimensional reconstruction unit 25 for implementing the majority of the 3-dimensional shape reconstruction function to the outside, without changing the basic functionality of the camera body 1, the three-dimensional shape reconstruction It is possible to realize.

【0130】従って、在来の3次元形状再構成機能を有さないデジタルカメラを利用して3次元形状再構成画像の良否判断が可能になる。 [0130] Therefore, it is possible to quality determination of the three-dimensional shape reconstructed image using a digital camera having no three-dimensional shape reconfiguration conventional.

【0131】以上のようにして、本発明では、撮影と同時にまたは直後に撮影対象物体の3次元形状再構成画像として直接観察し、良否判断が可能となるので、取り直しの判断が容易になるとともに、撮影アングルや照明条件、背景条件などの変更と、これにより様々に変わっていく取得3次元画像の画質変化の対応がつかみやすく、 [0131] As described above, in the present invention, directly observed as a three-dimensional shape reconstructed image of the imaging target object simultaneously or immediately after the shooting, so it is possible to quality determination, along with the determination of retaking is facilitated , photographing angle and lighting conditions, and changes such as background conditions, thereby corresponding tends grasp the change in image quality in various unusual to go get the three-dimensional image,
どの条件を変更すれば撮影意図に最も適切な3次元画像が取得できるかが分かりやすくなる。 Most appropriate three-dimensional image on photographic intention by changing which conditions can be acquired easily understand.

【0132】そのため、結果的に画像の取りなおし回数が低減され、撮影装置としてのユーザビリティーが飛躍的に向上する。 [0132] Therefore, the number re take as a result, the image is reduced, usability as an imaging device is drastically improved.

【0133】さらに、取得3次元画像の確認が撮影を行ったときとは異視点にて行えるようにすることによって、取得3次元画像の境界部分の良否が理解しやすく、 [0133] In addition, the when the confirmation of the acquisition three-dimensional image was captured by the allow at different viewpoints, easy to understand the quality of the boundary portion of the acquired three-dimensional image,
対象物体の全周画像を取得しようとしている場合には、 When trying to get the entire periphery image of the target object,
続けて撮影すべき画像の撮影アングルを決定するのが容易になる。 Determining the image capturing angle of the to be photographed in succession is facilitated.

【0134】そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項1乃至5以外にも、以下に付記1乃至2として示すような発明が含まれている。 [0134] Then, the herein shown in the embodiment as described above, in addition to claims 1 to 5 shown in the claims, includes inventions shown as Appendix 1 to 2 below It has been.

【0135】(付記1)所定の距離離れた複数の視点から撮像対象を撮像した画像に基づいて撮像対象の3次元形状情報を取得し、前記撮像対象の3次元形状画像を表示するための信号を表示手段に出力する3次元形状取得方法であって、前記表示手段に表示されるべき3次元形状画像の視点位置を指定する3次元画像操作、および、 [0135] (Note 1) obtains a three-dimensional shape information of the imaging object based on the image of the captured imaging object from a plurality of viewpoints at a predetermined distance, the signal for displaying a three-dimensional shape image of the imaging target a three-dimensional shape acquisition method to be output to the display means, three-dimensional image manipulation for designating the viewpoint position of the three-dimensional shape image to be displayed on said display means, and,
前記表示手段に表示される前記3次元形状画像の画像精度を指定する3次元画像精度操作の少なくとも一方を行うステップと、前記撮像された画像を基に3次元形状を再構成すると共に、前記3次元画像操作の指定に従い、 Wherein the step of performing at least one of the 3-dimensional image precision operation for specifying an image accuracy of the three-dimensional shape image displayed on the display unit, as well as reconstruct the 3-dimensional shape based on the captured image, the three as specified in the dimension image manipulation,
所望の視点から撮像対象を眺めた3次元形状画像を表示するための信号を生成かつ表示手段に出力する3次元画像再構成を行うステップと、を有することを特徴とする3次元形状取得方法。 3D shape acquisition method characterized by comprising the steps of: performing a 3-dimensional image reconstruction to be output to the generation and display means a signal for displaying a three-dimensional shape image viewing the imaging target from the desired viewpoint.

【0136】(付記2)異なる3次元形状画像を高速度で繰り返し表示が必要な動画表示の場合、表示情報量を削減することを特徴とする付記1に記載の3次元形状取得方法。 [0136] (Note 2) different three-dimensional shape image when displayed repeatedly moving image display required at high speed, three-dimensional shape acquisition method of statement 1, characterized in that to reduce the display information amount.

【0137】 [0137]

【発明の効果】従って、以上説明したように、本発明によれば、撮影された対象物体に対し、撮影と同時または撮影直後に、取得画像に基づく3次元形状再構成画像を様々な視点から眺めた画像として操作者に提示し、3次元形状再構成画像として取得画像の良否判定を簡易に、 Effect of the Invention] Accordingly, as described above, according to the present invention, with respect to captured target object, after capturing the same time or shooting, a three-dimensional shape reconstructed image based on the acquired images from different viewpoints presented to the operator as viewed image, a simple quality determination of the acquired image as a three-dimensional shape reconstructed image,
効果的に行える3次元形状取得装置を提供することができる。 It is possible to provide effectively perform three-dimensional shape acquiring unit.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】図1は、本発明の第1の実施の形態としてステレオアダプタ2を用いて、ステレオ方式で距離測定を行うデジタルカメラを主体とした撮像装置を裏面から見た様子を示す図である。 Figure 1 is using a stereo adapter 2 as a first embodiment of the present invention, a view showing a picture obtained by viewing an image pickup device consisting mainly of a digital camera for performing distance measurement by stereo method from the back surface is there.

【図2】図2は、図1のステレオアダプタ2の概念図を示す図である。 Figure 2 is a diagram showing a conceptual diagram of a stereo adapter 2 in Figure 1.

【図3】図3は、本発明の第1の実施の形態による3次元再構成装置の構成を示すブロック図である。 Figure 3 is a block diagram showing the configuration of a three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【図4】図4は、本発明の第1の実施の形態による3次元再構成装置の動作を説明するために示す図である。 Figure 4 is a view for explaining the operation of the three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【図5】図5は、本発明の第1の実施の形態による3次元再構成装置の動作を説明するために示す図である。 Figure 5 is a view for explaining the operation of the three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【図6】図6は、本発明の第1の実施の形態による3次元再構成装置の動作を説明するために示す図である。 Figure 6 is a view for explaining the operation of the three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【図7】図7は、本発明の第1の実施の形態による3次元再構成装置の動作を説明するために示す図である。 Figure 7 is a diagram for explaining the operation of the three-dimensional reconstruction apparatus according to the first embodiment of the present invention.

【図8】図8は、第1の実施の形態の第1の変形例の構成を示す図である。 Figure 8 is a diagram showing a configuration of a first modification of the first embodiment.

【図9】図9は、第1の実施の形態の第2の変形例の構成を示す図である。 Figure 9 is a diagram showing a configuration of a second modification of the first embodiment.

【図10】図10は、第1の実施の形態の第2の変形例の動作を説明するために示す図である。 Figure 10 is a diagram for explaining the operation of the second modification of the first embodiment.

【図11】図11は、本発明の第2の実施の形態による3次元再構成装置とカメラ本体との接続状態を撮像装置を裏面から見た様子として示す図である。 Figure 11 is a diagram showing a connection state between the second three-dimensional reconstruction unit and the camera body according to the embodiment of the present invention as a picture obtained by viewing the image pickup apparatus from the back.

【符号の説明】 DESCRIPTION OF SYMBOLS

2…ステレオアダプタ、 1…カメラ本体、 3…組み合わせレンズ部、 6…シャッター、 8…主機能切り替えダイヤル、 11、11′、12、12′…ミラー、 14…CCD、 13…レンズ系、 23…原画像選択部、 15′…動画取得画像、 4…液晶モニタ、 5…ビューファインダ、 10…対象物体、 6…シャッター、 15…静止取得画像、 17…画像記録装置、 20…3次元画像操作部、 16…3次元形状再構成部、 21…3次元画像精度操作部、 7…ズームレバー、 9…メニュー選択用の+字カーソルキー、 22…メニュー選択キー、 19…画像提示部、 18…出力画像選択部、 23…3次元画像操作部、 24…ジョイスティック、 9′…+字カーソルキー、 25…3次元再構成装置、 4′…画像提示部、 7′…3次 2 ... stereo adapter, 1 ... camera body, 3 ... combined lens unit, 6 ... shutter, 8 ... main function switching dial, 11, 11 ', 12, 12' ... mirror, 14 ... CCD, 13 ... lens system, 23 ... original image selecting unit, 15 '... video acquired image, 4 ... liquid crystal monitor, 5 ... viewfinder, 10 ... object, 6 ... shutter, 15 ... still acquired image, 17 ... image recording apparatus, 20 ... three-dimensional image manipulation section , 16 ... three-dimensional shape reconstruction unit, 21 ... three-dimensional image precision operation unit, 7 ... zoom lever, 9 ... menu selection for the + character cursor key, 22 ... menu selection key, 19 ... image presentation unit, 18 ... output image selection unit, 23 ... three-dimensional image manipulation section, 24 ... joystick, 9 '... +-shaped cursor key, 25 ... three-dimensional reconstruction unit, 4' ... image presenting unit 7 '... cubic 画像提示部20としてのズームレバー7′、 9″…3次元画像精度操作部21としての+字カーソルキー、 3′…主機能選択キー、 22′…メニュー選択キー、 6′…シャッター。 Zoom lever 7 as the image presenting unit 20 ', 9 "... three-dimensional image precision operation unit 21 as the + character cursor keys, 3' ... primary function selection key 22 '... menu selection key, 6' ... shutter.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) H04N 5/225 H04N 5/225 Z 5C061 13/02 13/02 // H04N 101:00 101:00 Fターム(参考) 2H059 AA08 5B050 BA06 BA07 BA09 CA07 DA07 EA12 EA19 EA27 EA28 FA02 5B057 BA02 CA08 CA13 CA16 CB08 CB13 CD01 CE08 5B080 BA02 BA07 GA00 5C022 AA11 AA13 AB66 AB68 AC08 AC33 AC42 AC52 AC54 5C061 AA06 AA21 AB03 AB08 AB12 AB17 AB21 ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl 7 identification mark FI theme Court Bu (reference) H04N 5/225 H04N 5/225 Z 5C061 13/02 13/02 // H04N 101:. 00 101: 00 F term (reference) 2H059 AA08 5B050 BA06 BA07 BA09 CA07 DA07 EA12 EA19 EA27 EA28 FA02 5B057 BA02 CA08 CA13 CA16 CB08 CB13 CD01 CE08 5B080 BA02 BA07 GA00 5C022 AA11 AA13 AB66 AB68 AC08 AC33 AC42 AC52 AC54 5C061 AA06 AA21 AB03 AB08 AB12 AB17 AB21

Claims (5)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 所定の距離離れた複数の視点から撮像対象を撮像した画像に基づいて撮像対象の3次元形状情報を取得し、前記撮像対象の3次元形状画像を表示するための信号を表示手段に出力する3次元形状取得装置であって、 前記表示手段に表示されるべき3次元形状画像の視点位置を指定する3次元画像操作手段と、 前記撮像された画像を基に3次元形状を再構成すると共に、前記3次元画像操作手段の指定に従い、所望の視点から撮像対象を眺めた3次元形状画像を表示するための信号を生成かつ前記表示手段に出力する3次元画像再構成手段と、 を具備することを特徴とする3次元形状取得装置。 [Claim 1] to obtain three-dimensional shape information of the imaging object based on the image of the captured imaging object from a plurality of viewpoints at a predetermined distance, the display signals for displaying a three-dimensional shape image of the imaging target a three-dimensional shape acquiring device that outputs to the means, and a three-dimensional image operating means for specifying the point of view of the three-dimensional shape image to be displayed on the display means, the three-dimensional shape based on the captured image with reconstructing, as specified in the three-dimensional image manipulation means, the three-dimensional image reconstruction means for outputting the generated and the display means a signal for displaying a three-dimensional shape image viewing the imaging target from the desired viewpoint , 3-dimensional shape acquiring apparatus characterized by comprising a.
  2. 【請求項2】 前記表示手段に表示される前記3次元形状画像の画像精度を指定する3次元画像精度操作手段をさらに有することを特徴とする請求項1に記載の3次元形状取得装置。 2. A three-dimensional shape acquiring apparatus according to claim 1, further comprising a three-dimensional image accuracy operating means for designating an image accuracy of the three-dimensional shape image displayed on the display means.
  3. 【請求項3】 前記撮像対象の画像を取得するための撮像手段と、 前記撮像手段を操作するための操作入力手段とをさらに有し、 前記操作入力手段の少なくとも一部は、前記3次元画像操作手段または3次元画像精度操作手段と兼ねていることを特徴とする請求項1に記載の3次元形状取得装置。 Wherein the imaging means for capturing an image of the imaging target, further comprising an operation input means for operating the imaging means, at least a portion of said operation input means, the 3-dimensional image 3-dimensional shape acquiring apparatus according to claim 1, characterized in that also serves as an operating means or three-dimensional image accuracy operating means.
  4. 【請求項4】 異なる3次元形状画像を高速度で繰り返し表示が必要な動画表示の場合、表示情報量を削減することを特徴とする請求項1に記載の3次元形状取得装置。 4. A different 3-dimensional shape image when displayed repeatedly moving image display required at high speed, three-dimensional shape acquiring apparatus according to claim 1, characterized in that to reduce the display information amount.
  5. 【請求項5】 前記表示手段に表示される3次元形状画像の視点および画像精度の少なくとも一方を操作するための第2の3次元画像操作手段を接続し得るインターフェイスをさらに有することを特徴とする請求項1に記載の3次元形状取得装置。 Characterized by further comprising a 5. A interface capable of connecting the second three-dimensional image operating means for operating at least one of the viewpoint and the image accuracy of the three-dimensional shape image displayed on the display means 3-dimensional shape acquiring apparatus according to claim 1.
JP2001159521A 2001-05-28 2001-05-28 Three-dimensional image acquisition device Pending JP2002352271A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001159521A JP2002352271A (en) 2001-05-28 2001-05-28 Three-dimensional image acquisition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001159521A JP2002352271A (en) 2001-05-28 2001-05-28 Three-dimensional image acquisition device

Publications (1)

Publication Number Publication Date
JP2002352271A true true JP2002352271A (en) 2002-12-06

Family

ID=19003088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001159521A Pending JP2002352271A (en) 2001-05-28 2001-05-28 Three-dimensional image acquisition device

Country Status (1)

Country Link
JP (1) JP2002352271A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003104220A (en) * 2001-09-28 2003-04-09 Aisin Seiki Co Ltd Parking assist device
JP2008544681A (en) * 2005-06-23 2008-12-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Exchange coupled image and associated depth data
JP2009168536A (en) * 2008-01-15 2009-07-30 Fujifilm Corp Three-dimensional shape measuring device and method, three-dimensional shape regenerating device and method, and program
JP2011120235A (en) * 2009-12-07 2011-06-16 Sony Corp Three-dimensionally imaging device and method of generating three-dimensional image of object
JP2011172293A (en) * 2011-06-07 2011-09-01 Toshiba Corp Video processing apparatus, video processing method and program
JP2011176699A (en) * 2010-02-25 2011-09-08 Casio Computer Co Ltd Imaging apparatus, display method, and, program
JP2012253706A (en) * 2011-06-07 2012-12-20 Konica Minolta Holdings Inc Image processing device, program therefor, image processing system, and image processing method
US8619123B2 (en) 2010-01-20 2013-12-31 Kabushiki Kaisha Toshiba Video processing apparatus and method for scaling three-dimensional video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111951A (en) * 1996-10-04 1998-04-28 Canon Inc Method and device for image processing and storage medium
JPH11175900A (en) * 1997-12-05 1999-07-02 Ntt Data Corp Airspace design system
JP2000348213A (en) * 1999-06-07 2000-12-15 Sanyo Electric Co Ltd Three-dimensional image generating device, three- dimensional image generating and display device, and method thereof and recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111951A (en) * 1996-10-04 1998-04-28 Canon Inc Method and device for image processing and storage medium
JPH11175900A (en) * 1997-12-05 1999-07-02 Ntt Data Corp Airspace design system
JP2000348213A (en) * 1999-06-07 2000-12-15 Sanyo Electric Co Ltd Three-dimensional image generating device, three- dimensional image generating and display device, and method thereof and recording medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003104220A (en) * 2001-09-28 2003-04-09 Aisin Seiki Co Ltd Parking assist device
JP4567255B2 (en) * 2001-09-28 2010-10-20 アイシン精機株式会社 The parking assist system
JP2008544681A (en) * 2005-06-23 2008-12-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Exchange coupled image and associated depth data
JP2009168536A (en) * 2008-01-15 2009-07-30 Fujifilm Corp Three-dimensional shape measuring device and method, three-dimensional shape regenerating device and method, and program
JP2011120235A (en) * 2009-12-07 2011-06-16 Sony Corp Three-dimensionally imaging device and method of generating three-dimensional image of object
US8619123B2 (en) 2010-01-20 2013-12-31 Kabushiki Kaisha Toshiba Video processing apparatus and method for scaling three-dimensional video
JP2011176699A (en) * 2010-02-25 2011-09-08 Casio Computer Co Ltd Imaging apparatus, display method, and, program
JP2011172293A (en) * 2011-06-07 2011-09-01 Toshiba Corp Video processing apparatus, video processing method and program
JP2012253706A (en) * 2011-06-07 2012-12-20 Konica Minolta Holdings Inc Image processing device, program therefor, image processing system, and image processing method

Similar Documents

Publication Publication Date Title
US20040019255A1 (en) Measuring endoscope system
US20070171220A1 (en) Three-dimensional scan recovery
US20030071904A1 (en) Image capturing apparatus, image reproducing apparatus and program product
US20100097444A1 (en) Camera System for Creating an Image From a Plurality of Images
US20080246757A1 (en) 3D Image Generation and Display System
US6747610B1 (en) Stereoscopic image display apparatus capable of selectively displaying desired stereoscopic image
US20120242795A1 (en) Digital 3d camera using periodic illumination
US20070008499A1 (en) Image combining system, image combining method, and program
US20080024523A1 (en) Generating images combining real and virtual images
US8355042B2 (en) Controller in a camera for creating a panoramic image
US20110025830A1 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US6466701B1 (en) System and method for displaying an image indicating a positional relation between partially overlapping images
US20040076340A1 (en) Image processing apparatus and image processing method, storage medium and computer program
US6930685B1 (en) Image processing method and apparatus
JP2000276613A (en) Device and method for processing information
JP2001346226A (en) Image processor, stereoscopic photograph print system, image processing method, stereoscopic photograph print method, and medium recorded with processing program
JPH11211988A (en) Microscope image remote control system
US20040252205A1 (en) Image pickup apparatus and method for picking up a 3-D image using frames, and a recording medium that has recorded 3-D image pickup program
CN101189643A (en) 3D image forming and displaying system
CN101587386A (en) Method, device and system for processing cursor
JP2003078725A (en) Image input apparatus
US20070006091A1 (en) Image processing method and image processing apparatus
JP2003075136A (en) Measuring endoscope device
JPH10155109A (en) Image pickup method, device and storage medium
JP2003179798A (en) Digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100921