JP5167881B2 - Distance measuring device and program thereof - Google Patents

Distance measuring device and program thereof Download PDF

Info

Publication number
JP5167881B2
JP5167881B2 JP2008065024A JP2008065024A JP5167881B2 JP 5167881 B2 JP5167881 B2 JP 5167881B2 JP 2008065024 A JP2008065024 A JP 2008065024A JP 2008065024 A JP2008065024 A JP 2008065024A JP 5167881 B2 JP5167881 B2 JP 5167881B2
Authority
JP
Japan
Prior art keywords
feature point
feature
display
information indicating
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008065024A
Other languages
Japanese (ja)
Other versions
JP2009222446A (en
JP2009222446A5 (en
Inventor
光康 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2008065024A priority Critical patent/JP5167881B2/en
Publication of JP2009222446A publication Critical patent/JP2009222446A/en
Publication of JP2009222446A5 publication Critical patent/JP2009222446A5/ja
Application granted granted Critical
Publication of JP5167881B2 publication Critical patent/JP5167881B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、距離測定装置及びそのプログラムに関する。   The present invention relates to a distance measuring device and a program thereof.

撮像装置、たとえば、ステレオカメラにおいて、撮影した画像から2点を選択し、その2点間距離を測定する技術がある。   There is a technique for selecting two points from a captured image and measuring the distance between the two points in an imaging apparatus, for example, a stereo camera.

公開特許公報 特開平05−018748JP Patent Publication No. 05-018748

しかしながら、選択した2点のコントラストが全く無かった場合、2点間距離は、周囲のコントラストからの推定になるため、誤差が大きくなり正確に測定することは難しい。また、コンシューマ用のデジタルカメラとして考えた場合、簡単な操作方法で2点を選択できる必要がある。   However, if there is no contrast between the two selected points, the distance between the two points is estimated from the surrounding contrast, so that an error increases and it is difficult to measure accurately. When considered as a consumer digital camera, it is necessary to be able to select two points with a simple operation method.

そこで本発明は、精度の高い測定を優先した距離測定を簡単な操作で行なうことができる距離測定装置及びそのプログラムを提供すること目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide a distance measuring apparatus and a program for the distance measuring apparatus that can perform distance measurement with priority to highly accurate measurement with a simple operation.

上記目的達成のため、画像を取得する画像取得手段と、前記画像取得手段によって得られた画像から複数の特徴点を検出する検出手段と、前記検出手段によって検出された特徴点を示す情報を表示手段に表示させる表示制御手段と、前記表示手段に表示された情報から2つをユーザーに選択させる選択手段と、前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の距離を求める測距手段と前記選択手段によって2点を選択する際に、選択できる特徴点を制限する選択制限手段と、を備え、前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点をユーザーが選択した後、終点となる第2の特徴点を選択させ、前記選択制限手段は、前記選択手段によって第2の特徴点を選択する際、前記選択手段によって先に選択された第1の特徴点の位置から所定の範囲内にある特徴点を示す情報を選択するように選択できる範囲を制限することを特徴とする。 To achieve the above object, image acquisition means for acquiring an image, detection means for detecting a plurality of feature points from the image obtained by the image acquisition means, and information indicating the feature points detected by the detection means are displayed. A display control means to be displayed on the means, a selection means for allowing the user to select two from the information displayed on the display means, and a feature point corresponding to the information indicating the feature point selected by the selection means A distance measuring means for obtaining a distance between the two points and a selection restricting means for restricting a feature point that can be selected when two points are selected by the selecting means. After the user selects the first feature point that is the starting point for measuring the point, the second feature point that is the end point is selected, and the selection restricting unit selects the second feature point by the selecting unit , And limits the range that can be selected to select the information indicating the feature points from the position of the first feature points previously selected by said selection means within a predetermined range.

また、例えば、請求項2に記載されているように、前記検出手段は、前記画像取得手段によって得られた画像内から特徴点らしさを示す特徴点評価値を検出し、該検出された特徴点評価値が第1の範囲内である点を特徴点として検出するようにしてもよい。   Further, for example, as described in claim 2, the detection unit detects a feature point evaluation value indicating the likelihood of a feature point from within the image obtained by the image acquisition unit, and the detected feature point A point whose evaluation value is within the first range may be detected as a feature point.

また、例えば、請求項3に記載されているように、前記表示制御手段は、前記検出手段によって検出された特徴点の特徴点評価値に基づいて特徴点を示す情報を表示させるようにしてもよい。   For example, as described in claim 3, the display control unit may display information indicating the feature point based on the feature point evaluation value of the feature point detected by the detection unit. Good.

また、例えば、請求項4に記載されているように、前記表示制御手段は、前記特徴点評価値が第2の範囲内である点を特徴点として表示させるようにしてもよい。   Further, for example, as described in claim 4, the display control means may display a point where the feature point evaluation value is within a second range as a feature point.

また、例えば、請求項5に記載されているように、前記表示制御手段は、前記検出手段によって検出された特徴点のうち、前記特徴点評価値が高い順に、所定の数の特徴点を表示させるよう表示手段を制御するようにしてもよい。   For example, as described in claim 5, the display control unit displays a predetermined number of feature points in descending order of the feature point evaluation value among the feature points detected by the detection unit. You may make it control a display means to do.

また、例えば、請求項6に記載されているように、前記表示制御手段は、前記検出手段によって検出された特徴点のうち、前記特徴点評価値が高い順に順位付けをして、特徴点を示す情報を特徴点評価値の順位に基づいて識別表示させるように前記表示手段を制御するようにしてもよい。   For example, as described in claim 6, the display control unit ranks the feature points in descending order of the feature point evaluation values among the feature points detected by the detection unit. The display means may be controlled so as to identify and display the information to be displayed based on the ranking of the feature point evaluation values.

また、例えば、請求項7に記載されているように、前記表示制御手段は、前記表示手段によって表示された特徴点のうち、前記特徴点評価値が第3の範囲内である特徴点を示す情報と第3の範囲外である特徴点を示す情報とを識別表示するように前記表示手段を制御するようにしてもよい。   Further, for example, as described in claim 7, the display control unit indicates a feature point whose feature point evaluation value is within a third range among the feature points displayed by the display unit. The display means may be controlled so as to identify and display information and information indicating feature points that are out of the third range.

また、例えば、請求項8に記載されているように、前記表示制御手段は、特徴点を示す情報の表示の色、大きさ、形状のうち、少なくとも1つを変化させることで特徴点を示す情報を識別表示させるようにしてもよい。   Further, for example, as described in claim 8, the display control means indicates the feature point by changing at least one of the display color, size, and shape of the information indicating the feature point. Information may be identified and displayed.

また、例えば、請求項9に記載されているように、前記表示制御手段は、前記検出手段によって検出された特徴点のうち、前記画像取得手段によって得られた画像内の所定の範囲内の位置で検出された特徴点について特徴点を示す情報を前記表示手段に表示させるように制御するようにしてもよい。   Further, for example, as described in claim 9, the display control unit includes a position within a predetermined range in the image obtained by the image acquisition unit among the feature points detected by the detection unit. Control may be performed so that information indicating the feature point is displayed on the display means for the feature point detected in step (b).

また、例えば、請求項10に記載されているように、前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点を選択した後、終点となる第2の特徴点を選択し、前記選択手段によって前記第1の特徴点を選択する時と、前記第2の特徴点を選択する時とで、前記検出手段によって検出する特徴点の特徴点評価値の所定の範囲、又は前記表示制御手段によって表示制御する特徴点を示す情報の特徴点評価値の所定の範囲を変更する特徴点評価値範囲変更手段を更に備えるようにしてもよい。 Further, for example, as described in claim 10 , the selection unit selects a first feature point that is a starting point when the distance measurement unit measures a distance between two points, and then selects an end point. The feature point of the feature point detected by the detection unit when the second feature point is selected and the first feature point is selected by the selection unit and when the second feature point is selected. You may make it further provide the feature point evaluation value range change means which changes the predetermined range of the evaluation value, or the predetermined range of the feature point evaluation value of the information indicating the feature point to be displayed and controlled by the display control means.

また、例えば、請求項11に記載されているように、前記表示制御手段は、前記測距手段によって測定された2点の特徴点間の距離を表示手段に表示させる距離表示手段を更に備えるようにしてもよい。 For example, as described in claim 11 , the display control means further includes a distance display means for displaying a distance between two feature points measured by the distance measuring means on the display means. It may be.

また、例えば、請求項12に記載されているように、前記表示制御手段は、前記画像取得手段によって得られた画像を前記表示手段に表示し、前記検出手段によって特徴点が検出された位置と同じ位置に該特徴点を示す情報を表示させるようにしてもよい。 Further, for example, as described in claim 12 , the display control unit displays the image obtained by the image acquisition unit on the display unit, and the position where the feature point is detected by the detection unit. Information indicating the feature point may be displayed at the same position.

また、例えば、請求項13に記載されているように、前記測距手段は、前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の実寸距離を測定するようにしてもよい。 Further, for example, as described in claim 13 , the distance measuring unit measures an actual distance between two feature points corresponding to information indicating the feature point selected by the selection unit. May be.

上記目的達成のため請求項14記載の発明によるプログラムは、表示部を備えたコンピュータを、画像から複数の特徴点を検出する検出手段、前記検出手段によって検出された特徴点を示す情報を前記表示部に表示させる表示制御手段、前記表示部に表示された情報から2つをユーザーに選択させる選択手段、前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の距離を求める測距手段、前記選択手段によって2点を選択する際に、選択できる特徴点を制限する選択制限手段、として機能させ、前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点をユーザーが選択した後、終点となる第2の特徴点を選択させ、前記選択制限手段は、前記選択手段によって第2の特徴点を選択する際、前記選択手段によって先に選択された第1の特徴点の位置から所定の範囲内にある特徴点を示す情報を選択するように選択できる範囲を制限するように、機能させることを特徴とする距離測定プログラム。
To achieve the above object, a program according to a fourteenth aspect of the present invention is directed to a computer having a display unit, detecting means for detecting a plurality of feature points from an image, and displaying the information indicating the feature points detected by the detecting means. Display control means to be displayed on the part, selection means to allow the user to select two from the information displayed on the display part, distance between two feature points corresponding to information indicating the feature point selected by the selection means A distance measuring means for obtaining a point, and a selection restricting means for restricting selectable feature points when selecting two points by the selecting means. The selecting means measures a distance between the two points by the distance measuring means. After the user selects the first feature point that is the starting point for the selection, the second feature point that is the end point is selected, and the selection restricting unit selects the second feature point by the selecting unit. In this case, the selection unit is made to function so as to limit a selectable range so as to select information indicating a feature point within a predetermined range from the position of the first feature point previously selected by the selection unit. A distance measurement program.

本発明によれば、精度の高い測定を優先した距離測定を簡単な操作で行なうことができる距離測定装置及びそのプログラムを提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the distance measurement apparatus which can perform the distance measurement which gave priority to the measurement with high precision by simple operation, and its program can be provided.

以下、本第1の実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[第1の実施の形態]
A.デジタルカメラの構成
図1は、本発明にかかる撮像装置の一例としてのデジタルステレオカメラの一実施例の外観を示す図であり、図1(a)は正面図、図1(b)は背面図、図1(c)は上面図である、
図1で、ステレオデジタルカメラ1は、図1(a)に示すように正面側に2つの撮像レンズ2、3及びストロボ11を有している、また、ステレオデジタルカメラ1の背面には図1(b)に示すように、LCDモニタ4、カーソルキー5、SETキー6、距離測定キー7、メニューキー8等が設けられている、また、上面には図1(c)に示すように、シャッターボタン9、電源ボタン10が設けられている。図示されていないが側部にはパーソナルコンピュータ等とUSBケーブルを介して接続する場合に用いるUSB端子接続部が設けられている。
図2は図1に示したステレオデジタルカメラ1の電子回路構成の一実施例を示す図である。図2でステレオデジタルカメラ1は、2つのCMOSカメラモジュール210、220より、画像データとして取り込む。
Hereinafter, the first embodiment will be described in detail with reference to the drawings as an example in which the imaging apparatus of the present invention is applied to a digital camera.
[First embodiment]
A. 1 is a diagram showing the appearance of an embodiment of a digital stereo camera as an example of an image pickup apparatus according to the present invention. FIG. 1 (a) is a front view, and FIG. 1 (b) is a rear view. FIG. 1 (c) is a top view.
In FIG. 1, a stereo digital camera 1 has two imaging lenses 2 and 3 and a strobe 11 on the front side as shown in FIG. 1A. As shown in FIG. 1B, an LCD monitor 4, a cursor key 5, a SET key 6, a distance measuring key 7, a menu key 8 and the like are provided. Further, as shown in FIG. A shutter button 9 and a power button 10 are provided. Although not shown in the drawing, a USB terminal connection portion used when connecting to a personal computer or the like via a USB cable is provided on the side portion.
FIG. 2 is a diagram showing an embodiment of the electronic circuit configuration of the stereo digital camera 1 shown in FIG. In FIG. 2, the stereo digital camera 1 captures image data from the two CMOS camera modules 210 and 220.

CMOSカメラモジュール210内の動作について説明を行なう、撮影レンズ2より集められた光はCMOSセンサ212内にて光電変換、A/D変換され、デジタルデータとして出力される、CMOSセンサ212のデジタル出力は、CMOSセンサ212のカラーフィルタ配列(ベイヤー配列)に従った出力となる。CMOSセンサ212の出力は、ISP213に入力される、ISP213では、色の調整、ISP213からはY、Cb、Crとも8bitの解像度にて出力される。
CMOSカメラモジュール210とCMOSカメラモジュール220は同じものを用いる。CMOSカメラモジュール210、220からの出力(Y、Cr、Cbのデータ)は、DMA202によりワークメモリ204へ格納される。ワークメモリ204は、DRAM等で構成される。
The operation of the CMOS camera module 210 will be described. The light collected from the photographing lens 2 is photoelectrically converted and A / D converted in the CMOS sensor 212 and output as digital data. The output according to the color filter array (Bayer array) of the CMOS sensor 212 is obtained. The output of the CMOS sensor 212 is input to the ISP 213. The ISP 213 adjusts the color, and the ISP 213 outputs Y, Cb, and Cr at an 8-bit resolution.
The CMOS camera module 210 and the CMOS camera module 220 are the same. Outputs (Y, Cr, and Cb data) from the CMOS camera modules 210 and 220 are stored in the work memory 204 by the DMA 202. The work memory 204 is constituted by a DRAM or the like.

CPU201は、このステレオデジタルカメラ1全体の制御動作を司るものである。フラッシュメモリ203には、CPU201の動作プログラムが格納されている。また、撮影した画像データもフラッシュメモリ203に保存される。
CPU201は、キー入力部209からの状態信号に対応してフラッシュメモリ203等に格納されている各モードに対応する撮像プログラムやメニューデータを取り出して、ステレオデジタルカメラ1の各機能の実効制御を行なう。例えば、シャッターボタン9を押したときの撮影動作、記録、記録した画像の再生、表示、距離測定キー7を押したときの操作、メニューキー8を押したときのカーソルキー5等による機能選択メニューの表示制御や設定画面の表示制御を行なう。
The CPU 201 controls the overall control operation of the stereo digital camera 1. The flash memory 203 stores an operation program for the CPU 201. The captured image data is also stored in the flash memory 203.
The CPU 201 takes out an imaging program and menu data corresponding to each mode stored in the flash memory 203 or the like in response to a status signal from the key input unit 209, and performs effective control of each function of the stereo digital camera 1. . For example, the function selection menu by the shooting operation when the shutter button 9 is pressed, the recording, the reproduction of the recorded image, the display, the operation when the distance measurement key 7 is pressed, the cursor key 5 when the menu key 8 is pressed, etc. Display control and setting screen display control.

VRAM制御部205は、VRAM206より表示データを取り出し、表示部208へ表示する。VRAM206の表示データはCPU201により書き込まれる。
更にCPU201は、ワークメモリ204内に格納された2つのカメラモジュールから輝度信号Yにより、後述する方法にて2点間の距離を計算する。
USB制御部211を介してUSB接続端子部214に接続されたUSBケーブルにてパソコンと画像データの交換が可能になっている。
The VRAM control unit 205 extracts display data from the VRAM 206 and displays it on the display unit 208. Display data in the VRAM 206 is written by the CPU 201.
Further, the CPU 201 calculates the distance between the two points by the method described later, based on the luminance signal Y from the two camera modules stored in the work memory 204.
It is possible to exchange image data with a personal computer using a USB cable connected to the USB connection terminal unit 214 via the USB control unit 211.

図3に示すカメラの透視射影モデルにより、ステレオデジタルカメラの距離測定原理について説明する。
X、Y、Zからなる3次元直交座標系をカメラ座標と呼ぶこととする。カメラ座標は、カメラ302の光学中心を原点とし、Z軸をカメラの光学方向に一致させ、X軸とY軸は画像の横方向と縦方向に平行にとっている。ステレオデジタルカメラ1に対応する前記光学中心は、CMOSカメラモジュール210がカメラ302に対応するので、撮像レンズ2の光学中心となる。
光軸と画像面の交点を原点とし、また画素間隔を換算してカメラ座標と長さの単位を合わせた画像座標を、カメラ302側を(u,v)座標、カメラ3030側を(u’,v’)座標とする。
The distance measurement principle of the stereo digital camera will be described with reference to the perspective projection model of the camera shown in FIG.
A three-dimensional orthogonal coordinate system composed of X, Y, and Z will be referred to as camera coordinates. The camera coordinates have the optical center of the camera 302 as the origin, the Z axis coincides with the optical direction of the camera, and the X and Y axes are parallel to the horizontal and vertical directions of the image. The optical center corresponding to the stereo digital camera 1 becomes the optical center of the imaging lens 2 because the CMOS camera module 210 corresponds to the camera 302.
The coordinates of the camera axis and the length unit obtained by converting the pixel interval to the origin at the intersection of the optical axis and the image plane are the (u, v) coordinates on the camera 302 side, and (u ′) on the camera 3030 side. , V ′) coordinates.

カメラ302はカメラ303と光軸が平行に、且つ302の画像座標u軸とカメラ303の画像座標u’軸が同一直線状で同じ向きになるように設置されている。また、両者の焦点距離fや画素感覚は同じで、両者とも光軸とそれぞれの画像座標面が垂直に交わっている。この様な構成を平行ステレオとよび、ステレオデジタルカメラ1の2つのカメラモジュールは平行ステレオの構成となっている。   The camera 302 is installed so that the optical axis is parallel to the camera 303 and the image coordinate u-axis of 302 and the image coordinate u′-axis of the camera 303 are in the same straight line and in the same direction. Further, the focal length f and the pixel sensation of both are the same, and in both cases, the optical axis and the respective image coordinate planes intersect perpendicularly. Such a configuration is called parallel stereo, and the two camera modules of the stereo digital camera 1 have a parallel stereo configuration.

基線長(2つのカメラ光軸の感覚)をbとすると、A1点のカメラ座標(X1,Y1,Z1)は以下の式で表される。(u1,v1)は、カメラ302の画像座標の射影点、(u’1,v’1)はカメラ303の画像座標への射影点を表す。

Figure 0005167881
Assuming that the base line length (sense of two camera optical axes) is b, the camera coordinates (X1, Y1, Z1) of point A1 are expressed by the following equations. (U1, v1) represents a projection point of the image coordinates of the camera 302, and (u′1, v′1) represents a projection point of the camera 303 to the image coordinates.
Figure 0005167881

ステレオデジタルカメラ1の2つのカメラモジュール210,220からの撮像画像により、撮影画像内特定位置(たとえばu1,u2)に射影されたカメラ座標(たとえばA1)が求まる。カメラ座標上でのA2(不図示)も同様に(X2,Y2,Z2)と求まる。よって、A1とA2間の距離は以下により求めることができる。

Figure 0005167881
上記より平行ステレオの構成であれば、焦点距離f、基線長b、視差(u1−u’1)、画像座標(u1,v1)が判れば、2点間の距離が判ることになる、焦点距離fと基線長bを固定しておけば、撮像した2枚の画像により特定2点間の距離が判ることになる。 From the captured images from the two camera modules 210 and 220 of the stereo digital camera 1, the camera coordinates (for example, A1) projected onto the specific position (for example, u1 and u2) in the captured image are obtained. Similarly, A2 (not shown) on the camera coordinates is obtained as (X2, Y2, Z2). Therefore, the distance between A1 and A2 can be obtained as follows.
Figure 0005167881
From the above, in the case of the parallel stereo configuration, if the focal length f, the base length b, the parallax (u1-u′1), and the image coordinates (u1, v1) are known, the distance between the two points can be known. If the distance f and the base line length b are fixed, the distance between two specific points can be determined from the two captured images.

図4に、ステレオデジタルカメラ1にて撮像した2枚の輝度画像を示す。以降説明を行なう、特徴点抽出、テンプレートマッチング等の処理は全てそれぞれの輝度画像にて行なわれる。図4(a)は撮影レンズ3(カメラモジュール220)で、図4(b)は撮影レンズ2(カメラモジュール210)での撮影画像となる。(a)の画像内の各々のピクセルは、(b)の画像内ピクセルを各々所望の量u’方向へ平行に移動したものとなっている。   FIG. 4 shows two luminance images captured by the stereo digital camera 1. Processing such as feature point extraction and template matching, which will be described later, is performed on each luminance image. 4A shows a photographed image by the photographing lens 3 (camera module 220), and FIG. 4B shows a photographed image by the photographing lens 2 (camera module 210). Each pixel in the image of (a) is obtained by moving the pixel in the image of (b) in parallel in the desired amount u ′ direction.

ここで、図4(b)を基準画像、図4(a)を対象画像と呼ぶことにする。図5に図4(b)で示される基準画像より、画像内の特徴点501を抽出し画像上にプロットした状態を示す。特徴点501は、基準画像と対象画像2枚の視線(光線)が異なる撮影画像から前記視差を求めるために使用する。視差は、同じカメラ座標の点を考えたときに、2つの画像座標のu方向の差である。基準画像内の任意の位置を、対応する対象画像の中から見つけ出すのは困難である。基準画像から特徴のある位置を見つけ、その特徴のある位置と同じものを対応する対象画像の中から見つけ出す。   Here, FIG. 4B is referred to as a reference image, and FIG. 4A is referred to as a target image. FIG. 5 shows a state in which feature points 501 in the image are extracted from the reference image shown in FIG. 4B and plotted on the image. The feature point 501 is used to obtain the parallax from captured images in which the line of sight (light rays) of the reference image and the two target images are different. Parallax is the difference between the two image coordinates in the u direction when considering the same camera coordinate point. It is difficult to find an arbitrary position in the reference image from the corresponding target image. A characteristic position is found from the reference image, and the same position as the characteristic position is found from the corresponding target image.

先ず、特徴点はハリスのコーナー検出関数R_Hを用いる。基準画像の位置(u,v)における画素値をI(u,v)とするとき、共分散方向テンソル行列Gを考える。

Figure 0005167881
行列Gの2個の固有値が大きいときにはその位置にコーナーが存在する事を示しているので、コーナー検出関数Rは以下となる。det()は行列式を、tr()はトレース(対角成分の和)を表す。kは所望の定数であり、例えば0.04が用いられる。
Figure 0005167881
R_Hが閾値H1より大きければ、その位置にコーナーがあり特徴点とみなす。図5に、基準画像から特徴点検出をした結果をプロットしたものを示す。501で示される●が特徴点を示している。 First, the Harris corner detection function R_H is used as the feature point. A covariance direction tensor matrix G is considered when the pixel value at the position (u, v) of the reference image is I (u, v).
Figure 0005167881
When the two eigenvalues of the matrix G are large, it indicates that a corner exists at that position, so the corner detection function R is as follows. det () represents a determinant, and tr () represents a trace (sum of diagonal components). k is a desired constant, for example, 0.04 is used.
Figure 0005167881
If R_H is larger than the threshold value H1, there is a corner at that position and it is regarded as a feature point. FIG. 5 shows a plot of the result of feature point detection from the reference image. A black circle 501 indicates a feature point.

図5で示される基準画像上の特徴点501に対応する、対象画像内の位置をSSD(Sum of Squared Difference)によるテンプレートマッチングにより探す。テンプレートマッチングとは、2つの画像間の相違度を調べるために、画像を重ね合わせて違いを調べていく処理のことである。SSDによる相違度は次式で示される。

Figure 0005167881
但し、テンプレートの大きさをM×N、基準画像のテンプレートの位置における画素値をI、テンプレートと重ね合わせたる対象画像の画素値をTとする。基準画像の特徴点は(u,v)の座標点となる、対象画像の(u’,v’)は、u’座標の方向のみに並行にずらしていき、それぞれR_SSDを計算する。R_SSDは完全に一致すれば0になり、相違度が大きければ大きな値になる、例えば、R_SSDが一番小さい値が得られた(u’,v’)を対象画像での対応する位置とする。これにより視差(u−u’)が求まる。 The position in the target image corresponding to the feature point 501 on the reference image shown in FIG. 5 is searched by template matching using SSD (Sum of Squared Difference). Template matching is a process in which images are overlapped to check differences in order to check the degree of difference between two images. The dissimilarity by SSD is expressed by the following equation.
Figure 0005167881
However, the size of the template is M × N, the pixel value at the template position of the reference image is I, and the pixel value of the target image to be superimposed on the template is T. The feature point of the reference image is the coordinate point of (u, v). (U ′, v ′) of the target image is shifted in parallel only in the direction of the u ′ coordinate, and R_SSD is calculated for each. R_SSD becomes 0 when it completely matches, and becomes a large value when the degree of dissimilarity is large. For example, (u ′, v ′) at which the smallest value of R_SSD is obtained is set as a corresponding position in the target image. . Thereby, the parallax (u−u ′) is obtained.

図7のフローチャートを用いて、2点間の距離測定方法について詳細に説明をする。
シャッターボタン9が押されると、現在の状態が通常撮影モードであるか、距離測定モードであるか判定をする(701)。距離測定モードと通常撮影モードの切替えは、シャッターボタン9を押す前に距離測定キー7のトグル動作により決定されている。現在どちらのモードであるかは、LCDモニタ4上にアイコン等にてユーザーに通知を行なう。通常撮影モードであれば、2つのCMOSカメラモジュールで撮像した2つの画像をフラッシュメモリに保存する(702)。そして一方の画像をLCDモニタ4に表示する(703)。
The method for measuring the distance between two points will be described in detail using the flowchart of FIG.
When the shutter button 9 is pressed, it is determined whether the current state is the normal shooting mode or the distance measurement mode (701). Switching between the distance measurement mode and the normal photographing mode is determined by the toggle operation of the distance measurement key 7 before the shutter button 9 is pressed. Which mode is currently in use is notified to the user by an icon or the like on the LCD monitor 4. In the normal shooting mode, two images captured by the two CMOS camera modules are stored in the flash memory (702). One image is displayed on the LCD monitor 4 (703).

距離測定モードであった場合、710にて特徴点の閾値等の変数の初期化を行なう。特徴点を検出する際の特徴点評価値の最大値をH1_MAXとし、H1_MAXに特徴点を求めるときの評価関数の閾値の上限を代入する。例えば20とする。特徴点を検出する際の特徴点評価値の最小値をH1_MINとし、H1_MINに下限を代入する。例えば2とする。H1に特徴点評価関数の判定閾値の初期値を代入する。ここではH1_MAXとする。H1_MINの値が大きいほうが検出される特徴点の数が少なくなり、それぞれの特徴点は周囲に比べてより特徴的な点となっている。今回はハリスのコーナー検出関数を使用しているため、閾値H1が大きいほうが、明確なコーナーを検出する。Nは、2つの特徴点を距離測定ポイントとして選択するときに用いる変数で0に初期化をする。Nが0の時には距離測定用に特徴点を選択していない状態を表し、N=1では1つの距離測定用特徴点を選択していることとなる。S_Cは、左右カーソルで変更するときに使用する変数で1に初期化する。H1_Kは、前記閾値を上下カーソルで変更するときのステップ単位値であり、ここでは2に設定する。H1_Bは、一つ操作前のH1を格納する変数であり、H1と同じに初期化する。   If the mode is the distance measurement mode, variables such as threshold values of feature points are initialized at 710. The maximum value of the feature point evaluation value when detecting the feature point is set to H1_MAX, and the upper limit of the threshold value of the evaluation function for obtaining the feature point is substituted for H1_MAX. For example, 20 is set. The minimum value of the feature point evaluation value when detecting the feature point is set as H1_MIN, and the lower limit is substituted into H1_MIN. For example, assume 2. The initial value of the determination threshold value of the feature point evaluation function is substituted for H1. Here, it is assumed that H1_MAX. The larger the value of H1_MIN, the smaller the number of feature points detected, and each feature point is a more characteristic point than the surroundings. Since the Harris corner detection function is used this time, a clear corner is detected when the threshold value H1 is larger. N is a variable used when two feature points are selected as distance measurement points, and is initialized to zero. When N is 0, a feature point is not selected for distance measurement. When N = 1, one distance measurement feature point is selected. S_C is a variable used when changing with the left and right cursors, and is initialized to 1. H1_K is a step unit value when changing the threshold value with the up and down cursors, and is set to 2 here. H1_B is a variable for storing H1 before one operation, and is initialized to be the same as H1.

基準画像の輝度値に対し、ハリスのコーナー検出関数値R_Hにより特徴点検出を行なう。このとき、R_H>H1の点を特徴点とし、配列変数FP()に特徴点の画像座標を代入していく。得られた特徴点の数はpnとする(711)。
得られた特徴点FPを、LCDモニタ4上に基準画像とともに表示する(712)。基準画像は基準画像レイヤーに、それ以外は特徴点レイヤーに書き込まれる。基準画像レイヤーの上に特徴点レイヤーが重なるように各レイヤーから画像データが読み出されLCDモニタ4に表示される。基準画像レイヤーと特徴点レイヤーを重ねて上からみると、特徴点レイヤーの書き込まれていない座標かは、透けて下の基準画像レイヤーが見えるようになっている。つまり特徴点レイヤーを全て消去すると、基準画像レイヤーの画像そのものが表示される。特徴点レイヤーには、FPで示される特徴点601を●マークにて、左右カーソルにて選択している特徴点610を■マークにて書き込まれる。特徴点610は、FP(S_C)で示される座標である。図6(a)がこの状態を表示したLCDモニタ4上の画像となる。
Feature point detection is performed on the luminance value of the reference image using the Harris corner detection function value R_H. At this time, the point of R_H> H1 is used as a feature point, and the image coordinates of the feature point are substituted into the array variable FP (). The number of obtained feature points is pn (711).
The obtained feature point FP is displayed together with the reference image on the LCD monitor 4 (712). The reference image is written in the reference image layer, and the others are written in the feature point layer. Image data is read from each layer and displayed on the LCD monitor 4 such that the feature point layer overlaps the reference image layer. When the reference image layer and the feature point layer are overlapped and viewed from above, the reference image layer below can be seen through the coordinates where the feature point layer is not written. That is, when all the feature point layers are deleted, the image of the reference image layer itself is displayed. In the feature point layer, the feature point 601 indicated by FP is written with a mark ●, and the feature point 610 selected with the left and right cursors is written with a mark ■. The feature point 610 is a coordinate indicated by FP (S_C). FIG. 6A shows an image on the LCD monitor 4 displaying this state.

キー操作を待つ(713)。ここで距離測定をキャンセルするのであれば、下カーソルキーの長押しをし、距離測定モードから抜ける(719)。図6(a)で示されるLCDモニタ4上画像の特徴点610を移動するのであれば、左右カーソルキーを用いる。左カーソルキー操作を検出するとS_Cは減算され(715)、右カーソルであればS_Cが増加される(716)。S_Cの最小値を下回ればpnを(731、733)、S_Cの最大値であるpnを上回れば1を代入する(732、734)。ここでS_Cの値は、特徴点が格納されている配列変数FPの配列番号である1〜pnまでの値をとる。S_Cが更新されると、747にてLCDモニタ4の表示画像も更新する。ここでは、特徴点レイヤーのみ書き換える。一旦全ての特徴点レイヤーを消去し、FPで示される特徴点を●に、左右カーソルで選択している点を示す特徴点を■に、N=1であれば、つまり距離測定の為の特徴点を選択済みであればSEL(0)の座標に大きな●を、それぞれ書き込む。   Wait for key operation (713). If the distance measurement is to be cancelled, the long cursor key is pressed and the distance measurement mode is exited (719). If the feature point 610 of the image on the LCD monitor 4 shown in FIG. 6A is moved, the left and right cursor keys are used. If the left cursor key operation is detected, S_C is subtracted (715), and if it is the right cursor, S_C is increased (716). If it is below the minimum value of S_C, pn is assigned (731, 733), and if it exceeds pn, which is the maximum value of S_C, 1 is assigned (732, 734). Here, the value of S_C takes a value from 1 to pn which is the array element number of the array variable FP in which the feature points are stored. When S_C is updated, the display image on the LCD monitor 4 is also updated at 747. Here, only the feature point layer is rewritten. Once all feature point layers are deleted, the feature point indicated by FP is marked with ●, the feature point showing the point selected with the left and right cursors is marked with ■, and if N = 1, that is, the feature for distance measurement If a point has been selected, a large ● is written in the coordinates of SEL (0).

セットキー6が押されると(714)、FP(S_C)で選択されている特徴点が距離測定用の選択点となる。距離測定用選択点となると、747のLCD再表示処理にて、図6(b)で示されているように選択点620として表示される。選択点620は選択点配列変数SEL()にその基準画像の画像座標が格納される。2点の選択点を選択済みか判定し(730)、未だ1点のみであればNに1を代入する(736)。図6(b)では、選択点620は一つであり、このときの選択点620は第1選択点と呼ぶ。   When the set key 6 is pressed (714), the feature point selected by FP (S_C) becomes the selection point for distance measurement. When it becomes the selection point for distance measurement, it is displayed as the selection point 620 as shown in FIG. The selection point 620 stores the image coordinates of the reference image in the selection point array variable SEL (). It is determined whether two selected points have been selected (730). If there is still only one point, 1 is substituted for N (736). In FIG. 6B, there is one selection point 620, and the selection point 620 at this time is called a first selection point.

上下カーソルが操作されると、H1_B変数に現在の閾値H1を退避する(717、718)。下カーソルキーが押されていれば、閾値H1_Kだけ増分する(741)。但し、上限であるH1_MAX以上であれば(743)、退避していた閾値H1_BをH1に戻し(745)、再びキー操作を待つ。上カーソルキーが押された時には、閾値H1をH1_Kだけ減算する(742)。ここでH1が最低閾値H1_MINより小さければ退避していた閾値H1_BをH1に戻し再びキー操作を待つ。
新たな閾値H1が決まると、その閾値H1を使って基準画像より新たな特徴点を検出する(746)。
上述した様に747にて、特徴点レイヤーの画像を更新する、図6(c)は、この時のLCDモニタ4を示している。図6(a)(b)では見られなかった新たな特徴点(例えば602)が表示されている。
When the up / down cursor is operated, the current threshold value H1 is saved in the H1_B variable (717, 718). If the down cursor key is pressed, the threshold value H1_K is incremented (741). However, if it is equal to or higher than the upper limit H1_MAX (743), the saved threshold value H1_B is returned to H1 (745), and the key operation is again waited. When the up cursor key is pressed, the threshold value H1 is subtracted by H1_K (742). Here, if H1 is smaller than the minimum threshold value H1_MIN, the saved threshold value H1_B is returned to H1 to wait for a key operation again.
When the new threshold value H1 is determined, a new feature point is detected from the reference image using the threshold value H1 (746).
As described above, the feature point layer image is updated at 747. FIG. 6C shows the LCD monitor 4 at this time. A new feature point (for example, 602) that is not seen in FIGS. 6A and 6B is displayed.

左右カーソルの移動及びセットキー6により第1選択点と同様に第2選択点630も選択する。このときのLCDモニタ4画像を図6(d)に示す。2つの選択点を選択したので、第1選択点、及び第2選択点の、各々カメラ座標を求める(750)。数5に示されるSSDテンプレートマッチング方式にて、基準画像と対象画像間で距離測定用選択点の視差を求め、数1によりカメラ座標を求める。
2つのカメラ座標により、2点間の距離を数2にて求める(751)。LCDモニタ上に、求めた2点間の距離を示す直線604、及び計算した距離603を表示する。このときのLCDモニタ画像を図6(e)に示す。
The second selection point 630 is selected by the left / right cursor movement and the set key 6 in the same manner as the first selection point. The LCD monitor 4 image at this time is shown in FIG. Since two selection points have been selected, camera coordinates of the first selection point and the second selection point are obtained (750). The parallax of the distance measurement selection point is obtained between the reference image and the target image by the SSD template matching method shown in Equation 5, and the camera coordinates are obtained from Equation 1.
Using two camera coordinates, the distance between the two points is obtained by Equation 2 (751). A straight line 604 indicating the obtained distance between the two points and a calculated distance 603 are displayed on the LCD monitor. The LCD monitor image at this time is shown in FIG.

[変形例]
上記実施の形態には、以下のような変形例も考えられる。
[Modification]
The following modifications are also conceivable for the above embodiment.

(1)上記実施の形態においては、特徴点評価値が設定した閾値の範囲内である特徴点を検出し、検出した特徴点を表示させるようにしたが、予め設定した最も低い閾値、又は検出可能な最も低い閾値によって得られる特徴点を全て表示させ、その上から更に、特徴点評価値が設定した閾値の範囲内である特徴点を識別表示させるようにしてもよい。
例えば、図8を用いて説明すると、基準画像の上に検出された全特徴点を×マーク(801)によって表示させ、その特徴点の中から上記実施の形態と同様に特徴点評価値が予め設定した閾値の範囲内にある特徴点に●マークを、左右カーソルで選択している点を示す特徴点に■を表示させる。そして、第1選択点が既に決まっていれば第1選択点の座標に大きな●マーク(810)を書き込み、同様に、第2の選択点が決まっていれば第2選択点にも大きな●マークを書き込む。
また、特徴点の特徴点評価値を高い順に順位付けし、順位が高い順に特徴点を示す情報の表示を識別表示させるようにしてもよい。また、特徴点を示す情報の識別表示の方法は、識別表示させる特徴点を示す情報の表示の色を変更してもよいし、大きさを変更してもよいし、形状を変更してもよい。順位付けの場合は、順位を示す数字を表示させてもよい。
これにより、ユーザーは精度の高い測定が可能な特徴点を簡単に視認することができ、その特徴点を選択することで簡単に精度の高い測定をすることができる。
(1) In the above embodiment, the feature point within the range of the threshold value set by the feature point evaluation value is detected, and the detected feature point is displayed. It is also possible to display all the feature points obtained by the lowest possible threshold value, and further to identify and display the feature points within the threshold range set by the feature point evaluation value.
For example, referring to FIG. 8, all feature points detected on the reference image are displayed by x marks (801), and feature point evaluation values are previously selected from the feature points in the same manner as in the above embodiment. The mark ● is displayed at the feature point within the set threshold range, and the mark ■ is displayed at the feature point indicating the point selected by the left and right cursors. If the first selection point has already been determined, a large mark (810) is written in the coordinates of the first selection point. Similarly, if the second selection point has been determined, a large mark is also displayed at the second selection point. Write.
Alternatively, the feature point evaluation values of the feature points may be ranked in descending order, and information indicating the feature points may be identified and displayed in descending order. In addition, the method for identifying and displaying information indicating the feature points may change the display color of the information indicating the feature points to be identified and displayed, change the size, or change the shape. Good. In the case of ranking, a number indicating the ranking may be displayed.
As a result, the user can easily visually recognize the feature points that can be measured with high accuracy, and can easily perform the measurement with high accuracy by selecting the feature points.

(2)上記実施の形態においては、特徴点評価値が設定した閾値内にある特徴点を検出し、検出した特徴点を示す情報を表示させるようにしたが、画面に表示させる特徴点を示す情報の数は、予め決められた数に制限してもよい。
例えば、検出した特徴点のうち、特徴点評価値が高い順にN個の特徴点を画面に表示させる。
これにより、特徴点評価値が高い特徴点のみ選択可能となり、2点間の距離を測定するのは、特徴点評価値精度の高い特徴点の2点間の距離となり、精度の高い測定が可能となる。
(2) In the above embodiment, the feature point within the threshold set by the feature point evaluation value is detected and the information indicating the detected feature point is displayed, but the feature point to be displayed on the screen is indicated. The number of information may be limited to a predetermined number.
For example, among the detected feature points, N feature points are displayed on the screen in descending order of the feature point evaluation value.
As a result, only feature points with high feature point evaluation values can be selected, and the distance between the two points is measured between the two feature points with high feature point evaluation value accuracy, enabling high-precision measurement. It becomes.

(3)上記実施の形態においては、特徴点評価値が設定した閾値の範囲内である特徴点を検出し、検出した特徴点を示す情報を表示させることで、表示させる特徴点を示す情報の数を制御するようにしたが、特徴点を示す情報を表示する範囲を制限することで、選択できる特徴点を制限してもよい。
例えば、検出された特徴点のうち、表示画面内の所定の範囲内に検出された特徴点を示す情報を表示させてもよいし、第1選択点から所定の範囲内にある特徴点を示す情報を、第2選択点として表示させるようにしてもよい。
また同様に、表示されている特徴点を示す情報のうち、表示画面内の所定の範囲内に表示されている特徴点を示す情報のみ選択可能にしてもよいし、第2の選択点は、撮影画像内において先に選択された第1の選択点の位置から所定の範囲内で検出された特徴点を示す情報を選択できるようにしてもよい。
また、変形例(1)と同様に、選択できる特徴点を示す情報の表示の色を変更してもよいし、大きさを変更してもよいし、形状を変更してもよい。
これにより、特徴点を選択できる範囲を狭くすることで、少ないキー操作で特徴点を選択できるようになる、
(3) In the above-described embodiment, the feature point evaluation value is detected within the set threshold value range, and the information indicating the feature point to be displayed is displayed by displaying the information indicating the detected feature point. Although the number is controlled, the selectable feature points may be limited by limiting the range in which the information indicating the feature points is displayed.
For example, information indicating a detected feature point within a predetermined range in the display screen among the detected feature points may be displayed, or a feature point within a predetermined range from the first selection point may be displayed. Information may be displayed as the second selection point.
Similarly, only the information indicating the feature points displayed within the predetermined range in the display screen among the information indicating the feature points being displayed may be selectable. Information indicating feature points detected within a predetermined range from the position of the first selected point previously selected in the captured image may be selected.
Similarly to the modification (1), the display color of information indicating selectable feature points may be changed, the size may be changed, or the shape may be changed.
This makes it possible to select feature points with fewer key operations by narrowing the range in which feature points can be selected.

(4)上記実施の形態においては、特徴点評価値が設定した閾値の範囲内である特徴点を検出させるようにしたが、特徴点評価値の上限に制限を設けず、特徴点評価値が設定した閾値以上の特徴点を検出させるようにしてもよい。
また、検出、又は表示させる特徴点評価値の閾値の範囲は、ユーザーが変更できるようにしてもよいし、予め決められた所定の範囲であってもよい。
(4) In the above embodiment, the feature points within the threshold range set by the feature point evaluation value are detected. However, the upper limit of the feature point evaluation value is not limited, and the feature point evaluation value is You may make it detect the feature point more than the set threshold value.
Further, the threshold range of the feature point evaluation value to be detected or displayed may be changed by the user, or may be a predetermined range determined in advance.

(5)上記実施の形態においては、撮影画像から検出された特徴点と同じ位置に印を付けて特徴点を示す情報を表示させるようにしたが、特徴点を示す情報の表示位置は、特徴点を検出した位置と同じ位置でなくてもよく、検出した特徴点の位置を示すことができればよい。また、特徴点の座標を表示させるようにしてもよい。
要は、ユーザーが特徴点を検出した位置を知ることができればよく、特徴点を示す情報の表示は、位置、色、大きさ、形状に制限はない。
(5) In the above embodiment, the information indicating the feature point is displayed by marking the same position as the feature point detected from the captured image, but the display position of the information indicating the feature point is the feature It does not have to be the same position as the position where the point is detected, as long as it can indicate the position of the detected feature point. Further, the coordinates of feature points may be displayed.
In short, it is sufficient that the user can know the position where the feature point is detected, and the display of the information indicating the feature point is not limited in position, color, size, or shape.

(6)上記実施の形態においては、特徴点の2点間距離の測定について3次元における測距を行なうようにしたが、3次元である必要はなく、2次元における測距を行なうようにしてもよい。
また、実寸距離ではなく、LCDモニタ上における2点間距離であってもよい。
(6) In the above embodiment, the distance between the two feature points is measured in three dimensions. However, the distance is not necessarily in three dimensions, and the distance in two dimensions is measured. Also good.
Further, the distance between two points on the LCD monitor may be used instead of the actual distance.

(7)上記実施の形態においては、距離測定モードと通常撮影モードを設け、距離測定モードが選択されている場合に、特徴点を検出し、特徴点を示す情報を表示させるようにしたが、このようなモードを設けず、撮影毎に特徴点の情報を画像データと共に記録しておき、ユーザーによって距離を測定する指示があった場合、特徴点を表示させるようにしてもよい。   (7) In the above embodiment, the distance measurement mode and the normal shooting mode are provided, and when the distance measurement mode is selected, the feature point is detected and the information indicating the feature point is displayed. Such a mode may not be provided, and feature point information may be recorded together with image data for each photographing, and the feature point may be displayed when the user instructs to measure the distance.

(8)上記実施の形態においては、キー操作によって表示されている特徴点を示す情報を選択するようにしたが、表示画面にタッチパネルを設け表示されている特徴点を示す情報の位置をユーザーが指等で触れることにより選択するようにしてもよい。   (8) In the above embodiment, the information indicating the feature point displayed by the key operation is selected. However, the user provides the position of the information indicating the feature point displayed by providing the touch panel on the display screen. Selection may be made by touching with a finger or the like.

(9)上記実施の形態は、上記変形例(1)〜(8)を任意に組み合わせた態様であってもよい。   (9) The embodiment described above may be an embodiment in which the above modifications (1) to (8) are arbitrarily combined.

(10)また、本発明の上記各実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし、修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。   (10) Each of the above embodiments of the present invention is only an example as the best embodiment, and is described in order to better understand the principle and structure of the present invention. And is not intended to limit the scope of the appended claims. Accordingly, it should be understood that all the various variations and modifications that can be made to the above-described embodiments of the present invention are included in the scope of the present invention and protected by the appended claims. .

最後に、上記各実施の形態においては、本発明の距離測定装置をステレオデジタルカメラ1に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、画像の中から被写体の特徴点を検出し、検出された特徴点間の距離を測定できる機器であれば適用可能である。   Lastly, in each of the above embodiments, the case where the distance measuring device of the present invention is applied to the stereo digital camera 1 has been described. However, the present invention is not limited to the above embodiment, and the main point is that Any device that can detect feature points of a subject and measure the distance between the detected feature points is applicable.

本発明の実施の形態のステレオデジタルカメラの外観図である。1 is an external view of a stereo digital camera according to an embodiment of the present invention. 本発明の実施の形態のステレオデジタルカメラのブロック図である。1 is a block diagram of a stereo digital camera according to an embodiment of the present invention. ステレオデジタルカメラの距離測定原理を示す透視射影図である。It is a perspective projection figure which shows the distance measurement principle of a stereo digital camera. 本発明の実施の形態のステレオデジタルカメラ1により撮像した2枚の画像を示す図である。It is a figure which shows two images imaged with the stereo digital camera 1 of embodiment of this invention. 本発明の実施の形態のステレオデジタルカメラ1により撮像した画像に特徴点の表示例を示す図である。It is a figure which shows the example of a display of a feature point in the image imaged with the stereo digital camera 1 of embodiment of this invention. 本発明の実施の形態のステレオデジタルカメラ1におけるモニタ表示の例を示した図である。It is the figure which showed the example of the monitor display in the stereo digital camera 1 of embodiment of this invention. 本発明の実施の形態のステレオデジタルカメラ1の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the stereo digital camera 1 of embodiment of this invention. 本発明の変形例のステレオデジタルカメラ1のモニタ表示の例を示した図である。It is the figure which showed the example of the monitor display of the stereo digital camera 1 of the modification of this invention.

符号の説明Explanation of symbols

1 ステレオデジタルカメラ
2,3 撮像レンズ
4 LCDモニタ
5 カーソルキー
6 SETキー
7 距離測定キー
8 メニューキー
9 シャッターボタン
10 電源ボタン
11 ストロボ
201 CPU
202 DMA
203 フラッシュメモリ
204 ワークメモリ
205 VRAM制御部
206 VRAM
207 デジタルビデオエンコーダ
208 表示部
209 キー入力部
211 USB制御部
214 USB接続端子部
210,220 CMOSカメラモジュール
212,222 CMOSセンサ
213,223 ISP
DESCRIPTION OF SYMBOLS 1 Stereo digital camera 2, 3 Imaging lens 4 LCD monitor 5 Cursor key 6 SET key 7 Distance measurement key 8 Menu key 9 Shutter button 10 Power button 11 Strobe 201 CPU
202 DMA
203 Flash memory 204 Work memory 205 VRAM control unit 206 VRAM
207 Digital video encoder 208 Display unit 209 Key input unit 211 USB control unit 214 USB connection terminal unit 210, 220 CMOS camera module 212, 222 CMOS sensor 213, 223 ISP

Claims (14)

画像を取得する画像取得手段と、Image acquisition means for acquiring images;
前記画像取得手段によって得られた画像から複数の特徴点を検出する検出手段と、Detection means for detecting a plurality of feature points from the image obtained by the image acquisition means;
前記検出手段によって検出された特徴点を示す情報を表示手段に表示させる表示制御手段と、Display control means for displaying information indicating the characteristic points detected by the detection means on the display means;
前記表示手段に表示された情報から2つをユーザーに選択させる選択手段と、Selection means for allowing the user to select two from the information displayed on the display means;
前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の距離を求める測距手段と、Distance measuring means for obtaining a distance between two feature points corresponding to information indicating the feature points selected by the selection means;
前記選択手段によって2点を選択する際に、選択できる特徴点を制限する選択制限手段と、Selection restriction means for restricting selectable feature points when two points are selected by the selection means;
を備え、With
前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点をユーザーが選択した後、終点となる第2の特徴点を選択させ、The selection means, after the user has selected a first feature point as a starting point when measuring the distance between two points by the distance measuring means, to select a second feature point as an end point,
前記選択制限手段は、前記選択手段によって第2の特徴点を選択する際、前記選択手段によって先に選択された第1の特徴点の位置から所定の範囲内にある特徴点を示す情報を選択するように選択できる範囲を制限することを特徴とする距離測定装置。The selection limiting unit selects information indicating a feature point within a predetermined range from the position of the first feature point previously selected by the selection unit when the second feature point is selected by the selection unit. A distance measuring device that limits a range that can be selected.
前記検出手段は、前記画像取得手段によって得られた画像内から特徴点らしさを示す特徴点評価値を検出し、該検出された特徴点評価値が第1の範囲内である点を特徴点として検出することを特徴とする請求項1記載の距離測定装置。   The detection means detects a feature point evaluation value indicating the likelihood of a feature point from within the image obtained by the image acquisition means, and uses the point where the detected feature point evaluation value is within a first range as a feature point The distance measuring device according to claim 1, wherein the distance measuring device is detected. 前記表示制御手段は、前記検出手段によって検出された特徴点の特徴点評価値に基づいて特徴点を示す情報を表示させることを特徴とする請求項2記載の距離測定装置。   3. The distance measuring apparatus according to claim 2, wherein the display control unit displays information indicating the feature point based on the feature point evaluation value of the feature point detected by the detection unit. 前記表示制御手段は、前記特徴点評価値が第2の範囲内である点を特徴点とし、それを示す情報を表示させるように前記表示手段を制御することを特徴とする請求項3記載の距離測定装置。   4. The display control unit according to claim 3, wherein the display control unit controls the display unit to display a point indicating that the feature point evaluation value is within a second range as a feature point. Distance measuring device. 前記表示制御手段は、前記検出手段によって検出された特徴点のうち、前記特徴点評価値が高い順に、所定の数の特徴点を示す情報を表示させるよう前記表示手段を制御することを特徴とする請求項3又は4記載の距離測定装置。   The display control unit controls the display unit to display information indicating a predetermined number of feature points in descending order of the feature point evaluation value among the feature points detected by the detection unit. The distance measuring device according to claim 3 or 4. 前記表示制御手段は、前記検出手段によって検出された特徴点のうち、前記特徴点評価値が高い順に順位付けをして、特徴点を示す情報を特徴点評価値の順位に基づいて識別表示させるように前記表示手段を制御することを特徴とする請求項3〜5の何れかに記載の距離測定装置。   The display control means ranks the feature points detected by the detection means in descending order of the feature point evaluation values, and identifies and displays information indicating the feature points based on the ranks of the feature point evaluation values. The distance measuring apparatus according to claim 3, wherein the display unit is controlled as described above. 前記表示制御手段は、前記表示手段によって表示された特徴点のうち、前記特徴点評価値が第3の範囲内である特徴点を示す情報と第3の範囲外である特徴点を示す情報とを識別表示するように前記表示手段を制御することを特徴とする請求項3〜6の何れかに記載の距離測定装置。   The display control unit includes information indicating a feature point whose feature point evaluation value is within a third range and information indicating a feature point outside the third range among the feature points displayed by the display unit. The distance measuring device according to claim 3, wherein the display unit is controlled so as to identify and display the information. 前記表示制御手段は、特徴点を示す情報の表示の色、大きさ、形状のうち、少なくとも1つを変化させることで特徴点を示す情報を識別表示させることを特徴とする請求項6又は7に記載の距離測定装置。   8. The display control means for identifying and displaying information indicating a feature point by changing at least one of a color, a size, and a shape of information indicating the feature point. The distance measuring device described in 1. 前記表示制御手段は、前記検出手段によって検出された特徴点のうち、前記画像取得手段によって得られた画像内の所定の範囲内の位置で検出された特徴点について特徴点を示す情報を前記表示手段に表示させるように制御することを特徴とする請求項3〜8の何れかに記載の距離測定装置。   The display control means displays the information indicating the feature points of the feature points detected by the detection means for the feature points detected at a position within a predetermined range in the image obtained by the image acquisition means. The distance measuring device according to claim 3, wherein the distance measuring device is controlled to display on a means. 前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点を選択した後、終点となる第2の特徴点を選択し、The selection unit selects a first feature point that is a starting point when the distance measurement unit measures a distance between two points, and then selects a second feature point that is an end point.
前記選択手段によって前記第1の特徴点を選択する時と、前記第2の特徴点を選択する時とで、前記検出手段によって検出する特徴点の特徴点評価値の所定の範囲、又は前記表示制御手段によって表示制御する特徴点を示す情報の特徴点評価値の所定の範囲を変更する特徴点評価値範囲変更手段を更に備えたことを特徴とする請求項2〜9の何れかに記載の距離測定装置。A predetermined range of feature point evaluation values of the feature points detected by the detection means when the first feature points are selected by the selection means and when the second feature points are selected; or the display The feature point evaluation value range changing means for changing a predetermined range of the feature point evaluation value of the information indicating the feature point to be displayed and controlled by the control means is further provided. Distance measuring device.
前記表示制御手段は、前記測距手段によって測定された2点の特徴点間の距離を表示手段に表示させる距離表示手段を更に備えたことを特徴とする請求項1〜10の何れかに記載の距離測定装置。The said display control means is further provided with the distance display means to display the distance between the two feature points measured by the said ranging means on a display means. Distance measuring device. 前記表示制御手段は、前記画像取得手段によって得られた画像を前記表示手段に表示し、前記検出手段によって特徴点が検出された位置と同じ位置に該特徴点を示す情報を表示させることを特徴とする請求項1〜11の何れかに記載の距離測定装置。   The display control unit displays an image obtained by the image acquisition unit on the display unit, and displays information indicating the feature point at the same position as the position where the feature point is detected by the detection unit. The distance measuring device according to claim 1. 前記測距手段は、前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の実寸距離を測定することを特徴とする請求項1〜12の何れかに記載の距離測定装置 The distance according to any one of claims 1 to 12, wherein the distance measuring unit measures an actual distance between two feature points corresponding to information indicating the feature point selected by the selection unit. Measuring device . 表示部を備えたコンピュータを、A computer equipped with a display unit
画像から複数の特徴点を検出する検出手段、Detecting means for detecting a plurality of feature points from the image;
前記検出手段によって検出された特徴点を示す情報を前記表示部に表示させる表示制御手段、Display control means for displaying information indicating the feature points detected by the detection means on the display unit;
前記表示部に表示された情報から2つをユーザーに選択させる選択手段、Selection means for allowing the user to select two of the information displayed on the display unit;
前記選択手段によって選択された特徴点を示す情報に対応した特徴点の2点間の距離を求める測距手段、Distance measuring means for obtaining a distance between two feature points corresponding to information indicating the feature points selected by the selection means;
前記選択手段によって2点を選択する際に、選択できる特徴点を制限する選択制限手段、Selection restriction means for restricting selectable feature points when selecting two points by the selection means;
として機能させ、Function as
前記選択手段は、前記測距手段によって2点間の距離を測定する際の起点となる第1の特徴点をユーザーが選択した後、終点となる第2の特徴点を選択させ、The selection means, after the user has selected a first feature point as a starting point when measuring the distance between two points by the distance measuring means, to select a second feature point as an end point,
前記選択制限手段は、前記選択手段によって第2の特徴点を選択する際、前記選択手段によって先に選択された第1の特徴点の位置から所定の範囲内にある特徴点を示す情報を選択するように選択できる範囲を制限するように、機能させることを特徴とする距離測定プログラム。The selection limiting unit selects information indicating a feature point within a predetermined range from the position of the first feature point previously selected by the selection unit when the second feature point is selected by the selection unit. A distance measurement program that functions so as to limit a selectable range.
JP2008065024A 2008-03-14 2008-03-14 Distance measuring device and program thereof Active JP5167881B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008065024A JP5167881B2 (en) 2008-03-14 2008-03-14 Distance measuring device and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008065024A JP5167881B2 (en) 2008-03-14 2008-03-14 Distance measuring device and program thereof

Publications (3)

Publication Number Publication Date
JP2009222446A JP2009222446A (en) 2009-10-01
JP2009222446A5 JP2009222446A5 (en) 2011-04-21
JP5167881B2 true JP5167881B2 (en) 2013-03-21

Family

ID=41239403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008065024A Active JP5167881B2 (en) 2008-03-14 2008-03-14 Distance measuring device and program thereof

Country Status (1)

Country Link
JP (1) JP5167881B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538665B (en) * 2010-12-25 2016-03-09 赛恩倍吉科技顾问(深圳)有限公司 Measurement result graphical output system and method
KR101971815B1 (en) 2015-05-15 2019-04-23 후아웨이 테크놀러지 컴퍼니 리미티드 Measurement method and terminal
WO2019087253A1 (en) 2017-10-30 2019-05-09 オリンパス株式会社 Stereo camera calibration method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0518748A (en) * 1991-07-09 1993-01-26 Kyocera Corp Digital electronic still camera capable of displaying distance information and the like
JP2004295813A (en) * 2003-03-28 2004-10-21 Babcock Hitachi Kk 3-dimensional figure verification unit
JP2006329684A (en) * 2005-05-23 2006-12-07 Olympus Corp Image measuring instrument and method
JP2007214891A (en) * 2006-02-09 2007-08-23 Nissan Motor Co Ltd Imaging apparatus for vehicle

Also Published As

Publication number Publication date
JP2009222446A (en) 2009-10-01

Similar Documents

Publication Publication Date Title
US8358872B2 (en) Information-inputting device inputting contact point of object on recording surface as information
US10375377B2 (en) Information processing to generate depth information of an image
US7856172B2 (en) Jiggle measuring system and jiggle measuring method
US10277889B2 (en) Method and system for depth estimation based upon object magnification
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
US10310675B2 (en) User interface apparatus and control method
KR101674011B1 (en) Method and apparatus for operating camera function in portable terminal
US10578426B2 (en) Object measurement apparatus and object measurement method
US9207779B2 (en) Method of recognizing contactless user interface motion and system there-of
JP4775474B2 (en) Imaging apparatus, imaging control method, and program
US9633450B2 (en) Image measurement device, and recording medium
KR20070037773A (en) Apparatus and method for inputting user command in display device
JP5167881B2 (en) Distance measuring device and program thereof
JP2016217944A (en) Measurement device and measurement method
JP2018009927A (en) Image processing device, image processing method and program
JP5805013B2 (en) Captured image display device, captured image display method, and program
JP5996233B2 (en) Imaging device
JP5888986B2 (en) Image processing apparatus and control method thereof
JP6342832B2 (en) Input device
US11463619B2 (en) Image processing apparatus that retouches and displays picked-up image, image processing method, and storage medium
KR20180105215A (en) Camera shooting control method and apparatus
JP2016021673A (en) Imaging apparatus
JP2011227759A (en) Image display device and program
JP2020159965A (en) Three-dimensional measurement device, three-dimensional measurement system, and three-dimensional measurement method
TWM543351U (en) Object size calculation system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121210

R150 Certificate of patent or registration of utility model

Ref document number: 5167881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150