JP2002221405A - Method and apparatus for measuring three-dimensional position - Google Patents
Method and apparatus for measuring three-dimensional positionInfo
- Publication number
- JP2002221405A JP2002221405A JP2001019279A JP2001019279A JP2002221405A JP 2002221405 A JP2002221405 A JP 2002221405A JP 2001019279 A JP2001019279 A JP 2001019279A JP 2001019279 A JP2001019279 A JP 2001019279A JP 2002221405 A JP2002221405 A JP 2002221405A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- edge pixel
- image
- dimensional position
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、道路を撮像するこ
とによって得られた複数の撮像画像を用いて、三角測量
の原理により、その道路上に存在する車両等の対象物体
の三次元位置を計測する三次元位置計測方法及びその方
法を実施するための三次元位置計測装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention uses a plurality of captured images obtained by imaging a road to determine the three-dimensional position of a target object such as a vehicle existing on the road by the principle of triangulation. The present invention relates to a three-dimensional position measuring method for measuring and a three-dimensional position measuring device for implementing the method.
【０００２】[0002]
【従来の技術】従来から、道路における交通状況を監視
するために、交差点等に設置された複数の工業用テレビ
カメラ（以下、ＩＴＶカメラという）により得られたス
テレオ画像を用いて、そのステレオ画像に示されている
車両等の道路上の対象物体の三次元位置を計測する三次
元位置計測装置が提案されている。2. Description of the Related Art Conventionally, in order to monitor traffic conditions on a road, a stereo image obtained by using a plurality of industrial television cameras (hereinafter referred to as ITV cameras) installed at intersections or the like is used. Has been proposed which measures the three-dimensional position of a target object on a road such as a vehicle shown in FIG.
【０００３】このような従来の三次元位置計測装置にお
いては、次のようにして道路上の対象物体の三次元位置
の計測を行っている。まず、二台のＩＴＶカメラを、設
置高さを同一として水平方向に所定間隔だけ離し、両カ
メラの光軸が平行となるようにして信号灯器等の上に設
置する。そして、一のＩＴＶカメラで撮像された撮像画
像（以下、基準画像という）と、他のＩＴＶカメラで撮
像された撮像画像（以下、比較画像という）とを取得す
る。次に、その取得した基準画像における任意の点が比
較画像におけるどの点に対応付けられるかを調べ、その
結果対応付けられた２点の水平方向に係るズレ量である
視差を求める。そして、三角測量の原理により、以下の
式（１）を用いてＩＴＶカメラからの距離を算出する。In such a conventional three-dimensional position measuring apparatus, the three-dimensional position of a target object on a road is measured as follows. First, two ITV cameras are installed at a predetermined interval in the horizontal direction at the same installation height, and are installed on a signal lamp or the like such that the optical axes of both cameras are parallel. Then, a captured image (hereinafter, referred to as a reference image) captured by one ITV camera and a captured image (hereinafter, referred to as a comparative image) captured by another ITV camera are acquired. Next, it is checked which point in the obtained reference image corresponds to an arbitrary point in the comparison image, and as a result, the parallax, which is the amount of displacement in the horizontal direction, of the two associated points is obtained. Then, the distance from the ITV camera is calculated using the following equation (1) according to the principle of triangulation.
【０００４】Ｌ＝Ｂ＊ｆ／ｄ…（１） ここで、ＬはＩＴＶカメラから対象物体までの距離を、
Ｂは二台のＩＴＶカメラ間の間隔を、ｆはＩＴＶカメラ
の焦点距離を、ｄは視差を夫々示している。L = B * f / d (1) where L is the distance from the ITV camera to the target object,
B indicates an interval between two ITV cameras, f indicates a focal length of the ITV cameras, and d indicates parallax.
【０００５】ところで、基準画像及び比較画像はデジタ
ル画像であることから、従来の計測装置では、上述した
視差を画素単位で求めていた。そのため、例えば実際の
視差が２画素であるにも拘わらず対応付けを誤ったため
にその視差が１画素であると算出された場合、上述した
式（１）を用いて算出されるＩＴＶカメラから対象物体
までの距離は実際のその距離の２倍の値となる。この例
のように、視差が相当に小さくなる地点、すなわちＩＴ
Ｖカメラからの距離が遠い地点において対応付けを誤っ
た場合、その距離がより近い地点の場合に比し、視差の
誤差の影響を著しく受けることとなり、実用的な計測が
実行不可能になるおそれがある。By the way, since the reference image and the comparison image are digital images, in the conventional measuring device, the above-described parallax is obtained in pixel units. Therefore, for example, if the parallax is calculated to be one pixel because the actual parallax is two pixels and the association is incorrect, the target is calculated from the ITV camera calculated using the above-described equation (1). The distance to the object is twice the actual distance. As in this example, the point where the parallax becomes considerably small, ie, the IT
If the correspondence is incorrect at a point far from the V-camera, the effect of parallax error will be significantly greater than that at a point closer to the V-camera, making practical measurement impossible. There is.
【０００６】このような視差の誤差の影響は、２台のＩ
ＴＶカメラ間の間隔を広げれば広げるほど、またＩＴＶ
カメラの焦点距離が大きければ大きいほど、すなわち上
述した式（１）におけるＢ及びｆの値を大きくすればす
るほど、低減化を図ることができる。これにより、視差
の誤差の影響を極力受けずに、高い計測精度を実現する
ことができる。The effect of such parallax error is caused by two I
The wider the space between TV cameras, the more ITTV
The greater the focal length of the camera, that is, the greater the values of B and f in the above equation (1), the more the reduction can be achieved. Thereby, high measurement accuracy can be realized without being affected by parallax errors as much as possible.
【０００７】[0007]
【発明が解決しようとする課題】しかしながら、交通監
視を目的とした場合、上述したように２台のＩＴＶカメ
ラは信号灯器等の上に設置することになるため、これら
のＩＴＶカメラ間の間隔はその信号灯器等の幅以上に広
げることができないことがほとんどである。また、交差
点における景観を損ねるという観点からも信号灯器等の
幅以上に広げることは困難である。さらに、その間隔が
所定長を超えた場合、基準画像に示されている車両等の
対象物体が比較画像に示されていないという「隠れ」と
呼ばれる事態が発生するために対応付けを行うことが困
難になる。However, for the purpose of traffic monitoring, as described above, two ITV cameras are installed on a signal light or the like, so that the interval between these ITV cameras is limited. In most cases, it cannot be expanded beyond the width of the signal light or the like. In addition, it is difficult to expand the width beyond the width of a signal lamp or the like from the viewpoint of spoiling the scenery at the intersection. Furthermore, if the interval exceeds a predetermined length, a situation called “hidden” occurs in which the target object such as the vehicle shown in the reference image is not shown in the comparison image, so that the association may be performed. It becomes difficult.
【０００８】また、ＩＴＶカメラの焦点距離を大きくす
る、すなわち望遠にする場合、所望の視野を得ることが
できないという問題が発生する。例えば、信号灯器等の
上に設置されたＩＴＶカメラによりその信号灯器に係る
交差点付近の視野を取得する必要がある等の場合に、望
遠にすることによってその視野を得ることができなくな
るという問題が生ずる。Further, when the focal length of the ITV camera is increased, that is, when it is telephoto, a problem arises that a desired visual field cannot be obtained. For example, when it is necessary to obtain a field of view near an intersection related to the signal light by an ITV camera installed on the signal light or the like, there is a problem that it is not possible to obtain the field of view by telephoto. Occurs.
【０００９】このように、交通監視を目的とした場合、
ＩＴＶカメラ間の間隔及び焦点距離には特有の制約が伴
うため、上述した視差の誤差の影響の低減化を図ること
が困難であるという問題があった。As described above, when the purpose is to monitor traffic,
There is a problem that it is difficult to reduce the influence of the above-described parallax error because the interval and the focal length between the ITV cameras are accompanied by specific restrictions.
【００１０】本発明は斯かる事情に鑑みてなされたもの
であり、対応付けに係るエッジ画素及びそのエッジ画素
の付近に存在する画素の各画素間での画素値の微分値の
変化を曲線で近似し、その近似した曲線のピーク位置に
基づいて視差を求めることによって、１画素以下のサブ
ピクセル単位で視差を求めることが可能になるため、上
述したような交通監視を目的とした場合における制約の
下で、従来よりも計測精度を向上させることができる三
次元位置計測方法及びその方法を実施するための三次元
位置計測装置を提供することを目的とする。[0010] The present invention has been made in view of such circumstances, and shows a curve representing the change in the differential value of the pixel value between each of the associated edge pixels and the pixels present near the edge pixels. By approximating and calculating the disparity based on the peak position of the approximated curve, it is possible to obtain the disparity in subpixel units of one pixel or less. It is an object of the present invention to provide a three-dimensional position measurement method capable of improving the measurement accuracy as compared with the related art, and a three-dimensional position measurement device for implementing the method.
【００１１】また、本発明の他の目的は、一の撮像画像
におけるエッジ画素の位置に基づいて特定された領域内
で、そのエッジ画素と対応付けられるエッジ画素の検出
を他の撮像画像において行うことにより、そのような領
域を特定せずに検出を行う場合に比し、少ない計算量で
足りる三次元位置計測方法及び三次元位置計測装置を提
供することにある。Another object of the present invention is to detect, in another captured image, an edge pixel associated with the edge pixel in an area specified based on the position of the edge pixel in one captured image. Accordingly, it is an object of the present invention to provide a three-dimensional position measuring method and a three-dimensional position measuring device that require a small amount of calculation compared to a case where detection is performed without specifying such an area.
【００１２】[0012]
【課題を解決するための手段】第１発明に係る三次元位
置計測方法は、道路を視野とする撮像装置により撮像さ
れた複数の撮像画像を用いて距離画像を生成することに
より、前記道路上の対象物体の三次元位置を計測する三
次元位置計測方法において、前記複数の撮像画像夫々に
おいてエッジ画素を抽出するステップと、一の撮像画像
において抽出したエッジ画素と他の撮像画像において抽
出したエッジ画素との対応付けを行うステップと、該対
応付けに係るエッジ画素及び該エッジ画素付近に存在す
る画素の各画素間での画素値の微分値の変化を曲線で近
似するステップと、近似した曲線のピーク位置を算出す
るステップと、算出したピーク位置に基づいて視差を算
出するステップと、算出した視差に基づいて距離画像を
生成するステップとを有することを特徴とする。A three-dimensional position measuring method according to a first aspect of the present invention is to generate a distance image by using a plurality of images taken by an image pickup device having a view of a road as a field of view. In the three-dimensional position measuring method for measuring the three-dimensional position of the target object, the step of extracting edge pixels in each of the plurality of captured images, the edge pixel extracted in one captured image and the edge extracted in another captured image A step of associating with a pixel, a step of approximating a change in a differential value of a pixel value between each of an edge pixel and a pixel near the edge pixel according to the association with a curve, Calculating a peak position, calculating a parallax based on the calculated peak position, and generating a distance image based on the calculated parallax Characterized in that it has a.
【００１３】第２発明に係る三次元位置計測方法は、第
１発明に係る三次元位置計測方法において、前記対応付
けを行うステップは、前記一の撮像画像において抽出し
たエッジ画素の位置に基づいて、該エッジ画素と対応付
けられる他の撮像画像において抽出したエッジ画素の検
出領域を特定し、特定した検出領域内で前記他の撮像画
像において抽出したエッジ画素の検出を行うことを特徴
とする。A three-dimensional position measuring method according to a second aspect of the present invention is the three-dimensional position measuring method according to the first aspect, wherein the step of performing the association is performed based on a position of an edge pixel extracted in the one captured image. A detection area of an edge pixel extracted in another captured image associated with the edge pixel is specified, and the edge pixel extracted in the another captured image is detected in the specified detection area.
【００１４】第３発明に係る三次元位置計測装置は、道
路を視野とする撮像装置を備え、該撮像装置により撮像
された複数の撮像画像を用いて距離画像を生成すること
により、前記道路上の対象物体の三次元位置を計測する
三次元位置計測装置において、前記複数の撮像画像夫々
においてエッジ画素を抽出するエッジ画素抽出手段と、
該エッジ画素抽出手段によって抽出された一の撮像画像
におけるエッジ画素と他の撮像画像におけるエッジ画素
との対応付けを行う対応付け手段と、該対応付け手段に
より行われた対応付けに係るエッジ画素及び該エッジ画
素付近に存在する画素の各画素間での画素値の微分値の
変化を近似する曲線を算出する曲線算出手段と、該曲線
算出手段により算出された曲線のピーク位置を算出する
ピーク位置算出手段と、該ピーク位置算出手段により算
出されたピーク位置に基づいて視差を算出する視差算出
手段と、該視差算出手段により算出された視差に基づい
て距離画像を生成する距離画像生成手段とを備えること
を特徴とする。A three-dimensional position measuring device according to a third aspect of the present invention includes an image pickup device having a road as a visual field, and generates a distance image using a plurality of images picked up by the image pickup device. In a three-dimensional position measurement device that measures the three-dimensional position of the target object, edge pixel extraction means for extracting edge pixels in each of the plurality of captured images,
Associating means for associating an edge pixel in one captured image extracted by the edge pixel extracting means with an edge pixel in another captured image; and an edge pixel associated with the association performed by the associating means. A curve calculating means for calculating a curve approximating a change in a differential value of a pixel value between pixels of pixels present near the edge pixel; and a peak position for calculating a peak position of the curve calculated by the curve calculating means. Calculating means, a parallax calculating means for calculating parallax based on the peak position calculated by the peak position calculating means, and a distance image generating means for generating a distance image based on the parallax calculated by the parallax calculating means. It is characterized by having.
【００１５】第４発明に係る三次元位置計測装置は、第
３発明に係る三次元位置計測装置において、前記対応付
け手段は、前記一の撮像画像におけるエッジ画素の位置
に基づいて、該エッジ画素と対応付けられる他の撮像画
像におけるエッジ画素の検出領域を特定する特定手段
と、該特定手段によって特定された検出領域内で前記他
の撮像画像におけるエッジ画素の検出を行う検出手段と
を具備することを特徴とする。A three-dimensional position measuring apparatus according to a fourth aspect of the present invention is the three-dimensional position measuring apparatus according to the third aspect, wherein the associating means is configured to determine the position of the edge pixel based on the position of the edge pixel in the one captured image. And a detecting unit for detecting an edge pixel in the other captured image within the detection region specified by the specifying unit. It is characterized by the following.
【００１６】第１発明及び第３発明による場合、道路を
視野とする撮像装置により撮像された複数の撮像画像夫
々においてエッジ画素を抽出し、それら抽出したエッジ
画素の対応付けを行う。次にその対応付けに係るエッジ
画素及びそのエッジ画素付近に存在する画素の各画素間
での画素値の微分値の変化を曲線で近似し、その近似し
た曲線のピーク位置を算出する。そして、その算出した
ピーク位置に基づいて視差を算出し、算出した視差に基
づいて距離画像を生成する。According to the first and third aspects of the present invention, edge pixels are extracted from each of a plurality of captured images captured by an image capturing apparatus having a view of a road, and the extracted edge pixels are associated with each other. Next, the change of the differential value of the pixel value between the edge pixel and the pixel existing near the edge pixel according to the association is approximated by a curve, and the peak position of the approximated curve is calculated. Then, parallax is calculated based on the calculated peak position, and a distance image is generated based on the calculated parallax.
【００１７】これにより、視差を画素単位ではなく１画
素以下のサブピクセル単位で求めることが可能になる。
したがって、交通監視を目的とした場合の撮像装置間の
間隔及び焦点距離に係る制約の下で、従来のように視差
を画素単位で求める場合に比して、道路上の対象物の三
次元位置の計測の精度を向上させることができる。Thus, the parallax can be obtained not in pixel units but in subpixel units of one pixel or less.
Therefore, the three-dimensional position of the object on the road is smaller than the conventional case where the parallax is obtained in pixel units under the restrictions on the distance between the imaging devices and the focal length for the purpose of traffic monitoring. Measurement accuracy can be improved.
【００１８】第２発明及び第４発明による場合、エッジ
画素の対応付けを行う際に、一の撮像画像において抽出
したエッジ画素の位置に基づいて、そのエッジ画素と対
応付けられるエッジ画素の検出領域を他の撮像画像にお
いて特定する。その結果特定した検出領域内で前記対応
付けられるエッジ画素の検出を行う。According to the second and fourth aspects of the present invention, when associating an edge pixel, a detection area of the edge pixel associated with the edge pixel is determined based on the position of the edge pixel extracted in one captured image. Is specified in another captured image. As a result, the associated edge pixel is detected in the specified detection area.
【００１９】交通監視を目的とする場合、撮像装置と車
両等との間の距離は所定間隔離れているため、他の目的
に利用する場合に比し、視差が大きくなることは稀であ
る。したがって、対応付けられるエッジ画素の位置の検
出領域を限定することが可能であり、上述したようにし
てその検出領域を特定することによって、そのような検
出領域の特定を行わない場合に比し、少ない計算量で対
応付けを実行することができ、しかも誤った対応付けが
行われる確率を低くすることができる。When the purpose is to monitor traffic, the distance between the imaging device and the vehicle or the like is a predetermined distance apart, so that the parallax rarely becomes larger than when used for other purposes. Therefore, it is possible to limit the detection region at the position of the associated edge pixel, and by specifying the detection region as described above, compared to a case where such a detection region is not specified, The association can be performed with a small amount of calculation, and the probability that an erroneous association is performed can be reduced.
【００２０】[0020]
【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて詳述する。図１は、本発明の三次元
位置計測装置を道路に適用した場合の構成例を示す概念
図である。図１において、Ｒは道路を示しており、Ｓは
その道路Ｒに沿って設けられている歩道を夫々示してい
る。また、この歩道Ｓ上には歩行者用信号灯器３ａが設
置され、さらにその歩行者用信号灯器３ａの上側には車
両用信号灯器３ｂが設置されている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings showing the embodiments. FIG. 1 is a conceptual diagram showing a configuration example when the three-dimensional position measuring device of the present invention is applied to a road. In FIG. 1, R indicates a road, and S indicates a sidewalk provided along the road R. A pedestrian signal light 3a is provided on the sidewalk S, and a vehicle signal light 3b is provided above the pedestrian signal light 3a.
【００２１】また、この車両用信号灯器３ｂ上には本発
明の三次元位置計測装置を構成する２台のＩＴＶカメラ
２ａ，２ｂが設置されている。ここでＩＴＶカメラ２
ａ，２ｂは、設置高さが同一で水平方向に所定間隔（３
０乃至５０ｃｍ程度）離れ、両カメラの光軸が平行とな
るようにして車両用信号灯器３ｂ上に配置されており、
道路Ｒ上を走行する車両Ｖ及び横断歩道Ｗを横断する歩
行者Ｐ等をＣＣＤ素子等を用いて撮像する。以下、これ
らの車両Ｖ及び歩行者Ｐ等の撮像対象に向かって左側に
配置されているＩＴＶカメラ２ａを左側カメラ２ａと、
同じく右側に配置されているＩＴＶカメラ２ｂを右側カ
メラ２ｂと夫々いう。Further, two ITV cameras 2a and 2b constituting the three-dimensional position measuring device of the present invention are installed on the vehicle signal light 3b. Here ITV camera 2
a and 2b have the same installation height and a predetermined interval (3
(About 0 to 50 cm), and are disposed on the vehicular signal lamp 3b such that the optical axes of both cameras are parallel to each other.
An image of the vehicle V running on the road R and the pedestrian P crossing the pedestrian crossing W is taken using a CCD element or the like. Hereinafter, the ITV camera 2a disposed on the left side toward the imaging target such as the vehicle V and the pedestrian P is referred to as a left camera 2a.
The ITV camera 2b similarly arranged on the right side is called the right side camera 2b.
【００２２】また、歩道Ｓ上には、本発明の三次元位置
計測装置を構成する画像処理装置１が設置されている。
この画像処理装置１は、上述した左側カメラ２ａ及び右
側カメラ２ｂによって撮像された撮像画像を後述する手
順にしたがって処理することにより、それらの撮像画像
に示されている車両等の三次元位置の計測を行う。On the sidewalk S, an image processing apparatus 1 constituting the three-dimensional position measuring apparatus of the present invention is installed.
The image processing apparatus 1 processes the images captured by the left camera 2a and the right camera 2b in accordance with the procedure described later to measure the three-dimensional position of the vehicle or the like shown in the captured images. I do.
【００２３】なお、この画像処理装置１は、上述したよ
うに歩道Ｓ上に設けられているのではなく、横断歩道Ｗ
及び道路Ｒから離れた任意の場所に設けられていてもよ
い。この場合、画像処理装置１は、公衆回線又は無線等
を介して左側カメラ２ａ及び右側カメラ２ｂによって撮
像された撮像画像を取得することによって、後述する処
理を実行することができる。The image processing apparatus 1 is not provided on the sidewalk S as described above, but is provided on the pedestrian crossing W
And may be provided at any place away from the road R. In this case, the image processing apparatus 1 can execute processing described later by acquiring images captured by the left camera 2a and the right camera 2b via a public line or wireless communication.
【００２４】また、本実施の形態において、本発明の三
次元位置計測装置は左側カメラ２ａ及び右側カメラ２ｂ
の２台のＩＴＶカメラを備えているが、３台以上のＩＴ
Ｖカメラを備えるようにしてもよい。この場合、それら
３台以上のＩＴＶカメラにより撮像された撮像画像を後
述する手順と同様の手順により処理することによって、
それらの撮像画像に示されている車両等の三次元位置の
計測を行うことが可能である。In the present embodiment, the three-dimensional position measuring device of the present invention comprises a left camera 2a and a right camera 2b.
Is equipped with two ITV cameras, but three or more ITV cameras
A V camera may be provided. In this case, by processing the images captured by the three or more ITV cameras in the same procedure as the procedure described below,
It is possible to measure the three-dimensional position of the vehicle or the like shown in the captured images.
【００２５】図２は、本発明の三次元位置計測装置の構
成を示すブロック図である。図２に示すとおり、本発明
の三次元位置計測装置はＭＰＵ等で構成される制御部１
１を有しており、該制御部１１はバスを介して接続され
ている各ハードウェアを制御すると共に、ＲＯＭ１３に
記憶されている種々のコンピュータプログラムを実行す
る。FIG. 2 is a block diagram showing the configuration of the three-dimensional position measuring device of the present invention. As shown in FIG. 2, the three-dimensional position measuring apparatus according to the present invention includes a control unit 1 including an MPU or the like.
The control unit 11 controls each hardware connected via a bus, and executes various computer programs stored in the ROM 13.
【００２６】ＲＡＭ１２は、例えばＳＲＡＭ又はＤＲＡ
Ｍ等で構成されており、制御部１１による制御に必要な
データ及び制御動作時に一次記憶が必要なデータ等を記
憶する。またＲＯＭ１３は、例えばＰＲＯＭ又はＥＰＲ
ＯＭ等で構成されており、この三次元位置計測装置全体
を制御するためのコンピュータプログラム等を予め記憶
している。The RAM 12 is, for example, an SRAM or a DRA
M and the like, and stores data necessary for control by the control unit 11 and data that need to be temporarily stored during a control operation. The ROM 13 is, for example, a PROM or an EPR.
It is composed of an OM or the like, and stores in advance a computer program or the like for controlling the entire three-dimensional position measuring device.
【００２７】画像入力Ｉ／Ｆ１４は、左側カメラ２ａ及
び右側カメラ２ｂによって撮像された撮像画像を計測装
置で利用可能なデータに変換するＡ／Ｄ変換回路等から
構成されるインタフェースである。また画像メモリ１５
は、この画像入力Ｉ／Ｆ１４を介して取得した撮像画像
及び後述する手順にしたがって作成される距離画像等を
記憶する。The image input I / F 14 is an interface composed of an A / D conversion circuit for converting the images taken by the left camera 2a and the right camera 2b into data usable by the measuring device. The image memory 15
Stores a captured image acquired through the image input I / F 14, a distance image created according to a procedure described later, and the like.
【００２８】信号処理部１６は、画像メモリに記憶され
ている撮像画像に対して後述するような処理を行うため
の複数のＤＳＰ（Digital Signal Processor）等で構成
される。これらのＤＳＰを用いて並列処理を行うことに
より、処理の高速化を図ることができる。約３３ｍｍ／
秒間隔で撮像された撮像画像を処理することが可能な場
合、交通監視に適したリアルタイム処理を実現すること
ができる。The signal processing section 16 is composed of a plurality of DSPs (Digital Signal Processors) for performing the processing described later on the captured image stored in the image memory. By performing parallel processing using these DSPs, the processing speed can be increased. About 33mm /
When it is possible to process a captured image captured at intervals of seconds, real-time processing suitable for traffic monitoring can be realized.
【００２９】また操作部１７は、キーボード等で構成さ
れ、ユーザがこの三次元位置計測装置に対して各種の指
示及びデータを入力するために用いられる入力装置であ
る。The operation unit 17 is an input device which is composed of a keyboard or the like and is used by a user to input various instructions and data to the three-dimensional position measuring device.
【００３０】図３は、本発明の三次元位置計測装置の動
作の流れを示すフローチャートである。本発明の三次元
位置計測装置は、左側カメラ２ａによって撮像された撮
像画像（以下、基準画像という）及び右側カメラ２ｂに
よって撮像された撮像画像（以下、比較画像という）を
画像入力Ｉ／Ｆ１４を介して取得し、取得した基準画像
及び比較画像を画像メモリ１５に記憶する（Ｓ１０
１）。FIG. 3 is a flowchart showing the flow of the operation of the three-dimensional position measuring device of the present invention. The three-dimensional position measuring apparatus according to the present invention uses an image input I / F 14 of a captured image (hereinafter, referred to as a reference image) captured by the left camera 2a and a captured image (hereinafter, referred to as a comparative image) captured by the right camera 2b. And the acquired reference image and comparison image are stored in the image memory 15 (S10).
1).
【００３１】次に、画像メモリ１５に記憶されている基
準画像及び比較画像を読み込み、これら基準画像及び比
較画像夫々に対して公知の手法を用いて平滑化処理を行
う（Ｓ１０２）。これにより各画像における種々の雑音
を除去する。そして、平滑化処理後の基準画像及び比較
画像夫々に対して微分処理を施すことによりエッジ画素
を抽出する（Ｓ１０３）。Next, the reference image and the comparison image stored in the image memory 15 are read, and a smoothing process is performed on each of the reference image and the comparison image using a known method (S102). This removes various noises in each image. Then, an edge pixel is extracted by performing a differentiation process on each of the reference image and the comparison image after the smoothing process (S103).
【００３２】次に、後述する対応付け処理を実行し（Ｓ
１０４）、基準画像における画素と対応付けられる比較
画像中の画素を決定する。そして、そのようにして対応
付けられた両画素の夫々に対して後述するサブピクセル
演算処理（Ｓ１０５）を実行することにより１画素以下
のサブピクセル単位で視差を算出する。Next, a matching process to be described later is executed (S
104), determine the pixels in the comparison image that are associated with the pixels in the reference image. Then, a parallax is calculated in units of sub-pixels of one pixel or less by executing a sub-pixel calculation process (S105) described later for each of the two pixels thus associated.
【００３３】次に、このようにして算出された視差に基
づき、左側カメラ２ａ及び右側カメラ２ｂから道路上の
対象物体までの距離を、上述した式（１）を用いて夫々
算出する（Ｓ１０６）。そして、その結果算出された距
離に基づいて距離画像を生成し（Ｓ１０７）、生成した
距離画像を画像メモリ１５に記憶する。Next, based on the parallax thus calculated, the distance from the left camera 2a and the right camera 2b to the target object on the road is calculated using the above-mentioned equation (1) (S106). . Then, a distance image is generated based on the distance calculated as a result (S107), and the generated distance image is stored in the image memory 15.
【００３４】次に、上述したステップＳ１０４及びＳ１
０５の処理内容について説明する。図４は、ステップＳ
１０４における対応付け処理を実行する場合の本発明の
三次元位置計測装置の動作の流れを示すフローチャート
である。なお、ユーザは、基準画像及び比較画像の夫々
に対して、後述する対応付け処理を実行する領域を操作
部１７を用いて予め設定しているものとする。以下、そ
の設定された領域を設定領域という。この設定領域に、
例えば道路Ｒ以外の部分等の交通監視には不要な領域を
含めないようにすることにより、計算量を少なくするこ
とができる。Next, steps S104 and S1 described above are performed.
05 will be described. FIG.
6 is a flowchart showing a flow of an operation of the three-dimensional position measuring device of the present invention when executing the association processing in 104. It is assumed that the user has previously set an area for executing a later-described associating process for each of the reference image and the comparison image using the operation unit 17. Hereinafter, the set area is referred to as a set area. In this setting area,
For example, it is possible to reduce the amount of calculation by not including an unnecessary area for traffic monitoring such as a part other than the road R.
【００３５】本発明の三次元位置計測装置は、画像メモ
リ１５に記憶されている基準画像を読み込み、その基準
画像における任意の画素を対応付け処理の処理対象の画
素である第１処理画素に設定する（Ｓ２０１）。そして
その第１処理画素が上述した設定領域内にあるか否かを
判定する（Ｓ２０２）。ここで第１処理画素は設定領域
内にはないと判定した場合（Ｓ２０２でＮＯ）、基準画
像におけるすべての画素が第１処理画素に設定されたか
否かを判定する（Ｓ２１４）。そして、基準画像におけ
るすべての画素が第１処理画素に設定されたと判定した
場合（Ｓ２１４でＹＥＳ）は処理を終了する。また、ま
だ第１処理画素に設定されていない画素があると判定し
た場合（Ｓ２１４でＮＯ）はステップＳ２０１に戻り、
新たな画素を第１処理画素に設定する。The three-dimensional position measuring device of the present invention reads a reference image stored in the image memory 15 and sets an arbitrary pixel in the reference image as a first processing pixel which is a processing target pixel of the association processing. (S201). Then, it is determined whether or not the first processing pixel is within the above-described setting area (S202). Here, when it is determined that the first processing pixel is not within the set area (NO in S202), it is determined whether all the pixels in the reference image have been set as the first processing pixel (S214). When it is determined that all the pixels in the reference image have been set as the first processing pixels (YES in S214), the process ends. If it is determined that there is a pixel that has not yet been set as the first processing pixel (NO in S214), the process returns to step S201, and
The new pixel is set as the first processing pixel.
【００３６】一方、ステップＳ２０２にて、第１処理画
素は設定領域内にあると判定した場合（Ｓ２０２でＹＥ
Ｓ）、その第１処理画素が上述したステップＳ１０３に
て抽出したエッジ画素であるか否かを判定する（Ｓ２０
３）。ここで第１処理画素がエッジ画素ではないと判定
した場合（Ｓ２０３でＮＯ）、上述したステップＳ２１
４へ進む。On the other hand, when it is determined in step S202 that the first processing pixel is within the set area (YE in S202).
S), it is determined whether the first processing pixel is the edge pixel extracted in step S103 described above (S20).
3). If it is determined that the first processing pixel is not an edge pixel (NO in S203), the above-described step S21 is performed.
Proceed to 4.
【００３７】また、ステップＳ２０３にて、第１処理画
素がエッジ画素であると判定した場合（Ｓ２０３でＹＥ
Ｓ）、第１処理画素及びその第１処理画素の近傍画素
（例えば８近傍画素）を処理対象の画像である第１処理
画像に設定する（Ｓ２０４）。If it is determined in step S203 that the first processing pixel is an edge pixel (YES in step S203).
S), the first processing pixel and neighboring pixels (for example, eight neighboring pixels) of the first processing pixel are set as the first processing image which is the image to be processed (S204).
【００３８】次に、第１処理画素の位置に基づき、後述
するようにして第１処理画素と対応付けられる画素（以
下、対応画素という）の検出領域の特定を行う（Ｓ２０
５）。Next, based on the position of the first processing pixel, a detection area of a pixel (hereinafter, referred to as a corresponding pixel) associated with the first processing pixel is specified as described later (S20).
5).
【００３９】図５は、対応画素の検出領域を示す概念図
である。図５（ａ）においてＰ１は基準画像を、また
（ｂ）においてＰ２は比較画像を夫々示している。図５
（ａ）に示すとおり、基準画像Ｐ１に示されている車両
Ｖを構成する第１処理画素ＡのＸ座標値をＸL ，Ｙ座標
値をＹL とする。ここで、左側カメラ２ａ及び右側カメ
ラ２ｂの設置高さは同一であるため、第１処理画素Ａに
対応付けられる対応画素Ａ’のＹ座標の値は第１処理画
素Ａのそれと同一のＹL となる。FIG. 5 is a conceptual diagram showing a detection area of a corresponding pixel. In FIG. 5A, P1 indicates a reference image, and in FIG. 5B, P2 indicates a comparison image. FIG.
As shown in (a), the X-coordinate value of the first processing pixel A constituting the vehicle V shown in the reference image P1 to X L, Y coordinate values and Y L. Here, since the installation heights of the left camera 2a and the right camera 2b are the same, the value of the Y coordinate of the corresponding pixel A ′ associated with the first processing pixel A is the same Y L as that of the first processing pixel A. Becomes
【００４０】また、右側カメラ２ｂは、左側カメラ２ａ
よりも撮像対象である車両Ｖに向かって右側にあるた
め、対応画素Ａ’のＸ座標値であるＸR は、第１処理画
素ＡのＸ座標値であるＸL よりも小さい値となる。The right camera 2b is connected to the left camera 2a.
Because of the right side of the vehicle V, which is an imaging target than, X R is X-coordinate value of the corresponding pixel A 'is a value smaller than X L is X-coordinate value of the first processing pixel A.
【００４１】ここでＸL とＸR との差が視差となるが、
この視差がとり得る値の範囲は、（１）左側カメラ２ａ
及び右側カメラ２ｂ間の間隔、（２）左側カメラ２ａ及
び右側カメラ２ｂから撮像対象までの距離等に基づいて
予測することが可能である。特に、交通監視を目的とし
た場合、前記（１）の間隔は車両用信号灯器３ｂの幅か
ら、また前記（２）の距離は車両用信号灯器３ｂの高さ
及び車両Ｖの高さから容易に予測することが可能であ
る。そして、その予測した視差がとり得る値の範囲に基
づき、対応画素Ａ’が存在する領域を特定することがで
きる。[0041] While the difference between where X L and X R is parallax,
The range of values that this parallax can take is (1) the left camera 2a
And (2) the distance from the left camera 2a and the right camera 2b to the imaging target, and the like. In particular, for the purpose of traffic monitoring, the interval of (1) is easily determined from the width of the vehicle signal light 3b, and the distance of (2) is easily determined from the height of the vehicle signal light 3b and the height of the vehicle V. It is possible to predict. Then, the region where the corresponding pixel A ′ exists can be specified based on the range of values that the predicted parallax can take.
【００４２】本発明の三次元位置計測装置は、前記
（１）の間隔及び前記（２）の距離に関するデータを予
めＲＯＭ１３に記憶しておき、これらのデータ並びに第
１処理画素ＡのＸ座標及びＹ座標から、対応画素Ａ’が
存在する領域を特定し、この特定した領域を検出領域Ｓ
とする。In the three-dimensional position measuring apparatus of the present invention, data relating to the interval (1) and the distance (2) are stored in the ROM 13 in advance, and these data, the X coordinate of the first processing pixel A, and From the Y coordinate, an area where the corresponding pixel A ′ exists is specified, and the specified area is detected as a detection area S
And
【００４３】上述したようにして検出領域Ｓを特定した
後、画像メモリ１５に記憶されている比較画像を読み込
み、その比較画像における任意の画素を処理対象の画素
である第２処理画素に設定する（Ｓ２０６）。そして、
その第２処理画素が、上述した設定領域内にあるか否か
を判定する（Ｓ２０７）。ここで第２処理画素は設定領
域内にはないと判定した場合（Ｓ２０７でＮＯ）、比較
画像におけるすべての画素が第２処理画素に設定された
か否かを判定する（Ｓ２１２）。そして、すべての画素
が第２処理画素に設定されたと判定した場合（Ｓ２１２
でＹＥＳ）は処理を終了する。また、まだ第２処理画素
に設定されていない画素があると判定した場合（Ｓ２１
２でＮＯ）はステップＳ２０６に戻り、新たな画素を第
２処理画素に設定する。After specifying the detection area S as described above, the comparison image stored in the image memory 15 is read, and an arbitrary pixel in the comparison image is set as a second processing pixel which is a processing target pixel. (S206). And
It is determined whether or not the second processing pixel is within the above-described setting area (S207). Here, when it is determined that the second processing pixel is not within the set area (NO in S207), it is determined whether all the pixels in the comparison image have been set as the second processing pixel (S212). Then, when it is determined that all the pixels have been set as the second processing pixels (S212)
YES) ends the processing. When it is determined that there is a pixel that has not been set as the second processing pixel yet (S21)
(NO in 2) returns to step S206 to set a new pixel as the second processing pixel.
【００４４】一方、ステップＳ２０７にて第２処理画素
が設定領域内にあると判定した場合（Ｓ２０７でＹＥ
Ｓ）、その第２処理画素が上述した検出領域Ｓ内にある
か否かを判定する（Ｓ２０８）。ここで第２処理画素は
検出領域Ｓ内にはないと判定した場合（Ｓ２０８でＮ
Ｏ）、上述したステップＳ２１２へ進む。On the other hand, when it is determined in step S207 that the second processing pixel is within the set area (YE in S207).
S), it is determined whether or not the second processing pixel is within the above-described detection area S (S208). Here, when it is determined that the second processing pixel is not in the detection area S (N in S208)
O), and proceed to step S212 described above.
【００４５】また、ステップＳ２０８にて、第２処理画
素は検出領域Ｓ内にあると判定した場合（Ｓ２０８でＹ
ＥＳ）、その第２処理画素がエッジ画素であるか否かを
判定する（Ｓ２０９）。ここで第２処理画素がエッジ画
素ではないと判定した場合（Ｓ２０９でＮＯ）、上述し
たステップＳ２１２へ進む。If it is determined in step S208 that the second processing pixel is within the detection area S (Y in S208).
ES), it is determined whether or not the second processing pixel is an edge pixel (S209). If it is determined that the second processing pixel is not an edge pixel (NO in S209), the process proceeds to step S212 described above.
【００４６】また、ステップＳ２０９にて、第２処理画
素がエッジ画素であると判定した場合（Ｓ２０９でＹＥ
Ｓ）、第２処理画素及びその第２処理画素の近傍画素を
処理対象の画像である第２処理画像に設定する（Ｓ２１
０）。If it is determined in step S209 that the second processing pixel is an edge pixel (YES in step S209).
S), the second processing pixel and the neighboring pixels of the second processing pixel are set as the second processing image which is the processing target image (S21).
0).
【００４７】次に、第１処理画像と第２処理画像との間
の類似度を算出する（Ｓ２１１）。この類似度の算出
は、例えば画素値の差の２乗の和を用いて行う。または
公知の手法により算出された相互相関値を用いて行うこ
とも可能である。さらに、エッジ画素を抽出したときの
傾きの角度のマッチング処理を行うことによっても類似
度を算出することができる。Next, the similarity between the first processed image and the second processed image is calculated (S211). The calculation of the similarity is performed using, for example, the sum of squares of the difference between the pixel values. Alternatively, it is also possible to use a cross-correlation value calculated by a known method. Further, the similarity can be calculated by performing a matching process of the inclination angle at the time of extracting the edge pixels.
【００４８】次に、上述したステップＳ２１２へ進み、
比較画像におけるすべての画素が第２処理画素に設定さ
れたか否かを判定する（Ｓ２１２）。ここで、まだ第２
処理画素に設定されていない画素があると判定した場合
（Ｓ２１２でＮＯ）はステップＳ２０６に戻り、新たな
画素を第２処理画素に設定する。Next, the process proceeds to step S212 described above,
It is determined whether all pixels in the comparison image have been set as second processing pixels (S212). Here, the second
If it is determined that there is a pixel that is not set as a processing pixel (NO in S212), the process returns to step S206, and a new pixel is set as a second processing pixel.
【００４９】一方、ステップＳ２１２にて、すべての画
素が第２処理画素に設定されたと判定した場合（Ｓ２１
２でＹＥＳ）、ステップＳ２１１にて算出した類似度が
もっとも高い値を示している第２処理画像を特定し、そ
の特定した第２処理画像の注目画素を第１処理画素に対
応付けられる対応画素とすることにより対応付けを決定
する（Ｓ２１３）。なお、以下ではこのようにして対応
付けがなされた第１処理画素を基準画素という。On the other hand, when it is determined in step S212 that all the pixels have been set as the second processing pixels (S21)
2; YES), the second processed image having the highest similarity calculated in step S211 is specified, and the target pixel of the specified second processed image is associated with the first processed pixel. Is determined (S213). In the following, the first processing pixel associated in this way is referred to as a reference pixel.
【００５０】そして、上述したステップＳ２１４へ進
み、基準画像におけるすべての画素が第１処理画素に設
定されたか否かを判定する（Ｓ２１４）。ここで、基準
画像においてまだ第１処理画素に設定されていない画素
があると判定した場合（Ｓ２１４でＮＯ）はステップＳ
２０１へ戻り、一方基準画像におけるすべての画素が第
１処理画素に設定されたと判定した場合（Ｓ２１４でＹ
ＥＳ）は処理を終了する。Then, the process proceeds to step S214, and it is determined whether or not all the pixels in the reference image have been set as the first processing pixels (S214). If it is determined that there is a pixel that has not been set as the first processing pixel in the reference image (NO in S214), the process proceeds to step S214.
201, when it is determined that all the pixels in the reference image have been set as the first processing pixels (Y in S214)
ES) ends the process.
【００５１】なお、本実施の形態は左側カメラ２ａ及び
右側カメラ２ｂの設置高さを同一としているが、この高
さが同一でない場合であっても同様に処理することが可
能である。ただし、その場合は、両カメラの設置高さが
同一である場合に比し、より広い領域を検出領域Ｓに設
定する必要がある。In this embodiment, the left camera 2a and the right camera 2b are installed at the same height. However, even when the heights are not the same, the same processing can be performed. However, in this case, it is necessary to set a wider area as the detection area S than when the installation heights of both cameras are the same.
【００５２】図６は、サブピクセル演算処理を実行する
場合の本発明の三次元位置計測装置の動作の流れを示す
フローチャートである。本発明の三次元位置計測装置
は、上述したようにして対応づけられた基準画素及び対
応画素をサブピクセル演算処理の処理対象である処理画
素に設定する（Ｓ３０１）。そして、後述する式（５）
乃至（７）を用いて、処理画素である基準画素及び対応
画素の夫々に係る２次曲線を算出する（Ｓ３０２）。FIG. 6 is a flowchart showing the flow of the operation of the three-dimensional position measuring apparatus according to the present invention when executing the sub-pixel operation processing. The three-dimensional position measuring apparatus of the present invention sets the reference pixel and the corresponding pixel associated as described above as a processing pixel to be subjected to the sub-pixel operation processing (S301). Then, the following equation (5)
Using (7) to (7), a quadratic curve is calculated for each of the reference pixel and the corresponding pixel that are the processing pixels (S302).
【００５３】次に、算出された２次曲線のピーク位置を
後述する式（８）を用いて算出する（Ｓ３０３）。そし
て、その結果算出されたピーク位置及び処理画素である
基準画素及び対応画素のＸ座標値に基づき、後述するよ
うにして視差を算出する（Ｓ３０４）。Next, the calculated peak position of the quadratic curve is calculated by using the following equation (8) (S303). Then, based on the calculated peak position and the X coordinate values of the reference pixel and the corresponding pixel, which are the processing pixels, the parallax is calculated as described later (S304).
【００５４】次に、すべての基準画素及び対応画素が処
理画素に設定されたか否かを判定する（Ｓ３０５）。そ
して、まだ処理画素に設定されていない基準画素及び対
応画素がある場合（Ｓ３０５でＮＯ）はステップＳ３０
１へ戻り、新たな基準画素及び対応画素を処理画素に設
定する。また、すべての基準画素及び対応画素が処理画
素に設定されたと判定した場合（Ｓ３０５でＹＥＳ）は
処理を終了する。Next, it is determined whether or not all reference pixels and corresponding pixels have been set as processing pixels (S305). If there is a reference pixel and a corresponding pixel that have not been set as a processing pixel yet (NO in S305), step S30 is performed.
Returning to 1, the new reference pixel and the corresponding pixel are set as the processing pixels. If it is determined that all the reference pixels and the corresponding pixels have been set as the processing pixels (YES in S305), the process ends.
【００５５】図７は、サブピクセル演算処理の概念図で
ある。図７において、Ｘ軸は画素のＸ座標値を、Ｙ軸は
その画素の画素値の微分値を夫々示している。本発明の
三次元位置計測装置は、処理画素である基準画素のＸ座
標値を０とし、またその基準画素と水平方向にて隣り合
う２つの画素夫々のＸ座標値を−１，１とする。さら
に、これらのＸ座標値が−１，０，１である画素の画素
値の微分値をＹ-1，Ｙ 0 ，Ｙ1 とする。FIG. 7 is a conceptual diagram of the sub-pixel operation processing.
is there. In FIG. 7, the X axis represents the X coordinate value of the pixel, and the Y axis represents
The differential value of the pixel value of the pixel is shown. Of the present invention
The three-dimensional position measuring device calculates the X coordinate of a reference pixel which is a processing pixel.
The target value is set to 0, and the reference pixel is adjacent to the reference pixel in the horizontal direction.
The X coordinate values of these two pixels are assumed to be -1,1. Further
Are the pixels whose X coordinate values are -1, 0, 1
The differential value of the value is Y-1, Y 0, Y1And
【００５６】ところで、これらのＸ座標値及びＹ座標値
を、２次曲線を表す式であるｙ＝ａｘ2 ＋ｂｘ＋ｃに代
入することにより、以下の式（２）乃至（４）を得るこ
とができる。 Ｙ0 ＝ｃ …（２） Ｙ-1＝ａ−ｂ＋ｃ …（３） Ｙ1 ＝ａ＋ｂ＋ｃ …（４）By substituting these X coordinate values and Y coordinate values into a formula representing a quadratic curve, y = ax 2 + bx + c, the following formulas (2) to (4) can be obtained. . Y 0 = c (2) Y −1 = ab + c (3) Y 1 = a + b + c (4)
【００５７】また、これらの式（２）乃至（４）を解い
て、以下の式（５）乃至（７）を得ることができる。 ａ＝（Ｙ-1＋Ｙ1 ）／２−ｃ …（５） ｂ＝（Ｙ1 −Ｙ-1）／２ …（６） ｃ＝Ｙ0 …（７）By solving these equations (2) to (4), the following equations (5) to (7) can be obtained. a = (Y −1 + Y 1 ) / 2−c (5) b = (Y 1 −Y −1 ) / 2 (6) c = Y 0 (7)
【００５８】本発明の三次元位置計測装置は、これらの
式（５）乃至（７）を用いて、基準画素及びその基準画
素と水平方向に隣り合う２つの画素の各画素間での画素
値の微分値の変化を近似する２次曲線を算出する（Ｓ３
０２）。The three-dimensional position measuring apparatus of the present invention uses these equations (5) to (7) to calculate the pixel value between each pixel of the reference pixel and two pixels horizontally adjacent to the reference pixel. Calculates a quadratic curve approximating the change in the differential value of
02).
【００５９】また、これらの式（５）乃至（７）より、
ｙ＝ａｘ2 ＋ｂｘ＋ｃで表される２次曲線のピーク位置
のＸ座標値であるＸP を算出する以下の式（８）を得る
ことができる。 ＸP ＝ｂ／２ａ …（８）From these equations (5) to (7),
The following equation (8) for calculating XP , which is the X coordinate value of the peak position of the quadratic curve represented by y = ax 2 + bx + c, can be obtained. XP = b / 2a (8)
【００６０】本発明の三次元位置計測装置は、この式
（８）を用いて、前記算出した２次曲線におけるＸP を
算出する（Ｓ３０３）。そして、以下の式（９）に示す
とおり、前記算出したＸP と基準画素のＸ座標値との和
を算出し、その結果算出された値をサブピクセル演算処
理後の基準画素のＸ座標値とする。 基準画素のＸ座標値＋ＸP …（９）[0060] three-dimensional position measuring apparatus of the present invention, by using the equation (8), calculates the X P in the secondary curve the calculated (S303). Then, as shown in the following equation (9), the sum of the X coordinate value of the calculated X P and the reference pixels is calculated to, X-coordinate values of the reference pixels of the sub-pixel operation post-processing the results calculated values And X coordinate value of reference pixel + X P (9)
【００６１】また、上述した基準画素の場合と同様の手
順により、対応画素及びその対応画素と水平方向に隣り
合う２つの画素の各画素間での画素値の微分値の変化を
近似する２次曲線を算出し（Ｓ３０２）、算出した２次
曲線のピーク位置のＸ座標値であるＸP を求め（Ｓ３０
３）、そのＸP と対応画素のＸ座標値との和をサブピク
セル演算処理後の対応画素のＸ座標値とする。In the same procedure as in the case of the above-described reference pixel, a second order approximating the change in the differential value of the pixel value between the corresponding pixel and two pixels horizontally adjacent to the corresponding pixel. calculating a curve (S302), obtains the X P is X-coordinate value of the peak position of the calculated quadratic curve (S30
3), and its X P and X-coordinate value of the corresponding pixel after sum subpixel processing of the X-coordinate value of the corresponding pixel.
【００６２】そして、本発明の三次元位置計測装置は、
このようにして算出されたサブピクセル演算処理後の基
準画素のＸ座標値と対応画素のＸ座標値との差を視差ｄ
とする（Ｓ３０４）。これにより、１画素以下のサブピ
クセル単位で視差ｄを算出することができる。The three-dimensional position measuring device of the present invention
The difference between the X-coordinate value of the reference pixel and the X-coordinate value of the corresponding pixel after the sub-pixel calculation processing calculated in this way is represented by a parallax d.
(S304). Thus, the parallax d can be calculated in subpixel units of one pixel or less.
【００６３】なお、本実施の形態においては、基準画素
（又は対応画素）及びその基準画素（又は対応画素）と
水平方向に隣り合う２つの画素の各画素間での画素値の
微分値の変化を近似する２次曲線を算出しているが、水
平方向に隣り合う２つの画素ではなく、水平方向に連続
する３つ以上の画素であっても同様に処理することもで
きる。In this embodiment, the change in the differential value of the pixel value between the reference pixel (or the corresponding pixel) and the two pixels adjacent to the reference pixel (or the corresponding pixel) in the horizontal direction. Is calculated, but the same processing can be applied to not only two pixels adjacent in the horizontal direction but also three or more pixels continuous in the horizontal direction.
【００６４】また、例えばこれらの水平方向に隣り合う
２つの画素（又は水平方向に連続する３つ以上の画素）
に加えて、基準画素（又は対応画素）と垂直方向に隣り
合う２つの画素（又は垂直方向に連続する３つ以上の画
素）を処理対象とするようにしてもよい。その場合は、
２次曲線ではなく、曲面を用いて各画素間での画素値の
微分値の変化を近似することになる。Further, for example, two pixels adjacent to each other in the horizontal direction (or three or more pixels continuous in the horizontal direction)
In addition, two pixels adjacent to the reference pixel (or the corresponding pixel) in the vertical direction (or three or more pixels continuous in the vertical direction) may be set as the processing target. In that case,
A change in the differential value of the pixel value between pixels is approximated using a curved surface instead of a quadratic curve.
【００６５】図８は、本発明及び従来の三次元位置計測
装置による対応付け処理の結果を示す概念図である。図
８において、（ａ）は画素単位で視差を算出する従来の
三次元位置計測装置における対応付け処理の結果を、
（ｂ）は本発明の三次元位置計測装置によって行われる
サブピクセル単位で視差を算出する場合の対応付け処理
の結果を夫々示している。FIG. 8 is a conceptual diagram showing the results of the association process by the present invention and the conventional three-dimensional position measuring device. In FIG. 8, (a) shows the result of the associating process in the conventional three-dimensional position measuring device for calculating parallax in pixel units,
(B) shows the results of the associating process performed by the three-dimensional position measuring apparatus of the present invention when calculating parallax in subpixel units.
【００６６】従来の三次元位置計測装置では、図８
（ａ）に示すとおり、基準画素のＸ座標値であるＸL 及
び対応画素のＸ座標値であるＸR のみに基づいて画素単
位で対応付けが行われる。一方、本発明の三次元位置計
測装置では、図８（ｂ）に示すとおり、基準画素及び対
応画素夫々に加え、それらの画素と水平方向に隣り合う
２つの画素をも考慮してサブピクセル単位で対応付けが
行われる。その結果、交通監視を目的とする場合のよう
に、左側カメラ２ａ及び右側カメラ２ｂ間の間隔を所定
長以上広げることができないような制約の下であって
も、従来よりも計測測度を向上させることが可能にな
る。In the conventional three-dimensional position measuring device, FIG.
As shown in (a), the association in pixel units on the basis of only the X R is X-coordinate value of X L and the corresponding pixel is the X-coordinate value of the reference pixel. On the other hand, in the three-dimensional position measuring apparatus of the present invention, as shown in FIG. 8B, in addition to each of the reference pixel and the corresponding pixel, two pixels adjacent to the pixel in the horizontal direction are also taken into consideration. Is associated. As a result, even if the distance between the left camera 2a and the right camera 2b cannot be increased by a predetermined length or more, as in the case of traffic monitoring, the measurement measure can be improved as compared with the related art. It becomes possible.
【００６７】なお、上述した処理は、信号処理部１６が
備える複数のＤＳＰにより並列に実行することが可能で
ある。例えば基準画像に係る処理及び比較画像に係る処
理を並列に実行することにより、交通監視に適したリア
ルタイム処理を実現することができる。The above-described processing can be executed in parallel by a plurality of DSPs included in the signal processing unit 16. For example, real-time processing suitable for traffic monitoring can be realized by executing processing relating to the reference image and processing relating to the comparison image in parallel.
【００６８】[0068]
【発明の効果】以上詳述した如く、請求項１に記載の三
次元位置計測方法及び請求項３に記載の三次元位置計測
装置は、対応付けに係るエッジ画素及びそのエッジ画素
付近に存在する画素の各画素間での画素値の微分値の変
化を曲線で近似し、その近似した曲線のピーク位置に基
づいて視差を求めることによって、１画素以下のサブピ
クセル単位で視差を求めることが可能になるため、上述
したような交通監視を目的とした場合における制約の下
で、従来よりも計測精度を向上させることができる。As described above in detail, the three-dimensional position measuring method according to the first aspect and the three-dimensional position measuring apparatus according to the third aspect exist in the vicinity of an edge pixel associated with the association and the edge pixel. By approximating the change in the differential value of the pixel value between each pixel with a curve and calculating the parallax based on the peak position of the approximated curve, it is possible to obtain the parallax in subpixel units of one pixel or less. Therefore, under the restrictions for the purpose of traffic monitoring as described above, the measurement accuracy can be improved as compared with the related art.
【００６９】また、請求項２に記載の三次元位置計測方
法及び請求項４に記載の三次元位置計測装置は、一の撮
像画像におけるエッジ画素の位置に基づいて特定された
領域内で、そのエッジ画素と対応付けられるエッジ画素
の検出を他の撮像画像において行うことにより、領域を
特定せずに検出を行う場合に比し、少ない計算量で足
り、しかも誤った対応付けを行う確率を低くすることが
できる等、本発明は優れた効果を奏する。Further, the three-dimensional position measuring method according to the second aspect and the three-dimensional position measuring apparatus according to the fourth aspect include the three-dimensional position measuring method in a region specified based on the position of an edge pixel in one captured image. By detecting the edge pixel associated with the edge pixel in another captured image, a smaller amount of calculation is required and the probability of performing an incorrect association is lower than in the case where detection is performed without specifying an area. For example, the present invention has excellent effects.
【図１】本発明の三次元位置計測装置を道路に適用した
場合の構成例を示す概念図である。FIG. 1 is a conceptual diagram showing a configuration example when a three-dimensional position measuring device of the present invention is applied to a road.
【図２】本発明の三次元位置計測装置の構成を示すブロ
ック図である。FIG. 2 is a block diagram showing a configuration of a three-dimensional position measuring device according to the present invention.
【図３】本発明の三次元位置計測装置の動作の流れを示
すフローチャートである。FIG. 3 is a flowchart showing a flow of an operation of the three-dimensional position measuring device of the present invention.
【図４】対応付け処理を実行する場合の本発明の三次元
位置計測装置の動作の流れを示すフローチャートであ
る。FIG. 4 is a flowchart showing a flow of an operation of the three-dimensional position measuring device of the present invention when executing the association processing.
【図５】対応画素の検出領域を示す概念図である。FIG. 5 is a conceptual diagram showing a detection area of a corresponding pixel.
【図６】サブピクセル演算処理を実行する場合の本発明
の三次元位置計測装置の動作の流れを示すフローチャー
トである。FIG. 6 is a flowchart showing a flow of an operation of the three-dimensional position measuring apparatus of the present invention when performing a sub-pixel operation process.
【図７】サブピクセル演算処理の概念図である。FIG. 7 is a conceptual diagram of a sub-pixel operation process.
【図８】本発明及び従来の三次元位置計測装置による対
応付け処理の結果を示す概念図である。FIG. 8 is a conceptual diagram showing a result of an association process by the present invention and a conventional three-dimensional position measuring device.
１ 画像処理装置 ２ａ，２ｂ ＩＴＶカメラ ３ａ 歩行者用信号灯器 ３ｂ 車両用信号灯器 Ｐ 歩行者 Ｒ 道路 Ｓ 歩道 Ｖ 車両 Ｗ 横断歩道 DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2a, 2b ITV camera 3a Signal light for pedestrians 3b Signal light for vehicles P Pedestrian R Road S Sidewalk V Vehicle W Crosswalk
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 CC40 DD03 DD06 FF05 GG10 JJ26 QQ03 QQ13 QQ24 QQ28 QQ34 UU05 2F112 AD06 BA01 CA12 FA03 FA21 FA45 5H180 BB05 CC04 DD01 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 2F065 AA04 CC40 DD03 DD06 FF05 GG10 JJ26 QQ03 QQ13 QQ24 QQ28 QQ34 UU05 2F112 AD06 BA01 CA12 FA03 FA21 FA45 5H180 BB05 CC04 DD01
Claims (4)
れた複数の撮像画像を用いて距離画像を生成することに
より、前記道路上の対象物体の三次元位置を計測する三
次元位置計測方法において、 前記複数の撮像画像夫々においてエッジ画素を抽出する
ステップと、一の撮像画像において抽出したエッジ画素
と他の撮像画像において抽出したエッジ画素との対応付
けを行うステップと、該対応付けに係るエッジ画素及び
該エッジ画素付近に存在する画素の各画素間での画素値
の微分値の変化を曲線で近似するステップと、近似した
曲線のピーク位置を算出するステップと、算出したピー
ク位置に基づいて視差を算出するステップと、算出した
視差に基づいて距離画像を生成するステップとを有する
ことを特徴とする三次元位置計測方法。1. A three-dimensional position measuring method for measuring a three-dimensional position of a target object on a road by generating a distance image using a plurality of captured images captured by an imaging device having a road as a visual field. Extracting an edge pixel in each of the plurality of captured images; associating an edge pixel extracted in one captured image with an edge pixel extracted in another captured image; A step of approximating the change in the differential value of the pixel value between each pixel of the pixels and the pixels existing near the edge pixel by a curve, a step of calculating the peak position of the approximated curve, and A three-dimensional position measurement method, comprising: calculating a parallax; and generating a distance image based on the calculated parallax.
の撮像画像において抽出したエッジ画素の位置に基づい
て、該エッジ画素と対応付けられる他の撮像画像におい
て抽出したエッジ画素の検出領域を特定し、特定した検
出領域内で前記他の撮像画像において抽出したエッジ画
素の検出を行うことを特徴とする請求項１に記載の三次
元位置計測方法。2. The method according to claim 1, further comprising the step of identifying a detection area of an edge pixel extracted in another captured image associated with the edge pixel based on a position of the edge pixel extracted in the one captured image. The three-dimensional position measuring method according to claim 1, wherein an edge pixel extracted from the another captured image is detected in the specified detection area.
像装置により撮像された複数の撮像画像を用いて距離画
像を生成することにより、前記道路上の対象物体の三次
元位置を計測する三次元位置計測装置において、 前記複数の撮像画像夫々においてエッジ画素を抽出する
エッジ画素抽出手段と、該エッジ画素抽出手段によって
抽出された一の撮像画像におけるエッジ画素と他の撮像
画像におけるエッジ画素との対応付けを行う対応付け手
段と、該対応付け手段により行われた対応付けに係るエ
ッジ画素及び該エッジ画素付近に存在する画素の各画素
間での画素値の微分値の変化を近似する曲線を算出する
曲線算出手段と、該曲線算出手段により算出された曲線
のピーク位置を算出するピーク位置算出手段と、該ピー
ク位置算出手段により算出されたピーク位置に基づいて
視差を算出する視差算出手段と、該視差算出手段により
算出された視差に基づいて距離画像を生成する距離画像
生成手段とを備えることを特徴とする三次元位置計測装
置。3. A three-dimensional position of a target object on the road is measured by providing an image pickup device having a view of a road as a field of view and generating a distance image using a plurality of images picked up by the image pickup device. In the three-dimensional position measuring device, edge pixel extracting means for extracting edge pixels in each of the plurality of captured images, and edge pixels in one captured image and edge pixels in another captured image extracted by the edge pixel extracting means. And a curve approximating a change in a differential value of a pixel value between each of an edge pixel and a pixel existing near the edge pixel according to the association performed by the association unit. , A peak position calculating means for calculating a peak position of the curve calculated by the curve calculating means, and a peak position calculating means. A three-dimensional position measuring device comprising: a parallax calculating unit that calculates parallax based on the obtained peak position; and a distance image generating unit that generates a distance image based on the parallax calculated by the parallax calculating unit. .
におけるエッジ画素の位置に基づいて、該エッジ画素と
対応付けられる他の撮像画像におけるエッジ画素の検出
領域を特定する特定手段と、該特定手段によって特定さ
れた検出領域内で前記他の撮像画像におけるエッジ画素
の検出を行う検出手段とを具備することを特徴とする請
求項３に記載の三次元位置計測装置。4. An identification unit that identifies a detection area of an edge pixel in another captured image associated with the edge pixel based on a position of the edge pixel in the one captured image, The three-dimensional position measuring apparatus according to claim 3, further comprising: a detecting unit configured to detect an edge pixel in the another captured image in the detection area specified by the specifying unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001019279A JP2002221405A (en) | 2001-01-26 | 2001-01-26 | Method and apparatus for measuring three-dimensional position |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001019279A JP2002221405A (en) | 2001-01-26 | 2001-01-26 | Method and apparatus for measuring three-dimensional position |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002221405A true JP2002221405A (en) | 2002-08-09 |
Family
ID=18885181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001019279A Pending JP2002221405A (en) | 2001-01-26 | 2001-01-26 | Method and apparatus for measuring three-dimensional position |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002221405A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007322259A (en) * | 2006-06-01 | 2007-12-13 | Konica Minolta Sensing Inc | Edge detecting method, apparatus and program |
| US8441474B2 (en) | 2008-06-25 | 2013-05-14 | Aristocrat Technologies Australia Pty Limited | Method and system for setting display resolution |
| JP2013239037A (en) * | 2012-05-15 | 2013-11-28 | Ricoh Co Ltd | Projection device, projection system, projection method, and program |
| WO2014064875A1 (en) * | 2012-10-24 | 2014-05-01 | ソニー株式会社 | Image processing device and image processing method |
-
2001
- 2001-01-26 JP JP2001019279A patent/JP2002221405A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007322259A (en) * | 2006-06-01 | 2007-12-13 | Konica Minolta Sensing Inc | Edge detecting method, apparatus and program |
| JP4743773B2 (en) * | 2006-06-01 | 2011-08-10 | コニカミノルタセンシング株式会社 | Edge detection method, apparatus, and program |
| US8441474B2 (en) | 2008-06-25 | 2013-05-14 | Aristocrat Technologies Australia Pty Limited | Method and system for setting display resolution |
| JP2013239037A (en) * | 2012-05-15 | 2013-11-28 | Ricoh Co Ltd | Projection device, projection system, projection method, and program |
| WO2014064875A1 (en) * | 2012-10-24 | 2014-05-01 | ソニー株式会社 | Image processing device and image processing method |
| CN104641395A (en) * | 2012-10-24 | 2015-05-20 | 索尼公司 | Image processing device and image processing method |
| US20150248766A1 (en) * | 2012-10-24 | 2015-09-03 | Sony Corporation | Image processing apparatus and image processing method |
| JPWO2014064875A1 (en) * | 2012-10-24 | 2016-09-08 | ソニー株式会社 | Image processing apparatus and image processing method |
| CN104641395B (en) * | 2012-10-24 | 2018-08-14 | 索尼公司 | Image processing equipment and image processing method |
| US10134136B2 (en) | 2012-10-24 | 2018-11-20 | Sony Corporation | Image processing apparatus and image processing method |
| EP2913793B1 (en) * | 2012-10-24 | 2020-06-03 | Sony Corporation | Image processing device and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3759429B2 (en) | Obstacle detection apparatus and method | |
| JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
| JP3562751B2 (en) | Forward vehicle detection method and device | |
| JP5752618B2 (en) | Stereo parallax calculation device | |
| JP2006105661A (en) | Method for estimating plane by stereo image | |
| JP2006236104A (en) | Object determining device | |
| EP3282389A1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
| KR20140056790A (en) | Apparatus for image recognition and method thereof | |
| JP4032843B2 (en) | Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system | |
| JP6651702B2 (en) | Object detection device, object detection method, and information processing program | |
| JP2018036117A (en) | Distance measuring device and image controller | |
| JP3961584B2 (en) | Lane marking detector | |
| JP7480833B2 (en) | Measuring equipment, measuring systems and vehicles | |
| JPWO2018123641A1 (en) | RUNNING AREA DETECTION DEVICE AND RUNNING SUPPORT SYSTEM | |
| JP2008309637A (en) | Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system | |
| JP2004013400A (en) | Object recognition device and object recognition method | |
| JP2013161190A (en) | Object recognition device | |
| JP3540005B2 (en) | Obstacle detection device | |
| JP6477340B2 (en) | Road boundary detection device, self-position estimation device, and road boundary detection method | |
| JP2002221405A (en) | Method and apparatus for measuring three-dimensional position | |
| JP2008286648A (en) | Distance measuring device, distance measuring system, and distance measuring method | |
| JP4404047B2 (en) | Obstacle collision determination system, determination apparatus, obstacle collision determination method, and computer program | |
| JP2004245701A (en) | Distance distribution detecting apparatus | |
| JP5903901B2 (en) | Vehicle position calculation device | |
| JP5891802B2 (en) | Vehicle position calculation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040127 |