JP2004028727A - Monitoring system, monitoring method, distance correction device for the monitoring system, and distance correction method - Google Patents

Monitoring system, monitoring method, distance correction device for the monitoring system, and distance correction method Download PDF

Info

Publication number
JP2004028727A
JP2004028727A JP2002184018A JP2002184018A JP2004028727A JP 2004028727 A JP2004028727 A JP 2004028727A JP 2002184018 A JP2002184018 A JP 2002184018A JP 2002184018 A JP2002184018 A JP 2002184018A JP 2004028727 A JP2004028727 A JP 2004028727A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
distance
data
image data
calculated
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002184018A
Other languages
Japanese (ja)
Other versions
JP4032843B2 (en )
Inventor
Keiji Hanawa
塙 圭二
Original Assignee
Fuji Heavy Ind Ltd
富士重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To improve recognition accuracy by integrating distance image data representing a two-dimensional distribution of distances specifiable from an image, and distance measured data representing a two-dimensional distribution of distances calculated by a distance calculation. <P>SOLUTION: A stereo image processing part 7 outputs distance image data based on a pair of image data. A laser radar 10 outputs a two-dimensional distribution of distances in a monitored area as measured distance data. A recognition part 12 divides the distance image data into a plurality of sections and calculates distances based on a parallax group present in the division. Then, the respective divided sections and the corresponding calculated distances form calculated distance data. Further, a data correction part 13 specifies a distance at a predetermined position on the measured distance data as a first distance. By specifying a section indicating a distance to a three-dimensional object in the calculated distance data, and the distance calculated relating to the specified section is used for correcting the first distance. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、監視領域内の状況を監視する監視システムおよび監視方法に関し、また、この監視システムにおける距離補正装置および距離補正方法にも関する。 The present invention relates to a monitoring system and a monitoring method for monitoring the status of the monitored area, also relates to the distance correction device and distance correction method in the monitoring system.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
近年、所定の監視領域内の状況を監視する監視装置が注目・実用化されている。 Recently, monitoring devices have been attracting attention and put into practical use to monitor the status of predetermined monitoring area. この監視装置は、車両や航空機等の移動体に搭載され、或いは、支柱等の静止体に固定されている。 The monitoring device is mounted on a mobile body of a vehicle or aircraft or the like, or are fixed to the stationary body of the strut, and the like. 前者の一例であるステレオ式車外監視装置は、車両に搭載されたステレオカメラによって所定の監視領域内の景色を撮像し、これにより得られた情報に基づいて、走行状況を認識する。 Is an example of the former stereo type vehicle surroundings monitoring apparatus captures a view of predetermined monitoring area by mounting stereo cameras on a vehicle, thereby based on the obtained information, recognizes the traveling condition. ステレオ式監視装置では、一対の撮像画像(ステレオ画像)に写し出された同一対象物に関する位置的なずれ量(すなわち視差)が、ステレオマッチングによって算出される。 Stereo surveillance apparatus, positional deviation amount for the same target object projected on a pair of captured images (stereo images) (i.e. parallax) is calculated by the stereo matching. 画像に写し出されたある対象物の実空間上の位置(三次元的な位置)は、その対象物に関して算出された視差と画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。 Position in the real space of a target object projected on the image (three-dimensional position), based on the position on the parallax image plane calculated for that object, can be calculated from the known coordinate conversion formula it is.
【0003】 [0003]
さらに、監視精度の一層の向上を目的として、ステレオカメラとレーザレーダとを併用した監視装置も提案されている。 Further, for the purpose of further improving the accuracy of monitoring, it has also been proposed combined use monitoring device and a stereo camera and a laser radar. 例えば、特開平7−125567号公報および特開平7−320199号公報には、レーザレーダで監視領域内の対象物の位置を検出するとともに、監視領域内の景色を撮像した画像平面上において、この検出位置に対応する領域に処理エリアを設定する技術が開示されている。 For example, JP-A-7-125567 and JP-A No. 7-320199, and detects the position of the object in the surveillance area in a laser radar, on views the image plane captured in the monitoring area, the technique for setting the processing area in an area corresponding to the detected position is disclosed. そして、画像平面上に設定された処理エリアを処理対象として、ステレオマッチングを行うことにより、対象物までの距離を検出する。 Then, the processing area set on the image plane as a processing target, by performing the stereo matching, detects the distance to the object.
【0004】 [0004]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、上記公報に開示された従来技術では、レーザレーダからのデータに基づき、処理エリアを設定した上で、この処理エリアを処理対象としたステレオマッチングを行う必要がある。 However, in the prior art disclosed in the above publication, on the basis of data from the laser radar, upon setting the processing area, it is necessary to perform stereo matching that this process area processed. そのため、複雑な処理が必要となり、システム構成の複雑化を招くため好ましくない。 Therefore, complicated processing is required, undesirably complicating the system configuration. また、距離センサは、距離の算出精度には優れるものの、先行車等以外の物体に関しては、検出精度があまり高くないという問題がある。 The distance sensor, although excellent in distance calculation accuracy, with respect to an object other than the preceding vehicle or the like, there is a problem that the detection accuracy is not so high. そのような物体の典型例としては歩行者が挙げられる。 As typical examples of such objects include pedestrians. 歩行者は、画像処理による検出が比較的容易である反面、レーザレーダでは検出し難い物体である。 Pedestrian, whereas detection by image processing is comparatively easy, it is the object difficult to detect by the laser radar.
【0005】 [0005]
本発明は、このような事情に鑑みてなされたものであり、その目的は、ステレオカメラにより得られる距離画像データと、レーザレーダより得られる距離測定データとを統合することによって、対象物の認識精度の一層の向上を図ることである。 The present invention has been made in view of such circumstances, and an object by integrating the distance image data obtained by the stereo camera, the distance measurement data obtained from a laser radar, object recognition it is possible to further improve the accuracy.
【0006】 [0006]
また、この発明の別の目的は、予め設定された消失点を用いて対象物に関する三次元情報を求める場合、この設定消失点を補正することにより、対象物に関する三次元情報の精度の一層の向上を図ることである。 Further, another of the present invention aim is, the case of obtaining the three-dimensional information about the object by using a vanishing point previously set by correcting the setting vanishing point, the three-dimensional information about the object further precision it is possible to improve.
【0007】 [0007]
【課題を解決するための手段】 In order to solve the problems]
かかる課題を解決するために、第1の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。 In order to solve such problems, a first invention comprises the monitoring system for monitoring the status of the monitoring area, and a stereo camera, a stereo image processing unit, a laser radar, a recognition unit, and a data correction unit to provide a monitoring system. ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。 Here, a stereo camera images a scene including monitoring area, and outputs the pair of image data. また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、この画像データにより規定される画像平面上の位置とが対応付けられた距離画像データを出力する。 Also, the stereo image processing unit, based on the pair of image data, and calculates the parallax by stereo matching, a parallax groups regarding the image data corresponding to one frame, and the position on the image plane defined by the image data and it outputs the the associated distance image data. また、レーザレーダは、監視領域内の距離を測定し、監視領域内の距離の二次元的な分布を距離測定データとして出力する。 The laser radar measures the distance in the monitored area, and outputs the two-dimensional distribution of a distance in the monitoring area as the distance measurement data. 認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。 Recognition unit, a two-dimensional plane defined by the distance image data is divided into a plurality of sections, and calculates the distance in the monitoring area based on the parallax groups present in the segment. そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。 Then, the distance calculation data and the calculated distance to each of the divided segment is associated is calculated. さらに、データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第1の距離として特定する。 Furthermore, the data correcting unit specifies the distance to the three-dimensional object in the monitored area as the first distance in a predetermined position on the distance measurement data. そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が、第1の距離に補正される。 Then, by identifying the segment indicating the distance to the three-dimensional object in the distance calculation data, the distance calculated for this specified segment is corrected in the first distance. このとき、認識部は、補正部によって補正された距離算出データに基づき、監視領域内の立体物を認識する。 In this case, the recognition unit, based on the distance calculation data corrected by the correction unit recognizes a three-dimensional object in the monitored area.
【0008】 [0008]
また、第2の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。 The second invention is a monitoring system for monitoring the status of the monitoring area, to provide a stereo camera, a stereo image processing unit, a laser radar, a recognition unit, a monitoring system and a data correction unit. ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。 Here, a stereo camera images a scene including monitoring area, and outputs the pair of image data. また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。 Also, the stereo image processing unit, based on the pair of image data, and calculates the parallax by stereo matching, a parallax groups regarding the image data corresponding to one frame, the coordinate position on the image plane defined by the image data and it outputs the the associated distance image data. また、レーザレーダは、監視領域内の距離を測定し、この監視領域内の距離の二次元的な分布を距離測定データとして出力する。 The laser radar measures the distance in the monitored area, and outputs the two-dimensional distribution of the distance of the surveillance area as a distance measurement data. また、認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。 Further, the recognition unit, a two-dimensional plane defined by the distance image data is divided into a plurality of sections, and calculates the distance in the monitoring area based on the parallax groups present in the segment. そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。 Then, the distance calculation data and the calculated distance to each of the divided segment is associated is calculated. データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第1の距離として特定する。 Data correction unit specifies the distance to the three-dimensional object in the monitored area as the first distance in a predetermined position on the distance measurement data. また、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第2の距離として特定される。 Further, by specifying the segment that indicates the distance to the three-dimensional object in the distance calculation data, the distance calculated with respect to segment this identified is identified as the second distance. そして、第1の距離と第2の距離とが比較されることにより、特定された区分に関して算出された距離を補正する補正値としての第3の距離が決定される。 By the first and second distances are compared, the third distance as the correction value for correcting a distance calculated with respect to segments identified is determined. このとき、認識部は、補正された距離算出データに基づき、監視領域内の立体物を認識する。 In this case, the recognition unit, based on the corrected distance calculation data, recognizes the three-dimensional object in the monitored area.
【0009】 [0009]
ここで、第2の発明において、データ補正部は、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第1の距離として決定することが好ましい。 Here, in the second invention, the data correcting section, at a predetermined position on the distance measurement data, when it is determined that there is a measured value corresponding to the distance to the three-dimensional object, the measured value as the first distance It determined it is preferable to.
【0010】 [0010]
この場合、データ補正部は、第1の距離と第2の距離との差が所定のしきい値以内である場合には、第1の距離を第3の距離として決定することが好ましい。 In this case, the data correcting section, when the difference between the first distance and the second distance is within a predetermined threshold value, it is preferable to determine the first distance as a third distance. または、データ補正部は、第1の距離と第2の距離との差が所定のしきい値より大きい場合には、第2の距離を第3の距離として決定することが好ましい。 Or, the data correcting section, when the difference between the first distance and the second distance is greater than a predetermined threshold value, it is preferable to determine the second distance as the third distance.
【0011】 [0011]
あるいは、この場合、データ補正部は、第1の距離と第2の距離との差が所定のしきい値以内である場合には、第1の距離と第2の距離との平均値を第3の距離として決定することが好ましい。 Alternatively, in this case, the data correcting section, when the difference between the first distance and the second distance is within a predetermined threshold, the average value of the first distance and the second distance a it is preferable to determine the 3 distance. また、データ補正部は、第1の距離と第2の距離との差が所定のしきい値より大きい場合には、第2の距離を第3の距離として決定することが好ましい。 The data correction unit, when the difference between the first distance and the second distance is greater than a predetermined threshold value, it is preferable to determine the second distance as the third distance.
【0012】 [0012]
また、第3の発明は、監視システムの距離補正装置において、ステレオカメラと、ステレオ画像処理部と、認識部と、視差補正部とを有する監視システムの距離補正装置を提供する。 The third invention is the distance correction device of the monitoring system, provides a stereo camera, a stereo image processing unit, a recognition unit, a distance correction device of the monitoring system and a parallax compensation part. ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。 Here, a stereo camera images a scene including monitoring area, and outputs the pair of image data. ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。 Stereo image processing unit, based on the pair of image data, and calculates the parallax by stereo matching, associates the parallax group regarding the image data corresponding to one frame, the coordinate position on the image plane defined by the image data and it outputs the obtained distance image data. レーザレーダは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。 Laser radar is configured to measure the distance in the monitored area, and outputs the two-dimensional distribution of a distance in the monitoring area as the distance measurement data. 認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。 Recognition unit, a two-dimensional plane defined by the distance image data is divided into a plurality of sections, and calculates the distance in the monitoring area based on the parallax groups present in the segment. そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。 Then, a distance calculated with each of the divided segment is to calculate the distance calculation data associated. そして、この距離算出データに基づき立体物が認識される。 Then, the three-dimensional object based on the distance calculation data is recognized. 視差補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第1の距離として特定する。 Parallax correction unit specifies the distance to the three-dimensional object in the monitored area as the first distance in a predetermined position on the distance measurement data. そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第2の距離として特定される。 Then, by identifying the segment indicating the distance to the three-dimensional object in the distance calculation data, the distance calculated with respect to segment this identified is identified as the second distance. そして、第1の距離と第2の距離とに基づきパラメータが算出される。 The parameters are calculated based on the first distance and the second distance.
【0013】 [0013]
また、第4の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。 The fourth invention provides a range image data, distance measurement data and using the monitoring method of monitoring the status of the monitored area. ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された1フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。 The distance image data, scenery including monitoring area based on the pair of image data captured, the image plane defined by the parallax group and the image data relating to image data corresponding to one frame calculated by the stereo matching It is associated with the position. また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。 The distance measurement data, a distance in the monitoring area by laser radar is calculated as a two-dimensional distribution of the measured distance. この監視方法において、第1のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。 In this monitoring process, the first step is a two-dimensional plane defined by the distance image data is divided into a plurality of sections, and calculates the distance in the monitoring area based on the parallax groups present in the segment, divided a distance calculated with the respective sections are calculated the distance calculation data is correlated with. 第2のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第1の距離として特定する。 The second step is to identify the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as the first distance. 第3のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。 The third step is the distance calculation data, identifies a segment indicating the distance to the three-dimensional object. 第4のステップは、距離算出データにおいて、特定された区分に関して算出された距離を、第1の距離に補正する。 The fourth step is the distance calculation data, the distance calculated with respect to the identified classification, to correct the first distance. そして、第5のステップは、第4のステップにおいて補正された距離算出データに基づき、監視領域内の立体物を認識する。 The fifth step, based on the corrected distance calculation data in the fourth step, recognizing the three-dimensional object in the monitored area.
【0014】 [0014]
また、第5の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。 Further, the fifth invention provides a range image data, distance measurement data and using the monitoring method of monitoring the status of the monitored area. ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された1フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。 The distance image data, scenery including monitoring area based on the pair of image data captured, the image plane defined by the parallax group and the image data relating to image data corresponding to one frame calculated by the stereo matching It is associated with the position. また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。 The distance measurement data, a distance in the monitoring area by laser radar is calculated as a two-dimensional distribution of the measured distance. この監視方法において、第1のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。 In this monitoring process, the first step is a two-dimensional plane defined by the distance image data is divided into a plurality of sections, and calculates the distance in the monitoring area based on the parallax groups present in the segment, divided a distance calculated with the respective sections are calculated the distance calculation data is correlated with. 第2のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第1の距離として特定する。 The second step is to identify the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as the first distance. 第3のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。 The third step is the distance calculation data, identifies a segment indicating the distance to the three-dimensional object. 第4のステップは、距離算出データにおいて、特定された区分に関して算出された距離を第2の距離として特定する。 The fourth step is the distance calculation data, identifies the distance calculated with respect to the identified classified as second distance. 第5のステップは、第1の距離と第2の距離とを比較することにより、特定された区分に関して算出された距離を補正する補正値としての第3の距離を決定する。 Fifth step, by comparing the first distance and the second distance, determining a third distance serving as a correction value for correcting a distance calculated with respect to segments identified. 第6のステップは、補正された距離算出データに基づき、監視領域内の立体物を認識する。 Sixth step, based on the corrected distance calculation data, recognizes the three-dimensional object in the monitored area.
【0015】 [0015]
ここで、第5の発明において、第2のステップは、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第1の距離として決定する。 Here, in the fifth invention, the second step, at a predetermined position on the distance measurement data, when it is determined that there is a measured value corresponding to the distance to the three-dimensional object, a first distance measurement It is determined as.
【0016】 [0016]
この場合、第5のステップは、第1の距離と第2の距離との差が所定のしきい値以内である場合には、第1の距離を第3の距離として決定する。 In this case, the fifth step, when the difference between the first distance and the second distance is within a predetermined threshold, determines a first distance as a third distance. あるいは、第5のステップは、第1の距離と第2の距離との差が所定のしきい値より大きい場合には、第2の距離を第3の距離として決定するステップを有することが好ましい。 Alternatively, the fifth step, if the difference is greater than a predetermined threshold value between the first distance and the second distance is preferably has a step of determining a second distance to a third distance .
【0017】 [0017]
また、この場合、第5のステップは、第1の距離と第2の距離との差が所定のしきい値以内である場合には、第1の距離と第2の距離との平均値を第3の距離として決定する。 In this case, the fifth step, when the difference between the first distance and the second distance is within a predetermined threshold, the average value of the first distance and the second distance determining a third distance. あるいは、第5のステップは、第1の距離と第2の距離との差が所定のしきい値より大きい場合には、第2の距離を第3の距離として決定するステップを有することが好ましい。 Alternatively, the fifth step, if the difference is greater than a predetermined threshold value between the first distance and the second distance is preferably has a step of determining a second distance to a third distance .
【0018】 [0018]
さらに、第6の発明は、監視システムの距離補正方法を提供する。 Further, the sixth invention provides a distance correction method of the monitoring system. この距離補正方法において、第1のステップは、監視領域を含む景色を撮像し、一対の画像データを出力する。 In this distance correction method, the first step is to capture a scene including monitoring area, and outputs the pair of image data. 第2のステップは、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。 The second step, based on the pair of image data, and calculates the parallax by stereo matching, a parallax groups regarding the image data corresponding to one frame, and the coordinate position on the image plane defined by the image data correlated and it outputs the obtained distance image data. 第3のステップは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。 The third step is adapted to measure the distance in the monitored area, and outputs the two-dimensional distribution of a distance in the monitoring area as the distance measurement data. 第4のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。 The fourth step is a two-dimensional plane defined by the distance image data is divided into a plurality of sections, to calculate the distance in the monitoring area based on the parallax groups present in the segment, each of the divided segment and the calculated distance and calculates the distance calculation data associated. 第5のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第1の距離として特定する。 The fifth step is to identify the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data as the first distance. 第6のステップは、距離算出データにおいて、監視領域内の立体物までの距離を示す区分を特定する。 Sixth step, the distance calculation data, identifies a segment indicating the distance to the three-dimensional object in the monitored area. 第7のステップは、特定された区分に対応付けられた監視領域内の距離を第2の距離として特定する。 Seventh step identifies the distance within the monitoring area associated with the identified classified as second distance. 第8のステップは、第1の距離と第2の距離とに基づきパラメータを算出する。 The eighth step is to calculate the parameters based on the first distance and the second distance. 第9のステップは、算出された距離算出データに基づき立体物を認識する。 Ninth step recognizes the three-dimensional object based on the calculated distance calculation data.
【0019】 [0019]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
(第1の実施形態) (First Embodiment)
図1は、第1の実施形態にかかるステレオ式監視システムのブロック構成図である。 Figure 1 is a block diagram of a stereo surveillance system according to the first embodiment. このステレオ式監視システム1は、自動車等の車両に搭載され、車両前方の走行状況を監視する。 The stereo surveillance system 1 is mounted on a vehicle such as an automobile, to monitor the running condition of the vehicle ahead. 車両前方の監視領域内の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられている。 Stereo camera for imaging a view of the surveillance area in front of the vehicle is mounted in the vicinity of the room mirror. このステレオカメラは、一対のカメラ2,3で構成されており、それぞれのカメラ2,3には、イメージセンサ(例えば、CCDまたはCMOSセンサ等)が内蔵されている。 The stereo camera is composed of a pair of cameras 2 and 3, each of the camera 2, an image sensor (e.g., a CCD or CMOS sensor) is built. メインカメラ2は、ステレオ画像処理を行う際に必要な基準画像(右画像)を撮像し、サブカメラ3は、比較画像(左画像)を撮像する。 Main camera 2 captures a reference image (right image) required for performing stereoscopic image processing, the sub camera 3 captures the comparison image (left image). 互いの同期が取れている状態において、カメラ2,3から出力された各アナログ画像は、A/Dコンバータ4,5により、所定の輝度階調(例えば、256階調のグレースケール)のデジタル画像に変換される。 In a state in which mutual synchronization is, the analog image output from the camera 2 and 3, the A / D converter 4 and 5, a digital image of a predetermined luminance gradation (for example, 256 gray scale levels) It is converted to.
【0020】 [0020]
デジタル化された一対の画像データは、画像補正部6において、輝度の補正や画像の幾何学的な変換等が行われる。 Digitized pair of image data, in the image correction unit 6, the geometric transformation and the like of the correction and the image brightness is performed. 通常、一対のカメラ2,3の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。 Usually, the mounting position of the pair of cameras 2 and 3, since there is an error of some lesser extent, due to the deviation occurs on the left and right of each image to it. このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。 To correct for this deviation, using affine transformation, etc., geometric transformation of the movement such as a rotary or parallel image.
【0021】 [0021]
このような画像処理を経て、メインカメラ2より基準画像データが得られ、サブカメラ3より比較画像データが得られる。 Through such image processing, reference image data is obtained from the main camera 2, comparative image data from the sub-camera 3 can be obtained. これらの画像データ(ステレオ画像データ)は、各画素の輝度値(0〜255)の集合である。 These image data (stereo image data) is a set of luminance values ​​of pixels (0 to 255). ここで、画像データによって規定される画像平面は、i−j座標系で表現され、画像の左下隅を原点として、水平方向をi座標軸、垂直方向をj座標軸とする。 Here, the image plane defined by the image data is represented by i-j coordinate system, lower left corner of the image as the origin, the horizontal direction i coordinate axis, the vertical direction and j axes. 1フレーム(1画像の表示単位)相当のステレオ画像データは、後段のステレオ画像処理部7に出力されるとともに、後段の画像データメモリ8に格納される。 Corresponding stereo image data (display unit of one image) of one frame is output to the subsequent stage of the stereo image processing unit 7, is stored in the subsequent image data memory 8.
【0022】 [0022]
ステレオ画像処理部7は、基準画像データと比較画像データとに基づいて、1フレーム相当の撮像画像に関する距離画像データDpを算出する。 Stereo image processing unit 7, based on the comparison image data and the reference image data, and calculates the distance image data Dp relating to one frame worth of sensed image. ここで、「距離画像データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差dの集合であり、個々の視差dは画像平面上の位置(i,j)と対応付けられている。 Here, the "range image data", in the image plane defined by the image data is a set of parallax d calculated for each small region, the individual disparity d position on the image plane (i, j) and It is associated with each other. 視差dの算出単位は、基準画像の一部を構成する所定面積(例えば、4×4画素)の画素ブロックであり、1つの画素ブロックより1つの視差が算出される。 Unit for calculating parallax d is a predetermined area forming a part of the reference image (for example, 4 × 4 pixels) is the pixel block, one parallax than one pixel block is calculated.
【0023】 [0023]
図2は、基準画像に設定される画素ブロックの説明図である。 Figure 2 is an explanatory view of the pixel blocks set in the reference image. 例えば、基準画像が200×512画素で構成されている場合、1フレーム相当の撮像画像から、画素ブロックPBijの個数相当(50×128個)の視差群が算出され得る。 For example, if the reference image is composed of 200 × 512 pixels, from one frame worth of sensed image, parallax group corresponding number of pixel blocks PBij (128 pieces 50 ×) can be calculated. 周知のように、視差dは、その算出単位である画素ブロックPBijに関する水平方向のずれ量であり、画素ブロックPBijに写し出された対象物までの距離と大きな相関がある。 As is well known, the parallax d is the displacement amount in the horizontal direction about the pixel blocks PBij its calculation unit, there is a large correlation with the distance to the target object projected on the pixel block PBij. すなわち、画素ブロックPBij内に写し出されている対象物がカメラ2,3に近いほど、この画素ブロックPBijの視差dは大きくなり、対象物が遠いほど視差dは小さくなる(無限に遠い場合、視差dは0になる)。 That is, when the closer the object is to the camera 2 and 3 are projected into the pixel block PBij, parallax d of the pixel block PBij increases, the disparity d as the object is far decreases (infinitely distant, parallax d is zero).
【0024】 [0024]
ある画素ブロックPBij(相関元)に関する視差dを算出する場合、この画素ブロックPBijの輝度特性と相関を有する領域(相関先)を比較画像において特定する。 When calculating the parallax d concerning certain pixel block PBij (correlation source), identified in the comparison image region (correlated destination) having a correlation with brightness properties of the pixel block PBij. 上述したように、カメラ2,3から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。 As described above, the distance from the cameras 2 and 3 to the object appears as the deviation amount in the horizontal direction between the reference image and the comparative image. したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックPijのj座標と同じ水平線(エピポーラライン)上を探索すればよい。 Therefore, when searching for a correlated destination in the comparison image may be searched the same horizontal line (epipolar line) above and j coordinates of a pixel block Pij as the correlation source. ステレオ画像処理部7は、相関元のi座標を基準に設定された所定の探索範囲内において、エピポーラライン上を1画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する(ステレオマッチング)。 Stereo image processing unit 7, within a predetermined search range set on the basis of the correlation source i coordinates, while shifted on the epipolar line by one pixel, the correlation between the candidate correlation destination and the correlation source sequentially evaluation (stereo matching). そして、原則として、最も相関が高いと判断される相関先(相関先の候補の内のいずれか)の水平方向のずれ量を、その画素ブロックPBijの視差dとする。 Then, in principle, the most horizontal shift amount of the correlation destination correlation is determined to be high (one of the correlated destination candidates), and the parallax d of the pixel block PBij.
【0025】 [0025]
2つの画素ブロックの相関は、例えば、シティブロック距離CBを算出することにより評価することができる。 Correlation between two pixel blocks, for example, can be evaluated by calculating a city block distance CB. 数式1は、シティブロック距離CBの基本形を示す。 Equation 1 shows the basic form of the city block distance CB. 同数式において、p1ijは一方の画素ブロックのij番目の画素の輝度値であり、p2ijは他方の画素ブロックのij番目の輝度値である。 In the formula, p1ij is the luminance value of the ij th pixel of one pixel block, P2ij is ij-th luminance value of the other pixel block. シティブロック距離CBは、位置的に対応した輝度値p1ij,p2ijの差(絶対値)の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。 City block distance CB means that positionally corresponding luminance values ​​p1ij, a sum of the entire pixel block of a difference P2ij (absolute value), a large correlation between both pixel blocks as the difference is smaller .
【数1】 [Number 1]
CB=Σ|p1ij−p2ij| CB = Σ | p1ij-p2ij |
【0026】 [0026]
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離CBのうち、その値が最小となる画素ブロックが相関先と判断される。 Basically, of the city block distance CB calculated for each pixel block existing on the epipolar line, the pixel block is judged as correlated destination whose value becomes minimum. そして、このようにして特定された相関先と相関元との間のずれ量が視差dとなる。 The amount of deviation between the thus correlate the identified destination in the correlation source is parallax d. なお、シティブロック距離CBを算出するステレオ画像処理部7のハードウェア構成については、特開平5−114099号公報に開示されているので、必要ならば参照されたい。 Note that the hardware configuration of the stereo image processing unit 7 for calculating the city block distance CB, are disclosed in JP-A-5-114099, see, if necessary. このような処理を経て算出された距離画像データDp、すなわち、画像上の位置(i,j)と対応付けられた視差dの集合が、距離データメモリ9に格納される。 Such process is calculated through the distance image data Dp, i.e., position on the image (i, j) is a set of parallax d associated with and stored in the distance data memory 9.
【0027】 [0027]
また、ステレオ式監視システム1において、監視領域内の距離を測定するレーザレーダ10が、車両前部に取り付けられている。 Further, in the stereo surveillance system 1, laser radar 10 measures a distance in the monitored area, is attached to the front of the vehicle. このレーザレーダ10は、図3に示すように、縦長のレーザビーム(例えば、上下方向に±2°、左右方向に0.03°)を照射し、地面より高い位置にある監視領域内の立体物の距離を検出する。 The laser radar 10, as shown in FIG. 3, elongated laser beam (e.g., ± 2 ° in the vertical direction, 0.03 ° in the left-right direction) was irradiated, three-dimensional in the surveillance area in a position higher than the ground to detect the distance of the object. 図4に示すように、このレーザレーダ10は、一定間隔毎にレーザビームを発光・受光しながら、所定の走査範囲内で水平方向の走査を行うことにより、距離を順次検出していく。 As shown in FIG. 4, the laser radar 10, while the light emitting and receiving a laser beam at regular intervals, by performing horizontal scanning within a predetermined scanning range, sequentially detects the distance. そして、走査範囲内の一連の検出動作にともない、それぞれの走査位置に対応した所定個数の測定値の集合が距離測定データDmとして算出される。 Then, with the series of detection operation of the scanning range, a set of measured values ​​of a predetermined number corresponding to each scan position is calculated as the distance measurement data Dm. 換言すれば、この距離測定データDmは、監視領域内における距離の二次元的な分布である。 In other words, the distance measurement data Dm is a two-dimensional distribution of a distance in the surveillance area. この検出動作は、カメラ2,3の撮像動作とタイミングを同期して行われ、1フレーム相当の画像データの出力と対応して、距離測定データDmがマイクロコンピュータ11(具体的には、データ補正部13)に出力される。 The detection operation is performed in synchronization with the imaging operation timing of the cameras 2 and 3, in correspondence with the output of the image data corresponding to one frame, the distance measurement data Dm microcomputer 11 (specifically, the data correction is output to the section 13).
【0028】 [0028]
マイクロコンピュータ11は、CPU、ROM、RAM、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部12、データ補正部13および制御部14を有する。 The microcomputer 11 includes CPU, ROM, RAM, if it is configured with input-output interface or the like, in which the functional viewpoint, the recognition unit 12, the data correcting unit 13 and the control unit 14.
【0029】 [0029]
認識部12は、画像データまたは距離画像データDpに基づき、監視領域内の道路形状を特定する。 Recognition unit 12 on the basis of the image data or distance image data Dp, specifying the road shape in the monitored area. そして、距離画像データDpにより規定される二次元平面を複数の区分に分割し、特定された道路形状に基づき、区分内に存在する視差群に基づいて監視領域内の距離が算出される。 Then, a two-dimensional plane defined by the distance image data Dp is divided into a plurality of sections, based on the specified road shape, a distance in the monitoring area is calculated on the basis of the disparity groups present in the segment. そして、分割された区分のそれぞれと、この算出された距離とが対応付けられた距離算出データDcが算出される。 Then, the respective divided division, the distance calculation data Dc and the calculated distance is associated is calculated. なお、この距離算出データDcに関して、各区分に対応付けられた距離は、それぞれ補正可能な値であり、データ補正部13において補正される。 Regarding the distance calculation data Dc, the distance associated with each segment are each correctable value, is corrected in the data correction unit 13. 認識部12は、データ補正部13によって補正された距離算出データDc'に基づき、監視領域内の立体物を認識する。 Recognition unit 12, based on the distance calculation data Dc 'corrected by the data correction unit 13, recognizes the three-dimensional object in the monitored area.
【0030】 [0030]
データ補正部13は、レーザレーダ10の出力データである距離測定データDmに基づき、認識部12の出力データである距離算出データDcを補正し、それを距離算出データDc'として認識部12に出力する。 Data correction unit 13, based on the distance measurement data Dm is output data of the laser radar 10, to correct the distance calculation data Dc is output data of the recognition unit 12, outputs to the recognition unit 12 it as distance calculation data Dc ' to.
【0031】 [0031]
制御部14は、認識部12における認識結果に基づき、必要に応じて、図示しない警報装置や制御装置等の制御を行う。 Control unit 14, based on the recognition result in the recognition unit 12, if necessary, a control such as an alarm device or a control device (not shown). 例えば、先行車との車間距離が短くなり、ドライバーへの警報が必要な走行状況では、モニタやスピーカ等の警報装置を動作させて、ドライバーの注意を喚起する。 For example, the inter-vehicle distance to the preceding vehicle becomes shorter, the alarm driving situation required to the driver, by operating a warning device such as a monitor and a speaker, to alert the driver. また、このような状況で車両を減速させるべく、ブレーキの動作、自動変速機のシフトダウン、エンジン出力の低下等を行う。 Further, in order to decelerate the vehicle in such a situation, it performs operation of the brake, downshifting of the automatic transmission, the reduction of the engine output.
【0032】 [0032]
図5は、第1の実施形態にかかる監視手順を示したフローチャートである。 Figure 5 is a flowchart showing a monitoring procedure according to the first embodiment. 本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ11によって実行される。 This routine is called at a predetermined interval, it is performed by the microcomputer 11. まず、ステップ1において、認識部12は、一対の画像データ(以下、単に「画像データ」と称する)を画像データメモリ8から読み込み、また、この画像データに対応する距離画像データDpを距離データメモリ9から読み込む。 First, in step 1, the recognition unit 12, a pair of image data (hereinafter, simply referred to as "image data") is read from the image data memory 8, The distance data memory the distance image data Dp corresponding to the image data read from the 9.
【0033】 [0033]
ステップ2において、認識部12は、画像データまたは距離画像データDpに基づき、監視領域内の道路形状を特定する。 In step 2, the recognition unit 12 on the basis of the image data or distance image data Dp, specifying the road shape in the monitored area. この処理では、道路モデルのパラメータを実際の道路形状に対応するよう補正・変更することで、道路形状が特定される。 In this process, by correcting or changed to accommodate the parameters of a road model to the actual road shape, the road shape is specified. この道路モデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。 The road model in the coordinate system of the real space, the linear equation in the horizontal direction, and is specified by the vertical linear equation. この直線式は、道路上の自車線を、設定した距離によって複数個の区間に分け、区間毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することにより、算出可能である。 The linear equation is the same lane on a road, divided into a plurality of sections by the distance set by linking the polygonal line white lines or the like of the left and right for each section is approximated by a straight line equation of a three-dimensional, can be calculated it is. なお、道路モデルの詳細については、本出願人によって既に出願されている特開2001−160137号公報に開示されているので、必要ならば参照されたい。 The details of the road model, since it is already disclosed in JP 2001-160137, which is filed by the Applicant, see, if necessary.
【0034】 [0034]
ステップ3において、認識部12は、距離算出データDcを算出する。 In Step 3, the recognition unit 12 calculates the distance calculation data Dc. この距離算出データDcは、以下に説明するように、距離画像データDpにより規定される二次元平面を複数の区分に分割し、それぞれの区分に関して一つ算出される代表距離の集合である。 The distance calculation data Dc, as described below, a two-dimensional plane defined by the distance image data Dp is divided into a plurality of sections, a set of representative distance is one calculated for each segment. ある区分に関する代表距離は、その区分内に存在する視差群より一義的に算出される。 Representative distance for a certain segment is uniquely calculated from the disparity group present within that partition.
【0035】 [0035]
具体的には、図6に示すように、まず、読み込まれた距離画像データDpによって規定されるij平面を、所定の間隔で(例えば、水平方向に4画素間隔)で分割することにより、格子状(縦短冊状)の複数の区分を規定する。 Specifically, as shown in FIG. 6, first, the read distance image data Dp ij plane defined by, at predetermined intervals (e.g., 4 pixel intervals in the horizontal direction) by dividing by the lattice defining a plurality of sections of Jo (vertical strip). そして、水平方向に並んだ複数の区分のうち、一つの区分(例えば、一番左端の区分)が選択される。 Then, among the plurality of segments arranged in the horizontal direction, one segment (e.g., leftmost segment) is selected.
つぎに、選択された区分において、この区分内に存在する全データの中から、任意のデータ(例えば、(i,j)位置が最も原点に近いデータ)が選択される。 Then, in the selected segment, from among all the data present in this segment within any data (e.g., (i, j) position is most data close to the origin) is selected. ここで、「データ」とは、位置(i,j)に対応付けられた視差dをいう。 Here, "data" position (i, j) refers to the parallax d associated with. そして、選択されたデータについて、周知の座標変換式に基づき、三次元位置(x,y,z)が算出される。 Then, for the selected data, based on a known coordinate conversion formula, the three-dimensional position (x, y, z) is calculated. 自車両の位置を基準に設定された実空間の座標系は、メインカメラ2の中央真下の道路面を原点として、車幅方向をx軸、車高方向をy軸、車長方向(距離方向)をz軸とする。 Coordinate system of the real space which is set on the basis of the position of the host vehicle, as the origin of the road surface directly below the center of the main camera 2, x-axis in the vehicle width direction, y-axis the vehicle height direction, vehicle length direction (distance direction ) is the z-axis. そして、上述した道路モデルの直線式を使って、この距離zにおける道路面の高さが算出される。 Then, using a linear equation of the above-mentioned road model, the height of the road surface in the distance z is calculated. この道路面の高さと、座標変換されたデータの高さを比較して、このデータが道路面より上にある場合には、そのデータが立体物データとして抽出される。 The height of the road surface, by comparing the height of the data coordinate transformation, this data when there above the road surface, the data is extracted as three-dimensional object data.
【0036】 [0036]
このとき、道路面からの高さの差が小さい(例えば、高さが0.1m程度以下)データは、道路上の白線や汚れ、影等に関するデータとみなす。 At this time, the difference in height from the road surface is small (e.g., height than about 0.1 m) data is considered white and dirt on the road, the data relating to the shadow and the like. この場合、認識部12は、以下の処理において、このデータを取り扱わない。 In this case, the recognition unit 12, in the following processing, not handle this data. 一方、その高さが自車両の高さより上にあるデータは、歩道橋や標識等に関するデータとみなし、認識部12は、以下の処理において、このデータを取り扱わない。 On the other hand, the data that the height is above the level of the vehicle is regarded as data relating to pedestrian bridges or signs, etc., the recognition unit 12, in the following processing, not handle this data. これにより、道路上の立体物と推定されるデータ、すなわち、道路面よりも高く、自車両の車高よりも低いデータのみが、立体物データとして選別される。 Thus, data is estimated to be three-dimensional object on the road, i.e., higher than the road surface, only the lower data than the vehicle height of the vehicle, is selected as three-dimensional object data.
【0037】 [0037]
その後、この区分内の全データについて、同様の処理が繰り返し実行されて、その区分内の立体物データが順次抽出される。 Then, for all the data in this segment in the same processing is repeatedly executed, three-dimensional object data in that segment are sequentially extracted. 例えば、i座標を基準に、j座標を0〜199まで順次シフトしながらデータを選択していき、そして、隣のi座標(i+1座標)に移り、同様に、j座標を順次シフトしながらデータの選択が行われるといった如くである。 For example, based on the i coordinate, will select the data while sequentially shifting the j coordinate to 0 to 199, and proceeds to next i coordinates (i + 1 coordinates) Similarly, while sequentially shifting the j coordinate data it is as such as selection of is carried out.
【0038】 [0038]
そして、1つの区分内において、上述した立体物の推定処理が完了すると、抽出された立体物データに関し、ヒストグラム(距離頻度分布)が作成される。 Then, within one section, the process of estimating the three-dimensional object described above is completed, it relates extracted three-dimensional object data, a histogram (distance frequency distribution) is created. この距離頻度分布は、予め設定された距離(例えば、15m)の区間に含まれる立体物データの個数を数えることで、距離zを横軸とした立体物データの頻度として表される。 The distance frequency distribution, a preset distance (e.g., 15 m) by counting the number of three-dimensional object data included in the interval, expressed the distance z as the frequency of the three-dimensional object data represented by the horizontal axis. この距離頻度分布が作成されたら、分布の度数が所定のしきい値以上で、かつ、最頻距離となる区間を検出する。 If this distance frequency distribution is created, in frequency in the distribution is equal to or greater than a predetermined threshold value, and detects a section in which the most frequent distance. このとき、認識部12は、この条件に該当する区間があれば、その区分には立体物が存在すると判断する。 In this case, the recognition unit 12, if any section corresponding to this condition, it is determined that the three-dimensional object is present on that partition. そして、その区間内に存在する個数相当の距離の平均値または代表値、或いは、該当区間の中間値が、その立体物までの距離として算出される。 Then, the average value or representative value of the distance number corresponding existing in the section within, or intermediate value of the corresponding section is calculated as the distance to the three-dimensional object.
【0039】 [0039]
一般に、ステレオマッチングによって算出される距離画像データDpは、ミスマッチング等の影響によって、誤差データを含むことが多い。 In general, range image data Dp calculated by stereo matching, the influence of such mismatching, often include error data. このような誤差データの一態様として、ある実空間上の位置に立体物が存在しないにも拘わらず、その位置に値をもったデータが算出されてしまうことがある。 One embodiment of such error data, despite the three-dimensional object in a position in real space is not present, there is the data having a value at that location from being calculated. そこで、作成された距離頻度分布において、予め設定したしきい値以上かつ最大値をとる区間があれば、その区間に立体物が存在すると判断し、また、度数の最大値が判定値以下の場合は物体が存在しないと判断することが好ましい。 Therefore, the distance frequency distribution created, if any section to take a pre-set threshold or more and the maximum value, it is determined that the three-dimensional object is present in the section, and when the maximum value of the frequency is greater than the judgment value preferably it determines that no object exists. なぜならば、ある程度の大きさの立体物がある場合には、その区間の度数が大きくなる傾向があり、一方、物体が何も存在しない場合には、たとえ誤ったデータが存在したとしても、発生する度数が小さくなる傾向があるからである。 This is because, when there is a certain size three-dimensional object tends to frequency of the section is increased, whereas, when the object is not present anything, even if erroneous data is present, occur frequency that is because there is a tendency to become smaller. これにより、データに多少のノイズが含まれている場合においても、この影響を最小限にして立体物を検出することができる。 Thus, in the case it contains some noise data also can detect the three-dimensional object by this effect to a minimum.
【0040】 [0040]
そして、次の区分(例えば、左端から2番目の区分)のデータが順次選択され、道路面より上にあるデータの抽出、距離頻度分布の作成、および、区間内での立体物の存在と、立体物までの距離の算出がデータ毎に行われる。 The next section (e.g., from the left end second division) data are sequentially selected, and the presence of the extraction of data is above the road surface, creating a distance frequency distribution, and, three-dimensional object in a section, calculation of the distance to the three-dimensional object is performed for each data. そして、この処理が分割された距離画像データDpの全ての区分について行われる。 Then, performed for all segments of the range image data Dp of this process is divided. これにより、分割された複数の区分と、それぞれの区分内に関する視差群に基づき特定された監視領域内の距離とが対応付けられた距離算出データDcが算出される。 Thus, a plurality of sections which are divided, the distance calculation data Dc distance and are associated in the monitoring region specified based on the parallax groups regarding the respective sections are calculated.
【0041】 [0041]
図7は、距離算出データDcに関する区分毎に検出した対象物までの距離を説明するための図である。 Figure 7 is a diagram for explaining the distance of the distance to the object detected on the classification regarding calculation data Dc. 同図において、区分毎の距離に対応する実空間上の位置とが、実線と点とで示されている。 In the figure, the position in the real space corresponding to the distance each category is shown in the solid line and the point. ここで、図4を再び参照してみると、レーザレーダ10からの出力をベースにした距離測定データDmは、ステレオカメラからの出力、すなわち、画像をベースにした距離算出データDcと類似したデータであることがわかる。 Here, when we refer to FIG. 4 again, the data range data Dm in which the output from the laser radar 10 to the base, the output from the stereo camera, i.e., similar to the distance calculation data Dc that image-based It can be seen that it is. 両データDc,Dmは、メインカメラ2またはレーザレーダ10から立体物までの距離を放射状に測定したデータであり、レーザレーダ10のスキャン毎の距離は、図7に示す距離算出データDcの区分毎の距離と対応している。 Both data Dc, Dm is data obtained by measuring the distance from the main camera 2 or the laser radar 10 to the three-dimensional object in a radial distance of each scan of the laser radar 10, classification of the distance calculation data Dc shown in FIG. 7 and it corresponds to the distance. そこで、第1の実施形態では、以下、説明するように両データDc,Dmを統合させることで、距離算出データDcの原形としての距離画像データDpと距離測定データDmとのデータの統合を図っている。 Therefore, in the first embodiment, aimed hereinafter, both data Dc as described, by integrating Dm, the data integration between the distance image data Dp and the distance measurement data Dm as original distance calculating data Dc ing.
【0042】 [0042]
ステップ3に続くステップ4において、データ補正部13は、画像ベースで算出された距離算出データDcを補正する。 In step 4 following the step 3, data correction unit 13 corrects the distance calculation data Dc calculated in image-based. 図8は、ステップ4における補正手順を示す詳細なフローチャートである。 Figure 8 is a detailed flow chart showing a correction procedure in Step 4. 前提として、データ補正部13は、認識部12から出力された距離算出データDcを取得しているものとする。 Given, the data correcting unit 13 is assumed to have acquired distance calculation data Dc output from the recognition unit 12. また、データ補正部13は、この距離算出データDcが算出された距離画像データDp(より具体的には、この距離画像データDpの元画像である一対の画像データ)に対応するレーザレーダ10から出力された距離測定データDmを取得しているものとする。 The data correction unit 13 (more specifically, a pair of image data which is the original image of the distance image data Dp) The distance calculating distance data Dc is calculated image data Dp from the laser radar 10 corresponding to the It assumed to acquire an output distance measurement data Dm. ここで、レーダをベースにした距離測定データDmにおける測定値の個数をm個と定める。 Here, determining the number of measurements in the range data Dm obtained by the radar-based and the m. また、この距離測定データDmにおいて、その測定値のデータ上での位置を特定するため、走査範囲左から右にかけて、走査位置と測定値とを対応付けるとともに、1〜mまでの番号を昇順に割り当てる。 Further, allocated in this distance measurement data Dm, to identify the position on the data of the measured values, to right from the scanning range left, with associating the measured values ​​and the scanning position, the number of up 1~m in ascending order .
【0043】 [0043]
まず、ステップ40において、レーダをベースにした距離測定データDm上の処理対象とする位置を特定する変数nとして1がセットされる。 First, in step 40, 1 is set as a variable n for specifying a position to be processed in the distance measurement data Dm obtained by the radar-based. このとき、データ補正部13は、取得したレーダベースの距離測定データDmに関し、走査範囲の測定回数mを把握しており、処理対象とする測定値の最大個数Mmaxとして、mがセットされる。 At this time, the data correcting unit 13 relates to distance measurement data Dm of the acquired radar base, grasps the number of measurements m of the scanning range, as the maximum number Mmax of measurements to be processed, m is set.
【0044】 [0044]
そして、ステップ41において、レーダベースの距離測定データDm上のn番目の位置において、特定すべき測定値が存在するか否かが判断される。 Then, in step 41, the n-th position on the radar-based distance measurement data Dm, whether there is measurement should specify is determined. このステップ41で肯定判定された場合、すなわち、位置nに測定値(データ)が存在すると判断された場合、データ補正部13は、ステップ42に進み、この位置nに対応するデータを第1の距離L1として特定する。 If this in step 41 a positive determination, that is, if it is determined that the measured value (data) is present in position n, the data correcting unit 13 proceeds to step 42, the data corresponding to the position n first identifying as the distance L1. 換言すれば、距離測定データDm上の所定位置における監視領域内の立体物までの距離が、第1の距離L1として特定される。 In other words, the distance to the three-dimensional object in the monitoring area at a predetermined position on the distance measurement data Dm is identified as a first distance L1. 一方、この判断で否定判定された場合、すなわち、位置nに測定値が存在しないと判断された場合、データ補正部13は、後述するステップ47に進む。 On the other hand, if a negative determination is made in this determination, i.e., if it is determined that there is no measurement at the position n, the data correcting unit 13 proceeds to step 47 to be described later.
【0045】 [0045]
ステップ42に続くステップ43において、レーダベースの距離測定データDm上の位置nに対応する画像ベースの距離算出データDc上の区分が特定される。 In step 43 following the step 42, sections of the image-based distance calculation data Dc corresponding to the position n on the radar-based distance measurement data Dm is identified. 換言すれば、このステップ43では、画像ベースの距離算出データDcにおいて、監視領域内の立体物(正確には、レーダベースの距離測定データDm上の位置nから特定された距離L1に相当する立体物)までの距離を示す区分が特定される。 In other words, in this step 43, the image-based distance calculation data Dc, the three-dimensional object in the monitoring area (to be exact, corresponds to the distance L1 which is identified from the position n of the radar-based distance measurement data Dm stereoscopic segment indicating the distance to the object) is identified. レーダベースの距離測定データDm上の位置nと、画像ベースの距離算出データDc上の区分との間には相関があり、以下に示す数式2および3に基づく数式4から、一義的に特定される。 The position n on the radar-based distance measurement data Dm, there is a correlation between the section of the image-based distance calculation data Dc, from Equation 4 based on the Equation 2 and 3 shown below, it is uniquely identified that.
【数2】 [Number 2]
zo=L1×cosθs+dz zo = L1 × cosθs + dz
xo=L1×sinθs+dx xo = L1 × sinθs + dx
【0046】 [0046]
ここで、数式2は、図9に示すように、レーダベースの距離測定データDm上の位置nに対応する立体物Oの実空間上での座標位置(xo,zo)を示す。 Here, Equation 2, as shown in FIG. 9 shows a coordinate position on the real space of the three-dimensional object O corresponding to the position n on the radar-based distance measurement data Dm (xo, zo). なお、θsは、z軸に平行するレーザレーダ10の走査方向を基準として、データ上の位置nに対応するレーザレーダ10から立体物Oまでの傾き(左側への傾きを「+θ」、右側への傾きを「−θ」)である。 Incidentally, [theta] s, based on the scanning direction of the laser radar 10 which is parallel to the z-axis, the inclination of the laser radar 10 corresponding to the position n in the data to the three-dimensional object O (slope to the left "+ theta", to the right it is the "-θ") the slope. このとき、z軸方向を基準としたメインカメラ2から見た立体物Oまでの角度θcは、数式3で表される。 At this time, the angle θc to the three-dimensional object O viewed from the main camera 2 relative to the z-axis direction is expressed by Equation 3.
【数3】 [Number 3]
θc=tan −1 (xo/zo) θc = tan -1 (xo / zo )
【0047】 [0047]
【数4】 [Number 4]
N=Ncen+θc/dθc N = Ncen + θc / dθc
【0048】 [0048]
ここで、Nは、画像ベースの距離算出データDcにおいて、一番左側に位置する区分を1として、それと隣り合う方向に存在するそれぞれの区分に昇順で番号を付した際の、区分の番号を示している。 Here, N represents the image based distance calculation data Dc, the 1 segment located leftmost, when numbered in ascending order to each of the segments existing in the direction adjacent to it, the number of division shows. また、Ncenはz軸延在方向に対応する距離算出データDc上の区分の番号を示し、dθcは区分の間隔(例えば、4画素幅の場合、0.2°)を示している。 Further, Ncen indicates the number of sections of the distance calculation data Dc corresponding to z Jikunobe extending direction, Dishitashi spacing sections (for example, in the case of four pixels wide, 0.2 °) it shows. そして、数式4によって算出された区分Nに基づき、この区分Nに対応付けられた立体物までの距離lが第2の距離L2として特定される。 Then, based on the classification N calculated by Equation 4, the distance l to the solid object associated with this segment N is identified as a second distance L2.
【0049】 [0049]
そして、ステップ44において、第1の距離L1と第2の距離L2とが比較される。 Then, in step 44, the first distance L1 and the second distance L2 is compared. そして、この比較結果に応じて、画像をベースにした距離算出データDc上の区分Nに対応付けられた監視領域内の距離lを補正する補正値として、第3の距離L3が決定される。 Then, in accordance with the comparison result, the image as a correction value for correcting the distance l surveillance area associated with the partition N on the distance calculation data Dc that is based on the third distance L3 is determined. 第1の実施形態では、第1の距離L1と第2の距離L2との差(具体的には、両者の絶対値(|L1−L2|))が、所定のしきい値Lth以下であるか否かにより、その第3の距離L3の値が決定される。 In the first embodiment, the first distance L1 (specifically, the absolute value of both (| L1-L2 |)) difference between the second distance L2 is equal to or less than a predetermined threshold value Lth depending on whether the value of the third distance L3 is determined.
【0050】 [0050]
このステップ44で肯定判定された場合、データ補正部13は、第1の距離L1と第2の距離L2とが近似する値であると判断する。 If an affirmative determination is made in step 44, the data correcting unit 13 includes a first distance L1 and the second distance L2 is determined to be a value approximate. そして、ステップ45に進み、第3の距離L3として、レーザレーダ10からの出力をベースにしたL1(第1の距離)がセットされる。 Then, the process proceeds to step 45, as the third distance L3, and the output from the laser radar 10 based L1 (first distance) is set. そして、これにともない画像ベースの距離算出データDcにおいて、特定された区分Nに対応付けられた監視領域内の距離lが、第1の距離L1に補正される。 Then, in the accompanying image-based distance calculation data Dc this, the distance l in the monitoring area associated with the identified segment N, is corrected to the first distance L1.
【0051】 [0051]
一般に、画像をベースにした距離画像データDp、或いは、その変形である距離算出データDcは、大小様々な物体(特に小さいな物体)を広く検出できるため、検出精度の点で有利である。 In general, the distance to the image to the base image data Dp, or the distance calculation data Dc which is a variant, it is possible to detect a wide large and small objects (in particular smaller Do object), it is advantageous in terms of detection accuracy. 一方、レーダをベースにした距離測定データDmは、検出精度の点ではステレオカメラより劣るものの、計測された距離の信頼性(測距精度)の点で有利である。 On the other hand, the distance measurement data Dm obtained by the radar based, in terms of detection accuracy although inferior stereo camera, which is advantageous in terms of reliability of the distance measured (distance measurement accuracy). そこで、第1の実施形態では、レーダをベースにした第1の距離L1に優位性を持たせ、この値を信頼することで、監視精度の信頼性の向上を図っている。 Therefore, in the first embodiment, the radar to have a first advantage of the distance L1 that is based on, by trusting the value, thereby improving the reliability of the monitoring precision.
【0052】 [0052]
一方、先のステップ44で否定判定された場合には、データ補正部13は、第1の距離L1と第2の距離L2とが異なる値であると判断する。 On the other hand, when a negative determination in the previous step 44, the data correcting unit 13 determines that the first distance L1 and the second distance L2 are different values. そして、ステップ46に進み、第3の距離L3として、ステレオカメラからの出力をベースにしたL2(第2の距離)がセットされる。 Then, the process proceeds to step 46, as the third distance L3, and the output from the stereo camera to the base L2 (second distance) is set. これにより、画像ベースの距離算出データDcにおいて、特定された区分Nに対応付けられた監視領域内の距離lが、第2の距離L2に補正される(すなわち、距離lがそのまま維持される)。 Thus, the image-based distance calculation data Dc, the distance l in the monitoring area associated with the identified segment N, is corrected to the second distance L2 (i.e., the distance l is maintained) .
【0053】 [0053]
一般に、レーダをベースにした距離L1と、画像をベースにした距離L2とに関して、ある区分に存在する同一物体の距離を示す限り、両者の値が大きく異なることは少ない。 In general, a distance L1 where the radar-based, with respect to a distance L2 which is image-based, so long as they exhibit the distance of the same object existing in a certain segment, that both values ​​differ significantly small. しかしながら、別個の物体の距離を示す場合、或いは、両者の測距原理の相違が顕著に出現する場合には、距離L1,L2が異なってしまうことがある。 However, when indicating the distance of distinct objects, or when the difference in both the distance measurement principle appears remarkably is sometimes distance L1, L2 become different. そこで、このような場合には、様々な物体を高精度に検出可能な画像ベースの距離算出データDcを優先し、画像ベースの距離L2を採用する。 In such a case, the various objects preferentially detectable image-based distance calculation data Dc with high precision, employing the image-based distance L2. これにより、監視精度の信頼性の向上を図る。 Thus, to improve the reliability of the monitoring precision.
【0054】 [0054]
そして、ステップ47において、Mmaxとnが一致するか否かが判断される。 Then, in step 47, whether Mmax and n are identical or not. このステップ47で肯定判定された場合、データ補正部13は、画像をベースにした距離算出データDcとレーダをベースにした距離測定データDmとの統合が全ての位置nにおいて行われたと判断し、本ルーチンを抜ける。 If this in step 47 a positive determination, the data correcting unit 13 determines that the integration of the distance measurement data Dm obtained by the distance calculation data Dc and Radar image based on the base has been carried out at all positions n, exits this routine. 一方、このステップ47で否定判定された場合、ステップ48に進み、変数nとして、n+1がセットされる。 On the other hand, if a negative decision in this step 47, the process proceeds to step 48, a variable n, n + 1 is set. そして、nがMmaxと一致するまで、上述した処理が繰り返し実行される。 Until n matches Mmax, the processing described above is repeatedly executed.
【0055】 [0055]
そして、図5のステップ4に続くステップ5において、認識部12は、距離算出データDc'(すなわち、データ補正部13によって補正された距離算出データDc)に基づき、立体物の認識を行う。 Then, in step 5 following the step 4 in FIG. 5, the recognition unit 12, based on the distance calculation data Dc '(i.e., the distance calculation data Dc that has been corrected by the data correcting unit 13), the recognition of the three-dimensional object. 具体的には、区分毎の距離を画像の左から右へ順次比較してゆき、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。 Specifically, Yuki by comparing the distance for each segment sequentially from the left image to the right, are grouped together as the distance in the longitudinal direction and the transverse direction is approaching. そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としてのデータの並び方向から個々のグループが立体物或いは壁部に分類される。 Then, check the arrangement direction of the data for each group, with the group is split portion where the arrangement direction is largely changed, the individual groups from the data array direction of the entire group is classified into three-dimensional object or wall that. ここで、立体物とは先行車、人或いは障害物等をいい、壁部とはガードレール等の道路側部の側壁をいう。 Here, the three-dimensional object refers to the preceding vehicle, person or obstacle, the wall means the side wall of the road side of the guard rail or the like. そして、立体物と分類されたグループについて、グループ内のデータから平均距離および(左右)端部の位置等が、パラメータとして算出される。 Then, three-dimensional object and classified groups, the average from the data in the group distance and (lateral) position of the end is calculated as a parameter. 一方、側壁と分類されたグループについては、並び方向および(前後)端部の位置等がパラメータとして算出される。 On the other hand, the group that is classified as sidewalls, positions of alignment direction and (front and rear) end is calculated as a parameter. そして、制御部14は、認識された先行車、人或いは障害物までの距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。 Then, the control unit 14, recognized preceding vehicle, the distance to the person or obstacle, and, based on road conditions, or give an alarm to the driver, or perform the vehicle control.
【0056】 [0056]
なお、この立体物或いは壁部の認識に際してグループのパラメータを算出するが、このとき、補正された距離算出データDc'において、グループを構成する区分のなかに、第1の距離L1に補正された距離が含まれていることがある。 Although calculating the parameters of the group upon the recognition of the solid object or wall, this time, in the correction distance calculated data Dc ', Some sections constituting the group, has been corrected in the first distance L1 there is a distance is included. この場合には、この補正された距離L1のみを使って、グループの距離が算出されることが好ましい。 In this case, using only the corrected distance L1, that distance of the group is calculated preferred. 上述したように、レーザレーダ10は、測距精度が高いので、その値のみを使用することで、測距精度の向上が図れるからである。 As described above, the laser radar 10, because of the high accuracy of distance measurement, the use of only a value, because it is possible to improve the ranging accuracy. なお、グループを構成する区分の中に補正された距離が複数存在する場合には、それらの平均値を用いることがより好ましい。 The distance that is corrected in the sections constituting the group when there are a plurality, it is more preferable to use an average value thereof.
【0057】 [0057]
以上説明したように、第1の実施形態のステレオ式監視システム1によれば、画像をベースにした距離算出データDcとレーダをベースにした距離測定データDmとをデータ上で統合することができる。 As described above, according to the stereo surveillance system 1 of the first embodiment, it is possible to integrate the distance measurement data Dm obtained by the distance calculation data Dc and Radar image based on the base on the data . これにより、大小様々な物体を広く検出できるステレオ画像認識の長所と、計測された距離の信頼性に優れるレーザレーダ10の長所との両立を図ることができるので、監視精度における信頼性の一層の向上を図ることができる。 Thus, the advantages of stereo image recognition can large and small objects widely detection, it is possible to achieve both the advantages of the laser radar 10 which is excellent in reliability of the measured distance, greater reliability in the monitoring accuracy it can be improved. また、第1の実施形態のステレオ式監視システム1によれば、従来の技術のように、レーザレーダ10からのデータに基づき、処理エリアを設定し、この処理エリアのみを処理対象としてステレオマッチングを行う等といった煩雑な作業が必要とされないので、このための機器や部品を省略することができる。 Further, according to the stereo surveillance system 1 of the first embodiment, as in the prior art, based on data from the laser radar 10, and sets the processing area, the stereo matching only as a processing target this process area since it is not required troublesome operations such like are performed, it is possible to omit the equipment and components for this.
【0058】 [0058]
なお、第1の実施形態において、第1の距離L1と第2の距離L2と差がしきい値以下である場合、この両者L1とL2との平均値を第3の距離L3として決定してもよい。 In the first embodiment, when the difference between the first distance L1 and the second distance L2 is equal to or less than the threshold value, the mean value between the two L1 and L2 are determined as the third distance L3 it may be. また、第1の実施形態では、第1の距離L1と第2の距離L2とを比較したが、レーダベースの距離測定データDmにおける測距精度に信頼性をおき、このデータの値を常に採用することも可能である。 In the first embodiment, as compared to the first distance L1 and the second distance L2, placing the reliability distance measurement accuracy in the radar-based distance measurement data Dm, always adopt the value of the data it is also possible to. 換言すれば、特定された区分Nに対応付けられた監視領域内の距離lを、常に第1の距離L1に補正してもよい。 In other words, the distance l in the monitoring area associated with the identified segment N, may always be corrected to the first distance L1.
【0059】 [0059]
(第2の実施形態) (Second Embodiment)
図10は、第2の実施形態にかかる監視処理の詳細な手順を示すフローチャートである。 Figure 10 is a flowchart showing a detailed procedure of the monitoring process according to the second embodiment. 第2の実施形態にかかる監視手順が、第1の実施形態にかかる手順と相違する点は、同図に示すステップ6以降の処理の手法であり、同様の手順については、ここでの説明を省略する。 Monitoring procedure according to the second embodiment, differs from the procedure according to the first embodiment, a method of Step 6 subsequent steps shown in the figure, the same procedure, the description here omitted.
【0060】 [0060]
具体的には、第2の実施形態と、第1の実施形態との相違は、視差補正を行うことである。 Specifically, in the second embodiment, differences from the first embodiment is to perform parallax compensation. レーダをベースにした距離測定データDmと、画像をベースにした距離算出データDcとに関して、ある区分に存在する同一物体の距離を示す限り、両者の距離の値が異なることは好ましくない。 And the distance measurement data Dm obtained by the radar-based, with respect to a distance calculation data Dc that image-based, so long as they exhibit the distance of the same object existing in a certain segment, the value of both the distance is different is not preferred. そこで、第2の実施形態では、図11に示すように、ステレオ式監視システム1aは、視差補正部15において、画像ベースの距離算出データDcがレーダベースの距離測定データDmと一致するように、距離の誤差を補正する。 Therefore, in the second embodiment, as shown in FIG. 11, a stereoscopic monitor system 1a, the parallax correction unit 15, as image-based distance calculation data Dc matches the radar-based distance measurement data Dm, distance error corrected.
【0061】 [0061]
この視差補正部15は、レーザレーダ10から出力された距離測定データDmと、認識部12から出力された距離算出データDcとに基づき、消失点視差dpを算出する。 The parallax correction unit 15, based on the distance measurement data Dm output from the laser radar 10, a distance calculation data Dc output from the recognition unit 12 calculates a vanishing point parallax dp. ここで、消失点視差dpは、距離補正値としてのパラメータである。 Here, the vanishing point parallax dp is a parameter as the distance correction value. そして、この算出された消失点視差dp(正確には、複数の消失点視差dpの平均値である消失点視差dp')が、認識部12に反映される。 Then, (to be exact, an average value in the form of the vanishing point parallax dp of the plurality of vanishing points parallax dp ') the calculated vanishing point parallax dp is reflected in the recognition unit 12. これにより、認識部12は、この消失点視差dp'に基づき、画像をベースにした距離算出データDc'を新たに算出し、監視領域内の立体物を認識することができる。 Accordingly, the recognition unit 12 'based on the image distance calculation data Dc which is based on' the vanishing point parallax dp newly calculated, it is possible to recognize the three-dimensional object in the monitored area.
【0062】 [0062]
図12は、図10に示すステップ6における詳細な手順を示したフローチャートである。 Figure 12 is a flowchart showing the detailed procedure of step 6 of FIG. 10. なお、ここで、ステップ60〜ステップ63については、上述したステップ40〜ステップ43と同様であるため、ここでの詳細な説明は省略する。 Note that, steps 60 Step 63 are the same as steps 40 to step 43 described above, and a detailed description thereof will be omitted.
【0063】 [0063]
ステップ64において、視差補正部15は、第1の距離L1と第2の距離L2とに基づき、上述したパラメータとしての消失点視差dpを算出する。 In step 64, the parallax correction unit 15, based on the first distance L1 and second distance L2, calculates a vanishing point parallax dp as the above-mentioned parameters. 具体的には、以下に示す数式5に基づき、画像をベースにした距離算出データDcにおける第2の距離L2を、レーダをベースにした距離測定データDmにおける第1の距離L1と一致させるように、消失点視差dpが算出される。 Specifically, based on Equation 5 below, the second distance L2 in the distance calculation data Dc that image-based, so as to coincide with the first distance L1 in the distance measurement data Dm obtained by the radar-based vanishing point parallax dp is calculated.
【数5】 [Number 5]
dp=dpx−KZH/z dp = dpx-KZH / z
【0064】 [0064]
ここで、数式5は、数式6で示される周知の座標変換式から特定される。 Here, Equation 5 is determined from a known coordinate conversion formula represented by Equation 6.
【数6】 [6]
z=KZH/(dpx−dp) z = KZH / (dpx-dp)
【0065】 [0065]
KZHは所定の定数(カメラ基線長/水平視野角)であり、dpxはステレオカメラからの出力をベースにした第2の距離L2に対応する視差dである。 KZH is a predetermined constant (camera baseline length / horizontal viewing angle), dpx is a disparity d corresponding to the second distance L2 in which the output from the stereo camera to the base. そして、zにはレーザレーダ10からの出力をベースにした測定値、すなわち、第1の距離L1が代入される。 The measurement values ​​output from the laser radar 10 based on the z, i.e., the first distance L1 is substituted.
【0066】 [0066]
なお、ステップ3において距離算出データDcを算出する時点では、このdpは0、または、初期設定値としての所定の値を使用すること好ましい。 Incidentally, at the time of calculating the distance calculation data Dc in step 3, the dp is 0, or, it preferred to use a predetermined value as a default value.
【0067】 [0067]
そして、ステップ65において、Mmaxとnが一致するか否かが判断される。 Then, in step 65, whether Mmax and n are identical or not. このステップ65で肯定判定された場合、視差補正部15は、距離算出データDcの全区分において、消失点視差dpが算出されたと判断し、ステップ67に進む。 If an affirmative determination is made in step 65, the disparity correction portion 15, the entire section of the distance calculation data Dc, judges that the vanishing point parallax dp is calculated, the process proceeds to step 67. 一方、このステップ65で否定判定された場合、ステップ66に進み、nがn+1にセットされる。 On the other hand, if a negative decision in this step 65, the process proceeds to step 66, n is set to n + 1. そして、nがMmaxと一致するまで処理が繰り返し実行される。 Then, n is processed repeatedly executed until it matches the Mmax.
【0068】 [0068]
そして、ステップ65に続くステップ67において、この算出された全部の消失点視差dpの平均値dp'が算出されて、本ルーチンを抜ける。 Then, at step 67 subsequent to step 65, the average value dp of the vanishing point parallax dp of all the calculated 'is calculated, leaves this routine.
【0069】 [0069]
ステップ6に続くステップ7において、認識部12は、再度、距離画像データDpを複数の区分に分割する。 In step 7 following the step 6, the recognition unit 12 again divides the distance image data Dp into a plurality of sections. そして、区分内に存在する視差群と消失点視差dp'とに基づき、数式6を含む周知の座標変換式を用いて、三次元位置が算出される。 Then, based on the disparity group present in the segment vanishing point parallax dp ', using a known coordinate conversion formula that contains the formula 6, the three-dimensional position is calculated. そして、上述したステップ3で示した手法と同様の手順により、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データDc'が算出される。 Then, the same procedure as the method shown in Step 3 described above, the divided distance and the calculated distance with the respective segment is associated calculated data Dc 'is calculated. この距離算出データDc'は、座標変換された時点で、レーダをベースにした距離測定データDmとの統合が成されているため、第1の実施形態で述べた補正された距離算出データDc'と略同一なデータとして算出される。 The distance calculation data Dc 'is at the time of the coordinate transformation, for integration with the distance measurement data Dm obtained by the radar-based have been made, the corrected distance calculation data Dc described in the first embodiment' When calculated as substantially the same data.
【0070】 [0070]
そして、ステップ8において、認識部12は、この補正された距離算出データDc'に基づき、立体物の認識を行う。 In step 8, the recognition unit 12, based on the corrected distance calculation data Dc ', to recognize the three-dimensional object. これにともない、制御部14は、認識された先行車との距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。 Along with this, the control unit 14, the distance between the recognized preceding vehicle, and, based on road conditions, or give an alarm to the driver, or perform the vehicle control.
【0071】 [0071]
なお、ステップ6において、消失点視差dp'が一度算出されてしまえば、以降の処理でこの値を引き続き使用することができる。 Note that, in step 6, if the vanishing point parallax dp 'has drifted been calculated once, it is possible to continue to use this value in the subsequent processing. したがって、次に処理対象とするフレームについては、ステップ3〜6の処理はスキップすることができる。 Thus, for the next frame to be processed, the process of step 3-6 can be skipped. ただし、この消失点視差dp(或いは、消失点視差dp')を、所定フレーム間隔で特定することで、適宜最適な消失点視差dpを採用できるので好ましい。 However, the vanishing point parallax dp (or vanishing point parallax dp ') and by identifying at predetermined frame intervals, it is possible to adopt appropriate optimal vanishing point parallax dp preferred.
【0072】 [0072]
以上説明したように、第2の実施形態のステレオ式監視システム1aによれば、設定消失点を補正することにより、対象物に関する三次元情報の精度の向上を図ることができる。 As described above, according to the stereo surveillance system 1a of the second embodiment, it is possible by correcting the set vanishing point, the accuracy of the three-dimensional information about the object.
【0073】 [0073]
なお、本実施形態では、車外監視を例にとって説明したが、本発明がこれに限定されるものではない。 In the present embodiment has described the vehicle surroundings monitoring an example, but the present invention is not limited thereto. このような手法を用いた適用例としては、ステレオ画像処理とレーザレーダを併用した踏切監視、地形認識または高度測定といった様々な用途に適用可能である。 The application example of using such a technique, railroad crossing monitoring in combination stereo image processing and laser radar, can be applied to various applications such as terrain recognition or altitude measurement.
【0074】 [0074]
【発明の効果】 【Effect of the invention】
このように、本発明によれば、レーザレーダからの出力データとしての距離測定データの所定位置における距離を用いて、認識部からの出力データとしての距離算出データ上における対応する区分の距離を補正している。 Thus, according to the present invention, by using a distance in a predetermined position of the distance measurement data as output data from the laser radar, it corrects the distance of the corresponding segment on the distance calculation data as output data from the recognition unit are doing. これにより、距離測定データと距離算出データとが統合されたデータを用いて立体物を認識することができるので、監視精度の向上を図ることができる。 Thus, the distance measurement data and the distance calculation data can recognize the three-dimensional object using the integrated data, it is possible to improve the monitoring accuracy.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】第1の実施形態にかかるステレオ式監視システムを示すブロック図【図2】基準画像に設定される画素ブロックの説明図【図3】レーザレーダの距離検出を示す説明図【図4】レーザレーダの距離検出を示す説明図【図5】第1の実施形態にかかる監視手順を示したフローチャート【図6】格子状に分割された距離画像データの説明図【図7】距離算出データに関する区分毎に検出した対象物までの距離の説明図【図8】図5に示すステップ4における補正手順を示す詳細なフローチャート【図9】距離測定データと距離算出データとの相関を示した説明図【図10】第2の実施形態にかかる監視処理の詳細な手順を示すフローチャート【図11】第2の実施形態にかかるステレオ式監視システムを示すブロック図【図12】図10 [1] first embodiment block diagram of such a stereo surveillance system according to the FIG. 2 is an explanatory diagram of a pixel block to be set to the reference image Figure 3 is an explanatory view showing a distance detection laser radar 4 ] illustration Figure 5 is an explanatory diagram of a range image data divided into a first flow chart 6 shows such a monitoring procedure to an embodiment of the grid-shaped 7 distance calculation data indicating the distance detection of the laser radar It showed a correlation between correction procedure detailed flow chart showing the 9 range data and the distance data calculated in step 4 shown in illustration 8 5 of the distance to the detected object on the classification relating description Figure 10 is a block diagram showing a stereo surveillance system according to a second flow chart 11 illustrating a detailed procedure of the monitoring processing in embodiment the second embodiment [12] FIG 10 示すステップ6における詳細な手順を示したフローチャート【符号の説明】 Flowchart EXPLANATION OF REFERENCE NUMERALS illustrating the detailed procedure of step 6 shown
1,1a ステレオ式監視システム2 メインカメラ3 サブカメラ4 A/Dコンバータ5 A/Dコンバータ6 画像補正部7 ステレオ画像処理部8 画像データメモリ9 距離データメモリ10 レーザレーダ11 マイクロコンピュータ12 認識部13 データ補正部14 制御部15 視差補正部 1,1a stereo surveillance system 2 main camera 3 sub-camera 4 A / D converter 5 A / D converter 6 image correction unit 7 stereo image processing unit 8 the image data memory 9 the distance data memory 10 the laser radar 11 microcomputer 12 recognizing section 13 data correction unit 14 control unit 15 parallax correction unit

Claims (12)

  1. 監視領域内の状況を監視する監視システムにおいて、 A monitor system for monitoring the status of the monitoring area,
    前記監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、 Imaging a scene including the monitoring area, and a stereo camera that outputs a pair of image data,
    前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、 Based on the pair of image data, and calculates the parallax by stereo matching, corresponding to one frame and the parallax groups relating to image data of the distance image data position and are associated on the image plane defined by the image data a stereo image processing unit that outputs,
    前記監視領域内の距離を測定し、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、 A laser radar for the distance monitoring zone is measured, and outputs the two-dimensional distribution of the distance of the surveillance area as a distance measurement data,
    前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、 Said distance by dividing the two-dimensional plane defined by the image data into a plurality of sections, to calculate the distance of the surveillance area based on the parallax groups present in this category, the with each of the divided segment a calculated distance and a recognition unit for calculating a distance calculation data is correlated with,
    前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第1の距離として特定するとともに、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を前記第1の距離に補正するデータ補正部とを有し、 With specifying the distance to the three-dimensional object in the surveillance area at a predetermined position on the distance measurement data as the first distance, by identifying the segments in the distance calculation data indicating a distance to the three-dimensional object, and a data correction unit for correcting a distance calculated with respect to classification that is the specified to the first distance,
    前記認識部は、前記データ補正部によって補正された前記距離算出データに基づき、前記監視領域内の立体物を認識することを特徴とする監視システム。 The recognition unit, a monitoring system based on said said distance calculation data corrected by the data correcting section, and recognizes a three-dimensional object in the surveillance area.
  2. 監視領域内の状況を監視する監視システムにおいて、 A monitor system for monitoring the status of the monitoring area,
    前記監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、 Imaging a scene including the monitoring area, and a stereo camera that outputs a pair of image data,
    前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、 Based on the pair of image data, and calculates the parallax by stereo matching, 1 frame and the disparity group regarding corresponding image data of the distance and the coordinate position on the image plane defined by the image data is associated image a stereo image processing unit for outputting data,
    前記監視領域内の距離を測定し、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、 A laser radar for the distance monitoring zone is measured, and outputs the two-dimensional distribution of the distance of the surveillance area as a distance measurement data,
    前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、 Said distance by dividing the two-dimensional plane defined by the image data into a plurality of sections, to calculate the distance of the surveillance area based on the parallax groups present in this category, the with each of the divided segment a calculated distance and a recognition unit for calculating a distance calculation data is correlated with,
    前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第1の距離として特定し、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を第2の距離として特定するとともに、前記第1の距離と前記第2の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第3の距離を決定するデータ補正部とを有し、 By the distance the distance to the three-dimensional object in the surveillance area at a predetermined position on the measurement data specified as the first distance, identifying the segments in the distance calculation data indicating a distance to the three-dimensional object, the with specifying the distances calculated with respect to sections identified as the second distance, by comparing said first distance and said second distance, to correct the distance calculated with respect to the identified segment and a data correcting section for determining a third distance serving as a correction value,
    前記認識部は、補正された前記距離算出データに基づき、前記監視領域内の立体物を認識することを特徴とする監視システム。 The recognition unit, the monitoring system, characterized in that on the basis of corrected said distance calculated data, recognizing the three-dimensional object in the surveillance area.
  3. 前記データ補正部は、前記距離測定データ上の所定位置において、前記立体物までの距離に相当する測定値があると判断した場合には、当該測定値を前記第1の距離として決定することを特徴とする請求項2に記載された監視システム。 Wherein the data correcting section, at a predetermined position on the distance measurement data, when it is determined that there is a measured value corresponding to the distance to the three-dimensional object, determining the measurement value as said first distance monitoring system according to claim 2, characterized.
  4. 前記データ補正部は、前記第1の距離と前記第2の距離との差が所定のしきい値以内である場合には、前記第1の距離を前記第3の距離として決定し、前記第1の距離と前記第2の距離との差が所定のしきい値より大きい場合には、前記第2の距離を前記第3の距離として決定することを特徴とする請求項3に記載された監視システム。 The data correcting unit, when a difference between said first distance and said second distance is within a predetermined threshold, determines a first distance as the third distance, said first If the difference between the first distance and said second distance is greater than a predetermined threshold value, according to claim 3, wherein determining said second distance as the third distance Monitoring system.
  5. 前記データ補正部は、前記第1の距離と前記第2の距離との差が所定のしきい値以内である場合には、前記第1の距離と前記第2の距離との平均値を前記第3の距離として決定し、前記第1の距離と前記第2の距離との差が所定のしきい値より大きい場合には、前記第2の距離を前記第3の距離として決定することを特徴とする請求項3に記載された監視システム。 Wherein the data correcting section, wherein, when the difference between the first distance and the second distance is within a predetermined threshold, the average value of the second distance and the first distance determining a third distance, if the difference is greater than a predetermined threshold value of the second distance and the first distance, determining said second distance as the third distance monitoring system according to claim 3, characterized.
  6. 監視システムの距離補正装置において、 In the distance correction device of the monitoring system,
    監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、 Imaging a scene comprising a monitoring area, and a stereo camera that outputs a pair of image data,
    前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、 Based on the pair of image data, and calculates the parallax by stereo matching, 1 frame and the disparity group regarding corresponding image data of the distance and the coordinate position on the image plane defined by the image data is associated image a stereo image processing unit for outputting data,
    前記監視領域内の距離を測定するとともに、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、 With measuring the length of the monitoring region, a laser radar for outputting a two-dimensional distribution of the distance of the surveillance area as a distance measurement data,
    前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群と、距離補正値としてのパラメータとに基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、 It said distance by dividing the two-dimensional plane defined by the image data into a plurality of sections, to calculate the distance of the surveillance area based on the parallax groups that exist within the partition, and parameters as the distance correction value, a recognition unit for calculating a distance calculation data and distance between each of the divided category that have the calculated correlated,
    前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第1の距離として特定し、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を第2の距離として特定するとともに、前記第1の距離と前記第2の距離とに基づき前記パラメータを算出する視差補正部とを有することを特徴とする監視システムの距離補正装置。 By the distance the distance to the three-dimensional object in the surveillance area at a predetermined position on the measurement data specified as the first distance, identifying the segments in the distance calculation data indicating a distance to the three-dimensional object, the with specifying the distances calculated with respect to segments identified as a second distance, monitoring and having a parallax correction unit that calculates the parameter based on the first distance and the second distance distance correction of the system.
  7. 監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された1フレーム相当の画像データに関する視差群と当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データと、レーザレーダにより前記監視領域内の距離が測定されて距離の二次元的な分布として算出される距離測定データとを用いて監視領域内の状況を監視する監視方法において、 Scenery including monitoring area based on the pair of image data captured, the position on the image plane defined by the parallax group and the image data relating to image data corresponding to one frame calculated by the stereo matching is associated with the distance image data, the monitoring method for monitoring the status of the monitoring two-dimensional surveillance region using the distance measurement data is calculated as distribution of distances is measured distances in the region by the laser radar,
    前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する第1のステップと、 Said distance by dividing the two-dimensional plane defined by the image data into a plurality of sections, to calculate the distance of the surveillance area based on the parallax groups present in this category, the with each of the divided segment a first step of calculating a calculated distance distance calculation data is correlated with,
    前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第1の距離として特定する第2のステップと、 A second step of specifying a distance to the three-dimensional object in the surveillance area at a predetermined position on the distance measurement data as the first distance,
    前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定する第3のステップと、 In the distance calculation data, a third step of specifying the segment that indicates the distance to the three-dimensional object,
    前記距離算出データにおいて、前記特定された区分に関して算出された距離を、前記第1の距離に補正する第4のステップと、 In the distance calculation data, the distance calculated with respect to the identified segment, and a fourth step of correcting said first distance,
    前記第4のステップにおいて補正された前記距離算出データに基づき、前記監視領域内の立体物を認識する第5のステップとを有することを特徴とする監視方法。 The fourth on the basis of the distance calculation data corrected in step, the monitoring method characterized by having a fifth step that recognizes a three-dimensional object in the surveillance area.
  8. 監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された1フレーム相当の画像データに関する視差群と当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データと、レーザレーダにより前記監視領域内の距離が測定されて距離の二次元的な分布として算出される距離測定データとを用いて監視領域内の状況を監視する監視方法において、 Scenery including monitoring area based on the pair of image data captured, the position on the image plane defined by the parallax group and the image data relating to image data corresponding to one frame calculated by the stereo matching is associated with the distance image data, the monitoring method for monitoring the status of the monitoring two-dimensional surveillance region using the distance measurement data is calculated as distribution of distances is measured distances in the region by the laser radar,
    前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する第1のステップと、 Said distance by dividing the two-dimensional plane defined by the image data into a plurality of sections, to calculate the distance of the surveillance area based on the parallax groups present in this category, the with each of the divided segment a first step of calculating a calculated distance distance calculation data is correlated with,
    前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第1の距離として特定する第2のステップと、 A second step of specifying a distance to the three-dimensional object in the surveillance area at a predetermined position on the distance measurement data as the first distance,
    前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定する第3のステップと、 In the distance calculation data, a third step of specifying the segment that indicates the distance to the three-dimensional object,
    前記距離算出データにおいて、前記特定された区分に関して算出された距離を第2の距離として特定する第4のステップと、 In the distance calculation data, a fourth step of specifying the distance calculated with respect to the identified classified as a second distance,
    前記第1の距離と前記第2の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第3の距離を決定する第5のステップと、 By comparing the second distance and the first distance, a fifth step of determining a third distance serving as a correction value for correcting a distance calculated with respect to the identified segment,
    補正された前記距離算出データに基づき、前記監視領域内の立体物を認識する第6のステップとを有することを特徴とする監視方法。 Based on the corrected the distance calculation data, monitoring method and having a sixth step recognizes the three-dimensional object in the surveillance area.
  9. 前記第2のステップは、前記距離測定データ上の所定位置において、前記立体物までの距離に相当する測定値があると判断した場合には、当該測定値を前記第1の距離として決定するステップを有することを特徴とする請求項8に記載された監視方法。 Step second step, at a predetermined position on the distance measurement data, when it is determined that there is a measured value corresponding to the distance to the three-dimensional object, determining the measurement value as said first distance surveillance method according to claim 8, characterized in that it comprises a.
  10. 前記第5のステップは、前記第1の距離と前記第2の距離との差が所定のしきい値以内である場合には、前記第1の距離を前記第3の距離として決定し、前記第1の距離と前記第2の距離との差が所定のしきい値より大きい場合には、前記第2の距離を前記第3の距離として決定するステップを有することを特徴とする請求項9に記載された監視方法。 The fifth step, if the difference between the second distance and the first distance is within a predetermined threshold, determines a first distance as the third distance, the If the difference is greater than a predetermined threshold value of the second distance and the first distance is claim, characterized by the step of determining said second distance as the third distance 9 surveillance methods described.
  11. 前記第5のステップは、前記第1の距離と前記第2の距離との差が所定のしきい値以内である場合には、前記第1の距離と前記第2の距離との平均値を前記第3の距離として決定し、前記第1の距離と前記第2の距離との差が所定のしきい値より大きい場合には、前記第2の距離を前記第3の距離として決定するステップを有することを特徴とする請求項9に記載された監視方法。 The fifth step, the when the difference between the first distance and the second distance is within a predetermined threshold, the average value of the first distance and the second distance wherein determining a third distance, if the difference between the second distance and the first distance is greater than a predetermined threshold value, determining a second distance as the third distance surveillance method according to claim 9, characterized in that it comprises a.
  12. 監視システムの距離補正方法において、 In the distance correction method of the monitoring system,
    監視領域を含む景色を撮像し、一対の画像データを出力するステップと、 Imaging a scene comprising a monitoring area, and outputting a pair of image data,
    前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、1フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステップと、 Based on the pair of image data, and calculates the parallax by stereo matching, 1 frame and the disparity group regarding corresponding image data of the distance and the coordinate position on the image plane defined by the image data is associated image and outputting the data,
    前記監視領域内の距離をレーザレーダで測定するとともに、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するステップと、 With measuring the distance of the surveillance area with the laser radar, and outputting the two-dimensional distribution of the distance of the surveillance area as a distance measurement data,
    前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群と、距離補正値としてのパラメータとに基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出するステップと、 It said distance by dividing the two-dimensional plane defined by the image data into a plurality of sections, to calculate the distance of the surveillance area based on the parallax groups that exist within the partition, and parameters as the distance correction value, calculating a distance calculation data and distance between each of the divided category that have the calculated correlated,
    前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第1の距離として特定するステップと、 Identifying a distance to the three-dimensional object in the surveillance area at a predetermined position on the distance measurement data as the first distance,
    前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定するステップと、 In the distance calculation data, identifying said segment indicating the distance to the three-dimensional object,
    前記距離算出データにおいて、前記特定された区分に関して算出された距離を第2の距離として特定するステップと、 In the distance calculation data, identifying a distance calculated with respect to the identified classified as a second distance,
    前記第1の距離と前記第2の距離とに基づき前記パラメータを算出するステップと、 Calculating said parameter on the basis of said second distance and said first distance,
    前記算出された距離算出データに基づき立体物を認識するステップとを有することを特徴とする監視システムの距離補正方法。 Distance correction method of monitoring system characterized by having a step of recognizing three-dimensional objects based on the distance calculation data the calculated.
JP2002184018A 2002-06-25 2002-06-25 Monitoring system and a monitoring method, distance correction device and distance correction method in the monitoring system Active JP4032843B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002184018A JP4032843B2 (en) 2002-06-25 2002-06-25 Monitoring system and a monitoring method, distance correction device and distance correction method in the monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002184018A JP4032843B2 (en) 2002-06-25 2002-06-25 Monitoring system and a monitoring method, distance correction device and distance correction method in the monitoring system

Publications (2)

Publication Number Publication Date
JP2004028727A true true JP2004028727A (en) 2004-01-29
JP4032843B2 JP4032843B2 (en) 2008-01-16

Family

ID=31180026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002184018A Active JP4032843B2 (en) 2002-06-25 2002-06-25 Monitoring system and a monitoring method, distance correction device and distance correction method in the monitoring system

Country Status (1)

Country Link
JP (1) JP4032843B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094716A (en) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd Vehicle driving support device
JP2007104349A (en) * 2005-10-05 2007-04-19 Hitachi Ltd Imaging device
JP2007240276A (en) * 2006-03-07 2007-09-20 Olympus Corp Distance measuring device/imaging device, distance measuring method/imaging method, distance measuring program/imaging program, and storage medium
JP2008304344A (en) * 2007-06-08 2008-12-18 Kumamoto Univ Target detector
JP2010091426A (en) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc Distance measuring device and program
JP2012141756A (en) * 2010-12-28 2012-07-26 Yahoo Japan Corp Device for creating related words graph, method for creating related words graph, device for providing related words, and method and program for providing related words
WO2012172870A1 (en) * 2011-06-14 2012-12-20 日産自動車株式会社 Distance measurement device and environment map generation apparatus
EP2889641A1 (en) 2013-12-27 2015-07-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, program and image processing system
EP2911392A1 (en) * 2014-02-25 2015-08-26 Ricoh Company, Ltd. Parallax calculation system, information processing apparatus, information processing method, and program
JP2016500162A (en) * 2012-08-29 2016-01-07 ベイスター3ディー リミテッド The methods and conjugates for its implementation for the description of the object point in the object space

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094716A (en) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd Vehicle driving support device
JP2007104349A (en) * 2005-10-05 2007-04-19 Hitachi Ltd Imaging device
JP2007240276A (en) * 2006-03-07 2007-09-20 Olympus Corp Distance measuring device/imaging device, distance measuring method/imaging method, distance measuring program/imaging program, and storage medium
JP2008304344A (en) * 2007-06-08 2008-12-18 Kumamoto Univ Target detector
JP2010091426A (en) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc Distance measuring device and program
JP2012141756A (en) * 2010-12-28 2012-07-26 Yahoo Japan Corp Device for creating related words graph, method for creating related words graph, device for providing related words, and method and program for providing related words
WO2012172870A1 (en) * 2011-06-14 2012-12-20 日産自動車株式会社 Distance measurement device and environment map generation apparatus
CN103154666A (en) * 2011-06-14 2013-06-12 日产自动车株式会社 Distance measurement device and environment map generation apparatus
JP5472538B2 (en) * 2011-06-14 2014-04-16 日産自動車株式会社 Distance measuring device and the environment map generating unit
US9046364B2 (en) 2011-06-14 2015-06-02 Nissan Motor Co., Ltd. Distance measurement device and environment map generation apparatus
JP2016500162A (en) * 2012-08-29 2016-01-07 ベイスター3ディー リミテッド The methods and conjugates for its implementation for the description of the object point in the object space
EP2889641A1 (en) 2013-12-27 2015-07-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, program and image processing system
EP2911392A1 (en) * 2014-02-25 2015-08-26 Ricoh Company, Ltd. Parallax calculation system, information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date Type
JP4032843B2 (en) 2008-01-16 grant

Similar Documents

Publication Publication Date Title
US6963661B1 (en) Obstacle detection system and method therefor
US6125198A (en) Method of matching stereo images and method of measuring disparity between these items
US6873912B2 (en) Vehicle tracking system
US20020031242A1 (en) Local positioning appartus, and method therefor
US6487303B1 (en) Object detector
US6744380B2 (en) Apparatus for monitoring area adjacent to vehicle
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
US20140161323A1 (en) Dense structure from motion
US6956469B2 (en) Method and apparatus for pedestrian detection
US6985619B1 (en) Distance correcting apparatus of surroundings monitoring system and vanishing point correcting apparatus thereof
US20050086000A1 (en) Information display apparatus and information display method
EP2400315A1 (en) Travel distance detection device and travel distance detection method
US6813370B1 (en) Lane marker recognizing apparatus
US8244027B2 (en) Vehicle environment recognition system
US20100299109A1 (en) Road shape recognition device
US20090041337A1 (en) Image processing apparatus and method
US20040057599A1 (en) Image processing apparatus and method
US20060078197A1 (en) Image processing apparatus
US20140160244A1 (en) Monocular cued detection of three-dimensional structures from depth images
US20090190827A1 (en) Environment recognition system
JP2003067752A (en) Vehicle periphery monitoring device
US20080180528A1 (en) Preceding Vehicle Detection System
JP2010224925A (en) Environment recognition device
JPH11351862A (en) Foregoing vehicle detecting method and equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071015

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250