JP2003233899A - Device and method for detecting road shoulder - Google Patents
Device and method for detecting road shoulderInfo
- Publication number
- JP2003233899A JP2003233899A JP2002031871A JP2002031871A JP2003233899A JP 2003233899 A JP2003233899 A JP 2003233899A JP 2002031871 A JP2002031871 A JP 2002031871A JP 2002031871 A JP2002031871 A JP 2002031871A JP 2003233899 A JP2003233899 A JP 2003233899A
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- road
- camera
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、自動車に搭載した
カメラで撮影した画像から道路の路肩を検出する路肩検
出装置及び方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road shoulder detecting apparatus and method for detecting a road shoulder from an image taken by a camera mounted on an automobile.
【０００２】[0002]
【従来の技術】自動車の安全走行を確保するための警報
システムや自動車の自動運転システムにおいては、走行
中の車両が走行レーンを逸脱するか否かを検出する技術
が必要となる。車両が走行レーンを逸脱するか否かを検
知するには、走行レーンの左右の両端を検出する必要が
ある。車載カメラで撮影した画像を用いて走行レーンの
両端を検出する場合、路面上の白線等のレーンマーカー
を検出する方法が一般的である。しかし、この方法では
路面上にレーンマーカーが存在する道路にしか適用でき
ない。高速道路や整備された幅の広い一般道ならば白線
等のレーンマーカーの存在が期待できるが、比較的幅の
狭い一般道では路面上に中央線や道路端を示す白線等が
描かれていないことが多い。このように白線等で走行レ
ーンが明示されていない道路では、歩道、中央分離帯、
側壁、ガードレール、生け垣等を検知し、これらを路肩
として検出する必要がある。2. Description of the Related Art An alarm system for ensuring safe driving of an automobile and an automatic driving system for an automobile require a technique for detecting whether or not the traveling vehicle deviates from a traveling lane. In order to detect whether the vehicle deviates from the traveling lane, it is necessary to detect both left and right ends of the traveling lane. When detecting both ends of a traveling lane using an image captured by a vehicle-mounted camera, a method of detecting a lane marker such as a white line on the road surface is generally used. However, this method can only be applied to roads with lane markers on the road surface. The presence of lane markers such as white lines can be expected for highways and wide roads that have been maintained, but the center line and white lines indicating road edges are not drawn on the road surface for relatively narrow roads. Often. In this way, on roads where the driving lane is not clearly indicated by white lines, etc., sidewalks, medians,
It is necessary to detect side walls, guardrails, hedges, etc., and detect them as shoulders.
【０００３】従来、路肩検出手法として、画像の輝度や
色、あるいはテクスチャー等の情報を手がかりにして路
肩を求める手法が提案されている。例えば、C.E.Thorp
e, M.H.Herbert and T.Kanade,"Vision and Navigation
for the Carnegie-Mellone Navlab," IEEE Trans. PAM
I, vol.01, no.3, pp.362-373, 1988.では、テクスチャ
ーが少ない灰色の領域を道路領域として抽出して、その
左右両端を路肩として検出していた。また、L.S.Davis,
D.Dementhon, S.Dickinson and P.Veatch,"Algorithms
for road navigation,"Vision-based vehicle Guidanc
e, Springer-Verlag, Chapter 3, 1992.では、画像から
斜めエッジを抽出して、エッジ強度が強く、かつ長いエ
ッジセグメントを有するものを路肩として検出してい
た。Conventionally, as a road shoulder detection method, there has been proposed a method of obtaining a road shoulder by using information such as image brightness, color, or texture as a clue. For example, CEThorp
e, MH Herbert and T. Kanade, "Vision and Navigation
for the Carnegie-Mellone Navlab, "IEEE Trans. PAM
In I, vol.01, no.3, pp.362-373, 1988., a gray area with little texture was extracted as a road area, and both left and right ends of the gray area were detected as shoulders. Also, LSDavis,
D. Dementhon, S. Dickinson and P. Veatch, "Algorithms
for road navigation, "Vision-based vehicle Guidanc
In e, Springer-Verlag, Chapter 3, 1992., diagonal edges were extracted from the image, and those having strong edge strength and long edge segments were detected as road shoulders.
【０００４】しかし、道路と類似する輝度、色、あるい
はテクスチャーを有する画素及び領域は画像中で多数存
在する。さらに、道路面自体の輝度レベル、色、そして
テクスチャーも、同じ場所を撮影した画像であっても、
天候、季節や時間の変化により時々刻々と変化するため
に、路肩を安定に検出することが困難である。However, there are many pixels and regions in the image that have similar brightness, color, or texture to the road. Furthermore, the brightness level, color, and texture of the road surface itself, even if the image was taken at the same place,
It is difficult to detect the road shoulder in a stable manner because it changes from moment to moment due to changes in weather, season and time.
【０００５】また、道路に射した建物や電柱の影の境界
のように、長いエッジセグメントを持つ領域も画像中に
多数現れ、これらの影も時々刻々と変化するために、路
肩を安定かつ正確に検出することが困難である。Further, many areas having long edge segments appear in the image, such as the boundaries of the shadows of buildings and telephone poles projected on the road, and these shadows also change from moment to moment, so the shoulders of the road are stable and accurate. Difficult to detect.
【０００６】この他の手法として、２台のカメラによる
ステレオ画像から高さや距離情報を求めて、ガードレー
ル等の側壁を検出する方法が特開平１１−２１３１３８
号公報で提案されている。この手法では、ステレオ画像
間で対応する画素を探索して高さや距離情報を算出して
３次元座標データを算出しているが、画素の探索や３次
元座標データのグループ化に多大な計算コストが必要と
なる。[0006] As another method, there is a method of detecting height and distance information from a stereo image by two cameras and detecting a side wall such as a guardrail.
It has been proposed in the publication. In this method, three-dimensional coordinate data is calculated by searching for corresponding pixels between stereo images and calculating height and distance information. However, a large calculation cost is required for pixel search and grouping of three-dimensional coordinate data. Is required.
【０００７】[0007]
【発明が解決しようとする課題】このように、撮影した
画像の輝度、色、テクスチャー等の情報を用いる従来手
法には、道路と類似した輝度、色、あるいはテクスチャ
ーを有する側壁等を道路として誤検出し、路肩位置が正
しく求まらないという問題点がある。As described above, according to the conventional method using the information such as the brightness, color and texture of the photographed image, a side wall having brightness, color or texture similar to that of the road is mistaken as a road. There is a problem in that the road shoulder position is not accurately detected after being detected.
【０００８】また、エッジセグメントを用いる手法で
は、道路に射した影の境界のような長いエッジセグメン
トを路肩として誤検出するという問題点がある。Further, the method using the edge segment has a problem that a long edge segment such as a boundary of a shadow cast on a road is erroneously detected as a road shoulder.
【０００９】さらに、２台のカメラによるステレオ画像
から高さや距離情報を計算して側壁を検出する手法は、
計算量が多いという問題がある。Further, the method of calculating the height and distance information from the stereo images by the two cameras and detecting the side wall is as follows.
There is a problem that the amount of calculation is large.
【００１０】本発明は上記問題点を鑑みてなされたもの
であり、２台のカメラで撮影したステレオ画像を用い
て、安定かつ計算量の少ない路肩検出装置及び方法を提
供することを目的とする。The present invention has been made in view of the above problems, and an object of the present invention is to provide a stable road shoulder detection device and method using stereo images taken by two cameras. .
【００１１】[0011]
【課題を解決するための手段】上記課題を解決するため
本発明の路肩検出方法は、走行する車両から道路の路肩
を検出する方法であって、前記車両の進行方向と垂直な
方向に所定の間隔離して設置された第１、第２のカメラ
を用いて同時に第１、第２の画像を取得する画像取得ス
テップと、前記第１の画像及び第２の画像をそれぞれメ
モリに蓄積する画像蓄積ステップと、前記第１の画像の
任意の画素が前記車両が走行する道路面上に存在すると
仮定した場合の、前記第１の画像を第２のカメラからの
見え方に変換する対応関係を用いて、前記第１の画像と
前記第２の画像の差異を計算して第１の差異画像を生成
し、前記第２の画像の任意の画素が前記車両が走行する
道路面上に存在すると仮定した場合の、前記第２の画像
を第１のカメラからの見え方に変換する対応関係を用い
て、前記第１の画像と前記第２の画像の差異を計算して
第１の差異画像を生成する差異画像生成ステップと、前
記第１の差異画像から第２の画像を取得した位置に近い
側の路肩を検出すし、前記第２の差異画像から第１の画
像を取得した位置に近い側の路肩を検出する路肩検出ス
テップを有することを特徴とする。In order to solve the above problems, a road shoulder detecting method of the present invention is a method of detecting a road shoulder of a road from a traveling vehicle, wherein a predetermined direction is set in a direction perpendicular to the traveling direction of the vehicle. An image acquisition step of simultaneously acquiring the first and second images using the first and second cameras that are installed separately from each other, and the image storage for respectively storing the first image and the second image in a memory And a correspondence relationship for converting the first image into a view from a second camera, assuming that any pixel of the first image exists on a road surface on which the vehicle travels. And calculate a difference between the first image and the second image to generate a first difference image, and assume that any pixel of the second image is present on a road surface on which the vehicle travels. If the second image is the first camera A difference image generating step of calculating a difference between the first image and the second image to generate a first difference image by using a correspondence relationship for converting the appearance of the difference image from the first difference image. A road shoulder detection step of detecting a road shoulder closer to a position where the second image is acquired, and detecting a road shoulder closer to a position where the first image is acquired from the second difference image. .
【００１２】また、本発明の路肩検出装置は、道路を走
行する車両に設置され、道路の路肩を検出する装置であ
って、前記車両の進行方向と垂直な方向に所定の間隔離
して前記車両に設置され、車両前方の画像を２台同時に
撮影する第１、第２のカメラと、第１のカメラで撮影し
た第１の画像を画面単位で蓄積する第１の画像蓄積部
と、第２のカメラで撮影した第２の画像を画面単位で蓄
積する第２の画像蓄積部と、前記第１の画像の任意の画
素が前記車両が走行する道路面上に存在すると仮定した
場合の、前記第１の画像を第２のカメラからの見え方に
変換する対応関係を用いて、前記第１の画像蓄積部から
の前記第１の画像と前記第２の画像蓄積部からの前記第
２の画像の差異を計算して第１の差異画像を生成する第
１の差異画像生成部と、前記第２の画像の任意の画素が
前記車両が走行する道路面上に存在すると仮定した場合
の、前記第２の画像を第１のカメラからの見え方に変換
する対応関係を用いて、前記第１の画像蓄積部からの前
記第１の画像と前記第２の画像蓄積部からの前記第２の
画像の差異を計算して第２の差異画像を生成する第２の
差異画像生成部と、前記第１の差異画像から第２のカメ
ラに近い側の路肩を検出する第１の路肩検出部と、前記
第１の差異画像から第２のカメラに近い側の路肩を検出
する第１の路肩検出部とを有することを特徴とする。Further, the road shoulder detecting device of the present invention is installed in a vehicle traveling on a road, and is a device for detecting the road shoulder of the road, which is isolated for a predetermined period in a direction perpendicular to the traveling direction of the vehicle. Installed in the vehicle, first and second cameras that simultaneously capture two images in front of the vehicle, a first image storage unit that stores the first image captured by the first camera on a screen-by-screen basis, and a second A second image storage unit that stores a second image captured by the camera of the present invention in screen units, and an arbitrary pixel of the first image is present on the road surface on which the vehicle travels, The first image from the first image storage unit and the second image from the second image storage unit are converted by using a correspondence relationship for converting the first image into the appearance from the second camera. A first difference image generation unit that calculates a difference between images and generates a first difference image , Using a correspondence relationship for converting the second image into a view from the first camera, assuming that any pixel of the second image exists on a road surface on which the vehicle travels, A second difference image generation unit that calculates a difference between the first image from the first image storage unit and the second image from the second image storage unit to generate a second difference image. A first shoulder detection unit that detects a shoulder on the side closer to the second camera from the first difference image; and a first shoulder detector that detects a shoulder on the side closer to the second camera from the first difference image. And a road shoulder detection unit.
【００１３】以上、本発明によれば、エッジセグメント
等を用いた路肩検出方法及び装置に比べて誤検出が少な
く安定して路肩を検出でき、また、従来のステレオ画像
を用いた路肩検出方法及び装置のように高さや距離情報
を計算していないので、少ない計算量で路肩を検出する
ことが可能である。As described above, according to the present invention, it is possible to stably detect the road shoulder with less erroneous detection as compared with the road shoulder detecting method and apparatus using the edge segment and the like, and the road shoulder detecting method using the conventional stereo image and Since the height and distance information are not calculated unlike the device, it is possible to detect the road shoulder with a small amount of calculation.
【００１４】[0014]
【発明の実施の形態】（第１の実施形態）以下、図面を
参照して本発明の第１の実施形態を説明する。図１は本
発明の第１の実施形態の路肩検出装置の構成を説明する
ブロック図である。BEST MODE FOR CARRYING OUT THE INVENTION (First Embodiment) A first embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a road shoulder detection device according to a first embodiment of the present invention.
【００１５】本実施形態の路肩検出装置は、動画像を撮
影するためのカメラ１、２と、撮影した動画像を画像１
枚毎に順次一時蓄積しておく画像蓄積部３、４とを有す
る。本装置はさらに、カメラ１、２で撮影した画像から
差異画像Ｓ１、Ｓ２を求める差異計算部５、６と、差異
画像を用いて路肩を検出する路肩検出部７、８とを有す
る。本装置はさらに、本装置の使用者に対するインター
フェースであるＧＵＩを提供し、また本装置各部分の動
作の調整を行う制御部９と、前述のＧＵＩ及びカメラ
１、２で撮影した画像及び検出した路肩を表示する表示
部１０とを有する。The road-shoulder detecting apparatus of this embodiment is provided with cameras 1 and 2 for capturing a moving image, and the captured moving image as an image 1.
Image storage units 3 and 4 for temporarily temporarily storing each sheet. The present apparatus further includes difference calculation units 5 and 6 that obtain difference images S1 and S2 from images captured by the cameras 1 and 2, and road shoulder detection units 7 and 8 that detect road shoulders using the difference images. The apparatus further provides a GUI that is an interface for the user of the apparatus, and a control unit 9 that adjusts the operation of each part of the apparatus, the GUI and the images captured by the cameras 1 and 2, and the detected images. It has the display part 10 which displays a road shoulder.
【００１６】本装置は自動車に搭載するためのものであ
る。カメラ１、２は、図３に示すように、車両の進行方
向に向かって左側にカメラ１を、右側にカメラ２を設置
する。具体的には、車のフロントウインドウの内側左端
にカメラ１を、内側右端にカメラ２を設置する。カメラ
間隔やカメラ設置場所の路面からの高さは、車両の大き
さ・種類等によるが、乗用車の場合でカメラ間隔が1.5m
〜2.0m程度、高さが70cm〜1.5m程度になるように設置す
る。そして、設置時にカメラ１とカメラ２の視野がある
程度重なるように向きを調整する。This device is to be installed in an automobile. As shown in FIG. 3, the cameras 1 and 2 have the camera 1 on the left side and the camera 2 on the right side in the traveling direction of the vehicle. Specifically, the camera 1 is installed at the inner left end of the front window of the car, and the camera 2 is installed at the inner right end. The distance between cameras and the height from the road surface where the cameras are installed depend on the size and type of vehicle, but in the case of passenger cars, the distance between cameras is 1.5 m.
Install it so that the height is about 2.0m and the height is about 70cm to 1.5m. Then, at the time of installation, the directions are adjusted so that the fields of view of the camera 1 and the camera 2 overlap to some extent.
【００１７】カメラ１、２は受光部にＣＣＤ（電荷結合
素子）を用いた可視光領域用カメラである。図４はカメ
ラ１、２で撮影した画像を説明する図で、図４（ａ）は
車両の左側にあるカメラ１が、図４（ｂ）は車両の右側
にあるカメラ２が撮影した場合の見え方である。カメラ
１で撮影した画像Ｉ１は画像蓄積部３へ出力し、カメラ
２で撮影した画像Ｉ２は画像蓄積部４へ出力する。The cameras 1 and 2 are cameras for visible light region using CCD (charge coupled device) for the light receiving portion. 4A and 4B are diagrams for explaining images taken by the cameras 1 and 2. FIG. 4A shows a case where the camera 1 on the left side of the vehicle takes a picture, and FIG. 4B shows a case where the camera 2 on the right side of the vehicle takes a picture. It is how it looks. The image I1 captured by the camera 1 is output to the image storage unit 3, and the image I2 captured by the camera 2 is output to the image storage unit 4.
【００１８】画像蓄積部３はカメラ１からの画像を画面
単位で一時記憶しておき、画像蓄積部４はカメラ２から
の画像を画面単位で一時記憶しておく。The image storage unit 3 temporarily stores the image from the camera 1 on a screen-by-screen basis, and the image storage unit 4 temporarily stores the image from the camera 2 on a screen-by-screen basis.
【００１９】差異計算部５は、画像Ｉ１を変換画像Ｍ１
に変換してから、この変換画像Ｍ１と画像Ｉ２から差異
画像Ｓ１を生成する。差異計算部５は、まず、画像Ｉ１
を画像Ｉ１中の全画素が、車両が走行している道路平面
上に存在すると仮定（道路平面拘束仮定）した場合の、
カメラ２からの見え方に変換して変換画像Ｍ１を生成す
る。そして、各画素毎に変換画像Ｍ１と画像Ｉ２の輝度
の絶対値差分を計算して差異画像Ｓ１を生成する。The difference calculator 5 converts the image I1 into the converted image M1.
Then, the difference image S1 is generated from the converted image M1 and the image I2. The difference calculation unit 5 first determines the image I1.
When it is assumed that all pixels in the image I1 are on the road plane on which the vehicle is traveling (road plane constraint assumption),
The converted image M1 is generated by converting the image into the appearance from the camera 2. Then, for each pixel, the absolute value difference between the luminances of the converted image M1 and the image I2 is calculated to generate the difference image S1.
【００２０】同様にして、差異計算部６は、画像Ｉ２を
変換画像Ｍ２に変換してから、この変換画像Ｍ２と画像
Ｉ１から差異画像Ｓ２を生成する。差異計算部６は、ま
ず、画像Ｉ２を全画素を道路平面拘束仮定した場合の、
カメラ１からの見え方に変換して変換画像Ｍ２を生成す
る。そして、各画素毎に画像Ｉ１と変換画像Ｍ２の絶対
値差分を計算して差異画像Ｓ２を生成する。Similarly, the difference calculator 6 converts the image I2 into the converted image M2, and then generates the difference image S2 from the converted image M2 and the image I1. The difference calculation unit 6 firstly assumes that all pixels of the image I2 are constrained by the road plane,
The converted image M2 is generated by converting the image to the one seen by the camera 1. Then, an absolute value difference between the image I1 and the converted image M2 is calculated for each pixel to generate a difference image S2.
【００２１】路肩検出部７では差異計算部５で求めた差
異画像Ｓ１から、道路の右側（カメラ２側）の路肩の検
出を行い、路肩検出部８では差異計算部６で求めた差異
画像Ｓ２から、道路の左側（カメラ１側）の路肩の検出
を行う。The road shoulder detector 7 detects the road shoulder on the right side (camera 2 side) of the road from the difference image S1 obtained by the difference calculator 5, and the road shoulder detector 8 detects the difference image S2 obtained by the difference calculator 6. From this, the road shoulder on the left side (camera 1 side) of the road is detected.
【００２２】制御部９は路肩検出部７、８で検出した路
肩の情報を表す路肩情報画像を生成して、画像蓄積部
３、４から読み出したカメラ１、２で撮影した画像Ｉ１
及びＩ２上に合成した走行路画像を生成する。制御部９
は、生成した２枚（Ｉ１、Ｉ２に対応する）の走行路画
像を、ＧＵＩ上に設けた走行路画像を表示するための枠
内に合成して、ＧＵＩを表示部１０に出力する。The control unit 9 generates a road shoulder information image representing road shoulder information detected by the road shoulder detection units 7 and 8, and an image I1 taken by the cameras 1 and 2 read from the image storage units 3 and 4.
And the road image combined on I2 are generated. Control unit 9
Outputs the generated two roadway images (corresponding to I1 and I2) in a frame for displaying the roadway image provided on the GUI, and outputs the GUI to the display unit 10.
【００２３】さらに制御部９は、制御部９に接続された
ポインティングデバイスを通じて、本装置の使用者から
の操作を受け付ける。そして、制御部９は本装置の設置
時あるいは使用者からの要求によって本装置の初期化動
作を行う。この初期化動作では、後述するように路肩を
検出するために必要となる各種パラメータの算出などを
行う。Further, the control section 9 accepts an operation from the user of this apparatus through a pointing device connected to the control section 9. Then, the control unit 9 performs the initialization operation of the present device at the time of installation of the present device or at the request of the user. In this initialization operation, various parameters necessary for detecting the road shoulder are calculated as will be described later.
【００２４】表示部１０は、制御部９から出力されたＧ
ＵＩを表示する。The display unit 10 displays the G output from the control unit 9.
Display the UI.
【００２５】以下、差異計算部５、６で行う変換画像Ｍ
１、Ｍ２の生成方法と、差異画像Ｓ１、Ｓ２の生成方法
を説明する。Hereinafter, the converted image M performed by the difference calculation units 5 and 6
A method of generating the first and M2 images and a method of generating the difference images S1 and S2 will be described.
【００２６】道路平面（XY平面）上の任意の点(X,Y)
を、カメラ１の画像面及びカメラ２の画像面への投影点
を各々(u1,v1)、(u2,v2)とする。道路平面拘束仮定を行
うと、An arbitrary point (X, Y) on the road plane (XY plane)
Let (u 1 , v 1 ) and (u 2 , v 2 ) be the projection points on the image plane of the camera 1 and the image plane of the camera 2, respectively. When the road plane constraint assumption is made,
【００２７】[0027]
【数１】 [Equation 1]
【００２８】という関係式が成り立つ。ただし、The relational expression However,
【００２９】[0029]
【数２】 [Equation 2]
【００３０】で、h、t、g、sはカメラ１、２の３次元位
置と姿勢、及びカメラ１、２それぞれに装着したレンズ
の焦点距離、画像中心に関するパラメーターであり、車
両の中心を原点として、車両に対して相対的に停止して
いる３次元直交座標（車両座標）系におけるパラメータ
である。Here, h, t, g, and s are parameters relating to the three-dimensional positions and postures of the cameras 1 and 2, the focal lengths of the lenses attached to the cameras 1 and 2, and the image center, and the vehicle center is the origin. Is a parameter in a three-dimensional rectangular coordinate system (vehicle coordinate system) that is relatively stopped with respect to the vehicle.
【００３１】数１からXとYを消去すると、If X and Y are deleted from the equation 1,
【００３２】[0032]
【数３】 [Equation 3]
【００３３】となる。ここで、It becomes here,
【００３４】[0034]
【数４】 [Equation 4]
【００３５】は数１から数３へ式変形した際のu1、v1の
係数と定数項であり、h、gで表される定数である。Is a coefficient and a constant term of u 1 and v 1 when the expression is transformed from Expression 1 to Expression 3, and is a constant represented by h and g.
【００３６】数４のパラメータＨはあらかじめ固定値で
与えられるものではないが、数３の関係式により、画像
Ｉ１中の点(u1,v1)を道路平面拘束仮定した時のカメラ
２から見た場合の点(u2,v2)の座標を求めることが可能
であるから、あらかじめ与えた画像Ｉ１と画像Ｉ２の対
応点の座標を数３の関係式に代入して得られるパラメー
タＨの各成分についての連立方程式を解いて求めること
が可能である。本装置では、制御部９が数４のパラメー
タＨを制御部９の初期化動作の際に求める。The parameter H of the equation 4 is not given as a fixed value in advance, but from the camera 2 when the point (u 1 , v 1 ) in the image I1 is assumed to be a road plane constraint by the relational expression of the equation 3. Since it is possible to obtain the coordinates of the point (u 2 , v 2 ) when viewed, the parameter H obtained by substituting the coordinates of the corresponding points of the image I1 and the image I2 given in advance into the relational expression of Equation 3 It is possible to solve by simultaneous equations for each component of. In this device, the control unit 9 obtains the parameter H of the equation 4 at the time of the initialization operation of the control unit 9.
【００３７】差異計算部５は数３の関係式を用いて、差
異計算部６は数３を(u1,v1)について解いた関係式を用
いて変換画像Ｍ１、Ｍ２を生成する。尚、変換画像の生
成速度を向上させるため、差異計算部５、６ともに制御
部９からパラメータＨを受け取った際に、数３の関係式
（差異計算部６は数３を(u1,v1)について解いたもの）
を用いて変換画像を生成するための変換テーブル
Ｔ1to2、Ｔ2to1を生成して差異計算部５及び６の内部で
記憶しておき、実際の変換画像生成はこの変換テーブル
Ｔ1to2、Ｔ2to1を用いて行う。変換テーブルＴ1to2、Ｔ
2to1は２次元の配列データで、Ｔ1to2(u1,v1)=(u2,
v2)、Ｔ2to1(u2,v2)=(u1,v1)である。The difference calculator 5 uses the relational expression of the equation 3 and the difference calculator 6 generates the converted images M1 and M2 by using the relational expression obtained by solving the equation 3 for (u 1 , v 1 ). In order to improve the conversion image generation speed, when both the difference calculation units 5 and 6 receive the parameter H from the control unit 9, the relational expression of Expression 3 (the difference calculation unit 6 calculates Expression 3 as (u 1 , v I solved about 1 ))
The conversion tables T 1to2 and T 2to1 for generating the conversion image are stored in the difference calculation units 5 and 6, and the conversion tables T 1to2 and T 2to1 are actually used for the conversion image generation. Perform using. Conversion table T 1to2 , T
2to1 is two-dimensional array data, and T 1to2 (u 1 , v 1 ) = (u 2 ,
v 2 ), T 2to1 (u 2 , v 2 ) = (u 1 , v 1 ).
【００３８】画像Ｉnと変換画像Ｍmから求める差異画像
Ｓn（n=１,m=２あるいはn=２,m=１）の各画素の輝度値
は、画像Ｉnと変換画像のＭmの各画素の輝度値を数５の
式で変換した値を持つ。The brightness value of each pixel of the difference image Sn (n = 1, m = 2 or n = 2, m = 1) obtained from the image In and the converted image Mm is the same as that of each pixel of the image In and the converted image Mm. It has a value obtained by converting the luminance value by the equation (5).
【００３９】[0039]
【数５】 [Equation 5]
【００４０】ただし、Ｓn(x,y)、Ｉn(x,y)、Ｍm(x,y)
は、各画像上の点(x,y)の輝度値を表す。However, Sn (x, y), In (x, y), Mm (x, y)
Represents the luminance value of the point (x, y) on each image.
【００４１】画像Ｉ１を道路平面拘束に従ってカメラ２
からの見え方に変換するためのパラメータＨ1to2を用い
てカメラ２からの見え方に変換した変換画像Ｍ１では、
道路に存在するガードレールや生垣などの立体物が右側
に倒れこんだ形に変換される。立体物は道路と接する地
点を中心にして倒れこんで変換されるので、道路より高
い場所にあるもの（画素）ほど右側に大きく移動する。The image I1 is taken by the camera 2 according to the road plane constraint.
In the converted image M1 converted into the appearance from the camera 2 using the parameter H 1to2 for converting into the appearance from
Three-dimensional objects such as guardrails and hedges that exist on the road are converted into a shape that collapses to the right. Since the three-dimensional object collapses around the point where it contacts the road and is converted, objects (pixels) located higher than the road move more to the right.
【００４２】従って、変換画像とＭ１と画像Ｉ２から差
異画像Ｓ１を生成すると、道路面は輝度差が小さくな
り、道路より高い場所にある物体は輝度差が大きくな
る。このため、差異画像Ｓ１は図５に示すようにガード
レール部分に輝度差の大きい領域Ｘ1が現れるので、こ
の領域Ｘ1の境界を検出すれば路肩の位置を検出するこ
とができる。Therefore, when the difference image S1 is generated from the converted image and the image M1 and the image I2, the difference in brightness on the road surface becomes small, and the difference in brightness at the object higher than the road becomes large. Therefore, in the difference image S1, an area X 1 with a large luminance difference appears in the guardrail portion as shown in FIG. 5, and therefore the position of the road shoulder can be detected by detecting the boundary of this area X 1 .
【００４３】画像Ｉ２を道路平面拘束に従ってカメラ１
からの見え方に変換するためのパラメータＨ2to1を用い
てカメラ１からの見え方に変換した変換画像Ｍ２では、
道路に存在するガードレールや生垣などの立体物が左側
に倒れこんだ形に変換される。立体物は道路と接する地
点を中心にして倒れこんで変換されるので、道路より高
い場所にあるもの（画素）ほど左側に大きく移動する。The image I2 is taken by the camera 1 according to the road plane constraint.
In the converted image M2 converted into the appearance from the camera 1 using the parameter H 2to1 for converting into the appearance from
Three-dimensional objects such as guardrails and hedges that exist on the road are converted to a shape that collapses to the left. Since a three-dimensional object collapses around a point in contact with the road and is converted, an object (pixel) located higher than the road moves largely to the left.
【００４４】従って、変換画像とＭ２と画像Ｉ１から差
異画像Ｓ２を生成すると、道路面は輝度差が小さくな
り、道路より高い場所にある物体は輝度差が大きくな
る。このため、差異画像Ｓ２は図５に示すようにガード
レール部分に輝度差の大きい領域Ｘ2が現れるので、こ
の領域Ｘ2の境界を検出すれば路肩の位置を検出するこ
とができる。Therefore, when the difference image S2 is generated from the converted image, M2, and the image I1, the brightness difference on the road surface is small, and the brightness difference is large on the object higher than the road. Therefore, in the difference image S2, as shown in FIG. 5, a region X 2 with a large luminance difference appears in the guardrail portion, and therefore the position of the road shoulder can be detected by detecting the boundary of this region X 2 .
【００４５】路肩検出部７は、差異計算部５で求めた差
異画像Ｓ１から領域Ｘ1を探索して、道路右側（カメラ
２に近い側）の路肩を検出する。尚、路肩の検出には走
行レーンが交わる消失点Ｖ１の座標を必要とするので、
本装置では、制御部９が初期化動作の中で消失点Ｖ１の
座標を求める。The road shoulder detector 7 searches the area X 1 from the difference image S1 obtained by the difference calculator 5 to detect the road shoulder on the right side of the road (the side closer to the camera 2). Since the detection of the road shoulder requires the coordinates of the vanishing point V1 at which the traveling lane intersects,
In this device, the control unit 9 obtains the coordinates of the vanishing point V1 during the initialization operation.
【００４６】路肩検出部７は、まず、図６（ａ）に示す
ように画像中の消失点Ｖ１を通る画面下端に対する水平
線を求める。水平線と画像端の交点をそれぞれＨa1、Ｈ
a2とする。路肩検出部７は消失点Ｖ１と画像の端点Ｔm1
を通る直線に沿って差異画像Ｓ１を走査する。走査範囲
は端点Ｔm1が画像の端を通って反時計回りにＨb1からＨ
b2までである。路肩検出部７は直線Ｖ１Ｔm1を境界にし
て差異画像Ｓ１の画素値を比較して路肩を検出する。First, the road-shoulder detecting section 7 obtains a horizontal line with respect to the lower end of the screen passing through the vanishing point V1 in the image as shown in FIG. 6 (a). The intersection of the horizontal line and the image edge is Ha1 and H, respectively.
Let it be a2. The roadside detection unit 7 detects the vanishing point V1 and the end point Tm1 of the image.
The difference image S1 is scanned along a straight line passing through. In the scanning range, the end point Tm1 passes through the edge of the image and is rotated counterclockwise from Hb1 to H.
Up to b2. The road shoulder detection unit 7 detects the road shoulder by comparing the pixel values of the difference image S1 with the straight line V1Tm1 as the boundary.
【００４７】路肩検出部７で行う画素値の比較の具体的
方法を説明する。端点Ｔm1の前後所定距離（例えば5画
素）離れた場所に点Ｔn1、Ｔp1をとり、三角形Ｖ１Ｔm1
Ｔn1（領域Ｓn1）と三角形Ｖ１Ｔm1Ｔp1（領域Ｓp1）の
領域に着目する。路肩検出部７は領域Ｓn1、Ｓp1内の平
均輝度値ｍn1、ｍp1を求めて、平均輝度値と所定の閾値
Ｄ1、Ｄ2が数６の関係を満たすかを判定する。A specific method of pixel value comparison performed by the road shoulder detection unit 7 will be described. The points Tn1 and Tp1 are set at positions separated by a predetermined distance (for example, 5 pixels) before and after the end point Tm1 to form a triangle V1Tm1.
Attention is paid to the areas of Tn1 (area Sn1) and triangle V1Tm1Tp1 (area Sp1). The roadside detection unit 7 obtains the average luminance values m n1 and m p1 in the regions Sn1 and Sp1, and determines whether the average luminance value and the predetermined threshold values D 1 and D 2 satisfy the relationship of Expression 6.
【００４８】[0048]
【数６】 [Equation 6]
【００４９】路肩検出部７は、平均輝度値が数６の関係
を満たした場合は、差異画像Ｓ１中の直線Ｖ１Ｔm1を路
肩候補とし、数７で表される信頼度Ｒ1を計算して路肩
検出部７に内蔵されたメモリ（図示せず）に登録してお
く。When the average luminance value satisfies the relationship of Expression 6, the road shoulder detecting unit 7 uses the straight line V1Tm1 in the difference image S1 as a shoulder candidate and calculates the reliability R 1 expressed by Expression 7 to calculate the reliability. It is registered in a memory (not shown) built in the detection unit 7.
【００５０】[0050]
【数７】 [Equation 7]
【００５１】路肩検出部７は数７で計算した信頼度Ｒ1
が最小となる直線Ｖ１Ｔm1を道路右側の路肩として出力
する。The road shoulder detector 7 calculates the reliability R 1 calculated by the equation 7.
The straight line V1Tm1 that minimizes is output as the shoulder on the right side of the road.
【００５２】尚、路肩検出部７では数７の式を路肩位置
を判定する信頼度として用いたが、領域Ｓn1、Ｓp1の平
均輝度ｍn1、ｍp1と、領域Ｓn1と領域Ｓp1を合わせた領
域の平均輝度ｍT1を用いて、数８の関係式で定義した信
頼度Ｒ1を用いても良い。The road shoulder detection unit 7 uses the equation (7) as the reliability for determining the road shoulder position. However, the average brightnesses m n1 and m p1 of the regions Sn1 and Sp1, and the region obtained by combining the regions Sn1 and Sp1. The reliability R 1 defined by the relational expression of Equation 8 may be used by using the average luminance m T1 of
【００５３】[0053]
【数８】 [Equation 8]
【００５４】ただし、数８で定義した信頼度Ｒ1を用い
る場合は、信頼度Ｒ1が最大になる直線Ｖ１Ｔm1を道路
右側の路肩として出力する。However, when the reliability R 1 defined by the equation 8 is used, the straight line V1Tm1 having the maximum reliability R 1 is output as the shoulder on the right side of the road.
【００５５】以上のようにして路肩検出部７は道路右側
の路肩を検出し、検出した路肩の情報を制御部９へ出力
する。As described above, the road shoulder detecting unit 7 detects the road shoulder on the right side of the road and outputs the detected road shoulder information to the control unit 9.
【００５６】路肩検出部８は、差異計算部６で求めた差
異画像Ｓ２から領域Ｘ2を探索して、道路左側（カメラ
１に近い側）の路肩を検出する。尚、路肩の検出には走
行レーンが交わる消失点Ｖ２の座標を必要とするので、
本装置では、制御部９が初期化動作の中で消失点Ｖ２の
座標を求める。The road shoulder detecting unit 8 searches the area X 2 from the difference image S2 obtained by the difference calculating unit 6 and detects the road shoulder on the left side of the road (the side closer to the camera 1). Incidentally, since the coordinates of the vanishing point V2 where the traveling lane intersects are required for detecting the road shoulder,
In this device, the control unit 9 obtains the coordinates of the vanishing point V2 during the initialization operation.
【００５７】路肩検出部８は、まず、図６（ｂ）に示す
ように画像中の消失点Ｖ２を通る画面下端に対する水平
線を求める。水平線と画像端の交点をそれぞれＨb1、Ｈ
b2とする。路肩検出部８は消失点Ｖ２と画像の端点Ｔm2
を通る直線に沿って差異画像Ｓ２を走査する。走査範囲
は端点Ｔm2が画像の端を通って反時計回りにＨb1からＨ
b2までである。路肩検出部８は直線Ｖ２Ｔm2を境界にし
て差異画像Ｓ２の画素値を比較して路肩を検出する。First, the road-shoulder detecting section 8 obtains a horizontal line with respect to the lower end of the screen passing through the vanishing point V2 in the image as shown in FIG. 6 (b). The intersections of the horizontal line and the image edge are Hb1 and H, respectively.
b2. The roadside detector 8 detects the vanishing point V2 and the end point Tm2 of the image.
The difference image S2 is scanned along a straight line passing through. In the scanning range, the end point Tm2 passes through the edge of the image and moves counterclockwise from Hb1 to H.
Up to b2. The road shoulder detector 8 detects the road shoulder by comparing the pixel values of the difference image S2 with the straight line V2Tm2 as a boundary.
【００５８】路肩検出部８で行う画素値の比較の具体的
方法を説明する。端点Ｔm2の前後所定距離（例えば5画
素）離れた場所に点Ｔn2、Ｔp2をとり、三角形Ｖ２Ｔm2
Ｔn2（領域Ｓn2）と三角形Ｖ２Ｔm2Ｔp2（領域Ｓp2）の
領域に着目する。路肩検出部８は領域Ｓn2、Ｓp2内の平
均輝度値ｍn2、ｍp2を求めて、平均輝度値と所定の閾値
Ｄ1、Ｄ2が数９の関係を満たすかを判定する。A specific method of pixel value comparison performed by the road shoulder detector 8 will be described. The points Tn2 and Tp2 are set at positions separated by a predetermined distance (for example, 5 pixels) before and after the end point Tm2 to form a triangle V2Tm2.
Focus on the areas of Tn2 (area Sn2) and triangle V2Tm2Tp2 (area Sp2). The roadside detection unit 8 obtains the average luminance values m n2 and m p2 in the areas Sn2 and Sp2, and determines whether the average luminance value and the predetermined threshold values D 1 and D 2 satisfy the relationship of Expression 9.
【００５９】[0059]
【数９】 [Equation 9]
【００６０】路肩検出部８は、平均輝度値が数９の関係
を満たした場合は、差異画像Ｓ２中の直線Ｖ２Ｔm2を路
肩候補とし、数１０で表される信頼度Ｒ2を計算して路
肩検出部８に内蔵されたメモリ（図示せず）に登録して
おく。When the average luminance value satisfies the relationship of Expression 9, the shoulder detection unit 8 uses the straight line V2Tm2 in the difference image S2 as a shoulder candidate and calculates the reliability R 2 represented by Expression 10 to calculate the reliability R 2. It is registered in a memory (not shown) built in the detection unit 8.
【００６１】[0061]
【数１０】 [Equation 10]
【００６２】路肩検出部８は数１０で計算した信頼度Ｒ
2が最小となる直線Ｖ２Ｔm2を道路左側の路肩として出
力する。The road shoulder detector 8 calculates the reliability R calculated by the equation 10.
The straight line V2Tm2 that minimizes 2 is output as the shoulder on the left side of the road.
【００６３】尚、路肩検出部８では数１０の式を路肩位
置を判定する信頼度として用いたが、領域Ｓn2、Ｓp2の
平均輝度ｍn2、ｍp2と、領域Ｓn2と領域Ｓp2を合わせた
領域の平均輝度ｍT2を用いて、数１１の関係式で定義し
た信頼度Ｒ2を用いても良い。Although the expression 10 is used as the reliability for judging the road shoulder position in the road shoulder detecting unit 8, the average brightness m n2 and m p2 of the regions Sn2 and Sp2, and the region obtained by combining the regions Sn2 and Sp2. The reliability R 2 defined by the relational expression of Expression 11 may be used by using the average luminance m T2 of
【００６４】[0064]
【数１１】 [Equation 11]
【００６５】ただし、数１１で定義した信頼度Ｒ2を用
いる場合は、信頼度Ｒ2が最大になる直線Ｖ２Ｔm2を道
路左側の路肩として出力する。However, when the reliability R 2 defined by the equation 11 is used, the straight line V2Tm2 that maximizes the reliability R 2 is output as the shoulder on the left side of the road.
【００６６】以上のようにして路肩検出部８は道路左側
の路肩を検出し、検出した路肩の情報を制御部９へ出力
する。As described above, the road shoulder detecting unit 8 detects the road shoulder on the left side of the road and outputs the detected road shoulder information to the control unit 9.
【００６７】制御部９は前述の通り、路肩検出部７、８
で検出した路肩の情報を画像情報に変換して、ＧＵＩ及
び画像蓄積部３、４から読み出したカメラ１、２で撮影
した画像上に合成し、これをユーザーインターフェース
であるＧＵＩと合成してＧＵＩを表示部１０に出力す
る。この他に、本装置の使用者からの操作を受け付けた
り、本装置起動時及び使用者からの要求による初期化動
作を行う。As described above, the control unit 9 controls the road shoulder detecting units 7 and 8.
The information on the road shoulder detected in step S4 is converted into image information, which is combined with the image captured by the cameras 1 and 2 read out from the GUI and the image storage units 3 and 4, and this is combined with the GUI that is the user interface to create the GUI. Is output to the display unit 10. In addition to this, an operation from the user of the apparatus is accepted, and an initialization operation is performed at the time of starting the apparatus and at the request of the user.
【００６８】以下、制御部９で行う初期化動作について
説明する。The initialization operation performed by the controller 9 will be described below.
【００６９】制御部９は初期化動作において、道路平面
拘束を用いて画像を変換するパラメータＨ1to2とＨ2to1
と、走行レーンの消失点を求める。In the initialization operation, the control unit 9 converts the parameters H 1to2 and H 2to1 for converting the image using the road plane constraint.
And find the vanishing point of the driving lane.
【００７０】制御部９はＧＵＩ上で本装置の使用者にポ
インティングデバイスで画像Ｉ１の道路面上の特徴点
（道路平面上に描かれた直線の交点やペイントの角点
等）をＮ個（４個以上）と指定したＮ個の点に対応する
画像Ｉ２上の点（対応点）と、画像Ｉ１、Ｉ２それぞれ
の走行レーンの消失点Ｖ２、Ｖ１を指定するように促
し、画像Ｉ１での道路面上の特徴点Ｎ個の座標と、それ
ぞれの特徴点について画像Ｉ２上での対応点Ｎ個の座標
と、消失点の座標Ｖ１とＶ２を得る。制御部９は消失点
の座標Ｖ１を路肩検出部７に、消失点の座標Ｖ２を路肩
検出部８にそれぞれ出力する。The control section 9 indicates to the user of this apparatus on the GUI, by using the pointing device, N characteristic points (such as intersections of straight lines drawn on the road plane and corner points of paint) of the image I1 ( 4 points or more) and points (corresponding points) on the image I2 corresponding to the N points designated as “4 points or more” and vanishing points V2 and V1 of the driving lanes of the images I1 and I2 are urged to be designated. The coordinates of N feature points on the road surface, the coordinates of N corresponding points on the image I2 for each feature point, and the coordinates V1 and V2 of the vanishing point are obtained. The control unit 9 outputs the coordinates V1 of the vanishing point to the road shoulder detecting unit 7, and outputs the coordinates V2 of the vanishing point to the road shoulder detecting unit 8, respectively.
【００７１】制御部９は、本装置の使用者が指定したＮ
組の点の座標値を、画像Ｉ１上の点を(u1,v1)として、
画像Ｉ２上の点を(u2,v2)として数３の関係式に代入し
て得られるＨについての２Ｎ本の連立方程式を解いて、
画像Ｉ１を道路平面拘束に従ってカメラ２からの見え方
に変換するためのパラメータＨ1to2を求める。制御部９
は、求めたＨ1to2を差異計算部５に出力する。The control unit 9 controls the N specified by the user of this apparatus.
The coordinate values of a pair of points are set as (u 1 , v 1 ) on the image I1,
Solving 2N simultaneous equations for H obtained by substituting the points on the image I2 as (u 2 , v 2 ) into the relational expression of Equation 3,
A parameter H 1to2 for converting the image I1 into the appearance of the camera 2 according to the road plane constraint is obtained. Control unit 9
Outputs the obtained H 1to2 to the difference calculation unit 5.
【００７２】同様にして、制御部９は、画像Ｉ２上の点
を(u1,v1)として、画像Ｉ１上の点を(u2,v2)として数３
の関係式に代入して得られるＨについての２Ｎ本の連立
方程式を解いて、画像Ｉ２を道路平面拘束に従ってカメ
ラ１からの見え方に変換するためのパラメータＨ2to1を
求める。制御部９は、求めたＨ2to1を差異計算部６に出
力する。Similarly, the control unit 9 sets the point on the image I2 as (u 1 , v 1 ) and the point on the image I 1 as (u 2 , v 2 ).
By solving the 2N simultaneous equations for H obtained by substituting into the relational expression of, the parameter H 2to1 for converting the image I2 into the appearance from the camera 1 according to the road plane constraint is obtained. The control unit 9 outputs the obtained H 2to1 to the difference calculation unit 6.
【００７３】以上のようにして、制御部９は初期化動作
を実施する際に路肩検出処理で必要となる各種のパラメ
ータを計算する。As described above, the control unit 9 calculates various parameters necessary for the road shoulder detection process when performing the initialization operation.
【００７４】本実施形態では差異計算部５、６で、輝度
値の絶対値差分を用いて差異画像Ｓ１、Ｓ２を求めてい
るが、これに限らず、フーリエ変換値等のテクスチャー
を示す尺度や各種の相関係数を用いても構わない。In the present embodiment, the difference calculation units 5 and 6 obtain the difference images S1 and S2 by using the absolute value difference of the brightness values, but the present invention is not limited to this, and a scale indicating a texture such as a Fourier transform value or Various correlation coefficients may be used.
【００７５】また、本実施形態では車両の進行方向に対
して左右の路肩を検出しているが、必ずしも両側の路肩
を検出する必要はない。例えば日本のように左側通行の
国であれば左側の路肩のみを本装置で検出して、走行車
線右側の境界は本発明以外の別の方法で白線を検出する
という使い方もある。このように恒常的に左側だけを検
出する場合は本実施形態の差異計算部５及び路肩検出部
７の構成を省いても良い。また、逆に右側だけを検出す
る場合は差異計算部６及び路肩検出部８の構成を省いて
も良い。In this embodiment, the left and right shoulders are detected with respect to the traveling direction of the vehicle, but it is not always necessary to detect the shoulders on both sides. For example, in the case of a left-handed country such as Japan, only the left shoulder is detected by this device, and the white line is detected at the boundary on the right side of the driving lane by a method other than the present invention. When only the left side is constantly detected in this way, the configurations of the difference calculation unit 5 and the road shoulder detection unit 7 of the present embodiment may be omitted. On the contrary, when only the right side is detected, the configurations of the difference calculation unit 6 and the road shoulder detection unit 8 may be omitted.
【００７６】以上、本実施形態の路肩検出装置によれ
ば、２台のカメラで撮影したステレオ画像から、車両が
走行する道路面と高さが異なる領域を抽出し、その領域
と道路面との境界線を求めているので、高さや距離を求
める装置に比べて少ない計算量で路肩を検出することが
できる。As described above, according to the road-shoulder detecting apparatus of the present embodiment, a region having a height different from that of the road surface on which the vehicle is traveling is extracted from the stereo images taken by the two cameras, and the area and the road surface are combined. Since the boundary line is obtained, it is possible to detect the road shoulder with a smaller amount of calculation as compared with a device that obtains height and distance.
【００７７】（第２の実施形態）以下、本発明の第２の
実施形態の路肩検出装置について説明する。本発明第２
の実施形態の路肩検出装置は、第１の実施形態の路肩検
出装置と大部分の構成は同じである。よって、構成の異
なる部分についてだけ説明する。(Second Embodiment) A road shoulder detecting device according to a second embodiment of the present invention will be described below. The present invention second
The road-shoulder detection device of the above embodiment has almost the same configuration as the road-shoulder detection device of the first embodiment. Therefore, only the different parts will be described.
【００７８】図２は本発明第２の実施形態の路肩検出装
置の路肩検出部７、８の構成を説明するブロック図であ
る。第１の実施形態と異なり、路肩検出部７は、逆投影
部１１と境界検出部１３を有し、路肩検出部８は、逆投
影部１２と境界検出部１４を有している。FIG. 2 is a block diagram for explaining the configuration of the road shoulder detecting units 7 and 8 of the road shoulder detecting apparatus according to the second embodiment of the present invention. Unlike the first embodiment, the road shoulder detection unit 7 has a back projection unit 11 and a boundary detection unit 13, and the road shoulder detection unit 8 has a back projection unit 12 and a boundary detection unit 14.
【００７９】路肩検出部７は差異計算部５から得られた
差異画像Ｓ１を車両が存在する道路面上に逆投影する逆
投影部１１へ入力して、逆投影部１１からの逆投影した
差異画像ＲＳ１から、道路面と高さが異なる領域を求
め、その境界線を道路の右側の路肩として検出する境界
検出部１３を用いて路肩を検出している。The road-shoulder detection unit 7 inputs the difference image S1 obtained from the difference calculation unit 5 to the back-projection unit 11 that back-projects it onto the road surface on which the vehicle exists, and the back-projected difference from the back-projection unit 11 is input. An area having a height different from that of the road surface is obtained from the image RS1 and the road shoulder is detected by using the boundary detection unit 13 that detects the boundary line as the right shoulder of the road.
【００８０】路肩検出部８は差異計算部６から得られた
差異画像Ｓ２を車両が存在する道路面上に逆投影する逆
投影部１２へ入力して、逆投影部１２からの逆投影した
差異画像ＲＳ２から、道路面と高さが異なる領域を求
め、その境界線を道路の右側の路肩として検出する境界
検出部１４を用いて路肩を検出している。The road-shoulder detection unit 8 inputs the difference image S2 obtained from the difference calculation unit 6 to the back-projection unit 12 which back-projects it onto the road surface on which the vehicle exists, and the back-projected difference from the back-projection unit 12 is input. An area having a height different from that of the road surface is obtained from the image RS2, and the road shoulder is detected using the boundary detection unit 14 that detects the boundary line as the right shoulder of the road.
【００８１】逆投影部１１は、差異計算部５で求めた差
異画像Ｓ１を数１２の式により、車両が存在する道路面
上に逆投影して逆投影差異画像ＲＳ１を生成する。図７
（ａ）に示すような態様をしている差異画像Ｓ１は、車
両が存在する道路面上に逆投影されると図７（ｂ）に示
すような逆投影差異画像ＲＳ１になる。逆投影部１１は
生成した逆投影差異画像ＲＳ１を境界検出部１３へ出力
する。The back-projection unit 11 back-projects the difference image S1 obtained by the difference calculation unit 5 onto the road surface on which the vehicle is present by the equation (12) to generate a back-projection difference image RS1. Figure 7
The difference image S1 having the form as shown in FIG. 7A becomes a backprojection difference image RS1 as shown in FIG. 7B when it is backprojected on the road surface on which the vehicle exists. The back projection unit 11 outputs the generated back projection difference image RS1 to the boundary detection unit 13.
【００８２】[0082]
【数１２】 [Equation 12]
【００８３】数１２において、(x,y)は図７（ａ）に示
すように差異画像Ｓ１中の点であり、座標系の原点は差
異画像Ｓ１の消失点位置である。また、(u,v)は図７
（ｂ）に示すように逆投影画像中の点であり、座標系の
原点は逆投影差異画像ＲＳ１の上部中央位置である。y
minは差異画像Ｓ１上において逆投影変換を行う下限ラ
インであり、Ｒx、Ｒyは逆投影差異画像ＲＳ１を適正な
画像サイズに収めるための縮小率である。ymin、Ｒx、
Ｒyは制御部９が初期化動作を行う時に、本装置の使用
者にそれぞれの値を設定するように促して設定される値
である。In Expression 12, (x, y) is a point in the difference image S1 as shown in FIG. 7A, and the origin of the coordinate system is the vanishing point position of the difference image S1. Also, (u, v) is shown in FIG.
As shown in (b), it is a point in the backprojection image, and the origin of the coordinate system is the upper center position of the backprojection difference image RS1. y
min is a lower limit line for performing back projection conversion on the difference image S1, and R x and R y are reduction ratios for fitting the back projection difference image RS1 in an appropriate image size. y min , R x ,
R y is a value set by prompting the user of the apparatus to set each value when the control unit 9 performs the initialization operation.
【００８４】逆投影画像では、ガードレール、壁面、生
垣、歩道の段差などの路肩部分が道路と路肩の境界位置
から外側に倒れこむ形で表現される。また、道路部分は
道路を真上から見下ろす形で表現されるので、逆投影前
の画像では消失点に向かって幅が狭くなっていく一定幅
の直線道路が、逆投影画像では一定幅の道路として表現
される。In the back projection image, road shoulder portions such as guardrails, wall surfaces, hedges, sidewalk steps, and the like are expressed so as to fall outward from the boundary position between roads and road shoulders. In addition, the road portion is represented by looking down the road from directly above, so a straight road with a constant width that narrows toward the vanishing point in the image before backprojection and a road with a constant width in the backprojection image. Is expressed as
【００８５】境界検出部１３は、逆投影画像ＲＳ１を走
査して道路と道路右側路肩との境界を検出する。境界検
出部１３は、逆投影画像ＲＳ１を図９（ｂ）に示すよう
に水平方向の領域Ｗi2(i=1〜n)に分割して、各領域Ｗi2
内を水平方向に走査する。境界検出部１３は図９（ｂ）
に示すように、走査地点Ｐ２を中心に、高さが領域Ｗ i2
と同じ高さで、予め設定しておいた固定幅ｄl2、ｄr2を
有する領域Ｑl2、Ｑr2を設定して、領域Ｑl2、Ｑr2内の
平均輝度値ｍQl2、ｍQr2をそれぞれ計算して、所定の閾
値ＤＤ1、ＤＤ2と数１３の関係を満たすかを判定する。The boundary detection unit 13 runs the back projection image RS1.
And detect the boundary between the road and the shoulder on the right side of the road. Boundary inspection
The output unit 13 displays the back projection image RS1 as shown in FIG.
In the horizontal area Wi2Each area W is divided into (i = 1 to n)i2
Scan the interior horizontally. The boundary detection unit 13 is shown in FIG.
As shown in, the height W is centered around the scanning point P2. i2
The same fixed height as the preset fixed width dl2, Dr2To
Area Ql2, Qr2Set area Ql2, Qr2Inside
Average brightness value mQl2, MQr2And calculate the predetermined threshold
Value DD1, DD2And whether the relationship of Expression 13 is satisfied.
【００８６】[0086]
【数１３】 [Equation 13]
【００８７】境界検出部１３は、平均輝度値が数１３の
関係を満たした場合は、逆投影画像ＲＳ１中の走査地点
Ｐ２を領域Ｗi2内の路肩境界線候補地点とし、数１４で
表される信頼度ＲＲP2を計算して境界検出部１３に内蔵
のメモリ（図示せず）に登録しておく。When the average luminance value satisfies the relationship of Expression 13, the boundary detection unit 13 sets the scanning point P2 in the back projection image RS1 as the shoulder boundary line candidate point in the area W i2 and is expressed by Expression 14. The reliability RR P2 is calculated and registered in a memory (not shown) built in the boundary detection unit 13.
【００８８】[0088]
【数１４】 [Equation 14]
【００８９】境界検出部１３は、各領域Ｗi2毎に、信頼
度ＲＲP2の値が最小となる走査地点Ｐ２を領域Ｗi2内に
存在する道路右側の路肩位置として、座標のu成分を走
査地点Ｐ２の水平位置、v成分を領域Ｗi2の高さ方向の
中点のv成分とする路肩位置代表点Ａi2を境界検出部１
３に内蔵のメモリ（図示せず）に順次記憶する。境界検
出部１３は、図１０（ｂ）に示すように順次記憶した路
肩位置代表点Ａi2を結んだ折れ線を道路右側の路肩情報
として制御部９へ出力する。The boundary detecting unit 13 scans the u component of the coordinate for each region W i2 , with the scanning point P2 having the minimum value of the reliability RR P2 as the shoulder position on the right side of the road existing in the region W i2 . The boundary detection unit 1 determines the horizontal position of the point P2 and the road shoulder position representative point A i2 having the v component as the v component of the middle point in the height direction of the region W i2.
The data is sequentially stored in a memory (not shown) built in 3. The boundary detection unit 13 outputs a polygonal line connecting the road shoulder position representative points A i2 sequentially stored as shown in FIG. 10B to the control unit 9 as road shoulder information on the right side of the road.
【００９０】尚、境界検出部１３では路肩位置を判定す
る信頼度として数１４の関係式を用いたが、領域Ｑl2と
Ｑr2を合わせた領域の平均輝度値ｍT2を求めて数１５の
関係式を信頼度として用いても良い。The boundary detection unit 13 uses the relational expression of Expression 14 as the reliability for determining the road shoulder position, but the average brightness value m T2 of the area where the areas Q l2 and Q r2 are combined is calculated to obtain Expression 15 The relational expression may be used as the reliability.
【００９１】[0091]
【数１５】 [Equation 15]
【００９２】数１５を信頼度ＲＲP2として用いた場合
は、信頼度ＲＲP2が最大となる走査地点Ｐ２を領域Ｗi2
の路肩位置とみなせばよい。[0092] In the case of using the number 15 as the reliability RR P2, reliability RR P2 is a region scanning point P2 with the maximum W i2
It can be regarded as the shoulder position of.
【００９３】逆投影部１２は、差異計算部５で求めた差
異画像Ｓ２を数１２の式により、車両が存在する道路面
上に逆投影して図８（ａ）に示すような逆投影差異画像
ＲＳ２を生成する。逆投影部１２は生成した逆投影差異
画像ＲＳ２を境界検出部１４へ出力する。The back-projection unit 12 back-projects the difference image S2 obtained by the difference calculation unit 5 on the road surface where the vehicle is present by the formula of Expression 12, and the back-projection difference as shown in FIG. 8 (a). The image RS2 is generated. The back projection unit 12 outputs the generated back projection difference image RS2 to the boundary detection unit 14.
【００９４】境界検出部１４は、逆投影画像ＲＳ２を走
査して道路と道路左側路肩との境界を検出する。境界検
出部１４は、逆投影画像ＲＳ２を図９（ａ）に示すよう
に水平方向の領域Ｗi1(i=1〜n)に分割して、各領域Ｗi1
内を水平方向に走査する。境界検出部１４は図９（ａ）
に示すように、走査地点Ｐ１を中心に、高さが領域Ｗ i1
と同じ高さで、予め設定しておいた固定幅ｄl1、ｄr1を
有する領域Ｑl1、Ｑr1を設定して、領域Ｑl1、Ｑr1内の
平均輝度値ｍQl1、ｍQr1をそれぞれ計算して、所定の閾
値ＤＤ1、ＤＤ2と数１６の関係を満たすかを判定する。The boundary detecting section 14 runs the backprojection image RS2.
And detect the boundary between the road and the shoulder on the left side of the road. Boundary inspection
The output unit 14 displays the back projection image RS2 as shown in FIG.
In the horizontal area Wi1Each area W is divided into (i = 1 to n)i1
Scan the interior horizontally. The boundary detection unit 14 is shown in FIG.
As shown in FIG. i1
The same fixed height as the preset fixed width dl1, Dr1To
Area Ql1, Qr1Set area Ql1, Qr1Inside
Average brightness value mQl1, MQr1And calculate the predetermined threshold
Value DD1, DD2And whether the relationship of Expression 16 is satisfied.
【００９５】[0095]
【数１６】 [Equation 16]
【００９６】境界検出部１４は、平均輝度値が数１６の
関係を満たした場合は、逆投影画像ＲＳ２中の走査地点
Ｐ１を領域Ｗi1内の路肩境界線候補地点とし、数１７で
表される信頼度ＲＲP1を計算して境界検出部１４に内蔵
のメモリ（図示せず）に登録しておく。When the average luminance value satisfies the relationship of Expression 16, the boundary detecting unit 14 sets the scanning point P1 in the back projection image RS2 as the shoulder boundary line candidate point in the area W i1 and expresses it as Expression 17. The reliability RR P1 is calculated and registered in a memory (not shown) built in the boundary detection unit 14.
【００９７】[0097]
【数１７】 [Equation 17]
【００９８】境界検出部１４は、各領域Ｗi1毎に、信頼
度ＲＲP1の値が最小となる走査地点Ｐ１を領域Ｗi1内に
存在する道路右側の路肩位置として、座標のu成分を走
査地点Ｐ１の水平位置、v成分を領域Ｗi1の高さ方向の
中点のv成分とする路肩位置代表点Ａi1を境界検出部１
４に内蔵のメモリ（図示せず）に順次記憶する。境界検
出部１４は、図１０（ａ）に示すように順次記憶した路
肩位置代表点Ａi1を結んだ折れ線を道路左側の路肩情報
として制御部９へ出力する。The boundary detecting unit 14 scans the u component of the coordinate for each region W i1 with the scanning point P1 having the minimum value of the reliability RR P1 as the shoulder position on the right side of the road existing in the region W i1 . The boundary position of the roadside position representative point A i1 having the horizontal position of the point P1 and the v component as the v component of the middle point in the height direction of the region W i1
The data is sequentially stored in a memory (not shown) built in 4. The boundary detection unit 14 outputs a polygonal line connecting the road shoulder position representative points A i1 sequentially stored as shown in FIG. 10A to the control unit 9 as road shoulder information on the left side of the road.
【００９９】尚、境界検出部１３では路肩位置を判定す
る信頼度として数１７の関係式を用いたが、領域Ｑl1と
Ｑr1を合わせた領域の平均輝度値ｍT1を求めて数１８の
関係式を信頼度として用いても良い。The boundary detection unit 13 uses the relational expression of Expression 17 as the reliability for determining the road shoulder position. However, the average luminance value m T1 of the combined area Q l1 and Q r1 is calculated to obtain Expression 18 The relational expression may be used as the reliability.
【０１００】[0100]
【数１８】 [Equation 18]
【０１０１】数１８を信頼度ＲＲP1として用いた場合
は、信頼度ＲＲP1が最大となる走査地点Ｐ１を領域Ｗi1
の路肩位置とみなせばよい。[0102] In the case of using the number 18 as the reliability RR P1, reliability RR P1 region scanning point P1 which is the maximum W i1
It can be regarded as the shoulder position of.
【０１０２】本実施形態においても第１の実施形態と同
様で、車両の進行方向に対して片側の路肩を検出すれば
よい場合は、検出を行わない側の差異計算部及び路肩検
出部の構成を省略しても構わない。Similar to the first embodiment, in this embodiment, when it is sufficient to detect the road shoulder on one side in the traveling direction of the vehicle, the configuration of the difference calculation unit and the road shoulder detection unit on the non-detection side May be omitted.
【０１０３】以上、本実施形態の路肩検出装置によれ
ば、第１の実施形態の路肩検出装置の利点に加えて、路
肩検出の際の画像の走査方向が画面に対して水平方向で
あるので、特にハードウエアで実装する場合に実装が容
易であるという利点がある。As described above, according to the road shoulder detecting apparatus of the present embodiment, in addition to the advantages of the road shoulder detecting apparatus of the first embodiment, the scanning direction of the image at the time of detecting the road shoulder is horizontal to the screen. Especially, there is an advantage that it is easy to implement when it is implemented by hardware.
【０１０４】（第３の実施形態）図１１は本発明の路肩
検出装置を用いた自動車の車両制御装置の構成を説明す
るブロック図である。(Third Embodiment) FIG. 11 is a block diagram for explaining the construction of a vehicle control device for an automobile using the road shoulder detection device of the present invention.
【０１０５】本実施形態の車両制御装置の路肩検出装置
部分の構成は、第１及び第２の実施形態で説明した路肩
検出装置とほぼ同等である。異なる点は、初期化動作を
行う制御部９と検出結果を表示するための表示部１０を
取り除いた点である。尚、路肩検出装置部分としては、
第１の実施形態の路肩検出装置を用いても、第２の実施
形態の路肩検出装置のいずれを用いても構わない。The structure of the road shoulder detecting device portion of the vehicle control device of this embodiment is almost the same as that of the road shoulder detecting device described in the first and second embodiments. The different point is that the control unit 9 for performing the initialization operation and the display unit 10 for displaying the detection result are removed. In addition, as the road shoulder detection device part,
Either the road shoulder detecting device according to the first embodiment or the road shoulder detecting device according to the second embodiment may be used.
【０１０６】出力部１５は路肩の検出結果を路肩検出装
置部分の外部に出力するためのインターフェースであ
る。The output unit 15 is an interface for outputting the road shoulder detection result to the outside of the road shoulder detecting device portion.
【０１０７】車両制御部１６は出力部１５から出力され
た路肩検出結果をもとに、本装置を設置した車両の走行
車線における位置を判断して、走行車線から外れてそう
な場合に運転者に注意を促したり、事故や衝突の危険が
ある場合にはステアリングやブレーキを操作して回避す
るための制御部分である。Based on the road shoulder detection result output from the output unit 15, the vehicle control unit 16 determines the position of the vehicle in which this device is installed in the traveling lane, and when it is likely that the vehicle deviates from the traveling lane, This is a control part for calling attention to the vehicle and for avoiding it by operating the steering and brake when there is a risk of accident or collision.
【０１０８】路肩検出装置部分での路肩検出処理に必要
なＨ1to2、Ｈ2to1、走行レーン消失点などの各種パラメ
ータは、予めパラメータ算出用装置（図示せず）を用い
て算出して、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒ
ｙ）に記憶させて工場出荷時に組み込んで与える。その
ため、第１、第２の実施形態のような初期化動作を行う
機能は不要となっている。Various parameters such as H 1to2 , H 2to1 , and traveling lane vanishing points necessary for the road shoulder detection processing in the road shoulder detection device portion are calculated in advance using a parameter calculation device (not shown), and stored in the ROM ( Read Only Memor
It is stored in y) and incorporated at the time of factory shipment. Therefore, the function of performing the initialization operation as in the first and second embodiments is unnecessary.
【０１０９】以上、本実施形態の車両制御装置ならば、
路肩を自動的に検出して路肩から外れそうになったとき
は注意を促し、場合によっては回避動作を自動的に行う
ことが可能なので、居眠り運転などによる事故を減らせ
る。As described above, with the vehicle control device of this embodiment,
When the road shoulder is automatically detected and it is about to come off the road shoulder, caution is required, and in some cases, avoidance action can be automatically performed, so that accidents due to drowsy driving can be reduced.
【０１１０】[0110]
【発明の効果】本発明によれば、２台のカメラで撮影し
たステレオ画像から車両が走行する道路面と高さが異な
る領域を抽出し、その領域と道路面との境界線を求める
ことで安定かつ計算量の少ない路肩検出装置及びその方
法を提供することができる。According to the present invention, an area having a height different from that of a road surface on which a vehicle travels is extracted from a stereo image taken by two cameras, and a boundary line between the area and the road surface is obtained. It is possible to provide a road shoulder detection device and a method thereof that are stable and have a small amount of calculation.
【図１】 本発明の第１、第２の実施形態の路肩検出装
置の構成を示すブロック図。FIG. 1 is a block diagram showing a configuration of a road shoulder detection device according to first and second embodiments of the present invention.
【図２】 本発明の第２の実施形態の路肩検出装置の路
肩検出部の構成を説明するブロック図。FIG. 2 is a block diagram illustrating a configuration of a road shoulder detection unit of a road shoulder detection device according to a second embodiment of the present invention.
【図３】 本発明の第１、第２の実施形態の路肩検出装
置におけるカメラの設置位置を示す図。FIG. 3 is a diagram showing installation positions of cameras in the road shoulder detection apparatus according to the first and second embodiments of the present invention.
【図４】 （ａ）カメラ１から得られる画像Ｉ１を説明
する図。（ｂ）カメラ２から得られる画像Ｉ２を説明す
る図。4A is a diagram illustrating an image I1 obtained from the camera 1. FIG. (B) The figure explaining the image I2 obtained from the camera 2.
【図５】 （ａ）差異画像Ｓ２を説明する図。（ｂ）差
異画像Ｓ１を説明する図。5A is a diagram illustrating a difference image S2. FIG. (B) The figure explaining difference image S1.
【図６】 （ａ）本発明の第１の実施形態の路肩検出装
置で差異画像Ｓ２から路肩を検出する方法を説明する
図。（ｂ）本発明の第１の実施形態の路肩検出装置で差
異画像Ｓ１から路肩を検出する方法を説明する図。FIG. 6A is a diagram illustrating a method of detecting a road shoulder from the difference image S2 by the road shoulder detection device according to the first embodiment of the present invention. (B) The figure explaining the method of detecting a road shoulder from difference image S1 by the road shoulder detection apparatus of the 1st Embodiment of this invention.
【図７】 （ａ）カメラで得られる画像を説明する図。
（ｂ）逆投影画像を説明する図。FIG. 7A is a diagram illustrating an image obtained by a camera.
(B) The figure explaining a back projection image.
【図８】 （ａ）差異画像Ｓ２の逆投影画像ＲＳ２を説
明する図。（ｂ）差異画像Ｓ１の逆投影画像ＲＳ１を説
明する図。FIG. 8A is a diagram illustrating a back projection image RS2 of a difference image S2. (B) The figure explaining back projection image RS1 of difference image S1.
【図９】 （ａ）本発明の第２の実施形態の路肩検出装
置で、逆投影画像ＲＳ２から路肩を検出する方法を説明
する図。（ｂ）本発明の第２の実施形態の路肩検出装置
で、逆投影画像ＲＳ１から路肩を検出する方法を説明す
る図。FIG. 9A is a diagram illustrating a method of detecting a road shoulder from a back projection image RS2 by the road shoulder detection device according to the second embodiment of the present invention. (B) The figure explaining the method of detecting the road shoulder from the back projection image RS1 with the road shoulder detecting device of the 2nd Embodiment of this invention.
【図１０】 （ａ）本発明の第２の実施形態の路肩検出
装置で検出されたカメラ１側の路肩を示す折れ線を説明
する（ｂ）本発明の第２の実施形態の路肩検出装置で検
出されたカメラ２側の路肩を示す折れ線を説明する図。FIG. 10 (a) illustrates a polygonal line indicating a road shoulder on the camera 1 side detected by the road shoulder detecting device according to the second embodiment of the present invention; and (b) a road shoulder detecting device according to the second embodiment of the present invention. The figure explaining the polygonal line which shows the detected shoulder of the camera 2 side.
【図１１】 本発明の第３の実施形態である、車両制御
装置の構成を説明する図。FIG. 11 is a diagram illustrating a configuration of a vehicle control device that is a third embodiment of the present invention.
１、２ カメラ ３、４ 画像蓄積部 ５、６ 差異計算部 ７、８ 路肩検出部 ９ 制御部 １０ 表示部 １１、１２ 逆投影部 １３、１４ 境界検出部 Ｖ１、Ｖ２ 消失点 Ｐ１、Ｐ２ 走査地点 One and two cameras 3, 4 image storage 5, 6 Difference calculator 7, 8 Road shoulder detector 9 control unit 10 Display 11, 12 Back projection unit 13, 14 Boundary detector V1, V2 vanishing point P1 and P2 scanning points
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｕ Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ａ ─────────────────────────────────────────────────── ─── Continued Front Page (51) Int.Cl. 7 Identification Code FI Theme Coat (Reference) G03B 15/00 G03B 15/00 U G06T 1/00 330 G06T 1/00 330A
Claims (16)
路の境界を検出する方法であって、前記車両の進行方向
の第１の側に設置した第１のカメラと第２の側に設置し
た第２のカメラを用いて同時に第１の画像と第２の画像
を取得する画像取得ステップと、前記第１の画像と前記
第２の画像をそれぞれメモリに蓄積する画像蓄積ステッ
プと、前記第２の画像の全画素が前記車両が走行する道
路面を撮影したものであると仮定して、前記第２の画像
を前記第１のカメラからの見え方に変換する対応関係を
用いて、前記第１の画像と前記第２の画像とをの差異を
計算して差異画像を生成する差異画像生成ステップと、
前記差異画像から進行方向第１の側の近傍に存在する立
体物で区切られた走行路の境界を検出する立体物検出ス
テップとを有する路肩検出方法。1. A method for detecting a boundary of a running path divided by a three-dimensional object from a running vehicle, wherein a first camera and a second side installed on a first side in a traveling direction of the vehicle. An image acquisition step of simultaneously acquiring the first image and the second image using the installed second camera; an image storage step of storing the first image and the second image in a memory respectively; Assuming that all the pixels of the second image are taken of the road surface on which the vehicle is traveling, the correspondence relationship for converting the second image into the appearance from the first camera is used, A difference image generating step of calculating a difference between the first image and the second image to generate a difference image;
And a three-dimensional object detection step of detecting a boundary of a traveling road, which is divided by a three-dimensional object existing in the vicinity of the first side in the traveling direction, from the difference image.
を前記車両が走行する道路面上に逆投影して逆投影画像
を生成する逆投影ステップと、前記逆投影画像から進行
方向の第１の側に存在する立体物で区切られた走行路の
境界を検出する境界検出ステップとを有する請求項１記
載の路肩検出方法。2. The three-dimensional object detection step includes a backprojection step of backprojecting the difference image onto a road surface on which the vehicle travels to generate a backprojection image, and a first direction in a traveling direction from the backprojection image. The road shoulder detection method according to claim 1, further comprising a boundary detection step of detecting a boundary of a traveling road that is divided by a three-dimensional object existing on the side of.
て左側であることを特徴とする請求項１乃至請求項２記
載の路肩検出方法。3. The road shoulder detecting method according to claim 1, wherein the first side is a left side in a traveling direction of the vehicle.
路の境界を検出する方法であって、前記車両の進行方向
の第１の側に設置した第１のカメラと第２の側に設置し
た第２のカメラを用いて同時に第１の画像と第２の画像
を取得する画像取得ステップと、前記第１の画像と前記
第２の画像をそれぞれメモリに蓄積する画像蓄積ステッ
プと、前記第２の画像の全画素が前記車両が走行する道
路面を撮影したものであると仮定して、前記第２の画像
を前記第１のカメラからの見え方に変換する対応関係を
用いて、前記第１の画像と前記第２の画像とをの差異を
計算して第１の差異画像を生成し、前記第１の画像の全
画素が前記車両が走行する道路面を撮影したものである
と仮定して、前記第１の画像を前記第２のカメラからの
見え方に変換する対応関係を用いて、前記第１の画像と
前記第２の画像とをの差異を計算して第２の差異画像を
生成する差異画像生成ステップと、前記第１の差異画像
から進行方向の第１の側に存在する立体物で区切られた
走行路の境界を検出し、前記第２の差異画像から進行方
向の第２の側に存在する立体物で区切られた走行路の境
界を検出する立体物検出ステップとを有する路肩検出方
法。4. A method for detecting a boundary of a traveling path divided by a three-dimensional object from a traveling vehicle, wherein the first camera and the second side are installed on a first side in a traveling direction of the vehicle. An image acquisition step of simultaneously acquiring the first image and the second image using the installed second camera; an image storage step of storing the first image and the second image in a memory respectively; Assuming that all the pixels of the second image are taken of the road surface on which the vehicle is traveling, the correspondence relationship for converting the second image into the appearance from the first camera is used, A difference between the first image and the second image is calculated to generate a first difference image, and all pixels of the first image are images of a road surface on which the vehicle travels. And transform the first image into what the second camera would see. A difference image generating step of generating a second difference image by calculating a difference between the first image and the second image using a correspondence relationship; and a difference in a traveling direction from the first difference image. The boundary of the traveling path divided by the three-dimensional object existing on the first side is detected, and the boundary of the traveling path divided by the three-dimensional object existing on the second side in the traveling direction is detected from the second difference image. A three-dimensional object detection step, comprising: a shoulder detection method.
は、輝度値の絶対値差分であることを特徴とする請求項
１乃至請求項４記載の路肩検出方法。5. The road shoulder detection method according to claim 1, wherein the difference calculated in the difference image generating step is an absolute difference in luminance value.
おける走行路の消失点を始点とする半直線を前記消失点
を中心に回転させながら、前記半直線を境界とする面積
の等しい２つの領域の中に含まれる画素値の合計を求
め、前記２つの領域の画素値の合計の絶対値差分が最大
になった時の前記半直線を走行路の境界とみなすことを
特徴とする請求項１乃至請求項５記載の路肩検出方法。6. In the three-dimensional object detecting step, while rotating a half line starting from a vanishing point of a road in a difference image around the vanishing point, two regions having the same area bounded by the half line are formed. 3. The sum of the pixel values included in each of the two areas is calculated, and the half line when the absolute value difference of the sum of the pixel values of the two areas is maximized is regarded as the boundary of the traveling path. To the road shoulder detection method according to claim 5.
異画像及び前記第２の差異画像を前記車両が走行する道
路面上に逆投影して第１の逆投影画像と第２の逆投影画
像を生成する逆投影ステップと、前記第１の逆投影画像
から進行方向の第１の側に存在する立体物で区切られた
走行路の境界を検出して、前記第２の逆投影画像から進
行方向の第２の側に存在する立体物で区切られた走行路
の境界を検出する境界検出ステップとを有する請求項４
乃至請求項６記載の路肩検出方法。7. The three-dimensional object detecting step comprises backprojecting the first difference image and the second difference image onto a road surface on which the vehicle travels to obtain a first backprojection image and a second backprojection image. A back-projection step of generating a projection image, and detecting a boundary of a traveling path separated by a three-dimensional object existing on the first side in the traveling direction from the first back-projection image to detect the second back-projection image. A boundary detection step of detecting a boundary of a traveling path that is divided by a three-dimensional object existing on the second side in the traveling direction.
To the road shoulder detection method according to claim 6.
区切られた走行路の境界を検出する装置であって、前記
車両の進行方向の第１の側に設置した第１のカメラ及び
第２の側に設置した第２のカメラと、前記第１、第２の
カメラで同時に撮影した第１、第２の画像を画面単位で
蓄積する第１、第２の画像蓄積部と、前記第２の画像の
全画素が前記車両が走行する道路面を撮影したものであ
ると仮定して、前記第２の画像を前記第１のカメラから
の見え方に変換する対応関係を用いて、前記第１の画像
と前記第２の画像との差異を計算して差異画像を生成す
る差異画像生成部と、前記差異画像から進行方向の第１
の側の近傍に存在する立体物で区切られた走行路の境界
を検出する立体物検出部とを有する路肩検出装置。8. A device which is installed in a vehicle traveling on a road and detects a boundary of a traveling path divided by a three-dimensional object, the first camera being installed on a first side in a traveling direction of the vehicle. A second camera installed on a second side, first and second image storage units for storing first and second images simultaneously captured by the first and second cameras in screen units, and Assuming that all the pixels of the second image are taken of the road surface on which the vehicle is traveling, the correspondence relationship for converting the second image into the appearance from the first camera is used, A difference image generation unit that calculates a difference between the first image and the second image to generate a difference image, and a first image in a traveling direction from the difference image.
Shoulder detection device having a three-dimensional object detection unit that detects a boundary of a traveling road that is separated by a three-dimensional object existing in the vicinity of the side.
道路面上に逆投影して逆投影画像を生成する逆投影部
と、前記逆投影画像から前記第１のカメラ側の立体物で
区切られた走行路の境界を検出する境界検出部とを有す
る請求項８乃至請求項８記載の路肩検出装置。9. The three-dimensional object detection unit includes a back projection unit that back-projects the difference image onto the road surface to generate a back-projection image; and a three-dimensional object on the first camera side from the back-projection image. 9. The road-shoulder detection device according to claim 8, further comprising a boundary detection unit that detects a boundary of the traveling road divided by.
て左側であることを特徴とする請求項８乃至請求項９記
載の路肩検出装置。10. The road shoulder detection device according to claim 8, wherein the first side is a left side in a traveling direction of the vehicle.
で区切られた走行路の境界を検出する装置であって、前
記車両の進行方向の第１の側に設置した第１のカメラ及
び第２の側に設置した第２のカメラと、前記第１、第２
のカメラで同時に撮影した第１、第２の画像を画面単位
で蓄積する第１、第２の画像蓄積部と、前記第２の画像
の全画素が前記車両が走行する道路面を撮影したもので
あると仮定して、前記第２の画像を前記第１のカメラか
らの見え方に変換する対応関係を用いて、前記第１の画
像と前記第２の画像との差異を計算して第１の差異画像
を生成し、前記第１の画像の全画素が前記車両が走行す
る道路面を撮影したものであると仮定して、前記第１の
画像を前記第２のカメラからの見え方に変換する対応関
係を用いて、前記第１の画像と前記第２の画像との差異
を計算して第２の差異画像を生成する差異画像生成部
と、前記第１の差異画像から進行方向の第１の側に存在
する立体物で区切られた走行路の境界を検出し、前記第
２の差異画像から進行方向の第２の側に存在する立体物
で区切られた走行路の境界を検出する立体物検出部とを
有する路肩検出装置。11. A device installed in a vehicle traveling on a road to detect a boundary of a traveling path divided by a three-dimensional object, the first camera being installed on a first side in a traveling direction of the vehicle. A second camera installed on the second side, and the first and second cameras
Of the first and second images that are simultaneously captured by the camera of the first and second images in screen units, and all pixels of the second image of the road surface on which the vehicle is traveling. , The difference between the first image and the second image is calculated using a correspondence relationship that transforms the second image into a view from the first camera. 1 difference image is generated, and assuming that all pixels of the first image are images of a road surface on which the vehicle travels, the first image is viewed from the second camera. A difference image generation unit that calculates a difference between the first image and the second image using a correspondence relationship to convert the first difference image to a second difference image; and a traveling direction from the first difference image. The boundary of the traveling road that is separated by the three-dimensional object existing on the first side of the Roadside detecting device having a three-dimensional object detection unit which detects a boundary of the traveling path, separated by a three-dimensional object present on the second side of the direction.
各画素の輝度値の絶対値差分であることを特徴とする請
求項８乃至請求項１１記載の路肩検出装置。12. The difference calculated by the difference image generator is
12. The road shoulder detection device according to claim 8, which is an absolute value difference of the brightness value of each pixel.
おける走行路の消失点を始点とする半直線を前記消失点
を中心に回転させながら、前記半直線を境界とする面積
の等しい２つの領域の中に含まれる画素値の合計を求
め、前記２つの領域の画素値の合計の絶対値差分が最大
になった時の前記半直線を走行路の境界とみなすことを
特徴とする請求項８乃至請求項１２記載の路肩検出装
置。13. In the road shoulder detecting step, a half line whose starting point is a vanishing point of a traveling road in a difference image is rotated about the vanishing point, and two areas having the same area bounded by the half line are formed. 9. The sum of the pixel values contained therein is calculated, and the half line when the absolute value difference of the sum of the pixel values of the two regions is maximized is regarded as the boundary of the traveling path. The road shoulder detection device according to claim 12.
像を前記道路面上に逆投影して第１の逆投影画像を生成
し、前記第２の差異画像を前記道路面上に逆投影して第
２の逆投影画像を生成する逆投影部と、前記第１の逆投
影画像から前記第１のカメラ側の立体物で区切られた走
行路の境界を検出し、前記第２の逆投影画像から前記第
２のカメラ側の立体物で区切られた走行路の境界を検出
する境界検出部とを有する請求項１１乃至請求項１３記
載の路肩検出装置。14. The three-dimensional object detection unit back-projects the first difference image onto the road surface to generate a first back-projection image, and outputs the second difference image onto the road surface. A backprojection unit that backprojects to generate a second backprojection image, and detects a boundary of a traveling path separated by the first camera-side three-dimensional object from the first backprojection image, 14. The road shoulder detection device according to claim 11, further comprising: a boundary detection unit that detects a boundary of a traveling road divided by the three-dimensional object on the side of the second camera from the back projection image.
を第１のカメラからの見え方に変換する対応関係から求
めた変換テーブルとを記憶する記憶部を具備することを
特徴とする請求項８乃至請求項１４記載の路肩検出装
置。15. The difference image generation unit includes a storage unit that stores a conversion table obtained from a correspondence relationship for converting the second image into a view as seen by the first camera. The road shoulder detection device according to claim 8.
を第２のカメラからの見え方に変換する対応関係から求
めた変換テーブルと、前記第２の画像を第１のカメラか
らの見え方に変換する対応関係から求めた変換テーブル
とを記憶していることを特徴とする請求項１１乃至請求
項１４記載の路肩検出装置。16. The difference image generation unit obtains a conversion table obtained from a correspondence relationship for converting the first image into a view from a second camera, and the second image from the first camera. 15. The road shoulder detection device according to claim 11, which stores a conversion table obtained from a correspondence relationship for converting the appearance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002031871A JP3897337B2 (en) | 2002-02-08 | 2002-02-08 | Road shoulder detection apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002031871A JP3897337B2 (en) | 2002-02-08 | 2002-02-08 | Road shoulder detection apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003233899A true JP2003233899A (en) | 2003-08-22 |
| JP3897337B2 JP3897337B2 (en) | 2007-03-22 |
Family
ID=27775152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002031871A Expired - Fee Related JP3897337B2 (en) | 2002-02-08 | 2002-02-08 | Road shoulder detection apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3897337B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010032523A1 (en) | 2008-09-17 | 2010-03-25 | 株式会社 日立製作所 | Device for detecting/judging road boundary |
| WO2011080943A1 (en) * | 2009-12-28 | 2011-07-07 | 日立オートモティブシステムズ株式会社 | Road-shoulder detecting device and vehicle using road-shoulder detecting device |
| EP2431917A1 (en) * | 2010-09-21 | 2012-03-21 | Mobileye Technologies Limited | Barrier and guardrail detection using a single camera |
| JP2012123495A (en) * | 2010-12-07 | 2012-06-28 | Hitachi Automotive Systems Ltd | Traveling environment recognition device |
| JP2013045227A (en) * | 2011-08-23 | 2013-03-04 | Ricoh Co Ltd | Vehicle driving support device, detecting method of shoulder of road on which vehicle travels, and vehicle driving support method based on the same |
| JP2014085331A (en) * | 2012-10-19 | 2014-05-12 | Hyundai Motor Company Co Ltd | Method and system for recognizing space of road shoulder |
| US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
| JP2019053685A (en) * | 2017-09-19 | 2019-04-04 | 株式会社Ｓｕｂａｒｕ | Image processing device |
| JP2020127217A (en) * | 2018-08-07 | 2020-08-20 | 住友建機株式会社 | Shovel |
| CN114202625A (en) * | 2021-12-10 | 2022-03-18 | 北京百度网讯科技有限公司 | Method and device for extracting road shoulder line and electronic equipment |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6936098B2 (en) * | 2017-09-29 | 2021-09-15 | トヨタ自動車株式会社 | Object estimation device |
-
2002
- 2002-02-08 JP JP2002031871A patent/JP3897337B2/en not_active Expired - Fee Related
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8411900B2 (en) | 2008-09-17 | 2013-04-02 | Hitachi Automotive Systems, Ltd. | Device for detecting/judging road boundary |
| WO2010032523A1 (en) | 2008-09-17 | 2010-03-25 | 株式会社 日立製作所 | Device for detecting/judging road boundary |
| WO2011080943A1 (en) * | 2009-12-28 | 2011-07-07 | 日立オートモティブシステムズ株式会社 | Road-shoulder detecting device and vehicle using road-shoulder detecting device |
| JP2011138244A (en) * | 2009-12-28 | 2011-07-14 | Hitachi Automotive Systems Ltd | Road-shoulder detecting device and vehicle using the same |
| US8873803B2 (en) | 2009-12-28 | 2014-10-28 | Hitachi Automotive Systems, Ltd. | Road-shoulder detecting device and vehicle using road-shoulder detecting device |
| US10078788B2 (en) | 2010-09-21 | 2018-09-18 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| EP3751457A1 (en) * | 2010-09-21 | 2020-12-16 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| US11170466B2 (en) | 2010-09-21 | 2021-11-09 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
| US11087148B2 (en) | 2010-09-21 | 2021-08-10 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| EP3301612A1 (en) * | 2010-09-21 | 2018-04-04 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
| EP2431917A1 (en) * | 2010-09-21 | 2012-03-21 | Mobileye Technologies Limited | Barrier and guardrail detection using a single camera |
| US10115027B2 (en) | 2010-09-21 | 2018-10-30 | Mibileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| US10685424B2 (en) | 2010-09-21 | 2020-06-16 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
| US10445595B2 (en) | 2010-09-21 | 2019-10-15 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| JP2012123495A (en) * | 2010-12-07 | 2012-06-28 | Hitachi Automotive Systems Ltd | Traveling environment recognition device |
| JP2013045227A (en) * | 2011-08-23 | 2013-03-04 | Ricoh Co Ltd | Vehicle driving support device, detecting method of shoulder of road on which vehicle travels, and vehicle driving support method based on the same |
| JP2014085331A (en) * | 2012-10-19 | 2014-05-12 | Hyundai Motor Company Co Ltd | Method and system for recognizing space of road shoulder |
| JP2019053685A (en) * | 2017-09-19 | 2019-04-04 | 株式会社Ｓｕｂａｒｕ | Image processing device |
| JP2020127217A (en) * | 2018-08-07 | 2020-08-20 | 住友建機株式会社 | Shovel |
| JP7296340B2 (en) | 2018-08-07 | 2023-06-22 | 住友建機株式会社 | Excavator |
| CN114202625A (en) * | 2021-12-10 | 2022-03-18 | 北京百度网讯科技有限公司 | Method and device for extracting road shoulder line and electronic equipment |
| CN114202625B (en) * | 2021-12-10 | 2023-03-14 | 北京百度网讯科技有限公司 | Method and device for extracting road shoulder line and electronic equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3897337B2 (en) | 2007-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4970516B2 (en) | Surrounding confirmation support device | |
| JP4871909B2 (en) | Object recognition apparatus and object recognition method | |
| EP0747870B1 (en) | An object observing method and device with two or more cameras | |
| US7317474B2 (en) | Obstacle detection apparatus and method | |
| US8041079B2 (en) | Apparatus and method for detecting obstacle through stereovision | |
| US20150294160A1 (en) | Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus | |
| US20160014406A1 (en) | Object detection apparatus, object detection method, object detection program, and device control system mountable to moveable apparatus | |
| EP2924653A1 (en) | Image processing apparatus and image processing method | |
| JP6442834B2 (en) | Road surface height shape estimation method and system | |
| KR20160123668A (en) | Device and method for recognition of obstacles and parking slots for unmanned autonomous parking | |
| US6205242B1 (en) | Image monitor apparatus and a method | |
| JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
| JP2002352225A (en) | Obstacle detector and its method | |
| JP2013109760A (en) | Target detection method and target detection system | |
| JP2020533667A (en) | In-vehicle camera attitude estimation methods, devices and systems, and electronic devices | |
| JP3897337B2 (en) | Road shoulder detection apparatus and method | |
| JP4344860B2 (en) | Road plan area and obstacle detection method using stereo image | |
| Fregin et al. | Three ways of using stereo vision for traffic light recognition | |
| JP2015148887A (en) | Image processing device, object recognition device, moving body instrument control system and object recognition program | |
| JP2008309519A (en) | Object detection device using image processing | |
| CN114120254A (en) | Road information identification method, device and storage medium | |
| JP2010055340A (en) | Travel path estimation device and program | |
| JP3254464B2 (en) | Vehicle recognition device and moving object recognition method | |
| JP4106163B2 (en) | Obstacle detection apparatus and method | |
| JPH07114699A (en) | Method and device for detecting body |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040225 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050414 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061218 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |