JP2008210084A - Road marking recognition device - Google Patents
Road marking recognition device Download PDFInfo
- Publication number
- JP2008210084A JP2008210084A JP2007045164A JP2007045164A JP2008210084A JP 2008210084 A JP2008210084 A JP 2008210084A JP 2007045164 A JP2007045164 A JP 2007045164A JP 2007045164 A JP2007045164 A JP 2007045164A JP 2008210084 A JP2008210084 A JP 2008210084A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- bird
- extraction target
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Road Signs Or Road Markings (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、道路面に描かれた道路標示を画像認識する道路標示認識装置に関する。 The present invention relates to a road marking recognition apparatus that recognizes an image of a road marking drawn on a road surface.
従来から、車載カメラで道路を撮影し、この撮影した画像から画像処理技術を用いて白線や横断歩道などの路面に描かれている道路標示を認識する様々な装置が提案されている。 2. Description of the Related Art Conventionally, various devices have been proposed in which a road is photographed with an in-vehicle camera, and a road marking drawn on a road surface such as a white line or a pedestrian crossing is recognized from the photographed image using an image processing technique.
このような装置として、前方路面を撮影した画像を水平方向に走査してエッジ位置を検出し、操作位置の近傍に設定され画像の所定範囲を囲むウィンドウ内の画像の対象性を評価して対象性の良いウィンドウ位置を求め、エッジ位置と対象性の良いウィンドウ位置とに基づき、路面に描かれている道路標示を認識するようにしたものがある(例えば、特許文献1参照)。
上記特許文献1に記載の装置は、横断歩道や横断歩道予告のような対象性を有する道路標示を認識することは可能であるが、例えば、制限速度等を表す非対称の道路標示を認識することができないといった問題がある。
The device described in
また、車載カメラを用いて路面に描かれている道路標示を静止画像として撮影し、この静止画像を用いて道路標示を画像認識しようとした場合、道路標示全体を含むような静止画像を撮影する必要がある。しかし、このように道路標示全体を含むように撮影した静止画像は、道路標示のサイズが小さくなってしまう。 In addition, when a road sign drawn on the road surface is photographed as a still image using an in-vehicle camera, and a still image is to be recognized using this still image, a still image including the entire road sign is photographed. There is a need. However, the still image taken so as to include the entire road marking in this way has a small road marking size.
また、このように車載カメラを用いて道路標示を撮影する場合、道路標示を斜め上方向から撮影することになるため、道路標示の車両に近い部分は大きく、道路標示の車両から離れた部分は小さく映し出される。特に、路面に描かれている道路標示は、車両が高速で走行していても運転者が容易に認識できるように道路の走行方向に沿って縦長の形状となっているため、図10に示すように、撮影画像における道路標示の車両から離れた部分が非常に小さくなってしまい、正確に道路標示を画像認識できない場合が生じるといった問題がある。 Also, when shooting road markings using an in-vehicle camera in this way, the road markings are shot diagonally upward, so the portion near the road marking vehicle is large and the portion away from the road marking vehicle is Small projection. In particular, the road markings drawn on the road surface have a vertically long shape along the road traveling direction so that the driver can easily recognize the vehicle even when traveling at a high speed. As described above, there is a problem in that the portion of the captured image that is away from the vehicle of the road marking becomes very small, and the road marking may not be recognized correctly.
本発明は上記問題に鑑みたもので、道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにすることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to make it possible to recognize a road marking more accurately regardless of the shape of the road marking.
本発明の第1の特徴は、車両に搭載され、該車両周辺の道路面を定期的に撮影した画像を送出する撮影手段と、撮像手段から送出される撮像画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する画像変換手段と、画像変換手段によって変換された鳥瞰画像の車両本体側の一部に抽出対象領域を特定する抽出対象領域特定手段と、記憶手段に記憶された複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成する合成画像生成手段と、合成画像生成手段によって生成された合成画像を対象として道路面に描かれた道路標示を画像認識する画像認識処理手段と、を備えたことである。 According to a first aspect of the present invention, there is provided an imaging unit that is mounted on a vehicle and that periodically transmits an image of a road surface around the vehicle, and a captured image that is transmitted from the imaging unit is displayed on the ground surface from the vertical direction. An image conversion unit that converts the bird's-eye view image representing the bird's-eye view that is looked down into the storage unit, and an extraction target region specifying unit that specifies an extraction target region in a part of the bird's-eye view image converted by the image conversion unit on the vehicle body side; Synthetic image generation means for generating a composite image obtained by extracting images of extraction target regions in time series from a plurality of bird's-eye images stored in the storage means and connecting them in the vertical direction; and a composite image generated by the composite image generation means Image recognition processing means for recognizing a road marking drawn on a road surface for an image.
このような構成では、鳥瞰画像の車両本体側の一部を抽出対象領域として、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して連結させた合成画像が生成される。すなわち、合成画像は、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結して生成される。そして、この合成画像を対象として道路面に描かれた道路標示の画像認識が実施されるので、道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにすることができる。 In such a configuration, a part of the bird's-eye view image on the vehicle main body side is used as an extraction target region, and a composite image is generated by extracting and connecting the images of the extraction target region in time series from a plurality of bird's-eye images. That is, the composite image is generated by connecting images in a region near the vehicle body with high accuracy among the bird's-eye images. And since the image recognition of the road marking drawn on the road surface for this composite image is performed, the road marking can be recognized more accurately regardless of the shape of the road marking.
また、本発明の第2の特徴は、抽出対象領域特定手段は、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定するとともに、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域を特定することである。 In addition, the second feature of the present invention is that the extraction target area specifying means sets a reference line in a horizontal direction at a position closest to the vehicle main body side of the bird's-eye view image, and a rectangle having the reference line as one side in the bird's-eye view image. Is to specify the extraction target area.
このような構成では、鳥瞰画像の車両本体側に最も近い位置に基準線が設定され、鳥瞰画像内にこの基準線を一辺とする矩形の抽出対象領域を特定されるので、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結させて合成画像を生成することができる。 In such a configuration, a reference line is set at a position closest to the vehicle main body side of the bird's-eye view image, and a rectangular extraction target region having this reference line as one side is specified in the bird's-eye view image. A composite image can be generated by connecting images in a region near a vehicle body having a high height.
また、本発明の第3の特徴は、抽出対象領域特定手段は、鳥瞰画像に車両自体の影が含まれるか否かを判定し、鳥瞰画像に車両自体の影が含まれない場合には、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定するとともに、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域を特定し、鳥瞰画像に車両自体の影が含まれる場合には、車両自体の影が抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定するとともに、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域を特定することである。 A third feature of the present invention is that the extraction target area specifying unit determines whether or not the bird's-eye image includes a shadow of the vehicle itself. A reference line is set in the horizontal direction at a position closest to the vehicle main body side of the bird's-eye view image, a rectangular extraction target region having the reference line as one side is specified in the bird's-eye view image, and the shadow of the vehicle itself is included in the bird's-eye view image In this case, the reference line is set in a horizontal direction at a position where the shadow of the vehicle itself is excluded from the extraction target area and closest to the vehicle body side of the bird's-eye view image, and the reference line is included in the bird's-eye view image. Is to specify a rectangular extraction target area having one side as.
鳥瞰画像に車両自体の影が含まれる場合、車両自体の影により道路標示を誤認識する可能性が高くなることが考えられるが、このような構成では、鳥瞰画像に車両自体の影が含まれることを判定した場合、車両自体の影が抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線が水平方向に設定され、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域が特定されるので、車両自体の影により道路標示を誤認識する可能性を低減することが可能である。 When the bird's-eye view image includes a shadow of the vehicle itself, the possibility of misrecognizing the road marking due to the shadow of the vehicle itself may increase. In such a configuration, the bird's-eye view image includes the shadow of the vehicle itself. If it is determined that the reference line is set in a horizontal direction at a position where the shadow of the vehicle itself is excluded from the extraction target area and closest to the vehicle body side of the bird's-eye view image, the reference line is set in the bird's-eye view image. Since a rectangular extraction target area having a line as one side is specified, it is possible to reduce the possibility of erroneously recognizing a road marking due to the shadow of the vehicle itself.
また、本発明の第4の特徴は、抽出対象領域特定手段が、画像変換手段によって変換された鳥瞰画像の車両側に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定することである。 Further, the fourth feature of the present invention is that the extraction target area specifying unit includes the low-luminance area on the vehicle side of the bird's-eye image converted by the image conversion unit. It is to determine whether or not a shadow is included.
このように、鳥瞰画像の車両側に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定することができる。 In this way, it is possible to determine whether or not the bird's-eye view image includes the shadow of the vehicle itself based on whether or not the low-luminance region is included on the vehicle side of the bird's-eye view image.
また、本発明の第5の特徴は、車両の方位が予め定められた方位量以上変化したか否かを判定する方位変化判定手段を備え、抽出対象領域特定手段は、方位変化判定手段によって車両の方位が予め定められた方位量以上変化したと判定された場合、抽出対象領域の特定を再実施することである。 Further, a fifth feature of the present invention is provided with azimuth change determining means for determining whether or not the azimuth of the vehicle has changed by a predetermined azimuth amount or more, and the extraction target area specifying means is provided by the azimuth change determining means. When it is determined that the azimuth direction has changed more than a predetermined azimuth amount, the extraction target area is specified again.
このような構成では、車両の方位が予め定められた方位量以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両の方位が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。 In such a configuration, when it is determined that the direction of the vehicle has changed by a predetermined amount or more, the extraction target area is reset to a position where the shadow of the vehicle itself is excluded from the extraction target area. Even if the direction of the vehicle changes and the shadow of the vehicle itself included in the bird's-eye view image changes, the road marking can be image-recognized without being affected by the shadow of the vehicle itself included in the bird's-eye view image.
また、本発明の第6の特徴は、車両へ照射される日射の有無が変化したか否かを判定する日射判定手段を備え、抽出対象領域特定手段は、日射判定手段によって車両へ照射される日射の有無が変化したと判定された場合、抽出対象領域の特定を再実施することである。 In addition, a sixth feature of the present invention is provided with solar radiation determining means for determining whether or not the presence or absence of solar radiation irradiated to the vehicle has changed, and the extraction target area specifying means is irradiated to the vehicle by the solar radiation determining means. When it is determined that the presence or absence of solar radiation has changed, the extraction target area is identified again.
このような構成では、車両へ照射される日射の有無が変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両へ照射される日射の有無が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。 In such a configuration, when it is determined that the presence or absence of solar radiation irradiated to the vehicle has changed, the extraction target region is reset to a position where the shadow of the vehicle itself is excluded from the extraction target region. Even if there is a change in the presence or absence of solar radiation and the shadow of the vehicle itself included in the bird's-eye view image, the road marking can be recognized without being affected by the shadow of the vehicle itself included in the bird's-eye view image. It is.
また、本発明の第7の特徴は、車両の傾きが予め定められた角度以上変化したか否かを判定する傾斜判定手段を備え、抽出対象領域特定手段は、傾斜判定手段によって車両の傾きが予め定められた角度以上変化したと判定された場合、抽出対象領域の特定を再実施することである。 Further, a seventh feature of the present invention is provided with an inclination determination unit that determines whether or not the inclination of the vehicle has changed by a predetermined angle or more, and the extraction target area specifying unit is configured such that the inclination of the vehicle is determined by the inclination determination unit. When it is determined that the angle has changed by a predetermined angle or more, the extraction target area is specified again.
このような構成では、車両の傾きが予め定められた角度以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、例えば、坂道に差し掛かり車両の傾きが変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。 In such a configuration, when it is determined that the inclination of the vehicle has changed by a predetermined angle or more, the extraction target region is reset to a position where the shadow of the vehicle itself is excluded from the extraction target region. For example, even when the inclination of the vehicle approaches a slope and the shadow of the vehicle itself included in the bird's-eye image changes, the road marking can be recognized without being affected by the shadow of the vehicle itself included in the bird's-eye image. Is possible.
また、本発明の第8の特徴は、撮影手段は、広角レンズを用いて車両周辺の道路面を撮影するもので、画像変換手段は、広角レンズにより生じる画像歪みを補正して、撮影手段から送出される撮影画像を鳥瞰画像に変換することである。 The eighth feature of the present invention is that the photographing means photographs a road surface around the vehicle using a wide-angle lens, and the image converting means corrects image distortion caused by the wide-angle lens and This is to convert the transmitted captured image into a bird's-eye view image.
このような構成では、広角レンズにより生じる画像歪みが補正されるので、道路標示の画像認識の認識率を向上することができる。 In such a configuration, the image distortion caused by the wide-angle lens is corrected, so that the recognition rate of the road sign image recognition can be improved.
また、本発明の第9の特徴は、車両の車速を検出する車速検出手段を備え、抽出対象領域特定手段は、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域が連続するように、車速検出手段によって検出された車速が高いほど抽出対象領域の高さを高くし、車速が低いほど抽出対象領域の高さを低くすることである。 In addition, a ninth feature of the present invention is provided with vehicle speed detection means for detecting the vehicle speed of the vehicle, and the extraction target area specifying means extracts images of the extraction target area in time series from a plurality of bird's-eye images, in the vertical direction. The higher the vehicle speed detected by the vehicle speed detection means, the higher the extraction target area height, and the lower the vehicle speed, the lower the extraction target area height, so that the road surface shooting areas are continuous when connected. That is.
このような構成では、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域が連続するように、車速が高いほど抽出対象領域の高さが高く、車速が低いほど抽出対象領域の高さが低くなるので、道路面の撮影領域が連続する合成画像を得ることが可能である。 In such a configuration, when the image of the extraction target area is extracted in time series from a plurality of bird's-eye images and connected in the vertical direction, the higher the vehicle speed, the higher the extraction target area. Since the height of the extraction target area is lower as the height is higher and the vehicle speed is lower, it is possible to obtain a composite image in which shooting areas on the road surface are continuous.
本発明の一実施形態に係る道路標示認識装置の構成を図1に示す。本道路標示認識装置1は、車載カメラ10、日射センサ11、ジャイロスコープ12、車速センサ13および画像処理装置14を備えている。
The configuration of a road marking recognition apparatus according to an embodiment of the present invention is shown in FIG. The road
車載カメラ10は、車両に搭載され、車両後方の道路面を定期的に撮影した画像を画像処理装置14へ送出する。なお、本実施形態における車載カメラ10は、車両後方を撮影するための所謂リアビューカメラとして構成されており、撮影画像は左右反転したものとなる。また、車載カメラ10のレンズには、視野範囲が広くなるように広角レンズが用いられている。このため、車載カメラ10によって撮影された撮影画像には丸みを帯びた歪みが生じる。
The in-
日射センサ11は、車両の室内へ照射される日射量を検出し、日射量に応じた信号を画像処理装置14へ出力する。
The
ジャイロスコープ12は、車両の方位変化量および車両の前後方向の傾斜変化量を検出し、方位変化量および傾斜変化量に応じた信号を画像処理装置14へ出力する。
The
車速センサ13は、車両の速度に応じた車速信号を画像処理装置14へ出力する。
The
画像処理装置14は、CPU14a、メモリ14b等を備えたコンピュータとして構成されている。
The
メモリ14bは、プログラムを記憶するためのROM、一時データを記憶するためのRAM、画像データを記憶するためのVRAMによって構成されている。なお、CPU14aはメモリ14bのROMに記憶されたプログラムに従って各種処理を実施する。
The
画像処理装置14の処理としては、車載カメラ10から送出される撮影画像から道路面に描かれた道路表示を画像認識する画像認識処理、日射センサ11から入力される信号に基づいて車両へ照射される日射の有無を判定する日射判定処理、ジャイロスコープ12から入力される信号に基づいて車両の方位が予め定められた方位量以上変化したか否かを判定する方位変化判定処理、ジャイロスコープ12から入力される信号に基づいて車両の前後方向の傾きが予め定められた角度以上変化したか否かを判定する傾斜判定処理、車速センサ13から入力される車速信号に基づいて車両の車速を検出する車速検出処理等がある。
As processing of the
次に、図2に従って、画像処理装置14による画像認識処理について説明する。本画像処理装置14は、イグニッションスイッチがオフの場合では低消費電力モードで作動し、イグニッションスイッチがオンすると起動状態となる。
Next, image recognition processing by the
まず、イグニッションスイッチがオンになったか否かを判定する。(S100)。 First, it is determined whether or not the ignition switch is turned on. (S100).
イグニッションスイッチがオフの場合、S100の判定を繰り返し、イグニッションスイッチがオンすると、起動状態となり、まず、影領域検出フラグを0に設定する(S102)。この影領域検出フラグは、メモリ14bのRAM領域に設けられている。
When the ignition switch is off, the determination in S100 is repeated. When the ignition switch is turned on, the activation state is set, and first, the shadow area detection flag is set to 0 (S102). This shadow area detection flag is provided in the RAM area of the
次に、原画像1フレーム分を読み出す(S104)。具体的には、車載カメラ10から送出される撮影画像の最新の原画像1フレーム分をメモリ14bのVRAMに記憶させる。
Next, one frame of the original image is read (S104). Specifically, one frame of the latest original image of the captured image sent from the in-
次に、原画像を歪み補正し、鳥瞰変換して鳥瞰画像を生成する(S106)。具体的には、原画像に対して、車載カメラ10の広角レンズにより生じる歪みを補正するための処理を実施した後、この歪み補正した画像を左右反転および上下反転させ、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する。ここで、歪み補正した画像を左右反転させるのは、車載カメラ10から左右反転して送出される撮影画像を元に戻すためである。また、歪み補正した画像を上下反転させるのは、車載カメラ10により上下反転して撮影される道路標示を本来の向きにするためである。
Next, distortion correction is performed on the original image and bird's-eye view conversion is performed to generate a bird's-eye view image (S106). Specifically, after performing a process for correcting distortion caused by the wide-angle lens of the in-
なお、車載カメラ10から送出される撮像画像を鳥瞰画像に変換する技術は、従来技術(例えば、特開平10−211849号)を利用することができる。また、車載カメラ10の広角レンズにより生じる歪みを補正するための処理についても周知技術である。
As a technique for converting a captured image transmitted from the in-
図3に、原画像と鳥瞰画像の例を示す。図中左側が原画像で右側が鳥瞰画像である。図中の道路標示は、時速50キロメートルの制限速度を示すものである。原画像の道路標示には、広角レンズにより生じる歪みが生じており、また、道路標示が上下左右に反転したものとなっている。また、鳥瞰画像の道路標示は、広角レンズにより生じる歪みが補正され、道路標示が本来の向きに修正されている。このように、車載カメラ10で撮影された原画像が、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換される。
FIG. 3 shows an example of an original image and a bird's-eye view image. In the figure, the left side is the original image and the right side is the bird's-eye view image. The road marking in the figure indicates a speed limit of 50 kilometers per hour. The road marking in the original image is distorted by the wide-angle lens, and the road marking is inverted vertically and horizontally. Further, the road marking of the bird's-eye view image is corrected for distortion caused by the wide-angle lens, and the road marking is corrected to the original direction. In this way, the original image captured by the in-
次に、影領域検出フラグが1か否かを判定する(S108)。ここで、影領域検出フラグは0となっているため、S108の判定はNOとなり、次に、原画像から影領域を検出し、影領域検出フラグを1に設定する(S110)。具体的には、鳥瞰画像に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定するとともに、鳥瞰画像に車両自体の影が含まれると判定した場合、鳥瞰画像に含まれる輝度の低い領域を影領域として検出し、影領域検出フラグを1に設定する。なお、鳥瞰画像に車両自体の影が含まれないと判定した場合にも、影領域検出フラグを1に設定する。 Next, it is determined whether or not the shadow area detection flag is 1 (S108). Here, since the shadow area detection flag is 0, the determination in S108 is NO. Next, the shadow area is detected from the original image, and the shadow area detection flag is set to 1 (S110). Specifically, it is determined whether or not the bird's-eye image includes a shadow of the vehicle itself based on whether or not the bird's-eye image includes a low-luminance region, and the bird's-eye image includes the shadow of the vehicle itself. When the determination is made, a low-luminance area included in the bird's-eye view image is detected as a shadow area, and the shadow area detection flag is set to 1. Note that the shadow region detection flag is also set to 1 when it is determined that the bird's-eye view image does not include the shadow of the vehicle itself.
図3に示した原画像と鳥瞰画像には、それぞれ車両B自体の影Sが含まれている。このように鳥瞰画像に車両B自体の影Sが含まれている場合、鳥瞰画像に含まれる輝度の低い領域が影領域として検出される。 The original image and the bird's-eye view image shown in FIG. 3 each include a shadow S of the vehicle B itself. Thus, when the shadow S of the vehicle B itself is included in the bird's-eye view image, a low-luminance region included in the bird's-eye view image is detected as a shadow region.
次に、鳥瞰画像の基準位置に水平方向の基準線を設定する(S112)。鳥瞰画像に車両自体の影が含まれない場合には、図4の左側に示すように、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定し、鳥瞰画像に車両自体の影が含まれる場合には、図4の右側に示すように、車両自体の影Sが抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定する。 Next, a horizontal reference line is set at the reference position of the bird's-eye view image (S112). If the shadow of the vehicle itself is not included in the bird's-eye view image, as shown on the left side of FIG. 4, a reference line is set in the horizontal direction at a position closest to the vehicle body side of the bird's-eye view image, and When a shadow is included, as shown on the right side of FIG. 4, the reference line is at a position where the shadow S of the vehicle itself is excluded from the extraction target region and closest to the vehicle main body side of the bird's-eye view image. Is set horizontally.
次に、鳥瞰画像内に矩形の抽出対象領域Eを特定し、メモリに記憶する(S114)。本実施形態では、車載カメラ10によって車両後方を撮影する構成となっているため、鳥瞰画像内に基準線を上辺とする矩形の抽出対象領域Eを特定する。また、車速センサ13から入力される車速信号に基づいて車速を検出し、図5に示すように、車速が高いほど抽出対象領域Eの高さHが高くなり、車速が低いほど抽出対象領域Eの高さHが低くなるように、車速に応じて抽出対象領域Eの高さHを変化させる。このように車速に応じて抽出対象領域Eの高さHを変化させるのは、次のS116にて、複数の鳥瞰画像から時系列に抽出対象領域Eの画像を抽出して垂直方向に連結させて合成画像を生成したときに道路面の撮影領域が連続するようにするためである。
Next, a rectangular extraction target area E is specified in the bird's-eye view image and stored in the memory (S114). In the present embodiment, since the rear of the vehicle is photographed by the in-
このようにして、鳥瞰画像の車両本体側の一部に、水平方向の基準線を一辺とする矩形の抽出対象領域が特定される。 In this way, a rectangular extraction target area having a horizontal reference line as one side is specified in a part of the bird's-eye view image on the vehicle body side.
なお、画像処理装置14は、図6に示すように、車載カメラ10から送出される撮影画像の全てのフレームに対し、広角レンズにより生じる歪みを補正するための処理を実施し、上下左右に反転した後、鳥瞰画像に変換し、逐一メモリ14bのVRAMに記憶する処理を実施するようになっている。メモリ14bのVRAMには、道路標示を画像認識するために必要なメモリ容量(例えば、鳥瞰画像数十画像分)のメモリ領域が割り当てられており、このメモリ領域に、複数の鳥瞰画像が上書き記憶されるようになっている。
As shown in FIG. 6, the
次のS116では、メモリ14bのVRAMに記憶された複数の鳥瞰画像から時系列に抽出対象領域Eの画像を抽出して垂直方向に連結させた合成画像を生成してVRAMの別領域に記憶する。具体的には、VRAMに記憶された複数の鳥瞰画像から時系列に抽出対象領域Eの画像を抽出し、抽出した画像を垂直方向に連結させた画像をVRAMの別領域に描画して合成画像を生成する。なお、車両が前進中の場合、先に抽出された画像の上側に、後で抽出された画像を連結させて合成画像を生成し、車両が後退中の場合、先に抽出された画像の下側に、後で抽出された画像を連結させて合成画像を生成する。
In the next S116, a composite image is generated by extracting images of the extraction target region E in time series from a plurality of bird's-eye images stored in the VRAM of the
図7に、車両が前進中の場合に、複数の鳥瞰画像から抽出した抽出対象領域Eの画像を連結させて合成画像を生成する様子を示す。車両自体の影Sが抽出対象領域Eから排除されるように、図中(a)…(b)…(c)の順に複数の鳥瞰画像から抽出対象領域Eの画像が抽出され、先に抽出された画像の上側に、後で抽出された画像を連結させて合成画像が生成される。 FIG. 7 shows a state in which a composite image is generated by connecting images of the extraction target region E extracted from a plurality of bird's-eye images when the vehicle is moving forward. In order to eliminate the shadow S of the vehicle itself from the extraction target region E, images of the extraction target region E are extracted from a plurality of bird's-eye images in the order of (a)... (B). An image extracted later is connected to the upper side of the generated image to generate a composite image.
なお、抽出対象領域Eに車両B自体の影Sを含む状態で複数の鳥瞰画像から抽出対象領域Eの画像を抽出した場合、図8示すように、合成画像に車両B自体の影Sが含まれ、道路標示の認識率が低下してしまうが、本実施形態では、車両自体の影Sが抽出対象領域Eから排除されるように、複数の鳥瞰画像から抽出対象領域Eの画像が抽出されるので、車両自体の影Sによる道路標示の認識率の低下を抑制することができる。 In addition, when the image of the extraction target area E is extracted from a plurality of bird's-eye images in a state where the extraction target area E includes the shadow S of the vehicle B itself, as shown in FIG. 8, the combined image includes the shadow S of the vehicle B itself. In this embodiment, the image of the extraction target region E is extracted from the plurality of bird's-eye images so that the shadow S of the vehicle itself is excluded from the extraction target region E. Therefore, it is possible to suppress a decrease in the recognition rate of the road marking due to the shadow S of the vehicle itself.
また、抽出対象領域Eの高さHを固定値とした場合、車両が停車してしまうと、図9に示すように、抽出対象領域Eとして道路標示の同じ領域が繰り返し抽出され、合成画像を生成したときに道路面の撮影領域が連続しなくなってしまうが、本実施形態では、車速に応じて抽出対象領域Eの高さHを変化させ、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域を連続させることができるようにしている。 If the height H of the extraction target area E is a fixed value and the vehicle stops, the same area of the road marking is repeatedly extracted as the extraction target area E as shown in FIG. In this embodiment, the height H of the extraction target region E is changed according to the vehicle speed, and the extraction target regions are extracted in time series from a plurality of bird's-eye images. When the images are extracted and connected in the vertical direction, the shooting area on the road surface can be made continuous.
次に、VRAMに記憶された合成画像を対象として道路面に描かれた道路標示を画像認識する(S118)。具体的には、合成画像と予め用意された道路標示用のテンプレートとを照合して道路標示を画像認識し、認識した結果を外部装置(図示せず)へ出力する。なお、外部装置は、この認識結果に応じて、例えば、制限速度を運転者に報知するようになっている。 Next, the road marking drawn on the road surface for the composite image stored in the VRAM is recognized (S118). Specifically, the road sign is recognized by collating the composite image with a road sign template prepared in advance, and the recognized result is output to an external device (not shown). The external device notifies the driver of the speed limit, for example, according to the recognition result.
次に、イグニッションスイッチがオフしたか否かを判定する(S120)。イグニッションスイッチがオンしたままの場合、S120の判定はNOとなり、以下に示す(1)〜(3)の条件を満たす場合に影領域検出フラグを0にする処理を実施する(S122)。 Next, it is determined whether or not the ignition switch is turned off (S120). If the ignition switch remains on, the determination in S120 is NO, and a process of setting the shadow area detection flag to 0 is performed when the following conditions (1) to (3) are satisfied (S122).
(1)車両の方位が予め定められた方位量以上変化したことを判定した場合
(2)車両へ照射される日射の有無が変化した場合
(3)車両の傾きが予め定められた角度以上変化した場合
(1)〜(3)の条件を1つでも満たす場合には、鳥瞰画像に含まれる車両自体の影が変化するため、抽出対象領域の特定を再実施するように影領域検出フラグを0に設定し、(1)〜(3)の条件を1つも満たさない場合には、影領域検出フラグの設定を1のままとし、S104へ戻る。
(1) When it is determined that the azimuth of the vehicle has changed by more than a predetermined amount of azimuth (2) When the presence or absence of solar radiation irradiated to the vehicle has changed (3) The inclination of the vehicle has changed by more than a predetermined angle In the case where one of the conditions (1) to (3) is satisfied, the shadow of the vehicle itself included in the bird's-eye view image changes, so the shadow region detection flag is set so that the extraction target region is specified again. If it is set to 0 and none of the conditions (1) to (3) is satisfied, the shadow area detection flag is set to 1 and the process returns to S104.
したがって、(1)〜(3)の条件が1つでも満たされ、影領域検出フラグが0に設定された場合、S108の判定はNOとなり、S110、S112、S114にて抽出対象領域の特定が再実施され、S116、S118の処理が実施される。また、(1)〜(3)の条件が1つも満たされない場合、影領域検出フラグの設定は1のままで、S108の判定はYESとなり、抽出対象領域は変更されることなく、S116、S118の処理が実施される。すなわち、(1)〜(3)の条件が1つでも満たされた場合にのみ、抽出対象領域の特定が再実施されるため、画像処理装置14の処理負荷を低減することが可能である。
Therefore, when at least one of the conditions (1) to (3) is satisfied and the shadow area detection flag is set to 0, the determination in S108 is NO, and the extraction target area is specified in S110, S112, and S114. The processing of S116 and S118 is performed again. If none of the conditions (1) to (3) is satisfied, the setting of the shadow area detection flag remains 1 and the determination in S108 is YES, and the extraction target area is not changed, and S116 and S118. The process is implemented. That is, the extraction target area is specified again only when at least one of the conditions (1) to (3) is satisfied, so that the processing load on the
上記した構成によれば、鳥瞰画像の車両本体側の一部を抽出対象領域として、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して連結させた合成画像が生成される。すなわち、合成画像は、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結して生成される。そして、この合成画像を対象として道路面に描かれた道路標示の画像認識が実施されるので、道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにすることができる。 According to the configuration described above, a composite image is generated in which a part of the bird's-eye image on the vehicle main body side is used as the extraction target region, and the images of the extraction target region are extracted and connected in time series from the plurality of bird's-eye images. That is, the composite image is generated by connecting images in a region near the vehicle body with high accuracy among the bird's-eye images. And since the image recognition of the road marking drawn on the road surface for this composite image is performed, the road marking can be recognized more accurately regardless of the shape of the road marking.
また、車両後方を車載カメラで撮影する場合、このように鳥瞰画像の車両本体に近い領域を抽出して合成画像を生成することにより、道路標示をより早期に認識することが可能である。 In addition, when the rear side of the vehicle is photographed by the in-vehicle camera, it is possible to recognize the road marking earlier by extracting a region close to the vehicle body of the bird's-eye view image and generating a composite image.
また、鳥瞰画像の車両本体側に最も近い位置に基準線が設定され、鳥瞰画像内にこの基準線を一辺とする矩形の抽出対象領域を特定されるので、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結させて合成画像を生成することができる。 In addition, since a reference line is set at a position closest to the vehicle main body side of the bird's-eye view image and a rectangular extraction target area having this reference line as one side is specified in the bird's-eye view image, the vehicle body having high accuracy among the bird's-eye images Can be combined to generate a composite image.
また、鳥瞰画像に車両自体の影が含まれる場合、車両自体の影により道路標示を誤認識する可能性が高くなることが考えられるが、このような構成では、鳥瞰画像に車両自体の影が含まれることを判定した場合、車両自体の影が抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線が水平方向に設定され、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域が特定されるので、車両自体の影により道路標示を誤認識する可能性を低減することが可能である。 In addition, when the bird's-eye image includes a shadow of the vehicle itself, there is a high possibility that the road marking is erroneously recognized due to the shadow of the vehicle itself. In such a configuration, the shadow of the vehicle itself is included in the bird's-eye image. When it is determined that the image is included, the reference line is set in the horizontal direction at a position where the shadow of the vehicle itself is excluded from the extraction target area and closest to the vehicle main body side of the bird's-eye view image. Since a rectangular extraction target region having a reference line as one side is specified, it is possible to reduce the possibility of erroneously recognizing a road marking due to the shadow of the vehicle itself.
なお、鳥瞰画像の車両側に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定することができる。 Note that it is possible to determine whether or not the bird's-eye view image includes the shadow of the vehicle itself based on whether or not the low-luminance region is included on the vehicle side of the bird's-eye view image.
また、車両の方位が予め定められた方位量以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両の方位が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。 In addition, when it is determined that the vehicle orientation has changed by a predetermined amount or more, the extraction target area is reset to a position where the shadow of the vehicle itself is excluded from the extraction target area. Even when the shadow changes and the shadow of the vehicle itself included in the bird's-eye view image changes, the road marking can be image-recognized without being affected by the shadow of the vehicle itself included in the bird's-eye view image.
また、車両へ照射される日射の有無が変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両へ照射される日射の有無が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。 In addition, when it is determined that the presence or absence of solar radiation applied to the vehicle has changed, the extraction target region is reset to a position where the shadow of the vehicle itself is excluded from the extraction target region, so that the vehicle is irradiated. Even if the presence or absence of solar radiation changes and the shadow of the vehicle itself included in the bird's-eye view image changes, it is possible to recognize the road marking without being affected by the shadow of the vehicle itself included in the bird's-eye view image.
また、車両の傾きが予め定められた角度以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、例えば、坂道に差し掛かり車両の傾きが変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。 In addition, when it is determined that the inclination of the vehicle has changed by a predetermined angle or more, the extraction target area is reset to a position where the shadow of the vehicle itself is excluded from the extraction target area. Even if the inclination of the vehicle changes and the shadow of the vehicle itself included in the bird's-eye view image changes, the road marking can be recognized without being affected by the shadow of the vehicle itself included in the bird's-eye view image.
また、撮影画像を鳥瞰画像に変換する際に、広角レンズにより生じる画像歪みが補正されるので、道路標示の画像認識の認識率を向上することができる。 In addition, since the image distortion caused by the wide-angle lens is corrected when the captured image is converted into the bird's-eye view image, the recognition rate of the image recognition of the road marking can be improved.
また、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域が連続するように、車速が高いほど抽出対象領域の高さが高く、車速が低いほど抽出対象領域の高さが低くなるので、道路面の撮影領域が連続する合成画像を得ることが可能である。 In addition, the higher the vehicle speed, the higher the height of the extraction target area so that when the images of the extraction target area are extracted in time series from a plurality of bird's-eye images and connected in the vertical direction, the shooting area of the road surface is continuous. As the vehicle speed is lower, the height of the extraction target area is lower, so that it is possible to obtain a composite image in which shooting areas on the road surface are continuous.
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。 In addition, this invention is not limited to the said embodiment, Based on the meaning of this invention, it can implement with a various form.
例えば、上記実施形態では、道路標示認識装置によって道路標示を認識し、認識した結果を外部装置へ出力する例を示したが、例えば、ナビゲーション装置に道路標示認識装置を内蔵し、道路標示認識装置の認識結果を利用して走行案内を行うようにしてもよい。例えば、一時停止線を表す道路標示を認識した場合に、一時停止線が存在することを報知したり、直進すべき交差点の手前で右折レーンであることを示す道路標示を認識した場合に、直進レーンを走行するように案内したりすることができる。 For example, in the above-described embodiment, an example in which a road marking recognition device recognizes a road marking and outputs the recognized result to an external device has been described. For example, the navigation device includes a road marking recognition device, and the road marking recognition device The travel guidance may be performed using the recognition result. For example, when a road sign indicating a temporary stop line is recognized, if a road sign indicating that there is a temporary stop line or a right turn lane is recognized before an intersection to go straight ahead, You can be guided to run on the lane.
また、上記実施形態では、広角レンズを用いた車載カメラを車両に搭載した構成例を示したが、広角レンズではなく通常のレンズを用いた車載カメラを車両に搭載した構成としてもよい。このような構成では、S106にて実施したような広角レンズによる画像歪みの補正を実施することなく、車載カメラから送出される撮影画像を鳥瞰画像に変換することができる。 In the above-described embodiment, the configuration example in which the vehicle-mounted camera using the wide-angle lens is mounted on the vehicle is shown. However, the vehicle-mounted camera using a normal lens instead of the wide-angle lens may be mounted on the vehicle. In such a configuration, the captured image sent from the in-vehicle camera can be converted into a bird's-eye view image without correcting the image distortion by the wide-angle lens as performed in S106.
また、上記実施形態では、車両の後方を撮影する車載カメラを搭載した例を示したが、車両の前方を撮影する車載カメラを搭載した構成としてもよい。なお、上記実施形態では、撮影画像を鳥瞰画像に変換する際に、車載カメラで撮影された画像の上下左右を反転させるようにしたが、車両の前方を車載カメラで撮影した画像は道路標示の上下左右を反転させる必要はない。 Moreover, although the example which mounted the vehicle-mounted camera which image | photographs the back of a vehicle was shown in the said embodiment, it is good also as a structure mounted with the vehicle-mounted camera which image | photographs the front of a vehicle. In the above embodiment, when the captured image is converted into the bird's-eye view image, the image captured by the in-vehicle camera is inverted upside down, but the image captured in front of the vehicle by the in-vehicle camera is a road marking. There is no need to flip the top, bottom, left and right.
また、上記実施形態では、車載カメラ10によって車両後方を撮影する構成となっているため、鳥瞰画像内に基準線を上辺とする矩形の抽出対象領域Eを特定する例を示したが、車両の前方を車載カメラで撮影する構成とした場合、鳥瞰画像内に基準線を下辺とする矩形の抽出対象領域Eを特定すればよい。
Moreover, in the said embodiment, since it was the structure which image | photographs the vehicle back by the vehicle-mounted
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、車載カメラ10が撮影手段に相当し、S106および車載カメラ10から送出される撮影画像に対して鳥瞰画像に変換し、逐一メモリ14bに記憶する処理が画像変換手段に相当し、S112、S114が抽出対象領域特定手段に相当し、S116が合成画像生成手段に相当し、S118が画像認識処理手段に相当し、ジャイロスコープ12から入力される信号に基づいて車両の方位が予め定められた方位量以上変化したか否かを判定する処理が方位変化判定手段に相当し、日射センサ11から入力される信号に基づいて車両へ照射される日射の有無を判定する処理が日射判定手段に相当し、ジャイロスコープ12から入力される信号に基づいて車両の前後方向の傾きが予め定められた角度以上変化したか否かを判定する処理が傾斜判定手段に相当し、車速センサ13から入力される車速信号に基づいて車両の車速を検出する処理が車速検出手段に相当する。
The correspondence relationship between the configuration of the above embodiment and the configuration of the claims will be described. The in-
1…道路標示認識装置、10…車載カメラ、11…日射センサ、
12…ジャイロスコープ、13…車速センサ、14…画像処理装置。
DESCRIPTION OF
DESCRIPTION OF
Claims (9)
前記撮像手段から送出される撮像画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する画像変換手段と、
前記画像変換手段によって変換された前記鳥瞰画像の前記車両本体側の一部に抽出対象領域を特定する抽出対象領域特定手段と、
前記記憶手段に記憶された前記複数の鳥瞰画像から時系列に前記抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成する合成画像生成手段と、
前記合成画像生成手段によって生成された前記合成画像を対象として道路面に描かれた道路標示を画像認識する画像認識処理手段と、を備えたことを特徴とする道路標示認識装置。 An imaging means that is mounted on a vehicle and sends out an image obtained by periodically imaging the road surface around the vehicle;
An image conversion means for converting the captured image sent from the imaging means into a bird's-eye image representing a bird's-eye view looking down on the ground surface from the vertical direction and storing the image in the storage means;
Extraction target area specifying means for specifying an extraction target area in a part on the vehicle body side of the bird's-eye view image converted by the image conversion means;
Synthetic image generation means for generating a composite image obtained by extracting images of the extraction target region in time series from the plurality of bird's-eye images stored in the storage means and connecting them in the vertical direction;
A road sign recognition device, comprising: an image recognition processing means for recognizing a road sign drawn on a road surface for the composite image generated by the composite image generation means.
前記抽出対象領域特定手段は、前記方位変化判定手段によって前記車両の方位が予め定められた方位量以上変化したと判定された場合、前記抽出対象領域の特定を再実施することを特徴とする請求項3または4に記載の道路標示認識装置。 Comprising an azimuth change determining means for determining whether the azimuth of the vehicle has changed by a predetermined amount or more;
The extraction target area specifying means re-executes specification of the extraction target area when it is determined by the azimuth change determining means that the azimuth of the vehicle has changed by a predetermined azimuth amount or more. Item 5. A road marking recognition device according to item 3 or 4.
前記抽出対象領域特定手段は、前記日射判定手段によって前記車両へ照射される日射の有無が変化したと判定された場合、前記抽出対象領域の特定を再実施することを特徴とする請求項3ないし5のいずれか1つに記載の道路標示認識装置。 Comprising solar radiation determination means for determining whether or not the presence or absence of solar radiation irradiated to the vehicle has changed,
The extraction target area specifying means re-specifies the extraction target area when it is determined by the solar radiation determining means that the presence or absence of the solar radiation irradiated to the vehicle has changed. 5. The road marking recognition apparatus according to any one of 5 above.
前記抽出対象領域特定手段は、前記傾斜判定手段によって前記車両の傾きが予め定められた角度以上変化したと判定された場合、前記抽出対象領域の特定を再実施することを特徴とする請求項3ないし6のいずれか1つに記載の道路標示認識装置。 Inclination determining means for determining whether or not the inclination of the vehicle has changed by a predetermined angle or more,
The extraction target area specifying unit re-specifies the extraction target area when the inclination determination unit determines that the inclination of the vehicle has changed by a predetermined angle or more. The road marking recognition apparatus according to any one of 6 to 6.
前記画像変換手段は、前記広角レンズにより生じる画像歪みを補正して、前記撮影手段から送出される撮影画像を前記鳥瞰画像に変換することを特徴とする請求項1ないし7のいずれか1つに記載の道路標示認識装置。 The photographing means photographs a road surface around the vehicle using a wide-angle lens,
8. The image conversion unit according to claim 1, wherein the image conversion unit corrects image distortion caused by the wide-angle lens and converts the captured image sent from the imaging unit into the bird's-eye view image. 9. The road marking recognition device described.
前記抽出対象領域特定手段は、前記複数の鳥瞰画像から時系列に前記抽出対象領域の画像を抽出して垂直方向に連結させたときに前記道路面の撮影領域が連続するように、前記車速検出手段によって検出された車速が高いほど前記抽出対象領域の高さを高くし、車速が低いほど前記抽出対象領域の高さを低くすることを特徴とする請求項1ないし8のいずれか1つに記載の道路標示認識装置。 Vehicle speed detecting means for detecting the vehicle speed of the vehicle,
The extraction target area specifying unit is configured to detect the vehicle speed so that when the images of the extraction target area are extracted in time series from the plurality of bird's-eye images and connected in the vertical direction, the shooting areas of the road surface are continuous. The height of the extraction target area is increased as the vehicle speed detected by the means is higher, and the height of the extraction target area is decreased as the vehicle speed is lower. The road marking recognition device described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007045164A JP4770755B2 (en) | 2007-02-26 | 2007-02-26 | Road sign recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007045164A JP4770755B2 (en) | 2007-02-26 | 2007-02-26 | Road sign recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008210084A true JP2008210084A (en) | 2008-09-11 |
JP4770755B2 JP4770755B2 (en) | 2011-09-14 |
Family
ID=39786342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007045164A Expired - Fee Related JP4770755B2 (en) | 2007-02-26 | 2007-02-26 | Road sign recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4770755B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5206687B2 (en) * | 2007-10-30 | 2013-06-12 | 日本電気株式会社 | Road marking image processing apparatus, road marking image processing method and program |
DE102013203868A1 (en) | 2012-03-07 | 2013-09-12 | Denso Corporation | VEHICLE MONITORING DEVICE ENVIRONMENT |
JP2013246493A (en) * | 2012-05-23 | 2013-12-09 | Denso Corp | Vehicle circumference image display controller and vehicle circumference image display control program |
JP2014074275A (en) * | 2012-10-03 | 2014-04-24 | Sumiden Opcom Ltd | Marking tool for road |
WO2017164245A1 (en) * | 2016-03-22 | 2017-09-28 | 株式会社デンソー | Image processing apparatus, image processing method, and program |
JP6243079B1 (en) * | 2016-09-16 | 2017-12-06 | シーメンス エス.ア.エス.Siemens S.A.S. | Driving support system and driving support method for vehicle |
CN115472026A (en) * | 2021-06-10 | 2022-12-13 | 湖南九九智能环保股份有限公司 | Method and system for commanding vehicle to run by intelligent fluorescent landmark in material shed |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155839A (en) * | 1998-11-18 | 2000-06-06 | Nippon Telegr & Teleph Corp <Ntt> | Marked area image extraction method, device therefor and recoding medium recorded with marked area image extracting program |
JP2002127852A (en) * | 2000-10-27 | 2002-05-09 | Aisin Seiki Co Ltd | Vehicle peripheral area display device |
JP2003123197A (en) * | 2001-10-16 | 2003-04-25 | Alpine Electronics Inc | Recognition device for road mark or the like |
JP2004145852A (en) * | 2002-08-27 | 2004-05-20 | Clarion Co Ltd | Method for detecting position of lane marker, apparatus for detecting position of lane marker and alarm apparatus for lane deviation |
JP2006252269A (en) * | 2005-03-11 | 2006-09-21 | Aisin Seiki Co Ltd | Wide area image generator, vehicle periphery monitoring device and wide area image generation method |
JP2007047886A (en) * | 2005-08-05 | 2007-02-22 | Aisin Aw Co Ltd | Road surface mark recognition system |
-
2007
- 2007-02-26 JP JP2007045164A patent/JP4770755B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155839A (en) * | 1998-11-18 | 2000-06-06 | Nippon Telegr & Teleph Corp <Ntt> | Marked area image extraction method, device therefor and recoding medium recorded with marked area image extracting program |
JP2002127852A (en) * | 2000-10-27 | 2002-05-09 | Aisin Seiki Co Ltd | Vehicle peripheral area display device |
JP2003123197A (en) * | 2001-10-16 | 2003-04-25 | Alpine Electronics Inc | Recognition device for road mark or the like |
JP2004145852A (en) * | 2002-08-27 | 2004-05-20 | Clarion Co Ltd | Method for detecting position of lane marker, apparatus for detecting position of lane marker and alarm apparatus for lane deviation |
JP2006252269A (en) * | 2005-03-11 | 2006-09-21 | Aisin Seiki Co Ltd | Wide area image generator, vehicle periphery monitoring device and wide area image generation method |
JP2007047886A (en) * | 2005-08-05 | 2007-02-22 | Aisin Aw Co Ltd | Road surface mark recognition system |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5206687B2 (en) * | 2007-10-30 | 2013-06-12 | 日本電気株式会社 | Road marking image processing apparatus, road marking image processing method and program |
US8503728B2 (en) | 2007-10-30 | 2013-08-06 | Nec Corporation | Road marking image processing device, road marking image processing method, and program |
DE102013203868A1 (en) | 2012-03-07 | 2013-09-12 | Denso Corporation | VEHICLE MONITORING DEVICE ENVIRONMENT |
JP2013246493A (en) * | 2012-05-23 | 2013-12-09 | Denso Corp | Vehicle circumference image display controller and vehicle circumference image display control program |
JP2014074275A (en) * | 2012-10-03 | 2014-04-24 | Sumiden Opcom Ltd | Marking tool for road |
WO2017164245A1 (en) * | 2016-03-22 | 2017-09-28 | 株式会社デンソー | Image processing apparatus, image processing method, and program |
JP2017175268A (en) * | 2016-03-22 | 2017-09-28 | 株式会社デンソー | Image processing system, image processing method, and program |
JP6243079B1 (en) * | 2016-09-16 | 2017-12-06 | シーメンス エス.ア.エス.Siemens S.A.S. | Driving support system and driving support method for vehicle |
JP2018045683A (en) * | 2016-09-16 | 2018-03-22 | シーメンス エス.ア.エス.Siemens S.A.S. | System and method of driving assistance for vehicle |
CN115472026A (en) * | 2021-06-10 | 2022-12-13 | 湖南九九智能环保股份有限公司 | Method and system for commanding vehicle to run by intelligent fluorescent landmark in material shed |
CN115472026B (en) * | 2021-06-10 | 2023-06-20 | 湖南九九智能环保股份有限公司 | Method and system for commanding vehicle to travel through intelligent fluorescent landmarks in material shed |
Also Published As
Publication number | Publication date |
---|---|
JP4770755B2 (en) | 2011-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021259344A1 (en) | Vehicle detection method and device, vehicle, and storage medium | |
JP4770755B2 (en) | Road sign recognition device | |
JP5157067B2 (en) | Automatic travel map creation device and automatic travel device. | |
JP6453192B2 (en) | Image recognition processing apparatus and program | |
JP6270102B2 (en) | Moving surface boundary line recognition apparatus, moving body device control system using the moving surface boundary line recognition method, and moving surface boundary line recognition program | |
US20110234761A1 (en) | Three-dimensional object emergence detection device | |
JP5262976B2 (en) | In-vehicle display device | |
JP2010039634A (en) | Image processor | |
US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
JP2008011174A (en) | Calibration device of on-vehicle camera, program, and car navigation system | |
JP7072641B2 (en) | Road surface detection device, image display device using road surface detection device, obstacle detection device using road surface detection device, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method | |
JP2008182652A (en) | Camera posture estimation device, vehicle, and camera posture estimating method | |
CN108475471B (en) | Vehicle determination device, vehicle determination method, and computer-readable recording medium | |
CN110378836B (en) | Method, system and equipment for acquiring 3D information of object | |
JP4852905B2 (en) | Image processing apparatus and image processing method | |
JP5062091B2 (en) | Moving object identification device, computer program, and optical axis direction specifying method | |
JP2014106739A (en) | In-vehicle image processing device | |
KR20190067578A (en) | Collision warning device and method using heterogeneous cameras having overlapped capture area | |
JP2017117105A (en) | Visibility determination device | |
JP2008056163A (en) | Obstacle detecting device for vehicle | |
JP2007018451A (en) | Road boundary line detecting device | |
JP6032141B2 (en) | Travel road marking detection device and travel road marking detection method | |
JP5464073B2 (en) | Outside environment recognition device, outside environment recognition method | |
JP6187322B2 (en) | Image display device and image display system | |
JP2022002045A (en) | Partial image generating device and computer program for partial image generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110606 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4770755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |