JP2012181691A - Method for recognizing patten on road surface, and information recording device for vehicle - Google Patents

Method for recognizing patten on road surface, and information recording device for vehicle Download PDF

Info

Publication number
JP2012181691A
JP2012181691A JP2011044366A JP2011044366A JP2012181691A JP 2012181691 A JP2012181691 A JP 2012181691A JP 2011044366 A JP2011044366 A JP 2011044366A JP 2011044366 A JP2011044366 A JP 2011044366A JP 2012181691 A JP2012181691 A JP 2012181691A
Authority
JP
Japan
Prior art keywords
pattern
road surface
processing target
target range
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011044366A
Other languages
Japanese (ja)
Other versions
JP5957182B2 (en
Inventor
Tatsuo Yamamoto
達夫 山本
Junji Tanaka
準二 田中
Toru Suzuki
徹 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2011044366A priority Critical patent/JP5957182B2/en
Publication of JP2012181691A publication Critical patent/JP2012181691A/en
Application granted granted Critical
Publication of JP5957182B2 publication Critical patent/JP5957182B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a method for recognizing a pattern on a road surface and an information recording device for a vehicle, allowing recognition and preventing false recognition by using simple processing.SOLUTION: A method for recognizing a pattern on a road surface comprises the steps of: inputting Gray scale data of an image frame (S11); allocating a first processing target range in a first image frame (S13); scanning image data within the first processing target range in a predetermined direction to detect a combination of a plurality of patten edges each showing a specific linear pattern (S14); after once detecting the linear pattern, determining a second processing target range smaller than the first processing target range based on a position of the detected linear pattern (S16); scanning image data within the second processing target range in a second image frame in a predetermined direction to detect the linear pattern (S18); and when consecutively detecting the linear pattern a plurality of times, recognizing the linear pattern as an effective pattern (S21).

Description

本発明は、例えば車載器として車両に搭載されるドライブレコーダやデジタルタコグラフなどに利用可能な路面上パターン認識方法および車両用情報記録装置に関し、特に、道路の路面上に標示されている白線等の線状パターンを認識するための技術に関する。   The present invention relates to a road surface pattern recognition method and a vehicle information recording device that can be used for a drive recorder or a digital tachograph mounted on a vehicle as an on-vehicle device, for example, and in particular, a white line or the like marked on a road surface of a road The present invention relates to a technique for recognizing a linear pattern.

一般的な道路や高速道路などにおいて、車両は予め決められた走行レーン(車線)の内側を走行する必要がある。通常、各走行レーンの左右側端部には、複数の走行レーンの境界を表す白線や、道路の中央を表すセンターラインや、道路の端部を表す白線などが標示されている。従って、車両を運転する運転者は、白線やセンターラインなどの位置を自分の目で確認しながら、自車の走行位置が現在の走行レーンの範囲をはみ出さないように注意しながら運転することになる。   On general roads and highways, vehicles need to travel inside a predetermined travel lane (lane). Usually, the left and right end portions of each traveling lane are marked with a white line representing the boundaries of the plurality of traveling lanes, a center line representing the center of the road, a white line representing the end of the road, and the like. Therefore, the driver who drives the vehicle must check the position of the white line, center line, etc. with his / her eyes while driving carefully so that the driving position of the vehicle does not protrude from the current driving lane range. become.

ところで、最近の車両には、車両の進行方向前方あるいは後方の風景を撮影することが可能な車載カメラが搭載されている場合がある。また、車両に搭載されるドライブレコーダやデジタルタコグラフなどの車載器は、車載カメラの撮影により得られる映像のデータを記録することが可能である。一般的なドライブレコーダは、交通事故等の異常が発生した時にその前後の状況を表す画像等のデータを記録媒体に自動的に記録する。また、デジタルタコグラフは運転の状況を表す様々なデータを定期的にあるいは必要に応じて記録する。   By the way, a recent vehicle may be equipped with an in-vehicle camera capable of photographing a landscape in front of or behind the vehicle. In-vehicle devices such as a drive recorder and a digital tachograph mounted on a vehicle can record video data obtained by photographing with the in-vehicle camera. A general drive recorder automatically records data such as images representing the situation before and after an abnormality such as a traffic accident on a recording medium. In addition, the digital tachograph records various data representing driving conditions periodically or as necessary.

一方、例えば車両の運転者の不注意や体調の不具合などを原因として、道路を走行している車両が走行レーンを逸脱したまま走行を継続したり、左右にふらつきながら蛇行運転を行う可能性が考えられる。従って、走行レーンの逸脱や蛇行運転のような危険な状況が発生している場合には、車載器が運転者に対して自動的に注意を促すことが望まれる。また、例えばタクシー、トラックなどの業務用車両を所有する会社においては、各車両の乗務員の運転状況が危険かどうかを管理者が把握できることが望まれる。   On the other hand, there is a possibility that a vehicle traveling on the road may continue to travel without departing from the traveling lane or perform meandering while wobbling from side to side due to, for example, carelessness of the vehicle driver or physical condition failure. Conceivable. Therefore, when a dangerous situation such as a deviation of a driving lane or a meandering operation occurs, it is desired that the vehicle-mounted device automatically alerts the driver. In addition, for example, in a company that owns business vehicles such as taxis and trucks, it is desirable that the administrator can grasp whether the driving situation of the crew of each vehicle is dangerous.

上記の車載カメラの撮影した映像に基づいて、走行レーンの境界を表す白線を認識することにより、白線と自車両との位置関係を把握できるので、自車両の走行レーンからの逸脱や蛇行運転の検出も可能になる。   By recognizing the white line representing the boundary of the driving lane based on the video taken by the above-mentioned on-board camera, the positional relationship between the white line and the host vehicle can be grasped. Detection is also possible.

車載カメラが撮影した画像を処理して白線を認識する技術については、例えば特許文献1及び特許文献2に開示された従来技術が知られている。   Conventional techniques disclosed in, for example, Patent Document 1 and Patent Document 2 are known as techniques for recognizing a white line by processing an image captured by an in-vehicle camera.

特許文献1においては、撮影した画像をエッジ抽出し、エッジ抽出した情報を基に鳥瞰図を生成し、鳥瞰図を基に白線を認識する白線認識アルゴリズムが、例えば段落「0011」、「0013」に開示されている。また、特許文献2においては、白線認識アルゴリズムがドライブレコーダに適用される可能性について言及している。   In Patent Document 1, an edge extraction is performed on a captured image, a bird's-eye view is generated based on the edge-extracted information, and a white line recognition algorithm for recognizing a white line based on the bird's-eye view is disclosed in, for example, paragraphs “0011” and “0013”. Has been. Patent Document 2 mentions the possibility that the white line recognition algorithm is applied to a drive recorder.

特許第3285575号公報Japanese Patent No. 3285575 特許第4153522号公報Japanese Patent No. 4153522

しかしながら、従来の白線認識アルゴリズムでは、認識のために非常に複雑で高度な処理を必要とするため、ほぼリアルタイムでの認識を可能にするためには画像データ処理のために高性能なハードウェアを搭載しなければならず、車載器が高価な装置になるのは避けられない。また、例えば道路上に存在する物体などのノイズを白線等の目的のパターンとして誤認識する可能性があり、その場合は走行レーン逸脱や蛇行運転の検出にも悪影響が発生する。   However, the conventional white line recognition algorithm requires very complicated and advanced processing for recognition. Therefore, in order to enable near real-time recognition, high-performance hardware is used for image data processing. It is unavoidable that the vehicle-mounted device becomes an expensive device. Further, for example, there is a possibility that noise such as an object existing on the road is erroneously recognized as a target pattern such as a white line, and in that case, the detection of the deviation from the driving lane or the meandering operation is adversely affected.

本発明は、上述した事情に鑑みてなされたものであり、その目的は、従来よりも単純な処理によって認識を可能にすると共に、誤認識の発生を抑制することが可能な路面上パターン認識方法および車両用情報記録装置を提供することにある。   The present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide a pattern recognition method on a road surface that enables recognition by simpler processing than before and can suppress occurrence of erroneous recognition. Another object of the present invention is to provide a vehicle information recording apparatus.

前述した目的を達成するために、本発明に係る路面上パターン認識方法は、下記(1)〜(7)を特徴としている。
(1) 車両上に設置されたカメラにより連続的にもしくは間欠的に撮影して得られる画像フレームのデータに基づいて路面上に存在する線状パターンを認識する路面上パターン認識方法であって、
画素毎の濃淡を表す階調情報が含まれる画像フレームのグレースケールデータを入力し、
第1の画像フレームの中に第1の処理対象範囲を割り当て、
前記第1の処理対象範囲の画像データを所定の方向に走査して特定の線状パターンを表す複数のパターンエッジの組み合わせを検出し、
前記線状パターンが1回検出された後で、前記第1の処理対象範囲よりも大きさが小さい第2の処理対象範囲を、検出された前記線状パターンの位置を基準にして決定し、
前記第1の画像フレームとは異なる時点で撮影された第2の画像フレームの中で、前記第2の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、
前記線状パターンを複数回連続的に検出した場合に、該当する線状パターンを有効なパターンとして認識すること。
(2) 上記(1)に記載の路面上パターン認識方法であって、
前記線状パターンの検出を行う前に、入力された画像フレーム中の前記第1の処理対象範囲および第2の処理対象範囲の画像データを画像処理に適した内容に座標変換すること。
(3) 上記(2)に記載の路面上パターン認識方法であって、
前記座標変換によって、路面を上方から見下ろした状態で前記路面に相当する水平面上に見える平面上の画像パターン配置を表す情報を生成すること。
(4) 上記(3)に記載の路面上パターン認識方法であって、
前記座標変換を行う前に、入力された画像から画像中の各パターンの輪郭を表すエッジ情報を抽出し、抽出されたエッジ情報に対して座標変換を実施すること。
(5) 上記(1)に記載の路面上パターン認識方法であって、
前記複数のパターンエッジの組み合わせとして、画像の明るさが急激に増大する状態を表す第1のエッジと、画像の明るさが急激に減少する状態を表す第2のエッジとが所定距離以内で現れる組み合わせを用いること。
(6) 上記(1)に記載の路面上パターン認識方法であって、
前記第2の処理対象範囲の位置を決定する際には、前記第1の画像フレームを撮影してから前記第2の画像フレームを撮影するまでの間の車両の移動に伴うパターンの移動距離を算出し、前記線状パターンを前回検出した位置から前記移動距離だけずれた位置を基準位置として使用すること。
(7) 上記(1)に記載の路面上パターン認識方法であって、
前記カメラからカラーの画像信号を入力し、信号を変換して前記グレースケールデータを画像フレーム毎に生成すること。
In order to achieve the above-described object, the road surface pattern recognition method according to the present invention is characterized by the following (1) to (7).
(1) A road surface pattern recognition method for recognizing a linear pattern existing on a road surface based on image frame data obtained by continuously or intermittently photographing with a camera installed on a vehicle,
Input grayscale data of an image frame that includes gradation information representing the density of each pixel,
Assigning a first processing target range in the first image frame;
Scanning the image data of the first processing target range in a predetermined direction to detect a combination of a plurality of pattern edges representing a specific linear pattern;
After the linear pattern is detected once, a second processing target range having a size smaller than the first processing target range is determined with reference to the position of the detected linear pattern,
Among the second image frames taken at a different time from the first image frame, scan the image data in the second processing target range in a predetermined direction to detect the linear pattern,
Recognizing a corresponding linear pattern as an effective pattern when the linear pattern is continuously detected a plurality of times.
(2) The road surface pattern recognition method according to (1) above,
Before performing the detection of the linear pattern, the image data in the first processing target range and the second processing target range in the input image frame is coordinate-converted into contents suitable for image processing.
(3) The road surface pattern recognition method according to (2) above,
Generating information representing an image pattern arrangement on a plane that can be seen on a horizontal plane corresponding to the road surface in a state where the road surface is looked down from above by the coordinate conversion.
(4) The road surface pattern recognition method according to (3) above,
Before performing the coordinate conversion, edge information representing the contour of each pattern in the image is extracted from the input image, and coordinate conversion is performed on the extracted edge information.
(5) The road surface pattern recognition method according to (1) above,
As a combination of the plurality of pattern edges, a first edge representing a state in which the brightness of the image rapidly increases and a second edge representing a state in which the brightness of the image rapidly decreases appear within a predetermined distance. Use a combination.
(6) The road surface pattern recognition method according to (1) above,
When determining the position of the second processing target range, the movement distance of the pattern accompanying the movement of the vehicle between the time when the first image frame is captured and the time when the second image frame is captured is determined. The position calculated and shifted by the moving distance from the position where the linear pattern was previously detected is used as the reference position.
(7) The road surface pattern recognition method according to (1) above,
A color image signal is input from the camera, the signal is converted, and the grayscale data is generated for each image frame.

上記(1)の構成の路面上パターン認識方法によれば、処理が比較的単純であり誤認識の発生も抑制でき、高性能のハードウェアを搭載することなく処理できる。画像フレーム中の処理対象範囲を限定することにより、処理にかかる所要時間を短縮できる。また、複数のパターンエッジの組み合わせを検出することにより、特定の線状パターンを効率よく認識できる。更に、異なる時点で撮影された複数の画像フレームに対して前記線状パターンの検出を複数回繰り返すことにより、画像中に一時的に現れた何らかのノイズを線状パターンとして誤認識するのを防止できる。また、2回目以降に線状パターンを検出する時には、前回検出した位置を基準として処理対象範囲を決定するので、第2の処理対象範囲の面積を小さくすることができ、処理の負担を軽減できる。
上記(2)の構成の路面上パターン認識方法によれば、パターン認識を実行する前に、前処理として画像の座標変換を行うので、認識処理の負担を軽減することができ、認識処理にかかる所要時間を短縮できる。
上記(3)の構成の路面上パターン認識方法によれば、パターン認識を実行する際に、路面上と同等の水平面におけるパターン配置の画像データが処理対象になるので、処理対象の範囲や位置の計算が容易になる。
上記(4)の構成の路面上パターン認識方法によれば、座標変換対象の画像の情報量を大幅に減らすことができるので、処理の負担を大幅に軽減できる。
上記(5)の構成の路面上パターン認識方法によれば、白線等の線状パターンを容易に検出できる。すなわち、走行レーンの境界を表す白線は、画像フレーム内に一定の幅で縦方向に延びるように現れるので、この画像を横方向(道路の幅方向)に走査すると、白線パターン両端の一方のエッジで明るさが急激に増大し、他方のエッジで明るさが急激に減少する。つまり、前記第1のエッジと第2のエッジとの組み合わせが白線パターンの特徴と一致する。
上記(6)の構成の路面上パターン認識方法によれば、互いに異なるタイミングで撮影された複数フレームの画像を用いて同じ箇所の認識を複数回繰り返すことができ、一時的に発生したノイズの影響を排除できる。
上記(7)の構成の路面上パターン認識方法によれば、カラーカメラを利用して映像を撮影する場合であっても、白線などの線状パターンのエッジ検出処理に適した画像データを処理対象として入力することができる。
According to the road surface pattern recognition method having the configuration (1), the processing is relatively simple, the occurrence of erroneous recognition can be suppressed, and the processing can be performed without installing high-performance hardware. The time required for processing can be shortened by limiting the processing target range in the image frame. Moreover, a specific linear pattern can be recognized efficiently by detecting a combination of a plurality of pattern edges. Furthermore, by repeating the detection of the linear pattern a plurality of times for a plurality of image frames taken at different times, it is possible to prevent erroneous recognition of any noise that temporarily appears in the image as a linear pattern. . In addition, when detecting a linear pattern for the second time or later, the processing target range is determined based on the previously detected position, so that the area of the second processing target range can be reduced, and the processing burden can be reduced. .
According to the road surface pattern recognition method configured as described in (2) above, image transformation is performed as preprocessing before pattern recognition is performed, so that the burden of recognition processing can be reduced and the recognition processing is performed. The required time can be shortened.
According to the road surface pattern recognition method having the configuration of (3) above, the pattern arrangement image data in the horizontal plane equivalent to that on the road surface is processed when performing pattern recognition. Calculation becomes easy.
According to the road surface pattern recognition method having the configuration (4) described above, the information amount of the image to be coordinate-transformed can be greatly reduced, so that the processing burden can be greatly reduced.
According to the road surface pattern recognition method having the configuration (5), it is possible to easily detect a linear pattern such as a white line. That is, the white line representing the boundary of the driving lane appears in the image frame so as to extend in the vertical direction with a certain width, so when this image is scanned in the horizontal direction (the width direction of the road), one edge of both ends of the white line pattern The brightness increases rapidly, and the brightness decreases rapidly at the other edge. That is, the combination of the first edge and the second edge matches the feature of the white line pattern.
According to the road surface pattern recognition method configured as described in (6) above, it is possible to repeat the recognition of the same portion a plurality of times using images of a plurality of frames taken at different timings, and the influence of temporarily generated noise. Can be eliminated.
According to the road surface pattern recognition method configured as described in (7) above, image data suitable for edge detection processing of a linear pattern such as a white line is processed even when an image is captured using a color camera. Can be entered as

前述した目的を達成するために、本発明に係る車両用情報記録装置は、下記(8)を特徴としている。
(8) 車両上に設置されたカメラにより連続的にもしくは間欠的に撮影して得られる画像フレームのデータを含む情報を入力し、前記情報を所定の記録媒体に自動的に記録する機能を有する車両用情報記録装置であって、
前記カメラの出力する画像フレームのデータに基づき、画素毎の濃淡を表す階調情報が含まれる画像フレームのグレースケールデータを入力し、第1の画像フレームの中に第1の処理対象範囲を割り当て、前記第1の処理対象範囲の画像データを所定の方向に走査して特定の線状パターンを表す複数のパターンエッジの組み合わせを検出し、前記線状パターンが1回検出された後で、前記第1の処理対象範囲よりも大きさが小さい第2の処理対象範囲を、検出された前記線状パターンの位置を基準にして決定し、前記第1の画像フレームとは異なる時点で撮影された第2の画像フレームの中で、前記第2の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、前記線状パターンを複数回連続的に検出した場合に、該当する線状パターンを有効なパターンとして認識する路面上パターン認識部
を備えたこと。
In order to achieve the above-described object, a vehicle information recording apparatus according to the present invention is characterized by the following (8).
(8) A function of inputting information including image frame data obtained by continuously or intermittently photographing with a camera installed on the vehicle and automatically recording the information on a predetermined recording medium. An information recording device for a vehicle,
Based on image frame data output from the camera, grayscale data of an image frame including gradation information representing the density of each pixel is input, and a first processing target range is assigned to the first image frame. The image data of the first processing target range is scanned in a predetermined direction to detect a combination of a plurality of pattern edges representing a specific linear pattern, and after the linear pattern is detected once, A second processing target range that is smaller than the first processing target range is determined with reference to the position of the detected linear pattern, and was captured at a time different from the first image frame. In the second image frame, when the linear pattern is detected by scanning the image data in the second processing target range in a predetermined direction, and the linear pattern is continuously detected a plurality of times, The Linear pattern that includes a road surface pattern recognition unit for recognizing a valid pattern.

上記(8)の構成の車両用情報記録装置によれば、路面上パターン認識部が路面上の白線等の線状パターンを認識するので、例えば車両の走行レーンからの逸脱や、蛇行運転などの状況を自動的に検出し、この状態を記録したり警告を発することも可能になる。   According to the vehicle information recording apparatus having the configuration (8), the road surface pattern recognition unit recognizes a linear pattern such as a white line on the road surface. It is also possible to automatically detect the situation, record this state and issue a warning.

本発明の路面上パターン認識方法および車両用情報記録装置によれば、従来よりも単純な処理で必要な線状パターンの認識が可能になり、誤認識の発生も抑制できる。   According to the road surface pattern recognition method and the vehicle information recording apparatus of the present invention, a necessary linear pattern can be recognized by a simpler process than before, and the occurrence of erroneous recognition can be suppressed.

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。   The present invention has been briefly described above. Further, details of the present invention will be further clarified by reading through the modes for carrying out the invention described below with reference to the accompanying drawings.

路面上の白線パターンを認識するための処理手順を表すフローチャートである。It is a flowchart showing the process sequence for recognizing the white line pattern on a road surface. 車両用情報記録装置のハードウェアの構成例を示すブロック図である。It is a block diagram which shows the structural example of the hardware of the information recording device for vehicles. 座標変換後の認識対象画像の例を表す模式図である。It is a schematic diagram showing the example of the recognition target image after coordinate transformation. 白線パターンと検出されるエッジペアとの関係を表す模式図である。It is a schematic diagram showing the relationship between a white line pattern and the detected edge pair.

本発明の路面上パターン認識方法および車両用情報記録装置に関する具体的な実施の形態について各図を参照しながら以下に説明する。   Specific embodiments relating to the road surface pattern recognition method and the vehicle information recording apparatus of the present invention will be described below with reference to the drawings.

路面上の白線パターンを認識するための処理手順の概要が図1に示されている。また、図1の処理手順を実行する機能を搭載した車両用情報記録装置のハードウェアの構成例が図2に示されている。   An outline of the processing procedure for recognizing the white line pattern on the road surface is shown in FIG. Moreover, the structural example of the hardware of the vehicle information recording device carrying the function which performs the process sequence of FIG. 1 is shown by FIG.

なお、図2に示す車両用情報記録装置100については、車載器として車両に搭載されるドライブレコーダの場合を想定しているが、同様の機能を有するデジタルタコグラフなど他の車載器に本発明を適用することも考えられる。   The vehicle information recording apparatus 100 shown in FIG. 2 is assumed to be a drive recorder mounted on a vehicle as a vehicle-mounted device, but the present invention is applied to other vehicle-mounted devices such as a digital tachograph having the same function. Application is also possible.

図2に示す車両用情報記録装置100には車載カメラ20が備わっている。この車載カメラ20は、車両上の所定位置、例えば車室内のフロントウインドシールドガラスの中央付近や、運転席の近傍や、後部窓の近傍などの箇所に撮影方向を車外に向けた状態で固定される。従って、車載カメラ20はこの車両を運転する運転者の視点から見える車外の風景と同様に、車両の進行方向前方又は後方の風景、つまり自車の車体の一部分や、道路の路面や、道路上の他の車両や歩行者などを連続的にあるいは間欠的に撮影することができる。本実施形態においては、車載カメラ20としてカラー画像を撮影可能なカメラを用いる場合を想定している。   The vehicle information recording apparatus 100 shown in FIG. The in-vehicle camera 20 is fixed at a predetermined position on the vehicle, for example, near the center of the front windshield glass in the passenger compartment, near the driver's seat, near the rear window, etc. with the shooting direction facing the outside of the vehicle. The Accordingly, the in-vehicle camera 20 is similar to the scenery outside the vehicle seen from the viewpoint of the driver who drives the vehicle, the scenery in the forward or backward direction of the vehicle, that is, a part of the body of the own vehicle, the road surface, Other vehicles and pedestrians can be photographed continuously or intermittently. In this embodiment, the case where the camera which can image | photograph a color image as the vehicle-mounted camera 20 is assumed.

なお、車載カメラ20は車両上に固定されているので、この車両が移動しない時には車載カメラ20が撮影する風景の範囲は変化しないが、車両の移動に伴って風景が変化する。例えば、道路の路面に標示された白線等のパターンが存在する場合には、車両の移動に伴ってこの車両と該当するパターンとの位置関係が変化し、その変化が撮影した映像の変化として現れる。従って、撮影された映像中で白線等のパターンを認識することができれば、このパターンの位置の変化から、走行レーン内における横方向の自車位置の変化や、走行レーンからの逸脱や、蛇行運転などの状況を検出することも可能になる。   Since the in-vehicle camera 20 is fixed on the vehicle, the landscape range captured by the in-vehicle camera 20 does not change when the vehicle does not move, but the landscape changes as the vehicle moves. For example, when a pattern such as a white line marked on the road surface is present, the positional relationship between the vehicle and the corresponding pattern changes as the vehicle moves, and the change appears as a change in the captured image. . Therefore, if a pattern such as a white line can be recognized in the captured image, a change in the position of the vehicle in the lateral direction within the traveling lane, a deviation from the traveling lane, a meandering operation, or the like It is also possible to detect such a situation.

図2に示すドライブレコーダ本体10は、画像処理部(路面上パターン認識部)11、加速度(G)センサ12、主制御部13、不揮発性記録媒体14、メモリ(SDRAM)15、インタフェース(I/F)16、17および18を備えている。   2 includes an image processing unit (road surface pattern recognition unit) 11, an acceleration (G) sensor 12, a main control unit 13, a non-volatile recording medium 14, a memory (SDRAM) 15, an interface (I / I). F) 16, 17 and 18 are provided.

画像処理部11は、マイクロコンピュータ(CPU)を主体とする要素により構成されており、予め用意されているプログラムを実行することにより所定の機能を実現する。すなわち、画像処理部11は、車載カメラ20が撮影した映像の信号を処理して必要な画像データを生成したり、画像中の所定のパターンを認識するための処理を行う。例えば、図1に示す処理手順も画像処理部11によって実行される。   The image processing unit 11 is composed of elements mainly composed of a microcomputer (CPU), and realizes a predetermined function by executing a program prepared in advance. That is, the image processing unit 11 processes a video signal captured by the in-vehicle camera 20 to generate necessary image data, or performs processing for recognizing a predetermined pattern in the image. For example, the processing procedure illustrated in FIG. 1 is also executed by the image processing unit 11.

加速度センサ12は、車両に加わった加速度の大きさを検出することができる。すなわち、交通事故が発生した場合や、急加速、急減速などの異常な状態が発生した時にその状況を検出することができる。   The acceleration sensor 12 can detect the magnitude of acceleration applied to the vehicle. That is, the situation can be detected when a traffic accident occurs or when an abnormal state such as sudden acceleration or sudden deceleration occurs.

主制御部13は、マイクロコンピュータ(CPU)を主体とする要素により構成されており、予め用意されているプログラムを実行することにより所定の機能を実現する。主制御部13は、交通事故などの異常な状態が発生した時に、その前後のタイミングにおける画像データなどを自動的に記録する処理を行う。また、主制御部13は画像処理部11が認識したパターンに基づいて、自車の走行レーンからの逸脱を検出したり、蛇行運転を検出し、これらの状況を自動的に記録する機能も備えている。   The main control unit 13 is composed of elements mainly composed of a microcomputer (CPU), and realizes a predetermined function by executing a program prepared in advance. When an abnormal state such as a traffic accident occurs, the main control unit 13 performs a process of automatically recording image data and the like at timings before and after that. The main control unit 13 also has a function of detecting deviation from the traveling lane of the own vehicle based on the pattern recognized by the image processing unit 11, detecting meandering operation, and automatically recording these conditions. ing.

不揮発性記録媒体14は、ドライブレコーダ本体10に対して着脱自在なメモリカード(例えばSDカードやCFカード)や、ハードディスク装置のような記録媒体である。すなわち、不揮発性記録媒体14はデータの書き込み及び読み込みが自在であり、電源供給が遮断された時でもデータの内容を保持することができる。   The non-volatile recording medium 14 is a recording medium such as a memory card (for example, an SD card or a CF card) that is detachable from the drive recorder main body 10 or a hard disk device. That is, the nonvolatile recording medium 14 can freely write and read data, and can retain data contents even when the power supply is cut off.

メモリ15は、データの書き込み及び読み込みが自在な記憶回路であり、一時的なデータを保持するために利用される。例えば、一定時間の画像データを保持するバッファメモリとしてメモリ15を使用することができる。具体的には、車載カメラ20の撮影により得られた画像データをメモリ15上に常時記録し、時間的に古くなった画像データを新しい画像データで上書きすることにより、所定時間前から現在までの一定時間の過去の画像データを記憶容量の制約のあるメモリ15上に保持できる。   The memory 15 is a storage circuit in which data can be freely written and read, and is used to hold temporary data. For example, the memory 15 can be used as a buffer memory that holds image data for a certain period of time. Specifically, the image data obtained by the photographing by the in-vehicle camera 20 is always recorded on the memory 15 and overwritten with new image data over time-stale image data, from a predetermined time to the present. Past image data for a certain period of time can be held on the memory 15 with limited storage capacity.

車速センサ21は、車両のトランスミッションの出力軸の回転を検出し、所定量の回転を検出する毎に1つの車速パルスを電気信号として出力する。検出された車速パルスの数を計数することにより、車両の車速や移動量を把握することが可能になる。   The vehicle speed sensor 21 detects the rotation of the output shaft of the transmission of the vehicle, and outputs one vehicle speed pulse as an electrical signal each time a predetermined amount of rotation is detected. By counting the number of detected vehicle speed pulses, it is possible to grasp the vehicle speed and the amount of movement of the vehicle.

画像処理部11、加速度センサ12、および車速センサ21は、それぞれインタフェース16、17、および18を介して主制御部13と接続されている。インタフェース16、17、および18は、それぞれ画像処理部11、加速度センサ12、および車速センサ21の出力を主制御部13の処理に適した信号に変換する。   The image processing unit 11, the acceleration sensor 12, and the vehicle speed sensor 21 are connected to the main control unit 13 via interfaces 16, 17, and 18, respectively. The interfaces 16, 17, and 18 convert the outputs of the image processing unit 11, the acceleration sensor 12, and the vehicle speed sensor 21 to signals suitable for the processing of the main control unit 13, respectively.

次に、図1に示した処理手順の内容について説明する。
ステップS11では、画像処理部11が最新の画像フレームの信号を車載カメラ20の出力から取り込み、グレースケールの信号に変換する。すなわち、車載カメラ20が出力するカラーの画像信号から、画像認識処理に適したグレースケールの信号、つまり各画素の濃淡(階調)を表す信号を生成する。
Next, the contents of the processing procedure shown in FIG. 1 will be described.
In step S11, the image processing unit 11 takes in the latest image frame signal from the output of the in-vehicle camera 20 and converts it into a grayscale signal. That is, a gray scale signal suitable for image recognition processing, that is, a signal representing the density (gradation) of each pixel is generated from the color image signal output by the in-vehicle camera 20.

例えば、次式を用いることにより、R(赤)、G(緑)、B(青)の3原色のカラー信号から階調を表す輝度Yをフレーム中の画素毎に求めることができる。
Y = 0.2126 × R + 0.7152 × G + 0.0722 × B
For example, by using the following equation, the luminance Y representing the gradation can be obtained for each pixel in the frame from the color signals of the three primary colors R (red), G (green), and B (blue).
Y = 0.2126 × R + 0.7152 × G + 0.0722 × B

ステップS12では、ステップS11で入力された画像フレームのグレースケールのデータを処理対象として、エッジ抽出処理を行う。すなわち、フレーム中の各パターンの特徴を表す輪郭部分を抽出するために、所定のフィルタを用いてフレーム上の各位置を順次に走査して結果を出力する。例えば、注目画素とそれに隣接する8個の画素とに対応する3×3画素構成の公知の微分フィルタやsobelフィルタを用いて画像を処理することにより、エッジ抽出を行うことができる。   In step S12, edge extraction processing is performed using the grayscale data of the image frame input in step S11 as a processing target. That is, in order to extract a contour portion representing the feature of each pattern in the frame, each position on the frame is sequentially scanned using a predetermined filter, and the result is output. For example, edge extraction can be performed by processing an image using a known differential filter or sobel filter having a 3 × 3 pixel configuration corresponding to the pixel of interest and eight pixels adjacent thereto.

ステップS13では、画像処理部11は目的のパターンを探索する範囲を決定し、この範囲について画像データの座標変換を行う。この例では道路上の走行レーンの車幅方向限界位置を表す白線パターンが認識対象であるので、ステップS13においては探索範囲を次のように決定する。   In step S13, the image processing unit 11 determines a range for searching for a target pattern, and performs coordinate conversion of image data for this range. In this example, since the white line pattern representing the vehicle width direction limit position of the travel lane on the road is the recognition target, the search range is determined as follows in step S13.

車幅方向(X方向)の範囲:基準位置±(Wr/2)の範囲
進行方向(Y方向)の範囲:基準位置から事前に定めた探索長(Y1)の範囲
Wr:走行レーン幅(定数)
基準位置:例えば図3のカメラ取り付け位置
Range in vehicle width direction (X direction): Range of reference position ± (Wr / 2) Range of travel direction (Y direction): Range of search length (Y1) determined in advance from the reference position Wr: Travel lane width (constant )
Reference position: for example, the camera mounting position in FIG.

また、この探索範囲内に含まれる画像データを座標変換し、例えば図3に示すような処理対象画像データを生成する。車載カメラ20が出力する映像においては、遠近感の影響が現れるため、各パターンと自車との距離の違いによってパターンの大きさや位置が変化する。従って、白線のように直線的なパターンであっても、パターンの実際の位置や範囲を特定するために比較的面倒な計算を行わなければならない。   Further, the image data included in the search range is subjected to coordinate conversion to generate processing target image data as shown in FIG. 3, for example. In the video output from the in-vehicle camera 20, the influence of perspective appears, and the size and position of the pattern change depending on the distance between each pattern and the vehicle. Therefore, even for a linear pattern such as a white line, a relatively troublesome calculation must be performed in order to specify the actual position and range of the pattern.

そこで、パターン認識を行う前の前処理として、計算が簡単な状態の画像に座標変換する。すなわち、図3に示すように、自車両が走行する道路の路面に相当する水平面上に各パターンを投影した状態の平面図として見えるように、各パターンの各位置の座標を変換する。   Therefore, as a pre-process before pattern recognition, coordinates are converted into an image with a simple calculation. That is, as shown in FIG. 3, the coordinates of each position of each pattern are converted so that it can be seen as a plan view in a state where each pattern is projected on a horizontal plane corresponding to the road surface of the road on which the host vehicle travels.

図3においては、道路を上方から見た状態と同様に、車幅方向に相当するX軸と車両の進行方向を表すY軸とでなる平面上に各パターンを投影した状態を表している。従って、図3中に示す各白線パターンL1、L2、L3については、遠近感の影響が排除されており、実際の白線パターンの形状と同様に、一定幅のパターンとして、互いに平行な配置状態で現れている。   FIG. 3 shows a state in which each pattern is projected on a plane composed of an X-axis corresponding to the vehicle width direction and a Y-axis representing the traveling direction of the vehicle, as in the state when the road is viewed from above. Therefore, for each of the white line patterns L1, L2, and L3 shown in FIG. 3, the influence of perspective is eliminated, and in the same manner as the shape of the actual white line pattern, a pattern with a constant width is arranged in parallel with each other. Appears.

ステップS14では、ステップS13で生成した処理対象画像データ(図3のように配置された内容のパターン輪郭を表すデータ)を対象として、ステップS13で決定した探索範囲内を順番に走査し、特別な白線探索アルゴリズムを実行する。   In step S14, the processing target image data generated in step S13 (data representing the pattern outline of the contents arranged as shown in FIG. 3) is scanned in order within the search range determined in step S13. Execute white line search algorithm.

具体的には、この画像データ上を図3に示すX軸方向に沿って、左から右側に向かって走査し、1ラインの走査が終了するとY軸方向の位置をずらして再び左から右側に向かって走査し、この処理を繰り返す。   Specifically, the image data is scanned from the left to the right along the X-axis direction shown in FIG. 3, and when the scanning of one line is completed, the position in the Y-axis direction is shifted and again from the left to the right. Scan forward and repeat this process.

ところで、白線のパターンが存在する箇所の画像データをX軸方向に走査する時には、白線パターンの始まりエッジ位置で明るさが急激に増大し、終わりのエッジ位置で明るさが急激に減少する。従って、ステップS12でエッジ抽出処理された結果においては、例えば図4に示すように、白線パターンの始まりエッジ位置で明るさの増大を表すプラス側のエッジ情報(微分値がプラス方向に所定以上変化)が現れ、同じ白線パターンの終わりエッジ位置で明るさの減少を表すマイナス側のエッジ情報(微分値がマイナス方向に所定以上変化)が現れる。   By the way, when scanning the image data of the portion where the white line pattern exists in the X-axis direction, the brightness rapidly increases at the start edge position of the white line pattern, and the brightness decreases rapidly at the end edge position. Therefore, in the result of the edge extraction process in step S12, as shown in FIG. 4, for example, as shown in FIG. 4, positive edge information indicating that the brightness increases at the start edge position of the white line pattern (the differential value changes more than a predetermined value in the positive direction). ) Appears, and negative edge information (differential value changes more than a predetermined value in the negative direction) indicating a decrease in brightness appears at the end edge position of the same white line pattern.

また、一般的に路面に表示されている白線パターンの幅は予め決められた一定値であるので、プラス側のエッジ情報が現れる位置とマイナス側のエッジ情報が現れる位置との間隔(X方向の距離)もほぼ一定になる。   In general, since the width of the white line pattern displayed on the road surface is a predetermined constant value, the interval between the position where the positive edge information appears and the position where the negative edge information appears (in the X direction). Distance) is also almost constant.

そこで、ステップS14の白線探索アルゴリズムにおいては、図4に示すように一定の間隔でプラス側のエッジ情報とマイナス側のエッジ情報とが現れた場合に、これらの組み合わせを白線パターンに対応するエッジペアとして認識する。   Therefore, in the white line search algorithm in step S14, when positive side edge information and negative side edge information appear at regular intervals as shown in FIG. 4, these combinations are used as edge pairs corresponding to the white line pattern. recognize.

ステップS15では、ステップS14の探索の結果、白線パターンに対応するエッジペアを検出できたか否かを識別する。検出できなかった場合はステップS11に戻り、検出できた場合は白線パターンの認識精度を上げるために次のステップS16に進む。   In step S15, it is identified whether or not an edge pair corresponding to the white line pattern has been detected as a result of the search in step S14. If not detected, the process returns to step S11. If detected, the process proceeds to the next step S16 in order to increase the recognition accuracy of the white line pattern.

ステップS16では、2回目以降の処理における探索範囲を決定する。この場合は既に1回目の処理において白線パターンの候補が存在する位置が判明しているので、ステップS13で決定した探索範囲よりも面積の小さい範囲に限定する。これにより、処理対象のデータ量を減らすことができる。また、ステップS16においては、ステップS14で検出されたエッジペアの位置を基準にして探索範囲を決定する。   In step S16, a search range in the second and subsequent processes is determined. In this case, since the position where the candidate for the white line pattern exists has already been found in the first processing, it is limited to a range having a smaller area than the search range determined in step S13. Thereby, the amount of data to be processed can be reduced. In step S16, the search range is determined based on the position of the edge pair detected in step S14.

具体的には、次のように探索範囲を決定する。
車幅方向(X方向)の範囲:(Xa−Xm)〜(Xb+Xm)の範囲
Xa:前回検出したエッジペア始まり位置
Xb:前回検出したエッジペア終わり位置
Xm:誤差に相当するX方向の余裕分(マージン)
進行方向(Y方向)の範囲:(Ya+ΔY−Ym)〜(Ya+ΔY+Ym)の範囲
Ya:前回検出したエッジペアのY方向位置
ΔY:前回と今回の画像の違いに相当するY方向移動量(車速と処理対象画像フレームの撮影時間差により定まる)
Ym:誤差に相当するY方向の余裕分(マージン)
Specifically, the search range is determined as follows.
Range in the vehicle width direction (X direction): Range (Xa-Xm) to (Xb + Xm) Xa: Edge pair start position Xb detected last time: Edge pair end position Xm detected last time: Margin in X direction corresponding to error (margin) )
Range of traveling direction (Y direction): Range of (Ya + ΔY−Ym) to (Ya + ΔY + Ym) Ya: Y direction position of edge pair detected last time ΔY: Y direction movement amount corresponding to difference between previous and current images (vehicle speed and processing) (It depends on the shooting time difference of the target image frame)
Ym: margin in the Y direction corresponding to the error (margin)

ステップS17では、探索範囲としてステップS16で決定した内容を採用する以外は、前述のステップS11、S12、S13と同様の処理を行う。すなわち、新たに撮影された画像フレームを車載カメラ20から取り込み、グレースケールのデータに変換し、エッジ抽出処理を施し、更に座標変換を行って探索範囲のみについて図3に示すような平面図の処理対象データを生成する。   In step S17, the same processing as steps S11, S12, and S13 described above is performed except that the content determined in step S16 is adopted as the search range. That is, a newly captured image frame is captured from the in-vehicle camera 20, converted into grayscale data, subjected to edge extraction processing, and further coordinate conversion is performed to process a plan view as shown in FIG. Generate target data.

ステップS18では、ステップS17で生成された処理対象データについて、ステップS16で決定した探索範囲内を、前述のステップS14と同様の白線探索アルゴリズムで探索し、前述のエッジペアの検出を行う。   In step S18, the processing target data generated in step S17 is searched within the search range determined in step S16 by the white line search algorithm similar to that in step S14 described above, and the aforementioned edge pair is detected.

ステップS19では、ステップS18の探索の結果、白線パターンに対応するエッジペアを検出できたか否かを識別する。検出できなかった場合はステップS11に戻り、検出できた場合は次のステップS20に進む。   In step S19, it is identified whether or not an edge pair corresponding to the white line pattern has been detected as a result of the search in step S18. If not detected, the process returns to step S11. If detected, the process proceeds to the next step S20.

ステップS20では、認識した同じ白線パターンについて、所定回数(この例ではS14も含めて3回以上)連続的に認識に成功したか否かを識別する。所定回数未満の場合はステップS16に戻って処理を繰り返し、所定回数以上になった場合はステップS21に進む。   In step S20, it is identified whether or not the same recognized white line pattern has been successfully recognized a predetermined number of times (in this example, three or more times including S14). If the number is less than the predetermined number, the process returns to step S16 to repeat the process, and if the number exceeds the predetermined number, the process proceeds to step S21.

ステップS21では、ステップS14及びS18で検出されたエッジペアに相当するパターンの候補を認識対象の白線パターンとして最終的に認識する。
すなわち、図1に示す例では、道路上の同じ位置で検出された同じ白線パターンについて、ステップS14で1回の認識に成功し、更にステップS18で2回連続的に認識に成功した場合にこれを白線パターンとして確定する。
In step S21, a pattern candidate corresponding to the edge pair detected in steps S14 and S18 is finally recognized as a white line pattern to be recognized.
That is, in the example shown in FIG. 1, when the same white line pattern detected at the same position on the road has been successfully recognized once in step S14 and further successfully recognized twice in step S18. As a white line pattern.

なお、図示しないが、ステップS21で白線パターンを確定した後、該当する位置の白線パターンを3つの画像フレームで連続的に検出できなくなった場合には、該当する白線パターンが終了したものとみなし、ステップS11から処理をやり直す。   Although not shown, after the white line pattern is determined in step S21, if the white line pattern at the corresponding position cannot be detected continuously in the three image frames, it is considered that the corresponding white line pattern has ended. The process is repeated from step S11.

ステップS21で白線パターンが確定した後、この白線パターンのX方向の位置をそれ以降に撮影される各画像フレーム中で追跡することにより、走行レーン中の車両の幅方向の位置とその変化を監視することが可能になる。従って、例えば自車両の蛇行運転を検出したり、自車両の走行レーンからの逸脱を検出したり、逸脱が生じる前に逸脱の発生を予測することができ、主制御部13は検出されたこれらの状況をドライブレコーダの記録動作に反映させたり、リアルタイムで運転者に対して警告することもできる。   After the white line pattern is determined in step S21, the position of the white line pattern in the X direction is tracked in each image frame captured thereafter, thereby monitoring the position in the driving lane in the width direction and its change. It becomes possible to do. Therefore, for example, it is possible to detect the meandering operation of the host vehicle, to detect a departure from the traveling lane of the host vehicle, or to predict the occurrence of the departure before the departure occurs, and the main control unit 13 detects these This situation can be reflected in the recording operation of the drive recorder, or the driver can be warned in real time.

なお、上述の実施形態は単なる代表例であり、実際の装置に適用する場合には、例えば次に説明するように様々な変形が考えられる。
1.車外の風景を撮影するカメラについては、メインのカメラ(前述の車載カメラ20)の他にオプションのカメラを追加することが考えられる。その場合、メインのカメラとオプションのカメラを同時に利用して複数の映像を同時に撮影する。また、メインのカメラでは比較的広い範囲を撮影し、オプションのカメラでは遠方の比較的狭い範囲を撮影する。このようにすれば、自車両から大きく離れた場所の白線パターンについても、比較的容易に認識可能になる。
Note that the above-described embodiment is merely a representative example, and various modifications can be considered, for example, as described below when applied to an actual apparatus.
1. As for the camera that captures the scenery outside the vehicle, it is conceivable to add an optional camera in addition to the main camera (the above-described on-vehicle camera 20). In that case, a main camera and an optional camera are used simultaneously to shoot a plurality of images simultaneously. The main camera captures a relatively wide range, and the optional camera captures a relatively narrow range in the distance. In this way, the white line pattern at a location far away from the host vehicle can be recognized relatively easily.

2.例えばその時の時間帯の区分を検出したり、周囲の明るさを検出したり、撮影した映像の内容を分析することにより、昼夜の違いを区別したり、トンネル内を走行中か否かを識別することが可能になる。その場合、昼夜の違いやトンネル内か否かの状況の違いを白線パターンの認識処理に反映すれば、白線パターンの認識精度を更に改善することが可能である。   2. For example, by detecting the time zone at that time, detecting the brightness of the surroundings, analyzing the contents of the captured video, you can distinguish the difference between day and night, and identify whether you are traveling in the tunnel It becomes possible to do. In that case, if the difference between day and night and the difference in the status of whether or not it is in the tunnel are reflected in the recognition process of the white line pattern, the recognition accuracy of the white line pattern can be further improved.

3.図2に示す車載カメラ20、画像処理部11、及びインタフェース16については一体化することも考えられる。これにより、装置の構造を単純化してコストを低減したり、装置を小型化することも可能になる。   3. The in-vehicle camera 20, the image processing unit 11, and the interface 16 illustrated in FIG. 2 may be integrated. As a result, the structure of the apparatus can be simplified to reduce the cost, and the apparatus can be miniaturized.

以上のように、本発明の路面上パターン認識方法および車両用情報記録装置は、例えば車載器として車両に搭載されるドライブレコーダやデジタルタコグラフなどに適用することが想定できる。本発明を適用することにより、装置コストを大幅に上げることなく白線パターンを自動認識する機能を持たせることができるので、危険な状況である車両の走行レーンからの逸脱や蛇行運転などを検出して情報を記録したり警報を出力するために役立てることができる。また、連続する実線の白線パターンだけでなく、点線状の白線パターンも認識可能であり、実線と点線とを区別することも可能になる。   As described above, the road surface pattern recognition method and the vehicle information recording apparatus of the present invention can be assumed to be applied to, for example, a drive recorder or a digital tachograph mounted on a vehicle as an in-vehicle device. By applying the present invention, it is possible to provide a function for automatically recognizing a white line pattern without significantly increasing the cost of the apparatus, so that it is possible to detect a deviation from the driving lane of a vehicle or meandering operation that is a dangerous situation. Can be used to record information and output alarms. Further, not only a continuous solid white line pattern but also a dotted white line pattern can be recognized, and a solid line and a dotted line can be distinguished.

10 ドライブレコーダ本体
11 画像処理部(CPU)
12 加速度センサ
13 主制御部(CPU)
14 不揮発性記録媒体
15 メモリ
16,17,18 インタフェース
20 車載カメラ
21 車速センサ
100 車両用情報記録装置
Wr 走行レーン幅
L1,L2,L3 白線パターン
Y1 探索長
10 Drive recorder body 11 Image processing unit (CPU)
12 Acceleration sensor 13 Main control unit (CPU)
14 Non-volatile recording medium 15 Memory 16, 17, 18 Interface 20 In-vehicle camera 21 Vehicle speed sensor 100 Information recording device for vehicle Wr Travel lane width L1, L2, L3 White line pattern Y1 Search length

Claims (7)

車両上に設置されたカメラにより連続的にもしくは間欠的に撮影して得られる画像フレームのデータに基づいて路面上に存在する線状パターンを認識する路面上パターン認識方法であって、
画素毎の濃淡を表す階調情報が含まれる画像フレームのグレースケールデータを入力し、
第1の画像フレームの中に第1の処理対象範囲を割り当て、
前記第1の処理対象範囲の画像データを所定の方向に走査して特定の線状パターンを表す複数のパターンエッジの組み合わせを検出し、
前記線状パターンが1回検出された後で、前記第1の処理対象範囲よりも大きさが小さい第2の処理対象範囲を、検出された前記線状パターンの位置を基準にして決定し、
前記第1の画像フレームとは異なる時点で撮影された第2の画像フレームの中で、前記第2の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、
前記線状パターンを複数回連続的に検出した場合に、該当する線状パターンを有効なパターンとして認識することを特徴とする路面上パターン認識方法。
A road surface pattern recognition method for recognizing a linear pattern existing on a road surface based on image frame data obtained by continuously or intermittently photographing with a camera installed on a vehicle,
Input grayscale data of an image frame that includes gradation information representing the density of each pixel,
Assigning a first processing target range in the first image frame;
Scanning the image data of the first processing target range in a predetermined direction to detect a combination of a plurality of pattern edges representing a specific linear pattern;
After the linear pattern is detected once, a second processing target range having a size smaller than the first processing target range is determined with reference to the position of the detected linear pattern,
Among the second image frames taken at a different time from the first image frame, scan the image data in the second processing target range in a predetermined direction to detect the linear pattern,
A road surface pattern recognition method characterized by recognizing a corresponding linear pattern as an effective pattern when the linear pattern is continuously detected a plurality of times.
前記線状パターンの検出を行う前に、入力された画像フレーム中の前記第1の処理対象範囲および第2の処理対象範囲の画像データを画像処理に適した内容に座標変換する
ことを特徴とする請求項1に記載の路面上パターン認識方法。
Before performing the detection of the linear pattern, the image data of the first processing target range and the second processing target range in the input image frame are coordinate-converted into contents suitable for image processing. The road surface pattern recognition method according to claim 1.
前記座標変換によって、路面を上方から見下ろした状態で前記路面に相当する水平面上に見える平面上の画像パターン配置を表す情報を生成する
ことを特徴とする請求項2に記載の路面上パターン認識方法。
The road surface pattern recognition method according to claim 2, wherein the coordinate conversion generates information representing an image pattern arrangement on a plane that can be seen on a horizontal plane corresponding to the road surface in a state where the road surface is looked down from above. .
前記複数のパターンエッジの組み合わせとして、画像の明るさが急激に増大する状態を表す第1のエッジと、画像の明るさが急激に減少する状態を表す第2のエッジとが所定距離以内で現れる組み合わせを用いる
ことを特徴とする請求項1に記載の路面上パターン認識方法。
As a combination of the plurality of pattern edges, a first edge representing a state in which the brightness of the image rapidly increases and a second edge representing a state in which the brightness of the image rapidly decreases appear within a predetermined distance. A combination is used. The road surface pattern recognition method according to claim 1, wherein the combination is used.
前記第2の処理対象範囲の位置を決定する際には、前記第1の画像フレームを撮影してから前記第2の画像フレームを撮影するまでの間の車両の移動に伴うパターンの移動距離を算出し、前記線状パターンを前回検出した位置から前記移動距離だけずれた位置を基準位置として使用する
ことを特徴とする請求項1に記載の路面上パターン認識方法。
When determining the position of the second processing target range, the movement distance of the pattern accompanying the movement of the vehicle between the time when the first image frame is captured and the time when the second image frame is captured is determined. The road surface pattern recognition method according to claim 1, wherein a position obtained by calculating and shifting the linear pattern by the movement distance from a previously detected position is used as a reference position.
前記カメラからカラーの画像信号を入力し、信号を変換して前記グレースケールデータを画像フレーム毎に生成する
ことを特徴とする請求項1に記載の路面上パターン認識方法。
The road surface pattern recognition method according to claim 1, wherein a color image signal is input from the camera, the signal is converted, and the grayscale data is generated for each image frame.
車両上に設置されたカメラにより連続的にもしくは間欠的に撮影して得られる画像フレームのデータを含む情報を入力し、前記情報を所定の記録媒体に自動的に記録する機能を有する車両用情報記録装置であって、
前記カメラの出力する画像フレームのデータに基づき、画素毎の濃淡を表す階調情報が含まれる画像フレームのグレースケールデータを入力し、第1の画像フレームの中に第1の処理対象範囲を割り当て、前記第1の処理対象範囲の画像データを所定の方向に走査して特定の線状パターンを表す複数のパターンエッジの組み合わせを検出し、前記線状パターンが1回検出された後で、前記第1の処理対象範囲よりも大きさが小さい第2の処理対象範囲を、検出された前記線状パターンの位置を基準にして決定し、前記第1の画像フレームとは異なる時点で撮影された第2の画像フレームの中で、前記第2の処理対象範囲の画像データを所定の方向に走査して前記線状パターンを検出し、前記線状パターンを複数回連続的に検出した場合に、該当する線状パターンを有効なパターンとして認識する路面上パターン認識部
を備えたことを特徴とする車両用情報記録装置。
Vehicle information having a function of inputting information including image frame data obtained by continuously or intermittently photographing with a camera installed on the vehicle and automatically recording the information on a predetermined recording medium A recording device,
Based on image frame data output from the camera, grayscale data of an image frame including gradation information representing the density of each pixel is input, and a first processing target range is assigned to the first image frame. The image data of the first processing target range is scanned in a predetermined direction to detect a combination of a plurality of pattern edges representing a specific linear pattern, and after the linear pattern is detected once, A second processing target range that is smaller than the first processing target range is determined with reference to the position of the detected linear pattern, and was captured at a time different from the first image frame. In the second image frame, when the linear pattern is detected by scanning the image data in the second processing target range in a predetermined direction, and the linear pattern is continuously detected a plurality of times, The The vehicle information recording apparatus characterized by comprising a road surface pattern recognition unit recognizes a linear pattern as a valid pattern.
JP2011044366A 2011-03-01 2011-03-01 Road surface pattern recognition method and vehicle information recording apparatus Active JP5957182B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011044366A JP5957182B2 (en) 2011-03-01 2011-03-01 Road surface pattern recognition method and vehicle information recording apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011044366A JP5957182B2 (en) 2011-03-01 2011-03-01 Road surface pattern recognition method and vehicle information recording apparatus

Publications (2)

Publication Number Publication Date
JP2012181691A true JP2012181691A (en) 2012-09-20
JP5957182B2 JP5957182B2 (en) 2016-07-27

Family

ID=47012839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011044366A Active JP5957182B2 (en) 2011-03-01 2011-03-01 Road surface pattern recognition method and vehicle information recording apparatus

Country Status (1)

Country Link
JP (1) JP5957182B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226834A (en) * 2016-07-14 2016-12-14 昆山市交通工程试验检测中心有限公司 A kind of vehicular road surface manhole disappearance detection method
CN106339659A (en) * 2015-07-10 2017-01-18 株式会社理光 Road segment detecting method and device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887700A (en) * 1994-09-20 1996-04-02 Fujitsu Ltd Road environment recognition device
JP2003271930A (en) * 2002-03-13 2003-09-26 Denso Corp Lane mark recognizing device
JP2004118757A (en) * 2002-09-30 2004-04-15 Jun Sato Detector for traveling lane on road surface
JP2005346385A (en) * 2004-06-02 2005-12-15 Toyota Motor Corp Line graphic processing device
JP2007052730A (en) * 2005-08-19 2007-03-01 Toyota Motor Corp Running road recognition device
JP2008309529A (en) * 2007-06-12 2008-12-25 Panasonic Corp Navigation system, navigation method and program for navigation
JP2009237781A (en) * 2008-03-26 2009-10-15 Honda Motor Co Ltd Image processor for vehicle, vehicle, and image processing program for vehicle
JP2010170488A (en) * 2009-01-26 2010-08-05 Nissan Motor Co Ltd Lane recognition device, and lane recognition method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887700A (en) * 1994-09-20 1996-04-02 Fujitsu Ltd Road environment recognition device
JP2003271930A (en) * 2002-03-13 2003-09-26 Denso Corp Lane mark recognizing device
JP2004118757A (en) * 2002-09-30 2004-04-15 Jun Sato Detector for traveling lane on road surface
JP2005346385A (en) * 2004-06-02 2005-12-15 Toyota Motor Corp Line graphic processing device
JP2007052730A (en) * 2005-08-19 2007-03-01 Toyota Motor Corp Running road recognition device
JP2008309529A (en) * 2007-06-12 2008-12-25 Panasonic Corp Navigation system, navigation method and program for navigation
JP2009237781A (en) * 2008-03-26 2009-10-15 Honda Motor Co Ltd Image processor for vehicle, vehicle, and image processing program for vehicle
JP2010170488A (en) * 2009-01-26 2010-08-05 Nissan Motor Co Ltd Lane recognition device, and lane recognition method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339659A (en) * 2015-07-10 2017-01-18 株式会社理光 Road segment detecting method and device
JP2017021803A (en) * 2015-07-10 2017-01-26 株式会社リコー Method and device for detecting road boundary object
CN106226834A (en) * 2016-07-14 2016-12-14 昆山市交通工程试验检测中心有限公司 A kind of vehicular road surface manhole disappearance detection method

Also Published As

Publication number Publication date
JP5957182B2 (en) 2016-07-27

Similar Documents

Publication Publication Date Title
CN106611512B (en) Method, device and system for processing starting of front vehicle
US8041079B2 (en) Apparatus and method for detecting obstacle through stereovision
CN106647776B (en) Method and device for judging lane changing trend of vehicle and computer storage medium
JP5867273B2 (en) Approaching object detection device, approaching object detection method, and computer program for approaching object detection
US7250593B2 (en) Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program, and readable recording medium
US7253389B2 (en) Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program and computer-readable recording medium
JP6416293B2 (en) Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car
JP4246766B2 (en) Method and apparatus for locating and tracking an object from a vehicle
CN112349144B (en) Monocular vision-based vehicle collision early warning method and system
CN109997148B (en) Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and computer-readable recording medium
JP2008168811A (en) Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program
JP4940177B2 (en) Traffic flow measuring device
CN109318799B (en) Automobile, automobile ADAS system and control method thereof
CN104380341A (en) Object detection device for area around vehicle
JP5535665B2 (en) Drive recorder
JP5809980B2 (en) Vehicle behavior analysis apparatus and vehicle behavior analysis program
JP2009301495A (en) Image processor and image processing method
JP4826355B2 (en) Vehicle surrounding display device
JP5957182B2 (en) Road surface pattern recognition method and vehicle information recording apparatus
JP7398257B2 (en) Road marking recognition device
JP5012522B2 (en) Roadside boundary surface detection device
CN115965636A (en) Vehicle side view generating method and device and terminal equipment
US20220101025A1 (en) Temporary stop detection device, temporary stop detection system, and recording medium
JP2018073049A (en) Image recognition device, image recognition system, and image recognition method
JP2000003438A (en) Sign recognizing device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141204

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160620

R150 Certificate of patent or registration of utility model

Ref document number: 5957182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350