JPH07302325A - On-vehicle image recognizing device - Google Patents
On-vehicle image recognizing deviceInfo
- Publication number
- JPH07302325A JPH07302325A JP6114269A JP11426994A JPH07302325A JP H07302325 A JPH07302325 A JP H07302325A JP 6114269 A JP6114269 A JP 6114269A JP 11426994 A JP11426994 A JP 11426994A JP H07302325 A JPH07302325 A JP H07302325A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- image data
- traveling state
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、車載用画像認識装置に
係り、特に、走行中の画像を逐次処理する車載用画像認
識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle-mounted image recognition device, and more particularly to a vehicle-mounted image recognition device for sequentially processing running images.
【０００２】[0002]
【従来の技術】近年、ドライバに各種の情報を提供する
ことで運転操作時の負担を軽くするために、車両用の画
像処理装置を利用した白線検出システムや、自動運転シ
ステムが提案されている。従来の画像認識処理装置で
は、まず車載の撮像手段（ビデオカメラ等）により、車
両前方（周囲）の光景を画像情報として取り込む。そし
て、この画像情報を処理しやすい形の信号、例えば、コ
ンピュータにより処理を行うため、撮像手段の画素に対
応したデジタル信号に変換し、この信号に対して各種の
画像認識処理を行う。この画像処理は、道路上の白線の
検出であり、また、前車との車間距離を測定である。こ
のとき、大量のデータを扱うためにメモリを利用する。2. Description of the Related Art In recent years, a white line detection system using an image processing device for a vehicle and an automatic driving system have been proposed in order to lighten the burden of driving by providing various information to the driver. . In a conventional image recognition processing device, first, a vehicle front (surrounding) scene is captured as image information by a vehicle-mounted image pickup means (a video camera or the like). Then, this image information is converted into a digital signal corresponding to the pixel of the image pickup means, for example, a signal in a form that is easily processed, for example, a computer, and various image recognition processes are performed on this signal. This image processing is the detection of the white line on the road and the measurement of the inter-vehicle distance from the preceding vehicle. At this time, the memory is used to handle a large amount of data.
【０００３】車載のカメラにより、従来の画像処理法方
法では、撮像手段により取り込まれた前方視界の情報で
ある全ての情報は、撮像手段の画素に対応したデジタル
信号に変換され、この信号をメモリに記録したり各種の
処理を行っていた。According to the conventional image processing method, the on-vehicle camera converts all the information, which is the information of the forward field of view, captured by the image pickup means into a digital signal corresponding to the pixels of the image pickup means, and stores this signal in the memory. It was recorded in and processed variously.
【０００４】[0004]
【発明が解決しようとする課題】従来の画像処理装置で
は、撮像手段により一度に取り込んだ画像情報（一画面
の情報＝撮像手段の画素数）全てに対してメモリに記憶
させたり、輪郭検出などの画像処理を行っていた。In the conventional image processing apparatus, all the image information captured by the image pickup means at one time (information of one screen = number of pixels of the image pickup means) is stored in the memory, contour detection, etc. Was performing image processing.
【０００５】このため、一度に大量のデータを扱うこと
になり、画像処理を行うのに時間がかかり、また、メモ
リの容量も大きな量を必要となってしまう、という不都
合があった。Therefore, there is a problem that a large amount of data is handled at one time, it takes time to perform image processing, and a large amount of memory is required.
【０００６】[0006]
【発明の目的】本発明は、係る従来例の有する不都合を
改善し、特に、メモリ容量を減少させると共に画像認識
処理を高速に行うことすることのできる車載用画像認識
装置を提供することを、その目的とする。SUMMARY OF THE INVENTION It is an object of the present invention to provide a vehicle-mounted image recognition device capable of improving the disadvantages of the conventional example, and in particular, reducing the memory capacity and performing image recognition processing at high speed. To that end.
【０００７】[0007]
【課題を解決するための手段】請求項１記載の本発明で
は、車両の前方を撮像することで原画像データを生成す
る撮像手段と、この原画像データから画像データを生成
して記憶部に格納する前処理手段と、当該画像データを
記憶部から読み出して画像認識処理を行う画像処理手段
とを備えている。According to the present invention as set forth in claim 1, image pickup means for generating original image data by picking up an image of the front of a vehicle, and image data generated from the original image data are stored in a storage section. It is provided with pre-processing means for storing and image processing means for reading the image data from the storage section and performing image recognition processing.
【０００８】しかも、前処理手段が、車両の進行状態を
検出する走行状態検出部と、原画像データのうち所定領
域の画像データを切り出す画像抽出部とを備え、さら
に、この画像抽出部が、走行状態検出部が検出した車両
の進行状態に応じて画像データの左右方向の一部を切り
出す左右方向抽出機能を備えた、という構成を採ってい
る。Further, the preprocessing means comprises a running state detecting section for detecting the traveling state of the vehicle, and an image extracting section for cutting out image data of a predetermined area from the original image data, and further, this image extracting section, A configuration is provided in which a horizontal direction extraction function is provided to cut out a part of the image data in the horizontal direction according to the traveling state of the vehicle detected by the traveling state detection unit.
【０００９】請求項２記載の本発明では、走行状態検出
部が、車両の進行方向を検出する進行方向検出機能を備
えた、という構成を採っている。According to the second aspect of the present invention, the traveling state detecting unit has a traveling direction detecting function for detecting the traveling direction of the vehicle.
【００１０】請求項３記載の本発明では、走行状態検出
部が、車速を検出する車速検出機能を備えた、という構
成を採っている。According to the third aspect of the present invention, the traveling state detecting section has a vehicle speed detecting function for detecting the vehicle speed.
【００１１】請求項４記載の本発明では、画像抽出部
が、走行状態検出部が検出した車両の進行状態に応じて
画像データの上下方向を切り出す上下方向抽出機能を備
えた、という構成を採っている。According to a fourth aspect of the present invention, the image extraction unit has a vertical extraction function for extracting the vertical direction of the image data according to the traveling state of the vehicle detected by the traveling state detection unit. ing.
【００１２】本発明は、これらの手段によって、上述し
た不都合を解決し、前述の目的を達成しようとするもの
である。The present invention is intended to solve the above-mentioned inconveniences and achieve the above-mentioned objects by these means.
【００１３】[0013]
【作用】請求項１記載の本発明では、車載用画像認識装
置の動作中、撮像手段は、車両の前方を撮像することで
原画像データを生成する。続いて、前処理手段は、この
原画像データから画像データを生成して記憶部に格納す
る。このとき、走行状態検出部は、車両の進行状態を検
出して画像抽出部に出力し、これを受けて画像抽出部
は、原画像データのうち所定領域の画像データを切り出
す。この所定領域の切り出しは、画像抽出部の左右方向
抽出機能によって、走行状態検出部が検出した車両の進
行状態に応じて画像データの左右方向の一部が切り出さ
れる。この切り出した画像データは、切り出した座標と
共に記憶部に格納される。さらに画像処理手段が、切り
出された当該画像データを記憶部から読み出して画像認
識処理を行う。According to the first aspect of the present invention, during operation of the vehicle-mounted image recognition apparatus, the image pickup means images the front of the vehicle to generate original image data. Subsequently, the preprocessing means generates image data from the original image data and stores it in the storage unit. At this time, the traveling state detection unit detects the traveling state of the vehicle and outputs it to the image extraction unit, and in response to this, the image extraction unit cuts out image data of a predetermined area from the original image data. In the clipping of the predetermined area, a part of the image data in the left-right direction is cut out in accordance with the traveling state of the vehicle detected by the running state detection unit by the left-right direction extraction function of the image extraction unit. The cut-out image data is stored in the storage unit together with the cut-out coordinates. Further, the image processing means reads out the cut out image data from the storage unit and performs image recognition processing.
【００１４】請求項２記載の本発明では、走行状態検出
部が、車両の進行状態を検出して画像抽出部に出力し、
これを受けて画像抽出部は、原画像データのうち所定領
域の画像データを切り出す。このとき、走行状態検出部
の進行方向検出機能が、車両の進行方向を検出し、画像
抽出部の左右方向抽出機能は、当該車両の進行方向に応
じて画像認識処理に必要な左右方向の一部を切り出して
いる。According to the second aspect of the present invention, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section,
In response to this, the image extraction unit cuts out image data in a predetermined area from the original image data. At this time, the traveling direction detection function of the traveling state detection unit detects the traveling direction of the vehicle, and the left-right direction extraction function of the image extraction unit detects one of the left-right direction required for the image recognition processing according to the traveling direction of the vehicle. The section is cut out.
【００１５】請求項３記載の本発明では、走行状態検出
部が、車両の進行状態を検出して画像抽出部に出力し、
これを受けて画像抽出部は、原画像データのうち所定領
域の画像データを切り出す。このとき、走行状態検出部
の車速検出機能が、車速を検出し、左右方向抽出機能
は、当該車両の車速に応じて、又は車速及び進行方向に
応じて、画像認識処理に必要な左右方向の一部を切り出
している。According to the third aspect of the present invention, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section,
In response to this, the image extraction unit cuts out image data in a predetermined area from the original image data. At this time, the vehicle speed detection function of the traveling state detection unit detects the vehicle speed, and the left-right direction extraction function detects the left-right direction depending on the vehicle speed of the vehicle or the vehicle speed and the traveling direction. A part is cut out.
【００１６】請求項４記載の本発明では、走行状態検出
部は、車両の進行状態を検出して画像抽出部に出力し、
これを受けて画像抽出部は、原画像データのうち所定領
域の画像データを切り出す。この所定領域の切り出し
は、画像抽出部の上下方向抽出機能によって、走行状態
検出部が検出した車両の進行状態に応じて画像データの
上下方向の一部が切り出される。また、このとき、車両
の進行方向や車速に応じて画像認識処理に必要な左右方
向の一部を切り出すようにしても良い。According to another aspect of the present invention, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section.
In response to this, the image extraction unit cuts out image data in a predetermined area from the original image data. In the cutout of the predetermined area, a part of the image data in the vertical direction is cut out according to the traveling state of the vehicle detected by the running state detection unit by the vertical extraction function of the image extraction unit. Further, at this time, a part in the left-right direction necessary for the image recognition processing may be cut out according to the traveling direction of the vehicle and the vehicle speed.
【００１７】[0017]
【実施例】次に本発明にの一実施例について図面を参照
して説明する。An embodiment of the present invention will be described with reference to the drawings.
【００１８】図１及び図２は、本発明による車載用画像
認識装置の構成を示すブロック図である。車載用画像認
識装置は、車両の前方を撮像することで原画像データ２
ａを生成する撮像手段２と、この原画像データ２ａから
画像データ４ｂを生成して記憶部６に格納する前処理手
段４と、当該画像データ４ｂを記憶部６から読み出して
画像認識処理を行う画像処理手段８とを備えている。1 and 2 are block diagrams showing the construction of an in-vehicle image recognition device according to the present invention. The in-vehicle image recognition device captures the front of the vehicle to capture the original image data 2
The image pickup means 2 for generating a, the preprocessing means 4 for generating the image data 4b from the original image data 2a and storing it in the storage section 6, and the image data 4b for reading the image data 4b from the storage section 6 for image recognition processing. The image processing means 8 is provided.
【００１９】しかも、前処理手段４が、車両の進行状態
を検出する走行状態検出部１０と、原画像データ２ａの
うち所定領域の画像データ４ｂを切り出す画像抽出部１
２とを備え、さらに、この画像抽出部１２が、走行状態
検出部１０が検出した車両の進行状態１０ｃに応じて画
像データの左右方向の一部を切り出す左右方向抽出機能
１４を備えている。Moreover, the preprocessing means 4 includes a running state detecting section 10 for detecting the traveling state of the vehicle, and an image extracting section 1 for cutting out image data 4b in a predetermined area from the original image data 2a.
2, and the image extracting unit 12 further includes a horizontal direction extracting function 14 that cuts out a part of the image data in the horizontal direction according to the traveling state 10c of the vehicle detected by the traveling state detecting unit 10.
【００２０】これを詳細に説明する。撮像手段２は、ビ
デオカメラ等であり、車両に設置され当該車両の前方の
風景を撮影する。前処理手段４は、画像の切り出しのほ
か、ノイズの除去等を行って原画像データを画像処理手
段８が扱いやすい画像データに編集している。画像処理
には種々のものがあるが、ここでは、白線認識処理を例
に説明する。This will be described in detail. The image pickup means 2 is a video camera or the like and is installed in the vehicle to take an image of the scenery in front of the vehicle. The pre-processing means 4 edits the original image data into image data that is easy to handle by the image processing means 8 by cutting out an image and removing noise. Although there are various types of image processing, the white line recognition processing will be described as an example here.
【００２１】白線認識処理は、道路面上に施されたライ
ン（白線）を認識する画像処理であり、前処理手段が出
力する画像データを処理して路面上の白線を識別する認
識処理である。これは、車両の自動運転や、走行中のレ
ーンはみ出し警報、および路上の障害物検出時の検出範
囲の決定等を行う際に必要となるものである。The white line recognition process is an image process for recognizing a line (white line) provided on the road surface, and is a recognition process for processing the image data output by the preprocessing means to identify the white line on the road surface. . This is necessary for automatic driving of a vehicle, warning of a running lane sticking out, determination of a detection range when an obstacle on the road is detected, and the like.
【００２２】この白線認識処理には種々のものが提案さ
れていて、例えば、車輛の進行方向の前方を撮像した画
像情報のうち、車線端が撮像されている所定の領域を決
定し、決定された領域における明度分布をフィルタによ
って強調し、強調された明度分布に基づいて所定の領域
における車線端を検出するものが、特開平３−１９４６
６９号公報によって開示されている。Various types of white line recognition processing have been proposed. For example, of image information obtained by imaging the front of the vehicle in the traveling direction, a predetermined area in which the edge of the lane is imaged is determined and determined. Japanese Patent Laid-Open No. 3-1946 discloses a method in which a luminosity distribution in a predetermined area is emphasized by a filter and a lane edge in a predetermined area is detected based on the emphasized luminosity distribution.
No. 69 publication.
【００２３】また、所定範囲の道路の画像全体の輝度の
平均値を算出するとともに、画像中の輝度の最大値を検
出して、この平均値と最大値とに基づいてしきい値を算
出し、画像の輝度をこのしきい値によって二値化して、
この二値化された結果に基づいて画像中のラインを判定
するものが、特開平４−１５２４０６号号公報によって
開示されている。Further, the average value of the brightness of the entire image of the road in the predetermined range is calculated, the maximum value of the brightness in the image is detected, and the threshold value is calculated based on the average value and the maximum value. , The image brightness is binarized by this threshold,
A method of determining a line in an image based on the binarized result is disclosed in Japanese Patent Application Laid-Open No. 4-152406.
【００２４】このような認識処理では、画像処理による
ラインの認識に際しては、従来より、白線の認識に必要
な画像処理量をできるだけ少なくすることによって、処
理速度を向上できるものであることが要求されている。In such recognition processing, when recognizing a line by image processing, it is conventionally required that the processing speed can be improved by reducing the image processing amount required for recognizing a white line as much as possible. ing.
【００２５】そのため、本実施例では、前処理手段４
が、車両の進行状態を検出する走行状態検出部１０と、
原画像データ２ａのうち所定領域の画像データ４ｂを切
り出す画像抽出部１２とを備えていて、画像抽出部１２
は、車両の進行状態によって画像データの一部を切り出
して、この切り出した画像データ４ｂに基づいて、画像
処理手段８は、ライン認識等の画像認識処理を行ってい
る。Therefore, in this embodiment, the preprocessing means 4
Is a traveling state detection unit 10 that detects the traveling state of the vehicle,
The image extracting unit 12 includes an image extracting unit 12 that cuts out image data 4b in a predetermined area from the original image data 2a.
A part of the image data is cut out according to the traveling state of the vehicle, and the image processing means 8 performs image recognition processing such as line recognition based on the cut out image data 4b.
【００２６】さらに、画像抽出部１２は、走行状態検出
部１０が検出した車両の進行状態１０ｃに応じて画像デ
ータの左右方向の一部を切り出す左右方向抽出機能１４
を備えているため、車両が方向を変換するとき、その変
換先の方向についての画像のみを切り出すことができ、
従って、画像処理手段は、この切り出されたデータ量の
少ない画像データを対象に認識処理をおこなう。Further, the image extracting section 12 extracts a part of the image data in the left-right direction according to the traveling state 10c of the vehicle detected by the running state detecting section 10 in the left-right direction extracting function 14
Therefore, when the vehicle changes the direction, it is possible to cut out only the image of the direction of the conversion destination,
Therefore, the image processing means performs the recognition process on the cut-out image data having a small amount of data.
【００２７】走行状態検出部１０は、車両の進行方向を
検出する進行方向検出機能１６や、車速を検出する車速
検出機能１８を備えていてもよい。この走行状態検出部
１０の構成には種々のものがあるため、以下にこれを分
類して説明する。The traveling state detecting section 10 may have a traveling direction detecting function 16 for detecting the traveling direction of the vehicle and a vehicle speed detecting function 18 for detecting the vehicle speed. Since there are various configurations of the traveling state detection unit 10, they will be classified and described below.
【００２８】図３は撮像手段２が撮像した原画像データ
の一例を示す説明図である。ここでは、撮像手段２は車
両の前方を映すよう固定されていて、通常の走行状態に
おいては図２に示す領域Ａの如くの路面及び風景を撮影
する。画像抽出部１２は、撮像手段により認識できる前
方視界の領域Ａをいくつかの領域に分割する。これは、
走行状態検出部１０が出力する車両の状態を示す信号
（例えば、直進なのか右（左）折中なのか）に基づい
て、種々の信号に応じた領域に限定することで行う。画
像抽出部１２が、このように原画像データの領域を限定
して切り出すため、画像処理手段８で扱うデータ数も領
域の減少に伴って減らすことができる。従って、一度に
行う画像処理の時間を減少させることができ、また、画
像処理に必要なメモリの容量も少なくてすむようにな
る。この分割は、左右方向及び上下方向に行われる。FIG. 3 is an explanatory view showing an example of original image data imaged by the image pickup means 2. Here, the image pickup means 2 is fixed so as to project the front of the vehicle, and in a normal traveling state, images the road surface and landscape such as the area A shown in FIG. The image extraction unit 12 divides the area A of the forward field of view that can be recognized by the image pickup means into several areas. this is,
This is performed by limiting the region corresponding to various signals based on a signal indicating the state of the vehicle output from the traveling state detection unit 10 (for example, whether the vehicle is going straight or right (left) turned). Since the image extraction unit 12 cuts out the area of the original image data in this way, the number of data handled by the image processing unit 8 can be reduced as the area decreases. Therefore, it is possible to reduce the time required for image processing performed at one time, and the memory capacity required for image processing can be reduced. This division is performed in the horizontal direction and the vertical direction.
【００２９】Ａ．（左右方向の分割） Ａ．１．（ウインカ信号を利用する場合）A. (Split in the horizontal direction) A. 1. (When using turn signal)
【００３０】ウインカ信号による制御の例を図４及び図
５を参照して説明する。走行状態検出部１０が、ウイン
カ信号を受信していないときは（ステップＳ１）、画像
抽出部１２は、通常走行とみなして図５に示す領域Ｂの
みを切り出して記憶部６に出力し、画像処理手段８は、
この領域Ｂのみを対象に画像処理を行う（ステップＳ
２）。An example of control by the turn signal will be described with reference to FIGS. 4 and 5. When the traveling state detection unit 10 does not receive the blinker signal (step S1), the image extraction unit 12 regards the traveling as normal traveling, cuts out only the region B shown in FIG. 5, and outputs the region B to the storage unit 6. The processing means 8 is
Image processing is performed only on this area B (step S
2).
【００３１】続いて、ウインカの信号により、右（左）
折を検出したら（ステップＳ１）、車両右（左）前方の
Ｃ（Ｄ）領域についてのみ、メモリ６に記憶し、画像処
理を行う（ステップＳ３，Ｓ４）。これにより、Ａ領域
からＢ（又はＣ，Ｄ）領域に減少した分、画像処理の時
間が短縮でき、記憶部６の容量を少なくすることができ
る。このように、ウインカの信号を利用して車両の走行
状態を判定するため、車両が進行しようとしている領域
の画像に対して白線認識処理をおこなうことができる。Then, by the signal of the blinker, right (left)
When a fold is detected (step S1), only the C (D) area in front of the vehicle right (left) is stored in the memory 6 and image processing is performed (steps S3 and S4). As a result, the time required for image processing can be shortened and the capacity of the storage unit 6 can be reduced by the amount of reduction from the area A to the area B (or C, D). As described above, since the traveling state of the vehicle is determined using the signal of the turn signal, the white line recognition processing can be performed on the image of the area where the vehicle is about to travel.
【００３２】Ａ．２．（ハンドル舵角を利用する場合）A. 2. (When using the steering angle)
【００３３】次に、ハンドル舵角を利用した制御を図６
及び図７を参照して説明する。走行状態検出部１０は、
ハンドル舵角によって（ステップＳ１１）走行状態を左
右両側５段階に分類して画像抽出部に出力する。ハンド
ル舵角が０［度］前後であるとき、画像抽出部１２は、
通常走行とみなして図７に示す領域Ｅのみを切り出して
記憶部６に出力し、画像処理手段８は、この領域Ｂのみ
を対象に画像処理を行う（ステップＳ１２）。Next, the control using the steering angle of the steering wheel will be described with reference to FIG.
And FIG. 7 will be described. The traveling state detection unit 10
According to the steering angle of the steering wheel (step S11), the traveling state is classified into five stages on both the left and right sides and output to the image extraction unit. When the steering angle of the steering wheel is around 0 degrees, the image extraction unit 12
Considering normal traveling, only the area E shown in FIG. 7 is cut out and output to the storage unit 6, and the image processing means 8 performs image processing only on this area B (step S12).
【００３４】続いて、ハンドル舵角が右に１０［度］前
後であるとき、画像抽出部１２は、図７に示す領域Ｆの
みを切り出して記憶部６に出力し、画像処理手段８は、
この領域Ｂのみを対象に画像処理を行う（ステップＳ１
３）。また、ハンドル舵角が右に２０［度］以上である
とき、画像抽出部１２は、図７に示す領域Ｇのみを切り
出して記憶部６に出力し、画像処理手段８は、この領域
Ｂのみを対象に画像処理を行う（ステップＳ１４）。左
方向は同様な処理であるため省略する。このようにして
も、画像処理の時間が短縮でき、記憶部６の容量を少な
くすることができる。Subsequently, when the steering angle of the steering wheel is around 10 [degrees] to the right, the image extraction unit 12 cuts out only the area F shown in FIG. 7 and outputs it to the storage unit 6, and the image processing means 8
Image processing is performed only on this area B (step S1).
3). When the steering angle of the steering wheel is 20 degrees or more to the right, the image extracting unit 12 cuts out only the region G shown in FIG. 7 and outputs it to the storage unit 6, and the image processing unit 8 only the region B. Image processing is performed on the target (step S14). The processing for the left direction is the same, so the description thereof is omitted. Even in this case, the image processing time can be shortened and the capacity of the storage unit 6 can be reduced.
【００３５】ここでは、ハンドル舵角によって５段階の
領域に分割しているが、これをより細分割しても良い。
その場合、ハンドル舵角と車速を組み合わせて処理する
ことによって、舵角と進行方向の関係をより正確にす
る。Although the area is divided into five stages according to the steering angle of the steering wheel, it may be divided into smaller areas.
In that case, the relationship between the steering angle and the traveling direction is made more accurate by processing the steering angle and the vehicle speed in combination.
【００３６】Ａ．３．（ハンドル舵角変化量を利用する
場合）A. 3. (When using the steering wheel steering angle change amount)
【００３７】次に、ハンドル舵角変化量を利用した制御
を図８を参照して説明する。ハンドル舵角変化量は、こ
こではｄθ／ｄｔをハンドル舵角変化量としている。ま
た図８では、右転舵時を正とし、左転舵時を負としてい
る。走行状態検出部１０は、ハンドル舵角変化量によっ
て（ステップＳ２１）走行状態を３段階に分類して画像
抽出部１２に出力する。ハンドル舵角変化量が定数Ｘよ
りも大きいとき、画像抽出部１２は、図５に示したＣ領
域のみを切り出して記憶部６に出力し、画像処理手段８
は、この領域Ｂのみを対象に画像処理を行う（ステップ
Ｓ２３）。この場合、交差点の右折または急な右カーブ
である。反対に、ハンドル舵角変化量が定数−Ｘよりも
小さいときは、Ｄ領域のみを処理する。Next, control using the steering wheel steering angle variation will be described with reference to FIG. For the steering wheel steering angle change amount, here, dθ / dt is used as the steering wheel steering angle change amount. Further, in FIG. 8, the right steering is positive and the left steering is negative. The traveling state detection unit 10 classifies the traveling states into three stages according to the steering wheel steering angle change amount (step S21) and outputs the classified traveling states to the image extraction unit 12. When the steering wheel steering angle change amount is larger than the constant X, the image extraction unit 12 cuts out only the area C shown in FIG. 5 and outputs it to the storage unit 6, and the image processing unit 8
Performs image processing only on this area B (step S23). In this case, it is a right turn at the intersection or a sharp right curve. On the contrary, when the steering wheel steering angle change amount is smaller than the constant -X, only the D region is processed.
【００３８】ハンドル舵角量の絶対値がＸ以下である場
合、画像抽出部１２は通常走行であるとみなして領域Ｂ
のみを切り出している（ステップＳ２２）。When the absolute value of the steering wheel steering angle amount is X or less, the image extraction unit 12 considers that the vehicle is traveling normally, and the area B
Only the part is cut out (step S22).
【００３９】Ａ．４．（ヨーレイトを利用する場合） 車両が、ナビゲーションシステム等の目的で、車体の進
行方向に対して左右の加速度変化であるヨーレイトを検
出するヨーレイト検出器を備えている場合。このヨーレ
イトを利用して処理するようにしても良い。図９では、
右方向へのヨーレイトを正とし、左方向へのヨーレイト
を負としている。走行状態検出部１０は、ヨーレイトに
よって（ステップＳ３１）走行状態を３段階に分類して
画像抽出部１２に出力する。ヨーレイトが定数Ｘよりも
大きいとき、画像抽出部１２は、図５に示したＣ領域の
みを切り出して記憶部６に出力し、画像処理手段８は、
この領域Ｂのみを対象に画像処理を行う（ステップＳ３
３）。この場合、交差点の右折または急な右カーブであ
る。反対に、ヨーレイトが定数−Ｘ以下のときは、Ｄ領
域のみを処理する（ステップＳ３４）。A. 4. (When using yaw rate) The vehicle is equipped with a yaw rate detector that detects yaw rate, which is a lateral acceleration change with respect to the traveling direction of the vehicle body, for the purpose of a navigation system or the like. You may make it process using this yaw rate. In Figure 9,
The yaw rate to the right is positive, and the yaw rate to the left is negative. The traveling state detection unit 10 classifies the traveling states into three stages according to the yaw rate (step S31) and outputs the classified traveling states to the image extraction unit 12. When the yaw rate is larger than the constant X, the image extraction unit 12 cuts out only the C region shown in FIG. 5 and outputs it to the storage unit 6, and the image processing unit 8
Image processing is performed only on this area B (step S3).
3). In this case, it is a right turn at the intersection or a sharp right curve. On the contrary, when the yaw rate is equal to or less than the constant -X, only the D area is processed (step S34).
【００４０】ヨーレイトの絶対値がＸよりも小さい場
合、画像抽出部１２は通常走行であるとみなして領域Ｂ
のみを切り出す（ステップＳ３２）。When the absolute value of the yaw rate is smaller than X, the image extraction unit 12 considers that the vehicle is traveling normally, and the area B
Only cut out (step S32).
【００４１】Ｂ．（上下方向の分割）B. (Divided vertically)
【００４２】次に、上下方向の分割について説明する。
ここでは、画像抽出部１２が、走行状態検出部１０が検
出した車両の進行状態１０ｃに応じて画像データ４ｂの
上下方向を切り出す上下方向抽出機能２０を備えてい
る。車両の走行速度によって、画像処理で必要となる対
象は変更する。即ち、高速になればより前方の画像が必
要になる。そのため本実施例では、種々の手法を用いて
原画像データを上下方向に分割して切り出している。Next, the vertical division will be described.
Here, the image extraction unit 12 includes a vertical direction extraction function 20 that cuts out the vertical direction of the image data 4b according to the traveling state 10c of the vehicle detected by the traveling state detection unit 10. The target required for image processing changes depending on the traveling speed of the vehicle. That is, the higher the speed, the more forward the image becomes necessary. Therefore, in this embodiment, the original image data is vertically divided and cut out using various methods.
【００４３】Ｂ．１．（車速を利用する場合）B. 1. (When using vehicle speed)
【００４４】車速によるによる制御の例を図１０及び図
１１を参照して説明する。走行状態検出部１０は、車速
によって（ステップＳ４１）走行状態を３段階に分類し
て画像抽出部１２に出力する。An example of control according to the vehicle speed will be described with reference to FIGS. 10 and 11. The traveling state detection unit 10 classifies the traveling states into three stages according to the vehicle speed (step S41) and outputs the classified traveling states to the image extraction unit 12.
【００４５】４０［ｋｍ／ｈ］以下である場合、図１１
に示す領域Ｊのみをメモリに記録して、画像処理を行う
（ステップＳ４２）。４０［ｋｍ／ｈ］〜４０［ｋｍ／
ｈ］である場合は、領域Ｈのみをメモリに記録して、画
像処理を行う（ステップＳ４３）。６０［ｋｍ／ｈ］以
上である場合は領域Ｋを対象にしている。When it is 40 [km / h] or less, FIG.
Only the area J shown in is recorded in the memory and image processing is performed (step S42). 40 [km / h] -40 [km /
h], only the area H is recorded in the memory and image processing is performed (step S43). When it is 60 [km / h] or more, the region K is targeted.
【００４６】Ｂ．２．（ギアポジションを利用する場
合）B. 2. (When using the gear position)
【００４７】また、ギアポジションを利用して処理を行
っても良い。ギアポジションを利用すると車両の車速を
予測することとなり、画像処理に必要な時間との対応を
十分に取ることができる。ギアポジションによる処理の
例を図１２示した。ギアポジション（ステップＳ５１）
によって、「１速」であって低速の場合には図１３に示
す領域Ｌをメモリに記憶し（ステップＳ５２）、高速で
あれば領域Ｐを格納している（ステップＳ５５）。Further, the processing may be performed by utilizing the gear position. When the gear position is used, the vehicle speed of the vehicle is predicted, and it is possible to sufficiently deal with the time required for image processing. An example of processing by the gear position is shown in FIG. Gear position (step S51)
Thus, the area L shown in FIG. 13 is stored in the memory when the speed is "1st speed" and low speed (step S52), and the area P is stored when the speed is high (step S55).
【００４８】Ｂ．３．（加速度を利用する場合）B. 3. (When using acceleration)
【００４９】ギアポジションを利用する場合と同様の理
由で、車両の加速度を利用しても良い。この場合の処理
例を図１４に示した。加速度によって３段階に分類し、
一定値（Ｘ）を越えて加速している場合（ステップＳ６
４）、図１１示す領域Ｋのみを切り出し、減速の場合は
領域Ｊを対象に画像処理を行い（ステップＳ６２）、加
速度の絶対値が一定値（Ｘ）以下の場合は領域Ｈのみ記
憶部に格納して画像処理を行っている（ステップＳ６
３）。The acceleration of the vehicle may be used for the same reason as the case of using the gear position. An example of processing in this case is shown in FIG. It is divided into three stages according to acceleration,
When accelerating beyond a certain value (X) (step S6)
4) Only the area K shown in FIG. 11 is cut out, image processing is performed on the area J in the case of deceleration (step S62), and only the area H is stored in the storage unit when the absolute value of the acceleration is equal to or less than the constant value (X). The image is stored and processed (step S6).
3).
【００５０】Ｃ．（左右及び上下方向の分割）C. (Split in the left-right and up-down directions)
【００５１】ここでは、左右又は上下方向のみでなく、
上下方向及び左右方向に分割してより領域を限定してい
る。その手法は、まず、上述した処理工程で左右を分割
した後に、この分割した領域をさらに上下方向に分割し
ている。そのため、前述した画像処理の高速化等の効果
をより大きく享受している。Here, not only in the left and right or up and down directions,
The area is more limited by being divided in the vertical direction and the horizontal direction. In the method, first, the left and right are divided by the above-mentioned processing steps, and then the divided area is further divided in the vertical direction. Therefore, the above-described effects such as speeding up of image processing are greatly enjoyed.
【００５２】その処理は、例えば車速と進行方向とで行
う場合、直進であることから左右方向に領域を切り出
し、その後に６０［ｋｍ／ｈ］であることから上下方向
に切り出す。それによって図１５の領域Ｑのみを記憶部
６に格納する。このように、８０［ｋｍ／ｈ］で右カー
ブであれば領域Ｒを記憶部６に格納している。２０［ｋ
ｍ／ｈ］のとき、右折であれば領域Ｔを、左折であれば
領域Ｓを対象に画像処理をしている。When the processing is performed, for example, in the vehicle speed and the traveling direction, the region is cut out in the left and right direction because it is straight ahead, and is cut out in the up and down direction because it is 60 [km / h]. As a result, only the area Q in FIG. 15 is stored in the storage unit 6. In this way, if the curve is a right curve at 80 [km / h], the region R is stored in the storage unit 6. 20 [k
In the case of [m / h], the image processing is performed on the area T for the right turn and the area S for the left turn.
【００５３】また、画像処理に種類によって画像抽出部
１２は、切り出した画像と共に当該画像データが領域Ａ
における位置を示す座標を画像処理手段８に出力してい
る。画像処理手段８では、これによって処理結果の対象
領域を認識している。Further, depending on the type of image processing, the image extracting unit 12 determines that the image data is the area A together with the cut out image.
The coordinates indicating the position at are output to the image processing means 8. The image processing means 8 recognizes the target area of the processing result by this.
【００５４】[0054]
【発明の効果】本発明は以上のように構成され機能する
ので、これによると、請求項１記載の本発明では、走行
状態検出部が、車両の進行状態を検出して画像抽出部に
出力し、これを受けて画像抽出部が、原画像データのう
ち所定領域の画像データを切り出すため、画像処理に要
する画像データの容量を少なくすることができる。Since the present invention is constructed and functions as described above, according to the present invention, in the present invention according to claim 1, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section. Then, in response to this, the image extraction unit cuts out the image data of the predetermined area from the original image data, so that the capacity of the image data required for the image processing can be reduced.
【００５５】さらに、この所定領域の切り出しが、走行
状態検出部が検出した車両の進行状態に応じて画像デー
タの左右方向の一部が左右方向抽出機能によって切り出
されるため、車両の進行状態に対応した部分の画像デー
タを切り出すことができ、しかも画像抽出部が、この容
量を少なくした画像データを記憶部に格納するため、記
憶部の容量を従来と比較して大幅に少なくすることがで
きる。Further, the cutout of the predetermined area corresponds to the traveling state of the vehicle because a part of the image data in the left-right direction is cut out by the left-right direction extracting function in accordance with the traveling state of the vehicle detected by the traveling state detecting section. It is possible to cut out the image data of the above-mentioned portion, and the image extracting unit stores the image data having the reduced capacity in the storage unit, so that the capacity of the storage unit can be significantly reduced as compared with the conventional case.
【００５６】しかも、画像処理手段が、切り出された当
該画像データを記憶部から読み出して画像認識処理を行
うため、少ない画像データを対象に画像認識処理を行う
ことになり、画像認識処理を高速に行うことができる。
このように、メモリ容量を減少させると共に画像認識処
理を高速に行うことのできる従来にない優れた車載用画
像認識装置を提供することができる。Moreover, since the image processing means reads out the cut out image data from the storage unit and performs the image recognition process, the image recognition process is performed on a small amount of image data, and the image recognition process is performed at high speed. It can be carried out.
As described above, it is possible to provide a vehicle-mounted image recognition device that is not excellent in the related art and that can reduce the memory capacity and perform image recognition processing at high speed.
【００５７】請求項２記載の本発明では、走行状態検出
部の進行方向検出機能が、車両の進行方向を検出し、画
像抽出部の左右方向抽出機能が、当該車両の進行方向に
応じて画像認識処理に必要な左右方向の一部を切り出す
ため、車両の進行方向によっては不必要な部分を除いた
画像を切り出すことができ、そのため、画像認識処理に
必要な部分の画像データのみを切り出すことができる。
このように、メモリ容量を減少させると共に画像認識処
理を高速に行うことのできる従来にない優れた車載用画
像認識装置を提供することができる。According to the second aspect of the present invention, the traveling direction detecting function of the traveling state detecting section detects the traveling direction of the vehicle, and the left-right direction extracting function of the image extracting section displays an image according to the traveling direction of the vehicle. Since a part of the left-right direction necessary for the recognition process is cut out, it is possible to cut out an image excluding unnecessary parts depending on the traveling direction of the vehicle. Therefore, only the image data of the part necessary for the image recognition process can be cut out. You can
As described above, it is possible to provide a vehicle-mounted image recognition device that is not excellent in the related art and that can reduce the memory capacity and perform image recognition processing at high speed.
【００５８】請求項３記載の本発明では、走行状態検出
部の車速検出機能が、車速を検出して、画像抽出部の左
右方向抽出機能が、当該車両の車速に応じて、又は車速
及び進行方向に応じて、画像認識処理に必要な左右方向
の一部を切り出しているため、車速、又は車速及び進行
方向によっては不必要な部分を除いた画像を切り出すこ
とができ、このため、画像認識処理に必要な部分の画像
データのみを切り出すことができる。このように、記憶
容量を減少させると共に画像認識処理を高速に行うこと
のできる従来にない優れた車載用画像認識装置を提供す
ることができる。According to the third aspect of the present invention, the vehicle speed detecting function of the traveling state detecting section detects the vehicle speed, and the horizontal extracting function of the image extracting section detects the vehicle speed or the traveling speed and the traveling speed of the vehicle. Depending on the direction, part of the left-right direction necessary for image recognition processing is cut out, so it is possible to cut out an image excluding unnecessary parts depending on the vehicle speed or the vehicle speed and traveling direction. Only the image data of the part necessary for the processing can be cut out. As described above, it is possible to provide an excellent vehicle-mounted image recognition device that has not been available in the related art and that can reduce the storage capacity and perform image recognition processing at high speed.
【００５９】請求項４記載の本発明では、走行状態検出
部は、車両の進行状態を検出して画像抽出部に出力し、
これを受けて画像抽出部は、原画像データのうち所定領
域の画像データを切り出す。この所定領域の切り出し
は、走行状態検出部が検出した車両の進行状態に応じて
画像データの上下方向の一部が上下方向抽出機能によっ
て切り出されるため、車両の進行状態に対応した部分の
画像データを切り出すことができ、しかも画像抽出部
が、この容量を少なくした画像データを記憶部に格納す
るため、記憶部の容量を従来と比較して大幅に少なくす
ることができる。このように、メモリ容量を減少させる
と共に画像認識処理を高速に行うことのできる従来にな
い優れた車載用画像認識装置を提供することができる。According to the fourth aspect of the present invention, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section,
In response to this, the image extraction unit cuts out image data in a predetermined area from the original image data. This predetermined area is cut out according to the traveling state of the vehicle detected by the traveling state detection unit because a part of the vertical direction of the image data is cut out by the vertical direction extraction function, so the image data of the portion corresponding to the traveling state of the vehicle is extracted. In addition, since the image extracting unit stores the image data having the reduced capacity in the storage unit, the capacity of the storage unit can be significantly reduced as compared with the conventional case. As described above, it is possible to provide a vehicle-mounted image recognition device that is not excellent in the related art and that can reduce the memory capacity and perform image recognition processing at high speed.
【図１】本発明の一実施例の構成を示す機能ブロック図
である。FIG. 1 is a functional block diagram showing the configuration of an embodiment of the present invention.
【図２】一実施例の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of an example.
【図３】図１に示した原画像データの一例を示す説明図
である。FIG. 3 is an explanatory diagram showing an example of the original image data shown in FIG.
【図４】ウインカ信号に基づいた処理の一例を示すフロ
ーチャートである。FIG. 4 is a flowchart showing an example of processing based on a turn signal.
【図５】左右方向の領域分割の一例を示す説明図であ
る。FIG. 5 is an explanatory diagram showing an example of area division in the left-right direction.
【図６】ハンドル舵角に基づいた処理の一例を示すフロ
ーチャートである。。FIG. 6 is a flowchart showing an example of processing based on a steering wheel steering angle. .
【図７】図６に示した処理による領域分割の一例を示す
説明図である。7 is an explanatory diagram showing an example of area division by the processing shown in FIG.
【図８】ハンドル舵角変化量に基づいた処理の一例を示
すフローチャートである。FIG. 8 is a flowchart showing an example of processing based on a steering wheel steering angle change amount.
【図９】ヨーレイトに基づいた処理の一例を示すフロー
チャートである。FIG. 9 is a flowchart showing an example of processing based on yaw rate.
【図１０】車速に基づいた処理の一例を示すフローチャ
ートである。FIG. 10 is a flowchart showing an example of processing based on vehicle speed.
【図１１】上下方向の領域分割の一例を示す説明図であ
る。FIG. 11 is an explanatory diagram showing an example of vertical region division.
【図１２】ギアポジションに基づいた処理の一例を示す
フローチャートである。FIG. 12 is a flowchart showing an example of processing based on a gear position.
【図１３】図１２に示した処理による領域分割の一例を
示す説明図である。13 is an explanatory diagram showing an example of area division by the processing shown in FIG.
【図１４】加速度に基づいた処理の一例を示すフローチ
ャートである。FIG. 14 is a flowchart showing an example of processing based on acceleration.
【図１５】上下及び左右方向の分割処理による領域分割
の一例を示す説明図である。FIG. 15 is an explanatory diagram showing an example of area division by vertical and horizontal division processing.
２ 撮像手段 ２ａ 原画像データ ４ 前処理手段 ４ｂ 画像データ ６ 記憶部 ８ 画像処理手段 １０ 走行状態検出部 １０ｃ 車両の進行状態 １２ 画像抽出部 １４ 左右方向抽出機能 １６ 進行方向検出機能 １８ 車速検出機能 ２０ 上下方向抽出機能 2 Image pickup means 2a Original image data 4 Pre-processing means 4b Image data 6 Storage section 8 Image processing means 10 Running state detection section 10c Vehicle progress state 12 Image extraction section 14 Left-right direction extraction function 16 Moving direction detection function 18 Vehicle speed detection function 20 Vertical direction extraction function
【手続補正書】[Procedure amendment]
【提出日】平成７年３月９日[Submission date] March 9, 1995
【手続補正１】[Procedure Amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】発明の詳細な説明[Name of item to be amended] Detailed explanation of the invention
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【発明の詳細な説明】Detailed Description of the Invention
【０００１】[0001]
【産業上の利用分野】本発明は、車載用画像認識装置に
係り、特に、走行中の画像を逐次処理する車載用画像認
識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle-mounted image recognition device, and more particularly to a vehicle-mounted image recognition device for sequentially processing running images.
【０００２】[0002]
【従来の技術】近年、ドライバに各種の情報を提供する
ことで運転操作時の負担を軽くするために、車両用の画
像処理装置を利用した白線検出システムや、自動運転シ
ステムが提案されている。従来の画像認識処理装置で
は、まず車載の撮像手段（ビデオカメラ等）により、車
両前方（周囲）の光景を画像情報として取り込む。そし
て、この画像情報を処理しやすい形の信号、例えば、コ
ンピュータにより処理を行うため、撮像手段の画素に対
応したデジタル信号に変換し、この信号に対して各種の
画像認識処理を行う。この画像処理は、道路上の白線の
検出であり、また、前車及び隣接車との車間距離を測定
である。このとき、大量のデータを扱うためにメモリを
利用する。2. Description of the Related Art In recent years, a white line detection system using an image processing device for a vehicle and an automatic driving system have been proposed in order to lighten the burden of driving by providing various information to the driver. . In a conventional image recognition processing device, first, a vehicle front (surrounding) scene is captured as image information by a vehicle-mounted image pickup means (a video camera or the like). Then, this image information is converted into a digital signal corresponding to the pixel of the image pickup means, for example, a signal in a form that is easily processed, for example, a computer, and various image recognition processes are performed on this signal. This image processing is the detection of the white line on the road, and the measurement of the distance between the preceding vehicle and the adjacent vehicle . At this time, the memory is used to handle a large amount of data.
【０００３】車載のカメラにより、従来の画像処理法方
法では、撮像手段により取り込まれた前方視界の情報で
ある全ての情報は、撮像手段の画素に対応したデジタル
信号に変換され、この信号をメモリに記録したり各種の
処理を行っていた。According to the conventional image processing method, the on-vehicle camera converts all the information, which is the information of the forward field of view, captured by the image pickup means into a digital signal corresponding to the pixels of the image pickup means, and stores this signal in the memory. It was recorded in and processed variously.
【０００４】[0004]
【発明が解決しようとする課題】従来の画像処理装置で
は、撮像手段により一度に取り込んだ画像情報（一画面
の情報＝撮像手段の画素数）全てに対してメモリに記憶
させたり、輪郭検出などの画像処理を行っていた。In the conventional image processing apparatus, all the image information captured by the image pickup means at one time (information of one screen = number of pixels of the image pickup means) is stored in the memory, contour detection, etc. Was performing image processing.
【０００５】このため、一度に大量のデータを扱うこと
になり、画像処理を行うのに時間がかかり、また、メモ
リの容量も大きな量を必要となってしまう、という不都
合があった。Therefore, there is a problem that a large amount of data is handled at one time, it takes time to perform image processing, and a large amount of memory is required.
【０００６】[0006]
【発明の目的】本発明は、係る従来例の有する不都合を
改善し、特に、メモリ容量を減少させると共に画像認識
処理を高速に行うことすることのできる車載用画像認識
装置を提供することを、その目的とする。SUMMARY OF THE INVENTION It is an object of the present invention to provide a vehicle-mounted image recognition device capable of improving the disadvantages of the conventional example, and in particular, reducing the memory capacity and performing image recognition processing at high speed. To that end.
【０００７】[0007]
【課題を解決するための手段】請求項１記載の本発明で
は、車両の前方を撮像することで原画像データを生成す
る撮像手段と、この原画像データから画像データを生成
して記憶部に格納する前処理手段と、当該画像データを
記憶部から読み出して画像認識処理を行う画像処理手段
とを備えている。According to the present invention as set forth in claim 1, image pickup means for generating original image data by picking up an image of the front of a vehicle, and image data generated from the original image data are stored in a storage section. It is provided with pre-processing means for storing and image processing means for reading the image data from the storage section and performing image recognition processing.
【０００８】しかも、前処理手段が、車両の進行状態を
検出する走行状態検出部と、原画像データのうち所定領
域の画像データを切り出す画像抽出部とを備え、さら
に、この画像抽出部が、走行状態検出部が検出した車両
の進行状態に応じて画像データの左右方向の一部を切り
出す左右方向抽出機能を備えた、という構成を採ってい
る。Further, the preprocessing means comprises a running state detecting section for detecting the traveling state of the vehicle, and an image extracting section for cutting out image data of a predetermined area from the original image data, and further, this image extracting section, A configuration is provided in which a horizontal direction extraction function is provided to cut out a part of the image data in the horizontal direction according to the traveling state of the vehicle detected by the traveling state detection unit.
【０００９】請求項２記載の本発明では、走行状態検出
部が、車両の進行方向を検出する進行方向検出機能を備
えた、という構成を採っている。According to the second aspect of the present invention, the traveling state detecting unit has a traveling direction detecting function for detecting the traveling direction of the vehicle.
【００１０】請求項３記載の本発明では、走行状態検出
部が、車速を検出する車速検出機能を備えた、という構
成を採っている。According to the third aspect of the present invention, the traveling state detecting section has a vehicle speed detecting function for detecting the vehicle speed.
【００１１】請求項４記載の本発明では、画像抽出部
が、走行状態検出部が検出した車両の進行状態に応じて
画像データの上下方向を切り出す上下方向抽出機能を備
えた、という構成を採っている。According to a fourth aspect of the present invention, the image extraction unit has a vertical extraction function for extracting the vertical direction of the image data according to the traveling state of the vehicle detected by the traveling state detection unit. ing.
【００１２】本発明は、これらの手段によって、上述し
た不都合を解決し、前述の目的を達成しようとするもの
である。The present invention is intended to solve the above-mentioned inconveniences and achieve the above-mentioned objects by these means.
【００１３】[0013]
【作用】請求項１記載の本発明では、車載用画像認識装
置の動作中、撮像手段は、車両の前方を撮像することで
原画像データを生成する。続いて、前処理手段は、この
原画像データから画像データを生成して記憶部に格納す
る。このとき、走行状態検出部は、車両の進行状態を検
出して画像抽出部に出力し、これを受けて画像抽出部
は、原画像データのうち所定領域の画像データを切り出
す。この所定領域の切り出しは、画像抽出部の左右方向
抽出機能によって、走行状態検出部が検出した車両の進
行状態に応じて画像データの左右方向の一部が切り出さ
れる。この切り出した画像データは、切り出した座標と
共に記憶部に格納される。さらに画像処理手段が、切り
出された当該画像データを記憶部から読み出して画像認
識処理を行う。According to the first aspect of the present invention, during operation of the vehicle-mounted image recognition apparatus, the image pickup means images the front of the vehicle to generate original image data. Subsequently, the preprocessing means generates image data from the original image data and stores it in the storage unit. At this time, the traveling state detection unit detects the traveling state of the vehicle and outputs it to the image extraction unit, and in response to this, the image extraction unit cuts out image data of a predetermined area from the original image data. In the clipping of the predetermined area, a part of the image data in the left-right direction is cut out in accordance with the traveling state of the vehicle detected by the running state detection unit by the left-right direction extraction function of the image extraction unit. The cut-out image data is stored in the storage unit together with the cut-out coordinates. Further, the image processing means reads out the cut out image data from the storage unit and performs image recognition processing.
【００１４】請求項２記載の本発明では、走行状態検出
部が、車両の進行状態を検出して画像抽出部に出力し、
これを受けて画像抽出部は、原画像データのうち所定領
域の画像データを切り出す。このとき、走行状態検出部
の進行方向検出機能が、車両の進行方向を検出し、画像
抽出部の左右方向抽出機能は、当該車両の進行方向に応
じて画像認識処理に必要な左右方向の一部を切り出して
いる。According to the second aspect of the present invention, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section,
In response to this, the image extraction unit cuts out image data in a predetermined area from the original image data. At this time, the traveling direction detection function of the traveling state detection unit detects the traveling direction of the vehicle, and the left-right direction extraction function of the image extraction unit detects one of the left-right direction required for the image recognition processing according to the traveling direction of the vehicle. The section is cut out.
【００１５】請求項３記載の本発明では、走行状態検出
部が、車両の進行状態を検出して画像抽出部に出力し、
これを受けて画像抽出部は、原画像データのうち所定領
域の画像データを切り出す。このとき、走行状態検出部
の車速検出機能が、車速を検出し、左右方向抽出機能
は、当該車両の車速に応じて、又は車速及び進行方向に
応じて、画像認識処理に必要な左右方向の一部を切り出
している。According to the third aspect of the present invention, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section,
In response to this, the image extraction unit cuts out image data in a predetermined area from the original image data. At this time, the vehicle speed detection function of the traveling state detection unit detects the vehicle speed, and the left-right direction extraction function detects the left-right direction depending on the vehicle speed of the vehicle or the vehicle speed and the traveling direction. A part is cut out.
【００１６】請求項４記載の本発明では、走行状態検出
部は、車両の進行状態を検出して画像抽出部に出力し、
これを受けて画像抽出部は、原画像データのうち所定領
域の画像データを切り出す。この所定領域の切り出し
は、画像抽出部の上下方向抽出機能によって、走行状態
検出部が検出した車両の進行状態に応じて画像データの
上下方向の一部が切り出される。また、このとき、車両
の進行方向や車速に応じて画像認識処理に必要な左右方
向の一部を切り出すようにしても良い。According to another aspect of the present invention, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section.
In response to this, the image extraction unit cuts out image data in a predetermined area from the original image data. In the cutout of the predetermined area, a part of the image data in the vertical direction is cut out according to the traveling state of the vehicle detected by the running state detection unit by the vertical extraction function of the image extraction unit. Further, at this time, a part in the left-right direction necessary for the image recognition processing may be cut out according to the traveling direction of the vehicle and the vehicle speed.
【００１７】[0017]
【実施例】次に本発明にの一実施例について図面を参照
して説明する。An embodiment of the present invention will be described with reference to the drawings.
【００１８】図１及び図２は、本発明による車載用画像
認識装置の構成を示すブロック図である。車載用画像認
識装置は、車両の前方を撮像することで原画像データ２
ａを生成する撮像手段２と、この原画像データ２ａから
画像データ４ｂを生成して記憶部６に格納する前処理手
段４と、当該画像データ４ｂを記憶部６から読み出して
画像認識処理を行う画像処理手段８とを備えている。1 and 2 are block diagrams showing the construction of an in-vehicle image recognition device according to the present invention. The in-vehicle image recognition device captures the front of the vehicle to capture the original image data 2
The image pickup means 2 for generating a, the preprocessing means 4 for generating the image data 4b from the original image data 2a and storing it in the storage section 6, and the image data 4b for reading the image data 4b from the storage section 6 for image recognition processing. The image processing means 8 is provided.
【００１９】しかも、前処理手段４が、車両の進行状態
を検出する走行状態検出部１０と、原画像データ２ａの
うち所定領域の画像データ４ｂを切り出す画像抽出部１
２とを備え、さらに、この画像抽出部１２が、走行状態
検出部１０が検出した車両の進行状態１０ｃに応じて画
像データの左右方向の一部を切り出す左右方向抽出機能
１４を備えている。Moreover, the preprocessing means 4 includes a running state detecting section 10 for detecting the traveling state of the vehicle, and an image extracting section 1 for cutting out image data 4b in a predetermined area from the original image data 2a.
2, and the image extracting unit 12 further includes a horizontal direction extracting function 14 that cuts out a part of the image data in the horizontal direction according to the traveling state 10c of the vehicle detected by the traveling state detecting unit 10.
【００２０】これを詳細に説明する。撮像手段２は、ビ
デオカメラ等であり、車両に設置され当該車両の前方の
風景を撮影する。前処理手段４は、画像の切り出しのほ
か、ノイズの除去等を行って原画像データを画像処理手
段８が扱いやすい画像データに編集している。画像処理
には種々のものがあるが、ここでは、白線認識処理を例
に説明する。This will be described in detail. The image pickup means 2 is a video camera or the like and is installed in the vehicle to take an image of the scenery in front of the vehicle. The pre-processing means 4 edits the original image data into image data that is easy to handle by the image processing means 8 by cutting out an image and removing noise. Although there are various types of image processing, the white line recognition processing will be described as an example here.
【００２１】白線認識処理は、道路面上に施されたライ
ン（白線）を認識する画像処理であり、前処理手段が出
力する画像データを処理して路面上の白線を識別する認
識処理である。これは、車両の自動運転や、走行中のレ
ーンはみ出し警報、および路上の障害物検出時の検出範
囲の決定等を行う際に必要となるものである。The white line recognition process is an image process for recognizing a line (white line) provided on the road surface, and is a recognition process for processing the image data output by the preprocessing means to identify the white line on the road surface. . This is necessary for automatic driving of a vehicle, warning of a running lane sticking out, determination of a detection range when an obstacle on the road is detected, and the like.
【００２２】この白線認識処理には種々のものが提案さ
れていて、例えば、車輛の進行方向の前方を撮像した画
像情報のうち、車線端が撮像されている所定の領域を決
定し、決定された領域における明度分布をフィルタによ
って強調し、強調された明度分布に基づいて所定の領域
における車線端を検出するものが、特開平３−１９４６
６９号公報によって開示されている。Various types of white line recognition processing have been proposed. For example, of image information obtained by imaging the front of the vehicle in the traveling direction, a predetermined area in which the edge of the lane is imaged is determined and determined. Japanese Patent Laid-Open No. 3-1946 discloses a method in which a luminosity distribution in a predetermined area is emphasized by a filter and a lane edge in a predetermined area is detected based on the emphasized luminosity distribution.
No. 69 publication.
【００２３】また、所定範囲の道路の画像全体の輝度の
平均値を算出するとともに、画像中の輝度の最大値を検
出して、この平均値と最大値とに基づいてしきい値を算
出し、画像の輝度をこのしきい値によって二値化して、
この二値化された結果に基づいて画像中のラインを判定
するものが、特開平４−１５２４０６号号公報によって
開示されている。Further, the average value of the brightness of the entire image of the road in the predetermined range is calculated, the maximum value of the brightness in the image is detected, and the threshold value is calculated based on the average value and the maximum value. , The image brightness is binarized by this threshold,
A method for determining a line in an image based on the binarized result is disclosed in Japanese Patent Application Laid-Open No. 4-152406.
【００２４】このような認識処理では、画像処理による
ラインの認識に際しては、従来より、白線の認識に必要
な画像処理量をできるだけ少なくすることによって、処
理速度を向上できるものであることが要求されている。In such recognition processing, when recognizing a line by image processing, it is conventionally required that the processing speed can be improved by reducing the image processing amount required for recognizing a white line as much as possible. ing.
【００２５】そのため、本実施例では、前処理手段４
が、車両の進行状態を検出する走行状態検出部１０と、
原画像データ２ａのうち所定領域の画像データ４ｂを切
り出す画像抽出部１２とを備えていて、画像抽出部１２
は、車両の進行状態によって画像データの一部を切り出
して、この切り出した画像データ４ｂに基づいて、画像
処理手段８は、ライン認識等の画像認識処理を行ってい
る。Therefore, in this embodiment, the preprocessing means 4
Is a traveling state detection unit 10 that detects the traveling state of the vehicle,
The image extracting unit 12 includes an image extracting unit 12 that cuts out image data 4b in a predetermined area from the original image data 2a.
A part of the image data is cut out according to the traveling state of the vehicle, and the image processing means 8 performs image recognition processing such as line recognition based on the cut out image data 4b.
【００２６】さらに、画像抽出部１２は、走行状態検出
部１０が検出した車両の進行状態１０ｃに応じて画像デ
ータの左右方向の一部を切り出す左右方向抽出機能１４
を備えているため、車両が方向を変換するとき、その変
換先の方向についての画像のみを切り出すことができ、
従って、画像処理手段は、この切り出されたデータ量の
少ない画像データを対象に認識処理をおこなう。Further, the image extracting section 12 extracts a part of the image data in the left-right direction according to the traveling state 10c of the vehicle detected by the running state detecting section 10 in the left-right direction extracting function 14
Therefore, when the vehicle changes the direction, it is possible to cut out only the image of the direction of the conversion destination,
Therefore, the image processing means performs the recognition process on the cut-out image data having a small amount of data.
【００２７】走行状態検出部１０は、車両の進行方向を
検出する進行方向検出機能１６や、車速を検出する車速
検出機能１８を備えていてもよい。この走行状態検出部
１０の構成には種々のものがあるため、以下にこれを分
類して説明する。The traveling state detecting section 10 may have a traveling direction detecting function 16 for detecting the traveling direction of the vehicle and a vehicle speed detecting function 18 for detecting the vehicle speed. Since there are various configurations of the traveling state detection unit 10, they will be classified and described below.
【００２８】図３は撮像手段２が撮像した原画像データ
の一例を示す説明図である。ここでは、撮像手段２は車
両の前方を映すよう固定されていて、通常の走行状態に
おいては図２に示す領域Ａの如くの路面及び風景を撮影
する。画像抽出部１２は、撮像手段により認識できる前
方視界の領域Ａをいくつかの領域に分割する。これは、
走行状態検出部１０が出力する車両の状態を示す信号
（例えば、直進なのか右（左）折中なのか）に基づい
て、種々の信号に応じた領域に限定することで行う。画
像抽出部１２が、このように原画像データの領域を限定
して切り出すため、画像処理手段８で扱うデータ数も領
域の減少に伴って減らすことができる。従って、一度に
行う画像処理の時間を減少させることができ、また、画
像処理に必要なメモリの容量も少なくてすむようにな
る。この分割は、左右方向及び上下方向に行われる。FIG. 3 is an explanatory view showing an example of original image data imaged by the image pickup means 2. Here, the image pickup means 2 is fixed so as to project the front of the vehicle, and in a normal traveling state, images the road surface and landscape such as the area A shown in FIG. The image extraction unit 12 divides the area A of the forward field of view that can be recognized by the image pickup means into several areas. this is,
This is performed by limiting the region corresponding to various signals based on a signal indicating the state of the vehicle output from the traveling state detection unit 10 (for example, whether the vehicle is going straight or right (left) turned). Since the image extraction unit 12 cuts out the area of the original image data in this way, the number of data handled by the image processing unit 8 can be reduced as the area decreases. Therefore, it is possible to reduce the time required for image processing performed at one time, and the memory capacity required for image processing can be reduced. This division is performed in the horizontal direction and the vertical direction.
【００２９】Ａ．（左右方向の分割） Ａ．１．（ウインカ信号を利用する場合）A. (Split in the horizontal direction) A. 1. (When using turn signal)
【００３０】ウインカ信号による制御の例を図４及び図
５を参照して説明する。走行状態検出部１０が、ウイン
カ信号を受信していないときは（ステップＳ１）、画像
抽出部１２は、通常走行とみなして図５に示す領域Ｂの
みを切り出して記憶部６に出力し、画像処理手段８は、
この領域Ｂのみを対象に画像処理を行う（ステップＳ
２）。An example of control by the turn signal will be described with reference to FIGS. 4 and 5. When the traveling state detection unit 10 does not receive the blinker signal (step S1), the image extraction unit 12 regards the traveling as normal traveling, cuts out only the region B shown in FIG. 5, and outputs the region B to the storage unit 6. The processing means 8 is
Image processing is performed only on this area B (step S
2).
【００３１】続いて、ウインカの信号により、右（左）
折を検出したら（ステップＳ１）、車両右（左）前方の
Ｃ（Ｄ）領域についてのみ、メモリ６に記憶し、画像処
理を行う（ステップＳ３，Ｓ４）。これにより、Ａ領域
からＢ（又はＣ，Ｄ）領域に減少した分、画像処理の時
間が短縮でき、記憶部６の容量を少なくすることができ
る。このように、ウインカの信号を利用して車両の走行
状態を判定するため、車両が進行しようとしている領域
の画像に対して白線認識処理をおこなうことができる。Then, by the signal of the blinker, right (left)
When a fold is detected (step S1), only the C (D) area in front of the vehicle right (left) is stored in the memory 6 and image processing is performed (steps S3 and S4). As a result, the time required for image processing can be shortened and the capacity of the storage unit 6 can be reduced by the amount of reduction from the area A to the area B (or C, D). As described above, since the traveling state of the vehicle is determined using the signal of the turn signal, the white line recognition processing can be performed on the image of the area where the vehicle is about to travel.
【００３２】Ａ．２．（ハンドル舵角を利用する場合）A. 2. (When using the steering angle)
【００３３】次に、ハンドル舵角を利用した制御を図６
及び図７を参照して説明する。走行状態検出部１０は、
ハンドル舵角によって（ステップＳ１１）走行状態を左
右両側５段階に分類して画像抽出部に出力する。ハンド
ル舵角が０［度］前後であるとき、画像抽出部１２は、
通常走行とみなして図７に示す領域Ｅのみを切り出して
記憶部６に出力し、画像処理手段８は、この領域Ｂのみ
を対象に画像処理を行う（ステップＳ１２）。Next, the control using the steering angle of the steering wheel will be described with reference to FIG.
And FIG. 7 will be described. The traveling state detection unit 10
According to the steering angle of the steering wheel (step S11), the traveling state is classified into five stages on both the left and right sides and output to the image extraction unit. When the steering angle of the steering wheel is around 0 degrees, the image extraction unit 12
Considering normal traveling, only the area E shown in FIG. 7 is cut out and output to the storage unit 6, and the image processing means 8 performs image processing only on this area B (step S12).
【００３４】続いて、ハンドル舵角が右に１０［度］前
後であるとき、画像抽出部１２は、図７に示す領域Ｆの
みを切り出して記憶部６に出力し、画像処理手段８は、
この領域Ｂのみを対象に画像処理を行う（ステップＳ１
３）。また、ハンドル舵角が右に２０［度］以上である
とき、画像抽出部１２は、図７に示す領域Ｇのみを切り
出して記憶部６に出力し、画像処理手段８は、この領域
Ｇのみを対象に画像処理を行う（ステップＳ１４）。左
方向は同様な処理であるため省略する。このようにして
も、画像処理の時間が短縮でき、記憶部６の容量を少な
くすることができる。Subsequently, when the steering angle of the steering wheel is around 10 [degrees] to the right, the image extraction unit 12 cuts out only the area F shown in FIG. 7 and outputs it to the storage unit 6, and the image processing means 8
Image processing is performed only on this area B (step S1).
3). Further, when the steering angle of the steering wheel is 20 [degrees] or more to the right, the image extraction unit 12 cuts out only the area G shown in FIG. 7 and outputs it to the storage unit 6, and the image processing unit 8 uses this area.
Image processing is performed only on G (step S14). The processing for the left direction is the same, so the description thereof is omitted. Even in this case, the image processing time can be shortened and the capacity of the storage unit 6 can be reduced.
【００３５】ここでは、ハンドル舵角によって５段階の
領域に分割しているが、これをより細分割しても良い。
その場合、ハンドル舵角と車速を組み合わせて処理する
ことによって、舵角と進行方向の関係をより正確にす
る。Although the area is divided into five stages according to the steering angle of the steering wheel, it may be divided into smaller areas.
In that case, the relationship between the steering angle and the traveling direction is made more accurate by processing the steering angle and the vehicle speed in combination.
【００３６】Ａ．３．（ハンドル舵角変化量を利用する
場合）A. 3. (When using the steering wheel steering angle change amount)
【００３７】次に、ハンドル舵角変化量を利用した制御
を図８を参照して説明する。ハンドル舵角変化量は、こ
こではｄθ／ｄｔをハンドル舵角変化量としている。ま
た図８では、右転舵時を正とし、左転舵時を負としてい
る。走行状態検出部１０は、ハンドル舵角変化量によっ
て（ステップＳ２１）走行状態を３段階に分類して画像
抽出部１２に出力する。ハンドル舵角変化量が定数Ｘよ
りも大きいとき、画像抽出部１２は、図５に示したＣ領
域のみを切り出して記憶部６に出力し、画像処理手段８
は、この領域Ｃのみを対象に画像処理を行う（ステップ
Ｓ２３）。この場合、交差点の右折または急な右カーブ
である。反対に、ハンドル舵角変化量が定数−Ｘよりも
小さいときは、Ｄ領域のみを処理する。Next, control using the steering wheel steering angle variation will be described with reference to FIG. For the steering wheel steering angle change amount, here, dθ / dt is used as the steering wheel steering angle change amount. Further, in FIG. 8, the right steering is positive and the left steering is negative. The traveling state detection unit 10 classifies the traveling states into three stages according to the steering wheel steering angle change amount (step S21) and outputs the classified traveling states to the image extraction unit 12. When the steering wheel steering angle change amount is larger than the constant X, the image extraction unit 12 cuts out only the area C shown in FIG. 5 and outputs it to the storage unit 6, and the image processing unit 8
Performs image processing on only this area C (step S23). In this case, it is a right turn at the intersection or a sharp right curve. On the contrary, when the steering wheel steering angle change amount is smaller than the constant -X, only the D region is processed.
【００３８】ハンドル舵角量の絶対値がＸ以下である場
合、画像抽出部１２は通常走行であるとみなして領域Ｂ
のみを切り出している（ステップＳ２２）。When the absolute value of the steering wheel steering angle amount is X or less, the image extraction unit 12 considers that the vehicle is traveling normally, and the area B
Only the part is cut out (step S22).
【００３９】Ａ．４．（ヨーレイトを利用する場合） 車両が、ナビゲーションシステム等の目的で、車体の進
行方向に対して左右の加速度変化であるヨーレイトを検
出するヨーレイト検出器を備えている場合。このヨーレ
イトを利用して処理するようにしても良い。図９では、
右方向へのヨーレイトを正とし、左方向へのヨーレイト
を負としている。走行状態検出部１０は、ヨーレイトに
よって（ステップＳ３１）走行状態を３段階に分類して
画像抽出部１２に出力する。ヨーレイトが定数Ｘよりも
大きいとき、画像抽出部１２は、図５に示したＣ領域の
みを切り出して記憶部６に出力し、画像処理手段８は、
この領域Ｃのみを対象に画像処理を行う（ステップＳ３
３）。この場合、交差点の右折または急な右カーブであ
る。反対に、ヨーレイトが定数−Ｘ以下のときは、Ｄ領
域のみを処理する（ステップＳ３４）。A. 4. (When using yaw rate) The vehicle is equipped with a yaw rate detector that detects yaw rate, which is a lateral acceleration change with respect to the traveling direction of the vehicle body, for the purpose of a navigation system or the like. You may make it process using this yaw rate. In Figure 9,
The yaw rate to the right is positive, and the yaw rate to the left is negative. The traveling state detection unit 10 classifies the traveling states into three stages according to the yaw rate (step S31) and outputs the classified traveling states to the image extraction unit 12. When the yaw rate is larger than the constant X, the image extraction unit 12 cuts out only the C region shown in FIG. 5 and outputs it to the storage unit 6, and the image processing unit 8
Image processing is performed only on this area C (step S3).
3). In this case, it is a right turn at the intersection or a sharp right curve. On the contrary, when the yaw rate is equal to or less than the constant -X, only the D area is processed (step S34).
【００４０】ヨーレイトの絶対値がＸよりも小さい場
合、画像抽出部１２は通常走行であるとみなして領域Ｂ
のみを切り出す（ステップＳ３２）。When the absolute value of the yaw rate is smaller than X, the image extraction unit 12 considers that the vehicle is traveling normally, and the area B
Only cut out (step S32).
【００４１】Ｂ．（上下方向の分割）B. (Divided vertically)
【００４２】次に、上下方向の分割について説明する。
ここでは、画像抽出部１２が、走行状態検出部１０が検
出した車両の進行状態１０ｃに応じて画像データ４ｂの
上下方向を切り出す上下方向抽出機能２０を備えてい
る。車両の走行速度によって、画像処理で必要となる対
象は変更する。即ち、高速になればより前方の画像が必
要になる。そのため本実施例では、種々の手法を用いて
原画像データを上下方向に分割して切り出している。Next, the vertical division will be described.
Here, the image extraction unit 12 includes a vertical direction extraction function 20 that cuts out the vertical direction of the image data 4b according to the traveling state 10c of the vehicle detected by the traveling state detection unit 10. The target required for image processing changes depending on the traveling speed of the vehicle. That is, the higher the speed, the more forward the image becomes necessary. Therefore, in this embodiment, the original image data is vertically divided and cut out using various methods.
【００４３】Ｂ．１．（車速を利用する場合）B. 1. (When using vehicle speed)
【００４４】車速によるによる制御の例を図１０及び図
１１を参照して説明する。走行状態検出部１０は、車速
によって（ステップＳ４１）走行状態を３段階に分類し
て画像抽出部１２に出力する。An example of control according to the vehicle speed will be described with reference to FIGS. 10 and 11. The traveling state detection unit 10 classifies the traveling states into three stages according to the vehicle speed (step S41) and outputs the classified traveling states to the image extraction unit 12.
【００４５】４０［ｋｍ／ｈ］以下である場合、図１１
に示す領域Ｊのみをメモリに記録して、画像処理を行う
（ステップＳ４２）。４０［ｋｍ／ｈ］〜６０［ｋｍ／
ｈ］である場合は、領域Ｈのみをメモリに記録して、画
像処理を行う（ステップＳ４３）。６０［ｋｍ／ｈ］以
上である場合は領域Ｋを対象にしている。When it is 40 [km / h] or less, FIG.
Only the area J shown in is recorded in the memory and image processing is performed (step S42). 40 [km / h] to 60 [km /
h], only the area H is recorded in the memory and image processing is performed (step S43). When it is 60 [km / h] or more, the region K is targeted.
【００４６】Ｂ．２．（ギアポジションを利用する場
合）B. 2. (When using the gear position)
【００４７】また、ギアポジションを利用して処理を行
っても良い。ギアポジションを利用すると車両の車速を
予測することとなり、画像処理に必要な時間との対応を
十分に取ることができる。ギアポジションによる処理の
例を図１２示した。ギアポジション（ステップＳ５１）
によって、「１速」であって低速の場合には図１３に示
す領域Ｌをメモリに記憶し（ステップＳ５２）、高速で
あれば領域Ｐを格納している（ステップＳ５５）。Further, the processing may be performed by utilizing the gear position. When the gear position is used, the vehicle speed of the vehicle is predicted, and it is possible to sufficiently deal with the time required for image processing. An example of processing by the gear position is shown in FIG. Gear position (step S51)
Thus, the area L shown in FIG. 13 is stored in the memory when the speed is "1st speed" and low speed (step S52), and the area P is stored when the speed is high (step S55).
【００４８】Ｂ．３．（加速度を利用する場合）B. 3. (When using acceleration)
【００４９】ギアポジションを利用する場合と同様の理
由で、車両の加速度を利用しても良い。この場合の処理
例を図１４に示した。加速度によって３段階に分類し、
一定値（Ｘ）を越えて加速している場合（ステップＳ６
４）、図１１示す領域Ｋのみを切り出し、減速の場合は
領域Ｊを対象に画像処理を行い（ステップＳ６２）、加
速度の絶対値が一定値（Ｘ）以下の場合は領域Ｈのみ記
憶部に格納して画像処理を行っている（ステップＳ６
３）。The acceleration of the vehicle may be used for the same reason as the case of using the gear position. An example of processing in this case is shown in FIG. It is divided into three stages according to acceleration,
When accelerating beyond a certain value (X) (step S6)
4) Only the area K shown in FIG. 11 is cut out, image processing is performed on the area J in the case of deceleration (step S62), and only the area H is stored in the storage unit when the absolute value of the acceleration is equal to or less than the constant value (X). The image is stored and processed (step S6).
3).
【００５０】Ｃ．（左右及び上下方向の分割）C. (Split in the left-right and up-down directions)
【００５１】ここでは、左右又は上下方向のみでなく、
上下方向及び左右方向に分割してより領域を限定してい
る。その手法は、まず、上述した処理工程で左右を分割
した後に、この分割した領域をさらに上下方向に分割し
ている。そのため、前述した画像処理の高速化等の効果
をより大きく享受している。Here, not only in the left and right or up and down directions,
The area is more limited by being divided in the vertical direction and the horizontal direction. In the method, first, the left and right are divided by the above-mentioned processing steps, and then the divided area is further divided in the vertical direction. Therefore, the above-described effects such as speeding up of image processing are greatly enjoyed.
【００５２】その処理は、例えば車速と進行方向とで行
う場合、直進であることから左右方向に領域を切り出
し、その後に６０［ｋｍ／ｈ］であることから上下方向
に切り出す。それによって図１５の領域Ｑのみを記憶部
６に格納する。このように、８０［ｋｍ／ｈ］で右カー
ブであれば領域Ｒを記憶部６に格納している。２０［ｋ
ｍ／ｈ］のとき、右折であれば領域Ｔを、左折であれば
領域Ｓを対象に画像処理をしている。When the processing is performed, for example, in the vehicle speed and the traveling direction, the region is cut out in the left and right direction because it is straight ahead, and is cut out in the up and down direction because it is 60 [km / h]. As a result, only the area Q in FIG. 15 is stored in the storage unit 6. In this way, if the curve is a right curve at 80 [km / h], the region R is stored in the storage unit 6. 20 [k
In the case of [m / h], the image processing is performed on the area T for the right turn and the area S for the left turn.
【００５３】また、画像処理に種類によって画像抽出部
１２は、切り出した画像と共に当該画像データが領域Ａ
における位置を示す座標を画像処理手段８に出力してい
る。画像処理手段８では、これによって処理結果の対象
領域を認識している。Further, depending on the type of image processing, the image extracting unit 12 determines that the image data is the area A together with the cut out image.
The coordinates indicating the position at are output to the image processing means 8. The image processing means 8 recognizes the target area of the processing result by this.
【００５４】[0054]
【発明の効果】本発明は以上のように構成され機能する
ので、これによると、請求項１記載の本発明では、走行
状態検出部が、車両の進行状態を検出して画像抽出部に
出力し、これを受けて画像抽出部が、原画像データのう
ち所定領域の画像データを切り出すため、画像処理に要
する画像データの容量を少なくすることができる。Since the present invention is constructed and functions as described above, according to the present invention, in the present invention according to claim 1, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section. Then, in response to this, the image extraction unit cuts out the image data of the predetermined area from the original image data, so that the capacity of the image data required for the image processing can be reduced.
【００５５】さらに、この所定領域の切り出しが、走行
状態検出部が検出した車両の進行状態に応じて画像デー
タの左右方向の一部が左右方向抽出機能によって切り出
されるため、車両の進行状態に対応した部分の画像デー
タを切り出すことができ、しかも画像抽出部が、この容
量を少なくした画像データを記憶部に格納するため、記
憶部の容量を従来と比較して大幅に少なくすることがで
きる。Further, the cutout of the predetermined area corresponds to the traveling state of the vehicle because a part of the image data in the left-right direction is cut out by the left-right direction extracting function in accordance with the traveling state of the vehicle detected by the traveling state detecting section. It is possible to cut out the image data of the above-mentioned portion, and the image extracting unit stores the image data having the reduced capacity in the storage unit, so that the capacity of the storage unit can be significantly reduced as compared with the conventional case.
【００５６】しかも、画像処理手段が、切り出された当
該画像データを記憶部から読み出して画像認識処理を行
うため、少ない画像データを対象に画像認識処理を行う
ことになり、画像認識処理を高速に行うことができる。
このように、メモリ容量を減少させると共に画像認識処
理を高速に行うことのできる従来にない優れた車載用画
像認識装置を提供することができる。Moreover, since the image processing means reads out the cut out image data from the storage unit and performs the image recognition process, the image recognition process is performed on a small amount of image data, and the image recognition process is performed at high speed. It can be carried out.
As described above, it is possible to provide a vehicle-mounted image recognition device that is not excellent in the related art and that can reduce the memory capacity and perform image recognition processing at high speed.
【００５７】請求項２記載の本発明では、走行状態検出
部の進行方向検出機能が、車両の進行方向を検出し、画
像抽出部の左右方向抽出機能が、当該車両の進行方向に
応じて画像認識処理に必要な左右方向の一部を切り出す
ため、車両の進行方向によっては不必要な部分を除いた
画像を切り出すことができ、そのため、画像認識処理に
必要な部分の画像データのみを切り出すことができる。
このように、メモリ容量を減少させると共に画像認識処
理を高速に行うことのできる従来にない優れた車載用画
像認識装置を提供することができる。According to the second aspect of the present invention, the traveling direction detecting function of the traveling state detecting section detects the traveling direction of the vehicle, and the left-right direction extracting function of the image extracting section displays an image according to the traveling direction of the vehicle. Since a part of the left-right direction necessary for the recognition process is cut out, it is possible to cut out an image excluding unnecessary parts depending on the traveling direction of the vehicle. Therefore, only the image data of the part necessary for the image recognition process can be cut out. You can
As described above, it is possible to provide a vehicle-mounted image recognition device that is not excellent in the related art and that can reduce the memory capacity and perform image recognition processing at high speed.
【００５８】請求項３記載の本発明では、走行状態検出
部の車速検出機能が、車速を検出して、画像抽出部の左
右方向抽出機能が、当該車両の車速に応じて、又は車速
及び進行方向に応じて、画像認識処理に必要な左右方向
の一部を切り出しているため、車速、又は車速及び進行
方向によっては不必要な部分を除いた画像を切り出すこ
とができ、このため、画像認識処理に必要な部分の画像
データのみを切り出すことができる。このように、記憶
容量を減少させると共に画像認識処理を高速に行うこと
のできる従来にない優れた車載用画像認識装置を提供す
ることができる。According to the third aspect of the present invention, the vehicle speed detecting function of the traveling state detecting section detects the vehicle speed, and the horizontal extracting function of the image extracting section detects the vehicle speed or the traveling speed and the traveling speed of the vehicle. Depending on the direction, part of the left-right direction necessary for image recognition processing is cut out, so it is possible to cut out an image excluding unnecessary parts depending on the vehicle speed or the vehicle speed and traveling direction. Only the image data of the part necessary for the processing can be cut out. As described above, it is possible to provide an excellent vehicle-mounted image recognition device that has not been available in the related art and that can reduce the storage capacity and perform image recognition processing at high speed.
【００５９】請求項４記載の本発明では、走行状態検出
部は、車両の進行状態を検出して画像抽出部に出力し、
これを受けて画像抽出部は、原画像データのうち所定領
域の画像データを切り出す。この所定領域の切り出し
は、走行状態検出部が検出した車両の進行状態に応じて
画像データの上下方向の一部が上下方向抽出機能によっ
て切り出されるため、車両の進行状態に対応した部分の
画像データを切り出すことができ、しかも画像抽出部
が、この容量を少なくした画像データを記憶部に格納す
るため、記憶部の容量を従来と比較して大幅に少なくす
ることができる。このように、メモリ容量を減少させる
と共に画像認識処理を高速に行うことのできる従来にな
い優れた車載用画像認識装置を提供することができる。According to the fourth aspect of the present invention, the traveling state detecting section detects the traveling state of the vehicle and outputs it to the image extracting section,
In response to this, the image extraction unit cuts out image data in a predetermined area from the original image data. This predetermined area is cut out according to the traveling state of the vehicle detected by the traveling state detection unit because a part of the vertical direction of the image data is cut out by the vertical direction extraction function, so the image data of the portion corresponding to the traveling state of the vehicle is extracted. In addition, since the image extracting unit stores the image data having the reduced capacity in the storage unit, the capacity of the storage unit can be significantly reduced as compared with the conventional case. As described above, it is possible to provide a vehicle-mounted image recognition device that is not excellent in the related art and that can reduce the memory capacity and perform image recognition processing at high speed.
【手続補正２】[Procedure Amendment 2]
【補正対象書類名】図面[Document name to be corrected] Drawing
【補正対象項目名】図２[Name of item to be corrected] Figure 2
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【図２】 [Fig. 2]
【手続補正３】[Procedure 3]
【補正対象書類名】図面[Document name to be corrected] Drawing
【補正対象項目名】図６[Name of item to be corrected] Figure 6
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【図６】 [Figure 6]
【手続補正４】[Procedure amendment 4]
【補正対象書類名】図面[Document name to be corrected] Drawing
【補正対象項目名】図１０[Name of item to be corrected] Fig. 10
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【図１０】 [Figure 10]
【手続補正５】[Procedure Amendment 5]
【補正対象書類名】図面[Document name to be corrected] Drawing
【補正対象項目名】図１４[Name of item to be corrected] Fig. 14
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【図１４】 FIG. 14
Claims (4)
タを生成する撮像手段と、この原画像データから画像デ
ータを生成して記憶部に格納する前処理手段と、当該画
像データを前記記憶部から読み出して画像認識処理を行
う画像処理手段とを備えた画像認識装置において、 前記前処理手段が、車両の進行状態を検出する走行状態
検出部と、前記原画像データのうち所定領域の画像デー
タを切り出す画像抽出部とを備え、 この画像抽出部が、前記走行状態検出部が検出した車両
の進行状態に応じて画像データの左右方向の一部を切り
出す左右方向抽出機能を備えたことを特徴とする車載用
画像認識装置。1. An image pickup means for generating original image data by picking up an image of a front of a vehicle, a preprocessing means for generating image data from the original image data and storing the image data in a storage unit, and the image data stored in the storage means. In an image recognition apparatus including image processing means for performing image recognition processing by reading out from a unit, the pre-processing means detects a traveling state of a vehicle and an image of a predetermined area of the original image data. An image extraction unit that cuts out data, and the image extraction unit has a left-right direction extraction function that cuts out a part of the image data in the left-right direction according to the traveling state of the vehicle detected by the traveling state detection unit. Characteristic vehicle-mounted image recognition device.
を検出する進行方向検出機能を備えたことを特徴とする
請求項１記載の車載用画像認識装置。2. The vehicle-mounted image recognition device according to claim 1, wherein the traveling state detection unit has a traveling direction detection function for detecting a traveling direction of the vehicle.
車速検出機能を備えたことを特徴とする請求項１，２記
載の車載用画像認識装置。3. The vehicle-mounted image recognition device according to claim 1, wherein the traveling state detection unit has a vehicle speed detection function for detecting a vehicle speed.
が検出した車両の進行状態に応じて画像データの上下方
向の一部を切り出す上下方向抽出機能を備えたことを特
徴とする請求項１，２，及び３記載の車載用画像認識装
置。4. The image extracting unit has a vertical direction extracting function for cutting out a part of the image data in the vertical direction according to the traveling state of the vehicle detected by the traveling state detecting unit. The in-vehicle image recognition device described in 1, 2, and 3.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6114269A JPH07302325A (en) | 1994-04-30 | 1988-03-26 | On-vehicle image recognizing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6114269A JPH07302325A (en) | 1994-04-30 | 1988-03-26 | On-vehicle image recognizing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07302325A true JPH07302325A (en) | 1995-11-14 |
Family
ID=14633588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6114269A Withdrawn JPH07302325A (en) | 1994-04-30 | 1988-03-26 | On-vehicle image recognizing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07302325A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09142209A (en) * | 1995-11-17 | 1997-06-03 | Yazaki Corp | Monitor device for vehicular peripheral circumference |
| WO2006121087A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| WO2006121088A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| JP2006331164A (en) * | 2005-05-27 | 2006-12-07 | Matsushita Electric Ind Co Ltd | Image processing apparatus |
| WO2009157446A1 (en) * | 2008-06-24 | 2009-12-30 | トヨタ自動車株式会社 | Blind spot display device and driving support device |
| JP2014143547A (en) * | 2013-01-23 | 2014-08-07 | Denso Corp | Exposure controller |
| WO2015163078A1 (en) * | 2014-04-24 | 2015-10-29 | 日立オートモティブシステムズ株式会社 | External-environment-recognizing apparatus |
| JP6324649B1 (en) * | 2017-10-25 | 2018-05-16 | 楽天株式会社 | Detection system, detection method, and program |
| JP2019046434A (en) * | 2017-08-29 | 2019-03-22 | 株式会社東芝 | System and method for image motion compensation |
| WO2020121758A1 (en) * | 2018-12-12 | 2020-06-18 | 日立オートモティブシステムズ株式会社 | Imaging unit control device |
-
1988
- 1988-03-26 JP JP6114269A patent/JPH07302325A/en not_active Withdrawn
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09142209A (en) * | 1995-11-17 | 1997-06-03 | Yazaki Corp | Monitor device for vehicular peripheral circumference |
| WO2006121087A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| WO2006121088A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| JP2006331164A (en) * | 2005-05-27 | 2006-12-07 | Matsushita Electric Ind Co Ltd | Image processing apparatus |
| WO2009157446A1 (en) * | 2008-06-24 | 2009-12-30 | トヨタ自動車株式会社 | Blind spot display device and driving support device |
| US8339252B2 (en) | 2008-06-24 | 2012-12-25 | Toyota Jidosha Kabushiki Kaisha | Blind spot display device and driving support device |
| JP2014143547A (en) * | 2013-01-23 | 2014-08-07 | Denso Corp | Exposure controller |
| JP2015210592A (en) * | 2014-04-24 | 2015-11-24 | 日立オートモティブシステムズ株式会社 | Outside world recognition apparatus |
| WO2015163078A1 (en) * | 2014-04-24 | 2015-10-29 | 日立オートモティブシステムズ株式会社 | External-environment-recognizing apparatus |
| US10210400B2 (en) | 2014-04-24 | 2019-02-19 | Hitachi Automotive Systems, Ltd. | External-environment-recognizing apparatus |
| JP2019046434A (en) * | 2017-08-29 | 2019-03-22 | 株式会社東芝 | System and method for image motion compensation |
| US10397479B2 (en) | 2017-08-29 | 2019-08-27 | Kabushiki Kaisha Toshiba | System and method for motion compensation in images |
| JP6324649B1 (en) * | 2017-10-25 | 2018-05-16 | 楽天株式会社 | Detection system, detection method, and program |
| WO2019082301A1 (en) * | 2017-10-25 | 2019-05-02 | 楽天株式会社 | Unmanned aircraft control system, unmanned aircraft control method, and program |
| WO2020121758A1 (en) * | 2018-12-12 | 2020-06-18 | 日立オートモティブシステムズ株式会社 | Imaging unit control device |
| CN113170057A (en) * | 2018-12-12 | 2021-07-23 | 日立安斯泰莫株式会社 | Image pickup unit control device |
| JPWO2020121758A1 (en) * | 2018-12-12 | 2021-10-14 | 日立Astemo株式会社 | Imaging unit control device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3925488B2 (en) | Image processing apparatus for vehicle | |
| JP3239521B2 (en) | Mobile object recognition device | |
| WO2011048718A1 (en) | Sign recognition device and sign recognition method | |
| JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
| US10628960B2 (en) | Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium | |
| US11858510B2 (en) | Vehicle drive assist apparatus | |
| JPH07302325A (en) | On-vehicle image recognizing device | |
| JP2020068499A (en) | Vehicle periphery image display system and vehicle periphery image display method | |
| JPH1062162A (en) | Detector for obstacle | |
| JPH08136237A (en) | Device for calculating gradient of road and car speed controller | |
| US11458892B2 (en) | Image generation device and image generation method for generating a composite image | |
| JP3807651B2 (en) | White line recognition device | |
| JPH0973529A (en) | Two-wheeled vehicle monitor device | |
| JP2002104113A (en) | Rear monitoring device | |
| JP2715442B2 (en) | Traveling vehicle recognition device | |
| JP3757500B2 (en) | Leading vehicle following device | |
| JP3260503B2 (en) | Runway recognition device and runway recognition method | |
| WO2021161614A1 (en) | Image transmission system | |
| JP2000099896A (en) | Traveling path detecting device and vehicle traveling controller and recording medium | |
| JPH1011585A (en) | Object detection device | |
| JP4432730B2 (en) | Road marking detection device for vehicles | |
| JPH08161698A (en) | On-vehicle image data generator | |
| JP2000182196A (en) | Image display device | |
| JP3942289B2 (en) | Vehicle monitoring device | |
| JP2611326B2 (en) | Road recognition device for vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20000307 |