JP2010086266A - Image processing apparatus for vehicle - Google Patents

Image processing apparatus for vehicle Download PDF

Info

Publication number
JP2010086266A
JP2010086266A JP2008254384A JP2008254384A JP2010086266A JP 2010086266 A JP2010086266 A JP 2010086266A JP 2008254384 A JP2008254384 A JP 2008254384A JP 2008254384 A JP2008254384 A JP 2008254384A JP 2010086266 A JP2010086266 A JP 2010086266A
Authority
JP
Japan
Prior art keywords
image
template
vehicle
light source
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008254384A
Other languages
Japanese (ja)
Inventor
Tomokazu Okuki
友和 奥木
Masaki Chiba
正基 千葉
Original Assignee
Mazda Motor Corp
マツダ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp, マツダ株式会社 filed Critical Mazda Motor Corp
Priority to JP2008254384A priority Critical patent/JP2010086266A/en
Publication of JP2010086266A publication Critical patent/JP2010086266A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus for vehicle which can recognize an object by correctly performing template matching even if luminance information changes. <P>SOLUTION: The image processing apparatus includes: an external camera 2; a template creation part 32 which creates a template of the object based on a first image; a light source position estimation part 35 which estimates a position of a light source when imaging the first image and a second image; an object position calculation part 39 which estimates a positional relationship of the external camera 2 and the object when imaging the first image and the second image; a luminance change amount estimation part 40 which estimates a luminance change between the object in the first image and the object in the second image based on the positional relationship and the light source position; a template luminance conversion part 41 which creates a correction template which corrects the luminance of the template by luminance change; and a template matching processing part 42 which performs template matching processing to the second image to detect the object from the correction template. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車両用画像処理装置に係り、特にテンプレートを用いて画像認識処理により画像中の対象物を認識する車両用画像処理装置に関する。   The present invention relates to a vehicle image processing apparatus, and more particularly to a vehicle image processing apparatus that recognizes an object in an image by image recognition processing using a template.
従来、予め用意したテンプレート画像を用いて、撮像画像中の対象物(道路標識等)の画像認識を行う技術が知られている(例えば、特許文献1参照)。
特許文献1に記載の装置では、実際の道路標識を撮影した画像データに対して、道路標識のテンプレート画像によりテンプレートマッチング処理が行われ、マッチング度合が所定レベルを超えるとマッチングが成立したものと判定され、画像データ中で道路標識が認識される。
Conventionally, a technique for performing image recognition of an object (a road sign or the like) in a captured image using a template image prepared in advance is known (see, for example, Patent Document 1).
In the apparatus described in Patent Document 1, template matching processing is performed on image data obtained by capturing an actual road sign using a template image of the road sign, and it is determined that matching is achieved when the matching degree exceeds a predetermined level. The road sign is recognized in the image data.
特開2008−9915号公報JP 2008-9915 A
しかしながら、撮像画像中の対象物に対する照明状況は時間と共に変化するが、従来の画像間のマッチングでは、この照明状況の変化を考慮していないため、正確なマッチングを行うことができない場合があるという問題があった。すなわち、従来は、対象物を照明する光源の位置及び照度が一定であり、且つ、撮像手段と対象物との位置関係にかかわらず対象物から撮像手段へ入射する光量が変化せず、これにより、画像間において対象物の同一箇所の輝度情報が大きく変化しないことを前提としていた。   However, although the illumination situation for the object in the captured image changes with time, the matching between conventional images does not take into account the change in the illumination situation, so that there may be cases where accurate matching cannot be performed. There was a problem. That is, conventionally, the position and illuminance of the light source that illuminates the object are constant, and the amount of light incident from the object to the image pickup means does not change regardless of the positional relationship between the image pickup means and the object. It is assumed that the luminance information of the same part of the object does not change greatly between images.
例えば、ある位置で撮像した画像によって作成した対象物のテンプレートを、対象物との位置関係が大きく異なる別の位置で対象物を撮像した画像に適用する場合、画像中の対象物の輝度情報は大きく変化する。また、テンプレートを作成した画像を撮像したのと同一位置で同一対象物を再度撮像した場合であっても、時間が経過し、太陽の位置が変化していると、画像の輝度情報は大きく変化する。また、夜間に自車両のヘッドライトを主光源として撮像された画像の場合、自車両の移動により光源位置が移動するので、同一対象物を撮像しても、画像の輝度情報は大きく変化する。さらに、自車両のヘッドライト以外に、他車両のヘッドライトや周囲店舗等からの照明によっても、画像の輝度情報が変化してしまう。
このように、従来は、輝度情報が大きく変化した画像では、正確にテンプレートマッチング処理を行うことができないという問題があった。
For example, when applying a template of an object created by an image captured at a certain position to an image obtained by imaging the object at another position that is significantly different from the positional relationship with the object, the luminance information of the object in the image is It changes a lot. In addition, even when the same object is imaged again at the same position where the template-created image was captured, the luminance information of the image changes significantly as time passes and the position of the sun changes. To do. In addition, in the case of an image captured using the headlight of the host vehicle at night as the main light source, the light source position is moved by the movement of the host vehicle. Therefore, even if the same object is captured, the luminance information of the image changes greatly. Further, in addition to the headlight of the own vehicle, the luminance information of the image is also changed by the headlights of other vehicles, lighting from surrounding stores, and the like.
Thus, conventionally, there has been a problem that template matching processing cannot be performed accurately on an image whose luminance information has changed greatly.
本発明は、このような課題を解決するためになされたものであり、対象物の輝度情報が変化しても、正確にテンプレートをマッチングさせることにより、対象物を認識することが可能な車両用画像処理装置を提供することを目的としている。   The present invention has been made to solve such a problem, and for a vehicle capable of recognizing an object by accurately matching a template even when luminance information of the object changes. An object of the present invention is to provide an image processing apparatus.
上記の目的を達成するために、本発明は、車両用画像処理装置であって、車両に搭載され、第1時間に車両周囲の対象物を含む第1画像を撮像し、第1時間から所定時間経過した第2時間に車両周囲の前記対象物を含む第2画像を撮像する撮像手段と、第1画像に基づいて対象物のテンプレートを作成するテンプレート作成手段と、第1画像と第2画像の撮像時における撮像手段に対する光源の位置を推定する光源位置推定手段と、第1画像と前記第2画像の撮像時における撮像手段と対象物との位置関係を推定する位置検出手段と、位置検出手段によって検出された位置関係、及び光源位置推定手段によって推定された光源位置に基づいて、第1画像中の対象物と第2画像中の対象物との間の輝度変化を推定する輝度変化推定手段と、輝度変化推定手段によって推定された輝度変化により、テンプレートの輝度を補正した補正テンプレートを作成する輝度補正手段と、補正テンプレートより、第2画像に対してテンプレートマッチング処理を行い、対象物を検出するマッチング手段と、を備えたことを特徴としている。   In order to achieve the above object, the present invention is an image processing apparatus for a vehicle, which is mounted on a vehicle, captures a first image including an object around the vehicle at a first time, and is predetermined from the first time. An imaging unit that captures a second image including the object around the vehicle at a second time after elapse of time, a template creation unit that creates a template of the object based on the first image, a first image, and a second image Light source position estimating means for estimating the position of the light source with respect to the imaging means at the time of imaging, position detecting means for estimating the positional relationship between the imaging means and the object at the time of imaging the first image and the second image, and position detection Luminance change estimation for estimating a luminance change between the object in the first image and the object in the second image based on the positional relationship detected by the means and the light source position estimated by the light source position estimating means Means and brightness Brightness correction means for creating a correction template in which the brightness of the template is corrected by the brightness change estimated by the conversion estimation means, and matching means for performing template matching processing on the second image from the correction template and detecting an object It is characterized by having.
このように構成された本発明によれば、第1画像と第2画像の撮像時における、光源位置と撮像手段と対象物との位置関係の変化を検出し、検出した位置関係の変化に応じて、第1画像から作成した対象物のテンプレートの輝度変化を位置関係に応じて補正する。これにより、本発明によれば、第1画像と第2画像の撮像時において、対象物から撮像手段への反射光量が変化して画像中の対象物の輝度が変化しても、輝度補正した補正テンプレートによって、第2画像中から同一対象物をテンプレートマッチング処理によって精度よく検出することが可能となる。   According to the present invention configured as described above, a change in the positional relationship between the light source position, the imaging means, and the object during the imaging of the first image and the second image is detected, and according to the detected change in the positional relationship. Thus, the luminance change of the template of the object created from the first image is corrected according to the positional relationship. Thus, according to the present invention, when the first image and the second image are captured, the luminance correction is performed even if the reflected light amount from the object to the imaging unit changes and the brightness of the object in the image changes. With the correction template, the same object can be accurately detected from the second image by the template matching process.
また、本発明において好ましくは、光源位置推定手段は、撮像時間と撮像時における車両位置に基づいて、光源としての太陽の位置を推定する。このように構成された本発明によれば、光源である太陽の位置を特定して、太陽の移動に伴う輝度変化を補正することで、同一対象物を精度良く検出することができる。   In the present invention, preferably, the light source position estimating means estimates the position of the sun as the light source based on the imaging time and the vehicle position at the time of imaging. According to the present invention configured as described above, it is possible to accurately detect the same object by specifying the position of the sun as the light source and correcting the luminance change accompanying the movement of the sun.
また、本発明において好ましくは、光源位置推定手段は、第1画像及び第2画像中の撮像体及びこの撮像体の影の方向及び形状を利用して、光源位置を推定する。このように構成された本発明によれば、太陽に限らず他の種類の光源についても光源位置を特定して、自車両等の移動に伴う輝度変化を補正することで、同一対象物を精度良く検出することができる。   In the present invention, it is preferable that the light source position estimating unit estimates the light source position using the imaging body in the first image and the second image and the direction and shape of the shadow of the imaging body. According to the present invention configured as described above, the same object can be accurately obtained by specifying the light source position not only for the sun but also for other types of light sources and correcting the luminance change accompanying the movement of the host vehicle or the like. It can be detected well.
また、本発明において好ましくは、輝度変化推定手段は、対象物の形状と光源位置から反射光の光量を推定し、この光量の変化から輝度変化を推定する。このように構成された本発明によれば、対象物からの反射光を考慮して、同一対象物を精度良く検出することができる。   Preferably, in the present invention, the luminance change estimation means estimates the amount of reflected light from the shape of the object and the light source position, and estimates the luminance change from the change in the amount of light. According to the present invention configured as described above, it is possible to accurately detect the same object in consideration of the reflected light from the object.
また、本発明において好ましくは、光源位置推定手段は、自車のヘッドライト点灯時には、ヘッドライトを光源に設定し、輝度変化推定手段は、自車のヘッドライトが光源に設定されているときは、対象物に対するヘッドライトの照射角度をさらに考慮して、輝度変化を推定する。このように構成された本発明によれば、自車のヘッドライトによる輝度変化を補正することで、同一対象物を精度良く検出することができる。   Preferably, in the present invention, the light source position estimating means sets the headlight as a light source when the headlight of the own vehicle is turned on, and the luminance change estimating means is set when the headlight of the own vehicle is set as the light source. Further, the luminance change is estimated in consideration of the irradiation angle of the headlight with respect to the object. According to the present invention configured as described above, the same object can be detected with high accuracy by correcting the luminance change caused by the headlight of the host vehicle.
本発明の車両用画像処理装置によれば、対象物の輝度情報が変化しても、正確にテンプレートをマッチングさせることにより、対象物を認識することができる。   According to the vehicular image processing apparatus of the present invention, even when the luminance information of the object changes, the object can be recognized by accurately matching the template.
以下、添付図面を参照して本発明の実施形態について説明する。図1は車両用画像処理装置の構成図、図2は光源方向推定処理の説明図、図3はフレーム画像撮像時の説明図、図4,図5はそれぞれ図3において位置C1,位置C2にて撮像されたフレーム画像及びそのヒストグラム、図6は補正テンプレート作成処理の説明図、図7は他のフレーム画像撮像時の説明図、図8は図7において撮像されたフレーム画像及びそのヒストグラム、図9は他の補正テンプレート作成処理の説明図である。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. 1 is a configuration diagram of a vehicle image processing apparatus, FIG. 2 is an explanatory diagram of light source direction estimation processing, FIG. 3 is an explanatory diagram at the time of capturing a frame image, and FIGS. 4 and 5 are respectively at positions C1 and C2 in FIG. FIG. 6 is an explanatory diagram of correction template creation processing, FIG. 7 is an explanatory diagram when other frame images are captured, FIG. 8 is a frame image captured in FIG. 7 and its histogram, and FIG. 9 is an explanatory diagram of another correction template creation process.
本実施形態の車両用画像処理装置1は、図1に示すように、外界カメラ2と、コントローラ3と、モニタ4と、測位センサ5と、車載センサ6と、地図データベース7と、距離センサ8と、通信機9とを備えている。
外界カメラ2は、CCDカメラやCMOSカメラ等の撮像手段であり、例えば車両走行方向前側を向くように車両14に所定高さで搭載されている(図3参照)。この外界カメラ2は、車両前方の画像を所定のフレームレートで撮像し、撮像したフレーム画像をコントローラ3に出力するように構成されている。
モニタ4は、LCD等の表示装置であり、コントローラ3から受け取ったフレーム画像を運転者に対して表示可能に構成されている。
As shown in FIG. 1, the vehicle image processing apparatus 1 according to the present embodiment includes an external camera 2, a controller 3, a monitor 4, a positioning sensor 5, an in-vehicle sensor 6, a map database 7, and a distance sensor 8. And a communication device 9.
The external camera 2 is an imaging means such as a CCD camera or a CMOS camera, and is mounted on the vehicle 14 at a predetermined height so as to face the front side in the vehicle traveling direction (see FIG. 3). The external camera 2 is configured to capture an image in front of the vehicle at a predetermined frame rate and output the captured frame image to the controller 3.
The monitor 4 is a display device such as an LCD, and is configured to be able to display a frame image received from the controller 3 to the driver.
測位センサ5は、GPS,INS等の車両測位データを測定するために車両に搭載されたセンサであり、測位データをコントローラ3に出力する。この測位データにより、車両14及び車両14に搭載された外界カメラ2の測位変化を検出可能である。
車載センサ6は、車両速度,車両加速度,ヨー角,ロール角,ピッチ角,角速度等の車両の移動量,移動量変化を測定するために車両に搭載されたセンサであり、これらの測定データをコントローラ3に出力する。この測定データにより、車両14及び車両14に搭載された外界カメラ2の位置変化を検出可能である。
The positioning sensor 5 is a sensor mounted on the vehicle for measuring vehicle positioning data such as GPS and INS, and outputs the positioning data to the controller 3. With this positioning data, it is possible to detect a change in positioning of the vehicle 14 and the external camera 2 mounted on the vehicle 14.
The in-vehicle sensor 6 is a sensor mounted on the vehicle for measuring the moving amount of the vehicle such as the vehicle speed, the vehicle acceleration, the yaw angle, the roll angle, the pitch angle, and the angular velocity, and the change in the moving amount. Output to the controller 3. From this measurement data, it is possible to detect the change in position of the vehicle 14 and the external camera 2 mounted on the vehicle 14.
地図データベース7は、HDD等の記憶装置で構成され、測位センサ5からの測位データ等と合わせて、自車両の位置を特定するための地図データを格納し、この地図データをコントローラ3に出力する。この地図データは、実際の道路網に対応して、ノード(交差点)に関係する情報と、リンク(ノードとノードを接続する道路)に関係する情報等から構成されている。さらに、この地図データには、信号機,建物や公園などの施設,鉄道,水系などの位置,名称,形状等の固定物データが格納されている。   The map database 7 is configured by a storage device such as an HDD, stores map data for specifying the position of the host vehicle together with positioning data from the positioning sensor 5, and outputs the map data to the controller 3. . This map data is composed of information related to nodes (intersections), information related to links (roads connecting nodes and nodes), etc., corresponding to the actual road network. Further, the map data stores fixed data such as traffic lights, facilities such as buildings and parks, positions of railways, water systems, names, shapes, and the like.
距離センサ8は、レーザレーダ,ミリ波レーダ,赤外線TOF装置等で構成することができ、任意の対象物までの距離データをコントローラ3に出力する。
通信機9は、車両14に搭載され、外部の天気気象情報提供手段から天候気象情報を取得し、この情報をコントローラ3に出力する。この天気気象情報には、天気,太陽光の強さ(太陽光量)等の情報が含まれる。
The distance sensor 8 can be configured by a laser radar, a millimeter wave radar, an infrared TOF device, or the like, and outputs distance data to an arbitrary object to the controller 3.
The communication device 9 is mounted on the vehicle 14, acquires weather / weather information from an external weather / weather information providing unit, and outputs this information to the controller 3. This weather meteorological information includes information such as the weather and the intensity of sunlight (sunlight amount).
コントローラ3は、車両14内に配置されており、CPU,プログラム等を記憶したメモリ等を備えたマイクロコンピュータを含んで構成されている。コントローラ3は、外界カメラ2から受け取ったフレーム画像に対して画像認識処理を行うことにより、道路標識等の対象物を認識して、認識した対象物を含むフレーム画像をモニタ4に出力するように構成されている。
なお、対象物は、道路標識以外にも、道路案内表示,交通規制表示,渋滞情報表示,信号機,路面上のマーク,ランドマーク,建造物等の撮像画像中に含まれる任意の撮像対象物であってよい。
The controller 3 is disposed in the vehicle 14 and includes a microcomputer including a CPU, a memory that stores programs, and the like. The controller 3 recognizes an object such as a road sign by performing image recognition processing on the frame image received from the external camera 2, and outputs a frame image including the recognized object to the monitor 4. It is configured.
In addition to road signs, the target object is any imaging target included in captured images such as road guidance display, traffic regulation display, traffic jam information display, traffic lights, road marks, landmarks, buildings, etc. It may be.
本実施形態では、コントローラ3は、画像取得部31,テンプレート作成部32,日時情報取得部33,天気気象情報取得部34,光源位置推定部35,影情報算出部36,自車位置算出部37,対象物形状算出部38,対象物位置算出部39,輝度変化量推定部40,テンプレート輝度変換部41,テンプレートマッチング処理部42を備えている。これらは、CPUがプログラムを実行することにより実現される。また、コントローラ3は、HDD等の記憶装置により構成される記憶手段であるテンプレートデータ蓄積部43及び太陽軌道データベース44を備えている。   In this embodiment, the controller 3 includes an image acquisition unit 31, a template creation unit 32, a date / time information acquisition unit 33, a weather / weather information acquisition unit 34, a light source position estimation unit 35, a shadow information calculation unit 36, and a vehicle position calculation unit 37. , An object shape calculation unit 38, an object position calculation unit 39, a luminance change amount estimation unit 40, a template luminance conversion unit 41, and a template matching processing unit 42. These are realized by the CPU executing the program. In addition, the controller 3 includes a template data storage unit 43 and a solar orbit database 44 that are storage means configured by a storage device such as an HDD.
テンプレートデータ蓄積部43は、テンプレートマッチング処理のためのテンプレートを記憶する。太陽軌道データベース44は、任意の時間における任意の車両位置に対する太陽の位置を特定するための太陽軌道データを記憶している。
画像取得部31は、外界カメラ2からフレーム画像を取得し、このフレーム画像を各種の処理を行うために各機能部に出力する。
The template data storage unit 43 stores a template for template matching processing. The solar orbit database 44 stores solar orbit data for specifying the position of the sun with respect to an arbitrary vehicle position at an arbitrary time.
The image acquisition unit 31 acquires a frame image from the external camera 2 and outputs the frame image to each functional unit in order to perform various processes.
テンプレート作成部32は、外界カメラ2からのフレーム画像を受け取り、このフレーム画像から道路標識等の対象物画像領域を切り出して、テンプレートマッチング処理のためのテンプレート画像を作成し、付属データと共にテンプレートデータ蓄積部39に保存する。付属データには、テンプレートの対象となった対象物及び自車両の位置情報,テンプレート作成時の時間データ,天候気象情報等が含まれる。   The template creation unit 32 receives a frame image from the external camera 2, cuts out a target image area such as a road sign from the frame image, creates a template image for template matching processing, and stores template data together with attached data. Stored in section 39. The attached data includes the target object of the template and the position information of the own vehicle, time data at the time of creating the template, weather and weather information, and the like.
テンプレート作成部32は、連続する2枚のフレーム画像,距離センサ8からの距離データ,測位センサ5からの測位データ等に基づいて、ステレオ画像処理や、実測データの処理によってテンプレートの対象となっている対象物の3次元座標値を算出し、また、テンプレート作成画像を撮像した自車両の位置を取得し、これらを位置情報として付属データに含める。さらに、テンプレート作成部32は、日時情報取得部33から受け取ったテンプレート作成時の時間データと、天気気象情報取得部34から受け取った天候気象情報を付属データに含める。   The template creation unit 32 becomes an object of a template by stereo image processing or measurement data processing based on two consecutive frame images, distance data from the distance sensor 8, positioning data from the positioning sensor 5, and the like. The three-dimensional coordinate value of the target object is calculated, the position of the host vehicle that captured the template creation image is acquired, and these are included in the attached data as position information. Further, the template creation unit 32 includes the time data at the time of template creation received from the date and time information acquisition unit 33 and the weather and weather information received from the weather and weather information acquisition unit 34 in the attached data.
日時情報取得部33は、測位センサ5から現在時刻を受け取り、これを光源位置推定部35等に出力する。
天気気象情報取得部34は、通信機9が外部から受け取った天気気象情報を取得し、この情報を光源位置推定部35等に出力する。
光源位置推定部35は、日時情報取得部33,天気気象情報取得部34,太陽軌道データベース44,影情報算出部36等からそれぞれデータを受け取り、自車両14に対する光源位置を特定する。
The date information acquisition unit 33 receives the current time from the positioning sensor 5 and outputs it to the light source position estimation unit 35 and the like.
The weather weather information acquisition unit 34 acquires the weather weather information received from the outside by the communication device 9 and outputs this information to the light source position estimation unit 35 and the like.
The light source position estimation unit 35 receives data from the date / time information acquisition unit 33, the weather / weather information acquisition unit 34, the solar orbit database 44, the shadow information calculation unit 36, and the like, and specifies the light source position with respect to the host vehicle 14.
影情報算出部36は、画像取得部31から受け取ったフレーム画像を画像処理することにより、フレーム画像中の建物や車両によって形成される影の数,濃淡,方向,形状を認識する。例えば、図2に示すフレーム画像には、駐車車両15と、この車両15によって形成された影15aが撮像されている。影情報算出部36は、フレーム画像中で認識した車両15と影15aに基づいて、自車位置データ等を更に用いて、3次元ステレオ画像処理によって、光源方向θを推定し、光源方向データを光源位置推定部35に出力する。   The shadow information calculation unit 36 performs image processing on the frame image received from the image acquisition unit 31, thereby recognizing the number, density, direction, and shape of shadows formed by buildings and vehicles in the frame image. For example, in the frame image shown in FIG. 2, a parked vehicle 15 and a shadow 15 a formed by the vehicle 15 are imaged. Based on the vehicle 15 and the shadow 15a recognized in the frame image, the shadow information calculation unit 36 further estimates the light source direction θ by three-dimensional stereo image processing using the own vehicle position data and the like, and obtains the light source direction data. It outputs to the light source position estimation part 35.
自車位置算出部37は、測位センサ5からの測位データ,車載センサ6から測定データ,地図データベース7からの地図データを用いて、自車位置を算出する。
対象物形状算出部38は、画像取得部31からフレーム画像,距離センサ8から距離データ,地図データベース7から形状データ等を受け取る。対象物形状算出部38は、フレーム画像等を用いてステレオ画像処理することにより、フレーム画像中の対象物の形状を算出する。なお、対象物形状算出部38は、地図データベース7の形状データから直接対象物の形状を特定してもよい。
The own vehicle position calculation unit 37 calculates the own vehicle position using the positioning data from the positioning sensor 5, the measurement data from the in-vehicle sensor 6, and the map data from the map database 7.
The object shape calculation unit 38 receives a frame image from the image acquisition unit 31, distance data from the distance sensor 8, shape data from the map database 7, and the like. The object shape calculation unit 38 calculates the shape of the object in the frame image by performing stereo image processing using the frame image or the like. The object shape calculation unit 38 may specify the shape of the object directly from the shape data of the map database 7.
対象物位置算出部39は、自車位置算出部37からの自車位置データ,距離センサ8からの距離データ,テンプレートの付属データ等を用いて、フレーム画像中の対象物と推定される撮像物の車両14に対する相対位置を算出する。   The object position calculation unit 39 uses the own vehicle position data from the own vehicle position calculation unit 37, the distance data from the distance sensor 8, the attached data of the template, and the like, and the imaged object estimated as the object in the frame image. Relative position to the vehicle 14 is calculated.
輝度変化量推定部40は、光源位置推定部35からの光源位置データ,天気気象情報取得部34からの天気気象情報,自車位置算出部37からの自車位置データ,対象物位置算出部39からの相対位置データ,対象物形状算出部38からの対象物形状データ,テンプレート付属データ等を用いて、テンプレート作成時の光源の照射光量の程度及び対象物から外界カメラ2への反射光量の程度と、処理対象となるフレーム画像撮像時の照射光量の程度及びフレーム画像中の対象物(又は対象物と推定されている撮像物)からの反射光量の程度との間の変化を見積もる。そして、輝度変化量推定部40は、テンプレート画像と、処理対象のフレーム画像の対象物画像領域との間の輝度変化量を推定する。このとき、輝度変化量推定部40は、例えば、照射光量及び反射光量の段階をそれぞれ3段階で評価し、これらが変化した段階に応じて所定のマップデータに基づいて、輝度変化量又は輝度変化レベルを推定する。   The luminance change amount estimation unit 40 includes light source position data from the light source position estimation unit 35, weather and weather information from the weather and weather information acquisition unit 34, own vehicle position data from the own vehicle position calculation unit 37, and an object position calculation unit 39. Using the relative position data from the object, object shape data from the object shape calculation unit 38, template attached data, etc., the degree of the amount of light emitted from the light source at the time of creating the template and the degree of the amount of light reflected from the object to the external camera 2 And a change between the degree of the irradiation light amount at the time of capturing the frame image to be processed and the degree of the reflected light amount from the object (or the imaged object estimated to be the object) in the frame image. Then, the luminance change amount estimation unit 40 estimates the luminance change amount between the template image and the object image area of the processing target frame image. At this time, the luminance change amount estimation unit 40 evaluates, for example, the irradiation light amount and the reflected light amount in three steps, and changes the luminance change amount or the luminance change based on predetermined map data according to the changed steps. Estimate the level.
テンプレート輝度変換部41は、輝度変化量推定部40からの輝度変化量データに基づいて、テンプレート画像の輝度補正を行い、補正テンプレート画像を作成する。テンプレート輝度変換部41は、輝度変化量データに応じて、後述する諧調変換関数を導出又は選択し、この諧調変換関数によって、テンプレート画像の輝度補正を行う。
テンプレートマッチング処理部42は、テンプレート輝度変換部41で輝度補正された補正テンプレート画像を用いて、フレーム画像に対してテンプレートマッチング処理を行い、対象物を認識し、このフレーム画像をモニタ4に出力する。
The template luminance conversion unit 41 performs luminance correction of the template image based on the luminance change amount data from the luminance change amount estimation unit 40, and creates a corrected template image. The template luminance conversion unit 41 derives or selects a gradation conversion function to be described later according to the luminance change amount data, and corrects the luminance of the template image using the gradation conversion function.
The template matching processing unit 42 performs template matching processing on the frame image using the corrected template image whose luminance has been corrected by the template luminance converting unit 41, recognizes an object, and outputs the frame image to the monitor 4. .
次に、テンプレート画像の輝度補正処理について説明する。
図3は、晴天時に、車両14が時間t1から時間t2にかけて、対象物である道路標識20が設置された交差点を右折する状況を示している。車両14は、時間t1に位置C1に位置し、時間t2に位置C2に位置している。このとき、外界カメラ2は、時間t1に図4(A)に示すフレーム画像A1を撮像し、時間t2に図5(A)に示すフレーム画像A2を撮像している。また、コントローラ3は、時間t1に撮像したフレーム画像A1から道路標識20の画像領域22を切り出して、テンプレート画像を作成するものとする。
Next, template image luminance correction processing will be described.
FIG. 3 shows a situation in which the vehicle 14 turns right at the intersection where the road sign 20 as the object is installed from time t1 to time t2 in fine weather. The vehicle 14 is located at the position C1 at time t1, and is located at the position C2 at time t2. At this time, the external camera 2 captures the frame image A1 shown in FIG. 4A at time t1, and captures the frame image A2 shown in FIG. 5A at time t2. In addition, the controller 3 cuts out the image area 22 of the road sign 20 from the frame image A1 captured at time t1, and creates a template image.
図4(B)は、画像領域22により形成されたテンプレート画像の濃淡ヒストグラムB1を示している。テンプレート画像を構成する各画素は、その濃淡を示す値である画素値(本例では、0から255までの256段階のレベル)を有しており、ヒストグラムB1は、画素値に対する頻度を示している。   FIG. 4B shows a density histogram B1 of the template image formed by the image region 22. Each pixel constituting the template image has a pixel value (in this example, 256 levels from 0 to 255), which is a value indicating the density, and the histogram B1 indicates the frequency with respect to the pixel value. Yes.
一方、図5(B)は、フレーム画像A2の道路標識20を含む画像領域23(図5(A)参照)のヒストグラムB2を示している。このヒストグラムB2とヒストグラムB1を比較すると、ピーク数や頻度の全体的な高低差は同じであるが、コントラスト(すなわち、濃淡分布の広がり)が異なっていることが分かる。   On the other hand, FIG. 5B shows a histogram B2 of the image area 23 (see FIG. 5A) including the road sign 20 of the frame image A2. Comparing the histogram B2 and the histogram B1, it can be seen that the overall difference in peak number and frequency is the same, but the contrast (that is, the spread of the light and shade distribution) is different.
図3に模式的に示すように、光源である太陽100からの光線が道路標識20で反射して外界カメラ2に届く反射光量は、位置C1よりも位置C2での方が大きくなっている。すなわち、外界カメラ2への反射光量は、外界カメラ2,道路標識20及び太陽100の位置関係によって変化する。また、対象物の形状によっても変化する。例えば、平面的な対象物(例えば、道路標識20の表示面)は反射光量が大きくなるが、凹凸形状を有する対象物は反射光量が相対的に小さくなる。また、反射面の向きによっても反射光量は変化する。   As schematically shown in FIG. 3, the amount of reflected light that reaches the external camera 2 after the light beam from the sun 100 as the light source is reflected by the road sign 20 is larger at the position C2 than at the position C1. That is, the amount of light reflected to the external camera 2 varies depending on the positional relationship between the external camera 2, the road sign 20, and the sun 100. It also varies depending on the shape of the object. For example, a planar object (for example, the display surface of the road sign 20) has a large amount of reflected light, but an object having an uneven shape has a relatively small amount of reflected light. The amount of reflected light also changes depending on the direction of the reflecting surface.
位置C2でのフレーム画像A2では、道路標識20からの反射光量が相対的に大きいので、ヒストグラムB2は明るい画素値の割合が高くなっている。一方、位置C1でのフレーム画像A1では、道路標識20からの反射光量が相対的に小さいので、ヒストグラムB1は暗い画素値の割合が高くなっている。すなわち、ヒストグラムB2は、ヒストグラムB1と比べると、明るい方向にシフトしている。   In the frame image A2 at the position C2, since the amount of reflected light from the road sign 20 is relatively large, the ratio of bright pixel values in the histogram B2 is high. On the other hand, in the frame image A1 at the position C1, since the amount of reflected light from the road sign 20 is relatively small, the ratio of dark pixel values in the histogram B1 is high. That is, the histogram B2 is shifted in a brighter direction than the histogram B1.
したがって、フレーム画像A1から作成したテンプレート画像を、フレーム画像A2に適用してテンプレートマッチング処理を行った場合、テンプレート画像とフレーム画像A2中の画像領域23の輝度情報の相違に起因して、テンプレート画像を画像領域23にマッチングさせることができず、道路標識20を検出することができない場合がある。   Therefore, when the template matching process is performed by applying the template image created from the frame image A1 to the frame image A2, the template image is caused by the difference in the luminance information between the template image and the image area 23 in the frame image A2. Cannot be matched with the image area 23, and the road sign 20 cannot be detected.
本実施形態では、車両14の移動等に伴うフレーム画像の輝度変化に起因して、マッチング不良が発生することを防止するため、処理対象となるフレーム画像に応じて、テンプレート画像の輝度を補正して補正テンプレートを作成し、この補正テンプレートによってテンプレートマッチング処理を行う。本実施形態では、このような補正テンプレートを作成するために、コントローラ3は、光源である太陽100,外界カメラ2,対象物である道路標識20の位置関係の変化や対象物形状等に応じて輝度変化量を見積もり、これに応じて諧調変換関数(トーンカーブ)を導出又は選択する。そして、コントローラ3は、この諧調変換関数によって、テンプレート画像の輝度を補正する。具体的には、諧調変換関数によって、画像の明るさやコントラスト等の画素値に分布が補正される。   In the present embodiment, the luminance of the template image is corrected in accordance with the frame image to be processed in order to prevent the occurrence of poor matching due to the luminance change of the frame image accompanying the movement of the vehicle 14 or the like. Then, a correction template is created, and template matching processing is performed using this correction template. In this embodiment, in order to create such a correction template, the controller 3 responds to changes in the positional relationship between the sun 100 as the light source, the external camera 2, and the road sign 20 as the object, the object shape, and the like. A luminance change amount is estimated, and a gradation conversion function (tone curve) is derived or selected in accordance with this. Then, the controller 3 corrects the brightness of the template image with this tone conversion function. Specifically, the distribution is corrected to pixel values such as image brightness and contrast by a tone conversion function.
図6は、テンプレート画像のヒストグラムB1(「補正前」、上図)と、テンプレート画像を諧調変換関数によって変換して得られた補正テンプレート画像のヒストグラムK1(「補正後」、下図)を示している。諧調変換関数は、中央図に示すような入力画素値と出力画素値との関係で与えられている。図6に示した諧調変換関数は、低輝度の画素の輝度を高輝度にシフトさせ、全体的にコントラストを低下させるものである。   FIG. 6 shows a histogram B1 of the template image (“before correction”, the upper diagram) and a histogram K1 of the corrected template image obtained by converting the template image using the gradation conversion function (“after correction”, the lower diagram). Yes. The tone conversion function is given by the relationship between the input pixel value and the output pixel value as shown in the center diagram. The gradation conversion function shown in FIG. 6 shifts the luminance of a low-luminance pixel to a high luminance and lowers the overall contrast.
このようにして輝度補正された補正テンプレート画像のヒストグラムK1は、図5(B)の画像領域23のヒストグラムB2と傾向が略一致する。
したがって、フレーム画像A2に対して補正テンプレート画像を適用してテンプレートマッチング処理した場合、補正テンプレート画像を画像領域23に良好にマッチングさせることができる。これにより、道路標識20を認識することが可能となる。
The tendency of the histogram K1 of the corrected template image whose luminance has been corrected in this way is substantially the same as the histogram B2 of the image region 23 in FIG.
Therefore, when the template matching process is performed by applying the correction template image to the frame image A2, the correction template image can be matched with the image region 23 satisfactorily. Thereby, the road sign 20 can be recognized.
また、図7は、太陽100が図3と同じ位置にある曇天時に、車両14が図3と同一の交差点を右折する状況を示している。すなわち、図3と図7では、光源である太陽100の照射光量のみが異なる。図8(A)は、図7の状況において、位置C1で撮像したフレーム画像A3であり、図8(B)は、フレーム画像A3中の道路標識20の画像領域24のヒストグラムB3を示している。   7 shows a situation in which the vehicle 14 makes a right turn at the same intersection as in FIG. 3 when the sun 100 is cloudy in the same position as in FIG. That is, in FIG. 3 and FIG. 7, only the irradiation light quantity of the sun 100 which is a light source differs. FIG. 8A shows a frame image A3 captured at the position C1 in the situation of FIG. 7, and FIG. 8B shows a histogram B3 of the image area 24 of the road sign 20 in the frame image A3. .
このヒストグラムB3とヒストグラムB1を比較すると、ピーク数や頻度の全体的な高低差は同じであるが、コントラストが異なっていることが分かる。すなわち、曇天時には太陽100による照射光量が低下し、道路標識20からの反射光量が減少するので、ヒストグラムB3は、晴天時に撮像されたフレーム画像A1によるテンプレート画像のヒストグラムB1よりも、暗い方向にシフトしている。   Comparing the histogram B3 and the histogram B1, it can be seen that the overall difference in peak number and frequency is the same, but the contrast is different. That is, since the amount of light irradiated by the sun 100 decreases and the amount of reflected light from the road sign 20 decreases during cloudy weather, the histogram B3 shifts in a darker direction than the histogram B1 of the template image based on the frame image A1 captured in fine weather. is doing.
したがって、同じ位置C1で撮像したフレーム画像A3にテンプレート画像を適用してテンプレートマッチング処理を行っても、テンプレート画像をこのフレーム画像A3中の画像領域24にマッチングさせることができず、道路標識20を検出することができない場合がある。   Therefore, even if the template image is applied to the frame image A3 captured at the same position C1 and the template matching process is performed, the template image cannot be matched with the image region 24 in the frame image A3, and the road sign 20 is displayed. It may not be detected.
本実施形態では、撮像位置の移動に加えて、このような天候,気象条件の変化による照射光量の変化をも考慮して輝度変化量を見積もり、これに応じて諧調変換関数を導出又は選択し、この諧調変換関数によって、テンプレート画像の輝度を補正する。
図9は、テンプレート画像のヒストグラムB1(「補正前」、上図)と、テンプレート画像を諧調変換関数によって変換して得られた補正テンプレート画像のヒストグラムK2(「補正後」、下図)と、諧調変換関数(中央図)を示している。図9に示した諧調変換関数は、高輝度の画素を低輝度の画素にシフトさせ、全体的にコントラストを低下させるものである。
In the present embodiment, in addition to the movement of the imaging position, the luminance change amount is estimated in consideration of the change in the amount of irradiation light due to such a change in weather and weather conditions, and the gradation conversion function is derived or selected according to this. The brightness of the template image is corrected by this tone conversion function.
FIG. 9 shows a histogram B1 (“before correction”, upper diagram) of the template image, a histogram K2 (“after correction”, lower diagram) of the corrected template image obtained by converting the template image using the gradation conversion function, The conversion function (middle diagram) is shown. The gradation conversion function shown in FIG. 9 shifts a high-brightness pixel to a low-brightness pixel and lowers the overall contrast.
このようにして輝度補正された補正テンプレート画像のヒストグラムK2は、図7の状況で撮像されたフレーム画像A3中の画像領域24のヒストグラムB3(図8(B))と傾向が略一致する。
したがって、図7によるフレーム画像に対して補正テンプレート画像を適用してテンプレートマッチング処理した場合、補正テンプレート画像を良好にマッチングさせることができる。これにより、道路標識20を認識することが可能となる。
The histogram K2 of the corrected template image subjected to the brightness correction in this way has a tendency substantially the same as the histogram B3 (FIG. 8B) of the image area 24 in the frame image A3 captured in the situation of FIG.
Therefore, when the template matching process is performed by applying the correction template image to the frame image shown in FIG. 7, the correction template image can be satisfactorily matched. Thereby, the road sign 20 can be recognized.
次に、図10に基づいて、本実施形態のコントローラ3の処理フローについて説明する。
この処理は、コントローラ3によって所定間隔で繰り返し行われる。なお、この処理では、コントローラ3は、既に所定位置で撮像したフレーム画像に基づいて作成した対象物のテンプレートを記憶しており、さらに、このテンプレートを作成した位置付近を車両14が走行中であることを検知し、このテンプレートをマッチング処理に用いるために読み込んでいる。
Next, a processing flow of the controller 3 of the present embodiment will be described based on FIG.
This process is repeated by the controller 3 at predetermined intervals. In this process, the controller 3 stores a template of an object already created based on a frame image captured at a predetermined position, and the vehicle 14 is traveling near the position where the template is created. This template is read for use in the matching process.
まず、コントローラ3の画像取得部31は、外界カメラ2から車両14の外部を撮像したフレーム画像を受け取る(ステップS1)。
輝度変化量推定部40は、テンプレートを作成したフレーム画像撮像時から所定時間以上経過しているか否かを判定する(ステップS2)。
First, the image acquisition unit 31 of the controller 3 receives a frame image obtained by imaging the outside of the vehicle 14 from the external camera 2 (step S1).
The luminance change amount estimation unit 40 determines whether or not a predetermined time or more has elapsed since the frame image that created the template was captured (step S2).
所定時間以上経過していない場合(ステップS2;No)、ステップS4の処理に移行する。これは、例えば、図3の状況で、位置C1でのフレーム画像A1でテンプレートを作成し、位置C2でのフレーム画像A2を受け取った場合である。   When the predetermined time or more has not elapsed (step S2; No), the process proceeds to step S4. This is the case, for example, when the template is created with the frame image A1 at the position C1 and the frame image A2 at the position C2 is received in the situation of FIG.
一方、所定時間以上経過している場合(ステップS2;Yes)、輝度変化量推定部40は、天気気象情報取得部34から受け取った天気気象情報と、テンプレートの付属データに含まれる天気気象情報とを用いて、天候や気象条件の変化に伴う照射光量の変化を見積もり(ステップS3)、ステップS4の処理に移行する。この処理を行うのは、例えば、図7の状況で、テンプレート作成時以降に再び位置C1を走行し、フレーム画像A3を受け取った場合である。   On the other hand, when the predetermined time or more has elapsed (step S2; Yes), the luminance change amount estimation unit 40 receives the weather weather information received from the weather weather information acquisition unit 34, and the weather weather information included in the data attached to the template. Is used to estimate the change in the amount of irradiation light due to changes in the weather and weather conditions (step S3), and the process proceeds to step S4. This processing is performed, for example, in the situation of FIG. 7 when the vehicle travels again at the position C1 after the template creation and receives the frame image A3.
そして、光源位置推定部35は、日時情報取得部33から取得した時間データと、太陽軌道データベース44から取得した太陽軌道データから、光源位置を特定する(ステップS4)。
また、影情報算出部36は、フレーム画像中の撮像体及びその影を認識して、これに基づいて、光源方向を推定する(ステップS5)。光源位置推定部35は、太陽軌道データから特定した太陽位置を、影情報算出部36からの光源方向データで補正し、最終的な光源位置を特定する。
And the light source position estimation part 35 pinpoints a light source position from the time data acquired from the date information acquisition part 33, and the solar orbit data acquired from the solar orbit database 44 (step S4).
Further, the shadow information calculation unit 36 recognizes the imaging body and its shadow in the frame image, and estimates the light source direction based on this (step S5). The light source position estimation unit 35 corrects the sun position specified from the solar orbit data with the light source direction data from the shadow information calculation unit 36, and specifies the final light source position.
自車位置算出部37は、測位センサ5からの測位データ,地図データベース7からの地図データ,車載センサ6からの測定データから、自車位置を特定する(ステップS6)。
対象物位置算出部39は、テンプレートの付属データ中の位置情報からテンプレートの対象物の位置を認識し、フレーム画像,特定された自車位置,カメラの光軸方向等のデータに基づいて、処理対象のフレーム画像中でテンプレートの対象物を推定し、特定された自車位置に対する、テンプレートの対象物(又は、対象物と推定される撮像体)の相対位置を算出する(ステップS7)。
The own vehicle position calculation unit 37 specifies the own vehicle position from the positioning data from the positioning sensor 5, the map data from the map database 7, and the measurement data from the in-vehicle sensor 6 (step S6).
The object position calculation unit 39 recognizes the position of the object of the template from the position information in the attached data of the template, and performs processing based on data such as the frame image, the specified vehicle position, the optical axis direction of the camera, and the like. The template object is estimated in the target frame image, and the relative position of the template object (or the imaging body estimated to be the object) with respect to the specified vehicle position is calculated (step S7).
また、対象物形状算出部38は、フレーム画像,地図データ,距離データ等から、対象物の3次元形状を特定する(ステップS8)。
輝度変化量推定部40は、テンプレートの付属データの位置情報及び時間データ,特定した光源位置,自車位置,対象物の相対位置等から、テンプレート作成時と現時点との間における、光源,外界カメラ2,対象物の位置関係の変化を算出する(ステップS9)。
Moreover, the target object shape calculation part 38 specifies the three-dimensional shape of a target object from a frame image, map data, distance data, etc. (step S8).
The luminance change amount estimation unit 40 calculates the light source and external camera between the time of template creation and the current time based on the position information and time data of the data attached to the template, the specified light source position, the vehicle position, the relative position of the object, and the like. 2. A change in the positional relationship between the objects is calculated (step S9).
そして、輝度変化量推定部40は、天候や気象条件の変化に伴う照射光量の変化,算出した位置関係の変化及び対象物の形状等に基づいて、輝度変化量を推定する(ステップS10)。例えば、この推定処理において、輝度変化量推定部40は、対象物の3次元形状から、対象物の平面部分の法線方向を検出して、太陽光線の入射方向に対する対象物の平面部分からの反射方向を算出し、この反射方向からのずれに応じて反射光量の程度を推定し、これから輝度変化量を推定してもよい。
テンプレート輝度変換部41は、推定された輝度変化量に基づいて、諧調変換関数を導出又は選択し、この諧調変換関数によって、テンプレート画像の輝度補正を行う(ステップS11)。
Then, the luminance change amount estimation unit 40 estimates the luminance change amount based on the change in the irradiation light amount accompanying the change in the weather and the weather conditions, the change in the calculated positional relationship, the shape of the target object, and the like (step S10). For example, in this estimation process, the luminance change amount estimation unit 40 detects the normal direction of the plane portion of the target object from the three-dimensional shape of the target object, and detects from the plane portion of the target object with respect to the incident direction of the sunlight. The reflection direction may be calculated, the degree of the reflected light amount may be estimated according to the deviation from the reflection direction, and the luminance change amount may be estimated therefrom.
The template luminance conversion unit 41 derives or selects a gradation conversion function based on the estimated luminance change amount, and corrects the luminance of the template image using the gradation conversion function (step S11).
テンプレートマッチング処理部42は、テンプレート輝度変換部41から輝度補正された補正テンプレート画像を受け取り、画像取得部31から受け取った処理対象のフレーム画像に対して、補正テンプレート画像を適用して、テンプレートマッチング処理を実行し(ステップS12)、処理を終了する。   The template matching processing unit 42 receives the corrected template image whose luminance has been corrected from the template luminance converting unit 41, and applies the corrected template image to the frame image to be processed received from the image acquiring unit 31, thereby performing template matching processing. Is executed (step S12), and the process is terminated.
このように、本実施形態では、時間データから太陽の軌道を算出して光源位置を特定すると共に、測位データや地図データ等に基づいて光源(太陽100),車両14(又は外界カメラ2)と対象物との位置関係を把握し、テンプレート作成時と処理対象のフレーム画像撮像時との間の位置関係及び天気気象条件の変化から、外界カメラ2に入射する対象物からの反射光量の変化を推定し、これによりテンプレート画像を輝度補正する。これにより、本実施形態では、車両14の移動に伴って光源と対象物との位置関係が大きく変化したり、天気気象条件が変化したりしても、これらの変化によって生じる対象物からの反射光量の変化に応じてテンプレートを輝度補正することができ、テンプレートマッチング処理におけるマッチング不良を防止することが可能となる。   As described above, in the present embodiment, the position of the light source is specified by calculating the trajectory of the sun from the time data, and the light source (sun 100), the vehicle 14 (or the external camera 2) and the like based on the positioning data, the map data, and the like. The positional relationship with the object is grasped, and the change in the amount of reflected light from the object incident on the external camera 2 is determined from the positional relationship between the template creation and the frame image capturing of the processing target and the change of the weather weather condition. Thus, the brightness of the template image is corrected. As a result, in this embodiment, even if the positional relationship between the light source and the object changes greatly as the vehicle 14 moves or the weather and weather conditions change, the reflection from the object caused by these changes occurs. The brightness of the template can be corrected according to the change in the amount of light, and matching failure in the template matching process can be prevented.
次に、図11及び図12に基づいて、第2実施形態の車両用画像処理装置1について説明する。この実施形態は、夜間に自車両14のヘッドライト14Aが光源となる場合に適用されるものである。
図11は、夜間に位置D1から位置D2にかけて走行路を走行中の車両14を示している。走行路の車両右前方には対象物25が配置されている。
Next, based on FIG.11 and FIG.12, the image processing apparatus 1 for vehicles of 2nd Embodiment is demonstrated. This embodiment is applied when the headlight 14A of the host vehicle 14 serves as a light source at night.
FIG. 11 shows the vehicle 14 traveling on the traveling path from the position D1 to the position D2 at night. An object 25 is arranged in front of the vehicle on the right side of the travel path.
対象物25から遠い位置である位置D1,近い位置である位置D2では、それぞれヘッドライト14Aから一定の照射光量の照射光線が対象物25に照射している。しかしながら、対象物25での反射光量により外界カメラ2が受け取る光量は位置D1よりも位置D2での方が大きくなる。このため、各位置で撮像したフレーム画像中において、対象物25の撮像画像領域の輝度は大きく異なっている。このため、位置D1で対象物25のテンプレートを作成した場合、このテンプレートを用いて、位置D2で撮像したフレーム画像に対してテンプレートマッチング処理を実行しても、輝度変化に起因して、このフレーム画像で対象物をマッチングにより認識することができない。本実施形態では、このようなマッチング不良を防止するために、テンプレートの輝度を補正するように構成されている。   At a position D1 that is a position far from the object 25 and a position D2 that is a position close to the object 25, the object 25 is irradiated with an irradiation light beam of a certain amount of irradiation light from the headlight 14A. However, the amount of light received by the external camera 2 due to the amount of light reflected by the object 25 is larger at the position D2 than at the position D1. For this reason, in the frame image captured at each position, the brightness of the captured image region of the object 25 is greatly different. For this reason, when the template of the object 25 is created at the position D1, even if the template matching process is performed on the frame image captured at the position D2 using this template, this frame is caused by the luminance change. The object cannot be recognized by matching in the image. In this embodiment, in order to prevent such a matching failure, the brightness of the template is corrected.
図12に基づいて、第2実施形態によるコントローラ3の処理フローを説明する。なお、図10の処理フローと同様な処理については重複する説明を省略する。また、本実施形態では、テンプレートデータ蓄積部43には、既に作成されたテンプレートが保存されているものとする。
まず、コントローラ3の画像取得部31はフレーム画像を受け取る(ステップS21)。
Based on FIG. 12, the process flow of the controller 3 by 2nd Embodiment is demonstrated. In addition, the overlapping description is abbreviate | omitted about the process similar to the process flow of FIG. In the present embodiment, it is assumed that the template data storage unit 43 stores already created templates.
First, the image acquisition unit 31 of the controller 3 receives a frame image (step S21).
自車位置算出部37は、測位センサ5からの測位データ,地図データベース7からの地図データ,車載センサ6からの測定データから、自車位置を特定すると共に、光源位置推定部35は、夜間走行中には光源位置を自車位置に設定し、ヘッドライト14Aの照射方向(光軸方向)Hを特定する(ステップS22)。
対象物位置算出部39は、テンプレートの付属データ中の位置情報,フレーム画像,特定された自車位置,カメラの光軸方向等のデータに基づいて、処理対象のフレーム画像中で対象物を推定又は追跡し、特定された自車位置に対する対象物の相対位置を算出する(ステップS23)。
The own vehicle position calculation unit 37 specifies the own vehicle position from the positioning data from the positioning sensor 5, the map data from the map database 7, and the measurement data from the in-vehicle sensor 6, and the light source position estimation unit 35 is operated at night. Among them, the light source position is set to the own vehicle position, and the irradiation direction (optical axis direction) H of the headlight 14A is specified (step S22).
The object position calculation unit 39 estimates the object in the processing target frame image based on the position information, the frame image, the specified vehicle position, the optical axis direction of the camera, and the like in the data attached to the template. Or it tracks and calculates the relative position of the target object with respect to the specified own vehicle position (Step S23).
また、対象物形状算出部38は、フレーム画像,地図データ,距離データ等から、対象物の3次元形状を特定する(ステップS24)。
輝度変化量推定部40は、テンプレートの付属データの位置情報及び時間データ,特定した光源位置,自車位置,対象物の相対位置等から、テンプレート作成時と現時点との間における、光源(ヘッドライト14A),外界カメラ2,対象物の位置関係の変化を算出する(ステップS25)。
Moreover, the target object shape calculation part 38 specifies the three-dimensional shape of a target object from a frame image, map data, distance data, etc. (step S24).
The luminance change amount estimation unit 40 determines the light source (headlight) between the time of template creation and the current time based on the position information and time data of the data attached to the template, the specified light source position, the vehicle position, the relative position of the object, and the like. 14A), a change in the positional relationship between the external camera 2 and the object is calculated (step S25).
そして、輝度変化量推定部40は、算出した位置関係の変化及び対象物の形状等に基づいて、輝度変化量を推定する(ステップS26)。この処理では、輝度変化量推定部40は、外界カメラ2と対象物との相対位置,ヘッドライト14Aの照射方向Hと照射方向Hに対する対象物の照射角度から照射光量を見積もり、外界カメラ2と対象物との相対位置,外界カメラ2の光軸方向と対象物の形状から反射光量を見積もり、これらの移動に伴う変化から輝度変化量を推定する。   Then, the luminance change amount estimation unit 40 estimates the luminance change amount based on the calculated positional relationship change, the shape of the target object, and the like (step S26). In this process, the luminance change amount estimation unit 40 estimates the amount of irradiation light from the relative position between the external camera 2 and the object, the irradiation direction H of the headlight 14A and the irradiation angle of the object with respect to the irradiation direction H, and The amount of reflected light is estimated from the relative position with respect to the object, the optical axis direction of the external camera 2 and the shape of the object, and the amount of change in luminance is estimated from the change accompanying these movements.
テンプレート輝度変換部41は、推定された輝度変化量に基づいて、諧調変換関数を導出又は選択し、これにより、テンプレート画像の輝度補正を行う(ステップS27)。
テンプレートマッチング処理部42は、処理対象のフレーム画像に対して、補正テンプレート画像を適用して、テンプレートマッチング処理を実行し(ステップS28)、処理を終了する。
The template luminance conversion unit 41 derives or selects a gradation conversion function based on the estimated luminance change amount, thereby correcting the luminance of the template image (step S27).
The template matching processing unit 42 applies the correction template image to the frame image to be processed, executes template matching processing (step S28), and ends the processing.
このように、本実施形態では、自車両14のヘッドライト14Aが光源となって、フレーム画像中の対象物の輝度が車両走行に伴って大きく変化しても、この移動に伴う輝度変化を推定してテンプレートを輝度補正するので、確実に対象物を認識することが可能である。   As described above, in the present embodiment, the headlight 14A of the host vehicle 14 serves as a light source, and even if the luminance of the object in the frame image changes greatly as the vehicle travels, the luminance change accompanying this movement is estimated. Thus, the brightness of the template is corrected, so that the object can be reliably recognized.
次に、図13及び図14に基づいて、第3実施形態の車両用画像処理装置1について説明する。この実施形態は、自車両14のヘッドライト14A,他車両15のヘッドライト15A,街路灯等の固定光源16が光源となる夜間に適用されるものである。
図13は、夜間に位置E1から位置E2にかけて走行路を走行中の車両14を示している。走行路の車両右前方には対象物26が配置され、車両左前方には街路灯16が配置されている。また、対向車線から他車両15が接近してきている。
Next, the vehicle image processing apparatus 1 according to the third embodiment will be described with reference to FIGS. 13 and 14. This embodiment is applied at night when the fixed light source 16 such as the headlight 14A of the own vehicle 14, the headlight 15A of the other vehicle 15, and a street light is a light source.
FIG. 13 shows the vehicle 14 traveling on the traveling path from the position E1 to the position E2 at night. An object 26 is arranged on the right front side of the vehicle on the traveling road, and a street lamp 16 is arranged on the left front side of the vehicle. In addition, another vehicle 15 is approaching from the opposite lane.
対象物26には、3つの影26a,26b,26cが形成されている。影26aは自車両14のヘッドライト14Aからの照射光線によって形成されたものであり、影26bは他車両15のヘッドライト15Aからの照射光線によって形成されたものであり、影26cは街路灯16からの照射光線によって形成されたものである。この場合、車両14,15によって形成されている影26a,26bは、車両の移動にしたがって向き,濃さ及び形状が変化するが、街路灯16によって形成されている影26cは一定状態に保持される。   The object 26 is formed with three shadows 26a, 26b, and 26c. The shadow 26a is formed by the irradiation light from the headlight 14A of the host vehicle 14, the shadow 26b is formed by the irradiation light from the headlight 15A of the other vehicle 15, and the shadow 26c is the street light 16. It was formed by the irradiation light from. In this case, the shadows 26a and 26b formed by the vehicles 14 and 15 change in direction, density, and shape as the vehicle moves, but the shadows 26c formed by the street lamps 16 are held in a constant state. The
このように、対象物26は、3つの光源によって照射されており、車両14,15の移動に伴って、自車両14と対象物26と3つの光源との位置関係が変化する。これにより、外界カメラ2が位置E1で撮像したフレーム画像から作成した対象物26のテンプレートを、位置E2で撮影したフレーム画像に適用してテンプレートマッチング処理を実行しても、対象物26に対する照射状況が変化しているため、輝度変化に起因して、テンプレートを対象物26の画像にマッチングさせることができず、対象物26を認識することができない。本実施形態では、このようなマッチング不良を防止するために、テンプレートの輝度を補正するように構成されている。   Thus, the object 26 is irradiated by the three light sources, and the positional relationship among the host vehicle 14, the object 26, and the three light sources changes as the vehicles 14 and 15 move. As a result, even if the template matching process is performed by applying the template of the object 26 created from the frame image captured by the external camera 2 at the position E1 to the frame image captured at the position E2, the irradiation state on the object 26 Therefore, due to the luminance change, the template cannot be matched with the image of the object 26 and the object 26 cannot be recognized. In this embodiment, in order to prevent such a matching failure, the brightness of the template is corrected.
図14に基づいて、第3実施形態によるコントローラ3の処理フローを説明する。
ステップS31からステップS35の処理は、図12のステップS21からステップS25の処理と同様であるので説明を省略する。
Based on FIG. 14, the processing flow of the controller 3 by 3rd Embodiment is demonstrated.
The processing from step S31 to step S35 is the same as the processing from step S21 to step S25 in FIG.
影情報算出部36は、フレーム画像,自車位置と対象物の位置との関係等から、自車両14のヘッドライト14Aによって形成されている対象物26の影26aを認識し、影26aの方向,濃さ及び形状のデータを取得する(ステップS36)。
さらに、影情報算出部36は、処理対象のフレーム画像から、影26aを含めて、対象物26に形成されている影の個数を認識する(ステップS37)。
The shadow information calculation unit 36 recognizes the shadow 26a of the object 26 formed by the headlight 14A of the host vehicle 14 from the frame image, the relationship between the vehicle position and the position of the object, and the direction of the shadow 26a. , Darkness and shape data are acquired (step S36).
Furthermore, the shadow information calculation unit 36 recognizes the number of shadows formed on the object 26 including the shadow 26a from the frame image to be processed (step S37).
影情報算出部36は、認識した影の個数が複数であるか否かを判定する(ステップS38)。
認識した影の個数が複数でない場合(ステップS38;No)、対象物26を照射する光源はヘッドライト14Aのみであると判断して、ステップS45の処理に移行する。
一方、認識した影の個数が複数である場合(ステップS38;Yes)、自車両14のヘッドライト14A以外の光源が存在すると判断して、影情報算出部36は、ヘッドライト14A以外の光源によって形成されている影(例えば、影26b,26c)の方向,濃さ及び形状を認識し、光源位置推定部35は光源方向を特定する(ステップS39)。
The shadow information calculation unit 36 determines whether there are a plurality of recognized shadows (step S38).
If the number of recognized shadows is not plural (step S38; No), it is determined that the light source that irradiates the object 26 is only the headlight 14A, and the process proceeds to step S45.
On the other hand, when the number of recognized shadows is plural (step S38; Yes), it is determined that there is a light source other than the headlight 14A of the host vehicle 14, and the shadow information calculation unit 36 uses a light source other than the headlight 14A. Recognizing the direction, density, and shape of the formed shadow (for example, shadows 26b and 26c), the light source position estimating unit 35 specifies the light source direction (step S39).
そして、影情報算出部36は、処理対象のフレーム画像及びそれ以前に受け取っていたフレーム画像とを用いて、認識されている影(影26a,26b,26c)の方向,濃さ及び形状の変化を認識する(ステップS40)。
さらに、影情報算出部36は、認識されている影(影26a,26b,26c)の方向,濃さ及び形状の変化から、自車両14の移動に伴う変化分を取除き(ステップS41)、自車両14の移動以外の要因で影情報に変化が生じるか否かを判定する(ステップS42)。
Then, the shadow information calculation unit 36 uses the frame image to be processed and the frame image received before that to change the direction, darkness, and shape of the recognized shadow (shadow 26a, 26b, 26c). Is recognized (step S40).
Further, the shadow information calculation unit 36 removes the change due to the movement of the host vehicle 14 from the change in the direction, density and shape of the recognized shadow (shadow 26a, 26b, 26c) (step S41). It is determined whether or not the shadow information changes due to a factor other than the movement of the host vehicle 14 (step S42).
影情報に変化が生じない場合(ステップS42;No)、自車両14以外に移動する光源がないと判断して、ステップS44の処理に移行する。
一方、影情報に変化が生じる場合(ステップS42;Yes)、自車両14以外に移動する光源があると判断して、影情報が変化する影(影26b)について、光源位置推定部35は、影の方向,濃さ及び形状の変化から、移動する光源(ヘッドライト15A)の位置又は方向及び移動量を特定する(ステップS43)。
If there is no change in the shadow information (step S42; No), it is determined that there is no light source moving other than the host vehicle 14, and the process proceeds to step S44.
On the other hand, when a change occurs in the shadow information (step S42; Yes), it is determined that there is a moving light source other than the host vehicle 14, and the light source position estimation unit 35 determines the shadow (shadow 26b) in which the shadow information changes. The position or direction of the moving light source (headlight 15A) and the amount of movement are specified from the change in the direction, density, and shape of the shadow (step S43).
輝度変化量推定部40は、テンプレートの付属データの位置情報及び時間データ,特定した複数の光源位置,自車位置,対象物の相対位置等から、テンプレート作成時と現時点との間における、光源(ヘッドライト14A,ヘッドライト15A),外界カメラ2,対象物の位置関係の変化を算出する(ステップS44)。   The luminance change amount estimation unit 40 calculates the light source (between the template creation time and the current time from the position information and time data of the attached data of the template, a plurality of specified light source positions, the vehicle position, the relative position of the object, and the like. The change in the positional relationship between the headlight 14A, the headlight 15A), the external camera 2, and the object is calculated (step S44).
そして、輝度変化量推定部40は、算出した位置関係の変化及び対象物の形状等に基づいて、輝度変化量を推定する(ステップS45)。
テンプレート輝度変換部41は、推定された輝度変化量に基づいて、諧調変換関数を導出又は選択し、これにより、テンプレート画像の輝度補正を行う(ステップS46)。
テンプレートマッチング処理部42は、処理対象のフレーム画像に対して、補正テンプレート画像を適用して、テンプレートマッチング処理を実行し(ステップS47)、処理を終了する。
Then, the luminance change amount estimation unit 40 estimates the luminance change amount based on the calculated positional relationship change, the shape of the object, and the like (step S45).
The template luminance conversion unit 41 derives or selects a gradation conversion function based on the estimated luminance change amount, and thereby corrects the luminance of the template image (step S46).
The template matching processing unit 42 applies the correction template image to the frame image to be processed, executes template matching processing (step S47), and ends the processing.
このように、本実施形態では、対象物26を照射する光源が自車両14のヘッドライト14A以外にも存在する場合であっても、自車両14の移動に伴うフレーム画像中の対象物の輝度変化量を見積もってテンプレートを輝度補正するので、確実に対象物を認識することが可能である。   As described above, in this embodiment, even when the light source that irradiates the object 26 is present in addition to the headlight 14 </ b> A of the host vehicle 14, the brightness of the object in the frame image accompanying the movement of the host vehicle 14. Since the template is corrected for brightness by estimating the amount of change, it is possible to reliably recognize the object.
本発明の実施形態による車両用画像処理装置の構成図である。1 is a configuration diagram of a vehicle image processing apparatus according to an embodiment of the present invention. 本発明の実施形態による光源方向推定処理の説明図である。It is explanatory drawing of the light source direction estimation process by embodiment of this invention. 本発明の実施形態によるフレーム画像撮像時の説明図である。It is explanatory drawing at the time of the frame image imaging by embodiment of this invention. 図3において位置C1にて撮像されたフレーム画像及びそのヒストグラムである。4 is a frame image taken at a position C1 in FIG. 3 and a histogram thereof. 図3において位置C2にて撮像されたフレーム画像及びそのヒストグラムである。4 is a frame image captured at a position C2 in FIG. 3 and a histogram thereof. 本発明の実施形態による補正テンプレート作成処理の説明図である。It is explanatory drawing of the correction template creation process by embodiment of this invention. 本発明の実施形態による他のフレーム画像撮像時の説明図であるIt is explanatory drawing at the time of the other frame image imaging by embodiment of this invention. 図7において撮像されたフレーム画像及びそのヒストグラムである。It is the frame image imaged in FIG. 7, and its histogram. 本発明の実施形態による他の補正テンプレート作成処理の説明図である。It is explanatory drawing of the other correction template creation processing by embodiment of this invention. 本発明の実施形態によるマッチング処理のフローチャートである。It is a flowchart of the matching process by embodiment of this invention. 本発明の第2実施形態によるフレーム画像撮像時の説明図である。It is explanatory drawing at the time of the frame image imaging by 2nd Embodiment of this invention. 本発明の第2実施形態によるマッチング処理のフローチャートである。It is a flowchart of the matching process by 2nd Embodiment of this invention. 本発明の第3実施形態によるフレーム画像撮像時の説明図である。It is explanatory drawing at the time of the frame image imaging by 3rd Embodiment of this invention. 本発明の第3実施形態によるマッチング処理のフローチャートである。It is a flowchart of the matching process by 3rd Embodiment of this invention.
符号の説明Explanation of symbols
1 車両用画像処理装置
2 外界カメラ
3 コントローラ
4 モニタ
5 測位センサ
6 車載センサ
7 地図データベース
8 距離センサ
9 通信機
14,15 車両
14A,15A ヘッドライト
16 街路灯
20 道路標識
22,23,24 画像領域
25,26 対象物
26a,26b,26c 影
DESCRIPTION OF SYMBOLS 1 Image processing apparatus for vehicles 2 External camera 3 Controller 4 Monitor 5 Positioning sensor 6 Car-mounted sensor 7 Map database 8 Distance sensor 9 Communication device 14,15 Vehicle 14A, 15A Headlight 16 Street lamp 20 Road sign 22,23,24 Image area 25, 26 Object 26a, 26b, 26c Shadow

Claims (5)

  1. 車両用画像処理装置であって、
    車両に搭載され、第1時間に車両周囲の対象物を含む第1画像を撮像し、第1時間から所定時間経過した第2時間に車両周囲の前記対象物を含む第2画像を撮像する撮像手段と、
    前記第1画像に基づいて前記対象物のテンプレートを作成するテンプレート作成手段と、
    前記第1画像と前記第2画像の撮像時における前記撮像手段に対する光源の位置を推定する光源位置推定手段と、
    前記第1画像と前記第2画像の撮像時における前記撮像手段と前記対象物との位置関係を推定する位置検出手段と、
    前記位置検出手段によって検出された位置関係、及び前記光源位置推定手段によって推定された光源位置に基づいて、前記第1画像中の対象物と前記第2画像中の対象物との間の輝度変化を推定する輝度変化推定手段と、
    前記輝度変化推定手段によって推定された輝度変化により、前記テンプレートの輝度を補正した補正テンプレートを作成する輝度補正手段と、
    前記補正テンプレートより、前記第2画像に対してテンプレートマッチング処理を行い、前記対象物を検出するマッチング手段と、を備えたことを特徴とする車両用画像処理装置。
    An image processing apparatus for a vehicle,
    Imaging that is mounted on a vehicle and that captures a first image that includes an object around the vehicle at a first time, and that captures a second image that includes the object around the vehicle at a second time after a predetermined time has elapsed from the first time. Means,
    Template creation means for creating a template of the object based on the first image;
    A light source position estimating means for estimating a position of a light source with respect to the imaging means at the time of capturing the first image and the second image;
    Position detecting means for estimating a positional relationship between the imaging means and the object at the time of capturing the first image and the second image;
    A luminance change between the object in the first image and the object in the second image based on the positional relationship detected by the position detection unit and the light source position estimated by the light source position estimation unit. Brightness change estimation means for estimating
    Brightness correction means for creating a correction template in which the brightness of the template is corrected by the brightness change estimated by the brightness change estimation means;
    A vehicular image processing apparatus comprising: a matching unit configured to perform template matching processing on the second image from the correction template and detect the object.
  2. 前記光源位置推定手段は、撮像時間と撮像時における車両位置に基づいて、光源としての太陽の位置を推定することを特徴とする請求項1に記載の車両用画像処理装置。   The vehicle image processing apparatus according to claim 1, wherein the light source position estimating unit estimates a position of the sun as a light source based on an imaging time and a vehicle position at the time of imaging.
  3. 前記光源位置推定手段は、前記第1画像及び第2画像中の撮像体及びこの撮像体の影の方向及び形状を利用して、光源位置を推定することを特徴とする請求項1に記載の車両用画像処理装置。   The light source position estimating unit estimates a light source position using an imaging body in the first image and the second image and a direction and shape of a shadow of the imaging body. An image processing apparatus for a vehicle.
  4. 前記輝度変化推定手段は、前記対象物の形状と光源位置から反射光の光量を推定し、この光量の変化から輝度変化を推定することを特徴とする請求項1に記載の車両用画像処理装置。   The vehicular image processing apparatus according to claim 1, wherein the luminance change estimation unit estimates a light amount of reflected light from a shape of the object and a light source position, and estimates a luminance change from the change in the light amount. .
  5. 前記光源位置推定手段は、自車のヘッドライト点灯時には、ヘッドライトを光源に設定し、
    前記輝度変化推定手段は、自車のヘッドライトが光源に設定されているときは、前記対象物に対するヘッドライトの照射角度をさらに考慮して、輝度変化を推定することを特徴とする請求項1に記載の車両用画像処理装置。
    The light source position estimating means sets the headlight as a light source when the headlight of the own vehicle is turned on,
    The brightness change estimation means estimates the brightness change in consideration of an irradiation angle of the headlight with respect to the object when the headlight of the host vehicle is set as a light source. The image processing apparatus for vehicles described in 2.
JP2008254384A 2008-09-30 2008-09-30 Image processing apparatus for vehicle Pending JP2010086266A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008254384A JP2010086266A (en) 2008-09-30 2008-09-30 Image processing apparatus for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008254384A JP2010086266A (en) 2008-09-30 2008-09-30 Image processing apparatus for vehicle

Publications (1)

Publication Number Publication Date
JP2010086266A true JP2010086266A (en) 2010-04-15

Family

ID=42250169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008254384A Pending JP2010086266A (en) 2008-09-30 2008-09-30 Image processing apparatus for vehicle

Country Status (1)

Country Link
JP (1) JP2010086266A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013527452A (en) * 2010-05-20 2013-06-27 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング Method and control device for validating the illumination range test value of a light cone of a vehicle projector
WO2014017434A1 (en) 2012-07-27 2014-01-30 クラリオン株式会社 Image processing device
JP2015097018A (en) * 2013-11-15 2015-05-21 富士重工業株式会社 Arrow signal light detection device
EP3002158A1 (en) * 2014-10-03 2016-04-06 Delphi Technologies, Inc. Rearview camera with gps for image storage and retrieval

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013527452A (en) * 2010-05-20 2013-06-27 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング Method and control device for validating the illumination range test value of a light cone of a vehicle projector
WO2014017434A1 (en) 2012-07-27 2014-01-30 クラリオン株式会社 Image processing device
US9721169B2 (en) 2012-07-27 2017-08-01 Clarion Co., Ltd. Image processing device for detecting vehicle in consideration of sun position
JP2015097018A (en) * 2013-11-15 2015-05-21 富士重工業株式会社 Arrow signal light detection device
EP3002158A1 (en) * 2014-10-03 2016-04-06 Delphi Technologies, Inc. Rearview camera with gps for image storage and retrieval

Similar Documents

Publication Publication Date Title
US9713983B2 (en) Lane boundary line recognition apparatus and program for recognizing lane boundary line on roadway
JP5892876B2 (en) In-vehicle environment recognition system
US8818026B2 (en) Object recognition device and object recognition method
US8543254B1 (en) Vehicular imaging system and method for determining roadway width
US9740942B2 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
CN103874931B (en) For the method and apparatus of the position of the object in the environment for asking for vehicle
US20130141520A1 (en) Lane tracking system
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
US7957559B2 (en) Apparatus and system for recognizing environment surrounding vehicle
US7623700B2 (en) Stereoscopic image processing apparatus and the method of processing stereoscopic images
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
JP4296287B2 (en) Vehicle recognition device
FR2983799A1 (en) Method and device for controlling the light emission of a vehicle projector
US20140129081A1 (en) Method for regulating the beam range of at least one headlamp of a vehicle and light control device
CN105270254B (en) Method and device for controlling the light emission of at least one headlight of a vehicle
US20080024606A1 (en) Image processing apparatus
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
JP4023333B2 (en) Lane detection device
JP5910180B2 (en) Moving object position and orientation estimation apparatus and method
JP2010086266A (en) Image processing apparatus for vehicle
DE102014003585A1 (en) Method and device for automatic adjustment of a front headlight
KR20080004833A (en) Apparatus and method for detecting a navigation vehicle in day and night according to luminous state
US9376052B2 (en) Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
JP2009029227A (en) Lighting control device, method and program
JP2007240387A (en) Image recognition device and method