JP2006163726A - Vehicle perimeter recognition system and image processing system - Google Patents
Vehicle perimeter recognition system and image processing system Download PDFInfo
- Publication number
- JP2006163726A JP2006163726A JP2004353127A JP2004353127A JP2006163726A JP 2006163726 A JP2006163726 A JP 2006163726A JP 2004353127 A JP2004353127 A JP 2004353127A JP 2004353127 A JP2004353127 A JP 2004353127A JP 2006163726 A JP2006163726 A JP 2006163726A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- vehicle
- standard pattern
- captured image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両の外界を撮像して障害物、歩行者などの車両周辺を認識する車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置に関する。 The present invention relates to a vehicle periphery recognition system that images the outside of a vehicle and recognizes the periphery of the vehicle such as an obstacle or a pedestrian, and an image processing apparatus that constitutes the vehicle periphery recognition system.
自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の障害物、歩行者などを前記ビデオカメラで撮像し、撮像した撮像画像を画像処理用のECUで処理して障害物、歩行者などを認識して運転者に注意を促す監視システムが提案されている。 A far-infrared video camera equipped with a bolometer or pyroelectric image sensor is mounted on a vehicle such as an automobile, and images taken of obstacles and pedestrians in front of the vehicle with the video camera during night driving. A monitoring system has been proposed in which an image processing ECU is used to recognize obstacles, pedestrians, etc., and alert the driver.
このようなシステムは、遠赤外用のビデオカメラで歩行者を撮像した場合に、熱源である歩行者は他の背景物に対して高い輝度を有することを利用して、固有空間法に基づき予め歩行者の特徴を表す基準パターンを記憶しておき、遠赤外用のビデオカメラが撮像した撮像画像と前記基準パターンとの固有ベクトルの相関演算を行って、相関演算の結果に基づいて撮像画像が前記標準パターンに類似するか否かを判断して歩行者などを認識している(特許文献1参照)。
しかし、特許文献1の例にあっては、撮像画像と予め記憶した標準パターンとの固有ベクトルの相関演算は、非常に大きな演算処理能力を必要とする。また、精度良く歩行者を認識するには、多数の標準パターンを記憶しておき、撮像画像が何れの標準パターンに類似しているかを判断するため、標準パターンの数だけ相関演算を繰り返す必要がある。このため、リアルタイムで歩行者を認識するためには、高速なDSP(Digital Signal Processor)、又は大規模なLSIが必要であり、画像処理用のECUのコストが高くなるという問題があった。
However, in the example of
本発明は、斯かる事情に鑑みてなされたものであり、複数の画像処理装置を備え、撮像装置で撮像して得られた撮像画像を他の画像処理装置へ送信し、画像処理装置毎に異なる標準パターンを用いて、他の画像処理装置で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段が判断した結果に基づいて車両周辺を認識するようにしてあることにより、各画像処理装置で必要な処理能力を低減して、従来に比べてコストを下げることができる車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and includes a plurality of image processing devices, transmits captured images obtained by imaging with the imaging device to other image processing devices, and each image processing device. Using different standard patterns, the periphery of the vehicle is recognized based on the result of determination by the determination means for determining whether a captured image received by another image processing apparatus is similar to the standard pattern. Accordingly, an object of the present invention is to provide a vehicle periphery recognition system capable of reducing the processing capacity required for each image processing device and reducing the cost as compared with the prior art, and an image processing device constituting the vehicle periphery recognition system. To do.
また、本発明の他の目的は、撮像画像を送信した画像処理装置が、前記撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあることにより、さらに各画像処理装置で必要な処理能力を低減して、従来に比べてコストを下げることができる車両周辺認識システムを提供することにある。 Another object of the present invention is that the image processing apparatus that has transmitted the captured image determines whether or not the captured image is similar to the standard pattern. It is an object of the present invention to provide a vehicle periphery recognition system that can reduce the necessary processing capacity and reduce the cost as compared with the conventional art.
また、本発明の他の目的は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることにより、車両周辺の認識処理に必要な時間を低減することができる車両周辺認識システムを提供することにある。 Another object of the present invention is that it is necessary for recognition processing around the vehicle by performing parallel processing to determine whether or not a captured image obtained by imaging is similar to the standard pattern. An object of the present invention is to provide a vehicle periphery recognition system that can reduce the time required.
第1発明に係る車両周辺認識システムは、車両の外界を撮像装置で撮像し、撮像して得られた撮像画像及び複数記憶してある標準パターンを画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、前記画像処理装置を複数備え、前記画像処理装置は、撮像して得られた撮像画像を他の画像処理装置との間で送受信する送受信手段と、前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段とを備え、前記画像処理装置は、撮像して得られた撮像画像を他の画像処理装置へ送信し、前記他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。 A vehicle periphery recognition system according to a first aspect of the present invention captures an external environment of a vehicle with an imaging device, and processes the captured image obtained by imaging and a plurality of stored standard patterns with an image processing device to recognize the vehicle periphery. In the vehicle periphery recognition system, the image processing apparatus includes a plurality of the image processing apparatuses, the transmission / reception means for transmitting and receiving captured images obtained by capturing images to and from other image processing apparatuses, and each image processing apparatus. A judgment unit that judges whether a captured image received by the transmission / reception unit is similar to the standard pattern using a different standard pattern, and the image processing apparatus captures a captured image obtained by imaging Is transmitted to another image processing apparatus, and the periphery of the vehicle is recognized based on the result of determination by the determination means of the other image processing apparatus.
第2発明に係る車両周辺認識システムは、第1発明において、前記撮像画像を送信した画像処理装置の判断手段は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあり、前記画像処理装置は、前記判断手段及び他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。 In the vehicle periphery recognition system according to a second aspect, in the first aspect, the determination means of the image processing apparatus that has transmitted the captured image determines whether the captured image obtained by capturing is similar to the standard pattern. The image processing apparatus is characterized in that the periphery of the vehicle is recognized on the basis of the determination result of the determination means and the determination means of another image processing apparatus.
第3発明に係る車両周辺認識システムは、第1発明又は第2発明において、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることを特徴とする。 A vehicle periphery recognition system according to a third aspect of the present invention is the first or second aspect of the present invention, wherein the determination whether or not the captured image obtained by imaging is similar to the standard pattern is processed in parallel. It is characterized by that.
第4発明に係る画像処理装置は、取り込んだ撮像画像及び複数記憶してある標準パターンを処理して車両周辺を認識する画像処理装置において、取り込んだ撮像画像を他の画像処理装置との間で送受信する送受信手段と、前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段とを備え、前記判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。 An image processing apparatus according to a fourth aspect of the present invention is an image processing apparatus for recognizing the periphery of a vehicle by processing a captured image and a plurality of stored standard patterns, and transferring the captured image to another image processing apparatus. A transmission / reception unit that transmits and receives; and a determination unit that determines whether a captured image received by the transmission / reception unit is similar to the standard pattern by using a different standard pattern for each of the image processing apparatuses. The vehicle periphery is recognized based on the result determined by the means.
第1発明及び第4発明にあっては、画像処理装置を複数備え、撮像装置で撮像して得られた撮像画像を取得した画像処理装置は、前記撮像画像を他の画像処理装置へ送信する。画像処理装置毎に異なる標準パターンを用いて、他の画像処理装置は、受信した撮像画像が、前記標準パターンと類似しているか否かを判断し、判断結果を撮像画像を送信した画像処理装置へ出力する。前記画像処理装置は、出力された判断結果に基づいて、車両周辺を認識する。 In the first invention and the fourth invention, the image processing apparatus having a plurality of image processing apparatuses and acquiring the captured image obtained by imaging with the imaging apparatus transmits the captured image to another image processing apparatus. . Using different standard patterns for each image processing apparatus, other image processing apparatuses determine whether the received captured image is similar to the standard pattern and transmit the determination result to the captured image Output to. The image processing apparatus recognizes the periphery of the vehicle based on the output determination result.
第2発明にあっては、撮像画像を送信した画像処理装置は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断手段で判断する。前記画像処理装置は、前記判断手段で判断した結果と、他の画像処理装置で判断された結果とに基づき、車両周辺の認識をする。 In the second invention, the image processing apparatus that has transmitted the captured image determines whether or not the captured image obtained by imaging is similar to the standard pattern. The image processing device recognizes the periphery of the vehicle based on the result determined by the determining means and the result determined by another image processing device.
第3発明にあっては、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列に処理する。 In the third aspect of the invention, the determination whether or not the captured image obtained by imaging is similar to the standard pattern is processed in parallel.
第1発明及び第4発明にあっては、複数の画像処理装置夫々で、撮像して得られた撮像画像が、画像処理装置毎に異なる標準パターンと類似するか否かを判断し、判断した結果に基づいて車両周辺を認識することにより、車両周辺の認識処理を複数の画像処理装置で分散させることができ、従来のように高速又は大規模な画像処理装置を必要とせず、車両周辺認識システムのコストを低減することができる。 In the first invention and the fourth invention, it is determined whether or not the captured image obtained by imaging in each of the plurality of image processing apparatuses is similar to a standard pattern that differs for each image processing apparatus. By recognizing the vehicle periphery based on the result, the recognition processing of the vehicle periphery can be distributed by a plurality of image processing devices, and the vehicle periphery recognition is not required, unlike the conventional high-speed or large-scale image processing device. The cost of the system can be reduced.
第2発明にあっては、他の画像処理装置に加えて、撮像画像を送信した画像処理装置で、撮像画像と前記標準パターンとの類似判断を行うことにより、さらに処理を分散させることができ、各画像処理装置で必要な処理能力を低減してコストを下げることができる。 In the second invention, in addition to other image processing devices, the image processing device that has transmitted the captured image can further disperse the processing by making a similarity determination between the captured image and the standard pattern. The processing capability required for each image processing apparatus can be reduced to lower the cost.
第3発明にあっては、撮像して得られた撮像画像と前記標準パターンとの類似判断を並列に処理することにより、車両周辺の認識処理に必要な時間を短縮することができ、リアルタイムで車両周辺の認識をすることができる。 According to the third aspect of the present invention, it is possible to reduce the time required for the recognition processing around the vehicle in parallel by processing the similarity determination between the captured image obtained by imaging and the standard pattern in parallel. It is possible to recognize the vicinity of the vehicle.
以下、本発明を実施の形態を示す図面に基づき説明する。図1は本発明に係る車両周辺認識システムの概要を示す模式図である。図において、1aは車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ1aは、フロントグリルに配置してあり、IEEE1394に準拠した車載LAN通信線7を介して歩行者認識用のECU2に接続されている。
Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments. FIG. 1 is a schematic diagram showing an outline of a vehicle periphery recognition system according to the present invention. In the figure, reference numeral 1a denotes a far-infrared video camera that is mounted on a vehicle and recognizes a pedestrian at night, a person on a bicycle, and the like. The video camera 1a is disposed on the front grille, and is connected to the
歩行者認識用のECU2には、通信線7を介して遠赤外用のビデオカメラ1b、1c、1dに接続してある。ビデオカメラ1bは、車両後部のバンパーに設置してあり、車両後方の障害物などを認識する。ビデオカメラ1cは、車両の左側ドアミラーの下部に設置してあり、車両左側の接近車両、障害物などを認識する。ビデオカメラ1dは、車両の右側ドアミラーの下部に設置してあり、車両右側の接近車両、障害物などを認識する。
The
また、歩行者認識用のECU2には、通信線7を介して障害物認識用のECU3、接近車両認識用のECU4、白線認識用のECU5、音声又は効果音により警報を発する警報部及び操作部を有する表示装置6が接続されている。
Further, the
各ECUを通信線7を介して接続することにより、例えば、歩行者認識用のECU2は、ビデオカメラ1aで撮像した撮像画像に基づいて、歩行者の認識処理を行い、障害物認識用のECU3は、ビデオカメラ1b、1c、1dで撮像した撮像画像に基づいて、障害物の認識処理を行い、接近車両認識用のECU4は、ビデオカメラ1c、1dで撮像した撮像画像に基づいて、接近車両の認識処理を行い、白線認識用のECU5は、ビデオカメラ1c、1dで撮像した撮像画像に基づいて、白線の認識処理を行う。
By connecting each ECU via the
図2は、ビデオカメラ1aの構成を示すブロック図である。なお、ビデオカメラ1b、1c、1dも同様の構成を有するので説明は省略する。図において、11は画像撮像部であり、光学信号を電気信号に変換する遠赤外線撮像素子が配置され、遠赤外線撮像素子は、入力された遠赤外光を、遠赤外光の強度に応じた輝度信号に変換し、信号処理部12へ出力する。
FIG. 2 is a block diagram showing the configuration of the video camera 1a. Since the video cameras 1b, 1c, and 1d have the same configuration, description thereof is omitted. In the figure,
信号処理部12は、画像撮像部11から入力された輝度信号に対して、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行い、処理後の輝度信号を画像データとして一旦画像メモリ13へ記憶する。
The
インタフェース部14は、通信線7を介してECU2、3、4、5と通信を行い、ECU2、3、4、5から送信される指令に従って、画像メモリ13に記憶された撮像画像をECU2、3、4、5へ出力するための制御、ビデオカメラ1aで撮像した画像の解像度による転送レートの変換、撮像画像からパケットデータの作成などを行う。また、インタフェース部14は、制御部15の制御に従って、画像メモリ13に記憶された撮像画像をビデオカメラ1aの識別番号とともにECU2、3、4、5へ出力する。
The
制御部15は、画像撮像部11、信号処理部12、インタフェース部14の処理を制御する。例えば、ECU2からの指令を解釈して、画像撮像部11が撮像した撮像画像を画像メモリ13に記憶する。また、記憶された撮像画像を読み出し、インタフェース部14を介してECU2へ出力する。
The
図3はECU2の構成を示すブロック図である。図において、21はインタフェース部であり、ビデオカメラ1a、1b、1c、1dに対する指令の送信、ビデオカメラ1a、1b、1c、1dからの撮像画像の受信などを行う。インタフェース部21は、他のECU3、4、5との間で通信を行い、他のECU3、4、5との間で命令又はデータなどの送受信を行う。
FIG. 3 is a block diagram showing the configuration of the
入力部25は、車両に搭載されたセンサ(例えば、速度センサ)からのセンサ信号、表示装置6に設けた操作部(例えば、歩行者認識処理の開始のスイッチ)からの信号などを受付ける。入力部25は、受付けた信号を制御部27へ出力する。
The
制御部27は、インタフェース部21を介してビデオカメラ1a、1b、1c、又は1dから入力された撮像画像夫々を1フレーム単位毎に画像メモリ22に記憶する。また、制御部27は、画像メモリ22に記憶された撮像画像をフレーム単位で画像処理LSI26へ出力する。
The
制御部27は、入力部25に入力された信号に基づいて、後述する記憶部23に記憶された各認識処理部の何れかを画像処理LSI26にロードすることにより、画像処理LSI26が所定の処理を行うように制御する。例えば、運転者が表示装置6に備えられた操作部を操作して歩行者認識処理を開始した場合、制御部27は、入力部25から入力された信号に基づいて、記憶部23に記憶された歩行者認識処理部231を画像処理LSI26にロードする。
Based on the signal input to the
制御部27は、記憶部23に記憶してある標準パターンH1、H2、…HxをECU2、3、4、5にほぼ均等に割当てる。また、制御部27は、画像処理LSI26で算出した相関度と、記憶部23に記憶してある閾値THとを比較して、歩行者の抽出を行う。
The
記憶部23は、歩行者を認識するための処理を特定する歩行者認識処理部231、障害物を認識するための処理を特定する障害物認識処理部232、接近車両を認識するための処理を特定する接近車両認識処理部233、路面上の白線を認識するための処理を特定する白線認識処理部234を記憶してある。
The
記憶部23は、歩行者の輝度分布を示す標準パターンH1、H2、…Hxを有する標準パターン部235を記憶してある。標準パターンH1、H2、…Hxは歩行者の体形、子供と大人の区別、服装、歩行者の姿勢、位置などに応じて複数の異なるパターンである。
The memory |
標準パターン部235は、障害物を認識するための標準パターン、接近車両を認識するための標準パターン、白線を認識するための標準パターンを有する。
The
画像処理LSI26は、論理ブロック、メモリ、内部レジスタなどを内蔵したFPGA(Field Programmable Gate Array)により構成してある。FPGAは、内蔵された各論理ブロック又はメモリに、記憶部23に記憶された各認識処理部で特定される論理ビット列(アーキテクチャ・ビット)をロードすることにより、マッチドフィルタを用いた歩行者認識処理を行う。すなわち、二次元フーリエ変換された撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算を行い、積和結果を逆二次元フーリエ変換して相関度(相関パワー)を算出し、算出した相関度の最大値を制御部27へ出力する。また、FPGAは、障害物認識処理部232、接近車両認識処理部233、又は白線認識処理部234で特定される論理ビット列をロードすることにより、障害物認識処理、接近車両認識処理、又は白線認識処理を行うこともできる。
The
画像処理LSI26は、画像メモリ22に記憶された撮像画像をフレーム単位で読み出し、歩行者認識処理、障害物認識処理、接近車両認識処理、又は白線認識処理を行った結果の撮像画像を出力部24へ出力する。画像処理LSI26は、同様の処理を画像メモリ22に記憶された撮像画像に対してフレーム単位で繰り返し行う。
The
出力部24は、画像処理LSI26から出力された処理後の撮像画像を表示装置6へ送信する。
The
表示装置6は、出力された撮像画像に基づき、車両周辺の状況をディスプレイに表示するとともに、歩行者が認識された場合は、認識された歩行者の周囲に枠を付して、運転者に歩行者の存在を促すべく強調表示をする。また、認識された接近車両、障害物、白線などを表示する。 The display device 6 displays the situation around the vehicle on the display based on the output captured image and, when a pedestrian is recognized, attaches a frame around the recognized pedestrian to the driver. Highlight to encourage the presence of pedestrians. In addition, recognized approaching vehicles, obstacles, white lines, etc. are displayed.
表示装置6に備えられた警報部は、歩行者、接近車両、障害物が認識された場合に、音声又は警告音を発し、運転者に注意を促す。 The alarm unit provided in the display device 6 emits a sound or a warning sound when a pedestrian, an approaching vehicle, or an obstacle is recognized, and alerts the driver.
ECU3、4、5も同様の構成を有するので、説明は省略する。なお、ECU2は、デフォルトで画像処理LSI26に歩行者認識処理部231で特定される論理ビット列がロードされ、歩行者認識のための画像処理を行う。ECU3は、デフォルトで画像処理LSIに障害物認識処理部232で特定される論理ビット列がロードされ、障害物認識のための画像処理を行う。ECU4は、デフォルトで画像処理LSIに接近車両認識処理部233で特定される論理ビット列がロードされ、接近車両認識のための画像処理を行う。ECU5は、デフォルトで画像処理LSIに白線認識処理部234で特定される論理ビット列がロードされ、白線認識のための画像処理を行う。
Since the
図4はECU間で使用する命令の構成を示す説明図である。命令は制御部27で作成され、送信元のECUを特定する送信元アドレス、送信先のECUを特定する送信先アドレス、及び送信するデータ部から構成してある。また、データ部は、送信先のECUに対する命令部と、該命令部により使用される命令用のデータから構成してある。
FIG. 4 is an explanatory diagram showing a configuration of instructions used between ECUs. The command is created by the
命令部は、送信先のECUと通信開始を要求し、送信先のECUが要求に応じることができるか否かを確認する「通信開始」命令、標準パターン部235が有する標準パターンH1、H2、…Hxを各ECUに割当てるための「標準パターン設定」命令、歩行者認識処理の開始を他のECUに要求する「歩行者認識開始」命令、他のECUの歩行者認識処理を終了させるための「歩行者認識終了」命令などを有する。
The command unit requests communication start with the transmission destination ECU, and confirms whether the transmission destination ECU can respond to the request, “communication start” command, standard patterns H1 and H2 included in the
例えば、命令が「標準パターン設定」である場合は、制御部27は、各ECU夫々に割当てる標準パターン番号をデータとして作成する。これにより、制御部27は、どのECUにどの標準パターンを割当てるかを特定する。
For example, when the instruction is “standard pattern setting”, the
図5は標準パターンの割当て例を示す説明図である。図に示すように、制御部27は、歩行者認識に用いられる標準パターンH1、H2、…HxをECU2、3、4、5でほぼ均等に割当てる。これにより、標準パターンH1、H2、…Hxの何れかを割当てられたECUは、割当てられた標準パターンを使用して歩行者認識の処理を行う。
FIG. 5 is an explanatory diagram showing an example of standard pattern assignment. As shown in the figure, the
次に歩行者認識の処理について説明する。運転者が、表示装置6に備えられた操作部を操作して歩行者認識の開始スイッチをオンにした場合、歩行者認識の開始信号がECU2の入力部25を介して制御部27に入力される。制御部27は、インタフェース部21を介して、初期コマンドをビデオカメラ1aへ送出する。
Next, pedestrian recognition processing will be described. When the driver operates the operation unit provided in the display device 6 to turn on the pedestrian recognition start switch, a pedestrian recognition start signal is input to the
初期コマンドを受信したビデオカメラ1aは、画像撮像部11から車両の外界の撮像を開始する。信号処理部12は、撮像した撮像画像を一旦画像メモリ13に記録した後に、1フレーム分の撮像画像毎にインタフェース部14を介して、ECU2へ送出し、送出された撮像画像は、一旦画像メモリ22に記憶される。
Receiving the initial command, the video camera 1a starts imaging the outside of the vehicle from the
制御部27は、歩行者認識の開始信号を受け取った場合、他のECU3、4、5に対して「通信開始」命令を送信する。これにより、他のECU3、4、5がデフォルトの認識処理中であるか否かを確認する。例えば、運転者が障害物認識、接近車両認識、白線認識のいずれも開始していない場合は、ECU2は、ECU3、4、5夫々から歩行者認識処理を行うことができる確認信号を受信する。
When the
制御部27は、他のECU3、4、5からの確認信号に基づいて、歩行者認識処理を並列に処理できるECUの数を算出し、算出した数に基づいて、標準パターンH1、H2、…Hxをほぼ均等に割当てる割当て数を決定し、決定した数に基づいて、ECU2、3、4、5に割当てる標準パターンの番号を決定し、決定した標準パターン番号を「標準パターン設定」命令とともに、他のECU3、4、5へ送信する。
The
制御部27は、画像メモリ22に記憶された撮像画像をフレーム単位で画像処理LSI26へ出力する。
The
画像処理LSI26は、受け取った1フレーム分の撮像画像に輝度補正などのフィルタリング処理を行い、フィルタリング処理後の撮像画像に対して二次元フーリエ変換を行い、二次元フーリエ変換した撮像画像を制御部27へ出力するとともに、二次元フーリエ変換した撮像画像と、ECU2に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度(相関パワー)を算出し、算出した相関度の最大値M2を内部レジスタに保持する。
The
制御部27は、画像処理LSI26から出力された二次元フーリエ変換した撮像画像を「歩行者認識開始」命令とともに、ECU3、4、5へ送信する。
The
「歩行者認識開始」命令を受信したECU3は、受信した二次元フーリエ変換後の撮像画像と、ECU3に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値M3をECU2へ送信する。
The ECU 3 that has received the “pedestrian recognition start” command standardizes the product-sum operation (convolution operation) of the received image after the two-dimensional Fourier transform and the conjugate complex number of the Fourier transform of the standard pattern assigned to the ECU 3. This is performed for each pattern, and the degree of correlation for each standard pattern is calculated by inverse two-dimensional Fourier transform of each product-sum result, and the calculated maximum value M3 of the degree of correlation is transmitted to the
「歩行者認識開始」命令を受信したECU4は、受信した二次元フーリエ変換後の撮像画像と、ECU4に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値M4をECU2へ送信する。
The
「歩行者認識開始」命令を受信したECU5は、受信した二次元フーリエ変換後の撮像画像と、ECU5に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値M5をECU2へ送信する。なお、ECU2、3、4、5における相関度の算出は、並列に処理する。これにより、ECU2がマスターとなり、ECU3、4、5がスレーブとなって、標準パターン毎の相関度の算出演算を並列処理する。
The ECU 5 that has received the “start pedestrian recognition” command standardizes the product-sum operation (convolution operation) of the received captured image after the two-dimensional Fourier transform and the conjugate complex number of the Fourier transform of the standard pattern assigned to the ECU 5. This is performed for each pattern, and the degree of correlation for each standard pattern is calculated by performing inverse two-dimensional Fourier transform on each product-sum result, and the calculated maximum value M5 of the degree of correlation is transmitted to the
ECU2の制御部27は、画像処理LSI26の内部レジスタに保持された相関度の最大値M2を取り出すとともに、取り出した相関度の最大値M2及びECU3、4、5から受信した相関度の最大値M3、M4、M5を予め定められた閾値THと比較し、相関度の最大値M2、M3、M4、M5の何れかが閾値THより大きい場合は、歩行者が存在すると判定し、歩行者を抽出する。
The
画像処理LSI26は、制御部27の判定結果に基づき、歩行者が抽出された撮像画像を、出力部24を介して表示装置6へ送信する。
The
表示装置6は、出力部24を介して出力された撮像画像に基づき、歩行者の状況をディスプレイに表示するとともに、抽出した歩行者の周囲に枠を付して、運転者に歩行者の存在を促すべく強調表示をする。
The display device 6 displays the pedestrian's situation on the display based on the captured image output via the
運転者が、表示装置6に備えられた操作部を操作して歩行者認識の開始スイッチをオフにした場合、制御部27は、ECU3、4、5に対して「歩行者認識終了」命令を送信し、ECU3、4、5での歩行者認識処理を終了させる。
When the driver operates the operation unit provided in the display device 6 to turn off the pedestrian recognition start switch, the
以上説明したように、本発明にあっては、標準パターンH1、H2、…Hxを各ECU2、3、4、5に割当て、各ECU2、3、4、5において、二次元フーリエ変換後の撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)、及び逆二次元フーリエ変換の演算を並列に行うことにより、各ECU2、3、4、5における演算処理量を分散することができ、大規模なLSIを必要としない。また、演算処理を並列に行うため、処理時間を短縮することができ、高速DSPなどの高価な画像処理装置を必要としない。また、ECU3、4、5は、デフォルトで夫々の専用処理を行うものであるため、新たにECUを追加する必要がなく、既存のECUを有効利用してシステム全体のコストを低減することができる。
As described above, in the present invention, the standard patterns H1, H2,... Hx are assigned to the
上述の実施の形態においては、歩行者認識処理は、マッチドフィルタを用いるものであったが、これに限定されるものではなく、他のテンプレートマッチング方法を用いる構成でもよい。例えば、撮像画像及び基準パターンが有する輝度値の間において、相関値を算出して、算出した相関値の大小に基づいて歩行者を認識する構成でもよい。 In the above-described embodiment, the pedestrian recognition process uses a matched filter. However, the present invention is not limited to this, and a configuration using another template matching method may be used. For example, a configuration in which a correlation value is calculated between the luminance values of the captured image and the reference pattern and a pedestrian is recognized based on the magnitude of the calculated correlation value may be used.
上述の実施の形態においては、標準パターンをECU2、3、4、5の記憶部に記憶する構成であったが、これに限定されるものではなく、一のECU(例えば、ECU2のみ)に記憶する構成でもよく、また、ECU外の記憶装置に標準パターンを記憶しておき、割当てた標準パターンを前記記憶装置から読み出し、各ECUに送信する構成でもよい。これにより、標準パターンを記憶するための記憶容量を削減することができる。また、予め各ECUに各ECUで処理するための標準パターンを分散して記憶しておく構成でもよい。
In the above-described embodiment, the standard pattern is stored in the storage unit of the
上述の実施の形態においては、標準パターンH1、H2、…Hxを記憶する構成であったが、予め標準パターンH1、H2、…Hxのフーリエ変換の共役複素数を記憶しておく構成でもよい。 In the above-described embodiment, the standard patterns H1, H2,... Hx are stored. However, the complex complex number of the Fourier transform of the standard patterns H1, H2,.
上述の実施の形態においては、ECU2、3、4、5を、通信線7を介して接続してある構成であったが、ECUの数は、これに限定されるものではない。
In the above-described embodiment, the
上述の実施の形態においては、歩行者認識処理を各ECUで並列処理する構成であったが、これに限定されるものではなく、障害物、接近車両などの車両周辺を認識する処理を並列処理する構成であってもよい。この場合は、夫々の処理に適した標準パターンを使用することができる。 In the above-described embodiment, the pedestrian recognition process is processed in parallel by each ECU. However, the present invention is not limited to this, and the process of recognizing the periphery of a vehicle such as an obstacle or an approaching vehicle is processed in parallel. It may be configured to. In this case, a standard pattern suitable for each process can be used.
上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、IEEE1394に準拠した車載LAN通信線を介して行われたが、これに限らず、Gigabit Ethernet(登録商標)等の規格に準拠した通信方式であってもよい。 In the above-described embodiment, the connection between the video camera and the image processing apparatus is performed via the in-vehicle LAN communication line compliant with IEEE 1394. However, the present invention is not limited to this, and standards such as Gigabit Ethernet (registered trademark) are used. A compliant communication method may be used.
上述の実施の形態においては、歩行者の認識処理を行う構成であったが、車両の周辺を認識する認識対象は、歩行者に限定されるものではなく、路面表示、標識、信号などの他の対象物を認識する構成であってもよい。 In the above-described embodiment, the pedestrian recognition process is performed. However, the recognition target for recognizing the periphery of the vehicle is not limited to the pedestrian. The structure which recognizes the target object may be sufficient.
1a、1b、1c、1d ビデオカメラ
2、3、4、5 ECU
6 表示装置
21 インタフェース部
22 画像メモリ
23 記憶部
24 出力部
25 入力部
26 画像処理LSI
27 制御部
231 歩行者認識処理部
235 標準パターン
1a, 1b, 1c,
6
27
Claims (4)
前記画像処理装置を複数備え、
前記画像処理装置は、
撮像して得られた撮像画像を他の画像処理装置との間で送受信する送受信手段と、
前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段と
を備え、
前記画像処理装置は、
撮像して得られた撮像画像を他の画像処理装置へ送信し、
前記他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする車両周辺認識システム。 In a vehicle periphery recognition system that captures an external environment of a vehicle with an imaging device, processes a captured image obtained by imaging and a plurality of stored standard patterns with an image processing device, and recognizes the vehicle periphery,
A plurality of the image processing devices;
The image processing apparatus includes:
A transmission / reception means for transmitting / receiving a captured image obtained by imaging to / from another image processing apparatus;
Using a different standard pattern for each of the image processing devices, and a determination unit that determines whether the captured image received by the transmission / reception unit is similar to the standard pattern,
The image processing apparatus includes:
Send the captured image obtained by imaging to another image processing device,
A vehicle periphery recognition system characterized in that the periphery of the vehicle is recognized based on a result determined by the determination means of the other image processing apparatus.
撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあり、
前記画像処理装置は、
前記判断手段及び他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする請求項1に記載の車両周辺認識システム。 The determination means of the image processing apparatus that has transmitted the captured image includes:
Whether or not a captured image obtained by imaging is similar to the standard pattern;
The image processing apparatus includes:
2. The vehicle periphery recognition system according to claim 1, wherein the vehicle periphery is recognized based on a result determined by the determination unit and a determination unit of another image processing apparatus.
取り込んだ撮像画像を他の画像処理装置との間で送受信する送受信手段と、
前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段と
を備え、
前記判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする画像処理装置。
In an image processing apparatus that recognizes the periphery of a vehicle by processing captured captured images and a plurality of stored standard patterns,
Transmission / reception means for transmitting / receiving the captured image to / from another image processing device;
Using a different standard pattern for each of the image processing devices, and a determination unit that determines whether the captured image received by the transmission / reception unit is similar to the standard pattern,
An image processing apparatus characterized by recognizing the periphery of a vehicle based on a result determined by the determining means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004353127A JP2006163726A (en) | 2004-12-06 | 2004-12-06 | Vehicle perimeter recognition system and image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004353127A JP2006163726A (en) | 2004-12-06 | 2004-12-06 | Vehicle perimeter recognition system and image processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006163726A true JP2006163726A (en) | 2006-06-22 |
Family
ID=36665687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004353127A Pending JP2006163726A (en) | 2004-12-06 | 2004-12-06 | Vehicle perimeter recognition system and image processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006163726A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008071062A (en) * | 2006-09-13 | 2008-03-27 | Fujitsu Ten Ltd | Operation support device and notification method |
JP2011182260A (en) * | 2010-03-02 | 2011-09-15 | Honda Motor Co Ltd | Vehicle surrounding monitoring device |
EP2372612A1 (en) | 2010-03-31 | 2011-10-05 | Fujitsu Limited | Image matching device and image matching method |
KR20120107783A (en) * | 2011-03-22 | 2012-10-04 | 현대자동차주식회사 | Apparatus and method for providing image based on ethernet |
KR101406841B1 (en) * | 2012-12-21 | 2014-06-13 | 주식회사 엠티오메가 | Apparatus for recording image and method thereof |
US9262693B2 (en) | 2013-04-26 | 2016-02-16 | Denso Corporation | Object detection apparatus |
US9367749B2 (en) | 2013-02-22 | 2016-06-14 | Denso Corporation | Object detection apparatus |
US9418287B2 (en) | 2013-03-13 | 2016-08-16 | Denso Corporation | Object detection apparatus |
-
2004
- 2004-12-06 JP JP2004353127A patent/JP2006163726A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008071062A (en) * | 2006-09-13 | 2008-03-27 | Fujitsu Ten Ltd | Operation support device and notification method |
JP2011182260A (en) * | 2010-03-02 | 2011-09-15 | Honda Motor Co Ltd | Vehicle surrounding monitoring device |
EP2372612A1 (en) | 2010-03-31 | 2011-10-05 | Fujitsu Limited | Image matching device and image matching method |
US8913837B2 (en) | 2010-03-31 | 2014-12-16 | Fujitsu Limited | Image matching device and image matching method |
KR20120107783A (en) * | 2011-03-22 | 2012-10-04 | 현대자동차주식회사 | Apparatus and method for providing image based on ethernet |
KR101714062B1 (en) | 2011-03-22 | 2017-03-08 | 현대자동차주식회사 | Apparatus and method for providing image based on ethernet |
KR101406841B1 (en) * | 2012-12-21 | 2014-06-13 | 주식회사 엠티오메가 | Apparatus for recording image and method thereof |
WO2014098336A1 (en) * | 2012-12-21 | 2014-06-26 | 주식회사 엠티오메가 | Image collection apparatus for vehicle and operating method therefor |
US9367749B2 (en) | 2013-02-22 | 2016-06-14 | Denso Corporation | Object detection apparatus |
US9418287B2 (en) | 2013-03-13 | 2016-08-16 | Denso Corporation | Object detection apparatus |
US9262693B2 (en) | 2013-04-26 | 2016-02-16 | Denso Corporation | Object detection apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6937443B2 (en) | Imaging device and control method of imaging device | |
JP6832155B2 (en) | Image processing equipment, image processing method, and image processing system | |
WO2020230660A1 (en) | Image recognition device, solid-state imaging device, and image recognition method | |
WO2017022496A1 (en) | Device for presenting assistance images to driver, and method therefor | |
WO2020230636A1 (en) | Image recognition device and image recognition method | |
JP2006163726A (en) | Vehicle perimeter recognition system and image processing system | |
TW202129313A (en) | Imaging device | |
JP6903925B2 (en) | Imaging display system, passenger equipment | |
WO2020230635A1 (en) | Imaging device and imaging method | |
JP4797441B2 (en) | Image processing apparatus for vehicle | |
WO2021177085A1 (en) | Information processing device, and information processing method | |
WO2017122395A1 (en) | Image data processing circuit and imaging circuit | |
JP2007083922A (en) | Collision avoidance support system, collision avoidance support method, and computer program | |
JP2019033408A (en) | Imaging apparatus and control method therefor | |
US10873732B2 (en) | Imaging device, imaging system, and method of controlling imaging device | |
WO2019208204A1 (en) | Imaging device | |
JPWO2020149094A1 (en) | Imaging device, imaging system and failure detection method | |
WO2022219874A1 (en) | Signal processing device and method, and program | |
WO2022249562A1 (en) | Signal processing device, method, and program | |
WO2021192682A1 (en) | Information processing device, information processing method, and program | |
JP2005196423A (en) | Image display method, image display system and image processor | |
US20240078803A1 (en) | Information processing apparatus, information processing method, computer program, and sensor apparatus | |
CN110493490B (en) | Image pickup apparatus and image pickup system | |
WO2022019025A1 (en) | Information processing device, information processing system, information processing method, and information processing program | |
WO2021029167A1 (en) | Information processing device, information processing method, and information processing program |