JP2006163726A - Vehicle perimeter recognition system and image processing system - Google Patents

Vehicle perimeter recognition system and image processing system Download PDF

Info

Publication number
JP2006163726A
JP2006163726A JP2004353127A JP2004353127A JP2006163726A JP 2006163726 A JP2006163726 A JP 2006163726A JP 2004353127 A JP2004353127 A JP 2004353127A JP 2004353127 A JP2004353127 A JP 2004353127A JP 2006163726 A JP2006163726 A JP 2006163726A
Authority
JP
Japan
Prior art keywords
image processing
vehicle
standard pattern
captured image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004353127A
Other languages
Japanese (ja)
Inventor
Kenichi Hatanaka
健一 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2004353127A priority Critical patent/JP2006163726A/en
Publication of JP2006163726A publication Critical patent/JP2006163726A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle perimeter recognition system for recognizing vehicle perimeter such as obstacles and passengers by photographing the outer field of the vehicle and an image processing system constructing the vehicle perimeter recognition system. <P>SOLUTION: An ECU2 carries out two dimensional Fourier transformation of one frame photographed image photographed by a video camera 1a, and transmits two dimensional Fourier transformed image to an ECU3, ECU4 and ECU5. The ECU2 assigns standard patterns H1, H2, ...Hx to the ECU2, ECU3, ECU4, and ECU5, respectively. Then, the ECU2, ECU3, ECU4 and ECU5 carry out sum of products (convolution) of two dimensional Fourier transformed image and conjugate complex numbers of Fourier transformed standard patterns, and two dimensional inverse Fourier transformation in parallel, thereby distributing computation throughput on the respective ECU2, ECU3, ECU4 and ECU5. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、車両の外界を撮像して障害物、歩行者などの車両周辺を認識する車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置に関する。   The present invention relates to a vehicle periphery recognition system that images the outside of a vehicle and recognizes the periphery of the vehicle such as an obstacle or a pedestrian, and an image processing apparatus that constitutes the vehicle periphery recognition system.

自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用のビデオカメラを搭載し、夜間走行時に車両前方の障害物、歩行者などを前記ビデオカメラで撮像し、撮像した撮像画像を画像処理用のECUで処理して障害物、歩行者などを認識して運転者に注意を促す監視システムが提案されている。   A far-infrared video camera equipped with a bolometer or pyroelectric image sensor is mounted on a vehicle such as an automobile, and images taken of obstacles and pedestrians in front of the vehicle with the video camera during night driving. A monitoring system has been proposed in which an image processing ECU is used to recognize obstacles, pedestrians, etc., and alert the driver.

このようなシステムは、遠赤外用のビデオカメラで歩行者を撮像した場合に、熱源である歩行者は他の背景物に対して高い輝度を有することを利用して、固有空間法に基づき予め歩行者の特徴を表す基準パターンを記憶しておき、遠赤外用のビデオカメラが撮像した撮像画像と前記基準パターンとの固有ベクトルの相関演算を行って、相関演算の結果に基づいて撮像画像が前記標準パターンに類似するか否かを判断して歩行者などを認識している(特許文献1参照)。
特開2001−201575号公報
Such a system uses a fact that when a pedestrian is imaged with a far-infrared video camera, the pedestrian, which is a heat source, has a high luminance with respect to other background objects, and based on the eigenspace method in advance. A reference pattern representing the characteristics of a pedestrian is stored, a correlation calculation is performed between the captured image captured by the far-infrared video camera and the reference pattern, and the captured image is based on the result of the correlation calculation. A pedestrian or the like is recognized by judging whether or not it is similar to a standard pattern (see Patent Document 1).
JP 2001-201575 A

しかし、特許文献1の例にあっては、撮像画像と予め記憶した標準パターンとの固有ベクトルの相関演算は、非常に大きな演算処理能力を必要とする。また、精度良く歩行者を認識するには、多数の標準パターンを記憶しておき、撮像画像が何れの標準パターンに類似しているかを判断するため、標準パターンの数だけ相関演算を繰り返す必要がある。このため、リアルタイムで歩行者を認識するためには、高速なDSP(Digital Signal Processor)、又は大規模なLSIが必要であり、画像処理用のECUのコストが高くなるという問題があった。  However, in the example of Patent Document 1, the correlation calculation of the eigenvector between the captured image and the standard pattern stored in advance requires a very large calculation processing capability. In addition, in order to recognize a pedestrian with high accuracy, it is necessary to store a large number of standard patterns and repeat the correlation operation as many times as the number of standard patterns in order to determine which standard pattern the captured image is similar to. is there. For this reason, in order to recognize a pedestrian in real time, a high-speed DSP (Digital Signal Processor) or a large-scale LSI is required, and there is a problem that the cost of the ECU for image processing increases.

本発明は、斯かる事情に鑑みてなされたものであり、複数の画像処理装置を備え、撮像装置で撮像して得られた撮像画像を他の画像処理装置へ送信し、画像処理装置毎に異なる標準パターンを用いて、他の画像処理装置で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段が判断した結果に基づいて車両周辺を認識するようにしてあることにより、各画像処理装置で必要な処理能力を低減して、従来に比べてコストを下げることができる車両周辺認識システム及び該車両周辺認識システムを構成する画像処理装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and includes a plurality of image processing devices, transmits captured images obtained by imaging with the imaging device to other image processing devices, and each image processing device. Using different standard patterns, the periphery of the vehicle is recognized based on the result of determination by the determination means for determining whether a captured image received by another image processing apparatus is similar to the standard pattern. Accordingly, an object of the present invention is to provide a vehicle periphery recognition system capable of reducing the processing capacity required for each image processing device and reducing the cost as compared with the prior art, and an image processing device constituting the vehicle periphery recognition system. To do.

また、本発明の他の目的は、撮像画像を送信した画像処理装置が、前記撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあることにより、さらに各画像処理装置で必要な処理能力を低減して、従来に比べてコストを下げることができる車両周辺認識システムを提供することにある。   Another object of the present invention is that the image processing apparatus that has transmitted the captured image determines whether or not the captured image is similar to the standard pattern. It is an object of the present invention to provide a vehicle periphery recognition system that can reduce the necessary processing capacity and reduce the cost as compared with the conventional art.

また、本発明の他の目的は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることにより、車両周辺の認識処理に必要な時間を低減することができる車両周辺認識システムを提供することにある。   Another object of the present invention is that it is necessary for recognition processing around the vehicle by performing parallel processing to determine whether or not a captured image obtained by imaging is similar to the standard pattern. An object of the present invention is to provide a vehicle periphery recognition system that can reduce the time required.

第1発明に係る車両周辺認識システムは、車両の外界を撮像装置で撮像し、撮像して得られた撮像画像及び複数記憶してある標準パターンを画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、前記画像処理装置を複数備え、前記画像処理装置は、撮像して得られた撮像画像を他の画像処理装置との間で送受信する送受信手段と、前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段とを備え、前記画像処理装置は、撮像して得られた撮像画像を他の画像処理装置へ送信し、前記他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。   A vehicle periphery recognition system according to a first aspect of the present invention captures an external environment of a vehicle with an imaging device, and processes the captured image obtained by imaging and a plurality of stored standard patterns with an image processing device to recognize the vehicle periphery. In the vehicle periphery recognition system, the image processing apparatus includes a plurality of the image processing apparatuses, the transmission / reception means for transmitting and receiving captured images obtained by capturing images to and from other image processing apparatuses, and each image processing apparatus. A judgment unit that judges whether a captured image received by the transmission / reception unit is similar to the standard pattern using a different standard pattern, and the image processing apparatus captures a captured image obtained by imaging Is transmitted to another image processing apparatus, and the periphery of the vehicle is recognized based on the result of determination by the determination means of the other image processing apparatus.

第2発明に係る車両周辺認識システムは、第1発明において、前記撮像画像を送信した画像処理装置の判断手段は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあり、前記画像処理装置は、前記判断手段及び他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。   In the vehicle periphery recognition system according to a second aspect, in the first aspect, the determination means of the image processing apparatus that has transmitted the captured image determines whether the captured image obtained by capturing is similar to the standard pattern. The image processing apparatus is characterized in that the periphery of the vehicle is recognized on the basis of the determination result of the determination means and the determination means of another image processing apparatus.

第3発明に係る車両周辺認識システムは、第1発明又は第2発明において、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることを特徴とする。   A vehicle periphery recognition system according to a third aspect of the present invention is the first or second aspect of the present invention, wherein the determination whether or not the captured image obtained by imaging is similar to the standard pattern is processed in parallel. It is characterized by that.

第4発明に係る画像処理装置は、取り込んだ撮像画像及び複数記憶してある標準パターンを処理して車両周辺を認識する画像処理装置において、取り込んだ撮像画像を他の画像処理装置との間で送受信する送受信手段と、前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段とを備え、前記判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする。   An image processing apparatus according to a fourth aspect of the present invention is an image processing apparatus for recognizing the periphery of a vehicle by processing a captured image and a plurality of stored standard patterns, and transferring the captured image to another image processing apparatus. A transmission / reception unit that transmits and receives; and a determination unit that determines whether a captured image received by the transmission / reception unit is similar to the standard pattern by using a different standard pattern for each of the image processing apparatuses. The vehicle periphery is recognized based on the result determined by the means.

第1発明及び第4発明にあっては、画像処理装置を複数備え、撮像装置で撮像して得られた撮像画像を取得した画像処理装置は、前記撮像画像を他の画像処理装置へ送信する。画像処理装置毎に異なる標準パターンを用いて、他の画像処理装置は、受信した撮像画像が、前記標準パターンと類似しているか否かを判断し、判断結果を撮像画像を送信した画像処理装置へ出力する。前記画像処理装置は、出力された判断結果に基づいて、車両周辺を認識する。   In the first invention and the fourth invention, the image processing apparatus having a plurality of image processing apparatuses and acquiring the captured image obtained by imaging with the imaging apparatus transmits the captured image to another image processing apparatus. . Using different standard patterns for each image processing apparatus, other image processing apparatuses determine whether the received captured image is similar to the standard pattern and transmit the determination result to the captured image Output to. The image processing apparatus recognizes the periphery of the vehicle based on the output determination result.

第2発明にあっては、撮像画像を送信した画像処理装置は、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断手段で判断する。前記画像処理装置は、前記判断手段で判断した結果と、他の画像処理装置で判断された結果とに基づき、車両周辺の認識をする。   In the second invention, the image processing apparatus that has transmitted the captured image determines whether or not the captured image obtained by imaging is similar to the standard pattern. The image processing device recognizes the periphery of the vehicle based on the result determined by the determining means and the result determined by another image processing device.

第3発明にあっては、撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列に処理する。   In the third aspect of the invention, the determination whether or not the captured image obtained by imaging is similar to the standard pattern is processed in parallel.

第1発明及び第4発明にあっては、複数の画像処理装置夫々で、撮像して得られた撮像画像が、画像処理装置毎に異なる標準パターンと類似するか否かを判断し、判断した結果に基づいて車両周辺を認識することにより、車両周辺の認識処理を複数の画像処理装置で分散させることができ、従来のように高速又は大規模な画像処理装置を必要とせず、車両周辺認識システムのコストを低減することができる。   In the first invention and the fourth invention, it is determined whether or not the captured image obtained by imaging in each of the plurality of image processing apparatuses is similar to a standard pattern that differs for each image processing apparatus. By recognizing the vehicle periphery based on the result, the recognition processing of the vehicle periphery can be distributed by a plurality of image processing devices, and the vehicle periphery recognition is not required, unlike the conventional high-speed or large-scale image processing device. The cost of the system can be reduced.

第2発明にあっては、他の画像処理装置に加えて、撮像画像を送信した画像処理装置で、撮像画像と前記標準パターンとの類似判断を行うことにより、さらに処理を分散させることができ、各画像処理装置で必要な処理能力を低減してコストを下げることができる。   In the second invention, in addition to other image processing devices, the image processing device that has transmitted the captured image can further disperse the processing by making a similarity determination between the captured image and the standard pattern. The processing capability required for each image processing apparatus can be reduced to lower the cost.

第3発明にあっては、撮像して得られた撮像画像と前記標準パターンとの類似判断を並列に処理することにより、車両周辺の認識処理に必要な時間を短縮することができ、リアルタイムで車両周辺の認識をすることができる。   According to the third aspect of the present invention, it is possible to reduce the time required for the recognition processing around the vehicle in parallel by processing the similarity determination between the captured image obtained by imaging and the standard pattern in parallel. It is possible to recognize the vicinity of the vehicle.

以下、本発明を実施の形態を示す図面に基づき説明する。図1は本発明に係る車両周辺認識システムの概要を示す模式図である。図において、1aは車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ1aは、フロントグリルに配置してあり、IEEE1394に準拠した車載LAN通信線7を介して歩行者認識用のECU2に接続されている。   Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments. FIG. 1 is a schematic diagram showing an outline of a vehicle periphery recognition system according to the present invention. In the figure, reference numeral 1a denotes a far-infrared video camera that is mounted on a vehicle and recognizes a pedestrian at night, a person on a bicycle, and the like. The video camera 1a is disposed on the front grille, and is connected to the pedestrian recognition ECU 2 via an in-vehicle LAN communication line 7 compliant with IEEE1394.

歩行者認識用のECU2には、通信線7を介して遠赤外用のビデオカメラ1b、1c、1dに接続してある。ビデオカメラ1bは、車両後部のバンパーに設置してあり、車両後方の障害物などを認識する。ビデオカメラ1cは、車両の左側ドアミラーの下部に設置してあり、車両左側の接近車両、障害物などを認識する。ビデオカメラ1dは、車両の右側ドアミラーの下部に設置してあり、車両右側の接近車両、障害物などを認識する。   The pedestrian recognition ECU 2 is connected to far-infrared video cameras 1b, 1c, and 1d via a communication line 7. The video camera 1b is installed in a bumper at the rear of the vehicle and recognizes an obstacle behind the vehicle. The video camera 1c is installed under the left door mirror of the vehicle and recognizes an approaching vehicle, an obstacle, and the like on the left side of the vehicle. The video camera 1d is installed below the right door mirror of the vehicle and recognizes an approaching vehicle, an obstacle, and the like on the right side of the vehicle.

また、歩行者認識用のECU2には、通信線7を介して障害物認識用のECU3、接近車両認識用のECU4、白線認識用のECU5、音声又は効果音により警報を発する警報部及び操作部を有する表示装置6が接続されている。   Further, the pedestrian recognition ECU 2 includes an obstacle recognition ECU 3, an approaching vehicle recognition ECU 4, a white line recognition ECU 5, an alarm unit and an operation unit that issue a warning by voice or sound effect via a communication line 7. Is connected.

各ECUを通信線7を介して接続することにより、例えば、歩行者認識用のECU2は、ビデオカメラ1aで撮像した撮像画像に基づいて、歩行者の認識処理を行い、障害物認識用のECU3は、ビデオカメラ1b、1c、1dで撮像した撮像画像に基づいて、障害物の認識処理を行い、接近車両認識用のECU4は、ビデオカメラ1c、1dで撮像した撮像画像に基づいて、接近車両の認識処理を行い、白線認識用のECU5は、ビデオカメラ1c、1dで撮像した撮像画像に基づいて、白線の認識処理を行う。   By connecting each ECU via the communication line 7, for example, the pedestrian recognition ECU 2 performs a pedestrian recognition process based on a captured image captured by the video camera 1 a, and an obstacle recognition ECU 3. Performs the obstacle recognition process based on the captured images captured by the video cameras 1b, 1c, and 1d, and the approaching vehicle recognition ECU 4 performs the approaching vehicle based on the captured images captured by the video cameras 1c and 1d. The white line recognition ECU 5 performs white line recognition processing based on the captured images captured by the video cameras 1c and 1d.

図2は、ビデオカメラ1aの構成を示すブロック図である。なお、ビデオカメラ1b、1c、1dも同様の構成を有するので説明は省略する。図において、11は画像撮像部であり、光学信号を電気信号に変換する遠赤外線撮像素子が配置され、遠赤外線撮像素子は、入力された遠赤外光を、遠赤外光の強度に応じた輝度信号に変換し、信号処理部12へ出力する。   FIG. 2 is a block diagram showing the configuration of the video camera 1a. Since the video cameras 1b, 1c, and 1d have the same configuration, description thereof is omitted. In the figure, reference numeral 11 denotes an image capturing unit, in which a far-infrared image sensor that converts an optical signal into an electrical signal is arranged, and the far-infrared image sensor converts input far-infrared light according to the intensity of far-infrared light. Is converted to a luminance signal and output to the signal processing unit 12.

信号処理部12は、画像撮像部11から入力された輝度信号に対して、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行い、処理後の輝度信号を画像データとして一旦画像メモリ13へ記憶する。   The signal processing unit 12 performs processing for removing various distortions generated in the optical system, processing for removing low-frequency noise, correction processing for correcting gamma characteristics, and the like on the luminance signal input from the image capturing unit 11. The processed luminance signal is temporarily stored in the image memory 13 as image data.

インタフェース部14は、通信線7を介してECU2、3、4、5と通信を行い、ECU2、3、4、5から送信される指令に従って、画像メモリ13に記憶された撮像画像をECU2、3、4、5へ出力するための制御、ビデオカメラ1aで撮像した画像の解像度による転送レートの変換、撮像画像からパケットデータの作成などを行う。また、インタフェース部14は、制御部15の制御に従って、画像メモリ13に記憶された撮像画像をビデオカメラ1aの識別番号とともにECU2、3、4、5へ出力する。   The interface unit 14 communicates with the ECUs 2, 3, 4, and 5 through the communication line 7, and the captured images stored in the image memory 13 are transmitted to the ECUs 2, 3, 3 according to instructions transmitted from the ECUs 2, 3, 4, and 5. 4 and 5, conversion of the transfer rate according to the resolution of the image captured by the video camera 1 a, creation of packet data from the captured image, and the like. Further, the interface unit 14 outputs the captured image stored in the image memory 13 to the ECUs 2, 3, 4, and 5 together with the identification number of the video camera 1a under the control of the control unit 15.

制御部15は、画像撮像部11、信号処理部12、インタフェース部14の処理を制御する。例えば、ECU2からの指令を解釈して、画像撮像部11が撮像した撮像画像を画像メモリ13に記憶する。また、記憶された撮像画像を読み出し、インタフェース部14を介してECU2へ出力する。   The control unit 15 controls processing of the image capturing unit 11, the signal processing unit 12, and the interface unit 14. For example, the command from the ECU 2 is interpreted, and the captured image captured by the image capturing unit 11 is stored in the image memory 13. The stored captured image is read out and output to the ECU 2 via the interface unit 14.

図3はECU2の構成を示すブロック図である。図において、21はインタフェース部であり、ビデオカメラ1a、1b、1c、1dに対する指令の送信、ビデオカメラ1a、1b、1c、1dからの撮像画像の受信などを行う。インタフェース部21は、他のECU3、4、5との間で通信を行い、他のECU3、4、5との間で命令又はデータなどの送受信を行う。   FIG. 3 is a block diagram showing the configuration of the ECU 2. In the figure, reference numeral 21 denotes an interface unit that transmits commands to the video cameras 1a, 1b, 1c, and 1d, and receives captured images from the video cameras 1a, 1b, 1c, and 1d. The interface unit 21 communicates with the other ECUs 3, 4, 5 and transmits / receives commands or data to / from the other ECUs 3, 4, 5.

入力部25は、車両に搭載されたセンサ(例えば、速度センサ)からのセンサ信号、表示装置6に設けた操作部(例えば、歩行者認識処理の開始のスイッチ)からの信号などを受付ける。入力部25は、受付けた信号を制御部27へ出力する。   The input unit 25 receives a sensor signal from a sensor (for example, a speed sensor) mounted on the vehicle, a signal from an operation unit (for example, a pedestrian recognition process start switch) provided in the display device 6, and the like. Input unit 25 outputs the received signal to control unit 27.

制御部27は、インタフェース部21を介してビデオカメラ1a、1b、1c、又は1dから入力された撮像画像夫々を1フレーム単位毎に画像メモリ22に記憶する。また、制御部27は、画像メモリ22に記憶された撮像画像をフレーム単位で画像処理LSI26へ出力する。   The control unit 27 stores the captured images input from the video cameras 1a, 1b, 1c, or 1d via the interface unit 21 in the image memory 22 for each frame unit. Further, the control unit 27 outputs the captured image stored in the image memory 22 to the image processing LSI 26 in units of frames.

制御部27は、入力部25に入力された信号に基づいて、後述する記憶部23に記憶された各認識処理部の何れかを画像処理LSI26にロードすることにより、画像処理LSI26が所定の処理を行うように制御する。例えば、運転者が表示装置6に備えられた操作部を操作して歩行者認識処理を開始した場合、制御部27は、入力部25から入力された信号に基づいて、記憶部23に記憶された歩行者認識処理部231を画像処理LSI26にロードする。   Based on the signal input to the input unit 25, the control unit 27 loads one of the recognition processing units stored in the storage unit 23, which will be described later, into the image processing LSI 26, so that the image processing LSI 26 performs predetermined processing. Control to do. For example, when the driver starts the pedestrian recognition process by operating the operation unit provided in the display device 6, the control unit 27 is stored in the storage unit 23 based on the signal input from the input unit 25. The pedestrian recognition processing unit 231 loaded on the image processing LSI 26 is loaded.

制御部27は、記憶部23に記憶してある標準パターンH1、H2、…HxをECU2、3、4、5にほぼ均等に割当てる。また、制御部27は、画像処理LSI26で算出した相関度と、記憶部23に記憶してある閾値THとを比較して、歩行者の抽出を行う。   The control unit 27 assigns the standard patterns H1, H2,... Hx stored in the storage unit 23 to the ECUs 2, 3, 4, 5 almost evenly. Further, the control unit 27 compares the degree of correlation calculated by the image processing LSI 26 with the threshold value TH stored in the storage unit 23 to extract pedestrians.

記憶部23は、歩行者を認識するための処理を特定する歩行者認識処理部231、障害物を認識するための処理を特定する障害物認識処理部232、接近車両を認識するための処理を特定する接近車両認識処理部233、路面上の白線を認識するための処理を特定する白線認識処理部234を記憶してある。   The storage unit 23 includes a pedestrian recognition processing unit 231 that identifies a process for recognizing a pedestrian, an obstacle recognition processing unit 232 that identifies a process for recognizing an obstacle, and a process for recognizing an approaching vehicle. An approaching vehicle recognition processing unit 233 to be specified and a white line recognition processing unit 234 to specify a process for recognizing a white line on the road surface are stored.

記憶部23は、歩行者の輝度分布を示す標準パターンH1、H2、…Hxを有する標準パターン部235を記憶してある。標準パターンH1、H2、…Hxは歩行者の体形、子供と大人の区別、服装、歩行者の姿勢、位置などに応じて複数の異なるパターンである。   The memory | storage part 23 has memorize | stored the standard pattern part 235 which has the standard patterns H1, H2, ... Hx which show the luminance distribution of a pedestrian. Standard patterns H1, H2,... Hx are a plurality of different patterns depending on the pedestrian's body shape, the distinction between children and adults, clothing, the pedestrian's posture, position, and the like.

標準パターン部235は、障害物を認識するための標準パターン、接近車両を認識するための標準パターン、白線を認識するための標準パターンを有する。   The standard pattern unit 235 includes a standard pattern for recognizing an obstacle, a standard pattern for recognizing an approaching vehicle, and a standard pattern for recognizing a white line.

画像処理LSI26は、論理ブロック、メモリ、内部レジスタなどを内蔵したFPGA(Field Programmable Gate Array)により構成してある。FPGAは、内蔵された各論理ブロック又はメモリに、記憶部23に記憶された各認識処理部で特定される論理ビット列(アーキテクチャ・ビット)をロードすることにより、マッチドフィルタを用いた歩行者認識処理を行う。すなわち、二次元フーリエ変換された撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算を行い、積和結果を逆二次元フーリエ変換して相関度(相関パワー)を算出し、算出した相関度の最大値を制御部27へ出力する。また、FPGAは、障害物認識処理部232、接近車両認識処理部233、又は白線認識処理部234で特定される論理ビット列をロードすることにより、障害物認識処理、接近車両認識処理、又は白線認識処理を行うこともできる。   The image processing LSI 26 is configured by an FPGA (Field Programmable Gate Array) incorporating a logic block, a memory, an internal register, and the like. The FPGA loads a logical bit string (architecture bit) specified by each recognition processing unit stored in the storage unit 23 into each built-in logical block or memory, thereby enabling a pedestrian recognition process using a matched filter. I do. That is, a product-sum operation is performed on a captured image that has been subjected to two-dimensional Fourier transform and a conjugate complex number of Fourier transform of a standard pattern, and the degree of correlation (correlation power) is calculated by performing inverse two-dimensional Fourier transform on the product-sum result. The maximum value of the correlation degree is output to the control unit 27. Further, the FPGA loads the logical bit string specified by the obstacle recognition processing unit 232, the approaching vehicle recognition processing unit 233, or the white line recognition processing unit 234, so that the obstacle recognition process, the approaching vehicle recognition process, or the white line recognition is performed. Processing can also be performed.

画像処理LSI26は、画像メモリ22に記憶された撮像画像をフレーム単位で読み出し、歩行者認識処理、障害物認識処理、接近車両認識処理、又は白線認識処理を行った結果の撮像画像を出力部24へ出力する。画像処理LSI26は、同様の処理を画像メモリ22に記憶された撮像画像に対してフレーム単位で繰り返し行う。   The image processing LSI 26 reads out the captured image stored in the image memory 22 in units of frames, and outputs the captured image as a result of performing the pedestrian recognition process, the obstacle recognition process, the approaching vehicle recognition process, or the white line recognition process. Output to. The image processing LSI 26 repeats the same processing for each captured image stored in the image memory 22 in units of frames.

出力部24は、画像処理LSI26から出力された処理後の撮像画像を表示装置6へ送信する。   The output unit 24 transmits the processed captured image output from the image processing LSI 26 to the display device 6.

表示装置6は、出力された撮像画像に基づき、車両周辺の状況をディスプレイに表示するとともに、歩行者が認識された場合は、認識された歩行者の周囲に枠を付して、運転者に歩行者の存在を促すべく強調表示をする。また、認識された接近車両、障害物、白線などを表示する。   The display device 6 displays the situation around the vehicle on the display based on the output captured image and, when a pedestrian is recognized, attaches a frame around the recognized pedestrian to the driver. Highlight to encourage the presence of pedestrians. In addition, recognized approaching vehicles, obstacles, white lines, etc. are displayed.

表示装置6に備えられた警報部は、歩行者、接近車両、障害物が認識された場合に、音声又は警告音を発し、運転者に注意を促す。   The alarm unit provided in the display device 6 emits a sound or a warning sound when a pedestrian, an approaching vehicle, or an obstacle is recognized, and alerts the driver.

ECU3、4、5も同様の構成を有するので、説明は省略する。なお、ECU2は、デフォルトで画像処理LSI26に歩行者認識処理部231で特定される論理ビット列がロードされ、歩行者認識のための画像処理を行う。ECU3は、デフォルトで画像処理LSIに障害物認識処理部232で特定される論理ビット列がロードされ、障害物認識のための画像処理を行う。ECU4は、デフォルトで画像処理LSIに接近車両認識処理部233で特定される論理ビット列がロードされ、接近車両認識のための画像処理を行う。ECU5は、デフォルトで画像処理LSIに白線認識処理部234で特定される論理ビット列がロードされ、白線認識のための画像処理を行う。   Since the ECUs 3, 4, and 5 have the same configuration, the description thereof is omitted. The ECU 2 is loaded with a logical bit string specified by the pedestrian recognition processing unit 231 in the image processing LSI 26 by default, and performs image processing for pedestrian recognition. By default, the ECU 3 is loaded with a logical bit string specified by the obstacle recognition processing unit 232 in the image processing LSI, and performs image processing for obstacle recognition. The ECU 4 is loaded with a logical bit string specified by the approaching vehicle recognition processing unit 233 in the image processing LSI by default, and performs image processing for approaching vehicle recognition. The ECU 5 loads the logical bit string specified by the white line recognition processing unit 234 to the image processing LSI by default, and performs image processing for white line recognition.

図4はECU間で使用する命令の構成を示す説明図である。命令は制御部27で作成され、送信元のECUを特定する送信元アドレス、送信先のECUを特定する送信先アドレス、及び送信するデータ部から構成してある。また、データ部は、送信先のECUに対する命令部と、該命令部により使用される命令用のデータから構成してある。   FIG. 4 is an explanatory diagram showing a configuration of instructions used between ECUs. The command is created by the control unit 27, and is composed of a transmission source address that identifies the transmission source ECU, a transmission destination address that identifies the transmission destination ECU, and a data portion to be transmitted. The data part is composed of a command part for the destination ECU and command data used by the command part.

命令部は、送信先のECUと通信開始を要求し、送信先のECUが要求に応じることができるか否かを確認する「通信開始」命令、標準パターン部235が有する標準パターンH1、H2、…Hxを各ECUに割当てるための「標準パターン設定」命令、歩行者認識処理の開始を他のECUに要求する「歩行者認識開始」命令、他のECUの歩行者認識処理を終了させるための「歩行者認識終了」命令などを有する。   The command unit requests communication start with the transmission destination ECU, and confirms whether the transmission destination ECU can respond to the request, “communication start” command, standard patterns H1 and H2 included in the standard pattern unit 235, ... "Standard pattern setting" command for assigning Hx to each ECU, "pedestrian recognition start" command for requesting other ECUs to start pedestrian recognition processing, and for ending pedestrian recognition processing of other ECUs It has a “pedestrian recognition end” command and the like.

例えば、命令が「標準パターン設定」である場合は、制御部27は、各ECU夫々に割当てる標準パターン番号をデータとして作成する。これにより、制御部27は、どのECUにどの標準パターンを割当てるかを特定する。   For example, when the instruction is “standard pattern setting”, the control unit 27 creates a standard pattern number assigned to each ECU as data. Thereby, the control unit 27 specifies which standard pattern is assigned to which ECU.

図5は標準パターンの割当て例を示す説明図である。図に示すように、制御部27は、歩行者認識に用いられる標準パターンH1、H2、…HxをECU2、3、4、5でほぼ均等に割当てる。これにより、標準パターンH1、H2、…Hxの何れかを割当てられたECUは、割当てられた標準パターンを使用して歩行者認識の処理を行う。   FIG. 5 is an explanatory diagram showing an example of standard pattern assignment. As shown in the figure, the control unit 27 assigns the standard patterns H1, H2,... Hx used for pedestrian recognition almost evenly by the ECUs 2, 3, 4, and 5. Thereby, the ECU to which any one of the standard patterns H1, H2,... Hx is assigned performs pedestrian recognition processing using the assigned standard pattern.

次に歩行者認識の処理について説明する。運転者が、表示装置6に備えられた操作部を操作して歩行者認識の開始スイッチをオンにした場合、歩行者認識の開始信号がECU2の入力部25を介して制御部27に入力される。制御部27は、インタフェース部21を介して、初期コマンドをビデオカメラ1aへ送出する。   Next, pedestrian recognition processing will be described. When the driver operates the operation unit provided in the display device 6 to turn on the pedestrian recognition start switch, a pedestrian recognition start signal is input to the control unit 27 via the input unit 25 of the ECU 2. The The control unit 27 sends an initial command to the video camera 1a via the interface unit 21.

初期コマンドを受信したビデオカメラ1aは、画像撮像部11から車両の外界の撮像を開始する。信号処理部12は、撮像した撮像画像を一旦画像メモリ13に記録した後に、1フレーム分の撮像画像毎にインタフェース部14を介して、ECU2へ送出し、送出された撮像画像は、一旦画像メモリ22に記憶される。   Receiving the initial command, the video camera 1a starts imaging the outside of the vehicle from the image capturing unit 11. The signal processing unit 12 once records the captured image in the image memory 13 and then sends the captured image for one frame to the ECU 2 via the interface unit 14. The transmitted captured image is temporarily stored in the image memory. 22 is stored.

制御部27は、歩行者認識の開始信号を受け取った場合、他のECU3、4、5に対して「通信開始」命令を送信する。これにより、他のECU3、4、5がデフォルトの認識処理中であるか否かを確認する。例えば、運転者が障害物認識、接近車両認識、白線認識のいずれも開始していない場合は、ECU2は、ECU3、4、5夫々から歩行者認識処理を行うことができる確認信号を受信する。   When the control unit 27 receives a pedestrian recognition start signal, the control unit 27 transmits a “communication start” command to the other ECUs 3, 4, and 5. Thereby, it is confirmed whether other ECU3, 4, 5 is in the default recognition process. For example, when the driver has not started any obstacle recognition, approaching vehicle recognition, or white line recognition, the ECU 2 receives a confirmation signal that can perform a pedestrian recognition process from each of the ECUs 3, 4, and 5.

制御部27は、他のECU3、4、5からの確認信号に基づいて、歩行者認識処理を並列に処理できるECUの数を算出し、算出した数に基づいて、標準パターンH1、H2、…Hxをほぼ均等に割当てる割当て数を決定し、決定した数に基づいて、ECU2、3、4、5に割当てる標準パターンの番号を決定し、決定した標準パターン番号を「標準パターン設定」命令とともに、他のECU3、4、5へ送信する。   The control unit 27 calculates the number of ECUs that can process the pedestrian recognition process in parallel based on the confirmation signals from the other ECUs 3, 4, 5, and based on the calculated number, the standard patterns H1, H2,. Decide the number of assignments to assign Hx almost evenly, determine the number of the standard pattern to be assigned to the ECUs 2, 3, 4, 5 based on the decided number, and set the determined standard pattern number together with the “standard pattern setting” command, It transmits to other ECU3,4,5.

制御部27は、画像メモリ22に記憶された撮像画像をフレーム単位で画像処理LSI26へ出力する。   The control unit 27 outputs the captured image stored in the image memory 22 to the image processing LSI 26 in units of frames.

画像処理LSI26は、受け取った1フレーム分の撮像画像に輝度補正などのフィルタリング処理を行い、フィルタリング処理後の撮像画像に対して二次元フーリエ変換を行い、二次元フーリエ変換した撮像画像を制御部27へ出力するとともに、二次元フーリエ変換した撮像画像と、ECU2に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度(相関パワー)を算出し、算出した相関度の最大値M2を内部レジスタに保持する。   The image processing LSI 26 performs a filtering process such as luminance correction on the received captured image for one frame, performs a two-dimensional Fourier transform on the captured image after the filtering process, and controls the captured image obtained by the two-dimensional Fourier transform. The product-sum operation (convolution operation) of the captured image obtained by two-dimensional Fourier transform and the conjugate complex number of the Fourier transform of the standard pattern assigned to the ECU 2 is performed for each standard pattern, and the product-sum results are reversed. The degree of correlation (correlation power) for each standard pattern is calculated by performing two-dimensional Fourier transform, and the maximum value M2 of the calculated degree of correlation is held in the internal register.

制御部27は、画像処理LSI26から出力された二次元フーリエ変換した撮像画像を「歩行者認識開始」命令とともに、ECU3、4、5へ送信する。   The control unit 27 transmits the captured image obtained by the two-dimensional Fourier transform output from the image processing LSI 26 to the ECUs 3, 4, and 5 together with the “pedestrian recognition start” command.

「歩行者認識開始」命令を受信したECU3は、受信した二次元フーリエ変換後の撮像画像と、ECU3に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値M3をECU2へ送信する。   The ECU 3 that has received the “pedestrian recognition start” command standardizes the product-sum operation (convolution operation) of the received image after the two-dimensional Fourier transform and the conjugate complex number of the Fourier transform of the standard pattern assigned to the ECU 3. This is performed for each pattern, and the degree of correlation for each standard pattern is calculated by inverse two-dimensional Fourier transform of each product-sum result, and the calculated maximum value M3 of the degree of correlation is transmitted to the ECU 2.

「歩行者認識開始」命令を受信したECU4は、受信した二次元フーリエ変換後の撮像画像と、ECU4に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値M4をECU2へ送信する。   The ECU 4 that has received the “start pedestrian recognition” command standardizes the product-sum operation (convolution operation) of the received image after the two-dimensional Fourier transform and the conjugate complex number of the Fourier transform of the standard pattern assigned to the ECU 4. This is performed for each pattern, and the degree of correlation for each standard pattern is calculated by performing inverse two-dimensional Fourier transform on each product-sum result, and the maximum value M4 of the calculated degree of correlation is transmitted to the ECU 2.

「歩行者認識開始」命令を受信したECU5は、受信した二次元フーリエ変換後の撮像画像と、ECU5に割当てられた標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)を標準パターン毎に行い、積和結果夫々を逆二次元フーリエ変換することにより標準パターン毎の相関度を算出し、算出した相関度の最大値M5をECU2へ送信する。なお、ECU2、3、4、5における相関度の算出は、並列に処理する。これにより、ECU2がマスターとなり、ECU3、4、5がスレーブとなって、標準パターン毎の相関度の算出演算を並列処理する。   The ECU 5 that has received the “start pedestrian recognition” command standardizes the product-sum operation (convolution operation) of the received captured image after the two-dimensional Fourier transform and the conjugate complex number of the Fourier transform of the standard pattern assigned to the ECU 5. This is performed for each pattern, and the degree of correlation for each standard pattern is calculated by performing inverse two-dimensional Fourier transform on each product-sum result, and the calculated maximum value M5 of the degree of correlation is transmitted to the ECU 2. In addition, calculation of the correlation degree in ECU2,3,4,5 is processed in parallel. Thereby, ECU2 becomes a master and ECU3, 4, 5 becomes a slave, and the calculation calculation of the correlation degree for every standard pattern is processed in parallel.

ECU2の制御部27は、画像処理LSI26の内部レジスタに保持された相関度の最大値M2を取り出すとともに、取り出した相関度の最大値M2及びECU3、4、5から受信した相関度の最大値M3、M4、M5を予め定められた閾値THと比較し、相関度の最大値M2、M3、M4、M5の何れかが閾値THより大きい場合は、歩行者が存在すると判定し、歩行者を抽出する。   The control unit 27 of the ECU 2 extracts the maximum correlation degree value M2 held in the internal register of the image processing LSI 26, and also extracts the maximum correlation degree value M2 and the maximum correlation degree value M3 received from the ECUs 3, 4, and 5. , M4, M5 are compared with a predetermined threshold TH, and if any of the maximum correlation values M2, M3, M4, M5 is greater than the threshold TH, it is determined that there is a pedestrian and a pedestrian is extracted. To do.

画像処理LSI26は、制御部27の判定結果に基づき、歩行者が抽出された撮像画像を、出力部24を介して表示装置6へ送信する。   The image processing LSI 26 transmits the captured image from which the pedestrian has been extracted to the display device 6 via the output unit 24 based on the determination result of the control unit 27.

表示装置6は、出力部24を介して出力された撮像画像に基づき、歩行者の状況をディスプレイに表示するとともに、抽出した歩行者の周囲に枠を付して、運転者に歩行者の存在を促すべく強調表示をする。   The display device 6 displays the pedestrian's situation on the display based on the captured image output via the output unit 24, adds a frame around the extracted pedestrian, and presents the pedestrian to the driver. Highlight to prompt.

運転者が、表示装置6に備えられた操作部を操作して歩行者認識の開始スイッチをオフにした場合、制御部27は、ECU3、4、5に対して「歩行者認識終了」命令を送信し、ECU3、4、5での歩行者認識処理を終了させる。   When the driver operates the operation unit provided in the display device 6 to turn off the pedestrian recognition start switch, the control unit 27 issues a “pedestrian recognition end” command to the ECUs 3, 4, and 5. And the pedestrian recognition process in the ECUs 3, 4 and 5 is terminated.

以上説明したように、本発明にあっては、標準パターンH1、H2、…Hxを各ECU2、3、4、5に割当て、各ECU2、3、4、5において、二次元フーリエ変換後の撮像画像と標準パターンのフーリエ変換の共役複素数との積和演算(コンボリューション演算)、及び逆二次元フーリエ変換の演算を並列に行うことにより、各ECU2、3、4、5における演算処理量を分散することができ、大規模なLSIを必要としない。また、演算処理を並列に行うため、処理時間を短縮することができ、高速DSPなどの高価な画像処理装置を必要としない。また、ECU3、4、5は、デフォルトで夫々の専用処理を行うものであるため、新たにECUを追加する必要がなく、既存のECUを有効利用してシステム全体のコストを低減することができる。   As described above, in the present invention, the standard patterns H1, H2,... Hx are assigned to the ECUs 2, 3, 4, and 5, and the ECUs 2, 3, 4, and 5 perform imaging after the two-dimensional Fourier transform. The calculation processing amount in each ECU 2, 3, 4, 5 is distributed by performing the product-sum operation (convolution operation) of the image and the conjugate complex number of the Fourier transform of the standard pattern and the inverse two-dimensional Fourier transform in parallel. And does not require a large-scale LSI. Further, since the arithmetic processing is performed in parallel, the processing time can be shortened and an expensive image processing device such as a high-speed DSP is not required. Further, since the ECUs 3, 4, and 5 perform dedicated processing by default, there is no need to newly add an ECU, and the cost of the entire system can be reduced by effectively using the existing ECU. .

上述の実施の形態においては、歩行者認識処理は、マッチドフィルタを用いるものであったが、これに限定されるものではなく、他のテンプレートマッチング方法を用いる構成でもよい。例えば、撮像画像及び基準パターンが有する輝度値の間において、相関値を算出して、算出した相関値の大小に基づいて歩行者を認識する構成でもよい。   In the above-described embodiment, the pedestrian recognition process uses a matched filter. However, the present invention is not limited to this, and a configuration using another template matching method may be used. For example, a configuration in which a correlation value is calculated between the luminance values of the captured image and the reference pattern and a pedestrian is recognized based on the magnitude of the calculated correlation value may be used.

上述の実施の形態においては、標準パターンをECU2、3、4、5の記憶部に記憶する構成であったが、これに限定されるものではなく、一のECU(例えば、ECU2のみ)に記憶する構成でもよく、また、ECU外の記憶装置に標準パターンを記憶しておき、割当てた標準パターンを前記記憶装置から読み出し、各ECUに送信する構成でもよい。これにより、標準パターンを記憶するための記憶容量を削減することができる。また、予め各ECUに各ECUで処理するための標準パターンを分散して記憶しておく構成でもよい。   In the above-described embodiment, the standard pattern is stored in the storage unit of the ECUs 2, 3, 4, and 5. However, the present invention is not limited to this, and is stored in one ECU (for example, only the ECU 2). The standard pattern may be stored in a storage device outside the ECU, and the assigned standard pattern may be read from the storage device and transmitted to each ECU. Thereby, the storage capacity for storing the standard pattern can be reduced. Further, a standard pattern for processing in each ECU may be distributed and stored in each ECU in advance.

上述の実施の形態においては、標準パターンH1、H2、…Hxを記憶する構成であったが、予め標準パターンH1、H2、…Hxのフーリエ変換の共役複素数を記憶しておく構成でもよい。   In the above-described embodiment, the standard patterns H1, H2,... Hx are stored. However, the complex complex number of the Fourier transform of the standard patterns H1, H2,.

上述の実施の形態においては、ECU2、3、4、5を、通信線7を介して接続してある構成であったが、ECUの数は、これに限定されるものではない。   In the above-described embodiment, the ECUs 2, 3, 4, and 5 are connected via the communication line 7. However, the number of ECUs is not limited to this.

上述の実施の形態においては、歩行者認識処理を各ECUで並列処理する構成であったが、これに限定されるものではなく、障害物、接近車両などの車両周辺を認識する処理を並列処理する構成であってもよい。この場合は、夫々の処理に適した標準パターンを使用することができる。   In the above-described embodiment, the pedestrian recognition process is processed in parallel by each ECU. However, the present invention is not limited to this, and the process of recognizing the periphery of a vehicle such as an obstacle or an approaching vehicle is processed in parallel. It may be configured to. In this case, a standard pattern suitable for each process can be used.

上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、IEEE1394に準拠した車載LAN通信線を介して行われたが、これに限らず、Gigabit Ethernet(登録商標)等の規格に準拠した通信方式であってもよい。   In the above-described embodiment, the connection between the video camera and the image processing apparatus is performed via the in-vehicle LAN communication line compliant with IEEE 1394. However, the present invention is not limited to this, and standards such as Gigabit Ethernet (registered trademark) are used. A compliant communication method may be used.

上述の実施の形態においては、歩行者の認識処理を行う構成であったが、車両の周辺を認識する認識対象は、歩行者に限定されるものではなく、路面表示、標識、信号などの他の対象物を認識する構成であってもよい。   In the above-described embodiment, the pedestrian recognition process is performed. However, the recognition target for recognizing the periphery of the vehicle is not limited to the pedestrian. The structure which recognizes the target object may be sufficient.

本発明に係る車両周辺認識システムの概要を示す模式図である。It is a schematic diagram which shows the outline | summary of the vehicle periphery recognition system which concerns on this invention. ビデオカメラの構成を示すブロック図である。It is a block diagram which shows the structure of a video camera. ECUの構成を示すブロック図である。It is a block diagram which shows the structure of ECU. ECU間で使用する命令の構成を示す説明図である。It is explanatory drawing which shows the structure of the command used between ECU. 標準パターンの割当て例を示す説明図である。It is explanatory drawing which shows the example of allocation of a standard pattern.

符号の説明Explanation of symbols

1a、1b、1c、1d ビデオカメラ
2、3、4、5 ECU
6 表示装置
21 インタフェース部
22 画像メモリ
23 記憶部
24 出力部
25 入力部
26 画像処理LSI
27 制御部
231 歩行者認識処理部
235 標準パターン
1a, 1b, 1c, 1d Video camera 2, 3, 4, 5 ECU
6 Display Device 21 Interface Unit 22 Image Memory 23 Storage Unit 24 Output Unit 25 Input Unit 26 Image Processing LSI
27 Control Unit 231 Pedestrian Recognition Processing Unit 235 Standard Pattern

Claims (4)

車両の外界を撮像装置で撮像し、撮像して得られた撮像画像及び複数記憶してある標準パターンを画像処理装置で処理して車両周辺を認識する車両周辺認識システムにおいて、
前記画像処理装置を複数備え、
前記画像処理装置は、
撮像して得られた撮像画像を他の画像処理装置との間で送受信する送受信手段と、
前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段と
を備え、
前記画像処理装置は、
撮像して得られた撮像画像を他の画像処理装置へ送信し、
前記他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする車両周辺認識システム。
In a vehicle periphery recognition system that captures an external environment of a vehicle with an imaging device, processes a captured image obtained by imaging and a plurality of stored standard patterns with an image processing device, and recognizes the vehicle periphery,
A plurality of the image processing devices;
The image processing apparatus includes:
A transmission / reception means for transmitting / receiving a captured image obtained by imaging to / from another image processing apparatus;
Using a different standard pattern for each of the image processing devices, and a determination unit that determines whether the captured image received by the transmission / reception unit is similar to the standard pattern,
The image processing apparatus includes:
Send the captured image obtained by imaging to another image processing device,
A vehicle periphery recognition system characterized in that the periphery of the vehicle is recognized based on a result determined by the determination means of the other image processing apparatus.
前記撮像画像を送信した画像処理装置の判断手段は、
撮像して得られた撮像画像が、前記標準パターンと類似しているか否かを判断するようにしてあり、
前記画像処理装置は、
前記判断手段及び他の画像処理装置の判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする請求項1に記載の車両周辺認識システム。
The determination means of the image processing apparatus that has transmitted the captured image includes:
Whether or not a captured image obtained by imaging is similar to the standard pattern;
The image processing apparatus includes:
2. The vehicle periphery recognition system according to claim 1, wherein the vehicle periphery is recognized based on a result determined by the determination unit and a determination unit of another image processing apparatus.
撮像して得られた撮像画像が、前記標準パターンと類似しているか否かの判断を並列処理するようにしてあることを特徴とする請求項1又は請求項2に記載の車両周辺認識システム。   The vehicle periphery recognition system according to claim 1 or 2, wherein a determination as to whether a captured image obtained by imaging is similar to the standard pattern is processed in parallel. 取り込んだ撮像画像及び複数記憶してある標準パターンを処理して車両周辺を認識する画像処理装置において、
取り込んだ撮像画像を他の画像処理装置との間で送受信する送受信手段と、
前記画像処理装置毎に異なる標準パターンを用いて、前記送受信手段で受信した撮像画像が、前記標準パターンと類似しているか否かを判断する判断手段と
を備え、
前記判断手段が判断した結果に基づいて、車両周辺を認識するようにしてあることを特徴とする画像処理装置。



In an image processing apparatus that recognizes the periphery of a vehicle by processing captured captured images and a plurality of stored standard patterns,
Transmission / reception means for transmitting / receiving the captured image to / from another image processing device;
Using a different standard pattern for each of the image processing devices, and a determination unit that determines whether the captured image received by the transmission / reception unit is similar to the standard pattern,
An image processing apparatus characterized by recognizing the periphery of a vehicle based on a result determined by the determining means.



JP2004353127A 2004-12-06 2004-12-06 Vehicle perimeter recognition system and image processing system Pending JP2006163726A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004353127A JP2006163726A (en) 2004-12-06 2004-12-06 Vehicle perimeter recognition system and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004353127A JP2006163726A (en) 2004-12-06 2004-12-06 Vehicle perimeter recognition system and image processing system

Publications (1)

Publication Number Publication Date
JP2006163726A true JP2006163726A (en) 2006-06-22

Family

ID=36665687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004353127A Pending JP2006163726A (en) 2004-12-06 2004-12-06 Vehicle perimeter recognition system and image processing system

Country Status (1)

Country Link
JP (1) JP2006163726A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008071062A (en) * 2006-09-13 2008-03-27 Fujitsu Ten Ltd Operation support device and notification method
JP2011182260A (en) * 2010-03-02 2011-09-15 Honda Motor Co Ltd Vehicle surrounding monitoring device
EP2372612A1 (en) 2010-03-31 2011-10-05 Fujitsu Limited Image matching device and image matching method
KR20120107783A (en) * 2011-03-22 2012-10-04 현대자동차주식회사 Apparatus and method for providing image based on ethernet
KR101406841B1 (en) * 2012-12-21 2014-06-13 주식회사 엠티오메가 Apparatus for recording image and method thereof
US9262693B2 (en) 2013-04-26 2016-02-16 Denso Corporation Object detection apparatus
US9367749B2 (en) 2013-02-22 2016-06-14 Denso Corporation Object detection apparatus
US9418287B2 (en) 2013-03-13 2016-08-16 Denso Corporation Object detection apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008071062A (en) * 2006-09-13 2008-03-27 Fujitsu Ten Ltd Operation support device and notification method
JP2011182260A (en) * 2010-03-02 2011-09-15 Honda Motor Co Ltd Vehicle surrounding monitoring device
EP2372612A1 (en) 2010-03-31 2011-10-05 Fujitsu Limited Image matching device and image matching method
US8913837B2 (en) 2010-03-31 2014-12-16 Fujitsu Limited Image matching device and image matching method
KR20120107783A (en) * 2011-03-22 2012-10-04 현대자동차주식회사 Apparatus and method for providing image based on ethernet
KR101714062B1 (en) 2011-03-22 2017-03-08 현대자동차주식회사 Apparatus and method for providing image based on ethernet
KR101406841B1 (en) * 2012-12-21 2014-06-13 주식회사 엠티오메가 Apparatus for recording image and method thereof
WO2014098336A1 (en) * 2012-12-21 2014-06-26 주식회사 엠티오메가 Image collection apparatus for vehicle and operating method therefor
US9367749B2 (en) 2013-02-22 2016-06-14 Denso Corporation Object detection apparatus
US9418287B2 (en) 2013-03-13 2016-08-16 Denso Corporation Object detection apparatus
US9262693B2 (en) 2013-04-26 2016-02-16 Denso Corporation Object detection apparatus

Similar Documents

Publication Publication Date Title
JP6937443B2 (en) Imaging device and control method of imaging device
JP6832155B2 (en) Image processing equipment, image processing method, and image processing system
WO2020230660A1 (en) Image recognition device, solid-state imaging device, and image recognition method
WO2017022496A1 (en) Device for presenting assistance images to driver, and method therefor
WO2020230636A1 (en) Image recognition device and image recognition method
JP2006163726A (en) Vehicle perimeter recognition system and image processing system
TW202129313A (en) Imaging device
JP6903925B2 (en) Imaging display system, passenger equipment
WO2020230635A1 (en) Imaging device and imaging method
JP4797441B2 (en) Image processing apparatus for vehicle
WO2021177085A1 (en) Information processing device, and information processing method
WO2017122395A1 (en) Image data processing circuit and imaging circuit
JP2007083922A (en) Collision avoidance support system, collision avoidance support method, and computer program
JP2019033408A (en) Imaging apparatus and control method therefor
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2019208204A1 (en) Imaging device
JPWO2020149094A1 (en) Imaging device, imaging system and failure detection method
WO2022219874A1 (en) Signal processing device and method, and program
WO2022249562A1 (en) Signal processing device, method, and program
WO2021192682A1 (en) Information processing device, information processing method, and program
JP2005196423A (en) Image display method, image display system and image processor
US20240078803A1 (en) Information processing apparatus, information processing method, computer program, and sensor apparatus
CN110493490B (en) Image pickup apparatus and image pickup system
WO2022019025A1 (en) Information processing device, information processing system, information processing method, and information processing program
WO2021029167A1 (en) Information processing device, information processing method, and information processing program