JP2013073312A - Driving support device - Google Patents
Driving support device Download PDFInfo
- Publication number
- JP2013073312A JP2013073312A JP2011210368A JP2011210368A JP2013073312A JP 2013073312 A JP2013073312 A JP 2013073312A JP 2011210368 A JP2011210368 A JP 2011210368A JP 2011210368 A JP2011210368 A JP 2011210368A JP 2013073312 A JP2013073312 A JP 2013073312A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- distance image
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
Description
本発明は、カメラ画像と距離画像センサの検出結果を用いて車両近傍の物体を認識可能な表示画像に処理する運転支援装置に関する。 The present invention relates to a driving support device that processes an object near a vehicle into a recognizable display image using a camera image and a detection result of a distance image sensor.
近年、車両周辺の物体を運転者に認識させるため、センサで物体を検出してカメラ画像にその検出結果を表示する運転支援装置が知られている。例えば、従来の運転支援装置では、リアカメラの撮像画像にセンサで検出した物体の検出情報を重畳した画像をディスプレイに表示する（例えば、特許文献１参照）。 In recent years, in order to make a driver recognize an object around a vehicle, a driving support device that detects an object with a sensor and displays the detection result on a camera image is known. For example, in a conventional driving support device, an image in which detection information of an object detected by a sensor is superimposed on a captured image of a rear camera is displayed on a display (see, for example, Patent Document 1).
しかし、上記従来の運転支援装置では、物体検出精度はセンサの分解能に依存する。このため、物体検出精度が要求される車両近傍では検出誤差が生じやすい。また、カメラ画像のパターンマッチングを用いた画像認識による物体検出も考えられるが、パターンが背景に描かれている場合など、画像認識によっても検出誤差が生じる。 However, in the conventional driving assistance device, the object detection accuracy depends on the resolution of the sensor. For this reason, detection errors are likely to occur in the vicinity of a vehicle that requires object detection accuracy. In addition, object detection by image recognition using pattern matching of camera images is conceivable, but detection errors also occur by image recognition, such as when a pattern is drawn on the background.
本発明は、車両近傍の物体とこの物体までの距離を精度よく検出することができる運転支援装置を提供することを目的とする。 An object of the present invention is to provide a driving support device that can accurately detect an object near a vehicle and a distance to the object.
本発明の運転支援装置は、車両周囲を撮像する撮像手段と、車両周囲に照射光を発する照射手段と、この照射手段が発した照射光の反射光を取得する撮像素子と、この撮像素子が取得した反射光に基づいて車両周囲の被照射体の距離を示す距離画像を算出する距離画像算出手段と、距離画像算出手段が算出した距離画像に基づいて物体を検出する物体検出手段と、距離画像算出手段が算出した距離画像のうち物体検出手段が検出した物体を示す画像を撮像手段が撮像した撮像画像に合成する合成手段と、この合成手段が合成した合成画像を表示する表示手段とを備えることを特徴とする。 The driving support apparatus according to the present invention includes an imaging unit that captures an image around the vehicle, an irradiation unit that emits irradiation light around the vehicle, an imaging element that obtains reflected light of the irradiation light emitted from the irradiation unit, and the imaging element. A distance image calculating means for calculating a distance image indicating the distance of the irradiated object around the vehicle based on the acquired reflected light; an object detecting means for detecting an object based on the distance image calculated by the distance image calculating means; Combining means for combining an image indicating an object detected by the object detecting means among the distance images calculated by the image calculating means with a captured image picked up by the image pickup means, and display means for displaying the combined image combined by the combining means. It is characterized by providing.
本発明によれば、車両近傍の物体とこの物体までの距離を精度よく検出することができる。 According to the present invention, it is possible to accurately detect an object near the vehicle and a distance to the object.
以下、本発明の一実施の形態に係る運転支援装置について図面を参照しながら説明する。 Hereinafter, a driving support apparatus according to an embodiment of the present invention will be described with reference to the drawings.
図１は本実施の形態に係る運転支援装置１の構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of a driving support apparatus 1 according to the present embodiment.
図１に示すように、運転支援装置１は、車両に搭載されるものである。また、運転支援装置１は、撮像カメラ１０、距離画像センサカメラ２０、ＬＥＤ２３、画像処理装置３０、および、表示装置４０を備える。なお、撮像カメラ１０、距離画像センサカメラ２０、ＬＥＤ２３、表示装置４０、については、車両に予め備えられたものを利用してもよく、また、運転支援装置１が備えてもよい。 As shown in FIG. 1, the driving assistance apparatus 1 is mounted on a vehicle. The driving support device 1 includes an imaging camera 10, a distance image sensor camera 20, an LED 23, an image processing device 30, and a display device 40. In addition, about the imaging camera 10, the distance image sensor camera 20, LED23, and the display apparatus 40, what was previously equipped with the vehicle may be utilized and the driving assistance apparatus 1 may be provided.
撮像カメラ１０は、車体に設置され、車両周辺の画像を撮像する。望ましくは、車体後部に設置されて、車両の後部周辺の画像を撮影する。撮像カメラ１０は、第１の撮像素子１１とこの第１の撮像素子１１に接続する第１の信号処理部１２とを有する。第１の撮像素子１１は外部から取得した光信号を光電変換して画像信号を生成し、この画像信号を第１の信号処理部１２に出力する。第１の信号処理部１２は、この取得したアナログの画像信号をＡ／Ｄ変換し、デジタルの画像データとして画像処理装置３０に出力する。 The imaging camera 10 is installed on the vehicle body and captures an image around the vehicle. Desirably, it is installed at the rear part of the vehicle body and takes an image around the rear part of the vehicle. The imaging camera 10 includes a first imaging element 11 and a first signal processing unit 12 connected to the first imaging element 11. The first image sensor 11 photoelectrically converts an optical signal acquired from the outside to generate an image signal, and outputs the image signal to the first signal processing unit 12. The first signal processing unit 12 performs A / D conversion on the acquired analog image signal and outputs it to the image processing device 30 as digital image data.
距離画像センサカメラ２０は、撮像カメラ１０周辺の車体に設置される。ＬＥＤ２３は距離画像センサカメラ２０近傍の車体に設置される。ＬＥＤ２３は、距離画像センサカメラ２０からの命令に基づいて車外に赤外光を出力する。距離画像センサカメラ２０は、第２の撮像素子２１と第２の信号処理部２２とを有する。第２の撮像素子２１は、複数の画素で構成されている。ＬＥＤ２３の照射光は車外の被照射体によって反射され、第２の撮像素子２１はこの反射光を画素ごとに取得する。第２の撮像素子２１は外部から取得した反射光を光電変換して電荷強度に応じた画像信号を生成し、この画像信号を第２の信号処理部２２に出力する。第２の信号処理部２２は、この取得した画像信号をデジタルの画像データとして画像処理装置３０に出力する。 The distance image sensor camera 20 is installed on the vehicle body around the imaging camera 10. The LED 23 is installed on the vehicle body near the distance image sensor camera 20. The LED 23 outputs infrared light outside the vehicle based on a command from the distance image sensor camera 20. The distance image sensor camera 20 includes a second image sensor 21 and a second signal processing unit 22. The second image sensor 21 is composed of a plurality of pixels. The irradiation light of the LED 23 is reflected by the irradiated object outside the vehicle, and the second image sensor 21 acquires this reflected light for each pixel. The second image sensor 21 photoelectrically converts the reflected light acquired from the outside to generate an image signal corresponding to the charge intensity, and outputs this image signal to the second signal processing unit 22. The second signal processing unit 22 outputs the acquired image signal to the image processing apparatus 30 as digital image data.
画像処理装置３０は、例えばＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）で構成され、車室内に設置される。画像処理装置３０は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）３１と、ＣＰＵ３２と、メモリ３３とを有する。ＬＳＩ３１は、撮像カメラ１０、距離画像センサカメラ２０、ＣＰＵ３２と、メモリ３３、表示装置４０と接続する。 The image processing device 30 is configured by, for example, an ECU (Electric Control Unit) and is installed in the vehicle interior. The image processing apparatus 30 includes an LSI (Large Scale Integration) 31, a CPU 32, and a memory 33. The LSI 31 is connected to the imaging camera 10, the distance image sensor camera 20, the CPU 32, the memory 33, and the display device 40.
ＬＳＩ３１は、撮像カメラ１０から取得した撮像画像と、距離画像センサカメラ２０から取得した距離画像のうち物体として認識した部分とを合成し、合成画像を表示装置４０に出力する。また、ＬＳＩ３１は、メモリ３３に記憶されたパターンを読み出して、距離画像センサカメラ２０から取得した距離画像における物体をパターンマッチングによって検出する。 The LSI 31 combines the captured image acquired from the imaging camera 10 and the portion recognized as an object in the distance image acquired from the distance image sensor camera 20, and outputs the combined image to the display device 40. In addition, the LSI 31 reads the pattern stored in the memory 33 and detects an object in the distance image acquired from the distance image sensor camera 20 by pattern matching.
ＣＰＵ３２は、ＣＡＮを介して車内の外部機器と接続する。ＣＰＵ３２は、外部機器からの入力信号に応じてＬＳＩ３１の駆動を制御する。外部機器は例えば車速センサやパーキングブレーキである。ＣＰＵ３２は、例えばパーキングブレーキからリバース信号を受信すると、ＬＳＩ３１を駆動する。そして、ＬＳＩ３１は、車両後部に設置された撮像カメラ１０から撮像画像を、距離画像センサカメラ２０から距離画像を取得して合成画像を作成する。 CPU32 connects with the external apparatus in a vehicle via CAN. The CPU 32 controls the driving of the LSI 31 according to an input signal from an external device. The external device is, for example, a vehicle speed sensor or a parking brake. For example, when receiving a reverse signal from a parking brake, the CPU 32 drives the LSI 31. Then, the LSI 31 acquires a captured image from the imaging camera 10 installed in the rear part of the vehicle and a distance image from the distance image sensor camera 20 to create a composite image.
ＬＳＩ３１は、第１のバッファ３４、第２のバッファ３５、物体検出処理部３６、合成手段３７とを有する。第１のバッファ３４、第２のバッファ３５はそれぞれ撮像カメラ１０の第１の信号処理部１２、距離画像センサカメラ２０の第２の信号処理部２２に接続する。第１のバッファ３４、第２のバッファ３５には、それぞれ第１の信号処理部１２、第２の信号処理部２２から撮像画像、距離画像が入力される。第１のバッファ３４、第２のバッファ３５はそれぞれ入力された撮像画像、距離画像の波形を調整する。物体検出処理部３６は、第２のバッファ３５で処理された距離画像からパターンマッチング等周知の技術によって物体を抽出する。合成手段３７は、第１のバッファ３４から入力された撮像画像と、物体検出処理部３６から入力されたパターンマッチング処理後の距離画像とを合成して、合成画像を表示装置４０に出力する。 The LSI 31 includes a first buffer 34, a second buffer 35, an object detection processing unit 36, and a combining unit 37. The first buffer 34 and the second buffer 35 are respectively connected to the first signal processing unit 12 of the imaging camera 10 and the second signal processing unit 22 of the distance image sensor camera 20. A captured image and a distance image are input to the first buffer 34 and the second buffer 35 from the first signal processing unit 12 and the second signal processing unit 22, respectively. The first buffer 34 and the second buffer 35 adjust the waveforms of the input captured image and distance image, respectively. The object detection processing unit 36 extracts an object from the distance image processed by the second buffer 35 by a known technique such as pattern matching. The synthesizing unit 37 synthesizes the captured image input from the first buffer 34 and the distance image after the pattern matching process input from the object detection processing unit 36, and outputs the synthesized image to the display device 40.
表示装置４０は、合成手段３７から入力された合成画像を表示する。表示装置４０は、車両の利用者が目視可能な位置に設置され、例えば、車両に備えられたシフトレバーがリバースの位置にあるときに画像を表示する。表示装置４０として、例えば車両に搭載されているカーナビゲーション装置が備えるディスプレイ画面を利用することができる。 The display device 40 displays the combined image input from the combining unit 37. The display device 40 is installed at a position where the user of the vehicle can see, and for example, displays an image when a shift lever provided in the vehicle is in a reverse position. As the display device 40, for example, a display screen provided in a car navigation device mounted on a vehicle can be used.
次に、距離画像センサカメラ２０とＬＥＤ２３による距離画像の取得について説明する。本実施形態における距離画像の取得には、周知のＴｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ（ＴＯＦ）法が用いられる。図２は、距離画像センサカメラとＬＥＤによる距離画像の取得をイメージで説明する図である。図２に示すように、ＬＥＤ２３は、照射光を外部に出力する。この照射光が被照射体２４に反射し、車両側に反射光が返ってくる。距離画像センサカメラ２０の第２の撮像素子２１は、画素ごとにこの反射光を受光する。第２の信号処理部２２は、このＬＥＤ２３から照射された照射光が反射して第２の撮像素子２１が受光するまでの到達時間に基づいて被照射体２４と自車両との距離を算出する。 Next, acquisition of a distance image by the distance image sensor camera 20 and the LED 23 will be described. A well-known Time-of-Flight (TOF) method is used for acquiring the distance image in the present embodiment. FIG. 2 is a diagram for explaining the acquisition of the distance image by the distance image sensor camera and the LED. As shown in FIG. 2, the LED 23 outputs the irradiation light to the outside. This irradiated light is reflected by the irradiated object 24 and the reflected light returns to the vehicle side. The second image sensor 21 of the distance image sensor camera 20 receives this reflected light for each pixel. The second signal processing unit 22 calculates the distance between the irradiated object 24 and the host vehicle based on the arrival time from when the irradiation light irradiated from the LED 23 is reflected and received by the second image sensor 21. .
すなわち、第２の信号処理部２２は、到達時間から内部処理時間を減算した値を遅延時間ｔとして設定し、この遅延時間ｔに光速を積算することにより、光の往復の距離を算出することが出来る。この距離の半分が、被照射体までの距離となる。なお、ここでいう内部処理時間は、第２の信号処理部２２とＬＥＤ２３との配線長Ｌによって生じる遅延を意味する。そして、第２の信号処理部２２は、遅延時間ｔに応じた被照射体２４との距離が画像で示された距離画像２５を第２のバッファ３５に対して出力する。 That is, the second signal processing unit 22 sets a value obtained by subtracting the internal processing time from the arrival time as the delay time t, and calculates the reciprocating distance of light by adding the speed of light to the delay time t. I can do it. Half of this distance is the distance to the irradiated object. Here, the internal processing time means a delay caused by the wiring length L between the second signal processing unit 22 and the LED 23. Then, the second signal processing unit 22 outputs a distance image 25 in which the distance from the irradiation object 24 corresponding to the delay time t is indicated by an image to the second buffer 35.
ここで、距離画像センサカメラ２０とＬＥＤ２３との水平方向の距離を離して車体に設置するとこの遅延時間ｔに追加の遅延時間が生じる。図３は、距離画像センサカメラとＬＥＤの位置関係に応じた被照射体までの距離の算出をイメージで説明する図である。図３では、被照射体２４が距離画像センサカメラ２０の光軸上に存在する場合を考える。このとき、距離画像センサカメラ２０からＬＥＤ２３までの水平方向の距離ａ０、ＬＥＤ２３から被照射体２４までの距離ｂ０、被照射体２４から距離画像センサカメラ２０までの距離ｃ０で表されている。このとき、各距離の関係は、ａ０ ２＋ｂ０ ２＝ｃ０ ２で表される。遅延時間ｔ０＝（ｃ０＋ｂ０）／光速ｃである。これらの２式から、被照射体２４と距離画像センサカメラ２０との距離はｂ０＝（ｃ２ｔ０ ２−ａ０ ２）／２ｃｔ０で表される。距離画像センサカメラ２０からＬＥＤ２３までの水平方向の距離ａ０は距離画像センサカメラ２０とＬＥＤ２３の設置位置に応じて予め設定される。このため、距離画像センサカメラ２０とＬＥＤ２３の設置位置による追加の遅延時間を考慮して被照射体２４との距離を補正した距離画像を取得することができる。 Here, if the distance image sensor camera 20 and the LED 23 are separated from each other in the horizontal direction and installed in the vehicle body, an additional delay time is generated in the delay time t. FIG. 3 is a diagram for explaining the calculation of the distance to the irradiated object according to the positional relationship between the distance image sensor camera and the LED. In FIG. 3, consider a case where the irradiated object 24 exists on the optical axis of the distance image sensor camera 20. The distance from the distance image sensor camera 20 in the horizontal direction to the LED 23 a 0, a distance b 0 from LED 23 to the irradiated body 24, is represented by a distance c 0 from the irradiated object 24 to a distance image sensor camera 20 Yes. At this time, the relationship between the distances is represented by a 0 2 + b 0 2 = c 0 2 . Delay time t 0 = (c 0 + b 0 ) / speed of light c. From these two formulas, the distance between the irradiated object 24 and the distance image sensor camera 20 is represented by b 0 = (c 2 t 0 2 −a 0 2 ) / 2ct 0 . The horizontal distance a 0 from the distance image sensor camera 20 to the LED 23 is set in advance according to the installation positions of the distance image sensor camera 20 and the LED 23. For this reason, it is possible to acquire a distance image in which the distance from the irradiated object 24 is corrected in consideration of an additional delay time depending on the installation position of the distance image sensor camera 20 and the LED 23.
また、被照射体２４が距離画像センサカメラ２０の光軸上に存在しない場合を考える。図４は、距離画像センサカメラとＬＥＤの位置関係に応じた被照射体までの距離の算出をイメージで説明する図である。図４では、距離画像センサカメラ２０からＬＥＤ２３まで
の距離ａ１、ＬＥＤ２３から被照射体２４までの距離ｃ１、被照射体２４から距離画像センサカメラ２０までの距離ｅ１、距離画像センサカメラ２０の光軸方向に直線を引くとともに被照射体２４の水平方向に直線を引いたとき、両直線の交点から距離画像センサカメラ２０までの距離ｂ１、両直線の交点から被照射体２４までの距離ｄ１で表されている。このとき、遅延時間ｔ１＝（ｃ１＋ｅ１）／光速ｃである。また、図４からｂ１ ２＋ｄ１ ２＝ｅ１ ２、（ａ１＋ｄ１）２＋ｂ１ ２＝ｃ１ ２であるため、両式の関係から、ｃ１ ２＝（ａ１＋ｄ１）２＋（ｅ１ ２−ｄ１ ２）が算出される。この算出式に遅延時間ｔ１＝（ｃ１＋ｅ１）／光速ｃの式を代入すると、（ｃｔ１−ｅ１）２＝（ａ１＋ｄ１）２＋（ｅ１ ２−ｄ１ ２）で表される。この式を解いて、ｅ１＝｛ｃ２ｔ１ ２−（ａ１＋ｄ１）２＋ｄ１ ２｝／２ｃｔ１で表される。ここで、ａ１の値は図３において説明したように固定値である。ここで、第２の信号処理部２２は、図示しないメモリを内部に有し、ｄ１の値と遅延時間ｔ１との関係を示したテーブルを予め格納している。第２の信号処理部２２は、このテーブルを読み出して、被照射体２４との距離ｅを算出する。なお、距離画像センサカメラ２０の第２の撮像素子２１の各画素毎にｄ１の値は異なる値になるため、図示しないメモリ内には第２の撮像素子２１の各画素毎にｄ１の値と遅延時間ｔ１との関係を示したテーブルが格納されている。なお、被照射体２４が距離画像センサカメラ２０とＬＥＤ２３との間に位置するときは、ｄ１の値を負値として計算すれば、同様の算出式によって被照射体２４との距離ｅを算出することができる。したがって、ｄ１の値と遅延時間ｔ１との関係を示したテーブルにおいては、ｄ１の値は正負両方について遅延時間ｔ１と対応付けられたテーブルとして第２の信号処理部２２のメモリ内に格納されている。
Further, consider a case where the irradiated object 24 does not exist on the optical axis of the distance image sensor camera 20. FIG. 4 is a diagram for explaining the calculation of the distance to the irradiated object according to the positional relationship between the distance image sensor camera and the LED. In FIG. 4, the distance a 1 from the distance image sensor camera 20 to the LED 23, the distance c 1 from the LED 23 to the irradiated object 24, the distance e 1 from the irradiated object 24 to the distance image sensor camera 20, and the distance image sensor camera 20. When a straight line is drawn in the optical axis direction and a straight line is drawn in the horizontal direction of the irradiated object 24, the distance b 1 from the intersection of both straight lines to the distance image sensor camera 20, and from the intersection of both straight lines to the irradiated object 24. It is represented by a distance d 1. At this time, the delay time t 1 = (c 1 + e 1 ) / speed of light c. Further, from FIG. 4, b 1 2 + d 1 2 = e 1 2 and (a 1 + d 1 ) 2 + b 1 2 = c 1 2 , and therefore, from the relationship between both formulas, c 1 2 = (a 1 + d 1 ) 2 + (e 1 2 -d 1 2) is calculated. Substituting the equation of delay time t 1 = (c 1 + e 1 ) / light speed c into this calculation formula, (ct 1 −e 1 ) 2 = (a 1 + d 1 ) 2 + (e 1 2 −d 1 2 ) It is represented by By solving this equation, e 1 = {c 2 t 1 2 − (a 1 + d 1 ) 2 + d 1 2 } / 2ct 1 is expressed. Here, the value of a 1 is a fixed value as described in FIG. Here, the second signal processing unit 22 has a memory (not shown) therein, and stores in advance a table showing the relationship between the value of d 1 and the delay time t 1 . The second signal processing unit 22 reads this table and calculates the distance e from the irradiated object 24. The distance to become the second value of d 1 is different value for each pixel of the image sensor 21 of the image sensor camera 20, the memory (not shown) of the d 1 for each pixel of the second image sensor 21 table showing the relationship between the value and the delay time t 1 is stored. Incidentally, when located between the irradiated object 24 is the range image sensor camera 20 LED 23 is by calculating the value of d 1 as a negative value, calculates the distance e between the irradiated body 24 by the same calculation formula can do. Therefore, in the table showing the relationship between the value of d 1 and the delay time t 1 , the value of d 1 is stored in the memory of the second signal processing unit 22 as a table associated with the delay time t 1 for both positive and negative. Stored in
なお、本実施形態では、距離画像センサカメラ２０内に第２の撮像素子２１と第２の信号処理部２２を設けたが、別な構成にしてもよい。図５は、図１の距離画像センサカメラとＬＥＤの別な構成を説明する図である。図１と図５とは、信号処理部の配置のみが異なる。すなわち、図１では距離画像センサカメラ２０内に第２の信号処理部２２が配置されているが、図５では画像処理装置３０内に第２の信号処理部２２が設けられている。特に、第２の信号処理部２２、物体検出処理部３６、合成手段３７はＬＳＩ３１内に一体に構成されることが望ましい。このとき、車外に設置される距離画像センサカメラ２０と車室内に設置される画像処理装置３０とは、設置位置が大きく異なるため、第２の撮像素子２１と第２の信号処理部２２との間の配線長Ｌ２による遅延を無視できなくなる。したがって、第２の信号処理部２２は、この配線長Ｌ２による遅延時間ｔ２＝Ｌ２／ｃを遅延時間ｔ１から減算する補正を行ったうえで距離画像を作成する。 In the present embodiment, the second image sensor 21 and the second signal processing unit 22 are provided in the distance image sensor camera 20, but other configurations may be used. FIG. 5 is a diagram illustrating another configuration of the distance image sensor camera and the LED of FIG. 1 and 5 differ only in the arrangement of the signal processing units. That is, in FIG. 1, the second signal processing unit 22 is disposed in the distance image sensor camera 20, but in FIG. 5, the second signal processing unit 22 is provided in the image processing device 30. In particular, it is desirable that the second signal processing unit 22, the object detection processing unit 36, and the synthesizing unit 37 are integrally configured in the LSI 31. At this time, the distance image sensor camera 20 installed outside the vehicle and the image processing device 30 installed in the vehicle interior are greatly different in the installation position, so that the second image sensor 21 and the second signal processing unit 22 You can not ignore the delay due to the wiring length L 2 between. Therefore, the second signal processing unit 22 creates a distance image after correcting the delay time t 2 = L 2 / c due to the wiring length L 2 from the delay time t 1 .
物体検出処理部３６は、メモリ３３から読み出したパターン情報を用いて周知のパターンマッチングを行い、人物などの物体を検出する。そして、物体検出処理部３６は、第２のバッファ３５から取得した距離画像のうち、検出した物体の位置における距離画像を抽出して合成手段３７に出力する。 The object detection processing unit 36 performs well-known pattern matching using the pattern information read from the memory 33 and detects an object such as a person. Then, the object detection processing unit 36 extracts a distance image at the position of the detected object from the distance images acquired from the second buffer 35 and outputs the distance image to the combining unit 37.
合成手段３７は、第１のバッファ３４から取得した車両周囲の撮像画像のうち、物体検出処理部３６が検出した物体の位置に対応した距離画像を重畳する。この際、合成手段３７は、物体検出処理部３６から取得した距離画像の輪郭を拡大した輪郭画像を撮像画像上に重畳する。ここで、輪郭画像とは、物体検出処理部３６から取得した距離画像の輪郭を拡大し、かつ、この拡大画像からもとの距離画像を除く補正処理を行った画像をいう。これによって、物体の輪郭上にのみ距離画像が重畳されるため、撮像画像上の物体が距離画像によって隠されることなく、車両から物体までの距離関係を正確に把握することができる。図６は、表示装置への合成画像の表示をイメージで説明する図である。表示装置４０に表示された表示画像４１では、被照射体である人物４４ａ〜ｄの輪郭に、合成手段３７が補正した輪郭画像４６ａ〜ｄがそれぞれ重畳されている。車両の利用者は、表示画像４１におけるこれら輪郭画像４６ａ〜ｄの色の状態に基づいて、人物４４ａ〜ｄが車両からどの程度の距離にいるかを把握することができる。 The synthesizing unit 37 superimposes a distance image corresponding to the position of the object detected by the object detection processing unit 36 among the captured images around the vehicle acquired from the first buffer 34. At this time, the synthesizing unit 37 superimposes a contour image obtained by enlarging the contour of the distance image acquired from the object detection processing unit 36 on the captured image. Here, the outline image refers to an image obtained by enlarging the outline of the distance image acquired from the object detection processing unit 36 and performing a correction process that excludes the original distance image from the enlarged image. Thereby, since the distance image is superimposed only on the contour of the object, the distance relationship from the vehicle to the object can be accurately grasped without the object on the captured image being hidden by the distance image. FIG. 6 is a diagram for explaining the display of the composite image on the display device as an image. In the display image 41 displayed on the display device 40, the contour images 46a to 46d corrected by the synthesizing unit 37 are superimposed on the contours of the persons 44a to 44d that are irradiated bodies. The user of the vehicle can grasp how far the persons 44 a to 44 d are from the vehicle based on the color states of the contour images 46 a to 46 d in the display image 41.
なお、本実施形態では、合成手段３７は、距離画像の輪郭を拡大してもとの距離画像を除いた輪郭画像を作成したが、もとの距離画像を除かない画像を作成してもよい。ただし、この場合、物体が距離画像の重畳によって隠されないよう、合成手段３７は、撮像画像と拡大画像とをアルファブレンドして合成する。また、合成手段３７は、距離画像の輪郭を拡大したが、輪郭を囲む枠状の画像を作成して重畳するようにしてもよい。 In the present embodiment, the synthesizing unit 37 creates the contour image excluding the original distance image even when the contour of the distance image is enlarged, but may create an image that does not exclude the original distance image. . However, in this case, the synthesizing unit 37 synthesizes the captured image and the enlarged image by alpha blending so that the object is not hidden by the superimposition of the distance image. In addition, although the synthesizing unit 37 enlarges the contour of the distance image, a frame-like image surrounding the contour may be created and superimposed.
なお、現実には物体が動くことを考慮すると、重畳画像の追従が間に合わずに、重畳画像が物体に被さることが考えられる。このため、枠状の画像や輪郭画像を撮像画像に重畳するに際しても、合成手段３７は、アルファブレンド処理を行った上で重畳することが望ましい。 In consideration of the fact that the object moves in reality, it is conceivable that the superimposed image covers the object without following the superimposed image. For this reason, also when superimposing a frame-shaped image and a contour image on a captured image, it is desirable for the synthesis | combination means 37 to superimpose, after performing an alpha blend process.
以上のように、本実施の形態によれば、合成手段３７が、撮像カメラ１０が撮像した撮像画像上に、第２の信号処理部２２が算出した距離画像のうち物体検出処理部３６が検出した物体を示す距離画像を合成し、表示装置４０がこの合成画像を表示するため、車両の利用者は、撮像画像上における物体の視認性を維持したまま車両近傍の物体とこの物体までの距離を精度よく確認することができる。 As described above, according to the present embodiment, the synthesis unit 37 detects the distance image calculated by the second signal processing unit 22 on the captured image captured by the imaging camera 10. Since the display device 40 displays the synthesized image by synthesizing the distance image indicating the detected object, the vehicle user can maintain the visibility of the object on the captured image and the distance to the object in the vicinity of the vehicle. Can be confirmed with high accuracy.
また、本実施形態の第２の信号処理部２２は、第２の撮像素子２１の異常をテストするテスト機能を有していてもよい。例えば外部機器からの入力に応じて、ＣＰＵ３２は、第２の信号処理部２２にテスト機能を実行させる。第２の信号処理部２２の命令によって、ＬＥＤ２３はテスト用の照射光を発する。このテスト用の照射光が、予め所定位置に配置されたテスト用の被照射体に反射して第２の撮像素子２１はこの反射光を受光する。第２の信号処理部２２は、図示しない内部メモリに、各画素ごとに反射光の信号強度と遅延時間の理想的関係を示したテーブルを有する。図７は、第２の撮像素子が受光した反射光の信号強度と遅延時間との理想的な関係をグラフ状のイメージで説明する図である。図７の点線状の曲線が理想的な関係を示す。第２の信号処理部２２は、第２の撮像素子２１が実際に取得した反射光の信号強度と遅延時間との関係がこのグラフの点線上の曲線から所定の範囲内にあるか否かに応じて、第２の撮像素子２１が正常か異常かを判定する。すなわち、第２の信号処理部２２は、第２の撮像素子２１が実際に取得した反射光の信号強度と遅延時間との関係がこのグラフの点線上の曲線から所定以上外れた場合に第２の撮像素子２１が異常と判定する。特に、図７に示すグラフ状の結果を表示装置４０に表示することが望ましい。これによって、第２の撮像素子２１の状態を車両の利用者は容易に確認することができる。 Further, the second signal processing unit 22 of the present embodiment may have a test function for testing an abnormality of the second image sensor 21. For example, the CPU 32 causes the second signal processing unit 22 to execute a test function in response to an input from an external device. In response to a command from the second signal processing unit 22, the LED 23 emits test light. The test irradiation light is reflected by the test irradiation object previously arranged at a predetermined position, and the second image sensor 21 receives the reflected light. The second signal processing unit 22 has a table showing an ideal relationship between the signal intensity of the reflected light and the delay time for each pixel in an internal memory (not shown). FIG. 7 is a graph for explaining an ideal relationship between the signal intensity of the reflected light received by the second image sensor and the delay time in the form of a graph. The dotted curve in FIG. 7 shows an ideal relationship. The second signal processing unit 22 determines whether the relationship between the signal intensity of the reflected light actually acquired by the second image sensor 21 and the delay time is within a predetermined range from the curve on the dotted line of this graph. Accordingly, it is determined whether the second image sensor 21 is normal or abnormal. That is, the second signal processing unit 22 performs the second operation when the relationship between the signal intensity of the reflected light actually acquired by the second image sensor 21 and the delay time deviates from the curve on the dotted line of this graph by a predetermined amount or more. Is determined to be abnormal. In particular, it is desirable to display the graph-like result shown in FIG. Thereby, the vehicle user can easily confirm the state of the second image sensor 21.
なお、本実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。 Note that although cases have been described with the above embodiment as examples where the present invention is configured by hardware, the present invention can also be realized by software in cooperation with hardware.
また、本実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。本実施の形態のＬＳＩ３１においての各機能ブロックも個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。また、ＣＰＵ３２やメモリ３３を含んで１チップ化してもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。 Each functional block used in the description of the present embodiment is typically realized as an LSI which is an integrated circuit. Each functional block in the LSI 31 of the present embodiment may also be individually made into one chip, or may be made into one chip so as to include a part or all of it. Further, the CPU 32 and the memory 33 may be included to form a single chip. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、本実施の形態では、照射手段としてＬＥＤ２３を用いたが、別な光源であっても良い。ただし、指向性の強いレーザや反応速度の遅いランプは望ましくない。 Moreover, in this Embodiment, although LED23 was used as an irradiation means, another light source may be sufficient. However, a highly directional laser or a slow reaction speed lamp is not desirable.
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサ
で実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ
Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. FPGA (Field that can be programmed after LSI manufacturing)
(Programmable Gate Array) or a reconfigurable processor capable of reconfiguring connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
本発明は、撮像カメラと距離画像センサカメラによって車両周囲の物体の距離を把握する運転支援装置等に好適である。 The present invention is suitable for a driving support device that grasps the distance of an object around a vehicle using an imaging camera and a distance image sensor camera.
１ 運転支援装置
１０ 撮像カメラ
１１ 第１の撮像素子
１２ 第１の信号処理部
２０ 距離画像センサカメラ
２１ 第２の撮像素子
２２ 第２の信号処理部
２３ ＬＥＤ
２４ 被照射体
３０ 画像処理装置
３１ ＬＳＩ
３２ ＣＰＵ
３３ メモリ
３４ 第１のバッファ
３５ 第２のバッファ
３６ 物体検出処理部
３７ 合成手段
４０ 表示装置
DESCRIPTION OF SYMBOLS 1 Driving assistance device 10 Imaging camera 11 1st imaging device 12 1st signal processing part 20 Distance image sensor camera 21 2nd imaging element 22 2nd signal processing part 23 LED
24 irradiated object 30 image processing apparatus 31 LSI
32 CPU
33 Memory 34 First Buffer 35 Second Buffer 36 Object Detection Processing Unit 37 Combining Means 40 Display Device
Claims (9)
車両周囲に照射光を発する照射手段と、
この照射手段が発した照射光の反射光を取得する撮像素子と、
この撮像素子が取得した反射光に基づいて車両周囲の被照射体の距離を示す距離画像を算出する距離画像算出手段と、
前記距離画像算出手段が算出した距離画像に基づいて物体を検出する物体検出手段と、
前記距離画像算出手段が算出した距離画像のうち前記物体検出手段が検出した物体を示す画像を前記撮像手段が撮像した撮像画像に合成する合成手段と、
この合成手段が合成した合成画像を表示する表示手段とを備えたことを特徴とする運転支援装置。 Imaging means for imaging the surroundings of the vehicle;
Irradiating means for emitting irradiation light around the vehicle;
An imaging device for obtaining reflected light of the irradiation light emitted by the irradiation means;
Distance image calculation means for calculating a distance image indicating the distance of the irradiated object around the vehicle based on the reflected light acquired by the imaging element;
Object detection means for detecting an object based on the distance image calculated by the distance image calculation means;
Combining means for combining an image indicating the object detected by the object detecting means in the distance image calculated by the distance image calculating means with a captured image captured by the imaging means;
A driving support apparatus comprising: display means for displaying a composite image synthesized by the synthesis means.
前記距離画像算出手段は、前記撮像素子から取得したこのテスト用の照射光の反射光の信号強度と遅延時間との関係から前記撮像素子の異常を判定することを特徴とする請求項１に記載の運転支援装置。 The irradiation means emits a test irradiation light for testing an abnormality of the image sensor,
The said distance image calculation means determines the abnormality of the said image pick-up element from the relationship between the signal intensity of the reflected light of this test irradiation light acquired from the said image pick-up element, and delay time. Driving assistance device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011210368A JP2013073312A (en) | 2011-09-27 | 2011-09-27 | Driving support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011210368A JP2013073312A (en) | 2011-09-27 | 2011-09-27 | Driving support device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013073312A true JP2013073312A (en) | 2013-04-22 |
Family
ID=48477798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011210368A Withdrawn JP2013073312A (en) | 2011-09-27 | 2011-09-27 | Driving support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013073312A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018186575A (en) * | 2018-08-09 | 2018-11-22 | 住友建機株式会社 | Shovel |
| JP2018186574A (en) * | 2018-08-07 | 2018-11-22 | 住友建機株式会社 | Shovel |
| JP2020016577A (en) * | 2018-07-26 | 2020-01-30 | ファナック株式会社 | Distance measuring device for detecting optical system abnormality |
| JP7411539B2 (en) | 2020-12-24 | 2024-01-11 | 株式会社日立エルジーデータストレージ | Ranging system and its coordinate calibration method |
-
2011
- 2011-09-27 JP JP2011210368A patent/JP2013073312A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020016577A (en) * | 2018-07-26 | 2020-01-30 | ファナック株式会社 | Distance measuring device for detecting optical system abnormality |
| US11525917B2 (en) | 2018-07-26 | 2022-12-13 | Fanuc Corporation | Distance measuring apparatus which detects optical system abnormality |
| JP2018186574A (en) * | 2018-08-07 | 2018-11-22 | 住友建機株式会社 | Shovel |
| JP2018186575A (en) * | 2018-08-09 | 2018-11-22 | 住友建機株式会社 | Shovel |
| JP7411539B2 (en) | 2020-12-24 | 2024-01-11 | 株式会社日立エルジーデータストレージ | Ranging system and its coordinate calibration method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11543497B2 (en) | Sensor chip, electronic equipment, and apparatus | |
| JP6705044B2 (en) | Stacked light receiving sensor and in-vehicle imaging device | |
| JP5503578B2 (en) | Object detection apparatus and object detection method | |
| JP4193886B2 (en) | Image display device | |
| JP5003395B2 (en) | Vehicle periphery image processing apparatus and vehicle periphery state presentation method | |
| US20170372444A1 (en) | Image processing device, image processing method, program, and system | |
| US11962916B2 (en) | Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method | |
| JP2008001136A (en) | Vehicle occupant seat detection system, operating device control system, and vehicle | |
| JP2014503408A (en) | Method and apparatus for processing image information of two sensors suitable for image detection in a stereo sensor system | |
| US11543525B2 (en) | Signal generation apparatus | |
| JP2018006785A (en) | Signal processing apparatus, imaging apparatus, and signal processing method | |
| JP2009265883A (en) | Vehicle periphery monitoring device | |
| KR101300350B1 (en) | Apparatus and method for processing image | |
| JP2013073312A (en) | Driving support device | |
| JP5163165B2 (en) | Vehicle periphery image processing apparatus and vehicle periphery state presentation method | |
| JP2021051015A (en) | Distance measuring device, distance measuring method, and program | |
| JP5208790B2 (en) | Image processing apparatus, image processing method, and program | |
| US20240021646A1 (en) | Stacked light-receiving sensor and in-vehicle imaging device | |
| WO2021075321A1 (en) | Image capture apparatus, electronic device and image capture method | |
| JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
| JP2012004693A (en) | Driving support device | |
| US20240121536A1 (en) | Light receiving device, electronic apparatus, and light receiving method | |
| JP2018121223A (en) | Image processing device and on-vehicle imaging apparatus | |
| JP2008234178A (en) | Display device | |
| JP2005177215A (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |