JP2006024120A - Image processing system for vehicle and image processing apparatus - Google Patents
Image processing system for vehicle and image processing apparatus Download PDFInfo
- Publication number
- JP2006024120A JP2006024120A JP2004203447A JP2004203447A JP2006024120A JP 2006024120 A JP2006024120 A JP 2006024120A JP 2004203447 A JP2004203447 A JP 2004203447A JP 2004203447 A JP2004203447 A JP 2004203447A JP 2006024120 A JP2006024120 A JP 2006024120A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image processing
- angle
- view
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 78
- 238000003384 imaging method Methods 0.000 claims abstract description 85
- 230000003287 optical effect Effects 0.000 claims description 23
- 230000007423 decrease Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000002834 transmittance Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両の外界を撮像装置で撮像し、撮像して得られた画像データを画像処理して表示する車両用画像処理システム及び該車両用画像処理システムを構成する画像処理装置に関する。 The present invention relates to a vehicle image processing system that captures an image of the outside world of a vehicle with an imaging device, displays image data obtained by imaging, and an image processing device that constitutes the vehicle image processing system.
車両に搭載した撮像装置で車両前方を撮像し、撮像して得られた画像データを画像処理して表示することにより、運転者の支援を行う前方監視システムが提案されている。このような前方監視システムは、運転者に車両前方の歩行者、障害物、又は車両などの対象物を的確に認識させることにより、車両の走行状態に応じて対象物を回避し、衝突又は接触などの危険を未然に防止するものである。 There has been proposed a forward monitoring system that assists the driver by imaging the front of the vehicle with an imaging device mounted on the vehicle, and processing and displaying image data obtained by imaging. Such a forward monitoring system avoids an object according to the traveling state of the vehicle by causing the driver to accurately recognize an object such as a pedestrian, an obstacle, or a vehicle in front of the vehicle, and causes a collision or contact. This is to prevent such dangers.
市街地又は交差点付近においては、歩行者又は車両が左右方向から急に飛び出てくることが想定されるため、運転者は車両を低速度で走行させ、車両前方の広い範囲に注意を払う必要がある。一方、高速道路又は郊外の道路においては、運転者は車両を高速度で走行させるため、車両周辺よりも車両前方の遠距離における危険を察知する必要がある。 In a city area or near an intersection, it is assumed that a pedestrian or vehicle suddenly jumps out from the left-right direction, so the driver needs to drive the vehicle at a low speed and pay attention to a wide area in front of the vehicle. . On the other hand, on a highway or a suburban road, the driver needs to detect danger at a long distance ahead of the vehicle rather than around the vehicle in order to drive the vehicle at a high speed.
そこで、車両の走行状態に応じて車両前方の対象物を容易に認識するため、ズームレンズを有するズーム機構を車両のフロントグリル周辺に配置し、車両の速度が基準値よりも遅い場合には、ズームレンズを駆動して基準画角よりも大きい画角にして車両周辺の広い範囲を認識し、一方、車両の速度が基準値よりも速い場合には、ズームレンズを駆動して基準画角よりも小さい画角にして車両前方の遠距離を認識する車両用画像認識装置が提案されている(特許文献1参照)。
しかしながら、特許文献1の例にあっては、ステッピングモータによりズームレンズを駆動させるための可動部分を有する。該可動部分は、車両走行時に加わる振動、外気の温度変化、外気からの粉塵、雨などの車両特有の外的要因に対しては、車両の信頼性を損なう原因になり得る場合があった。このため、ズーム機構を車両に用いることは敬遠される傾向にあり、車両用画像認識装置の信頼性を向上するためにズーム機構に代わる機構が望まれていた。
However, the example of
また、ズーム機構は、ズームレンズを正確に駆動させるための高精度な可動部分が必要であり、部品コストが割高になるためコストを低減した機構が望まれていた。 In addition, the zoom mechanism requires a high-precision movable part for accurately driving the zoom lens, and the cost of parts is high. Therefore, a mechanism with reduced cost has been desired.
さらに、ズーム機構は、10枚以上のレンズを使用しており、レンズ夫々の光軸を一致させて配置することが困難であり、レンズ夫々の光軸が一致しないために夫々のレンズが有する収差がさらに重畳する場合がある。このため、光が正しい光路を通らず、レンズを収容する筐体内部で光の乱反射が生じる場合があった。また正しい光路を通らない光により画像の一部に白いぼやけが生じる場合、又は夫々のレンズが有する透過率が重畳され、多くのレンズを透過する過程で光の透過率が低下し、コントラストの低下により画質が劣化する場合があった。特に遠赤外カメラを用いる場合は、レンズの材質による透過率の低下が可視光カメラの場合よりも顕著になり、遠赤外の領域であっても視認性が優れた画像処理装置が望まれていた。 Furthermore, the zoom mechanism uses ten or more lenses, and it is difficult to arrange the optical axes of the lenses so that the optical axes of the lenses do not coincide with each other. May further overlap. For this reason, light may not pass through the correct optical path, and irregular reflection of light may occur inside the housing that houses the lens. In addition, when white blurring occurs in part of the image due to light that does not pass through the correct optical path, or the transmittance of each lens is superimposed, the light transmittance decreases in the process of passing through many lenses, and the contrast decreases In some cases, the image quality may deteriorate. Particularly when using a far-infrared camera, the reduction in transmittance due to the material of the lens becomes more noticeable than in the case of a visible light camera, and an image processing apparatus with excellent visibility even in the far-infrared region is desired. It was.
本発明は、斯かる事情に鑑みてなされたものであり、画角が異なる光学素子を有する撮像装置を複数設けておき、車両の速度に応じて前記撮像装置を切り替える切替手段を備えることにより、ズーム機構を用いることなく、車両の走行状態に応じて異なる画角で車両前方の外界を撮像することができる車両用画像処理システム、及び該車両用画像処理システムを構成する画像処理装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and by providing a plurality of imaging devices having optical elements with different angles of view, and including switching means for switching the imaging device according to the speed of the vehicle, Provided are an image processing system for a vehicle that can image an external environment in front of the vehicle at different angles of view according to the traveling state of the vehicle without using a zoom mechanism, and an image processing device that constitutes the image processing system for the vehicle. For the purpose.
また、本発明の他の目的は、画角及び閾値の大小を関連付けて記憶する記憶手段を設けておき、車両の速度と、受信した画角に関連付けられた閾値とを比較し、比較した結果に基づいて撮像装置を切り替える切替手段を備えることにより、画角が異なる撮像装置に取り替えた場合であっても、車両の走行状態に応じて異なる画角で車両前方の外界を撮像することができるとともに、画角の大きさに応じた閾値を用いて撮像装置を切り替えることができる車両用画像処理システムを提供することにある。 Another object of the present invention is to provide storage means for associating and storing the angle of view and the threshold value, comparing the vehicle speed and the threshold value associated with the received angle of view, and comparing the results. By switching means for switching the imaging device based on the above, even when the imaging device is replaced with an imaging device having a different angle of view, the outside world in front of the vehicle can be imaged with a different angle of view according to the traveling state of the vehicle. Another object is to provide a vehicular image processing system capable of switching an imaging device using a threshold corresponding to the size of the angle of view.
また、本発明の他の目的は、赤外光を透過する光学素子と、赤外光を撮像する赤外光用撮像素子とを備えることにより、夜間走行の場合であっても、車両の走行状態に応じて異なる画角で車両前方の外界を撮像することができる車両用画像処理システムを提供することにある。 Another object of the present invention is to provide an optical element that transmits infrared light and an infrared light imaging element that captures infrared light, so that the vehicle travels even when traveling at night. An object of the present invention is to provide a vehicular image processing system capable of imaging the outside world ahead of the vehicle at different angles of view depending on the state.
第1発明に係る車両用画像処理システムは、車両の外界を撮像装置で撮像し、撮像して得られた画像データを画像処理装置で画像処理して表示する車両用画像処理システムにおいて、画角が異なる光学素子を有する撮像装置を複数備え、前記画像処理装置は、車両の速度を取得する取得手段と、該取得手段が取得した速度に応じて、前記撮像装置を切り替える切替手段とを有し、該切替手段が切り替えた撮像装置で外界を撮像するよう構成してあることを特徴とする。 An image processing system for a vehicle according to a first aspect of the present invention is an image processing system for a vehicle that captures an image of the outside world of the vehicle with an imaging device, and performs image processing on the image data obtained by the imaging with the image processing device. A plurality of imaging devices having different optical elements, and the image processing device includes an acquisition unit that acquires the speed of the vehicle, and a switching unit that switches the imaging device according to the speed acquired by the acquisition unit. The switching means is configured to image the outside world with the imaging device switched.
第2発明に係る車両用画像処理システムは、第1発明において、前記画像処理装置は、 画角の大小を閾値の大小に関連付けて記憶する記憶手段と、前記光学素子の画角を受信する受信手段と、前記取得手段が取得した速度と、前記受信手段が受信した画角に関連付けられた閾値とを比較する比較手段とを備え、前記切替手段は、前記比較手段が比較した結果に基づいて、前記撮像装置を切り替えるよう構成してあることを特徴とする。 In the vehicle image processing system according to a second aspect of the present invention, in the first aspect of the invention, the image processing device receives storage for storing the angle of view in association with the magnitude of the threshold and the angle of view of the optical element. And a comparison means for comparing the speed acquired by the acquisition means and a threshold value associated with the angle of view received by the reception means, and the switching means is based on the result of comparison by the comparison means The image pickup apparatus is configured to be switched.
第3発明に係る車両用画像処理システムは、第1発明又は第2発明において、前記撮像装置は、赤外光を透過する光学素子と、透過した赤外光を撮像する赤外光用撮像素子とを備えたことを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the invention, the imaging device includes an optical element that transmits infrared light and an infrared light imaging element that images the transmitted infrared light. It is characterized by comprising.
第4発明に係る画像処理装置は、取り込んだ画像データを画像処理する画像処理装置において、車両の速度を取得する取得手段と、該取得手段が取得した速度に応じて、画像の取り込み先を切り替える切替手段とを備えたことを特徴とする。 An image processing apparatus according to a fourth aspect of the present invention is an image processing apparatus that performs image processing on captured image data, and switches an image capture destination according to the acquisition means for acquiring the vehicle speed and the speed acquired by the acquisition means. And a switching means.
第1発明及び第4発明にあっては、画角が異なる光学素子を有する撮像装置を複数備えている。例えば、画角が40°〜50°の標準画角よりも大きい画角の広角レンズを有する撮像装置と、標準画角よりも小さい画角の望遠レンズを有する撮像装置とを備えている。検出手段が車両の速度を検出し、検出した車両の速度が所定の速度よりも速い場合は、画角の小さい撮像装置に切り替える。これにより、車両前方の遠距離に存在する対象物を画面上で大きく表示させる。一方、車両の速度が所定の速度よりも遅い場合は、画角の大きい撮像装置に切り替える。これにより、車両前方の左右方向の広い範囲に存在する対象物を画面上で表示させる。ズーム機構を用いることなく、車両の速度に応じて画角が異なる光学素子を有する撮像装置を切り替える。また、画角が固定された光学素子は、ズーム機構の場合に比較して、使用するレンズの枚数は1〜5枚と少ないため、透過率は低下しない。 In the first invention and the fourth invention, a plurality of imaging devices having optical elements having different angles of view are provided. For example, an imaging apparatus having a wide-angle lens having a field angle larger than a standard field angle of 40 ° to 50 ° and an imaging apparatus having a telephoto lens having a field angle smaller than the standard field angle are provided. When the detection means detects the speed of the vehicle and the detected speed of the vehicle is higher than a predetermined speed, the image pickup apparatus is switched to an imaging device with a small angle of view. Thereby, the object which exists in the long distance ahead of the vehicle is displayed large on the screen. On the other hand, when the speed of the vehicle is slower than the predetermined speed, the imaging device is switched to an imaging device with a large field angle. Thereby, the object which exists in the wide range of the left-right direction ahead of vehicles is displayed on a screen. Without using a zoom mechanism, an imaging device having optical elements with different angles of view is switched according to the speed of the vehicle. In addition, since the optical element with a fixed angle of view uses only 1 to 5 lenses compared to the zoom mechanism, the transmittance does not decrease.
第2発明にあっては、予め異なる画角(広角及び望遠)の組毎に、画角及び閾値の大小を関連付けて記憶する記憶手段を備えている。受信手段は、車両に取り付けられた撮像装置が有する光学素子の画角を受信する。取得手段が取得した車両の速度と、受信した画角に関連付けられた閾値とを比較し、車両の速度が閾値よりも大きい場合は、画角の大きい光学素子を有する撮像装置に切り替える。一方、車両の速度が閾値よりも小さい場合は、画角の小さい光学素子を有する撮像装置に切り替える。これにより、撮像装置が新たに取り付けられた場合、又は画角が異なる撮像装置に取り替えられた場合であっても、画像処理装置は、前記撮像装置の光学素子が有する画角を受信し、受信した画角に応じた閾値を用いる。また、記憶手段が広角レンズと望遠レンズとの組み合わせ毎に閾値を関連付けて記憶している場合は、広角レンズの画角が大きいほど閾値を小さくしてあり、望遠レンズの画角が小さいほど閾値を大きくしてある。車両の速度が閾値より小さく、広角レンズの撮像装置に切り替えて走行している場合において、広角レンズの画角が大きいときは、車両の速度があまり速くならないうちに望遠レンズの撮像装置に切り替える。これにより、小さい速度で望遠レンズの撮像装置に切り替え、画角の大きい広角レンズが有する車両前方の遠方における視認性の低下を防止する。一方、車両の速度が閾値より大きく、望遠レンズの撮像装置に切り替えて走行している場合において、望遠レンズの画角が小さいときは、車両の速度があまり遅くならないうちに広角レンズの撮像装置に切り替える。これにより、大きい速度で広角レンズの撮像装置に切り替え、画角の小さい望遠レンズが有する車両前方周辺の広い範囲における視認性の低下を防止する。 In the second aspect of the invention, storage means is provided that stores in advance the angle of view and the threshold value in association with each other for different sets of angles of view (wide angle and telephoto). The receiving means receives an angle of view of an optical element included in an imaging device attached to the vehicle. The vehicle speed acquired by the acquisition means is compared with the threshold value associated with the received angle of view. If the vehicle speed is greater than the threshold value, the image pickup apparatus is switched to an imaging device having an optical element with a large angle of view. On the other hand, when the speed of the vehicle is smaller than the threshold value, the imaging device is switched to an imaging device having an optical element with a small angle of view. Thereby, even when the imaging device is newly attached or replaced with an imaging device with a different angle of view, the image processing device receives and receives the angle of view of the optical element of the imaging device. A threshold corresponding to the selected angle of view is used. Further, in the case where the storage unit stores a threshold value in association with each combination of the wide-angle lens and the telephoto lens, the threshold value decreases as the angle of view of the wide-angle lens increases, and the threshold value decreases as the angle of view of the telephoto lens decreases. Is enlarged. When the vehicle speed is smaller than the threshold and the vehicle is switched to a wide-angle lens imaging device and the field angle of the wide-angle lens is large, the vehicle is switched to the telephoto lens imaging device before the vehicle speed becomes too high. Accordingly, the telephoto lens imaging device is switched at a low speed, and a reduction in visibility in the distance in front of the vehicle of the wide-angle lens having a large angle of view is prevented. On the other hand, when the vehicle speed is larger than the threshold value and the vehicle is switched to a telephoto lens imaging device and the field angle of the telephoto lens is small, the wide-angle lens imaging device can be used before the vehicle speed becomes too slow. Switch. This switches to an imaging device with a wide-angle lens at a high speed, and prevents a reduction in visibility in a wide range around the front of the vehicle that the telephoto lens with a small angle of view has.
第3発明にあっては、赤外光を透過する光学素子と、赤外光を撮像する赤外光用撮像素子とを備えることにより、車両前方に存在する熱源が発する赤外線を感知して画像を得る。人間は他の物体に比較して多くの熱源を発するため、赤外線画像内で他の物体より比較的高輝度を有する。これにより、可視光では車両前方の歩行者を認識しにくい夜間走行時においても、歩行者を認識する。 In the third invention, by providing an optical element that transmits infrared light and an infrared light imaging element that images infrared light, the infrared ray emitted from the heat source existing in front of the vehicle is sensed and an image is detected. Get. Since humans emit more heat sources than other objects, they have relatively higher brightness than other objects in infrared images. Thereby, a pedestrian is recognized also at the time of the night driving | running | working at which it is difficult to recognize the pedestrian ahead of a vehicle with visible light.
第1発明及び第4発明にあっては、ズーム機構を使用しないため車両特有の外的要因の影響を受けず、従来に比較して、より簡便な機構で車両の速度に応じた画角の撮像装置で車両前方を表示することができる。また、ズーム機構に代えて、使用するレンズの枚数が少なく、画角が固定された撮像装置を用いることにより、複雑なズーム機構に要するコストを省くことができ、従来に比べて部品コストの低減ができるとともに、透過率の低下又は画質の劣化を防止することができる。 In the first invention and the fourth invention, since the zoom mechanism is not used, it is not affected by the external factors peculiar to the vehicle, and the angle of view corresponding to the speed of the vehicle is reduced by a simpler mechanism than in the past. The front of the vehicle can be displayed by the imaging device. In addition, by using an imaging device that uses a small number of lenses and has a fixed angle of view in place of the zoom mechanism, the cost required for a complicated zoom mechanism can be saved, and the component cost can be reduced compared to the conventional zoom mechanism. In addition, it is possible to prevent a decrease in transmittance or deterioration in image quality.
第2発明にあっては、画角が異なる撮像装置に取り替えた場合であっても、撮像装置が有する画角を受信して、画角に応じた閾値を用いることができ、運転者の好みに応じた画角の撮像装置を使用することができる。また、撮像装置の画角に応じた閾値を用いることにより、撮像装置を切り替えるための速度が固定されず、車両前方の視認性を改善することができる。 In the second aspect of the invention, even if the imaging device has a different angle of view, the angle of view of the imaging device can be received and a threshold value corresponding to the angle of view can be used. It is possible to use an imaging device having an angle of view according to the above. Further, by using a threshold value corresponding to the angle of view of the imaging device, the speed for switching the imaging device is not fixed, and visibility in front of the vehicle can be improved.
第3発明にあっては、夜間走行時においても、車両走行状態に応じて画角を切り替えて歩行者を認識することができる。また、ズーム機構を用いていないため、透過率の低下又は画質の劣化を防止することができる。 In the third aspect of the invention, even during nighttime travel, it is possible to recognize a pedestrian by switching the angle of view according to the vehicle travel state. Further, since the zoom mechanism is not used, it is possible to prevent a decrease in transmittance or deterioration in image quality.
図1は本発明に係る車両用画像処理システムの概要を示す模式図である。図において、1及び2は車両に搭載され、夜間の歩行者、自転車に乗った人間などを認識する遠赤外用のビデオカメラである。ビデオカメラ1、2夫々は、垂直方向に適長の間隔を隔ててフロントグリルの中央部に並置されてあり、IEEE1394に準拠した車載LAN通信線6を介して画像処理装置3に接続してある。画像処理装置3には、通信線6を介して操作部を有する表示装置4、及び車両の速度を検出する速度センサ5が接続してある。
FIG. 1 is a schematic diagram showing an outline of a vehicle image processing system according to the present invention. In the figure,
図2は、ビデオカメラ1の構成を示す模式図である。図において、11は画像撮像部であり、外界からの赤外光を受光するゲルマニウム製のレンズ110、111、112、及び113が光軸を一致して適長の離隔寸法を有して配置してある。レンズ113を透過した赤外光が結像する位置であって、前記光軸が撮像面の中心に位置するように焦電型撮像素子114が配置されている。これにより、昼夜を問わず歩行者が撮像される。
FIG. 2 is a schematic diagram showing the configuration of the
レンズ110、111、112、及び113の相対位置及び形状を変えることにより、レンズ群全体の画角を変更することができる。ビデオカメラ1は画角が約90°の広角用のビデオカメラである。なお、ビデオカメラ2もビデオカメラ1と同様の構成を有し、画角が約20°の望遠用のビデオカメラである。
By changing the relative positions and shapes of the
レンズ110、111、112、及び113を透過した赤外光は、焦電型撮像素子114に入力される。焦電型撮像素子114は、入力された赤外光をRGB(R:赤、G:緑、B:青)のアナログ信号に変換し、信号処理部12へ出力する。
Infrared light that has passed through the
信号処理部12は、焦電型撮像素子114から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、RGB信号をYUV(Y:輝度、U、V:色差)信号に変換し、変換したYUV信号を画像データとして一旦画像メモリ13へ記憶する。
The
インターフェース部15は、車載LAN通信線6を介して画像処理装置3と通信を行い、画像処理装置3から送信される指令に従って、画像メモリ13に記憶された画像データを画像処理装置3へ出力する。
The
記憶部16は、ビデオカメラ1に使用されたレンズ110、111、112、及び113から構成されるレンズ全体として設定された画角を記憶している。
The
制御部14は、画像撮像部11、信号処理部12、インターフェース部15の処理を制御する。例えば、画像処理装置3からの指令を解釈し、画像メモリ13に記憶された画像データを読み出し、インターフェース部15を介して画像処理装置3へ出力する。
The
図3は、画像処理装置3の構成を示すブロック図である。図において、31はインターフェース部であり、速度センサ5からの車両の速度の受信、ビデオカメラ1、2の切り替え信号の送出、ビデオカメラ1、2に対する指令の転送、ビデオカメラ1、2からの画像データの転送などを行い、入力された画像データをフレーム単位で画像メモリ32に記憶する。
FIG. 3 is a block diagram illustrating a configuration of the
速度比較部33は、インターフェース部31を介して入力されたビデオカメラ1、2の画角を受信して記憶する。また、速度比較部33は、インターフェース部31を介して入力された車両の速度を取得する。また、速度比較部33は、受信した画角に基づいて、記憶部362から前記画角に関連付けられた閾値THを読み出す。また、速度比較部33は、取得した車両の速度と、読み出した閾値THとを比較し、比較した結果に基づいて、ビデオカメラ1又は2の切り替え指示のためのオン・オフ指令を、インターフェース部31を介してビデオカメラ1、2へ出力する。これにより、ビデオカメラ1、2のいずれか一方が撮像処理を行う。
The
画像処理部36は、演算部361及び記憶部362を備えている。演算部361は画像メモリ32に記憶された1フレーム分の画像データを読み出し、読み出した画像データの輝度分布に基づいて、歩行者としての特徴画像を抽出して歩行者の認識処理を行い、処理後の画像データを画像メモリ32に記憶する。画像処理部36は、上述の認識処理を1フレーム分の画像データに対して行った後は、同様の認識処理を前記1フレーム以降の各フレームについて行う。
The image processing unit 36 includes a
記憶部362は、画角に関連付けられた閾値を示す閾値テーブル362aを記憶している。図4は閾値テーブル362aの構成を示す説明図である。図に示すように、標準レンズの画角(約40°〜50°)を境として、広角レンズ及び望遠レンズの画角の組合せに関連付けて、速度の閾値THを記憶してある。例えば、広角レンズの画角がθ11であり、望遠レンズの画角がθ21である場合は、閾値はTH1である。広角レンズの画角はθ11>θ12>…の関係を有し、望遠レンズの画角はθ21>θ22>…の関係を有する。また、閾値はTH1<TH2<…の関係を有し、TH10<TH11<…の関係を有する。
The
出力部35は、画像処理部36で処理された画像データを画像メモリ32から読み出し、表示装置4へ出力することにより、表示装置4は歩行者が認識された画像データを表示する。
The
画像処理制御部34は、インターフェース部31から出力される画像データの画像メモリ32への記憶、画像処理部36の画像メモリ32からの画像データの読み出し、認識処理された画像データの出力部35への出力などの処理を制御する。
The image
次にビデオカメラの切替動作について説明する。車両の走行時に運転者が、表示装置4に備えられた操作部を操作してビデオカメラ1、2の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置3は、インターフェース部31を介して、初期コマンドをビデオカメラ1、2へ送出する。
Next, the video camera switching operation will be described. When the driver operates the operation unit provided in the
初期コマンドを受信したビデオカメラ1、2は、ビデオカメラ1、2に記憶された画角の情報を画像処理装置3へ送出する。速度比較部33は、インターフェース部31を介して入力されたビデオカメラ1、2の画角情報に基づいて、ビデオカメラ1、2の画角の組合せに対応する閾値THを記憶部362から読み出し、速度比較部33内に記憶する。
The
速度比較部33は、インターフェース部31を介して、速度センサ5から車両の速度を取得し、取得した速度と閾値THとを比較する。速度比較部33は、車両の速度が閾値THよりも小さい場合には、広角レンズを有するビデオカメラ1に対して撮像開始信号を送出するとともに、望遠レンズを有するビデオカメラ2に対してオフ信号を送出する。
The
撮像開始信号を受信したビデオカメラ1は、画像撮像部11から車両の外界の撮像を開始する。信号処理部12は、撮像した画像データに対して、RGB信号からYUV信号に変換し、一旦画像メモリ13に記録した後に、1フレーム分の画像データごとにインターフェース部14を介して、画像処理装置3へ送出する。
The
一方、オフ信号を受信したビデオカメラ2は、撮像処理を停止し、画像処理装置3からの指令を待つ待ち状態に入る。
On the other hand, the
これにより、画像処理装置3は、車両の速度が閾値THよりも小さい場合は、広角レンズを有するビデオカメラ1からの画像データを受信し、所定の歩行者認識処理を行い、画像処理後の画像データを表示装置4へ出力する。
Thereby, when the speed of the vehicle is smaller than the threshold value TH, the
速度比較部33は、所定の時間間隔で速度センサ5からの車両の速度を取得する。車両の速度が閾値THよりも大きくなった場合は、速度比較部33は、広角レンズを有するビデオカメラ1に対してオフ信号を送出するとともに、望遠レンズを有するビデオカメラ2に対して撮像開始信号を送出する。
The
撮像処理を行っていたビデオカメラ1は、オフ信号を受信することにより、撮像処理を停止し、画像処理装置3からの指令を待つ待ち状態に入る。一方、待ち状態にあったビデオカメラ2は、画像撮像部11から車両の外界の撮像を開始し、撮像した画像データを画像処理装置3へ送出する。
The
以上の通り、車両の速度に応じて、ビデオカメラ1、2を切り替える。これにより、閾値THより小さい速度で走行する場合は、広角レンズを有するビデオカメラ1により車両前方を撮像し、車両前方の広い範囲を撮像することができる。一方、閾値THより大きい速度で走行する場合は、望遠レンズを有するビデオカメラ2により車両前方の遠方を撮像して、車両前方の遠距離の対象物を表示装置4上で大きく表示することができる。
As described above, the
図5は画角及び撮像範囲の関係を示す説明図である。図に示すように広角レンズ(画角θ1)を有するビデオカメラ1で撮像する場合、車両前中央部から撮影角度θ1の範囲の対象物を認識することができる。特に市街地又は交差点付近では、横断歩道を渡る歩行者、道路わきを走行する自転車などを容易に認識することが可能になる。広角レンズを使用する場合、車両前方の遠距離にある対象物は、表示画面上で小さくなる傾向にあるが、車両速度が低速であるため、歩行者、車両などの対象物の認識をする上では支障は少ない。
FIG. 5 is an explanatory diagram showing the relationship between the angle of view and the imaging range. As shown in the figure, when imaging with a
また、図に示すように望遠レンズ(画角θ2)を有するビデオカメラ2で撮像する場合、車両前中央部から撮影角度θ2の範囲の対象物を認識することができる。特に郊外又は高速道路を走行する場合、比較的高速度で走行するため、車両の左右周辺よりも、遠方の対象物を早期に認識して危険を未然に回避することが重要であり、望遠レンズを用いることにより、広角レンズを用いた場合に比較して、遠方の対象物を表示装置4で大きく表示することができる。
Further, as shown in the figure, when imaging with a
図6は画角及び速度の閾値の関係を示す説明図である。図6(a)は画角θ22の望遠レンズを有するビデオカメラ2を搭載し、速度の閾値がTH2の場合、図6(b)は画角θ21(>θ22)の望遠レンズを有するビデオカメラ2を搭載し、速度の閾値はTH1(<TH2)の場合を示す。
FIG. 6 is an explanatory diagram showing the relationship between the angle of view and the threshold value of speed. 6A is equipped with a
望遠レンズの画角が小さい(画角θ22)場合は、速度の閾値TH2が大きく(TH2>TH1)、車両の速度があまり遅くならないうちに広角レンズの撮像装置に切り替える。車両の速度が閾値TH2である場合の車両の停止距離をL2、速度が閾値TH1である場合の停止距離をL1とすると、TH2>TH1であるから、L2>L1である。また、望遠レンズの画角が小さい(画角θ22)場合は、長い停止距離L2(>L1)を有して広角レンズの撮像装置に切り替える。したがって、望遠レンズの画角が小さい(画角θ22)場合は、早めに広角レンズの撮像装置に切り替えることができ、画角の小さい望遠レンズが有する車両前方周辺の広い範囲における視認性の低下を防止できる。また、危険を回避するために長い停止距離を確保することができる。 When the angle of view of the telephoto lens is small (view angle θ22), the speed threshold TH2 is large (TH2> TH1), and the image pickup device is switched to a wide-angle lens before the vehicle speed becomes too slow. If the stop distance of the vehicle when the vehicle speed is the threshold value TH2 is L2, and the stop distance when the speed is the threshold value TH1 is L1, then TH2> TH1, and therefore L2> L1. When the angle of view of the telephoto lens is small (view angle θ22), the telephoto lens has a long stop distance L2 (> L1) and is switched to the wide-angle lens imaging device. Therefore, when the angle of view of the telephoto lens is small (view angle θ22), it is possible to quickly switch to the wide-angle lens imaging device, and the visibility in a wide range around the front of the vehicle possessed by the telephoto lens with a small angle of view is reduced. Can be prevented. In addition, a long stop distance can be secured to avoid danger.
広角レンズ及び望遠レンズの組合せに対応する閾値は、次のように算出することができる。広角レンズの画角をθ1、撮像した画像データの画素数をNw、歩行者を認識するのに必要な最小画素数をNo、人間の高さをWとして、測定距離dを数1で算出する。 The threshold value corresponding to the combination of the wide-angle lens and the telephoto lens can be calculated as follows. The measurement distance d is calculated by the following equation, where θ is the angle of view of the wide-angle lens, Nw is the number of pixels of the captured image data, No is the minimum number of pixels necessary to recognize the pedestrian, and W is the height of the person. .
ここで、Nwは320×240、Noは40×16、W=1を用いることができる。数1で算出した測定距離dを停止距離+余裕距離として、停止距離=速度×平均反応時間+速度/(2×9.8×路面摩擦係数)から算出された速度を閾値として使用することができる。ここで、余裕距離は所定の数値を用いればよい。
Here, Nw can be 320 × 240, No can be 40 × 16, and W = 1. The measurement distance d calculated in
上述の通り、本発明にあっては、画角が異なる複数のビデオカメラを設けておき、車両の速度に応じてビデオカメラを切り替えることにより、車両の速度が比較的低速度である場合には、広角レンズを有するビデオカメラにより撮像して、車両の前方の広い範囲の視認性を確保する。一方、車両の速度が速い場合には、望遠レンズを有するビデオカメラに切り替えて、車両前方のより遠方の視認性を確保する。ズーム機構のような高精度の機構を必要としないため、車両特有の外的要因の影響を受けず、従来に比較して、部品コストの低減ができるとともに、透過率の低下又は画質の劣化を防止することができる。 As described above, in the present invention, when a plurality of video cameras having different angles of view are provided and the video cameras are switched according to the vehicle speed, the vehicle speed is relatively low. The image is captured by a video camera having a wide-angle lens to ensure visibility in a wide range in front of the vehicle. On the other hand, when the speed of the vehicle is high, the video camera having a telephoto lens is switched to ensure the visibility of the farther ahead of the vehicle. Since a high-precision mechanism such as a zoom mechanism is not required, it is not affected by external factors specific to the vehicle, and it is possible to reduce the cost of components and reduce the transmittance or the image quality compared to the conventional mechanism. Can be prevented.
また、画角が異なる撮像装置に取り替えた場合であっても、撮像装置が有する画角を取得して、画角に応じた閾値を用いることができ、運転者の好みに応じた画角の撮像装置を使用することができる。さらに、撮像装置の画角に応じた閾値を用いることにより、撮像装置を切り替えるための速度が固定されず、車両前方の視認性を改善することができる。 Further, even when the imaging device is replaced with an imaging device having a different angle of view, the angle of view of the imaging device can be acquired and a threshold value corresponding to the angle of view can be used. An imaging device can be used. Furthermore, by using a threshold value corresponding to the angle of view of the imaging device, the speed for switching the imaging device is not fixed, and visibility in front of the vehicle can be improved.
上述の実施の形態においては、ビデオカメラ1、2は遠赤外用のビデオカメラであったが、これに限らず、可視光用のビデオカメラであってもよい。この場合は、レンズ110、111、112、及び113はガラス製のレンズであり、撮像素子114はCCDである。
In the above-described embodiment, the
上述の実施の形態においては、車両の速度は、速度センサ5で検出する構成であったが、これに限られない。例えば、画像処理装置3において車両の速度を算出することも可能である。すなわち、路面表示又は白線を撮像した画像データから、路面表示又は白線に属する輝度の濃淡エッジを検出する。次にフレーム間において、同一の濃淡エッジの組合せを抽出し、抽出した濃淡エッジの1フレーム当たりの移動量を算出する。算出した移動量に基づいて、車両の速度を算出し、速度比較部33が算出された速度を取得する構成でもよい。これにより、画像処理装置と速度センサとの間の通信線を省略することができる。
In the above-described embodiment, the speed of the vehicle is detected by the
上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、IEEE1394に準拠した車載LAN通信線を介して行われたが、これに限らず、NTSCに準拠した通信方式であってもよい。 In the above-described embodiment, the connection between the video camera and the image processing apparatus is performed via the in-vehicle LAN communication line compliant with IEEE 1394. Good.
上述の実施の形態においては、θ11、θ21のように画角の一点の値に関連付けて閾値THを記憶する構成であったが、これに限られるものではなく、例えば、θ11〜θ12、θ21〜θ22のように画角の所定の範囲に対応して閾値THを記憶する構成でもよい。 In the above-described embodiment, the threshold value TH is stored in association with one value of the angle of view such as θ11 and θ21. However, the present invention is not limited to this, and for example, θ11 to θ12, θ21 to The configuration may be such that the threshold value TH is stored corresponding to a predetermined range of the angle of view as θ22.
1、2 ビデオカメラ
3 画像処理装置
4 表示装置
5 速度センサ
6 通信線
11 画像撮像部
12 信号処理部
13、32 画像メモリ
14 制御部
15、31 インターフェース部
33 速度比較部
34 画像処理制御部
35 出力部
36 画像処理部
362a 閾値テーブル
110、111、112、113 レンズ
114 焦電型撮像素子
1, 2 video camera
3 Image processing device
DESCRIPTION OF
Claims (4)
画角が異なる光学素子を有する撮像装置を複数備え、
前記画像処理装置は、
車両の速度を取得する取得手段と、
該取得手段が取得した速度に応じて、前記撮像装置を切り替える切替手段と
を有し、
該切替手段が切り替えた撮像装置で外界を撮像するよう構成してあることを特徴とする車両用画像処理システム。 In an image processing system for a vehicle that images an external environment of a vehicle with an imaging device and displays image data obtained by imaging with an image processing device.
A plurality of imaging devices having optical elements with different angles of view,
The image processing apparatus includes:
An acquisition means for acquiring the speed of the vehicle;
Switching means for switching the imaging device according to the speed acquired by the acquisition means,
A vehicular image processing system configured to image the outside world with the imaging device switched by the switching means.
画角の大小を閾値の大小に関連付けて記憶する記憶手段と、
前記光学素子の画角を受信する受信手段と、
前記取得手段が取得した速度と、前記受信手段が受信した画角に関連付けられた閾値とを比較する比較手段と
を備え、
前記切替手段は、前記比較手段が比較した結果に基づいて、前記撮像装置を切り替えるよう構成してあることを特徴とする請求項1に記載された車両用画像処理システム。 The image processing apparatus includes:
Storage means for storing the angle of view in association with the threshold size;
Receiving means for receiving an angle of view of the optical element;
Comparing means for comparing the speed acquired by the acquiring means and a threshold value associated with the angle of view received by the receiving means,
The vehicular image processing system according to claim 1, wherein the switching unit is configured to switch the imaging device based on a result of comparison by the comparison unit.
車両の速度を取得する取得手段と、
該取得手段が取得した速度に応じて、画像の取り込み先を切り替える切替手段と
を備えたことを特徴とする画像処理装置。 In an image processing apparatus that performs image processing on captured image data,
An acquisition means for acquiring the speed of the vehicle;
An image processing apparatus comprising: a switching unit that switches an image capture destination according to the speed acquired by the acquisition unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004203447A JP2006024120A (en) | 2004-07-09 | 2004-07-09 | Image processing system for vehicle and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004203447A JP2006024120A (en) | 2004-07-09 | 2004-07-09 | Image processing system for vehicle and image processing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006024120A true JP2006024120A (en) | 2006-01-26 |
Family
ID=35797331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004203447A Pending JP2006024120A (en) | 2004-07-09 | 2004-07-09 | Image processing system for vehicle and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006024120A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102658798A (en) * | 2012-05-07 | 2012-09-12 | 奇瑞汽车股份有限公司 | Vehicular night vision system and control method thereof |
| CN106251701A (en) * | 2016-09-14 | 2016-12-21 | 郑州轻工业学院 | Vehicle rear view monitoring and alarm system and method based on rotating and zooming multi-camera |
| JP2018027772A (en) * | 2016-08-16 | 2018-02-22 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Stereo camera-based autonomous driving method, autonomous driving apparatus, and computer program |
| CN109239729A (en) * | 2018-09-28 | 2019-01-18 | 北京理工大学 | A kind of unmanned change visual field solid-state face battle array laser radar range system and method |
| CN111655541A (en) * | 2018-03-05 | 2020-09-11 | 沃尔沃卡车集团 | Driver assistance systems for industrial vehicles |
| JP2020191575A (en) * | 2019-05-23 | 2020-11-26 | 株式会社デンソー | Image processing device |
| CN116095472A (en) * | 2022-12-22 | 2023-05-09 | 合众新能源汽车有限公司 | Automatic switching method and switching system for automatic driving camera lens and vehicle |
-
2004
- 2004-07-09 JP JP2004203447A patent/JP2006024120A/en active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102658798A (en) * | 2012-05-07 | 2012-09-12 | 奇瑞汽车股份有限公司 | Vehicular night vision system and control method thereof |
| JP2018027772A (en) * | 2016-08-16 | 2018-02-22 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Stereo camera-based autonomous driving method, autonomous driving apparatus, and computer program |
| CN106251701A (en) * | 2016-09-14 | 2016-12-21 | 郑州轻工业学院 | Vehicle rear view monitoring and alarm system and method based on rotating and zooming multi-camera |
| CN106251701B (en) * | 2016-09-14 | 2018-11-06 | 郑州轻工业学院 | Vehicle rearview monitor and alarm system and method based on rotation zoom multi-cam |
| CN111655541A (en) * | 2018-03-05 | 2020-09-11 | 沃尔沃卡车集团 | Driver assistance systems for industrial vehicles |
| CN111655541B (en) * | 2018-03-05 | 2024-03-12 | 沃尔沃卡车集团 | Driver assistance systems for industrial vehicles |
| CN109239729A (en) * | 2018-09-28 | 2019-01-18 | 北京理工大学 | A kind of unmanned change visual field solid-state face battle array laser radar range system and method |
| CN109239729B (en) * | 2018-09-28 | 2024-05-28 | 北京理工大学 | An unmanned driving variable field of view solid-state area array laser radar ranging system and method |
| JP2020191575A (en) * | 2019-05-23 | 2020-11-26 | 株式会社デンソー | Image processing device |
| US11272111B2 (en) | 2019-05-23 | 2022-03-08 | Denso Corporation | Image processing apparatus |
| JP7115420B2 (en) | 2019-05-23 | 2022-08-09 | 株式会社デンソー | Image processing device |
| CN116095472A (en) * | 2022-12-22 | 2023-05-09 | 合众新能源汽车有限公司 | Automatic switching method and switching system for automatic driving camera lens and vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109691079B (en) | Imaging devices and electronic equipment | |
| JP4766841B2 (en) | Camera device and vehicle periphery monitoring device mounted on vehicle | |
| KR100936558B1 (en) | Vehicle Peripheral Monitor and Image Display Method | |
| JP5233583B2 (en) | In-vehicle monitoring device | |
| US10528825B2 (en) | Information processing device, approaching object notification method, and program | |
| CN100462835C (en) | Camera units and devices for monitoring the surroundings of vehicles | |
| CN102481876B (en) | Device for monitoring surroundings of vehicle | |
| EP1895766B1 (en) | Camera with two or more angles of view | |
| US20180015879A1 (en) | Side-view mirror camera system for vehicle | |
| US8477191B2 (en) | On-vehicle image pickup apparatus | |
| JP5036891B2 (en) | Camera device and vehicle periphery monitoring device mounted on vehicle | |
| JP2007142624A (en) | Vehicle-mounted imaging device | |
| KR102045088B1 (en) | Image displaying Method and Apparatus therefor | |
| TW201904282A (en) | Camera device, camera module and control method of camera device | |
| JP2001023091A (en) | Vehicle image display device | |
| CN112744159B (en) | Vehicle, rear view display device thereof, and control method for rear view display device | |
| JP7248574B2 (en) | Camera device and method for recognizing surrounding area of vehicle | |
| JP2004289786A (en) | Imaging device | |
| JP2006178652A (en) | Vehicle periphery recognition system and image processing apparatus | |
| JP2003116029A (en) | Imaging device and image recorder using the same | |
| JP2006024120A (en) | Image processing system for vehicle and image processing apparatus | |
| CN100554878C (en) | Stereo optical module and stereo camera | |
| JP2019001325A (en) | In-vehicle imaging device | |
| US20200213486A1 (en) | Vehicle camera system and method | |
| JP2008053901A (en) | Imaging apparatus and imaging method |
