JP2010250503A - Vehicle controller and in-vehicle imaging apparatus - Google Patents

Vehicle controller and in-vehicle imaging apparatus Download PDF

Info

Publication number
JP2010250503A
JP2010250503A JP2009098351A JP2009098351A JP2010250503A JP 2010250503 A JP2010250503 A JP 2010250503A JP 2009098351 A JP2009098351 A JP 2009098351A JP 2009098351 A JP2009098351 A JP 2009098351A JP 2010250503 A JP2010250503 A JP 2010250503A
Authority
JP
Japan
Prior art keywords
vehicle
speed
image
shutter speed
turning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009098351A
Other languages
Japanese (ja)
Inventor
Sukeyuki Usami
祐之 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2009098351A priority Critical patent/JP2010250503A/en
Publication of JP2010250503A publication Critical patent/JP2010250503A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/003Control of exposure by setting shutters, diaphragms or filters, separately or conjointly setting of both shutter and diaphragm

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle controller performing various vehicle control by using image information captured by an in-vehicle imaging apparatus that images a clear image with no blur, in capturing a vehicle surrounding image by emitting near-infrared light, especially at night. <P>SOLUTION: The vehicle controller 20 includes: a yaw rate sensor 205 for detecting a straight traveling state or revolving state of a vehicle; a wheel speed sensor 210 for detecting the vehicle speed; a camera control part 201 for controlling a shutter speed according to the vehicle speed detected by the wheel speed sensor 210 and the straight traveling state or revolving state of the vehicle detected by the yaw rate sensor 205; an image processing part 202 for generating a composite image by using an image captured at a shutter speed controlled by the camera control part 201; and a driver support ECU 203 for performing vehicle control based on the composite image generated by the image processing part 202. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、車両周辺の状況を撮像する車載用撮像装置、及び当該車載用撮像装置において撮像した画像情報を用いて各種の車両制御を行う車両制御装置に関し、特に、夜間において近赤外線による照射を用いて車両周辺の状況を撮像する車載用撮像装置及び車両制御装置に関する。   The present invention relates to a vehicle-mounted imaging device that captures a situation around a vehicle and a vehicle control device that performs various vehicle controls using image information captured by the vehicle-mounted imaging device, and in particular, irradiation with near infrared rays at night. The present invention relates to an in-vehicle imaging device and a vehicle control device that use it to image a situation around a vehicle.

従来より、車載カメラを用いて周辺の道路標識、路面標識や先行車等を認識して、警報、表示、危険回避等を援助するプリクラッシュセーフティ(Pre-Crash Safety:以下PCSと記載)、レーンキープアシスト(Lane Keep Assist:以下LKAと記載)機能などの車両制御が行われている。   Conventionally, pre-crash safety (hereinafter referred to as PCS), lane, which recognizes surrounding road signs, road signs, leading vehicles, etc. using an in-vehicle camera and assists with warnings, indications, danger avoidance, etc. Vehicle control such as a Keep Assist (hereinafter referred to as LKA) function is performed.

例えば、車両制御の1つであるプリクラッシュブレーキ制御においては、車載カメラやレーダ装置等より取得した情報を用いて、先行車両や道路構造物などの被衝突物が検知され、衝突の可能性が高い場合にディスプレイに「ブレーキ!」表示、及び警報を発し、運転者に注意喚起を促す。そして、衝突不可避な状態と判断された場合にブレーキを自動的に作動する。   For example, in pre-crash brake control, which is one of vehicle controls, a collision object such as a preceding vehicle or a road structure is detected using information acquired from an in-vehicle camera or a radar device, and there is a possibility of a collision. When it is high, “Brake!” Is displayed on the display and an alarm is issued to alert the driver. When it is determined that the collision is inevitable, the brake is automatically operated.

また、LKA機能においては、車載カメラを用いて、路上に描かれた白線を認識し、ステアリング操作をアシストして車体が左右の白線内、中央部付近に止まるように制御する。そして、白線から逸脱しそうになると例えば警報を鳴らすと共に、ステアリング自体を小刻みに揺らして運転者に警告する等を実行する。   In the LKA function, an in-vehicle camera is used to recognize a white line drawn on the road and assist the steering operation so that the vehicle body stops within the white line on the left and right and near the center. When the vehicle is about to deviate from the white line, for example, an alarm is sounded, and the steering wheel is shaken in small steps to warn the driver.

そして、車載カメラからの画像情報を用いて車両制御を正確に行うためには、ぶれのない、且つ鮮明な画像が必要であるため、そのために例えばカメラのシャッタ速度を変更する必要がある。なお、シャッタ速度には、絞りと同じく 光量を調整する役割があり、シャッタ速度が遅いほど、CCD(Charged Coupled Device)やフィルムに当てる光量が増え、速いほど、CCDやフィルムに当てる光量が減る。   And in order to perform vehicle control correctly using the image information from a vehicle-mounted camera, since a clear and clear image is required, it is necessary to change the shutter speed of a camera, for example. The shutter speed has the role of adjusting the amount of light as with the aperture. The slower the shutter speed, the more light is applied to the CCD (Charged Coupled Device) and film, and the faster the light is applied to the CCD and film.

そして、従来、車載カメラでのシャッタ速度の制御方法としては、例えば撮影した画像全体の平均輝度情報を用いて、平均輝度が低い場合には光量を増加させるためシャッタ速度を遅くする制御等を行う方法がある。   Conventionally, as a method for controlling the shutter speed in an in-vehicle camera, for example, using average luminance information of the entire photographed image, when the average luminance is low, control is performed to slow down the shutter speed in order to increase the amount of light. There is a way.

ところで、走行路の制限速度をリアルタイムに認識できる制限速度認識装置が開示されている(例えば、特許文献1参照)。この装置においては、画像認識部ではCCDカメラで撮像した車両前方の画像に基づいて道路標識や路面標識に表示されている制限速度を認識し、得られた制限速度を警報制御部へ出力する。警報制御部では車速と制限速度とを比較して、速度超過を判定し、速度超過の場合には警報手段を駆動させて運転者に速度超過を知らせるものである。   By the way, a speed limit recognition device capable of recognizing a speed limit of a travel path in real time has been disclosed (for example, see Patent Document 1). In this apparatus, the image recognition unit recognizes the speed limit displayed on the road sign or road surface sign based on the image ahead of the vehicle imaged by the CCD camera, and outputs the obtained speed limit to the alarm control unit. The alarm control unit compares the vehicle speed with the speed limit to determine whether the speed is exceeded. If the speed is exceeded, the alarm means is driven to notify the driver of the excess speed.

特開2005−128790号公報JP 2005-128790 A

しかしながら、上記従来の画像の輝度情報を用いて車載カメラのシャッタ速度を変更する方法においては、画像全体の明るさに応じてシャッタ速度を制御しているのみであるために、画像の明るさの確保とぶれのない画像との両立は不可能という問題がある。   However, in the conventional method of changing the shutter speed of the in-vehicle camera using the luminance information of the image, the shutter speed is only controlled according to the brightness of the entire image. There is a problem that it is impossible to achieve both ensuring and unblurred images.

すなわち、(I)画像の明るさを優先して撮影すると、カメラのシャッタ速度を長く設定する必要があり、この場合には、車両に近接している撮像物は画面内で大きく移動するため、特に路側側の画像がぶれてしまうという問題がある。
一方、(II)画像のブレを防止するためにシャッタ速度を優先して撮影すると、遠方で照明が暗くなる領域では画像が暗くなり、撮影物全体を明るく撮影できないという問題がある。これは、特に近赤外線等を用いて夜間に車両の周辺画像を撮影する場合に問題となる。
That is, (I) When photographing with priority given to the brightness of an image, it is necessary to set a long shutter speed of the camera. In this case, an imaged object that is close to the vehicle moves greatly within the screen. In particular, there is a problem that the image on the road side is blurred.
On the other hand, (II) If shooting is performed with priority given to the shutter speed in order to prevent blurring of the image, there is a problem that the image becomes dark in a region where the illumination is dark at a distance, and the entire object cannot be brightly photographed. This is a problem particularly when taking a peripheral image of a vehicle at night using near infrared rays or the like.

本発明は以上の課題に鑑みてなされたものであり、特に夜間に近赤外線の照射により車両周辺の画像を撮影する場合において、ぶれの少ない、且つ鮮明な画像を撮影できる車載用撮像装置を提供することを目的とする。
また、本発明に係る車載用撮像装置を用いて撮影されたぶれの少ない、且つ鮮明な画像を用いて各種の車両制御を行う車両制御装置を提供することをも目的とする。
The present invention has been made in view of the above problems, and provides an in-vehicle imaging device capable of capturing a clear image with little blurring, particularly in the case of capturing an image around a vehicle by irradiation with near infrared rays at night. The purpose is to do.
It is another object of the present invention to provide a vehicle control device that performs various vehicle controls using clear images captured with the vehicle-mounted imaging device according to the present invention.

以上の課題を解決するために、本発明に係る車両制御装置は、近赤外線による照射手段を用いる車載用撮像装置から車両周辺の画像情報を取得し、当該画像情報に基づいて車両制御を行う車両制御装置であって、車両の直進状態若しくは旋回状態を検出する旋回検出手段と、車速を検出する車速検出手段と、上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御手段と、前記シャッタ速度制御手段において制御された異なるシャッタ速度で撮影された画像を用いて合成画像を生成する画像処理手段と、上記画像処理手段において生成された当該合成画像に基づいて車両制御を行う電子制御手段とを備えることを特徴とする。   In order to solve the above-described problems, a vehicle control device according to the present invention obtains image information around a vehicle from an in-vehicle imaging device using a near infrared irradiation unit, and performs vehicle control based on the image information. A control device, a turning detection means for detecting a straight traveling state or a turning state of a vehicle, a vehicle speed detection means for detecting a vehicle speed, a vehicle speed detected by the vehicle speed detection means, and a vehicle detected by the turning detection means Shutter speed control means for controlling the shutter speed according to a straight traveling state or a turning state, and an image processing means for generating a composite image using images taken at different shutter speeds controlled by the shutter speed control means, Electronic control means for performing vehicle control based on the composite image generated by the image processing means.

この構成により、上記シャッタ速度制御手段は上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、車載用撮像装置におけるシャッタ速度を制御でき、また、上記画像処理手段は、制御されたシャッタ速度で撮影された画像を用いて合成画像を生成することでぶれの少ない鮮明な画像を生成し、上記電子制御手段は、このぶれのない、且つ鮮明な画像情報に基づいて各種車両制御を実現できるために、より車両の安全性を向上できる。   With this configuration, the shutter speed control means can control the shutter speed in the in-vehicle imaging device according to the vehicle speed detected by the vehicle speed detection means and the straight traveling state or turning state of the vehicle detected by the turning detection means, In addition, the image processing unit generates a clear image with less blur by generating a composite image using an image captured at a controlled shutter speed, and the electronic control unit is free of this blur. Since various vehicle controls can be realized based on clear image information, the safety of the vehicle can be further improved.

また、本発明に係る車両制御装置の上記シャッタ速度制御手段は、上記旋回検出手段において直進中と判定され、且つ上記車速検出手段において検出された車速が所定値未満の場合には、シャッタ速度を低速側に制御し、上記旋回検出手段において直進中と判定され、且つ上記車速検出手段において検出された車速が所定値以上の場合には、異なるシャッタ速度を繰り返す制御を行うことを特徴とする。   The shutter speed control means of the vehicle control device according to the present invention determines the shutter speed when the turning detection means determines that the vehicle is traveling straight and the vehicle speed detected by the vehicle speed detection means is less than a predetermined value. When the vehicle speed is controlled to the low speed side, it is determined that the turning detection means is traveling straight, and the vehicle speed detected by the vehicle speed detection means is equal to or higher than a predetermined value, control is performed to repeat different shutter speeds.

この構成により、上記シャッタ速度制御手段は、自車が旋回中でない場合には車速に応じてシャッタ速度を低速側若しくは高速側に適宜変更でき、ぶれの少ない、且つ鮮明な画像を取得できる。   With this configuration, the shutter speed control means can appropriately change the shutter speed to the low speed side or the high speed side according to the vehicle speed when the host vehicle is not turning, and can acquire a clear image with little blur.

また、本発明に係る車両制御装置の上記画像処理手段は、上記旋回検出手段において直進中と判定され、且つ上記車速検出手段において検出された車速が所定値以上の場合には、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成し、上記電子制御手段は、当該合成画像に基づいて車両制御を行うことを特徴とする。   Further, the image processing means of the vehicle control device according to the present invention determines that the vehicle is moving straight when the turning detection means determines that the vehicle is traveling straight and the vehicle speed detected by the vehicle speed detection means is equal to or greater than a predetermined value. A composite image is generated using an image with a short shutter speed in the image area and an image area with a long shutter speed in the image area far ahead of the vehicle, and the electronic control unit performs vehicle control based on the composite image. It is characterized by that.

この構成により、特に夜間において近赤外線を用いて周辺状況を撮像する場合にも、上記画像処理手段は、車両近側方の領域はカメラのシャッタ速度を短く撮影した画像、車両遠前方の領域は、シャッタ速度を長く撮影した画像を用いて1つの画像を合成することにより、近くの対象のぶれを防止し、遠い対象は明るさを確保した画像を撮像できる。そして、上記電子制御手段は、このぶれのない、且つ鮮明な画像情報に基づいて各種の車両制御を実現できるために、より車両の安全性を向上できる。   With this configuration, even when imaging the surrounding situation using near infrared rays, especially at night, the image processing means is configured such that the area near the vehicle is an image captured with a short shutter speed of the camera, and the area in front of the vehicle is By synthesizing one image using images taken with a long shutter speed, it is possible to prevent blurring of a nearby object and to capture an image in which a far object is ensured in brightness. And since the said electronic control means can implement | achieve various vehicle control based on this blurring and clear image information, the safety | security of a vehicle can be improved more.

また、本発明に係る車両制御装置の上記シャッタ速度制御手段は、上記旋回検出手段において車両が旋回中と判定される場合には、撮像領域全体のシャッタ速度を高速側に制御することを特徴とする。   The shutter speed control means of the vehicle control device according to the present invention is characterized in that when the turning detection means determines that the vehicle is turning, the shutter speed of the entire imaging region is controlled to a high speed side. To do.

この構成により、車両が旋回中において、上記シャッタ速度制御手段は全画面を短いシャッタ速度に設定して撮影することにより、前方画像の全てが車両旋回と逆方向に流れてしまうことを防止して、ぶれの少ない、且つ鮮明な画像を撮像できる。   With this configuration, when the vehicle is turning, the shutter speed control means sets the entire screen to a short shutter speed and shoots to prevent the entire front image from flowing in the opposite direction to the vehicle turning. It is possible to capture a clear image with little blur.

また、本発明に係る車両制御装置の上記シャッタ速度制御手段は、上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度の異なる撮影モードを決定し、決定された当該撮影モードに基づくシャッタ速度に制御することを特徴とする。   Further, the shutter speed control means of the vehicle control apparatus according to the present invention has different shutter speeds depending on the vehicle speed detected by the vehicle speed detection means and the straight traveling state or turning state of the vehicle detected by the turning detection means. A shooting mode is determined, and the shutter speed is controlled based on the determined shooting mode.

この構成により、上記シャッタ速度制御手段は、上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、特定の撮影モードを決定できる。   With this configuration, the shutter speed control means can determine a specific photographing mode according to the vehicle speed detected by the vehicle speed detection means and the straight traveling state or turning state of the vehicle detected by the turning detection means.

また、本発明に係る車両制御装置の上記撮影モードには、上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて決定される、旋回撮影モード、低速撮影モード、中速撮影モード、及び高速撮影モードが含まれ、上記シャッタ速度制御手段は、上記低速撮影モードにおいては上記車載用撮像装置のシャッタ速度を低速側に固定し、上記中速撮影モード及び上記高速撮影モードにおいては複数の異なるシャッタ速度を繰り返す制御を行い、上記旋回撮影モードにおいてはシャッタ速度を高速側に固定することを特徴とする。   Further, the shooting mode of the vehicle control device according to the present invention includes a turning shooting determined according to a vehicle speed detected by the vehicle speed detecting means and a straight traveling state or a turning state of the vehicle detected by the turning detecting means. Mode, a low-speed shooting mode, a medium-speed shooting mode, and a high-speed shooting mode, and the shutter speed control means fixes the shutter speed of the in-vehicle imaging device to the low-speed side in the low-speed shooting mode, and In the shooting mode and the high-speed shooting mode, control is performed to repeat a plurality of different shutter speeds. In the turning shooting mode, the shutter speed is fixed to the high speed side.

この構成により、上記シャッタ速度制御手段は、旋回撮影モード、低速撮影モード、中速撮影モード、及び高速撮影モードから上記車速検出手段で検出される車速及び上記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じてシャッタ速度制御の異なる1つの撮影モードを決定する。そして、画像処理部202は、各撮影モードに応じて画像合成処理を行うことができるために、画像のブレを防止した、且つ鮮明な画像を取得でき、上記電子制御手段は、このぶれのない、且つ鮮明な画像情報に基づいて各種の車両制御を実現できるため、より車両の安全性を向上できる。   With this configuration, the shutter speed control means can detect the vehicle speed detected by the vehicle speed detection means from the turning shooting mode, the low speed shooting mode, the medium speed shooting mode, and the high speed shooting mode, and the vehicle traveling straight detected by the turning detection means. One shooting mode with different shutter speed control is determined according to the state or the turning state. Since the image processing unit 202 can perform image composition processing according to each shooting mode, the image processing unit 202 can acquire a clear image that prevents image blurring. Moreover, since various vehicle controls can be realized based on clear image information, the safety of the vehicle can be further improved.

また、本発明に係る車両制御装置の上記画像処理手段は、上記中速撮影モード及び上記高速撮影モードにおいては、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成し、上記電子制御手段は、当該合成画像に基づいて車両制御を行うことを特徴とする。   Further, the image processing means of the vehicle control device according to the present invention is configured such that, in the medium-speed shooting mode and the high-speed shooting mode, the image area near the vehicle has an image with a short shutter speed and an image in front of the vehicle. A composite image is generated using an image with a long shutter speed in the region, and the electronic control means performs vehicle control based on the composite image.

この構成により、上記画像処理手段は、車両が直進中の場合には、撮影モードに応じて、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて画像合成をするため、画像のブレを防止した、且つ鮮明な画像を取得でき、上記電子制御手段は、このぶれのない、且つ鮮明な画像情報に基づいて各種の車両制御を実現できるため、より車両の安全性を向上できる。   With this configuration, when the vehicle is traveling straight ahead, the image processing means has an image area with a short shutter speed in an image area near the vehicle and a shutter in an image area far in the front of the vehicle, depending on the shooting mode. Since images are synthesized using images with a high speed, image blurring can be prevented and clear images can be obtained. The electronic control means can be used for various vehicles based on the image information without blurring and Since the control can be realized, the safety of the vehicle can be further improved.

また、本発明に係る車両制御装置の上記旋回撮影モードにおいては、近赤外線を用いる上記照射手段の照射範囲を拡大することを特徴とする。   In the turning shooting mode of the vehicle control device according to the present invention, the irradiation range of the irradiation means using near infrared rays is expanded.

この構成により、上記旋回撮影モードにおいては近赤外線の照射範囲を拡大でき、画像が暗くなることを防止できる。   With this configuration, it is possible to expand the near-infrared irradiation range in the turning shooting mode and prevent the image from becoming dark.

また、本発明に係る車載用撮像装置は近赤外線による照射手段を用いて車両周辺の画像情報を撮像する車載用撮像装置であって、車速及び車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御手段と、上記シャッタ速度制御手段において制御された異なるシャッタ速度で撮像された画像を用いて合成画像を生成する画像処理手段とを備えることを特徴とする。   The in-vehicle image pickup apparatus according to the present invention is an in-vehicle image pickup apparatus that picks up image information around a vehicle using a near infrared irradiation unit, and the shutter speed is determined according to the vehicle speed and the straight traveling state or turning state of the vehicle. And a shutter speed control means for controlling the image, and an image processing means for generating a composite image using images taken at different shutter speeds controlled by the shutter speed control means.

この構成により、上記シャッタ速度制御手段は、車両の車速及び車両の直進状態若しくは旋回状態に応じてシャッタ速度を適宜変更して、上記画像処理手段は、異なるシャッタ速度で撮影された画像を用いて合成画像を生成できる。従って、本発明に係る車載用撮像装置は、夜間において近赤外線を用いて周辺状況を撮像する場合にも、ぶれを少なくして、且つ鮮明な画像を撮像できる。   With this configuration, the shutter speed control unit appropriately changes the shutter speed in accordance with the vehicle speed and the straight traveling state or turning state of the vehicle, and the image processing unit uses images captured at different shutter speeds. A composite image can be generated. Therefore, the vehicle-mounted imaging device according to the present invention can capture a clear image with less blur even when imaging the surrounding situation using near infrared rays at night.

なお、本発明に係る車載用撮像装置及び車両制御装置を構成する処理手段をステップとする撮像方法及び車両制御方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、当該プログラムをDVD、CD−ROM等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることができるのは言うまでもない。   In addition, it implement | achieves as an imaging method and vehicle control method which use the process means which comprises the vehicle-mounted imaging device and vehicle control apparatus which concern on this invention as a step, implement | achieves these steps as a program which makes a computer perform, Needless to say, it can be distributed via a recording medium such as a DVD or CD-ROM or a transmission medium such as a communication network.

本発明に係る車載用撮像装置においては、近赤外線を用いて光量の少ない夜間において撮像する場合においても、車速及び車両の旋回若しくは直進状態に応じてカメラのシャッタ速度を適宜変更して撮像し、画像処理部において合成画像を生成することでぶれの少ない、且つより鮮明な画像を撮影できる。
また、本発明に係る車両制御装置においては、この車載用撮像装置で撮影された画像情報に基づいてより正確な各種の車両制御を実現できる。
In the in-vehicle imaging device according to the present invention, even when imaging at night with a small amount of light using near infrared rays, imaging is performed by appropriately changing the shutter speed of the camera according to the vehicle speed and the turning or straight traveling state of the vehicle, By generating a composite image in the image processing unit, it is possible to capture a clearer image with less blur.
In the vehicle control device according to the present invention, more accurate various vehicle controls can be realized based on image information captured by the in-vehicle imaging device.

車両のヘッドランプ部に搭載された近赤外線投光器を用いて車両の前方画像を撮像する前方カメラを備えた車両の全体図Overall view of a vehicle equipped with a front camera that captures a front image of the vehicle using a near-infrared projector mounted on the headlamp portion of the vehicle 実施の形態に係る車両制御装置の機能ブロック図Functional block diagram of a vehicle control device according to an embodiment 実施の形態に係る車載用撮像装置の全体の動作手順を説明するためのフローチャートFlowchart for explaining the overall operation procedure of the in-vehicle imaging device according to the embodiment 実施の形態に係る車載用撮像装置において、低速撮影モード、及び中速撮影モードにおける詳細な動作手順を示すフローチャートThe flowchart which shows the detailed operation | movement procedure in low-speed imaging mode and medium-speed imaging mode in the vehicle-mounted imaging device which concerns on embodiment. 実施の形態に係る制御装置において、高速撮影モード、及び旋回撮影モードにおける詳細な動作手順を示すフローチャートIn the control apparatus which concerns on embodiment, the flowchart which shows the detailed operation | movement procedure in high-speed imaging | photography mode and turning imaging | photography mode. 実施の形態に係る前方カメラにおいてのシャッタ速度と画像領域との関係を説明するための図The figure for demonstrating the relationship between the shutter speed and image area in the front camera which concerns on embodiment

以下、本発明に係る車載用撮像装置及び車両制御装置の実施の形態に関して図面を参照しながら説明を行う。   Hereinafter, embodiments of an in-vehicle imaging device and a vehicle control device according to the present invention will be described with reference to the drawings.

(実施の形態)
図1は、車両のヘッドランプ部に搭載された近赤外線投光器101を用いて車両の前方画像を撮像する前方カメラ200を備えた車両10の全体図を示す。
(Embodiment)
FIG. 1 shows an overall view of a vehicle 10 that includes a front camera 200 that captures a front image of the vehicle using a near-infrared projector 101 mounted on a headlamp portion of the vehicle.

車両10に備わる前方カメラ200は、太陽光、または太陽光等の光量の少ない夜間においてはヘッドランプ部に備わる近赤外線投光器101から人の目に感じない領域101aに照射される近赤外線が対象物に当たり反射した反射光をCCD等の撮像素子が受光して映像信号に変換する車載用撮像装置である。なお、図1において領域200aは、前方カメラ200の撮像領域を示している。   The front camera 200 provided in the vehicle 10 is subject to near infrared rays emitted from the near infrared projector 101 provided in the headlamp unit to a region 101a that is not perceived by human eyes at night when the amount of light such as sunlight or sunlight is low. This is an in-vehicle image pickup device in which reflected light reflected by the light is received by an image pickup device such as a CCD and converted into a video signal. In FIG. 1, an area 200 a indicates an imaging area of the front camera 200.

図2は、本実施の形態に係る車両制御装置20の機能ブロック図を示す。
車両制御装置20は、前方カメラ200と、ドライバサポートECU(Electronic Control Unit)203(特許請求の範囲の電子制御手段に相当)と、メータ204と、ヨーレートセンサ205と、蛇角センサ206と、パワーステアリングECU207と、電気パワーステアリング208と、ブレーキECU209と、車輪速センサ210と、ブレーキアクチュエータ211と、警報ブザー212とを備える。
FIG. 2 shows a functional block diagram of the vehicle control device 20 according to the present embodiment.
The vehicle control device 20 includes a front camera 200, a driver support ECU (Electronic Control Unit) 203 (corresponding to electronic control means in claims), a meter 204, a yaw rate sensor 205, a snake angle sensor 206, a power A steering ECU 207, an electric power steering 208, a brake ECU 209, a wheel speed sensor 210, a brake actuator 211, and an alarm buzzer 212 are provided.

以下、各処理部200〜212の機能について説明を行う。
前方カメラ200は、図1に示すように車両のフロントガラスの上部付近に設けられ、光による電荷量を光電変換してそれを順次読み出して電気信号に変換するCCDカメラ等の車載用撮像装置である。なお、前方カメラ200は1台に限定されるものではなく、複数台のカメラを備えることもできる。
Hereinafter, functions of the processing units 200 to 212 will be described.
As shown in FIG. 1, the front camera 200 is an in-vehicle imaging device such as a CCD camera that is provided near the top of the windshield of a vehicle and photoelectrically converts a charge amount of light and sequentially reads it to convert it into an electrical signal. is there. Note that the front camera 200 is not limited to a single camera, and may include a plurality of cameras.

ドライバサポートECU203は、半導体集積回路から構成され、前方カメラ200からの画像情報に基づき、ドライバの走行を支援するためPCSやLKA等の各種の車両制御を行うためのマイコンを備える。また、ドライバサポートECU203は、ヨーレートセンサ205、蛇角センサ206や車輪速センサ210等のセンサ情報から車速や旋回中若しくは直進等の運転状況を解析し、前方カメラ200のシャッタ速度を制御するため前方カメラ200に備わるカメラ制御部201にこれらの情報を送信する。
メータ204は、車輪速センサ210より車速情報を取得して、運転者に車速を表示するためのディスプレイである。
The driver support ECU 203 is composed of a semiconductor integrated circuit, and includes a microcomputer for performing various vehicle controls such as PCS and LKA in order to support the driving of the driver based on image information from the front camera 200. Further, the driver support ECU 203 analyzes the driving speed such as the vehicle speed, turning, or going straight from the sensor information of the yaw rate sensor 205, the snake angle sensor 206, the wheel speed sensor 210, etc., and controls the shutter speed of the front camera 200 in order to These pieces of information are transmitted to the camera control unit 201 provided in the camera 200.
The meter 204 is a display for acquiring vehicle speed information from the wheel speed sensor 210 and displaying the vehicle speed to the driver.

ヨーレートセンサ(加速度センサ)205は、車両が回転する速度を検出するセンサであり、自車の旋回方向への回転角の変化速度であるヨーレートを検出する。   A yaw rate sensor (acceleration sensor) 205 is a sensor that detects a speed at which the vehicle rotates, and detects a yaw rate that is a change speed of a rotation angle in the turning direction of the host vehicle.

蛇角センサ206は、運転者がハンドルを切った時の前輪の操舵角を感知するセンサであり、ドライバサポートECU203は、この蛇角センサ206で検出された操舵角及びヨーレートセンサ205で検出したデータを用いて自車が旋回中か否かを判断する。   The snake angle sensor 206 is a sensor that senses the steering angle of the front wheels when the driver turns the steering wheel. The driver support ECU 203 detects the steering angle detected by the snake angle sensor 206 and the data detected by the yaw rate sensor 205. Is used to determine whether the vehicle is turning.

パワーステアリングECU207は、電気パワーステアリング208の制御を行うための電子制御部であり、操舵トルク及び車速からアシスト電流を演算してモータを駆動させる。電気パワーステアリング208は、モータと減速機の働きにより、操舵時にアシストトルクを発生させ、ステアリング操舵力を軽減させる。   The power steering ECU 207 is an electronic control unit for controlling the electric power steering 208 and calculates an assist current from the steering torque and the vehicle speed to drive the motor. The electric power steering 208 generates assist torque during steering and reduces the steering force by the action of the motor and the speed reducer.

ブレーキECU209は、通信線を介してドライバサポートECU203と接続され、ドライバサポートECU203から送信される車両制御に関する信号情報に基づいてブレーキアクチュエータ211及び警報ブザー212を制御する。
車輪速センサ210は、例えば磁気ロータの回転による磁気の変化をセンサで検出して車速パルスとしてブレーキECU209に出力する。
The brake ECU 209 is connected to the driver support ECU 203 via a communication line, and controls the brake actuator 211 and the alarm buzzer 212 based on signal information related to vehicle control transmitted from the driver support ECU 203.
The wheel speed sensor 210 detects, for example, a change in magnetism due to rotation of the magnetic rotor, and outputs it to the brake ECU 209 as a vehicle speed pulse.

ブレーキアクチュエータ211は、ブレーキECU209から送信される制御信号を受信して、その制御信号に基づくブレーキ制御を行う。また、警報ブザー212は、ブレーキECU209から送信される制御信号を受信して、その制御情報に基づく警告音を発する。   The brake actuator 211 receives a control signal transmitted from the brake ECU 209 and performs brake control based on the control signal. The alarm buzzer 212 receives a control signal transmitted from the brake ECU 209 and emits a warning sound based on the control information.

次に、本発明に係る前方カメラ200の機能について説明を行う。
前方カメラ200は、カメラ制御部(特許請求の範囲のシャッタ速度制御手段に相当)201及び画像処理部(特許請求の範囲の画像処理手段に相当)202を備え、カメラ制御部201は、ドライバサポートECU203から取得する車速及び車両の旋回若しくは直進情報を用いて、前方カメラ200のシャッタ速度を制御する。なお、カメラ制御部201におけるシャッタ速度制御は、ソレノイド等による電磁制御で行う。また、カメラ制御部201においての具体的なシャッタ速度の制御に関しては後述の図3において説明する。
Next, functions of the front camera 200 according to the present invention will be described.
The front camera 200 includes a camera control unit (equivalent to a shutter speed control unit in claims) 201 and an image processing unit (equivalent to an image processing unit in claims) 202. The camera control unit 201 has driver support. The shutter speed of the front camera 200 is controlled using the vehicle speed acquired from the ECU 203 and the turning or straight traveling information of the vehicle. Note that the shutter speed control in the camera control unit 201 is performed by electromagnetic control using a solenoid or the like. Further, specific shutter speed control in the camera control unit 201 will be described with reference to FIG.

画像処理部202は、前方カメラ200において撮影したシャッタ速度の異なる複数の画像を1つの画像に合成する。例えば、画像処理部202は、車両が直進中の場合には、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて画像合成をして1つの画像を生成する。そして、画像処理部202で画像処理された画像信号がドライバサポートECU203に入力され、当該画像に基づいて障害物認識や標識認識等が行われる。   The image processing unit 202 combines a plurality of images taken with the front camera 200 and having different shutter speeds into one image. For example, when the vehicle is traveling straight, the image processing unit 202 uses an image with a short shutter speed in the image area near the vehicle, and an image with a long shutter speed in the image area far in front of the vehicle. A single image is generated by combining the images. Then, the image signal processed by the image processing unit 202 is input to the driver support ECU 203, and obstacle recognition and sign recognition are performed based on the image.

図3は、本実施の形態に係る車載用撮像装置の全体の動作手順を説明するためのフローチャートである。
最初に、ドライバサポートECU203は、ヨーレートセンサ205や蛇角センサ206等からの検出値を用いて車両が直進中若しくは旋回中かを判定する(ステップS301)。ここでは、ドライバサポートECU203は、例えば曲率半径を用いて旋回中か否かを判定する。
FIG. 3 is a flowchart for explaining the overall operation procedure of the in-vehicle imaging device according to the present embodiment.
First, the driver support ECU 203 determines whether the vehicle is traveling straight or turning using the detection values from the yaw rate sensor 205 and the snake angle sensor 206 (step S301). Here, the driver support ECU 203 determines, for example, whether or not the vehicle is turning using a radius of curvature.

そして、ドライバサポートECU203は、車両旋回中と判定する場合には(ステップS301でYES)、撮影モードとして後述の図5(b)及び図6(c)に示す旋回撮影モードをカメラ制御部201に設定する(ステップS307)。   When the driver support ECU 203 determines that the vehicle is turning (YES in step S301), the camera control unit 201 sets a turning shooting mode shown in FIGS. 5B and 6C described later as a shooting mode. Setting is performed (step S307).

また、ドライバサポートECU203は、車両が旋回中でない場合には(ステップS301でNO)、車輪速センサ210から取得する車速情報を用いて車速判定を行い、車速が40km/h以上か否かを判定する(ステップS302)。そして、車速が40km/h未満の場合には(ステップS302でNO)、ドライバサポートECU203は、撮影モードとして低速撮影モードをカメラ制御部201に設定する(ステップS304)。   Further, when the vehicle is not turning (NO in step S301), the driver support ECU 203 performs vehicle speed determination using the vehicle speed information acquired from the wheel speed sensor 210, and determines whether or not the vehicle speed is 40 km / h or more. (Step S302). If the vehicle speed is less than 40 km / h (NO in step S302), the driver support ECU 203 sets the low-speed shooting mode in the camera control unit 201 as the shooting mode (step S304).

一方、車速が40km/h以上の場合には、ドライバサポートECU203は、車速80km/h以上か否かを判定し(ステップS303)、80km/h未満の場合には、後述の図4(b)及び図6(a)に示す中速撮影モードをカメラ制御部201に設定する(ステップS305)。   On the other hand, when the vehicle speed is 40 km / h or more, the driver support ECU 203 determines whether or not the vehicle speed is 80 km / h or more (step S303), and when the vehicle speed is less than 80 km / h, FIG. And the medium-speed photography mode shown to Fig.6 (a) is set to the camera control part 201 (step S305).

また、ドライバサポートECU203は、車速が80km/h以上の場合には(ステップS303でYES)、後述の図5(a)及び図6(b)に示す高速撮影モードをカメラ制御部201に設定する(ステップS306)。   Further, when the vehicle speed is 80 km / h or higher (YES in step S303), the driver support ECU 203 sets the high-speed shooting mode shown in FIGS. 5A and 6B described later in the camera control unit 201. (Step S306).

最後に、画像処理部202は、中速撮影モード及び高速撮影モードにおいて、シャッタ速度を変更して撮像した複数の画像を用いて合成処理を行い、その結果の画像情報をドライバサポートECU203に入力し、ドライバサポートECU203は、ぶれの少ない、且つより鮮明な画像情報を用いて標識や障害物等の認識を行い、LKA等の各種の車両制御を実行する(ステップS308)。   Finally, the image processing unit 202 performs composition processing using a plurality of images captured by changing the shutter speed in the medium speed shooting mode and the high speed shooting mode, and inputs the resulting image information to the driver support ECU 203. The driver support ECU 203 recognizes a sign, an obstacle, and the like by using clearer image information with less blur and executes various vehicle controls such as LKA (step S308).

なお、低速撮影モード及び旋回撮影モードにおいて、画像処理部202は、特に画像合成を行う必要はなく、前方カメラ200において撮像した映像信号をドライバサポートECU203に出力する。また、本図の説明における40km/hや80km/hの車速は例示であって、これら以外の車速を用いることも可能である。   In the low-speed shooting mode and the turning shooting mode, the image processing unit 202 does not particularly need to perform image synthesis, and outputs a video signal captured by the front camera 200 to the driver support ECU 203. In addition, the vehicle speeds of 40 km / h and 80 km / h in the explanation of this figure are examples, and vehicle speeds other than these can also be used.

図4は、本実施の形態に係る車載用撮像装置において、低速撮影モード(ステップS304に対応)、及び中速撮影モード(ステップS305に対応)における詳細な動作手順を示すフローチャートである。   FIG. 4 is a flowchart showing detailed operation procedures in the low-speed shooting mode (corresponding to step S304) and the medium-speed shooting mode (corresponding to step S305) in the in-vehicle imaging device according to the present embodiment.

図4(a)に示す低速撮影モードでは、最初に、カメラ制御部201が全フレームのシャッタ速度を低速側の1/30秒に固定し、前方カメラ200において撮像を行う(ステップS401)。次に、前方カメラ200は、撮像した各フレーム画像をドライバサポートECU203に出力する(ステップS402)。   In the low-speed shooting mode shown in FIG. 4A, first, the camera control unit 201 fixes the shutter speed of all frames to 1/30 second on the low-speed side, and performs imaging with the front camera 200 (step S401). Next, the front camera 200 outputs each captured frame image to the driver support ECU 203 (step S402).

図4(b)に示す中速撮影モードでは、N(ここでNは正の奇数となる)番目のフレームのシャッタ速度を1/30秒、N+1番目のフレームのシャッタ速度を1/100秒として撮像を行う(ステップS403)。次に、画像処理部202は、前方カメラ200で撮像したN番目のフレームとN+1番目のフレームとを設定された画像領域で合成した後にドライバサポートECU203に出力する(ステップS404)。   In the medium-speed shooting mode shown in FIG. 4B, the shutter speed of the Nth frame (where N is a positive odd number) is 1/30 seconds, and the shutter speed of the (N + 1) th frame is 1/100 seconds. Imaging is performed (step S403). Next, the image processing unit 202 combines the Nth frame and the (N + 1) th frame captured by the front camera 200 in the set image area, and then outputs the synthesized image area to the driver support ECU 203 (step S404).

図5は、本実施の形態に係る制御装置において、高速撮影モード(ステップS306に対応)、及び旋回撮影モード(ステップS307に対応)における詳細な動作手順を示すフローチャートである。   FIG. 5 is a flowchart showing detailed operation procedures in the high-speed shooting mode (corresponding to step S306) and the turning shooting mode (corresponding to step S307) in the control device according to the present embodiment.

図5(a)に示す高速撮影モードでは、N番目のフレームのシャッタ速度を1/30秒、N+1番目のフレームのシャッタ速度を1/100秒、N+2番目のフレームのシャッタ速度を1/500秒として撮像を行う(ステップS501)。次に、画像処理部202は、前方カメラ200で撮像したN番目のフレームとN+1番目のフレームとN+2番目のフレームとを設定された画像領域で合成した後にドライバサポートECU203に出力する(ステップS502)。   In the high-speed shooting mode shown in FIG. 5A, the shutter speed of the Nth frame is 1/30 seconds, the shutter speed of the (N + 1) th frame is 1/100 seconds, and the shutter speed of the (N + 2) th frame is 1/500 seconds. Then, imaging is performed (step S501). Next, the image processing unit 202 combines the Nth frame, the (N + 1) th frame, and the (N + 2) th frame captured by the front camera 200 in the set image area, and then outputs the synthesized image area to the driver support ECU 203 (step S502). .

図5(b)に示す旋回撮影モードにおいては、最初に、全フレームのシャッタ速度を高速側の1/100秒に固定して前方カメラ200を用いて撮像を行う(ステップS503)。次に、前方カメラ200は、撮像した各フレーム画像をドライバサポートECU203に出力する(ステップS504)。なお、この旋回撮影モードにおいては、近赤外線の照射範囲を拡大することで、遠方を照射して画像が暗くなってしまうことを防ぐことも考え得る。   In the turning shooting mode shown in FIG. 5B, first, the shutter speed of all frames is fixed to 1/100 second on the high speed side, and imaging is performed using the front camera 200 (step S503). Next, the front camera 200 outputs each captured frame image to the driver support ECU 203 (step S504). In this turning shooting mode, it may be possible to prevent the image from being darkened by irradiating far away by expanding the irradiation range of the near infrared ray.

図6は、本実施の形態に係る前方カメラ200においてのシャッタ速度と画像領域との関係を説明するための図である。なお、本図の説明におけるシャッタ速度は例示であり、他のシャッタ速度に設定することも可能である。   FIG. 6 is a diagram for explaining the relationship between the shutter speed and the image area in the front camera 200 according to the present embodiment. Note that the shutter speed in the description of this drawing is an example, and other shutter speeds can be set.

図6(a)は、中速撮影モードにおけるカメラの撮像領域600における各シャッタ速度を示す図であり、撮像領域600aにおいてはシャッタ速度1/30秒、撮像領域600bにおいてはシャッタ速度1/100秒となるように、例えば撮像フレーム周期を30Hz(33.3ms周期)で撮影する場合には、カメラ制御部201は、撮像の交互でシャッタ速度を電子的に変更し、画像処理部202において、異なるシャッタ速度で撮像した2つの画像を設定された撮像領域で合成して66.6ms毎に1枚の画像信号を出力する。   FIG. 6A is a diagram illustrating shutter speeds in the imaging area 600 of the camera in the medium-speed shooting mode. The shutter speed is 1/30 seconds in the imaging area 600a and the shutter speed 1/100 seconds in the imaging area 600b. For example, when shooting at an imaging frame cycle of 30 Hz (33.3 ms cycle), the camera control unit 201 electronically changes the shutter speed alternately in imaging, and the image processing unit 202 changes the shutter speed. Two images picked up at the shutter speed are combined in the set image pickup region, and one image signal is output every 66.6 ms.

図6(b)は、車速80km以上の高速撮影モードにおけるカメラの撮像領域601における各シャッタ速度を示す図であり、撮像領域601aにおいてはシャッタ速度1/30秒、撮像領域601bにおいてはシャッタ速度1/100秒、撮像領域601cにおいてはシャッタ速度1/500秒となるように、例えばフレーム周期を30Hz(33.3ms周期)で撮影する場合には、カメラ制御部201は、シャッタ速度を1/30、1/100、1/500秒の変更を繰り返し、画像処理部202において、異なるシャッタ速度で撮像した3つの画像を撮像領域で合成して100ms毎に1枚の画像信号を出力する。   FIG. 6B is a diagram showing shutter speeds in the imaging area 601 of the camera in the high-speed shooting mode at a vehicle speed of 80 km or higher. The shutter speed is 1/30 seconds in the imaging area 601a, and the shutter speed is 1 in the imaging area 601b. For example, when shooting at a frame cycle of 30 Hz (33.3 ms cycle) so that the shutter speed is 1/500 seconds in the imaging region 601c, the camera control unit 201 sets the shutter speed to 1/30. The change of 1/100 and 1/500 seconds is repeated, and the image processing unit 202 synthesizes three images captured at different shutter speeds in the imaging region and outputs one image signal every 100 ms.

図6(c)は、旋回撮影モードにおけるカメラの撮像領域602における各シャッタ速度を示す図であり、カメラ制御部201は、全ての撮像領域602aを高速側のシャッタ速度1/100秒に設定する。そして、画像処理部202は、撮像した画像を合成する処理を行わずドライバサポートECU203に出力する。
なお、シャッタ速度を変更する撮像領域は、図6の内容に限定されるものではなく、異なる形状で画像を分割、若しくは画像の分割数を増減させることも考え得る。
FIG. 6C is a diagram illustrating shutter speeds in the imaging region 602 of the camera in the turning shooting mode, and the camera control unit 201 sets all the imaging regions 602a to the shutter speed 1/100 second on the high speed side. . Then, the image processing unit 202 outputs the captured image to the driver support ECU 203 without performing the process of combining the captured images.
Note that the imaging region for changing the shutter speed is not limited to the content shown in FIG. 6, and it is conceivable to divide an image with a different shape or increase or decrease the number of image divisions.

以上の説明のように、本実施の形態に係る車載用撮像装置及び車両制御装置においては、ドライバサポートECU203で、車速及び車両の旋回若しくは直進状態を解析して、前方カメラ200のカメラ制御部201は、当該解析された車両情報を用いてシャッタ速度を変更して撮像処理を行う。また、画像処理部202は、車両が直進中の場合には、各撮影モードに応じて、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて画像合成をする。   As described above, in the in-vehicle imaging device and the vehicle control device according to the present embodiment, the driver support ECU 203 analyzes the vehicle speed and the turning or straight traveling state of the vehicle, and the camera control unit 201 of the front camera 200 is analyzed. Performs the imaging process by changing the shutter speed using the analyzed vehicle information. In addition, when the vehicle is traveling straight, the image processing unit 202 displays an image with a short shutter speed in an image area near the vehicle and a shutter speed in an image area far ahead of the vehicle according to each shooting mode. An image is synthesized using a long image.

このため、本発明では、光量の減少する夜間において近赤外線を用いて周辺状況を撮像する場合にも、車両近側方の領域はカメラのシャッタ速度を短く撮影し、車両遠前方の領域は、シャッタ速度を長く撮影することで、近くの対象のぶれを防止し、遠い対象は明るさを確保した画像を取得できる。
また、車両旋回時には、前方画像の全てが車両旋回と逆方向に流れてしまうため、全画面を短いシャッタ速度で撮影すると共に、近赤外線の照射範囲を拡大することで、画像が暗くなることを防止できる。
For this reason, in the present invention, even when the surrounding situation is imaged using near infrared rays at night when the amount of light decreases, the area near the vehicle is imaged with a short shutter speed of the camera, and the area in front of the vehicle is By capturing a long shutter speed, it is possible to prevent blurring of a nearby object and to acquire an image in which brightness is secured for a distant object.
In addition, when turning the vehicle, all of the front image flows in the opposite direction to the turning of the vehicle, so that the entire image is shot at a short shutter speed and the image becomes darker by expanding the irradiation range of near infrared rays. Can be prevented.

本発明に係る車載用撮像装置及び車両制御装置は、例えば、夜間に近赤外線による照射を用いて車両の周辺状況を判定して車両制御を行う車両に用いることができる。   The in-vehicle imaging device and the vehicle control device according to the present invention can be used, for example, in a vehicle that performs vehicle control by determining a surrounding situation of the vehicle using irradiation with near infrared rays at night.

10 車両
20 車両制御装置
101 赤外線投光器
200 前方カメラ
201 カメラ制御部
202 画像処理部
203 ドライバサポートECU
204 メータ
205 ヨーレートセンサ
206 蛇角センサ
207 パワーステアリングECU
208 電気パワーステアリング
209 ブレーキECU
210 車輪速センサ
211 ブレーキアクチュエータ
212 警報ブザー
DESCRIPTION OF SYMBOLS 10 Vehicle 20 Vehicle control apparatus 101 Infrared projector 200 Front camera 201 Camera control part 202 Image processing part 203 Driver support ECU
204 Meter 205 Yaw rate sensor 206 Snake angle sensor 207 Power steering ECU
208 Electric power steering 209 Brake ECU
210 Wheel speed sensor 211 Brake actuator 212 Alarm buzzer

Claims (13)

近赤外線による照射手段を用いる車載用撮像装置から車両周辺の画像情報を取得し、当該画像情報に基づいて車両制御を行う車両制御装置であって、
車両の直進状態及び旋回状態を検出する旋回検出手段と、
車速を検出する車速検出手段と、
前記車速検出手段で検出される車速及び前記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御手段と、
前記シャッタ速度制御手段において制御された異なるシャッタ速度で撮像された画像を用いて合成画像を生成する画像処理手段と、
前記画像処理手段において生成された当該合成画像に基づいて車両制御を行う電子制御手段とを備える
ことを特徴とする車両制御装置。
A vehicle control device that obtains image information around a vehicle from an in-vehicle imaging device that uses a near infrared irradiation means, and performs vehicle control based on the image information,
Turn detection means for detecting a straight traveling state and a turning state of the vehicle;
Vehicle speed detection means for detecting the vehicle speed;
Shutter speed control means for controlling the shutter speed according to the vehicle speed detected by the vehicle speed detection means and the straight traveling state or turning state of the vehicle detected by the turning detection means;
Image processing means for generating a composite image using images taken at different shutter speeds controlled by the shutter speed control means;
Electronic control means for performing vehicle control based on the composite image generated by the image processing means.
前記シャッタ速度制御手段は、前記旋回検出手段において直進中と判定され、且つ前記車速検出手段において検出された車速が所定値未満の場合には、シャッタ速度を低速側に制御し、前記旋回検出手段において直進中と判定され、且つ前記車速検出手段において検出された車速が所定値以上の場合には、異なるシャッタ速度を繰り返す制御を行う
ことを特徴とする請求項1記載の車両制御装置。
The shutter speed control means controls the shutter speed to a low speed side when the turning detection means determines that the vehicle is traveling straight and the vehicle speed detected by the vehicle speed detection means is less than a predetermined value, and the turning detection means 2. The vehicle control device according to claim 1, wherein when the vehicle speed is determined to be in a straight line and the vehicle speed detected by the vehicle speed detection unit is equal to or higher than a predetermined value, a different shutter speed is repeatedly controlled.
前記画像処理手段は、前記旋回検出手段において直進中と判定され、且つ前記車速検出手段において検出された車速が所定値以上の場合には、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成し、
前記電子制御手段は、当該合成画像に基づいて車両制御を行う
ことを特徴とする請求項2記載の車両制御装置。
The image processing means determines that the vehicle is traveling straight in the turning detection means, and if the vehicle speed detected by the vehicle speed detection means is equal to or higher than a predetermined value, an image with a short shutter speed is displayed in the image area near the vehicle. , And a composite image is generated using an image with a long shutter speed in an image area in front of the vehicle,
The vehicle control apparatus according to claim 2, wherein the electronic control unit performs vehicle control based on the composite image.
前記シャッタ速度制御手段は、前記旋回検出手段において車両が旋回中と判定される場合には、撮像領域全体のシャッタ速度を高速側に制御する
ことを特徴とする請求項1記載の車両制御装置。
2. The vehicle control device according to claim 1, wherein the shutter speed control unit controls the shutter speed of the entire imaging region to a high speed side when the turning detection unit determines that the vehicle is turning. 3.
前記シャッタ速度制御手段は、前記車速検出手段で検出される車速及び前記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度の異なる撮影モードを決定し、決定された当該撮影モードに基づくシャッタ速度に制御する
ことを特徴とする請求項1記載の車両制御装置。
The shutter speed control means determines a shooting mode having a different shutter speed according to a vehicle speed detected by the vehicle speed detection means and a straight traveling state or a turning state of the vehicle detected by the turning detection means. The vehicle control device according to claim 1, wherein the vehicle control device controls the shutter speed based on a shooting mode.
前記撮影モードには、前記車速検出手段で検出される車速及び前記旋回検出手段において検出される車両の直進状態若しくは旋回状態に応じて決定される、旋回撮影モード、低速撮影モード、中速撮影モード、及び高速撮影モードが含まれ、
前記シャッタ速度制御手段は、前記低速撮影モードにおいては前記車載用撮像装置のシャッタ速度を低速側に固定し、前記中速撮影モード及び前記高速撮影モードにおいては複数の異なるシャッタ速度を繰り返す制御を行い、前記旋回撮影モードにおいてはシャッタ速度を高速側に固定する
ことを特徴とする請求項5記載の車両制御装置。
The shooting mode includes a turning shooting mode, a low-speed shooting mode, and a medium-speed shooting mode, which are determined according to the vehicle speed detected by the vehicle speed detection means and the straight traveling state or turning state of the vehicle detected by the turning detection means. , And high-speed shooting mode,
The shutter speed control unit performs control to fix the shutter speed of the in-vehicle imaging device to a low speed side in the low speed shooting mode and to repeat a plurality of different shutter speeds in the medium speed shooting mode and the high speed shooting mode. The vehicle control device according to claim 5, wherein the shutter speed is fixed to a high speed side in the turning shooting mode.
前記画像処理手段は、前記中速撮影モード及び前記高速撮影モードにおいては、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成し、
前記電子制御手段は、当該合成画像に基づいて車両制御を行う
ことを特徴とする請求項6記載の車両制御装置。
In the medium-speed shooting mode and the high-speed shooting mode, the image processing unit uses an image with a short shutter speed in the image area near the vehicle and an image with a long shutter speed in the image area in front of the vehicle. To generate a composite image,
The vehicle control apparatus according to claim 6, wherein the electronic control unit performs vehicle control based on the composite image.
前記旋回撮影モードにおいては、近赤外線を用いる前記照射手段の照射範囲を拡大する
ことを特徴とする請求項6記載の車両制御装置。
The vehicle control device according to claim 6, wherein in the turning shooting mode, an irradiation range of the irradiation unit using near infrared rays is expanded.
近赤外線による照射手段を用いて車両周辺の画像情報を撮像する車載用撮像装置であって、
車速及び車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御手段と、
前記シャッタ速度制御手段において制御された異なるシャッタ速度で撮影された画像を用いて合成画像を生成する画像処理手段とを備える
ことを特徴とする車載用撮像装置。
An in-vehicle imaging device that captures image information around a vehicle using a near infrared irradiation means,
Shutter speed control means for controlling the shutter speed in accordance with the vehicle speed and the straight traveling state or turning state of the vehicle;
An in-vehicle imaging apparatus comprising: an image processing unit that generates a composite image using images captured at different shutter speeds controlled by the shutter speed control unit.
前記シャッタ速度制御手段は、直進中であり、且つ車速が所定値未満の場合には、シャッタ速度を低速側に制御し、直進中と判定され、且つ車速が所定値以上の場合には、異なるシャッタ速度を繰り返す制御を行う
ことを特徴とする請求項9記載の車載用撮像装置。
The shutter speed control means controls the shutter speed to the low speed side when the vehicle is traveling straight and the vehicle speed is less than a predetermined value, and is different when the vehicle speed is determined to be traveling straight and the vehicle speed is greater than or equal to the predetermined value. The vehicle-mounted imaging device according to claim 9, wherein control for repeating the shutter speed is performed.
前記画像処理手段は、直進中と判定され、且つ車速が所定値以上の場合には、車両近側方の画像領域にはシャッタ速度の短い画像、及び車両遠前方の画像領域にはシャッタ速度の長い画像を用いて合成画像を生成する
ことを特徴とする請求項10記載の車載用撮像装置。
When it is determined that the vehicle is traveling straight and the vehicle speed is equal to or higher than a predetermined value, the image processing means has an image area with a short shutter speed in the image area near the vehicle, and a shutter speed in the image area far in the vehicle. The vehicle-mounted imaging device according to claim 10, wherein a composite image is generated using a long image.
前記シャッタ速度制御手段は、車両が旋回中と判定される場合には、シャッタ速度を高速側に制御する
ことを特徴とする請求項9記載の車載用撮像装置。
The in-vehicle imaging device according to claim 9, wherein the shutter speed control means controls the shutter speed to a high speed side when it is determined that the vehicle is turning.
近赤外線による照射手段を用いる車載用撮像装置から車両周辺の画像情報を取得し、当該画像情報に基づいて車両制御を行う車両制御方法であって、
車両の直進状態及び旋回状態を検出する旋回検出ステップと、
車速を検出する車速検出ステップと、
前記車速検出ステップにおいて検出される車速及び前記旋回検出ステップにおいて検出される車両の直進状態若しくは旋回状態に応じて、シャッタ速度を制御するシャッタ速度制御ステップと、
前記シャッタ速度制御ステップにおいて制御された異なるシャッタ速度で撮影された画像を用いて合成画像を生成する画像処理ステップと、
前記画像処理ステップにおいて生成された当該合成画像に基づいて車両制御を行う電子制御ステップとを含む
ことを特徴とする車両制御方法。
A vehicle control method for acquiring image information around a vehicle from an in-vehicle imaging device that uses a near-infrared irradiation means, and performing vehicle control based on the image information,
A turn detection step for detecting a straight traveling state and a turning state of the vehicle;
A vehicle speed detection step for detecting the vehicle speed;
A shutter speed control step for controlling a shutter speed in accordance with a vehicle speed detected in the vehicle speed detection step and a straight traveling state or a turning state of the vehicle detected in the turning detection step;
An image processing step of generating a composite image using images taken at different shutter speeds controlled in the shutter speed control step;
An electronic control step of performing vehicle control based on the composite image generated in the image processing step.
JP2009098351A 2009-04-14 2009-04-14 Vehicle controller and in-vehicle imaging apparatus Pending JP2010250503A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009098351A JP2010250503A (en) 2009-04-14 2009-04-14 Vehicle controller and in-vehicle imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009098351A JP2010250503A (en) 2009-04-14 2009-04-14 Vehicle controller and in-vehicle imaging apparatus

Publications (1)

Publication Number Publication Date
JP2010250503A true JP2010250503A (en) 2010-11-04

Family

ID=43312767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009098351A Pending JP2010250503A (en) 2009-04-14 2009-04-14 Vehicle controller and in-vehicle imaging apparatus

Country Status (1)

Country Link
JP (1) JP2010250503A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013173427A (en) * 2012-02-24 2013-09-05 Nissan Motor Co Ltd Three-dimensional object detecting device
US8970357B2 (en) 2011-04-13 2015-03-03 Toyota Jidosha Kabushiki Kaisha Vehicle-mounted surrounding object recognizing apparatus and drive support apparatus using the same
WO2015173961A1 (en) * 2014-05-16 2015-11-19 富士通株式会社 Monitor device and computer program for display image switching
EP3438736A1 (en) * 2017-07-31 2019-02-06 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
CN114255605A (en) * 2020-09-24 2022-03-29 华为技术有限公司 Equipment control method, device and equipment

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970357B2 (en) 2011-04-13 2015-03-03 Toyota Jidosha Kabushiki Kaisha Vehicle-mounted surrounding object recognizing apparatus and drive support apparatus using the same
JP2013173427A (en) * 2012-02-24 2013-09-05 Nissan Motor Co Ltd Three-dimensional object detecting device
WO2015173961A1 (en) * 2014-05-16 2015-11-19 富士通株式会社 Monitor device and computer program for display image switching
JPWO2015173961A1 (en) * 2014-05-16 2017-04-20 富士通株式会社 Monitor device and computer program for switching display image
EP3438736A1 (en) * 2017-07-31 2019-02-06 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
KR20190013080A (en) * 2017-07-31 2019-02-11 삼성전자주식회사 Method and apparatus for obtaining image
US10708510B2 (en) 2017-07-31 2020-07-07 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
US11272114B2 (en) 2017-07-31 2022-03-08 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
KR102519662B1 (en) * 2017-07-31 2023-04-07 삼성전자주식회사 Method and apparatus for obtaining image
US11792528B2 (en) 2017-07-31 2023-10-17 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
CN114255605A (en) * 2020-09-24 2022-03-29 华为技术有限公司 Equipment control method, device and equipment
WO2022062923A1 (en) * 2020-09-24 2022-03-31 华为技术有限公司 Device control method and apparatus, and device

Similar Documents

Publication Publication Date Title
EP2950521B1 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
JP5437855B2 (en) Obstacle detection device, obstacle detection system including the same, and obstacle detection method
EP2947874A1 (en) Stereo camera and driver assistance apparatus and vehicle including the same
JP5953824B2 (en) Vehicle rear view support apparatus and vehicle rear view support method
CN111699680B (en) Automobile data recorder, display control method, and storage medium
JP2010130646A (en) Vehicle periphery checking system
JPWO2016047087A1 (en) Automotive electronic mirror
JP4556777B2 (en) Night driving visibility support device
US11470263B2 (en) Imaging apparatus and flicker correction method
JP2010257282A (en) Obstacle detection device and vehicle with the device mounted thereon
JP2010044561A (en) Monitoring device to be mounted on vehicle
JP2012027773A (en) Pseudo grayscale image generation device and program
JP2010250503A (en) Vehicle controller and in-vehicle imaging apparatus
JP2012153256A (en) Image processing apparatus
CN110073652B (en) Image forming apparatus and method of controlling the same
JP2006341713A (en) System and method for changing irradiation direction of head lamp
JP2007128460A (en) Collision determination system, collision determination method, computer program, and determination device
JP2009073250A (en) Vehicle backsight display device
JP2019188855A (en) Visual confirmation device for vehicle
JP2011211432A (en) In-vehicle imaging apparatus
CN110476420B (en) Image display device for vehicle and image processing method
JP2006327319A (en) Image displaying device for vehicle
JP5311133B2 (en) Display image correction device
WO2021182190A1 (en) Imaging device, imaging system, and imaging method
JP2005278898A (en) Sight line detector

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110901