JP2007306272A - Image processor for vehicle - Google Patents
Image processor for vehicle Download PDFInfo
- Publication number
- JP2007306272A JP2007306272A JP2006132205A JP2006132205A JP2007306272A JP 2007306272 A JP2007306272 A JP 2007306272A JP 2006132205 A JP2006132205 A JP 2006132205A JP 2006132205 A JP2006132205 A JP 2006132205A JP 2007306272 A JP2007306272 A JP 2007306272A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- white line
- shutter control
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、撮像された画像を処理して立体物検出及び白線認識する車両用画像処理装置に関し、特に、夜間も立体物検出及び白線認識が可能な車両用画像処理装置に関する。 The present invention relates to a vehicle image processing apparatus that processes a captured image to detect a three-dimensional object and recognize a white line, and particularly relates to a vehicle image processing apparatus that can detect a three-dimensional object and recognize a white line even at night.
カメラにより撮像された車両周囲の画像から走行車線、障害物等を検出して運転者の車両操作を支援する車両用画像処理装置が知られている(例えば、特許文献1参照)。特許文献1の車両用画像処理装置は、ステレオカメラの2つのカメラのうち、一方のカメラで得られた画像から白線を検出すると共に、双方のカメラで得られた画像を矩形領域毎に比較してその相関から立体物を検出する。
ところで、カメラによる撮像では照度や検出対象に応じて適切なシャッタ制御があることが知られており、例えば、白線を正確に認識するためのシャッタ制御と立体物を正確に検出するためのシャッタ制御とは異なっている。したがって、引用文献1記載の車両用画像処理装置のように、同一の画像を用いて白線と立体物の両方を検出することは困難である。
By the way, it is known that there is an appropriate shutter control depending on the illuminance and the detection target in the imaging by the camera. For example, the shutter control for accurately recognizing the white line and the shutter control for accurately detecting the three-dimensional object. Is different. Therefore, it is difficult to detect both the white line and the three-dimensional object using the same image as in the vehicle image processing device described in the cited
本発明は、上記課題に鑑み、ステレオカメラを共用して立体物と白線の双方を精度よく検出できる車両用画像処理装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an image processing apparatus for a vehicle that can detect both a three-dimensional object and a white line with high accuracy by sharing a stereo camera.
上記課題に鑑み、本発明は、平面物認識用のシャッタ制御及び立体物検出用のシャッタ制御との双方を実行可能な第1の撮像手段(例えば、カメラ17L)と、立体物検出用のシャッタ制御を行う第2の撮像手段(例えば、カメラ17R)と、第1及び第2の撮像手段の少なくとも一方により撮像された画像から平面物認識及び立体物検出する画像処理部(例えば、画像認識処理部24)と、を有することを特徴とする車両用画像処理装置を提供する。
In view of the above problems, the present invention provides a first imaging means (for example, the
本発明によれば、第1の撮像手段が平面物認識用のシャッタ制御及び立体物検出用のシャッタ制御の双方が可能であるので、1つのステレオカメラで平面物と立体物を精度よく検出することができる。なお、平面物の典型的なものは走行車線を区分する白線であるが、路上のペイントであればどのような平面物であってもよい。また、第2の撮像手段はシャッタ制御が略一定なので画像が安定しており、画像を利用するさらに別のデバイス(表示装置等)で利用することができる。 According to the present invention, since the first imaging unit can perform both shutter control for recognizing a flat object and shutter control for detecting a three-dimensional object, a single stereo camera can detect a flat object and a three-dimensional object with high accuracy. be able to. A typical plane object is a white line that divides a traveling lane, but any plane object may be used as long as it is paint on the road. In addition, since the shutter control of the second image pickup means is substantially constant, the image is stable and can be used in another device (display device or the like) that uses the image.
また、本発明の一形態において、第1の撮像手段は、平面物認識用のシャッタ制御と立体物検出用のシャッタ制御とをフレーム毎に切り替えることを特徴とする。 In one embodiment of the present invention, the first imaging unit switches between shutter control for plane object recognition and shutter control for three-dimensional object detection for each frame.
本発明によれば、交互にシャッタ制御を切り替えるので、平面物認識又は立体物検出に偏らずいずれも好適に認識できる。 According to the present invention, since the shutter control is alternately switched, it is possible to preferably recognize both of them without being biased to plane object recognition or solid object detection.
また、本発明の一形態において、第2の撮像手段が撮像した画像を表示装置に出力する画像出力部を有する、ことを特徴とする。 One embodiment of the present invention includes an image output unit that outputs an image captured by the second imaging unit to a display device.
より具体的には、第1の撮像手段が平面物認識用のシャッタ制御により撮像した場合であっても、画像出力部は第2の撮像手段が立体物検出用のシャッタ制御により撮像した画像を表示装置に出力する。 More specifically, even when the first imaging unit captures images by shutter control for plane object recognition, the image output unit captures an image captured by the second imaging unit by shutter control for solid object detection. Output to the display device.
本発明によれば、第2の撮像手段により撮像された画像を、第1の撮像手段のシャッタ制御にかかわらず表示装置に表示することができ、1対のステレオカメラにより撮像された画像に基づき平面物と立体物の検出処理を行うだけでなく、表示装置に表示して利用することができる。 According to the present invention, the image captured by the second imaging unit can be displayed on the display device regardless of the shutter control of the first imaging unit, and based on the image captured by the pair of stereo cameras. In addition to performing detection processing of a planar object and a three-dimensional object, it can be displayed on a display device and used.
さらに、本発明の一形態において、第1の撮像手段が平面物認識用のシャッタ制御により撮像し、かつ、第2の撮像手段が立体物検出用のシャッタ制御により撮像した場合、画像出力部は第2の撮像手段が撮像した画像を表示装置に出力すると共に、画像処理部は平面物認識を行うことを特徴とする。 Furthermore, in one embodiment of the present invention, when the first imaging unit captures images by shutter control for plane object recognition and the second imaging unit captures images by shutter control for solid object detection, the image output unit The image picked up by the second image pickup means is output to the display device, and the image processing unit performs planar object recognition.
本発明によれば、第2の撮像手段が撮像した画像を表示装置に画像を表示しながら、第1の撮像手段が撮像した画像により平面物を認識することができる。したがって、この場合、立体物の検出は行わない。 According to the present invention, it is possible to recognize a planar object from the image captured by the first imaging unit while displaying the image captured by the second imaging unit on the display device. Therefore, in this case, the three-dimensional object is not detected.
また、本発明の一形態において、立体物検出用のシャッタ制御はシャッタ速度に下限及びゲイン値に上限を有し、平面物認識用のシャッタ制御は前記下限よりも小さい(遅い)シャッタ速度及び前記上限よりも大きいゲイン値が設定可能であることを特徴とする。 Also, in one aspect of the present invention, the three-dimensional object detection shutter control has a lower limit on the shutter speed and an upper limit on the gain value, and the planar object recognition shutter control has a shutter speed smaller (slower) than the lower limit and the A gain value larger than the upper limit can be set.
本発明によれば、立体物検出用の画像はシャッタ速度に下限及びゲイン値に上限を有するのでハレーションすることが防止でき、平面物認識用の画像はシャッタ速度やゲイン値の制約がないので白線等の輝度を高くして画像を撮像できる。 According to the present invention, the three-dimensional object detection image has a lower limit on the shutter speed and an upper limit on the gain value, so that it is possible to prevent halation, and the image for plane object recognition has no restriction on the shutter speed or the gain value. The image can be taken with a high brightness such as.
ステレオカメラを共用して立体物と白線の双方を精度よく検出できる車両用画像処理装置を提供することができる。 It is possible to provide a vehicle image processing apparatus that can detect both a three-dimensional object and a white line with high accuracy by sharing a stereo camera.
以下、図面を参照して、本発明を実施するための最良の形態について説明する。図1(a)は本実施の形態の車両用画像処理装置のシステム構成図の一例である。車両用画像処理装置1は、画像取得部10とステレオECU20を備える。ステレオECU20は、プログラムを実行するCPU(Central Processing Unit)、プログラムを記憶するROM、データを一時的に記憶するRAM、設定定数やパラメータ、データ等を記憶するNV−RAM(NON Volatile RAM)、入力インターフェース、出力インターフェースなどの複数の回路要素が一ユニットとして構成されたものであり、マイコンやコンピュータとも呼ばれる。
The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1A is an example of a system configuration diagram of the vehicle image processing apparatus according to the present embodiment. The vehicle
画像取得部10は、撮像手段として、撮像素子11,12やレンズ15,16といったステレオカメラを構成するカメラモジュール17、カメラCPU13、フレームを一時的に記憶するメモリ18及び画像出力部14等を有する。撮像素子11,12は、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の光電変換素子により構成されている。カメラモジュール17に車両前方から入射した光は撮像素子11、12により光電変換され、蓄積した電荷を電圧として読み出し増幅してA/D変換された後、所定の輝度階調(例えば、256階調)のデジタル画像に変換される。
The
カメラCPU13は、ステレオECU20から送信されるカメラ制御値に基づいてカメラ側のフレームの露出を調節するカメラ制御を行う。カメラCPU13は、出力インターフェースである画像出力部14を介して、カメラモジュール17の撮像したフレーム、撮像する際に適用したカメラ制御値、フレームナンバ等を画像信号としてステレオECU20に送信する。なお、撮像素子は2個に限らず、それ以上の数を有してもよい。
The camera CPU 13 performs camera control for adjusting the exposure of the frame on the camera side based on the camera control value transmitted from the
カメラモジュール17は、右カメラ17R及び左カメラ17Lによりステレオカメラとして構成されると共に、一方のカメラ(本実施の形態では右カメラ17R)は暗視用(ナイトビュー)のカメラとして併用される。ナイトビュー用のフレームは、ステレオECU20による画像処理なしにそのまま表示装置に表示することができるので、ナイトビュー装置が作動している間(以下、単にNV装置作動時という)、画像出力部14は右カメラ17Lのフレームを例えばHUD(Head Up Display)へ出力すると共に、左右のカメラ17R、17Lに撮像されたフレームを画像入力部21へ出力する。
The
ステレオECU20は、入力インターフェースである画像入力部21、幾何変換LSI等を有する幾何変換処理部22、画像処理LSI等を有する画像認識処理部24及び各処理部を監督するSV−CPU23を有する。
The
画像取得部10の画像出力部14から出力された画像信号は、ステレオECU20の入力インターフェースである画像入力部21に送られる。画像出力部14と画像入力部21は、所定のデジタル伝送方式のインターフェースである。
The image signal output from the image output unit 14 of the
フレームを受信した画像入力部21は、画像信号のフレームを幾何変換処理部22に送出する。幾何変換処理部22は、キャリブレーションデータを用いて、ステレオ演算処理に使用されるカメラモジュール17の撮像したフレームから、撮像素子11,12やレンズ15,16等によるハード的な内部誤差要因(レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等)の影響を取り除き、エピポーラ線を画像水平線にあわせる周知の処理を行う。幾何変換処理部22は、メモリ25に記憶された幾何変換用のLUT(Look Up Table)に基づき入力画像を変換する。
The
画像認識処理部24は、幾何変換処理部22からの幾何変換された画像データに基づいて立体物検出処理や白線認識処理を行う。それらの処理や制御のための画像処理プログラムや画像信号はメモリ26に記憶される。
The image
画像認識処理部24が実行する立体物検出処理は、例えばステレオ視の技術によって撮像したフレームから立体物を検出する画像処理プログラムによる処理である。立体物検出処理は、例えば左右に配置された撮像素子11,12により撮像された一対のフレームの相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出するものである。
The three-dimensional object detection process executed by the image
具体的には、画像認識処理部24は、撮像素子11,12により撮像された一組のステレオ画像から同一の撮像対象物が写っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点(対応点)のずれ量(視差)を求めることによって撮像対象物までの距離を算出する。撮像対象物が前方にある場合、撮像素子11によるフレームと撮像素子12によるフレームとを重ね合わせると、撮像対象物が左右横方向にずれる。そして、一方の画像を1画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をnとする。レンズの焦点距離をf、光軸間の距離をm、画素ピッチをdとすると、撮像対象物までの距離Lは、『L=(f・m)/(n・d)』という関係式が成立する。この(n・d)が視差である。
Specifically, the image
また、画像認識処理部24が実行する白線認識処理は、撮像したフレームから路面上の
白線を検出する画像処理プログラムによる処理である。画像処理プログラムは撮像されたフレームの例えば輝度に基づき、所定の閾値以上の輝度を有する領域をフレーム底部から上方に向けて探索する。白線は両端に高周波成分たるエッジを有するので、車両前方のフレームを水平方向に微分すると、白線の両端にピークが得られ、そのピークは白線の線内に、白線外から白線と白線から白線外とで正負逆に得られるため、白線部分が推定できる。このような処理を行う白線強調フィルタをフレームに施すことで白線部分を強調でき、白線が強調されたフレームから、白線の特徴である、輝度が高い、線状の形状である等の特徴のある領域を、マッチングなどの手法により白線を検出できる。
The white line recognition process executed by the image
また、画像認識処理部24が実行するシャッタ制御は、適切なカメラ制御値(シャッタスピードSや制御ゲインK)を算出処理・調節する。フレームの露出はシャッタスピードSに応じて変化し、シャッタスピードSを遅くすれば通る光が保持されるため暗い場所での撮像も可能になる。画像認識処理部24は、撮像したフレームにおける目標明るさDRと撮像したフレームにおける実明るさDAから所定の関数Fに基づいて適切なカメラ制御値を算出する。例えば、シャッタスピードSの今回値をSN、シャッタスピードSの前回値をSN−1、制御ゲインをKとした場合、所定関数F「SN=SN−1+K・(DR−DA)」に基づいて、カメラ制御値が算出される。
The shutter control executed by the image
SV−CPU23は、各処理部を監督(supervisor)するCPUであり、メモリ26等に格納されたプログラムを実行することで後述するシャッタ制御を実現する。なお、画像認識処理部24が兼ねてもよい。SV−CPU23は、画像認識処理部24による算出されたカメラ制御値を画像取得部10内のカメラCPU13に送信・指示する。
The SV-
車両用画像処理装置1を車両に搭載することによって、路上の立体物や白線等を画像から認識して車両制御及び運転者の車両操作を支援することが可能である。例えば、SV−CPU23が、車内LANを介して、画像認識処理結果を必要とする他のECUにその結果を送信すればよい。他のECUとは、例えば、衝突回避・衝突軽減システムを制御するECU、車線維持支援システムや車線逸脱警報システムを制御するECU、車間ECU、ブレーキECU等である。
By mounting the vehicle
続いて、シャッタ制御について説明する。ある対象物を画像処理により検出する場合、その対象物が最適な明るさとなるように、シャッタスピード、ゲイン値等のカメラ制御値を調節することによってカメラの露出を制御する。 Next, shutter control will be described. When a certain object is detected by image processing, the camera exposure is controlled by adjusting camera control values such as shutter speed and gain value so that the object has an optimal brightness.
例えば、日中であれば、所定のフレームに基準となるウィンドウを設定して、そのウィンドウ内の画素の輝度平均が所定値となるようにカメラ制御値を決定することができる。また、夜間の場合、十分な光量が得られないのでシャッタスピードを遅めにゲイン値を高めに設定することでナイトビューに適切なカメラ制御値とする必要がある。 For example, during the day, a reference window is set in a predetermined frame, and the camera control value can be determined so that the average luminance of the pixels in the window becomes a predetermined value. In addition, at night, a sufficient amount of light cannot be obtained. Therefore, it is necessary to set the gain value to a high value by slowing the shutter speed to obtain a camera control value suitable for night view.
ところで、車両は、立体物検出のための画像、白線認識のための画像、ナイトビュー用の画像と、目的によって多くの画像を利用するが、目的に応じてそれぞれカメラを車載することはコスト的にも車両スペースにも困難である。そこで、本実施の形態では、立体物検出のカメラの一方をナイトビューに、他方を白線認識に使用することで、立体物検出、白線認識及びナイトビュー用の画像を一対のステレオカメラにより実現する。 By the way, a vehicle uses an image for detecting a three-dimensional object, an image for white line recognition, an image for night view, and a number of images depending on the purpose. And vehicle space is difficult. Therefore, in the present embodiment, one of the three-dimensional object detection cameras is used for night view and the other is used for white line recognition, thereby realizing a three-dimensional object detection, white line recognition, and night view image with a pair of stereo cameras. .
図1(b)はステレオカメラの共用システムの概略図を示す。なお、図1(b)において図1(a)と同一部分には同一の符号を付した。カメラ17Rは常にナイトビュー用のカメラ制御値(以下、単にNV用カメラ制御値という)により撮像し、カメラ17LはNV用カメラ制御値と白線を認識するためのカメラ制御値(以下、単に白線用カメラ制御値という)を交互に切り替えて撮像する。したがって、カメラ17LがNV用カメラ制御値で撮像した場合、ステレオECU20は一対のフレームを使用して立体物検出することができ、カメラ17Lが白線用カメラ制御値で撮像した場合、ステレオECU20は白線認識することができる。
FIG. 1B is a schematic diagram of a stereo camera sharing system. In FIG. 1B, the same parts as those in FIG. The
また、画像取得部10が、白線用のカメラ制御値を適用した白線用認識用のフレームとナイトビュー用のカメラ制御値を適正に適用した立体物検出用のフレームを単純に切り替えることができたとしても、画像取得部10とステレオECU20間で撮像したフレームに関する整合がとれていなければ、ステレオECU20側が、画像処理のタイミングをずらしてしまったり、画像処理すべき画像を取り込み間違いしてしまったりするおそれがある。
In addition, the
そこで、本実施の形態の車両用画像処理装置1は、立体物検出と白線認識のそれぞれの処理に適した画像を得るために、以下のように動作する。
Therefore, the vehicle
図2は、画像取得部10とステレオECU20間で行われる画像処理シーケンスの一部を切り出した図である。
FIG. 2 is a diagram in which a part of an image processing sequence performed between the
ステレオECU20のSV−CPU23は、画像取得部10内のカメラCPU13とシリアル通信を行う。SV−CPU23は、シリアル通信により、画像認識処理部24のシャッタ制御で算出されたカメラ制御値をカメラ17Rと17Lにそれぞれ送信する。SV−CPU23は、カメラ17Rには常にNV用カメラ制御値を送信し、カメラ17LにはNV用カメラ制御値と白線用カメラ制御値を必ず交互に送信する。
The SV-
したがって、カメラ17Lには、所定間隔T(例えば50ms)の送信周期で、白線用カメラ制御値とNV用カメラ制御値が送信される。なお、白線用カメラ制御値とNV用カメラ制御値の送信順序は、通信カウンタ(図2の(i)〜(vii))が奇数の場合には白線用カメラ制御値が送信され、偶数の場合にはNV用カメラ制御値が送信される。
Accordingly, the camera control value for white line and the camera control value for NV are transmitted to the
NV用カメラ制御値によりカメラ17R、17Lが制御されるサイクルでは、1対のフレームを使用して画像認識処理部24により立体物検出処理が行われる。また、白線用カメラ制御値によりカメラ17Lが制御されるサイクルでは、カメラ17Lにより撮像されたフレームを使用して画像認識処理部24により白線認識処理が行われる。
In the cycle in which the
SV−CPU23は、カメラ制御値を送信する場合、その送信タイミングにおいて画像認識処理部24が最後に算出したカメラ制御値を送信する。すなわち、画像認識処理部24によるカメラ制御値の算出処理が高負荷等の理由により、カメラ制御値の送信タイミングに間に合わない場合、前回算出されたカメラ制御値が送信される。
When transmitting the camera control value, the SV-
一方、画像取得部10は、所定フレーム数を最小単位に白線認識及びNV用カメラ制御を行う。図2では、SV−CPU23からの白線用カメラ制御値及びNV用カメラ制御値は1フレーム毎に適用されるものとした。なお、白線認識とNV用カメラ制御の適用フレーム数は同じでなくてもよい。
On the other hand, the
ここで、カメラの1フレームは2つのフィールドという要素から成り立っており、いわゆるインタレース処理に施される。すなわち、「奇数(ODD)フィールド」は走査線の奇数本目に走査が行われ、「偶数(EVEN)フィールド」は走査線の偶数本目に走査が行われる。画像取得部10は、撮像した1フレーム毎にフレームナンバN(N=1,2,3,・・・)を順番に付与する。さらに、フィールドもさらに区別できるように「1o,1e」,「2o,2e」,・・・と付与する。
Here, one frame of the camera is composed of two fields, and is subjected to so-called interlace processing. That is, in the “odd (ODD) field”, scanning is performed on the odd lines of the scanning lines, and in the “even (EVEN) field”, scanning is performed on the even lines of the scanning line. The
図3はこのようなシーケンス処理によりカメラ17Lとカメラ17Rが制御される制御手順を示すフローチャート図である。図3(a)はカメラ17Lのカメラ制御を、図3(b)はカメラ17Rのカメラ制御値をそれぞれ示す。
FIG. 3 is a flowchart showing a control procedure in which the
カメラCPU13は、フレームナンバに応じてカメラ17Lのカメラ制御をNV用とするか白線用とするかを判定する(S1)。フレームナンバが偶数の場合(S1のYes)、カメラCPU13はNV用カメラ制御値によりカメラ17Lを制御する(S2)。
The camera CPU 13 determines whether the camera control of the
図2では、フレームナンバ「0o、2o、4o、6o、…」が相当し、カメラ17LのこれらのフレームはNV用カメラ制御値により撮像される。
In FIG. 2, the frame numbers “0o, 2o, 4o, 6o,...” Correspond to these frames of the
NV用カメラ制御値は、シャッタスピードに下限及びゲイン値に上限を設けており、これにより先行車や街灯などの光源が撮像されてもハレーションを防ぐことができる。なお、NV装置作動時は対向車を眩惑しないように近赤外領域の波長の光を照明し立体物からの反射光を撮像するが、近赤外の光を効率よく入射するためカメラ17Rには可視光カットフィルタが装着される。また、一対のフレームに視差以外の差異があると立体物検出できないので、カメラ17Lにも可視光カットフィルタが装着される。したがって、少なくともNV装置作動時は、近赤外線が照射されると共に左右のカメラに可視光カットフィルタが装着される。
The camera control value for NV has a lower limit on the shutter speed and an upper limit on the gain value, so that halation can be prevented even if a light source such as a preceding vehicle or a streetlight is imaged. When the NV device is in operation, the reflected light from the three-dimensional object is imaged by illuminating light in the near-infrared region so as not to dazzle oncoming vehicles. Is fitted with a visible light cut filter. In addition, since a solid object cannot be detected if there is a difference other than parallax between the pair of frames, a visible light cut filter is also attached to the
そしてフレームナンバが奇数の場合は(S3のYes)、カメラCPU13は白線用カメラ制御値によりカメラ17Lを制御する(S4)。
If the frame number is an odd number (Yes in S3), the camera CPU 13 controls the
図2では、フレームナンバ「1o1e、3o3e、5o5e、…」が相当し、カメラ17Lのこれらのフレームは白線用カメラ制御値により撮像される。
In FIG. 2, the frame numbers “1o1e, 3o3e, 5o5e,...” Correspond to these frames of the
白線用カメラ制御値は、白線が明るく(輝度が大きく)検出されることが好ましいので、シャッタスピードに下限及びゲイン値に上限を設けない。白線は光源を有さないのでこのような制限を設けなくてもハレーションを起こすことがなく、また、前照灯(近赤外を若干含む)及び近赤外の光が白線で反射するので、可視光カットフィルタが装着されていてもカメラ17Lは輝度の十分な白線を撮像できる。
Since the white line camera control value is preferably detected so that the white line is bright (the luminance is large), there is no lower limit for the shutter speed and no upper limit for the gain value. Since the white line does not have a light source, it does not cause halation even if such a restriction is not provided, and the headlight (including some near infrared rays) and near infrared light are reflected by the white line. Even if the visible light cut filter is attached, the
なお、上述のように、画像取得部10がステレオECU20からカメラ制御値を受信していないサイクルでは、その時点で最新のカメラ制御値を適用してカメラ17L、17Rを制御する。
Note that, as described above, in the cycle in which the
また、ナイトビュー用に、HUDに継続して画像を投影する右側のカメラ17Rは、常にNV用のカメラ制御値により制御されるので、フレームナンバに関わらすNV用カメラ制御値により制御される(S5)。
Further, the
図2では、フレームナンバ「0o〜6e…」が相当し、カメラ17RのこれらのフレームはNV用カメラ制御値により撮像される。
In FIG. 2, the frame numbers “0o to 6e...” Correspond, and these frames of the
図2に示すように、カメラ17Lは白線用カメラ制御値とNV用カメラ制御値とを交互に切り替えてシャッタ制御され、カメラ17RはNV用カメラ制御値でのみシャッタ制御されている。
As shown in FIG. 2, the
なお、画像取得部10は、すでに受信している最後の白線用カメラ制御値又はNV用カメラ制御値をそれぞれの最小フレーム単位毎に適用して撮像するので、カメラ制御値の受信タイミングと撮像のタイミングとの同期はとれていなくてもよい。
The
図4は、ステレオECU20がフレームナンバに応じて白線認識又は立体物検出する画像処理手順を示すフローチャート図である。
FIG. 4 is a flowchart illustrating an image processing procedure in which the
撮像されたフレームは、当該フレームのカメラ制御値及びフレームナンバと共にステレオECU20に送信される。
The captured frame is transmitted to the
ステレオECU20はフレームナンバに応じて立体物検出の画像処理を行うか、白線認識の画像処理を行うかを判定する(S10)。
The
画像取得部10からフレームを受信したステレオECU20は、フレームに付与されたフレームナンバに応じて白線用フレームと立体物フレームを区別する。ステレオECU20は、処理すべきフレームのフレームナンバが偶数の場合(S10のYes)、立体物用カメラ制御により撮像した立体物用フレームであるとして立体物検出処理を行う(S20)。
The
一方、処理すべきフレームのフレームナンバが奇数の場合(S30のYes)、ステレオECU20は、白線用カメラ制御により撮像した白線用フレームであるとして白線認識処理を行う(S40)。
On the other hand, when the frame number of the frame to be processed is an odd number (Yes in S30), the
処理すべきフレームのフレームナンバが奇数の場合であっても、カメラ17Rが撮像したフレームは画像出力部14が常にHUDに出力している。なお、ステレオECU20が白線認識処理を行う場合、このフレーム(フレームナンバが奇数のフレーム)に基づく立体物検出は行わない。この場合、カメラ17Rが撮像してステレオECU20に入力されたフレームは使用されないか又は破棄される。
Even when the frame number of the frame to be processed is an odd number, the image output unit 14 always outputs the frame captured by the
そして、白線認識処理の後に白線用カメラ制御値算出等の白線認識後処理が行われ、立体物検出処理の後に立体物用カメラ制御値算出等の立体物検出後処理が行われる。 Then, after white line recognition processing, white line recognition post-processing such as white line camera control value calculation is performed, and after three-dimensional object detection processing, three-dimensional object detection post-processing such as calculation of three-dimensional object camera control value is performed.
なお、処理負荷増大等の理由により、白線認識処理若しくは立体物検出処理の時間が増えてタイミングがずれた場合には、タイミングを取り直して再スタートする。処理時間の制限として、例えば、白線認識処理は16.7ms以内、立体物検出処理は83.3ms以内に設定しておく。 If the timing of the white line recognition process or the three-dimensional object detection process increases due to an increase in processing load or the like, the timing is shifted and restarted. For example, the white line recognition process is set within 16.7 ms and the three-dimensional object detection process is set within 83.3 ms.
また、ステレオECU20内の画像認識処理部24の起動タイミングは、白線認識はEVEN起動、立体物検出はODD起動であるため、初期起動時にフレームナンバとODD/EVEN起動のタイミングを合わせるために空回しをする必要がある。この正規のタイミングと逆に立体物の画像をEVEN起動で受けたり、白線の画像をODD起動で受けた場合、その回の処理を廃棄して、SV−CPU23は、白線用カメラ制御値と立体物用カメラ制御値をカメラECU10へ送信するタイミングに合わせる。
The activation timing of the image
以上のように、ステレオECU20は、付与されたフレームナンバに応じて白線認識処理すべきフレームと立体物検出処理すべきフレームを区別することによって、検出処理すべきフレームを白線用と立体物用とで間違えて取り込むことを防止することができる。 そして、フレームの区別を行ったステレオECU20は、白線認識処理用と区別がなされたフレームを基に白線認識処理と白線用カメラ制御値の算出処理を行い、立体物検出処理用と区別がなされたフレームを基に立体物検出処理と立体物用カメラ制御値の算出処理を行っている。
As described above, the
そして、このように算出処理された白線用カメラ制御値と立体物用カメラ制御値に関して、「通信カウンタが奇数の場合には白線用カメラ制御値を送信し、偶数の場合にはNV用カメラ制御値を送信する」といった送信順序の決め事をカメラCPU13とSV−CPU23との間で設定し、ステレオECU20はかかる決め事に従いカメラECU10へ送信する。したがって、カメラECU10は、その送信順序でカメラ制御値を受信してカメラ17Lのカメラ制御値に適用することができる。
Then, regarding the white line camera control value and the three-dimensional object camera control value thus calculated, “when the communication counter is an odd number, the white line camera control value is transmitted, and when the communication counter is an even number, the NV camera control value is transmitted. The decision of the transmission order such as “send value” is set between the camera CPU 13 and the SV-
各カメラ制御を実行したカメラECU10は、撮像したフレームを、当該フレームのカメラ制御値とフレームナンバとを付与した上でステレオECU20に送信する。このよう処理のサイクルが、カメラECU10とステレオECU20間で繰り返されることとなり、立体物検出と白線認識のそれぞれの処理に適した画像を得ることができるようになる。
Camera ECU10 which performed each camera control transmits the imaged flame | frame to stereo ECU20, providing the camera control value and frame number of the said frame. Such a process cycle is repeated between the
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。例えば、本発明の走査方式は特に限定せず、インターレース方式でもノンインターレース方式でもよい。 The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added. For example, the scanning method of the present invention is not particularly limited, and may be an interlace method or a non-interlace method.
1 車両用画像処理装置
10 画像取得部
11,12 撮像素子
13 カメラCPU
14 画像出力部
15、16 レンズ
17 カメラモジュール
18、25、26 メモリ
20 ステレオECU
21 画像入力部
22 幾何変換処理部
23 SV−CPU
24 画像認識処理部
DESCRIPTION OF
14
21
24 Image recognition processor
Claims (6)
立体物検出用のシャッタ制御を行う第2の撮像手段と、
第1及び第2の撮像手段の少なくとも一方により撮像された画像から平面物認識又は立体物検出する画像処理部と、
を有することを特徴とする車両用画像処理装置。 First imaging means capable of performing both shutter control for plane object recognition and shutter control for three-dimensional object detection;
A second imaging means for performing shutter control for detecting a three-dimensional object;
An image processing unit that recognizes a planar object or detects a three-dimensional object from an image captured by at least one of the first and second imaging units;
A vehicular image processing apparatus characterized by comprising:
ことを特徴とする請求項1記載の車両用画像処理装置。 The first imaging unit switches between shutter control for plane object recognition and shutter control for three-dimensional object detection for each frame.
The vehicular image processing apparatus according to claim 1.
ことを特徴とする請求項3記載の車両用画像処理装置。 Even when the first imaging unit captures images by shutter control for plane object recognition, the image output unit outputs an image captured by the second imaging unit by shutter control for solid object detection to the display device. To
The vehicular image processing apparatus according to claim 3.
ことを特徴とする請求項3記載の車両用画像処理装置。 When the first image pickup means picks up an image by shutter control for plane object recognition and the second image pickup means picks up an image by shutter control for solid object detection, the image output section is picked up by the second image pickup means. While outputting an image to the display device, the image processing unit performs plane object recognition.
The vehicular image processing apparatus according to claim 3.
The three-dimensional object detection shutter control has a lower limit on the shutter speed and an upper limit on the gain value, and the shutter control for plane object recognition can set a shutter speed smaller than the lower limit and a gain value larger than the upper limit. 3. The vehicular image processing apparatus according to claim 1, wherein the vehicular image processing apparatus is a vehicular image processing apparatus.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006132205A JP5017921B2 (en) | 2006-05-11 | 2006-05-11 | Image processing apparatus for vehicle |
EP06746632.6A EP1883242B1 (en) | 2005-05-20 | 2006-05-18 | Image processor for vehicles |
CN2010106234160A CN102074007B (en) | 2005-05-20 | 2006-05-18 | Image processor for vehicles |
US11/660,660 US20080094471A1 (en) | 2005-05-20 | 2006-05-18 | Image Processor for Vehicles |
EP09009938A EP2109061B1 (en) | 2005-05-20 | 2006-05-18 | Image processing apparatus for vehicle |
PCT/JP2006/309965 WO2006123754A1 (en) | 2005-05-20 | 2006-05-18 | Image processor for vehicles |
CN2006800008971A CN101032169B (en) | 2005-05-20 | 2006-05-18 | Image processor for vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006132205A JP5017921B2 (en) | 2006-05-11 | 2006-05-11 | Image processing apparatus for vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007306272A true JP2007306272A (en) | 2007-11-22 |
JP5017921B2 JP5017921B2 (en) | 2012-09-05 |
Family
ID=38839841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006132205A Expired - Fee Related JP5017921B2 (en) | 2005-05-20 | 2006-05-11 | Image processing apparatus for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5017921B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015042004A (en) * | 2013-08-23 | 2015-03-02 | 株式会社リコー | Imaging apparatus, imaging system, and vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001043496A (en) * | 1999-07-30 | 2001-02-16 | Fuji Heavy Ind Ltd | Outer monitoring device having fail safe function |
JP2004032793A (en) * | 2003-07-02 | 2004-01-29 | Fuji Heavy Ind Ltd | Mounting structure of in-vehicle camera |
WO2005006756A1 (en) * | 2003-07-11 | 2005-01-20 | Hitachi, Ltd. | Image processing camera system and image processing camera control method |
-
2006
- 2006-05-11 JP JP2006132205A patent/JP5017921B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001043496A (en) * | 1999-07-30 | 2001-02-16 | Fuji Heavy Ind Ltd | Outer monitoring device having fail safe function |
JP2004032793A (en) * | 2003-07-02 | 2004-01-29 | Fuji Heavy Ind Ltd | Mounting structure of in-vehicle camera |
WO2005006756A1 (en) * | 2003-07-11 | 2005-01-20 | Hitachi, Ltd. | Image processing camera system and image processing camera control method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015042004A (en) * | 2013-08-23 | 2015-03-02 | 株式会社リコー | Imaging apparatus, imaging system, and vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP5017921B2 (en) | 2012-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113271400B (en) | Imaging device and electronic equipment | |
JP4258539B2 (en) | Multiple angle of view camera | |
JP6319340B2 (en) | Movie imaging device | |
EP2109061B1 (en) | Image processing apparatus for vehicle | |
KR101367637B1 (en) | Monitoring apparatus | |
CN108496056B (en) | Image pickup apparatus | |
JP5629521B2 (en) | Obstacle detection system and method, obstacle detection device | |
EP3203725B1 (en) | Vehicle-mounted image recognition device | |
JP2009157087A (en) | Exposure control apparatus and exposure control program | |
US10848660B2 (en) | Imaging apparatus, imaging module, and control method of imaging apparatus | |
JP6723079B2 (en) | Object distance detection device | |
US20140055572A1 (en) | Image processing apparatus for a vehicle | |
US10455159B2 (en) | Imaging setting changing apparatus, imaging system, and imaging setting changing method | |
WO2013140873A1 (en) | In-vehicle image processing device and method | |
WO2022019026A1 (en) | Information processing device, information processing system, information processing method, and information processing program | |
JP2007293672A (en) | Photographing apparatus for vehicle and soiling detection method for photographing apparatus for vehicle | |
JP4798945B2 (en) | Imaging device | |
JP4797441B2 (en) | Image processing apparatus for vehicle | |
JP5256060B2 (en) | Imaging device | |
WO2020039837A1 (en) | Image processing device | |
JP5017921B2 (en) | Image processing apparatus for vehicle | |
WO2015098107A1 (en) | Image processing device, warning apparatus, and image processing method | |
JP2005167831A (en) | Imaging apparatus | |
JP2018160747A (en) | Display control device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120528 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |