JP2005284409A - Imaging apparatus and image processing method - Google Patents
Imaging apparatus and image processing method Download PDFInfo
- Publication number
- JP2005284409A JP2005284409A JP2004093609A JP2004093609A JP2005284409A JP 2005284409 A JP2005284409 A JP 2005284409A JP 2004093609 A JP2004093609 A JP 2004093609A JP 2004093609 A JP2004093609 A JP 2004093609A JP 2005284409 A JP2005284409 A JP 2005284409A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- brightness
- brightness information
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像装置及び画像処理方法に関する。詳しくは、自動車等車両において、たとえば、先行車追尾などの車両走行支援システムに用いられる撮像装置及び画像処理方法であって、とりわけ、撮影可能な限界明暗比が高い撮像デバイスを使用する撮像装置、その撮像デバイスによって撮影された画像の処理方法に関する。 The present invention relates to an imaging apparatus and an image processing method. Specifically, in a vehicle such as an automobile, for example, an imaging device and an image processing method used in a vehicle travel support system such as tracking a preceding vehicle, and in particular, an imaging device using an imaging device having a high limitable contrast ratio that can be photographed, The present invention relates to a method for processing an image photographed by the imaging device.
ここで、“限界明暗比”とは、その撮像デバイスによって撮影可能な被写体の明るさ(明度又は輝度)の最低値と最大値の比のことをいい、通常は、デシベル値(ダイナミックレンジ)で表される。限界明暗比が高いほど、画像中の明るい部分や暗い部分を忠実に再現できる。 Here, the “marginal contrast ratio” means the ratio between the minimum value and the maximum value of the brightness (brightness or luminance) of a subject that can be photographed by the imaging device, and is usually a decibel value (dynamic range). expressed. The higher the limit light / dark ratio, the more accurately the bright and dark parts of the image can be reproduced.
一般に、先行車追尾システムなどにおいては、先行車の位置や走行速度、自車との速度差及び先行車との距離(車間距離)などの様々な情報を必要とするが、かかる情報の取得に際しては、先行車の急な動き(急停止等)に即座に反応して所要の回避処置や制動処置等の緊急対策を速やかに講じなければならないため、とりわけ、高度な即応性(リアルタイム性)が要求される。 In general, a preceding vehicle tracking system or the like requires various information such as the position and traveling speed of the preceding vehicle, the speed difference from the own vehicle, and the distance (inter-vehicle distance) from the preceding vehicle. In particular, it is necessary to promptly take emergency measures such as necessary avoidance measures and braking measures in response to sudden movements (sudden stops, etc.) of the preceding vehicle. Required.
この点について、特許文献1では、レーザレーダと撮像装置とを併用した技術が開示されている。この技術の要旨は、レーザレーダで検出した先行車情報を利用して、画像情報の特定領域(同文献では“処理エリア”)を切り出し、その切り出し領域のみを画像処理の対象とすることにより、無駄な画像処理を排除して、画像処理の高速化(したがって、高度なリアルタイム性)を実現するというものである。
In this regard,
ところで、この従来技術の撮像装置は、同文献中に明示されているようにCCD(電荷転送素子)カメラの使用を前提としているが、一般にCCDカメラのダイナミックレンジは、非特許文献1にも記載されているように高々30〜40dB程度に過ぎず、太陽光に照らされた明るい被写体から夜間の暗い被写体までの多種多様な明るさの画像を撮影する場合の所要ダイナミックレンジ(100dB以上)を遙かに下回るため、特に、先行車追尾システムなどの車両搭載機器に適用する場合には、何らかのダイナミックレンジの向上策が不可欠である。
By the way, this prior art imaging device is premised on the use of a CCD (charge transfer device) camera as specified in the document, but the dynamic range of a CCD camera is generally described in
こうした対策としては、たとえば、非特許文献2に記載されているように、露光条件の異なる複数のシーンの画像を合成してダイナミックレンジを拡大する技術や、非特許文献3に記載されているように、ハードウェア処理によって画像の低空間周波数成分を抑制することによりダイナミックレンジを圧縮する技術などが知られているが、いずれも、画像処理のオーバヘッドが大きく、リアルタイム性の点で好ましくないうえ、ハードウェア処理を必要とするものにあっては、コストの点でも好ましくない。
As such measures, for example, as described in Non-Patent
そこで、本件出願人は、先に、CCDカメラに代わる、高ダイナミックレンジな撮像デバイスであるCMOS(相補型金属酸化膜半導体)カメラを利用した「画像データ変換装置及びカメラ装置」(特願2004−42187/平成16年2月19日)を提案している。この提案技術は「ダイナミックレンジの広い画像データをダイナミックレンジの狭い画像データに良好に変換する」というものであり、上記の従来技術の不都合(オーバヘッドの問題やコストの問題)を招かないようにしたものである。 Therefore, the applicant of the present application previously described an “image data conversion apparatus and camera apparatus” (Japanese Patent Application No. 2004-2004) using a CMOS (complementary metal oxide semiconductor) camera, which is an imaging device with a high dynamic range, instead of a CCD camera. 42187 / February 19, 2004). This proposed technology is "Converting image data with a wide dynamic range into image data with a narrow dynamic range", so as not to incur the disadvantages (overhead problems and cost problems) of the above-mentioned conventional technology. Is.
CCDカメラと対比したときのCMOSカメラの利点の第一は、上記のとおりダイナミックレンジが広い(非特許文献1によれば130dBものCMOSカメラも実用化されている)ことであり、第二は、撮像素子のランダムアクセス(したがって、全画素のみならず、任意領域の画素情報の取り出し)が可能なことである。このCMOSカメラを利用すれば、上記の従来技術の不都合(オーバヘッドの問題やコストの問題)を招くことなく、屋外撮影における所要ダイナミックレンジ(100dB以上)を確保でき、しかも、ランダムアクセスによってCMOSカメラの特定領域の画像を取り出して、その特定領域の画像だけを画像処理の対象とすることにより、無駄な画像処理を排除し、画像処理の高速化(高度なリアルタイム性)も実現することができる。 The first advantage of a CMOS camera when compared with a CCD camera is that the dynamic range is wide as described above (a CMOS camera of 130 dB is also in practical use according to Non-Patent Document 1), and the second is It is possible to perform random access of the image sensor (thus, extraction of pixel information of an arbitrary region as well as all pixels). If this CMOS camera is used, the required dynamic range (over 100 dB) for outdoor photography can be ensured without incurring the disadvantages of the above-described prior art (overhead problems and cost problems). By taking out an image of a specific area and subjecting only the image of the specific area to image processing, useless image processing can be eliminated, and high-speed image processing (advanced real-time performance) can be realized.
しかしながら、CMOSカメラの特定領域の画像、たとえば、先行車を含む特定領域の画像だけを画像処理の対象としただけでは、無駄な画像処理を完全に排除することはできない。上記のとおり、CMOSカメラのダイナミックレンジが相当広いため、当該特定領域の画像には不要な明度情報が多く含まれているからである。 However, wasteful image processing cannot be completely eliminated simply by using only an image of a specific area of a CMOS camera, for example, an image of a specific area including a preceding vehicle. As described above, since the dynamic range of the CMOS camera is considerably wide, the image of the specific area includes a lot of unnecessary brightness information.
つまり、先行車を含む特定領域の画像には、その先行車の認識に必要な情報のみならず、太陽光などの高輝度情報や日陰などの低輝度情報も含まれており、且つ、CMOSカメラの高ダイナミックレンジによって、これらの不要な明度情報(太陽光などの高輝度情報や日陰などの低輝度情報)の画像に占める割合が相当に大きいため、かかる不要な明度情報の分だけ無駄な画像処理を否めないという問題点がある。 That is, the image of the specific area including the preceding vehicle includes not only information necessary for the recognition of the preceding vehicle but also high luminance information such as sunlight and low luminance information such as shade, and the CMOS camera. Due to the high dynamic range, the unnecessary lightness information (high brightness information such as sunlight and low brightness information such as shade) occupies a considerably large proportion of the image, so that unnecessary lightness information is wasted. There is a problem that processing cannot be denied.
そこで本発明は、撮像デバイスの有効撮影範囲の特定領域の画像を取り出す際に、太陽光や背景などの不要な明度情報を極力排除できるようにし、以て、無駄な画像処理をできるだけ行わないようにした撮像装置及び画像処理方法を提供することを目的としている。 Therefore, the present invention makes it possible to eliminate unnecessary lightness information such as sunlight and background as much as possible when taking out an image of a specific area of the effective shooting range of the image pickup device, so that unnecessary image processing is not performed as much as possible. An object of the present invention is to provide an imaging apparatus and an image processing method.
本発明に係る撮像装置は、所定の撮影範囲の画像を生成してその画像信号を出力する撮像デバイスと、前記撮影範囲内の物体の位置を検出する位置検出手段と、前記検出手段で検出された物体の位置を示す検出情報に基づいて、前記画像信号中の当該物体を含む部分の単位画像を切り出す画像切り出し手段と、前記単位画像から最大の明るさ情報と最小の明るさ情報を取り出す明るさ情報取り出し手段と、すべての単位情報の最大の明るさ情報と最小の明るさ情報とを対比し、それらの中の最大値と最小値の明るさ情報を選択して、それぞれ前記画像信号の代表低明度値と代表高明度値とする明度値選択手段と、前記画像信号に含まれる明るさ情報のうち前記代表低明度値以下の情報と前記代表高明度値以上の情報とを切り捨てる明るさ情報切り捨て手段とを備えたことを特徴とする。
この発明では、撮像デバイスから出力された画像信号に含まれる明るさ情報のうち、ある範囲の情報が切り捨てられる。“ある範囲の情報”とは、前記代表低明度値以下の情報と前記代表高明度値以上の情報であり、これらの情報は、前記検出手段で検出された物体を含む単位画像中の明るさ情報のうち、最小のもの(すべての単位画像中で最小の明るさ情報)と最大のもの(すべての単位画像中で最大の明るさ情報)である。
したがって、撮像デバイスの撮影範囲に含まれるすべての物体の明るさ情報以外の情報(前記代表低明度値以下の情報と前記代表高明度値以上の情報)を切り捨てた画像信号が生成されるため、画像信号の情報量が削減され、当該画像信号を利用する、たとえば、先行車追尾システムの画像処理のオーバヘッドが軽減される。
ここで、前記撮像デバイスは、前記撮影範囲内の特定領域の画像信号を選択的に出力可能なもの、たとえば、ランダムアクセスによって撮影範囲の選択的な指定が可能なCMOSカメラとすることができる。この場合、前記明るさ情報切り捨て手段は、該特定領域の画像信号に含まれる明るさ情報のうち前記代表低明度値以下の情報と前記代表高明度値以上の情報とを切り捨てるようにしてもよい。このようにすると、ランダムアクセスによって画像信号のサイズ(画素数)そのものが小さくなるため、前記の明るさ情報の切り捨てと相まって、より一層の画像処理負担の軽減、すなわち、たとえば、先行車追尾システムの画像処理のオーバヘッドの軽減が図られる。
An imaging apparatus according to the present invention is detected by an imaging device that generates an image of a predetermined shooting range and outputs an image signal thereof, a position detection unit that detects the position of an object within the shooting range, and the detection unit. Image extraction means for extracting a unit image of a portion including the object in the image signal based on detection information indicating the position of the detected object, and brightness for extracting maximum brightness information and minimum brightness information from the unit image And the maximum brightness information and the minimum brightness information of all the unit information, and the maximum value and the minimum brightness information among them are selected, and each of the image signals Brightness value selection means for representing a representative low brightness value and a representative high brightness value, and brightness for truncating information below the representative low brightness value and information above the representative high brightness value among the brightness information included in the image signal information Characterized in that a Ri discarded means.
In this invention, a certain range of information is discarded from the brightness information included in the image signal output from the imaging device. “A certain range of information” is information below the representative low lightness value and information above the representative high lightness value. These information are the brightness in the unit image including the object detected by the detection means. Among the information, the minimum information (minimum brightness information in all unit images) and the maximum (maximum brightness information in all unit images).
Therefore, an image signal is generated by truncating information other than the brightness information of all objects included in the imaging range of the imaging device (information below the representative low brightness value and information above the representative high brightness value). The information amount of the image signal is reduced, and the overhead of image processing of the preceding vehicle tracking system that uses the image signal, for example, is reduced.
Here, the imaging device may be a device capable of selectively outputting an image signal of a specific area within the imaging range, for example, a CMOS camera capable of selectively specifying the imaging range by random access. In this case, the brightness information truncation means may discard information below the representative low brightness value and information above the representative high brightness value among the brightness information included in the image signal of the specific region. . In this way, since the size (number of pixels) of the image signal itself is reduced by random access, coupled with the truncation of the brightness information, the image processing burden is further reduced, that is, for example, in the preceding vehicle tracking system. The overhead of image processing can be reduced.
本発明によれば、画像信号の情報量を削減して、たとえば、先行車追尾システム等の画像処理のオーバヘッドを軽減し、当該システムの即応性(リアルタイム性)の向上を図ることができる。 According to the present invention, the amount of image signal information can be reduced, for example, the overhead of image processing in a preceding vehicle tracking system or the like can be reduced, and the responsiveness (real-time performance) of the system can be improved.
以下、本発明の実施の形態を図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等(以下「周知事項」)についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。 Embodiments of the present invention will be described below with reference to the drawings. It should be noted that the specific details or examples in the following description and the illustrations of numerical values, character strings, and other symbols are only for reference in order to clarify the idea of the present invention, and the present invention may be used in whole or in part. Obviously, the idea of the invention is not limited. In addition, a well-known technique, a well-known procedure, a well-known architecture, a well-known circuit configuration, and the like (hereinafter, “well-known matter”) are not described in detail, but this is also to simplify the description. Not all or part of the matter is intentionally excluded. Such well-known matters are known to those skilled in the art at the time of filing of the present invention, and are naturally included in the following description.
図1(a)は、実施形態のシステム構成図である。車両1は、レーザレーダ2と、CMOSカメラ3と、画像処理部4(画像切り出し手段、明るさ情報取り出し手段、明度値選択手段、明るさ情報切り捨て手段)とを備えている。なお、本実施形態においては、画像処理部4の出力を先行車追尾システムで利用するようにしているが、これに限定されない。たとえば、オートクルーズシステムやナイトビジョンシステムあるいはプリテンションシステムなどの他の車両走行支援システムで利用してもよい。いずれのシステムも、高度な即応性(したがって、画像処理のオーバヘッドを少なくすること)が求められる点で共通する。
FIG. 1A is a system configuration diagram of the embodiment. The
レーザレーダ2は、車両1の前方に設定された固定又は可変の監視エリアを、ペンシルビーム形状の赤外線ビーム2aで満遍なく走査(水平走査と垂直走査)し、監視エリア内の物体からの赤外線ビーム2aの反射波を受信した時のビーム走査角度(水平角度と垂直角度)から物体の位置(方位と仰角)を割り出すと共に、ビームの発射と反射波受信の時間差から物体までの距離を割り出すものである。なお、赤外線の代わりに無線電波を用いたもの、たとえば、ミリ波レーダなどであってもよい。要は、電磁波を媒体として監視エリア内の物体の位置や距離を測定できる測距装置であればよい。
The
CMOSカメラ3は、車両1の前方に設定された監視エリア(レーザレーダ2の監視エリアと同じもの、又は、レーザレーダ2の監視エリアを包含するもの)を光学的に撮影してその画像信号を出力するものであり、このCMOSカメラ3は、少なくとも、屋外撮影における所要ダイナミックレンジ(100dB以上)を満たす性能を有しているとともに、任意領域の画像の選択的読み出し(ランダムアクセス)も可能とするものである。なお、“任意領域の画像の選択的読み出し”とは、CMOSカメラに対して、その有効画素の任意のアドレス範囲(行アドレスと列アドレス)を指定することにより、当該アドレス範囲の画像だけを選択的に取り出すことをいう。
The CMOS camera 3 optically captures a monitoring area set in front of the vehicle 1 (the same as the monitoring area of the
図1(b)は、CMOSカメラにおけるランダムアクセスの概念図である。今、有効画素数を便宜的に640(列)×480(行)画素とするCMOSカメラを例にすると、この場合、たとえば、行アドレスの160〜320の範囲と、列アドレスの160〜480の範囲とを読み出しアドレスとして指定すれば、全画面(640×480)のほぼ中央部分の画像(ハッチング部分)のみを取り出すことができる。このようなランダムアクセス(任意領域の画像の選択的読み出し)は、CMOSカメラの特徴の一つであり、言い換えれば、フォトダイオード等の電荷結合素子に蓄積された電荷を順次に転送するCCDカメラにはない特徴である。 FIG. 1B is a conceptual diagram of random access in a CMOS camera. For example, in this case, for example, a CMOS camera in which the number of effective pixels is 640 (column) × 480 (row) pixels is taken as an example. In this case, for example, a range of 160 to 320 of row addresses and 160 to 480 of column addresses are used. If the range is designated as a read address, only the image (hatched portion) of the substantially central portion of the entire screen (640 × 480) can be extracted. Such random access (selective readout of an image in an arbitrary area) is one of the features of a CMOS camera. In other words, it is applied to a CCD camera that sequentially transfers charges accumulated in a charge coupled device such as a photodiode. There is no feature.
画像処理部4は、CMOSカメラ3から出力された画像信号を所定のアルゴリズムに従って処理するものであり、そのアルゴリズムの詳細は後述するが、概略的には、CMOSカメラ3のランダムアクセスを制御すると共に、そのランダムアクセス範囲の画像信号の中から不要な明度情報を除去して情報量を削減した画像信号を生成し、その情報量を削減した画像信号を先行車追尾システムなどに出力することにより、当該システムの動作速度の向上(リアルタイム性の向上)を図るというものである。
The
図2は、画像処理部4の概念構成図である。この図において、画像処理部4は、特にそれに限定しないが、CPU4a、ROM4b、RAM4c及び入出力部4dなどからなるマイクロプログラム制御方式の構成を有している。このような構成の画像処理部4は、ROM4bに予め書き込まれている制御プログラム等のソフトウェアリソースをRAM4cにロードし、それをCPU4aで実行することにより、当該ソフトウェアリソースと、CPU4aなどのハードウェアリソースとの有機的結合によって所望の機能を実現する。
FIG. 2 is a conceptual configuration diagram of the
図3及び図4は、画像処理部4で実行されるソフトウェアリソースの概略的なフローチャートを示す図である。このフローチャートでは、まず、レーザレーダ2の検出情報(監視エリア内の物体の位置や距離等の情報)とCMOSカメラ3の画像情報(この段階では全画面の画像情報)とを取得する(ステップS11及びステップS12)。
3 and 4 are schematic flowcharts of software resources executed by the
図5は、レーザレーダ2の検出情報とCMOSカメラ3の画像情報とを示す図である。同図(a)において、画像10は、CMOSカメラ3の全画面の画像情報(CMOSカメラ3のすべての有効画素で構成された画像情報)である。この画像10には様々な被写体、たとえば、白線11、12、13で仕切られた自車(車両1)の走行レーン14とその右側の隣接レーン15、走行レーン14の左端に連なるガードロープ用のポール16〜20(物体)、林21や山並み22及び太陽23等からなる背景24、走行レーン14や隣接レーン15を走行中の何台かの車両25〜27(物体)が写し込まれている。なお、車両25〜27のうち自車と同じ走行レーン14を走行中の車両25のことを、特にその動きに注意を払わなければならない「先行車」という。
FIG. 5 is a diagram showing detection information of the
一方、同図(b)において、画像10の上に重畳表示された複数の黒丸印(P1〜P12)は、それぞれレーザレーダ2の検出情報を便宜的に表しており、たとえば、P1〜P5は、ガードロープ用のポール16〜20の検出情報、P6、P7は、先行車25の検出情報、P8〜P12は、隣接レーン15を走行中の車両26、27の検出情報である。なお、これらの検出情報(P1〜P12)は、正確には、ガードロープ用のポール16〜20や車両25〜27の後部に取り付けられている反射板(又は反射テープ)の検出情報である。
On the other hand, in FIG. 6B, a plurality of black circles (P1 to P12) superimposed on the
さて、同図(b)においては、画像10の上に各々の検出情報(P1〜P12)を重畳表示しているが、実際上は、レーザレーダ2とCMOSカメラ3の座標が同一でないため、レーザレーダ2の検出情報(P1〜P12)とCMOSカメラ3の画像情報との対応を取るために、いずれか一方の座標を基準に他方の座標を変換する必要がある(ステップS13)。同図(b)に示されている検出情報(P1〜P12)の重畳表示は、座標変換した後のものである。
In FIG. 5B, the detection information (P1 to P12) is superimposed on the
このように座標変換を実行した後は、次に、検出情報(P1〜P12)に基づく画像10の切り出しを行う(ステップS14:画像切り出し工程)。ここで、“切り出し”とは、画像10の特定部分を切り出すことをいう。この切り出しには、CMOSカメラ3のランダムアクセスは関与しない。すなわち、画像10はRAM4cに展開されているので、そのRAM4cの所望のアドレス範囲を読み出すことによって、かかる“切り出し”を行うことができる。
After executing the coordinate conversion in this way, next, the
図6(a)は、ステップS14における画像10の切り出しの概念図である。この図において、画像10の中に描かれている小さな矩形E1〜E12は、それぞれレーザレーダ2の検出情報(P1〜P12)を中心にして生成された切り出し範囲であり、それらの矩形E1〜E12に囲まれた部分がRAM4cに展開された画像10から切り出される。ここで、矩形E1〜E5は、ポール16〜20の検出情報P1〜P5に対応するものであり、これらの矩形E1〜E5を用いて小さく切り出された画像(以下「単位画像」という。)は、それぞれポール16〜20の頭部付近の画像情報を含む。また、矩形E6〜E12は、先行車25や隣接レーン15を走行中の車両26、27の検出情報P6〜P12に対応するものであり、これらの矩形E6〜E12を用いて小さく切り出された単位画像は、それぞれ先行車25や隣接レーン15を走行中の車両26、27の後部の画像情報を含む。
FIG. 6A is a conceptual diagram of cutting out the
このように単位画像の切り出しを行うと、次に、切り出された各単位画像の低明度値と高明度値を検出する(ステップS15:明るさ情報取り出し工程)。低明度値とは単位画像内の各画素の明度情報のうちもっとも暗い値を持つものである。また、高明度値とは単位画像内の各画素の明度情報のうちもっとも明るい値を持つものである。そして、この低明度値と高明度値の検出操作をすべての単位画像について実行すると(ステップS16)、次に、それらの低明度値及び高明度値を比較して最小の低明度値と最大の高明度値とを選択し、それぞれ画像10の代表低明度値(Bmin)及び代表高明度値(Bmax)として採用する(ステップS17:明度値選択工程)。
Once the unit image is cut out in this way, the low brightness value and the high brightness value of each cut out unit image are detected (step S15: brightness information extraction step). The low lightness value has the darkest value among the lightness information of each pixel in the unit image. The high brightness value has the brightest value among the brightness information of each pixel in the unit image. Then, when this low lightness value and high lightness value detection operation is executed for all unit images (step S16), the low lightness value and the high lightness value are compared, and the minimum low lightness value and the maximum lightness value are compared. A high brightness value is selected and used as the representative low brightness value (Bmin) and the representative high brightness value (Bmax) of the
図7は、単位画像の明度分布を示す図である。この図において、G1〜G12は、それぞれステップS14で切り出された単位画像を示している。G1〜G12の横軸は明度値(左側に行くにつれて暗くなり、右側に行くにつれて明るくなる)であり、軸上の波形はその単位画像中の明度分布を表している。たとえば、G1やG3の明度はほぼ中間の明るさで分布しているが、G2の明度分布は「暗」側に偏っており、また、G12の明度分布は「明」側に偏っている。したがって、この場合、ステップS17で採用される画像10の代表低明度値(Bmin)はG2の低明度値aとなり、代表高明度値(Bmax)はG12の高明度値bとなる。
FIG. 7 is a diagram illustrating the brightness distribution of the unit image. In this figure, G1 to G12 indicate unit images cut out in step S14. The horizontal axis of G1 to G12 is the brightness value (darker as it goes to the left side and brighter as it goes to the right side), and the waveform on the axis represents the brightness distribution in the unit image. For example, the lightness distribution of G1 and G3 is distributed at almost intermediate brightness, but the lightness distribution of G2 is biased toward the “dark” side, and the lightness distribution of G12 is biased toward the “light” side. Therefore, in this case, the representative low brightness value (Bmin) of the
このように、画像10の代表低明度値(Bmin)及び代表高明度値(Bmax)とを決定すると、次に、CMOSカメラ3をランダムアクセスして監視エリア内の所要部分の画像(以下「処理対象画像10a」という。)を取り出す(ステップS18)。
When the representative low brightness value (Bmin) and the representative high brightness value (Bmax) of the
図6(b)は、処理対象画像10aの取り出し概念図である。この図において、画像10のほぼ中央部付近、便宜的に、画像10を640×480画素のサイズとしたときの、たとえば、行アドレスの160〜320と列アドレスの160〜480の範囲に描かれている横長矩形E13は、ランダムアクセス範囲であり、処理対象画像10aは、この矩形E13の範囲でCMOSカメラ3をランダムアクセスすることによって得られた画像である。すなわち、処理対象画像10aは、CMOSカメラ3に対して、横長矩形E13の縦方向と横方向のサイズに対応する行アドレス(160〜320)と列アドレス(160〜480)を与えることにより、そのアドレス範囲の画素信号を読み出して得られた特定範囲の画像である。
なお、図示の例では、処理対象画像10aの取り出し範囲(矩形E13)を、CMOSカメラ3の全画面のほぼ中央部付近としているが、これは説明のための一例に過ぎない。たとえば、レーザレーダ2の検出情報に従って、その矩形E13の位置や大きさを変更してもよいし、又は、レーザレーダ2の検出情報に加えて、先行車との相対速度も考慮して、その矩形E13の位置や大きさを変更してもよい。
FIG. 6B is a conceptual diagram of extracting the
In the example shown in the figure, the extraction range (rectangle E13) of the
かかるランダムアクセスを行うことによっても、たとえば、先行車追尾システム等における画像処理のオーバヘッドは軽減できる。つまり、CMOSカメラ2のすべての有効画素(640×480画素)の信号からなる画像10を先行車追尾システム等に与え得た場合には、当該システムは、640×480個のすべての画素情報を処理しなければならないところ、上記のように、横長矩形E13内の特定画素((320−160)×(480−160)画素)の信号からなる処理対象画像10aを当該システムに与えた場合には、画素数の減少分だけ画像処理のオーバヘッドを軽減できる。
By performing such random access, for example, the overhead of image processing in a preceding vehicle tracking system or the like can be reduced. That is, when the
しかし、冒頭でも説明したとおり、高ダイナミックレンジのCMOSカメラ3で得られた画像情報は、そのダイナミックレンジに対応して、明るさの情報量(明度値の情報量)も相当多くなるため、より一層のオーバヘッド軽減を図るためには、画素数の削減だけでなく、明るさの情報量も削減しなければならない。 However, as described at the beginning, the image information obtained by the CMOS camera 3 having a high dynamic range has a considerably large amount of brightness information (amount of information of brightness value) corresponding to the dynamic range. In order to further reduce the overhead, not only the number of pixels but also the amount of brightness information must be reduced.
そこで、本実施形態においては、明るさの情報量を削減するために、横長矩形E13内の特定画素の信号からなる処理対象画像10aに含まれる明るさの情報のうち、前記の代表低明度値(Bmin)以下の情報と、前記の代表高明度値(Bmax)以上の情報とを不要な明度情報として切り捨て(ステップS19:明るさ情報切り捨て工程)、その切り捨て後の処理対象画像10aを、たとえば、先行車追尾システム等の車両車両走行支援システムに出力している(ステップS20)。
Therefore, in the present embodiment, in order to reduce the amount of brightness information, the representative low brightness value among the brightness information included in the
図8は、明るさ情報の切り捨て概念図である。この図において、上段の波形は明るさ情報を切り捨てる“前”の処理対象画像10aの輝度分布を示している。この輝度分布はCMOSカメラ3の高ダイナミックレンジに対応して暗から明まで広範な明度情報を含み、その情報量は相当多い。一方、下段の波形は明るさ情報を切り捨てた“後”の処理対象画像10a、つまり、横長矩形E13内の特定画素の信号からなる処理対象画像10aに含まれる明るさの情報のうち、前記の代表低明度値(Bmin)以下の情報と、前記の代表高明度値(Bmax)以上の情報とを不要な明度情報として切り捨てた後の輝度分布を示しており、この輝度分布は、上段の輝度分布と比較して、明らかに明度情報の量が少なくなっている。
FIG. 8 is a conceptual diagram of truncation of brightness information. In this figure, the upper waveform shows the luminance distribution of the “previous”
したがって、本実施形態によれば、横長矩形E13内の特定画素の信号からなる処理対象画像10aを生成することに加え、さらに、その処理対象画像10aに含まれる明るさ情報のうち、前記の代表低明度値(Bmin)以下の情報と、前記の代表高明度値(Bmax)以上の情報とを不要な明度情報として切り捨てるようにしたから、たとえば、先行車追尾システムにおける画像処理のオーバヘッドを格段に軽減することができ、その結果、とりわけ、リアルタイム性を強く要求される、先行車追尾システム等の車両車両走行支援システムに適用してきわめて好都合な撮像装置及び画像処理方法を実現することができる。
Therefore, according to the present embodiment, in addition to generating the
図9は、CMOSカメラ3で撮影した実際の画像28(全画面のもの)を示す図である。(a)は元画像(但し、図示の都合上、ディザ加工している。)を貼り付けたもの、(b)は元画像の内容説明図である。これらの図において、画像28には様々な被写体、たとえば、電柱29、ガイドレール30、路面の左端白線31、中央白線32、右端白線33、先行車34などが写し込まれている。
FIG. 9 is a diagram showing an actual image 28 (full screen image) taken by the CMOS camera 3. (A) is a pasted original image (however, dithered for convenience of illustration), and (b) is a content explanatory view of the original image. In these drawings, various objects, for example, a
図10は、図9の画像28の明度分布を示す三次元マップ図である。このマップ図は、Z軸を明度(最下端が黒レベルで、上端に行くにつれて明るくなる)とし、X軸を画像28の横画素とし、Y軸を画像28の縦画素としたものである。マップ内の“谷”は暗い(低明度)部分であり、“山”は明るい(高明度)部分である。谷の深さや山の高さで明度の差いを表現している。
FIG. 10 is a three-dimensional map showing the lightness distribution of the
画像28の情報量は、このマップ全体の情報量である。画像28の情報量を削減するための第一の手順は、前記のとおり、CMOSカメラ3をランダムアクセスして特定領域の画像だけを取り出すことにある。マップ内の太線で囲まれた範囲は特定領域を示す。すなわち、太線で囲まれた範囲の画像をランダムアクセスによってCMOSカメラ3から取り出すことにより、画素数の少なくして画像の情報量を削減することができる。
The information amount of the
さらに、この画像(太線で囲まれた範囲の画像)の情報量をより一層削減するための第二の手順は、前記のとおり、太線で囲まれた範囲の画像の明るさ情報のうち、代表低明度値(Bmin)以下の情報と、代表高明度値(Bmax)以上の情報とを切り捨てることにある。 Furthermore, as described above, the second procedure for further reducing the information amount of this image (the image in the range surrounded by the thick line) is the representative of the brightness information of the image in the range surrounded by the thick line. This is to cut down information below the low brightness value (Bmin) and information above the representative high brightness value (Bmax).
したがって、上記の第一の手順に加えて、上記の第二の手順を行うことにより、不要な明るさ情報をも排除し、その分だけ、より一層の情報量の削減を図ることができるのである。 Therefore, by performing the second procedure in addition to the first procedure, unnecessary brightness information can be eliminated, and the amount of information can be further reduced accordingly. is there.
Bmin 代表低明度値
Bmax 代表高明度値
G1〜G12 単位画像
S14 ステップ(画像切り出し工程)
S15 ステップ(明るさ情報取り出し工程)
S17 ステップ(明度値選択工程)
S19 ステップ(明るさ情報切り捨て工程)
2 レーザレーダ(位置検出手段)
3 CMOSカメラ(撮像デバイス)
4 画像処理部(画像切り出し手段、明るさ情報取り出し手段、
明度値選択手段、明るさ情報切り捨て手段)
16〜20 ポール(物体)
25〜27 車両(物体)
Bmin representative low brightness value Bmax representative high brightness value G1 to G12 unit image S14 step (image cutout process)
S15 Step (Brightness information extraction process)
S17 step (lightness value selection process)
S19 Step (Brightness information truncation process)
2 Laser radar (position detection means)
3 CMOS camera (imaging device)
4 Image processing unit (image clipping means, brightness information extraction means,
Brightness value selection means, brightness information truncation means)
16-20 pole (object)
25-27 Vehicle (object)
Claims (4)
前記撮影範囲内の物体の位置を検出する位置検出手段と、
前記検出手段で検出された物体の位置を示す検出情報に基づいて、前記画像信号中の当該物体を含む部分の単位画像を切り出す画像切り出し手段と、
前記単位画像から最大の明るさ情報と最小の明るさ情報を取り出す明るさ情報取り出し手段と、
すべての単位情報の最大の明るさ情報と最小の明るさ情報とを対比し、それらの中の最大値と最小値の明るさ情報を選択して、それぞれ前記画像信号の代表低明度値と代表高明度値とする明度値選択手段と、
前記画像信号に含まれる明るさ情報のうち前記代表低明度値以下の情報と前記代表高明度値以上の情報とを切り捨てる明るさ情報切り捨て手段と
を備えたことを特徴とする撮像装置。 An imaging device that generates an image of a predetermined shooting range and outputs the image signal;
Position detecting means for detecting the position of an object within the imaging range;
Based on detection information indicating the position of the object detected by the detection means, an image cutout means for cutting out a unit image of a part including the object in the image signal;
Brightness information extraction means for extracting maximum brightness information and minimum brightness information from the unit image;
The maximum brightness information and the minimum brightness information of all the unit information are compared, and the maximum value and the minimum brightness information among them are selected, and the representative low brightness value and the representative value of the image signal are selected. A brightness value selection means for setting a high brightness value;
An imaging apparatus comprising: brightness information truncating means for truncating information below the representative low brightness value and information above the representative high brightness value among brightness information included in the image signal.
前記撮影範囲内の物体の位置を検出する位置検出手段で検出された物体の位置を示す検出情報に基づいて、前記画像信号中の当該物体を含む部分の単位画像を切り出す画像切り出し工程と、
前記単位画像から最大の明るさ情報と最小の明るさ情報を取り出す明るさ情報取り出し工程と、
すべての単位情報の最大の明るさ情報と最小の明るさ情報とを対比し、それらの中の最大値と最小値の明るさ情報を選択して、それぞれ前記画像信号の代表低明度値と代表高明度値とする明度値選択工程と、
前記画像信号に含まれる明るさ情報のうち前記代表低明度値以下の情報と前記代表高明度値以上の情報とを切り捨てる明るさ情報切り捨て工程と
を含むことを特徴とする画像処理方法。 An image processing method for processing an image signal from an imaging device that generates an image of a predetermined shooting range and outputs the image signal,
Based on detection information indicating the position of the object detected by the position detection means for detecting the position of the object within the imaging range, an image cutout step of cutting out a unit image of the part including the object in the image signal;
A brightness information extracting step for extracting maximum brightness information and minimum brightness information from the unit image;
The maximum brightness information and the minimum brightness information of all the unit information are compared, and the maximum value and the minimum brightness information among them are selected, and the representative low brightness value and the representative value of the image signal are selected. A lightness value selection step for setting a high lightness value;
A brightness information truncation step of truncating information below the representative low brightness value and information above the representative high brightness value among the brightness information included in the image signal.
The imaging device is capable of selectively outputting an image signal of a specific area within the imaging range, and the brightness information truncation step includes the brightness information included in the image signal of the specific area. 4. The image processing method according to claim 3, wherein information below the representative low lightness value and information above the representative high lightness value are discarded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004093609A JP4437532B2 (en) | 2004-03-26 | 2004-03-26 | Imaging apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004093609A JP4437532B2 (en) | 2004-03-26 | 2004-03-26 | Imaging apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005284409A true JP2005284409A (en) | 2005-10-13 |
JP4437532B2 JP4437532B2 (en) | 2010-03-24 |
Family
ID=35182756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004093609A Expired - Fee Related JP4437532B2 (en) | 2004-03-26 | 2004-03-26 | Imaging apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4437532B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009111946A (en) * | 2007-11-01 | 2009-05-21 | Alpine Electronics Inc | Vehicle surrounding image providing apparatus |
CN108337417A (en) * | 2018-03-26 | 2018-07-27 | 讯翱(上海)科技有限公司 | A kind of AI thermal imagery network video camera apparatus based on PON technologies |
JP2019012413A (en) * | 2017-06-30 | 2019-01-24 | 日立オートモティブシステムズ株式会社 | Image processing device |
-
2004
- 2004-03-26 JP JP2004093609A patent/JP4437532B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009111946A (en) * | 2007-11-01 | 2009-05-21 | Alpine Electronics Inc | Vehicle surrounding image providing apparatus |
JP2019012413A (en) * | 2017-06-30 | 2019-01-24 | 日立オートモティブシステムズ株式会社 | Image processing device |
CN108337417A (en) * | 2018-03-26 | 2018-07-27 | 讯翱(上海)科技有限公司 | A kind of AI thermal imagery network video camera apparatus based on PON technologies |
Also Published As
Publication number | Publication date |
---|---|
JP4437532B2 (en) | 2010-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI821417B (en) | Sensor device and signal processing method | |
US7522747B2 (en) | Vehicle detection apparatus and method | |
JP6176028B2 (en) | Vehicle control system, image sensor | |
TWI816903B (en) | Sensor device, parameter setting method | |
JP4985394B2 (en) | Image processing apparatus and method, program, and recording medium | |
JP5182555B2 (en) | Image processing apparatus, image processing method, image processing system, program, and recording medium | |
JP5115792B2 (en) | Image processing apparatus and method, and program | |
US20060215882A1 (en) | Image processing apparatus and method, recording medium, and program | |
TWI845547B (en) | Sensor device, signal processing method | |
CN105323497A (en) | Constant bracket for high dynamic range (cHDR) operations | |
JP5071198B2 (en) | Signal recognition device, signal recognition method, and signal recognition program | |
JP2009201064A (en) | Method and apparatus for specifying related region, and method and apparatus for recognizing image | |
JPH0951484A (en) | Light quantity controller for electronic camera | |
JP2006237851A (en) | Image input apparatus | |
WO2020080139A1 (en) | Sensor device and parameter setting method | |
WO2010089836A1 (en) | Image processing device | |
WO2020080141A1 (en) | Sensor device and signal processing method | |
Yamada et al. | A vision sensor having an expanded dynamic range for autonomous vehicles | |
JP4437532B2 (en) | Imaging apparatus and image processing method | |
JP2005284471A (en) | Image processing apparatus and method | |
JP4655947B2 (en) | Vehicle display device and program | |
JP2007058282A (en) | Image recognition processor | |
JP3128913B2 (en) | In-vehicle road image analysis device and in-vehicle imaging control device using the device | |
KR20240027600A (en) | Parking zone detection method and system | |
JP2006325135A (en) | Image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091210 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091223 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4437532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140115 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |