JP2007067714A - Image processing circuit, and camera device and vehicle-mounted camera device using same - Google Patents
Image processing circuit, and camera device and vehicle-mounted camera device using same Download PDFInfo
- Publication number
- JP2007067714A JP2007067714A JP2005250098A JP2005250098A JP2007067714A JP 2007067714 A JP2007067714 A JP 2007067714A JP 2005250098 A JP2005250098 A JP 2005250098A JP 2005250098 A JP2005250098 A JP 2005250098A JP 2007067714 A JP2007067714 A JP 2007067714A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- signal
- correction
- camera device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 135
- 239000002131 composite material Substances 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims description 166
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000006866 deterioration Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 46
- 238000004364 calculation method Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 238000003705 background correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を用いた画像処理回路およびこれを用いたカメラ装置と車載カメラ装置に関し、特に広角レンズによる画像歪みをカメラモジュール(装置)内で処理し、高解像度、低コスト、高信頼性の画質を得るようにした。 The present invention relates to an image processing circuit using a solid-state imaging device such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), a camera device using the image processing circuit, and an in-vehicle camera device. Processed in the module (device) to obtain high resolution, low cost and high reliability image quality.
カメラモジュールを搭載した車載カメラ(装置)においては、ブラインドコーナー用として左右両方の画像を撮像するために2台必要であった。これを改善するため、最近では車載カメラ装置にプリズムを介して左右両方の画像を表示する方法が特許文献1(特開2001−219783号公報)に開示されている。しかしながら、カメラモジュールを構成する固体撮像素子の画素数が25万画素と少ないことがあり、画像の解像度に問題や、プリズムを介して撮像するカメラ装置であるため用途が限定されたり、カメラ装置の外形サイズが大きくなったりする等の問題があった。
また、特許文献2(特開2004−297405号公報)においては、1台のカメラ装置で車両前方及び左右を撮像可能にした撮像装置(撮像システム)が開示されている。広角レンズとプリズムを組み合わせ、撮像素子をリニアモータ装置により移動させることで車両の走行状況に応じて適した画像を表示できるようにしている。
ただしモータを使うことにより制御が複雑になり、メカ駆動部を有するため高い信頼性が求められ高コスト、形状(大きさ)の増加が避けられない。
Patent Document 2 (Japanese Patent Application Laid-Open No. 2004-297405) discloses an imaging device (imaging system) that enables imaging of the front and left and right sides of a vehicle with a single camera device. A wide-angle lens and a prism are combined, and the image sensor is moved by a linear motor device so that a suitable image can be displayed according to the traveling state of the vehicle.
However, the use of a motor complicates the control, and since it has a mechanical drive unit, high reliability is required and high cost and an increase in shape (size) are inevitable.
従来、歪み補正の処理部をカメラ信号処理LSIに内蔵できなかった問題点は、既存の歪み補正方法では、あまりにも回路規模が膨大になってしまうという事である。
それに対して、特許文献3(特開2004−80545号公報)では、アルゴリズムとアーキテクチャの工夫により画質を維持しつつ適性回路規模まで縮小することを可能とすることが開示されている。
また、従来技術において解決が難しかった理由は、車載カメラの映像伝送はNTSC(National Television System Committee)方式が用いられていて、従来の車載カメラ装置からの映像出力(NTSC信号)を後段の処理ブロックにてAD(アナログ・ディジタル)変換した後、ディジタル信号処理により歪み補正を行い、更にDA(ディジタル・アナログ)変換してNTSC方式のアナログ信号に変換を行いLCD(Liquid Crystal Display)モニタに表示していたことである。
以上のような処理では一度アナログ信号のNTSC方式に変換した後に歪み補正を行うため画質はNTSC信号の帯域制限により劣化する。また、AD変換、DA変換を繰り返すことにより、画質が劣化してしまう問題点がある。
Conventionally, the problem that the distortion correction processing unit could not be built in the camera signal processing LSI is that the circuit scale becomes too large in the existing distortion correction method.
On the other hand, Patent Document 3 (Japanese Patent Application Laid-Open No. 2004-80545) discloses that an image can be reduced to an appropriate circuit scale while maintaining the image quality by devising an algorithm and an architecture.
In addition, the reason why the conventional technique is difficult to solve is that the video transmission of the in-vehicle camera uses the NTSC (National Television System Committee) method, and the video output (NTSC signal) from the conventional in-vehicle camera device is a subsequent processing block. After AD (Analog / Digital) conversion, digital signal processing is used to correct distortion, and DA (Digital / Analog) conversion is converted to NTSC analog signal and displayed on LCD (Liquid Crystal Display) monitor. It was that.
In the processing as described above, since the distortion correction is performed after the analog signal is once converted into the NTSC system, the image quality deteriorates due to the band limitation of the NTSC signal. Further, there is a problem that image quality deteriorates by repeating AD conversion and DA conversion.
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、高画質、高解像度の映像を出力するためには、カメラ装置内で画像(または映像)を歪み補正し、歪み補正した画像(映像)を切り出しカメラ(装置)外部の処理装置でディジタル的に処理した後にNTSC方式に変換することにより、上述したNTSC信号の帯域制限のための画像劣化は生じない画像処理回路およびこれを用いたカメラ装置と車載カメラ装置を提供することにある。 The present invention has been made in view of the above problems, and its purpose is to correct the distortion of an image (or video) in a camera device in order to output a high-quality, high-resolution video, An image processing circuit that does not cause image degradation due to the band limitation of the NTSC signal described above by converting the distortion-corrected image (video) into a NTSC system after digital processing by a processing device outside the camera (device). Another object of the present invention is to provide a camera device and an in-vehicle camera device using the same.
本発明の画像処理回路は、入力画像の輝度信号をディジタル処理する輝度信号処理手段と、前記入力画像の色信号をディジタル処理する色信号処理手段と、前記輝度信号処理手段と色信号処理手段で信号処理された輝度信号と色信号が供給され、画像の歪み補正を行う歪み補正手段と、前記歪み補正手段から出力される輝度信号と色信号からアナログ複合映像信号を発生するエンコーダとを有する。
本発明の画像処理回路は、入力画像の輝度信号をディジタル処理する輝度信号処理手段と、前記入力画像の色信号をディジタル処理する色信号処理手段と、前記輝度信号処理手段と色信号処理手段で信号処理された輝度信号と色信号が供給され、画像の歪み補正を行い、該歪み補正されたディジタル輝度信号と色信号を後段の信号処理手段に出力する歪み補正手段とを有する。
本発明のカメラ装置は、広角レンズと、前記広角レンズを介して画像光信号が入力されるセンサと、前記センサから出力された画像信号をディジタル信号に変換した後、変換された入力画像の歪み補正する画像処理回路と、歪み補正されたディジタル画像信号を映像伝送信号にエンコードするエンコーダとを有する。
本発明の車載カメラ装置は、広角レンズを有し、該広角レンズを介して入力された光信号を受光素子で電気信号に変換して画像信号を生成し、該画像信号の入力画像を画像処理回路で歪み補正し映像伝送信号にエンコードした後、該映像伝送信号を出力することを特徴とする。
The image processing circuit of the present invention includes a luminance signal processing means for digitally processing a luminance signal of an input image, a color signal processing means for digitally processing a color signal of the input image, and the luminance signal processing means and the color signal processing means. The image processing apparatus includes a distortion correction unit that receives signal-processed luminance signals and color signals and corrects image distortion, and an encoder that generates an analog composite video signal from the luminance signals and color signals output from the distortion correction unit.
The image processing circuit of the present invention includes a luminance signal processing means for digitally processing a luminance signal of an input image, a color signal processing means for digitally processing a color signal of the input image, and the luminance signal processing means and the color signal processing means. Signal processing luminance signals and color signals are supplied, image distortion correction is performed, and distortion-corrected digital luminance signals and color signals are output to subsequent signal processing means.
The camera device of the present invention includes a wide-angle lens, a sensor to which an image light signal is input via the wide-angle lens, and a distortion of the converted input image after converting the image signal output from the sensor into a digital signal. An image processing circuit for correction and an encoder for encoding a distortion-corrected digital image signal into a video transmission signal are included.
An in-vehicle camera device of the present invention has a wide-angle lens, converts an optical signal input through the wide-angle lens into an electrical signal by a light receiving element, generates an image signal, and performs image processing on the input image of the image signal After the distortion is corrected by a circuit and encoded into a video transmission signal, the video transmission signal is output.
本発明における画像処理回路およびこれを用いたカメラ装置と車載カメラ装置は、高画質を実現するとともに、カメラ装置の外部に設けられ、このカメラ装置の出力に接続された処理ブロックであるECU(Electrical Control Unit;電子制御ユニット)の負荷を軽減することができる。画像の歪み補正をカメラ装置内のDSP(Digital Signal Processor;ディジタル信号処理装置)で行うことにより、画像の視点を変換することができ、またカメラ装置からの歪み補正された画像を合成して鳥瞰図などが出力できる。
従来はカメラ装置からの出力をNTSC方式等のアナログ信号として伝送し、後段の処理部(ECU)でAD変換を行った後、ディジタル信号としてカメラ装置の歪みを補正し、更にDA変換しアナログ信号のNTSC方式に変換していた。NTSC信号に帯域制限があることと画像データに関しAD変換、DA変換を繰り返すことにより画質が劣化していたが、カメラ装置内部でしかもディジタル的に画像歪み補正することにより、高画質化を実現した。
カメラ装置内部のメモリに予め歪み補正データを記憶することができるため、コマンド通信を行うことは不必要となり、DSPの外部端子の選択で所望のモードに遷移することができる。たとえば、画像の切り出し場所の選択、ズーム範囲、視点の変換、PAN/TILT動作などのモードを外部端子で選択することができる。勿論、通信でモードを変更することも可能である。
また、カメラ装置の出力をアナログ信号出力に加えて、ディジタル信号出力にも対応するようにしたため種々のディジタル処理に適応できる。
An image processing circuit according to the present invention, and a camera device and an in-vehicle camera device using the same realize high image quality and are provided outside the camera device and are ECUs (Electrical) that are processing blocks connected to the output of the camera device. The load on the control unit (electronic control unit) can be reduced. By performing image distortion correction using a DSP (Digital Signal Processor) in the camera apparatus, the viewpoint of the image can be converted, and the distortion-corrected image from the camera apparatus is synthesized to provide a bird's eye view. Etc. can be output.
Conventionally, the output from the camera device is transmitted as an analog signal of the NTSC system, etc., and after AD conversion is performed by a processing unit (ECU) in the subsequent stage, the distortion of the camera device is corrected as a digital signal, and further DA conversion is performed to analog signal It was converted to NTSC system. The image quality deteriorated due to the band limitation of the NTSC signal and repeated AD conversion and DA conversion for the image data, but the image quality was improved by digitally correcting the image distortion inside the camera device. .
Since distortion correction data can be stored in advance in the memory inside the camera device, it is not necessary to perform command communication, and the mode can be changed to a desired mode by selecting an external terminal of the DSP. For example, modes such as selection of an image cutout location, zoom range, viewpoint conversion, and PAN / TILT operation can be selected by an external terminal. Of course, the mode can be changed by communication.
Further, since the output of the camera device is added to the analog signal output and also adapted to the digital signal output, it can be adapted to various digital processing.
図1に実施形態例であるカメラ装置(モジュール)10のブロック構成を示す。
カメラ装置(モジュール)10は、例えば、広角レンズ11、センサ(受光素子)12とカメラ信号処理部20で構成されている。
また、カメラ信号処理部20は、CPU(Central Processing Unit;中央演算装置)21、ROM(Read Only Memory)22、カメラ信号処理回路23、歪み補正回路24、NTSCエンコーダ25などで構成されている。
たとえば車載用カメラ装置としては、図1に示すカメラ装置(モジュール)10が複数台搭載され、必要に応じて、車両の前方、左右あるいは後方などに任意に備えることができる。
カメラ信号処理部20の(カメラ)信号処理回路23は、CDS(相関二重サンプリング)やプリアンプなどを有する前処理部、A/D(アナログ/ディジタル)変換器、補正処理部(回路)、輝度信号処理部と色信号処理部などで構成される。
FIG. 1 shows a block configuration of a camera device (module) 10 according to an embodiment.
The camera device (module) 10 includes, for example, a wide angle lens 11, a sensor (light receiving element) 12, and a camera
The camera
For example, as a vehicle-mounted camera device, a plurality of camera devices (modules) 10 shown in FIG. 1 are mounted, and can be arbitrarily provided at the front, left, right, or rear of the vehicle as required.
The (camera)
広角レンズ11は、被写体(図示せず)の画像(光信号)をセンサ12の撮像面上に投写する。このとき視野角がたとえば180度の場合、画像の周辺部で歪が生じる。そのため、補正する必要がある。
センサ12は、例えば、CCDやCMOSなどからなり、従来の25万画素に対して130万画素などの多画素で構成され、広角レンズ11を透過した画像光信号を電気信号に変換し、画像信号としてCDS(相関二重サンプリング)やプリアンプなどを有するカメラ信号処理回路23に供給する。
センサ12を多画素にすることにより、画像の一部領域を拡大しても画質が劣化されることがなく、画像周辺部の歪み補正後の拡大表示するときに高解像度が得られ高画質を維持することができる。
歪み補正回路24は、カメラ信号処理回路23でディジタル的に信号処理されて出力された、Y(輝度)信号ディジタルデータ(以後、輝度(Y)データと称する)とクロマ(C;色)信号ディジタルデータ(以後、色(C)データと称する)が供給され、リアルタイムの画像歪み補正の信号処理が行われる。この動作に関する説明は後述する。
歪み補正回路24から出力されたYデータとC(色)データはたとえばNTSCエンコーダ25に入力され、同期信号と合成されたアナログコンポジット信号またはコンポーネント信号が出力される。
これ以外に、歪み補正回路24から、ディジタル信号のYデータとCデータを直接出力し、後段でディジタル信号処理できるようにしている。
また、カメラ装置(10)内部のメモリに予め歪み補正データを記憶することができるため、コマンド通信を行うことは不必要となり、ディジタル信号処理装置(DSP)の外部端子の選択で所望のモードに遷移することができる。カメラ装置(10)にCPUを備えているので、このCPUによりコマンド通信できることは勿論のことである。
The wide-angle lens 11 projects an image (light signal) of a subject (not shown) on the imaging surface of the
The
By increasing the number of pixels in the
The
The Y data and C (color) data output from the
In addition, the Y data and C data of the digital signal are directly output from the
Further, since distortion correction data can be stored in advance in the memory inside the camera device (10), it is not necessary to perform command communication, and a desired mode can be set by selecting an external terminal of the digital signal processing device (DSP). Transition is possible. Since the camera device (10) includes a CPU, it is of course possible to perform command communication using this CPU.
図2にECU(Electrical Control Unit;電子制御ユニット)50のブロック構成を示す。このECU50はカメラ装置(モジュール)10の外部に備えられ、カメラ装置10の出力端子に接続されている。たとえば車載カメラ装置(システム)の場合、カメラ装置10を車両のフロントに備え、ケーブルなどを介して車内に備えられたECU50に接続し、ECU50で処理された画像をモニタを介して表示するようにしている。
ECU50は、カメラインターフェース51、画像ASIC52、CPU54、画像メモリ55、データメモリ56、モニタインターフェース53などで構成される。
カメラインターフェース51は上述したカメラ装置10の出力に接続され、また不図示の複数のカメラ装置(カメラ1〜カメラN)の出力とも接続できるようにされていて、複数の画像信号が任意に取り入れられる。
このカメラインターフェース51の入力端子には、ディジタル信号の場合は図2に示すカメラ後処理ユニット140のディジタルI/F145からディジタルデータが供給され、アナログ信号の場合はD/A変換器144でアナログ信号に変換されたアナログコンポジット信号が供給される。
そして、カメラ(装置)1,・・・,カメラNからの画像が切り替えられ、または任意に複数台選択されて後段の画像ASIC52に出力される。
画像ASIC52で画像処理するとき、CPU54で制御して画像メモリ55に画像データを記憶し、記憶した画像データあるいはその他のデータを読出し、またデータメモリ56へのデータの書込み、読み出しも行う。画像ASIC52は、CPU54の制御によりこれらのデータを用いて、画像の切り出し、合成、文字情報のスーパーインポーズなどの画像処理を行う。
例えば、カメラ(装置)1,・・・,カメラNの中で選択されたカメラ1からの画像データがカメラインターフェース51を介して画像ASIC52に入力されると、CPU54でその入力された画像データを画像メモリ55に記憶し、この画像データとデータメモリ56から文字、または図形データを読み出し合成する。具体例として、車両のリアに備えつけられたカメラ装置で撮影した画像をカメラ信号処理部20で歪み補正し画像メモリ55に記憶し、この画像に対してデータメモリ56から読み出した車両の後退(バック)軌跡のデータや文字情報を画像ASIC52で合成して、モニタインターフェース53を介して車内前方のモニタに表示する。したがって、車両の後退方向を車両内に備え付けられたモニタの表示画像で確認できるので車の安全運転に寄与できる。
FIG. 2 shows a block configuration of an ECU (Electrical Control Unit) 50. The ECU 50 is provided outside the camera device (module) 10 and is connected to an output terminal of the
The ECU 50 includes a camera interface 51, an image ASIC 52, a
The camera interface 51 is connected to the output of the
In the case of a digital signal, digital data is supplied to the input terminal of the camera interface 51 from the digital I /
Then, the images from the cameras (devices) 1,..., Camera N are switched, or a plurality of images are arbitrarily selected and output to the
When image processing is performed by the
For example, when image data from the camera 1 selected from the cameras (devices) 1,..., Camera N is input to the
図3にカメラ信号処理部20(100)に関する詳細なブロック図を示す。
カメラ信号処理部100は、カメラ前処理ユニット110、歪み補正ユニット(回路)130、カメラ後処理ユニット140、同期分離ユニット150、クロック発生回路161、CPU162などで構成されている。
ここでは歪み補正ユニット130はカメラ後処理ユニット140の周波数変換回路141の前に構成されているが後でもよく、その接続位置は図3の構成に限定されない。
FIG. 3 shows a detailed block diagram regarding the camera signal processing unit 20 (100).
The camera
Here, the
センサ12から出力された画素信号はサンプルホールドされて必要な画素信号が取り出され、この画素信号は適正なレベルに合わせるためにゲインコントロール(AGC)が行われ、A/D変換器に供給される。
不図示のA/D変換器は、画素信号を取り扱うため、10〜12Bits精度のものが採用され、アナログ信号からディジタル信号に変換し、ディジタル信号を後段のカメラ前処理ユニット110に出力する。
The pixel signal output from the
An A / D converter (not shown) has a 10 to 12-bit accuracy to handle pixel signals, converts an analog signal to a digital signal, and outputs the digital signal to the
カメラ前処理ユニット110は、ディジタルAGC(Automatic Gain Control;自動利得制御)111、シェーディング補正112、画素の欠陥補正113、光学黒レベル検出114で構成される前処理部と、Y−LPF(輝度信号ローパスフィルタ)/クランプ115、輪郭補正116、ガンマ(γ)補正117で構成される輝度信号処理部と、C−LPF(クロマローパスフィルタ)/クランプ(処理部)118、RGB Matrix(RGBマトリックス)119、ホワイトバランス(WB)/ガンマ(γ)補正120、Hue/Gain調整121、Cr/Cb(色差信号)生成(回路)122で構成される色信号処理部の3つのブロックで構成され、かつディジタル信号処理が行われる。以後各処理部で取り扱うディジタル信号を単にデータと称することとする。
The
前処理部では、光学黒レベルの検出、ディジタルゲイン調整(Digital Gain Control)、広角レンズ11で生じるシェーディングの補正や遅延線を用いて画素欠陥の補正を行う。
輝度信号処理部はY(輝度)信号の垂直・水平(方向)輪郭補正(VHアパーチャーコントロール)、Y輝度信号と垂直・水平輪郭補正信号のMix(混合;加算)処理、γ(ガンマ)補正などの種々の画像処理を行う。
色信号処理部は、色分離やクランプ処理、色信号のノイズや色偽信号の除去、RGBマトリックス(Matrix)処理、R,G,Bの各色の係数を可変するホワイトバランス(WB)調整、γ(ガンマ)補正、R−G/B−G変換、色偽信号の抑圧処理、Hue/Gain調整、色差信号(Cr/Cb)の生成などを行う。
また、CPU162により、カメラ前処理ユニット110のホワイトバランス調整、Hue/Gain調整、ガンマ補正の設定、歪み補正回路130の画像の切り出し領域、メモリのコントロールやカメラ後処理ユニット140のアナログコンポジット信号出力とディジタルRGB信号(等)出力の切り替え、周波数変換の周波数設定などをバス(B1〜B7)を介して制御するようにしている。
CPU162は、歪み補正回路130に制御信号を供給して、通常の画像の歪み補正の制御を行う以外に歪み補正した画像の任意の領域を切り出し、また任意の領域をズーム処理して拡大画像を生成して、歪み補正できるようにしている。さらに広角レンズで取り入れられた後、歪み補正された画像を基にPAN/TILT処理を電子的に処理できるようにしている。このCPU162は入出力端子によりUART通信や、メモリ(EEPROM)やセンサI/Fとのデータの授受を行う。
In the preprocessing unit, optical black level detection, digital gain control (digital gain control), shading correction generated in the wide-angle lens 11 and pixel defect correction are performed using a delay line.
Luminance signal processing unit performs Y (luminance) signal vertical / horizontal (direction) contour correction (VH aperture control), Y luminance signal and vertical / horizontal contour correction signal Mix (mixing; addition) processing, γ (gamma) correction, etc. Various image processing is performed.
The color signal processing unit includes color separation and clamping processing, removal of color signal noise and color false signals, RGB matrix (Matrix) processing, white balance (WB) adjustment for varying coefficients of R, G, and B colors, γ (Gamma) correction, RG / BG conversion, color false signal suppression processing, Hue / Gain adjustment, color difference signal (Cr / Cb) generation, and the like are performed.
Further, the
The
図3に本発明の実施形態例であるカメラ前処理ユニット110、歪み補正回路130、カメラ後処理ユニット140のブロック構成を示す。カメラ前処理ユニット110において、光学黒レベル(OB;Optical Black)検出器114はA/D変換器から出力されたデータ(ADout)を用いて、入力データ(信号)の黒レベルを計算し、クランプレベルを計算するためのデータを出力する。
不図示の加算器で、入力データ(ADout)から黒レベルを減算処理し、黒レベルを基準とした(黒レベルにクランプされた)新たな画素データを生成する。
ディジタルゲイン調整(AGC)111は、加算器から出力された黒レベルにクランプされたデータのレベルをディジタル的に可変して明るさを調整している。
シェーディング補正112は、広角レンズ11の口径により画像の中心部に対して周辺部は輝度の差(ムラ)があり、この輝度ムラを補正するようにしている。
欠陥補正113は、遅延線と演算(加算・減算)器を用いて、例えば入力データを遅延させ、この遅延した画素値を用いて欠陥画素の前後の平均化した値を求め、欠陥画素と置換して、画素の欠陥補正を行っている。
FIG. 3 shows a block configuration of a
An adder (not shown) subtracts the black level from the input data (ADout) to generate new pixel data based on the black level (clamped to the black level).
The digital gain adjustment (AGC) 111 adjusts the brightness by digitally changing the level of the data clamped at the black level output from the adder.
In the shading correction 112, there is a luminance difference (unevenness) in the peripheral portion with respect to the central portion of the image due to the aperture of the wide-angle lens 11, and this unevenness in luminance is corrected.
The
欠陥補正113で欠陥補正され、さらに輝度信号と色信号に分離されたデータはそれぞれ輝度信号処理部(Y−ブロック)と色信号処理部(C−ブロック)に供給される。
The data corrected by the
輝度信号処理部(Y−ブロック)において、Y−LPF/クランプ115は、輝度データを加算演算処理して、等価的にノイズを除去している。また輝度データの黒レベルを所定のレベルにクランプする。
輪郭補正(垂直・水平輪郭補正;VHアパーチャーコントロール)116は、遅延素子と加算・減算処理する演算器を用いて、画像の水平方向の輪郭部を強調するパルスを生成し、また画像の垂直方向の輪郭部を強調するパルスも生成する。
不図示の輪郭補正加算器で、垂直・水平輪郭補正(116)から出力された水平方向の輪郭補正パルスと垂直方向の輪郭補正パルスと、Y−LPF(115)から供給された輝度データが供給され、加算処理がされて輪郭が強調された輝度データが出力される。
ガンマ(γ)補正117は、たとえば表示装置をCRT(Cathode Ray Tube;受像管)とすると、このCRTのγ特性が2.2であるので、あらかじめ撮像側で1/γ=0.45と入出力特性のカーブを補正して、CRT側で画像の階調が正しく再現されるようにし、正しい再生画像が得られるようにしている。このガンマ補正された輝度データ(Y)は後段の歪み補正回路130に出力される。
In the luminance signal processing unit (Y-block), the Y-LPF /
A contour correction (vertical / horizontal contour correction; VH aperture control) 116 uses a delay element and an arithmetic unit for addition / subtraction processing to generate a pulse for emphasizing a horizontal contour portion of the image, and also in the vertical direction of the image. A pulse for emphasizing the contour portion of is also generated.
A contour correction adder (not shown) supplies the horizontal contour correction pulse and the vertical contour correction pulse output from the vertical / horizontal contour correction (116) and the luminance data supplied from the Y-LPF (115). Then, the luminance data with the contour enhanced is output by the addition process.
For example, when the display device is a CRT (Cathode Ray Tube), the gamma (γ)
次に色信号処理部(C−ブロック)について説明する。
色信号処理部は、色(クロマ)信号ローパスフィルタ(C−LPF)/クランプ118、RGB Matrix(RGBマトリックス)119、ホワイトバランス(WB)調整/ガンマ(γ)補正120、Hue(色相制御)/Gain(ゲイン)調整121、Cr/Cb生成(回路)122などで構成される。
欠陥補正113から出力された画像信号(データ)は色信号処理部のC−LPF/クランプ118に供給される。
C−LPF/クランプ118のクロマ信号ローパスフィルタ(C−LPF)は、たとえばディジタルローパスフィルタで構成され、色分離された信号の偽色信号やノイズの除去を行っている。また色データはクランプ(118)で所定の値にクランプされる。
RGB Matrix(RGBマトリックス)119は、C−LPF/クランプ118からの出力データを演算処理してR,G,Bの3原色データを求め、ホワイトバランス(WB)調整/γ補正120に出力する。
ホワイトバランス(WB)調整(120)は、R(赤),G(緑),B(青)の色信号(データ)に所定の係数を掛けて、目標の色温度に対する白色を設定するようにしている。ホワイトバランスのとれた色データをガンマ補正(120)に出力し、そこで表示装置に応じた入出力特性に変換される。
Hue/Gain調整121は、色相を可変しまた利得を可変して色データの調整を行う。
Cr/Cb生成122は、Hue/Gain121で色相と利得が調整された色データからR−YとB−Yの色差信号を発生する。ここで、Cr=R−Y,Cb=B−Y(Yは輝度信号)である。この色差信号(C)が次段の歪み補正回路130に出力される。
Next, the color signal processing unit (C-block) will be described.
The color signal processing unit includes a color (chroma) signal low-pass filter (C-LPF) /
The image signal (data) output from the
The chroma signal low-pass filter (C-LPF) of the C-LPF /
The RGB Matrix (RGB matrix) 119 calculates the output data from the C-LPF /
In the white balance (WB) adjustment (120), the R (red), G (green), and B (blue) color signals (data) are multiplied by a predetermined coefficient to set the white color for the target color temperature. ing. The color data with white balance is output to gamma correction (120), where it is converted into input / output characteristics according to the display device.
The hue /
The Cr /
色信号処理部に色データが入力されると、C−LPF/クランプ118で、色データより高域の周波数成分を除去し、ノイズと色偽信号を除去する。
ノイズと色偽信号が除去された色データはRGBマトリックス119でR,G,Bの3原色信号が求められ、ホワイトバランス(WB)調整/γ補正120でホワイトバランス調整し、ガンマ補正(120)で色信号に関するガンマ(γ)補正を行う。またホワイトバランス(WB)調整(120)から出力されたデータは不図示の色信号オプティカルディテクタに出力され、そこで色データのレベルが検出される。この検出された色データを不図示のAE(自動露光)/AWB(自動ホワイトバランス調整)に供給してコンピュータまたは演算装置でソフトウエアー処理により、色信号(データ)に対する色温度を求め、また目標(白)色温度に対する各色の補正係数を計算し、そのデータをホワイトバランス(WB)調整(120)にフィードバックして自動的にホワイトバランスの調整を行う。
When the color data is input to the color signal processing unit, the C-LPF /
Color data from which noise and color false signals have been removed is obtained as R, G, B three primary color signals by the
ホワイトバランス調整された色データがガンマ補正され、さらにHue/Gain調整される。次に、不図示のR−G/B−G変換回路でR,G,Bの色データからR−G/B−Gの変換を行い、また色偽信号の抑圧処理を行う。そして、Cr/Cb生成122でR−G/B−G変換で発生されたR−GとB−Gデータを用いてCr=R−YとCb=B−Yの色差信号の色データを生成する。
輝度Yデータは、
Y=0.30R+0.59G+0.11B ・・・(1)
と表されるので、
Cr=R−Y=0.70(R−G)−0.11(B−G)・・・(2)
Cb=B−Y=0.89(B−G)−0.30(R−G)・・・(3)
と変形できる。すなわち、Cr,Cbの色差信号は、R−GとB−Gの色データを用いて式(2),(3)から求めることができる。そして、この色差信号が輝度信号Yと共に歪み補正回路130に出力される。
The white balance adjusted color data is gamma-corrected and further subjected to Hue / Gain adjustment. Next, an RG / BG conversion circuit (not shown) converts RG / BG from the R, G, B color data, and suppresses the color false signal. Then, using the RG and BG data generated by the RG / BG conversion in the Cr /
Luminance Y data is
Y = 0.30R + 0.59G + 0.11B (1)
It is expressed as
Cr = R−Y = 0.70 (RG) −0.11 (B−G) (2)
Cb = B−Y = 0.89 (B−G) −0.30 (R−G) (3)
And can be transformed. That is, the Cr and Cb color difference signals can be obtained from the equations (2) and (3) using the RG and BG color data. The color difference signal is output to the
次に、図2の歪み補正回路130のブロック構成を図4に示す。
歪み補正回路200は、水平方向変換回路201、垂直方向変換回路202、水平処理用の画像メモリ(フィールドメモリ)203、歪み補正パラメータデコーダ205、歪み補正パラメータエンコーダ206、垂直処理用の画像メモリ(FIFO;ファイフォメモリ)204、垂直方向の歪み補正パラメータデコーダ207、垂直方向の歪み補正パラメータエンコーダ208などで構成されている。
水平方向変換回路201は、不図示のデータ書込み部、データ取得部、補完位相・入力データ座標計算部、補正係数生成部、データ補間計算部や、ラインメモリと、ラインメモリの出力ノードに直列接続されたレジスタと、各レジスタから出力されたデータと対応する補間係数とを乗算する乗算回路と、この乗算回路により得られたデータを加算する加算回路などで構成される。
水平方向変換回路201に入力された画像データは書き込み制御信号と共に画像メモリ(フィールドメモリ)203へ書き込まれる。
読み出し制御信号を水平処理用の画像メモリ203へ供給することにより、歪み補正パラメータデコーダ205から供給されるx方向用の補正量パラメータ(Xm)に応じて、水平方向に並ぶ画像データを補間用データ(補正前の画像データ)として取得する。
そして、補間係数生成部から供給される補間係数を用いて水平方向の1次元補間演算を実行し、画像メモリ204にこの演算結果が格納される。
画像メモリ(フィールドメモリ)203は、水平方向変換回路201を介して輝度データや色データで構成される入力画素が供給され、水平方向の歪みを補正するために用いられる。
画像メモリ(FIFOメモリ)204は、水平方向の歪み補正された画像データが供給され、垂直方向変換回路202で歪み補正演算するために用いられる。この画像メモリ204は垂直方向の歪みを補正するために必要な最小限ライン数に渡るデータを記憶できる容量が必要であり、また後段に設けられるバッファ容量に供給される出力同期信号の周波数に応じて決定される。
Next, FIG. 4 shows a block configuration of the
The
The horizontal
The image data input to the horizontal
By supplying the read control signal to the
Then, a horizontal one-dimensional interpolation calculation is executed using the interpolation coefficient supplied from the interpolation coefficient generation unit, and the calculation result is stored in the
An image memory (field memory) 203 is supplied with input pixels composed of luminance data and color data via a horizontal
An image memory (FIFO memory) 204 is supplied with image data that has been subjected to distortion correction in the horizontal direction, and is used by the vertical
歪み補正パラメータデコーダ205(207)は、補正パラメータの水平方向変換回路201への読出しに必要な格子を決定し、水平方向変換回路201から供給された座標をこの格子に応じて正規化する。この格子を用いて歪み補正パラメータエンコーダ206から供給された補正ベクトルを水平方向変換回路201(垂直方向変換回路202)へ供給する。
歪み補正パラメータエンコーダ206(208)は、広角レンズ11の歪曲収差に関するデータなどから、全画素の各位置に応じた補正ベクトルを予め計算する。
また、全画素点の補正ベクトルを区分毎に分割するための格子線を決定する。格子分割方法には、所定の領域をx方向及びy方向において均等に分割する均等分割方法と、各格子の幅が2のべき乗となるように分割するべき乗分割方法と、最適分割位置において分割する最適分割方法とがある。また、ユーザインターフェースから格子分割方法を指定するとともに格子分割数を指定し、指定された分割方法に従って表示画像を指定された分割数に分割する。
垂直方向変換回路202、歪み補正パラメータデコーダ207や歪み補正パラメータエンコーダ208も水平方向に関する機能と同様である。
The distortion correction parameter decoder 205 (207) determines a grid necessary for reading the correction parameters to the horizontal
The distortion correction parameter encoder 206 (208) calculates in advance a correction vector corresponding to each position of all pixels from data relating to the distortion aberration of the wide-angle lens 11.
In addition, lattice lines for dividing the correction vectors of all pixel points for each section are determined. The grid division method includes an equal division method that divides a predetermined region equally in the x direction and the y direction, a power division method that divides each grid so that the width of each grid is a power of 2, and division at an optimal division position. There is an optimal division method. In addition, a grid division method is designated from the user interface and a grid division number is designated, and the display image is divided into a designated division number according to the designated division method.
The vertical
歪み補正回路200の動作について説明する。
水平方向変換回路201へ入力された画像データは、水平方向変換回路201のデータ書き込み制御部によって書き込み制御信号と共に画像メモリ(フィールドメモリ)203へ供給され、この書き込み制御信号に応じて画像メモリ203に書き込まれる。
このとき、水平方向変換回路201のデータ取得部は読み出し制御信号を水平処理用の画像メモリ203へ供給することにより、歪み補正パラメータデコーダ205から供給されるx方向用の補正量パラメータ(Xm)に応じて、画像メモリ203から水平方向に並ぶ画像データを補間用データ(補正前の画像データ)として取得する。
そして、水平方向変換回路201のデータ補間計算部で補間係数生成部から供給された補間係数を用いて水平方向の1次元補間演算を実行し、垂直方向変換回路202を介して垂直処理用の画像メモリ204にこの演算結果を格納する。
たとえば補正後の画像において、x座標が2.0の点に位置するデータの補正量パラメータXmを1.25とする。その結果、補正前の画像における該点の対応点のx座標は、この2.0に補正量パラメータXmを加算して3.25と求められる。このとき、x座標(3.25)の整数成分(3)が補正前の画像における該データのアドレスを示し、0.25が補間位相を示す。従って、補正後の画像におけるx座標が2.0の点の輝度信号は、補正前の画像において3近傍のxアドレスを有する複数の連続データを対象とし、水平補間フィルタの位相を0.25とした1次元補間演算により求められることになる。
The operation of the
The image data input to the horizontal
At this time, the data acquisition unit of the horizontal
Then, the data interpolation calculation unit of the horizontal
For example, in the corrected image, the correction amount parameter Xm of the data located at the point where the x coordinate is 2.0 is set to 1.25. As a result, the x coordinate of the corresponding point of the point in the image before correction is obtained as 3.25 by adding the correction amount parameter Xm to 2.0. At this time, the integer component (3) of the x coordinate (3.25) indicates the address of the data in the image before correction, and 0.25 indicates the interpolation phase. Therefore, the luminance signal at the point where the x coordinate is 2.0 in the image after correction is for a plurality of continuous data having x addresses near 3 in the image before correction, and the phase of the horizontal interpolation filter is 0.25. It is obtained by the one-dimensional interpolation operation.
次に、垂直方向変換部202では、データ取得部が歪み補正パラメータデコーダ207から供給されるy方向用の補正量パラメータYmに応じて、垂直処理用の画像メモリ(FIFOメモリ)204から垂直方向に並ぶ画像データを補間用データ(補正前の画像データ)として取得する。そして、補間係数生成部から供給された補間係数を用いて垂直方向の1次元補間演算を実行し、出力データバッファを介して出力同期信号に応じてこの演算結果を出力する。
なお、上記のように、水平方向変換回路201及び垂直方向変換回路202により実行される補間演算は1次元補間演算の簡易な回路により実現されるため、2次元補間演算では難しい高次タップのフィルタによる演算が容易に実現できることから、より高画質な画像を得ることができる。
Next, in the vertical
As described above, the interpolation calculation executed by the horizontal
すなわち、歪みを持った原画像を補正する歪み補正回路は、水平方向の歪み補正で、原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて原画像に対し1次元補間演算を施すことにより、原画像の水平方向における歪みを補正する。
また垂直方向歪み補正は水平方向の歪み補正により得られた画像を用いて、原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた1次元補間演算を施すことにより、原画像の垂直方向における歪みを補正するようにした。
したがって、歪み補正回路は、水平方向の歪み補正では原画像の水平方向に1次元補間演算を施し、垂直補正手段は該原画像の垂直方向に1次元補間演算を施すため、低コストでリアルタイムに原画像の歪みを補正することができる。
That is, a distortion correction circuit that corrects an original image having distortion uses a horizontal correction parameter that indicates a horizontal correction amount at a pixel point constituting the original image in the horizontal distortion correction, and performs one-dimensional processing on the original image. By performing an interpolation operation, the distortion in the horizontal direction of the original image is corrected.
In addition, the vertical distortion correction uses an image obtained by horizontal distortion correction, and performs a one-dimensional interpolation operation using a vertical correction parameter indicating a vertical correction amount at a pixel point constituting the original image. The distortion in the vertical direction of the original image was corrected.
Therefore, since the distortion correction circuit performs one-dimensional interpolation calculation in the horizontal direction of the original image in horizontal distortion correction, and the vertical correction means performs one-dimensional interpolation calculation in the vertical direction of the original image, it is possible to reduce the cost in real time. The distortion of the original image can be corrected.
また、上記においては、水平方向の1次元補間演算を実行した後に垂直方向の1次元補間演算を実行する実施の形態を説明したが、逆に垂直方向の1次元補間演算を先に実行し、その後に水平方向の1次元補間演算を実行するようにしても良い。 In the above description, the embodiment in which the one-dimensional interpolation calculation in the vertical direction is executed after the one-dimensional interpolation calculation in the horizontal direction has been described. Conversely, the one-dimensional interpolation calculation in the vertical direction is executed first, Thereafter, one-dimensional interpolation calculation in the horizontal direction may be executed.
次に、図3に示すカメラ後処理ユニット140は周波数変換回路141、フィルタ(Filter)142、ディジタルエンコーダ143、D/A(ディジタル/アナログ)変換器144とディジタルI/F(インターフェース)145などで構成されている。
周波数変換回路141は、歪み補正回路130などで信号処理に用いられた動作クロックを後段の映像信号の動作クロックに変換する。たとえばNTSC信号の場合、歪み補正回路130で演算処理動作に用いられた動作クロックを4fsc(クロマ周波数の4倍のクロック周波数)に変換し、後段の画像処理と同じクロック周波数にしてECUなどのシステムに適応するようにしている。
フィルタ(Filter)142は、周波数変換回路141で周波数を可変(下げた)したので、その際に生じる高調波成分を除去する。
ディジタルエンコーダ143は、輝度データと色データ(色差信号)を用いて、同期信号などを付加してたとえばNTSC方式のディジタルコンポジット信号を生成する。勿論、PAL、SECAM方式の映像信号にエンコードしても良い。
D/A(ディジタル/アナログ)変換器144は、ディジタルコンポジット信号をアナログコンポジット信号に変換して、アナログ表示装置と接続して画像表できるようにしている。
ディジタルI/F(インターフェース)145は、ディジタルR,G,Bデータなどを出力し、後段でディジタル信号処理などを行うためのインターフェースを行う。
歪み補正された輝度データと色データが後処理ユニットに供給されると、CPU162で設定されたクロック周波数を用いて、ECUに出力するための後処理が行われる。
3 includes a
The
Since the
The
A D / A (digital / analog)
The digital I / F (interface) 145 outputs digital R, G, B data and the like, and performs an interface for performing digital signal processing and the like in the subsequent stage.
When luminance data and color data whose distortion has been corrected is supplied to the post-processing unit, post-processing for outputting to the ECU is performed using the clock frequency set by the
次にカメラ後処理ユニットの動作を説明する。CPU162からバスB7,B1,B6などを介して制御信号(またはデータ)が周波数変換回路141に供給されると、その制御信号(またはデータ)に応じて入力画像データ(Y、Cデータ)の駆動(クロック)周波数が設定され、入力された輝度データや色データが新たに設定されたクロックで駆動される。画像データを周波数変換することによって発生した基本クロック周波数以外のたとえば高調波がシステムに対する妨害波となりシステムに悪影響を及ぼすのでフィルタ142で除去する。
ディジタル輝度データと色データがディジタルエンコーダ143で演算処理され、同期信号などを付加したコンポジットディジタル信号が発生し、D/A変換器144でアナログ信号に変換されてたとえば後段のECUなどに出力される。また、フィルタ142から出力されるディジタル輝度データと色データはディジタルI/F(インターフェース)を介してディジタルR(赤),G(緑),B(青)データや、その他ディジタル信号Y/Cr/Cb(ITU−RBT656/601標準フォーマット)が出力される。
Next, the operation of the camera post-processing unit will be described. When a control signal (or data) is supplied from the
Digital luminance data and color data are arithmetically processed by the
次に、他の実施形態例である車載カメラ装置(システム)300を図5に示す。
図5(A)の車載カメラ装置300は、車両301のフロント(前方)にカメラ(装置)1、左右にカメラ2,3さらにリア(後方)にカメラ4が備えてある。
カメラ(装置)1の出力は車両301の内部、たとえば運転席前部に備え付けられたECU302(50)のカメラインターフェース501入力に接続され、またこれ以外のカメラ2〜カメラ4も同様にECU302のカメラインターフェース501に接続される。
カメラ(装置)1〜カメラ4は、たとえば図1に示した構成であって、広角レンズ11を用い、たとえば180度の視野角の映像(画像)を取り込み、この広角レンズ11による画像歪みを補正してECU302に出力する。
車両301のフロントに備え付けられたカメラ(装置)1の画像取り込み角度はaで示す範囲であり、広角のため画像の周辺部は歪む。同様にカメラ2はbの角度、カメラ3はcの角度そしてカメラ4はdの角度の範囲の画像をそれぞれ取り込み、これらの取り込んだ画像をECU302に出力する。この結果、車両301の前方、左右、後方の360度(全方位)の画像をECUに302取り込むことができる。広角レンズ11を用いているため、(狭角)レンズあるいはプリズムなどを機械的に駆動して移動、回転などを行う必要がない。
各カメラ(装置)1〜カメラ4は上述したように歪み補正回路を内蔵したので、画像の周辺領域などを補正し正視した場合の画像が得られる。この歪み補正した画像がECU302に転送され、必要に応じてこれらの画像を選択して、またはこれらの画像全てを用いて合成する。そして、この合成された画像を車両内のモニタに表示する。
Next, an in-vehicle camera device (system) 300 as another embodiment is shown in FIG.
5A includes a camera (device) 1 on the front (front) of a
The output of the camera (device) 1 is connected to the input of the camera interface 501 of the ECU 302 (50) provided inside the
The camera (device) 1 to the camera 4 have the configuration shown in FIG. 1, for example, and use a wide-angle lens 11 to capture a video (image) with a viewing angle of 180 degrees, for example, and correct image distortion caused by the wide-angle lens 11. And output to the
The image capturing angle of the camera (device) 1 provided at the front of the
Since each of the cameras (devices) 1 to 4 has a built-in distortion correction circuit as described above, it is possible to obtain an image when the peripheral area of the image is corrected and viewed normally. The distortion-corrected images are transferred to the
図5(B)に各カメラ(装置)1〜カメラ4で撮影した画像を車両内のモニタに表示した例を示す。図5(B)の補正画像1は図5(A)に示したカメラ1で撮影した画像に対応し、広角レンズ11による画像歪みが補正された補正後の画像が表示され、以下同様にカメラ2は補正画像2、カメラ3は補正画像3そしてカメラ4は補正画像4にそれぞれ対応している。
このように、車両301を基準に全方位の画像をあたかも正面からみたようにモニタで1度に表示する、いわゆる鳥瞰図を生成することにより全方位を確認することができ、しかも従来画像の周辺部が歪んで見にくいことを解消できる。また歪み補正回路を各カメラ(装置)1〜カメラ4に内蔵し、カメラ装置の外部のECU302内に構成しないので、ECU回路構成を簡素にすることができこれに伴ってコストを削減することができる。
FIG. 5B shows an example in which images taken by the cameras (devices) 1 to 4 are displayed on a monitor in the vehicle. The corrected image 1 in FIG. 5B corresponds to the image photographed by the camera 1 shown in FIG. 5A, displays a corrected image in which image distortion by the wide-angle lens 11 is corrected, and so on. 2 corresponds to the corrected
As described above, the omnidirectional image can be confirmed by generating a so-called bird's-eye view that displays the omnidirectional image at a time as if viewed from the front, with the
図6に他の実施形態例を示す。従来2台カメラ装置を用いてあるいは1台のカメラ装置でプリズムを用いて車両の前方(左前、右前)を表示していた。これに対して、上述したように広角レンズと歪み補正回路を有する1台のカメラ装置を車両のフロントに備えた例を図6に示す。
カメラ装置で撮影された歪み補正する前の画像を模式的に図6(A)に示す。広角レンズを用いているため、破線で囲んである画像の左右周辺領域eとfは歪んでいる。この領域e,fについてカメラ装置内に設けた信号処理部の歪み補正回路で画像ひずみ補正して、それぞれの画像を抜き出し、ECUで合成または別々に表示した例を図6(B),(C)に示す。
このように1台のカメラ装置で車両の左右前方をあたかも正視した画像として表示することができる。また、センサ12にたとえば130万画素の多画素のもの用いることにより撮影した画像の一部領域を拡大表示しても画素数が多いと画質が劣化することはない。その結果、従来見にくかった領域をさらに見易くすることができる。
FIG. 6 shows another embodiment. Conventionally, the front (left front, right front) of the vehicle is displayed using two camera devices or using a prism in one camera device. On the other hand, FIG. 6 shows an example in which one camera device having a wide-angle lens and a distortion correction circuit is provided at the front of the vehicle as described above.
FIG. 6A schematically shows an image taken by the camera device before distortion correction. Since a wide-angle lens is used, the left and right peripheral areas e and f of the image surrounded by the broken line are distorted. An example in which the image distortion is corrected by the distortion correction circuit of the signal processing unit provided in the camera device for the areas e and f, the respective images are extracted, and synthesized or separately displayed by the ECU is shown in FIGS. ).
In this way, the left and right front of the vehicle can be displayed as if they were viewed straight from one camera device. Further, even if a partial area of a photographed image is enlarged and displayed by using a
図7に他の実施形態例である車載カメラ装置について示す。
図7の車載カメラ装置は、車両の左(右)サイドに1台のカメラ装置が設置され、しかもカメラ(装置)にズーム機構と歪み補正の機能を有している。
図7(A)はズームなしのとき広角レンズから取り込んだ画像を示す。図7(A)の左周辺部(リア;左後方)とフロント(左前方)の画像は歪んでいて、しかも対象物である車両の形状などが小さく表示されている。図7(B)では、広角レンズを用いて、リア(左後)方向にズームして左周辺部の車両の位置を拡大し、その画像を歪み補正した図である。また図7(C)も同様に、車両の左前方(フロント)をズーム拡大して撮影した画像の一部を歪み補正した図である。
図7(A)でリア方向の小さくしかも左周辺部の歪んで見にくかった画像が、図7(B)に示す拡大されさらに画像歪が補正された画像として表示されている。そのため、対象物や距離間をズーム前の画像と比較してより正確に把握できる。
また、図7(C)に示すように、車両の左前方のフロント部が大きく、歪みのない画像が得られるので対象物をより正確に把握することができ、また車両と対象物間の距離を従来と比較してより正確に把握することができる。
このように、カメラに広角レンズとズーム機構を備えかつ画像歪み補正を備えることにより、たとえば車載とした場合、1台のカメラで車両の前後を正確に撮像できる。
FIG. 7 shows an in-vehicle camera device as another embodiment.
In the in-vehicle camera device of FIG. 7, one camera device is installed on the left (right) side of the vehicle, and the camera (device) has a zoom mechanism and a distortion correction function.
FIG. 7A shows an image captured from a wide-angle lens without zooming. The left peripheral part (rear; left rear) and front (left front) images in FIG. 7A are distorted, and the shape of the vehicle as the object is displayed small. FIG. 7B is a diagram in which a wide-angle lens is used to zoom in the rear (left rear) direction to enlarge the position of the vehicle in the left peripheral portion and the image is corrected for distortion. Similarly, FIG. 7C is a diagram in which a part of an image captured by zooming in on the front left side (front) of the vehicle is corrected for distortion.
The image that is small in the rear direction and difficult to see in the left peripheral portion in FIG. 7A is displayed as an enlarged and further corrected image distortion shown in FIG. 7B. For this reason, the distance between the object and the distance can be grasped more accurately than the image before zooming.
Further, as shown in FIG. 7C, the front left part of the vehicle is large, and an image without distortion can be obtained, so that the object can be grasped more accurately, and the distance between the vehicle and the object is obtained. Can be grasped more accurately than in the past.
Thus, by providing the camera with a wide-angle lens and a zoom mechanism and with image distortion correction, for example, when mounted on a vehicle, the front and rear of the vehicle can be accurately imaged with a single camera.
図8に他の実施形態例である車載カメラ装置の例を示す。
車両のリアに広角レンズと歪み補正処理機能を有するカメラ装置を取り付けたときの画像例を示す。図8(A)にカメラ装置で撮影した車両の後方画像を歪み補正(変換)した例を示す。これに対して、後方画像の歪み変換で視点を変換した場合の画像を図8(B)に示す。
図8(B)に示すように、画像歪み補正処理処のとき画像の視点を変換することにより、任意の方向から見た画像が得られる。その結果、運転者の後方に対する認知性を1台のカメラ装置で高めることができる。
FIG. 8 shows an example of an in-vehicle camera device that is another embodiment.
An example of an image when a wide-angle lens and a camera device having a distortion correction processing function are attached to the rear of the vehicle is shown. FIG. 8A shows an example of distortion correction (conversion) of a rear image of a vehicle photographed by a camera device. In contrast, FIG. 8B shows an image when the viewpoint is converted by distortion conversion of the rear image.
As shown in FIG. 8B, an image viewed from an arbitrary direction can be obtained by converting the viewpoint of the image during the image distortion correction processing. As a result, the driver's recognition for the back can be enhanced with one camera device.
図9に他の実施形態例を示す。広角レンズと画像歪み補正回路を有するカメラ装置(システム)において、広角レンズで撮影した画像を歪み補正回路で補正した画像の全体を図9に示す。
画像の一部N1を所定時間表示し、次に領域N2を所定時間表示し、・・・、最後に領域Nnを表示する。表示部N1とN2、N2とN3、・・・、Nn−1とNn間の間隔とそれぞれの表示部の表示時間を調整して電子的にPAN(パン;回転)動作を滑らかに行うことができる。また同様に、垂直方向にも、電子的にTILT(チルト)動作を行うことができる。
FIG. 9 shows another embodiment. FIG. 9 shows an entire image obtained by correcting an image photographed with a wide-angle lens with a distortion correction circuit in a camera device (system) having a wide-angle lens and an image distortion correction circuit.
A part N1 of the image is displayed for a predetermined time, then the area N2 is displayed for a predetermined time, and finally the area Nn is displayed. PAN (rotation) operation can be smoothly performed electronically by adjusting the display units N1 and N2, N2 and N3,..., Nn-1 and Nn, and the display time of each display unit. it can. Similarly, the TILT (tilt) operation can be electronically performed in the vertical direction.
さらに、他の実施形態例として従来の監視カメラ装置等の分野において、広角レンズと歪み補正機能を備えたカメラ装置を用いると、広角に撮影した画像の歪みを補正して出力することができる。また、広角レンズを用いても画像を歪み補正してモニタに表示するため、カメラ装置を回転、移動などメカ的に駆動する必要がなくコストを削減できる。 Furthermore, in a field of a conventional surveillance camera device or the like as another embodiment, if a camera device having a wide-angle lens and a distortion correction function is used, distortion of an image photographed at a wide angle can be corrected and output. Further, even if a wide-angle lens is used, the image is corrected and displayed on the monitor, so that it is not necessary to mechanically drive the camera device such as rotating and moving, thereby reducing the cost.
以上のべたように、本発明の画像処理回路およびこれを用いたカメラ装置と車載カメラ装置は、高画質を実現するとともにカメラ装置後段の処理ブロックであるECUの負荷を軽減することができる。歪み補正をカメラ装置のDSP(ディジタル信号処理装置)で行うことにより画像の視点を変換した画像を表示し、またカメラ装置外部のECUで複数のカメラ装置から出力された歪み補正画像を任意に取り入れ鳥瞰図などの合成画像を表示することができる。
従来はカメラ装置からの出力をNTSC方式等のアナログ信号として伝送し後段の処理部(ECU部)でAD変換を行った後、ディジタル信号として画像の歪みを補正し、更にDA変換しNTSC方式に変換したいたため、NTSC信号に帯域制限があることとAD変換、DA変換を繰り返すことにより画像の劣化があったが、本発明はカメラ装置内部でしかもディジタル的に画像歪み補正することにより、高画質化を実現した。
カメラ装置内部のメモリに予め歪み補正データを記憶することができるため、コマンド通信を行うことは不必要となり、DSPの外部端子の選択で所望のモードに遷移することができる。
また、カメラ(装置)出力を、アナログ信号出力に加えて、ディジタル信号出力にも対応するようにしたため種々のディジタル処理領域に適応できる。
As described above, the image processing circuit of the present invention, the camera device using the same, and the in-vehicle camera device can realize high image quality and reduce the load on the ECU that is a processing block at the rear stage of the camera device. Distortion correction is performed by a DSP (digital signal processing device) of the camera device to display an image obtained by converting the viewpoint of the image, and distortion correction images output from a plurality of camera devices are arbitrarily taken in by an ECU outside the camera device. A composite image such as a bird's-eye view can be displayed.
Conventionally, the output from the camera device is transmitted as an analog signal of the NTSC system, etc., AD conversion is performed by a processing unit (ECU section) in the subsequent stage, and then distortion of the image is corrected as a digital signal, and further DA conversion is performed to the NTSC system. Because of the conversion, the NTSC signal has a band limitation and the image is deteriorated by repeating AD conversion and DA conversion. However, the present invention provides high image quality by correcting the image distortion inside the camera device and digitally. Realized.
Since distortion correction data can be stored in advance in the memory inside the camera device, it is not necessary to perform command communication, and the mode can be changed to a desired mode by selecting an external terminal of the DSP.
In addition to the analog signal output, the camera (device) output is also compatible with a digital signal output, so that it can be applied to various digital processing areas.
10…カメラ装置、11…広角レンズ、12…センサ(受光素子)、20…カメラ信号処理部、23,100…カメラ信号処理回路、24,130,200…歪み補正回路、25…NTSCエンコーダ、50…ECU(電子制御ユニット)、51…カメラインターフェース、52…画像ASIC、53…モニタインターフェース、55,203,204…画像メモリ、56…データメモリ、110…カメラ前処理ユニット、111…ディジタルAGC(ゲイン調整)、112…シェーディング補正、113…欠陥補正、114…黒レベル検出、115…輝度信号ローパスフィルタ(Y−LPF)/クランプ、116…輪郭補正、117…ガンマ(γ)補正、118…C−LPF/クランプ処理部、119…RGBマトリックス、120…ホワイトバランス(WB)調整/γ補正、121…Hue/Gain調整、122…Cr/Cb(色差信号)生成(回路)、201…水平方向変換回路、202…垂直方向変換回路、205,207…歪み補正パラメータデコーダ、206,208…歪み補正パラメータエンコーダ。
DESCRIPTION OF
Claims (17)
前記入力画像の色信号をディジタル処理する色信号処理手段と、
前記輝度信号処理手段と色信号処理手段で信号処理された輝度信号と色信号が供給され、画像の歪み補正を行う歪み補正手段と、
前記歪み補正手段から出力される輝度信号と色信号からアナログ複合映像信号を発生するエンコーダと
を有する
画像処理回路。 Luminance signal processing means for digitally processing the luminance signal of the input image;
Color signal processing means for digitally processing the color signal of the input image;
Distortion correction means for supplying a luminance signal and a color signal subjected to signal processing by the luminance signal processing means and the color signal processing means, and correcting distortion of the image,
An image processing circuit comprising: an encoder that generates an analog composite video signal from a luminance signal and a color signal output from the distortion correction means.
前記入力画像の色信号をディジタル処理する色信号処理手段と、
前記輝度信号処理手段と色信号処理手段で信号処理された輝度信号と色信号が供給され、画像の歪み補正を行い、該歪み補正されたディジタル輝度信号と色信号を後段の信号処理手段に出力する歪み補正手段と
を有する
画像処理回路。 Luminance signal processing means for digitally processing the luminance signal of the input image;
Color signal processing means for digitally processing the color signal of the input image;
The luminance signal and the color signal subjected to the signal processing by the luminance signal processing means and the color signal processing means are supplied, the distortion of the image is corrected, and the distortion-corrected digital luminance signal and the color signal are output to the subsequent signal processing means. And an image processing circuit.
前記広角レンズを介して画像光信号が入力されるセンサと、
前記センサから出力された画像信号をディジタル信号に変換した後、変換された入力画像の歪み補正する画像処理回路と、
歪み補正されたディジタル画像信号を映像伝送信号にエンコードするエンコーダと
を有する
カメラ装置。 A wide-angle lens,
A sensor to which an image light signal is input via the wide-angle lens;
An image processing circuit that corrects distortion of the converted input image after converting the image signal output from the sensor into a digital signal;
An encoder that encodes a distortion-corrected digital image signal into a video transmission signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005250098A JP4862321B2 (en) | 2005-08-30 | 2005-08-30 | In-vehicle camera device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005250098A JP4862321B2 (en) | 2005-08-30 | 2005-08-30 | In-vehicle camera device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010181654A Division JP5195841B2 (en) | 2010-08-16 | 2010-08-16 | On-vehicle camera device and vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007067714A true JP2007067714A (en) | 2007-03-15 |
JP4862321B2 JP4862321B2 (en) | 2012-01-25 |
Family
ID=37929413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005250098A Expired - Fee Related JP4862321B2 (en) | 2005-08-30 | 2005-08-30 | In-vehicle camera device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4862321B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009044730A (en) * | 2007-07-16 | 2009-02-26 | Trw Automotive Us Llc | Method and apparatus for distortion correction and image enhancing of vehicle rear viewing system |
JP2009111892A (en) * | 2007-10-31 | 2009-05-21 | Aiphone Co Ltd | Intercom system |
JP2009284421A (en) * | 2008-05-26 | 2009-12-03 | Panasonic Corp | On-board imaging apparatus |
JP2011221760A (en) * | 2010-04-08 | 2011-11-04 | Panasonic Corp | Driving support display device |
JP2012010338A (en) * | 2010-06-24 | 2012-01-12 | Samsung Electro-Mechanics Co Ltd | Camera module and monitoring device having the same |
JP2021034783A (en) * | 2019-08-20 | 2021-03-01 | 三菱電機株式会社 | On-vehicle camera device |
US11523053B2 (en) * | 2018-04-03 | 2022-12-06 | Aisin Corporation | Image processing apparatus |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7153889B2 (en) | 2019-03-01 | 2022-10-17 | パナソニックIpマネジメント株式会社 | Image correction device, image generation device, camera system and vehicle |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001187582A (en) * | 1999-12-28 | 2001-07-10 | Koyo Seiko Co Ltd | Power steering |
JP2003118522A (en) * | 2001-10-18 | 2003-04-23 | Clarion Co Ltd | Parking support device |
JP2003267171A (en) * | 2002-03-13 | 2003-09-25 | Nissan Motor Co Ltd | Device for monitoring rear part of vehicle |
JP2003304529A (en) * | 2002-04-09 | 2003-10-24 | Sumitomo Electric Ind Ltd | Network system and image processing apparatus |
JP2004080545A (en) * | 2002-08-20 | 2004-03-11 | Sony Corp | Apparatus, system and method for image processing |
JP2005199957A (en) * | 2004-01-19 | 2005-07-28 | Toyota Motor Corp | Vehicular steering gear |
-
2005
- 2005-08-30 JP JP2005250098A patent/JP4862321B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001187582A (en) * | 1999-12-28 | 2001-07-10 | Koyo Seiko Co Ltd | Power steering |
JP2003118522A (en) * | 2001-10-18 | 2003-04-23 | Clarion Co Ltd | Parking support device |
JP2003267171A (en) * | 2002-03-13 | 2003-09-25 | Nissan Motor Co Ltd | Device for monitoring rear part of vehicle |
JP2003304529A (en) * | 2002-04-09 | 2003-10-24 | Sumitomo Electric Ind Ltd | Network system and image processing apparatus |
JP2004080545A (en) * | 2002-08-20 | 2004-03-11 | Sony Corp | Apparatus, system and method for image processing |
JP2005199957A (en) * | 2004-01-19 | 2005-07-28 | Toyota Motor Corp | Vehicular steering gear |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009044730A (en) * | 2007-07-16 | 2009-02-26 | Trw Automotive Us Llc | Method and apparatus for distortion correction and image enhancing of vehicle rear viewing system |
JP4695167B2 (en) * | 2007-07-16 | 2011-06-08 | ティーアールダブリュー・オートモーティブ・ユーエス・エルエルシー | Method and apparatus for correcting distortion and enhancing an image in a vehicle rear view system |
JP2009111892A (en) * | 2007-10-31 | 2009-05-21 | Aiphone Co Ltd | Intercom system |
JP2009284421A (en) * | 2008-05-26 | 2009-12-03 | Panasonic Corp | On-board imaging apparatus |
JP2011221760A (en) * | 2010-04-08 | 2011-11-04 | Panasonic Corp | Driving support display device |
JP2012010338A (en) * | 2010-06-24 | 2012-01-12 | Samsung Electro-Mechanics Co Ltd | Camera module and monitoring device having the same |
US11523053B2 (en) * | 2018-04-03 | 2022-12-06 | Aisin Corporation | Image processing apparatus |
JP2021034783A (en) * | 2019-08-20 | 2021-03-01 | 三菱電機株式会社 | On-vehicle camera device |
Also Published As
Publication number | Publication date |
---|---|
JP4862321B2 (en) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9392241B2 (en) | Image processing apparatus and image processing method | |
US6778216B1 (en) | Method and apparatus for digital camera real-time image correction in preview mode | |
US7529424B2 (en) | Correction of optical distortion by image processing | |
JP5195841B2 (en) | On-vehicle camera device and vehicle | |
JP4862321B2 (en) | In-vehicle camera device | |
JP3530907B2 (en) | Digital camera | |
US8457433B2 (en) | Methods and systems for image noise filtering | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
US7932934B2 (en) | Image processing method and imaging apparatus using the same | |
JP2005142680A (en) | Image processing apparatus | |
JP2000224490A (en) | Image pickup controller and image pickup control method | |
KR20010042845A (en) | Image signal processor, image signal processing method, learning device, learning method, and recorded medium | |
JP5569042B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP2007096588A (en) | Imaging device and method for displaying image | |
EP1045594A2 (en) | Programmable real-time image processing | |
JP3730063B2 (en) | Color component generation apparatus, color component generation method, and multicolor image pickup apparatus using the same | |
JP4689243B2 (en) | Image processing apparatus, image processing method, and digital camera | |
JP2011061588A (en) | Image processor, image processing method, and on-vehicle camera device | |
US9013606B2 (en) | Image processing apparatus and control method thereof | |
JP5606774B2 (en) | Video display device and video display method | |
JPH11239294A (en) | Video camera | |
JP2008301395A (en) | Video signal processing circuit and solid-state imaging apparatus | |
JP2007180689A (en) | Image pickup device | |
JP4261666B2 (en) | Image processing device | |
JP2009278655A (en) | Image processing apparatus, image processing method, and digital camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110714 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111024 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |