JP2008078809A - Image processor for vehicle - Google Patents
Image processor for vehicle Download PDFInfo
- Publication number
- JP2008078809A JP2008078809A JP2006253332A JP2006253332A JP2008078809A JP 2008078809 A JP2008078809 A JP 2008078809A JP 2006253332 A JP2006253332 A JP 2006253332A JP 2006253332 A JP2006253332 A JP 2006253332A JP 2008078809 A JP2008078809 A JP 2008078809A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- fragmented
- image
- memory
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Input (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、車両用画像処理装置に関するものである。 The present invention relates to a vehicle image processing apparatus.
近年、自動車用の防犯機器が普及しており、特に監視カメラを用いた防犯システムが自動車用途に浸透しつつある。こうしたシステムは、車両室内への不審者の侵入をセンサ検出し、車室内の所定位置に配設されたカメラによりこれを撮影し、その撮影画像を保存・記録する基本構成を有したものが多い。撮影画像はデジタル画像データとして保存されることになるが、カラー画像データやグレースケール画像データはサイズが大きいので、メモリ領域節約のためにJPEG(Joint Photographic Experts Group)形式等により圧縮画像データとして保存する方式が主流である(特許文献1)。 In recent years, crime prevention equipment for automobiles has become widespread, and in particular, a crime prevention system using a surveillance camera is penetrating into automobile applications. Many of these systems have a basic configuration for detecting a suspicious person's intrusion into a vehicle compartment, photographing it with a camera arranged at a predetermined position in the vehicle compartment, and storing and recording the photographed image. . Captured images are saved as digital image data, but color image data and grayscale image data are large in size, so they are saved as compressed image data in JPEG (Joint Photographic Experts Group) format, etc. to save memory space This is the mainstream (Patent Document 1).
特許文献1においては、画像データの圧縮処理を行なう際に、カメラ等で取得した大容量の1フレーム画像を処理装置側の画像データワークメモリ上に一旦全て転送し、その画像データワークメモリ上の画像データを圧縮処理に供する方式が採用されている。具体的には、該圧縮前の画像データのメモリ間転送処理と画像圧縮処理とが順次的に行なわれている。しかし、この方式では、圧縮処理対象の画像データを一括して画像データワークメモリ上に確保するため、大容量の画像データワークメモリが必要となる欠点がある。また、画像データワークメモリへのデータ転送処理とデータ圧縮処理とを順次実行するため、処理時間が長く、画像取得完了までのレスポンスが悪くなり、消費電流も大きくなる問題があった。
In
本発明の課題は、圧縮処理のための画像データワークメモリの容量を削減でき、かつ、画像取得してから圧縮画像データとして保存完了するまでの総処理時間を大幅に短縮できる車両用画像処理装置を提供することにある。 An object of the present invention is to reduce the capacity of image data work memory for compression processing, and to greatly reduce the total processing time from acquisition of an image to completion of storage as compressed image data. Is to provide.
上記の課題を解決するために、本発明の車両用画像処理装置は、
車載カメラにより撮影された画像データをフレーム単位で格納する画像バッファメモリと、
画像バッファメモリから転送される画像データを圧縮処理するための画像データワークメモリと、
画像バッファメモリ内の画像データのフレームを画像ピクセルのライン配列方向に分割して複数の断片化画像データとし、当該断片化画像データを画像データワークメモリに順次転送する断片化画像データ転送手段と、
画像データワークメモリに転送済みの断片化画像データを順次読み出して圧縮する圧縮処理を、断片化画像データ転送手段による画像データワークメモリへの断片化画像データの転送処理と並列に行なう圧縮処理手段と、
を有してなることを特徴とする。
In order to solve the above problems, an image processing apparatus for a vehicle according to the present invention includes:
An image buffer memory that stores image data captured by the in-vehicle camera in units of frames;
Image data work memory for compressing image data transferred from the image buffer memory;
Fragmented image data transfer means for dividing a frame of image data in the image buffer memory in a line arrangement direction of image pixels into a plurality of fragmented image data, and sequentially transferring the fragmented image data to the image data work memory;
Compression processing means for performing the compression processing for sequentially reading and compressing the fragmented image data transferred to the image data work memory in parallel with the transfer processing of the fragmented image data to the image data work memory by the fragmented image data transfer means; ,
It is characterized by having.
上記本発明の構成によると、圧縮処理の対象となる画像データ(のフレーム)を、ライン配列方向に分割された断片化画像データの形で画像データワークメモリ上に順次転送する処理と、その画像データワークメモリ上の断片化画像データを順次読み出して圧縮する処理とを並列に実行するようにしたので、画像取得してから圧縮画像データとして保存完了するまでの総処理時間を大幅に短縮することができる。また、断片化画像データ単位で画像データワークメモリへの転送と、圧縮処理のための読出しが実行されるので、画像データワークメモリの容量は、画像データの1フレーム分全てを記憶保持できる容量よりも小さくすることが可能となり、メモリエリアの節約にも寄与できる。 According to the above-described configuration of the present invention, the image data (frame) to be subjected to compression processing is sequentially transferred onto the image data work memory in the form of fragmented image data divided in the line arrangement direction, and the image The processing to sequentially read and compress the fragmented image data in the data work memory is executed in parallel, so the total processing time from the acquisition of the image to the completion of saving as compressed image data is greatly reduced. Can do. In addition, since transfer to the image data work memory and reading for compression processing are executed in units of fragmented image data, the capacity of the image data work memory is larger than the capacity that can store and hold all one frame of image data. It is possible to reduce the memory area and contribute to saving of the memory area.
圧縮処理された断片化画像データは、装置内の保存用メモリに保存することが可能である。この場合、不揮発性メモリからなり、圧縮処理された断片化画像データを圧縮画像データとして保存する圧縮画像データ保存メモリを設けることができる。該圧縮画像データ保存メモリは、断片化画像データをフレーム単位で集合させた形で記憶するものとすれば、画像データをフレーム単位で読出す上での便宜を図ることができる。 The compressed fragmented image data can be stored in a storage memory in the apparatus. In this case, it is possible to provide a compressed image data storage memory that includes a non-volatile memory and stores the compressed fragmented image data as compressed image data. If the compressed image data storage memory stores fragmented image data in the form of aggregated frames, it is possible to facilitate the convenience of reading the image data in units of frames.
圧縮処理手段は1フレームの画像データを一定数の画像ピクセルラインを組にした圧縮処理単位にて圧縮処理を行なうものとすることができ、断片化画像データは該圧縮処理単位に一致するようにデータサイズを定めることができる。このようにしておくと、断片化画像データの切れ目と圧縮処理単位の切れ目とが一致するので、断片化画像データを一旦画像データワークメモリ上に蓄積して圧縮処理単位に区切りなおす処理ステップが不要となり、また、断片化画像データ転送手段により画像データワークメモリ上に転送完了した断片化画像データは、圧縮処理手段による圧縮処理に直ちに供することができるので、圧縮処理時間の更なる短縮を図ることができる。 The compression processing means can compress one frame of image data in a compression processing unit in which a fixed number of image pixel lines are set, and the fragmented image data matches the compression processing unit. Data size can be determined. By doing so, the breaks in the fragmented image data match the breaks in the compression processing unit, so that there is no need for a processing step for temporarily storing the fragmented image data in the image data work memory and re-dividing it into compression processing units. In addition, since the fragmented image data transferred to the image data work memory by the fragmented image data transfer unit can be immediately used for the compression processing by the compression processing unit, the compression processing time can be further shortened. Can do.
圧縮処理手段は、断片化画像データ読み出し手段により読み出された断片化画像データの圧縮処理をCPUによるソフトウェア処理により実行するマイクロコンピュータにより構成することができる。この場合、断片化画像データ転送手段を、CPUを経由しないダイレクトメモリアクセス(Direct Memory Access:以下、DMAともいう)により機能実現するダイレクトメモリアクセス制御部を設けることができる。これにより、断片化画像データを画像データワークメモリに転送する処理が、DMAによりCPU処理から切り離され、CPUを断片化画像データの圧縮処理に専念させることができるので、CPUによる画像データの圧縮処理効率を高めることができ、ひいては画像取得してから圧縮画像データとして保存完了するまでの総処理時間をさらに短縮することができる。この場合、マイクロコンピュータは、ダイレクトメモリアクセス制御部による断片化画像データの画像データワークメモリへの転送処理が完了後、画像データワークメモリからの断片化画像データに対する圧縮処理を直ちに開始するものとして構成しておくとよい。 The compression processing means can be constituted by a microcomputer that executes compression processing of the fragmented image data read by the fragmented image data reading means by software processing by the CPU. In this case, it is possible to provide a direct memory access control unit that realizes the function of the fragmented image data transfer means by direct memory access (hereinafter also referred to as DMA) without going through the CPU. As a result, the process of transferring the fragmented image data to the image data work memory is separated from the CPU process by the DMA, and the CPU can be dedicated to the compression process of the fragmented image data. The efficiency can be increased, and as a result, the total processing time from the acquisition of an image to the completion of storage as compressed image data can be further shortened. In this case, the microcomputer is configured to immediately start the compression processing for the fragmented image data from the image data work memory after the transfer processing of the fragmented image data to the image data work memory by the direct memory access control unit is completed. It is good to keep.
画像データワークメモリには断片化画像データの記憶エリアを複数確保することができる。この場合、断片化画像データ転送手段により新たに転送されてくる断片化画像データを複数の記憶エリアの一つのものに書き込む処理と、これとは別の記憶エリアに書き込み済みの断片化画像データを圧縮処理のために読み出す読み出し処理とを並列して行なう画像データワークメモリ制御手段を設けることができる。データ書き込み中のメモリエリアと、データ読出し中のメモリエリアとを分離することで、画像データワークメモリへの断片化画像データの転送と、画像データワークメモリ上の断片化画像データの圧縮とに係る並列処理をよりスムーズに実行することができる。 A plurality of fragmented image data storage areas can be secured in the image data work memory. In this case, the process of writing the fragmented image data newly transferred by the fragmented image data transfer means into one of the plurality of storage areas, and the fragmented image data already written in another storage area. Image data work memory control means for performing a reading process for reading out for the compression process in parallel can be provided. By separating the memory area where data is being written and the memory area where data is being read, the fragmented image data is transferred to the image data work memory and the fragmented image data is compressed on the image data work memory. Parallel processing can be executed more smoothly.
この場合、画像データワークメモリ制御手段は、圧縮処理のために断片化画像データの読み出しが完了した記憶エリアをクリアするものとすることができ、断片化画像データ転送手段は、画像データワークメモリにクリアされた記憶エリアが存在する場合には断片化画像データの転送処理を継続し、クリアされた記憶エリアが存在しない場合は、該クリアされた記憶エリアが新たに生ずるまで断片化画像データの転送処理を待機するものとすることができる。転送済みの断片化画像データの圧縮処理は、画像データワークメモリへの断片化画像データの転送処理よりも一般には長時間を要するので、転送処理側のルーチンは、圧縮処理側のルーチンの完了まで起動待機しなければならないケースが多い。この場合、圧縮処理が完了した記憶エリアのクリアをトリガとして、次の断片化画像データの画像データワークメモリへの転送を直ちに再開できるので、待ち時間を最小化することができる。 In this case, the image data work memory control means can clear the storage area from which the fragmented image data has been read for the compression process, and the fragmented image data transfer means is stored in the image data work memory. If there is a cleared storage area, the transfer process of the fragmented image data is continued. If there is no cleared storage area, the transfer of the fragmented image data is performed until a new cleared storage area is generated. It may be waiting for processing. Since the compressed processing of the fragmented image data that has already been transferred generally takes a longer time than the transfer processing of the fragmented image data to the image data work memory, the routine on the transfer processing side is until the completion of the routine on the compression processing side. In many cases, it is necessary to wait for startup. In this case, since the transfer of the next fragmented image data to the image data work memory can be immediately resumed with the clearing of the storage area where the compression processing is completed as a trigger, the waiting time can be minimized.
この場合、画像データワークメモリに断片化画像データの記憶エリアを3つ確保しておけば、記憶エリアのいずれかを常に、断片化画像データの書き込みが完了した状態で、読み出し処理のために待機状態となる読み出し待機エリアとして確保することができる。これにより、1つの断片化画像データの圧縮処理が完了すれば、次に圧縮処理に供するべき断片化画像データが書込完了状態で常に待機しているので、圧縮処理を切れ目なく実行することができ、効率を高めることができる。圧縮処理手段による1個の断片化画像データの圧縮処理に要するワークタイムが、断片化画像データ転送手段による断片化画像データの転送処理に要するワークタイムの2倍以上となっている場合に特に効果的である。 In this case, if three storage areas for fragmented image data are secured in the image data work memory, one of the storage areas is always waiting for reading processing in a state where writing of the fragmented image data is completed. It can be ensured as a read waiting area to be in a state. Thus, when the compression processing of one piece of fragmented image data is completed, the piece of fragmented image data to be subjected to the next compression processing is always waiting in the writing completed state, so that the compression processing can be executed seamlessly. Can increase efficiency. Particularly effective when the work time required for compression processing of one piece of fragmented image data by the compression processing means is more than twice the work time required for the transfer processing of fragmented image data by the fragmented image data transfer means. Is.
圧縮処理の対象となる画像データは、当該画像データのフレームにてピクセルラインの一部のものを間引いたものを使用することができる。画像データに対し、それほど高い解像度が要求されない場合は、このようにピクセルラインを間引いたフレームを採用することで画像処理の負荷を軽減することが可能である。この場合、当該画像データのフレームを構成する偶数フィールドと奇数フィールドとの一方のみからなるものを採用すれば、結果的に2ラインおきの間引き処理を簡単に実現できる。また、ラインの間引き率をさらに大きくしたい場合は、偶数フィールドと奇数フィールドとの一方にてピクセルラインの一部のものを間引くようにすればよい。 As the image data to be subjected to the compression process, a part of the pixel line thinned out in the frame of the image data can be used. When image data is not required to have a very high resolution, it is possible to reduce the load of image processing by adopting a frame in which pixel lines are thinned out in this way. In this case, if one consisting of either the even field or the odd field constituting the frame of the image data is employed, the thinning process every two lines can be easily realized as a result. Further, if it is desired to further increase the line thinning rate, a part of the pixel line may be thinned in one of the even field and the odd field.
以下、本発明の実施の形態を、図面を参照しながら説明する。図1は車両用画像処理装置100の電気基板構成を示すブロック図である(端子名の上にオーバー・バー記号が付加されているものは、負論理(アクティブ・ロー)で動作することを意味するが、本実施例の文中ではオーバー・バー記号を付加せず記述する)。車両用画像処理装置100は、主制御系電源1、画像系電源2、通信I/F(インターフェース)3、マイコン4、バスバッファ5、フィールドメモリ6、ビデオデコーダ7、入力I/F8、メモリ制御部9、画像データワークメモリ10及び画像データ不揮発保存メモリ11等の各回路ブロックを有する。なお、通信I/F(インターフェース)3、マイコン4、バスバッファ5、メモリ制御部9、画像データワークメモリ10、画像データ不揮発保存メモリ11が主制御部に含まれ、フィールドメモリ6、ビデオデコーダ7が画像処理部に含まれる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an electric board of the vehicle image processing apparatus 100 (a terminal bar with an overbar symbol added means that it operates with negative logic (active low). However, it is described without adding an over bar symbol in the text of this embodiment). The vehicular
バスバッファ5、画像データワークメモリ10及び画像データ不揮発保存メモリ11は外部データバス(16ビット)及びチップセレクト用の信号ラインを介してマイコン4に接続されている。また、ビデオデコーダ7とフィールドメモリ6とは、この順に専用のデータ転送ラインを介してバスバッファ5にカスケード接続されている。また、通信I/F3、入力I/F、メモリ制御部9は種々の信号線を介してマイコン4の対応する信号端子に接続されている。
The
主制御系電源1は、車載バッテリ電圧(+B)を制御用の第一電源電圧(VDD1)に変換し、主制御部を構成する回路ブロック、ここでは、通信I/F(インターフェース)3、マイコン4、バスバッファ5、入力I/F8、メモリ制御部9、画像データワークメモリ10及び画像データ不揮発保存メモリ11に供給する。また、主制御系電源1は、マイコン4の動作監視機能を備えている。具体的には、周知のウォッチドッグタイマーによる監視方式が採用されており、マイコン4のウォッチドッグ(WD)端子から出力されるWDパルス信号をCK端子により受信する。そして、一定時間WDパルス信号が途切れた場合に、マイコン4の動作が異常であると判定して、マイコン4をリセットする(RESET端子)。
The main control
画像系電源2は、車載バッテリ電圧(+B)を上記第一電源電圧とは異なる画像処理用の第二電源電圧(VDD2)に変換し、画像処理部を構成する回路ブロック、ここでは、画像系フィールドメモリ6、ビデオデコーダ7に供給するものである。また、画像系電源2は、マイコン4のDC_EN端子から出力される制御信号をEN端子から取り込み、該制御信号の内容に基づいて電圧の供給/停止を行なう機能も有している。
The image
車両用画像処理装置100には、共通接地されるカメラ電源GND端子、信号GND端子及び同軸ケーブル等のシールド部を接続するシールドGND端子が設けられている。また、画像系電源2からの第二電源電圧の出力端子として、カメラ電源端子(カメラ撮影に使用する補助光源の電源端子に兼用される)が設けられ、上記の各端子とともにカメラI/F部を形成している。
The vehicular
以下、各回路ブロックの機能について説明する。
ビデオデコーダ7は、図示しないカメラから送られてくるアナログ映像信号(例えば、NTSC信号)をデジタル画像データに変換するものである。具体的には、入力されたNTSC信号に含まれるコンポジットビデオ信号やSビデオ信号をY/C分離した後、種々のフォーマットのデジタル画像データ(例えば、YCbCrやRGB)に変換するものであり、具体的には、MSM7664TB(商品名:沖電気工業)などの市販のLSIを採用できる。
Hereinafter, the function of each circuit block will be described.
The
フィールドメモリ6は画像バッファメモリに相当するものであり、カメラ側からインターレーススキャンにより順次送られてくる2つのアナログ画像フィールドデータを、ビデオデコーダ7でのデジタル化を経て受け取るとともに、これを1フレームに合成したデジタル画像フレームデータとして画像データワークメモリ10に順次受け渡す。本実施形態では、フィールドメモリ6は、各々FIFO(ファーストイン・ファーストアウト)メモリからなる奇数フィールド用メモリ6pと、偶数フィールド用メモリ6sとからなり、同一フレームに属する2つのフィールドをこれらのメモリエリア6p,6sに順次格納するとともに、図2に示すように、各フィールドを構成するピクセルラインP,Sを、メモリエリア6p,6sから、図示しないメモリスイッチにより切り替えつつ順次交互に読み出して転送することにより、画像データワークメモリ10に向う外部データバス上で上記転送時に1フレームに合成する。後述のごとく、このフレームデータの転送は、JPEG画像データの圧縮処理単位である8ピクセルラインからなる断片化画像データを単位として順次実行される。なお、画像バッファメモリをRAMにて構成し、該RAM上で2つのフィールドを合成するようにしてもよい。
The
マイコン4は、車両用画像処理装置の制御主体をなすもので、図示しない周知のCPU、ROM、RAM(メインメモリ4M)等を含んで構成され、ROMに記憶された制御プログラムの実行に基づいて、画像フレームデータを画像データ不揮発保存メモリ11に転送・保存する処理を行なう。
The
画像データワークメモリ10は、マイコン4がフィールドメモリ6から取り込んだデジタル画像データを一時的に保持しておくための作業領域である。マイコン4からのデジタル画像データの転送は、マイコン4の負荷を低減するためにDMA(Direct Memory Access:ダイレクトメモリアクセス)を用いて行なう。本実施形態では、DAM制御部がマイコン4内に内蔵されている。
The image
画像データ不揮発保存メモリ11は圧縮画像データ保存メモリを構成するものであり、車両用画像処理装置100の電源がオフ状態になってもデータ内容を記憶保持するフラッシュメモリ等により構成されている。画像データワークメモリ10から取り込んだデジタル画像データは、本実施形態では、圧縮前の画像フレームにて8ピクセルラインからなる断片化画像データに分割され、それら断片化画像データを圧縮処理単位として、JPEG(Joint Photographic Experts Group)形式にて圧縮された圧縮画像データとして、該画像データ不揮発保存メモリ11に保存される。
The image data
メモリ制御部9は、マイコン4の指令(RD、WR0、WR1、CS3、CS2からの制御信号)によって画像データワークメモリ10、画像データ不揮発保存メモリ11のいずれかに対し画像データの読み書きを行なう制御を行なうものである。また、バスバッファ5は、フィールドメモリ6から画像データワークメモリ10へデジタル画像データをDMA転送する際に、マイコン4とフィールドメモリ6とによるデータバスの使用が競合することを回避するために設けられたものであり、マイコン4の指令(CS1からの制御信号)によって、フィールドメモリ6とマイコン4との間のデータ伝送路(データバス)の接続/遮断を行なう形で動作する。
The
通信I/F3は、マイコン4と外部機器との通信を行なう回路であり、接続される外部機器の通信規格に対応した回路構成をとる。通信相手となる機器は、例えば、車内通信ネットワーク(例えばCAN:Controller Area Network)に接続された制御主体(ECU:マイコンを主体に構成される)である。これらECUは、主として車両に搭載される種々の電子機器の制御を司るものであるが、車外との通信(例えば、無線通信)を司るECUが含まれていてもよい。入力I/F8はセンサ信号端子(A、B)、盗難検出信号端子からの信号を取り込んで、マイコン4で処理可能なように電圧レベル等を調整するものである。
The communication I /
センサ信号A端子は、例えば、被検知体(例えば不審者)の車両への接近を検出する、図示しない接近センサからの信号を取り込むものである。センサ信号B端子は、車両への不審者の侵入を検出する、図示しない侵入センサからの信号を取り込むものである。さらに、盗難検出信号端子は図示しないセキュリティECUから送られる盗難検出信号を取り込むものである。 The sensor signal A terminal captures, for example, a signal from an approach sensor (not shown) that detects the approach of an object to be detected (for example, a suspicious person) to the vehicle. The sensor signal B terminal receives a signal from an intrusion sensor (not shown) that detects the intrusion of a suspicious person into the vehicle. Furthermore, the theft detection signal terminal takes in a theft detection signal sent from a security ECU (not shown).
本車両用画像処理装置100は、例えば、盗難検出信号を検出した場合に図示しないカメラからのアナログ映像信号を、ビデオデコーダ7においてデジタル画像データ(静止画画像データ)としてキャプチャし、フレーム単位で画像データ不揮発保存メモリ11に記憶する。そして、記憶した画像データを通信I/F3、通信モジュール端子(Tx、Rx)を介して車外(管理センタ、車両の所有者等)へ送信し、例えば、盗難事件の証拠とし、犯人検挙を促進したり、あるいは車両をカメラにて監視することで車両の盗難を防止する。なお、送信の完了した画像データは順次消去される。具体的な動作は、以下の通りである。
For example, when a theft detection signal is detected, the vehicle
図示しないバッテリからの電源が供給されると、主制御系電源1がオン状態となり、通信I/F(インターフェース)3、マイコン4、バスバッファ5、入力I/F8、メモリ制御部9、画像データワークメモリ10、画像データ不揮発保存メモリ11に電圧VDD1が供給される(画像データ不揮発保存メモリ11においては、電圧VDD1はデータ読出し駆動に使用される:データ消去及び書込には、図示しない昇圧回路からの電圧VDDH(>VDD1)が使用される(消去時には逆極性))。
When power from a battery (not shown) is supplied, the main control
盗難検出信号端子を介してセキュリティECUからの盗難検出信号を検出した場合、あるいは接近センサ(センサ信号)が人体の接近を検出した場合(OFF→ON状態)、マイコン4は画像系電源2をON状態とするために、DC_EN端子をオン状態とする。これにより、画像系電源2はフィールドメモリ6、ビデオデコーダ7、図示しないカメラ、カメラ用補助光源に電圧VDD2を供給し、ビデオデコーダ7をウェイクアップ状態とする。他方、盗難検出信号を検出しなくなった場合(ON→OFF状態)は、マイコン4はDC_EN端子をオフ状態とする。これにより、画像系電源2からフィールドメモリ6、ビデオデコーダ7、図示しないカメラ、カメラ用補助光源への電圧VDD2の供給は停止される。
When a theft detection signal from the security ECU is detected via the theft detection signal terminal, or when the proximity sensor (sensor signal) detects the approach of the human body (OFF → ON state), the
ビデオデコーダ7がウェイクアップ状態になると、マイコン4はフィールドメモリ6にデジタル画像データがあるかどうかを調べ、データがある場合にはこれを読み込んで画像データワークメモリ10に転送する処理を行なう。図2を用いて詳細を説明する。フィールドメモリ6には、キャプチャされたデジタル画像データが1フレーム分格納されており、先頭のピクセルライン(アナログ画像データの各フィールドを構成する走査線に対応する)側から8ラインずつに区切って断片化画像データ1,2,3,4‥nとする(A1〜A3)。
When the
図1のDMA制御部4Dは、断片化画像データ1,2,3,4‥nは、先頭側のものから順次フィールドメモリ6より読み出して、これを画像データワークメモリ10に転送する(A4)。前述のごとく、フィールドメモリ6は、各々FIFOメモリからなる奇数フィールド用メモリ6pと偶数フィールド用メモリ6sとからなり、奇数フィールド用メモリ6pから1ピクセルラインのデータを読み出されるとメモリスイッチが切り替わり、偶数フィールド用メモリ6sから1ピクセルラインのデータが読み出される。これが交互に繰り返されて8ライン分のデータが読み出されると、1つの断片化画像データの読出し/転送処理が完了し、次の断片化画像データの転送が許容されるまで待機する。なお、図2においては、奇数フィールド用メモリ6pと偶数フィールド用メモリ6sとを1フレーム分だけ描いているが、実際にはこれらのメモリ6p,6sは複数フレーム分設けられており、先頭側のメモリ6p,6sから画像データワークメモリ10へのピクセル転送を行ないつつ、末尾のメモリ6p,6sへのビデオデコーダ7からのピクセルの取り込みを並行して行なうようにしてある。
1 sequentially reads the
一方、マイコン4は、画像データワークメモリ10内に、転送済みの断片化画像データが存在していれば、この断片化画像データを取り込んでソフトウェア処理によりJPEG方式に従うデータ圧縮処理を行ない(A5,A6)、得られた圧縮画像データをマイコン4内のメインメモリに蓄積する(A8)。画像データワークメモリ10内には、断片化画像データの格納エリアが複数、本実施形態では図2に示すように、第一エリア〜第三エリアの3つの格納エリアが確保されている。DMA制御部4Dが、フィールドメモリ6からの断片化画像データをこのうちの1つの格納エリアに転送処理している間に、マイコン4(のCPU)は、別の格納エリアに既に転送済みの先行する断片化画像データの圧縮処理を並列に実行する。
On the other hand, if the transferred fragmented image data exists in the image
図3は、上記処理のためにマイコン4が実行するプログラムの流れを示すものであり、左側のフローがDMA制御部4Dに対する断片化画像データの転送指令シーケンスを、左側のフローが断片化画像データの圧縮処理のシーケンスをそれぞれ示すものである。これらのプログラムはマイコン4のCPUにより並列に実行される。まず、断片化画像データの転送シーケンスに関しては、マイコン4のCPUは、データ転送元となるフィールドメモリ6の画像データの有無と、データ転送先となる画像データワークメモリ10内の空きエリアの有無とを監視するとともにデータ転送可能か否かを判断し、データ転送可能な場合に、DMA制御部4Dに対し断片化画像データの転送を開始させる指令を行なう処理を行なう(いうまでもなく、該CPUは、断片化画像データの転送処理自体には関与しない)。
FIG. 3 shows the flow of a program executed by the
すなわち、S1では、断片化画像データがフィールドメモリ6に存在すればS2に進み、画像データワークメモリ10内に空きエリアが存在するか否かを確認する。存在しなければ、空きエリアが生ずるまで処理を待機する。一方、存在すればS3に進み、DMA制御部4Dに対し断片化画像データの画像データワークメモリ10への転送開始信号を送信する。DMA制御部4Dは、画像データワークメモリ10への断片化画像データのピクセル転送を開始すると、その転送クロックを計数し、最後のピクセルを転送し終わればマイコン4のCPUに転送終了のステータスを返す。すると、CPU側の処理はS4に進み、転送完了した断片化画像データをフィールドメモリ6から削除してS1に戻り、以下の処理を繰り返す。なお、S1にて断片化画像データがフィールドメモリ6に残っていなければ転送処理終了となる。
That is, in S1, if fragmented image data exists in the
一方、圧縮処理の流れにおいては、T1にて画像データワークメモリ10に断片化画像データがあるか否かを確認し、断片化画像データが存在していればT2に進んで、該断片化画像データを読み出して圧縮処理し、図1のメインメモリ4Mにその圧縮画像データを格納する。圧縮処理が完了すればT3に進み、処理済の断片化画像データを画像データワークメモリから削除する。
On the other hand, in the flow of compression processing, whether or not there is fragmented image data in the image
断片化画像データの画像データワークメモリ10へのピクセル転送が開始されると、DMA制御部4Dから転送終了のステータスが返るまでの間は、マイコン4のCPUは、先に転送済の、別の断片化画像データの圧縮処理にいわば専念することができ、圧縮処理の効率を上げることができる。
When the pixel transfer of the fragmented image data to the image
また、断片化画像データのサイズを、JPEG形式における圧縮処理単位である8ピクセルラインに合わせ込んであるので、断片化画像データの先頭と末尾(切れ目)は、そのまま圧縮処理単位の先頭と末尾(切れ目)に一致する。もしこれらの切れ目が一致していないと、2つの断片化画像データにまたがる圧縮処理単位が発生した場合、先行する断片化画像データに属する圧縮処理単位の前半部分は、その後半部分を補う次の断片化画像データの転送が完了するまでは、圧縮処理に供することが物理的に不可能である。しかし、断片化画像データと圧縮処理単位とが一致していれば、1つの断片化画像データは、画像データワークメモリ10上に単独で書き込まれさえすれば、CPUがその圧縮処理の開始待ちの状態になった時点で、直ちに圧縮処理に供することができる。
In addition, since the size of the fragmented image data is adjusted to the 8-pixel line which is the compression processing unit in the JPEG format, the beginning and end (breaks) of the fragmented image data are unchanged at the beginning and end ( Matches the break). If these discontinuities do not match, if a compression processing unit that spans two fragmented image data occurs, the first half of the compression processing unit belonging to the preceding fragmented image data is the next one that compensates for the latter half. Until the transfer of the fragmented image data is completed, it is physically impossible to perform compression processing. However, if the fragmented image data and the compression processing unit match, as long as one fragmented image data is written alone on the image
また、図4に示すように、本実施形態では、1つの断片化画像データの圧縮処理に要するCPUのワークタイムは、1つの断片化画像データの転送処理に要するDMA制御部4Dのワークタイムの2倍以上3倍以下となっている。これを考慮して、図2に示すように、画像データワークメモリ10には、第一エリアA、第二エリアB及び第三エリアCの3つの格納エリアが確保されている。最初の断片化画像データが第一エリアAに転送完了すれば、上記のごとく、第一エリアA内の断片化画像データは直ちに圧縮処理が開始される。そして、この圧縮処理のワークタイムは、2つ分の断片化画像データの転送に要するワークタイムより長いので、このインターバルを利用して、DMA制御部4Dは、初期状態では空きエリアとなっている第二エリアB及び第三エリアCへの断片化画像データの転送を順次実行することができる(つまり、画像データワークメモリ10に空き領域がなくなるまで、DMA制御部4Dは断片化画像データの転送処理を継続できる)。
As shown in FIG. 4, in this embodiment, the CPU work time required for compression processing of one fragmented image data is the work time of the
第二エリアBの断片化画像データは、第一エリアA内の断片化画像データの圧縮完了前に転送完了し、いつでも圧縮処理が開始できる状態にある。従って、第一エリアA内の断片化画像データの圧縮処理が完了すると、第二エリアBの断片化画像データの圧縮処理に直ちに移行している。他方、第一エリアA内の断片化画像データは、圧縮プログラム側からの完了通知を受けてクリアされる。そして、そのデータクリアをトリガとして、CPUはDMA制御部4Dに次の断片化画像データの転送を指示する。すなわち、画像データワークメモリ10は、データクリアにより空きエリアが生じると、当該空きエリアへの次の断片化画像データの転送処理が直ちに開始される。
The fragmented image data in the second area B has been transferred before completion of the compression of the fragmented image data in the first area A, and the compression process can be started anytime. Therefore, when the compression processing of the fragmented image data in the first area A is completed, the process immediately shifts to the compression processing of the fragmented image data in the second area B. On the other hand, the fragmented image data in the first area A is cleared upon receiving a completion notification from the compression program side. Then, using the data clear as a trigger, the CPU instructs the
上記のようなシーケンスにより、図4に示すごとく、先頭の断片化画像データを除けば、後続の断片化画像データの転送処理期間は全て、先に転送完了している断片化画像データの圧縮処理期間と重複しており、1フレームの画像データの転送/圧縮処理サイクルが大幅に短縮されていることが明らかである。 With the above sequence, as shown in FIG. 4, except for the first fragmented image data, all the subsequent fragmented image data transfer processing periods are compressed for the fragmented image data that has been transferred first. It is obvious that the transfer / compression processing cycle of the image data of one frame is greatly shortened because it overlaps with the period.
図2に戻り、全ての断片化画像データの圧縮処理が完了すれば、メインメモリ内の、1フレーム分をなす圧縮済み断片化画像データの集合を、一括して画像データ不揮発保存メモリ11に書き込み、処理を終了する(A9)。
Returning to FIG. 2, when all the fragmented image data have been compressed, a set of compressed fragmented image data for one frame in the main memory is written to the image data
なお、上記の実施形態では、圧縮処理の対象となる画像データとして、奇数フィールドと偶数フィールドとを1フレームに合成し、かつピクセルラインを間引かないフルデータを採用していた。しかし、画像データに対し、それほど高い解像度が要求されない場合は、当該画像データのフレームにてピクセルラインの一部のものを間引いたものを使用することができる。具体的には、図5に示すように、偶数フィールドと奇数フィールドとの一方のみを採用すれば、結果的に1ラインおきの間引き処理を実現できる。また、奇数フィールドラインの間引き率をさらに大きくしたい場合は、図偶数フィールドと奇数フィールドとの一方にてピクセルラインの一部のものを間引くようにすればよい。図6においては、奇数フィールドをさらに1ラインおきに間引いているが、もちろん、2ラインあるいはそれ以上の複数ラインおきに間引くことも可能である。本実施形態では、画像データワークメモリ10上にピクセルラインを間引かないフルデータの形で1フレーム分のデータを取り込み、ランダムアクセスが可能な該画像データワークメモリ10上で圧縮処理に供するピクセルラインのみを取り出す形で間引き処理を行なうようにしている。
In the above-described embodiment, as the image data to be subjected to compression processing, full data in which an odd field and an even field are combined into one frame and pixel lines are not thinned out is employed. However, when image data does not require a very high resolution, it is possible to use an image data frame obtained by thinning out a part of a pixel line. Specifically, as shown in FIG. 5, if only one of the even field and the odd field is employed, thinning processing for every other line can be realized as a result. In order to further increase the thinning rate of the odd field lines, a part of the pixel lines may be thinned out in either the even field or the odd field in the figure. In FIG. 6, the odd field is further thinned out every other line, but of course, it is possible to thin out every two lines or more. In the present embodiment, one line of data is fetched into the image
4 マイコン(圧縮処理手段、条件判定手段、画像処理終了検出手段)
4D DMA制御部(断片化画像データ転送手段)
6 フィールドメモリ(画像バッファメモリ)
10 画像データワークメモリ(主制御部)
11 画像データ不揮発保存メモリ(圧縮画像データ保存メモリ)
100 画像撮影装置
4 Microcomputer (compression processing means, condition determination means, image processing end detection means)
4D DMA controller (fragmented image data transfer means)
6 Field memory (image buffer memory)
10 Image data work memory (main control unit)
11 Image data non-volatile storage memory (compressed image data storage memory)
100 image capturing device
Claims (12)
前記画像バッファメモリから転送される画像データを圧縮処理するための画像データワークメモリと、
前記画像バッファメモリ内の画像データのフレームを画像ピクセルのライン配列方向に分割して複数の断片化画像データとし、当該断片化画像データを前記画像データワークメモリに順次転送する断片化画像データ転送手段と、
前記画像データワークメモリに転送済みの断片化画像データを順次読み出して圧縮する圧縮処理を、前記断片化画像データ転送手段による前記画像データワークメモリへの断片化画像データの転送処理と並列に行なう圧縮処理手段と、
を有してなることを特徴とする車両用画像処理装置。 An image buffer memory for buffering image data captured by the in-vehicle camera in units of frames;
An image data work memory for compressing image data transferred from the image buffer memory;
Fragmented image data transfer means for dividing a frame of image data in the image buffer memory in a line arrangement direction of image pixels into a plurality of fragmented image data and sequentially transferring the fragmented image data to the image data work memory When,
Compression processing for sequentially reading and compressing the fragmented image data transferred to the image data work memory in parallel with the transfer processing of the fragmented image data to the image data work memory by the fragmented image data transfer means Processing means;
A vehicular image processing apparatus characterized by comprising:
前記断片化画像データ転送手段を、前記CPUを経由しないダイレクトメモリアクセスにより機能実現するダイレクトメモリアクセス制御部が設けられてなる請求項1又は請求項2に記載の車両用画像処理装置。 The compression processing means is constituted by a microcomputer that executes the compression processing of the fragmented image data read by the fragmented image data reading means by software processing by a CPU,
The vehicular image processing apparatus according to claim 1, wherein a direct memory access control unit that realizes the function of the fragmented image data transfer unit by direct memory access not via the CPU is provided.
前記断片化画像データ転送手段により新たに転送されてくる前記断片化画像データを複数の前記記憶エリアの一つのものに書き込む処理と、これとは別の記憶エリアに書き込み済みの前記断片化画像データを前記圧縮処理のために読み出す読み出し処理とを並列して行なう画像データワークメモリ制御手段を有する請求項1ないし請求項4のいずれか1項に記載の車両用画像処理装置。 The image data work memory has a plurality of storage areas for the fragmented image data,
The process of writing the fragmented image data newly transferred by the fragmented image data transfer means into one of the plurality of storage areas, and the fragmented image data already written in another storage area The vehicle image processing apparatus according to claim 1, further comprising an image data work memory control unit that performs reading processing for reading out the data for compression processing in parallel.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006253332A JP2008078809A (en) | 2006-09-19 | 2006-09-19 | Image processor for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006253332A JP2008078809A (en) | 2006-09-19 | 2006-09-19 | Image processor for vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008078809A true JP2008078809A (en) | 2008-04-03 |
Family
ID=39350441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006253332A Pending JP2008078809A (en) | 2006-09-19 | 2006-09-19 | Image processor for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008078809A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101591807B1 (en) | 2014-10-30 | 2016-02-05 | (주)위니테크놀러지 | Black box able to process faster with less fragmentation |
JP2023522667A (en) * | 2020-04-23 | 2023-05-31 | ヴァレオ ビジョン | Method and vehicle lighting system for managing image data |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027446A (en) * | 2000-07-04 | 2002-01-25 | Matsushita Electric Ind Co Ltd | Monitoring system |
JP2002111989A (en) * | 2000-10-02 | 2002-04-12 | Mega Chips Corp | Image processing circuit |
JP2004312148A (en) * | 2003-04-03 | 2004-11-04 | Mitsubishi Electric Corp | Camera image processing apparatus |
JP2004328405A (en) * | 2003-04-24 | 2004-11-18 | Nec Micro Systems Ltd | Moving image recording and reproducing device, its still image compression recording method, and program |
-
2006
- 2006-09-19 JP JP2006253332A patent/JP2008078809A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027446A (en) * | 2000-07-04 | 2002-01-25 | Matsushita Electric Ind Co Ltd | Monitoring system |
JP2002111989A (en) * | 2000-10-02 | 2002-04-12 | Mega Chips Corp | Image processing circuit |
JP2004312148A (en) * | 2003-04-03 | 2004-11-04 | Mitsubishi Electric Corp | Camera image processing apparatus |
JP2004328405A (en) * | 2003-04-24 | 2004-11-18 | Nec Micro Systems Ltd | Moving image recording and reproducing device, its still image compression recording method, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101591807B1 (en) | 2014-10-30 | 2016-02-05 | (주)위니테크놀러지 | Black box able to process faster with less fragmentation |
JP2023522667A (en) * | 2020-04-23 | 2023-05-31 | ヴァレオ ビジョン | Method and vehicle lighting system for managing image data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4844795B2 (en) | Vehicle image capturing device | |
US9535489B2 (en) | Data processing system for transmitting compressed multimedia data over camera interface | |
US7701472B2 (en) | Display controller, electronic device, and method of supplying image data | |
US6944358B2 (en) | Image processor | |
US8749698B2 (en) | Lens unit, imaging apparatus including the lens unit, and imaging method | |
US20160381319A1 (en) | Imaging device, imaging apparatus, and electronic apparatus | |
US20060133695A1 (en) | Display controller, electronic instrument, and image data supply method | |
US7983495B2 (en) | Image processing device and method | |
JP2001238190A (en) | Image processing apparatus and its control processing method | |
CN111416923B (en) | Image processor and image processing method | |
US20030147640A1 (en) | System and method for capturing and embedding high-resolution still image data into a video data stream | |
JP2007199815A (en) | Memory control device and memory control method | |
JP2008078809A (en) | Image processor for vehicle | |
JP6849702B2 (en) | Memory access device, image processing device, and imaging device | |
KR101418892B1 (en) | Front-end event detector and low-power camera system using thereof | |
JP2006127206A (en) | Image recording apparatus | |
US8436915B2 (en) | Image processing apparatus | |
US20040201693A1 (en) | Image processing system | |
CN1964201A (en) | Apparatus and method for capturing still frames in a broadcast video signal | |
JP7419204B2 (en) | Image processing device | |
JP2009190536A (en) | Image processing system for vehicle | |
US20060061561A1 (en) | Image processing device | |
JP2008109427A (en) | Image processing device | |
JP3742066B2 (en) | Camera image processing device | |
JP3494436B2 (en) | Image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101028 |