JP2006340045A

JP2006340045A - 画像処理装置及び画像処理方法

Info

Publication number: JP2006340045A
Application number: JP2005162342A
Authority: JP
Inventors: Keisuke Nakazono; 啓介中薗; Akira Ueno; 晃上野
Original assignee: Olympus Corp; Olympus Imaging Corp
Current assignee: Olympus Corp; Olympus Imaging Corp
Priority date: 2005-06-02
Filing date: 2005-06-02
Publication date: 2006-12-14

Abstract

【課題】連続的に入力される画像データを短時間で効率的に画像処理できるようにした画像処理装置及び画像処理方法を提供する。
【解決手段】連続的に入力される画像データを格納するＤＲＡＭ４と、ＤＲＡＭから読み出される画像データに対して画像処理を施した画像データに対して第１の圧縮処理を施し符号量を得る第１のＪＰＥＧ処理部10と、画像処理した画像データをＤＲＡＭに格納する第１の出力ＤＭＡ12と、符号量に基づいて目標符号化画像データ量で圧縮できる量子化テーブルを予測するＣＰＵ13と、ＤＲＡＭから読み出された画像処理された画像データに対して予測された量子化テーブルに基づいて第２の圧縮処理を施す第２のＪＰＥＧ処理部16とを備え、第１の圧縮処理と、該第１の圧縮処理のための入力画像に対して先行する画像処理された画像データに対する第２の圧縮処理とを並行して実行するように構成する。
【選択図】図１

Description

この発明は、連続的に入力される画像データを圧縮処理しメモリに記録するために用いる画像処理装置及び画像処理方法に関する。

従来、デジタルカメラなどの画像入力装置からの画像データを圧縮処理し、メモリカード等のメモリに記録する場合、メモリの所定のファイルサイズに対応した目標の符号化画像データ量にできるだけ近づけた状態で、圧縮に係る符号化画像データ量を確定してメモリに記録するようにしている。そして、その圧縮処理時には、１フレーム分全部の画像データを、所定の圧縮パラメータ（係数）を設定したＪＰＥＧ圧縮伸長処理部へ入力して、符号化画像データを得るようにしている。

この際、メモリの所定のファイルサイズに対応する１フレーム分の目標符号化画像データ量Ｎが設定されている場合に、圧縮処理された符号化画像データ量Ｎ₁が目標符号化画像データ量Ｎに等しいかそれ以下のときには、そのままメモリに記録しても問題は生じない。しかし圧縮処理された符号化画像データ量Ｎ₁が目標符号化画像データ量Ｎより大きくなった場合は、メモリの予定記録領域をオーバーしてしまい、オーバーした記録領域に別の目的のデータが既に記録されている場合には、それを侵してしまう危険がある。

従来、このような問題が生じるのを回避するため、例えば特開２００２−３３０２９３号公報で開示されているような、画像処理を２回行い入力した画像データを目標符号化画像データ量（目標符号量）以内に圧縮処理して記録する手法が用いられている。

次に、上記従来の２回の圧縮処理を行う画像処理手法を、図９の（Ａ），（Ｂ）に示すデジタルカメラの画像処理部のブロック構成図と、その動作を説明するための動作タイミング図に基づいて説明する。この画像処理手法は、次の４つのステップで行われる。

（１）まず、ＣＣＤ等の撮像素子１で得られた画像信号をプリプロセス回路２に取り込み、ゲイン調整、Ａ／Ｄ変換等の処理を行った後、ＤＲＡＭバス３を介してＤＲＡＭ４に一旦書き込む。
（２）次に、ＤＲＡＭ４に書き込まれた画像データを入力ＤＭＡ６を介して画像処理部５に読み出し、ＹＣ生成部７でのＹＣ生成、ＬＰＦ８によるＬＰＦ処理、リサイズ部９におけるリサイズ処理などの一連の画像処理を行って、最終的にＪＰＥＧ処理部10に転送して第１の圧縮処理を行う。ここでの圧縮処理は、初期設定された量子化テーブルを用いて実行される。そして、圧縮処理された画像データ（符号化データ）を出力ＤＭＡ12を介して再度ＤＲＡＭ４に格納する。また、ＪＰＥＧ処理部10には圧縮処理した画像データの符号量を格納保持する符号量レジスタ11が設けられており、このレジスタ11に符号量が書き込まれる。
（３）次に、ＣＰＵ13がＣＰＵバス14を介して符号量レジスタ11に保持されている符号量を読み出して符号量を取得し、その符号量に基づいて、初期の量子化テーブルと対比して目標符号量に圧縮できる符号化テーブルを予測する。
（４）次に、入力ＤＭＡ６を介してＤＲＡＭ４に書き込まれた画像データを（２）と同様に再度読み出し、同様の画像処理を行い、ＪＰＥＧ処理部10では予測により再設定された量子化テーブルを用いて２回目の圧縮処理が行われ、これにより目標符号量に圧縮処理された画像データ（符号化画像データ）が得られる。なお、２回目の圧縮処理によっても目標符号量の符号化画像データが得られない場合は、再度同様の処理が繰り返し行われる。

以上の処理動作を、図９の（Ｂ）に示す動作タイミング図で説明すると、まずプリプロセス回路２で最初の画像データの取り込み（画像取り込み１）が終わった時点で、ＣＰＵ13が画像処理部５のＪＰＥＧ処理部10に対して初期の量子化テーブル等の初期設定（初期設定１）を行う。初期設定が終了すると、画像処理部５に処理開始の信号が送られ、画像処理（画像処理１-1）が実行される。ＪＰＥＧ処理部10による圧縮符号化処理を含む画像処理が終了し、終了割り込みがＣＰＵ13に返って来て、そこで目標符号量に対応した量子化テーブルの予測が行われ、新たな量子化テーブルの再設定が行われる。量子化テーブルの再設定が終了すると再度画像処理（画像処理１-2）を開始させて、この処理により１枚目の記録用の符号化画像データが得られる。この２度目の画像処理時には、同時にプリプロセス回路２に次の画像データが取り込まれ（画像取り込み２）、第１の画像データの第２の画像処理終了後に、初期設定された量子化テーブル（初期設定２）で第２の画像データの画像処理（画像処理２-1）が行われる。
特開２００２−３３０２９３号公報

ところで、上記画像処理手法によれば、基本的にプリプロセス回路で撮像素子から得られた画像を取り込むことと、圧縮（符号化）処理を含めた画像処理を並列に動作させることは可能であるが、図９の（Ｂ）に示した動作タイミング図からわかるように、画像処理して１枚の処理画像を得るのに、画像取り込みでいうと２フレーム分の時間を必要とする。つまり、画像取り込みが時間的に２フレームに１回しかできない。したがって、このような画像処理をしている限りは、連写や動画撮影時には時間がかかって性能を上げられないという問題点がある。

本発明は、従来の画像処理手法における上記問題点を解消するためになされたもので、連続的に入力される画像データを短時間で効率的に画像処理できるようにした画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するため、請求項１に係る発明は、連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理装置であって、連続的に入力される前記画像データを格納する記憶部と、該記憶部から読み出される画像データに対して画像処理を施す前記画像処理部と直列に接続され、前記画像処理部から出力される画像データに対して第１の圧縮処理を施すことにより符号化画像データ量を得る第１の圧縮部と、前記画像処理部から出力される画像データを前記記憶部に書き込むデータ書き込み部と、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測部と、前記第１の圧縮部とは別個に設けられて、前記記憶部から読み出された画像処理された画像データに対して前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る第２の圧縮部とを有し、前記入力画像データに対する第１の圧縮処理と、該第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する第２の圧縮処理とを並列に処理することを特徴とするものである。

請求項２に係る発明は、請求項１に係る画像処理装置において、更に、前記第１の圧縮処理のための前記入力画像データに対して後続の入力画像データの前記記憶部への格納処理を、前記入力画像データに対する第１の圧縮処理と、該第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する第２の圧縮処理と並列に処理することを特徴とするものである。

請求項３に係る発明は、連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理装置であって、連続的に入力される前記画像データを格納する記憶部と、該記憶部から読み出される画像データに対して画像処理を施す前記画像処理部と直列に接続され、前記画像処理部から出力される画像データに対して第１の圧縮処理を施すことにより符号化画像データと符号化画像データ量とを得る第１の圧縮部と、該第１の圧縮部から出力される符号化画像データを前記記憶部に書き込むデータ書き込み部と、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測部と、前記第１の圧縮部とは別個に設けられて、前記記憶部から読み出された前記符号化画像データに対して前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る第２の圧縮部とを有し、前記入力画像データに対する第１の圧縮処理と、該第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記第１の圧縮処理が施された画像データに対する第２の圧縮処理と並列に処理することを特徴とするものである。

請求項４に係る発明は、請求項３に係る画像処理装置において、更に、前記第１の圧縮処理のための前記入力画像データに対して後続の入力画像データの前記記憶部への格納処理を、前記入力画像データに対する第１の圧縮処理と、該第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記第１の圧縮処理が施された画像データに対する第２の圧縮処理と並列に処理することを特徴とするものである。

請求項５に係る発明は、請求項３又は４に係る画像処理装置において、前記第１の圧縮部は、直交変換部と第１の量子化部と第１の可変長符号化部とからなり、前記直交変換部からは前記符号化画像データとして直交変換係数データが出力され、前記第１の可変長符号化部からは前記符号化画像データ量が出力され、前記第２の圧縮部は、第２の量子化部と量子化された画像データを可変長符号化する第２の可変長符号化部とからなり、前記記憶部から読み出された直交変換係数データを前記第２の圧縮部の第２の量子化部に入力して、前記量子化テーブル予測部からの量子化テーブルに基づいて圧縮処理を行い、更に第２の可変長符号化部により可変長符号化して符号化画像データを得ることを特徴とするものである。

請求項６に係る発明は、請求項１〜５のいずれか１項に係る画像処理装置において、前記連続的に入力される画像データは、当該画像処理装置が適用されるデジタルカメラによる連写又は動画撮影によって得られる撮像データであることを特徴とするものである。

請求項７に係る発明は、連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理方法であって、連続的に入力される前記画像データを記憶部に格納する入力画像データ記憶ステップと、前記記憶部から読み出された画像データに対して前記画像処理部で画像処理した画像データに対して第１の圧縮部で第１の圧縮処理を施すことにより符号化画像データ量を得る符号化画像データ量生成ステップと、前記画像処理部で画像処理した画像データを前記記憶部に書き込む画像データ書き込みステップと、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測ステップと、前記記憶部から読み出された画像処理された画像データに対して第２の圧縮部で前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る符号化画像データ生成ステップとを有し、前記入力画像データに対する前記第１の圧縮処理による符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する前記第２の圧縮処理による符号化画像データ生成ステップとを並列に実行することを特徴とするものである。

請求項８に係る発明は、請求項７に係る画像処理方法において、更に、前記第１の圧縮処理のための入力画像データに対して後続の入力画像データを前記記憶部へ格納する入力画像データ記憶ステップを、前記入力画像データに対する第１の圧縮処理による符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する第２の圧縮処理による符号化画像データ生成ステップと並列に実行することを特徴とするものである。

請求項９に係る発明は、連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理方法であって、連続的に入力される前記画像データを記憶部に格納する入力画像データ記憶ステップと、前記記憶部から読み出された画像データに対して前記画像処理部で画像処理した画像データに対して第１の圧縮部で第１の圧縮処理を施すことにより符号化画像データと符号化画像データ量を得る符号化画像データ及び符号化画像データ量生成ステップと、前記第１の圧縮処理で得られた符号化画像データを前記記憶部に書き込む符号化画像データ書き込みステップと、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測ステップと、前記記憶部から読み出された前記符号化画像データに対して第２の圧縮部で前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る符号化画像データ生成ステップとを有し、前記入力画像データに対する前記第１の圧縮処理による符号化画像データ及び符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記第１の圧縮処理で生成された符号化画像データに対する前記第２の圧縮処理による符号化画像データ生成ステップとを並列に実行することを特徴とするものである。

請求項10に係る発明は、請求項９に係る画像処理方法において、更に、前記第１の圧縮処理のための入力画像データに対して後続の入力画像データを前記記憶部へ格納する入力画像データ記憶ステップを、前記入力画像データに対する第１の圧縮処理による符号化画像データ及び符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記第１の圧縮処理で生成された符号化画像データに対する第２の圧縮処理による符号化画像データ生成ステップと並列に実行することを特徴とするものである。

請求項11に係る発明は、連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理方法であって、連続的に入力される前記画像データを所定枚数分まとめて記憶部に格納する入力画像データ記憶ステップと、前記記憶部から読み出された画像データに対して前記画像処理部で画像処理した画像データに対して第１の圧縮部で第１の圧縮処理を施すことにより符号化画像データ量を得る符号化画像データ量生成ステップと、前記画像処理部で画像処理した画像データを前記記憶部に書き込む画像データ書き込みステップと、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測ステップと、前記記憶部から読み出された画像処理された画像データに対して第２の圧縮部で前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る符号化画像データ生成ステップとを有し、前記入力画像データに対する前記第１の圧縮処理による符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する前記第２の圧縮処理による符号化画像データ生成ステップとを並列に実行することを特徴とするものである。

本発明によれば、画像処理された画像データに対して第１の圧縮処理を施し、得られた符号化画像データ量に基づいて目標符号化画像データ量で圧縮できる量子化テーブルを予測し、画像処理された画像データに対して予測量子化テーブルに基づいて第２の圧縮処理を施すと共に、入力画像データに対する第１の圧縮処理と、先行する画像処理された画像データに対する第２の圧縮処理とを並列に実行できるように構成しているので、連続して入力される画像データに対して、タイミング的に１フレームの時間で１フレームの圧縮処理画像データを出力させることができ、連写あるいは動画撮影画像データを短時間で効率的に画像処理することが可能となる。

次に、本発明を実施するための最良の形態について説明する。

（実施例１）
まず、本発明に係る画像処理装置及び画像処理方法の実施例１について説明する。図１は、実施例１に係る画像処理装置の構成を示すブロック構成図で、図９に示した従来の画像処理装置と同一又は対応する構成要素には同一符号を付して示している。

本実施例に係る画像処理装置は、ＪＰＥＧ処理部を２つ備え、符号量見積もり用の第１の圧縮処理と予測量子化テーブルを用いた記録用の第２の圧縮処理を、別々のＪＰＥＧ処理部を用いて行うようにするものである。

すなわち、図１に示すように、初期の量子化テーブルで圧縮処理を行う符号量レジスタ11を備えた符号量見積もり用の第１のＪＰＥＧ処理部10の他に、第１のＪＰＥＧ処理部10における第１の圧縮処理で得られた符号量に基づいて、初期の量子化テーブルと対比して求められた目標符号量に圧縮できる予測符号化テーブルで圧縮処理する第２のＪＰＥＧ処理部16を設け、更に第２のＪＰＥＧ処理部16の配設に対応して第２の入力ＤＭＡ15及び第２の出力ＤＭＡ17を設けて構成されている。なお、画像処理部５のＹＣ生成部７，ＬＰＦ８及びリサイズ部９で画像処理された画像データは、第１のＪＰＥＧ処理部10へ入力されると共に、第１の出力ＤＭＡ12を介してＤＲＡＭ４に一旦格納されるようになっている。

次に、このように構成されている画像処理装置の動作について説明する。まず、ＣＣＤ等の撮像素子１で得られる画像信号をプリプロセス回路２に取り込み、ＤＲＡＭ４に一旦書き込んだ後、第１の入力ＤＭＡ６を介して画像処理部５に読み出し、ＹＣ生成処理、ＬＰＦ処理、リサイズ処理等の一連の画像処理を行って、第１のＪＰＥＧ処理部10で初期設定された量子化テーブルに基づいて第１の圧縮処理が行われ、得られた符号量が符号量レジスタ11に保持されるが、これまでの処理動作は図９に示した従来例のものと同一である。

本実施例においては、第１のＪＰＥＧ処理部10における第１の圧縮処理により符号量を求める処理と同時に、この第１のＪＰＥＧ処理部10で符号化処理する入力画像データ、つまり画像処理された画像データを第１の出力ＤＭＡ12を介してＤＲＡＭ４へ格納する。そして、第１のＪＰＥＧ処理部10で得られ符号量レジスタ11に保持されている符号量をＣＰＵ13に読み出し、ＣＰＵ13はその符号量に基づいて目標符号量に圧縮できる量子化テーブルを予測する。

次いで、予測した量子化テーブルを第２のＪＰＥＧ処理部16に対して設定し、先に画像処理されＤＲＡＭ４に格納されている画像データを第２の入力ＤＭＡ15を介して読み出し、第２のＪＰＥＧ処理部16で予測量子化テーブルに基づいて第２の圧縮処理をする。ここで第２の圧縮処理された記録用の符号化画像データは、第２の出力ＤＭＡ17を介してＤＲＡＭ４に格納される。

以上の圧縮処理動作においては、単に第１及び第２の圧縮処理を別個の第１及び第２のＪＰＥＧ処理部10，16で分けて行っているだけではなく、次に述べるように、第１及び第２の圧縮処理は並行して実行されるようになっている。次に、この点について、図２の動作タイミング図に基づいて説明する。なお、図２に示す動作タイミング図において、画像処理部の動作タイミングが上下２段に分かれており、上段は画像処理部５の第１の入力ＤＭＡ６から第１の出力ＤＭＡ12までの第１の画像処理ルートの動作タイミングを示し、下段は第２の入力ＤＭＡ15から第２の出力ＤＭＡ17までの第２の画像処理ルートの動作タイミングを示している。

まず、プリプロセス回路２で最初の画像データの取り込みが行われ（画像取り込み１）、ＤＲＡＭ４への転送が終わった時点で、ＣＰＵ13が第１のＪＰＥＧ処理部10の量子化テーブルの初期設定を行う（初期設定１）。量子化テーブルの初期設定が終了すると、画像処理部５に処理開始の信号が送られ、第１の画像処理ルートの画像処理が実行される（画像処理１-1）。これと並行してプリプロセス回路２では第２の画像データの取り込みが行われる（画像取り込み２）。そして、画像処理部５における第１のＪＰＥＧ処理部10による符号化処理を含む画像処理が終了し、符号量が符号量レジスタ11に保持され、画像処理された画像データがＤＲＡＭ４へ格納されて、終了割り込みがＣＰＵ13に返って来ると、ＣＰＵ13は第２のＪＰＥＧ処理部16の量子化テーブルを、第１のＪＰＥＧ処理部10により得られた符号量に基づいて予測された予測量子化テーブルに再設定する（量子化テーブル再設定１）。これと同時に、ＣＰＵ13は次に取り込まれた画像データの画像処理を行う画像処理部５の第１のＪＰＥＧ処理部10に対して再び量子化テーブルの初期設定を並行して行う（初期設定２）。

第２のＪＰＥＧ処理部16への予測量子化テーブルの再設定と、第１のＪＰＥＧ処理部10への初期設定が終了すると、画像処理部５に処理開始の信号が送られ、２枚目の画像データに対する第１の画像処理ルートにおける第１のＪＰＥＧ処理部10による符号化処理を含む画像処理が行われ（画像処理２-1）、並行して画像処理された１枚目の画像データに対する第２の画像処理ルートにおける第２のＪＰＥＧ処理部16による予測量子化テーブルに基づく第２の圧縮処理が実行される（再圧縮１-2）。以下、同様にして、画像取り込みと、第１のＪＰＥＧ処理部10による第１の圧縮処理と第２のＪＰＥＧ処理部16による第２の圧縮処理が並列に実行される。

このように、上記各処理動作がパイプライン処理され、画像データの取り込みから画像処理されて記録用符号化画像データが得られるまでは、２フレーム期間を必要とするが、タイミング的には、１フレームの時間で１枚の画像処理された符号化画像データを出力させることができる。したがって、レスポンスという意味では従来のものと変わらないが、ＪＰＥＧ圧縮処理のスループットは従来の２倍に向上させることができる。

上記第１の画像処理ルートの第１の出力ＤＭＡ12を介しての画像処理された画像データのＤＲＡＭ４への書き込みと、ＤＲＡＭ４への書き込まれた画像データの第２の画像処理ルートの第２の入力ＤＭＡ15を介しての第２のＪＰＥＧ処理部16への読み出しのパイプライン処理は、ＤＲＡＭ４をパイプラインバッファとして実現している。すなわち、図３に示すように、ＤＲＡＭ４上に複数のフレームバッファ、ここでは２つのフレームバッファＡ，Ｂを設け、図４に示すように、第１の出力ＤＭＡ12は、第１の画像処理ルートのリサイズ部９より出力される画像処理された第１のフレーム１の画像データをＤＲＡＭ４のフレームバッファＡに格納し、次いでフレームバッファＡより格納されているフレーム１の画像データを第２の入力ＤＭＡ15を介して第２の画像処理ルートの第２のＪＰＥＧ処理部16に読み出し、第２の圧縮処理を施すと共に、第１の出力ＤＭＡ12を介して画像処理された第２のフレーム２の画像データをＤＲＡＭ４のフレームバッファＢを書き込み格納する。次いで、ＤＲＡＭ４のフレームバッファＢより格納されているフレーム２の画像データを第２の入力ＤＭＡ15を介して第２のＪＰＥＧ処理部16へ読み出し、第２の圧縮処理を施すと共に、空になっているＤＲＡＭ４のフレームバッファＡに第１の出力ＤＭＡ12を介して画像処理された第３のフレーム３の画像データを格納する。

このように、ＤＲＡＭ４に設けた２つのフレームバッファＡ，Ｂを交互に繰り返し使用するバタフライ動作により、パイプライン処理で上記第１の圧縮処理と第２の圧縮処理の並行処理を実現することができる。なお、ＤＲＡＭ４上に用意するフレームバッファ数は任意であるが、最低でも２つ必要であり、図示例のように、２つ設けた場合は、上記のようにバタフライ動作となる。

（実施例２）
次に、実施例２について説明する。図５は、実施例２に係る画像処理装置の構成を示すブロック構成図であり、図１に示した実施例１と同一又は対応する構成要素には同一符号を付して示している。図１に示した実施例１は、第１及び第２のＪＰＥＧ処理部10，16としては、同一の完全なＪＰＥＧコアを用いたものであるが、実施例２では、第２のＪＰＥＧ処理部は、第１のＪＰＥＧ処理部の完全なＪＰＥＧコアとは同一構成のものではなく、異なる構成のものを用いている点で、実施例１と異なるものである。

すなわち、第１の画像処理ルートの第１のＪＰＥＧ処理部10’は、図６の（Ａ）に示すように、完全なＪＰＥＧコアで構成されていて、且つＤＣＴ係数を出力可能な構成となっている。すなわち、第１のＪＰＥＧ処理部10’は、リサイズ処理されたＹＣ画像データを入力してＤＣＴ係数を求めるＤＣＴ変換部10'-1 と、量子化テーブルを用いてＤＣＴ係数を量子化する量子化部10'-2 と、量子化データを可変長符号化する可変長符号化部10'-3 と、可変長符号化部10'-3 で得られた符号量を保持する符号量レジスタ11とを備え、ＤＣＴ変換部10'-1 で得られたＤＣＴ係数を、第１の出力ＤＭＡ12を介してＤＲＡＭ４に格納すべく出力されるように構成されている。

一方、第２の画像処理ルートの第２のＪＰＥＧ処理部16’は、ＤＲＡＭ４に格納されているＤＣＴ係数を入力して、符号化画像データを出力させればよいだけであるので、ＤＣＴ変換部は不必要で、したがって完全なＪＰＥＧコアではなく、量子化部16'-1 と、可変長符号化部16'-2 とで構成されている。

次に、このように構成された実施例２の処理動作を、図７に示す動作タイミング図に基づいて説明する。この実施例２の処理動作は、タイミング的には図２に示した実施例１の動作タイミングと基本的には同一であるが、実施例１では第１の画像処理ルートにおいてＹＣ画像データを第１のＪＰＥＧ処理部で圧縮処理すると同時に、ＹＣ画像データを第１の出力ＤＭＡ12を介してＤＲＡＭ４に書き込み格納していたのに対し、本実施例２では第１のＪＰＥＧ処理部10’のＤＣＴ変換部10'-1 で得られたＤＣＴ係数を、第１の出力ＤＭＡ12を介してＤＲＡＭ４に書き込み格納する。そして、第２の画像処理ルートにおいて、ＤＲＡＭ４よりＤＣＴ係数を読み出して第２のＪＰＥＧ処理部16’で量子化と可変長符号化処理のみを行って最終的に記録用の符号化画像データを出力するようになっている。

すなわち、まずプリプロセス回路２で最初の画像の取り込みが行われ（画像取り込み１）、ＤＲＡＭ４への転送が終わった時点で、ＣＰＵ13が第１のＪＰＥＧ処理部10’の量子化テーブルの初期設定を行う（初期設定１）。量子化テーブルの初期設定が終了すると、画像処理部５に処理開始の信号が送られ、画像処理部５では第１の入力ＤＭＡ６を介してＤＲＡＭ４から画像データを読み出し（画像読み出し１）、ＹＣ生成処理、ＬＰＦ処理、リサイズ処理等の画像処理を行い（画像処理１）、画像処理された画像データを第１のＪＰＥＧ処理部10’に入力して、まずＤＣＴ変換部10'-1 でＤＣＴ係数を算出し（ＤＣＴ１）、得られたＤＣＴ係数を第１の出力ＤＭＡ12を介してＤＲＡＭ４へ書き込む（ＤＣＴ係数書き込み）。また第１のＪＰＥＧ処理部10’ではＤＣＴ変換部10'-1 で得られたＤＣＴ係数を量子化部10'-2 へ入力して、初期設定された量子化テーブルに基づいて量子化処理を行い〔量子化１-1（ＪＰＥＧ１）〕、次いで可変長符号化部10'-3 で符号量を生成し〔可変長符号化１-1（ＪＰＥＧ１）〕、得られた符号量を符号量レジスタ11に保持する。また、これらの処理動作と並行してプリプロセス回路２では第２の画像データの取り込みが行われ、ＤＲＡＭ４へ格納される（画像取り込み２）。

そして、画像処理部５における第１のＪＰＥＧ処理部10’による符号化圧縮処理を含む画像処理が終了し、終了割り込みがＣＰＵ13に返って来ると、ＣＰＵ13は第２のＪＰＥＧ処理部16’の量子化テーブルを、第１のＪＰＥＧ処理部10’により得られた符号量に基づいて予測された予測量子化テーブルに再設定する（量子化テーブル再設定１）。これと同時に、ＣＰＵ13は次に取り込まれた画像データの画像処理を行う画像処理部５の第１のＪＰＥＧ処理部10’に対して再び量子化テーブルの初期設定を並行して行う（初期設定２）。

第２のＪＰＥＧ処理部16’への予測量子化テーブルの再設定と、第１のＪＰＥＧ処理部10’への初期設定が終了すると、画像処理部５に処理開始の信号が送られ、２枚目の画像データに対する第１の画像処理ルートにおける第１のＪＰＥＧ処理を含む画像処理が行われる。すなわち、ＤＲＡＭ４から第２の画像データを読み出し（画像読み出し２）、ＹＣ生成処理、ＬＰＦ処理、リサイズ処理等の画像処理を行い（画像処理２）、画像処理データを第１のＪＰＥＧ処理部10’に入力して、ＤＣＴ係数を算出し（ＤＣＴ１）、得られたＤＣＴ係数を第１の出力ＤＭＡ12を介してＤＲＡＭ４へ書き込み（ＤＣＴ係数書き込み）、また得られたＤＣＴ係数に対して再び初期設定された量子化テーブルに基づいて量子化処理を行い〔量子化２-1（ＪＰＥＧ１）〕、次いで可変長符号化部10'-3 で符号量を生成し〔可変長符号化２-1（ＪＰＥＧ１）〕、得られた符号量を符号量レジスタ11に保持する。また、この処理動作と並行してＤＲＡＭ４へ格納されている１枚目の画像データに対する第１のＪＰＥＧ処理部10’のＤＣＴ変換部10'-1 で得られたＤＣＴ係数を、第２の入力ＤＭＡ15を介して第２の画像処理ルートの第２のＪＰＥＧ処理部16’へ読み出し（ＤＣＴ係数読み出し１）、第２のＪＰＥＧ処理部16’の量子化部16'-1 で予測量子化テーブルに基づいて量子化処理が行われ〔量子化１-2（ＪＰＥＧ２）〕、次いで可変長符号化部16'-2 で記録用の符号化画像データを生成し〔可変長符号化１-2（ＪＰＥＧ２）〕、得られた符号化画像データをＤＲＡＭ４に書き込む（符号データ書き込み１）。更にまた、これらの処理動作と並行してプリプロセス回路２では、第３の画像データの取り込みが行われ、ＤＲＡＭ４へ格納する（画像取り込み３）。

以下、同様にしてプリプロセス回路における画像取り込みと、第１のＪＰＥＧ処理部10’による第１の圧縮処理を含む画像処理と、第２のＪＰＥＧ処理部16’による第２の圧縮処理が並行して実行される。

このように画像処理を行うことにより、実施例１と比べて、第１の画像処理ルートにおいて第１のＪＰＥＧ処理部に入力する画像処理データを出力させる代わりに、第１のＪＰＥＧ処理部からＤＣＴ係数を出力させる必要があるが、第２のＪＰＥＧ処理部ではＤＣＴ変換部が不必要となるので、規模的に縮小させることができる。

なお、上記各実施例では、プリプロセス回路２への画像データの取り込みと、第１の画像処理ルートによる第１の圧縮処理を含む画像処理と、第２の画像処理ルートによる第２の圧縮処理（再圧縮処理）とを並行して実行するようにしたものを示したが、図８に示すように、プリプロセス回路で最初に所定枚数の画像をまとめてＤＲＡＭに取り込み、取り込み終了後に第１の画像処理ルートによる第１の圧縮処理を含む画像処理と、第２の画像処理ルートによる第２の圧縮処理とを並行して実行するように構成してもよく、同等の効果が得られる。

本発明に係る画像処理装置の実施例１を示すブロック構成図である。図１に示した実施例１の処理動作を説明するための動作タイミング図である。図１に示した実施例１におけるＤＲＡＭに対する第１の画像処理ルートからの画像データの書き込みと、第２の画像処理ルートへの画像データの読み出し態様を示す説明図である。図３に示したＤＲＡＭへの書き込み及び読み出し態様を説明するためのタイミング図である。本発明の実施例２に係る画像処理装置の構成を示すブロック構成図である。図５に示した実施例２における第１のＪＰＥＧ処理部及び第２のＪＰＥＧ処理部の構成を示すブロック構成図である。図５に示した実施例２の処理動作を説明するための動作タイミング図である。実施例１及び２における画像処理動作の変形例を示す動作タイミング図である。従来の画像処理装置の構成例を示すブロック構成図、及びその動作を説明するための動作タイミング図である。

符号の説明

１撮像素子
２プリプロセス回路
３ＤＲＡＭバス
４ＤＲＡＭ
５画像処理部
６第１の入力ＤＭＡ
７ＹＣ生成部
８ＬＰＦ
９リサイズ部
10，10’ 第１のＪＰＥＧ処理部
10-1，10'-1 ＤＣＴ変換部
10-2，10'-2 量子化部
10-3，10'-3 可変長符号化部
11 符号量レジスタ
12 第１の出力ＤＭＡ
13 ＣＰＵ
14 ＣＰＵバス
15 第２の入力ＤＭＡ
16，16’ 第２のＪＰＥＧ処理部
16-1，16'-1 量子化部
16-2，16'-2 可変長符号化部
17 第２の出力ＤＭＡ

Claims

連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理装置であって、連続的に入力される前記画像データを格納する記憶部と、該記憶部から読み出される画像データに対して画像処理を施す前記画像処理部と直列に接続され、前記画像処理部から出力される画像データに対して第１の圧縮処理を施すことにより符号化画像データ量を得る第１の圧縮部と、前記画像処理部から出力される画像データを前記記憶部に書き込むデータ書き込み部と、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測部と、前記第１の圧縮部とは別個に設けられて、前記記憶部から読み出された画像処理された画像データに対して前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る第２の圧縮部とを有し、前記入力画像データに対する第１の圧縮処理と、該第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する第２の圧縮処理とを並列に処理することを特徴とする画像処理装置。
更に、前記第１の圧縮処理のための前記入力画像データに対して後続の入力画像データの前記記憶部への格納処理を、前記入力画像データに対する第１の圧縮処理と、該第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する第２の圧縮処理と並列に処理することを特徴とする請求項１に係る画像処理装置。
連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理装置であって、連続的に入力される前記画像データを格納する記憶部と、該記憶部から読み出される画像データに対して画像処理を施す前記画像処理部と直列に接続され、前記画像処理部から出力される画像データに対して第１の圧縮処理を施すことにより符号化画像データと符号化画像データ量とを得る第１の圧縮部と、該第１の圧縮部から出力される符号化画像データを前記記憶部に書き込むデータ書き込み部と、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測部と、前記第１の圧縮部とは別個に設けられて、前記記憶部から読み出された前記符号化画像データに対して前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る第２の圧縮部とを有し、前記入力画像データに対する第１の圧縮処理と、該第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記第１の圧縮処理が施された画像データに対する第２の圧縮処理とを並列に処理することを特徴とする画像処理装置。
更に、前記第１の圧縮処理のための前記入力画像データに対して後続の入力画像データの前記記憶部への格納処理を、前記入力画像データに対する第１の圧縮処理と、該第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記第１の圧縮処理が施された画像データに対する第２の圧縮処理と並列に処理することを特徴とする請求項３に係る画像処理装置。
前記第１の圧縮部は、直交変換部と第１の量子化部と第１の可変長符号化部とからなり、前記直交変換部からは前記符号化画像データとして直交変換係数データが出力され、前記第１の可変長符号化部からは前記符号化画像データ量が出力され、前記第２の圧縮部は、第２の量子化部と量子化された画像データを可変長符号化する第２の可変長符号化部とからなり、前記記憶部から読み出された直交変換係数データを前記第２の圧縮部の第２の量子化部に入力して、前記量子化テーブル予測部からの量子化テーブルに基づいて圧縮処理を行い、更に第２の可変長符号化部により可変長符号化して符号化画像データを得ることを特徴とする請求項３又は４に係る画像処理装置。
前記連続的に入力される画像データは、当該画像処理装置が適用されるデジタルカメラによる連写又は動画撮影によって得られる撮像データであることを特徴とする請求項１〜５のいずれか１項に係る画像処理装置
連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理方法であって、連続的に入力される前記画像データを記憶部に格納する入力画像データ記憶ステップと、前記記憶部から読み出された画像データに対して前記画像処理部で画像処理した画像データに対して第１の圧縮部で第１の圧縮処理を施すことにより符号化画像データ量を得る符号化画像データ量生成ステップと、前記画像処理部で画像処理した画像データを前記記憶部に書き込む画像データ書き込みステップと、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測ステップと、前記記憶部から読み出された画像処理された画像データに対して第２の圧縮部で前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る符号化画像データ生成ステップとを有し、前記入力画像データに対する前記第１の圧縮処理による符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する前記第２の圧縮処理による符号化画像データ生成ステップとを並列に実行することを特徴とする画像処理方法。
更に、前記第１の圧縮処理のための入力画像データに対して後続の入力画像データを前記記憶部へ格納する入力画像データ記憶ステップを、前記入力画像データに対する第１の圧縮処理による符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する第２の圧縮処理による符号化画像データ生成ステップと並列に実行することを特徴とする請求項７に係る画像処理方法。
連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理方法であって、連続的に入力される前記画像データを記憶部に格納する入力画像データ記憶ステップと、前記記憶部から読み出された画像データに対して前記画像処理部で画像処理した画像データに対して第１の圧縮部で第１の圧縮処理を施すことにより符号化画像データと符号化画像データ量を得る符号化画像データ及び符号化画像データ量生成ステップと、前記第１の圧縮処理で得られた符号化画像データを前記記憶部に書き込む符号化画像データ書き込みステップと、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測ステップと、前記記憶部から読み出された前記符号化画像データに対して第２の圧縮部で前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る符号化画像データ生成ステップとを有し、前記入力画像データに対する前記第１の圧縮処理による符号化画像データ及び符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記第１の圧縮処理で生成された符号化画像データに対する前記第２の圧縮処理による符号化画像データ生成ステップとを並列に実行することを特徴とする画像処理方法。
更に、前記第１の圧縮処理のための入力画像データに対して後続の入力画像データを前記記憶部へ格納する入力画像データ記憶ステップを、前記入力画像データに対する第１の圧縮処理による符号化画像データ及び符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記第１の圧縮処理で生成された符号化画像データに対する第２の圧縮処理による符号化画像データ生成ステップと並列に実行することを特徴とする請求項９に係る画像処理方法。
連続的に入力される画像データに対して複数の直列に接続された画像処理部により空間的な画像処理を施し、これによって得られた画像データに対して圧縮処理を施して出力させる画像処理方法であって、連続的に入力される前記画像データを所定枚数分まとめて記憶部に格納する入力画像データ記憶ステップと、前記記憶部から読み出された画像データに対して前記画像処理部で画像処理した画像データに対して第１の圧縮部で第１の圧縮処理を施すことにより符号化画像データ量を得る符号化画像データ量生成ステップと、前記画像処理部で画像処理した画像データを前記記憶部に書き込む画像データ書き込みステップと、前記第１の圧縮処理により得られた符号化画像データ量に基づいて、目標符号化画像データ量で圧縮できる量子化テーブルを予測する量子化テーブル予測ステップと、前記記憶部から読み出された画像処理された画像データに対して第２の圧縮部で前記量子化テーブルに基づいて第２の圧縮処理を施すことにより符号化画像データを得る符号化画像データ生成ステップとを有し、前記入力画像データに対する前記第１の圧縮処理による符号化画像データ量生成ステップと、前記第１の圧縮処理のための前記入力画像データに対して先行する入力画像データの前記画像処理部で画像処理された画像データに対する前記第２の圧縮処理による符号化画像データ生成ステップとを並列に実行することを特徴とする画像処理方法。