JP2008061228A - 画像処理装置および電子カメラ - Google Patents

Abstract

【課題】
従来技術では、補間処理や色処理に対して画像圧縮処理の方が処理が重いため、処理時間が長く掛かってしまうという問題があった。
【解決手段】
本発明に係る画像処理装置は、連続したフレームの画像を入力して補間および色処理を行う補間色処理回路と、補間色処理回路で処理中および処理済の複数フレーム分の画像を巡回的に記憶する記憶部と、補間色処理回路で処理済のフレームの画像を記憶部から読み出して画像圧縮処理を行い、フレーム毎に巡回的に起動されて並列処理する複数の画像圧縮処理回路と、画像圧縮処理回路で処理した圧縮データを記憶する圧縮データ記憶部とを有することを特徴とする。
【選択図】 図１

Description

本発明は、画像圧縮を行う画像処理技術に関する。

一般に、カメラなどで撮影した画像を画像処理して記憶媒体に保存する手順は、先ず撮影した画像の補間処理や色処理を行い、最後に画像圧縮処理を行って記憶媒体に保存する。ところが、各部の処理速度が異なるため、遅い処理によって全体の処理速度が決まってしまうという問題がある。

このため、全体の処理速度を向上するために、撮像素子から２系統の信号を取り出して並列処理する方法など、様々な技術が考えられている（例えば、特許文献１参照）。

また、撮影した画像を圧縮処理した時の符号量は、画像の種類によって異なる。例えば一般的に用いられている画像圧縮処理のＪＰＥＧ方式では、同じスケールファクタ（量子化テーブルに掛けて量子化ビット数を可変する圧縮パラメータ）を用いて画像圧縮を行うと、高周波成分が多い画像は符号量が多くなり、高周波成分が少ない画像では符号量は少なくなる。

このような可変長圧縮を行う場合、メモリ量が一定の電子カメラでは、撮影する画像によって撮影可能枚数が異なり、残りの撮影可能枚数を把握できないという問題が生じる。
また、画像圧縮後の符号量が所定範囲内に収まるようにスケールファクタを予測して調整する固定長圧縮も用いられている（例えば、特許文献２参照）。
特開２００２−８４４９３号公報 特開２００１−６１１４８号公報

従来技術では、補間処理や色処理に対して画像圧縮処理の方が処理が重いため、処理時間が長く掛かってしまうという問題があった。また、撮像素子から２系統の信号を取り出す方法は、専用の撮像素子が必要になり、画像処理装置のコストが高くなってしまうという問題があった。さらに、画像圧縮後の符号量を所定範囲内に収めるためのスケールファクタの予測やスケールファクタを更新するタイミングなどについては詳しく検討されていなかった。

上記課題に鑑み、本発明の目的は、ローコストで、全体の処理速度を向上することができる画像処理装置および電子カメラを提供することである。

本発明に係る画像処理装置は、連続したフレームの画像を入力して補間および色処理を行う補間色処理回路と、前記補間色処理回路で処理中および処理済の複数フレーム分の画像を巡回的に記憶する記憶部と、前記補間色処理回路で処理済のフレームの画像を前記記憶部から読み出して画像圧縮処理を行い、フレーム毎に巡回的に起動されて並列処理する複数の画像圧縮処理回路と、前記画像圧縮処理回路で処理した圧縮データを記憶する圧縮データ記憶部とを有することを特徴とする。

特に、前記画像圧縮処理回路の個数は、（前記画像圧縮処理回路の１フレームの処理時間）÷（前記補間色処理回路の１フレームの処理時間）の計算値を切り上げた個数以上としたことを特徴とする。

或いは、連続したフレームの画像を入力して補間および色処理を行う補間色処理回路と、前記補間色処理回路で処理中のフレームから予め設定した所定量のデータをフレーム毎に記憶する複数の記憶バッファと、前記記憶バッファに記憶された処理済のデータを画像処理単位毎に読み出して画像圧縮処理を行い、フレームの最初の前記画像処理単位が読み出される毎に巡回的に起動されて並列処理する複数の画像圧縮処理回路と、前記画像圧縮処理回路で処理した圧縮データを記憶する圧縮データ記憶部とを有することを特徴とする。

特に、前記画像圧縮処理回路の個数は、（前記画像圧縮処理回路の１フレームの処理時間−前記補間色処理回路の前記処理単位データの処理時間）÷（前記補間色処理回路の１フレームの処理時間）の計算値を切り上げた個数以上としたことを特徴とする。

または、連続したフレームの画像を入力して補間および色処理を行う補間色処理回路と、前記補間色処理回路で処理中のフレームから予め設定した所定量のデータを前記所定量毎に巡回的に記憶する複数の記憶バッファと、前記記憶バッファに記憶された処理済のデータを画像処理単位毎に読み出して画像圧縮処理を行い、前記所定量毎に巡回的に起動されて同一フレームの画像を並列処理する複数の画像圧縮処理回路と、前記複数の画像圧縮処理回路で処理した複数の画像処理単位毎の圧縮データの順序を整えるデータアライメント手段と、前記データアライメント手段が順序を整えた１フレーム分の圧縮データを記憶する圧縮データ記憶部とを有することを特徴とする。

また、前記複数の画像圧縮処理回路を、前記連続したフレームの画像のうち奇数番目フレームの画像に対して画像圧縮処理を行う第１の画像圧縮処理部と、該連続したフレームの画像のうち偶数番目フレームの画像に対して画像圧縮処理を行う第２の画像圧縮処理部とで構成し、前記第１の画像圧縮処理部において画像圧縮処理に使用された第１圧縮条件、または前記第２の画像圧縮処理部において画像圧縮処理に使用された第２圧縮条件のうち少なくとも一方を記憶する圧縮条件記憶部と、前記第１の画像圧縮処理部および前記第２の画像圧縮処理部における画像圧縮処理、および前記圧縮条件記憶部における圧縮条件記憶処理を制御する圧縮制御部を更に有することを特徴とする。

特に、前記圧縮制御部は、前記第１圧縮条件および前記第２圧縮条件のうち最新の圧縮条件を前記圧縮条件記憶部に逐次更新記憶し、前記圧縮条件記憶部に記憶された前記最新の圧縮条件を参照して前記第１の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第１圧縮条件を設定し、前記圧縮条件記憶部に記憶された前記最新の圧縮条件を参照して前記第２の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第２圧縮条件を設定することを特徴とする。

或いは、前記圧縮制御部は、前記第１圧縮条件および前記第２圧縮条件を前記圧縮条件記憶部にそれぞれ個別に記憶し、前記圧縮条件記憶部に記憶された前フレームの前記第１圧縮条件を参照して前記第１の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第１圧縮条件を更新設定し、前記圧縮条件記憶部に記憶された前フレームの前記第２圧縮条件を参照して前記第２の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第２圧縮条件を更新設定することを特徴とする。

また、前記圧縮制御部は、前記連続したフレームの画像の１番目フレーム画像を前記第１の画像圧縮処理部において画像圧縮処理する場合に、所定の初期圧縮条件を用いて前記１番目フレーム画像に対して予備圧縮処理を行わせ、前記予備圧縮処理を行った結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第１圧縮条件を設定し、設定した前記第１圧縮条件を用いて前記１番目フレーム画像を圧縮処理するよう前記第１の画像圧縮処理部を制御し、前記連続したフレームの画像の２番目フレーム画像を前記第２の画像圧縮処理部において画像圧縮処理する場合に、所定の初期圧縮条件を用いて前記２番目フレーム画像に対して予備圧縮処理を行わせ、前記予備圧縮処理を行った結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第２圧縮条件を設定し、設定した前記第２圧縮条件を用いて前記２番目フレーム画像を圧縮処理するよう前記第２の画像圧縮処理部を制御することを特徴とする。

或いは、前記圧縮処理部は、前記連続したフレームの画像の１番目フレーム画像を前記第１の画像圧縮処理部において画像圧縮処理する場合に、所定の初期圧縮条件を用いて前記１番目フレーム画像に対して予備圧縮処理を行わせ、前記予備圧縮処理を行った結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第１圧縮条件を設定し、設定した前記第１圧縮条件を用いて前記１番目フレーム画像を圧縮処理するよう前記第１の画像圧縮処理部を制御し、前記連続したフレームの画像の２番目フレーム画像を前記第２の画像圧縮処理部において画像圧縮処理する場合に、前記１番目フレーム画像に対する予備圧縮処理の結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第２圧縮条件を設定し、設定した前記第２圧縮条件を用いて前記２番目フレーム画像を圧縮処理するよう前記第２の画像圧縮処理部を制御することを特徴とする。

また、本発明に係る画像処理装置は、第１解像度を有するフレーム画像、および前記フレーム画像と同一フレームで前記第１解像度よりも小さい第２解像度を有する縮小画像を記憶する記憶部と、前記記憶部に記憶された前記フレーム画像および前記縮小画像を読み出して画像圧縮処理を行う複数の画像圧縮処理回路と、前記複数の画像圧縮処理回路の一方で前記フレーム画像に対する画像圧縮処理を行わせている間に、前記複数の画像圧縮処理回路の他方で前記縮小画像に対する画像圧縮処理を並列処理するよう前記複数の画像圧縮処理回路を制御する圧縮制御部とを有することを特徴とする。

また、本発明に係る電子カメラは、前記画像処理装置と、被写体像を撮像して連続したフレームの画像を出力する撮像部とを備えることを特徴とする。

本発明によれば、複数の画像圧縮処理回路で並列処理することにより、画像処理速度を向上することができる。

以下、図面を参照して本発明に係る画像処理装置を有するカメラについて説明するが、各実施形態について説明する前に、本発明の特徴が明確になるように、先ず従来技術による画像処理装置を有するカメラ１５１について図１０を用いて説明する。

カメラ１５１は、ＣＰＵ１０２に予め格納されたプログラムによって動作し、使用者の操作パネル１０３の操作に基づいて、システムバス１０４を介してカメラ１５１の各部を制御する。

レンズ１０５から入射した被写体光は撮像素子１０６に結像され、タイミングジェネレータ（ＴＧ）１０７のタイミングに基づいて、光を電気信号に変換する。電気信号に変換されたアナログ画像信号は、アナログフロントエンド（ＡＦＥ）１０８でノイズ除去や増幅が行われ、アナログデジタル変換部（Ａ／Ｄ）１０９でデジタル画像データに変換される。デジタル画像データは、撮影画像の生データ（ＲＡＷデータ）としてＲＡＷメモリ１１０に一時的に記憶される。

補間色処理回路１１１は、ＲＡＷメモリ１１０からＲＡＷデータを読み出して、補間処理やＲＧＢデータから輝度色差（ＹＣｒＣｂ）データへの変換処理を行って、メモリ１１２に一時的に記憶する。

圧縮回路１１３は、メモリ１１２からＹＣｒＣｂデータを読み出して、画像圧縮処理を行う。圧縮回路１１３が生成した画像圧縮データは、使用者による操作パネル１０３からの指示や設定に応じて、メモリカードＩＦ１１４を介して接続されているメモリカード１１５に保存される。尚、ＲＡＷメモリ１１０，メモリ１１２，補間色処理回路１１１および圧縮回路１１３の間のデータの入出力は、システムバス１０４を介して行われ、ＣＰＵ１０２によって制御される。

次に、これらの一連の動作について図１１を用いて説明する。尚、ここでは、圧縮回路１１３は、ＪＰＥＧ規格の画像圧縮処理を行うＪＰＥＧエンコーダ１１３として説明する。同図において、補間色処理回路１１１によって補間色処理されたＹＣｒＣｂデータは、メモリ１１２に設けられた２フレーム分の記憶エリアＹＵＶ１およびＹＵＶ２に交互に記憶される。尚、ＣＰＵ１０２は、メモリ１１２に記憶されたＹＣｒＣｂデータを読み出して、表示回路１１６を介して液晶モニタ１１７に撮影された画像を表示する。

ＪＰＥＧエンコーダ１１３は、メモリ１１２から補間色処理されたＹＣｒＣｂデータを読み出して、画像圧縮処理を行う。この時、２フレーム分の記憶エリアＹＵＶ１およびＹＵＶ２に記憶されている補間色処理済の方のＹＣｒＣｂデータを交互に読み出して画像圧縮処理を行い、生成した１フレーム分のＪＰＥＧコードを順番にメモリ１１２の画像圧縮データの記憶エリアに記憶する。例えば、図１１において、１フレーム目がＪＰＥＧｃｏｄｅ１，２フレーム目がＪＰＥＧｃｏｄｅ２，３フレーム目がＪＰＥＧｃｏｄｅ３で、ｘフレーム目がＪＰＥＧｃｏｄｅｘとなるように画像圧縮データを記憶する。

次に、上記の処理と時間の関係について、図１２を用いて説明する。図１２は、補間色処理回路１１１とＪＰＥＧエンコーダ１１３との処理時間の関係を説明した図である。

尚、一般に、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間の方が長く、画像圧縮処理がボトルネックとなって、全体の処理時間を左右する。図１２は、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらいを想定したものである。

タイミングｔ１からタイミングｔ６までの時間は、補間色処理回路１１１が７つの画像フレームを連続して処理した場合の時間である。補間色処理回路１１１は、タイミングｔ１でフレーム５０１の画像データの補間色処理を開始し、タイミングｔ２で補間色処理を完了する。つまり、タイミングｔ２の時点で、図１１のメモリ１１２の記憶エリアＹＵＶ１に処理されたＹＣｒＣｂデータの記憶が終了し、フレーム５０１は処理済となる。

次に、補間色処理回路１１１は、フレーム５０１の処理が終わったタイミングｔ２から次のフレーム５０２の補間色処理を開始する。同時に、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ１に記憶された補間色処理が終了したフレーム５０１のＹＣｒＣｂデータを読み出して、ＪＰＥＧ規格に基づいた画像圧縮処理を開始する。

ところが、先に説明したように、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらい長いので、フレーム５０２の補間色処理が先に終了する。この時点で、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ１に記憶されたフレーム５０１の画像圧縮処理中なので、補間色処理回路１１１は記憶エリアＹＵＶ１を使用することができない。タイミングｔ３で、ＪＰＥＧエンコーダ１１３はフレーム５０１の画像圧縮処理を終了し、ＪＰＥＧｃｏｄｅ１の生成を完了する。この時点で、記憶エリアＹＵＶ１が使用可能となり、補間色処理回路１１１は、次のフレーム５０３の補間色処理を開始し、処理されたＹＣｒＣｂデータを記憶エリアＹＵＶ１に書き込んでいく。同時に、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ２に記憶された補間色処理が終了したフレーム５０２のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。

ところが、フレーム５０２の場合と同様に、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらい長いので、フレーム５０３の補間色処理が先に終了する。この時点で、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ２に記憶されたフレーム５０２の画像圧縮処理中なので、補間色処理回路１１１は記憶エリアＹＵＶ２を使用することができない。このため、ＪＰＥＧエンコーダ１１３がフレーム５０２の画像圧縮処理を終了するタイミングｔ４で、補間色処理回路１１１は、次のフレーム５０４の補間色処理を開始し、処理されたＹＣｒＣｂデータを記憶エリアＹＵＶ２に書き込んでいく。同時に、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ１に記憶された補間色処理が終了したフレーム５０３のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。

同様に、ＪＰＥＧエンコーダ１１３がフレーム５０３の画像圧縮処理を終了するタイミングｔ５で、補間色処理回路１１１は、次のフレーム５０５の補間色処理を開始し、処理されたＹＣｒＣｂデータを記憶エリアＹＵＶ１に書き込んでいく。同時に、ＪＰＥＧエンコーダ１１３は、記憶エリアＹＵＶ２に記憶された補間色処理が終了したフレーム５０４のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。

このように、補間色処理回路１１１が連続して処理すれば、点線で示したフレーム１からフレーム７までの補間色処理が行える処理時間内に、図１０の構成では、フレーム５０１から５０５の５つのフレームしか処理できない。

次に、上記のような課題を解決する本発明に係る各実施形態について、順に説明する。
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置を有するカメラ１０１ａの構成を示すブロック図である。カメラ１０１ａの基本構成は、先に説明した図１０のカメラ１５１と同じで、ＣＰＵ１０２に予め格納されたプログラムによって動作し、使用者の操作パネル１０３の操作に基づいて、システムバス１０４を介してカメラ１０１ａの各部を制御する。ここでは、図１０と異なる部分について説明する。

図１０と異なる部分は、圧縮回路１１３と同等の圧縮回路１１３ａと１１３ｂとを設けたことで、レンズ１０５から入射した被写体光が撮像素子１０６で電気信号に変換され、ＡＦＥ１０８およびＡ／Ｄ１０９を介して撮影したデジタル画像データがＲＡＷメモリ１１０に記憶される部分までは同じである。

また、補間色処理回路１１１ａは、図１０の補間色処理回路１１１と同様に、ＲＡＷメモリ１１０からＲＡＷデータを読み出して、補間処理やＲＧＢデータから輝度色差（ＹＣｒＣｂ）データへの変換処理を行って、メモリ１１２に一時的に記憶するが、メモリ１１２への記憶の仕方が異なる。この様子を図２に示す。尚、ここでは、圧縮回路１１３ａおよび１１３ｂは、ＪＰＥＧ規格の画像圧縮処理を行うＪＰＥＧエンコーダ１１３ａおよび１１３ｂに置き換えて説明する。補間色処理されたＹＣｒＣｂデータは、メモリ１１２に設けられた３フレーム分の記憶エリアＹＵＶ１，ＹＵＶ２およびＹＵＶ３に巡回的に記憶される。

ＪＰＥＧエンコーダ１１３ａおよびｂは、交互に、メモリ１１２から補間色処理されたＹＣｒＣｂデータを読み出して、ＪＰＥＧ規格の画像圧縮処理を行う。この時、３フレーム分の記憶エリアＹＵＶ１，ＹＵＶ２およびＹＵＶ３に記憶されている補間色処理済のＹＣｒＣｂデータを巡回的に読み出して画像圧縮処理を行う。例えば、補間色処理回路１１１ａが記憶エリアＹＵＶ１への処理済みのデータの記憶が完了した場合は、ＪＰＥＧエンコーダ１１３ａが記憶エリアＹＵＶ１のＹＣｒＣｂデータを読み出して画像圧縮処理を行う。次に、補間色処理回路１１１ａが記憶エリアＹＵＶ２への処理済みのデータの記憶が完了した場合は、ＪＰＥＧエンコーダ１１３ｂが記憶エリアＹＵＶ２のＹＣｒＣｂデータを読み出して画像圧縮処理を行う。さらに、補間色処理回路１１１ａが記憶エリアＹＵＶ３への処理済みのデータの記憶が完了した場合は、ＪＰＥＧエンコーダ１１３ａが記憶エリアＹＵＶ３のＹＣｒＣｂデータを読み出して画像圧縮処理を行う。このように、補間色処理回路１１１ａは、記憶エリアＹＵＶ１，ＹＵＶ２およびＹＵＶ３に処理済みのＹＣｒＣｂデータを巡回的に書き込み、同時に、記憶エリアＹＵＶ１，ＹＵＶ２およびＹＵＶ３の中の処理済みの記憶エリアからＹＣｒＣｂデータをＪＰＥＧエンコーダ１１３ａおよびｂは交互に読み出して、画像圧縮処理を行う。

ＪＰＥＧエンコーダ１１３ａおよびｂが交互に生成した画像圧縮データは、例えば、１フレーム目がＪＰＥＧｃｏｄｅ１，２フレーム目がＪＰＥＧｃｏｄｅ２，３フレーム目がＪＰＥＧｃｏｄｅ３で、ｘフレーム目がＪＰＥＧｃｏｄｅｘとなるようにメモリ１１２の画像圧縮データの記憶エリアに記憶される。

次に、上記の処理と時間の関係について、図３を用いて説明する。図３は、補間色処理回路１１１ａとＪＰＥＧエンコーダ１１３ａおよびｂとの処理時間の関係を説明した図である。図１２と比較するために、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらいを想定したもので、図１２のタイミングｔ１からタイミングｔ６までの時間は、図３のｔ１１からｔ１８までの時間に対応し、補間色処理回路１１１ａが７つの画像フレームを連続して処理した場合の時間を示している。

補間色処理回路１１１ａは、タイミングｔ１１でフレーム２０１の画像データの補間色処理を開始し、タイミングｔ１２で補間色処理を完了する。つまり、タイミングｔ１２の時点で、図２のメモリ１１２の記憶エリアＹＵＶ１に処理されたＹＣｒＣｂデータの記憶が終了し、フレーム２０１は処理済となる。

次に、補間色処理回路１１１ａは、フレーム２０１の処理が終わったタイミングｔ１２から次のフレーム２０２の補間色処理を開始する。同時に、ＪＰＥＧエンコーダ１１３ａは、記憶エリアＹＵＶ１に記憶された補間色処理が終了したフレーム２０１のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。

次に、補間色処理回路１１１ａは、フレーム２０２の処理が終わったタイミングｔ１３から次のフレーム２０３の補間色処理を開始する。同時に、ＪＰＥＧエンコーダ１１３ｂは、記憶エリアＹＵＶ２に記憶された補間色処理が終了したフレーム２０２のＹＣｒＣｂデータを読み出して、画像圧縮処理を開始する。

同様に、タイミングｔ１４では、補間色処理回路１１１ａが次のフレーム２０４の補間色処理を開始し、ＪＰＥＧエンコーダ１１３ａは、記憶エリアＹＵＶ３に記憶された補間色処理が終了したフレーム２０３の画像圧縮処理を開始する。

以降、タイミングｔ１５では、補間色処理回路１１１ａは次のフレーム２０５の処理を開始し、ＪＰＥＧエンコーダ１１３ｂは補間色処理が終了したフレーム２０４の画像圧縮処理を開始する。タイミングｔ１６では、補間色処理回路１１１ａは次のフレーム２０６の処理を開始し、ＪＰＥＧエンコーダ１１３ａは補間色処理が終了したフレーム２０５の画像圧縮処理を開始する。タイミングｔ１７では、補間色処理回路１１１ａは次のフレーム２０７の処理を開始し、ＪＰＥＧエンコーダ１１３ｂは補間色処理が終了したフレーム２０６の画像圧縮処理を開始する。

このように、ＪＰＥＧエンコーダ１１３ａが画像圧縮処理を行っている場合は、ＪＰＥＧエンコーダ１１３ｂが画像圧縮処理を行い、逆に、ＪＰＥＧエンコーダ１１３ｂが画像圧縮処理を行っている場合は、ＪＰＥＧエンコーダ１１３ａが画像圧縮処理を行うので、補間色処理回路１１１ａはフレーム２０１から２０７の７つのフレームを連続して処理することができる。

尚、本実施形態の説明では、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の長さとしたが、例えば、２．５倍程度の場合は、補間色処理回路で補間色処理したＹＣｒＣｂデータを格納する記憶エリアを４フレーム分（ＹＵＶ１，ＹＵＶ２，ＹＵＶ３およびＹＵＶ４）と、ＪＰＥＧエンコーダを３つ設けることにより、３つのＪＰＥＧエンコーダが巡回的に、４フレーム分の記憶エリアから補間色処理済みのＹＣｒＣｂデータを処理済みのものから順番に読み出して画像圧縮処理することにより実現できる。

つまり、圧縮回路の個数は次の式で計算できる。圧縮回路の個数＝（画像圧縮回路の１フレームの処理時間）÷（補間色処理回路の１フレームの処理時間）の計算値を切り上げた整数値。例えば、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の時、圧縮回路の個数は２個となり、２．５倍の時は３個、３．５倍の時は４個のように計算できる。尚、補間色処理回路で補間色処理したＹＣｒＣｂデータを格納する記憶エリアの数は、圧縮回路の個数＋１個の記憶エリアが少なくとも必要である。

このように、図１０の場合は、補間色処理回路１１１が７つのフレームを連続して処理する時間に、図１０の場合は５フレームの補間色処理と、約４フレームの画像圧縮データしか生成できなかったが、本実施形態の図３では７フレームの補間色処理と、約６フレームの画像圧縮データを生成することができる。

（第２の実施形態）
次に、第２の実施形態に係る画像処理装置を有するカメラ１０１ｂのブロック図を図４に示す。カメラ１０１ｂの基本構成は、第１の実施形態の図１のカメラ１０１と同じであるが、補間色処理回路１１１ｂと圧縮回路１１３ｃおよび１１３ｄとの間にバッファ１１８ａおよび１１８ｂをそれぞれ設けた構成になっている。つまり、補間色処理回路１１１ｂと、圧縮回路１１３ｃおよび１１３ｄとが、システムバス１０４とは別に、バッファ１１８ａおよび１１８ｂを介して直接接続された構成になっている。

同図において、レンズ１０５から入射した被写体光が撮像素子１０６で電気信号に変換され、ＡＦＥ１０８およびＡ／Ｄ１０９を介して撮影したデジタル画像データがＲＡＷメモリ１１０に記憶される部分までは、第１の実施形態と同じである。

その後、補間色処理回路１１１ｂは、図１０の補間色処理回路１１１と同様に、ＲＡＷメモリ１１０からＲＡＷデータを読み出して、補間処理やＲＧＢデータから輝度色差（ＹＣｒＣｂ）データへの変換処理を行って、メモリ１１２に一時的に記憶すると共に、補間色処理しているフレームの一部の処理済みデータをバッファ１１８ａおよび１１８ｂに記憶する。

一方、圧縮回路１１３ｃおよび１１３ｄは、バッファ１１８ａおよび１１８ｂに記憶された処理済みデータを読み出して画像圧縮処理を行い、システムバス１０４を介してメモリ１１２の画像圧縮データの記憶エリアに記憶する。この様子を図５に示す。尚、第１の実施形態と同様に、ここでは、圧縮回路１１３ｃおよび１１３ｄを、ＪＰＥＧ規格の画像圧縮処理を行うＪＰＥＧエンコーダ１１３ｃおよび１１３ｄに置き換えて説明する。

図５において、補間色処理されたＹＣｒＣｂデータは、図１１と同様に、メモリ１１２に設けられた２フレーム分の記憶エリアＹＵＶ１およびＹＵＶ２に交互に記憶される。同時に、補間色処理されたＹＣｒＣｂデータの一部は、バッファ１１８ａおよび１１８ｂに記憶される。ここで、バッファ１１８ａは記憶エリアＹＵＶ１に記憶されるフレームに対応し、バッファ１１８ｂは記憶エリアＹＵＶ２に記憶されるフレームに対応する。

ＪＰＥＧエンコーダ１１３ｃおよび１１３ｄは、バッファ１１８ａおよび１１８ｂに画像圧縮処理可能なデータ量が溜まり次第、画像圧縮処理を起動する。

ここで、画像圧縮処理可能なデータ量について説明する。一般に、本実施形態のようなＪＰＥＧ規格の画像圧縮処理を行う場合、画像圧縮処理可能なデータ量は、ＹＣｒＣｂデータ（ＹＵＶデータ）のＹとＵＶとの画素数比率によって異なる。例えば、ＹＵＶ４２２と称される画像データは、横方向の画素数において、Ｙデータの２画素分がＵおよびＶデータの１画素分に間引かれている。一方、ＪＰＥＧ規格の圧縮処理は、ＹとＵとＶのそれぞれに対して、８×８画素の単位で離散コサイン変換が行われるので、ＵおよびＶデータが水平方向に８画素が揃うには、横方向１６画素で縦方向８画素の１６×８画素の処理単位が最低限必要である。

実際には、バッファ１１８ａおよび１１８ｂの切替時間や読み書きの時間が必要なので、複数の処理単位が必要となる。現実的には、例えば、８ライン分のバッファ１１８ａおよび１１８ｂを備えるのが好ましい。この場合、横方向の画素数が１６００画素の場合は、１６００÷１６＝１００の処理単位を確保できることになる。

図５において、ＪＰＥＧエンコーダ１１３ｃおよびｄが交互に生成した画像圧縮データは、第１の実施形態と同様に、１フレーム目がＪＰＥＧｃｏｄｅ１，２フレーム目がＪＰＥＧｃｏｄｅ２，３フレーム目がＪＰＥＧｃｏｄｅ３で、ｘフレーム目がＪＰＥＧｃｏｄｅｘとなるようにメモリ１１２の画像圧縮データの記憶エリアに記憶される。

次に、上記の処理と時間の関係について、図６を用いて説明する。図６は、補間色処理回路１１１ｂとＪＰＥＧエンコーダ１１３ｃおよび１１３ｄとの処理時間の関係を説明した図である。図１２および図３と比較するために、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらいを想定したもので、図１２のタイミングｔ１からタイミングｔ６までの時間は、図６のタイミングｔ２１からタイミングｔ２８までの時間に相当し、補間色処理回路１１１ｂが７つの画像フレームを連続して処理した場合の時間を示している。また、時間ｔａは、画像圧縮処理可能なデータ量が溜まる時間を示しており、ここでは８ライン分のデータ量が溜まるまでの補間色処理回路１１１ｂの処理時間に相当する。

図６において、補間色処理回路１１１ｂは、タイミングｔ２１でフレーム３０１の画像データの補間色処理を開始し、処理が終了した部分からメモリ１１２の記憶エリアＹＵＶ１およびバッファ１１８ａに記憶していく。タイミングｔ１から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｃが起動され、バッファ１１８ａに記憶されたデータの画像圧縮処理を行い、ＪＰＥＧｃｏｄｅ１を生成し始める。

タイミングｔ２２で、補間色処理回路１１１ｂは、フレーム３０１の１フレーム分の補間色処理を完了すると同時に、フレーム３０２の補間色処理を開始し、処理が終了した部分からメモリ１１２の記憶エリアＹＵＶ２およびバッファ１１８ｂに記憶していく。タイミングｔ２２から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｄが起動され、バッファ１１８ｂに記憶されたデータの画像圧縮処理を行い、ＪＰＥＧｃｏｄｅ２を生成し始める。

次のタイミングｔ２３で、補間色処理回路１１１ｂは、フレーム３０２の１フレーム分の補間色処理を完了すると同時に、フレーム３０３の補間色処理を開始し、処理が終了した部分からメモリ１１２の記憶エリアＹＵＶ１およびバッファ１１８ａに記憶していく。タイミングｔ２３から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｃが起動され、バッファ１１８ａに記憶されたデータの画像圧縮処理を行い、ＪＰＥＧｃｏｄｅ３を生成し始める。

以下同様に、タイミングｔ２４，ｔ２５，ｔ２６およびｔ２７において、それぞれのタイミングから時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｃまたは１１３ｄが起動され、バッファ１１８ａまたは１１８ｂに記憶されたデータの画像圧縮処理を行い、ＪＰＥＧｃｏｄｅ４から７を生成する。

このように、補間色処理回路１１１ｂが１フレーム全体の処理を終えなくても、バッファ１１８ａまたは１１８ｂに記憶された処理済みのデータを用いて画像圧縮処理を行うことができる。また、第１の実施形態と同様に、ＪＰＥＧエンコーダ１１３ｃが前のフレームの画像圧縮処理を行っている間に、ＪＰＥＧエンコーダ１１３ｄが次のフレームの画像圧縮処理を行い、逆に、ＪＰＥＧエンコーダ１１３ｄが前のフレームの画像圧縮処理を行っている間に、ＪＰＥＧエンコーダ１１３ｃが次のフレームの画像圧縮処理を行うので、１フレームの画像圧縮処理の時間が１フレームの補間色処理の時間より長い場合でも、補間色処理回路１１１ｂはフレーム３０１から３０７の７つのフレームを連続して処理することができる。

尚、本実施形態の説明では、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の長さとしたが、例えば、２．５倍程度の場合は、補間色処理回路で補間色処理したＹＣｒＣｂデータを格納するバッファとＪＰＥＧエンコーダをそれぞれ３つ設けることにより、３つのＪＰＥＧエンコーダが巡回的に、３つのバッファから補間色処理済みのＹＣｒＣｂデータを読み出して画像圧縮処理することにより実現できる。

つまり、バッファおよび圧縮回路の個数は次の式で計算できる。バッファおよび圧縮回路の個数＝（画像圧縮回路の１フレームの処理時間）÷（補間色処理回路の１フレームの処理時間）の計算値を切り上げた整数値。例えば、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の時、バッファおよび圧縮回路の個数は２個となり、２．５倍の時は３個、３．５倍の時は４個のように計算できる。尚、補間色処理回路で処理したＹＣｒＣｂデータを格納する記憶エリアの数は変わらないが、補間色処理回路は、バッファの数と同数のフレームのデータを巡回的にバッファに記憶する必要がある。

このように、第１の実施形態の図３の場合は、７フレームの補間色処理を行う間に、約６フレームの画像圧縮データを生成することができたが、本実施形態では約７フレームの画像圧縮データを生成することができる。また、補間色処理したＹＣｒＣｂデータを格納するメモリ１１２内の記憶エリアを、第１の実施形態に比べて１フレーム分少なくすることができ、補間色処理を連続して行いながら、メモリのコストを削減することが可能となる。

尚、本実施形態ではバッファ１１８ａおよび１１８ｂを設けたが、補間色処理したＹＣｒＣｂデータを格納するメモリ１１２内の記憶エリアに画像圧縮処理可能なデータ量が溜まり次第、圧縮回路１１３ｃおよび１１３ｄがこのデータを読み出して画像圧縮処理するようにしても構わない。

（第３の実施形態）
次に、第３の実施形態に係る画像処理装置を有するカメラ１０１ｃのブロック図を図７に示す。カメラ１０１ｃの基本構成は、第２の実施形態の図４のカメラ１０１ｂと同じであるが、圧縮回路１１３ｅおよび１１３ｆの出力がデータ並べ替え用バッファ１１９を介してシステムバス１０４に接続された構成になっている。

同図において、レンズ１０５から入射した被写体光が撮像素子１０６で電気信号に変換され、ＡＦＥ１０８およびＡ／Ｄ１０９を介して撮影したデジタル画像データがＲＡＷメモリ１１０に記憶される部分までは、第１および第２の実施形態と同じである。

その後、補間色処理回路１１１ｃは、図１０の補間色処理回路１１１と同様に、ＲＡＷメモリ１１０からＲＡＷデータを読み出して、補間処理やＲＧＢデータから輝度色差（ＹＣｒＣｂ）データへの変換処理を行って、メモリ１１２に一時的に記憶すると共に、補間色処理しているフレームの一部の処理済みデータをバッファ１１８ａおよび１１８ｂに記憶する。

一方、圧縮回路１１３ｅおよび１１３ｆは、バッファ１１８ａおよび１１８ｂに記憶された処理済みデータを所定のデータ量毎（処理単位毎）に読み出して画像圧縮処理を行い、データ並べ替え用バッファ１１９に記憶する。ここで、データ並べ替え用バッファ１１９に記憶する際に、圧縮回路１１３ｅおよび１１３ｆが出力する画像圧縮データを交互に並べ替えて記憶する。その後、並べ替えられた１フレーム分の画像圧縮データは、第１および第２の実施形態と同様に、システムバス１０４を介してメモリ１１２の画像圧縮データの記憶エリアに記憶される。尚、この時、データ並べ替え用バッファ１１９に記憶する際に並べ替えるのではなく、ＣＰＵ１０２がデータ並べ替え用バッファ１１９から画像圧縮データを読み出す際に、画像圧縮データを並べ替えて読み出し、メモリ１１２の画像圧縮データの記憶エリアに記憶するようにしても構わない。

次に、これらの一連の様子を図８を用いて説明する。尚、第１および第２の実施形態と同様に、ここでは、圧縮回路１１３ｅおよび１１３ｆを、ＪＰＥＧ規格の画像圧縮処理を行うＪＰＥＧエンコーダ１１３ｅおよび１１３ｆに置き換えて説明する。

図８において、補間色処理回路１１１ｃが出力するＹＣｒＣｂデータは、メモリ１１２に設けられた１フレーム分の記憶エリアＹＵＶ１に記憶される。同時に、補間色処理されたＹＣｒＣｂデータの一部は、第２の実施形態と同様に、バッファ１１８ａおよび１１８ｂに記憶される。ここで、記憶エリアＹＵＶ１に記憶されるフレームは、複数の部分に分割され、部分毎にバッファ１１８ａおよびバッファ１１８ｂに交互に記憶される。ここで、分割する部分は、例えば、８ライン毎，１６ライン毎などである。従って、バッファ１１８ａおよびバッファ１１８ｂに記憶容量は、少なくとも、分割された部分を記憶できる容量であればよい。

ＪＰＥＧエンコーダ１１３ｅおよび１１３ｆは、バッファ１１８ａおよび１１８ｂに画像圧縮処理可能なデータ量が溜まり次第、画像圧縮処理を起動する。尚、画像圧縮処理可能なデータ量は、第２の実施形態と同じで、例えば、ＹＵＶ４２２の場合は横方向１６画素で縦方向８画素の１６×８画素の処理単位が画像圧縮処理可能なデータ量となる。

次に、上記の処理と時間の関係について、図９を用いて説明する。図９は、補間色処理回路１１１ｃとＪＰＥＧエンコーダ１１３ｅおよび１１３ｆとの処理時間の関係を説明した図である。図１２，図３および図６と比較するために、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍ぐらいを想定したもので、図１２のタイミングｔ１からタイミングｔ６までの時間は、図９のタイミングｔ３１からタイミングｔ３８までの時間に相当し、補間色処理回路１１１ｃが７つの画像フレームを連続して処理した場合の時間を示している。また、時間ｔａは、画像圧縮処理可能なデータ量が溜まる時間を示しており、ここでは８ライン分のデータ量が溜まるまでの補間色処理回路１１１ｃの処理時間に相当する。

図９において、補間色処理回路１１１ｃは、タイミングｔ３１でフレーム４０１の画像データの補間色処理を開始し、処理が終了した部分からメモリ１１２の記憶エリアＹＵＶ１およびバッファ１１８ａに記憶していく。タイミングｔ３１から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｅが起動され、バッファ１１８ａに記憶されたデータの画像圧縮処理を開始し、ＪＰＥＧｃｏｄｅ１を部分的に生成し始める。

一方、タイミングｔ３１から時間ｔａが経過した時点で、補間色処理回路１１１ｃは、フレーム４０１の画像データの補間色処理したデータをメモリ１１２の記憶エリアＹＵＶ１に引き続き記憶しながら、今度はバッファ１１８ｂに記憶していく。タイミングｔ３１から時間ｔａ×２が経過した時点で、今度はＪＰＥＧエンコーダ１１３ｆが起動され、バッファ１１８ｂに記憶されたデータの画像圧縮処理を開始し、ＪＰＥＧｃｏｄｅ１を部分的に生成し始める。

同様に、時間ｔａが経過する毎に（或いは、補間色処理回路１１１ｃが所定の部分を処理する毎に）、補間色処理回路１１１ｃは処理したデータをバッファ１１８ａおよび１１８ｂに交互に記憶し、ＪＰＥＧエンコーダ１１３ｅおよび１１３ｆは、それぞれのバッファ１１８ａおよび１１８ｂから画像圧縮可能なデータ量を読み出して、画像圧縮処理を行い、画像圧縮データをデータ並べ替え用バッファ１１９に記憶する。このようにして、ＪＰＥＧエンコーダ１１３ｅおよび１１３ｆは、ＪＰＥＧｃｏｄｅ１が処理単位毎に交互に分割された画像圧縮データＪＰＥＧｃｏｄｅ１（４０８）とＪＰＥＧｃｏｄｅ１（４０９）とをデータ並べ替え用バッファ１１９に出力する。

ここで、ＪＰＥＧエンコーダ１１３ｅおよび１１３ｆが交互に生成した画像圧縮データは、第２の実施形態とは異なり、例えば、１フレーム目のＪＰＥＧｃｏｄｅ１が、画像圧縮できる処理単位毎に分割されて交互に出力される。仮に、ＪＰＥＧｃｏｄｅ１がＪＰＥＧｃｏｄｅ１−１，ＪＰＥＧｃｏｄｅ１−２，ＪＰＥＧｃｏｄｅ１−３，ＪＰＥＧｃｏｄｅ１−４の４つの処理単位に分割されていたとすると、ＪＰＥＧエンコーダ１１３ｅがＪＰＥＧｃｏｄｅ１−１を出力し、次にＪＰＥＧエンコーダ１１３ｆがＪＰＥＧｃｏｄｅ１−２を出力し、次にＪＰＥＧエンコーダ１１３ｅがＪＰＥＧｃｏｄｅ１−３を出力し、次にＪＰＥＧエンコーダ１１３ｆがＪＰＥＧｃｏｄｅ１−４を出力する。データ並べ替え用バッファ１１９では、これらの分割されて交互に出力される画像圧縮データＪＰＥＧｃｏｄｅ１−１，ＪＰＥＧｃｏｄｅ１−２，ＪＰＥＧｃｏｄｅ１−３，ＪＰＥＧｃｏｄｅ１−４を並べ替え、各圧縮画像データを連続的につなぎ合わせることで、１フレーム分の画像圧縮データＪＰＥＧｃｏｄｅ１を生成する。データ並べ替え用バッファ１１９に生成された１フレーム目の画像圧縮データＪＰＥＧｃｏｄｅ１は、第１および第２の実施形態と同様に、メモリ１１２の画像圧縮データの記憶エリアに記憶される。

タイミングｔ３２においても、タイミングｔ３１の場合と同様に、補間色処理回路１１１ｃは、フレーム４０２の画像データの補間色処理を行い、タイミングｔ３２から時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｅが起動され、さらに時間ｔａが経過した時点で、ＪＰＥＧエンコーダ１１３ｆが起動されて、それぞれＪＰＥＧｃｏｄｅ２を部分的に生成し、データ並べ替え用バッファ１１９で１フレーム分の画像圧縮データＪＰＥＧｃｏｄｅ２を生成する。

以下同様に、タイミングｔ３３ではフレーム４０３の画像データが処理されて画像圧縮データＪＰＥＧｃｏｄｅ３が生成され、タイミングｔ３４ではフレーム４０４の画像データが処理されて画像圧縮データＪＰＥＧｃｏｄｅ４が生成され、タイミングｔ３５ではフレーム４０５の画像データから画像圧縮データＪＰＥＧｃｏｄｅ５が、タイミングｔ３６ではフレーム４０６の画像データから画像圧縮データＪＰＥＧｃｏｄｅ６が、タイミングｔ３７ではフレーム４０７の画像データから画像圧縮データＪＰＥＧｃｏｄｅ７が、それぞれ生成される。

尚、本実施形態ではデータ並べ替え用バッファ１１９を設けたが、メモリ１１２内で分割された画像圧縮データの並べ替えを行うようにしても構わない。

また、本実施形態の説明では、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の長さとしたが、例えば、２．５倍程度の場合は、第２の実施形態と同様に、補間色処理回路で補間色処理したＹＣｒＣｂデータを格納するバッファとＪＰＥＧエンコーダをそれぞれ３つ設けることにより、１フレームの画像データを処理単位毎に巡回的に３分割して、３つのＪＰＥＧエンコーダが画像圧縮処理することにより実現できる。尚、この場合は、データ並べ替え用バッファ１１９は３分割して出力される画像圧縮データを並べ替えて、１フレーム分の画像圧縮データに変換する。

本実施形態でのバッファおよび圧縮回路の個数は次の式で概算できる。バッファおよび圧縮回路の個数≒（画像圧縮回路の１フレームの処理時間）÷（補間色処理回路の１フレームの処理時間）の計算値を切り上げた整数値。例えば、補間色処理に掛かる時間よりも画像圧縮処理に掛かる時間が１．５倍程度の時、バッファおよび圧縮回路の個数は２個となり、２．５倍の時は３個、３．５倍の時は４個のように概算できる。尚、上式は図９の時間ｔａ≒０とした場合で、時間ｔａが全体の処理時間に対して十分に短い場合に成立する。

このように、本実施形態では、補間色処理回路１１１ｃが１フレーム全体の処理を終えなくても、バッファ１１８ａまたは１１８ｂに記憶された処理済みのデータを用いて画像圧縮処理を行うことができる。しかも、１つのフレームを分割して２つのＪＰＥＧエンコーダ１１３ｅおよびＪＰＥＧエンコーダ１１３ｆで画像圧縮処理を行うので、補間色処理回路１１１ｃの処理時間とほぼ同じ処理時間で画像圧縮処理を終えることができる。

（第４の実施形態）
次に、第４の実施形態に係る画像処理装置を有するカメラについて説明する。尚、本実施形態のカメラの基本構成は、第１の実施形態の図１のカメラ１０１ａと同じである。また、補間色処理回路１１１ａ，ＪＰＥＧエンコーダ１１３ａ，ＪＰＥＧエンコーダ１１３ｂがメモリ１１２を介してデータを入出力する構成を示す図２も第１の実施形態と同じである。

本実施形態では、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂが画像圧縮処理を行う際に、圧縮後の符号量が所定範囲内に収まるようにする固定長圧縮を行う。一般に、ＪＰＥＧ規格の画像圧縮処理は、８×８画素程度の画素ブロック毎にＤＣＴ（離散コサイン変換）などの直交変換を行って、画像データを空間周波数成分データに変換する。さらに、空間周波数成分毎の量子化係数で定義した量子化テーブルを用いて、量子化を行う。量子化ビット数が多いほど画像は精細になるが、圧縮処理後の符号量も多くなるので、固定長圧縮を行う場合は量子化テーブルにスケールファクタと呼ばれる係数を乗算して割り当てる量子化ビット数を調整する処理が行われる。その後、調整した量子化テーブルを用いてＤＣＴ変換された空間周波数成分データを量子化する。つまり、（ＤＣＴ係数）÷（量子化テーブル×スケールファクタ）の計算により量子化される。量子化されたデータはジグザグスキャンによる一次元化の後、ハフマン符号化などの可変長符号化が行われ、画像圧縮処理が完了する。

ところが、圧縮後の符号量は、一度、圧縮を行ってみる必要があり、本実施形態では、図１３のように処理する。図１３は、１フレーム目（１ｆ）から８フレーム目（８ｆ）までの連続するフレームを圧縮処理する場合の補間色処理回路１１１ａ，ＪＰＥＧエンコーダ１１３ａ，ＪＰＥＧエンコーダ１１３ｂの処理期間と、メモリ１１２内のバッファＹＵＶ１，ＹＵＶ２，ＹＵＶ３の使用期間の時間関係を示した図である。尚、３フレーム目（３ｆ）と４フレーム目（４ｆ）との間、４フレーム目（４ｆ）と５フレーム目（５ｆ）との間に、それぞれ空き期間があるが、バッファＹＵＶ１，ＹＵＶ２，ＹＵＶ３が空くまでの補間色処理回路１１１ａの処理待ち時間である。実際には、この期間に撮影された画像は、図１のＲＡＷメモリ１１０にバッファされている。

また、本実施形態では、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、共通の量子化テーブルを用い、ＪＰＥＧエンコーダ１１３ａはスケールファクタＳａを、ＪＰＥＧエンコーダ１１３ｂはスケールファクタＳｂをそれぞれ使用する。また、各スケールファクタの記憶領域はメモリ１１２内に確保されている。尚、一連の画像の圧縮処理を開始する際には、予め定義されたスケールファクタＳａの初期値およびスケールファクタＳｂの初期値がそれぞれの設定され、一連の画像の圧縮処理を行っている間は、画像の圧縮処理毎にその符号量から次に圧縮処理する時のスケールファクタＳａおよびスケールファクタＳｂを予測して、それぞれのスケールファクタＳａおよびスケールファクタＳｂを更新する。

図１３において、１フレーム目（１ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４１〜ｔ４２の期間にバッファＹＵＶ１を用いて行われる。１フレーム目（１ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ａはタイミングｔ４２〜ｔ４５の期間にバッファＹＵＶ１を用いて１フレーム目（１ｆ）の画像圧縮処理を行う。

先ず、ＪＰＥＧエンコーダ１１３ａは、最初に設定された初期値のスケールファクタＳａを用いて、初期タイミングｔ４２〜ｔ６１の期間に１フレーム目（１ｆ）の画像の１回目の圧縮処理（予備圧縮処理）を行う。次に、ＪＰＥＧエンコーダ１１３ａは、１回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。

タイミングｔ６１〜ｔ４５の期間では、ＪＰＥＧエンコーダ１１３ａは、更新されたスケールファクタＳａを用いて、１フレーム目（１ｆ）の画像の２回目の圧縮処理を行い、２回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。

同様に、２フレーム目（２ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４２〜ｔ４３の期間にバッファＹＵＶ２を用いて行われる。２フレーム目（２ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ｂはタイミングｔ４３〜ｔ４７の期間にバッファＹＵＶ２を用いて２フレーム目（２ｆ）の画像圧縮処理を行う。

先ず、ＪＰＥＧエンコーダ１１３ｂは、最初に設定された初期値のスケールファクタＳｂを用いて、初期タイミングｔ４３〜ｔ６２の期間に２フレーム目（２ｆ）の画像の１回目の圧縮処理（予備圧縮処理）を行う。次に、ＪＰＥＧエンコーダ１１３ｂは、１回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。

タイミングｔ６２〜ｔ４７の期間では、ＪＰＥＧエンコーダ１１３ｂは、更新されたスケールファクタＳｂを用いて、２フレーム目（２ｆ）の画像の２回目の圧縮処理を行い、２回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。

３フレーム目（３ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４３〜ｔ４４の期間にバッファＹＵＶ３を用いて行われる。３フレーム目（３ｆ）の補間色処理が終了すると、１フレーム目（１ｆ）の圧縮処理を終えたＪＰＥＧエンコーダ１１３ａが、タイミングｔ４５〜ｔ４７の期間にバッファＹＵＶ３を用いて３フレーム目（３ｆ）の画像圧縮処理をスケールファクタＳａを用いて行う。さらに、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。ここで、３フレーム目（３ｆ）の補間色処理はタイミングｔ４４で終了しているが、ＪＰＥＧエンコーダ１１３ａは１フレーム目（１ｆ）の圧縮処理を実行中なので、この圧縮処理が終了するタイミングｔ４５を待って３フレーム目（３ｆ）の圧縮処理を行う。

４フレーム目（４ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４５〜ｔ４６の期間にバッファＹＵＶ１を用いて行われる。ここで、３フレーム目（３ｆ）の補間色処理が終了するタイミングｔ４４では、１フレーム目（１ｆ）の圧縮処理でバッファＹＵＶ１が使用されているので、バッファＹＵＶ１が空くタイミングｔ４５を待って４フレーム目（４ｆ）の補間色処理が行われる。タイミングｔ４６で４フレーム目（４ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ｂの２フレーム目（２ｆ）の圧縮処理が終了するタイミングｔ４７を待って、４フレーム目（４ｆ）の画像圧縮処理をスケールファクタＳｂを用いて行う。さらに、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。

次に、５フレーム目（５ｆ）の処理はバッファＹＵＶ２を用いて行われる。補間色処理回路１１１ａは、タイミングｔ４７〜ｔ４８の間で補間色処理を行い、ＪＰＥＧエンコーダ１１３ａは、タイミングｔ４８〜ｔ５３の間でスケールファクタＳａを用いて画像圧縮処理を行い、その符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。

同様に、６フレーム目（６ｆ）の処理はバッファＹＵＶ３を用いて行われる。補間色処理回路１１１ａは、タイミングｔ４８〜ｔ４９の間で補間色処理を行い、ＪＰＥＧエンコーダ１１３ｂは、タイミングｔ４９〜ｔ５４の間でスケールファクタＳｂを用いて画像圧縮処理を行い、その符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。

同様に、７フレーム目（７ｆ）の処理はバッファＹＵＶ１を用いて行われる。補間色処理回路１１１ａは、タイミングｔ４９〜ｔ５０の間で補間色処理を行い、ＪＰＥＧエンコーダ１１３ｂは、タイミングｔ５０〜ｔ５５の間でスケールファクタＳａを用いて画像圧縮処理を行い、その符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。

同様に、８フレーム目（８ｆ）の処理はバッファＹＵＶ２を用いて行われる。補間色処理回路１１１ａは、タイミングｔ５０〜ｔ５１の間で補間色処理を行い、ＪＰＥＧエンコーダ１１３ｂは、タイミングｔ５１〜ｔ５６の間でスケールファクタＳｂを用いて画像圧縮処理を行い、その符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。以降、同様に、一連の撮影が終了するまで行われる。

このように、本実施形態に係る画像処理装置を有するカメラ１０１ａは、連続して撮影された画像の圧縮処理を行う場合に、奇数フレームの画像圧縮処理をＪＰＥＧエンコーダ１１３ａが行い、偶数フレームの画像圧縮処理をＪＰＥＧエンコーダ１１３ｂが行うので、画像圧縮掛かる処理時間に左右されることなく高速に画像圧縮処理を行うことができる。

また、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａとスケールファクタＳｂとを設け、奇数フレームおよび偶数フレームのそれぞれの最初のフレームのみで予備圧縮して適切なスケールファクタを求めるので、以降のフレームでは予備圧縮することなく、更新された適切なスケールファクタで画像圧縮処理を行うことができ、効率的な固定長圧縮処理を実現できる。

尚、本実施形態では、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａおよびスケールファクタＳｂを用いるようにしたが、スケールファクタＳａとスケールファクタＳｂを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。

（第５の実施形態）
次に、第５の実施形態に係る画像処理装置を有するカメラについて説明する。尚、本実施形態のカメラの基本構成は、第１の実施形態の図１のカメラ１０１ａと同じである。また、補間色処理回路１１１ａ，ＪＰＥＧエンコーダ１１３ａ，ＪＰＥＧエンコーダ１１３ｂがメモリ１１２を介してデータを入出力する構成を示す図２も第１の実施形態と同じである。

本実施形態においても、第４の実施形態と同様に、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、共通の量子化テーブルを用い、固定長圧縮を行う。第４の実施形態と異なるのは、図１３では、奇数フレームおよび偶数フレームのそれぞれの最初のフレームで予備圧縮して適切なスケールファクタを求めるようにしたが、本実施形態では、奇数フレームの最初のフレームだけで予備圧縮した時の符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａおよびスケールファクタＳｂの両方を更新する。以降、第４の実施形態と同様に、奇数フレームの画像圧縮処理にはスケールファクタＳａを用い、偶数フレームの画像圧縮処理にはスケールファクタＳｂを用いる。

このため、本実施形態では、図１４に示すように、２フレーム目（２ｆ）の画像圧縮処理がタイミングｔ４５で終了し、４フレーム目（４ｆ）の画像圧縮処理が待たされることなく、処理することができる。また、２フレーム目（２ｆ）の処理に使用しているバッファＹＵＶ２もタイミングｔ４５で解放されるので、５フレーム目（５ｆ）の補間色処理も待たされることなく、タイミングｔ４６から処理することができる。尚、図１４において、タイミングｔ＊＊’のように「’」が付加されているタイミングは、図１３の「’」の無い同じ番号のタイミングｔ＊＊とは少し異なるタイミングであることを示している。例えば、図１３のタイミングｔ４７は５フレーム目（５ｆ）の補間色処理の開始時点を示しているが、図１４のタイミングｔ４７’は同じ５フレーム目（５ｆ）の補間色処理の開始時点を示しているが、４フレーム目（４ｆ）の補間色処理の終了タイミングｔ４６に連続したタイミングになっている。

このように、本実施形態に係る画像処理装置を有するカメラ１０１ａは、連続して撮影された画像の圧縮処理を行う場合に、奇数フレームの画像圧縮処理をＪＰＥＧエンコーダ１１３ａが行い、偶数フレームの画像圧縮処理をＪＰＥＧエンコーダ１１３ｂが行うので、画像圧縮掛かる処理時間に左右されることなく高速に画像圧縮処理を行うことができる。

また、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａおよびスケールファクタＳｂを設け、奇数フレームの最初のフレームのみで予備圧縮した時の符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａおよびスケールファクタＳｂの両方を更新するので、２フレーム目（２ｆ）の予備圧縮処理を行う必要がなく、第４の実施形態に比べて、圧縮処理時間を短くすることができる。また、３フレーム目（３ｆ）以降のフレームでは、第４の実施形態と同様に処理されるので、常に更新された適切なスケールファクタで画像圧縮処理を行うことができ、効率的な固定長圧縮処理を実現できる。

尚、本実施形態では、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａおよびスケールファクタＳｂを用いるようにしたが、スケールファクタＳａとスケールファクタＳｂを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。

（第６の実施形態）
次に、第６の実施形態に係る画像処理装置を有するカメラについて説明する。尚、本実施形態のカメラの基本構成は、第１の実施形態の図１のカメラ１０１ａと同じである。また、補間色処理回路１１１ａ，ＪＰＥＧエンコーダ１１３ａ，ＪＰＥＧエンコーダ１１３ｂがメモリ１１２を介してデータを入出力する構成を示す図２も第１の実施形態と同じである。

本実施形態においても、第５の実施形態と同様に、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、共通の量子化テーブルを用い、固定長圧縮を行い、奇数フレームの最初のフレームだけで予備圧縮した時の符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａおよびスケールファクタＳｂの両方を更新する。

本実施形態が第５の実施形態と異なる点は、同じフレームの異なるサイズの画像の圧縮処理を行うことである。例えば、一般的な電子カメラは、撮影した画像を保存するための画像（本画像）以外に、図１の液晶モニタ１１７に表示するためのプレビュ画像や、一覧表示するためのサムネイル画像など複数のサイズの画像を圧縮する必要がある。例えば、本画像は３０７２×２３０４画素、プレビュ画像は６４０×４８０画素、サムネイル画像は１６０×１２０画素などのように画像を構成する画素数が大きく異なり、画素数が多くなるほど圧縮処理に時間を要する。本実施形態では、本画像とプレビュ画像の２つのサイズの画像を圧縮処理する場合について説明する。

実際の電子カメラでは、ほとんどプレビュ表示が行われているので、特に説明しなかったが、図１４に示す第５の実施形態でも本画像の圧縮処理に含めてプレビュ画像の圧縮処理が行われていると考えることができる。この様子を示したのが図１５である。図１５は図１４と全く同じタイミングで各処理を示しているが、各圧縮処理の斜線で示した部分がプレビュ画像の圧縮処理を行っている期間である。例えば、１フレーム目（１ｆ）の１回目の圧縮処理の後ろの部分に斜線で示した１フレーム目（１ｆ）の１回目のプレビュ画像の圧縮処理を行う期間が示されている。同様に、１フレーム目（１ｆ）の２回目の圧縮処理、２フレーム目（２ｆ）から８フレーム目（８ｆ）までの各圧縮処理の後ろの部分に斜線で示したプレビュ画像の圧縮処理を行う期間が示されている。

また、プレビュ画像も本画像と同様に、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、共通の量子化テーブルを用いて固定長圧縮を行う。また、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂは、プレビュ画像の奇数フレーム用のスケールファクタＳｃと、プレビュ画像の偶数フレーム用のスケールファクタＳｄとを用いる。プレビュ画像の奇数フレーム用のスケールファクタＳｃと、プレビュ画像の偶数フレーム用のスケールファクタＳｄの記憶領域は、メモリ１１２に確保されている。また、スケールファクタＳｃおよびスケールファクタＳｄの更新手順も、本画像のスケールファクタＳａおよびスケールファクタＳｂの更新手順と同じように考えることができ、１フレーム目（１ｆ）のプレビュ画像の１回目の予備画像圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｃおよびスケールファクタＳｄを更新する。さらに、更新されたスケールファクタＳｃを用いて１フレーム目（１ｆ）のプレビュ画像の２回目の圧縮処理を行い、更新されたスケールファクタＳｄを用いて２フレーム目（２ｆ）のプレビュ画像の圧縮処理を行う。以降、スケールファクタＳｃおよびスケールファクタＳｄを更新しながら、奇数フレームおよび偶数フレームのプレビュ画像の圧縮処理を繰り返し行う。

このように、第５の実施形態の処理では、サイズの異なる本画像とプレビュ画像の圧縮処理は、同じフレームの処理として同じＪＰＥＧエンコーダがシリーズに行う必要があった。これに対して、本実施形態では、図１６に示すように、同じフレームの本画像の圧縮処理と、同じフレームのプレビュ画像の圧縮処理とを別のＪＰＥＧエンコーダで並列処理するようになっている。

尚、図１６に示した本画像の画像圧縮処理期間は、分かり易いように、図１５に示した各フレームの画像圧縮処理期間からプレビュ画像の圧縮処理時間を示した斜線部分だけ短くした図になっている。また、図１６において、タイミングｔ＊＊’’のように「’’」が付加されているタイミングは、図１５の「’」が付加された番号または「’」の無い番号のタイミングとは少し異なるタイミングであることを示している。例えば、図１５のタイミングｔ４５は４フレーム目（４ｆ）の補間色処理の開始時点を示しているが、図１６のタイミングｔ４５’’は同じ４フレーム目（４ｆ）の補間色処理の開始時点を示しているが、プレビュ画像の圧縮処理時間だけタイミングｔ４５よりも早くなっている。

さらに、本実施形態では、図１７に示すように、本画像処理用バッファＹＵＶ１〜ＹＵＶ３以外に、プレビュ画像処理用のサブバッファＹＵＶ１〜ＹＵＶ３の領域をメモリ１１２内に確保している。但し、補間色処理は本画像もプレビュ画像も処理用バッファＹＵＶ１〜ＹＵＶ３を用いて行われる。

図１６において、１フレーム目（１ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４１〜ｔ４２の期間にバッファＹＵＶ１を用いて行われる。１フレーム目（１ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ａはバッファＹＵＶ１を用いて、１フレーム目（１ｆ）の本画像の１回目の圧縮処理（予備圧縮処理）を初期値のスケールファクタＳａを用いて行う。

同時に、ＪＰＥＧエンコーダ１１３ｂはサブバッファＹＵＶ１を用いて、１フレーム目（１ｆ）のプレビュ画像の１回目の圧縮処理（予備圧縮処理）を初期値のスケールファクタＳｄを用いて行い、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。さらに、１フレーム目（１ｆ）のプレビュ画像の２回目の圧縮処理を行い、２回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｄの更新を行う。

ＪＰＥＧエンコーダ１１３ａは、１回目の本画像の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。さらに、タイミングｔ６１’’で１フレーム目（１ｆ）の本画像の２回目の圧縮処理を行い、２回目の圧縮処理で得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。

同様に、２フレーム目（２ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４２〜ｔ４３の期間にバッファＹＵＶ２を用いて行われる。２フレーム目（２ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ｂはタイミングｔ４３〜ｔ４７の期間にバッファＹＵＶ２を用いて２フレーム目（２ｆ）の画像圧縮処理を行う。

また、１フレーム目（１ｆ）の画像圧縮処理を終えたＪＰＥＧエンコーダ１１３ａは、２フレーム目（２ｆｓ）のプレビュ画像の圧縮処理をスケールファクタＳｃを用いて行い、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｃの更新を行う。

３フレーム目（３ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４３〜ｔ４４の期間にバッファＹＵＶ３を用いて行われる。３フレーム目（３ｆ）の補間色処理が終了すると、２フレーム目（２ｆｓ）のプレビュ画像の圧縮処理を終えたＪＰＥＧエンコーダ１１３ａが、タイミングｔ４５’’〜ｔ４７’’の期間にバッファＹＵＶ３を用いて３フレーム目（３ｆ）の画像圧縮処理をスケールファクタＳａを用いて行う。さらに、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳａの更新を行う。ここで、３フレーム目（３ｆ）の補間色処理はタイミングｔ４４で終了しているが、ＪＰＥＧエンコーダ１１３ａは２フレーム目（２ｆｓ）のプレビュ画像の圧縮処理を実行中なので、この圧縮処理が終了するタイミングｔ４５’’を待って３フレーム目（３ｆ）本画像の圧縮処理を行う。

同時に、ＪＰＥＧエンコーダ１１３ｂは、３フレーム目（３ｆｓ）のプレビュ画像の圧縮処理をスケールファクタＳｄを用いて行い、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｄの更新を行う。

４フレーム目（４ｆ）の補間色処理は、補間色処理回路１１１ａがタイミングｔ４５’’〜ｔ４６’’の期間にバッファＹＵＶ１を用いて行われる。ここで、３フレーム目（３ｆ）の補間色処理が終了するタイミングｔ４４では、１フレーム目（１ｆ）の本画像の圧縮処理でバッファＹＵＶ１が使用されているので、バッファＹＵＶ１が空くタイミングｔ４５’’を待って４フレーム目（４ｆ）の補間色処理が行われる。タイミングｔ４６’’で４フレーム目（４ｆ）の補間色処理が終了すると、ＪＰＥＧエンコーダ１１３ｂは、４フレーム目（４ｆ）本画像の圧縮処理をスケールファクタＳｂを用いて行う。さらに、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｂの更新を行う。

同時に、ＪＰＥＧエンコーダ１１３ａは、３フレーム目（３ｆ）の本画像の圧縮処理が終了するタイミングｔ４７’’を待って、４フレーム目（４ｆｓ）のプレビュ画像の圧縮処理をスケールファクタＳｃを用いて行い、得られた符号量に基づいて、次の圧縮処理を行った時の符号量が所定範囲内に収まるようなスケールファクタを予測して、スケールファクタＳｃの更新を行う。

以降、同様に、５フレーム目（５ｆ）から８フレーム目（８ｆ）までの本画像の圧縮処理が行われる間に、５フレーム目（５ｆｓ）から８フレーム目（８ｆｓ）までのプレビュ画像の圧縮処理が本画像とは異なるＪＰＥＧエンコーダで並列して行われる。

このように、本実施形態に係る画像処理装置を有するカメラ１０１ａは、連続して撮影された画像をサイズの異なる２種類の圧縮処理を行う場合に、同じフレームの本画像の圧縮処理と、同じフレームのプレビュ画像の圧縮処理とを別のＪＰＥＧエンコーダで並列処理することができるので、より高速に画像圧縮処理を行うことができる。

尚、本実施形態では、本画像の圧縮処理において、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳａおよびスケールファクタＳｂを用いるようにしたが、スケールファクタＳａとスケールファクタＳｂを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。同様に、プレビュ画像の圧縮処理において、ＪＰＥＧエンコーダ１１３ａおよびＪＰＥＧエンコーダ１１３ｂのそれぞれに独立したスケールファクタＳｃおよびスケールファクタＳｄを用いるようにしたが、スケールファクタＳｃとスケールファクタＳｄを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。さらに、本画像とプレビュ画像とのスケールファクタＳａ，スケールファクタＳｂ，スケールファクタＳｃ，スケールファクタＳｄを１つにして、ＪＰＥＧエンコーダ１１３ａとＪＰＥＧエンコーダ１１３ｂとで、共用するようにしても構わない。

以上、本発明について詳細に説明してきたが、上記の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

第１の実施形態に係る画像処理装置の全体ブロック図である。 第１の実施形態に係る画像処理装置の画像処理部のブロック図である。 第１の実施形態に係る画像処理装置の画像処理の順序を示す説明図である。 第２の実施形態に係る画像処理装置の全体ブロック図である。 第２の実施形態に係る画像処理装置の画像処理部のブロック図である。 第２の実施形態に係る画像処理装置の画像処理の順序を示す説明図である。 第３の実施形態に係る画像処理装置の全体ブロック図である。 第３の実施形態に係る画像処理装置の画像処理部のブロック図である。 第３の実施形態に係る画像処理装置の画像処理の順序を示す説明図である。 従来の画像処理装置の全体ブロック図である。 従来の画像処理部のブロック図である。 従来の画像処理の順序を示す説明図である。 第４の実施形態に係る画像処理装置の画像処理の順序を示す説明図である。 第５の実施形態に係る画像処理装置の画像処理の順序を示す説明図である。 プレビュ画像の処理の順序を示す説明図である。 第６の実施形態に係る画像処理装置の画像処理の順序を示す説明図である。 プレビュ画像を含む場合の画像処理部のブロック図である。

符号の説明

１０１ａ〜ｃ，１５１・・・カメラ
１０２・・・ＣＰＵ １０５・・・レンズ
１０６・・・撮像素子 １１０・・・ＲＡＷメモリ
１１１，１１１ａ〜ｃ・・・補間色処理回路
１１２・・・メモリ １１５・・・メモリカード
１１３，１１３ａ〜ｆ・・・圧縮回路（ＪＰＥＧエンコーダ）
１１８ａ，１１８ｂ・・・バッファ
１１９・・・バッファ

Claims (12)

1. 連続したフレームの画像を入力して補間および色処理を行う補間色処理回路と、
   前記補間色処理回路で処理中および処理済の複数フレーム分の画像を巡回的に記憶する記憶部と、
   前記補間色処理回路で処理済のフレームの画像を前記記憶部から読み出して画像圧縮処理を行い、フレーム毎に巡回的に起動されて並列処理する複数の画像圧縮処理回路と、
   前記画像圧縮処理回路で処理した圧縮データを記憶する圧縮データ記憶部と
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理回路において、
   前記画像圧縮処理回路の個数は、（前記画像圧縮処理回路の１フレームの処理時間）÷（前記補間色処理回路の１フレームの処理時間）の計算値を切り上げた個数以上としたことを特徴とする画像処理装置。
3. 連続したフレームの画像を入力して補間および色処理を行う補間色処理回路と、
   前記補間色処理回路で処理中のフレームから予め設定した所定量のデータをフレーム毎に記憶する複数の記憶バッファと、
   前記記憶バッファに記憶された処理済のデータを画像処理単位毎に読み出して画像圧縮処理を行い、フレームの最初の前記画像処理単位が読み出される毎に巡回的に起動されて並列処理する複数の画像圧縮処理回路と、
   前記画像圧縮処理回路で処理した圧縮データを記憶する圧縮データ記憶部と
   を有することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理回路において、
   前記画像圧縮処理回路の個数は、（前記画像圧縮処理回路の１フレームの処理時間−前記補間色処理回路の前記処理単位データの処理時間）÷（前記補間色処理回路の１フレームの処理時間）の計算値を切り上げた個数以上としたことを特徴とする画像処理装置。
5. 連続したフレームの画像を入力して補間および色処理を行う補間色処理回路と、
   前記補間色処理回路で処理中のフレームから予め設定した所定量のデータを前記所定量毎に巡回的に記憶する複数の記憶バッファと、
   前記記憶バッファに記憶された処理済のデータを画像処理単位毎に読み出して画像圧縮処理を行い、前記所定量毎に巡回的に起動されて同一フレームの画像を並列処理する複数の画像圧縮処理回路と、
   前記複数の画像圧縮処理回路で処理した複数の画像処理単位毎の圧縮データの順序を整えるデータアライメント手段と、
   前記データアライメント手段が順序を整えた１フレーム分の圧縮データを記憶する圧縮データ記憶部と
   を有することを特徴とする画像処理装置。
6. 請求項１または請求項３に記載の画像処理装置において、
   前記複数の画像圧縮処理回路を、前記連続したフレームの画像のうち奇数番目フレームの画像に対して画像圧縮処理を行う第１の画像圧縮処理部と、該連続したフレームの画像のうち偶数番目フレームの画像に対して画像圧縮処理を行う第２の画像圧縮処理部とで構成し、
   前記第１の画像圧縮処理部において画像圧縮処理に使用された第１圧縮条件、または前記第２の画像圧縮処理部において画像圧縮処理に使用された第２圧縮条件のうち少なくとも一方を記憶する圧縮条件記憶部と、
   前記第１の画像圧縮処理部および前記第２の画像圧縮処理部における画像圧縮処理、および前記圧縮条件記憶部における圧縮条件記憶処理を制御する圧縮制御部を更に有する
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記圧縮制御部は、
   前記第１圧縮条件および前記第２圧縮条件のうち最新の圧縮条件を前記圧縮条件記憶部に逐次更新記憶し、
   前記圧縮条件記憶部に記憶された前記最新の圧縮条件を参照して前記第１の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第１圧縮条件を設定し、
   前記圧縮条件記憶部に記憶された前記最新の圧縮条件を参照して前記第２の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第２圧縮条件を設定する
   ことを特徴とする画像処理装置。
8. 請求項６に記載の画像処理装置において、
   前記圧縮制御部は、
   前記第１圧縮条件および前記第２圧縮条件を前記圧縮条件記憶部にそれぞれ個別に記憶し、
   前記圧縮条件記憶部に記憶された前フレームの前記第１圧縮条件を参照して前記第１の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第１圧縮条件を更新設定し、
   前記圧縮条件記憶部に記憶された前フレームの前記第２圧縮条件を参照して前記第２の画像圧縮処理部における次フレームの画像圧縮処理に使用する前記第２圧縮条件を更新設定する
   ことを特徴とする画像処理装置。
9. 請求項７または請求項８に記載の画像処理装置において、
   前記圧縮制御部は、
   前記連続したフレームの画像の１番目フレーム画像を前記第１の画像圧縮処理部において画像圧縮処理する場合に、所定の初期圧縮条件を用いて前記１番目フレーム画像に対して予備圧縮処理を行わせ、前記予備圧縮処理を行った結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第１圧縮条件を設定し、設定した前記第１圧縮条件を用いて前記１番目フレーム画像を圧縮処理するよう前記第１の画像圧縮処理部を制御し、
   前記連続したフレームの画像の２番目フレーム画像を前記第２の画像圧縮処理部において画像圧縮処理する場合に、所定の初期圧縮条件を用いて前記２番目フレーム画像に対して予備圧縮処理を行わせ、前記予備圧縮処理を行った結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第２圧縮条件を設定し、設定した前記第２圧縮条件を用いて前記２番目フレーム画像を圧縮処理するよう前記第２の画像圧縮処理部を制御する
   ことを特徴とする画像処理装置。
10. 請求項７または請求項８に記載の画像処理装置において、
    前記圧縮処理部は、
    前記連続したフレームの画像の１番目フレーム画像を前記第１の画像圧縮処理部において画像圧縮処理する場合に、所定の初期圧縮条件を用いて前記１番目フレーム画像に対して予備圧縮処理を行わせ、前記予備圧縮処理を行った結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第１圧縮条件を設定し、設定した前記第１圧縮条件を用いて前記１番目フレーム画像を圧縮処理するよう前記第１の画像圧縮処理部を制御し、
    前記連続したフレームの画像の２番目フレーム画像を前記第２の画像圧縮処理部において画像圧縮処理する場合に、前記１番目フレーム画像に対する予備圧縮処理の結果得られた圧縮符号量に基づいて最終的な圧縮符号量が所定範囲内になるように前記第２圧縮条件を設定し、設定した前記第２圧縮条件を用いて前記２番目フレーム画像を圧縮処理するよう前記第２の画像圧縮処理部を制御する
    ことを特徴とする画像処理装置。
11. 第１解像度を有するフレーム画像、および前記フレーム画像と同一フレームで前記第１解像度よりも小さい第２解像度を有する縮小画像を記憶する記憶部と、
    前記記憶部に記憶された前記フレーム画像および前記縮小画像を読み出して画像圧縮処理を行う複数の画像圧縮処理回路と、
    前記複数の画像圧縮処理回路の一方で前記フレーム画像に対する画像圧縮処理を行わせている間に、前記複数の画像圧縮処理回路の他方で前記縮小画像に対する画像圧縮処理を並列処理するよう前記複数の画像圧縮処理回路を制御する圧縮制御部と
    を有することを特徴とする画像処理装置。
12. 被写体像を撮像して連続したフレームの画像を出力する撮像部と、
    請求項１から請求項１１のいずれか一項に記載の画像処理装置と
    を備えることを特徴とする電子カメラ。
    

Images