JP2014007689A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】不必要に高い圧縮率での圧縮処理を抑制して、圧縮処理後の画像の高画質化を図る。
【解決手段】撮像装置１００であって、非圧縮の各画像データを第１の圧縮率で圧縮処理させるよう制御する第１圧縮制御部５ｂと、圧縮処理の過程にて、当該画像データの所定の割合が圧縮処理された際のデータ量を算出するデータ量算出部５ｃと、算出されたデータ量が圧縮処理における所定の判定値を超えるか否かを判定する第１判定部５ｄと、所定の割合が圧縮処理された場合、一定の時間間隔に間に合うように第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定部５ｆと、データ量が所定の判定値を超え、且つ、第２の圧縮率での再圧縮処理が行えると判定された場合に、処理対象の画像データを第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御部５ｇと、を備えている。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、各画像の記録画素数及び圧縮率と、記録媒体の空き容量とに基づいて、画像の連続撮像可能枚数を設定する撮像装置が知られている（例えば、特許文献１参照）。

特開２００６−１７３９１４号公報

しかしながら、上記特許文献等の場合、各画像の圧縮率の設定を撮像前に行うようになっており、撮像の途中で圧縮率の変更を行うことができない。このため、画像の連続撮像枚数によっては、画像データの記録容量が十分であるにも拘わらず相対的に高い圧縮率で圧縮されてしまい、高画質の画像を記録できない虞がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、不必要に高い圧縮率での圧縮処理を抑制して、圧縮処理後の画像の高画質化を図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
一定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、処理対象の画像データを第１の圧縮率で前記圧縮手段により圧縮処理させるよう制御する第１圧縮制御手段と、前記圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出手段と、この算出手段により算出されたデータ量が前記圧縮処理における所定の判定値を超えるか否かを判定する第１判定手段と、前記第１圧縮制御手段により所定の割合が圧縮処理された場合、前記一定の時間間隔に間に合うように前記第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定手段と、前記第１判定手段により前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定手段により肯定と判定された場合に、前記処理対象の画像データを前記第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
一定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段とを備えた画像処理装置を用いた画像処理方法であって、処理対象の画像データを第１の圧縮率で前記圧縮手段により圧縮処理させるよう制御する第１圧縮制御ステップと、前記圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出ステップと、この算出ステップにて算出されたデータ量が前記圧縮処理における所定の判定値を超えるか否かを判定する第１判定ステップと、前記第１圧縮制御ステップにて所定の割合が圧縮処理された場合、前記一定の時間間隔に間に合うように前記第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定ステップと、前記第１判定ステップにて前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定ステップにて肯定と判定された場合に、前記処理対象の画像データを前記第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御ステップと、を含むことを特徴としている。

また、本発明に係るプログラムは、
一定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段とを備えた画像処理装置のコンピュータを、処理対象の画像データを第１の圧縮率で前記圧縮手段により圧縮処理させるよう制御する第１圧縮制御手段、前記圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出手段、この算出手段により算出されたデータ量が前記圧縮処理における所定の判定値を超えるか否かを判定する第１判定手段、前記第１圧縮制御手段により所定の割合が圧縮処理された場合、前記一定の時間間隔に間に合うように前記第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定手段、前記第１判定手段により前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定手段により肯定と判定された場合に、前記処理対象の画像データを前記第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御手段、として機能させることを特徴としている。

本発明によれば、不必要に高い圧縮率での圧縮処理を抑制して、圧縮処理後の画像の高画質化を図ることができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による連続撮像処理に係る動作の一例を示すフローチャートである。 図２の連続撮像処理の続きを示すフローチャートである。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、ユニット回路部３と、撮像制御部４と、画像データ処理部５と、メモリ６と、記録媒体制御部７と、表示部８と、操作入力部９と、中央制御部１０等を備えている。
また、撮像制御部４、画像データ処理部５、記録媒体制御部７、表示部８、メモリ６及び中央制御部１０は、バスライン１１を介して接続されている。

レンズ部１及び電子撮像部２は、被写体を撮像して画像データを生成する撮像手段を構成している。
レンズ部１は、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等から構成され、レンズ部１の各種レンズを通過した光学像を当該電子撮像部２により二次元の画像信号（アナログの画像信号）に変換して、ユニット回路部３に出力する。

ユニット回路部３は、例えば、図示は省略するが、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Auto Gain Control：ゲイン調整アンプ）、ＡＤＣ（Analog to Digital Converter：アナログ／デジタル変換器）等を具備している。そして、ユニット回路部３は、電子撮像部２から出力されて入力される被写体の光学像に応じたアナログの画像信号をＣＤＳにより保持し、当該画像信号をＡＧＣにより増幅した後、増幅された画像信号をＡＤＣによりデジタルの画像信号に変換する。

撮像制御部４は、中央制御部１０からの指令に基づいて、被写体の撮像の際に、レンズ部１、電子撮像部２、ユニット回路部３等の動作を制御する。
即ち、撮像制御部４は、レンズ部１のズームレンズやフォーカスレンズ等を光軸上で移動させるためのレンズモータ（図示略）の駆動を制御したり、電子撮像部２を走査駆動するタイミングを制御したり、電子撮像部２の駆動タイミングに基づいてユニット回路部３の駆動タイミングを制御する。
具体的には、撮像制御部４は、電子撮像部２及びユニット回路部３の駆動タイミングを撮像フレームレートに対応する一定の時間間隔で制御する。即ち、撮像フレームレートを所定の値Ａ［ｆｐｓ］（例えば、３０［ｆｐｓ］等）とした場合には、撮像制御部４は、１０００／Ａ［ｍｓ］（例えば、約３３［ｍｓ］等）間隔で電子撮像部２及びユニット回路部３を駆動させて、ユニット回路部３にデジタルの画像信号（非圧縮の画像データ）を生成させる。
ここで、ユニット回路部３は、一定の時間間隔で非圧縮の画像データを逐次取得する取得手段を構成している。

画像データ処理部５は、Ａ／Ｄ変換後の画像信号に対して、画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）を生成するＲＧＢ補間処理、ＲＧＢデータから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成するＹＵＶ変換処理、さらに、自動ホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理等を行う。
具体的には、画像データ処理部５は、圧縮部５ａと、第１圧縮制御部５ｂと、データ量算出部５ｃと、第１判定部５ｄと、時間算出部５ｅと、第２判定部５ｆと、第２圧縮制御部５ｇと、格納制御部５ｈとを具備している。

圧縮部５ａは、非圧縮の画像データの各々に対して圧縮処理を施す。
即ち、圧縮部（圧縮手段）５ａは、画像を記録する際に、逐次生成される各フレーム画像の非圧縮のＹＵＶデータの複製に対して、所定の符号化方式（例えば、ＪＰＥＧ形式等）に従って圧縮処理を施す。そして、圧縮部５ａは、圧縮処理後の各フレーム画像の画像データをメモリ６に順次出力し、当該メモリ６の第１格納部６ａに格納させる。
ここで、圧縮処理とは、データ量を低減（圧縮）させる処理であれば如何なるものであっても良く、例えば、ＹＵＶデータの色差信号（Ｕ、Ｖ）のダウンサンプリングの程度を変更する処理や、量子化（quantization）のビット数を変更する処理等を含む。また、圧縮処理の処理対象として、ＹＵＶデータを例示したが、一例であってこれに限られるものではなく、例えば、ＲＧＢデータや他の色空間の画像データ等であっても良い。

なお、圧縮部５ａにより所定の符号化方式に従って圧縮された画像データは、例えば、画像を再生表示する場合には、画像データ処理部５は、表示対象の画像データを対応する所定の符号化方式に従って復号して、表示部８の表示制御部８ｂに出力する。

第１圧縮制御部５ｂは、圧縮部５ａを制御して、非圧縮の画像データを第１の圧縮率で圧縮処理させる。
即ち、第１圧縮制御部（第１圧縮制御手段）５ｂは、圧縮処理の処理対象となる非圧縮のＹＵＶデータの複製を第１の圧縮率で圧縮部５ａにより圧縮処理させるよう制御する。
ここで、第１の圧縮率は、例えば、圧縮処理後の画像の画質の劣化の抑制の観点から設定された相対的に低い圧縮率である。また、第１の圧縮率は、予めデフォルトとして指定されている値であっても良いし、ユーザによる操作入力部９の所定操作等に基づいて任意に指定されたユーザ所望の値であっても良い。

データ量算出部５ｃは、処理対象の画像データの圧縮処理後のデータ量を算出する。
即ち、データ量算出部（算出手段）５ｃは、第１圧縮制御部５ｂの制御下における圧縮部５ａによる圧縮処理の過程にて、当該圧縮処理の処理対象の非圧縮のＹＵＶデータの所定の割合（例えば、略１／２等）が圧縮処理された際のデータ量を算出する。例えば、１６［Mpixel］の非圧縮のＹＵＶデータを処理対象とした場合には、データ量算出部５ｃは、当該データの略１／２の８［Mpixel］が圧縮処理された際のデータ量を算出する。
なお、ＹＵＶデータの所定の割合が圧縮処理された際のデータ量とは、当該ＹＵＶデータが実際に圧縮処理された結果としてのデータ量や、圧縮処理の有無は問わず当該ＹＵＶデータが圧縮部５ａに読み込まれたデータ量等を含む。

また、データ量算出部５ｃは、非圧縮のＹＵＶデータの所定の割合が圧縮処理された際のデータ量に基づいて、当該処理対象の画像データ全体が圧縮処理されたと仮定した場合の仮想データ量を算出する。例えば、１６［Mpixel］の非圧縮のＹＵＶデータを処理対象とした場合には、データ量算出部５ｃは、当該データの略１／２の８［Mpixel］が圧縮処理された際のデータ量を２倍することで、仮想データ量を算出する。
なお、非圧縮のＹＵＶデータを圧縮処理する際の所定の割合として、例えば、略１／２を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

第１判定部５ｄは、仮想データ量が所定の判定値を超えるか否かを判定する。
即ち、第１判定部（第１判定手段）５ｄは、データ量算出部５ｃにより算出されたデータ量、具体的には、非圧縮のＹＵＶデータの所定の割合が圧縮処理された際のデータ量に基づいて処理対象のＹＵＶデータ全体が圧縮処理されたと仮定した場合の仮想データ量が、圧縮処理における所定の判定値を超えるか否かを判定する。
ここで、所定の判定値は、メモリ６の第１格納部６ａの格納容量に基づいて規定された値である。具体的には、例えば、連続撮像を行う場合には、第１格納部６ａの格納容量を、連続撮像枚数で除算した値や所定の圧縮率で圧縮処理後の一の画像データのデータ量で除算した値等に基づいて、当該所定の判定値が規定されていても良い。

時間算出部５ｅは、処理対象の画像データの所定の割合の圧縮処理に要した時間と、当該処理対象の画像データの圧縮部５ａによる再度の圧縮処理に要する時間とを加算した合計時間を算出する。
即ち、時間算出部５ｅは、圧縮部５ａによる圧縮処理が開始されてからの経過時間を計時する計時部（図示略）を備え、非圧縮のＹＵＶデータの所定の割合（例えば、略１／２等）が圧縮処理された時点で計時部により計時された圧縮時間を取得する。そして、時間算出部５ｅは、処理対象のＹＵＶデータが圧縮処理された割合に応じて、当該ＹＵＶデータ全体が圧縮処理されたと仮定した場合の仮想圧縮時間を算出する。例えば、時間算出部５ｅは、ＹＵＶデータの略１／２が圧縮処理された際の圧縮時間を２倍することで、仮想圧縮時間を算出する。そして、時間算出部５ｅは、圧縮時間と仮想圧縮時間とを加算して合計時間を算出する。
なお、圧縮部５ａによる圧縮処理は、例えば、処理対象の画像データのサイズ（解像度）や圧縮率等に応じて処理時間が多少変動すると考えられるものの、圧縮部５ａによる具体的な処理内容自体は略同一であるため、本実施形態では処理時間が略同等であるものとして取り扱うこととする。

第２判定部５ｆは、合計時間が一定の時間間隔以内であるか否かを判定する。
即ち、第２判定部（第２判定手段）５ｆは、時間算出部５ｅにより算出された合計時間、つまり、処理対象の画像データの所定の割合の圧縮処理に要した時間と当該処理対象の画像データの圧縮部５ａによる再度の圧縮処理に要する時間とを加算した合計時間が、撮像フレームレートに対応する一定の時間間隔以内であるか否かを判定する。
具体的には、ユニット回路部３により非圧縮の画像データが取得される時間間隔は、１［ｓ］（１０００［ｍｓ］）を撮像フレームレートＡ［ｆｐｓ］で除算した値（１０００／撮像フレームレートＡ［ｍｓ］）であるので、第２判定部５ｆは、時間算出部５ｅにより算出された合計時間が１０００／撮像フレームレートＡ［ｍｓ］以内であるか否かを判定する。

第２圧縮制御部５ｇは、圧縮部５ａを制御して、非圧縮の画像データを第２の圧縮率で圧縮処理させる。
即ち、第２圧縮制御部（第２圧縮制御手段）５ｇは、第１判定部５ｄにより仮想データ量が所定の判定値を超えると判定され、且つ、第２判定部５ｆにより合計時間が一定の時間間隔（１０００／撮像フレームレートＡ［ｍｓ］）以内である（肯定）と判定された場合に、処理対象の非圧縮のＹＵＶデータの複製を第１の圧縮率よりも高い第２の圧縮率で圧縮部５ａにより圧縮処理（再圧縮処理）させる。つまり、非圧縮のＹＵＶデータを第２の圧縮率で圧縮処理することにより、第１の圧縮率で圧縮処理した場合よりもデータ量が低減された画像データが生成される。
結果として、第２判定部５ｆは、上記の判定処理にて、第１圧縮制御部５ｂにより所定の割合が圧縮処理された場合、撮像フレームレートに対応する一定の時間間隔に間に合うように第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定していると言える。

格納制御部５ｈは、処理対象の非圧縮の画像データを所定の格納手段に一時的に格納させる。
即ち、格納制御部（格納制御手段）５ｈは、第１判定部５ｄにより仮想データ量が所定の判定値を超えると判定され、且つ、第２判定部５ｆにより合計時間が一定の時間間隔以内でない（否定）と判定された場合に、処理対象の非圧縮のＹＵＶデータの複製を取得して、メモリ６の第２格納部６ｂに一時的に格納させる。つまり、当該処理対象のＹＵＶデータに対しては、圧縮処理が施されることなく、メモリ６の第２格納部６ｂに格納された状態となる。

なお、第１判定部５ｄにより仮想データ量が所定の判定値を超えないと判定された場合には、第１圧縮制御部５ｂは、処理対象のＹＵＶデータのうち、未だ圧縮処理が施されていない画素部分を第１の圧縮率で圧縮部５ａにより圧縮処理させるよう制御するようになっている。

メモリ６は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１０の他、当該撮像装置１００の各部によって処理されるデータ等を一時的に格納する。具体的には、メモリ６は、第１格納部６ａと、第２格納部６ｂとを具備している。

第１格納部６ａは、当該撮像装置１００の通常の動作の際に用いられる格納領域を構成し、例えば、画像データ等を一時的に記録するバッファメモリや、中央制御部１０などのワーキングメモリ、当該撮像装置１００の機能に係る各種プログラムやデータが格納されたプログラムメモリ等（何れも図示略）として機能する。

第２格納部６ｂは、画像データの予備の格納領域を構成し、例えば、圧縮処理の処理対象となったものの圧縮処理が施されなかった非圧縮のＹＵＶデータ等を一時的に格納する。

記録媒体制御部７は、例えば、不揮発性メモリ（フラッシュメモリ）等の記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録媒体制御部７は、画像データ処理部５の圧縮部５ａにより所定の圧縮形式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化された記録用の画像データをメモリ６の第１格納部６ａから取得して、記録媒体Ｍの所定の記録領域に記録させる。

表示部８は、表示パネル８ａと、表示制御部８ｂとを具備している。
表示パネル８ａは、その表示領域内に画像を表示する。また、表示パネル８ａとしては、例えば、液晶表示パネルや有機ＥＬ表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

表示制御部８ｂは、記録媒体Ｍから読み出され画像データ処理部５により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル８ａの表示領域に表示させる制御を行う。具体的には、表示制御部８ｂは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像データ処理部５により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、６０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示パネル８ａに出力する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、例えば、装置本体の電源のＯＮ／ＯＦＦに係る電源ボタン、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン（何れも図示略）等の操作部を備えている。そして、操作入力部９は、ユーザによる操作部の各ボタンの所定操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、例えば、撮像装置１００の各部を制御するＣＰＵを具備するワンチップマイコン等から構成されている。
また、中央制御部１０は、操作入力部９から出力され入力された操作信号に基づいて、撮像装置１００の各部を制御する。具体的には、中央制御部１０は、操作入力部９のシャッタボタンの所定操作に従って出力された記録指示信号が入力されると、プログラムメモリに記憶されている所定のプログラムに従って、撮像制御部４により電子撮像部２及びユニット回路部３の駆動タイミングを制御して静止画像を撮像する処理を実行する。この静止画像の撮像により生成された各フレーム画像のＹＵＶデータは、画像データ処理部５によりＪＰＥＧ方式等の所定の符号化方式に従って圧縮されて、記録媒体Ｍに静止画像データとして記録される。

次に、撮像装置１００による連続撮像処理について、図２及び図３を参照して説明する。
図２及び図３は、連続撮像処理に係る動作の一例を示すフローチャートである。
連続撮像処理は、ユーザによって操作入力部９のシャッタボタンが押圧操作されている期間に、被写体の撮像が所定の撮像フレームレートで連続して行われる処理である。

図２に示すように、中央制御部１０のＣＰＵは、ユーザによる操作入力部９のシャッタボタンの押圧操作に基づいて出力された撮像指示（記録指示）が入力されたか否かを判定する（ステップＳ１）。ここで、操作入力部９のシャッタボタンは、ユーザにより押圧操作されている期間は逐次撮像指示を中央制御部１０のＣＰＵに出力する。
ステップＳ１における撮像指示が入力されたか否かの判定は、当該撮像指示が入力されたと判定されるまで（ステップＳ１；ＹＥＳ）、所定の時間間隔で繰り返し実行される。

ステップＳ１にて、撮像指示が入力されたと判定されると（ステップＳ１；ＹＥＳ）、撮像制御部４は、レンズ部１及び電子撮像部２により被写体を撮像させる（ステップＳ２）。具体的には、撮像制御部４は、レンズ部１により結像された被写体の光学像を電子撮像部２により撮像フレームレートに対応する一定の時間間隔で二次元の画像信号に変換させ、ユニット回路部３に出力させる。続けて、撮像制御部４は、ユニット回路部３により被写体の光学像に応じたアナログの画像信号をデジタルの画像信号に変換させ、非圧縮の画像データとして逐次取得させる（ステップＳ３）。

次に、画像データ処理部５は、デジタルの画像信号の画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）を生成し、当該ＲＧＢデータを非圧縮のＹＵＶデータに変換した後、第１圧縮制御部５ｂは、非圧縮のＹＵＶデータの複製を所定位置の画素から圧縮部５ａに逐次読み込ませていき、第１の圧縮率での圧縮処理を開始させる（ステップＳ４）。
続けて、第１圧縮制御部５ｂは、圧縮部５ａにより非圧縮のＹＵＶデータの所定の割合（例えば、略１／２等）が圧縮処理されたか否かを判定する（ステップＳ５）。具体的には、第１圧縮制御部５ｂは、例えば、非圧縮のＹＵＶデータの圧縮部５ａによる読み込み量が所定の割合に達したか否かに応じて、当該ＹＵＶデータの所定の割合が圧縮処理されたか否かを判定する（ステップＳ５）。
ここで、ＹＵＶデータの所定の割合が圧縮処理されていないと判定されると（ステップＳ５；ＮＯ）、第１圧縮制御部５ｂは、処理をステップＳ４に戻し、当該ＹＵＶデータの未処理の各画素を圧縮部５ａに逐次読み込ませていき、第１の圧縮率で圧縮処理を施す。

ステップＳ５にて、ＹＵＶデータの所定の割合が圧縮処理されたと判定されると（ステップＳ５；ＹＥＳ）、データ量算出部５ｃは、非圧縮のＹＵＶデータの所定の割合が圧縮処理された際のデータ量を算出する（ステップＳ６）。続けて、データ量算出部５ｃは、算出されたデータ量に基づいて、当該ＹＵＶデータ全体が圧縮処理されたと仮定した場合の仮想データ量を算出する（ステップＳ７）。

次に、第１判定部５ｄは、データ量算出部５ｃにより算出された仮想データ量が所定の判定値を超えるか否かを判定する（ステップＳ８）。
ここで、仮想データ量が所定の判定値を超えないと判定されると（ステップＳ８；ＮＯ）、第１圧縮制御部５ｂは、処理対象のＹＵＶデータのうち、未だ圧縮処理が施されていない画素部分を第１の圧縮率で圧縮部５ａにより圧縮処理させる（ステップＳ９）。
なお、圧縮部５ａは、処理対象の非圧縮のＹＵＶデータの複製を取得して、第１の圧縮率で圧縮処理し直すようにしても良い。

そして、処理対象のＹＵＶデータの圧縮部５ａによる圧縮処理が終了すると、圧縮部５ａは、圧縮処理後の画像データをメモリ６に出力して、当該メモリ６の第１格納部６ａに一旦格納させた後（ステップＳ１０）、記録媒体制御部７は、メモリ６の第１格納部６ａから圧縮処理後の画像データを取得して、記録媒体Ｍの所定の記録領域に記録させる（ステップＳ１１）。
これにより、第１の圧縮率で圧縮処理された画像データが記録媒体Ｍに記録された状態となる。

次に、中央制御部１０のＣＰＵは、ユーザによる操作入力部９のシャッタボタンの押圧操作が解除されたか否かを判定する（ステップＳ１２）。具体的には、中央制御部１０のＣＰＵは、例えば、操作入力部９のシャッタボタンから撮像指示が出力されていないか否かに応じて、当該シャッタボタンの押圧操作が解除されたか否かを判定する。
ここで、シャッタボタンの押圧操作が解除されていないと判定されると（ステップＳ１２；ＮＯ）、中央制御部１０のＣＰＵは、処理をステップＳ２に戻し、それ以降の処理の実行を制御する。即ち、撮像装置１００は、撮像フレームレートに対応する次の撮像タイミングで被写体の撮像を行って、当該撮像により取得された非圧縮の画像データに対して、上記と略同様の処理を逐次実行することで、被写体の連続撮像を繰り返し実行する。

一方、ステップＳ８にて、仮想データ量が所定の判定値を超えたと判定されると（ステップＳ８；ＹＥＳ）、図３に示すように、時間算出部５ｅは、ＹＵＶデータの所定の割合の圧縮処理に要した時間と、当該ＹＵＶデータの圧縮部５ａによる再度の圧縮処理に要する時間との合計時間を算出する（ステップＳ１３）。具体的には、時間算出部５ｅは、処理対象のＹＵＶデータの圧縮部５ａによる圧縮処理が開始されてから所定の割合が圧縮処理された時点までに要した圧縮時間を算出し、続けて、ＹＵＶデータが圧縮処理された割合に応じて、当該ＹＵＶデータ全体が圧縮処理されたと仮定した場合の仮想圧縮時間を算出する。そして、時間算出部５ｅは、算出された圧縮時間と仮想圧縮時間とを加算して合計時間とする。

次に、第２判定部５ｆは、時間算出部５ｅにより算出された合計時間が撮像フレームレートに対応する一定の時間間隔以内であるか否かを判定する（ステップＳ１４）。
ここで、合計時間が一定の時間間隔以内であると判定されると（ステップＳ１４；ＹＥＳ）、第２圧縮制御部５ｇは、処理対象の非圧縮のＹＵＶデータの複製を再度所定位置の画素から圧縮部５ａに逐次読み込ませていき、第１の圧縮率よりも高い第２の圧縮率で圧縮処理させる（ステップＳ１５）。

そして、ＹＵＶデータの圧縮部５ａによる圧縮処理が終了すると、図２に示すように、中央制御部１０のＣＰＵは、処理をステップＳ１０に移行させ、それ以降の処理の実行を制御する。具体的には、圧縮部５ａは、圧縮処理後の画像データをメモリ６に出力して、当該メモリ６の第１格納部６ａに一旦格納させた後（ステップＳ１０）、記録媒体制御部７は、メモリ６の第１格納部６ａから圧縮処理後の画像データを取得して、記録媒体Ｍの所定の記録領域に記録させる（ステップＳ１１）。
これにより、第１の圧縮率で圧縮処理した場合よりもデータ量が低減された画像データが記録媒体Ｍに記録された状態となる。
その後、中央制御部１０のＣＰＵは、ユーザによる操作入力部９のシャッタボタンの押圧操作が解除されたか否かを判定する（ステップＳ１２）。

一方、ステップＳ１４にて、合計時間が一定の時間間隔以内でないと判定されると（ステップＳ１４；ＮＯ）、格納制御部５ｈは、処理対象の非圧縮のＹＵＶデータの複製をメモリ６の第２格納部６ｂに一時的に格納させる（ステップＳ１６）。
これにより、当該処理対象のＹＵＶデータに対しては、圧縮処理が施されていない非圧縮の画像データがメモリ６の第２格納部６ｂに格納された状態となる。そして、例えば、連続撮像処理の終了後に、当該画像データに対しては圧縮部５ａにより所定の圧縮率で圧縮処理が施され、記録媒体Ｍに記録される。
ステップＳ１６の処理後、中央制御部１０のＣＰＵは、処理をステップＳ１２に移行させ、それ以降の処理の実行を制御する。

上記の各処理が、ステップＳ１２にて、シャッタボタンの押圧操作が解除されたと判定（ステップＳ１２；ＹＥＳ）されるまで逐次繰り返し実行され、この結果、被写体を一定の時間間隔で連続して撮像した一連の複数の画像データが生成されて記録媒体Ｍに記録される。
ステップＳ１２にて、シャッタボタンの押圧操作が解除されたと判定されると（ステップＳ１２；ＹＥＳ）、撮像装置１００は、連続撮像処理を終了する。

なお、上記の連続撮像処理では、圧縮処理後の画像データを一旦メモリ６に格納した後、記録媒体Ｍに記録するようにしたが、一例であってこれに限られるものではなく、例えば、メモリ６を介在させることなく、圧縮処理後の画像データを記録媒体Ｍに直接記録するようにしても良い。

以上のように、本実施形態の撮像装置１００によれば、非圧縮の画像データの第１の圧縮率での圧縮処理の過程にて、当該処理対象の画像データの所定の割合（例えば、略１／２等）が圧縮処理された際のデータ量を算出し、当該データ量に基づいて、画像データ全体が圧縮処理されたと仮定した場合の仮想データ量が所定の判定値を超えると判定され、且つ、処理対象の画像データの所定の割合が圧縮処理された場合、一定の時間間隔に間に合うように第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えると判定されると、処理対象の画像データを第２の圧縮率で圧縮処理させるので、処理対象となった非圧縮の画像データ毎に画質の劣化の抑制の観点から設定された相対的に低い圧縮率で圧縮処理を行うことができる。特に、被写体の連続撮像により逐次生成される非圧縮の画像データを処理対象とする場合には、所定の撮像フレームレートでの連続撮像が可能となるように、即ち、連続撮像の途中で圧縮処理が停止しないように圧縮率を予め設定する必要がなくなる。つまり、圧縮処理後の画像データの記録領域を確保しつつ、連続撮像される全てのフレーム画像の画質が劣化してしまうのを許容した相対的に高い圧縮率を予め設定しておかなくとも、途中で圧縮処理が停止することなく、所定の撮像フレームレートでの連続撮像を行うことができる。
このように、不必要に高い圧縮率での圧縮処理を抑制することができ、圧縮処理後の画像の高画質化を図ることができる。

また、処理対象の画像データ全体が圧縮処理されたと仮定した場合の仮想データ量の判定基準となる所定の判定値を、圧縮処理後の各画像データのデータ量や被写体を連続して撮像可能な枚数等を基準として規定することができるので、圧縮処理後の各画像データのデータ量や被写体を連続して撮像可能な枚数等を考慮して、即ち、メモリ６や記録媒体Ｍ等の記録手段の記録容量を考慮して、処理対象の画像データを第２の圧縮率で圧縮処理させるか否かの判断を行うことができる。

また、仮想データ量が所定の判定値を超えないと判定された場合に、処理対象の画像データのうち、未だ圧縮処理が施されていない画素部分を第１の圧縮率で圧縮処理するので、処理対象の非圧縮の画像データ全体を第２の圧縮率よりも低い第１の圧縮率で圧縮処理することができ、圧縮処理後の画像の高画質化を図ることができる。

また、仮想データ量が所定の判定値を超えると判定され、且つ、第２の圧縮率での再圧縮処理を行えないと判定された場合に、処理対象の非圧縮の画像データをメモリ６の第２格納部６ｂに一時的に格納させることで、例えば、連続撮像処理の終了後に、当該画像データの圧縮処理を行うことができ、所定の撮像フレームレートに対応する一定の時間間隔で連続して撮像された一連の複数の画像データを記録媒体Ｍに記録させることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態においては、データ量算出部５ｃが、連続撮像処理（図２参照）のステップＳ６にて、非圧縮のＹＵＶデータの所定の割合が圧縮処理された際のデータ量を算出し、続けてステップＳ７にて、算出されたデータ量に基づいて当該ＹＵＶデータ全体が圧縮処理されたと仮定した場合の仮想データ量を算出するようにした。
しかしながら、撮像・取得された画像データの内容によっては、仮想データ量を算出するまでもなく、所定の割合で圧縮処理された段階のデータ量のみで予め用意された所定の判定値（この場合は、仮想データ量に対する所定の判定値でない別の判定値）を超えるか否かを判定することも可能である。
したがって、画像データにおける画像の内容が単調なものである場合、仮想データ量を算出せずに判定するようにしても良い。

また、上記実施形態においては、ステップＳ１３にて、時間算出部５ｅがＹＵＶデータの所定の割合の圧縮処理に要した時間と、当該ＹＵＶデータの圧縮部５ａによる再度の圧縮処理に要する時間との合計時間を算出するようにした。
しかしながら、ここで算出される合計時間は、飽くまで撮像フレームレートにおける撮影タイミングに間に合うように圧縮処理と再圧縮（リトライ）処理とが行えるか否かを判定するための方法の一つであり、他の判定方法があれば、必ずしも合計時間を算出する必要は無い。

更に、上記実施形態では画像処理装置として、撮像装置１００を例示したが、一例であってこれに限られるものではなく、撮像装置１００の構成は適宜任意に変更可能である。

また、上記実施形態では、第１格納部６ａ及び第２格納部６ｂを具備するメモリ６を例示したが、一例であってこれに限られるものではなく、例えば、第１メモリと第２メモリとに分けて各メモリを別体で構成しても良い。
さらに、格納制御部５ｈ並びに第２格納部６ｂや第２メモリ等の所定の格納手段は、必ずしも具備する必要はない。

加えて、上記実施形態にあっては、中央制御部１０の制御下にて、第１圧縮制御部５ｂ、データ量算出部５ｃ、第１判定部５ｄ、第２判定部５ｆ、第２圧縮制御部５ｇ等が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１圧縮制御処理ルーチン、算出処理ルーチン、第１判定処理ルーチン、第２判定処理ルーチン、第２圧縮制御処理ルーチンを含むプログラムを記憶しておく。そして、第１圧縮制御処理ルーチンにより中央制御部１０のＣＰＵを、処理対象の画像データを第１の圧縮率で圧縮部５ａにより圧縮処理させるよう制御する第１圧縮制御手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部１０のＣＰＵを、圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出手段として機能させるようにしても良い。また、第１判定処理ルーチンにより中央制御部１０のＣＰＵを、算出手段により算出されたデータ量が圧縮処理における所定の判定値を超えるか否かを判定する第１判定手段として機能させるようにしても良い。また、第２判定処理ルーチンにより中央制御部１０のＣＰＵを、第１圧縮制御手段により所定の割合が圧縮処理された場合、一定の時間間隔に間に合うように第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定手段として機能させるようにしても良い。また、第２圧縮制御処理ルーチンにより中央制御部１０のＣＰＵを、第１判定手段によりデータ量が所定の判定値を超えると判定され、且つ、第２判定手段により肯定と判定された場合に、処理対象の画像データを第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御手段として機能させるようにしても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
一定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、
この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、
処理対象の画像データを第１の圧縮率で前記圧縮手段により圧縮処理させるよう制御する第１圧縮制御手段と、
前記圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出手段と、
この算出手段により算出されたデータ量が前記圧縮処理における所定の判定値を超えるか否かを判定する第１判定手段と、
前記第１圧縮制御手段により所定の割合が圧縮処理された場合、前記一定の時間間隔に間に合うように前記第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定手段と、
前記第１判定手段により前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定手段により肯定と判定された場合に、前記処理対象の画像データを前記第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記所定の判定値は、前記圧縮処理後の各画像データのデータ量及び被写体を連続して撮像可能な枚数のうち、少なくとも一方を基準として規定された値を含むことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記算出手段は、前記圧縮処理の過程にて、当該処理対象の画像データの略１／２が圧縮処理された際のデータ量を算出することを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記第１圧縮制御手段は、前記第１判定手段により前記データ量が前記圧縮処理における所定の判定値を超えないと判定された場合に、前記処理対象の画像データのうち、未だ圧縮処理が施されていない部分を前記圧縮手段により圧縮処理させるよう制御することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記第１判定手段により前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定手段により否定と判定された場合に、前記処理対象の非圧縮の画像データを所定の格納手段に一時的に格納させる格納制御手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記取得手段は、被写体を撮像して画像データを生成する撮像手段を含むことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
一定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段とを備えた画像処理装置を用いた画像処理方法であって、
処理対象の画像データを第１の圧縮率で前記圧縮手段により圧縮処理させるよう制御する第１圧縮制御ステップと、
前記圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出ステップと、
この算出ステップにて算出されたデータ量が前記圧縮処理における所定の判定値を超えるか否かを判定する第１判定ステップと、
前記第１圧縮制御ステップにて所定の割合が圧縮処理された場合、前記一定の時間間隔に間に合うように前記第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定ステップと、
前記第１判定ステップにて前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定ステップにて肯定と判定された場合に、前記処理対象の画像データを前記第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御ステップと、
を含むことを特徴とする画像処理方法。
＜請求項８＞
一定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段とを備えた画像処理装置のコンピュータを、
処理対象の画像データを第１の圧縮率で前記圧縮手段により圧縮処理させるよう制御する第１圧縮制御手段、
前記圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出手段、
この算出手段により算出されたデータ量が前記圧縮処理における所定の判定値を超えるか否かを判定する第１判定手段、
前記第１圧縮制御手段により所定の割合が圧縮処理された場合、前記一定の時間間隔に間に合うように前記第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定手段、
前記第１判定手段により前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定手段により肯定と判定された場合に、前記処理対象の画像データを前記第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ ユニット回路部
５ 画像データ処理部
５ａ 圧縮部
５ｂ 第１圧縮制御部
５ｃ データ量算出部
５ｄ 第１判定部
５ｆ 第２判定部
５ｇ 第２圧縮制御部
５ｈ 格納制御部
６ メモリ
６ａ 第１格納部
６ｂ 第２格納部

Claims (8)

1. 一定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、
   この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段と、
   処理対象の画像データを第１の圧縮率で前記圧縮手段により圧縮処理させるよう制御する第１圧縮制御手段と、
   前記圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出手段と、
   この算出手段により算出されたデータ量が前記圧縮処理における所定の判定値を超えるか否かを判定する第１判定手段と、
   前記第１圧縮制御手段により所定の割合が圧縮処理された場合、前記一定の時間間隔に間に合うように前記第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定手段と、
   前記第１判定手段により前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定手段により肯定と判定された場合に、前記処理対象の画像データを前記第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記所定の判定値は、前記圧縮処理後の各画像データのデータ量及び被写体を連続して撮像可能な枚数のうち、少なくとも一方を基準として規定された値を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、前記圧縮処理の過程にて、当該処理対象の画像データの略１／２が圧縮処理された際のデータ量を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１圧縮制御手段は、前記第１判定手段により前記データ量が前記圧縮処理における所定の判定値を超えないと判定された場合に、前記処理対象の画像データのうち、未だ圧縮処理が施されていない部分を前記圧縮手段により圧縮処理させるよう制御することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記第１判定手段により前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定手段により否定と判定された場合に、前記処理対象の非圧縮の画像データを所定の格納手段に一時的に格納させる格納制御手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記取得手段は、被写体を撮像して画像データを生成する撮像手段を含むことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 一定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段とを備えた画像処理装置を用いた画像処理方法であって、
   処理対象の画像データを第１の圧縮率で前記圧縮手段により圧縮処理させるよう制御する第１圧縮制御ステップと、
   前記圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出ステップと、
   この算出ステップにて算出されたデータ量が前記圧縮処理における所定の判定値を超えるか否かを判定する第１判定ステップと、
   前記第１圧縮制御ステップにて所定の割合が圧縮処理された場合、前記一定の時間間隔に間に合うように前記第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定ステップと、
   前記第１判定ステップにて前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定ステップにて肯定と判定された場合に、前記処理対象の画像データを前記第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御ステップと、
   を含むことを特徴とする画像処理方法。
8. 一定の時間間隔で非圧縮の画像データを逐次取得する取得手段と、この取得手段により取得された各々の非圧縮の画像データに対して圧縮処理を施す圧縮手段とを備えた画像処理装置のコンピュータを、
   処理対象の画像データを第１の圧縮率で前記圧縮手段により圧縮処理させるよう制御する第１圧縮制御手段、
   前記圧縮処理の過程にて、当該処理対象の画像データの所定の割合が圧縮処理された際のデータ量を算出する算出手段、
   この算出手段により算出されたデータ量が前記圧縮処理における所定の判定値を超えるか否かを判定する第１判定手段、
   前記第１圧縮制御手段により所定の割合が圧縮処理された場合、前記一定の時間間隔に間に合うように前記第１の圧縮率よりも高い第２の圧縮率での再圧縮処理が行えるかどうかを判定する第２判定手段、
   前記第１判定手段により前記データ量が所定の判定値を超えると判定され、且つ、前記第２判定手段により肯定と判定された場合に、前記処理対象の画像データを前記第２の圧縮率で再圧縮処理させるよう制御する第２圧縮制御手段、
   として機能させることを特徴とするプログラム。

Images