JP2008300953A - 画像処理装置およびそれを搭載した撮像装置 - Google Patents

Abstract

【課題】動画像から静止画を切り出した場合、付属情報を継承することが困難であった。
【解決手段】制御部２０は、連続撮像された画像群のそれぞれの画像について、撮影条件を特定する。付加部２４は、制御部により特定された撮影条件を含む付属情報を、画像群のストリーム中に付加する。たとえば、付加部２４は、ストリーム中にて、それぞれの画像を記述したデータの前に付加する付加拡張情報内に、付属情報を記述する。制御部２０は、画像群のうち少なくとも一つの画像の付属情報を、他の画像の付属情報との差分情報で記述してもよい。
【選択図】図１

Description

本発明は、撮像した画像に、その撮影条件を付加する画像処理装置およびそれを搭載した撮像装置に関する。

デジタルスチルカメラが広く普及してきている。デジタルスチルカメラで撮影された画像データには、付属情報が埋め込まれることが多い。たとえば、ＪＰＥＧ（Joint Photographic Experts Group）やＴＩＦＦ（Tagged Image File Format）で記述された静止画には、Ｅｘｉｆ（Exchangeable image file format）で記述された付属情報が付加される。このような付属情報には、カメラの機種、Ｆ値、露出時間、ＩＳＯ感度およびホワイトバランスなど撮影時の条件情報が含まれる。このような付属情報は、静止画を印刷する際のプリンタの設定などに利用される。

特許文献１は、撮影条件を変えて得られた複数の画像データを有効に活用する技術を開示する。
特開２００４−２４７９８３号公報

動画像に対しても、上述したような付属情報が先頭に付されることがあるが、当該動画像から静止画を切り出した場合、その付属情報を継承することができないことが多い。たとえば、撮影環境に応じて撮影条件を自動的に調整するオートモードで動画像を撮影した場合や、撮影条件を変化させながら連続撮像するブラケット連写モードで撮影した場合、撮影条件が時々刻々と変化するため、切り出したフレームの撮影条件が先頭フレームの撮影条件と同じであることが保証されず、付属情報を継承することができない。

本発明はこうした状況に鑑みなされたものであり、その目的は、連続撮像された画像群から特定の画像を切り出した場合でも、付属情報を承継することができる画像処理装置およびそれを搭載した撮像装置を提供することにある。

本発明のある態様の画像処理装置は、連続撮像された画像群に含まれる画像の撮影条件をピクチャ単位で特定する制御部と、制御部により特定された撮影条件を含む付属情報を、画像群のストリーム中に付加する付加部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、連続撮像された画像群から特定の画像を切り出した場合でも、付属情報を承継することができる。

図１は、実施の形態１に係る撮像装置５００の構成図である。実施の形態１に係る撮像装置５００は、撮像部１０、画像処理部１００、記録部１６、操作部１８および表示部１９を備える。撮像部１０は、撮像素子１２、信号処理部１３および調整部１４を含む。画像処理部１００は、制御部２０、符号化部２２および付加部２４を含む。画像処理部１００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像素子１２は、ＣＣＤ（Charge Coupled Devices）センサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサで構成され、入射光を画像を生成するための電気信号に変換し、信号処理部１３に出力する。画像とは、三次元空間上の特定領域を二次元平面上の絵として表現したものである。本明細書では、連続して撮像された各画像の集合を画像群と表記する。

信号処理部１３は、撮像素子１２から出力されたＲＧＢフォーマットのアナログ信号を、ＹＵＶフォーマットのデジタル信号に変換する。信号処理部１３は、変換後の画像信号を画像処理部１００に出力する。

調整部１４は、撮像部１０内に設けられる絞り機構、撮像素子１２の露出時間、および撮像素子１２の感度の少なくとも一つを調整することにより、撮像素子１２への入射光量を調整する。調整部１４は、制御部２０から設定される、露出時間、Ｆ値およびＩＳＯ感度などの各種パラメータにもとづき調整する。

制御部２０は、撮像部１０で連続撮像された画像群に含まれる画像の撮影条件をピクチャ単位で特定し、特定された撮影条件を含む付属情報を生成し、付加部２４に供給する。連続撮像された画像群は、ピクチャ単位で符号化される。ここで、ピクチャは符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などが含まれてもよい。以下、本明細書ではフレーム単位で符号化する例を説明する。

符号化部２２は、信号処理部１３から連続して入力される画像信号を、所定の規格に準拠し圧縮符号化する。たとえば、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧシリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠して連続撮像された画像の符号化を行う。

ＭＰＥＧシリーズの規格では、フレーム内符号化を行う画像フレームをＩ（Intra）フレーム、過去のフレームを参照画像として順方向のフレーム間予測符号化を行う画像フレームをＰ（Predictive）フレーム、過去と未来のフレームを参照画像として双方向のフレーム間予測符号化を行う画像フレームをＢフレームという。

制御部２０は、露出について自動調整モードに設定されている場合、撮像素子１２または図示しない露出計を利用して被写体の明るさを測定し、適正な露出値を求める。その露出値を実現するための露出時間、Ｆ値およびＩＳＯ感度を特定し、調整部１４に設定する。また、マニュアルモードに設定されている場合、露出時間、Ｆ値およびＩＳＯ感度をユーザから設定された値に特定し、調整部１４に設定する。また、ブラケット連写モードに設定されている場合、露出時間、Ｆ値およびＩＳＯ感度を所定の規則にしたがい変化させるよう、調整部１４に設定する。いずれの場合も、動画像撮影モードやブラケット連写モードで撮像された画像群に含まれるそれぞれの画像について、露出に関する撮影条件が特定される。

制御部２０は、ホワイトバランスについて自動調整モードに設定されている場合、被写体の光の状態に応じて、適正なホワイトバランスに補正するよう、図示しないホワイトバランス調整部を制御する。また、マニュアルモードに設定されている場合、ホワイトバランスをユーザから設定された値に補正するよう制御する。いずれの場合も、動画像撮影モードやブラケット連写モードで撮像された画像群に含まれるそれぞれの画像について、ホワイトバランスに関する撮影条件が特定される。

制御部２０は、その他の撮影条件として、シーン設定情報、使用されたカメラの機種やモデル、使用されたソフトウェアのバージョン、および使用された色空間の規格などを特定する。

付加部２４は、制御部２０により特定された撮影条件を含む付属情報を、画像群の圧縮符号化ストリーム中に付加する。付加部２４は、圧縮符号化ストリーム中にて、それぞれの画像を記述したビットストリームの前に付加することが許可されている付加拡張情報内に、上記付属情報を記述することができる。たとえば、Ｈ．２６４／ＡＶＣでは、各フレームデータの前にＳＥＩ (Supplemental Enhancement Information)を付加することが許可されている。また、上記付属情報をＳＥＩではなく各フレームヘッダに記述してもよい。

制御部２０は、画像群のうち少なくとも一枚の画像の付属情報を、他の画像の付属情報との差分情報で記述することができる。たとえば、フレーム間符号化されるＰフレームまたはＢフレームの付属情報を、表示順もしくは符号化順で一枚前のフレーム、または現フレームが参照しているフレームの付属情報との差分情報で記述する。これにより、付属情報の符号量を削減することができる。表示順で一枚前のフレームを参照した場合、符号量を最も削減することができる。制御部２０は、Ｂフレームの参照先を決定する際、二枚の参照フレームからいずれかを任意に選択してもよいし、あらかじめ定められた優先順位にしたがって選択してもよい。フレーム内符号化されるＩフレームの付属情報は、差分情報ではなく、そのものを記述する。

ＰフレームまたはＢフレームの付属情報を、一枚前のフレームの付属情報との差分情報ではなく、ＰフレームまたはＢフレームの最終的な参照元とすべきＩフレームの付属情報との差分情報で記述してもよい。この場合、付属情報の復元処理を簡素化することができる。なお、対象フレームの付属情報と、その参照フレームの付属情報との間で撮影条件に変化がない場合、圧縮符号化ストリームを生成する際に、対象フレームに付属情報を付加しなくもよい。この場合、符号量をさらに削減することができる。

制御部２０は、ＰフレームまたはＢフレームの付属情報を上述した差分情報で記述する場合、ＰフレームまたはＢフレームの付属情報の各撮影条件と、Ｉフレームの付属情報の対応する撮影条件との間で、保存形式およびビット幅を揃えてもよい。これによれば、後に、ＰフレームまたはＢフレームの付属情報を復元する場合、処理を単純化することができる。

制御部２０は、ブラケット連写モードに設定されている場合、撮影条件を所定の規則にしたがい変化させて、調整部１４に設定する。付加部２４は、変化の起点となる画像の付属情報に、その規則を記述する。たとえば、ＩＳＯ感度が５０を起点、５００を終点とし、フレームごとに５０ずつ増大させるよう設定されている場合、ＩＳＯ感度が５０のフレームの付属情報に、次のフレームからＩＳＯ感度が５０ずつ増大する旨、および５００までのフレーム数を記述する。なお、上記規則は、定数の連続的な加算に限らず、露出時間をフレームごとに２倍にしていくなど、変化割合で記述してもよい。

記録部１６は、メモリーカードスロット、光ディスクドライブ、およびＨＤＤの少なくとも一つを備え、撮像された画像などを記録媒体に記録する。操作部１８は、シャッターボタンおよび各種設定用のボタンまたはキーを備え、ユーザからの指示を受け付け、制御部２０に伝達する。表示部１９は、撮像中の画像や、記録部１６に記録された画像を表示したり、各種の設定画面や各種のステータス情報などを表示する。

以下、符号化ストリームに付属情報を付加する例を具体的に説明する。
図２は、実施の形態１の実施例１に係る符号化ストリームＣＳへの付属情報の付加形態を示す図である。図３は、実施の形態１の実施例２に係る符号化ストリームＣＳへの付属情報の付加形態を示す図である。図２および図３では、Ｈ．２６４に準拠した符号化ストリームＣＳを生成する例を示す。

図２および図３にて、符号化ストリームＣＳは、時間経過順に、Ｉフレーム３０、Ｐフレーム３２、およびＰフレーム３４を含む。Ｉフレーム３０は、正確には、ＩＤＲ(Instantaneous Decoder Refresh)フレームである。Ｈ．２６４では、通常のＩフレームより前のフレームも参照可能となっているが、ここでは、Ｉフレーム３０より後続のＰフレームは、Ｉフレーム３０より時間方向に前のフレームを参照元とすることはない。

Ｈ．２６４では、各フレームの先頭にＳＥＩを付加することができる。実施の形態１では、ＳＥＩの"usre_data_unregisterstered"を利用して、上記付属情報を記録する。"usre_data"のデータ構造は、先頭から、付属情報の全データサイズを記述する領域、他のユーザデータと識別するための識別コードを記述する領域を持つ。それ以降に、Ｅｘｉｆで使用されるデータフォーマットで実際の付属情報を記述する。

図２および図３では、各フレーム３０、３２、３４の撮影条件として、撮像装置のメーカ名、モデル、使用したソフトウェアのバージョン、色空間、Ｆ値、露出時間、およびＩＳＯ感度を各フレーム３０、３２、３４のＳＥＩに保存する。

図２に示す実施例１は、Ｉフレームではすべての撮影条件を記述し、それ以外のフレームでは一枚前のフレームとの差分情報を記述する例である。具体的に説明すると、Ｉフレーム３０のＳＥＩに、撮影条件として、ＡＡ社、ＢＢ、バージョン１．０、ｓＲＧＢ、３．５、１／４０、および５０が記述される。

Ｐフレーム３２と、直前のＩフレーム３０とを比較すると、変化した項目はＦ値および露出時間である（図２の太線枠）。したがって、Ｐフレーム３２のＳＥＩには、Ｆ値および露出時間のみが記述される。具体的な数値については、３．７、および１／５０とそのまま記述してもよいし、＋０．２、＋１／２００と差分で記述してもよい。Ｐフレーム３４と、直前のＰフレーム３２とを比較すると、変化した項目はＦ値およびＩＳＯ感度である（図２の太線枠）。したがって、Ｐフレーム３４のＳＥＩには、Ｆ値およびＩＳＯ感度のみが記述される。

図３に示す実施例２は、Ｉフレームではすべての撮影条件を記述し、それ以外のフレームでは直近のＩフレームとの差分情報を記述する例である。Ｉフレーム３０およびＰフレーム３２のＳＥＩに記述すべき内容は、実施例１と同様である。Ｉフレーム３０はＰフレーム３２の直近のＩフレームでもあるためである。Ｐフレーム３４と、直近のＩフレーム３０とを比較すると、変化した項目は露出時間およびＩＳＯ感度である（図３の太線枠）。したがって、Ｐフレーム３４のＳＥＩには、露出時間およびＩＳＯ感度のみが記述される。

なお、Ｉフレーム以外の対象フレームの項目に、直前のフレームまたは直近のＩフレームの項目と比較して、変化したものがない場合、その対象フレームについてはＳＥＩを設けなくてもよい。

以上説明したように実施の形態１によれば、フレームごとに撮影条件を記録することにより、連続撮像された画像群から特定の画像を切り出した場合でも、付属情報を承継することができる。たとえば、動画から切り出した静止画を印刷する際、その静止画の撮影条件も切り出すことができるため、その撮影条件を自動的に反映させる自動補正機能を利用することも可能となる。

また、撮影条件を各フレームのＳＥＩに記録すれば、画像データ本体と独立しているため、撮影条件のみを容易に取り出したり、削除したり、修正したりすることができる。また、撮影条件の検索や編集も容易である。

また、ＰフレームまたはＢフレームの撮影条件と、Ｉフレームの対応する撮影条件との間で、保存形式およびビット幅を揃えれば、Ｉフレームの撮影条件に、ＰフレームまたはＢフレームの撮影条件を上書きするだけで、ＰフレームまたはＢフレームの撮影条件を復元することができる。たとえば、図２にて、Ｐフレーム３２の撮影条件をＩフレームの撮影条件に上書きすると、Ｆ値および露出時間が上書きされることになり、Ｐフレーム３２の撮影条件を簡単に復元することができる。

また、差分情報で撮影条件を記録すれば、符号化ストリームの符号量の増大を抑制することができる。とくに、実施例１によれば、直前のフレームとの差分情報で記述することにより、符号量の増大を大幅に抑制することができる。一般に、現在のフレームと直前のフレームとの間で、撮影条件が変化する可能性は低いからである。実施例２によれば、実施例１より符号量が増大する可能性が高いが、参照元フレームが一枚であるため、撮影条件の復元処理が容易である。

図４は、実施の形態２に係る復号装置６００の構成図である。実施の形態２に係る復号装置６００は、実施の形態１で説明した符号化ストリームＣＳを復号する。復号装置６００は、デジタルスチルカメラまたはデジタルビデオカメラの一部の構成であってもよいし、携帯電話機の一部の構成であってもよい。また、光ディスク再生装置、セットトップボックスなどの画像再生装置であってもよい。また、プリンタおよび複合機などの印刷装置であってもよい。復号装置６００は、画像処理部２００、表示部４４、印刷部４６および操作部４８を備える。画像処理部２００、制御部４０および復号部４２を含む。印刷部４６は、かならずしも備えている必要はない。

復号部４２は、実施の形態１で説明したような、ピクチャ単位で特定された撮影条件を含む付属情報が付加された画像群のストリームを復号する。表示部４４は、復号された画像を表示する。また、編集画面として、動画を組成する各フレームを並べて連続コマ表示する。操作部４８は、ユーザの指示を受け付け、制御部４０に伝達する。ユーザは、表示部４４に表示されたコマ表示画面から切り出したいフレームを選択する。

制御部４０は、ユーザが選択したフレームの切り出しを操作部４８から指示された場合、そのフレームを動画像ファイルから切り出す。その際、そのフレームの付属情報も合わせて切り出す。制御部４０は、切り出したフレームの静止画ファイルを生成する際、切り出した付属情報を付加する。たとえば、画像データ本体をＪＰＥＧで記述し、付属情報をＥｘｉｆで記述する。すなわち、付属情報が埋め込まれた一般的な静止画ファイルと同様のファイルを生成する。これにより、印刷部４６は、静止画として撮像され、かつ付属情報が埋め込まれた静止画の印刷と同様に、動画から切り出した静止画に対しても自動補正機能を発動しながら印刷することができる。

なお当然であるが、制御部４０は、切り出すべきフレームがＰフレームまたはＢフレームの場合、参照元フレームを参照して復元する。切り出すべきフレームの付属情報が差分情報で記述されている場合も、参照元の付属情報を参照して復元する。

制御部４０は、画像群に含まれるそれぞれの画像の撮影条件を参照して、それぞれの画像に施すべき画像処理を適応的に変化させる。たとえば、ノイズ除去処理を適応的に制御することができる。

図５は、ノイズ除去処理の適応制御を説明する図である。図５は、連続する六枚のフレーム５１〜５６の撮影条件を示す。ここでは、ＩＳＯ感度およびＦ値を示している。第１フレーム５１のＩＳＯ感度は５０である。第２フレーム５２のＩＳＯ感度は１００に増大し、第３フレーム５３で２００、第４フレーム５４で４００と増大する。第４フレーム５４、第５フレーム５５および第６フレーム５６のＩＳＯ感度は４００で一定である。

制御部４０は、各フレームに対してノイズ除去処理を施すことができる。ノイズ除去のアルゴリズムには様々なものがあるが、一般的に、ノイズ除去の強度を上げると画像の再現性は低下する。反対に、ノイズ除去の強度を下げると画像の再現性低下は抑制できるが、ノイズ除去の程度は限定的となる。

制御部４０は、ＩＳＯ感度の値に応じて、ノイズ除去処理の強度を適応的に変化させる。すなわち、ＩＳＯ感度が小さいほど混入されたノイズが少ないとみなし、ノイズ除去処理の強度を小さく設定し、ＩＳＯ感度が大きいほど混入されたノイズが多いとみなし、ノイズ除去処理の強度を大きく設定する。たとえば、大、中、小、オフの四つのモードと、それらのモードを遷移するためのしきい値をそれぞれ設け、それぞれのしきい値を超えたとき、モードを遷移させる。図５では、ＩＳＯ感度が２００未満のときノイズ除去処理をオフに設定し、２００以上４００未満で強度小に設定し、４００以上で強度大に設定している。

制御部４０は、シーン設定情報、露出時間、ＩＳＯ感度、ホワイトバランスなど撮影条件の項目を参照して、各フレームに施すべき画像補正または画像加工を適応的に変化させることができる。たとえば、シーン設定情報を参照して、対象フレームが夜景モードで撮影されたものである場合、そのフレームの輝度レベルおよびホワイトレベルを夜景モードに対応した値に補正する。

また、制御部４０は、露出時間またはＩＳＯ感度が所定のしきい値を超えて急激に変化したフレームを検出した場合、白とびや黒つぶれと判定し、前後フレームの各種パラメータを参照して補正する。

また、ホワイトバランスがオート設定で撮影された場合、数フレームだけ色合いが異なることがある。それらのフレームの白い部分に対応する、前後フレームの部分を参照して本来の色合いを推測する。たとえば、画像内に白い建物の壁が写っている場合、その部分を参照して本来のホワイトバランスを推測する。制御部４０は、色合いの変化をなくすように、色合いが異なるフレームのホワイトバランスを自動調整する。

以上説明したように実施の形態２によれば、連続撮像された画像群から特定の画像を切り出す際に付属情報を承継することにより、静止画として撮像され、かつ付属情報が埋め込まれた静止画と同様に取り扱うことができ、様々な処理を施すことができる。たとえば、自動補正機能を利用した印刷を行うこともできる。

また、動画像を組成する各フレームの撮影条件を参照して、画像処理の最適化に活かすことができる。たとえば、ノイズ除去処理の強度を適切に調整することができる。

以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえば、実施の形態１では、各フレームの撮影条件を各フレームのＳＥＩやヘッダに記録する例を説明したが、各フレームの撮影条件をタイムテーブル形式で別ファイルに記録してもよい。ファイルの数は増えてしまうが、インターネットを利用して他の装置に伝送する際、符号化ストリームを記述したファイルと撮影条件を記述したファイルを別の伝送路で送信することができる。受信装置に後者が先に到達することにより、あらかじめ施すべき画像処理が受信装置側で特定されるため、復号処理の負荷を軽減することができる。

実施の形態１に係る撮像装置の構成図である。 実施の形態１の実施例１に係る符号化ストリームへの付属情報の付加形態を示す図である。 実施の形態１の実施例２に係る符号化ストリームへの付属情報の付加形態を示す図である。 実施の形態２に係る復号装置の構成図である。 ノイズ除去処理の適応制御を説明する図である。

符号の説明

１０ 撮像部、 １２ 撮像素子、 １３ 信号処理部、 １４ 調整部、 １６ 記録部、 １８ 操作部、 １９ 表示部、 １００ 画像処理部、 ５００ 撮像装置、 ２０ 制御部、 ２２ 符号化部、 ２４ 付加部、 ４０ 制御部、 ４２ 復号部、 ４４ 表示部、 ４６ 印刷部、 ４８ 操作部、 ２００ 画像処理部、 ６００ 復号装置。

Claims (8)

1. 連続撮像された画像群に含まれる画像の撮影条件をピクチャ単位で特定する制御部と、
   前記制御部により特定された撮影条件を含む付属情報を、前記画像群のストリーム中に付加する付加部と、
   を備えることを特徴とする画像処理装置。
2. 前記付加部は、前記ストリーム中にて、それぞれの画像を記述したデータの前に付加する付加拡張情報内に、前記付属情報を記述することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御部は、前記画像群のうち少なくとも一つの画像の付属情報を、他の画像の付属情報との差分情報で記述することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御部は、前記画像群のうちフレーム間予測符号化される画像の付属情報を、その画像の参照元とすべきフレーム内符号化される画像の付属情報との差分情報で記述することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御部は、前記撮影条件を所定の規則にしたがい変化させ、
   前記付加部は、前記変化の起点となる画像の付属情報に、前記規則を記述することを特徴とする請求項１または２に記載の画像処理装置。
6. 画像を撮像する撮像素子と、
   前記撮像素子により撮像された画像群を処理する請求項１から５のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
7. ピクチャ単位で特定された撮影条件を含む付属情報が付加された画像群のストリームから一つの画像を切り出すとき、その画像の付属情報を合わせて切り出すことを特徴とする画像処理装置。
8. ピクチャ単位で特定された撮影条件を含む付属情報が付加された画像群のストリームを復号する復号部と、
   それぞれの画像の撮影条件を参照して、それぞれの画像に施すべき画像処理を適応的に変化させる制御部と、
   を備えることを特徴とする画像処理装置。

Images