JP2009027535A - 画像処理装置およびそれを用いた撮像装置 - Google Patents

Abstract

【課題】高画質で撮像した動画像を低画質で表示する機器に再生可能な状態で渡すには、ＰＣに読む込むという手間と、再圧縮符号化するための時間が発生する。
【解決手段】階層符号化部２２は、撮像された動画像を階層符号化する。保持部４０は、階層符号化部２２により符号化された動画像符号化データを保持する。階層復号部２４は、動画像符号化データの一部を復号して、動画像より画質の低い動画像を生成する。再符号化部２６は、階層復号部２４により復号された動画像を符号化する。階層復号部２４は、最下位階層から、指定された解像度に対応する階層までの動画像符号化データを復号してもよい。
【選択図】図１

Description

本発明は、動画像を符号化するための画像処理装置およびそれを用いた撮像装置に関する。

デジタルムービーカメラが普及してきている。デジタルムービーカメラの有効画素数は年々増加しており、フルＨＤ（High Definition）に対応したものも実用化されている。一方、デジタルムービーカメラで撮像された動画像を再生するための機器が多種多様化してきている。ＴＶで再生するだけでなく、携帯電話機、携帯型音楽プレーヤおよびＰＤＡ（Personal Digital Assistant）などの携帯情報端末、ＰＣ、ならびにプロジェクタなどでも再生することができる。

これらの機器の間で、ＨＤＴＶと携帯電話機ではディスプレイのサイズおよび表示スペックが大きく異なる。たとえば、ＨＤＴＶでは１０８０ｉ（１９２０×１０８０ピクセル）や１１２５ｉ（１９２０×１０８０ピクセル）で規定された画像を表示することができるが、携帯電話機ではＱＶＧＡ（Quarter Video Graphics Array）（３２０×２４０ピクセル）やＶＧＡ（６４０×４８０ピクセル）で規定された画像より高解像度の画像を表示することは難しい。

デジタルムービーカメラで高画質に撮像された動画像は、ＨＤＴＶではそのまま再生することができるが、携帯電話機で再生するには、その表示スペックに合わせるため、再圧縮符号化する必要がある。

特許文献１は、第１符号化情報から第２符号化情報に再圧縮符号化する場合に、第２符号化情報を生成するための動きベクトルを検出する際の演算量を低減する技術を開示する。

特許文献２は、圧縮された動画像または静止画像に対し、高画像領域に関する情報に基づいて、高画質領域の圧縮率をそれ以外の領域の圧縮率より下げる技術を開示する。
特開２００６−２９５５０２号公報 特開２００４−２２９０４４号公報

デジタルムービーカメラで撮像された動画像は、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、またはＨ．２６４／ＡＶＣ規格で圧縮符号化されることが一般的である。デジタルムービーカメラで高画質に撮像された動画像を携帯情報端末で再生させるためには、その動画像データを一度ＰＣに取り込み、再圧縮符号化する必要がある。そして、再圧縮符号化済みの動画像符号化データを通信媒体や記録媒体を介して携帯情報端末に渡す必要がある。

たとえば、１９２０×１０８０ピクセルで撮像され、Ｈ．２６４／ＡＶＣ規格で圧縮符号化された動画像符号化データ（以下適宜、Ｈ．２６４圧縮データという）を、６４０×４８０ピクセルのＨ．２６４圧縮データに再圧縮符号化するには、以下の過程を経なければならない。すなわち、１９２０×１０８０のＨ．２６４圧縮データを一度、伸張復号化し、復号された１９２０×１０８０の画像を所定の間引き処理などを用いて６４０×４８０の画像に変換し、その画像をＨ．２６４／ＡＶＣ規格で再び圧縮符号化する必要がある。

このように、高画質で撮像した動画像を低画質で表示する機器に再生可能な状態で渡すには、ＰＣに読む込むという手間と、再圧縮符号化するための時間が発生する。

本発明はこうした状況に鑑みなされたものであり、その目的は、高画質で撮像した動画像を低画質で表示する機器に再生可能な状態で簡単および迅速に渡すことができる画像処理装置およびそれを用いた撮像装置を提供することにある。

本発明のある態様の画像処理装置は、撮像された動画像を階層符号化する階層符号化部と、階層符号化部により符号化された動画像符号化データを保持する保持部と、動画像データの一部を復号して、動画像より画質の低い動画像を生成する階層復号部と、階層復号部により復号された動画像を符号化する再符号化部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、高画質で撮像した動画像を低画質で表示する機器に再生可能な状態で簡単および迅速に渡すことができる。

図１は、実施の形態１に係る撮像装置５００の構成図である。撮像装置５００は、撮像部１０および画像処理装置１００を備える。画像処理装置１００は、符号化部２０、制御部３０、保持部４０、表示部５０、操作部６０および入出力部７０を備える。符号化部２０は、階層符号化部２２、階層復号部２４および再符号化部２６を含む。

符号化部２０、制御部３０および保持部４０の構成は、ハードウェア的には、任意のＤＳＰ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像部１０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子と、その撮像素子で光電変換された信号を処理する図示しない信号処理部を含む。信号処理部は、撮像素子からのアナログ信号をデジタル信号に変換し、画像処理装置１００に出力する。本実施の形態では、撮像部１０は、１０８０ｉ（１９２０×１０８０ピクセル）で規定された解像度の画像を撮像するものとする。

撮像部１０から出力される動画像信号は、符号化部２０内の階層符号化部２２に入力される。階層符号化部２２は、その動画像信号を階層符号化する。すなわち、動画像信号をＳＶＣ（Scalable Video Coding）圧縮符号化する。階層符号化とは、粗い情報から細かい情報へと段階的に符号化する技術であり、階層符号化された単一の符号化データから、異なる解像度またはビットレートを持つ複数の画像を生成することができる。

階層符号化部２２で階層符号化された動画像符号化データは、保持部４０に保持される。ここで、階層符号化の種別は問わず、時間階層符号化、空間階層符号化、およびＳＮＲ（Signal to Noise ratio）階層符号化のいずれを採用してもよい。

本実施の形態では、階層符号化部２２は、汎用的な規格の解像度を持つ画像を生成できるよう階層符号化する。たとえば、最下位階層とその一つ上の階層を復号するとＱＶＧＡ（３２０×２４０ピクセル）サイズの画像、さらにその一つ上の階層も復号するとＶＧＡ（６４０×４８０ピクセル）サイズの画像が生成されるといったように階層符号化する。

本実施の形態では、Ｈ．２６４／ＡＶＣ規格の拡張機能としてサポートされるＨ．２６４／ＳＶＣ規格で空間階層符号化するものとする。Ｈ．２６４／ＳＶＣ規格では、階層符号化するために、Ｈ．２６４／ＡＶＣ規格の符号器を階層ごとに設け、異なる解像度の動画像をそれらに入力する。各符号器は、動き推定、動き補償、周波数変換、量子化およびエントロピー符号化をそれぞれ行う。その際、階層間予測を行い、さらに圧縮効率を高める。最後に、マルチプレクサは、各階層の符号化データを多重化する。なお、Ｈ．２６４／ＳＶＣ規格で階層符号化された符号化データの最下位層の符号化データは、Ｈ．２６４／ＡＶＣ規格と互換性がある。

制御部３０は、画像処理装置１００の全体を制御する。とくに、本実施の形態では保持部４０に保持された動画像符号化データを階層復号部２４で復号する際、復号すべき階層を階層復号部２４に指定する。制御部３０は、ユーザ操作に基づく操作部６０からの指示により、再圧縮符号化すべき画像の解像度が指定される。その解像度に基づき復号すべき階層を特定し、階層復号部２４に指定する。たとえば、制御部３０は、”１０８０ｉ→ＱＶＧＡ”、”１０８０ｉ→ＶＧＡ”・・・といった選択画面を表示部５０に表示させる。ユーザは、操作部６０を操作して、いずれかの再圧縮符号化を選択する。

また、制御部３０は、入出力部７０と動画像を転送すべき機器とがケーブルなどで接続されている場合、その機器から表示スペックを取得して、再圧縮符号化すべき画像の解像度を特定してもよい。この処理は、転送処理に先立ち実行される。

保持部４０は、フラッシュメモリやハードディスクなどの記録媒体を備え、階層符号化部２２で符号化された動画像符号化データを保持する。保持部４０は撮像装置５００内に内蔵されていてもよいし、撮像装置５００が接続されるドッキングステーションまたはクレイドル内に設けられてもよい。

表示部５０は、液晶ディスプレイなどを備え、撮像された動画像や、ユーザに選択させるべき各種のコマンドなどを表示する。操作部６０は、各種のスイッチやボタンを備え、操作に関するユーザの意思決定を制御部３０に伝達する。

入出力部７０は、外部とのインタフェースである。入出力部７０は、有線または無線の通信媒体を介して外部機器と接続する。たとえば、ＨＤＭＩ（High-Definition Multimedia Interface）ケーブルを介してＴＶと接続されてもよいし、ＵＳＢ（Universal Serial Bus）ケーブルを介してＰＣと接続されてもよい。また、入出力部７０は、メモリカードＵＳＢメモリ、またはＤＶＤなどの着脱可能な記録媒体が装着されるスロットを備える。なお、入出力部７０は、撮像装置５００の本体に設けられてもよいし、撮像装置５００が接続されるドッキングステーションまたはクレイドルに設けられてもよい。

階層復号部２４は、保持部４０に保持された動画像符号化データの一部を復号して、撮像された動画像より画質の低い動画像を生成する。階層復号部２４は、階層符号化された動画像符号化データのうち、最下位階層から、制御部３０から指定された解像度に対応する階層までの符号化データを復号する。たとえば、階層復号部２４は、制御部３０からＶＧＡ（６４０×４８０ピクセル）サイズが指定された場合、最下位階層からＶＧＡサイズを生成するに必要な階層までの符号化データを復号する。階層復号部２４は、着脱可能な記録媒体への書込指示または外部機器への転送指示を制御部３０から受けると、上述した処理を実行する。

再符号化部２６は、階層復号部２４により復号された動画像を再び符号化する。本実施の形態ではＨ．２６４／ＡＶＣ規格で圧縮符号化する。再符号化部２６は、符号化したＨ．２６４圧縮データを制御部３０の指示にしたがい、入出力部７０を介して外部機器に転送するかリムーバブル記録媒体に書き込む。なお、当該Ｈ．２６４圧縮データを保持部４０に保持してもよい。

図２は、階層符号化部２２で符号化された動画像符号化ストリームＣＳの構造を示す図である。図２に示す動画像符号化ストリームＣＳは、空間的に階層化されたものであり、最下位階層、中位階層および最上位階層の三階層を持つ。最下位階層の符号化データ８０Ｌは基本階層であり、これが復号されるだけでも低解像度の画像９０Ｌを生成することができる。

中位層の符号化データ８０Ｍおよび最上位階層の符号化データ８０Ｈは、低解像度の画像９０Ｌを補強する符号化データである。最下位層の符号化データ８０Ｌおよび中位層の符号化データ８０Ｍを復号して再構築すると、中解像度の画像９０Ｍを生成することができる。同様に、最下位階層、中位階層および最上位階層のすべての符号化データ８０Ｌ、８０Ｍ、８０Ｈを復号して再構築すると、高解像度の画像９０Ｈを生成することができる。

動画像符号化ストリームＣＳでは、一つのフレームの最下位階層、中位階層および最上位階層の符号化データの後に、つぎのフレームの最下位階層、中位階層および最上位階層の符号化データが続く。以下、最終フレームまで同様のデータ構造が続く。

以上説明したように実施の形態１によれば、撮像された動画像を階層符号化し、外部に出力する際に所定の階層まで復号し、それを再符号化することにより、高画質で撮像した動画像を低画質で表示する機器に再生可能な状態で簡単および迅速に渡すことができる。ユーザは、あたかも再圧縮符号化せずに動画像符号化データを転送するかのように、ストレスなく外部機器への転送処理や記録媒体への書込処理を行うことができる。

すなわち、撮像装置の内部で様々な解像度の画像に再圧縮符号化することが可能であるため、ＰＣに転送して再圧縮符号化する必要がなく、直接、携帯情報端末などに再生可能な状態で動画像符号化データを渡すことができる。

また、階層符号化された動画像符号化データを再圧縮符号化するため、高速変換が可能である。すなわち、一般の動画像符号化データを再圧縮符号化する場合、そのデータをすべて復号し、解像度変換した後、再符号化する必要がある。これに対し、本実施の形態では、階層符号化された動画像符号化データのうち、変換に必要なデータのみを復号すればよいため、演算量を削減することができる。また、解像度変換処理が必要ないため、その演算量も削減することができる。よって、同様のハードウェア資源およびソフトウェア資源を想定した場合、後者の方が再圧縮符号化に必要な時間を大幅に短縮することができる。

たとえば、１０８０ｉ（１９２０×１０８０ピクセル）サイズの動画像符号化データをＶＧＡ（６４０×４８０ピクセル）サイズの動画像符号化データに再圧縮符号化する場合について考える。１０８０ｉサイズの動画像符号化データがＨ．２６４／ＡＶＣ規格で符号化されている場合、全データを復号する必要がある。１０８０ｉサイズの動画像符号化データがＨ．２６４／ＳＶＣ規格で符号化されている場合、全データのうち約１／６の符号化データを復号すれば足り、６倍速変換が可能である。なお、当然ながら再符号化に必要な時間は両者で同一である。

図３は、実施の形態２に係る撮像装置５００の構成図である。図３に示す撮像装置５００の構成は、図１に示した撮像装置５００の構成に解像度変換部２５を加えたものである。以下、実施の形態１との相違点を中心に説明する。

実施の形態２に係る符号化部２０は、階層符号化部２２、階層復号部２４、解像度変換部２５および再符号化部２６を含む。階層符号化部２２は、汎用的な規格の解像度にとらわれず、撮像された画像の１／２^ｎ（ｎは自然数）の解像度を持つ画像が生成可能なように、階層符号化する。たとえば、１０８０ｉ（１９２０×１０８０ピクセル）サイズの画像を四階層で符号化し、１／１６（４８０×２７０ピクセル）、１／４（９６０×５４０ピクセル）、１／２（１３５７×７６４ピクセル）の画像を生成可能なように階層符号化する。

階層復号部２４は、保持部４０に保持された動画像符号化データの一部を復号して、撮像された動画像より画質の低い動画像を生成する。階層復号部２４は、階層符号化された動画像符号化データのうち、最下位階層から、制御部３０から指定された解像度に最も近い解像度を持つ階層までの符号化データを復号する。ここで、最も近い解像度とは、指定された解像度より高い解像度のなかで最も近い解像度であることが望ましい。これにより、後述する解像度変換処理にて間引き処理で変換することができる。これに対し、指定された解像度より低い解像度のなかから選択すると、後述する解像度変換処理にて補間処理することが必要となり、演算量が増加する。ただし、この態様を排除するものではない。

上述した例に基づき具体例を説明すると、階層復号部２４は、制御部３０からＶＧＡ（６４０×４８０ピクセル）サイズを指定された場合、その解像度より高い解像度のなかで最も近い解像度である１／４（９６０×５４０ピクセル）の画像を生成する。具体的には、四階層のうち、最下層、およびその上位一階層を復号して、再構築することにより原画像の１／４（９６０×５４０ピクセル）の画像を生成することができる。

解像度変換部２５は、階層復号部２４により復号された動画像の解像度を変換する。より具体的には、階層復号部２４により復号された動画像の解像度を制御部３０から指定された解像度に変換し、再符号化部２６に渡す。上述した例では、原画像の１／４（９６０×５４０ピクセル）の画像をＶＧＡ（６４０×４８０ピクセル）の画像に変換する。なお、変換処理は、一般的なアルゴリズムに基づく間引き処理や補間処理を採用することができる。再符号化部２６は、解像度変換部２５により解像度変換された動画像を再び符号化する。

以上説明したように実施の形態２によれば、実施の形態１と同様の効果を奏する。また、解像度変換部を設けたことにより、階層符号化された動画像符号化データで再生可能な解像度と、表示機器で再生可能な解像度とが対応していなくても、再圧縮符号化が可能であり、汎用性が高い。

図４は、実施の形態３に係る撮像装置５００の構成図である。図４に示す撮像装置５００の符号化部１２０の構成は、図１に示した撮像装置５００の符号化部２０の構成と異なる。以下、実施の形態１との相違点を中心に説明する。

実施の形態３に係る符号化部１２０は、注目領域設定部１２１、第１符号化部１２２、復号部１２４、注目領域抽出部１２５、解像度変換部１２６および第２符号化部１２８を備える。

注目領域設定部１２１は、撮像部１０で撮像された動画像に含まれるピクチャに注目領域（ＲＯＩ（Region of Interest）領域ともいう）を設定する。ここで、ピクチャとは、符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などが含まれてもよい。

注目領域設定部１２１は、注目すべき被写体を背景から分離して、その被写体の全部または一部を含む領域を注目領域に設定する。たとえば、顔検出機能や動体検出機能が撮像装置５００に搭載されている場合、それらの機能により検出された被写体の全部または一部を含む領域を注目領域に設定する。注目領域のサイズは、固定でも可変でもよい。固定の場合、ＱＶＧＡ（３２０×２４０ピクセル）サイズやＶＧＡ（６４０×４８０ピクセル）サイズなど、汎用的な規格のサイズに合わせることが望ましい。可変の場合、画面に対する被写体の大きさに応じて、その被写体に注目した注目領域のサイズを適応的に変化させる。たとえば、被写体が人物の場合、人物がアップになるほど、注目領域のサイズが大きく設定される。

注目領域設定部１２１は、注目すべき被写体が検出できないフレームに対しては注目領域を設定しない。また、必ずしも全フレームに対して注目領域を設定する必要はなく、一フレーム飛ばしなど、数フレームに一枚、設定してもよい。また、注目領域の位置や大きさの変更を、数フレームごとに実行してもよい。

注目領域設定部１２１は、注目領域を設定した場合、そのフレームのヘッダまたはヘッダで指定される領域などに当該注目領域の位置情報を記述する。また、注目領域のサイズを可変させる場合、そのサイズ情報も記述する。一例として、注目領域の位置情報およびサイズ情報は、注目領域の左上の頂点座標、ならびにその頂点座標からの長さおよび幅で規定することができる。また、頂点座標ではなく、中心座標などでもよい。

第１符号化部１２２は、撮像部１０で撮像された動画像を符号化する。第１符号化部１２２で符号化された動画像符号化データには、上記注目領域が設定されたピクチャが含まれる。第１符号化部１２２は、Ｈ．２６４／ＡＶＣ規格で符号化してもよいし、Ｈ．２６４／ＳＶＣ規格で階層符号化してもよいし、その他の規格で符号化してもよい。

復号部１２４は、保持部４０に保持された動画像符号化データに含まれるピクチャのうち、少なくとも注目領域の符号化データまたは注目領域内の部分領域の符号化データを復号する。復号部１２４は、各フレームの全体領域を復号してもよいし、注目領域抽出部１２５の指示にしたがい、各フレーム内の注目領域または注目領域を含む領域だけを復号してもよい。また、注目領域抽出部１２５の指示にしたがい、注目領域内の所定の領域、たとえば、ＶＧＡ（６４０×４８０ピクセル）サイズの領域だけを復号してもよい。

各フレームの注目領域の位置情報が動画像符号化データの先頭に一括して記述されていたり、各注目領域の位置情報が別ファイルとして記録されている場合など、各フレームの復号に先立ち、あらかじめ注目領域の位置が特定可能な場合、注目領域や注目領域内の所定の領域だけを復号することができる。各注目領域の位置情報が各フレームのヘッダまたはヘッダで指定された領域に記述されている場合、フレームの全体領域を復号する処理が現実的である。

復号部１２４は、復号すべき動画像符号化データが階層符号化された符号化データである場合、その動画像符号化データのうち、最下位階層から、制御部３０から指定された階層までの符号化データを復号する。なお、注目領域の位置情報は各階層の画像で特定可能に符号化されているものとする。

復号部１２４は、着脱可能な記録媒体への書込指示または外部機器への転送指示があったとき、保持部４０から動画像符号化データを読み出して復号する。

注目領域抽出部１２５は、上記動画像符号化データに含まれる、注目領域の位置情報を参照して、復号部１２４により復号されたピクチャの全体領域内から注目領域を抽出または特定する。注目領域抽出部１２５は、抽出または特定した注目領域内から、制御部３０から指定された解像度に対応する領域を抽出する。

以下、制御部３０からＶＧＡ（６４０×４８０ピクセル）サイズの領域を抽出するよう指定された場合について考える。注目領域抽出部１２５は、抽出または特定した注目領域内の注目点に合わせて、指定されたサイズの領域を抽出することができる。これにより、抽出された複数の注目領域のサイズを合わせることができる。注目点として、注目領域内の左上頂点、注目領域内の上辺の中心点、または注目領域内の中心点などを採用することができる。

たとえば、左上頂点を注目点とした場合、その左上頂点から縦横に指定されたピクセル数の領域を抽出する。また、注目領域内の中心点を注目点とした場合、その中心点が、指定されたサイズの領域の中心点に合致するよう、当該領域を抽出する。これらの処理は、主に、注目領域のサイズが可変の場合に有効とされるが、固定の場合でも、注目領域のサイズが指定されたサイズと異なる場合、有効とされてもよい。

注目領域抽出部１２５は、注目領域が設定されていないフレームに対して、以下に示すいずれかの処理を実行する。第１に、他のフレーム、たとえば一枚前のフレームにおける注目領域の位置情報を転用して、注目領域が設定されていないフレームの注目領域の位置を擬制する。第２に、フレームの全体領域を注目領域に設定する。第３に、注目領域が設定されていないフレームはスキップし、注目領域が設定されているフレームだけを解像度変換部１２６または第２符号化部１２８に渡す。

解像度変換部１２６は、復号部１２４により復号された注目領域の解像度を、制御部３０から指定された解像度に変換し、第２符号化部１２８に渡す。なお、解像度変換部１２６は、注目領域抽出部１２５の処理により、各ピクチャから抽出された領域のサイズが合致される構成では設ける必要がない。解像度変換部１２６は、注目領域抽出部１２５で注目領域のサイズが調整されない構成の場合に、設けられる。

解像度変換部１２６は、撮像された動画像に含まれる複数のピクチャにおける各注目領域の大きさが対応するよう、少なくとも一つの注目領域のサイズを拡大または縮小する。拡大処理は所定の補間処理により、縮小処理は所定の間引き処理により実行される。これにより、抽出された複数の注目領域のサイズを合わせることができる。

第２符号化部１２８は、復号部１２４により復号された注目領域または注目領域内の部分領域を再び符号化する。たとえば、Ｈ．２６４／ＡＶＣ規格で圧縮符号化する。第２符号化部１２８は、符号化したＨ．２６４圧縮データを制御部３０の指示にしたがい、入出力部７０を介して外部機器に転送するかリムーバブル記録媒体に書き込む。なお、当該Ｈ．２６４圧縮データを保持部４０に保持してもよい。

図５は、注目領域が設定された動画像の一例を示す。第１フレーム１３１、第２フレーム１３２、および第３フレーム１３３は、動画像を構成するフレームであり、時間順に描いている。第１フレーム１３１、第２フレーム１３２、および第３フレーム１３３では、人物を注目すべき被写体としており、その被写体を囲む領域が注目領域に設定されている。撮影された被写体の人物は、左後方から右前方に走っている状態である。それにしたがい、注目領域の位置およびサイズも変化している。

注目領域抽出部１２５は、第１フレーム１３１の注目領域Ｒ１、第２フレーム１３２の注目領域Ｒ２、および第３フレーム１３３の注目領域Ｒ１を抽出し、第２符号化部１２８は、それら注目領域を符号化して、新たな動画像符号化データを生成する。その際、注目領域抽出部１２５は、注目領域内から、指定されたサイズの領域を抽出してもよいし、解像度変換部１２６は、抽出された注目領域のサイズを調整してもよい。

以上説明したように実施の形態３によれば、撮像された動画像を符号化し、外部に出力する際にその動画像の注目領域または注目領域の部分領域を抽出して、再符号化することにより、高解像度で撮像した動画像を低解像度で表示する機器に再生可能な状態で簡単および迅速に渡すことができる。また、注目領域を残し、背景を除去した動画像を再符号化するため、被写体の画質を低下させずに、低解像度な表示機器で再生させることができる。しかも、画面全体に占める被写体の領域を高めることができ、高解像度で撮像したがゆえに被写体が小さく表示されてしまうといった事態を回避することができる。

また、実施の形態３と、実施の形態１または実施の形態２を組み合わせて、階層符号化された動画像符号化データから、注目領域または注目領域の部分領域を抽出して、再符号化することにより、解像度の調整を二段階で行うことができ、きめ細かな調整が可能である。また、注目領域抽出部１２５は、原画像より画質の低いフレーム内から注目領域または注目領域の部分領域を抽出することになり、第２符号化部１２８は、それを符号化することになるため、低解像度な表示機器で再生可能な状態にさらに短時間で変換することができる。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえば、階層符号化部２２にて時間的階層符号化がされる場合、Ｂフレーム、またはＢフレームおよびＰフレームが除かれた動画像符号化データが再符号化部２６で再生成されることになる。携帯情報端末は、元の動画像符号化データよりフレーム数が少ない動画像符号化データを再生することにより、演算量を低減し、消費電力を低減することができる。

実施の形態１に係る撮像装置の構成図である。 階層符号化部で符号化された動画像符号化ストリームＣＳの構造を示す図である。 実施の形態２に係る撮像装置の構成図である。 実施の形態３に係る撮像装置の構成図である。 注目領域が設定された動画像の一例を示す図である。

符号の説明

１０ 撮像部、 ２０ 符号化部、 ２２ 階層符号化部、 ２４ 階層復号部、 ２５ 解像度変換部、 ２６ 再符号化部、 ３０ 制御部、 ４０ 保持部、 ５０ 表示部、 ６０ 操作部、 ７０ 入出力部、 １００ 画像処理装置、 １２０ 符号化部、 １２１ 注目領域設定部、 １２２ 第１符号化部、 １２４ 復号部、 １２５ 注目領域抽出部、 １２６ 解像度変換部、 １２８ 第２符号化部、 ５００ 撮像装置。

Claims (5)

1. 撮像された動画像を階層符号化する階層符号化部と、
   前記階層符号化部により符号化された動画像符号化データを保持する保持部と、
   前記動画像符号化データの一部を復号して、前記動画像より画質の低い動画像を生成する階層復号部と、
   前記階層復号部により復号された動画像を符号化する再符号化部と、
   を備えることを特徴とする画像処理装置。
2. 前記階層復号部は、最下位階層から、指定された解像度に対応する階層までの動画像符号化データを復号することを特徴とする請求項１に記載の画像処理装置。
3. 前記階層復号部により復号された動画像の解像度を変換する解像度変換部をさらに備え、
   前記階層復号部は、最下位階層から、指定された解像度に最も近い解像度を持つ階層までの動画像符号化データを復号し、
   前記解像度変換部は、前記階層復号部により復号された動画像の解像度を前記指定された解像度に変換し、前記再符号化部に渡すことを特徴とする請求項１に記載の画像処理装置。
4. 前記階層復号部は、着脱可能な記録媒体への書込指示または外部機器への転送指示があったとき、前記保持部から前記動画像符号化データを読み出して復号することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 撮像素子と、
   前記撮像素子により撮像された動画像を符号化する請求項１から４のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。

Images