JP2010212811A - 動画像符号化装置及び動画像復号化装置 - Google Patents

Abstract

【課題】低解像度画像データ内の注目領域の位置を特定するための情報を転送することによる転送データ量の増加を防ぐことができる画像符号化装置を提供する。
【解決手段】動画像符号化装置２００であって、入力される動画像データの符号化を行い、符号化データを出力する符号化部２２０と、動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部２１０とを備え、符号化部２２０は、注目領域を高解像度の動画像として符号化して動画像データを低解像度の動画像として符号化する際に、動画像データにおける注目領域の位置を特定するための情報を含む符号化データを生成する。
【選択図】図１

Description

本発明は、動画像の符号化装置及び復号化装置に関する。

近年、地デジに代表されるデジタル放送が開始され、ハイビジョン放送が一般的となってきている。同時に、動画像を撮影するビデオカメラにおいても、ハイビジョン撮影が当たり前となってきている。

ハイビジョン動画の撮影は、今までのＳＤ（Standard Definition）画角の動画の撮影と比較して、撮影される画素数が、大幅に増加している。フルハイビジョン動画は、１フレームの画素数が、１９２０×１０８０であるのに対し、ＳＤ画角では、６４０×４８０であり、画素数は、６倍になっている。そのため、動画像の処理や符号化の処理にかかる演算についても、６倍の演算が必要となる。つまり、画素数が増加すると、その分処理速度も向上しなければならない。

近年、撮像素子の進化は目覚しく、ハイビジョン動画以上の画素数を持った動画像の撮影も可能となってきている。例えば、４Ｋ２Ｋと呼ばれる、フルハイビジョンの４倍の画素数（４０９６×２０４８画素）の規格や、スーパーハイビジョンと呼ばれるフルハイビジョンの１６倍（７６８０×４３２０画素）の規格も存在する。

このような画像の高精細化は、きれいな動画像を残すことが可能となるが、その画像を処理、保存する際に、非常に演算量が大きくなったり、データレートが大きくなったりするため、課題となっている。

この課題に対応する技術として、特許文献１では、静止画の画像データを転送する際に指定領域を設定し、指定領域は高解像度画像データを転送し、指定領域以外の領域については、低解像度の画像データを転送することにより、画像データの転送量を削減している。また、特許文献１では、低解像度画像データ内の指定領域情報を転送することで、低解像度画像データ内の指定領域の位置を伝達している。
特開２００７−０８１４６５号公報

しかしながら、上記の特許文献１では、具体的なコーデックへの適用事例が、静止画であるＪＰＥＧ ２０００のみに限定されており、動画像のような他のコーデックへの適用については開示されていない。特に、近年、圧縮率の高いコーデックとして普及しているＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４に適用する方法については、言及されていない。

また、特許文献１では、低解像度画像データ内の指定領域（以下、注目領域という）の情報を転送することで、低解像度画像データ内の注目領域の位置を伝達しているが、この方式では、注目領域の位置情報にかかる情報を転送する分だけ、転送データ量が増加するという課題がある。特に、動画像に適用すると、転送データ量が累積され増加する。

そこで、本発明は、このような課題に鑑みてなされたものであり、低解像度画像データ内の注目領域の位置を特定するための情報を転送することによる転送データ量の増加を防ぐことができる画像符号化装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像符号化装置は、入力される動画像データの符号化を行い、符号化データを出力する符号化部と、前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部とを備え、前記符号化部は、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する。

これによれば、第一の解像度及び第二の解像度の動画像を符号化した際に生成される２つの符号化データに、注目領域の位置を特定するための情報が含まれる。このため、当該２つの符号化データから、注目領域の位置を特定するための情報を取得することが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。

また、好ましくは、前記符号化部は、前記注目領域の位置を特定するための情報として、前記注目領域の位置情報を、前記第一の解像度の動画像を符号化した際に出力する符号化データのユーザー領域、もしくは、前記第二の解像度の動画像を符号化した際に出力する符号化データのユーザー領域に保存して前記符号化データを生成する。

これによれば、注目領域の位置情報が、符号化データのユーザー領域に保存される。これにより、第一の解像度及び第二の解像度の動画像を符号化した際に生成される２つの符号化データに、注目領域の位置情報が含まれる。つまり、当該２つの符号化データから、注目領域の位置情報を取得することが可能となり、注目領域の位置情報を示すデータを管理する必要がなくなる。このため、当該２つの符号化データだけあれば、第一の解像度の動画像データと第二の解像度の動画像データとを重ね合わせることが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。

また、好ましくは、前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データのうち、前記注目領域以外の領域を、前記第二の解像度の動画像として符号化する。又は、前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データのうち、前記注目領域の全部もしくは一部を、単一色の画像として符号化することにしてもよい。又は、前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データが画面間参照を使用するピクチャであった場合、前記注目領域の全部もしくは一部を、スキップマクロブロックとして符号化することにしてもよい。

これによれば、第二の解像度の動画像において、注目領域を符号化しないことにしたり、注目領域を単一色の画像として符号化したり、注目領域をスキップマクロブロックとして符号化することで、その符号化データのサイズを小さくすることが可能となる。

また、前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、単一色の画像として符号化することにしてもよい。又は、前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、スキップマクロブロックとして符号化することにしてもよい。

これによれば、第二の解像度の動画像において、注目領域の上下左右端のそれぞれから、マクロブロック１つ分小さくした領域を、単一色の画像に変更して符号化するか、もしくは、スキップマクロブロックとして符号化することで、注目領域の境界付近での画質劣化を防ぐことが可能となる。

また、前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する際に、前記注目領域の位置を特定するための情報として、前記注目領域の全部もしくは一部を、ある特定の符号化条件で符号化したデータを含む符号化データを生成することにしてもよい。

これによれば、第二の解像度の動画像において、注目領域をある特定の符号化条件で符号化することで、注目領域の位置情報を保存しなくても、注目領域が判別可能となり、注目領域保存にかかる処理を削減することが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。

なお、本発明は、このような動画像符号化装置として実現することができるだけでなく、被写体像を撮像し動画像データを出力する撮像部をも備えた撮像装置として実現することができ、また、当該動画像符号化装置が符号化した符号化データを復号化する動画像復号化装置として実現することもできる。

また、本発明は、このような動画像符号化装置や撮像装置、動画像復号化装置として実現することができるだけでなく、その装置を構成する各処理部を備え当該装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明により、動画像の符号化装置において、符号化データに注目領域の位置を特定するための情報を含めることで、注目領域の位置を特定するための情報を転送することによる転送データ量の増加を防ぐことができる。

（実施の形態１）
図１は、本発明の実施の形態１における撮像装置１０の機能構成を示すブロック図である。

同図に示すように、撮像装置１０は、撮像部１００及び動画像符号化装置２００を備えている。また、動画像符号化装置２００は、注目領域指定部２１０及び符号化部２２０を備えている。

撮像部１００は、被写体像を撮像し、動画像データを出力する。動画像データは、符号化部２２０に入力される。

注目領域指定部２１０は、動画像データを構成する画像の注目領域を指定する。ここで、注目領域は、動画像データ中の予め定められた領域であり、例えば、ユーザーによって指定される。

符号化部２２０は、入力される動画像データの符号化を行い、符号化データを出力する。具体的には、符号化部２２０は、注目領域を第一の解像度の動画像として符号化して動画像データを第二の解像度の動画像として符号化する際に、動画像データにおける注目領域の位置を特定するための情報を含む符号化データを生成する。

ここで、以下では、第一の解像度は高解像度であり、第二の解像度は低解像度であることとする。つまり、符号化部２２０は、動画像データと注目領域とから、注目領域を切り出し、高解像度の動画像として符号化する。また、符号化部２２０は、動画像データを縮小して低解像度の動画像として符号化する。

図２は、高解像度の動画像データと低解像度の動画像データの具体的な例を示す図である。

撮像部１００が画像を撮影し、注目領域指定部２１０が注目領域を指定する。ここでは、同図に示すように、撮像部１００により、横３８４０画素×縦２１６０画素の時間的に連続する画像が撮影されて、動画像として出力される。そして、注目領域指定部２１０によって、注目領域が、左上の画素の座標（１４４０，６４０）、注目領域の大きさ横１９２０画素×縦１０８０画素として指定される。なお、撮像部１００によって出力された画像は、左上の画素の座標が（０，０）、右下の画素の座標が（３８３９，２１５９）となっている。

注目領域は、動画像データから切り出されて、横１９２０画素×縦１０８０画素の画像となり、高解像度の動画像データとして、符号化部２２０で符号化される。

また、動画像データとして入力された画像は、縦・横、それぞれ１／２に縮小されて、横１９２０画素×縦１０８０画素の画像となり、低解像度の動画像データとして、符号化部２２０で符号化される。

図３は、本発明で示される動画像符号化装置２００が出力する符号化データのストリームの構造の一例を示す図である。

一般に、Ｈ．２６４／ＡＶＣのデータストリームは、複数の「ＮＡＬ ｕｎｉｔ」で構成される（図３では図示を省略している）。「ＮＡＬ ｕｎｉｔ」は、「ＮＡＬ ｕｎｉｔ」内の先頭で符号化されているパラメータ、即ち「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ」により、その種類が決定されている。「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝９」のとき、「ＮＡＬ ｕｎｉｔ」は、「ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ」である。なお、「ＮＡＬ ｕｎｉｔ ｔｙｐｅ」の一覧を図４に示す。

図３に示す符号化画像データは、先頭が「ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ」であり、そのすぐ後に、「ＳＥＩ」が置かれる。

この「ＳＥＩ（Ｓｕｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）」は、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）を復号化する際に使用される補足的な付加情報を格納するＮＡＬ ｕｎｉｔである。ＳＥＩ内のｐａｙｌｏａｄＴｙｐｅが５のとき、そのＳＥＩは、「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」となる。「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」は、ユーザーが独自に定義する情報を格納することが可能である。

符号化部２２０は、符号化データを作成する際に、注目領域の位置情報を、この「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」に格納する。具体的には、例えば、図２の場合は、注目領域の左上の画素の座標（１４４０，６４０）と、注目領域の大きさ 横１９２０画素×縦１０８０画素を、この「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」に格納する。なお、注目領域の位置情報は、全ての「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」に格納される必要はなく、注目領域の位置情報の変更があった場合にのみ格納されることにしてもよい。

また、この注目領域の位置情報は、高解像度の動画像データを符号化した結果出力される符号化データに付加されてもよいし、低解像度の動画像データを符号化した結果出力される符号化データに付加されてもよい。また、その両方に付加されてもよい。

このように、符号化部２２０は、注目領域の位置を特定するための情報として、注目領域の位置情報を、高解像度の動画像を符号化した際に出力する符号化データのユーザー領域、もしくは、低解像度の動画像を符号化した際に出力する符号化データのユーザー領域に保存して符号化データを生成する。

図５は、低解像度の動画像データを符号化する際に、注目領域以外を符号化する場合の例を示した図である。

低解像度の動画像データは、縦・横それぞれ１／２に縮小され、横１９２０×縦１０８０の大きさの画像である。注目領域は、縮小前の画像において、左上の座標（１４４０，６４０）、大きさ 横１９２０×縦１０８０と指定されている。縮小後の低解像度の画像における注目領域は、左上の座標（７２０，３２０）、大きさ 横９６０×縦５４０の領域となる。符号化部２２０は、この領域以外の領域をスライス分割して符号化を行う。図５の例では、４つのスライスに分割されている。

つまり、符号化部２２０は、
スライス１は、左上の座標（０，０）、大きさ 横１９２０×縦３２０、
スライス２は、左上の座標（０，３２０）、大きさ 横７２０×縦５４０、
スライス３は、左上の座標（１６８０，３２０）、大きさ 横２４０×縦５４０、
スライス４は、左上の座標（０，８６０）、大きさ 横１９２０×縦２２０、
の領域として、符号化を行う。

このように、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合には、動画像データのうち、注目領域以外の領域を、低解像度の動画像として符号化する。

図６は、撮像装置１０の動作の一例を示すフローチャートである。
まず、撮像部１００は、被写体像を撮像する（Ｓ１０２）。そして、撮像部１００は、動画像データを符号化部２２０に出力する（Ｓ１０４）。

そして、注目領域指定部２１０は、動画像データ中の注目領域を指定する（Ｓ１０６）。

次に、符号化部２２０は、入力される動画像データの符号化を行い、符号化データを生成する（Ｓ１０８）。具体的には、符号化部２２０は、注目領域を高解像度の動画像として符号化して動画像データを低解像度の動画像として符号化する際に、動画像データにおける注目領域の位置を特定するための情報を含む符号化データを生成する。さらに具体的には、符号化部２２０は、注目領域の位置を特定するための情報として、注目領域の位置情報を、高解像度の動画像を符号化した際に出力する符号化データのユーザー領域、もしくは、低解像度の動画像を符号化した際に出力する符号化データのユーザー領域に保存して符号化データを生成する。

そして、符号化部２２０は、符号化データを出力する（Ｓ１１０）。
このように、注目領域の位置情報が、符号化データのユーザー領域に保存される。これにより、高解像度及び低解像度の動画像を符号化した際に生成される２つの符号化データに、注目領域の位置情報が含まれる。つまり、当該２つの符号化データから、注目領域の位置情報を取得することが可能となり、注目領域の位置情報を示すデータを管理する必要がなくなる。

このため、当該２つの符号化データだけあれば、高解像度の動画像データと低解像度の動画像データとを重ね合わせることが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。

また、低解像度の動画像において、注目領域を符号化しないことで、符号化データのサイズを小さくすることが可能となる。

（実施の形態２）
図７は、本発明の実施の形態２における撮像装置１０の機能構成を示すブロック図である。

同図に示すように、撮像装置１０は、撮像部１００及び動画像符号化装置２００を備えており、動画像符号化装置２００は、注目領域指定部２１０、符号化部２２０及び画像変換部２３０を備えている。

撮像部１００は、被写体像を撮像し、動画像データを出力する。注目領域指定部２１０は、注目領域を指定する。詳細については、図１での説明と同様であるため、省略する。

画像変換部２３０は、注目領域をもとに、撮像部１００が出力した動画像データを、高解像度の動画像データと、低解像度の動画像データとに変換する。また、画像変換部２３０は、低解像度の動画像データを作成する際に、動画像データを、注目領域が単一色の画像に変更された動画像データに変換する。

符号化部２２０は、動画像データを符号化して符号化データを出力する。具体的には、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合に、変換された動画像データを符号化する。つまり、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合に、動画像データのうち、注目領域を単一色の画像として符号化する。

図８は、低解像度の動画像データにおける注目領域を単一色に変換した場合の例を示す図である。

まず、撮像部１００により、横３８４０画素×縦２１６０画素の時間的に連続する画像が撮像されて、動画像データとして出力される。そして、注目領域指定部２１０によって、注目領域が、左上の画素の座標（１４４０，６４０）、注目領域の大きさ横１９２０画素×縦１０８０画素として指定される。

この場合、同図に示すように、画像変換部２３０によって、低解像度の動画像データは、縦・横それぞれ１／２に縮小されて、横１９２０画素×縦１０８０画素の画像となる。そして、注目領域は、左上の画素の座標（７２０，３２０）、大きさ横９６０画素×縦５４０画素として指定される。

画像変換部２３０は、この指定された領域を、元の画像がどんな画像であっても、単一色の画像に変換する。具体的には、輝度値Ｙ＝一定、色差値Ｃｂ＝一定、Ｃｒ＝一定とする。

そして、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合に、動画像データのうち、注目領域を単一色の画像として符号化する。

また、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合に、動画像データのうち、注目領域の一部を単一色の画像として符号化してもよい。

図９は、低解像度の動画像データにおける注目領域からマクロブロック（１６画素×１６画素）一つ分小さい領域を、単一色に変換した場合の例を示す図である。

同図に示すように、低解像度の動画像データが、横１９２０画素×縦１０８０画素の画像であり、注目領域が、左上の画素の座標（７２０，３２０）、大きさ横９６０画素×縦５４０画素である。この場合、画像変換部２３０は、当該注目領域の上下左右端のそれぞれからマクロブロック（１６画素×１６画素）一つ分小さい領域を、単一色に変換してもよい。

つまり、符号化部２２０は、注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、単一色の画像として符号化する。

また、上記で示された単一色に変換する領域の２つの方式について、画像が、画面間参照を使用するピクチャであった場合、それぞれ、単一色に変換せずに、スキップマクロブロックとして、符号化部２２０が符号化するとしてもよい。なお、スキップマクロブロックとは、全画面の画像がコピーされたマクロブロックである。

つまり、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合には、動画像データが画面間参照を使用するピクチャであった場合、注目領域の全部もしくは一部を、スキップマクロブロックとして符号化する。具体的には、符号化部２２０は、注目領域の全部を符号化してもよく、また、注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を符号化してもよい。

これによれば、低解像度の動画像において、注目領域を単一色の画像として符号化したり、注目領域をスキップマクロブロックとして符号化することで、その符号化データのサイズを小さくすることが可能となる。また、低解像度の動画像において、注目領域の上下左右端のそれぞれから、マクロブロック１つ分小さくした領域を符号化することで、注目領域の境界付近での画質劣化を防ぐことが可能となる。

（実施の形態３）
上記実施の形態１及び２では、注目領域の位置情報を符号化データのユーザー領域に保存することにした。しかし、本実施の形態３では、低解像度の動画像データの注目領域を、ある特定の条件の符号化形式で符号化する。

ここで、本実施の形態における撮像装置１０は、図１と同様の機能構成を有している。そして、同図に示される符号化部２２０は、動画像データを低解像度の動画像として符号化する際に、注目領域の位置を特定するための情報として、注目領域をある特定の符号化条件で符号化したデータを含む符号化データを生成する。

具体的には、ＡＶＣ／Ｈ．２６４で符号化する場合、画像の状態に関わらず、Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ＝０として符号化したり、ｍｂ＿ｔｙｐｅ＝Ｉｎｔｒａ４ｘ４かつｐｒｅｖ＿ｉｎｔｒａ４ｘ４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇを全て１として符号化したり、ｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として符号化したりする。つまり、符号化部２２０がある特定の符号化条件で符号化するように、図３に示された符号化データのうち、いずれかの領域に注目領域の位置を特定するための情報が含まれる。例えば、ｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０は、Ｉスライスに対するマクロブロックのタイプであり、図３に示される符号化画像データに保存される。

これにより、低解像度の動画像データを符号化して得られる符号化データを、復号化したときに、注目領域の位置情報を見なくても、注目領域を判別することが可能となる。

次に、本実施の形態３における撮像装置１０の動作の一例について説明する。ここで、本実施の形態３における撮像装置１０は、符号化処理（Ｓ１０８）以外は図６に示された処理と同様の処理を行う。このため、以下では、符号化処理についての説明を詳細に行う。

図１０は、実施の形態３における、高解像度の動画像データ及び、低解像度の動画像データを符号化する際の動作の一例を示すフローチャートである。以下では、注目領域を、ｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として符号化する。また、符号化は、マクロブロック単位で行われる。

まず、動画像データ内の全てのマクロブロックについての処理が、マクロブロックごとに開始される（ループ１：Ｓ２０２〜Ｓ２１２）。

符号化部２２０は、符号化対象のマクロブロックが高解像度の動画像データか、低解像度の動画像データかを判定する（Ｓ２０４）。符号化部２２０は、高解像度の動画像データであると判定した場合（Ｓ２０４でＹＥＳ）、そのマクロブロックを通常符号化する（Ｓ２０８）する。

符号化部２２０は、符号化対象のマクロブロックが低解像度の動画像データであると判定した場合（Ｓ２０４でＮＯ）、そのマクロブロックが注目領域のマクロブロックかどうかの判定を行う（Ｓ２０６）。

符号化部２２０は、符号化対象のマクロブロックが、注目領域のマクロブロックでないと判定した場合（Ｓ２０６でＮＯ）、当該マクロブロックを通常符号化する（Ｓ２０８）。このとき、符号化部２２０は、当該マクロブロックをｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０で符号化することを禁止したほうがよい。

符号化部２２０は、符号化対象のマクロブロックが、注目領域のマクロブロックであると判定した場合は（Ｓ２０６でＹＥＳ）、当該マクロブロックをｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として符号化する（Ｓ２１０）。このとき、このマクロブロックにおいては、符号化前の画像を再現することを考えなくてもよい。ただ、このマクロブロックの下及び右のマクロブロックや、前後のピクチャを復号化する際に、このマクロブロックが参照されるので、再構成画像はｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として正しく作成する。つまり、このマクロブロックの再構成画像は、隣接画素の平均の輝度と色差の単一色となる。

そして、符号化部２２０は、動画像データ内の全てのマクロブロックについての処理が終了するまで、上記の処理（Ｓ２０４〜Ｓ２１０）を繰り返す（ループ１：Ｓ２０２〜Ｓ２１２）。このようにして、動画像データの符号化処理が終了する。

以上により、低解像度の動画像において、注目領域をある特定の符号化条件で符号化することで、注目領域の位置情報を保存しなくても、注目領域が判別可能となり、注目領域保存にかかる処理を削減することが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。

なお、符号化部２２０は、注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、ある特定の符号化条件で符号化することにしてもよい。これにより、注目領域の境界付近での画質劣化を防ぐことが可能となる。

また、ある特定の符号化条件で符号化するとは、実施の形態２で示した注目領域の全部もしくは一部を、単一色の画像として符号化したり、スキップマクロブロックとして符号化したりすることも含まれる。

次に、上記実施の形態における動画像符号化装置によって符号化された符号化データを復号化する動画像復号化装置について、説明する。

図１１は、上記のような符号化データを復号化した際に、注目領域を判定して画像を合成する動画像復号化装置２０の機能構成を示すブロック図である。

同図に示す動画像復号化装置２０は、復号化部３００、注目領域抽出部４００及び画像合成部５００を備えている。

復号化部３００には、動画像データ中の予め定められた領域である注目領域の動画像データにおける位置を特定するための情報を含む符号化データが入力される。そして、復号化部３００は、符号化データを第一の解像度の動画像データと第二の解像度の動画像データとに復号化する。

注目領域抽出部４００は、符号化データに含まれる注目領域の位置を特定するための情報を抽出する。注目領域抽出部４００は、注目領域判定部４１０及び画像バッファ４２０を備えている。

注目領域判定部４１０は、復号化した動画像データのマクロブロックが、注目領域のマクロブロックかどうかを判定する。画像バッファ４２０は、復号化した画像を一時蓄積する。

画像合成部５００は、注目領域抽出部４００が抽出した注目領域の位置を特定するための情報に基づき、低解像度の動画像データ中の注目領域に高解像度の動画像データが位置するように、高解像度の動画像データと低解像度の動画像データとを合成する。そして、画像合成部５００は、合成した画像を生成し、出力する。

図１２は、図１１で示される動画像復号化装置２０において、符号化データを復号化して画像バッファに画像を格納するまでの動作の一例を示すフローチャートである。

動画像復号化装置２０に符号化データが入力され、ピクチャの復号化が開始されると、復号化部３００は、当該ピクチャが高解像度の動画像データか否かを判定する（Ｓ３０２）。

復号化部３００は、当該ピクチャが高解像度の動画像データであると判定した場合（Ｓ３０２でＹＥＳ）、そのピクチャについては通常の復号化を行う（Ｓ３０４）。そして、復号化部３００は、復号化した画像を、画像バッファに転送する（Ｓ３０６）。

そして、復号化部３００は、復号化するピクチャが低解像度の動画像データであると判定した場合は（Ｓ３０２でＮＯ）、当該ピクチャを通常復号化する他に、注目領域の判定が行われる。具体的には、当該ピクチャ内の全てのマクロブロックについて、以下の処理がマクロブロックごとに開始される（ループ２：Ｓ３０８〜Ｓ３１８）。

まず、復号化部３００は、マクロブロックを復号化する（Ｓ３１０）。
次に、注目領域判定部４１０は、復号化されたマクロブロックの符号化データに、注目領域の位置を特定するための情報が含まれているか否かを判定する（Ｓ３１２）。そして、注目領域判定部４１０は、注目領域の位置を特定するための情報が含まれていると判定した場合（Ｓ３１２でＹＥＳ）、当該マクロブロックを注目領域のマクロブロックと判定する（Ｓ３１４）。

例えば、注目領域が、ｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として符号化されている場合、注目領域判定部４１０は、復号化されたマクロブロックのｍｂ＿ｔｙｐｅが、Ｉ＿１６ｘ１６＿０＿０＿０である場合に（Ｓ３１２でＹＥＳ）、そのマクロブロックを注目領域のマクロブロックと判定する（Ｓ３１４）。

なお、注目領域のマクロブロックではないのに、当該マクロブロックの符号化データに注目領域の位置を特定するための情報が含まれていることがある。このため、注目領域判定部４１０は、連続するマクロブロックが注目領域のマクロブロックと判定された場合にのみ、当該マクロブロックを注目領域のマクロブロックと判定することにしてもよい。

そして、注目領域判定部４１０は、復号化されたマクロブロックの画像を、画像バッファに転送する（Ｓ３１６）。

そして、注目領域判定部４１０は、ピクチャ内の全てのマクロブロックについての処理が終了するまで、上記の処理（Ｓ３１０〜Ｓ３１６）を繰り返す（ループ２：Ｓ３０８〜Ｓ３１８）。

そして、注目領域判定部４１０は、抽出した注目領域の位置を特定するための情報を画像バッファ４２０に転送（Ｓ２０９）する。このようにして、ピクチャの復号化は終了する。

また、画像バッファ４２０に転送された、高解像度の動画像データと、低解像度の動画像データと、注目領域の位置を特定するための情報は、画像合成部５００によって読み出される。そして、画像合成部５００は、低解像度の動画像データの、注目領域の位置を特定するための情報で指定される位置に、高解像度の動画像データを貼り付けて、出力画像として出力する。

このとき、画像合成部５００は、出力画像の解像度を、低解像度の動画像データに合わせるときは、高解像度の動画像データの解像度を落として貼り付けを行う。また、画像合成部５００は、出力画像の解像度を、高解像度の動画像データに合わせるときは、低解像度の動画像データの解像度をアップコンバートや超解像技術で大きくしてから、高解像度の動画像データの貼り付けを行う。

以上、本発明に係る動画像符号化装置、撮像装置及び動画像復号化装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。

つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

例えば、図１、図７及び図１１に示されたブロック図の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

注目領域を指定した画像を、２つの画像に分割して、指定領域を高解像度で符号化し、指定領域を含む全体の画像を低解像度で符号化する装置において、転送データ量の増加を防ぎつつ、その符号量を削減したり、画質を向上したりすることが可能である。

本発明は、特に、Ｈ．２６４／ＡＶＣで符号化されたデータを扱う場合に有効に作用する。

本発明の実施の形態１における撮像装置１０の機能構成を示すブロック図である。 高解像度の動画像データと低解像度の動画像データの具体的な例を示す図である。 本発明で示される動画像符号化装置が出力する符号化データのストリームの構造の一例を示す図である。 ＮＡＬ ｕｎｉｔ ｔｙｐｅの一覧を示す図である。 低解像度の動画像データを符号化する際に、注目領域以外を符号化する場合の例を示した図である。 撮像装置の動作の一例を示すフローチャートである。 本発明の実施の形態２における撮像装置の機能構成を示すブロック図である。 低解像度の動画像データにおける注目領域を単一色に変換した場合の例を示す図である。 低解像度の動画像データにおける注目領域からマクロブロック一つ分小さい領域を、単一色に変換した場合の例を示す図である。 本発明の実施の形態３における、高解像度の動画像データ及び、低解像度の動画像データを符号化する際の動作の一例を示すフローチャートである。 符号化データを復号化する動画像復号化装置の機能構成を示すブロック図である。 動画像復号化装置が符号化データを復号化する際の動作の一例を示すフローチャートである。

１０ 撮像装置
２０ 動画像復号化装置
１００ 撮像部
２００ 動画像符号化装置
２１０ 注目領域指定部
２２０ 符号化部
２３０ 画像変換部
３００ 復号化部
４００ 注目領域抽出部
４１０ 注目領域判定部
４２０ 画像バッファ
５００ 画像合成部

Claims (15)

1. 入力される動画像データの符号化を行い、符号化データを出力する符号化部と、
   前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部とを備え、
   前記符号化部は、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する
   動画像符号化装置。
2. 前記符号化部は、前記注目領域の位置を特定するための情報として、前記注目領域の位置情報を、前記第一の解像度の動画像を符号化した際に出力する符号化データのユーザー領域、もしくは、前記第二の解像度の動画像を符号化した際に出力する符号化データのユーザー領域に保存して前記符号化データを生成する
   請求項１に記載の動画像符号化装置。
3. 前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データのうち、前記注目領域以外の領域を、前記第二の解像度の動画像として符号化する
   請求項１又は２に記載の動画像符号化装置。
4. 前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データのうち、前記注目領域の全部もしくは一部を、単一色の画像として符号化する
   請求項１又は２に記載の動画像符号化装置。
5. 前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データが画面間参照を使用するピクチャであった場合、前記注目領域の全部もしくは一部を、スキップマクロブロックとして符号化する
   請求項１又は２に記載の動画像符号化装置。
6. 前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、単一色の画像として符号化する
   請求項４に記載の動画像符号化装置。
7. 前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、スキップマクロブロックとして符号化する
   請求項５に記載の動画像符号化装置。
8. 前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する際に、前記注目領域の位置を特定するための情報として、前記注目領域の全部もしくは一部を、ある特定の符号化条件で符号化したデータを含む符号化データを生成する
   請求項１に記載の動画像符号化装置。
9. 前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、ある特定の符号化条件で符号化する
   請求項８に記載の動画像符号化装置。
10. 被写体像を撮像し、動画像データを出力する撮像部と、
    前記撮像部から入力される前記動画像データの符号化を行い、符号化データを出力する符号化部と、
    前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部とを備え、
    前記符号化部は、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する
    撮像装置。
11. 動画像データ中の予め定められた領域である注目領域の前記動画像データにおける位置を特定するための情報を含む符号化データが入力され、前記符号化データを第一の解像度の動画像データと第二の解像度の動画像データとに復号化する復号化部と、
    前記符号化データに含まれる前記注目領域の位置を特定するための情報を抽出する注目領域抽出部と、
    抽出された前記注目領域の位置を特定するための情報に基づき、前記第二の解像度の動画像データ中の前記注目領域に前記第一の解像度の動画像データが位置するように、前記第一の解像度の動画像データと前記第二の解像度の動画像データとを合成する画像合成部と
    を備える動画像復号化装置。
12. 入力される動画像データの符号化を行い、符号化データを出力する符号化ステップと、
    前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定ステップとを含み、
    前記符号化ステップでは、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する
    動画像符号化方法。
13. 動画像データ中の予め定められた領域である注目領域の前記動画像データにおける位置を特定するための情報を含む符号化データが入力され、前記符号化データを第一の解像度の動画像データと第二の解像度の動画像データとに復号化する復号化ステップと、
    前記符号化データに含まれる前記注目領域の位置を特定するための情報を抽出する注目領域抽出ステップと、
    抽出された前記注目領域の位置を特定するための情報に基づき、前記第二の解像度の動画像データ中の前記注目領域に前記第一の解像度の動画像データが位置するように、前記第一の解像度の動画像データと前記第二の解像度の動画像データとを合成する画像合成ステップと
    を含む動画像復号化方法。
14. 入力される動画像データの符号化を行い、符号化データを出力する符号化部と、
    前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部とを備え、
    前記符号化部は、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する
    集積回路。
15. 動画像データ中の予め定められた領域である注目領域の前記動画像データにおける位置を特定するための情報を含む符号化データが入力され、前記符号化データを第一の解像度の動画像データと第二の解像度の動画像データとに復号化する復号化部と、
    前記符号化データに含まれる前記注目領域の位置を特定するための情報を抽出する注目領域抽出部と、
    抽出された前記注目領域の位置を特定するための情報に基づき、前記第二の解像度の動画像データ中の前記注目領域に前記第一の解像度の動画像データが位置するように、前記第一の解像度の動画像データと前記第二の解像度の動画像データとを合成する画像合成部と
    を備える集積回路。

Images