JP2015035785A - 動画像符号化装置、撮像装置、動画像符号化方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】動画像データの特定のピクチャの画面全体を高速に復号することを可能にするための技術を提供する。【解決手段】エントロピー符号化を含む符号化処理により動画像データを符号化する符号化手段であって、符号化対象ピクチャを構成する複数のブロックを逐次的にエントロピー符号化する逐次符号化モード、又は、前記複数のブロックを複数のグループに分割して当該複数のグループを少なくとも部分的に並列的にエントロピー符号化する並列符号化モードで動作可能な符号化手段と、前記符号化対象ピクチャのための符号化モードとして、前記符号化対象ピクチャの性質に基づき、前記逐次符号化モード又は前記並列符号化モードを選択する選択手段と、を備えることを特徴とする動画像符号化装置を提供する。【選択図】図４

Description

本発明は、動画像符号化装置、撮像装置、動画像符号化方法、プログラム、及び記録媒体に関する。

従来、被写体を撮影することにより得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式が一般的に用いられている。また、近年では、画面内の空間的な冗長性を利用した画面内予測等のより複雑な予測方式を用いて高い圧縮率で圧縮可能なＨ．２６４方式や、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｅｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式などが用いられるようになっている。デジタルビデオカメラは、このような圧縮符号化方式により符号化した動画像データを、例えばフラッシュメモリ等の記録媒体に記録する。

動画像データの再生装置は、一般的に、記録された動画像データの内容を簡単に把握できるようにするための機能を有する。例えば、再生装置は、動画像データの最初の画像をサムネイル画像として一覧表示したり、動画像データの所望シーンまで再生スキップしたりする、特殊再生機能を有する。特殊再生を行う場合、再生装置は、例えば、動画像データの中で、他のピクチャを参照せずに独立して復号可能な画面内符号化ピクチャ（Ｉピクチャ）のみを復号して表示する。

特殊再生時のユーザエクスペリエンスを向上させるためには、ピクチャを短時間で復号して迅速に表示する必要がある。近年、動画像データの画面サイズ（ピクセル数）が増加する傾向にあり、４Ｋ（３８４０ｘ２１６０、又は４０９６ｘ２１６０）、８Ｋ（７６８０ｘ４３２０）といった大きな動画像データを扱うニーズもある。画面サイズが増加すると復号対象ピクチャのデータサイズも増加して復号に要する時間が長くなるため、ピクチャの迅速な表示を可能にするための技術が益々重要になる。

ピクチャの迅速な表示を可能にするための従来の技術として、特許文献１及び特許文献２が知られている。特許文献１では、フレーム画像を複数の領域に分割して、画面内符号化と画面間符号化を混在させた異なる符号化モードで符号化したストリームデータを作成する。そして、再生時には、各フレーム画像のうち、画面内符号化した領域に相当するブロックのみを順次復号させてサーチ画像を取得する。

また、特許文献２では、Ｉピクチャを水平方向に分割して、画面中央のエリアのデータを優先して１ＧＯＰ分のデータの先頭に配置してストリームを作成する。そして、再生時には、画面中央エリアの符号化データのみを読み出してサーチ画像を取得する。

特開２００２−３３５４９４号公報 特開平８−１１６５１２号公報

しかしながら、特許文献１及び特許文献２の技術は、画面の一部の領域に対応するデータのみを復号することにより復号に要する時間を短縮するものであるため、画面の一部の領域しか表示されない。そのため、ユーザが画面全体を見て動画像データの内容を把握することができない。

本発明はこのような状況に鑑みてなされたものであり、動画像データの特定のピクチャの画面全体を高速に復号することを可能にするための技術を提供することを目的とする。

上記課題を解決するために、本発明は、エントロピー符号化を含む符号化処理により動画像データを符号化する符号化手段であって、符号化対象ピクチャを構成する複数のブロックを逐次的にエントロピー符号化する逐次符号化モード、又は、前記複数のブロックを複数のグループに分割して当該複数のグループを少なくとも部分的に並列的にエントロピー符号化する並列符号化モードで動作可能な符号化手段と、前記符号化対象ピクチャのための符号化モードとして、前記符号化対象ピクチャの性質に基づき、前記逐次符号化モード又は前記並列符号化モードを選択する選択手段と、を備えることを特徴とする動画像符号化装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、動画像データの特定のピクチャの画面全体を高速に復号することが可能となる。

第１の実施形態に係る動画像符号化装置１００の機能ブロック図。 符号化部１０２の詳細な構成を示すブロック図。 エントロピー符号化の逐次処理及び並列処理の概念図。 第１の実施形態に係る動画像データの符号化処理を示すフローチャート。 第１の実施形態に係る動画像データの符号化処理の適用例を示す図。 第２の実施形態に係る動画像符号化装置６００の機能ブロック図。 第２の実施形態に係る動画像データの符号化処理を示すフローチャート。 第２の実施形態に係る動画像データの符号化処理の適用例を示す図。 第３の実施形態に係る動画像符号化装置９００の機能ブロック図。 第３の実施形態に係る動画像データの符号化処理を示すフローチャート。 第３の実施形態に係る動画像データの符号化処理の適用例を示す図。 第４の実施形態に係る動画像符号化装置１２００の機能ブロック図。 第４の実施形態に係る動画像データの符号化処理を示すフローチャート。

以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能又は、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。コンピュータプログラムは、記録媒体に記録されても良い。

以下の各実施形態では、動画像データを符号化するための規格としてＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｅｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格を用いるが、本発明はＨＥＶＣ規格に限定されず、例えば、Ｈ．２６４規格を用いても構わない。

また、以下の各実施形態では、エントロピー符号化のための技術として、ＷＰＰ（Ｗａｖｅｆｒｏｎｔ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ）技術を使用する。エントロピー符号化されたデータを復号する場合、複数のプロセッサやスレッドを用いて並列処理を行えば復号に要する時間が短縮され、結果的に、ピクチャを迅速に表示することが可能になる。しかしながら、並列処理による復号を行うためには、符号化の時点で、並列処理による復号が可能なように符号化を行う必要がある。ＷＰＰ技術は、並列処理による復号を可能にする技術の１つである。しかしながら、ＷＰＰ技術により符号化を行うと、符号化の効率（圧縮率）が低下する。従って、動画像データ全体に対してＷＰＰ技術を適用すると、データサイズの増大が問題となる。そこで、以下の各実施形態では、動画像データを構成する各ピクチャのうち、一部のピクチャ（高速な復号が特に要求されるピクチャ）に対してのみＷＰＰ技術を適用する。なお、エントロピー符号化の復号を並列に実行可能にする技術であれば、ＷＰＰに限らず、いかなる技術を採用しても構わない。

［第１の実施形態］
＜全体システム構成＞
図１は、第１の実施形態に係る動画像符号化装置１００の機能ブロック図である。動画像符号化装置１００は、撮像部１０１、符号化部１０２、逐次／並列処理選択部１０３、及びピクチャタイプ指示部１０４を備える。動画像符号化装置１００はまた、第１のエントロピー符号化部１０５、第２のエントロピー符号化部１０６、第３のエントロピー符号化部１０７、第４のエントロピー符号化部１０８、及びビットストリーム多重化部１０９を備える。

撮像部１０１は、レンズやＣＣＤ等のカメラ部、光学部を含み、レンズから取り込んだ光信号をセンサにて電気信号へ変換した後、符号化に使用するフォーマットに変換したデジタル画像データとして後段の回路へ伝送する。従って、本実施形態の動画像符号化装置１００は撮像装置としても機能するが、撮像部１０１は必須ではない。

符号化部１０２は、撮像部１０１から読み出したデジタル画像データを、画面内予測及び動き予測による画像データの圧縮符号化を行う。そして、符号化部１０２は、圧縮符号化後の出力として、マクロブロック等の所定ブロック画像サイズ単位で算出した動きベクトル、予測モード情報、量子化値、量子化後の整数変換係数等のシンタクス要素を中間データとして出力する。符号化部１０２内部の符号化処理の詳細については、図２を参照して後述する。

逐次／並列処理選択部１０３は、符号化部１０２が出力した中間データを入力として、ピクチャタイプ指示部１０４からの指示に基づき、エントロピー符号化の符号化モードとして、逐次符号化モード又は並列符号化モードを選択する。即ち、逐次／並列処理選択部１０３は、逐次符号化モード又は並列符号化モードで動作可能である。並列符号化モードは、中間データを第１から第４のエントロピー符号化部１０５，１０６，１０７，１０８に分配して並列処理する符号化モードである。逐次符号化モードは、中間データを第１のエントロピー符号化部１０５のみで逐次処理する符号化モードである。本実施形態では、並列処理時に中間データを各エントロピー符号化部に分配する時、符号化対象ピクチャの１画面分に相当する中間データをエントロピー符号化部の数で等分割したブロック単位で分配するものとする。

なお、本実施形態では、エントロピー符号化部を４つ並べて並列処理する構成が採用されているが、エントロピー符号化部の数は４つに限定されず、これより多くても少なくても構わない。

ピクチャタイプ指示部１０４は、符号化部１０２おいてピクチャ単位に符号化するピクチャタイプを決定し、決定したピクチャタイプを符号化部１０２と逐次／並列処理選択部１０３に通知する。ピクチャタイプには、画面内予測のみを適用したＩピクチャ、前方向のフレーム間参照予測のみを適用したＰピクチャ、及び、前方向及び後方向のフレーム間参照予測を適用したＢピクチャの３種類がある。通知されるピクチャタイプは、これら３種類のピクチャタイプを識別可能な値として予め定義するものとする。本実施形態では、ＨＥＶＣ規格書（ＩＳＯ／ＩＥＣ ２３００８−２）に記載のスライスヘッダのシンタクス要素であるｓｌｉｃｅ＿ｔｙｐｅの値を利用し、Ｉスライスを２、Ｐスライスを１、Ｂスライスを０とした定義値を利用する。しかし、これらの値に限定される訳ではなく、一意に識別可能な値であればいかなる値を用いても構わない。

第１のエントロピー符号化部１０５は、符号化部１０２から出力されて、逐次／並列処理選択部１０３によって分配された中間データを取得して、エントロピー符号化を行い、ビットストリームを出力する。同様に、第２のエントロピー符号化部１０６、第３のエントロピー符号化部１０７、及び第４のエントロピー符号化部１０８も、第１のエントロピー符号化部１０５と同様の動作を行う。また、並列処理を行うために、各エントロピー符号化部間で、発生確率等の統計情報のパラメータが送受信される。第１から第４のエントロピー符号化部１０５、１０６，１０７，１０８で行うエントロピー符号化の並列処理の詳細内容については、図３を参照して後述する。

ビットストリーム多重化部１０９は、第１から第４のエントロピー符号化部１０５，１０６，１０７，１０８から出力された符号化ピクチャデータを、１つのビットストリームデータに多重化する。

＜符号化部１０２の構成＞
図２は、符号化部１０２の詳細な構成を示すブロック図である。符号化部１０２は、フレームメモリ２００、イントラ予測部２０１、インター予測部２０２、イントラ・インター判定部２０３、ループフィルタ２０４、及び予測画像生成部２０５を備える。符号化部１０２はまた、整数変換部２０６、量子化部２０７、逆量子化部２０８、及び逆整数変換部２０９を備える。

フレームメモリ２００は、撮像部１０１から入力された画像データや、後述する動き予測処理で用いる参照画像データを格納する。

イントラ予測部２０１は、フレームメモリ２００に格納されたフレーム画像データから符号化対象ブロックの画像データを読み出し、符号化対象ブロック周辺の画素データから生成される複数のイントラ予測画像との相関を計算する。そして、イントラ予測部２０１は、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部２０３へ通知する。

インター予測部２０２は、同様にフレームメモリ２００に格納した符号化対象となる原画像と、既に符号化済みの画像データから、ブロック単位で画素データ同士のパターンマッチングを行って動きベクトルを算出する。

イントラ・インター判定部２０３は、前述のイントラ予測部２０１及びインター予測部２０２からの出力の結果に基づいて、符号化のための予測方式を選択する。具体的な選択方法としては、イントラ・インター判定部２０３は、符号化対象画像ブロックについてイントラ予測部２０１において計算した予測画像と、符号化対象画像との予測誤差を導出する。同様に、イントラ・インター判定部２０３は、インター予測部２０２において求めた動きベクトルを用いて参照画像から生成した予測画像と、符号化対象画像との予測誤差を導出する。そして、イントラ・インター判定部２０３は、導出した２つの予測誤差を比較し、予測誤差が小さい方の予測方式を選択して予測画像生成部２０５に出力する。また、イントラ・インター判定部２０３は、選択した予測方式、及び、インター予測部２０２で算出した動きベクトル値を、中間データとして、エントロピー符号化を行うために逐次／並列処理選択部１０３に出力する。

なお、イントラ・インター判定部２０３ではなく、イントラ予測部２０１や、インター予測部２０２で予測誤差を求めておいてもよい。この場合、イントラ・インター判定部２０３は、イントラ予測部２０１及びインター予測部２０２で求めた予測誤差を評価値として取得し、比較する。

ループフィルタ２０４は、逆整数変換部２０９から出力された画像データと予測画像とを加算した画像データに対して、ブロック境界で発生する符号化歪みを軽減するフィルタ処理を施した後、フレームメモリ２００へ格納する。

予測画像生成部２０５は、イントラ・インター判定部２０３で選択された予測モード（予測方式）に応じて予測画像を生成する。生成された予測画像は、入力画像との差分画像算出のために、整数変換部２０６の前段の減算器へ出力される。また、生成された予測画像は、ローカルデコード画像生成のために逆整数変換部２０９の後段の加算器へも出力される。

整数変換部２０６は、隣接画素同士で類似性が高いという空間的相関を利用して、画像情報の冗長度を削減するために、ブロック単位で画素データを周波数変換する。

量子化部２０７は、目標符号量に基づいて量子化係数を算出し、整数変換部２０６で空間周波数領域に変換された係数データに対して量子化処理を行う。量子化された係数データは、エントロピー符号化を行うために逐次／並列処理選択部１０３へと出力される。また、量子化された係数データは、参照画像や予測画像を算出するために逆量子化部２０８へも出力される。

逆量子化部２０８は、量子化部２０７にて量子化した係数データに対して量子化係数を乗じて係数データを算出する。逆整数変換部２０９は、逆量子化部２０８から出力された係数データを画素データへと逆整数変換する。

なお、本実施形態では、特に断らない限り、１６行ｘ１６列の画素データの集まりをマクロブロックと呼び、マクロブロック単位で動き予測やエントロピー符号化等の符号化処理を行うものとするが、特に限定するものではない。

＜エントロピー符号化の並列処理＞
続いて、本実施形態で適用するエントロピー符号化の逐次処理及び並列処理について、図３を参照して説明する。本実施形態では、逐次／並列処理選択部１０３は、逐次処理又は並列処理をピクチャ単位で選択可能である。

本実施形態のエントロピー符号化の並列処理は、ＨＥＶＣ規格で新たに採用された算術符号を用いたエントロピー符号化の並列処理である、ＷＰＰ（Ｗａｖｅｆｒｏｎｔ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ）技術を採用するものとする。しかしながら、エントロピー符号化の復号を並列に実行可能にする技術であれば、ＷＰＰに限らず、いかなる技術を採用しても構わない。

図３（ａ）は、従来の逐次処理を示し、図３（ｂ）は、ＷＰＰによる並列処理を示す。従来の逐次処理では、マクロブロック単位で符号化部１０２から出力された２値データを、画面左上端から順次算術符号化によって符号化し、前回符号化したマクロブロックの発生確率に依存して、次回のマクロブロックのエントロピー符号化が行われる。即ち、本実施形態のエントロピー符号化は、コンテキスト適応型である。そのため、例えばＸ番目のブロックをエントロピー符号化するためには、左上、上、右上、左に位置するマクロブロックの動きベクトル、画素データ、及び前回符号化したブロックの発生確率を用いるため、これらが全て符号化済みである必要がある。即ち、Ｘ番目のブロックをエントロピー符号化するためには、Ｎ番目、さらにはＭ番目の上に位置するマクロブロック列が全て符号化済みでなければならない。従って、逐次符号化モードの場合、符号化対象ピクチャを構成する複数のブロックが逐次的にエントロピー符号化される。

一方、並列処理では、符号化対象ブロックよりも上に位置するブロックが全て符号化済みある必要がなく、２ブロック分先に符号化済みのブロックがあれば、下のマクロブロック行のエントロピー符号化が開始できる仕組みになっている。具体的には、或る列のマクロブロック群（第１のグループ）を途中までエントロピー符号化した時点の発生確率（コンテキスト）が、次の行のマクロブロック群（第２のグループ）をエントロピー符号化するための最初のコンテキストとして使用される。ＷＰＰでは、途中までエントロピー符号化した時点とは、２番目のブロックまでエントロピー符号化した時点である。従って、１行目のマクロブロック行において、２ブロックの符号化が済んだ時点から、２行目のマクロブロック行においてコンテキスト適応型のエントロピー符号化が開始可能となる。同様に、２行目のマクロブロック行で、２ブロックの符号化が済んだ時点で、３行目のマクロブロック行においてコンテキスト適応型のエントロピー符号化が開始可能となる。このように、ＷＰＰによれば、符号化対象ピクチャを構成する複数のブロックの各列（各グループ）を、少なくとも部分的に並列的にエントロピー符号化することができる。

そこで、本実施形態では、１行目のマクロブロック行のエントロピー符号化を第１のエントロピー符号化部１０５で行い、２行目のマクロブロック行のエントロピー符号化を第２のエントロピー符号化部１０６で行う。同様に、３行目以降のマクロブロック行についても各エントロピー符号化部に処理を割り振ることにより、並列処理を実現できる。

なお、並列処理において、符号化対象ピクチャを構成する複数のブロックの各列（各グループ）のコンテキストが相互に全く依存しないようにしても構わない。この場合、ＷＰＰと異なり、各グループを完全に並列的にエントロピー符号化することができる。

＜動画像データの符号化処理＞
図４は、第１の実施形態に係る動画像データの符号化処理を示すフローチャートである。本フローチャートの符号化処理は、符号化部１０２、逐次／並列処理選択部１０３、ピクチャタイプ指示部１０４、及び第１から第４のエントロピー符号化部１０５，１０６，１０７，１０８により実行される。また、符号化は、ピクチャ単位で実行される。

本フローチャートの符号化処理は、符号化対象ピクチャがＩピクチャの場合、並列符号化モードでエントロピー符号化を行い、それ以外の場合、逐次符号化モードでエントロピー符号化を行う。これは、サムネイル表示やサーチ再生においてはＩピクチャが選択的に復号されることが多く、Ｉピクチャの復号に要する時間を短縮することがサムネイル表示等の高速化につながると考えられるからである。従って、並列符号化モードの対象とするのはＩピクチャに限定される訳ではない。例えば、Ｐピクチャが選択的に復号される用途を想定する場合は、符号化対象ピクチャがＰピクチャの場合、並列符号化モードでエントロピー符号化を行い、それ以外の場合、逐次符号化モードでエントロピー符号化を行っても構わない。或いは、符号化対象ピクチャがＩピクチャ又はＰピクチャの場合、並列符号化モードでエントロピー符号化を行い、それ以外の場合、逐次符号化モードでエントロピー符号化を行っても構わない。

Ｓ４０１で、動画像符号化装置１００は、動画像データを最終ピクチャまで符号化したか否かを判定する。最終ピクチャまで符号化した場合、本フローチャートの処理は終了する。そうでない場合、処理はＳ４０２に進む。

Ｓ４０２で、符号化部１０２は、撮像部１０１からフレーム画像を取得し、図２を参照して上述した符号化を実行する。Ｓ４０３で、逐次／並列処理選択部１０３は、ピクチャタイプ指示部１０４から、符号化対象ピクチャのピクチャタイプを取得する。

Ｓ４０４で、逐次／並列処理選択部１０３は、Ｓ４０３で取得したピクチャタイプがＩピクチャであるか否かを判定する。Ｉピクチャの場合、処理はＳ４０５に進み、そうでない場合、処理はＳ４０６に進む（ここでは、Ｓ４５０は存在しないものとして扱う）。

Ｓ４０５で、逐次／並列処理選択部１０３は、符号化部１０２が出力した符号化対象ピクチャの２値データを、各エントロピー符号化部に分配する。とりわけ、逐次／並列処理選択部１０３は、符号化対象ピクチャを構成する複数のブロックを複数のグループに分割し、各グループの２値データを各エントロピー符号化部に分配する。そして、各エントロピー符号化部は、図３を参照して説明した並列処理により、分配された２値データをエントロピー符号化し、ビットストリーム多重化部１０９へ出力する。

一方、符号化対象ピクチャがＩピクチャ以外の場合、Ｓ４０６で、逐次／並列処理選択部１０３は、符号化部１０２が出力した符号化対象ピクチャの２値データを全てエントロピー符号化部１０５に入力する。そして、エントロピー符号化部１０５は、図３を参照して説明した逐次処理により、入力された２値データをエントロピー符号化し、ビットストリーム多重化部１０９へ出力する。

Ｓ４０７で、ビットストリーム多重化部１０９は、エントロピー符号化されたピクチャデータを、一本のビットストリームデータ形式に多重化する。その後、処理はＳ４０１に戻り、次の符号化対象ピクチャについて同様の処理が行われる。

以上の処理により、ピクチャ毎に、そのピクチャの性質（本実施形態では、そのピクチャがＩピクチャであるか否か）に応じて、並列処理又は逐次処理によるエントロピー符号化が行われる。

なお、前述の通り、動画像符号化装置１００は、符号化対象ピクチャがＩピクチャ又はＰピクチャの場合、並列符号化モードでエントロピー符号化を行い、それ以外の場合、逐次符号化モードでエントロピー符号化を行っても構わない。この場合、符号化対象ピクチャがＩピクチャでなければ、処理はＳ４０４からＳ４５０に進む。そして、Ｓ４５０で、逐次／並列処理選択部１０３は、Ｓ４０３で取得したピクチャタイプがＰピクチャであるか否かを判定する。Ｐピクチャの場合、処理はＳ４０５に進み、そうでない場合、処理はＳ４０６に進む。

＜適用例＞
図５は、第１の実施形態に係る動画像データの符号化処理の適用例を示す図である。上段は撮像部１０１からの入力フレーム画像を示し、各フレーム画像のピクチャタイプ、及び復号時の入力順（添え字）が示されている。また、フレーム同士の参照関係を矢印にて表し、矢印の始点にあるフレーム画像が、矢印の終点が指すフレーム画像を参照している。このように時間方向に対して過去及び未来に位置するフレーム画像との間でフレーム間差分を用いて符号化を行うため、図５の下段に示すように、フレーム画像の入力順と符号化順とは異なる。

画面内符号化されたＩピクチャは、最初に符号化されるピクチャデータであり、復号時にも、Ｉピクチャを再生しなければ、後続のピクチャは正しく復号できない。換言すると、Ｉピクチャは、他のピクチャを復号しなくても単独で復号可能である。そして、本実施形態の符号化処理によれば、図５の下段に示すように、「Ｉ_２」ピクチャが並列処理でエントロピー符号化され、その他のピクチャは逐次処理で符号化される。

以上説明したように、本実施形態によれば、動画像符号化装置１００は、ＩピクチャについてはＷＰＰを用いた並列処理によりエントロピー符号化し、それ以外のピクチャについては逐次処理によりエントロピー符号化する。

これにより、Ｉピクチャについては、ＷＰＰを用いた並列処理により画面全体を高速に復号することが可能となる。その結果、例えばＩピクチャのみを選択的に復号するサムネイル表示やサーチ再生などを行う際に、Ｉピクチャを迅速に表示することが可能となる。

［第２の実施形態］
第１の実施形態では、符号化対象ピクチャがＩピクチャである場合に並列符号化モードを選択し、それ以外は逐次符号化モードを選択する構成について説明した。これに対し、第２の実施形態では、符号化対象ピクチャがシーン先頭ピクチャ（動画像データにおいて最初に表示されるピクチャ）である場合に、並列符号化モードを選択する構成について説明する。このような構成により、例えばシーン先頭ピクチャをサムネイル表示する場合に、ピクチャの復号に要する時間が短縮され、迅速なサムネイル表示が可能となる。

なお、以下の説明においては、符号化対象ピクチャがＩピクチャである場合にも並列符号化モードが選択されるものとするが、代わりに、シーン先頭ピクチャでない場合はＩピクチャであっても逐次符号化モードを選択してもよい。

以下、図６乃至図８を参照して、主に第１の実施形態と異なる点について説明する。図６は、第２の実施形態に係る動画像符号化装置６００の機能ブロック図である。図６において、図１と同様の構成要素には同一の符号を付す。

図６において、シーン先頭ピクチャ指示部６０１は、符号化部１０２にて符号化するピクチャが、シーン先頭ピクチャであった場合に、そのことを示す情報を逐次／並列処理選択部６０２に通知する。逐次／並列処理選択部６０２は、シーン先頭ピクチャ指示部６０１からの通知に基づいて、並列符号化モード又は逐次符号化モードを選択する。

図７は、第２の実施形態に係る動画像データの符号化処理を示すフローチャートである。図７において、図４と同様の処理が行われるステップには同一の符号を付す。

Ｓ４０４において符号化対象ピクチャがＩピクチャではないと判定された場合、Ｓ７０１で、逐次／並列処理選択部６０２は、シーン先頭ピクチャ指示部６０１からの通知に基づいて、符号化対象ピクチャがシーン先頭ピクチャであるか否かを判定する。シーン先頭ピクチャの場合、処理はＳ４０５に進み、符号化対象ピクチャは並列処理によりエントロピー符号化される。シーン先頭ピクチャでない場合、処理はＳ４０６に進み、符号化対象ピクチャは逐次処理によりエントロピー符号化される。

以上の処理により、ピクチャ毎に、そのピクチャの性質（本実施形態では、そのピクチャがＩピクチャ又はシーン先頭ピクチャであるか否か）に応じて、並列処理又は逐次処理によるエントロピー符号化が行われる。

図８は、第２の実施形態に係る動画像データの符号化処理の適用例を示す図である。本実施形態の符号化処理によれば、図８の下段に示すように、「Ｉ_２」ピクチャ及び「Ｂ_０」ピクチャが並列処理でエントロピー符号化され、その他のピクチャは逐次処理でエントロピー符号化される。

以上説明したように、本実施形態によれば、動画像符号化装置６００は、Ｉピクチャに加えて（或いは、Ｉピクチャの代わりに）シーン先頭ピクチャを並列処理によりエントロピー符号化する。これにより、例えばシーン先頭ピクチャをサムネイル表示する場合に、ピクチャの復号に要する時間が短縮され、迅速なサムネイル表示が可能となる。

［第３の実施形態］
第３の実施形態では、符号化対象ピクチャに顔画像が含まれる場合に並列符号化モードを選択する構成について説明する。このような構成により、例えば顔画像が存在するピクチャだけを動画像データから抽出して、複数並べてインデクス表示するような場合に、迅速なインデクス表示が可能となる。

なお、以下の説明においては、符号化対象ピクチャがＩピクチャであり、且つ顔画像が含まれる場合に、並列符号化モードが選択されるものとするが、代わりに、顔画像が含まれればピクチャタイプに関わらず並列符号化モードを選択してもよい。或いは、符号化対象ピクチャがＩピクチャである場合、又は、符号化対象ピクチャに顔画像が含まれる場合に、並列符号化モードを選択してもよい。

以下、図９乃至図１１を参照して、主に第１の実施形態と異なる点について説明する。図９は、第３の実施形態に係る動画像符号化装置９００の機能ブロック図である。図９において、図１と同様の構成要素には同一の符号を付す。

図９において、顔画像検出部９０１は、撮像部１０１から入力された入力フレーム画像中の顔画像の有無を検出して、検出結果を逐次／並列処理選択部９０２に通知する。また逐次／並列処理選択部９０２は、顔画像検出部９０１から通知される検出結果に基づいて、符号化対象ピクチャに顔画像が含まれるか否かを判定する。逐次／並列処理選択部９０２は、符号化対象ピクチャに顔画像が含まれ、且つ、符号化対象ピクチャがＩピクチャの場合に、並列符号化モードを選択する。

図１０は、第３の実施形態に係る動画像データの符号化処理を示すフローチャートである。図１０において、図４と同様の処理が行われるステップには同一の符号を付す。

Ｓ４０４において符号化対象ピクチャがＩピクチャであると判定された場合、Ｓ１００１で、逐次／並列処理選択部９０２は、顔画像検出部９０１から通知される検出結果に基づいて、符号化対象ピクチャに顔画像が含まれているか否かを判定する。符号化対象ピクチャに顔画像が含まれている場合、処理はＳ４０５に進み、符号化対象ピクチャは並列処理によりエントロピー符号化される。符号化対象ピクチャに顔画像が含まれていない場合、処理はＳ４０６に進み、符号化対象ピクチャは逐次処理によりエントロピー符号化される。

以上の処理により、ピクチャ毎に、そのピクチャの性質（本実施形態では、そのピクチャがＩピクチャであり且つ顔画像が含まれているか否か）に応じて、並列処理又は逐次処理によるエントロピー符号化が行われる。

図１１は、第３の実施形態に係る動画像データの符号化処理の適用例を示す図である。本実施形態の符号化処理によれば、図１１の下段に示すように、Ｉピクチャのうち顔画像が含まれる「Ｉ_ｂ」ピクチャについては並列処理でエントロピー符号化されるが、顔画像が含まれない「Ｉ_ａ」ピクチャについては逐次処理でエントロピー符号化される。

以上説明したように、本実施形態によれば、動画像符号化装置９００は、符号化対象ピクチャがＩピクチャであり、且つ顔画像が含まれる場合に、並列符号化モードを選択する。これにより、例えば顔画像が存在するＩピクチャだけを動画像データから抽出して、複数並べてインデクス表示するような場合に、迅速なインデクス表示が可能となる。

［第４の実施形態］
第４の実施形態では、符号化部１０２の出力である係数や動きベクトル値、予測モード等の中間データのサイズ（エントロピー符号化を行う前の符号化対象ピクチャのデータサイズ）が閾値以上である場合に並列符号化モードを選択する構成について説明する。中間データのサイズが大きいということは、エントロピー符号化において処理すべきデータ量が多いということである。従って、この場合に並列処理を行うと、処理に要する時間を効果的に短縮することができる。

なお、以下の説明においては、符号化対象ピクチャがＩピクチャであり、且つ中間データのサイズが閾値以上の場合に、並列符号化モードが選択されるものとする。しかしながら、代わりに、中間データのサイズが閾値以上であればピクチャタイプに関わらず並列符号化モードを選択してもよい。或いは、符号化対象ピクチャがＩピクチャである場合、又は、中間データのサイズが閾値以上である場合に、並列符号化モードを選択してもよい。

以下、図１２及び図１３を参照して、主に第１の実施形態と異なる点について説明する。図１２は、第４の実施形態に係る動画像符号化装置１２００の機能ブロック図である。図１２において、図１と同様の構成要素には同一の符号を付す。

図１２において、中間データサイズ取得部１２０１は、符号化部１０２が出力した、符号化対象ピクチャの中間データのデータ量を取得し、逐次／並列処理選択部１２０２に通知する。逐次／並列処理選択部１２０２は、符号化対象ピクチャがＩピクチャであり、且つ中間データのサイズが閾値以上の場合に、並列符号化モードをする。

図１３は、第４の実施形態に係る動画像データの符号化処理を示すフローチャートである。図１３において、図４と同様の処理が行われるステップには同一の符号を付す。

Ｓ４０４において符号化対象ピクチャがＩピクチャであると判定された場合、Ｓ１３０１で、中間データサイズ取得部１２０１は、中間データサイズを取得し、逐次／並列処理選択部１２０２に通知する。Ｓ１３０２で、逐次／並列処理選択部１２０２は、中間データサイズ取得部１２０１から通知される中間データのサイズが閾値以上であるか否かを判定する。閾値以上である場合、処理はＳ４０５に進み、符号化対象ピクチャは並列処理によりエントロピー符号化される。閾値以上でない場合、処理はＳ４０６に進み、符号化対象ピクチャは逐次処理によりエントロピー符号化される。

以上の処理により、ピクチャ毎に、そのピクチャの性質（本実施形態では、そのピクチャがＩピクチャであり且つ中間データサイズが閾値以上であるか否か）に応じて、並列処理又は逐次処理によるエントロピー符号化が行われる。

以上説明したように、本実施形態によれば、動画像符号化装置１２００は、符号化対象ピクチャがＩピクチャであり、且つ中間データのサイズが閾値以上の場合に、並列符号化モードを選択する。これにより、エントロピー符号化及びその復号に要する時間を効果的に短縮することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. エントロピー符号化を含む符号化処理により動画像データを符号化する符号化手段であって、符号化対象ピクチャを構成する複数のブロックを逐次的にエントロピー符号化する逐次符号化モード、又は、前記複数のブロックを複数のグループに分割して当該複数のグループを少なくとも部分的に並列的にエントロピー符号化する並列符号化モードで動作可能な符号化手段と、
   前記符号化対象ピクチャのための符号化モードとして、前記符号化対象ピクチャの性質に基づき、前記逐次符号化モード又は前記並列符号化モードを選択する選択手段と、
   を備えることを特徴とする動画像符号化装置。
2. 前記エントロピー符号化はコンテキスト適応型であり、
   前記並列符号化モードにおいて、前記符号化手段は、前記複数のグループのうちの第１のグループを途中までエントロピー符号化した時点のコンテキストを、前記複数のグループのうちの第２のグループをエントロピー符号化するための最初のコンテキストとして使用する
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記エントロピー符号化はコンテキスト適応型であり、
   前記並列符号化モードにおいて、前記符号化手段は、前記複数のグループの各々のコンテキストが相互に依存しないようにエントロピー符号化を行う
   ことを特徴とする請求項１に記載の動画像符号化装置。
4. 前記選択手段は、前記符号化対象ピクチャがＩピクチャである場合、前記並列符号化モードを選択する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の動画像符号化装置。
5. 前記選択手段は、前記符号化対象ピクチャがＰピクチャである場合、前記並列符号化モードを選択する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の動画像符号化装置。
6. 前記選択手段は、前記符号化対象ピクチャが、前記動画像データにおいて最初に表示されるピクチャである場合、前記並列符号化モードを選択する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の動画像符号化装置。
7. 前記符号化対象ピクチャに顔画像が含まれるか否かを判定する判定手段を更に備え、
   前記選択手段は、前記符号化対象ピクチャに顔画像が含まれると判定された場合、前記並列符号化モードを選択する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の動画像符号化装置。
8. 前記符号化処理においてエントロピー符号化を行う前の前記符号化対象ピクチャのデータサイズを取得する取得手段を更に備え、
   前記選択手段は、前記データサイズが閾値以上である場合、前記並列符号化モードを選択する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の動画像符号化装置。
9. 動画像データを撮像する撮像手段と、
   請求項１乃至８のいずれか１項に記載の動画像符号化装置と、
   を備えることを特徴とする撮像装置。
10. 動画像符号化装置による動画像符号化方法であって、
    前記動画像符号化装置の符号化手段が、エントロピー符号化を含む符号化処理により動画像データを符号化する符号化工程であって、符号化対象ピクチャを構成する複数のブロックを逐次的にエントロピー符号化する逐次符号化モード、又は、前記複数のブロックを複数のグループに分割して当該複数のグループを少なくとも部分的に並列的にエントロピー符号化する並列符号化モードで動作可能な符号化工程と、
    前記動画像符号化装置の選択手段が、前記符号化対象ピクチャのための符号化モードとして、前記符号化対象ピクチャの性質に基づき、前記逐次符号化モード又は前記並列符号化モードを選択する選択工程と、
    を備えることを特徴とする動画像符号化方法。
11. コンピュータを、請求項１乃至８のいずれか１項に記載の動画像符号化装置の各手段として機能させるためのプログラム。
12. コンピュータを、請求項１乃至８のいずれか１項に記載の動画像符号化装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images