JP2017034532A - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム - Google Patents

動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム Download PDF

Info

Publication number
JP2017034532A
JP2017034532A JP2015154170A JP2015154170A JP2017034532A JP 2017034532 A JP2017034532 A JP 2017034532A JP 2015154170 A JP2015154170 A JP 2015154170A JP 2015154170 A JP2015154170 A JP 2015154170A JP 2017034532 A JP2017034532 A JP 2017034532A
Authority
JP
Japan
Prior art keywords
block
picture
encoding
unit
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015154170A
Other languages
English (en)
Inventor
渡部　康弘
Yasuhiro Watabe
康弘 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015154170A priority Critical patent/JP2017034532A/ja
Priority to US15/224,500 priority patent/US20170041605A1/en
Publication of JP2017034532A publication Critical patent/JP2017034532A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】ピクチャの任意の領域を他の領域を復号せずに復号可能なように動画像データを符号化する動画像符号化装置を提供する。
【解決手段】動画像符号化装置は、動画像データ中のピクチャに基づいて縮小ピクチャを生成する縮小部１１と、縮小ピクチャを分割した複数の第１のブロックのそれぞれを符号化する第１の符号化部１２と、ピクチャ上に第１の領域を設定する領域設定部１４と、ピクチャを分割した複数の第２のブロックのうちの第１の領域に含まれる第２のブロックに適用可能な符号化モードを、第２のブロックに対応する縮小ピクチャ上の第１のブロックを参照する第１の符号化モードまたは第１の領域を参照する第２の符号化モードに制限する符号化モード制限部１５と、第１の領域内の各第２のブロックについて、第１または第２の符号化モードに従って生成した予測ブロックと第２のブロック間の予測誤差信号を符号化する第２の符号化部１６とを有する。
【選択図】図１

Description

本発明は、例えば、動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。
動画像データは、一般に、大きなデータ量を有する。特に、いわゆる4K、8Kといった、非常に画素数が多い規格に従った動画像データは、非常に大きいデータ量を有することがある。そのため、このような動画像データの符号化または復号を行う装置の演算能力に対する要求レベルも高くなっている。
一方、復号装置によっては、符号化された動画像データから、元の品質がほぼ維持された動画像データを復号するには、演算能力が不足していることがある。そこで、復号装置の演算能力に応じて適応的に品質の異なる動画像データを配信するための技術として、スケーラブル符号化技術が提案されている。スケーラブル符号化技術では、符号化された動画像データを復号する際に、動画像データに含まれる各ピクチャの解像度またはフレームレートを元の解像度またはフレームレートよりも低下させることが可能となる。そして解像度またはフレームレートの低下により、必要な演算能力のレベルも低くて済む。
また、用途によっては、ピクチャの一部の領域について、元の品質で再生できればよく、他の領域の品質は低くてもよいことがある。あるいは、ピクチャの一部の領域のみ復号できればよいことがある。しかし、一般的には、動画像データを符号化する際に、ピクチャは複数のブロックに分割され、各ブロックは、例えば、ラスタスキャン順に符号化される。そして、着目するブロックを符号化する際に、既に符号化されたブロックに関する情報が参照される。そのため、原則的には、ピクチャの任意の領域のみを復号したり、あるいは、復号された任意の領域の解像度を、他の領域の解像度と異ならせることはできない。例えば、符号化対象ピクチャの符号化済みの領域を参照するイントラ予測符号化モードで着目するブロックを符号化する場合、予測ブロックの生成に、着目するブロックの左側または上側に隣接する画素の値が参照されることがある。また、符号化対象ピクチャよりも前に符号化されたピクチャを参照するインター予測符号化モードで着目するブロックを符号化する場合、着目するブロックについて求められた動きベクトルと予測ベクトル間の誤差が符号化されることがある。この予測ベクトルを決定する際に、着目するブロックの左側、上側または右上方に隣接するブロックの動きベクトルが参照されることがある。そこで、ピクチャの一部の領域についてのみ復号可能、またはその一部の領域についてのみ、復号されたその領域の解像度を選択可能なように、動画像データを符号化する技術が提案されている（例えば、特許文献１及び２を参照）。
例えば、特許文献１に開示された符号化方法は、動画フレームの全体領域をインタラクティブＲＯＩ領域とそれ以外の非ＲＯＩ領域とに分割し、インタラクティブＲＯＩ領域及び非ＲＯＩ領域を縮小して低解像度画像に変換する。そしてこの符号化方法は、低解像度、高解像度のインタラクティブＲＯＩ領域をスライス単位で独立に符号化し、空間スケーラビリティを持つ階層的な符号化データを生成する。一方、この符号化方法は、非ＲＯＩ領域については空間スケーラビリティを持たない符号化データを生成する。
また、特許文献２に開示された画像復号装置は、画像を複数のタイルに分割することにより符号化された符号化ストリームから、いずれのタイルが注目領域タイルであるかを示す第１のパラメータを取得する。そしてこの画像復号装置は、第１のパラメータに基づいて、画像の注目領域タイル及び非注目領域タイルの少なくとも一方を復号する。
特開２００７−１７５４６８号公報 国際公開第２０１４／００２６１９号
特許文献１または２に開示された技術では、ピクチャの任意の領域のみの復号、または任意の領域についてのみ、復号の際の空間スケーラビリティを与えるために、スライスまたはタイルが利用されている。しかし、スライスまたはタイルによるピクチャの分割には制限がある。そのため、部分的に復号またはスケーラビリティを付与する領域の位置によっては、その領域の境界ごとに異なるスライスまたはタイルの境界を設定することが必要となることがある。この場合、ピクチャに設定されるスライスまたはタイルの数が増加し、符号化効率が低下してしまう。
一つの側面では、本発明は、動画像データのピクチャの任意の領域を他の領域を復号せずに復号可能なように動画像データを符号化する動画像符号化装置を提供することを目的とする。
一つの実施形態によれば、動画像符号化装置が提供される。この動画像符号化装置は、動画像データに含まれるピクチャをダウンサンプリングして縮小ピクチャを生成する縮小部と、縮小ピクチャを複数の第１のブロックに分割し、複数の第１のブロックのそれぞれを符号化する第１の符号化部と、ピクチャ上に第１の領域を設定する領域設定部と、予測ブロックの生成方法を規定する複数の符号化モードのうちで、ピクチャを分割した複数の第２のブロックのうちの第１の領域に含まれる第２のブロックに適用可能な符号化モードを、その第２のブロックに対応する縮小ピクチャ上の第１のブロックを参照する第１の符号化モードまたはピクチャの第１の領域を参照する第２の符号化モードに制限する符号化モード制限部と、第１の領域内の第２のブロックのそれぞれについて、第１の符号化モードまたは第２の符号化モードに従って予測ブロックを生成し、生成した予測ブロックと第２のブロック間の差分演算を行って得られる予測誤差信号を符号化する第２の符号化部とを有する。
動画像データのピクチャの任意の領域を他の領域を復号せずに復号可能なように動画像データを符号化できる。
一つの実施形態による動画像符号化装置の概略構成図である。 ROIと第１の制限対象ブロック及び第２の制限対象ブロックの関係を示す図である。 H.264における、イントラ予測符号化モードが適用される場合において予測ブロックの生成の際に参照される画素を規定する予測モードの一覧を示す図である。 符号化モード制限設定処理の動作フローチャートである。 上位階層符号化部のブロック図である。 符号化された動画像データを含むビットストリームの一例を示す図である。 動画像符号化処理の動作フローチャートである。 一つの実施形態による動画像復号装置の概略構成図である。 動画像復号処理の動作フローチャートである。 変形例に対応した画像解析装置の概略構成図である。 変形例において、上位階層のピクチャに設定される各ROIと、粗解析部４３により指定された復号対象の部分領域の一例を示す図である。 動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
以下、図を参照しつつ、動画像符号化装置について説明する。
この動画像符号化装置は、動画像データに含まれるピクチャを空間スケーラブル符号化する。また、この動画像符号化装置は、オリジナルのピクチャ、すなわち、上位階層のピクチャ上に部分復号可能な注目領域(Region Of Interest, ROI)を設定する。そしてこの動画像符号化装置は、予測ブロックの生成方法を規定する複数の符号化モードのうち、ROI内の各ブロックについて適用可能な符号化モードから、ROI外のブロックを参照する符号化モードを除外する。具体的には、この動画像符号化装置は、ROI内の各ブロックについて適用可能な符号化モードを、ROI内のブロックまたは相対的に解像度が低い下位階層の縮小ピクチャの対応ブロックを参照して予測ブロックまたは予測ベクトルを生成する符号化モードに制限する。例えば、この動画像符号化装置は、ROIの左端または上端に隣接するブロックについて適用可能な符号化モードを、階層間イントラ予測符号化モードまたは階層間インター予測符号化モードに制限する。さらに、この動画像符号化装置は、ROIの上端に隣接せず、かつ、右端に隣接するブロックについて、階層間イントラ予測符号化モード、階層間インター予測符号化モードまたはそのブロックの右上方の画素を参照しないイントラ予測符号化モードを適用する。なお、階層間イントラ予測符号化モードは、上位階層のピクチャ上のブロックに対応する、下位階層の縮小ピクチャの対応ブロックから予測ブロックを生成する符号化モードである。また、階層間インター予測符号化モードは、上位階層のピクチャ上のブロックの動きベクトルについての予測ベクトルを、そのブロックに対応する、下位階層の縮小ピクチャの対応ブロックの動きベクトルをスケール調整することで生成する符号化モードである。なお、階層間インター予測符号化モードが適用される場合でも、予測ブロック及び動きベクトルは、符号化対象のブロックを含む、上位階層のピクチャよりも符号化順序が前の上位階層のピクチャに基づいて算出される。
また、インター予測符号化モードおよび、階層間インター予測符号化モードが適用され、かつ、参照される局所復号ピクチャにROIが設定されることがある。この場合には、動画像符号化装置は、参照される局所復号ピクチャ上のROI内の画素のみを使用して予測ブロックを生成できるように、動きベクトルの探索範囲をROI内に制限する。
これにより、この動画像符号化装置は、上位階層のピクチャにおいて、ROI内の各ブロックについての他の領域への依存を可変長符号化処理を除いて無くすことができる。そのため、動画像復号装置は、符号化された動画像データを復号する際に、上位階層のピクチャにおいて、ROI以外の他の領域を復号せずに、ROIを復号することが可能となる。
本実施形態では、動画像符号化装置は、空間スケーラブル符号化が適用可能な符号化規格の一つであるH.264に準拠して動画像データを符号化する。しかし、動画像符号化装置は、空間スケーラブル符号化が適用可能な他の符号化規格に準拠して動画像データを符号化してもよい。
また、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
図１は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、バッファ１０と、縮小部１１と、下位階層符号化部１２と、拡大部１３と、注目領域設定部１４と、符号化モード制限部１５と、上位階層符号化部１６と、多重化部１７とを有する。
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有する一つまたは複数のプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
バッファ１０には、動画像データに含まれる各ピクチャが、その再生順序に従って入力される。そしてバッファ１０に蓄積されたピクチャは、動画像符号化装置１全体を制御する制御部（図示せず）により設定されたピクチャの符号化順序に従って順次読み出される。読み出されたピクチャは、縮小部１１、注目領域設定部１４及び上位階層符号化部１６へ入力される。
縮小部１１は、入力されたピクチャをダウンサンプリングして、そのピクチャの画素数よりも少ない画素数を持つ縮小ピクチャを生成する。縮小ピクチャは、上位階層のピクチャであるオリジナルのピクチャと比較して、相対的に解像度が低い下位階層のピクチャである。例えば、縮小部１１は、入力されたピクチャが水平方向にn画素、垂直方向にm画素のサイズを有し、かつ、水平方向の縮小率がd1、垂直方向の縮小率がd2である場合、水平方向にn*d1画素、垂直方向にm*d2画素を持つ縮小ピクチャを生成する。なお、縮小率d1、d2は、1以下の正の値であり、例えば、1/2である。
縮小部１１は、例えば、入力されたピクチャの各画素に対してガウシアンフィルタまたは平均化フィルタといった平滑化フィルタを適用してそのピクチャを平滑化する。そして縮小部１１は、水平方向及び垂直方向の縮小率に応じて、平滑化されたピクチャをサブサンプリングすることで、縮小ピクチャを生成する。
縮小部１１は、縮小ピクチャを下位階層符号化部１２へ出力する。
下位階層符号化部１２は、下位階層の縮小ピクチャが入力される度に、その縮小ピクチャを符号化する。
下位階層符号化部１２は、例えば、縮小ピクチャを複数のブロックに分割する。その際、各ブロックのサイズは、例えば、水平16画素×垂直16画素である。また、例えば、オリジナルのピクチャが水平16画素×垂直16画素のブロックに分割され、かつ、水平方向及び垂直方向とも縮小率が1/2である場合、下位階層の縮小ピクチャにおけるオリジナルのピクチャのブロックに対応する領域のサイズは、水平8画素×垂直8画素となる。
下位階層符号化部１２は、各ブロックと、そのブロックに対する予測ブロック間の対応画素間の差分値を予測誤差信号として算出する。ここで、下位階層符号化部１２は、符号量の推定値である符号化コストが最小となるように予測ブロックを生成する。その際、下位階層符号化部１２は、縮小ピクチャに適用可能な符号化モードを、ピクチャの種別(Iピクチャ、PピクチャまたはBピクチャ)を参照して決定する。なお、オリジナルのピクチャおよび、縮小ピクチャに対するピクチャの種別は、例えば、制御部（図示せず）が符号化対象の動画像データに適用するGroup Of Pictures(GOP)の構造及びそのオリジナルのピクチャのGOP内での位置に基づいて決定される。
例えば、符号化対象の縮小ピクチャが、イントラ予測符号化モードが適用されるIピクチャである場合、下位階層符号化部１２は、各ブロックについて、その周囲の符号化済みの画素の値から、符号化コストが最小となるように予測ブロックを生成する。
一方、符号化対象ピクチャが、インター予測符号化モードが適用可能なPピクチャ、あるいは、Bピクチャである場合、下位階層符号化部１２は、各ブロックについて、一旦符号化された後に復号された縮小ピクチャを動き補償して予測ブロックを求める。なお、一旦符号化された後に復号された縮小ピクチャを、以下、局所復号縮小ピクチャと呼ぶ。さらに、下位階層符号化部１２は、ブロックの周囲の符号化済みの画素の値を用いて予測ブロックを求める。そして下位階層符号化部１２は、それら予測ブロックのなかから、符号化コストが最小となる予測ブロックを、予測誤差信号の生成のために利用する。
下位階層符号化部１２は、各ブロックの予測誤差信号を直交変換して直交変換係数を求め、その直交変換係数を量子化する。そして下位階層符号化部１２は、量子化された直交変換係数を可変長符号化する。さらに下位階層符号化部１２は、予測ブロックの生成に利用する情報、例えば、動きベクトルなども可変長符号化してもよい。これにより、下位階層符号化部１２は、縮小ピクチャを符号化する。そして下位階層符号化部１２は、縮小ピクチャの符号化データを多重化部１７へ出力する。
さらに、下位階層符号化部１２は、各ブロックの量子化された直交変換係数から、各ブロックの画素の値を再生する。そのために、下位階層符号化部１２は、各ブロックの量子化された直交変換係数を逆量子化して直交変換係数を再生する。そして下位階層符号化部１２は、再生された各ブロックの直交変換係数を逆直交変換して、各ブロックの予測誤差信号を再生し、その予測誤差信号を、対応する予測ブロックの各画素の値に加算して、各ブロックの画素値を再生する。そして符号化対象の縮小ピクチャの全てのブロックについて、画素値が再生されることで、縮小ピクチャ全体が再生される。そして下位階層符号化部１２は、再生した縮小ピクチャを、局所復号縮小ピクチャとして、下位階層符号化部１２が有するか、あるいは、下位階層符号化部１２がアクセス可能なメモリ（図示せず）に保存する。さらに、下位階層符号化部１２は、局所復号縮小ピクチャの各ブロックのうち、インター予測符号化モードにより符号化されたブロックについて求められた動きベクトルもそのメモリに保存する。
拡大部１３は、上位階層符号化部１６が上位階層のピクチャを符号化する際に参照される局所復号縮小ピクチャのブロックをアップサンプリングする。さらに、拡大部１３は、その局所復号縮小ピクチャのブロックについての動きベクトルを拡大する。
例えば、拡大部１３は、局所復号縮小ピクチャのブロックに対して、H.264のスケーラブル符号化で規定されているアップサンプリングフィルタを適用することで、上位階層のピクチャの対応するブロックと同サイズの予測ブロックを生成する。なお、拡大部１３は、動画像符号化装置１がH.264以外の符号化規格に準拠している場合には、他のアップサンプリングフィルタを適用してもよい。また、拡大部１３は、局所復号縮小ピクチャのブロックについての動きベクトルの水平方向の成分及び垂直方向の成分に対して、縮小率の逆数を乗じることで、その動きベクトルを拡大する。これにより、拡大された動きベクトルは、上位階層のピクチャの動きベクトルの符号化に利用する予測ベクトルとして利用可能となる。
拡大部１３は、予測ブロック及び予測ベクトルを上位階層符号化部１６へ出力する。
注目領域設定部１４は、動画像データ中のオリジナルのピクチャ、すなわち、上位階層のピクチャのうちの任意のピクチャにROIを設定する。例えば、注目領域設定部１４は、キーボードあるいはマウスといったユーザインターフェース（図示せず）を介してROIの左上端と右下端の座標、あるいは、ROIの左上端とROIの水平方向及び垂直方向のサイズを指定する情報を取得する。そして注目領域設定部１４は、その情報に従ってピクチャ上にROIを設定する。
あるいは、注目領域設定部１４は、上位階層の各ピクチャに対して、所定の対象物を検出する識別器を適用することで、各ピクチャ上でその対象物が写っている領域を検出してもよい。そして注目領域設定部１４は、その検出された領域をROIとしてもよい。例えば、注目領域設定部１４は、対象物が人物の顔である場合、識別器として、Haar-like特徴量を入力とするAdaBoost識別器を利用することができる。この場合、注目領域設定部１４は、対象となるピクチャ上に設定したウィンドウ内で複数のHaar-like特徴量を算出する。そして注目領域設定部１４は、各Haar-like特徴量をAdaBoost識別器に入力することで、そのウィンドウが顔が写っている顔領域か否かを判定する。ウィンドウが顔領域であると判定した場合、注目領域設定部１４は、そのウィンドウをROIとする。
また、注目領域設定部１４は、対象物が人物である場合、識別器として、Histograms of Oriented Gradients(HOG)特徴量を入力とするRealAdaBoost識別器を利用することができる。この場合も、注目領域設定部１４は、対象となるピクチャ上に設定したウィンドウ内で複数のHOG特徴量を算出する。そして注目領域設定部１４は、各HOG特徴量をRealAdaBoost識別器に入力することで、そのウィンドウが人物が写っている人物領域か否かを判定する。ウィンドウが人物領域であると判定した場合、注目領域設定部１４は、そのウィンドウをROIとする。
注目領域設定部１４は、ウィンドウの位置及びサイズを変えながら、上記の処理を繰り返すことで、ピクチャ上に複数のROIを設定してもよい。また、着目するピクチャ上に対象となる領域が存在しない場合には、注目領域設定部１４は、その着目するピクチャに対してROIを設定しなくてもよい。
注目領域設定部１４は、ピクチャごとに、そのピクチャについて設定されたROIを表す情報を符号化モード制限部１５及び多重化部１７へ出力する。なお、ROIを表す情報は、例えば、ROIの左上端の座標とROIの水平方向及び垂直方向のサイズを含む。
符号化モード制限部１５は、上位階層の各ピクチャについて、そのピクチャについて設定されたROIに含まれるブロックの中から、適用可能な符号化モードを制限する制限対象ブロックを設定する。さらに、符号化モード制限部１５は、制限対象ブロックに適用可能な符号化モードを決定する。
一般に、着目するブロックにイントラ予測符号化モードが適用される場合、着目するブロックの予測ブロックは、着目するブロックの左に隣接する画素、または上側もしくは右斜め上方に隣接する画素の値を参照して生成される。また、着目するブロックにインター予測符号化モードが適用される場合、着目するブロックの動きベクトルを符号化する際に利用される予測ベクトルは、着目するブロックの左側または上側のブロックの動きベクトルから選択される。したがって、ROIの左端または上端に隣接するブロックについて、適用可能な符号化モードを制限しなければ、そのブロックを符号化する際に、ROIに含まれない画素が参照される可能性がある。また、ROIの右端に位置するブロックについても、イントラ予測符号化モードが適用される場合の参照画素を規定する予測モードによっては、ROIに含まれない画素が参照されることになる。
そこで、符号化モード制限部１５は、ROIの左端または上端に隣接するブロックを第１の制限対象ブロックに設定する。また、符号化モード制限部１２は、ROIの上端に隣接せず、かつ、ROIの右端に位置するブロックを、第２の制限対象ブロックに設定する。第１の制限対象ブロックと第２の制限対象ブロックとは、イントラ予測符号化モードの適用に関する制限が異なる。なお、符号化モード制限部１５は、ROIの左端、上端及び右端の何れにも隣接しないブロック、及び、ROIに含まれないブロックについては、適用する符号化モードの制限を設定しない。
図２は、ROIと第１の制限対象ブロック及び第２の制限対象ブロックの関係を示す図である。ピクチャ２００内の個々の４角形は、符号化処理の単位となるブロックを表す。そしてピクチャ２００上に設定されているROI２１０内に含まれるブロックのうち、ROI２１０の左端または上端に隣接するブロック２２１が第１の制限対象ブロックである。また、ROI２１０の上端に隣接せず、かつ、右端に隣接するブロック２２２が第２の制限対象ブロックである。
本実施形態では、第１の制限対象ブロックに適用可能な符号化モードは、階層間インター予測符号化モード及び階層間イントラ予測符号化モードを含む。すなわち、第１の制限対象ブロックに階層間インター予測符号化モードが適用される場合、局所復号縮小ピクチャの対応ブロックの動きベクトルに基づいて、第１の制限対象ブロックの動きベクトルについての予測ベクトルが生成される。一方、第１の制限対象ブロックに階層間イントラ予測符号化モードが適用される場合、局所復号縮小ピクチャの対応ブロックを拡大部１３によりアップサンプリングすることで、第１の制限対象ブロックの予測ブロックが生成される。
一方、第２の制限対象ブロックに適用可能な符号化モードは、階層間インター予測符号化モード及び階層間イントラ予測符号化モードとともに、イントラ予測符号化モードのうちの第２の制限対象ブロックの右上方の画素を参照しない予測モードを含む。
図３は、H.264における、イントラ予測符号化モードが適用される場合において予測ブロックの生成の際に参照される画素を規定する予測モードの一覧を示す図である。図３において、白丸３０１は、符号化対象のブロック３００の画素を表し、黒丸３０２は、予測ブロックの生成において参照される画素を表す。H.264では、予測モードとして、予測モード０〜予測モード８の８種類の予測モードが規定されている。このうち、予測モード３及び予測モード７では、符号化対象のブロックよりも右上方に位置する画素が参照される。そのため、第２の制限対象ブロックについては、予測モード３及び予測モード７の適用が禁止される。
図４は、符号化モード制限部１５による、符号化モード制限設定処理の動作フローチャートである。符号化モード制限部１５は、ROI内の各ブロックについて、下記の動作フローチャートに従って符号化モードの制限を設定する。
符号化モード制限部１５は、着目するブロックが第１の制限対象ブロックか否か判定する（ステップＳ１０１）。着目するブロックが第１の制限対象ブロックである場合（ステップＳ１０１−Ｙｅｓ）、符号化モード制限部１５は、着目するブロックと同位置にある、局所復号縮小ピクチャの対応ブロックの全てがイントラ予測符号化されたか否か判定する（ステップＳ１０２）。局所復号縮小ピクチャの対応ブロックの全てがイントラ予測符号化されている場合（ステップＳ１０２−Ｙｅｓ）、符号化モード制限部１５は、着目するブロックに適用可能な符号化モードを階層間イントラ予測符号化モードに設定する（ステップＳ１０３）。
一方、局所復号縮小ピクチャの対応ブロックの何れかがインター予測符号化されている場合（ステップＳ１０２−Ｎｏ）、符号化モード制限部１５は、着目するブロックに適用可能な符号化モードを、階層間インター予測符号化モードに設定する（ステップＳ１０４）。
また、ステップＳ１０１において、着目するブロックが第１の制限対象ブロックでない場合（ステップＳ１０１−Ｎｏ）、符号化モード制限部１５は、着目するブロックが第２の制限対象ブロックか否か判定する（ステップＳ１０５）。着目するブロックが第２の制限対象ブロックである場合（ステップＳ１０５−Ｙｅｓ）、符号化モード制限部１５は、局所復号縮小ピクチャの対応ブロックの全てがイントラ予測符号化されているか否か判定する（ステップＳ１０６）。局所復号縮小ピクチャの対応ブロックの全てがイントラ予測符号化されている場合（ステップＳ１０６−Ｙｅｓ）、符号化モード制限部１５は、着目するブロックに適用可能な符号化モードを、階層間イントラ予測符号化モード、及び、イントラ予測符号化モードのうちの右上方の画素を参照しない予測モードに設定する（ステップＳ１０７）。
一方、局所復号縮小ピクチャの対応ブロックの何れかがインター予測符号化されている場合（ステップＳ１０６−Ｎｏ）、符号化モード制限部１５は、着目するブロックに適用可能な符号化モードを、階層間インター予測符号化モード及びイントラ予測符号化モードのうちの右上方の画素を参照しない予測モードに設定する（ステップＳ１０８）。
また、ステップＳ１０５において、着目するブロックが第２の制限対象ブロックでない場合（ステップＳ１０５−Ｎｏ）、符号化モード制限部１５は、着目するブロックに対する符号化モードの制限を設定しない（ステップＳ１０９）。ステップＳ１０３、Ｓ１０４、Ｓ１０７、Ｓ１０８またはＳ１０９の後、符号化モード制限部１５は、符号化モード制限設定処理を終了する。
符号化モード制限部１５は、ピクチャの各ブロックについての符号化モードの制限を上位階層符号化部１６へ通知する。
上位階層符号化部１６は、動画像データ中の上位階層の各ピクチャを符号化する。その際、上位階層符号化部１６は、符号化対象のピクチャを複数のブロックに分割し、ブロックごとに符号化する。また、上位階層符号化部１６は、ピクチャに設定されているROIについては、ROI単独で復号できるように、第１の制限対象ブロック及び第２の制限対象ブロックについて設定された符号化モードの制限を満たすように各ブロックを符号化する。
図５は、上位階層符号化部１６のブロック図である。上位階層符号化部１６は、動きベクトル算出部２１と、予測ブロック生成部２２と、符号化モード判定部２３と、予測誤差信号算出部２４と、直交変換部２５と、量子化部２６と、復号部２７と、記憶部２８と、可変長符号化部２９とを有する。
動きベクトル算出部２１は、符号化対象ピクチャが、PピクチャまたはBピクチャといった、インター予測符号化モードが適用可能なピクチャである場合、符号化対象ピクチャ上の符号化対象のブロックについて動きベクトルを算出する。その際、動きベクトル算出部２１は、既に符号化され、かつ、符号化対象ピクチャが参照可能な局所復号ピクチャに対してブロックマッチングを実行して、符号化対象のブロックと最も一致する局所復号ピクチャ及びその局所復号ピクチャ上の領域の位置を決定する。そして動きベクトル算出部２１は、符号化対象のブロックとその領域間の空間的な移動量を表すベクトルを動きベクトルとして算出する。
なお、動きベクトル算出部２１は、符号化対象ブロックが参照する局所復号ピクチャにROIが設定されている場合、参照される局所復号ピクチャ上のROI内の画素のみを使用して予測ブロックを生成できるように、動きベクトルの探索範囲をROI内に制限する。これにより、局所復号ピクチャのROIのみが復号される場合でも、符号化対象ブロックも復号可能となる。
動きベクトル算出部２１は、符号化対象ピクチャ上の各ブロックについて、動きベクトル及びその動きベクトルが参照する局所復号ピクチャを示す情報を、予測ブロック生成部２２及び符号化モード判定部２３へ出力する。
予測ブロック生成部２２は、符号化対象ピクチャ上の各ブロックについて、そのブロックに適用可能な符号化モードのそれぞれごとに予測ブロックを生成する。その際、予測ブロック生成部２２は、着目するブロックが第１の制限対象ブロックまたは第２の制限対象ブロックである場合、そのブロックについて設定された符号化モードの制限を満たす符号化モードを適用して予測ブロックを生成する。
例えば、予測ブロック生成部２２は、符号化対象ピクチャがインター予測符号化モードが適用可能なピクチャである場合、着目するブロックについて算出された動きベクトルにより示される局所復号ピクチャ上の領域を動き補償することで予測ブロックを生成する。さらに、予測ブロック生成部２２は、着目するブロックの左側または上側に隣接するブロックがインター予測符号化されており、かつ、インター予測符号化モードが適用可能な場合、その隣接ブロックの動きベクトルを予測ベクトルとする。一方、着目するブロックについて適用可能な符号化モードが階層間インター予測符号化モードに制限されていることがある。この場合、予測ブロック生成部２２は、着目するブロックと同位置にある、局所復号縮小ピクチャ上の対応ブロックの動きベクトルを拡大することにより得られたベクトルを予測ベクトルとする。
また、予測ブロック生成部２２は、着目するブロックに対して、イントラ予測符号化モードの各予測モードのうちの適用可能な予測モードごとに、その予測モードに従って予測ブロックを生成する。例えば、予測ブロック生成部２２は、着目するブロックが第２の制限対象ブロックである場合には、着目するブロックの右上方の画素を参照する予測モード以外の各予測モードについて予測ブロックを生成する。さらに、予測ブロック生成部２２は、着目するブロックと同位置にある局所復号縮小ピクチャ上の対応ブロックをアップサンプリングすることにより得られたブロックも予測ブロックとする。なお、着目するブロックに適用可能な符号化モードが階層間イントラ予測符号化モードに限定されていることがある。この場合には、予測ブロック生成部２２は、着目するブロックと同位置にある局所復号縮小ピクチャ上の対応ブロックをアップサンプリングすることで得られたブロックのみを予測ブロックとする。
予測ブロック生成部２２は、ブロックごとに、生成した予測ブロックのそれぞれ及び予測ベクトルを符号化モード判定部２３へ出力する。
符号化モード判定部２３は、符号化対象ピクチャ上の各ブロックについて、そのブロックについて生成された予測ブロック及び予測ベクトルに基づいて、そのブロックに適用する符号化モードを求める。その際、符号化モード判定部２３は、着目するブロックについて、そのブロックについて生成された予測ブロック及び予測ベクトルの組み合わせごとに、符号量の推定値である符号化コストを算出する。そして符号化モード判定部２３は、その符号化コストが最小となる組合せに対応する符号化モードを、着目するブロックに適用する符号化モードとする。
符号化モード判定部２３は、例えば、着目するブロックの符号化コストを算出するために、次式に従って、着目するブロックについて生成された予測ブロックごとに、予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは符号化対象ピクチャの着目するブロックに含まれる画素の値であり、PredPixelは予測ブロックに含まれる対応画素の値である。
符号化モード判定部２３は、着目するブロックについて生成された予測ブロック及び予測ベクトルの組み合わせごとに、次式に従って符号化コストCostを算出する。
Cost = SAD+λR
ここで、Rは、動きベクトルと予測ベクトル間の予測誤差、イントラ予測符号化モードにおける予測モードを表すフラグなど、直交変換係数以外の項目についての符号量の推定値である。そしてλは定数である。
なお、符号化モード判定部２３は、SADの代わりに、着目するブロックと予測ブロックとの差分画像をアダマール変換した後の各画素の絶対値和SATDなどを算出してもよい。
符号化モード判定部２３は、符号化コストが最小となる符号化モードを求めると、その符号化モードに対応する予測ブロックを予測誤差信号算出部２４へ出力する。さらに、符号化モード判定部２３は、符号化モードを特定するための情報、及び、動きベクトルと予測ベクトル間の予測誤差などを可変長符号化部２９へ出力する。
予測誤差信号算出部２４は、符号化対象ピクチャのブロックごとに、予測ブロックの対応する画素との差分演算を実行する。そして予測誤差信号算出部２４は、その差分演算により得られた各画素に対応する差分値を、予測誤差信号とする。予測誤差信号算出部２４は、予測誤差信号を直交変換部２５へ出力する。
直交変換部２５は、符号化対象ピクチャのブロックごとに、予測誤差信号を直交変換することにより、直交変換係数の組を求める。例えば、直交変換部２５は、直交変換処理として、離散コサイン変換（Discrete Cosine Transform、DCT）を用いることで、直交変換係数として、ブロックごとのDCT係数の組を得る。
直交変換部２５は、ブロックごとの直交変換係数の組を量子化部２６へ出力する。
量子化部２６は、符号化対象ピクチャのブロックごとに、直交変換係数を量子化することにより、その直交変換係数の量子化係数を算出する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、量子化部２６は、直交変換係数から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その直交変換係数を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、量子化部２６は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。
また量子化部２６は、H.264などの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。量子化部２６は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
量子化部２６は、量子化処理を実行することにより、直交変換係数を表すために使用されるビットの数を削減できるので、符号化対象のピクチャに含まれる情報量を低減できる。量子化部２６は、量子化係数を復号部２７及び可変長符号化部２９へ出力する。
復号部２７は、符号化対象ピクチャの各ブロックの量子化係数から、そのブロックよりも後のブロック及び符号化対象ピクチャよりも符号化順で後のピクチャを符号化するために参照される局所復号ピクチャを生成する。そのために、復号部２７は、量子化係数に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより、量子化係数を逆量子化する。この逆量子化により、各ブロックの直交変換係数の組、例えば、DCT係数の組が復元される。その後、復号部２７は、ブロックごとに、直交変換係数の組を逆直交変換処理する。例えば、直交変換部２５がDCTを用いている場合、復号部２７は、各ブロックに対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。
復号部２７は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算する。これらの処理を各予測ブロックについて実行することにより、復号部２７は、その後に符号化されるブロックに対する予測ブロックを生成するために参照されるブロックを復元する。さらに、復号部２７は、復元したブロックに対してデブロッキングフィルタ処理を実行してもよい。
復号部２７は、ブロックを復元する度に、その復元されたブロックを、記憶部２８に記憶する。
記憶部２８は、復元されたブロックを一時的に記憶する。各ブロックの符号化順序にしたがって、１枚のピクチャ分の復元されたブロックを結合することで、局所復号ピクチャが得られる。記憶部２８は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分の局所復号ピクチャを記憶し、記憶している局所復号ピクチャの枚数がその所定枚数を超えると、符号化順序が古い局所復号ピクチャから順に破棄する。
さらに、記憶部２８は、インター予測符号化されたブロックのそれぞれについての動きベクトルを記憶する。
可変長符号化部２９は、符号化対象ピクチャの各ブロックの量子化係数を可変長符号化する。さらに、可変長符号化部２９は、予測ブロックの作成に利用された動きベクトルについての予測誤差なども可変長符号化する。そして可変長符号化部２９は、その可変長符号化によって得られた符号化ビットを、H.264に従って所定の順序に並べたビットストリームである、ピクチャの符号化データを多重化部１７へ出力する。なお、可変長符号化部２９は、可変長符号化方式として、Context-based Adaptive Variable Length Coding (CAVLC)といったハフマン符号化処理あるいはContext-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いることができる。
多重化部１７は、下位階層符号化部１２から出力された縮小ピクチャの符号化データ及び上位階層符号化部１６から出力されたピクチャの符号化データを所定の順序で結合する。さらに、多重化部１７は、その結合された符号化データにH.264に従ったヘッダ情報などを付加することで、符号化された動画像データを含むビットストリームを得る。さらに、多重化部１７は、注目領域設定部１４から得られた、各ピクチャについてのROIを表す情報をそのビットストリームに追加する。これにより、動画像復号装置は、上位階層のピクチャについて、ROIのみを単独で復号することが可能となる。
図６は、多重化部１７により出力される、符号化された動画像データを含むビットストリームの一例を示す図である。ビットストリーム６００において、ピクチャごとに設けられるaccess unitのうちのSEIメッセージ６０１内に、ROIを表す情報であるROI_parameter_SEI_messageが挿入される。ROI_parameter_SEI_messageは、設定されるROIの数を表すパラメータnum_of_ROI_areaと、ROIごとに設定される、ROIの左上端画素の座標(xk,yk)と、ROIの水平方向サイズsxkと、ROIの垂直方向サイズsykとを含む。
図７は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はピクチャごとに、下記の動作フローチャートに従って符号化する。
縮小部１１は、符号化対象ピクチャをダウンサンプリングして縮小ピクチャを生成する（ステップＳ２０１）。そして下位階層符号化部１２は、縮小ピクチャをブロックごとに分割し、ブロックごとに符号化する（ステップＳ２０２）。
拡大部１３は、符号化された縮小ピクチャを復号して得られた局所復号縮小ピクチャの各ブロックをアップサンプリングして予測ブロックを生成するとともに、動きベクトルを縮小ピクチャの縮小率に応じて拡大して予測ベクトルを生成する（ステップＳ２０３）。
一方、注目領域設定部１４は、上位階層の符号化対象ピクチャ上にROIを設定する（ステップＳ２０４）。そして符号化モード制限部１５は、ROIの左端または上端に隣接する各ブロックを第１の制限対象ブロックに設定し、かつ、ROIの上端に隣接せず、かつ、ROIの右端に隣接する各ブロックを第２の制限対象ブロックに設定する（ステップＳ２０５）。さらに、符号化モード制限部１５は、第１の制限対象ブロック及び第２の制限対象ブロックのそれぞれについて、符号化対象ピクチャのROI外のブロックを参照しないように適用可能な符号化モードの制限を設定する（ステップＳ２０６）。
上位階層符号化部１６は、上位階層の符号化対象ピクチャをブロックごとに分割し、ブロックごとに、適用可能な符号化モードの中から符号化コストが最小となる符号化モードを選択する（ステップＳ２０７）。そして上位階層符号化部１６は、ブロックごとに、そのブロックについて選択された符号化モードに従って符号化する（ステップＳ２０８）。
多重化部１７は、符号化対象ピクチャの符号化データと縮小ピクチャの符号化データとROIを表す情報とを含むビットストリームを生成する（ステップＳ２０９）。そして多重化部１７は、そのビットストリームを出力する。そして動画像符号化装置１は、動画像符号化処理を終了する。
以上に説明してきたように、この動画像符号化装置は、上位階層のピクチャ上に設定されたROIの左端、上端または右端に隣接するブロックを制限対象ブロックとする。そしてこの動画像符号化装置は、制限対象ブロックについて、そのピクチャのROIに含まれないブロックを参照しないように、適用可能な符号化モードを下位階層の対応ブロックを参照する符号化モードなどに制限する。そのため、この動画像符号化装置は、上位階層のピクチャについて、スライスまたはタイルなどを設定しなくても、動画像復号装置がROIだけを復号できるように、上位階層のピクチャを符号化できる。
次に、上記の動画像符号化装置により符号化された動画像データを復号する動画像復号装置について説明する。この動画像復号装置は、動画像データに含まれる、上位階層のピクチャに関して、ROIだけを復号できる。
図８は、一つの実施形態による動画像復号装置の概略構成図である。動画像復号装置２は、分離部３１と、下位階層復号部３２と、拡大部３３と、制御部３４と、上位階層復号部３５とを有する。
動画像復号装置２が有するこれらの各部は、それぞれ、別個の回路として動画像復号装置２に実装される。あるいは、動画像復号装置２が有するこれらの各部は、その各部の機能を実現する回路が集積された一つまたは複数の集積回路として動画像復号装置２に実装されてもよい。あるいはまた、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
分離部３１は、符号化された動画像データを含むビットストリームから、下位階層の縮小ピクチャの符号化データ、上位階層のピクチャの符号化データ及び上位階層の各ピクチャについてのROIを表す情報を取り出す。そして分離部３１は、下位階層の縮小ピクチャの符号化データを下位階層復号部３２へ出力し、上位階層のピクチャの符号化データを上位階層復号部３５へ出力する。さらに、分離部３１は、上位階層の各ピクチャについてのROIを表す情報を制御部３４へ出力する。
下位階層復号部３２は、下位階層の縮小ピクチャを復号する。具体的には、下位階層復号部３２は、縮小ピクチャの符号化データを可変長復号する。そして下位階層復号部３２は、縮小ピクチャの各ブロックについて、予測誤差信号を直交変換して得られた直交変換係数が量子化された係数である量子化係数を再生する。
下位階層復号部３２は、各ブロックについて、再生した量子化係数に、ヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、各ブロックの直交変換係数、例えば、DCT係数の組が復元される。その後、下位階層復号部３２は、直交変換係数を逆直交変換処理する。逆量子化処理及び逆直交変換処理を量子化係数に対して実行することにより、各ブロックについて予測誤差信号が再生される。
また下位階層復号部３２は、ヘッダ情報から、各ブロックに対して適用された符号化モードを特定する。そして下位階層復号部３２は、着目するブロックが、インター予測符号化モードに従って符号化されたブロックであれば、そのブロックについての動きベクトルの予測ベクトルを指定する情報及び予測誤差を可変長復号する。そして下位階層復号部３２は、その予測ベクトルの指定情報及び予測誤差に基づいて動きベクトルを復号する。
下位階層復号部３２は、縮小ピクチャの各ブロックについて、そのブロックに対して適用された符号化モードに応じて、既に復号された縮小ピクチャまたは復号対象の縮小ピクチャの復号済みの領域から予測ブロックを生成する。
下位階層復号部３２は、各ブロックについて、そのブロックに対応する予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、そのブロックを再生できる。そして下位階層復号部３２は、縮小ピクチャごとに、再生されたブロックを、符号化順序に従って結合することにより、縮小ピクチャを再生する。下位階層復号部３２は、再生された縮小ピクチャを下位階層復号部３２が有するか、あるいは下位階層復号部３２がアクセス可能なメモリ（図示せず）に保存する。
拡大部３３は、上位階層復号部３５が符号化された上位階層のピクチャを復号する際に参照される縮小ピクチャのブロックをアップサンプリングする。さらに、拡大部３３は、その縮小ピクチャのブロックについての動きベクトルを拡大する。
例えば、拡大部３３は、縮小ピクチャのブロックに対して、H.264のスケーラブル符号化で規定されているアップサンプリングフィルタを適用することで、上位階層のピクチャの対応ブロックと同サイズの予測ブロックを生成する。なお、拡大部３３は、動画像復号装置２がH.264以外の符号化規格に準拠している場合には、他のアップサンプリングフィルタを適用してもよい。また、拡大部３３は、縮小ピクチャのブロックについての動きベクトルの水平方向の成分及び垂直方向の成分に対して、縮小率の逆数を乗じることで、その動きベクトルを拡大する。これにより、拡大部３３は、拡大された動きベクトルを、上位階層のピクチャの動きベクトルの符号化に利用する予測ベクトルとする。
拡大部３３は、予測ブロック及び予測ベクトルを上位階層復号部３５へ出力する。
制御部３４は、上位階層の各ピクチャについて、ピクチャ全体を復号するか、あるいは、ピクチャ上の特定のROIのみを復号するかを決定する。そのために、例えば、制御部３４は、キーボードあるいはマウスといったユーザインターフェース部（図示せず）から、ユーザの操作に応じた、ピクチャ全体を復号するか、あるいは特定のROIを復号するかを示す操作信号を受け取る。そして制御部３４は、その操作信号がピクチャ全体を復号することを示している場合、上位階層の各ピクチャについて、ピクチャ全体を復号することを指示する復号対象指定信号を上位階層復号部３５へ出力する。この場合、復号対象指定信号は、例えば、ピクチャ全体を復号することを示すフラグを含む。一方、制御部３４は、操作信号が特定のROIを復号することを示している場合、上位階層の各ピクチャについて、指定されたROIを復号することを指示する復号対象指定信号を上位階層復号部３５へ出力する。この場合、復号対象指定信号は、例えば、復号対象となるROIの左上端画素の座標値とROIの水平方向のサイズ及び垂直方向のサイズを含む。なお、復号するROIの特定は、例えば、ROIを表す情報に含まれるROIの番号で行われてもよい。あるいは、復号するROIの特定は、ピクチャ上で復号対象となる領域の指定により行われてもよい。この場合には、制御部３４は、ROIを表す情報を参照して、指定された領域に含まれるROIを特定してもよい。また、指定された領域の位置及び範囲は、制御部３４が有するメモリに予め記憶されていてもよい。
また、ピクチャ全体を復号するか、あるいは特定のROIのみを復号するかの指定は、動画像データ全体に対して行われてもよく、ピクチャごと、あるいは、一定期間（例えば、10秒間〜10分間）ごとに行われてもよい。
上位階層復号部３５は、符号化された動画像データの上位階層の各ピクチャを復号する。その際、上位階層復号部３５は、ピクチャの各ブロックについて、下位階層復号部３２によるブロックの復号処理と同様の復号処理を行うことで、各ブロックを復号できる。また、上位階層復号部３５は、復号対象指定信号が特定のROIを指定している場合には、各ブロックについて、そのROIに含まれているか否かを判定し、そのROIに含まれている場合にそのブロックを復号する。ただし、上位階層復号部３５は、復号対象となるROIが指定されている場合でも、各ブロックについての符号化順序に従って、各ブロックの符号化データに対する可変長復号処理を実行する。可変長復号処理については、ブロック間の依存関係が存在するためである。また、上位階層復号部３５は、復号した各ブロックに対してデブロッキングフィルタ処理を実行してもよい。
上位階層復号部３５は、復号した各ブロックを結合することで、ピクチャ全体またはROIを再生する。そして上位階層復号部３５は、再生されたピクチャまたはROIを時間順に再配置して、動画像データを再生する。上位階層復号部３５は、再生した動画像データを出力する。出力された動画像データは、例えば、図示しない記憶装置に記憶される。あるいは、出力された動画像データは、動画像復号装置２と接続された、図示しない表示装置に表示される。
さらに、動画像復号装置２は、上位階層の各ピクチャについて、ROIだけを復号した場合、各ROIを所定の動画像符号化規格に従って再度符号化してもよい。これにより、再度符号化されるROIのサイズは元のピクチャのサイズよりも小さいので、データ量が削減される。
図９は、動画像復号装置２により実行される動画像復号処理の動作フローチャートである。例えば、動画像復号装置２は、符号化された動画像データに含まれる上位階層のピクチャごとに以下の動作フローチャートに従って動画像復号処理を実行する。
分離部３１は、符号化された動画像データを含むビットストリームから、下位階層の縮小ピクチャの符号化データ、上位階層のピクチャの符号化データ及び上位階層の各ピクチャについてのROIを表す情報を取り出す（ステップＳ３０１）。そして分離部３１は、下位階層の縮小ピクチャの符号化データを下位階層復号部３２へ出力し、上位階層のピクチャの符号化データを上位階層復号部３５へ出力する。さらに、分離部３１は、上位階層の各ピクチャについてのROIを表す情報を制御部３４へ出力する。
下位階層復号部３２は、下位階層の縮小ピクチャの符号化データから縮小ピクチャを復号する（ステップＳ３０２）。そして拡大部３３は、復号された縮小ピクチャの各ブロックをアップサンプリングして予測ブロックを生成するとともに、動きベクトルを縮小ピクチャの縮小率に応じて拡大して予測ベクトルを生成する（ステップＳ３０３）。
制御部３４は、上位階層のピクチャについて、復号対象（すなわち、ピクチャ全体または特定のROI）を決定する（ステップＳ３０４）。そして制御部３４は、復号対象を表す復号対象指定信号を上位階層復号部３５へ出力する。
上位階層復号部３５は、復号対象指定信号を参照して、復号対象が特定のROIか否か判定する（ステップＳ３０５）。復号対象指定信号が特定のROIを復号することを示している場合（ステップＳ３０５−Ｙｅｓ）、上位階層復号部３５は、特定のROIを復号する（ステップＳ３０６）。一方、復号対象指定信号がピクチャ全体を復号することを示している場合（ステップＳ３０５−Ｎｏ）、上位階層復号部３５は、ピクチャ全体を復号する（ステップＳ３０７）。ステップＳ３０６またはＳ３０７の後、動画像復号装置２は、動画像復号処理を終了する。
以上に説明してきたように、この動画像復号装置は、上位階層のピクチャについて、ROI以外の領域を復号せずに、ROIだけを復号することができる。そのため、この動画像復号装置は、上位階層のピクチャについてROIだけを復号する場合に、演算量を削減することができる。
なお、変形例によれば、動画像符号化装置の注目領域設定部は、上位階層の各ピクチャについて、そのピクチャを複数のROIで分割してもよい。そして動画像符号化装置の符号化モード制限部は、各ピクチャについて、そのピクチャに設定されたROIごとに、第１の制限対象ブロックを設定してもよい。なお、この変形例では、第２の制限対象ブロックは設定されなくてもよい。この場合には、隣接する二つの第１の制限対象ブロックの列で挟まれた領域が一つのROIとなる。
この変形例によれば、上位階層の各ピクチャにおいて、動画像復号装置がROI単位で復号できるように動画像符号化装置は各ピクチャを符号化する。そのため、動画像データを符号化した後に、例えば、復号された縮小ピクチャを参照して、上位階層の対応ピクチャに別途、部分的に復号する領域を設定することが可能となる。
図１０は、この変形例に対応した画像解析装置の概略構成図である。画像解析装置３は、動画像復号部４１と、バッファ４２と、粗解析部４３と、精密解析部４４とを有する。
画像解析装置３が有するこれらの各部は、それぞれ、別個の回路として画像解析装置３に実装される。あるいは、画像解析装置３が有するこれらの各部は、その各部の機能を実現する回路が集積された一つまたは複数の集積回路として画像解析装置３に実装されてもよい。あるいはまた、画像解析装置３が有するこれらの各部のうち、動画像復号部４１、粗解析部４３及び精密解析部４４は、画像解析装置３が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。また、バッファ４２は、画像解析装置３が有するメモリ回路により実現されてもよい。
動画像復号部４１は、上記の実施形態による動画像復号装置２と同様の構成を有する。そして動画像復号部４１は、上記の実施形態による動画像符号化装置１により符号化された動画像データに含まれる各ピクチャに対応する下位階層の縮小ピクチャを復号する。そして動画像復号部４１は、復号した縮小ピクチャをバッファ４２に保存する。
また、動画像復号部４１は、上位階層の各ピクチャにおいて、粗解析部４３により指定されたROIを復号する。そして動画像復号部４１は、復号したROIを精密解析部４４へ出力する。また、動画像復号部４１は、復号したROIをバッファ４２に保存してもよい。
粗解析部４３は、部分復号領域設定部の一例であり、バッファ４２から復号された縮小ピクチャを読み出し、その縮小ピクチャに基づいて、対応する上位階層のピクチャにおいて復号対象となる部分領域を設定する。そして粗解析部４３は、復号対象となる部分領域を含むROIを特定する。
粗解析部４３は、例えば、動画像符号化装置１の注目領域設定部１４がROIを設定する手法と同様の手法により、復号対象となる部分領域を設定できる。すなわち、粗解析部４３は、キーボードあるいはマウスといったユーザインターフェース（図示せず）を介して部分領域の左上端と右下端の座標、あるいは、部分領域の左上端と部分領域の水平方向及び垂直方向のサイズを指定する情報を取得する。そして粗解析部４３は、その情報に従って部分領域を設定する。この場合、ユーザは、例えば、復号された縮小ピクチャを表示装置で確認することにより、復号対象となる部分領域を設定し、その部分領域をユーザインターフェース部を介して指定すればよい。
あるいは、粗解析部４３は、各縮小ピクチャに対して、所定の対象物を検出する識別器を適用することで、縮小ピクチャ上でその対象物が写っている領域を検出してもよい。そして粗解析部４３は、その検出された領域に対応するピクチャ上の領域を復号対象となる部分領域としてもよい。
粗解析部４３は、各縮小ピクチャについて、復号対象となる部分領域の少なくとも一部を含むROIを特定する。そして粗解析部４３は、各縮小ピクチャについて、特定したROIを指定する情報を動画像復号部４１へ出力する。
精密解析部４４は、動画像復号部４１により復号された、上位階層のピクチャ上のROIを解析する。例えば、精密解析部４４は、そのROIに対して、所定の対象物の属性を判定する識別器を適用することで、そのROIにその対象物の属性を判定してもよい。
図１１は、この変形例において、上位階層のピクチャに設定される各ROIと、粗解析部４３により指定された復号対象の部分領域の一例を示す図である。この例では、ピクチャ１１００において、水平方向に４個、垂直方向に３個のROI１１０１が予め設定されている。そして粗解析部４３により設定された部分領域１１０２が設定された場合、その部分領域１１０２の一部を含む４個のROI１１０１−１〜１１０１−４が復号対象となる。なお、ROI１１０１−１〜１１０１−４のうちの下側の二つのROI１１０１−３及び１１０１−４については、部分領域１１０２の下端に相当するブロックまでが復号されればよい。一般に、ピクチャ内の各ブロックはラスタスキャン順に符号化及び復号されるので、部分領域１１０２の下端よりも下側のブロックは、部分領域１１０２の復号には利用されないためである。
また、さらに他の変形例によれば、動画像符号化装置の符号化モード制限部は、第２の制限対象ブロックについて、右上方のブロックの動きベクトルを予測ベクトルとして使用しないように制限した上で、インター予測符号化モードの適用を許可してもよい。
また、動画像符号化装置が、予測ベクトルとして、着目するブロックと同位置にある、既に符号化されたピクチャのブロックの動きベクトル（以下、temporalベクトルと呼ぶ）を利用できる動画像符号化規格に準拠していることがある。この場合には、符号化モード制限部は、第１の制限対象ブロックについて、予測ベクトルをtemporalベクトルに制限した上で、インター予測符号化モードの適用を許可してもよい。
さらに、上記の実施形態によれば、上位階層のピクチャに設定されるROIの位置及びサイズは、ピクチャごとに異なることがある。このような場合、符号化対象ピクチャのROI内の各ブロックについて、インター予測符号化モード及び階層間インター予測符号化モードを適用する際に参照される局所復号ピクチャ上の参照可能範囲内にROIが存在しないことがある。そして参照可能範囲内にROIが存在しなければ、その符号化済みのピクチャの復号の際に、その参照可能範囲が復号されないことがある。そこで符号化モード制限部は、ROI内の任意のブロックについて、そのブロックが参照する局所復号ピクチャの参照可能範囲内にROIが設定されていない場合、インター予測符号化モード及び階層間インター予測符号化モードを適用しないようにしてもよい。
上記の実施形態またはその変形例による動画像符号化装置及び動画像復号装置は、例えば、監視カメラにより生成された動画像データから特定の対象物を検出し、検出された対象物を含む領域をROIとする監視システムに利用できる。あるいは、上記の実施形態またはその変形例による動画像符号化装置及び動画像復号装置は、例えば、監視カメラにより生成された動画像データにおいて、特定の対象物が検出されるか否かを縮小ピクチャに基づいて判定する画像解析システムに利用できる。その画像解析システムでは、対象物が検出されると、上位階層のピクチャに基づいてその対象物の属性が判定されてもよい。
図１２は、上記の実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。このコンピュータは、例えば、上述した監視システムまたは画像解析システムにおいて利用可能である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データ、あるいは、復号する動画像データを選択する操作信号をプロセッサ１０５へ出力する。
さらに、ユーザインターフェース部１０１は、動画像データを符号化する際に、ユーザの操作に応じて、動画像データ中の任意の上位階層のピクチャについてROIを設定する操作信号をプロセッサ１０５へ出力してもよい。あるいは、ユーザインターフェース部１０１は、符号化された動画像データを復号する際に、ユーザの操作に応じて、上位階層のピクチャについて、復号対象を指定する操作信号をプロセッサ１０５へ出力してもよい。
通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）、あるいはHigh-Definition Multimedia Interface(HDMI)(登録商標)とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。また、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、復号対象となる、符号化された動画像データを含むビットストリームを取得し、そのビットストリームをプロセッサ１０５へ渡してもよい。
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、動画像復号処理を実行するためのコンピュータプログラム及びこれらの処理の途中または結果として生成されるデータを記憶する。
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムまたは動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
プロセッサ１０５は、例えば、Central Processing Unit(CPU)、Graphics Processing Unit(GPU)及び数値演算プロセッサの少なくとも何れかを含む。そしてプロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。あるいは、プロセッサ１０５は、上記の実施形態または変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化された動画像データを復号する。その際、プロセッサ１０５は、上位階層のピクチャについて、ROIのみを復号してもよい。そしてプロセッサ１０５は、復号されたピクチャをユーザインターフェース部１０１の表示装置に表示させる。
なお、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラム及び動画像復号処理用コンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データに含まれるピクチャをダウンサンプリングして縮小ピクチャを生成する縮小部と、
前記縮小ピクチャを複数の第１のブロックに分割し、前記複数の第１のブロックのそれぞれを符号化する第１の符号化部と、
前記ピクチャ上に第１の領域を設定する領域設定部と、
予測ブロックの生成方法を規定する複数の符号化モードのうちで、前記ピクチャを分割した複数の第２のブロックのうちの前記第１の領域に含まれる第２のブロックに適用可能な符号化モードを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックを参照する第１の符号化モードまたは前記ピクチャの前記第１の領域を参照する第２の符号化モードに制限する符号化モード制限部と、
前記第１の領域内の前記第２のブロックのそれぞれについて、前記第１の符号化モードまたは前記第２の符号化モードに従って予測ブロックを生成し、該予測ブロックと当該第２のブロック間の差分演算を行って得られる予測誤差信号を符号化する第２の符号化部と、
を有する動画像符号化装置。
（付記２）
前記符号化モード制限部は、前記第１の領域内の前記第２のブロックのうち、前記第１の領域の左端または上端に隣接する第２のブロックに適用可能な符号化モードを、前記第１の符号化モードに制限する、付記１に記載の動画像符号化装置。
（付記３）
前記第１の符号化モードは、前記第１の領域の左端または上端に隣接する前記第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックをアップサンプリングして得られるブロックを前記予測ブロックとする階層間イントラ予測符号化モードと、前記第１の領域の左端または上端に隣接する前記第２のブロックを、前記ピクチャよりも符号化順序が前の他のピクチャを動き補償して前記予測ブロックを生成するための動きベクトルについての予測ベクトルを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックについての第２の動きベクトルのスケールを前記ピクチャに対する前記縮小ピクチャの縮小率に応じて拡大して得られるベクトルとする階層間インター予測符号化モードとを含む、付記２に記載の動画像符号化装置。
（付記４）
前記符号化モード制限部は、前記第１の領域内の前記第２のブロックのうち、前記第１の領域の右端に隣接し、かつ上端に隣接しない第２のブロックに適用する符号化モードを、前記第１の符号化モード及び前記第２の符号化モードのうちの当該第２のブロックの左端または上端に隣接する画素から前記予測ブロックを生成するイントラ予測符号化モードに制限する、付記２または３に記載の動画像符号化装置。
（付記５）
前記領域設定部は、所定の物体を検出する識別器を用いて前記ピクチャから前記所定の物体を検出し、検出された前記所定の物体が写っている領域を前記第１の領域に設定する、付記１〜４の何れかに記載の動画像符号化装置。
（付記６）
動画像データに含まれるピクチャをダウンサンプリングして縮小ピクチャを生成し、
前記縮小ピクチャを複数の第１のブロックに分割し、前記複数の第１のブロックのそれぞれを符号化し、
前記ピクチャ上に第１の領域を設定し、
予測ブロックの生成方法を規定する複数の符号化モードのうちで、前記ピクチャを分割した複数の第２のブロックのうちの前記第１の領域に含まれる第２のブロックに適用可能な符号化モードを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックを参照する第１の符号化モードまたは前記ピクチャの前記第１の領域を参照する第２の符号化モードに制限し、
前記第１の領域内の前記第２のブロックのそれぞれについて、前記第１の符号化モードまたは前記第２の符号化モードに従って予測ブロックを生成し、該予測ブロックと当該第２のブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことを含む動画像符号化方法。
（付記７）
動画像データに含まれるピクチャをダウンサンプリングして縮小ピクチャを生成し、
前記縮小ピクチャを複数の第１のブロックに分割し、前記複数の第１のブロックのそれぞれを符号化し、
前記ピクチャ上に第１の領域を設定し、
予測ブロックの生成方法を規定する複数の符号化モードのうちで、前記ピクチャを分割した複数の第２のブロックのうちの前記第１の領域に含まれる第２のブロックに適用可能な符号化モードを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックを参照する第１の符号化モードまたは前記ピクチャの前記第１の領域を参照する第２の符号化モードに制限し、
前記第１の領域内の前記第２のブロックのそれぞれについて、前記第１の符号化モードまたは前記第２の符号化モードに従って予測ブロックを生成し、該予測ブロックと当該第２のブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
（付記８）
符号化された動画像データから、前記動画像データに含まれるピクチャをダウンサンプリングして生成された縮小ピクチャを分割した複数の第１のブロックごとに符号化して得られた第１の符号化データと、前記ピクチャに設定された第１の領域を表す領域情報と、前記ピクチャを分割した複数の第２のブロックのうちの前記第１の領域内の第２のブロックを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックを参照する第１の符号化モードまたは前記ピクチャの前記第１の領域を参照する第２の符号化モードに従って符号化することで得られた第２の符号化データとを取り出す分離部と、
前記第１の符号化データから前記縮小ピクチャを復号する第１の復号部と、
前記第２の符号化データから前記ピクチャの前記第１の領域を復号する第２の復号部と、
を有する動画像復号装置。
（付記９）
前記ピクチャに複数の前記第１の領域が設定されており、
復号された前記縮小ピクチャに基づいて前記ピクチャ上で復号対象となる部分領域を設定し、かつ、前記複数の第１の領域のうち、前記部分領域を含む第１の領域を特定し、特定された前記第１の領域を前記第２の復号部に復号させることを指示する部分復号領域設定部をさらに有する、付記８に記載の動画像復号装置。
（付記１０）
符号化された動画像データから、前記動画像データに含まれるピクチャをダウンサンプリングして生成された縮小ピクチャを分割した複数の第１のブロックごとに符号化して得られた第１の符号化データと、前記ピクチャに設定された第１の領域を表す領域情報と、前記ピクチャを分割した複数の第２のブロックのうちの前記第１の領域内の第２のブロックを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックを参照する第１の符号化モードまたは前記ピクチャの前記第１の領域を参照する第２の符号化モードに従って符号化することで得られた第２の符号化データとを取り出し、
前記第１の符号化データから前記縮小ピクチャを復号し、
前記第２の符号化データから前記ピクチャの前記第１の領域を復号する、
ことを含む動画像復号方法。
（付記１１）
符号化された動画像データから、前記動画像データに含まれるピクチャをダウンサンプリングして生成された縮小ピクチャを分割した複数の第１のブロックごとに符号化して得られた第１の符号化データと、前記ピクチャに設定された第１の領域を表す領域情報と、前記ピクチャを分割した複数の第２のブロックのうちの前記第１の領域内の第２のブロックを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックを参照する第１の符号化モードまたは前記ピクチャの前記第１の領域を参照する第２の符号化モードに従って符号化することで得られた第２の符号化データとを取り出し、
前記第１の符号化データから前記縮小ピクチャを復号し、
前記第２の符号化データから前記ピクチャの前記第１の領域を復号する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
１ 動画像符号化装置
１０ バッファ
１１ 縮小部
１２ 下位階層符号化部（第１の符号化部）
１３ 拡大部
１４ 注目領域設定部
１５ 符号化モード制限部
１６ 上位階層符号化部（第２の符号化部）
１７ 多重化部
２１ 動きベクトル算出部
２２ 予測ブロック生成部
２３ 符号化モード判定部
２４ 予測誤差信号算出部
２５ 直交変換部
２６ 量子化部
２７ 復号部
２８ 記憶部
２９ 可変長符号化部
２ 動画像復号装置
３１ 分離部
３２ 下位階層復号部
３３ 拡大部
３４ 制御部
３５ 上位階層復号部
３ 画像解析装置
４１ 動画像復号部
４２ バッファ
４３ 粗解析部
４４ 精密解析部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

Claims (6)

  1. 動画像データに含まれるピクチャをダウンサンプリングして縮小ピクチャを生成する縮小部と、
    前記縮小ピクチャを複数の第１のブロックに分割し、前記複数の第１のブロックのそれぞれを符号化する第１の符号化部と、
    前記ピクチャ上に第１の領域を設定する領域設定部と、
    予測ブロックの生成方法を規定する複数の符号化モードのうちで、前記ピクチャを分割した複数の第２のブロックのうちの前記第１の領域に含まれる第２のブロックに適用可能な符号化モードを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックを参照する第１の符号化モードまたは前記ピクチャの前記第１の領域を参照する第２の符号化モードに制限する符号化モード制限部と、
    前記第１の領域内の前記第２のブロックのそれぞれについて、前記第１の符号化モードまたは前記第２の符号化モードに従って予測ブロックを生成し、該予測ブロックと当該第２のブロック間の差分演算を行って得られる予測誤差信号を符号化する第２の符号化部と、
    を有する動画像符号化装置。
  2. 前記符号化モード制限部は、前記第１の領域内の前記第２のブロックのうち、前記第１の領域の左端または上端に隣接する第２のブロックに適用可能な符号化モードを、前記第１の符号化モードに制限する、請求項１に記載の動画像符号化装置。
  3. 前記第１の符号化モードは、前記第１の領域の左端または上端に隣接する前記第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックをアップサンプリングして得られるブロックを前記予測ブロックとする階層間イントラ予測符号化モードと、前記第１の領域の左端または上端に隣接する前記第２のブロックを、前記ピクチャよりも符号化順序が前の他のピクチャを動き補償して前記予測ブロックを生成するための動きベクトルについての予測ベクトルを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックについての第２の動きベクトルのスケールを前記ピクチャに対する前記縮小ピクチャの縮小率に応じて拡大して得られるベクトルとする階層間インター予測符号化モードとを含む、請求項２に記載の動画像符号化装置。
  4. 前記符号化モード制限部は、前記第１の領域内の前記第２のブロックのうち、前記第１の領域の右端に隣接し、かつ上端に隣接しない第２のブロックに適用する符号化モードを、前記第１の符号化モード及び前記第２の符号化モードのうちの当該第２のブロックの左端または上端に隣接する画素から前記予測ブロックを生成するイントラ予測符号化モードに制限する、請求項２または３に記載の動画像符号化装置。
  5. 動画像データに含まれるピクチャをダウンサンプリングして縮小ピクチャを生成し、
    前記縮小ピクチャを複数の第１のブロックに分割し、前記複数の第１のブロックのそれぞれを符号化し、
    前記ピクチャ上に第１の領域を設定し、
    予測ブロックの生成方法を規定する複数の符号化モードのうちで、前記ピクチャを分割した複数の第２のブロックのうちの前記第１の領域に含まれる第２のブロックに適用可能な符号化モードを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックを参照する第１の符号化モードまたは前記ピクチャの前記第１の領域を参照する第２の符号化モードに制限し、
    前記第１の領域内の前記第２のブロックのそれぞれについて、前記第１の符号化モードまたは前記第２の符号化モードに従って予測ブロックを生成し、該予測ブロックと当該第２のブロック間の差分演算を行って得られる予測誤差信号を符号化する、
    ことを含む動画像符号化方法。
  6. 動画像データに含まれるピクチャをダウンサンプリングして縮小ピクチャを生成し、
    前記縮小ピクチャを複数の第１のブロックに分割し、前記複数の第１のブロックのそれぞれを符号化し、
    前記ピクチャ上に第１の領域を設定し、
    予測ブロックの生成方法を規定する複数の符号化モードのうちで、前記ピクチャを分割した複数の第２のブロックのうちの前記第１の領域に含まれる第２のブロックに適用可能な符号化モードを、当該第２のブロックに対応する前記縮小ピクチャ上の前記第１のブロックを参照する第１の符号化モードまたは前記ピクチャの前記第１の領域を参照する第２の符号化モードに制限し、
    前記第１の領域内の前記第２のブロックのそれぞれについて、前記第１の符号化モードまたは前記第２の符号化モードに従って予測ブロックを生成し、該予測ブロックと当該第２のブロック間の差分演算を行って得られる予測誤差信号を符号化する、
    ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
JP2015154170A 2015-08-04 2015-08-04 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム Pending JP2017034532A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015154170A JP2017034532A (ja) 2015-08-04 2015-08-04 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US15/224,500 US20170041605A1 (en) 2015-08-04 2016-07-29 Video encoding device and video encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015154170A JP2017034532A (ja) 2015-08-04 2015-08-04 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2017034532A true JP2017034532A (ja) 2017-02-09

Family

ID=57988995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015154170A Pending JP2017034532A (ja) 2015-08-04 2015-08-04 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム

Country Status (2)

Country Link
US (1) US20170041605A1 (ja)
JP (1) JP2017034532A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019103067A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US11025942B2 (en) 2018-02-08 2021-06-01 Samsung Electronics Co., Ltd. Progressive compressed domain computer vision and deep learning systems
US10869041B2 (en) * 2019-03-29 2020-12-15 Intel Corporation Video cluster encoding for multiple resolutions and bitrates with performance and quality enhancements
US11051013B2 (en) * 2019-11-12 2021-06-29 Realtek Semiconductor Corp. Device and method of selecting an intra mode of a coding unit
CN114745549B (zh) * 2022-04-02 2023-03-17 北京广播电视台 一种基于感兴趣区域的视频编码方法和系统

Also Published As

Publication number Publication date
US20170041605A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
US11876979B2 (en) Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US8837840B2 (en) Method and apparatus for encoding and decoding coding unit of picture boundary
US10034019B2 (en) Image encoding device, image encoding method, image decoding device, and image decoding method
CN108769678B (zh) 图像编码设备
JP2017034532A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP2011029863A (ja) 復号化処理方法
WO2013014693A1 (ja) 動画像復号化方法及び画像符号化方法
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法
JP2017073598A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP5957513B2 (ja) 動画像復号化方法
JP2008193456A (ja) 動画像符号化における動き予測方法及び装置