JP2018082407A - 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム - Google Patents
動画像符号化装置、動画像符号化方法、および動画像符号化プログラム Download PDFInfo
- Publication number
- JP2018082407A JP2018082407A JP2016225505A JP2016225505A JP2018082407A JP 2018082407 A JP2018082407 A JP 2018082407A JP 2016225505 A JP2016225505 A JP 2016225505A JP 2016225505 A JP2016225505 A JP 2016225505A JP 2018082407 A JP2018082407 A JP 2018082407A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- parameter
- pictures
- type
- roi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】符号化した動画像の主観画質を向上させること【解決手段】複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定し、前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くし、前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する。【選択図】図７
Description
本発明は、動画像符号化装置、動画像符号化方法、および動画像符号化プログラムに関する。
画像データ、特に動画像データは、一般にデータ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
動画像データは、主にフレームのみから構成されるものと、フィールドから構成されるものがある
動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法では、動画像データが空間方向に相関性が高いことを利用する。すなわち、他のピクチャの符号化画像、予測を用いない。ピクチャ内の情報のみで画像を復元できる方法である。
動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法では、動画像データが空間方向に相関性が高いことを利用する。すなわち、他のピクチャの符号化画像、予測を用いない。ピクチャ内の情報のみで画像を復元できる方法である。
また、動画像データの高能率符号化方法として、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。すなわち、動画像データは、一般に、あるタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高いことが多いので、インター予測符号化では、その性質を利用する。
ピクチャ間予測符号化方法では、原画像をブロックに分割し、このブロック単位に、符号化済みフレームの復号画像から、この原画像ブロックと類似している領域を選択し、この類似領域と原画像ブロックの差分を求め、冗長性を取り除く。そして、類似領域を指し示す動きベクトル情報と、冗長性の取り除かれた差分情報を符号化することにより、高圧縮率を実現している。
例えば、インター予測符号化を用いたデータ伝送システムでは、送信装置において、前ピクチャから対象ピクチャへの「動き」を表す動きベクトルデータ、及びその前ピクチャからその動きベクトルデータを用いて作成した対象ピクチャの予測画像と対象ピクチャの実際の画像との差分データを生成し、それら動きベクトルデータおよび差分データを受信装置に送出する。一方、受信装置は、受信した動きベクトルデータおよび差分データから対象ピクチャを再生する。
代表的な動画像符号化方式として、ISO/IEC MPEG-2／MPEG-4(以下MPEG-2、MPEG-4)が挙げられる。
動画像符号化方式では、一定周期でイントラ予測符号化された画面を送り、残りはインター予測符号化で送られる Group Of Pictures（ＧＯＰ）構造をとっている。さらに、これらの予測に対応したＩ，Ｐ，Ｂの３種類のピクチャタイプを規定している。Ｉピクチャは他のピクチャの符号化画像、予測を用いない、ピクチャ内の情報のみで画像を復元できるピクチャである。Ｐピクチャは過去のピクチャから順方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Ｂピクチャは過去と未来のピクチャから双方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Ｂピクチャは未来のピクチャを予測に用いるため、その符号化に先駆けて、予測に用いられる未来のピクチャを符号化しておく。
また、ピクチャ内のRegion Of Interest（ＲＯＩ、注視領域）をＲＯＩ外よりも高画質に符号化する動画像符号化装置が知られている。
動画像データを構成する画像フレームを複数の矩形領域に分割し、これら複数の矩形領域それぞれを、ＲＯＩと非ＲＯＩに対応付ける。そして、ＲＯＩに対応付けられた矩形領域の符号量が非ＲＯＩに対応付けられた矩形領域の符号量よりも多くなるよう、これら矩形領域を順次圧縮することで、各画像フレームの符号化データを生成していく技術が知られている（例えば、特許文献１参照）。
映像伝送では、ネットワークの帯域で上限が決まるため、一般的にConstant Bit Rate（ＣＢＲ）符号化が行われる。ＣＢＲは、単位時間当たりのストリームの情報量を一定とするビットレート制御方法である。ＲＯＩとＣＢＲを用いた符号化方法では、ＲＯＩの圧縮率を低くしてＲＯＩを高画質にするが、一方でピクチャ全体のデータ量を一定とするために、ＲＯＩ外の圧縮率を高くするので、ＲＯＩ外に画質劣化が発生する。
本発明は、符号化した動画像の主観画質を向上させることを目的とする。
実施の形態に係る動画像符号化装置は、ピクチャの組に含まれる複数の連続するピクチャの符号化を行い、ピクチャタイプ設定部と、注視領域設定部と、パラメータ算出部と、符号化部と、を備える。
前記ピクチャタイプ設定部は、前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定する。
前記注視領域設定部は、前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定する。
前記パラメータ算出部は、前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くする。
前記符号化部は、前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する。
実施の形態に係る動画像符号化装置によれば、符号化した動画像の主観画質を向上させることができる。
以下、図面を参照しながら実施の形態について説明する。
最初に、ＧＯＰ構造の例について示す。
最初に、ＧＯＰ構造の例について示す。
図１は、ＧＯＰ構造の第１の例を示す図である。
図１に示すＧＯＰ構造は、一般的なＧＯＰ構造のＩＢＢＰ構造を示す。ＩＢＢＰ構造では、先頭から順にＩピクチャ，Ｂピクチャ，Ｂピクチャ，Ｐピクチャ，Ｂピクチャ，Ｂピクチャ，Ｐピクチャ，Ｂピクチャ，Ｂピクチャ，Ｐピクチャとなっている。ＭＰＥＧ−２では、Ｂピクチャの参照画像として用いることができる符号化済み画像は、ＰピクチャまたはＩピクチャとして符号化されている必要がある。しかし、ITU-T H.264(ITU-T : International Telecommunication Union Telecommunication Standardization Sector)/ISO/IEC MPEG-4AVC（以下、Ｈ．２６４という）では、加えてＢピクチャで符号化された符号化済み画像の復号画像も参照画像として使用できる。図１に示す矢印は、参照画像を示す前方向もしくは後方向ベクトルを表している。
図１に示すＧＯＰ構造は、一般的なＧＯＰ構造のＩＢＢＰ構造を示す。ＩＢＢＰ構造では、先頭から順にＩピクチャ，Ｂピクチャ，Ｂピクチャ，Ｐピクチャ，Ｂピクチャ，Ｂピクチャ，Ｐピクチャ，Ｂピクチャ，Ｂピクチャ，Ｐピクチャとなっている。ＭＰＥＧ−２では、Ｂピクチャの参照画像として用いることができる符号化済み画像は、ＰピクチャまたはＩピクチャとして符号化されている必要がある。しかし、ITU-T H.264(ITU-T : International Telecommunication Union Telecommunication Standardization Sector)/ISO/IEC MPEG-4AVC（以下、Ｈ．２６４という）では、加えてＢピクチャで符号化された符号化済み画像の復号画像も参照画像として使用できる。図１に示す矢印は、参照画像を示す前方向もしくは後方向ベクトルを表している。
図２は、ＧＯＰ構造の第２の例を示す図である。
動画像符号化のH.264では、図２に示すようなＧＯＰ構造をとることが可能となっており、符号化効率を上げることができる。図２に示すようなＧＯＰ構造を階層Ｂ構造と呼ぶ。階層Ｂ構造では、先頭から順に、Ｉピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｐとなっている。このように１ＧＯＰ中のピクチャは、ほぼＢピクチャで構成されるようになっており、Ｂピクチャの符号化効率を上げることが、動画像符号化全体の符号化効率を上げることに直結している。図２に示す矢印は、参照画像を示す前方向もしくは後方向ベクトルを表している。
動画像符号化のH.264では、図２に示すようなＧＯＰ構造をとることが可能となっており、符号化効率を上げることができる。図２に示すようなＧＯＰ構造を階層Ｂ構造と呼ぶ。階層Ｂ構造では、先頭から順に、Ｉピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｂピクチャ，Ｐとなっている。このように１ＧＯＰ中のピクチャは、ほぼＢピクチャで構成されるようになっており、Ｂピクチャの符号化効率を上げることが、動画像符号化全体の符号化効率を上げることに直結している。図２に示す矢印は、参照画像を示す前方向もしくは後方向ベクトルを表している。
図３は、動画像符号化装置の構成図の一例である。
動画像符号化装置１１は、予測誤差信号生成部１２、直交変換部１３、量子化部１４、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、イントラ予測画像生成部２０、インター予測画像生成部２１、動きベクトル計算部２２、および予測画像選択部２３を備える。
動画像符号化装置１１は、予測誤差信号生成部１２、直交変換部１３、量子化部１４、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、イントラ予測画像生成部２０、インター予測画像生成部２１、動きベクトル計算部２２、および予測画像選択部２３を備える。
予測誤差信号生成部１２は、複数の連続するピクチャで構成される動画像データのうちの符号化対象である現ピクチャを１６×１６ピクセルの符号化ブロック（以降、マクロブロック（ＭＢ）という）に分割されたマクロブロックデータ（以降、ブロックデータともいう）を得て、そのブロックデータと、予測画像選択部２３から供給される予測画像ピクチャのブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１２は、生成された予測誤差信号を直交変換部１３に渡す。
直交変換部１３は、入力された予測誤差信号を直交変換処理する。直交変換部１３は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１４に供給する。
量子化部１４は、直交変換部１３の出力を設定された量子化パラメータを用いて量子化する。量子化部１４は、符号化することによって当該予測誤差信号の符号量を低減し、エントロピー符号化部１４および逆量子化部１６に供給する。
エントロピー符号化部１５は、量子化部１４からの出力をエントロピー符号化（可変長符号化）して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。エントロピー符号化部１５は、可変長符号を含むビットストリームを出力する。直交変換部１３、量子化部１４、およびエントロピー符号化部１５は、符号化部の一例である。
逆量子化部１６は、量子化部１４の出力を逆量子化してから逆直交変換部１７に供給する。逆直交変換部１７は、逆量子化部１６の出力を逆直交変換処理してから復号画像生成部１８に供給する。これら逆量子化部１６および逆直交変換部１７によって復号化処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
復号画像生成部１８は、インター予測画像生成部２１で動き補償されたピクチャのブロックデータと、逆量子化部１６、及び逆直交変換部１７により復号処理された予測誤差信号とを加算することにより、現画像データピクチャの予測されるブロックデータを再生し、復号画像記憶部１９に出力する。
復号画像記憶部１９は、入力されたブロックデータを新たな参照ピクチャのデータとして記憶し、イントラ予測画像生成部２０、インター予測画像生成部２１及び動きベクトル計算部２２に供給する。
イントラ予測画像生成部２０は、同ピクチャのすでに符号化された周辺画素から予測画像を生成する。
一方、インター予測画像生成部２１は、復号画像記憶部１９から得た参照ピクチャのデータを動きベクトル計算部２２から提供される動きベクトルで動き補償することにより、動き補償された参照ピクチャのブロックデータを生成する。
動きベクトル計算部２２は、現画像データピクチャにおけるブロックデータと、復号画像記憶部から得られる既に符号化された参照ピクチャのブロックデータを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照ピクチャから現ピクチャに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。動きベクトル計算部２２は、求めた動きベクトルをインター予測画像生成部に渡す。
イントラ予測画像生成部２０とインター予測画像生成部２１から出力されたブロックデータは、予測画像選択部２３に入力され、予測画像選択部２３は、どちらか一方の予測画像を選択する。選択されたブロックデータは、予測誤差信号生成部１２に供給される。
次にＲＯＩを用いた符号化について説明する。
図４は、ＲＯＩを示す図である。
図４は、ＲＯＩを示す図である。
図５は、各マクロブロックの量子化パラメータ値を示す図である。
ＲＯＩを用いた符号化方法では、あるピクチャの中で、視聴者の視線情報やオブジェクト検出に基づき、視聴者の興味がある領域（例えば、人の顔）をＲＯＩとして設定する。
一方、動画像符号化はマクロブロックに与える情報量を変えることで、ブロック内の画質を上下させることができる。当然、視聴者の興味があるＲＯＩを高画質化することで、視聴の質を高めることができる。そこでＲＯＩが設定されたマクロブロックに対して、他の領域より大きな情報量を与え、圧縮率を低くする。情報量の制御は、動画像符号化装置において予測誤差信号を直交変換処理した水平及び垂直方向の周波数成分を量子化する際に用いられる量子化パラメータ（ＱＰ）で行うことができる。ＱＰ値が大きいほど量子化ステップが荒く情報量が小さくなる。すなわち、ＲＯＩのＱＰ値をより小さくすることでＲＯＩの高画質化が可能となる。ＱＰ値は、符号化の際の情報の圧縮率を示し、ＱＰ値が大きいほど、圧縮率は高くなり、情報量が小さくなり、画質は低下する。ＱＰ値が小さいほど、圧縮率は低くなり、情報量は大きくなり、画質は向上する。
ＲＯＩを用いた符号化方法では、あるピクチャの中で、視聴者の視線情報やオブジェクト検出に基づき、視聴者の興味がある領域（例えば、人の顔）をＲＯＩとして設定する。
一方、動画像符号化はマクロブロックに与える情報量を変えることで、ブロック内の画質を上下させることができる。当然、視聴者の興味があるＲＯＩを高画質化することで、視聴の質を高めることができる。そこでＲＯＩが設定されたマクロブロックに対して、他の領域より大きな情報量を与え、圧縮率を低くする。情報量の制御は、動画像符号化装置において予測誤差信号を直交変換処理した水平及び垂直方向の周波数成分を量子化する際に用いられる量子化パラメータ（ＱＰ）で行うことができる。ＱＰ値が大きいほど量子化ステップが荒く情報量が小さくなる。すなわち、ＲＯＩのＱＰ値をより小さくすることでＲＯＩの高画質化が可能となる。ＱＰ値は、符号化の際の情報の圧縮率を示し、ＱＰ値が大きいほど、圧縮率は高くなり、情報量が小さくなり、画質は低下する。ＱＰ値が小さいほど、圧縮率は低くなり、情報量は大きくなり、画質は向上する。
図４は、人の顔が写ったピクチャ３１を示し、理解を容易にするためマクロブロックに分割して表しており、顔が写っているマクロブロックがＲＯＩに設定されている。図４において、ＲＯＩに設定されたマクロブロックは灰色で示す。
図５の灰色で示したＲＯＩに設定されたマクロブロックには、図５に示すように量子化パラメータ値として２２が用いられ、ＲＯＩ外のマクロブロックには量子化パラメータ値として３０が用いられる。それにより、ＲＯＩに対応するマクロブロックは、ＲＯＩ外のマクロブロックに比べて圧縮率が低くなり画質が向上する。
次に、人間の視覚特性のひとつであるmotion sharpeningについて説明する。
図６は、motion sharpeningを説明する図である。
図６は、motion sharpeningを説明する図である。
図６の上側は、左から右に表示される順に並んだ実際に表示される画像を示し、高解像度画像(鋭画像)３２−１〜３２−４と低解像度画像(鈍画像)３３−１〜３３−４とが交互に表示されることを示す。図６の下側は、図６の上側に示す鋭画像と鈍画像とが交互に表示される動画を見たときの錯視による各画像の主観画質を示す。
人間の視覚特性について、非特許文献（吹抜敬彦，"鋭/鈍繰返し画像の時空間信号処理による解明"，PCSJ2007/IMPS2007， No.P3-03，(修善寺，平19.10)）を引用すると、「鋭/鈍画像の繰返しにおける錯視について、１枚おきに低解像度画像(鈍画像)があるにも拘らず、動画としてみると一連の高解像度画像(鋭画像)に見える」ことが知られている。すなわち、鮮明な画像（鋭画像）に挟まれた、ぼけ画像(鈍画像)は人間には認識されずに、鮮明な映像として捉えることが出来るというものである。これをmotion sharpeningと呼ぶ。図６の上側に示すような鋭画像３２−１〜３２−４と鈍画像３３−１〜３３−４とが交互に表示される動画を見た場合、図６の下側に示すように、人間は鋭画像３２−１〜３２−４に挟まれた鈍画像３３−１〜３３−４を鋭画像であるように認識する。
図７は、実施の形態に係る動画像符号化装置の構成図である。
動画像符号化装置１０１は、図３に示す動画像符号化装置１１の構成要素に加え、ピクチャ記憶部１１１、動き検出部１２１、動き判定部１３１、ピクチャ位置判定部１４１、注視領域設定部１５１、量子化パラメータ算出部１６１、および直交変換部１７１を備える。図７では、予測誤差信号生成部１２、直交変換部１３、量子化部１４、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、イントラ予測画像生成部２０、インター予測画像生成部２１、動きベクトル計算部２２、および予測画像選択部２３は省略している。動画像符号化装置１０１は、ピクチャの組（ＧＯＰ）に含まれる複数の連続するピクチャの符号化を行う。動画像符号化装置１０１には、ピクチャの組に含まれる複数の連続するピクチャのうちピクチャ符号化対象のピクチャ（現ピクチャ）が符号化順に入力される。
動画像符号化装置１０１は、図３に示す動画像符号化装置１１の構成要素に加え、ピクチャ記憶部１１１、動き検出部１２１、動き判定部１３１、ピクチャ位置判定部１４１、注視領域設定部１５１、量子化パラメータ算出部１６１、および直交変換部１７１を備える。図７では、予測誤差信号生成部１２、直交変換部１３、量子化部１４、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、イントラ予測画像生成部２０、インター予測画像生成部２１、動きベクトル計算部２２、および予測画像選択部２３は省略している。動画像符号化装置１０１は、ピクチャの組（ＧＯＰ）に含まれる複数の連続するピクチャの符号化を行う。動画像符号化装置１０１には、ピクチャの組に含まれる複数の連続するピクチャのうちピクチャ符号化対象のピクチャ（現ピクチャ）が符号化順に入力される。
予測誤差信号生成部１２、直交変換部１３、量子化部１４、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、イントラ予測画像生成部２０、インター予測画像生成部２１、動きベクトル計算部２２、および予測画像選択部２３の機能については、上述の通りであるので省略する。
ピクチャ記憶部１１１は、復号画像記憶部１９と同等の機能を有するが、復号画像ではなく、すでに符号化が完了しているピクチャと同時刻の原画を記憶してもよい。
動き検出部１２１は、動きベクトル計算部２２と同等の機能を有するが、必ずしもマクロブロック単位に処理する必要はなく、ある程度の粒度で動きベクトルを算出すればよいが、ここでは簡単のため、マクロブロック単位で実行されるとする。動き検出部１２１は、ブロックマッチングで参照される参照ピクチャをピクチャ記憶部１１１から選択する。動き検出部１２１には、符号化対象である現ピクチャが入力され、現ピクチャのマクロブロックと参照ピクチャの探索点のブロックから画素差分絶対値和を計算し、その探索点のコストCostを下式で算出する。
Cost = Σ|Current_Pixeli - Pred_Pixeli|
ここで、Current_Pixeliは符号化対象マクロブロックを構成するi番目の画素、Pred_Pixeliは予測画を構成するi番目の画素である。
前回までの全ての探索点の中でコストが最小であった点のコストと、今回の探索点のコストを比較して小さかった場合のみ、動きベクトルを更新する。動きベクトル探索は、予め決められた領域に対して探索処理を行うので、さらに探索が続く場合は次の探索点を導出し繰り返し実行される。最終的に符号化対象マクロブロックで水平ベクトルMV_Xと垂直ベクトルMV_Yの１組が決定される。動き検出部１２１は、水平ベクトルMV_X、垂直ベクトルMV_Y各々の絶対値を計算し、ピクチャ単位の累積値SumMV_X、SumMV_Yを算出する。SumMV_X、SumMV_Yは、下式で算出される。
SumMV_X = Σ|MV_Xj|
SumMV_Y = Σ|MV_Yj|
SumMV_Y = Σ|MV_Yj|
MV_Xjは、ピクチャ内のj番目の符号化対象マクロブロックの水平ベクトルであり、MV_Yjは、ピクチャ内のj番目の符号化対象マクロブロックの垂直ベクトルである。
水平絶対値ベクトルピクチャ累積値SumMV_X、垂直絶対値ベクトルピクチャ累積値SumMV_Yに関して、１マクロブロック当たりの平均ベクトルAvgMV_X、AvgMV_Yを下式で算出する。
AvgMV_X = SumMV_X/MB_Num
AvgMV_Y = SumMV_Y/MB_Num
AvgMV_Y = SumMV_Y/MB_Num
ここで、MB_Numは１ピクチャに含まれるマクロブロックの数である。
動き判定部１３１は、予め与えられた閾値MV_THを用いて下記の条件を満たす場合を動きがあると判定する。
AvgMV_X + AvgMV_Y > MV_TH
すなわち、AvgMV_XとAvgMV_Yの合計が閾値MV_THより大きい場合、動きがあると判定し、当該合計が閾値MV_TH以下の場合、動きがないと判定する。
また、これらの閾値処理は、水平方向、垂直方向別に実施してもよい。
ピクチャ位置判定部１４１は、動き判定部１３１によって動きがあると判定された場合、符号化対象のＧＯＰ構造に基づいてピクチャをＲＯＩ強ピクチャとＲＯＩ弱ピクチャの２つのROIピクチャタイプのいずれかに該当するか判定し、当該ピクチャを判定したROIピクチャタイプに設定する。ピクチャ位置判定部１４１は、例えば、今までに入力されたピクチャの数をカウントし、今回入力されたピクチャが先頭から何番目のピクチャであるか算出する。そして、ピクチャ位置判定部１４１は、ピクチャがＧＯＰ構造において、先頭から何番目のピクチャであるかに応じて、ＲＯＩ強ピクチャかＲＯＩ弱ピクチャか判定する。また、ピクチャ位置判定部１４１は、入力されるピクチャの組のＧＯＰ構造がどのような構造であるか、例えば、ＩＢＢＰかＩＰＰＰであるかの情報をユーザから予め与えられて知っているものとする。ピクチャ位置判定部１４１は、ピクチャタイプ設定部の一例である。
ピクチャ位置判定部１４１は、動き判定部１３１によって動きがあると判定された場合、符号化対象のＧＯＰ構造に基づいてピクチャをＲＯＩ強ピクチャとＲＯＩ弱ピクチャの２つのROIピクチャタイプのいずれかに該当するか判定し、当該ピクチャを判定したROIピクチャタイプに設定する。ピクチャ位置判定部１４１は、例えば、今までに入力されたピクチャの数をカウントし、今回入力されたピクチャが先頭から何番目のピクチャであるか算出する。そして、ピクチャ位置判定部１４１は、ピクチャがＧＯＰ構造において、先頭から何番目のピクチャであるかに応じて、ＲＯＩ強ピクチャかＲＯＩ弱ピクチャか判定する。また、ピクチャ位置判定部１４１は、入力されるピクチャの組のＧＯＰ構造がどのような構造であるか、例えば、ＩＢＢＰかＩＰＰＰであるかの情報をユーザから予め与えられて知っているものとする。ピクチャ位置判定部１４１は、ピクチャタイプ設定部の一例である。
図８は、ＩＢＢＰ構造の場合のＲＯＩピクチャタイプを示す。
ＧＯＰ構造が片方向予測ピクチャ（Ｐピクチャ）と両方向予測ピクチャ（Ｂピクチャ）を含む場合、すなわち図１のようなＧＯＰ構造の場合、図８のようにＰピクチャをＲＯＩ強ピクチャとし、ＢピクチャをＲＯＩ弱ピクチャと設定する。すなわち、先頭のＩピクチャをＲＯＩ強ピクチャとし、２つおきにＲＯＩ強ピクチャを設定し、それ以外を弱ピクチャに設定する。ピクチャ位置判定部１４１は、ＧＯＰ構造がＩＢＢＰ構造である場合に、ピクチャがＧＯＰ構造において先頭から１、４、７、または１０番目のピクチャである場合、当該ピクチャをＲＯＩ強ピクチャに設定する。
ＧＯＰ構造が片方向予測ピクチャ（Ｐピクチャ）と両方向予測ピクチャ（Ｂピクチャ）を含む場合、すなわち図１のようなＧＯＰ構造の場合、図８のようにＰピクチャをＲＯＩ強ピクチャとし、ＢピクチャをＲＯＩ弱ピクチャと設定する。すなわち、先頭のＩピクチャをＲＯＩ強ピクチャとし、２つおきにＲＯＩ強ピクチャを設定し、それ以外を弱ピクチャに設定する。ピクチャ位置判定部１４１は、ＧＯＰ構造がＩＢＢＰ構造である場合に、ピクチャがＧＯＰ構造において先頭から１、４、７、または１０番目のピクチャである場合、当該ピクチャをＲＯＩ強ピクチャに設定する。
図９は、ＩＰＰＰ構造の場合のＲＯＩピクチャタイプを示す。
また、図９のようにＧＯＰ構造が両方向予測ピクチャを含まないＩＰＰＰ構造である場合（Ｐピクチャまたは片方向のみのＢピクチャ）、ＲＯＩ強ピクチャとＲＯＩ弱ピクチャを交互に設定する。すなわち、先頭のＩピクチャをＲＯＩ強ピクチャとし、１つおきにＲＯＩ強ピクチャを設定し、それ以外を弱ピクチャに設定する。ピクチャ位置判定部１４１は、ＧＯＰ構造がＩＰＰＰ構造である場合に、ピクチャがＧＯＰ構造において先頭から１、３、５、７、または９番目のピクチャである場合、当該ピクチャをＲＯＩ強ピクチャに設定する。
また、図９のようにＧＯＰ構造が両方向予測ピクチャを含まないＩＰＰＰ構造である場合（Ｐピクチャまたは片方向のみのＢピクチャ）、ＲＯＩ強ピクチャとＲＯＩ弱ピクチャを交互に設定する。すなわち、先頭のＩピクチャをＲＯＩ強ピクチャとし、１つおきにＲＯＩ強ピクチャを設定し、それ以外を弱ピクチャに設定する。ピクチャ位置判定部１４１は、ＧＯＰ構造がＩＰＰＰ構造である場合に、ピクチャがＧＯＰ構造において先頭から１、３、５、７、または９番目のピクチャである場合、当該ピクチャをＲＯＩ強ピクチャに設定する。
図１０は、階層Ｂ構造の場合のＲＯＩピクチャタイプを示す。
ＧＯＰ構造が時間順序で一部のピクチャのみ参照することで復号できるような階層符号化されている場合、すなわち図２のようなＧＯＰ構造の場合、図１０のように他のピクチャから参照されるピクチャをＲＯＩ強ピクチャとし、他のピクチャから参照されないようなピクチャをＲＯＩ弱ピクチャと設定する。すなわち、先頭のＩピクチャをＲＯＩ強ピクチャとし、１つおきにＲＯＩ強ピクチャを設定し、それ以外を弱ピクチャに設定する。ピクチャ位置判定部１４１は、ＧＯＰ構造が階層Ｂ構造である場合に、ピクチャがＧＯＰ構造において先頭から１、３、５、７、または９番目のピクチャである場合、当該ピクチャをＲＯＩ強ピクチャに設定する。
ＧＯＰ構造が時間順序で一部のピクチャのみ参照することで復号できるような階層符号化されている場合、すなわち図２のようなＧＯＰ構造の場合、図１０のように他のピクチャから参照されるピクチャをＲＯＩ強ピクチャとし、他のピクチャから参照されないようなピクチャをＲＯＩ弱ピクチャと設定する。すなわち、先頭のＩピクチャをＲＯＩ強ピクチャとし、１つおきにＲＯＩ強ピクチャを設定し、それ以外を弱ピクチャに設定する。ピクチャ位置判定部１４１は、ＧＯＰ構造が階層Ｂ構造である場合に、ピクチャがＧＯＰ構造において先頭から１、３、５、７、または９番目のピクチャである場合、当該ピクチャをＲＯＩ強ピクチャに設定する。
図１１は、インターレース走査方式を示す図である。
インターレース走査方式は、図１１の左側に示す１枚のフレームの奇数の走査線（行）のみを集めた奇数フィールドと、図１１の右側に示す残った偶数の走査線のみを集めた偶数フィールドで構成される。水平方向の画面走査を１行おきに走査し、次にその間を埋めるようにまた１行おきに走査し、２回の走査で一画面を構成する。このような動画像信号を符号化するための方式として、フィールド符号化方式が使われる。奇数フィールドをトップフィールドと、偶数フィールドをボトムフィールドと呼ぶ。
インターレース走査方式は、図１１の左側に示す１枚のフレームの奇数の走査線（行）のみを集めた奇数フィールドと、図１１の右側に示す残った偶数の走査線のみを集めた偶数フィールドで構成される。水平方向の画面走査を１行おきに走査し、次にその間を埋めるようにまた１行おきに走査し、２回の走査で一画面を構成する。このような動画像信号を符号化するための方式として、フィールド符号化方式が使われる。奇数フィールドをトップフィールドと、偶数フィールドをボトムフィールドと呼ぶ。
図１２は、フィールド符号化方式の場合のＲＯＩピクチャタイプを示す。
図１２において、ＧＯＰ構造は両方向予測ピクチャを含まないＩＰＰＰ構造である。この場合、図１２のようにトップフィールド、ボトムフィールドのタイプを基準にいずれかのフィールドタイプをＲＯＩ強ピクチャとし、それ以外のフィールドタイプをＲＯＩ弱ピクチャ設定する。すなわち、先頭のＩピクチャをＲＯＩ強ピクチャとし、１つおきにＲＯＩ強ピクチャを設定し、それ以外を弱ピクチャに設定する。ピクチャ位置判定部１４１は、例えば、ピクチャがＧＯＰ構造において先頭から１、３、５、７、または９番目のトップフィールドであるピクチャである場合、当該ピクチャをＲＯＩ強ピクチャに設定する。
図１２において、ＧＯＰ構造は両方向予測ピクチャを含まないＩＰＰＰ構造である。この場合、図１２のようにトップフィールド、ボトムフィールドのタイプを基準にいずれかのフィールドタイプをＲＯＩ強ピクチャとし、それ以外のフィールドタイプをＲＯＩ弱ピクチャ設定する。すなわち、先頭のＩピクチャをＲＯＩ強ピクチャとし、１つおきにＲＯＩ強ピクチャを設定し、それ以外を弱ピクチャに設定する。ピクチャ位置判定部１４１は、例えば、ピクチャがＧＯＰ構造において先頭から１、３、５、７、または９番目のトップフィールドであるピクチャである場合、当該ピクチャをＲＯＩ強ピクチャに設定する。
図７に戻り説明を続ける。
注視領域設定部１５１は、現ピクチャの注視領域（ＲＯＩ）の範囲を示すＲＯＩ座標が入力され、ＲＯＩ座標に基づいてＲＯＩを設定する。ＲＯＩは、例えば、オブジェクト検出により抽出されたオブジェクトを中心とした矩形領域を設定してもよいし、視線センサにより検出された視聴者の視線を中心とした矩形領域を設定してもよい。ＲＯＩ座標は、例えば、オブジェクト検出を実行する装置や視線センサから入力される。このとき矩形領域を示すＲＯＩ座標がマクロブロック（16x16）単位でない場合、すなわち画素座標系の場合は、マクロブロック座標に変換する。例えば、画素座標系において矩形領域の左上座標と対角にある右下座標で表したとし、そのROI座標をそれぞれ(UL_ROIx, UL_ROIy)、(DR_ROIx, DR_ROIy)としたとき、マクロブロック座標系における矩形領域の左上座標と対角にある右下座標であるROI座標(UL_MB_ROIx, UL_MB_ROIy)、(DR_MB_ROIx, DR_MB_ROIy)は、ROIの画素が含まれるように以下のように算出できる。尚、UL_MB_ROIx、UL_MB_ROIy、DR_MB_ROIx、DR_MB_ROIyは、整数であり、小数点以下切り捨てである。
注視領域設定部１５１は、現ピクチャの注視領域（ＲＯＩ）の範囲を示すＲＯＩ座標が入力され、ＲＯＩ座標に基づいてＲＯＩを設定する。ＲＯＩは、例えば、オブジェクト検出により抽出されたオブジェクトを中心とした矩形領域を設定してもよいし、視線センサにより検出された視聴者の視線を中心とした矩形領域を設定してもよい。ＲＯＩ座標は、例えば、オブジェクト検出を実行する装置や視線センサから入力される。このとき矩形領域を示すＲＯＩ座標がマクロブロック（16x16）単位でない場合、すなわち画素座標系の場合は、マクロブロック座標に変換する。例えば、画素座標系において矩形領域の左上座標と対角にある右下座標で表したとし、そのROI座標をそれぞれ(UL_ROIx, UL_ROIy)、(DR_ROIx, DR_ROIy)としたとき、マクロブロック座標系における矩形領域の左上座標と対角にある右下座標であるROI座標(UL_MB_ROIx, UL_MB_ROIy)、(DR_MB_ROIx, DR_MB_ROIy)は、ROIの画素が含まれるように以下のように算出できる。尚、UL_MB_ROIx、UL_MB_ROIy、DR_MB_ROIx、DR_MB_ROIyは、整数であり、小数点以下切り捨てである。
UL_MB_ROIx = UL_ROIx / 16
UL_MB_ROIy = UL_ROIy / 16
DR_MB_ROIx = (DR_ROIx + 15) / 16
DR_MB_ROIy = (DR_ROIy + 15) / 16
UL_MB_ROIy = UL_ROIy / 16
DR_MB_ROIx = (DR_ROIx + 15) / 16
DR_MB_ROIy = (DR_ROIy + 15) / 16
また、注視領域設定部１５１は、ピクチャROI強ピクチャに対し注視領域を設定し、ROI弱ピクチャに対し注視領域を設定しないようにしてもよい。
量子化パラメータ算出部１６１は、従来のTest Model（ＴＭ）５レート制御と同様に、ピクチャ単位で目標情報量の割当を行う。ＴＭ５レート制御については、例えば、
ＵＲＬ：http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlに開示されている。
ＵＲＬ：http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlに開示されている。
量子化パラメータ算出部１６１は、ＴＭ５レート制御を用いて、量子化パラメータの基準値Ｑｊを算出する。
量子化パラメータ算出部１６１は、動き判定部１３１によって動きがないと判定された場合、算出した量子化パラメータの基準値Ｑｊを用いて、あるピクチャにおけるROI内のマクロブロックの符号化に際して用いる量子化パラメータROIQを、下式で算出する。
ROIQ=Qj-ΔROIQ
ここで、ΔROIQは予め決められた、例えばユーザが与えたROI内で実施される適応量子化（高画質化パラメータ）強度である。
また、量子化パラメータ算出部１６１は、あるピクチャにおけるROI外の量子化パラメータNROIQを下式で算出する。
NROIQ=Qj+ΔNROIQ
ただし、ΔNROIQ=ΔROIQ*ROIX/NROIXである。
ここでROIXはROI内の複雑度であり、NROIXはROI外の複雑度である。複雑度は、例えば、画素分散値やブロックマッチングの探索点のコスト、または含まれるブロック数である。
以下、ＧＯＰ構造がＩＰＰＰ構造である場合について説明する。
ＧＯＰ構造がＩＰＰＰ構造であれば、従来ではPピクチャが常に用いられるため、どのピクチャでも量子化パラメータ基準値Qjは一定である。また時間的に近いことからROI内外の複雑度はほぼ等しいことから、すべてのピクチャでROI内はROIQであり、ROI外はNROIQで符号化される。これにより画質は常に一定であることから、motion sharpeningは発生しない。
ＧＯＰ構造がＩＰＰＰ構造であれば、従来ではPピクチャが常に用いられるため、どのピクチャでも量子化パラメータ基準値Qjは一定である。また時間的に近いことからROI内外の複雑度はほぼ等しいことから、すべてのピクチャでROI内はROIQであり、ROI外はNROIQで符号化される。これにより画質は常に一定であることから、motion sharpeningは発生しない。
実施の形態の動画像符号化装置１０１は、motion sharpeningを利用するため以下のように動作する。動き判定部１３１によって動きがあると判定された場合、すなわちピクチャ位置判定部１４１で、ROI強ピクチャとROI弱ピクチャの2つのROIピクチャタイプに分類されている場合を説明する。
ROI強ピクチャのROI内の量子化パラメータSROIQとROI弱ピクチャのROI内の量子化パラメータWROIQは、以下で表される。
SROIQ=Qj-ΔSROIQ
ただし、ΔSROIQ=ΔROIQであり、ΔSROIQは、ユーザから与えられたΔROIQと等しい。
WRIOQj=Qj-ΔWROIQ
ただし、ΔWROIQ<ΔROIQであり、ΔWROIQは、ユーザから与えられたΔROIQより小さい。ΔWROIQは、例えば、ΔROIQから所定値を減算することにより算出される。よって、ΔWROIQ<ΔSROIQが成り立つ。
これにより、SROIQ<WROIQが成り立つ。
次に、ROI強ピクチャのROI外の量子化パラメータをSNROIQとし、ROI弱ピクチャのROI外の量子化パラメータをWNROIQとすると、単位時間のストリームの情報量を一定とするビットレート制御（CBR）を用いることから、ピクチャ内の情報量は一定であること、ROI強ピクチャとROI弱ピクチャは、時間的に近いことからROI内外の複雑度はほぼ等しいことから、下式が成り立つ。
SNROIQj=Qj+ΔSNROIQ
WNROIQj=Qj+ΔWNROIQ
ΔWROIQ<ΔSROIQ
ΔWROIQ<ΔSROIQあり、SNROIQ > WNROIQが成り立つ。
WNROIQj=Qj+ΔWNROIQ
ΔWROIQ<ΔSROIQ
ΔWROIQ<ΔSROIQあり、SNROIQ > WNROIQが成り立つ。
すなわち、下式が成り立つ。
SROIQj<WROIQj
SNROIQj>WNROIQj
SNROIQj>WNROIQj
ここでROI内の画像は、ROI強ピクチャが鋭画像であり、ROI弱ピクチャが鈍画像であり、また、ROI外の画像は、ROI強ピクチャが鈍画像であり、ROI弱ピクチャが鋭画像となる。それにより、ユーザは、motion sharpeningにより主観的にすべてのピクチャで鋭画像としてとらえることができる。すなわち、すべてのピクチャに対して同じ高画質化パラメータ強度を用いて符号化するよりもROI外の画質劣化を低減できる。
また、ROI弱ピクチャに対して、ROIを設定しない場合（若しくはROIを設定しても、マクロブロックがROI内であるかROI外であるかに応じて、量子化パラメータの調整を行わない場合）、ROI弱ピクチャ全体を算出された量子化パラメータの基準値を用いて符号化を行うので、ROI弱ピクチャ全体は、中間程度の鋭画像となる。ROI強ピクチャのROI内は鋭画像、ROI外は鈍画像であるため、ユーザは、motion sharpeningにより主観的には、ROI内は鋭画像、ROI外は中間程度の鋭画像と認識し、ROI外の画質劣化を低減できる。
次に、ＧＯＰ構造がＩＢＢＰ構造である場合について説明する。
Pピクチャの量子化パラメータ基準値をPQ、Bピクチャの量子化パラメータ基準値をBQとすると、PピクチャのROI内の量子化パラメータPROIQとBピクチャのROI内の量子化パラメータBROIQは、以下で表される。
Pピクチャの量子化パラメータ基準値をPQ、Bピクチャの量子化パラメータ基準値をBQとすると、PピクチャのROI内の量子化パラメータPROIQとBピクチャのROI内の量子化パラメータBROIQは、以下で表される。
PROIQj=PQj-ΔPROIQ
ただし、ΔPROIQ=ΔROIQであり、ΔPROIQは、ユーザから与えられたΔROIQと等しい。
BOIQj=BQj-ΔBROIQ
ただし、ΔBROIQ=ΔROIQであり、ΔBROIQは、ユーザから与えられたΔROIQと等しい。よって、ΔBROIQ=ΔPROIQとなる。
PQ < BQであり、ΔPROIQ＝ΔBROIQであってもPROIQ <BROIQが成り立つ。次に、PピクチャのROI外の量子化パラメータPNROIQとし、BピクチャのROI外の量子化パラメータBNROIQとすると、単位時間のストリームの情報量を一定とするビットレート制御（ＣＢＲ）を用いることから、ピクチャ内の情報量は一定であること、時間的に近いことからROI内外の複雑度はほぼ等しいことから、以下が成り立つ。
PNROIQ=PQ+ΔPNROIQ
BNROIQ=PQ+ΔBNROIQ
ΔBNROIQ=ΔPNROIQ
BNROIQ=PQ+ΔBNROIQ
ΔBNROIQ=ΔPNROIQ
PQ < BQであり、ΔPROIQ＝ΔBROIQであってもPNROIQ<BNROIQが成り立つ。すなわち、下式が成り立つ。
PROIQj＝BROIQj
PNROIQj<BNROIQj
PNROIQj<BNROIQj
ここでROI内外の画像は、Pピクチャが鋭画像であり、Bピクチャが鈍画像であり、motion sharpeningにより主観的にはすべてのピクチャで鋭画像としてとらえることができる。
そこで実施の形態では、PピクチャをROI強ピクチャ、BピクチャをROI弱ピクチャに設定する。これによりROI強ピクチャのROI内の画像により多くの情報量を割り当てることもできる。
すなわち、ROI内のマクロブロックの量子化パラメータに関して、下式が成り立つ。
SROIQj=SQj-ΔSROIQ
WROIQj=SQj-ΔWROIQ
ΔWROIQ<ΔSROIQ
WROIQj=SQj-ΔWROIQ
ΔWROIQ<ΔSROIQ
ここで、SQ < WQかつΔWROIQ<ΔSROIQ であるため、SROIQ<WROIQが成り立つ。
また、ROI外のマクロブロックの量子化パラメータに関して、下式が成り立つ。
SNROIQj=SQj-ΔSNROIQ
WNROIQj=SQj-ΔWNROIQ
ΔWNROIQ<ΔSNROIQ
WNROIQj=SQj-ΔWNROIQ
ΔWNROIQ<ΔSNROIQ
ここで、SQ < WQかつΔWNROIQ<ΔSNROIQであるため、
ΔSNROIQ -ΔWNROIQ > SQ-WQのとき、SNROIQ > WNROIQが成り立つ。
ΔSNROIQ -ΔWNROIQ < SQ-WQのとき、SNROIQ < WNROIQが成り立つ。
ΔSNROIQ -ΔWNROIQ < SQ-WQのとき、SNROIQ < WNROIQが成り立つ。
ここでROI内の画像は、ROI強ピクチャが鋭画像であり、ROI弱ピクチャが鈍画像であり、また、ROI外の画像は、どちらかが鈍画像であり、どちらかが鋭画像となることで、ユーザはmotion sharpeningにより主観的にはすべてのピクチャで鋭画像としてとらえることができる。さらに、ΔROI<ΔSNROIQであることから、従来と比較してよりROI強ピクチャのROI内に情報を割り当てることができる。また、ΔWNROIQ<ΔROIであることから、従来と比較してよりROI弱ピクチャのROI外に情報を割り当てることができる。特にSNROIQ < WNROIQにすることで、ROI弱ピクチャのROI外の情報量割り当てをmotion sharpeningに効果的に利用できる。
図１３は、実施の形態に係る動画像符号化処理のフローチャートである。
ステップＳ５０１は、ステップＳ５２３に対応するループの始端であり、入力されたピクチャ若しくは入力された複数のピクチャのうちから符号化されていないピクチャが符号化順に１つ選択される。以下、選択されたピクチャは符号化対象ピクチャと称する。
ステップＳ５０１は、ステップＳ５２３に対応するループの始端であり、入力されたピクチャ若しくは入力された複数のピクチャのうちから符号化されていないピクチャが符号化順に１つ選択される。以下、選択されたピクチャは符号化対象ピクチャと称する。
ステップＳ５０２において、注視領域設定部１５１は、ＲＯＩ座標を受信し、符号化対象ピクチャのＲＯＩ座標を設定、すなわち符号化対象ピクチャ内の各マクロブロックがＲＯＩ内かＲＯＩ外であるかを設定する。また、注視領域設定部１５１は、ピクチャ位置判定部１４１の判定結果に基づいて、符号化対象ピクチャがＲＯＩ弱ピクチャである場合、符号化対象ピクチャのＲＯＩ座標を設定しなくてもよい。
ステップＳ５０３において、動き検出部１２１は、動きベクトル探索を行い、１マクロブロック当たりの平均ベクトルAvgMV_X、AvgMV_Yを算出し、動き判定部１３１に出力する。
ステップＳ５０４において、量子化パラメータ算出部１６１は、適応量子化（高画質化パラメータ）強度ΔROIQを受信し、ROI内の量子化パラメータ減算値ΔROIQとして設定する。
ステップＳ５０５において、量子化パラメータ算出部１６１は、ROI外の量子化パラメータ加算値ΔNROIQを算出する。
ステップＳ５０６において、動き判定部１３１は、動き検出部１２１の出力に基づいて、動きがあるか判定し、動きがある場合、制御はステップＳ５０７に進み、動きが無い場合、制御はＳ５１６に進む。
ステップＳ５０７において、ピクチャ位置判定部１４１は、符号化対象ピクチャがＲＯＩ強ピクチャであるか判定し、符号化対象ピクチャがＲＯＩ強ピクチャである場合、符号化対象ピクチャをＲＯＩ強ピクチャに設定し、制御はステップＳ５０８に進む。符号化対象ピクチャがＲＯＩ強ピクチャで無い場合（すなわち、ＲＯＩ弱ピクチャである場合）、ピクチャ位置判定部１４１は、符号化対象ピクチャをＲＯＩ弱ピクチャに設定し、制御はステップＳ５１２に進む。
ステップＳ５０８において、量子化パラメータ算出部１６１は、ROI強ピクチャのROI内の量子化パラメータ減算値ΔSROIQを算出する。ΔSROIQの算出方法は、上述の通りである。
ステップＳ５０９において、量子化パラメータ算出部１６１は、ROI強ピクチャのROI外の量子化パラメータ減算値ΔSNROIQを算出する。ΔSNROIQの算出方法は、上述の通りである。
ステップＳ５１０において、量子化パラメータ算出部１６１は、ΔROIQ=ΔSROIQとする。
ステップＳ５１１において、量子化パラメータ算出部１６１は、ΔNROIQ=ΔSNROIQとする。
ステップＳ５１２において、量子化パラメータ算出部１６１は、ROI弱ピクチャのROI内の量子化パラメータ減算値ΔWROIQを算出する。ΔWROIQの算出方法は、上述の通りである。
ステップＳ５１３において、量子化パラメータ算出部１６１は、ROI弱ピクチャのROI外の量子化パラメータ減算値ΔWNROIQを算出する。ΔWNROIQの算出方法は、上述の通りである。
ステップＳ５１４において、量子化パラメータ算出部１６１は、ΔROIQ=ΔWROIQとする。
ステップＳ５１５において、量子化パラメータ算出部１６１は、ΔNROIQ=ΔWNROIQとする。
ステップＳ５１６は、ステップＳ５２２に対応するループの始端であり、符号化対象ピクチャのマクロブロックのうち符号化処理を行っていないマクロブロックを１つ選択する。選択されたマクロブロックは符号化対象マクロブロックと称する。
ステップＳ５１７において、量子化パラメータ算出部１６１は、ＴＭ５レート制御を用いて、量子化パラメータの基準値Ｑｊを算出する。
ステップＳ５１８において、量子化パラメータ算出部１６１は、符号化対象マクロブロックがROIに含まれるか判定し、符号化対象マクロブロックがROI内である場合、制御はステップＳ５１９に進み、ROI外である場合、制御はステップＳ５２０に進む。
ステップＳ５１９において、量子化パラメータ算出部１６１は、符号化対象マクロブロックの符号化の際に用いられる量子化パラメータROIQ（=Qj-ΔROIQ）を算出する。
ステップＳ５２０において、量子化パラメータ算出部１６１は、符号化対象マクロブロックの符号化の際に用いられる量子化パラメータNROIQ（=Qj+ΔNROIQ）を算出する。
ステップＳ５２１において、直行変換部１３、量子化部１４、およびエントロピー符号化部は、量子化パラメータ算出部１６１により算出されて量子化パラメータROIQまたはNROIQを用いて、符号化対象マクロブロックを符号化する。
また、符号化対象ピクチャが弱ＲＯＩピクチャである場合、また符号化対象ピクチャにＲＯＩ座標が設定されていない場合、ステップＳ５１８〜Ｓ５２０を省略し、量子化パラメータの基準値Ｑｊを用いて符号化対象マクロブロックを符号化してもよい。
ステップＳ５２２において、符号化対象ピクチャの全てのマクロブロックの符号化処理が完了した場合、制御はステップＳ５２３に進み、符号化対象ピクチャで符号化処理が完了していないマクロブロックがある場合、制御はステップＳ５１６に戻る。
ステップＳ５２３において、入力された全てのピクチャの符号化処理が完了した場合、処理は終了し、符号化処理が完了していないピクチャがある場合、制御はステップＳ５０１に戻る。
実施の形態に係る動画像符号化装置によれば、符号化した動画像の主観画質を向上させることができる。
図１４は、情報処理装置（コンピュータ）の構成図である。
動画像符号化装置１１、１０１は、例えば、ハードウェア回路として実装することもでき、また情報処理装置（コンピュータ）１を用いて実装することもできる。
動画像符号化装置１１、１０１は、例えば、ハードウェア回路として実装することもでき、また情報処理装置（コンピュータ）１を用いて実装することもできる。
情報処理装置１は、ＣＰＵ２、メモリ３、入力装置４、出力装置５、記憶部６、記録媒体駆動部７、及びネットワーク接続装置８を備え、それらはバス９により互いに接続されている。
ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置である。ＣＰＵ２は、予測誤差信号生成部１２、直交変換部１３、量子化部１４、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、イントラ予測画像生成部２０、インター予測画像生成部２１、動きベクトル計算部２２、および予測画像選択部２３として動作する。また、ＣＰＵ２は、動き検出部１２１、動き判定部１３１、ピクチャ位置判定部１４１、注視領域設定部１５１、および量子化パラメータ算出部１６１として動作する。
メモリ３は、プログラム実行の際に、記憶部６（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ＲＯＭ)やRandom Access Memory(ＲＡＭ)等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。
この場合、可搬記録媒体１０等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
入力装置４は、ユーザ又はオペレータからの指示や情報の入力、情報処理装置１で用いられるデータの取得等に用いられる。入力装置４は、例えば、キーボード、マウス、タッチパネル、カメラ、またはセンサ等である。
出力装置５は、ユーザ又はオペレータへの問い合わせや処理結果を出力したり、ＣＰＵ２による制御により動作する装置である。出力装置５は、例えば、ディスプレイ、またはプリンタ等である。
記憶部６は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置１は、記憶部６に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３に読み出して使用する。メモリ３または記憶部６は、復号画像記憶部１９およびピクチャ記憶部１１１に対応する。
記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ−ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３に読み出して使用する。
ネットワーク接続装置８は、Local Area Network（ＬＡＮ）やWide Area Network（ＷＡＮ）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インターフェースである。ネットワーク接続装置８は、通信ネットワークを介して接続された装置へデータの送信または通信ネットワークを介して接続された装置からデータを受信する。
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定するピクチャタイプ設定部と、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定する注視領域設定部と、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くするパラメータ算出部と、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する符号化部と、
を備える動画像符号化装置。
（付記２）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定するピクチャタイプ設定部と、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定する注視領域設定部と、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの圧縮率を示す第３のパラメータを前記第１のパラメータより高く且つ前記第２のパラメータより低くするパラメータ算出部と、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、前記第３のパラメータを用いて前記２のピクチャを符号化する符号化部と、
を備える動画像符号化装置。
（付記３）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置が実行する動画像符号化方法であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する
処理を備える動画像符号化方法。
（付記４）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置が実行する動画像符号化方法であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの圧縮率を示す第３のパラメータを前記第１のパラメータより高く且つ前記第２のパラメータより低くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータを用いて前記２のピクチャを符号化する
処理を備える動画像符号化方法。
（付記５）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行うコンピュータに、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する
処理を実行させる動画像符号化プログラム。
（付記６）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行うコンピュータに、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの圧縮率を示す第３のパラメータを前記第１のパラメータより高く且つ前記第２のパラメータより低くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータを用いて前記２のピクチャを符号化する
処理を実行させる動画像符号化プログラム。
（付記１）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定するピクチャタイプ設定部と、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定する注視領域設定部と、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くするパラメータ算出部と、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する符号化部と、
を備える動画像符号化装置。
（付記２）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定するピクチャタイプ設定部と、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定する注視領域設定部と、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの圧縮率を示す第３のパラメータを前記第１のパラメータより高く且つ前記第２のパラメータより低くするパラメータ算出部と、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、前記第３のパラメータを用いて前記２のピクチャを符号化する符号化部と、
を備える動画像符号化装置。
（付記３）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置が実行する動画像符号化方法であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する
処理を備える動画像符号化方法。
（付記４）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置が実行する動画像符号化方法であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの圧縮率を示す第３のパラメータを前記第１のパラメータより高く且つ前記第２のパラメータより低くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータを用いて前記２のピクチャを符号化する
処理を備える動画像符号化方法。
（付記５）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行うコンピュータに、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する
処理を実行させる動画像符号化プログラム。
（付記６）
ピクチャの組に含まれる複数の連続するピクチャの符号化を行うコンピュータに、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの圧縮率を示す第３のパラメータを前記第１のパラメータより高く且つ前記第２のパラメータより低くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータを用いて前記２のピクチャを符号化する
処理を実行させる動画像符号化プログラム。
１１ 動画像符号化装置
１２ 予測誤差信号生成部
１３ 直交変換部
１４ 量子化部
１５ エントロピー符号化部
１６ 逆量子化部
１７ 逆直交変換部
１８ 復号画像生成部
１９ 復号画像記憶部
２０ イントラ予測画像生成部
２１ インター予測画像生成部
２２ 動きベクトル計算部
２３ 予測画像選択部
１０１ 動画像符号化装置
１１１ ピクチャ記憶部
１２１ 動き検出部
１３１ 動き判定部
１４１ ピクチャ位置判定部
１５１ 注視領域設定部
１６１ 量子化パラメータ算出部
１２ 予測誤差信号生成部
１３ 直交変換部
１４ 量子化部
１５ エントロピー符号化部
１６ 逆量子化部
１７ 逆直交変換部
１８ 復号画像生成部
１９ 復号画像記憶部
２０ イントラ予測画像生成部
２１ インター予測画像生成部
２２ 動きベクトル計算部
２３ 予測画像選択部
１０１ 動画像符号化装置
１１１ ピクチャ記憶部
１２１ 動き検出部
１３１ 動き判定部
１４１ ピクチャ位置判定部
１５１ 注視領域設定部
１６１ 量子化パラメータ算出部
Claims (6)
- ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定するピクチャタイプ設定部と、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定する注視領域設定部と、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くするパラメータ算出部と、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する符号化部と、
を備える動画像符号化装置。 - ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定するピクチャタイプ設定部と、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定する注視領域設定部と、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの圧縮率を示す第３のパラメータを前記第１のパラメータより高く且つ前記第２のパラメータより低くするパラメータ算出部と、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、前記第３のパラメータを用いて前記２のピクチャを符号化する符号化部と、
を備える動画像符号化装置。 - ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置が実行する動画像符号化方法であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する
処理を備える動画像符号化方法。 - ピクチャの組に含まれる複数の連続するピクチャの符号化を行う動画像符号化装置が実行する動画像符号化方法であって、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの圧縮率を示す第３のパラメータを前記第１のパラメータより高く且つ前記第２のパラメータより低くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータを用いて前記２のピクチャを符号化する
処理を備える動画像符号化方法。 - ピクチャの組に含まれる複数の連続するピクチャの符号化を行うコンピュータに、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第２のピクチャの注視領域の圧縮率を示す第３のパラメータを前記第２のピクチャの注視領域外の領域の圧縮率を示す第４のパラメータより高くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータおよび前記第４のパラメータを用いて前記２のピクチャを符号化する
処理を実行させる動画像符号化プログラム。 - ピクチャの組に含まれる複数の連続するピクチャの符号化を行うコンピュータに、
前記複数の連続するピクチャを先頭から所定の枚数おきに第１のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されなかったピクチャを第２のタイプのピクチャに設定し、
前記第１のタイプのピクチャに設定されたピクチャのうちの第１のピクチャの注視領域を設定し、
前記第１のピクチャの注視領域の圧縮率を示す第１のパラメータを前記第１のピクチャの注視領域外の領域の圧縮率を示す第２のパラメータより低くし、
前記第１のピクチャの次の前記第２のタイプのピクチャに設定された第２のピクチャの圧縮率を示す第３のパラメータを前記第１のパラメータより高く且つ前記第２のパラメータより低くし、
前記第１のパラメータおよび前記第２のパラメータを用いて前記１のピクチャを符号化し、
前記第３のパラメータを用いて前記２のピクチャを符号化する
処理を実行させる動画像符号化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016225505A JP2018082407A (ja) | 2016-11-18 | 2016-11-18 | 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016225505A JP2018082407A (ja) | 2016-11-18 | 2016-11-18 | 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018082407A true JP2018082407A (ja) | 2018-05-24 |
Family
ID=62197275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016225505A Pending JP2018082407A (ja) | 2016-11-18 | 2016-11-18 | 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018082407A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021034800A (ja) * | 2019-08-20 | 2021-03-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 圧縮装置、移動体、圧縮方法、及びプログラム |
| JP2022525580A (ja) * | 2019-03-28 | 2022-05-18 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | 異なる圧縮レベルでのビデオコーディングのためのサイド情報 |
| CN115002512A (zh) * | 2022-05-23 | 2022-09-02 | 北京市商汤科技开发有限公司 | 视频转码方法及装置、电子设备和存储介质 |
-
2016
- 2016-11-18 JP JP2016225505A patent/JP2018082407A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022525580A (ja) * | 2019-03-28 | 2022-05-18 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | 異なる圧縮レベルでのビデオコーディングのためのサイド情報 |
| JP7449941B2 (ja) | 2019-03-28 | 2024-03-14 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | 異なる圧縮レベルでのビデオコーディングのためのサイド情報 |
| JP2021034800A (ja) * | 2019-08-20 | 2021-03-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 圧縮装置、移動体、圧縮方法、及びプログラム |
| CN115002512A (zh) * | 2022-05-23 | 2022-09-02 | 北京市商汤科技开发有限公司 | 视频转码方法及装置、电子设备和存储介质 |
| CN115002512B (zh) * | 2022-05-23 | 2023-11-28 | 北京市商汤科技开发有限公司 | 视频转码方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10110902B2 (en) | Method and apparatus for encoding/decoding motion vector | |
| JP6632456B2 (ja) | 画像符号化データ | |
| JP7012809B2 (ja) | 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 | |
| RU2628212C1 (ru) | Устройство кодирования видео, устройство декодирования видео, способ кодирования видео и способ декодирования видео | |
| EP2214415A1 (en) | A dual prediction video encoding and decoding method and a device | |
| KR20070011225A (ko) | 인터-코딩에 사용된 기준 화상의 수를 최소화하기 위한방법 및 장치 | |
| JP2018107580A (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム | |
| JP3866624B2 (ja) | 動画像符号化方法，動画像復号方法，動画像符号化装置および動画像復号装置 | |
| US9036918B2 (en) | Image processing apparatus and image processing method | |
| JP2018082407A (ja) | 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム | |
| KR20080041972A (ko) | 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법 | |
| JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| JP2011091772A (ja) | 画像符号化装置 | |
| KR101691553B1 (ko) | 영상 복호화 방법 및 장치 | |
| KR101882949B1 (ko) | 영상 부호화 방법 및 장치, 및 컴퓨터로 판독가능한 기록매체 | |
| KR101783965B1 (ko) | 영상 복호화 방법 및 장치 | |
| KR101477545B1 (ko) | 움직임 벡터를 복호화하는 방법 | |
| KR101477546B1 (ko) | 움직임 벡터를 복호화하는 장치 | |
| JP2013098711A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| JP2012080212A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| JP2012186762A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| KR101617796B1 (ko) | 영상 복호화 방법 및 장치 | |
| KR101606812B1 (ko) | 영상 복호화 방법 | |
| US20130215966A1 (en) | Image encoding method, image decoding method, image encoding device, image decoding device | |
| KR101454664B1 (ko) | 움직임 벡터를 복호화하는 방법 |