JP2014179921A - 動画像符号化装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】サンプル比が同一の複数の色成分の画像で構成される動画像を、成分ごとに独立してインター予測およびイントラ予測を行う動画像符号化装置において、画質劣化を防止する。
【解決手段】
動画像符号化装置であって、複数の色成分の各色成分について、インター予測及びイントラ予測のいずれの予測モードを用いるかを判定する判定手段と、判定手段が判定した各色成分の予測モードを比較して、予測モードを補正すべき色成分を決定する予測モード比較手段と、予測モード比較手段が決定した色成分の予測モードを補正する予測モード補正手段とを備え、予測モード比較手段は、複数の色成分のうちのいずれかの色成分の予測モードがインター予測である場合に、予測モードがイントラ予測である他の色成分の中から予測モードを補正すべき色成分を決定し、予測モード補正手段が、決定された色成分の予測モードをインター予測に補正する。
【選択図】 図１

Description

本発明は、動画像符号化装置及びその制御方法、プログラムに関するものである。

被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式が一般的に用いられている。近年では、画面内の空間的な冗長性を利用した画面内予測等の、より複雑な予測方式を用いるなどして、更に高い圧縮率で圧縮可能なＨ．２６４方式なども用いられるようになっている。

ところで、上記のような圧縮符号化方式では、主に４：２：０フォーマットと呼ばれる標準化された入力信号フォーマットが使われている。４：２：０とは、ＲＧＢなどのカラー動画像信号を輝度成分(Y)と２つの色差成分(Cb、Cr)に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、符号化を行う前に色差成分のダウンサンプリングを行うことで符号化対象源の情報量削減を行っていた。

また、放送素材映像など業務向けには、色差成分を水平方向にのみ半分にダウンサンプリングする４：２：２フォーマットが用いられることもある。さらに近年、ディスプレイの高解像度化や高階調化に伴い、色差成分をダウンサンプリングすることなく、輝度成分と同じサンプル数のまま符号化する符号化方式の開発も進んでいる。なお、色差成分のサンプル数が輝度成分と同じフォーマットは、４：４：４フォーマットと呼ばれる。

４：２：０フォーマットの符号化においては、輝度成分に対してのみ動き補償予測のための情報が多重化され、色差成分については、輝度成分の情報を用いて動き補償を行うことになっている。４：２：０フォーマットでは、画像情報のほとんどが輝度成分に集約されていることと、輝度信号に比べて色差成分の方が歪みの視認性が低く、映像再現性に関する寄与が小さいという特徴のもとに成り立つものである。

一方、４：４：４フォーマットでは、３つの成分が同程度に画像情報をもつため、４：２：０フォーマットのように、画像情報が１成分に大きく依存していることを前提とした従来の符号化方式とは異なる符号化方式が望ましい。この４：４：４フォーマットに対応した符号化方式の提案として、特許文献１では、輝度信号について行った予測モードを、他の色差成分についても同様に適用して符号化するという手段が開示されている。

特開２０１０−４５８４３号公報

しかしながら、特許文献１に開示の方法では、すべての色成分の予測モードを輝度成分の予測モードと共通にしているため、色成分によって画柄が異なるような入力映像の場合に画質劣化を必ずしも解決できない。特に、ＲＧＢ表色系の場合には、人間の視覚特性上、劣化が目立ちやすい輝度成分がすべての色成分に含まれているため、再生画像としての劣化がさらに目立ちやすくなるおそれがある。

そこで、本発明では上述の点に鑑み、サンプル比が同一の複数の色成分の画像で構成される動画像を、成分ごとに独立してインター予測およびイントラ予測を行う動画像符号化装置において、画質劣化を防止することを目的とする。

上述の課題を解決するための本発明は、サンプル比が同一の複数の色成分の画像で構成される動画像を、成分ごとに独立してインター予測またはイントラ予測を行って符号化する動画像符号化装置であって、
前記複数の色成分の各色成分について、インター予測及びイントラ予測のいずれの予測モードを用いるかを判定する判定手段と、
前記判定手段が判定した前記各色成分の予測モードを比較して、予測モードを補正すべき色成分を決定する予測モード比較手段と、
前記予測モード比較手段が決定した色成分の予測モードを補正する予測モード補正手段と、
を備え、
前記予測モード比較手段は、前記複数の色成分のうちのいずれかの色成分の予測モードが前記インター予測である場合に、予測モードが前記イントラ予測である他の色成分の中から前記予測モードを補正すべき色成分を決定し、
前記予測モード補正手段が、前記決定された色成分の予測モードを前記インター予測に補正することを特徴とする。

本発明によれば、サンプル比が同一の複数の色成分の画像で構成される動画像を、成分ごとに独立してインター予測およびイントラ予測を行う動画像符号化装置において、色ズレ等による画質劣化を低減できる。

発明の実施形態に係る動画像符号化装置のブロック図。 発明の実施形態に係るフレームメモリのデータ構成の一例を示す図。 発明の第１の実施形態に係る予測モードの比較および補正処理のフローチャート。 発明の第１の実施形態に係る予測モード補正処理のフローチャート。 発明の第１の実施形態を適用した場合の予測モードの補正処理の説明図。 発明の第２の実施形態に係る予測方向の比較および補正処理のフローチャート。 発明の第２の実施形態に係る予測方向の補正処理のフローチャート。 発明の第２の実施形態を適用した場合の予測方向の補正処理の説明図。 発明の第３の実施形態に係る動き補償ブロックサイズの比較および補正処理のフローチャート。 発明の第３の実施形態に係る動き補償ブロックサイズの補正処理のフローチャート。 発明の第３の実施形態を適用した場合の補償ブロックサイズの補正処理の説明図。

（第１の実施形態）
＜システム構成＞
図１は、発明の実施形態に対応する動画像符号化装置のシステム構成を示す。当該符号化装置は、撮像部１０１、色成分分離部１０２、フレームメモリ１０３、予測モード比較部１０４、予測モード補正部１０５、第一の色成分の符号化器１１７、第二の色成分の符号化器１１８、第三の色成分の符号化器１１９、ストリーム多重化部１２０、から構成されている。

図１の動画像符号化装置において、撮像素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

各色成分の符号化器はその構成が同一となっている。具体的に、整数変換部１０６、量子化部１０７、エントロピー符号化部１０８、符号量制御部１０９、イントラ予測部１１０、イントラ・インター判定部１１１、動き予測部１１２、予測画像生成部１１３、ループ内フィルタ１１４、逆整数変換部１１５、逆量子化部１１６を含むことができる。

撮像部１０１は、レンズやＣＣＤ／ＣＭＯＳ等の撮像センサを備えるカメラ部、光学部を含み、レンズから取り込んだ光信号をセンサにて電気信号へ変換した後、符号化に使用するフォーマットに変換したデジタル画像データとして後段の回路へ伝送する。色成分分離部１０２は、撮像部１０１から読み出したデジタル画像データを、ＲＧＢ三原色のそれぞれの色成分に分離して、フレームメモリ１０３に格納する。

フレームメモリ１０３は、複数枚の画像データを蓄積可能な大容量メモリであり、色成分分離部から転送された画像データや、後述する動き予測処理で用いる参照画像データを格納する。図２には、フレームメモリ１０３の領域分割の例を示した。フレームメモリ１０３は、入力画像の領域と、後述する参照画像の領域とが色成分毎に複数フレーム分だけ格納できるように分割され配置されるものとする。図２では、入力画像がＮフレーム分、参照画像がＭフレーム分だけ格納される場合を示している。

予測モード比較部１０４は、各色成分の符号化器１１７、１１８、１１９内のイントラ・インター判定部１１１から予測モードの判定結果と、イントラ予測時およびインター予測時の画面間差分値を取得し、それぞれ比較する。予測モード補正部１０５は、予測モード比較部１０４の比較結果に基づき、一つ以上の色成分の予測モードを、元とは異なるモード値に補正する制御信号を、再びイントラ・インター判定部１１１に通知する。整数変換部１０６は、隣接画素同士で類似性が高いという空間的相関を利用して、画像情報の冗長度を削減するために、ブロック単位で画素データの空間解像度変換を行って空間周波数領域に変換する。

量子化部１０７は、後段の符号量制御部１０９より設定された目標符号量に基づいて量子化係数を算出し、整数変換部１０６で空間周波数領域に変換された係数データに対して量子化処理を行う。量子化した係数データは、符号化ビットストリームを出力するエントロピー符号化部１０８と、参照画像や予測画像を算出するために逆量子化部１１６の両方へ出力される。エントロピー符号化部１０８は、量子化部１０７にて量子化された係数データや、インター予測の場合には動き予測で用いたベクトル値について情報圧縮を行う。当該情報圧縮処理には、ＣＡＢＡＣ（コンテキスト適応算術符号化）方式等のビットデータの出現確率の偏りを利用したエントロピー符号化を用いることができる。

符号量制御部１０９は、エントロピー符号化部１０８で発生した符号化データの符号量を取得し、ビットレートやＶＢＶ等のバッファモデルに基づいて１フレーム当たりの目標符号量を算出した後、量子化部１０７に設定するフィードバック制御を行う。イントラ予測部１１０は、フレームメモリ１０３の入力画像データから符号化対象ブロックの画像データを読み出し、符号化対象ブロック周辺の画素データから生成される複数のイントラ予測画像との相関を計算する。そして、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部１１１へ通知する。

イントラ・インター判定部１１１は、イントラ予測部１１０、動き予測部１１２、予測モード補正部１０５からの出力の結果に基づき、符号化する予測方式を選択決定する。具体的には、符号化対象画像ブロックについてイントラ予測部１１０で計算した予測画像と、動き予測部１１２で求めた動きベクトルとを用いて参照画像から生成した予測画像について、符号化対象画像との画面間差分値とそれぞれ導出して比較する。または、イントラ予測部１１０や、動き予測部１１２で画面間差分値を求めておき、イントラ・インター判定部で評価値として取得して比較する方法でもよい。そして画面間差分値の比較の結果、差分値が小さい方の予測モードを符号化予測モードと判定して予測画像生成部１１３に出力する。また、選択した予測方式と、各予測モード使用時の画面間差分値を予測モード比較部１０４に送信する。ただし、前述の予測モード補正部１０５から予測モード設定が有効となっている場合は、上述イントラ・インター選択結果よりも優先して、当該設定モード値を出力する。

動き予測部１１２は、フレームメモリ１０３に格納した符号化対象となる原画像と、すでに符号化済みの画像データから、ブロック単位で画素データ同士のパターンマッチングを行って動きベクトルを算出する。予測画像生成部１１３は、イントラ・インター判定部１１１で選択された予測モードに応じて予測画像を生成する。生成された予測画像は整数変換部１０６前段の減算器で、入力画像との差分画像算出や、ローカルデコード画像生成のために逆整数変換部１１５後段の加算器に出力される。ループ内フィルタ１１４は、逆整数変換部１１５から出力された画像データと予測画像とを加算した画像データに対して、符号化歪みを軽減するフィルタ処理を施す。

逆整数変換部１１５は、逆量子化部１１６から出力された係数データを画素データに逆整数変換する。逆量子化部１１６は、量子化部１０７にて量子化した係数データを、再度量子化係数を乗じて係数データを計算する。ストリーム多重化部１２０は、上述の第一から第三までの符号化器（１１７、１１８、１１９）が出力した符号化データを、一本のビットストリームデータに多重化する。

本発明の実施形態においては説明のために、ＲＧＢ三原色の画像入力を前提として、色差成分のサンプル比が同一の４：４：４フォーマットにおいて第一の色成分をＲ成分、第二の色成分をＧ成分、そして第三の色成分をＢ成分としている。しかし、特に本発明において、この例に限定されるものではない。尚、本発明では特に理の無い限り、１６行１６列の画素データの集まりマクロブロックと呼称し、当該マクロブロック単位で動き予測等の符号化処理を行うものとする。

以上が本発明の第１の実施形態におけるシステム構成である。続いて、当該システム構成を用いた予測モードの比較判断および補正処理について説明する。

＜予測モード比較補正フロー＞
以下、図３および図４のフローチャートを参照して、本実施形態における予測モード比較補正処理を説明する。当該処理は、システム構成の予測モード比較部１０４および予測モード補正部１０５にて実行する。該フローチャートに対応する処理は、例えば、予測モード比較部１０４および予測モード補正部１０５として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まず、Ｓ３０１では、予測モード比較部１０４が第一の色成分（Ｒ成分）の符号化器１１７におけるイントラ・インター判定部１１１から、予測モードＰｒｅｄＴｙｐＲを取得する。同様にＳ３０２およびＳ３０３にて、予測モード比較部１０４が第二の色成分（Ｇ成分）の符号化器１１８と、第三の色成分（Ｂ成分）の符号化器１１９で求めた予測モードＰｒｅｄＴｙｐＧ，ＰｒｅｄＴｙｐＢをそれぞれ取得する。

続くＳ３０４で、予測モード比較部１０４は上記ステップにて取得した予測モード全てがイントラ予測モードであるか否かを比較判断する。すべての色成分においてイントラ予測モード判定であった場合（Ｓ３０４の「ＹＥＳ」）、予測モード補正処理はスキップし、そのまま符号化出力を行うものとして、本フローを終了する。一方、一つ以上の色成分についてインター予測モード判定結果となった場合（Ｓ３０４の「ＮＯ」）、順次イントラ予測モード判定した色成分の符号化対象ブロックについて予測モード補正を行う。

まずＲ成分がイントラ予測モードだった場合（Ｓ３０５で「ＹＥＳ」）、Ｓ３０８で、当該符号化対象ブロックについて、図４を用いて後述する予測モード補正処理に基づき予測モード補正部１０５が符号化出力する予測モードを補正する。Ｒ成分がインター予測モードであった場合（Ｓ３０５で「ＮＯ」）、次の処理ステップＳ３０６に進む。Ｇ成分がイントラ予測モードだった場合（Ｓ３０６で「ＹＥＳ」）、Ｓ３０９で当該符号化対象ブロックについて、図４を用いて後述する予測モード補正処理に基づき予測モード補正部１０５が符号化出力する予測モードを補正する。Ｇ成分がインター予測モードであった場合（Ｓ３０６で「ＮＯ」）、次の処理ステップＳ３０７に進む。Ｂ成分がイントラ予測モードだった場合（Ｓ３０７で「ＹＥＳ」）、Ｓ３１０で当該符号化対象ブロックについて、図４を用いて後述する予測モード補正処理に基づき予測モード補正部１０５が符号化出力する予測モードを補正する。Ｂ成分がインター予測モードであった場合（Ｓ３０７のＦＡＬＳＥ）、本動作フローを終了する。

次に図４を参照して、予測モードの補正が必要と判断された場合に図３のＳ３０８、Ｓ３０９およびＳ３１０において実行される予測モード補正処理を説明する。

まずＳ４０１において予測モード比較部１０４は、予測モードを補正前、つまりイントラ予測モード使用時における、符号化画像ブロック領域での原画像と予測画像との画素値差分の絶対値和ＳＡＤ（Sum Of Absolute Difference）を取得する。次にＳ４０２において、予測モード比較部１０４は予測モード補正後、つまりインター予測モード使用時におけるＳＡＤを取得する。上記ＳＡＤ値は、前述のイントラ・インター判定部１１１において使用しているパラメタ値を流用する。

次にＳ４０３において予測モード比較部１０４は、上記インター予測とイントラ予測を行った時のＳＡＤの差分値を計算し、差分値が予め定めた閾値未満であるかを判断する。ＳＡＤ差分が所定値以上の場合（Ｓ４０３で「ＮＯ」）、予測モードの補正はせず本補正フローを終了する。この場合、予測モードを変更すると、原画像との差分が大きくなりすぎてしまい、画質劣化が逆に目立ってしまうおそれがあるためである。

一方、ＳＡＤ差分が所定値未満の場合（Ｓ４０３で「ＹＥＳ」）、予測モード比較部１０４は予測モードの補正を行う決定をし、Ｓ４０４で予測モード補正部１０５は当該色成分の予測モードをイントラ予測からインター予測に補正する。その後、インター予測により動きベクトルと参照画像との予測残差が符号化して出力される。

以上が、本発明により予測モードの比較と補正処理の全体的な流れである。当該補正処理のように、色成分毎に独立して動き予測を行った場合において、全色成分の同一マクロブロック位置の予測モードをインター予測モードへと優先的に採用することで、再生画像としての画質劣化を目立ちにくくする効果が期待できる。

＜予測モード補正適用例＞
続いて、本発明による上記動作フローを適用した適用例について、図５を用いて説明する。同図中（a）の予測モード補正前の例では、飛行機付近に位置する符号化対象ブロックＡについては、Ｇ成分とＢ成分が、フレーム間動き予測を行ったインター予測モードで、Ｒ成分だけが画面内符号化をしたイントラ予測モードになった場合を示してある。同様に車のタイヤ付近に位置する符号化対象ブロックＢについては、Ｇ成分とＲ成分はインター予測モード、Ｂ成分はイントラ予測モードと判断した場合を例としている。

上述の処理を適用することで、同一のマクロブロック位置で共通なインター予測モードとなるように補正した結果、同図（ｂ）のような予測モードへ変更される。すなわち、符号化対象マクロブロックＡのＲ成分と、符号化対象マクロブロックＢのＢ成分については、実際に符号化出力する予測モードをイントラからインター予測へと補正する。よって、例えば画面内の動きが大きく、周辺画素がインター予測で符号化され、符号化対象の一か所だけイントラ予測マクロブロックが局在する場合でも、予測モードを補正することで隣接画素との空間的相関が少ないことに起因する画質劣化を防止することができる。

（第２の実施形態）
上述の第１の実施形態では、色成分毎の予測モードを比較し、３つの色成分の内１つ以上インター予測モードとなる色成分があった場合、イントラ予測モード判定された色成分の符号化ブロックを、インター予測モードに補正して符号化する方法を説明した。

これに対して第２の実施形態では、すべての色成分がイントラ予測モード判定された場合（図３のＳ３０４で「ＹＥＳ」）に、さらにイントラ予測の予測方向である予測モードを比較して、共通の予測方向へ補正することを特徴とする。これにより、同一の予測モードであっても予測方向が色成分によって異なる場合を検出し、同じ予測方向へ揃えることができるので、イントラ予測を行った符号化ブロックについても画質劣化を抑制できる。

以下、本発明の第２の実施形態について、図６および図７のフローチャートを用いて説明する。なお、第２の実施形態の説明において、上述した第１の実施形態と共通する部分について、適宜説明を省略する。該フローチャートに対応する処理は、例えば、予測モード比較部１０４および予測モード補正部１０５として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

第２の実施形態を実現するシステム構成は、図１に示したものと基本的に同一である。但し、イントラ・インター判定部１１１は、イントラ予測・インター予測の判定結果に加え、イントラ予測を行った予測モード情報を予測モード比較部１０４へ通知する機能を備えることを特徴とする。また、予測モード比較部１０４では、すべての全色成分がイントラ予測を採用している場合（図１のＳ３０４で「ＹＥＳ」の場合に相当）に、以下で説明するイントラ予測モード比較を行う。その他のブロック機能については、第１の実施形態と同様であるため説明を省略する。

＜予測方向比較補正フロー＞
以下、本発明の第２の実施形態において特徴となる予測方向比較処理について、図６のフローチャートを用いて説明する。図６のフローチャートは、図３のフローチャートに本実施形態に対応する処理工程Ｓ６０１からＳ６０７を追加したものである。Ｓ３０１からＳ３１０までの動作は基本的に第１の実施形態と同様である。

予測方向比較補正フローは、実施形態１と同様にＳ３０１のＲ成分の予測モードを取得するステップから開始する。予測モード比較部１０４がＳ３０１からＳ３０３を順次実行し、各色成分の予測モードを取得した後、Ｓ３０４で全色成分において予測モードがイントラ予測モードであったかを判断する。Ｓ３０４の判定で一つ以上の色成分において、インター予測となった場合（Ｓ３０４で「ＮＯ」）、第１の実施形態に記載のＳ３０５からＳ３１０の補正フローに基づいて、順次イントラ予測モード判定した色成分の符号化対象ブロックについて予測モード補正を行う。

一方、全色成分でイントラ予測モードを採用している場合（Ｓ３０４で「ＹＥＳ」）、予測モード比較部１０４はＳ６０１でＲ成分のイントラ予測モードＩｎｔｒａＭｏｄＲを取得する。続いて、Ｓ６０２でＧ成分のイントラ予測モードＩｎｔｒａＭｏｄＧを、Ｓ６０３でＢ成分のイントラ予測モードＩｎｔｒａＭｏｄＢをそれぞれ取得する。Ｈ．２６４規格の場合、イントラ予測モードは、符号化対象ブロックの上または左に位置する既に符号化済みのマクロブロックの画素から、符号化対象ブロック内の画素を予測する方向として、９つの予測方向（イントラ予測モード）を選択できる。そこで、予測モード比較部１０４は、Ｓ６０４でイントラ予測モードを各成分について比較し、予測方向がすべて同じか否かを判断する。

もし予測方向がすべて同じ場合（Ｓ６０４で「ＹＥＳ」）、当該予測モード補正は不要と判断して当該フローを終了する。一方、いずれかの予測方向が異なる場合（Ｓ６０４で「ＮＯ」）は、Ｓ６０５に進み予測モード比較部１０４は３つともすべて異なる予測方向かを判断する。もし３つの色成分の予測モードのうち、いずれか一つだけ予測方向が異なる場合（Ｓ６０５で「ＮＯ」）、Ｓ６０６に移行する。

Ｓ６０６で予測モード補正部１０５は、異なる予測方向を、他２つの色成分の予測方向に補正する後述の予測モード補正処理を行う。一方、全色成分の色成分の予測モードが異なる場合（Ｓ６０５で「ＹＥＳ」）は、Ｓ６０７に移行する。Ｓ６０７で予測モード補正部１０５は、予め定めた色成分の予測モードに揃えるように、他の色成分の予測モードを補正する後述の予測モード補正処理を行う。Ｓ６０７での補正は、例えば、人間の視覚特性上劣化や変化が目立ちやすいＧ成分について重みづけして、ＲやＢ成分の予測モードをＧ成分の予測モードに揃える等が有効であるが、特にこの手法に限定されるものではない。

次に図７を参照して、Ｓ６０６およびＳ６０７における予測モード補正処理を説明する。まず予測モード比較部１０４は、Ｓ７０１において予測モード補正前の、符号化画像ブロック領域での原画像と予測画像との画素値差分の絶対値和ＳＡＤを取得する。同様にして、Ｓ７０２では予測モード比較部１０４は予測モード補正後のＳＡＤを取得する。上記ＳＡＤ値は、前述のイントラ・インター判定部１１１において、使用しているパラメタ値を流用する。

続いて、Ｓ７０３で予測モード比較部１０４はイントラ予測モード補正前後のＳＡＤの差分値を計算し、予め定めた閾値未満であるかを判断する。ＳＡＤ差分が所定値以上の場合（Ｓ７０３で「ＮＯ」）、予測モードを変更すると原画像との差分が大きくなりすぎてしまい、画質劣化が逆に目立ってしまう虞がある。よって、この場合はイントラ予測モードの補正はせず本補正フローを終了する。一方、ＳＡＤ差分が所定値未満の場合（Ｓ７０３で「ＹＥＳ」）は、予測モード比較部１０４はイントラ予測モードの補正を行う決定をする。そして、Ｓ７０４で予測モード補正部１０５が当該色成分のイントラ予測モードを補正し、補正後のイントラ予測モードにより符号化が行われる。

以上が、本実施形態におけるイントラ予測方向の比較及び補正処理の全体的な流れである。

＜予測方向補正処理の適用例＞
続いて、本発明による上記動作フローを適用した例について、図８を用いて説明する。同図中（a）の予測方向補正前の例では、イントラ・インター判定の結果、全色成分のマクロブロックとしてすべてイントラ予測が採用されたことを前提としている。その上で、Ｇ成分とＢ成分が左の画素から予測を行う予測モード１、Ｒ成分だけが左上の画素から予測を行う予測モード４を選択した場合を示してある。

この状況で上述したイントラ予測方向比較補正フローを適用して、共通のイントラ予測モード、予測方向となるように補正した結果、同図（ｂ）のような予測モードへ変更される。すなわち、Ｒ成分のイントラ予測モードが、全色成分が同じになるように予測モード４から予測モード１へと補正される。

本実施形態によれば、色成分毎に画面内予測を行った場合に、全色成分でイントラ予測をしたマクロブロックについても、予測方向へ揃えることで画質劣化の防止が実現できるようになる。

（第３の実施形態）
上述の第２の実施形態では、全ての色成分についてイントラ予測判定した時、さらにブロック内の予測方向を比較し、共通の予測方向になるように予測方向モード値を補正する方法を説明した。これに対して第３の実施形態では、全ての色成分の予測モードがインター予測の場合、符号化マクロブロックを構成する動き補償を行うブロックサイズを比較し、共通の動き補償ブロックサイズとなるようにブロックサイズを補正することを特徴とする。

これにより、第１の実施形態に記載のイントラ・インター判定の結果、全色成分がインター予測だった場合において、動き予測ブロックサイズ補正できるようになるので、画質劣化を抑制できる効果が期待できる。

以下、本発明の第３の実施形態について、図を用いて説明する。なお、第３の実施形態の説明において、上述した第１および第２の実施形態と共通する部分について、適宜説明を省略する。

第３の実施形態を実現するシステム構成は、図１に示したものと基本的に同一である。但し、イントラ・インター判定部１１１は、イントラ予測・インター予測の判定結果に加え、インター予測を行ったマクロブロックの動き予測ブロックのブロックサイズ情報を予測モード比較部１０４へ通知する機能を備えることを特徴とする。また、予測モード比較部１０４では、すべての色成分がインター予測を採用している時、以下に説明する動きブロックサイズ比較を更に行うことを特徴とする。その他のブロック機能については、第１の実施形態と同様であるため説明を省略する。

＜動き補償ブロックサイズ比較補正フロー＞
以下、本発明の第３の実施形態において特徴となる動き補償ブロックサイズ比較処理について、図９および図１０のフローチャートを用いて説明する。該フローチャートに対応する処理は、例えば、予測モード比較部１０４および予測モード補正部１０５として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。なお、本実施形態に対応する予測方向の比較及び補正処理は、上述の実施形態に記載の補正処理を実施後、さらに実行される処理として定義されてもよい。本実施形態に対応する処理は、第１及び第２の実施形態と同様に、予測モード比較部１０４がＳ３０１のＲ成分の予測モードを取得するステップから開始する。

予測モード比較部１０４はＳ３０１からＳ３０３を順次実行して各色成分の予測モードを取得した後、Ｓ９０１で全色成分において予測モードが２つ以上インター予測モードであったかを判断する。ただし当該ステップで取得する予測モード値は、イントラ・インター判定部１１１から通知された予測モード値ではなく、第１及び第２の実施形態で記載した補正後の予測モード値を使用することとする。従って、全色成分においてイントラ予測となった場合や、インター予測が１成分のみ選択された場合（Ｓ９０１で「ＮＯ」）は、当該補正処理フローを終了する。

一方、２つ以上の色成分でインター予測を選択した場合（Ｓ９０１の「ＹＥＳ」）は、予測モード比較部１０４はＳ９０２からＳ９０４を順次実行し、各色成分についてマクロブロック中の動きブロックのブロックサイズを示すパーティションタイプを取得する。なお、Ｈ．２６４規格の場合、パーティションタイプは、１６ｘ１６画素から４ｘ４画素の７種類が選択できる。また、マクロブロックサイズが８ｘ８の場合は、８ｘ８，８ｘ４，４ｘ８，４ｘ４のサブマクロブロックにさらに分割して動き予測を行うことができる。

本実施形態では、Ｓ９０５で予測モード比較部１０４が上記パーティションタイプを各成分について比較し、動き予測ブロックサイズがすべて同じか否かを判断する。なお、図中には記載していないが、イントラ予測の色成分については、当該パーティションタイプの取得および比較ステップの対象とはしない。すべてのパーティションタイプが同じ場合（Ｓ９０５で「ＹＥＳ」）、補正の必要がないのでそのまま処理を終了する。

一方、パーティションタイプが色成分間で異なる場合（Ｓ９０５で「ＮＯ」）、さらにＳ９０６に移行して予測モード比較部１０４は色成分間パーティションタイプがすべて異なるかを判断する。上記判断ステップの結果、すべてのインター予測を行った色成分のパーティションタイプのうち、いずれか一つの色成分だけが他の２つと異なる場合（Ｓ９０６で「ＮＯ」）は、Ｓ９０７で予測モード補正部１０５は当該色成分のパーティションタイプを、後述する方法で他の色成分のパーティションタイプと一致するように補正する。一方、すべてのパーティションタイプが異なる場合（Ｓ９０６で「ＹＥＳ」）は、Ｓ９０８で予測モード補正部１０５は予め定めた色成分のパーティションタイプに、他の色成分のパーティションタイプを揃える補正をする。例えば、視覚特性上劣化が目立ちやすいＧ成分を優先して、当該Ｇ色成分以外の色成分のパーティションタイプをＧ成分のパーティションタイプに揃える方法がある。また、パーティションサイズが最も大きい色成分に揃える方法もある。さらには、各成分の動き補償に用いる動きベクトルを比較し、他の動きベクトルと類似度が最も高い（例えば、ベクトル方向が最も類似している）動きベクトルを有する色成分に揃える方法等がある。これらはいずれも有効な方法であるが、本発明では特にこれらに限定されるわけではない。

上記においてＳ９０７の処理は、ＲＧＢの各色についてインター予測が選択され、かつ、そのうちの１つのパーティションタイプが他と異なる場合にのみ実行される処理である。一方、Ｓ９０８の処理は、ＲＧＢの各色についてインター予測が選択され、かつ、パーティションタイプが互いに異なる場合、及び、ＲＧＢのいずれか２色についてインター予測が選択され、かつ、パーティションタイプが互いに異なる場合に実行される処理である。

次に図１０を参照して、Ｓ９０７及びＳ９０８における補正処理を説明する。まず、予測モード比較部１０４は、Ｓ１００１においてパーティションサイズ補正前の、符号化画像ブロック領域での原画像と予測画像との画素値差分の絶対値和ＳＡＤを取得する。同様に、Ｓ１００２で予測モード比較部１０４はパーティションサイズ補正後のＳＡＤを取得する。上記ＳＡＤ値は、前述のイントラ・インター判定部１１１において、使用しているパラメタ値を流用する。

続いて、Ｓ１００３において予測モード比較部１０４はパーティションサイズ補正前後のＳＡＤの差分値を計算し、予め定めた閾値未満であるかを判断する。ＳＡＤ差分が所定値以上の場合（Ｓ１００３で「ＮＯ」）、パーティションサイズを変更すると、原画像との差分が大きくなりすぎてしまい、画質劣化が逆に目立ってしまう虞がある。この場合はパーティションサイズ補正はせず本補正フローを終了する。一方、ＳＡＤ差分が所定値未満の場合（Ｓ１００３で「ＹＥＳ」）は、予測モード比較部１０４は、パーティションサイズの変更を決定し、Ｓ１００４で予測モード補正部１０５が当該色成分のパーティションサイズを補正し、補正後のパーティションサイズによりインター符号化を行う。

なお、パーティションタイプ補正後は、再度動き予測によるベクトル探索を行っても良いし、ベクトル再探索は行わず他の色成分で導出したベクトル値をそのまま当該色成分のベクトル値として流用し符号化しても良いものとする。

以上が、本実施形態におけるパーティションタイプ補正処理の全体的な流れである。

＜パーティションタイプ補正処理の適用例＞
続いて、本発明による上記動作フローを適用した例について、画面間差分と動き予測モードについて図１１を用いて説明する。同図中（a）の動き補償ブロックサイズ補正前の例では、全色成分のマクロブロックとしてすべてインター予測が採用されたことを前提として、Ｇ成分とＢ成分が１６ｘ１６のマクロブロックが、１６ｘ８のパーティション２つに分割され、Ｒ成分だけが８ｘ８と４ｘ４画素の小さなパーティションに分割されて動き動きベクトルを探索した場合を示してある。上述した動き補償ブロックサイズ比較補正フローを適用することによって、全成分共通の動き補償ブロックサイズへ補正した結果、同図（ｂ）のような動き補償ブロックサイズへ変更され符号化される。すなわち、Ｒ成分の動き補償ブロックサイズが、全色成分が同じになるように１６ｘ８画素のパーティション２つから構成されるマクロブロックへと補正される。

本実施形態によれば、色成分毎にそれぞれ動き予測を行った場合に、全色成分でインター予測をしたマクロブロックについても動き補償ブロックサイズを揃えることで画質劣化の防止が実現できるようになる。

Claims (14)

1. サンプル比が同一の複数の色成分の画像で構成される動画像を、成分ごとに独立してインター予測またはイントラ予測を行って符号化する動画像符号化装置であって、
   前記複数の色成分の各色成分について、インター予測及びイントラ予測のいずれの予測モードを用いるかを判定する判定手段と、
   前記判定手段が判定した前記各色成分の予測モードを比較して、予測モードを補正すべき色成分を決定する予測モード比較手段と、
   前記予測モード比較手段が決定した色成分の予測モードを補正する予測モード補正手段と、
   を備え、
   前記予測モード比較手段は、前記複数の色成分のうちのいずれかの色成分の予測モードが前記インター予測である場合に、予測モードが前記イントラ予測である他の色成分の中から前記予測モードを補正すべき色成分を決定し、
   前記予測モード補正手段が、前記決定された色成分の予測モードを前記インター予測に補正することを特徴とする動画像符号化装置。
2. 前記予測モード比較手段は、予測モードが前記イントラ予測である前記他の色成分のそれぞれについて、前記イントラ予測による予測画像と符号化対象画像との画面間差分値、及び、前記インター予測による予測画像と符号化対象画像との画面間差分値に基づいて、
   前記イントラ予測における画面間差分値と前記インター予測における画面間差分値との差が、所定値未満の場合に、該色成分を前記補正すべき色成分に決定し、
   前記画面間差分値の差が、前記所定値以上の場合は、該色成分を前記補正すべき色成分に決定しない
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記予測モード比較手段は、前記複数の色成分の予測モードが全て前記イントラ予測であった場合に、前記複数の色成分のそれぞれについて、イントラ予測のための予測方向を更に比較して、前記予測方向を補正すべき色成分を更に決定し、
   前記予測モード補正手段は、前記予測モード比較手段が決定した色成分の前記イントラ予測における前記予測方向を補正することを特徴とする請求項１または２に記載の動画像符号化装置。
4. 前記予測モード比較手段は、前記複数の色成分の予測方向のうち、１つのみが他と異なる場合に、該予測方向が異なる１つの色成分を、前記補正すべき色成分と決定し、
   前記予測モード補正手段は、前記決定された色成分の前記予測方向を、他の色成分の予測方向と一致させるように補正することを特徴とする請求項３に記載の動画像符号化装置。
5. 前記予測モード比較手段は、前記複数の色成分の予測方向が互いに異なる場合に、所定の色成分以外の他の色成分を、前記補正すべき色成分と決定し、
   前記予測モード補正手段は、前記決定された色成分の前記予測方向を、前記所定の色成分の予測方向と一致させるように補正することを特徴とする請求項３又は４に記載の動画像符号化装置。
6. 前記予測モード比較手段は、補正すべきと決定しようとする色成分について、補正前の予測方向を用いたイントラ予測による予測画像と符号化対象画像との画面間差分値、及び、補正後の予測方向を用いたイントラ予測による予測画像と符号化対象画像との画面間差分値に基づいて、
   補正前後の画面間差分値の差が、所定値未満の場合に、該色成分を前記補正すべき色成分に決定し、
   前記画面間差分値の差が、前記所定値以上の場合は、該色成分を前記補正すべき色成分に決定しない
   ことを特徴とする請求項３乃至５のいずれか１項に記載の動画像符号化装置。
7. 前記予測モード比較手段は、前記複数の色成分の予測モードの２つ以上が前記インター予測の場合に、前記インター予測における動き補償のためのブロックサイズを比較して、前記ブロックサイズを補正すべき色成分を決定し、
   前記予測モード補正手段は、前記予測モード比較手段が決定した色成分の前記ブロックサイズを補正することを特徴とする請求項１乃至６のいずれか１項に記載の動画像符号化装置。
8. 前記予測モード比較手段は、前記複数の色成分の予測モードの全てが前記インター予測の場合であって、かつ、前記複数の色成分の前記ブロックサイズのうち１つのみが他と異なる場合に、該ブロックサイズが異なる１つの色成分を、前記補正すべき色成分と決定し、
   前記予測モード補正手段は、前記決定された色成分の前記ブロックサイズを、他の色成分のブロックサイズと一致させるように補正することを特徴とする請求項７に記載の動画像符号化装置。
9. 前記予測モード比較手段は、前記複数の色成分の前記ブロックサイズが互いに異なる場合に、所定の色成分以外の他の色成分を、前記補正すべき色成分と決定し、
   前記予測モード補正手段は、前記決定された色成分の前記ブロックサイズを、前記所定の色成分のブロックサイズと一致させるように補正することを特徴とする請求項７に記載の動画像符号化装置。
10. 前記予測モード比較手段は、前記複数の色成分の前記ブロックサイズが互いに異なる場合に、ブロックサイズが最も大きい色成分以外の他の色成分を、前記補正すべき色成分と決定し、
    前記予測モード補正手段は、前記決定された色成分の前記ブロックサイズを、前記ブロックサイズが最も大きい色成分のブロックサイズと一致させるように補正することを特徴とする請求項７に記載の動画像符号化装置。
11. 前記予測モード比較手段は、前記複数の色成分の前記ブロックサイズが互いに異なる場合に、各色成分のインター予測の動き補償に用いられる動きベクトルを比較し、他の動きベクトルと類似度が最も高くなる動きベクトルを有する色成分以外の他の色成分を、前記補正すべき色成分と決定し、
    前記予測モード補正手段は、前記決定された色成分の前記ブロックサイズを、前記類似度が最も高くなる動きベクトルを有する色成分のブロックサイズと一致させるように補正することを特徴とする請求項７に記載の動画像符号化装置。
12. 前記予測モード比較手段は、補正すべきと決定しようとする色成分について、補正前のブロックサイズを用いたインター予測による予測画像と符号化対象画像との画面間差分値、及び、補正後のブロックサイズを用いたインター予測による予測画像と符号化対象画像との画面間差分値に基づいて、
    補正前後の画面間差分値の差が、所定値未満の場合に、該色成分を前記補正すべき色成分に決定し、
    前記画面間差分値の差が、前記所定値以上の場合は、該色成分を前記補正すべき色成分に決定しない
    ことを特徴とする請求項７乃至１１のいずれか１項に記載の動画像符号化装置。
13. サンプル比が同一の複数の色成分の画像で構成される動画像を、成分ごとに独立してインター予測またはイントラ予測を行って符号化する動画像符号化装置の制御方法であって、
    判定手段が、前記複数の色成分の各色成分について、インター予測及びイントラ予測のいずれの予測モードを用いるかを判定する判定工程と、
    予測モード比較手段が、前記判定工程において判定された前記各色成分の予測モードを比較して、予測モードを補正すべき色成分を決定する予測モード比較工程と、
    予測モード補正手段が、前記予測モード比較工程で決定された色成分の予測モードを補正する予測モード補正工程と、
    を備え、
    前記予測モード比較工程では、前記複数の色成分のうちのいずれかの色成分の予測モードが前記インター予測である場合に、予測モードが前記イントラ予測である他の色成分の中から前記予測モードを補正すべき色成分が決定され、
    前記予測モード補正工程では、前記決定された色成分の予測モードが前記インター予測に補正されることを特徴とする動画像符号化装置の制御方法。
14. コンピュータを、サンプル比が同一の複数の色成分の画像で構成される動画像を、成分ごとに独立してインター予測またはイントラ予測を行って符号化する動画像符号化装置として動作させるためのプログラムであって、該動画像符号化装置は、
    前記複数の色成分の各色成分について、インター予測及びイントラ予測のいずれの予測モードを用いるかを判定する判定手段と、
    前記判定手段が判定した前記各色成分の予測モードを比較して、予測モードを補正すべき色成分を決定する予測モード比較手段と、
    前記予測モード比較手段が決定した色成分の予測モードを補正する予測モード補正手段と、
    を備え、
    前記予測モード比較手段は、前記複数の色成分のうちのいずれかの色成分の予測モードが前記インター予測である場合に、予測モードが前記イントラ予測である他の色成分の中から前記予測モードを補正すべき色成分を決定し、
    前記予測モード補正手段が、前記決定された色成分の予測モードを前記インター予測に補正することを特徴とする、プログラム。

Images