JP2022145499A - 符号化装置及び方法 - Google Patents

Abstract

【課題】 １つの画像内で異なる予測画像を用いて符号化された場合に、予測画像の差に起因する画質劣化を目立たないようにすること。【解決手段】 入力画像のブロック毎に符号化処理を行う符号化装置であって、インター予測、イントラ予測、マルチ参照予測のうちいずれかの予測モードを用いてブロックごとに符号化処理を実行する符号化手段と、符号化処理の結果を符号化データとして出力する出力手段と、ブロックをインター予測モードで符号化した場合の第１の符号化コストおよびイントラ予測モードで符号化した場合の第２の符号化コストを所定の関数を用いて算出する算出手段と、を備え、符号化手段は、第１の符号化コストと第２の符号化コストの差分が閾値以下の場合、マルチ参照予測モードを用いて符号化処理を実行し、差分が閾値より大きい場合、第１の符号化コストと第２の符号化コストのうち小さい方の予測モードを用いて符号化処理を実行する。【選択図】図１

Description

本発明は、符号化装置及び方法に関し、特に、予測符号化技術に関する。

動画像を効率的に伝送または記録及び再生するために、動画像データを圧縮符号化する動画像符号化装置と、復号伸長する動画像復号装置が用いられている。動画像符号化方式として、現在では動画像データの空間的かつ時間的な冗長性を削減するハイブリッド符号化を利用した、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）や、Ｈ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が主流となっている。さらに、次世代の動画像符号化方式として、Ｈ．２６６／ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の国際標準規格化が進行している（非特許文献１参照）。

当該動画像符号化方式においては、１画面をＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれる小さなブロック単位に分割して、当該ブロック単位で符号化/復号処理を行う。また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られるローカルデコード画像に基づいて予測画像が生成され、予測画像を入力画像から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある。）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、及び、画面内予測（イントラ予測）が選択可能である。

インタースライスにおいては、一般的に予測誤差の値や、予測誤差の符号量等をベースとしたコスト関数を用いて得られるコスト値（符号化コスト）の比較により、イントラ予測、インター予測のどちらを用いて符号化するかが判定される。ここで、イントラ予測とインター予測では予測画像が異なるため、符号化対象画像の画面内でイントラ予測とインター予測のブロックが互いに隣接する場合、予測画像の差が画質差として視認される場合がある。一般的に人間の視覚特性は平坦な部分の変化に気づきやすいため、画像の平坦部等においては、上述した予測画像の差に起因するイントラ予測とインター予測のブロックの画質差がより視覚的に目立ち、画質の劣化と視認されてしまう場合がある。

この問題を解決するために、特許文献１には次のような技術が提案されている。すなわち、各ブロックの平坦度を示すアクティビティが低いほど、イントラ予測モードが選択されにくくなるようコスト値を補正し、画像の平坦部においてイントラ予測とインター予測のブロックを隣接しにくくする。

特開２００６－０９４０８１号公報 "Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ １０）"，ＪＶＥＴ－Ｓ２００１－ｖＨ，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ （ＪＶＥＴ）ｏｆ ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１，２０２０ "Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｆｏｒ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ａｎｄ Ｔｅｓｔ Ｍｏｄｅｌ １０（ＶＴＭ１０）"，ＪＶＥＴ－Ｓ２００２－ｖ１，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ （ＪＶＥＴ）ｏｆ ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１，２０２０

しかしながら、特許文献１に記載の技術は、イントラ予測とインター予測のブロックの隣接を完全に防止するものではない。つまり、特許文献１に記載の技術を用いても、画像の平坦度合いに応じて、イントラ予測とインター予測のブロックの隣接は生じうる。この場合、イントラ予測とインター予測のブロックの画質差が、画質の劣化として視認されてしまう場合がある。

本発明は上記問題点を鑑みてなされたものであり、１つの画像内で異なる予測画像を用いて符号化された場合に、予測画像の差に起因する画質劣化を目立たないようにすることを目的とする。

上記目的を達成するために、入力画像をブロックに分割し、前記入力画像のブロック毎に符号化処理を行う本発明の符号化装置は、ブロックに対してインター予測を行うことによりインター予測画像を生成し、前記ブロックと前記インター予測画像との差分を符号化するインター予測モードと、ブロックに対してイントラ予測を行うことによりイントラ予測画像を生成し、前記ブロックと前記イントラ予測画像との差分を符号化するイントラ予測モードと、ブロックから生成されたインター予測画像とイントラ予測画像とを合成することによりマルチ予測画像を生成し、前記ブロックと前記マルチ予測画像の差分を符号化するマルチ参照予測モードのうちいずれかの予測モードを用いてブロックごとに符号化処理を実行する符号化手段と、前記符号化処理の結果を符号化データとして出力する出力手段と、ブロックを前記インター予測モードで符号化した場合の第１の符号化コストおよび前記ブロックをイントラ予測モードで符号化した場合の第２の符号化コストそれぞれを所定の関数を用いて算出する算出手段と、を備え、前記符号化手段は、前記第１の符号化コストと前記第２の符号化コストの差分が閾値以下の場合、前記ブロックに対して前記マルチ参照予測モードを用いて符号化処理を実行し、前記第１の符号化コストと前記第２の符号化コストの差分が前記閾値より大きい場合、前記ブロックに対して前記第１の符号化コストと前記第２の符号化コストのうち小さい方の予測モードを用いて符号化処理を実行する。

本発明によれば、１つの画像内で異なる予測画像を用いて符号化された場合に、予測画像の差に起因する画質劣化を目立たないようにすることができる。

本発明の実施形態における画像符号化装置の構成を示すブロック図。 イントラ予測モードの種類（モード番号）を示す模式図。 第１の実施形態における動き補償部の動作を示すフローチャート。 第１の実施形態におけるマルチ参照予測部の重み係数の決定方法を示すフローチャート。 第１の実施形態における特徴検出部の内部構成例を示すブロック図。 第１の実施形態における予測モード選択部における予測モード決定方法を示すフローチャート。 ＨＤＲ記録、表示時のガンマカーブの一例を示す図。 第２の実施形態における特徴検出部の内部構成例を示すブロック図。 第２の実施形態における予測モード選択部における予測モード決定方法を示すフローチャート。 第１の実施形態の変形例における予測モード選択部における予測モード決定方法を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、本実施形態における予測符号化を行う画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、例えば、撮像装置に収容される画像処理エンジン内に配置される。
フレームバッファ１０１には、符号化対象の入力画像が格納されており、加算器１０２、イントラ予測部１１２、動き補償部１１４、及び特徴検出部１１６に対して、必要とするブロックサイズの画素を含む画像データを出力する。

加算器１０２は、フレームバッファ１０１から出力された画像データと、後述する予測モード選択部１１７から出力される予測画像データとの差分画像データを生成し、直交変換部１０３へ出力する。
直交変換部１０３は、差分画像データに対して離散コサイン変換（ＤＣＴ）や、離散サイン変換（ＤＳＴ）等の直交変換を行い、変換係数を生成して量子化部１０４へ出力する。
量子化部１０４は、量子化制御部１０６が出力する量子化ステップサイズ（または量子化パラメータ）に従い、直交変換部１０３から出力された変換係数を量子化し、エントロピー符号化部１０５、及び逆量子化部１０７へ出力する。

エントロピー符号化部１０５は、量子化後の変換係数や動きベクトル、及び復号処理に必要なパラメータ等を可変長符号化し、所定のフォーマットに整形して符号化ストリームとして出力する。また、エントロピー符号化部１０５は、ブロックごとに発生符号量を算出し、量子化制御部１０６へ出力する。
量子化制御部１０６は、エントロピー符号化部１０５から出力された発生符号量と予め設定された目標符号量から、ブロックごとの量子化ステップサイズ、及び量子化パラメータＱｐを決定し、量子化部１０４、及び予測モード選択部１１７へ出力する。

逆量子化部１０７は、量子化部１０４から出力された量子化後の変換係数に対して逆量子化を行い、変換係数を生成して逆直交変換部１０８へ出力する。
逆直交変換部１０８は、逆量子化部１０７から出力された変換係数に対して、直交変換部１０３が適用した直交変換の逆変換を適用し、差分画像データを生成して加算器１０９へ出力する。
加算器１０９は、逆直交変換部１０８で生成された差分画像データと、後述する予測モード選択部１１７から出力される予測画像データを加算し、局所的に復号された参照画像データを生成して参照フレームバッファ１１０、及びループフィルタ１１１へ出力する。

ループフィルタ１１１は、デブロッキングフィルタや適応ループフィルタ等を含み、加算器１０９から出力される参照画像データのブロックノイズを除去し、参照フレームバッファ１１０へ出力する。なお、上述のように加算器１０９から出力される参照画像データは、ループフィルタ１１１を介さずに参照フレームバッファ１１０に格納することができる。つまり、ループフィルタ１１１によるフィルタリング処理は省略することができる。
参照フレームバッファ１１０は、供給される参照画像データを記憶し、所定のタイミングで記憶している参照画像データをイントラ予測部１１２、動き補償部１１４に出力する。

イントラ予測部１１２は、フレームバッファ１０１から出力される符号化対象ブロックの画像データと、参照フレームバッファから読み出した符号化対象ブロックの周囲の参照画像データを用いてイントラ予測を行う。

ここで、図２を参照してイントラ予測部１１２が選択可能なイントラ予測モードについて説明する。
図２は、イントラ予測モードの種類（モード番号）を示す図である。イントラ予測部１１２は、プレーナ予測（モード番号０）、ＤＣ予測（モード番号１）、及び６５種類の方向性予測（モード番号２～６６）から、イントラ予測モードを選択可能である。
また、イントラ予測部１１２は、各イントラ予測モードの中で、符号化効率を示すコスト関数によるコスト値の最も小さいイントラ予測モードを選択する。コスト関数としては様々な関数が考えられるが、本実施形態では代表的なものとして以下の式（１）を用いることとする。

ＩｎｔｒａＣｏｓｔ＝ＳＡＴＤ＋Ｑｐ×Ｍｄｃｏｓｔ ・・・（１）
式（１）において、ＩｎｔｒａＣｏｓｔはイントラ予測モードにおける符号化効率を示すコスト値、ＳＡＴＤは符号化対象の入力画像データと、参照画像データを減算処理して得られた差分データをアダマール変換したものに対して、差分絶対値和を求めたものである。Ｑｐは量子化部１０４で使用される量子化パラメータ、Ｍｄｃｏｓｔはイントラ予測モードの符号量に相当するコスト値である。

イントラ予測部１１２は、式（１）を用いて選択したイントラ予測モードにより、イントラ予測用の予測画像を生成する。また、イントラ予測部１１２は、選択したイントラ予測モード、選択したイントラ予測モード適用時のコスト値、及びイントラ予測により生成した予測画像データ（イントラ予測画像）を、マルチ参照予測部１１５及び予測モード選択部１１７へそれぞれ出力する。

動き情報メモリ１１３は、後述する動き補償部１１４が出力する動きベクトルを一時的に保持するためのメモリである。動き情報メモリ１１３は、符号化対象ブロックの周囲に位置するブロックの動きベクトルを保持するとともに、既に符号化が終了したフレームのブロックごとの動きベクトルを保持することも可能である。動き情報メモリ１１３に保持されている動きベクトルの情報は、後述する動き補償部１１４で参照される。
動き補償部１１４は、動きベクトルを新たに探索するインターモードと、既に符号化済みのブロックの動きベクトル候補の中から最適な動きベクトルを選択するマージモードとの２つのモードの中から、最適なモードを選択する。

ここで、図３を用いて動き補償部１１４の動作を説明する。
Ｓ３０１において、動き補償部１１４は、フレームバッファ１０１から出力される符号化対象ブロックの画像データと、参照フレームバッファ１１０から読み出した参照画像データを用いて、インターモードにおける最適な動きベクトルを探索する。より具体的には、動き補償部１１４は、符号化効率を示すコスト関数によるコスト値の最も小さい動きベクトルを探索する。コスト関数としては様々な関数が考えられるが、本実施形態では代表的なものとして式（２）を用いることとする。

ＩｎｔｅｒＣｏｓｔ＝ＳＡＴＤ＋Ｑｐ×Ｍｖｃｏｓｔ ・・・（２）
式（２）において、ＩｎｔｅｒＣｏｓｔはインターモードにおける符号化効率を示すコスト値である。ＳＡＴＤは符号化対象の入力画像データと、動きベクトル反映後の参照画像データを減算処理して得られた差分データをアダマール変換したものに対し、差分絶対値和を求めたものである。Ｑｐは量子化部１０４で使用される量子化パラメータ、Ｍｖｃｏｓｔは動きベクトルの符号量に相当するコスト値である。
動き補償部１１４は、式（２）を用いて決定した動きベクトルの情報と、当該動きベクトル適用時に得られるコスト値を一時的に保持しておく。

Ｓ３０２において、動き補償部１１４は、動き情報メモリ１１３に既に保持されている複数の動きベクトル候補の中から、マージモードにおける最適な動きベクトルを選択する。より具体的には、動き補償部１１４は、複数の動きベクトル候補それぞれに式（２）を適用し、コスト値の最も小さい動きベクトルを選択する。また、動き補償部１１４は、当該動きベクトル候補を示すインデックス値（マージインデックス）を算出する。
動き補償部１１４は、マージインデックスと、マージインデックスが指し示す動きベクトル適用時に得られるコスト値を一時的に保持しておく。

Ｓ３０３において、動き補償部１１４は、Ｓ３０１で算出したインターモードにおけるコスト値と、Ｓ３０２で算出したマージモードにおけるコスト値とを比較し、最も小さなコスト値が得られるモードを選択する。

Ｓ３０４において、動き補償部１１４は、選択したモードにおける動きベクトル、及び参照フレームバッファ１１０から読み出した参照画像データを用いて、インター予測用の予測画像データを生成する。なお、マージモードの場合は、Ｓ３０２で算出したマージインデックスを参照することにより、動きベクトルを決定することが可能である。

動き補償部１１４は、マージモードが選択されたか否かを示すフラグ（マージフラグ）、動きベクトルあるいはマージインデックスの情報、選択したモードにおけるコスト値、生成したインター予測用の予測画像データ（インター予測画像）を、マルチ参照予測部１１５、及び予測モード選択部１１７へそれぞれ出力する。

マルチ参照予測部１１５は、イントラ予測部１１２から出力されるイントラ予測用の予測画像データと、動き補償部１１４から出力されるインター予測用の予測画像データを合成し、新たな予測画像データを生成する。

イントラ予測用とインター予測用の予測画像データを合成する一手法としては、非特許文献２において、Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｎｏｎ（ＣＩＩＰ）という技術が公開されており、本実施形態におけるイントラ予測用とインター予測用の予測画像データの合成手法もＣＩＩＰをベースとしたものである。一方、非特許文献２にはＣＩＩＰの適用条件として、イントラ予測の予測画像はＰＬＡＮＡＲ予測が適用されたもの、インター予測の予測画像はマージモードが適用されたもの、等の記載がある。しかしながら、本実施形態におけるイントラ予測用とインター予測用の予測画像データの合成手法は、これらの条件に必ずしも限定されるものではなく、例えば、イントラ予測用の予測画像データに、方向性予測等を適用することも可能である。

ＣＩＩＰではイントラ予測とインター予測の予測画像を画素ごとにブレンドするため、ブロック間の予測画像の差をより低減することができる。このことを踏まえ、本実施形態では、イントラ予測とインター予測のブロックの隣接が生じ易い領域、かつ、画像の平坦部などブロック間の画質差が目立ちやすい領域に存在するブロックに対してＣＩＩＰを適用する。これにより、隣接したブロック間で予測画像が異なることに起因する画質劣化の低減を図る。

以下、マルチ参照予測部１１５が行う、イントラ予測用の予測画像データとインター予測用の予測画像データとの合成手法の詳細について説明する。
マルチ参照予測部１１５は、イントラ予測用とインター予測用の予測画像データを、以下の式（３）を用いて画素ごとに合成する。

Ｐｃｉｉｐ＝（（４－ｗｔ）×Ｐｉｎｔｅｒ＋ｗｔ×Ｐｉｎｔｒａ＋２）／４
…（３）
式（３）において、Ｐｉｎｔｒａはイントラ予測用の予測画像データの画素値、Ｐｉｎｔｅｒはインター予測用の予測画像データの画素値、Ｐｃｉｉｐは合成後の予測画像データの画素値である。ｗｔはイントラ予測とインター予測の画素値の合成割合を示す重み係数であり、ここでは、１～３までの整数値を取りうる。

ここで、図４を用いてマルチ参照予測部１１５の重み係数ｗｔの決定方法について説明する。
Ｓ４０１において、マルチ参照予測部１１５は、ｉｓＩｎｔｒａＴｏｐ及びｉｓＩｎｔｒａＬｅｆｔを０に、また重み係数ｗｔを１に、それぞれ初期化する。ｉｓＩｎｔｒａＴｏｐは、符号化対象ブロックの上方向に隣接している符号化済みブロックの予測モードが、イントラ予測であったか否かを示すフラグである。また、ｉｓＩｎｔｒａＬｅｆｔは、符号化対象ブロックの左方向に隣接している符号化済みブロックの予測モードが、イントラ予測であったか否かを示すフラグである。なお、これらの符号化済みブロックの予測モードは後述するように予測モード選択部１１７が保持し、マルチ参照予測部１１５はこれらの情報を適宜参照することができるものとする。

Ｓ４０２において、マルチ参照予測部１１５は、符号化対象ブロックの上方向に隣接している符号化済みブロックの予測モードが、イントラ予測であったか否かを判定する。上方向に隣接している符号化済みブロックの予測モードが、イントラ予測であった場合（Ｓ４０２でＹｅｓ）、マルチ参照予測部１１５は、Ｓ４０３でｉｓＩｎｔｒａＴｏｐに１を設定する。上方向に隣接している符号化済みブロックの予測モードが、イントラ予測でなかった場合（Ｓ４０２でＮｏ）、マルチ参照予測部１１５は、Ｓ４０４へ処理を進める。

Ｓ４０４において、マルチ参照予測部１１５は、符号化対象ブロックの左方向に隣接している符号化済みブロックの予測モードが、イントラ予測であったか否かを判定する。左方向に隣接している符号化済みブロックの予測モードが、イントラ予測であった場合（Ｓ４０４でＹｅｓ）、マルチ参照予測部１１５は、Ｓ４０５でｉｓＩｎｔｒａＬｅｆｔに１を設定する。左方向に隣接している符号化済みブロックの予測モードが、イントラ予測でなかった場合（Ｓ４０４でＮｏ）、マルチ参照予測部１１５は、Ｓ４０６へ処理を進める。

Ｓ４０６～Ｓ４１０において、マルチ参照予測部１１５は、ｉｓＩｎｔｒａＴｏｐとｉｓＩｎｔｒａＬｅｆｔの合計値に応じて重み係数ｗｔの値を決定する。ｉｓＩｎｔｒａＴｏｐとｉｓＩｎｔｒａＬｅｆｔの合計値が２である場合（Ｓ４０６でＹｅｓ）、Ｓ４０７に進んでマルチ参照予測部１１５は重み係数ｗｔに３を設定する。ｉｓＩｎｔｒａＴｏｐとｉｓＩｎｔｒａＬｅｆｔの合計値が１である場合（Ｓ４０６でＮｏかつＳ４０８でＹｅｓ）、Ｓ４０９に進んでマルチ参照予測部１１５は重み係数ｗｔに２を設定する。ｉｓＩｎｔｒａＴｏｐとｉｓＩｎｔｒａＬｅｆｔの合計値が０である場合（Ｓ４０６でＮｏかつＳ４０８でＮｏ）、Ｓ４１０に進んでマルチ参照予測部１１５は重み係数ｗｔに１を設定する。

Ｓ４０６～Ｓ４１０の処理は、符号化対象ブロックの周囲ブロックの予測モードに応じて、予測画像の合成時におけるイントラ予測用の予測画像データの画素値とインター予測用の予測画像データの画素値の合成割合を適応的に変更することを意味する。これにより、後述する予測モード選択部１１７において、予測モードとしてマルチ参照予測が選択された場合、当該符号化対象ブロックと周囲のブロックとの間で予測画像が異なることに起因する画質劣化を低減することができる。

なお、イントラ予測用の予測画像データとインター予測用の予測画像データの合成方法は、式（３）及び図４に示した例に限られるものではない。例えば、マルチ参照予測部１１５は、以下の式（４）を用いて合成することも可能である。
Pｃｉｉｐ＝（（８－ｗｔ）×Ｐｉｎｔｅｒ＋ｗｔ×Ｐｉｎｔｒａ＋４）／８
…（４）
また、他の例としては、符号化対象ブロック内の各画素の画素位置に応じて、画素ごとに適応的に重み係数ｗｔを変更することもできる。さらに、イントラ予測部１１２から出力されるイントラ予測モード（ＤＣ予測、ＰＬＡＮＡＲ予測など）や、符号化対象ブロックのブロックサイズ等に応じて、重み係数ｗｔを適応的に変更することもできる。

マルチ参照予測部１１５は、式（３）を用いて合成した予測画像データ（マルチ予測画像）を用いて、符号化効率を示すコスト関数によるコスト値を算出する。コスト関数としては様々な関数が考えられるが、本実施形態では代表的なものとして式（５）を用いることとする。

ＣｉｉｐＣｏｓｔ＝ＳＡＴＤ＋Ｑｐ×Ｍｐｃｏｓｔ ・・・（５）
式（５）において、ＣｉｉｐＣｏｓｔは、マルチ参照予測における符号化効率を示すコスト値である。ＳＡＴＤは符号化対象の入力画像データと、合成後の予測画像データを減算処理して得られた差分データをアダマール変換したものに対して、差分絶対値和を求めたものである。Ｑｐは量子化部１０４で使用される量子化パラメータ、Ｍｐｃｏｓｔはマルチ参照予測を行うために必要なパラメータの符号量に相当するコスト値である。マルチ参照予測を行うために必要なパラメータとしては、イントラ予測部１１２から出力されるイントラ予測モードの他、動き補償部１１４から出力されるマージフラグ、マージインデックス、あるいは動きベクトル等が挙げられる。

マルチ参照予測部１１５は、式（５）により算出したコスト値、及び合成後の予測画像データを、予測モード選択部１１７へ出力する。

特徴検出部１１６は、符号化対象ブロックが画像の平坦な領域に属するか否かを示す平坦領域フラグを生成し、予測モード選択部１１７へ出力する。ここで、図５を用いて特徴検出部１１６の平坦領域フラグの生成方法について説明する。

図５は、特徴検出部１１６の内部構成例を示すブロック図である。
平坦判定部５０１は、符号化対象ブロックの入力画像を取得し、当該符号化対象ブロックが平坦であるか否かを示すフラグ（平坦フラグ）を生成する。平坦であるか否かの判定方法には様々な方法が考えられるが、本実施形態では符号化対象ブロックの画素値の分散値を平坦度とし、平坦度が所定の閾値より低い場合、平坦であると判定する。また、本実施形態では平坦であると判定された場合のフラグ値を「１」、平坦でないと判定された場合のフラグ値を「０」とする。

平坦フラグバッファ５０２は、平坦判定部５０１から出力される平坦フラグを一時的に保持する。平坦フラグバッファ５０２には、複数の符号化済みブロックの平坦フラグも保持されており、後述する平坦領域判定部５０３は、これらの情報を適宜参照することができる。本実施形態における平坦フラグバッファ５０２は、少なくとも符号化対象ブロックの上方向、左斜め上方向、左方向にそれぞれ隣接する符号化済みブロックの平坦フラグを保持することとする。

平坦領域判定部５０３は、平坦フラグバッファ５０２に保持されている符号化対象ブロックの平坦フラグ、及び複数の符号化済みブロックの平坦フラグから、符号化対象ブロックが画像の平坦な領域に属しているか否かを判定する。平坦な領域に属しているか否かの判定方法としては様々な方法が考えられるが、本実施形態では、符号化対象ブロックの平坦フラグが「１」であって、且つ、符号化対象ブロックの上方向、左斜め上方向、左方向に隣接する符号化済みブロックの平坦フラグのフラグ値が全て「１」である場合に、当該符号化対象ブロックが平坦な領域に属していると判定する。本実施形態では平坦な領域に属すると判定された場合のフラグ値を「１」、平坦な領域に属さないと判定された場合のフラグ値を「０」とする。

なお、符号化対象ブロックが平坦な領域に属するか否かの判定方法は、図５を用いて説明した例に限られない。例えば、特徴検出部１１６は、単に符号化対象ブロックの平坦度が所定の閾値よりも低い場合、当該ブロックが平坦な領域に属しているものとしてもよい。あるいは、特徴検出部１１６は、あるフレームの符号化処理を開始する以前に、当該フレームのブロックごとの平坦フラグを判定し、それらの平坦フラグを平坦フラグバッファ５０２へ格納しておくことも可能である。これにより、平坦領域判定部５０３は、符号化対象ブロックに隣接するブロックの平坦フラグだけではなく、より離れた位置のブロックの平坦フラグを参照することで、符号化対象ブロックが平坦な領域に属しているか否かの判定精度を向上させることができる。

予測モード選択部１１７は、イントラ予測、インター予測、マルチ参照予測うち、いずれかの予測モードを選択する。ここで、図６を用いて予測モード選択部１１７の予測モードの決定方法について説明する。
Ｓ６０１において、予測モード選択部１１７は、特徴検出部１１６から出力された平坦領域フラグが０、及び／または、量子化制御部１０６から取得した符号化対象ブロックの量子化ステップサイズＱｓｔｅｐが閾値Ｔｈｑｓｔｅｐより小さいか否かを判定する。

以下、Ｓ６０１以降のＳ６０２～Ｓ６０８において、予測モード選択部１１７は符号化効率を重視し、常にコスト値が最小となる予測モードを選択するように動作する。一方、Ｓ６０９～Ｓ６１３において、予測モード選択部１１７は画質劣化低減を重視し、常にコスト値が最小となる予測モードを選択するわけではなく、ブロック間で予測画像が異なることに起因する画質劣化が目立ちにくくなるよう動作する。すなわち、Ｓ６０１の判定式は、予測モード選択部１１７が符号化効率、もしくは画質劣化の低減のどちらを重視するかを選択することを意味している。

本実施形態では、符号化対象ブロックが属する領域が平坦ではない場合、及び／または、量子化ステップサイズが小さい場合、ブロック間で予測画像が異なることに起因する画質劣化の度合いは少ないと判断し、符号化効率を重視してＳ６０２～Ｓ６０８の処理を行う。反対に、符号化対象ブロックが属する領域が平坦であり、かつ、量子化ステップサイズが大きい場合、画質劣化の低減を重視してＳ６０９～Ｓ６１３の処理を行う。なお、Ｓ６０１における判定方法はここで示した例に限られない。例えば、予測モード選択部１１７は、平坦領域フラグ、もしくは量子化ステップサイズのどちらか一方を用いて判定することも可能である。

Ｓ６０１において、平坦領域フラグが０、及び／または、量子化ステップサイズＱｓｔｅｐが閾値Ｔｈｑｓｔｅｐより小さい場合、予測モード選択部１１７は、Ｓ６０２へと処理を進める。
Ｓ６０２において、予測モード選択部１１７は、イントラ予測部１１２から出力されるコスト値ＩｎｔｒａＣｏｓｔと、動き補償部１１４から出力されるコスト値ＩｎｔｅｒＣｏｓｔを比較する。

ＩｎｔｅｒＣｏｓｔがＩｎｔｒａＣｏｓｔよりも大きい場合（Ｓ６０２でＹｅｓ）、予測モード選択部１１７は、ＩｎｔｒａＣｏｓｔとマルチ参照予測部１１５から出力されるコスト値ＣｉｉｐＣｏｓｔを比較する（Ｓ６０３）。ＩｎｔｒａＣｏｓｔがＣｉｉｐＣｏｓｔよりも大きい場合（Ｓ６０３でＹｅｓ）、予測モード選択部１１７は、予測モードとしてマルチ参照予測を選択する（Ｓ６０４）。ＩｎｔｒａＣｏｓｔがＣｉｉｐＣｏｓｔ以下の場合（Ｓ６０３でＮｏ）、予測モード選択部１１７は、予測モードとしてイントラ予測を選択する（Ｓ６０５）。

また、Ｓ６０２において、ＩｎｔｅｒＣｏｓｔがＩｎｔｒａＣｏｓｔ以下の場合（Ｓ６０２でＮｏ）、予測モード選択部１１７は、ＩｎｔｅｒＣｏｓｔとＣｉｉｐＣｏｓｔを比較する（Ｓ６０６）。ＩｎｔｅｒＣｏｓｔがＣｉｉｐＣｏｓｔよりも大きい場合（Ｓ６０６でＹｅｓ）、予測モード選択部１１７は、予測モードとしてマルチ参照予測を選択する（Ｓ６０７）。ＩｎｔｅｒＣｏｓｔがＣｉｉｐＣｏｓｔ以下の場合（Ｓ６０６でＮｏ）、予測モード選択部１１７は、予測モードとしてインター予測を選択する（Ｓ６０８）。

一方、Ｓ６０１において、特徴検出部１１６から出力された平坦領域フラグが１、かつ、量子化ステップサイズＱｓｔｅｐが閾値Ｔｈｑｓｔｅｐ以上の場合、予測モード選択部１１７は、Ｓ６０９へと処理を進める。

Ｓ６０９において、予測モード選択部１１７は、ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｏｓｔ＋αの値を比較する。αは任意に設定可能なイントラ予測のコスト値の補正値である。

一般的にイントラ予測とインター予測のコスト値が同程度の領域では、イントラ予測の方が画質劣化として目立ちやすい傾向がある。よって、本実施形態では符号化対象ブロックが平坦領域に属する場合、イントラ予測のコスト値に補正を行うことで、インター予測が優先的に選択されるようにしている。結果として、イントラ予測とインター予測のブロック隣接が生じるケースが低減する。

なお、本実施形態では上述のようにαを加算することによりコスト値の補正を行っているが、任意の定数をコスト値に減算、乗算、除算等することにより補正することも可能である。また、コスト値の補正方法は上述のようにαを用いたものに限定されず、インター予測が優先的に選択されるようにする方法であれば、どのような方法を採用してもよい。

ＩｎｔｅｒＣｏｓｔがＩｎｔｒａＣｏｓｔ＋αよりも大きい場合（Ｓ６０９でＹｅｓ）、予測モード選択部１１７は、予測モードとしてイントラ予測を選択する（Ｓ６１０）。

ＩｎｔｅｒＣｏｓｔがＩｎｔｒａＣｏｓｔ＋α以下の場合（Ｓ６０９でＮｏ）、予測モード選択部１１７は、ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｏｓｔの差の絶対値が定数ｃ以下であるか否かを判定する（Ｓ６１１）。ここで、Ｓ６１１の判定式について詳細を説明する。

上述のように、Ｓ６０９における判定はインター予測が優先的に選択されるよう意図したものである。一方、画像の平坦度合いに応じて、イントラ予測とインター予測のブロック隣接が生じやすく、Ｓ６０９による判定結果が頻繁に切り替わる領域は未だ存在する。ここで、Ｓ６０９による判定結果が頻繁に切り替わる領域においては、Ｓ６０９の判定式において、ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｏｓｔ＋αの値が近いことが想定される。このことを踏まえ、本実施形態ではＳ６０９による判定結果が頻繁に切り替わる領域を、以下の式（６）で検出することとする。

｜ＩｎｔｅｒＣｏｓｔ－（ＩｎｔｒａＣｏｓｔ＋α）｜≦β …（６）
βはＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｏｓｔ＋αの値の近さを検出するための定数である。ここで、αを正の定数とすると、式（６）を変形することにより以下の式（７）が得られる。

｜ＩｎｔｅｒＣｏｓｔ－ＩｎｔｒａＣｏｓｔ｜≦β＋α＝ｃ …（７）
つまり、本実施形態では、Ｓ６１１において符号化対象ブロックのＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｏｓｔの差の絶対値が定数ｃ以下となる場合、当該ブロックがイントラ予測とインター予測のブロック隣接が生じやすい領域に存在すると判断している。

なお、定数ｃは任意に設定可能であり、画像符号化装置の目標とするビットレートや、量子化部１０４で使用される量子化パラメータＱｐの値、もしくは画像の特徴等を用いて適応的に変更可能であってもよい。例えば、平坦判定部５０１で算出された平坦度等に応じて、定数ｃの値をブロック毎に変更することもできる。

ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｏｓｔの差の絶対値がｃ以下である場合（Ｓ６１１ Ｙｅｓ）、予測モード選択部１１７は、予測モードとしてマルチ参照予測を選択する（Ｓ６１２）。つまり、本実施形態では、イントラ予測とインター予測のブロック隣接が生じやすい領域に存在するブロックに対して、マルチ参照予測を適用する。マルチ参照予測を適用した場合、イントラ予測とインター予測の予測画像がブレンドされ、ブロック間の予測画像の差がより小さくなるため、ブロック間で予測画像が異なることに起因する画質劣化を低減することができる。

なお、マルチ参照予測においては、イントラ予測とインター予測の両方の予測モードに関わるパラメータ（イントラ予測モードや、動きベクトル等）を符号化することが必要であり、パラメータに関わる符号量がイントラ予測、インター予測に比べて大きくなってしまう恐れがある。そこで、予測モード選択部１１７は、Ｓ６１１の判定において、動き補償部１１４から出力されるマージフラグの値が１であるか否かを加えてもよい。これにより、マルチ参照予測を選択した場合に、動きベクトルに関わるパラメータを符号化する必要がなくなり、パラメータに関わる符号量の増加を抑制することができる。

ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｏｓｔの差の絶対値が定数ｃ以下でない場合（Ｓ６１１でＮｏ）、予測モード選択部１１７は、予測モードとしてインター予測を選択する（Ｓ６１３）。

以上のようにして選択された予測モードにしたがって、予測画像が生成される。そして、符号化対象のブロックの画像データと予測画像との差分が符号化され、符号化結果が符号化ストリーム（符号化データ）として出力される。

なお、図６に示した例では、画像の平坦部、かつ、量子化ステップサイズが大きい場合において、イントラ予測とインター予測のブロック隣接が生じやすい領域として検出し、当該領域に画質劣化低減を重視した予測モードを適用した。一方、画像符号化装置の目標とするビットレート等に応じて、画像の平坦度合いに依らず、イントラ予測とインター予測のブロック境界が目立ちやすいケースも存在する。このような場合、予測モード選択部１１７は、Ｓ６０１の判定を行わず、常にイントラ予測とインター予測のブロック隣接が生じやすい領域を検出し、当該領域に存在するブロックにマルチ参照予測を適用することも可能である。

また、イントラ予測とインター予測のブロック境界が目立ちやすいブロックに関わらず、すべてのブロックについて、Ｓ６０９以降の処理を行うようにしてもよい。

上記の通り第１の実施形態によれば、同じ画像内で異なる予測画像を用いて符号化する場合に、予測画像の差に起因する画質劣化を目立たなくすることができる。
また、符号化対象ブロックが属する領域が平坦、かつ、量子化ステップサイズが大きい、といった、イントラ予測とインター予測のブロック境界が目立ちやすい場合に、予測モード選択部１１７は画質劣化低減を重視して動作する。一方、イントラ予測とインター予測のブロック境界が目立たない場合に、予測モード選択部１１７は符号化効率を重視して動作する。これにより、符号化効率を損なうことなく、ブロック間で予測画像が異なることに起因する画質劣化を、従来よりも低減することが可能となる。

［変形例］
次に、変形例における符号化データの生成方法について、図１０を参照して説明する。

図３を参照して上述したようにして、動き補償部１１４は、符号化対象ブロックにインター予測モードを適用した場合のコスト値を算出する（Ｓ１００１）。また、図２を参照して上述したようにして、イントラ予測部１１２は、符号化対象ブロックにイントラ予測モードを適用した場合のコスト値を算出する（Ｓ１００２）。

そして、Ｓ６１１と同様に、予測モード選択部１１７は、Ｓ１００１で算出されたインター予測モードのコスト値と、Ｓ１００２で算出されたイントラ予測モードのコスト値との差の絶対値が定数ｃ以下であるかどうかを判定する（Ｓ１００３）。判定の結果、差の絶対値が定数ｃ以下であれば（Ｓ１００３でＹｅｓ）、予測モード選択部１１７は、マルチ参照予測モードを選択する（Ｓ１００４）。

一方、判定の結果、差の絶対値が定数ｃより大きければ（Ｓ１００３でＮｏ）、予測モード選択部１１７は、符号化対象ブロックにマルチ参照予測モードを適用した場合のコスト値を算出する（Ｓ１００５）。予測モード選択部１１７は、Ｓ１００１、Ｓ１００２、Ｓ１００５で算出された、インター予測モード、イントラ予測モードおよびマルチ参照予測モードそれぞれのコスト値を比較し、マルチ参照予測モードのコスト値が最小であれば（Ｓ１００６でＹｅｓ）、マルチ参照予測モードを選択する（Ｓ１００４）。

マルチ参照予測モードのコスト値が最小でなく（Ｓ１００６でＮｏ）、インター予測モードのコスト値が最小であれば（Ｓ１００７でＹｅｓ）、インター予測モードを選択する（Ｓ１００８）。マルチ参照予測モードのコスト値が最小でなく（Ｓ１００６でＮｏ）、インター予測モードのコスト値が最小でない（Ｓ１００７でＮｏ）、つまり、イントラ予測モードのコスト値が最小であれば、イントラ予測モードを選択する（Ｓ１００９）。

そして、Ｓ１００４でマルチ参照予測モードが選択されれば、マルチ参照予測部１１５がイントラ予測部１１２から出力されるイントラ予測用の予測画像データと、動き補償部１１４から出力されるインター予測用の予測画像データを合成し、マルチ参照予測用の予測画像データを生成する（Ｓ１０１０）。あるいは、Ｓ１００８でインター予測モードが選択されれば、Ｓ３０４と同様に、動き補償部１１４は、インター予測用の予測画像データを生成する（Ｓ１０１１）。あるいは、Ｓ１００９でイントラ予測モードが選択されれば、イントラ予測部１１２がイントラ予測用の予測画像データを生成する（Ｓ１０１２）。Ｓ１０１１、Ｓ１０１１またはＳ１０１２で生成された予測画像データは、予測モード選択部１１７により加算器１０２へ出力される。

そして、加算器１０２により、フレームバッファから出力された符号化対象のブロック画像データと、予測画像データとの差分画像データが生成され、差分画像データに対して、上述のように各部を用いて符号化処理が実行され（Ｓ１０１３）、符号化結果が符号化ストリームとして出力される（Ｓ１０１４）。

なお、Ｓ１００１の処理を開始する前に、Ｓ６０１と同様に、予測モード選択部１１７は、特徴検出部１１６から出力された平坦領域フラグが０、及び／または、量子化制御部１０６から取得した符号化対象ブロックの量子化ステップサイズＱｓｔｅｐが閾値Ｔｈｑｓｔｅｐより小さいか否かを判定し、平坦領域フラグが１、及び／または、量子化ステップサイズＱｓｔｅｐが閾値Ｔｈｑｓｔｅｐ以上の場合、Ｓ１００１以降の処理が実行されるようにしてもよい。あるいは、入力画像のダイナミックレンジが所定値以上の高ダイナミックレンジである場合に、Ｓ１００１以降の処理が実行されるようにしてもよい。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
最新の動画像符号化方式であるＨＥＶＣやＶＶＣ等においては、１０ビットや１２ビット等多ビットのＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）記録、もしくはＬｏｇ記録された動画像の符号化が可能となっている。Ｌｏｇ記録された動画像とは、ＢＴ．７０９等の規格で定められたガンマカーブと異なり、より高ダイナミックレンジで記録できるように、デジタルカメラ等のメーカーが独自に定めたガンマカーブを用いて撮影された動画像のことである。

ＨＤＲ記録、もしくはＬｏｇ記録された動画像（高ダイナミックレンジ画像）は、ディスプレイの出力時に設定されたガンマカーブで変換されて表示される。ここで、ＨＤＲ記録時の入力輝度値（撮影時の実際の明るさ）と出力画素値（符号化後の画素値）の関係を図７（ａ）に示す。水平方向が入力輝度値、垂直方向が出力画素値で、入力値と出力値の関係がガンマカーブ７０１で規定されている。入力値が小さい部分ではカーブが垂直方向に急峻であり、入力値の幅に対して画素値が多く割り当てられている。一方、入力値が大きい部分ではカーブが緩やかとなり、入力値に対する画素値の割り当ては少なくなっている。このように、入力輝度値に対して出力画素値を割り当てることにより、高ダイナミックレンジの記録を可能にしている。

また、ＨＤＲ表示時の入力値（符号化後の画素値）と出力輝度値（ディスプレイに表示される明るさ）の関係を図７（ｂ）に示す。水平方向が入力画素値、垂直方向が実際に表示される出力輝度値で、入力値と出力値の関係がガンマカーブ７０２で規定され、ガンマカーブ７０１と逆の関係になっている。入力値が小さい部分ではカーブが垂直方向に緩やかであり、入力値の幅に対して表示される明るさの変化量は小さくなっている。一方、入力値が大きい部分ではカーブが急峻となり、入力値に対して表示される明るさの変化量が大きくなっている。このように入力画素値に対して出力輝度値を割り当てることにより、ＨＤＲ記録された動画像を正しい明るさで表示することができる。

このように、ＨＤＲ記録、もしくはＬｏｇ記録された動画像は、通常のＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）記録された動画像と比較して、符号化後の画素値の変化量に対して、ディスプレイに表示される明るさの変化量が多くなっている。すなわち、符号化後の画質の劣化が、より増幅されてディスプレイに表示されることになる。また、この傾向は輝度値の高い部分（「高輝度領域」、もしくは「ハイライト領域」と呼ぶ。）でより顕著になり、本発明の課題であるブロック間で予測画像が異なることに起因する画質劣化も、このような領域で視覚的に目立ちやすくなる。

第２の実施形態では、このようなＨＤＲ記録、もしくはＬｏｇ記録された動画像（便宜上、「ＨＤＲ画像」と呼ぶ。）を符号化対象とし、ＨＤＲ画像のハイライト領域に発生する画質劣化の低減を図る。なお、第２の実施形態では、第１の実施形態との差異に関して主に説明を行い、第１の実施形態と同様の箇所については説明を省略する。

第２の実施形態における画像符号化装置の全体構成は図１に示すものと同様であるが、特徴検出部１１６の構成が第１の実施形態において図５を参照して説明したものとは異なる。
図８は、第２の実施形態における特徴検出部１１６の内部構成例を示すブロック図である。第２の実施形態における特徴検出部１１６は、第１の実施形態と同様に、符号化対象ブロックが画像の平坦な領域に属しているか否かを判定するための、平坦判定部５０１、平坦フラグバッファ５０２、平坦領域判定部５０３を有する。さらに、特徴検出部１１６は、符号化対象ブロックが画像のハイライト領域に属しているか否かを判定するための、高輝度判定部８０４、高輝度フラグバッファ８０５、ハイライト領域判定部８０６を有する。
なお、平坦判定部５０１、平坦フラグバッファ５０２、平坦領域判定部５０３については第１の実施形態と同様の動作を行うため、ここでは説明を省略する。

高輝度判定部８０４は、符号化対象ブロックの入力画像を取得し、当該符号化対象ブロックが高輝度であるか否かを示すフラグ（高輝度フラグ）を生成する。高輝度であるか否かの判定方法には様々な方法が考えられるが、本実施形態では符号化対象ブロックの画素の輝度値の平均値を算出し、算出された平均輝度値が所定の閾値より大きい場合、高輝度であると判定する。また、本実施形態では高輝度であると判定された場合のフラグ値を「１」、高輝度でないと判定された場合のフラグ値を「０」とする。

高輝度フラグバッファ８０５は、高輝度判定部８０４から出力される高輝度フラグを一時的に保持する。高輝度フラグバッファ８０５には、複数の符号化済みブロックの高輝度フラグも保持されており、後述するハイライト領域判定部８０６は、これらの情報を適宜参照することができる。本実施形態における高輝度フラグバッファ８０５は、少なくとも符号化対象ブロックの上方向、左斜め上方向、左方向にそれぞれ隣接する符号化済みブロックの高輝度フラグを保持することとする。

ハイライト領域判定部８０６は、高輝度フラグバッファ８０５に保持されている符号化対象ブロックの高輝度フラグ、及び複数の符号化済みブロックの高輝度フラグから、符号化対象ブロックが画像のハイライト領域に属しているか否かを判定する。ハイライト領域に属しているか否かの判定方法には様々な方法が考えられるが、本実施形態では、符号化対象ブロックの高輝度フラグが「１」であって、且つ、符号化対象ブロックの上方向、左斜め上方向、左方向に隣接する符号化済みブロックの高輝度フラグのフラグ値が全て「１」である場合に、当該符号化対象ブロックがハイライト領域に属していると判定する。本実施形態ではハイライト領域に属すると判定された場合のフラグ値を「１」、ハイライト領域に属さない判定された場合のフラグ値を「０」とする。

なお、符号化対象ブロックがハイライト領域に属するか否かの判定方法は、図８を用いて説明した例に限られない。例えば、特徴検出部１１６は、単に符号化対象ブロックの平均輝度値が所定の閾値より大きい場合、当該ブロックがハイライト領域に属しているものとしてもよい。あるいは、特徴検出部１１６は、あるフレームの符号化処理を開始する以前に、当該フレームのブロックごとの高輝度フラグを判定し、それらの高輝度フラグを高輝度フラグバッファ８０５へ格納しておくことも可能である。これにより、ハイライト領域判定部８０６は、符号化対象ブロックに隣接するブロックの高輝度フラグだけではなく、より離れた位置のブロックの高輝度フラグを参照することで、符号化対象ブロックがハイライト領域に属しているか否かの判定精度を向上させることができる。

このようにして、特徴検出部１１６は、平坦領域フラグ、及びハイライト領域フラグを生成し、予測モード選択部１１７へ出力する。

図９は、第２の実施形態における予測モード選択部１１７の予測モードの決定方法を示すフローチャートである。なお、図６に示す処理と同様の処理には同じ参照番号を付し、説明を省略する。
図９に示す第２の実施形態における処理は、図６に示す第１の実施形態における処理に、符号化対象とする動画像がＨＤＲ記録、もしくはＬｏｇ記録された動画像であり、かつ、ハイライト領域に属しているかどうかを判定する処理（Ｓ９０１）を追加したものである。なお、符号化対象とする動画像がＨＤＲ記録、もしくはＬｏｇ記録されたものであるか否かは、ＣＰＵ（図示せず）等の画像符号化装置の制御元から、予め画像符号化装置に対して通知されるものとする。

Ｓ９０１において、符号化対象とする動画像がＨＤＲ記録、もしくはＬｏｇ記録された動画像であり、かつ、ハイライト領域フラグが１である場合、予測モード選択部１１７はＳ６０１へと処理を進める。一方、Ｓ９０１において、符号化対象とする画像がＨＤＲ記録、もしくはＬｏｇ記録された動画像ではない、及び／または、ハイライト領域フラグが１ではない場合、予測モード選択部１１７はＳ６０１の処理をスキップし、Ｓ６０２へと処理を進める。

すなわち、符号化対象とする動画像がＨＤＲ記録、もしくはＬｏｇ記録された動画像であり、且つ、符号化対象ブロックがハイライト領域及び平坦な領域に属し、量子化ステップサイズが大きい場合、予測モード選択部１１７は画質劣化を重視し、ブロック間で予測画像が異なることに起因する画質劣化が目立ちにくくなるよう動作する（Ｓ６０９～Ｓ６１３）。

一方、上記以外の場合には、予測モード選択部１１７は符号化効率を重視し、常にコスト値が最小となる予測モードを選択するよう動作する（Ｓ６０２～Ｓ６０８）。

上記の通り第２の実施形態によれば、符号化対象ブロックが属する領域の平坦性、量子化ステップサイズだけでなく、符号化対象とする画像がＨＤＲ記録、もしくはＬｏｇ記録された動画像であるか否か、符号化対象ブロックがハイライト領域に属しているか否かを考慮し、符号化効率を重視するか、画質劣化低減を重視するかを選択する。これにより、ＨＤＲ画像を符号化する際に符号化効率を損なうことなく、特にハイライト領域に目立ちやすい画質劣化を、従来よりも低減することが可能である。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…フレームバッファ、１０２…加算器、１０３…直交変換部、１０４…量子化部、１０５…エントロピー符号化部、１０６…量子化制御部、１０７…逆量子化部、１０８…逆直交変換部、１０９…加算器、１１０…参照フレームバッファ、１１１…ループフィルタ、１１２…イントラ予測部、１１３…動き情報メモリ、１１４…動き補償部、１１５…マルチ参照予測部、１１６…特徴検出部、１１７…予測モード選択部、５０１…平坦判定部、５０２…平坦フラグバッファ、５０３…平坦領域判定部、８０４…高輝度判定部、８０５…高輝度フラグバッファ、８０６…ハイライト領域判定部
?

Claims (10)

1. 入力画像をブロックに分割し、前記入力画像のブロック毎に符号化処理を行う符号化装置であって、
   ブロックに対してインター予測を行うことによりインター予測画像を生成し、前記ブロックと前記インター予測画像との差分を符号化するインター予測モードと、
   ブロックに対してイントラ予測を行うことによりイントラ予測画像を生成し、前記ブロックと前記イントラ予測画像との差分を符号化するイントラ予測モードと、
   ブロックから生成されたインター予測画像とイントラ予測画像とを合成することによりマルチ予測画像を生成し、前記ブロックと前記マルチ予測画像の差分を符号化するマルチ参照予測モード
   のうちいずれかの予測モードを用いてブロックごとに符号化処理を実行する符号化手段と、
   前記符号化処理の結果を符号化データとして出力する出力手段と、
   ブロックを前記インター予測モードで符号化した場合の第１の符号化コストおよび前記ブロックをイントラ予測モードで符号化した場合の第２の符号化コストそれぞれを所定の関数を用いて算出する算出手段と、を備え、
   前記符号化手段は、前記第１の符号化コストと前記第２の符号化コストの差分が閾値以下の場合、前記ブロックに対して前記マルチ参照予測モードを用いて符号化処理を実行し、前記第１の符号化コストと前記第２の符号化コストの差分が前記閾値より大きい場合、前記ブロックに対して前記第１の符号化コストと前記第２の符号化コストのうち小さい方の予測モードを用いて符号化処理を実行することを特徴とする符号化装置。
2. 前記算出手段は、さらに、前記ブロックを前記マルチ参照予測モードで符号化した場合の第３の符号化コストを所定の関数を用いて算出し、
   前記符号化手段は、前記第１の符号化コストと前記第２の符号化コストの差分が閾値より大きい場合、前記第１の符号化コスト、前記第２の符号化コストおよび前記第３の符号化コストのうち最小の予測モードを用いて符号化処理を実行することを特徴とする請求項１に記載の符号化装置。
3. 前記符号化手段の符号化対象のブロックは、平坦領域または高輝度領域に含まれることを特徴とする請求項1または２に記載の符号化装置。
4. 前記入力画像は高ダイナミックレンジであることを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
5. 前記符号化処理に用いられる量子化ステップは所定値より大きいことを特徴とする請求項１乃至４のいずれか１項に記載の符号化装置。
6. 前記マルチ予測画像は、前記インター予測画像と前記イントラ予測画像それぞれを重みづけして合成することにより生成されることを特徴とする請求項１乃至５のいずれか１項に記載の符号化装置。
7. 前記符号化コストは、前記入力画像と、前記予測画像に前記差分を加算して復号された参照画像とを減算処理して得られた差分をアダマール変換したものに対する差分絶対値和、量子化パラメータおよび符号量に基づいて算出されることを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。
8. 入力画像をブロックに分割し、前記入力画像のブロック毎に符号化処理を行う符号化方法であって、
   ブロックに対してインター予測を行うことによりインター予測画像を生成し、前記ブロックと前記インター予測画像との差分を符号化するインター予測モードと、
   ブロックに対してイントラ予測を行うことによりイントラ予測画像を生成し、前記ブロックと前記イントラ予測画像との差分を符号化するイントラ予測モードと、
   ブロックから生成されたインター予測画像とイントラ予測画像とを合成することによりマルチ予測画像を生成し、前記ブロックと前記マルチ予測画像の差分を符号化するマルチ参照予測モード
   のうちいずれかの予測モードを用いてブロックごとに符号化処理を実行するステップと、
   前記符号化処理の結果を符号化データとして出力するステップと、
   ブロックを前記インター予測モードで符号化した場合の第１の符号化コストおよび前記ブロックをイントラ予測モードで符号化した場合の第２の符号化コストそれぞれを所定の関数を用いて算出するステップとを備え、
   前記第１の符号化コストと前記第２の符号化コストの差分が閾値以下の場合、前記ブロックに対して前記マルチ参照予測モードを用いて符号化処理が実行され、前記第１の符号化コストと前記第２の符号化コストの差分が前記閾値より大きい場合、前記第１の符号化コストと前記第２の符号化コストのうち小さい方の予測モードを用いて符号化処理が実行されることを特徴とする符号化方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。
10. 請求項９に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images