JP2020141378A - 画像符号化装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 線状のノイズの発生を抑制しつつ、画像の符号化を行う。【解決手段】 方向性予測モードを含む複数のイントラ予測モードのうちいずれかを用いて画像を符号化する画像符号化装置であって、画像データにおける符号化対象のブロックが所定の特徴を有するか否かを判定する判定部と、画像データが高ダイナミックレンジの画像データであり、且つ、判定部によりブロックが所定の特徴を有すると判定された場合、ブロックに対する利用可能なイントラ予測モードを制限する制限部とを有する。【選択図】 図１

Description

本発明は画像の符号化技術に関するものである。

動画像の国際標準符号化規格にＨＥＶＣ（High Efficiency Video Coding）符号化方式がある。このＨＥＶＣ符号化方式において、新たに静止画プロファイルというものが導入された（非特許文献１参照）。これは動画像符号化方式のＨＥＶＣで、静止画を符号化するためのプロファイルである。

また、広く普及しているＪＰＥＧは、１色成分が８ビットで表される画像を符号化対象とするものである。これに対し、ＨＥＶＣでは１０ビットや１２ビット等の多ビット画像を扱うこともでき、ＨＤＲ（High Dynamic Range）画像への対応も可能となる。これにより、今後ＨＥＶＣを用いたＨＤＲ画像の静止画ファイルが普及するものと期待されている。

ＨＥＶＣで静止画の符号化を行う場合、イントラ予測符号化が用いられることになる。イントラ予測は、符号化を行うブロックに対して、復号済みの周辺の画素値を用いて予測画像を生成する。このイントラ予測の種類として、DC予測、Planar予測、および33種類の方向性予測が用いられる。

H.265/HEVC教科書、大久保 榮[監修]、鈴木輝彦、高村誠之、中条健[共編]、2013年10月21日発行

しかしながら、HDR画像に対してイントラ予測を用いて符号化した場合、方向性予測により線状にノイズが発生し、画質が劣化するケースがある。ＨＤＲ画像が画質劣化した場合、ほんの少しの画素値の変化でもＨＤＲ出力のための変換により劣化が増幅してしまう。また、線状に劣化した場合、周辺の画素値との関係により視覚的に劣化が目立つ場合がある。

本発明はかかる問題に鑑みなされたものであり、線状のノイズの発生を抑制しながら、画像の符号化を行う技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
方向性予測モードを含む複数のイントラ予測モードのうちいずれかを用いて画像を符号化する画像符号化装置であって、
画像データにおける符号化対象のブロックが所定の特徴を有するか否かを判定する判定手段と、
前記画像データが高ダイナミックレンジの画像データであり、且つ、前記判定手段により前記ブロックが前記所定の特徴を有すると判定された場合、前記ブロックに対する利用可能なイントラ予測モードを制限する制限手段とを有する。

本発明によれば、線状のノイズの発生を抑制しながら、画像の符号化を行うことが可能になる。

実施形態で適用する撮像装置のブロック構成図。 ＨＤＲ画像の記録時の入力値と出力値の関係を示す図。 ＨＤＲ画像の表示時の入力値と出力値の関係を示す図。 水平方向予測時の予測画像の例を示す図。 予測画像の画素劣化の例を示す図。 第１の実施形態における符号化処理の手順を示すフローチャート。 第２の実施形態における符号化処理の手順を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は本実施形態の画像符号化装置が適用する撮像装置のブロック構成図である。ここでは、撮像して得た画像をＨＥＶＣ符号化方式で符号化する構成を示している。以下、図１の動作を説明する。

制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納したＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭで構成される。そして、制御部１５０は、ユーザが操作する各種スイッチやボタン、タッチパネル等で構成される操作部１５１からの指示に従い、以下に説明する各処理部の制御を行い、撮像装置全体の制御を司るものである。

レンズ１０１は撮影対象の被写体像を撮像部１０２の撮像面に結像する。撮像部１０２はその表面にＲ，Ｇ，Ｂの各色成分のフィルタが配列され、これらフィルタを介して受光した光の強度を示す電気信号を生成する。更に、撮像部１０２は、生成した電気信号をデジタルデータに変換し、現像処理部１０３に出力する。上記のフィルタ配列の２×２個のフィルタに着目したとき、その対角関係にある２つのフィルタはＧ成分フィルタ（一般に区別するためＧ１，Ｇ２と表記される）であり、残りの２つはＲ，Ｂ成分のフィルタである。そして、この２×２個の関係が繰り返し配列されている。この配列は、一般にベイヤ配列と呼ばれる。よって、撮像部１０２で撮像して得たデジタル画像データもまた１画素１色成分のベイヤ配列の画素データの集合となり、一般に、ＲＡＷ画像データと呼ばれる。

現像処理部１０３は、入力したＲＡＷ画像データを、ディベイヤ処理（１画素がＲＧＢ３成分で表現される画像データへの変換）、キズ補正、ノイズ除去、ＲＧＢ→ＹＣｂＣｒ形式への色変換などの画像処理が行われる。そして、現像処理部１０３は、画像処理後の画像データを符号化対象の画像データとして符号化フレームバッファ１０４に格納する。なお、実施形態では、符号化対象の画像はＨＤＲ画像としているので、Ｙ，Ｃｂ、Ｃｒはそれぞれ８ビットを超えるビット数（例えば１０ビット）であるものとする。

特徴検出部１０５は、符号化フレームバッファ１０４に格納された符号化対象画像データからブロックごとの画像（以下、ブロック画像）を取得し、そのブロック画像の特徴を検出する。そして特徴検出部１０５は、検出した特徴情報を予測モード設定部１０６に出力する。

予測モード設定部１０６は、イントラ予測に使用可能な予測モードの設定を行う。具体的には、予測モード設定部１０６は、特徴検出部１０５から入力した特徴情報、およびＨＤＲ画像データやＬｏｇ画像データであるかなどの画像情報から、イントラ予測に使用可能な予測モードを決定する。

イントラ予測部１０７は、符号化フレームバッファ１０４から符号化画像を取得し、イントラ予測を行う。ＨＥＶＣのイントラ予測モードには、DC予測モード、Planar予測モード、および、水平方向、垂直方向、斜め方向などの３３種類の方向性を用いたAngular予測モード（方向性予測モード）がある。また、ＶＶＣ（Versatile Video Codec）のイントラ予測モードには、DC予測モード、Planar予測モード、および、６５種類のAngular予測モード（方向性予測モード）がある。予測モード設定部１０６は、これらの３５種類の予測モードから使用可能な予測モードを決定し、イントラ予測部１０７に設定する。イントラ予測部１０７は、予測モード設定部１０６から設定された予測モードのうち最も符号化効率の良い予測モードを決定する。

イントラ予測部１０７は、符号化対象のブロック画像と、決定した予測モードに基づく予測画像との間の画素毎の差分である差分画像を求め、その差分画像、及び、予測画像を予測選択部１０９に出力する。

インター予測部１０８は、まず符号化フレームバッファ１０４から符号化対象のブロック画像データを取得する。また、インター予測部１０８は、参照フレームバッファ１２０から参照画像データを取得し、ブロック画像と参照画像との間でブロックマッチングをとり、動きベクトル検出を行う。そして、インター予測部１０８は、ブロック画像と、検出された動きベクトル位置の予測画像との間の画素毎の差分である差分画像を求め、その差分画像、および予測画像を予測選択部１０９に出力する。

予測選択部１０９は、イントラ予測の結果とインター予測の結果を比較し、どちらの予測を採用するか選択する。そして、予測選択部１０９は、選択した方の差分画像を直交変換部１１０に出力する。また、予測選択部１０９は、ローカルデコード画像作成用に、選択した方の予測画像を動き補償部１１７に出力する。更に、予測選択部１０９は、イントラ、インターのいずれを選択したのかを示す情報や動きベクトルを可変長符号化部１１３に出力する。

直交変換部１１０は、予測選択部１０９から入力した差分画像に対して離散コサイン変換を行うことで変換係数を生成し、その変換係数を量子化部１１１に出力する。

量子化部１１１は、直交変換部１１０から入力した変換係数を、量子化制御部１１２から設定される量子化パラメータで特定される量子化ステップを用いて量子化を行う。そして、量子化部１１１は、量子化後の変換係数を、符号化ストリーム作成のため可変長符号化部１１３、ならびに、ローカルデコード画像作成のため逆量子化部１１５に出力する。

可変長符号化部１１３は、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、可変長符号化を行い、符号化データを生成する。可変長符号化部１１３は、この符号化データに、動きベクトルや量子化ステップサイズ、マクロブロック分割情報、適応オフセット処理用パラメータなどの符号化方式情報を可変長符号化したものを付加し、符号化ストリームを生成する。そして、可変長符号化部１１３は、生成された符号化ストリームを、記録メディア１１４に記録する。更に、可変長符号化部１１３は、符号化の際に、マクロブロックごとの発生符号量を算出し、算出した発生符号量を示す情報を量子化制御部１１２に出力する。

量子化制御部１１２では、可変長符号化部１１３から送られてくる発生符号量を用いて、目標符号量に近づくように量子化パラメータを更新し、量子化部１１１に設定することになる。

逆量子化部１１５は、量子化部１１１から送られてきた量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。そして、逆量子化部１１５は、得られた変換係数を逆直交変換部１１６に出力する。

逆直交変換部１１６は、逆量子化部１１５から入力した変換係数に対して逆離散コサイン変換を行い、ブロック画像の差分画像を生成する。そして、逆直交変換部１１６は、生成された差分画像を動き補償部１１７に出力する。

動き補償部１１７は、予測選択部１０９から送られてきた予測画像と、逆直交変換部１１６から送られてきた差分画像とを加算することにより、ローカルデコード用のブロック画像の画像データを生成する。そして、動き補償部１１７は、生成された画像データをデブロッキングフィルタ部１１８に出力する。

デブロッキングフィルタ部１１８は、送られてきた画像データに対してデブロッキングフィルタをかける。そして、デブロッキングフィルタ部１１８は、デブロッキングフィルタ後の画像データを、適応オフセット処理部１１９に出力する。

適応オフセット処理部１１９は、バンドオフセット処理、エッジオフセット処理、もしくは何も処理をしない、のいずれかの選択を行い、適応オフセット処理を行うバンド位置、エッジ方向、オフセット値などを決定する。そして、適応オフセット処理部１１９は、デブロッキングフィルタ後の画像データに対して適応オフセット処理を行い、その結果の画像データをローカルデコード画像として参照フレームバッファ１２０に格納する。また、適応オフセット処理部１１９は、適応オフセット処理としてどの処理を選択したか、バンド位置、エッジ方向、オフセット値などの適応オフセット処理用のパラメータを可変長符号化部１１３に出力する。可変長符号化部１１３、ブロック画像の符号化データに、適応オフセット処理部１１９から入力したパラメータ、予測選択部１０９からの予測に係るパラメータを統合し、符号化ストリームを生成することになる。

次に、イントラ予測時の特徴検出部１０５、および予測モード設定部１０６の動作について説明する。

特徴検出部１０５は、符号化フレームバッファ１０４から、これからイントラ予測を行うブロック画像を受け取り、このブロック画像に対して特徴検出を行う。ここで検出するのは、イントラ予測を行ったときに劣化が目立ちやすくなる特徴である。そのような性質を持つ画像の特徴の一つとして、平坦度合いがある。

平坦度合いの検出方法にはいろいろな方法が考えられるが、ここではブロック画像の分散値を使用する方法について説明する。例えばブロックサイズが１６×１６画素で、個々の画素の輝度値ＹをＰk（ただし、ｋ＝１、２、…、２５６）と定義したとき、画素の平均値Ｐmean、および画素の分散値Ｖarは以下の式（１）、（２）により算出することができる。

画像の分散値は画素値のばらつき具合を示すものである。故に、分散値が小さければ小さいほどその画像内には互いに近似する値の画素の個数が多いことを示し、平坦な画像であるとの推定が成り立つ。逆に、分散値が大きい場合、その画像内の各画素は互いに差分が大きく、複雑な画像を表すことになる。平坦かどうかを判定するため、予め分散の大小を判定するための所定の閾値（Ｖth）を決めておく。そして、求めた分散値Ｖarが閾値以下の場合（Ｖar≦Ｖthの場合）は、そのブロックの画像は平坦であると判定することとした。

なお、上記では輝度Ｙの分散を求めるものとしたが、色差であるＣｂ，Ｃｒそれぞれの分散値を求め、輝度Ｙ、色差Ｃｂ，Ｃｒの全て分散値がそれぞれの閾値以下である場合に、該当するブロックが平坦であると判定しても良い。

特徴検出部１０５は、上記のようにして、符号化対処のブロック画像が平坦か否かを判定し、その判定結果を予測モード設定部１０６に渡す。

予測モード設定部１０６は、平坦かどうかの判定結果を特徴検出部１０５から受け取る。また、予測モード設定部１０６は、撮影時の画像の種別を示す情報を受け取る。この画像の種別を示す情報として、実施形態ではＨＤＲ画像であるかＳＤＲ画像かの情報とする。なお、これ以外に、予測モード設定部１０６は、Ｌｏｇ画像かどうかの情報を受け取る。

ここで、Ｌｏｇ画像とは、通常のＢＴ．７０９などの規格で定められたガンマカーブとは異なり、より広いダイナミックレンジ（高ダイナミックレンジ）を記録できるようにメーカごとに独自に規定したガンマカーブを用いて撮影された画像を言う。

ＨＤＲ画像、もしくはＬｏｇ画像は、モニタの出力時に規定されたガンマカーブで変換されて表示される。そのため輝度値によって、画素値の変化に対する明るさの変化の幅が異なる。輝度値においては画素値が高いほど、画素値幅１の変化に対する明るさの変化の幅が大きくなる。

ＨＤＲ画像の記録時の入力輝度値（撮影時の実際の明るさ）と出力画素値（符号化時の画素値）の関係を図２に示す。

水平方向が入力輝度値、垂直方向が出力画素値で、入力値と出力値の関係がガンマカーブ２０１で規定されている。入力値が小さい部分では、カーブが垂直方向に急峻であり入力値の幅に対して画素値が多く割り当てられている。入力値が大きい部分では、カーブがゆるやかであり、入力値に対する画素値の割り当ては少なくなっている。

このように画素値を割り当てることにより、ダイナミックレンジの広い画像の記録を可能にしている。

ＨＤＲ画像の表示時の入力値（符号化時の画素値）と出力値（実際にモニタに表示される明るさ）の関係を図３に示す。水平方向が入力画素値、垂直方向が実際に表示される出力値で、入力値と出力値の関係がガンマカーブ３０１で規定されている。これは、ガンマカーブ２０１と逆の関係になっている。

入力値が大きい部分、すなわち高い輝度値を表している部分では、画素値の変化量に対して、実際に表示される明るさの変化量が大きくなっている。表示時にこのようなカーブをかけることにより、正しい明るさで表示を行うことができる。

このように、ＨＤＲ画像やＬｏｇ画像は通常のＳＤＲ画像と比較して、符号化時の画素値の変化量に対して実際の明るさの変化量が多くなっている。すなわち、符号化時の画素の劣化がより増幅されて表示されることになる。この傾向は輝度値の高い部分でより顕著になる。

ＨＥＶＣにおけるイントラ予測では、３３種類の方向性予測モードと、DC予測モード及びPlanar予測モードを用いることができる。また、ＶＶＣにおけるイントラ予測では、６５種類の方向性予測モードと、DC予測モード、Planar予測モードを用いることができる。方向性予測モードを用いた場合、設定された方向の参照画素を用いて予測画像を作成する。

予測画像の例を図４に示す。ここでは４×４画素のブロックに対して水平方向の予測を行うものとする。

水平方向の予測における予測画像４０１は左側に位置する符号化済みの画素４０２、４０３、４０４、４０５の参照画素を用いて作られる。

予測画像の１行目は参照画素４０２をコピーしたものとなる。同様に予測画像の２、３、４行目は、それぞれ参照画素４０３、４０４、４０５をコピーしたものとなる。

ここで、予測画像の劣化の例を、図５を参照して説明する。予測画像５０１は、その左側に位置する符号化済みの画素５０２、５０３、５０４、５０５の参照画素を用いて作られる。

ここで参照画素５０４のみ、符号化により画素値の劣化が起きたとする。この場合、３行目の予測画像５０６は、この画素劣化した参照画素５０４をコピーして作成される。そのため予測画像５０１は、３行目の予測画像５０６のみが劣化したものとなる。

このように水平方向予測を用いた場合、水平方向の線状に劣化した予測画像となる場合がある。このような予測画像を用いてイントラ予測を行った場合、符号化後の画像も同様に線状の劣化を起こす可能性が高くなる。他の方向性予測でも同様に、線状の劣化が起こってしまう可能性があるのは理解できよう。

また線状の劣化は、平坦な画像で特に目立ち易い。この線状の劣化を防ぐために、実施形態の予測モード設定部１０６は、平坦、かつ、画像がＨＤＲ画像もしくはＬｏｇ画像のときに、イントラ予測に使用可能な予測モードを制限する、という動作を行う。具体的には、かかる条件となった場合、予測モード設定部１０６は、利用可能なイントラ予測モードとしてDC予測、およびPlanar予測に制限する。すなわち、方向性予測モードを全く使わないようにすることで、線状のノイズ発生を抑制する。なお、DC予測とは、符号化対象のブロックの各画素の予測値として、周囲の隣接ブロックのローカルデコード画素値の平均値を用いる手法である。また、Planar予測とは、Ｈ．２６４／ＡＶＣの平面予測と同様、隣接ブックにローカルデコード画素から平面近似より予測値を生成する手法である。なお、詳しくはＨＥＶＣの規格に示されているので、そちらを参照されたい。

以下、実施形態におけるイントラフレームにおける予測モードの決定処理を図６のフローチャートを参照して説明する。

Ｓ６０１にて、特徴検出部１０５は、制御部１５０の制御の下で、符号化対象のブロック画像を符号化フレームバッファ１０４より取得する。また、予測モード設定部１０６は、符号化対象のフレームがＨＤＲ画像かＳＤＲ画像かを示す情報、及び、Ｌｏｇ画像かどうかの情報を取得する。

Ｓ６０２にて、特徴検出部１０５は、取得したブロック画像の特徴検出処理を行う。実施形態の特徴検出部１０５は、着目ブロック画像の分散値を検出し、着目ブロックが平坦か否かの判定を行う。

Ｓ６０３にて、予測モード設定部１０６は、制御部１５０の制御下にて、符号化を行う画像がＨＤＲ画像もしくはＬｏｇ画像のいずれかであり、且つ、着目ブロック画像が平坦であるという条件を満たすか否かを判定する。予測モード設定部１０６は、この条件を満たすと判定した場合、処理をＳ６０４ｂに進める。このＳ６０４ｂにて、予測モード設定部１０６は、着目ブロックのイントラ予測に用いる全予測モード中、方向性予測モード（Angular予測モード）を利用不可として決定し、残りのDC予測モード及びPlanar予測モードのいずれかを用いてイントラ予測するよう、イントラ予測部１０７に設定する。

また、Ｓ６０３にて、予測モード設定部１０６が上記の条件を満たさないと判定した場合、処理をＳ６０４ａに進める。このＳ６０４ａにて、予測モード設定部１０６は、全予測モードが利用可として、イントラ予測部１０７に設定する。

Ｓ６０５にて、イントラ予測部１０７は、Ｓ６０４ａまたＳ６０４ｂにて設定された予測モードの中から、予測誤差が最小となる予測モードを決定し、その差分画像を予測選択部１０９に供給する。

Ｓ６０６にて、制御部１５０は、符号化対象のフレームの最終ブロックの予測処理を終えたか否かを判定し、否と判定した場合には、後続するブロック画像の予測モードを決定するため、処理をＳ６０２に戻す。そして、制御部１５０は、符号化対象のフレームの最終ブロックの予測モードの決定処理を終えたと判断した場合は、本処理を終了する。

以上のように、符号化対象画像をイントラ符号化する場合において、その符号化対象画像がＨＤＲ画像もしくはＬｏｇ画像で、かつ、符号化対象のブロック画像が平坦である場合には、方向性予測を用いないように制限をかけた上で予測モードを決定する。この結果、劣化の目立ちやすい平坦なブロックの線状のノイズの発生を防ぎ、画質劣化を抑制できるようになる。

上記実施形態では、動画像の符号化処理におけるイントラフレーム(イントラピクチャ）に着目して説明したが、ＨＤＲ（又はＬｏｇ）静止画画像に適用するようにしても良い。ＨＤＲ静止画の場合、ユーザはその画像を注視し続けることになり、線状ノイズはより目立ち易いからである。ユーザは、操作部１５１を介して、ＨＤＲ静止画撮影モードを選択できる。そして、ＨＤＲ静止画撮影モードにて、ユーザがレリーズボタン（不図示）を押下した場合、静止画撮影で全ブロックの符号化を行っている間、制御部１５０は、予測選択部１０９を制御してイントラ予測部１０７からの差分画像を直交変換、量子化、及び、可変長符号化を行い、静止画の符号化データを生成し、ＨＤＲ静止画のファイルを記録メディアに記録する。

［第２の実施形態］
上記第１の実施形態では、ブロック毎の画像の特徴として平坦の度合いを求める例を説明したが、本第２の実施形態では、平坦度に加え、輝度値の高さを加味して予測モードに制限をかける例を説明する。それ故、以下の説明では、第１の実施形態との差異についてのみ詳細に説明する。

本第２の実施形態における特徴検出部１０５は、上記の通り、平坦度合いに加え、ブロック全体の輝度値の高さの検出も行う。

図３に示すように、ＨＤＲ画像やＬｏｇ画像においては表示の際の入力画素値と出力値の関係がガンマカーブ３０１で規定されている。このカーブからわかるように、入力値が大きい部分、すなわち高輝度値領域（ハイライト領域）では、画素値の変化量に対して、実際に表示される輝度値の変化量が大きい。

したがって、輝度値の高い部分ほど符号化の際の画素値の劣化が増幅されることになる。かかる点に着目し、本第２の実施形態では、平坦度に加え、劣化が目立ち易い高輝度であることを更なる条件とする。

ブロックの輝度値の高さの検出方法としては、様々な方法が考えらえるが、ここではブロック内の画素の輝度値の平均値を算出するものとした。そして、高輝度ブロックか否かを判定するための閾値を決めておき、輝度平均値が閾値よりも大きい場合には、符号化対象のブロック画像は高輝度ブロックであると判定するものとする。そして、本第２の実施形態の特徴検出部１０５は、着目ブロックが平坦かどうかの判定結果に加え、着目ブロック画像が高輝度ブロックかどうかの判定結果も、予測モード設定部１０６に供給する。

予測モード設定部１０６は、イントラ符号化対象の画像がＨＤＲ画像、もしくはＬｏｇ画像であり、且つ、符号化対象の着目ブロック画像が平坦、かつ高輝度のブロックであるという条件を満たす場合、イントラ予測に使用可能な予測モードを制限する。

本第２の実施形態では、予測モードの制限方法として、水平方向予測モードと垂直方向予測モードを使用しないように制限する。これは、水平方向予測モードと垂直方向予測モードは、方向性予測のなかでも特に線状の劣化が目立ちやすいからである。また、符号化効率を考えた場合、予測モードの制限する数は少ない方が望ましいからでもある。

本第２の実施形態におけるイントラフレームにおける予測モードの決定処理を図７のフローチャートを参照して説明する。

Ｓ７０１にて、特徴検出部１０５は、制御部１５０の制御の下で、符号化対象のブロック画像を符号化フレームバッファ１０４より取得する。また、予測モード設定部１０６は、符号化対象のフレームがＨＤＲ画像かＳＤＲ画像かを示す情報、及び、Ｌｏｇ画像かどうかの情報を取得する。

Ｓ７０２にて、特徴検出部１０５は、取得したブロック画像の特徴検出処理を行う。実施形態の特徴検出部１０５は、着目ブロック画像の分散値を検出し、着目ブロックが平坦か否かの判定を行う。更に、特徴検出部１０５は、着目ブロック画像の輝度平均値を求め、高輝度か否かを判定するための閾値と比較し、輝度平均値が閾値以上の場合に着目ブロックが高輝度ブロックであると判定する。

Ｓ７０３にて、予測モード設定部１０６は、制御部１５０の制御下にて、符号化を行う画像がＨＤＲ画像もしくはＬｏｇ画像のいずれかであり、且つ、着目ブロックが平ブロックであり、且つ、高輝度ブロックであるという条件を満たすか否かを判定する。予測モード設定部１０６は、この条件を満たすと判定した場合、処理をＳ７０４ｂに進める。このＳ７０４ｂにて、予測モード設定部１０６は、ＨＥＶＣにおけるイントラ予測では、着目ブロックのイントラ予測に用いる３５個の予測モード中、水平方向予測モードと垂直方向予測モードの２つを利用不可として決定し、残りの３３個の予測モードのいずれかを用いてイントラ予測するよう、イントラ予測部１０７に設定する。なお、ＶＶＣにおけるイントラ予測では、着目ブロックのイントラ予測に用いる６７個の予測モード中、水平方向予測モードと垂直方向予測モードの２つを利用不可として決定し、残りの６５個の予測モードのいずれかを用いてイントラ予測するよう、イントラ予測部１０７に設定する。

また、Ｓ７０３にて、予測モード設定部１０６が上記の条件を満たさないと判定した場合、処理をＳ７０４ａに進める。このＳ７０４ａにて、予測モード設定部１０６は、全予測モードが利用可として、イントラ予測部１０７に設定する。

Ｓ７０５にて、イントラ予測部１０７は、Ｓ７０４ａまたＳ７０４ｂにて設定された予測モードの中から、予測誤差が最小となる予測モードを決定し、その差分画像を予測選択部１０９に供給する。

Ｓ７０６にて、制御部１５０は、符号化対象のフレームの最終ブロックの予測処理を終えたか否かを判定し、否と判定した場合には、後続するブロック画像の予測モードを決定するため、処理をＳ７０２に戻す。そして、制御部１５０は、符号化対象のフレームの最終ブロックの予測モードの決定処理を終えたと判断した場合は、本処理を終了する。

以上説明したように、本第２の実施形態によれば、画像情報を取得し、ブロックごとに画像の特徴の検出を行い、ＨＤＲ画像、もしくはＬｏｇ画像で、かつ着目ブロックが表す画像が平坦かつ高輝度である場合に、水平予測モードと垂直予測モードを利用不可とすることで、イントラ予測の予測方向に制限をかける。この結果、劣化の目立ちやすいブロックに対して線状の劣化を防ぐことができ、且つ、第１の実施形態と比較して、生成される符号量をより少なくできるようになる。

なお、符号化効率をある程度犠牲にしても良い場合には、第１の実施形態と同様、３３個の方向性予測モードを利用不可に設定しても良い。制限対象を、水平方向予測と垂直方向予測の２つに限るのか、全方向性予測モードとするかは、ユーザが不図示の操作部から選択するようにしても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…レンズ、１０２…撮像部、１０３…現像処理部、１０４…符号化フレームバッファ、１０５…特徴検出部、１０６…予測モード設定部、１０７…イントラ予測部、１０８…インター予測部、１０９…予測選択部、１１０…直交変換部、１１１…量子化部、１１２…量子化制御部

Claims (13)

1. 方向性予測モードを含む複数のイントラ予測モードのうちいずれかを用いて画像を符号化する画像符号化装置であって、
   画像データにおける符号化対象のブロックが所定の特徴を有するか否かを判定する判定手段と、
   前記画像データが高ダイナミックレンジの画像データであり、且つ、前記判定手段により前記ブロックが前記所定の特徴を有すると判定された場合、前記ブロックに対する利用可能なイントラ予測モードを制限する制限手段と
   を有することを特徴とする画像符号化装置。
2. 前記判定手段は、前記ブロックが表す画像が平坦な画像である場合に前記所定の特徴を有すると判定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記判定手段は、前記ブロック内の画素値の分散値を算出し、当該分散値が予め設定された閾値以下である場合、前記ブロックが表す画像が平坦な画像であると判定することを特徴とする請求項１に記載の画像符号化装置。
4. 前記制限手段は、複数のイントラ予測モードにおいて、方向性予測モードを利用不可に設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記判定手段は、前記ブロックが表す画像が平坦でかつ高輝度の画像である場合に前記所定の特徴を有すると判定することを特徴とする請求項１に記載の画像符号化装置。
6. 前記判定手段は、前記ブロック内の画素の輝度値の平均値と分散値とを算出し、前記分散値が第１の閾値以下であり、且つ、前記平均値が第２の閾値以上である場合に、前記ブロックが表す画像が平坦でかつ高輝度の画像であると判定することを特徴とする請求項５に記載の画像符号化装置。
7. 前記制限手段は、複数のイントラ予測モードにおける垂直、水平方向の方向性予測モードを利用不可に設定することを特徴とする請求項１、４乃至６のいずれか１項に記載の画像符号化装置。
8. 前記高ダイナミックレンジの画像データは、Ｌｏｇ画像データを含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像符号化装置。
9. 前記制限手段の制限の下で、前記画像データの全ブロックについて、イントラ予測モードで得られる予測画像との差分を示す差分画像を、直交変換、量子化、及び、可変長符号化を行うことで、静止画の符号化データを生成する符号化手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像符号化装置。
10. 前記既に符号化済みのフレームが表すローカルデコード画像を記憶するためのバッファと、
    該バッファを参照して前記ブロックが示す画像の予測画像との差分を示す差分画像を生成するインター予測手段と、
    前記制限手段の制限の下で、前記ブロックが示す画像の予測画像との差分を示す差分画像を生成するイントラ予測手段と、
    前記インター予測手段、前記イントラ予測手段からの差分画像のいずれかを選択し、直交変換、量子化、及び、可変長符号化を行うことで、符号化データを生成する符号化手段と
    を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像符号化装置。
11. 撮像手段を更に有し、当該撮像手段で得た画像データを符号化対象とすることを特徴とする請求項１乃至１０のいずれか１項に記載の画像符号化装置。
12. 方向性予測モードを含む複数のイントラ予測モードのうちいずれかを用いて画像を符号化する画像符号化装置の制御方法であって、
    画像データにおける符号化対象のブロックが所定の特徴を有するか否かを判定する判定工程と、
    前記画像データが高ダイナミックレンジの画像データであり、且つ、前記判定手段により前記ブロックが前記所定の特徴を有すると判定された場合、前記ブロックに対する利用可能なイントラ予測モードを制限する制限工程と
    を有することを特徴とする画像符号化装置の制御方法。
13. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至１１のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。

Images