JP2013179572A

JP2013179572A - 画像符号化装置および画像符号化方法

Info

Publication number: JP2013179572A
Application number: JP2012285289A
Authority: JP
Inventors: Hiroo Endo; 寛朗遠藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-02-08
Filing date: 2012-12-27
Publication date: 2013-09-09
Also published as: CN103248886A; US20130201367A1

Abstract

【課題】様々な画面内予測方式の選択に十分に対応しきれず、適切な予測方式を選択することができない。
【解決手段】画像符号化装置は、異なる予測方式に対応し、予測画像データを生成するための予測方式を異なる予測方式の中から選択するイントラ予測と、イントラ予測により選択された予測方式に従った入力画像データの画面内符号化を行い、イントラ予測において、各予測方式に従って入力画像データから予測画像データを生成して当該予測方式の評価値を算出し、算出された評価値に基づいて、当該評価値に対応する予測方式の評価を行ない、所定の予測方式に対する評価に基づいて、所定の予測方式を選択するかどうかを決定し、所定の予測方式の選択を決定した場合は、他の予測方式に対する評価に基づいた選択を行なわないように設定し、所定の予測方式の選択を決定しない場合は、他の予測方式に対する評価に基づいた選択を行って予測方式を決定する。
【選択図】図２

Description

本発明は画像を符号化する符号化装置に関し、特に複数の画面内予測方式を選択して動画を符号化する画像符号化装置に関する。

従来、被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年では、動画像データを記録する記録媒体は、従来の磁気テープからランダムアクセス性などの利便性が高いディスク媒体や半導体メモリなどに移り変わってきている。また、画像の圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式が一般的に用いられている。また、近年では、より複雑な予測方式を用いるなどして、高圧縮率で圧縮可能なＨ．２６４（別称ＭＰＥＧ４−ＡＶＣ）方式も用いられるようになっている。

ところで、Ｈ．２６４には、符号化対象のブロックの周辺画素の値を用いて符号化対象ブロックの画素値を予測する画面内予測がある。この画面内予測においては、符号化するブロックの周辺画素で、予測に使用する画素やそれらの画素値の加算割合などが異なる複数の予測方式がある。これらを適切に選択することで、高レベルな圧縮を施しても劣化が少ない符号化データを生成することができる。すべての予測方式を試したうえで使用する予測方式を決定すると、膨大な演算が必要になることから、少ない演算量で適切な予測方式を選択する研究が広く行われている。下記の特許文献１に開示されている技術では、符号化画像の画像パターンを判定し、そのパターンに基づいて画面内予測方式を選択することで、すべての予測方式を試さずに、適切な予測方式を選択している。

特開２００６−５６５９号公報

さらに近年では、次期符号化方式の研究が行われているが、圧縮率を高めるため、処理の複雑さはさらに増している。画面内予測においては、Ｈ．２６４のように、符号化ブロックの周辺画素の値を用いる予測方式だけではなく、様々な異なる予測方式が選択可能となっている。

しかしながら、上記従来技術では、様々な画面内予測方式の選択に十分に対応しきれない場合があり、適切な予測方式を選択することができないという問題があった。また、適切な予測方式を選択するためには、すべての予測方式を試す必要があり、演算量の増加につながり、ひいては符号化処理時間の超過や、消費電力の浪費につながっていた。

そこで、本発明は上記の問題に鑑み、様々な異なる画面内予測方式が選択可能な場合であっても、適切な予測モードを容易に選択できる画像符号化装置を提供することを目的とする。

上記本発明の目的を達成するため、画像符号化装置は、複数の異なる予測方式に対応し、予測画像データを生成するための予測方式を前記複数の異なる予測方式の中から選択するイントラ予測手段と、前記イントラ予測手段により選択された予測方式に従って、入力画像データを画面内符号化する符号化手段とを具備し、前記イントラ予測手段が、各予測方式に対応する予測画像データを生成して当該予測方式の評価値を算出する評価値算出手段と、前記評価値算出手段によって算出された評価値に基づいて、当該評価値に対応する予測方式の評価を行なう評価手段と、前記評価手段による所定の予測方式に対する評価に基づいて、前記所定の予測方式を選択するかどうかを決定し、もし前記所定の予測方式の選択を決定したならば、前記評価手段による他の予測方式に対する評価に基づいた選択を行なわないように設定し、もし前記所定の予測方式の選択を決定しないならば、前記評価手段による他の予測方式に対する評価に基づいた選択を行って予測方式を決定する決定手段とを含む。

本発明によれば、画像符号化において、様々な異なる画面内予測方式が選択可能である場合であっても、適切な予測方式を容易に選択することができる。

本発明の第１の実施例に係る画像符号化装置を有する撮像装置の構成を示すブロック図である。本発明の第１の実施例に係る画像符号化装置のイントラ予測動作のフローチャートを示す図である。異なる画面内予測方式を説明するための画素配列の模式図である。本発明の第２の実施例に係るイントラ予測動作のフローチャートを示す図である。

以下、図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。

（第１の実施例）
図１は、本実施例に係る画像符号化装置１００を含む撮像装置の構成例を示すブロック図である。なお、図１の撮像装置において、本発明の画像符号化装置に特に関係のない構成については、省略または簡略化して示す。

図１において、撮像装置は、本発明に係わる画像符号化装置１００、レンズやイメージセンサ等のカメラ部を含み、画像データを取得する撮像部１０１、および記録回路１１８を含み、記録媒体１１９を装着可能に構成されている。画像符号化装置１００は、フレームメモリ１０２と、動きベクトルを探索するインター予測回路１０３と、イントラ予測方法を選択するイントラ予測回路１０４とを備えている。さらに、インター予測とイントラ予測とのどちらかの予測方法を選択するイントラ・インター選択回路１０５と、予測画像生成回路１０６と、減算器１０７と、整数変換回路１０８と、量子化回路１０９とを備えている。さらに、逆量子化回路１１０と、逆整数変換回路１１１と、加算器１１２と、ループ内フィルタ１１３と、エントロピー符号化回路１１５と、量子化制御回路１１６と、符号量制御回路１１７とを備えている。また、画像符号化装置１００のフレームメモリ１０２は、インター予測又はイントラ予測に用いる参照画像を記憶する参照画像メモリ１１４を備えている。なお、画像符号化装置１００を含む撮像装置の各構成要素は、撮像装置全体を制御する不図示の制御部によって制御され、当該制御部は図示しないメモリに記憶されたプログラムをロードして実行することで制御を達成する。このプログラムは、以下に説明する本発明の画像符号化装置の符号化動作の制御プログラムも含み、特に断わりの無い限り、画像符号化装置１００はこのプログラムによる制御の下で動作するものとする。なお、画像符号化装置１００も制御部を含み、この制御部が撮像装置の制御部による制御の下で本件発明の符号化動作を達成するようにしてもよい。

被写体を撮像部１０１で撮像して得られた動画像データは、撮像順に第１フレーム、第２フレーム、第３フレーム、・・・の順で、フレームメモリ１０２に順次格納される。フレームメモリ１０２からは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・と、符号化を行う順序で画像データを取り出す。

ここで、符号化方法には、フレーム内の画像データのみで符号化するイントラ符号化(画面内符号化)と、フレーム間での予測も含めて符号化するインター符号化(画面間符号化)とがある。インター符号化を行うピクチャは、動き補償の単位（ＭＣブロックと称す）に対して１枚の参照フレームとの予測を行うＰピクチャと、ＭＣブロックに対して２枚までの参照フレームとの予測を行うＢピクチャとがある。一方、イントラ符号化を行うピクチャは、Ｉピクチャである。なお、符号化するフレームの順番が入力されたフレームの順番と異なるのは、過去のフレームだけではなく、時間的に未来のフレームとの予測（後方予測）を可能にするためである。

イントラ符号化を行う場合、符号化単位となる符号化対象ブロックの画像データがフレームメモリ１０２から読み出されて、イントラ予測回路１０４へ入力される。本実施例では、１つの符号化対象ブロックを横１６画素×縦１６画素とする。また、読み出された符号化対象ブロックの周辺画素のデータもフレームメモリ１０２内の参照画像メモリ１１４から読み出されて、イントラ予測回路１０４へ入力される。

イントラ予測回路１０４は、後述する複数の異なる予測方式に対応し、入力画像データから予測画像データを生成するための予測方式を当該複数の異なる予測方式の中から選択する。具体的には、符号化対象ブロックと、その符号化対象ブロックの周辺画素のデータから生成される複数のイントラ予測画像データとの相関に基づいて、符号化対象ブロックに最適なイントラ予測方式を選択してイントラ・インター選択回路１０５へ出力する。

イントラ符号化を行う場合は、イントラ・インター選択回路１０５は常にイントラ予測を選択し、予測画像生成回路１０６へ選択結果を通知する。予測画像生成回路１０６はイントラ・インター選択回路１０５が選択した予測方式に従って、後述する加算器１１２から出力される再構成画像データからイントラ予測画像データを生成する。なお、イントラ予測回路１０４が使用する周辺画素のデータは、上記のように参照画像（加算器１１２で生成される再構成画像データ）を用いても良いし、フレームメモリ１０２から出力される原画データを用いてもよい。

減算器１０７には、前述のイントラ予測画像データとフレームメモリ１０２から読み出される符号化対象ブロックの画像データとが入力され、符号化対象ブロックの画像とイントラ予測画像との画素値の差分画像データを整数変換回路１０８へ出力する。整数変換回路１０８は、入力された画素値の差分画像データに整数変換を施し、量子化回路１０９は、整数変換回路１０８により整数変換された信号に対して量子化処理を行う。

エントロピー符号化回路１１５は、量子化回路１０９により量子化された変換係数をエントロピー符号化し、ストリームとして記録回路１１８に出力する。ここで、量子化回路１０９における量子化係数は、エントロピー符号化回路１１５で発生した符号量や、符号量制御回路１１７から設定される目標符号量などから量子化制御回路１１６が算出する。記録回路１１８は、エントロピー符号化回路１１５から出力されたストリームを記録媒体１１９に記録する。

また、量子化回路１０９により量子化された変換係数は、逆量子化回路１１０にも入力される。逆量子化回路１１０は、入力された変換係数を逆量子化し、逆整数変換回路１１１は、逆量子化された信号に対して逆整数変換処理を施す。

加算器１１２には、逆整数変換されたデータと、予測画像生成回路１０６により生成されたイントラ予測画像データとが入力されて加算される。加算後のデータは復号された再構成画像データとなり、前述した予測画像生成回路１０６に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ１１３によってブロックノイズの軽減処理が施され、前述したイントラ符号化と後述するインター符号化の際に用いる参照画像データとして参照画像メモリ１１４に記憶される。

一方、インター符号化を行う場合、符号化単位となる符号化対象ブロックの画像データがフレームメモリ１０２から読み出されて、インター予測回路１０３へ入力される。また、インター予測回路１０３は、参照画像データを参照画像メモリ１１４から読み出し、符号化対象の画像データと参照画像データとから動きベクトルを検出して、イントラ・インター選択回路１０５へ通知する。

なお、フレームによっては、符号化対象ブロックごとにインター予測かイントラ予測かを選択することができる。イントラ予測を行う場合、イントラ予測回路１０４は前述のように動作し、イントラ予測の結果をイントラ・インター選択回路１０５へ通知する。イントラ・インター選択回路１０５は、インター予測回路１０３の結果とイントラ予測回路１０４の結果とを入力し、例えば、差分値が小さい方の予測方式を選択して、予測画像生成回路１０６へ通知する。減算器１０７では、符号化対象ブロックの画像データと予測画像データとの差分を計算し、差分画像データが生成される。差分画像データは整数変換回路１０８に出力され、その後の処理は前述したイントラ符号化の場合と同様である。

以下、イントラ予測回路１０４の動作について詳細に説明する。

本実施例のイントラ予測回路１０４では、以下の４つのイントラ予測方式を適応的に実行し、いずれかを選択できるものとする。なお、本実施例に適用可能なイントラ予測方式は以下の４つの方式に特定されるものではなく、その数も複数であれば良く、４つに限定されるものではない。

図３（ａ）はイントラ予測方式を説明するための画素配列の模式図である。ここでは、説明を簡単にするため、符号化ブロックを水平４画素、垂直４画素としている。符号a〜pは、符号化ブロックの画素値を表し、符号Ａ〜Ｑは、近傍ブロックに属する画素の値で、既に符号化済の再構成画像の画素値である。生成する予測画素値をａ’〜ｐ’とし、この予測画素値ａ’〜ｐ’が予測画像データとなる。

（イントラ予測方式１）Arbitrary Directional Intra方式（以下、ADI）
ＡＤＩでは、Ａ〜Ｑの画素値を用いて予測画像データを生成するが、予測画像データの生成方法が複数種類規定されている方向予測方式である。

例えば、その一つであるＶｅｒｔｉｃａｌ予測モードについて説明する。Ｖｅｒｔｉｃａｌ予測モードでは、垂直方向の予測が行われ、ａ ’ 〜ｐ ’ の予測画素値を生成する。即ち、画素値、ａ，ｅ，ｉ，ｍが画素値Ａと等しく、画素値ｂ，ｆ，ｊ，ｎが画素値Ｂと等しく、画素値ｃ，ｇ，ｋ，ｏが画素値Ｃと等しく、画素値ｄ，ｈ，ｌ，ｐが画素値Ｄと等しいと予測する。

つまり、
ａ ’ ＝ｅ ’ ＝ｉ ’ ＝ｍ ’ ＝Ａ
ｂ ’ ＝ｆ ’ ＝ｊ ’ ＝ｎ ’ ＝Ｂ
ｃ ’ ＝ｇ ’ ＝ｋ ’ ＝ｏ ’ ＝Ｃ
ｄ ’ ＝ｈ ’ ＝ｌ ’ ＝ｐ ’ ＝Ｄ
という予測画素値が生成される。

このように、ＡＤＩでは予測画像データの生成が予測の方向と関連付けられており、斜め方向の予測の場合には、Ａ〜Ｑの重み付加算によってａ ’〜ｐ’を生成する。ここでは、水平方向を含む３４方向の予測モード（方向性を有しない平均値予測（ＤＣ予測）を含む）が選択できるとしている。

（イントラ予測方式２）Multi-Parameter Intra方式（以下、MPI）
ＭＰＩでは、ＡＤＩによって生成された予測画像データにフィルタをかけて予測画像データを生成する。ここでは、生成する予測画素値の位置のＡＤＩの予測画素値と、その上、右上、下の画素値との４画素に平均フィルタをかけている。例えば、ｆの予測画素値ｆ’’は、ＡＤＩの予測画素値ｆ ’、ｂ’、ｃ ’、ｊ ’の平均値として算出される。

（イントラ予測方式３）Combined Intra Prediction方式（以下、CIP）
ＣＩＰでは、ＡＤＩによって生成された予測画素値と周辺画素の値の平均値との重み付加算によって予測画像値を生成する。ここでは、周辺画素の平均値は、左、左上、上の３画素の平均値とし、ＡＤＩによって生成された予測画素値の重みを７割としている。例えば、ｆのＣＩＰによる予測画素値ｆ’’は
ｆ’’＝０．７×ｆ’＋０．３×（（ａ＋ｂ＋ｅ）／３）
で算出される。

（イントラ予測方式４）Pixel based Template Matching方式（以下、PTM）
図３（ｂ）はＰＴＭの予測方式を説明するための画素配列の模式図である。図３（ａ）と同様に、符号化ブロックを水平４画素、垂直４画素としている。符号a〜pは、符号化ブロックの画素値を表し、ハッチングがかかった画素は、近傍ブロックに属する画素で、既に符号化済の再構成画像である。

ＰＴＭでは周辺画素のテンプレートマッチングをとり、その中で最も相関が高い場所の画素を予測画素とする。例えば、ａの予測画素値ａ’を算出する場合、ａに対して左の画素Ｔ０、左上の画素Ｔ１、上の画素Ｔ２をテンプレートとして用いる。テンプレートマッチングをとる探索範囲は図中でハッチングがかかっている範囲であり、例えばＣの場所の相関の高さは、
ＳＡＤ＝｜Ｔ０−Ｃ０｜＋｜Ｔ１−Ｃ１｜＋｜Ｔ２−Ｃ２｜
で算出される差分絶対値和で表される。差分絶対値和を探索範囲のなかで求めて、最も差分絶対値和が小さい場所の画素値を予測画素値とする。例えば、Ｃの場所の差分絶対値和が最も小さかったとすると、ａ’＝Ｃとなる。同様に、ｂ’〜ｐ’まで予測画素を求めてＰＴＭの予測画像とする。

イントラ予測回路１０４の動作を、図２のフローチャートを用いて説明する。

本実施例では、各予測方式の選択可能性の評価を、入力画像データと予測画像データとの差分絶対値和と各予測方式について予め設定したしきい値との大小関係の比較で行なう。差分絶対値和がしきい値より小さい場合に、その予測方式の選択を決定する。しきい値より大きいときは、次の予測方式の評価を行なう。本実施例の予測方式の選択構成は、これを繰り返して最適な予測方式を選択することを基本構成とする。ここで、しきい値は、例えば実験などに基づいて、各予測方式について許容できる最大差分絶対値（予測誤差）として設定することができる。以下、本実施例の予測方式の選択構成を詳細に説明する。

Ｓ２０１で符号化対象ブロックの画像をフレームメモリから読み出す。始めに、本実施例で優先される所定の予測方式としてＡＤＩを評価する。Ｓ２０２でＡＤＩの３４の予測方向に対する予測画像を順次生成しつつ、各予測方向について符号化対象画像データと予測画像データとの差分量に相当する評価値を算出する。評価値は、イントラ予測回路１０４に設けられている不図示の評価値算出部によって算出される。ここでは、評価値として差分絶対値和を使用して評価値算出を行なっている。

Ｓ２０３で各予測方向についての評価値のうち最小となる評価値（Cadi）をとる予測方向をＡＤＩの最適モードとして決定する。各評価値に対応する予測方式（方向）は、イントラ予測回路１０４に設けられている不図示の評価部によって、その選択可能性について評価される。

Ｓ２０４で、前記ＡＤＩの最適モードの評価値（Cadi）と予め設定された第一のしきい値（Tadi）とを比較し、評価値の方が小さい場合は、Ｓ２０５でイントラ予測方式をＡＤＩと決定し、選択動作を終了する。決定は、イントラ予測ユニット１０４にある決定ユニットによって行われる。このとき、評価部による他の予測方式に対する評価に基づいた選択を行なわないように設定される。

一方、Ｓ２０４で第一のしきい値の方が小さい場合は、Ｓ２０６でＭＰＩの予測画像データが生成され、評価値算出部によって評価値（Cmpi）が算出される。

Ｓ２０７でＭＰＩの評価値（Cmpi）と第二のしきい値（Tmpi）とを比較し、評価値の方が小さい場合は、Ｓ２０８でＭＰＩの評価値（Cmpi）とＡＤＩの評価値（Cadi）を比較する。ＭＰＩの評価値（Cmpi）の方が小さい場合は、Ｓ２０９でイントラ予測方式をＭＰＩと決定し終了する。一方、ＡＤＩの評価値（Cadi）の方が小さい場合は、Ｓ２０５でイントラ予測方式をＡＤＩと決定し終了する。すなわち、ＭＰＩが評価されても、その評価値である差分絶対値和がＡＤＩより大きな予測誤差を与える場合は、ＡＤＩを選択する。同様の判断は、Ｓ２０８でＭＰＩが評価されなかったときに行なう他の予測方式に対する選択の評価、決定においても行なう。

Ｓ２０７で第二のしきい値の方が小さい場合は、Ｓ２１０でＣＩＰの予測画像データを生成して評価値（Ccip）を算出する。Ｓ２１１でＣＩＰの評価値（Ccip）と第三のしきい値（Tcip）とを比較する。この比較で評価値の方が小さい場合は、Ｓ２１２でＣＩＰの評価値とＭＰＩの評価値とＡＤＩの評価値を比較し、ＣＩＰの評価値が最も小さい場合はＳ２１３でイントラ予測方式をＣＩＰと決定し終了する。一方、ＣＩＰの評価値が最小ではない場合は、Ｓ２０８にて上述の通り評価値を比較してイントラ予測方式を決定する。

Ｓ２１１で第三のしきい値の方が小さい場合は、Ｓ２１４でＰＴＭの予測画像データを生成して評価値（Cptm）を算出する。Ｓ２１５でＰＴＭの評価値（Cptm）とＣＩＰの評価値（Ccip）とＭＰＩの評価値（Cmpi）とＡＤＩの評価値（Cadi）を比較し、ＰＴＭの評価値が最も小さい場合はＳ２１７でイントラ予測方式をＰＴＭと決定して動作を終了する。一方、ＰＴＭの評価値が最小ではない場合は、Ｓ２１２にて上述の通り評価値を比較してイントラ予測方式を決定する。

以上の動作により、すべての選択可能なイントラ予測方式について、しきい値と評価の順序を設定することで、各予測方式を全て試すことなく、適切なイントラ方式を選択することが可能となる。従って、本実施例によれば、選択可能なイントラ予測方式が増えても、演算量を減らしながらも適切なイントラ予測方式を選択することができ、符号化装置の符号化処理における負荷を軽減することが可能となる。

なお、イントラ予測方式を評価する順序は、本実施の形態に限るものではない。

また、本発明の画像符号化装置は、ＰＣ（personal computer）などの情報処理装置における入力画像データの記録処理の画像信号処理などにも適用できることは言うまでもない。この場合は、情報処理装置のＣＰＵがメモリに記憶された画像符号化プログラムをロードして実行することで、本実施例の画像符号化の制御を実現することが可能である。

（第２の実施例）
本発明の第２の実施例について、図４を用いて説明する。
本実施例は、第１の実施例とは異なるイントラ予測方式の選択構成を提供する。したがって、図１に示す撮像装置の構成には変更がなく、その説明はここでは省略する。
図４は、本実施例のイントラ予測回路１０４の動作を説明するためのフローチャートを示す図である。同図において図２と同じ部分は同じ符号を付して示す。

第１の実施例では各予測方式の評価を順次行なったが、本実施例では、例えばＭＰＩとＣＩＰがＡＤＩの予測画素値を使用していることを考慮し、ＡＤＩの評価結果からＭＰＩとＣＩＰを含む他の予測方式に対する評価を設定してそれらの選択判断を簡略化する。以下、本実施例の選択動作を詳細に説明する。

Ｓ２０１で符号化対象ブロックの画像データをフレームメモリから読みだす。Ｓ２０２でＡＤＩの３４の予測方向に対する予測画像を順次生成しつつ、各々の予測方向に対して符号化対象画像と予測画像との差分量に相当する評価値を算出する。ここでは、評価値として、差分絶対値和を使用している。Ｓ２０３で各々の予測方向に対する評価値が最小となる評価値（Cadi）をとる予測方向をＡＤＩの最適モードとして決定する。ここまでは第１の実施例と同様である。

Ｓ４０４では、ＡＤＩの評価値を基づいて、この後に評価するイントラ予測方式を決定する。まず、ＡＤＩの評価値（Cadi）を予め設定したしきい値と比較する。この比較の結果、ＡＤＩの評価値が大きい場合には、「ＭＰＩは評価しない、ＣＩＰは評価しない、ＰＴＭは評価する」、と決定する。一方、ＡＤＩの評価値がしきい値より小さい場合には、「ＭＰＩは評価する、ＣＩＰは評価する、ＰＴＭは評価しない」、と決定する。なお、評価するイントラ予測方式の選びかたは、上述の例に限るものではない。

Ｓ４０５ではＳ４０４において、ＭＰＩを評価すると決定されたかどうかを判定し、評価するとの決定の場合には、Ｓ４０７でＭＰＩの評価値（Cmpi）を算出する。一方、評価する決定されていない場合には、Ｓ４０６でＭＰＩの評価値に評価値としてとり得る最大値（許容できる最大予測誤差）を設定する。

Ｓ４０８ではＳ４０４において、ＣＩＰを評価すると決定されたかどうかを判定し、評価するとの決定の場合には、Ｓ４１０でＣＩＰの評価値（Ccip）を算出する。一方、評価すると決定されていない場合には、Ｓ４０９でＣＩＰの評価値に評価値としてとり得る最大値を設定する。

Ｓ４１１ではＳ４０４において、ＰＴＭを評価すると決定されたかどうかを判定し、評価するとの決定の場合には、Ｓ４１３でＰＴＭの評価値（Cptm）を算出する。一方、評価すると決定されていない場合には、Ｓ４１２でＣＩＰの評価値に評価値としてとり得る最大値を設定する。

Ｓ４１４で、ＰＴＭの評価値とＣＩＰの評価値とＭＰＩの評価値とＡＤＩの評価値を比較し、ＰＴＭの評価値が最も小さい場合はＳ４１５でＰＴＭをイントラ予測方式として決定して動作を終了する。

Ｓ４１４でＰＴＭの評価値が最も小さくない場合には、Ｓ４１６で、ＣＩＰの評価値とＭＰＩの評価値とＡＤＩの評価値を比較し、ＣＩＰの評価値が最も小さい場合はＳ４１７でＣＩＰをイントラ予測方式として決定し動作を終了する。

Ｓ４１６でＣＩＰの評価値が最も小さくない場合には、Ｓ４１８で、ＭＰＩの評価値とＡＤＩの評価値を比較し、ＭＰＩの評価値が小さい場合はＳ４１９でＭＰＩをイントラ予測方式として決定して終了する。一方、ＭＰＩの評価値が小さくない場合には、Ｓ４２０でＡＤＩをイントラ予測方式として決定して動作を終了する。

以上の動作によっても第１の実施例と同様、選択可能なイントラ予測方式をすべて試すことなく適切なイントラ方式を選択することが可能となり、演算量を減らしながらも適切なイントラ予測方式を選択可能な画像符号化装置を提供することができる。

前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２及び図４に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims

画面内符号化を行なえる画像符号化装置において、
複数の異なる予測方式に対応し、予測画像データを生成するための予測方式を前記複数の異なる予測方式の中から選択するイントラ予測手段と、
前記イントラ予測手段により選択された予測方式に従って、入力画像データを画面内符号化する符号化手段とを具備し、
前記イントラ予測手段が、
各予測方式に対応する予測画像データを生成して当該予測方式の評価値を算出する評価値算出手段と、
前記評価値算出手段によって算出された評価値に基づいて、当該評価値に対応する予測方式の評価を行なう評価手段と、
前記評価手段による所定の予測方式に対する評価に基づいて、前記所定の予測方式を選択するかどうかを決定し、前記所定の予測方式の選択を決定した場合は、前記評価手段による他の予測方式に対する評価に基づいた選択を行なわないように設定し、前記所定の予測方式の選択を決定しない場合は、前記評価手段による他の予測方式に対する評価に基づいた選択を行って予測方式を決定する決定手段とを備えることを特徴とする画像符号化装置。
前記評価値算出手段は、前記入力画像データのうち符号化対象の画像データの予測画像データを生成し、当該符号化対象の画像データと生成された予測画像データとの差分に基づいて前記評価値を算出し、前記評価手段は前記評価値を予め設定されたしきい値と比較することで前記対応する予測方式の選択可能性の評価を行なうことを特徴とする請求項１に記載の画像符号化装置。
前記評価値算出手段は、各予測方式に従った前記評価値の算出を、複数の予測方式について予め定められた順序で行ない、前記評価手段および決定手段は、前記評価値算出手段が評価値を算出するごとに当該評価値に基づいた前記対応する予測方式の選択可能性の評価および選択の決定を行なうことを特徴とする請求項１または２に記載の画像符号化装置。
前記評価値算出手段が、少なくとも２つの予測方式の評価値の算出を行なったときに前記評価手段が選択可能性が有るとの評価をしたときは、決定手段は、前記少なくとも２つの予測方式の算出された評価値に基づいて選択する予測方式を決定することを特徴とする請求項３に記載の画像符号化装置。
前記決定手段は、前記評価手段が前記複数の予測方式のすべてについて選択可能性が無いと評価したときは、前記評価値算出手段が算出した各予測方式の評価値に基づいて選択する予測方式を決定することを特徴とする請求項１乃至４のいずれか一項に記載の画像符号化装置。
前記決定手段は、前記評価手段による評価の結果に基づいて前記対応する予測方式の選択を決定したときは、前記評価値が算出されていない他の予測方式についての選択可能性の評価を設定することを特徴とする請求項１乃至３のいずれか一項に記載の画像符号化装置。
前記評価値算出手段は、前記決定手段が前記他の予測方式のうち、選択可能性が有るとの評価を設定した予測方式の評価値を算出するとともに、選択可能性が無いと評価した予測方式の評価値を設定し、前記決定手段は前記評価値算出手段で算出された評価値および設定された評価値に基づいて選択する予測方式を決定することを特徴とする請求項６に記載の画像符号化装置。
前記所定の予測方式は、垂直方向、水平方向、及び複数の斜め方向の画素の予測を含む方向予測方式であって、
前記決定手段は、前記方向予測方式を他の予測方式に優先して評価することを特徴とする請求項１に記載の画像符号化装置。
前記方向予測方式は、Arbitrary Directional Intra方式であることを特徴とする請求項８に記載の画像符号化装置。
被写体を撮像して画像データを取得する撮像手段と、
請求項１乃至９のいずれか一項に記載の画像符号化装置と、
前記画像符号化装置で符号化された画像データを記録媒体に記録する記録と
を備えることを特徴とする撮像装置。
画面内符号化を含む画像符号化方法において、
複数の異なる予測方式に対応し、予測画像データを生成するための予測方式を前記複数の異なる予測方式の中から選択するイントラ予測ステップと、
前記イントラ予測ステップで選択された予測方式に従って、入力画像データを画面内符号化する符号化ステップとを具備し、
前記イントラ予測ステップが、
各予測方式に対応する予測画像データを生成して当該予測方式の評価値を算出する評価値算出ステップと、
前記評価値算出ステップで算出された評価値に基づいて、当該評価値に対応する予測方式の評価を行なう評価ステップと、
前記評価ステップでの所定の予測方式に対する評価に基づいて、前記所定の予測方式を選択するかどうかを決定し、前記所定の予測方式の選択を決定した場合は、前記評価ステップでの他の予測方式に対する評価に基づいた選択を行なわないように設定し、前記所定の予測方式の選択を決定しない場合は、前記評価ステップでの他の予測方式に対する評価に基づいた選択を行って予測方式を決定する決定ステップとを備えることを特徴とする画像符号化方法。
前記評価値算出ステップは、前記入力画像データのうち符号化対象の画像データの予測画像データを生成し、当該符号化対象の画像データと生成された予測画像データとの差分に基づいて前記評価値を算出し、前記評価ステップは前記評価値を予め設定されたしきい値と比較することで前記対応する予測方式の選択可能性の評価を行なうことを特徴とする請求項１１に記載の画像符号化方法。
前記評価値算出ステップは、各予測方式に従った前記評価値の算出を、複数の予測方式について予め定められた順序で行ない、前記評価ステップおよび決定ステップは、前記評価値算出ステップが評価値を算出するごとに当該評価値に基づいた前記対応する予測方式の選択可能性の評価および選択の決定を行なうことを特徴とする請求項１１又は１２に記載の画像符号化方法。
前記評価値算出ステップが、少なくとも２つの予測方式の評価値の算出を行なったときに前記評価ステップが選択可能性が有るとの評価をしたときは、決定ステップは、前記少なくとも２つの予測方式の算出された評価値に基づいて選択する予測方式を決定することを特徴とする請求項１３に記載の画像符号化方法。
前記決定ステップは、前記評価ステップが前記複数の予測方式のすべてについて選択可能性が無いと評価したときは、前記評価値算出ステップが算出した各予測方式の評価値に基づいて選択する予測方式を決定することを特徴とする請求項１１乃至１４のいずれか一項に記載の画像符号化方法。
前記決定ステップは、前記評価ステップによる評価の結果に基づいて前記対応する予測方式の選択を決定したときは、前記評価値が算出されていない他の予測方式についての選択可能性の評価を設定することを特徴とする請求項１１乃至１３のいずれか一項に記載の画像符号化方法。
前記評価値算出ステップは、前記決定ステップが前記他の予測方式のうち、選択可能性が有るとの評価を設定した予測方式の評価値を算出するとともに、選択可能性が無いと評価した予測方式の評価値を設定し、前記決定ステップは前記評価値算出ステップで算出された評価値および設定された評価値に基づいて選択する予測方式を決定することを特徴とする請求項１６に記載の画像符号化方法。
前記所定の予測方式は、垂直方向、水平方向、及び複数の斜め方向の画素の予測を含む方向予測方式であって、
前記決定ステップは、前記方向予測方式を他の予測方式に優先して評価することを特徴とする請求項１１に記載の画像符号化方法。
前記方向予測方式は、Arbitrary Directional Intra方式であることを特徴とする請求項１８に記載の画像符号化方法。
画面内符号化を行なえる画像符号化装置を制御するためのプログラムであり、
コンピュータを、
複数の異なる予測方式に対応し、予測画像データを生成するための予測方式を前記複数の異なる予測方式の中から選択するイントラ予測手段、
前記イントラ予測手段により選択された予測方式に従って、入力画像データを画面内符号化する符号化手段、
前記イントラ予測手段が含む、
各予測方式に対応する予測画像データを生成して当該予測方式の評価値を算出する評価値算出手段、
前記評価値算出手段によって算出された評価値に基づいて、当該評価値に対応する予測方式の評価を行なう評価手段、
前記評価手段による所定の予測方式に対する評価に基づいて、前記所定の予測方式を選択するかどうかを決定し、前記所定の予測方式の選択を決定した場合は、前記評価手段による他の予測方式に対する評価に基づいた選択を行なわないように設定し、前記所定の予測方式の選択を決定しない場合は、前記評価手段による他の予測方式に対する評価に基づいた選択を行って予測方式を決定する決定手段として機能させるプログラム。
請求項２０のプログラムを記録したコンピュータが読み取り可能な記憶媒体。