JP2012222460A - 動画像符号化装置、動画像符号化方法及びプログラム - Google Patents

Abstract

【課題】画質を良好に維持できるようにするとともに、処理時間を増加させないようにする。
【解決手段】まず、入力された画像データの輝度情報に基づいて動き探索範囲を決定する。そして、前記画像データの色差情報からイントラ予測及びインター予測の評価値を算出することによってイントラ符号化かインター符号化かを判定する。この判定の結果、インター符号化のほうが相関が高い場合には、動き探索範囲から動くベクトルを決定し、輝度情報からイントラ予測及びインター予測の評価値を算出して、イントラ符号化かインター符号化かを再度判定する。
【選択図】図１

Description

本発明は、特に、インター符号化及びイントラ符号化を行うために用いて好適な動画像符号化装置、動画像符号化方法及びプログラムに関する。

従来、被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年では、動画像データを記録する記録媒体は、従来の磁気テープからランダムアクセス性などの利便性が高いディスク媒体や半導体メモリなどに移り変わってきている。また、圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式が一般的に用いられており、さらに近年では、より高圧縮に圧縮可能なＨ．２６４方式なども用いられている。

このような圧縮方式の符号化装置では、動きベクトルの探索に画像すべての情報を使用すると回路規模及び処理時間が増大してしまう。このため、輝度値のみを用いて動きベクトルを決定することが多い。しかし、輝度のみでは全く色の違う場所をベクトルが指定してしまい、復号後に誤った色が表示されてしまうことがある。それに対処するための方法が例えば特許文献１に記載されている。

特開２００３−２８４０９０号公報

しかしながら、上記従来技術では、色情報画質に関しては改善されるものの、輝度によりイントラまたはインターを判定した後に色差によりイントラまたはインターを判定することとなり、処理時間が増加してしまうという問題がある。

本発明は前述の問題点に鑑み、画質を良好に維持できるようにするとともに、処理時間を増加させないようにすることを目的としている。

本発明の動画像符号化装置は、符号化対象のブロックに係る画像データをイントラ符号化、又は、インター符号化によって符号化する符号化手段と、前記画像データの輝度情報に基づいて動き探索範囲を決定する動き探索手段と、前記画像データの色差情報に基づいてイントラ符号化かインター符号化かを判定する判定手段とを有し、前記判定手段は、前記動き探索手段により動き探索範囲が決定された後に、前記色差情報に基づいてインター符号化と判定した場合に、前記画像データの輝度情報に基づいてイントラ符号化かインター符号化かを再度判定することを特徴とする。

本発明によれば、復号後に誤った色が表示されてしまうことを防止するとともに、処理時間を削減することができる。

実施形態に係る動画像符号化装置の構成例を示すブロック図である。 実施形態におけるイントラ予測及びインター予測を行う予測回路の詳細な構成例を示すブロック図である。 第１の実施形態において、予測方法を選択する処理手順の一例を示すフローチャートである。 第２の実施形態において、予測方法を選択する処理手順の一例を示すフローチャートである。

（第１の実施形態）
以下、本発明の第１の実施形態に係る動画像符号化装置について説明する。
図１は、本実施形態に係る動画像符号化装置１００の構成例を示すブロック図である。本実施形態の動画像符号化装置１００は、撮像部や記録媒体を有するビデオカメラ又は動画像記録装置であるともいえる。

図１において、動画像符号化装置１００は、レンズやＣＣＤ等のカメラ部を含む撮像部１０１と、フレームメモリ１０２とを備えている。また、動きベクトルを荒く探索する第一インター予測回路１０３と、動きベクトルを細かく探索する第二インター予測回路１０４とを備えている。さらに、インター予測とイントラ予測とのどちらかの予測方法を選択する予測方法選択回路１０５と、イントラ予測方法を選択するイントラ予測回路１０６とを備えている。

また、予測画像生成回路１０７と、減算器１０８と、整数変換回路１０９と、量子化回路１１０とを備えている。さらに、逆量子化回路１１１と、逆整数変換回路１１２と、加算器１１３と、ループ内フィルタ１１４と、エントロピー符号化回路１１７と、量子化制御回路１１８と、符号量制御回路１１９と、記録回路１２０とを備えている。また、動画像符号化装置１００には記録媒体１２１が装着されている。さらに、フレームメモリ１０２は、第一インター予測に用いる縮小された入力画像及び縮小された参照画像を記憶する縮小画像メモリ１１５と第二インター予測に用いる参照画像を記憶する参照画像メモリ１１６とを備えている。

動画像データは、第１フレーム、第２フレーム、第３フレーム、・・・の順で、フレームメモリ１０２に順次格納される。フレームメモリ１０２からは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・と、符号化を行う順序で画像データを取り出していく。

ここで、符号化方法には、フレーム内の画像データのみで符号化するイントラ符号化と、フレーム間での予測も含めて符号化するインター符号化とがある。インター符号化を行うピクチャは、動き補償の単位（ＭＣブロック）に対して１枚の参照フレームとの予測を行うＰピクチャと、ＭＣブロックに対して２枚までの参照フレームとの予測を行うＢピクチャとがある。一方、イントラ符号化を行うピクチャは、Ｉピクチャである。なお、符号化するフレームの順番が入力されたフレームの順番と異なるのは、過去のフレームだけではなく、時間的に未来のフレームとの予測（後方予測）を可能にするためである。

イントラ符号化を行う場合、符号化単位となる符号化対象ブロックの画像データがフレームメモリ１０２から読み出されて、イントラ予測回路１０６へ入力される。本実施形態では、１つの符号化対象ブロックの単位を横１６画素×縦１６画素とする。また、読み出された符号化対象ブロックに隣接する画素のデータもフレームメモリ１０２から読み出されて、イントラ予測回路１０６へ入力される。

イントラ予測回路１０６は、符号化対象ブロックと、その符号化対象ブロックに隣接する画素のデータから生成される複数のイントラ予測画像データとのブロックマッチングをそれぞれに行う。そして、最も相関の高いイントラ予測画像データを選択して予測方法選択回路１０５へ出力する。

イントラ符号化を行う場合は、予測方法選択回路１０５は常にイントラ予測を選択し、予測画像生成回路１０７へ選択結果を通知する。予測画像生成回路１０７は予測方法選択回路１０５が選択した予測方法に従って、後述する加算器１１３から出力される再構成画像データからイントラ予測画像データを生成する。

減算器１０８には、前述のイントラ予測画像データとフレームメモリ１０２から読み出される符号化対象ブロックの画像データとが入力され、符号化対象ブロックの画像とイントラ予測画像との画素値の差分画像データを整数変換回路１０９へ出力する。整数変換回路１０９は、入力された画素値の差分画像データに整数変換を施し、量子化回路１１０は、整数変換回路１０９により整数変換された信号に対して量子化処理を行う。

エントロピー符号化回路１１７は、量子化回路１１０により量子化された変換係数をエントロピー符号化し、ストリームデータとして記録回路１２０に出力する。ここで、量子化回路１１０における量子化係数は、エントロピー符号化回路１１７で発生した符号量や、符号量制御回路１１９から設定される目標符号量などから量子化制御回路１１８が算出する。記録回路１２０は、エントロピー符号化回路１１７から出力されたストリームデータを記録媒体１２１に記録する。

また、量子化回路１１０により量子化された変換係数は、逆量子化回路１１１にも入力される。逆量子化回路１１１は、入力された変換係数を逆量子化し、逆整数変換回路１１２は、逆量子化された信号に対して逆整数変換処理を施す。

加算器１１３には、逆整数変換されたデータと、予測画像生成回路１０７により生成されたイントラ予測画像データとが入力されて加算される。加算後のデータは復号された再構成画像データとなり、前述した予測画像生成回路１０７に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ１１４によって符号化歪の軽減処理が施され、後述するインター符号化の際に用いる参照画像データとして参照画像メモリ１１６に記憶される。

一方、インター符号化を行う場合、符号化単位となる符号化対象ブロックの縮小画像データ及び縮小参照画像データを縮小画像メモリ１１５から読み出し、第一インター予測回路１０３へ入力される。そして、符号化対象の縮小画像データと縮小参照画像データとから第一動きベクトルを検出して、第二インター予測回路１０４に入力され、さらに予測方法選択回路１０５へ通知する。

本実施形態に係る動画像符号化装置１００は、第一インター予測回路１０３では、縮小画像により粗いベクトル検出を行うことにより検出エリアを絞り、第二インター予測により動きベクトルを検出する。

次に、符号化単位となる符号化対象ブロックの画像データがフレームメモリ１０２より読み出されて、第二インター予測回路１０４に入力される。そして、第二インター予測回路１０４は、参照画像データを参照画像メモリ１１６から読み出し、符号化対象の画像データと参照画像データとから動きベクトルを検出して、予測方法選択回路１０５へ通知する。

なお、フレームによっては、符号化対象ブロックごとにインター予測かイントラ予測かを選択することができる。イントラ予測回路１０６を行う場合は前述のように動作し、イントラ予測の結果を予測方法選択回路１０５へ通知する。予測方法選択回路１０５は、第二インター予測回路１０４の結果とイントラ予測回路１０６の結果とを入力し、例えば、差分値が小さい方の予測方法を選択して、予測画像生成回路１０７へ通知する。減算器１０８では、符号化対象の画像と予測画像との差分を計算し、差分画像データが生成される。差分画像データは整数変換回路１０９に出力され、その後の処理は前述したイントラ符号化の場合と同様である。

図２は、本実施形態におけるイントラ予測及びインター予測を行う予測回路１２２の詳細な構成例を示すブロック図である。
図２において、図１の予測方法選択回路１０５は、色差イントラ・インター判定回路２２２とイントラ・インター判定回路２２３とを備えている。

イントラ予測回路１０６は、最も相関の高いイントラ予測画像データを選択して予測方法選択回路１０５内の色差イントラ・インター判定回路２２２に通知する。また、第一インター予測回路１０３は、縮小画像により粗いベクトル検出を行うことにより、第二インター予測回路１０４において詳細探索を行うための探索エリアを決定し、予測方法選択回路１０５内の色差イントラ・インター判定回路２２２に通知する。

図３は、本実施形態において、図２に示す予測回路１２２において予測方法を選択する処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、色差イントラ・インター判定回路２２２は、第二インター予測回路１０４で用いる動き探索範囲及びイントラモードを輝度情報に基づいて決定する。

次に、ステップＳ３０２において、第一インター予測回路１０３は、ステップＳ３０１で定めた動き探索範囲の原点を中心にインター予測を行った場合のインター色差評価値（VCinter）を算出する。そして、イントラ予測回路１０６は、イントラ色差評価値（VCintra）を算出する。これらの評価値は、例えば、インター・イントラ各予測のマクロブロックにおける色差情報の色差信号の差分絶対値和である。次に、ステップＳ３０３において、色差イントラ・インター判定回路２２２は、算出されたインター色差評価値（VCinter）とイントラ色差評価値（VCintra）との大小比較を行う。この大小比較の結果、インター色差評価値（VCinter）がイントラ色差評価値（VCintra）以上である場合は、インター予測は色差相関がイントラ予測よりも低いため、第二インター予測回路１０４で処理を行わずにステップＳ３０８へ進む。

一方、ステップＳ３０３の大小比較の結果、上記以外の場合は、ステップＳ３０４において、色差においてもインター予測の相関が高いため、第二インター予測回路１０４においてインター予測を行い、動きベクトルを決定する。

次に、ステップＳ３０５において、第二インター予測回路１０４は、輝度におけるインター評価値（VYinter）を算出する。そして、イントラ予測回路１０６は、輝度におけるイントラ評価値（VYintra）を算出し、これらの評価値をイントラ・インター判定回路２２３に入力する。これらの評価値は、例えば、インター・イントラ各予測のマクロブロックにおける輝度の差分絶対値和である。

次に、ステップＳ３０６において、イントラ・インター判定回路２２３は、算出されたインター評価値（VYinter）とイントラ評価値（VYintra）との大小比較を行う。この大小比較の結果、インター評価値（VYinter）がイントラ評価値（VYintra）より小さい場合は、インター符号化の方がイントラ符号化よりも相関が高く、符号量が小さくなるため、次のステップＳ３０７へ進む。そして、ステップＳ３０７において、インター符号化を採用することを決定する。一方、ステップＳ３０６の大小比較の結果、上記以外の場合は、ステップＳ３０８に進み、イントラ符号化を採用することを決定する。

以上のように本実施形態によれば、色差相関の低い場合は、その段階でイントラ符号化を選択するようにしたので、第二インター予測処理を行う処理時間を不要にして符号化を行うことができる。また、色差相関が高い場合には、輝度情報を用いて再度判定するようにしたので、良好な画質の画像データを得ることができる。

（第２の実施形態）
以下、本発明の第２の実施形態に係る動画像符号化装置について説明する。本実施形態に係る動画像符号化装置の主な構成は第１の実施形態と同様であるため、説明は省略する。

図４は、本実施形態において、図２に示す予測回路１２２において予測方法を選択する処理手順の一例を示すフローチャートである。なお、図４では、前述の第１の実施形態で説明した図３と同一の処理には同一の番号を付している。また、全体的な処理は前述と同様であるので、処理が異なる部分について以下に説明する。

ステップＳ４０１においては、色差イントラ・インター判定回路２２２は、第二インター予測回路１０４で用いる動き探索範囲及びイントラモードを決定する。さらに、色差イントラ・インター判定回路２２２は、決定した動き探索範囲の周辺ベクトルを決定する。

次に、ステップＳ４０２においては、第一インター予測回路１０３は、ステップＳ４０１で定めた動き探索範囲の周辺ベクトル位置を中心にインター予測を行った場合のインター色差評価値（VCinter）を算出する。そして、イントラ予測回路１０６は、イントラ色差評価値（VCintra）を算出する。これらの評価値は、例えば、インター・イントラ各予測のマクロブロックにおける色差情報の色差信号の差分絶対値和である。そして、以下、ステップＳ３０３〜Ｓ３０８の処理によりインター符号化かイントラ符号化かが決定される。

以上のように本実施形態によれば、色差相関の低い場合は、その段階でイントラ符号化を選択するようにしたので、第二インター予測処理を行う処理時間を不要にして符号化を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０３ 第一インター予測回路
１０４ 第二インター予測回路
１０５ 予測方法選択回路
１０６ イントラ予測回路

Claims (7)

1. 符号化対象のブロックに係る画像データをイントラ符号化、又は、インター符号化によって符号化する符号化手段と、
   前記画像データの輝度情報に基づいて動き探索範囲を決定する動き探索手段と、
   前記画像データの色差情報に基づいてイントラ符号化かインター符号化かを判定する判定手段とを有し、
   前記判定手段は、前記動き探索手段により動き探索範囲が決定された後に、前記色差情報に基づいてインター符号化と判定した場合に、前記画像データの輝度情報に基づいてイントラ符号化かインター符号化かを再度判定することを特徴とする動画像符号化装置。
2. 前記判定手段は、前記動き探索範囲の原点を中心とした位置に係る色差情報に基づいて判定することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記判定手段は、前記動き探索範囲で周辺ベクトルより求めた点を中心とした位置に係る色差情報に基づいて判定することを特徴とする請求項１に記載の動画像符号化装置。
4. 前記判定手段は、前記色差情報の色差信号の差分絶対値和の大きさによって判定することを特徴とする請求項１〜３の何れか１項に記載の動画像符号化装置。
5. 前記動き探索手段は、前記判定手段によりイントラ符号化と判定された場合は、動きベクトルを算出しないようにすることを特徴とする請求項１〜４の何れか１項に記載の動画像符号化装置。
6. 符号化対象のブロックに係る画像データをイントラ符号化、又は、インター符号化によって符号化する符号化工程と、
   前記画像データの輝度情報に基づいて動き探索範囲を決定する動き探索工程と、
   前記画像データの色差情報に基づいてイントラ符号化かインター符号化かを判定する判定工程とを有し、
   前記判定工程においては、前記動き探索工程において動き探索範囲が決定された後に、前記色差情報に基づいてインター符号化と判定した場合に、前記画像データの輝度情報に基づいてイントラ符号化かインター符号化かを再度判定することを特徴とする動画像符号化方法。
7. 符号化対象のブロックに係る画像データをイントラ符号化、又は、インター符号化によって符号化する符号化工程と、
   前記画像データの輝度情報に基づいて動き探索範囲を決定する動き探索工程と、
   前記画像データの色差情報に基づいてイントラ符号化かインター符号化かを判定する判定工程とをコンピュータに実行させ、
   前記判定工程においては、前記動き探索工程において動き探索範囲が決定された後に、前記色差情報に基づいてインター符号化と判定した場合に、前記画像データの輝度情報に基づいてイントラ符号化かインター符号化かを再度判定することを特徴とするプログラム。

Images