JP2016021681A - 画像符号化装置 - Google Patents

Abstract

【課題】撮像装置に対して長時間予測フレームを適用して符号化効率を高めることを目的とする。【解決手段】第１のフレームのコントラスト値を評価し、第１の所定値を超えた場合に、当該第１のフレームを長時間予測フレームとして登録し、次に第２のフレームのコントラスト値を評価し、第２の所定値を超えた場合に、前記長時間予測フレームを用いたフレーム間の動き検出を行う。【選択図】図１

Description

本発明は、動画像の符号化装置に関し、特にフレーム間の動き予測の技術に関連する。

動画像の符号化の標準技術としては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、そして、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）が広く知られ、市場に普及している。Ｈ．２６４対応の画像符号化装置の従来例を図５に示す。

図５において、５０２はフレームメモリであり、符号化の対象となるフレーム、及び、動き補償における参照画像を一時的に複数フレーム記録する。５１３はフレームメモリ管理部であり、動き補償に必要なフレームの蓄積と開放をあらかじめ決められたスケジュールによって処理する。５０３は動き検出部であり、動きベクトルの検出やマクロブロックタイプの判定を行う。５０４は動き補償部であり、動き検出部５０３で求められた動きベクトルやマクロブロックタイプから、指定された動き補償処理を行い、局所デコード画像を生成する。５０５は整数変換部であり、所定のマクロブロックデータを周波数空間に変換する。周波数空間に変換する際に、ＭＰＥＧ−４までは離散コサイン変換が用いられていた。しかしながら、逆変換時の変換誤差が積算されるという問題があったため、Ｈ．２６４では、原理的に変換誤差の生じない整数変換が採用されている。

５０９は量子化部であり、整数変換部５０５で周波数変換された係数データを量子化する。５１０は逆量子化部、５０７は逆整数変換部であり局所デコード画像のための処理を行う。５０６はデブロッキングフィルタであり、ブロック境界の平滑化処理を行う。５１１は二値化部であり、量子化済みの係数データ、及びマクロブロックに付随する各種情報も同時に、すべてのデータの二値化処理を行う。二値化の方式については、各符号化要素（シンタックスエレメントと呼称される）によって異なっている。５１２はエントロピー符号化部であり、二値化部５１１による二値化済みデータを最終的に符号化する。符号化の方式としては、ＣＡＶＬＣ （Ｃｏｎｔｅｎｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｅ）および、ＣＡＢＡＣ （Ｃｏｎｔｅｎｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅ）の２種類がある。これらの符号化方式の何れかを、ビットストリームのプロファイルに応じて選択して使用可能とする。

図６にＭＰＥＧ−２、図７にＨ．２６４のフレーム間予測符号化における、フレームの関係について示す。ＭＰＥＧ−２においては、図６に示すように、ＧＯＰ （Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれるあらかじめ決められた予測フレームタイプ（イントラフレーム：Ｉ、前方向予測フレーム：Ｐ、双方向予測フレーム：Ｂの３種類がある。フレームをピクチャと呼称する場合も多いが、本明細書ではフレームという呼称に統一する）に応じて、あらかじめ予測フレームが決められていたが、Ｈ．２６４においては、フレーム選択の自由度が向上している。

Ｈ．２６４では、上記の予測フレームタイプに加えて、更に予測フレームが、短時間予測フレームと、長時間予測フレームとに区分される。短時間予測フレームは、ＧＯＰ構造に従って、フレームメモリに蓄積された後、順次消去される（上書きされる）フレームであるが、長時間予測フレームはＧＯＰ構造によらず、長時間フレームメモリに蓄積されたままとなり、次の消去命令が来るまでは予測フレームとして参照可能である。図７の７０２〜７０８が従来の短時間予測フレームで、７０１が長時間予測フレーム（長期予測フレームとも称す）である。

長時間予測フレームは、特定の状況で符号化効率を向上させる可能性を持っている。例えば、図８のように、静止した風景を撮影するケースで、手前を車両が通過するときなどに、車両がパンインしてくる直前のフレームを長期予測フレームとして保存しておき、車両通過直後のフレームの予測参照画像として使うようにすれば、符号化効率的に最適な関係を提供することができる。

このように、長期的や非規則的なフレーム間参照を行う技術として、予測に使用された頻度を求め、低いほうのフレームから順次更新する方法が提案されている（特許文献１参照）。また、ストロボ撮影画像など、前後のシーケンスとの相関が低いフレームを予測対象から外す方法も提案されている（特許文献２参照）。

特開２００６−２１７１８０号公報 特開２００６−１１５３３６号公報

撮像装置などで自然画を撮影して符号化するような場合、入力画像の変化は予測し難い。そのため、長時間予測フレームをメモリに蓄積したとしても、将来的にフレーム間予測に使われることの無い可能性がある。さらに、その場合、予測に使われないだけでなく、その分だけ短期参照フレームを蓄積から除外したことになるので、逆に弊害を及ぼすことさえあった。このような背景もあって、一般的なコンシューマ機器に搭載されるリアルタイムな符号化装置としては、ほとんど長時間予測フレームを活用できていないという状況があった。すなわち、従来技術では、撮像装置等に対して長時間予測フレームを活用することによる符号化効率の向上を供与することができなかった。

本発明は、上述の従来技術の問題点に鑑みてなされたもので、撮像装置に対して長時間予測フレームを適用して符号化効率を従来よりも高めることを可能にした画像符号化装置の提供を目的とする。

この課題を解決するため、本発明の画像符号化装置は、フレーム間予測を用いて動画像の符号化を行う画像符号化装置であって、特定のフレームを長時間予測フレームとして蓄積するメモリ手段と、第１のフレームのコントラスト値を評価し、第１の所定値を超えた場合に、当該第１のフレームを前記長時間予測フレームとして登録するメモリ管理手段と、第２のフレームのコントラスト値を評価し、第２の所定値を超えた場合に、前記長時間予測フレームを用いたフレーム間の動き検出を行う動き検出手段とを有することを特徴とする。

本発明によれば、撮像装置から得られる情報と、長時間予測フレームとを適応的に利用することによって、従来よりも高い符号化効率を得ることが可能になる。

本発明の実施形態に係る画像符号化装置のブロック図。 レンズ走査とコントラスト値の変化の例を示す図。 本実施形態に係る処理工程を示す図。 本実施形態の変形例に係る画像符号化装置のブロック図。 従来の画像符号化装置の構成を示す図。 ＭＰＥＧ−２でのフレーム予測関係を示す図。 Ｈ．２６４でのフレーム予測関係を示す図。 長時間予測フレームの効果があるケースを示す図。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。図１は、本実施形態に係る画像符号化装置のブロック図である。図１において１０２〜１１２の符号を付したブロックは、図５の従来例の５０２〜５１２の構成と同様である。それに加えて、本実施形態では、撮像部からのデータを使用するため、撮像部や撮影に関する機能ブロックをさらに有する構成となっている。

１０１はレンズや撮像センサ等からなる撮像部である。１１３はオートフォーカス（ＡＦ）制御部であり、撮像部から得られた画像のコントラスト値を求め、自動でフォーカス位置を決定する。この方式は、別途専用センサを設けた位相差ＡＦ方式に対し、一般的にコントラストＡＦと呼ばれる。コントラストＡＦでは、コントラスト値のピークを検出するために、レンズを前後に駆動して順次コントラスト値が高くなるレンズ位置を求め、これをもって主被写体とのピントが合致したものとし、フォーカスを決定するというものである。

図２にレンズ走査とコントラスト値の変化の例を示す。２０１がレンズ変位、２０２がコントラスト値変化を示したグラフである。このようにレンズはコントラストの極値を求めるために、多少レンズ位置を前後に振動しながら次第に追い込んでいく。従って、コントラスト値がある程度高いと判断した場合でも、さらに高い位置を探索するためにレンズを駆動する。このとき図２のようにレンズ位置が動いたとすると、たとえば２０３の位置のフレームを長時間予測フレームとして蓄積すると、直後に再度このフォーカス距離にレンズ位置が戻ってくることがわかる。２０４は、コントラスト値を判定するしきい値となっている。

従って、このようにフォーカス決定期間内で、ある程度コントラスト値が高くなった場合に、長時間予測フレームとして登録しておけば、再び同等のフォーカス距離になった場合に長時間予測フレームをフレーム間予測の参照画像として使用することができる。その結果、符号化効率が高まり、長時間予測フレームのメリットを有効に活用することが可能になる。

本実施形態に係る画像符号化装置は、このように長時間予測フレームを設定することを特徴とする。１１５はコントラスト値評価部であり、１１４はフレームメモリ管理部であるが、従来例のようにあらかじめ定められた順序で予測フレームの蓄積・消去を行うのではなく、コントラスト値が高いと評価された画像に対し、長時間予測フレームとして特別に蓄積処理を行う。

図３に本実施形態に係る処理工程を示す。本実施形態に係る画像符号化装置は、以下に示す各工程を行う。

３０２はレンズを初期位置に設定する工程である。３０３はコントラスト値取得工程である。３０４は第一のコントラスト値判定工程であり、あらかじめ設定された所定値Ａとコントラスト値の比較を行う。３０５はレンズ駆動工程であり、コントラスト値が所定値Ａ以上ではない場合、レンズを移動する。コントラスト値が所定値Ａ以上である場合として、３０６は長時間予測フレームをフレームメモリに蓄積する。

３０７は第二のコントラスト値判定工程であり、所定値Ｂとコントラスト値を比較することにより長時間参照予測フレームを蓄積するかどうかの判定を行う。この場合、第一のコントラスト値判定工程とは目的が異なり、比較値が異なる可能性があるため、別工程としている。このとき、設定値Ａは最終的なフォーカス精度になるが、設定値Ｂはあくまで長期予測フレームとして保存するかどうかだけであるため、Ａ＞Ｂの設定であることが望ましい。

このような工程を経ることによって、順次コントラストが高いレンズ位置を検出し、最終的にフォーカス位置を追い込んでいきながら、同時に長期参照予測フレームを適応的に蓄積することが可能になる。

なお、昨今では、いわゆるビデオカメラといわれる元来動画を撮影する機能を優先した装置以外にも、静止画向け一眼レフカメラでも動画を撮影可能な装置が増えてきている。このような装置においては、一般的にビデオカメラよりも大口径レンズと大型のセンサを用いるため、被写界深度が浅くなる傾向にある。従って、たとえ合焦状態でも、画面内でコントラストが高いエリアが限られる傾向にある。従って、長期参照画像として蓄積するかどうかの判定を行うときに、特定のフォーカスエリアのみに限定したコントラスト値の評価を行うことが望ましい。

次に、図４に本実施形態の変形例に係る画像符号化装置のブロック図を示す。図４の構成では、長時間予測フレームとして蓄積されたフレームに対し、検出されたコントラスト値を保存しておくコントラスト値保存部４１６を具備している。その他の構成は、図１や図５と同様である。コントラスト値保存部４１６に保存された値を各符号化対象フレームのコントラスト値と比較し、特定の値以内に収まっている場合に、動き検出の候補フレームとして採択するように作用させる。

これは、上述した実施形態のとおり長時間予測フレームが蓄積されているとはいえ、すべてのフレームに対して動き補償候補とするのは避ける目的による。すなわち、動き検出の負荷が高く、かつ符号化効率も上がらない可能性があるフレームに対しては参照から除外することができる。このような特徴により、フォーカス決定過程中の動き検出効果を高め、符号化効率を向上させることが可能になる。

また、本件については、長時間予測フレームの削除（消去）タイミングについては特に言及しなかったが、一定期間以上コントラスト値の値に差異が出た場合、あるいは、ほかの方法にてシーンチェンジが検出された場合などに削除させる方法が考えられる。

１０１ 撮像部、１１３ オートフォーカス（ＡＦ）制御部

Claims (3)

1. フレーム間予測を用いて動画像の符号化を行う画像符号化装置であって、
   特定のフレームを長時間予測フレームとして蓄積するメモリ手段と、
   第１のフレームのコントラスト値を評価し、第１の所定値を超えた場合に、当該第１のフレームを前記長時間予測フレームとして登録するメモリ管理手段と、
   第２のフレームのコントラスト値を評価し、第２の所定値を超えた場合に、前記長時間予測フレームを用いたフレーム間の動き検出を行う動き検出手段とを有することを特徴とする画像符号化装置。
2. 前記メモリ管理手段は、前記評価の対象とするコントラスト値を、フォーカス点を中心としたエリア内に限定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記メモリ管理手段は、オートフォーカス動作中のフレームを前記長時間予測フレームとして登録することを特徴とする請求項１又は請求項２に記載の画像符号化装置。