JP2018082252A - 画像符号化装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 ベイヤ配列の画像等の４成分画像に対し、３成分画像の符号化技術を小規模に修正するだけで、符号化を実現する。
【解決手段】動画像データを符号化する画像符号化装置であって、４成分で構成されるフレーム画像データを順に入力する入力部と、３つの色プレーンで構成される画像データを符号化する符号化部と、入力部により入力した４成分で構成されるフレーム画像データを、各成分の種類で分離することで４つのプレーンに分離し、当該４つのプレーンから、それぞれが３つプレーンで構成される第１のサブフレーム、第２のサブフレームを生成し、当該第１のサブフレーム、第２のサブフレームを、符号化部で符号化させる符号化制御部とを有する。ここで、４つのプレーンを第１乃至第４のプレーンとしたとき、第１のサブフレームは第１、第３、第４のプレーンで構成され、第２のサブフレームは第２、第３、第４のプレーンで構成される。
【選択図】 図１

Description

本発明は、ベイヤ配列画像等の４成分で構成される動画像の符号化技術に関するものである。

近年、８Ｋ解像度対応、４：２：２や４：４：４色差フォーマット対応、そして１画素あたりのビット数が８ビットを超える多ビット対応に加えて、センサからのベイヤ配列のままの画像（以下、ベイヤＲＡＷ画像）をＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）方式やＨ．２６４方式等のハイブリッド画像符号化技術を用いて圧縮する検討が行われている。
図２に示すようにベイヤＲＡＷ画像は、１画素毎にＧ１（緑），Ｇ２（緑），Ｒ（赤）Ｂ（青）いずれかの色成分の画素情報を持つデータのため、同じ色成分のみをまとめて分離すると、４プレーン構成になる。
一方で、Ｈ．２６４やＨＥＶＣのコーデックでは、入力画像としてＹＵＶの３プレーンを前提としているため、上述の４プレーン構成のベイヤＲＡＷ画像をそのままでは符号化できない。そこで、Ｇ１とＧ２のデータを連続する画素としてＧ１Ｇ２Ｇ１Ｇ２と並べたものを一つのＹプレーンとして扱うと、異なる垂直座標の画素を同一ラインに配置することとなり、空間的相関が悪くイントラ予測の符号化効率が悪くなってしまう。

このような課題を解決するために、特許文献１では、ベイヤ画像をＧ１，Ｇ２，Ｒ，Ｂの４プレーンに分離し、Ｒ，Ｇ１，Ｂの３プレーンを既存の３プレーン入力前提の画像符号化装置で行い、残りのＧ２プレーンを別途ランレングス符号化装置で行う方法を開示している。

特開２０１１−１５３４７公報

しかしながら、特許文献１に開示された方法は、従来の画像符号化器に加え、別途符号化器を新規追加する必要があり、システム全体の回路規模増加、各符号化器の制御が複雑になってしまう課題が残る。

本発明は上記の問題点に鑑み、ベイヤ配列の画像等の４成分画像に対し、３成分画像の符号化技術を小規模に修正するだけで、符号化を実現する技術を提供するものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
動画像データを符号化する画像符号化装置であって、
４成分で構成されるフレーム画像データを順に入力する入力手段と、
３つの色プレーンで構成される画像データを符号化する符号化手段と、
前記入力手段により入力した４成分で構成されるフレーム画像データを、各成分の種類で分離することで４つのプレーンに分離し、当該４つのプレーンから、それぞれが３つプレーンで構成される第１のサブフレーム、第２のサブフレームを生成し、当該第１のサブフレーム、第２のサブフレームを、前記符号化手段で符号化させる符号化制御手段とを有し、
前記４つのプレーンを第１乃至第４プレーンとしたとき、前記第１のサブフレームは第１、第３、第４のプレーンで構成され、前記第２のサブフレームは第２、第３、第４のプレーンで構成されることを特徴とする。

本発明によれば、既存のＹＵＶ画像等の３成分で構成される画像を対象とした画像符号化技術を利用しながらも、ベイヤＲＡＷ画像から得られる４成分の画像に対しても効率の良い符号化を行うことが可能になる。

実施形態が適用する撮像装置のブロック構成図。 ベイヤ配列画像と４プレーンとの関係を示す図。 実施形態における符号化処理を示すフローチャート。 実施形態における符号化プレーンと参照プレーンの関係を示す図。 実施形態におけるメタデータと符号化ストリームフォーマットの例を示す図。 第２の実施形態における撮像装置のブロック構成図。 第２の実施形態における符号化処理を示すフローチャート。 第３の実施形態における画像復号装置のブロック構成図。 第３の実施形態における復号処理手順を示すフローチャート。 第３の実施形態における復号対象プレーンと参照プレーンの関係を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
図１は、実施形態における画像符号化装置を搭載する撮像装置（デジタルビデオカメラ）のブロック構成図である。なお、実施形態における技術的特徴は符号化にあるので、図示では、符号化とは直接には関係のない操作部や表示部等については省略している点に注意されたい。

本装置は、装置全体の制御を司る制御部２００（ＣＰＵ、ＲＯＭ、ＲＡＭで構成される）を有する。また本装置は、制御部２００による制御対象要素として、撮像部１００、フレームメモリ１０１、画像符号化部１０２、フレーム同期信号カウンタ１１５、入力プレーン画像組み合わせ指示部１１６、参照フレーム指示部１１７、記録部１１９を有する。なお、一般に、動画像データとして記録することになる符号化対象のピクチャの種類としては、Ｉピクチャ(Intra Picture)ピクチャ、Ｐピクチャ（Predictive Picture）、Ｂピクチャ(Bidirectionally Predictive Picture）が知られている。実施形態では説明を単純化するためＩピクチャとＰピクチャの２種類として説明する。また、フレーム同期信号カウンタ１１５、符号化プレーン指示部１１６、参照フレーム指示部１１７及び制御部２００が、画像符号化部１０２の符号化を制御する符号化制御部として機能することになる。

撮像部１００は、レンズなどの光学部及びベイヤ配列のカラーフィルタを前面にしたＣＣＤ等のセンサを含む。そして、撮像部１００は、レンズから取り込んだ光信号をセンサにて電気信号へ変換した後、デジタル形式のベイヤ配列の画像データとして、大容量ＤＲＡＭ等のフレームメモリ１０１に出力する。この際、撮像部１００は、４成分で構成されるベイヤＲＡＷ画像データを、Ｒ（赤）成分の画素で構成されるプレーン、Ｂ（青）成分の画素で構成されるプレーン、Ｇ１（緑）成分の画素で構成されるプレーン、Ｇ２（緑）成分の画素で構成されるプレーンの４つのプレーンに分離して、フレームメモリ１０１に格納する。なお、実施形態における撮像部１００は、３０フレーム／秒のフレームレートでベイヤＲＡＷ画像データを撮像するものとするが、このフレームレートは例示であり、特に制限はない。

画像符号化部１０２は、フレームメモリ１０１から読み出したデジタルＲＡＷ画像データを、後述する符号化プレーン指示部１１６および参照フレーム指示部１１７からの通知パラメータに基づいて、フレーム単位でＨ．２６４またはＨＥＶＣ方式で画像符号化圧縮を行い、ビットストリーム出力する。この際、画像符号化部１０２は、ローカルデコードを行い、得られたフレームをフレームメモリ１０１に書き出す。フレーム間符号化の際の参照フレームとして利用するためである。

フレーム同期信号カウンタ１１５は、不図示の基準ビデオクロック信号発生器からのフレーム周期に出力されるＶブランキング等のフレーム更新タイミング信号を検出し、当該符号化装置において、符号化処理を開始してからの前述のタイミング信号を計数する。そして、フレーム動機信号カウンタ１１５は、１枚のベイヤＲＡＷ画像データを符号化するたびに、Ｉピクチャとして符号化するのか、Ｐピクチャとして符号化するのかを示す信号を画像符号部１０２に供給する。例えば、１ＧＯＰが１０枚のベイヤＲＡＷ画像データで構成されるとした場合、１枚についてはＩピクチャとし、後続する９枚をＰピクチャとして決定する。

また、フレーム同期信号カウンタ１１５は、符号化開始時の初期値“１”からカウントアップを開始し、そのカウントアップを行う周波数は、撮像部１００の２倍の１／６０秒の周期である。以降、撮像部１００が１枚のベイヤＲＡＷ画像データを撮像する期間である１／３０秒を２つに分割した場合の前半の１／６０秒に相当する期間を第１のフレーム期間、後半の１／６０秒に相当する期間を第２のフレーム期間と表現する。

符号化プレーン指示部１１６は、フレーム同期信号カウンタ１１５の値を取得し、当該カウンタの値が偶奇のいずれかであるかに基づき、画像符号化器１０２の符号化対象のプレーンの組み合わせを決定する。本実施形態では、カウンタ値が奇数を示す第１のフレーム期間では、Ｇ１，Ｂ，Ｒの３プレーンを符号化対象とする。一方、カウンタ値が偶数を示す第２のフレーム期間では、Ｇ２，Ｂ，Ｒの３プレーンを符号化対象とする。

参照フレーム指示部１１７は、符号化プレーン指示部１１８においてフレーム期間毎に切り替わる符号化プレーンの切り替わりに応じて、Ｇ１またはＧ２プレーンについて、同じＧ１プレーン同士、Ｇ２プレーン同士を画面間符号化時に参照するように画像符号化部１０２に通知する。

例えば、撮像部１００による第ｉ番目のフレームを示すベイヤＲＡＷ画像データＦ_iをＰピクチャとして符号化する場合を考察する。

ここでベイヤＲＡＷ画像データＦ_iから分離された４つのプレーンをＧ１_i，Ｇ２_i，Ｒ_i，Ｂ_iプレーンと表す。そして、今、画像符号化部１０２が第１のフレーム期間にて、Ｇ１_i、Ｂ_i、Ｒ_iをフレーム間符号化するものとする。このとき、画像符号化部１０２が、Ｇ１_iプレーンの符号化のために、Ｇ１_i-1プレーンを参照し、Ｇ２_i、Ｇ２_i-1は参照しない。また、画像符号化部１０２が、Ｇ２_iプレーンを符号化する際には、Ｇ２_i-1プレーンを参照し、Ｇ１_i、Ｇ１_i-1は参照しない。ここで、Ｇ１_i-1プレーン、Ｇ２_i-1プレーンは、いずれもローカルデコードされて、フレームメモリ１０１に格納されているものである。

フレーム同期信号カウンタ１１５、符号化プレーン指示部１１６、そして参照フレーム指示部１１７は、専用のハードウェア機能として実現しても良いし、ＣＰＵ等の制御コントローラ上で動作するソフトウェアとして実現しても良く、本発明を限定するものではない。

記録部１１９は、画像符号化部１０２で圧縮符号化された出力ビットストリームを、ハードディスク、ＤＶＤ、フラッシュメモリ（メモリカードを含む）等の不揮発性記録媒体に記録する。

以上が本実施形態における符号化に係る撮像装置の構成の説明である。続いて、画像符号化部１０２の構成と符号化処理の詳細について説明する。

画像符号化部１０２は、イントラ予測部１０３、インター予測部１０４、イントラ・インター判定部１０５、予測画像生成部１０６、整数変換部１０７、量子化部１０８、エントロピー符号化部１０９を有する。更に、画像符号化部１０２は、符号量制御部１１０、逆量子化部１１１、逆整数変換部１１２、ループフィルタ１１３、ビットストリーム生成部１１４、メタデータ生成部１１８、減算器１２０、加算器１２１を有する。

イントラ予測部１０３は、フレームメモリ１０１に格納された着目フレームにおける、符号化対象の着目ブロックの画像データを読み出し、その着目ブロックと、同じ着目フレーム内の既符号化領域における複数のブロックとの相関（予測誤差）を計算する。そして、イントラ予測部１０３は、最も相関の高い１つのブロック（予測誤差の最も小さいブロック）を、イントラ予測ブロックとして、イントラ・インター判定部１０５に供給する。また、イントラ予測部１０３は、着目ブロックに対するイントラ予測ブロックの相対位置を示すベクトル情報もイントラ・インター判定部１０５に供給する。

インター予測部１０４は、フレームメモリ１０１に格納された着目フレームにおける、符号化対象の着目ブロックの画像データを読み出す。そして、インター予測部１０４は、その着目ブロックと、参照フレーム指示部１１７が指示した、既に符号化が完了した以前のフレーム内の複数のブロックとの相関を計算する。そして、インター予測部１０４は、最も相関の高い１つのブロックを、インター予測ブロックとして、イントラ・インター判定部１０５に供給する。また、インター予測部１０４は、着目ブロックに対するインター予測ブロックの相対位置を示すベクトル情報もイントラ・インター判定部１０５に供給する。

イントラ・インター判定部１０５は、着目しているベイヤＲＡＷ画像データがＩピクチャとして符号化する場合には、イントラ予測部１０３からのブロックを着目ブロックの予測ブロックとして決定し、ベクトル情報を予測画像生成部１０６及びエントロピー符号化部１０９に供給する。

イントラ・インター判定部１０５は、着目しているベイヤＲＡＷ画像データがＰピクチャとして符号化する場合には、イントラ予測部１０３からのイントラ予測ブロックとインター予測部１０４からのインター予測ブロックのいずれか一方を、着目ブロックの予測ブロックとして決定し、その決定した予測ブロックがいずれであるかを示す予測モード情報とベクトル情報を予測画像生成部１０６及びエントロピー符号化部１０９に供給する。具体的には、イントラ・インター判定部１０５は、イントラ予測ブロックと着目ブロックとの誤差、及び、インター予測ブロックと着目ブロックとの誤差を比較し、誤差の小さい方を予測モードとして決定する。

なお、イントラ予測部１０３及びインター予測部１０４は、予測ブロックを決定する際に相関度（予測誤差）を既に求めている。そこで、イントラ・インター判定部１０５は、その相関度を参照して予測モードを決定しても良い。

予測画像生成部１０６は、イントラ・インター判定部１０５からの予測モード及びベクトル情報で特定されるブロックを予測ブロックとして、フレームメモリ１０１から抽出し、減算器１２０及び加算器１２１に供給する。

減算器１２０は、フレームメモリ１０１から読み出した着目ブロックから、予測画像生成部１０６から供給された予測ブロックを減算することで、差分ブロックを生成し、整数変換部１０７に供給する。加算器１２１は、後述する逆整数変換部１１２による処理結果に、予測画像生成部１０６から供給された予測ブロックを加算して、着目ブロックの復号ブロックを生成し、ループフィルタ１１３に供給する。

整数変換部１０７は、ブロック単位で、画素データの空間解像度変換を行って空間周波数係数データに変換する。実施形態では、この整数変換部１０７はＤＣＴ（Discrete Cosine Transform）を行うものとして説明するが、他の変換（例えばウェーブレット変換）でも構わない。

量子化部１０８は、目標符号量に基づいて量子化係数を算出し、整数変換部１０７で空間周波数係数データに対して量子化処理を行い、その結果をエントロピー符号化部１０９及び逆量子化部１１１に供給する。

エントロピー符号化部１０９は、量子化部１０８にて量子化後の係数データ、ベクトル値を、ＣＡＢＡＣ（コンテキスト適応算術符号化）方式等のビットデータの出現確率の偏りを利用したエントロピー符号化による情報圧縮を行う。

ビットストリーム生成部１１４は、エントロピー符号化部１０９から１画面分の符号化データに相当するピクチャデータに加え、復号処理のために必要なパラメータ（ＳＰＳやＰＰＳ等のヘッダ情報）、そして後述するメタデータ生成部１１８で生成したメタデータを付加し、所定のデータフォーマットに整形して出力する。

符号量制御部１１０は、エントロピー符号化部１０９で出力した符号化データの符号量を取得し、ビットレートやバッファモデルに基づいて１ピクチャ当たりの目標符号量を算出した後、パラメータ（量子化ステップ値）を決定し、量子化部１０８に設定する。このようにして、フィードバック制御が行われる。

逆量子化部１１１は、量子化部１０８にて量子化した係数データを、再度量子化係数を乗じて係数データを計算する。逆整数変換部１１２は、逆量子化部１１１から出力された係数データを逆整数変換（実施形態では逆ＤＣＴ変換）を行い、差分ブロックを生成する。加算器１２１は、先に説明した予測画像生成部１０６が生成した予測ブロックを、差分ブロックに加算することで、画像ブロックを生成することになる。

ループフィルタ１１３は、加算器１２１から供給された画像ブロックに対し、ブロック境界で発生する符号化歪みを軽減するフィルタ処理（デブロッキング処理）を施し、フレームメモリ１０１へ格納する。

メタデータ生成部１１８では、符号化プレーン指示部１１６および参照フレーム指示部１１７からのパラメータに基づき、画像符号化部１０２で符号化したＢおよびＲプレーンが第２のフレーム期間に相当するデータであるか否かを示す情報をメタデータとして生成し、符号化データにメタデータとして挿入する。

以上、実施形態における画像符号化に係る構成と動作を説明した。次に、実施形態における、制御部２００にとる具体的な動作処理フローチャートを、図３を参照して説明する。なお、以下に示す処理フローは、不図示の操作部からユーザによる記録開始が指示されたことをトリガにして開始される動画像記録処理中の、１フレーム期間に対する処理である。

制御部２００は、ステップＳ３０１にて、上述のフレーム同期信号カウンタ１１５の計数結果を取得し、Ｓ３０２にて、係数結果が偶数、奇数のいずれかを判定することで、現在のフレーム期間が第１、第２のフレーム期間のいずれであるかを判定する。第１のフレーム期間であると判定された場合、制御部２００は、ステップＳ３０３にて、Ｇ１、Ｂ，Ｒの３プレーンを符号化対象して決定する。一方、現在のフレーム期間が第２のフレーム期間であると判定された場合，制御部２００は、ステップＳ３０４にて、Ｇ２，Ｂ，Ｒの３プレーンを符号化対象画像として決定する。

なお、第２のフレーム期間での符号化対象のＢ，Ｒプレーンは、直前の第１のフレーム期間で符号化を終えたＢ，Ｒプレーンとそれぞれ同じである点に注意されたい。

ステップＳ３０５以降は、ステップＳ３０３またはＳ３０４で決定した３プレーン分の画像データの符号化に対する処理である。

ステップＳ３０５において、制御部２００は、全プレーンの符号化を終えたか否かを判定する。全プレーンの符号化が未完である場合（ステップＳ３０５の判定結果がＦＡＬＳＥを示す場合）、制御部２００は処理をステップＳ３０６に進め、符号化対象の着目ベイヤＲＡＷ画像データを、Ｉピクチャとして符号化するのか否かを判定する。

Ｉピクチャとして符号化すると判定された場合、制御部２００は、ステップＳ３０７にて、符号化対象のプレーンについて画面内符号化を実行する。

ここでステップＳ３０７の処理について補足説明する。符号化対象の着目ベイヤＲＡＷ画像データがＩピクチャとして符号化され、且つ、現在のフレーム期間が第１のフレーム期間の場合、実施形態では、Ｇ１，Ｂ，Ｒプレーンのそれぞれに対してイントラ符号化が実行される。一方、符号化対象の着目ベイヤＲＡＷ画像データがＩピクチャとして符号化され、且つ、現在のフレーム期間が第２のフレーム期間である場合、実施形態では、Ｇ２プレーンはイントラ符号化が行われる。しかし、Ｂ，Ｒプレーンについては直前の第１のフレーム期間のＢ，Ｒプレーンを参照プレーンとして符号化を行う。つまり、第２のフレーム期間におけるＢ，Ｒプレーンは、Ｐピクチャの場合と同じ処理を行う。第１のフレーム期間におけるＢ，Ｒプレーンと、第２のフレーム期間におけるＢ，Ｒプレーンは同じプレーンであり、符号化上の不都合な点はなく、且つ、非常に高い符号化効率が得られるためである。また、第２のフレーム期間で符号化したＢ，Ｒプレーンが、直前の第１のフレーム期間で符号化したＢ、Ｒプレーンと同一であること示す情報をメタデータとしてビットストリーム中に埋め込む。

ステップＳ３０６にて、符号化対象の着目ベイヤＲＡＷ画像データがＰピクチャとして符号化すると判定された場合には、制御部２００は処理をステップＳ３０８に進める。

ステップＳ３０８にて、制御部２００は、着目フレーム期間での符号化対象にＧ１プレーンが含まれているか否かを判定する。含まれていると判定した場合、制御部２００は、インター予測部１０４に対し、着目フレーム内のＧ１プレーンを符号化する際の参照プレーンとして、着目フレーム期間より前に符号化が完了しているＧ１プレーンを参照するように設定する（ステップＳ３０９）。そして、ステップＳ３１０にて、制御部２００は、画像符号化部１０２を制御し、符号化を開始させる。

ステップＳ３１１にて、制御部２００は、着目フレーム期間での符号化対象にＧ２プレーンが含まれているか否かを判定する。含まれていると判定した場合、制御部２００は、インター予測部１０４に対し、着目フレーム内のＧ２プレーンを符号化する際の参照プレーンとして、着目フレーム期間より前に符号化が完了しているＧ２プレーンを参照するように設定する（ステップＳ３１２）。そして、ステップＳ３１０にて、制御部２００は、画像符号化部１０２を制御し、符号化を開始させる。

ステップＳ３１３にて、制御部２００は、着目フレーム期間が、第２のフレーム期間であるか否かを判定する。第２のフレーム期間であると判定した場合、制御部２００はステップＳ３１４にて、第２のフレーム期間でのＢ、Ｒプレーンの画像データは、直前の第１のフレーム期間で符号化したＢ、Ｒプレーンと同一であること示す情報をメタデータとしてビットストリーム中に埋め込む。そして、ステップＳ３１０にて、制御部２００は、画像符号化部１０２を制御し、符号化を開始させる。

図５に、メタデータを埋め込んだビットストリーム形式のデータ構造を示す。本実施形態における画像符号化部１０２では、プレーン毎に独立して量子化、動きベクトル探索を行う符号化を行うため、１フレーム分の符号化データ、すなわち１アクセスユニット内に、プレーン毎のスライスデータが３プレーン分シーケンシャルに格納されたデータ構造となる。

Ｈ．２６４規格準拠のデータ構として本実施例を実現するためには、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒｓｅｍｅｔｅｒ Ｓｅｔ）のseparate_colour_plane_flagを１に設定し、各プレーンのスライスデータを、ＡからＣのスライスパーティションデータに分け、colour_plane_idで色プレーンを識別できるようにする。そしてアクセスユニットＡＵ＃０には、第１のフレーム期間に符号化した３プレーン分のデータ、アクセスユニットＡＵ＃１には、第２のフレーム期間に符号化した３プレーン分のデータ、そしてＡＵ＃２には、再び第１のフレーム期間のデータを交互に構成される。

前述したステップＳ３１４にて埋め込まれるメタデータは、図４における第２のフレーム期間の符号化データのＧ成分の前に、Ｈ．２６４規格の付加情報として定義しているＳＥＩ（Ｓｕｐｐｌｉｍｅｎｔａｌ Ｅｎｈａｎｃｅｄ Ｉｎｆｏｒｍａｔｉｏｎ）データとして格納する。Ｈ．２６４規格では各種ＳＥＩメッセージがあるが、本実施形態ではユーザ定義の任意のデータ形式、Ｕｓｅｒ Ｄａｔａ Ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩで、第２のフレーム期間に符号化したデータが当該ストリーム位置より後続することを、２ｎｄ＿ｐｅｒｉｏｄ＿ｃｏｄｅｄ＿ｆｌａｇとして設定するものとする。

本実施形態では、上述のＳＥＩをビットストリーム中に埋め込むことで定義しているが、符号化データとは別のデータファイルとして別途管理する方法でも良く、当該ビットストリーム復号時に、第２のフレーム期間の符号化データの復号処理よりも前に、同義の情報が取得可能な構成であれば、特に限定するものではない。

以上、本実施形態におけるベイヤＲＡＷ画像データの符号化処理フローを説明した。続いて、上記処理フローに基づいたベイヤＲＡＷ画像データの符号化処理について、時間方向の動作タイミングを、図４を参照して説明する。なお、図示は、連続するベイヤＲＡＷ画像データがそれぞれＰピクチャとして符号化される例を示している。

本実施形態では、第１のフレーム期間に、第１のプレーンにはＧ１成分、第２のプレーンにＢ成分、そして第３のプレーンにＲ成分を割り当て、Ｇ１、Ｂ、Ｒのプレーン順番で符号化するものとする。また、第２のフレーム期間には、第１のプレーンにＧ２成分、第２のプレーンにＢ成分、第３のプレーンにＲ成分を割り当てて、Ｇ２，Ｂ、Ｒのプレーン順番で符号化処理を行うものとする。

図中の符号化中の色成分を示すＧ１、Ｇ２，Ｂ、Ｒの添字は、撮像部１００が撮像した１つのベイヤＲＡＷ画像データの期間を示している。先に説明したように、実施形態では、この期間は第１のフレーム期間、第２のフレーム期間としている。そして、第２のフレーム期間での符号化対象のＢおよびＲプレーンは、直前の第１のフレーム期間のＢ及びＲプレーンと同じ画像データである。また第１、第２のプレーン期間でのＧ１、Ｇ２プレーンを符号化する際には、図中の矢印で示したように、画面内符号化した時の参照関係が、１フレーム期間間隙をもって、同じプレーン画像間で行うよう符号化している。

このように、空間的な画素位置が同じプレーン同士で参照関係を持つことで、符号化効率の低下を抑制することがきる。

以上述べたシステム構成と処理ステップを備えることによって、３プレーン画像入力のみに対応した画像符号化装置を用いて、４プレーンのベイヤ画像データの符号化処理を実現することが可能になる。しかも、ベイヤＲＡＷ画像データをＩピクチャ、Ｐピクチャのいずれで符号化する場合であっても、第２のプレーン期間における、Ｂ，Ｒプレーンを符号化する際の参照するのは、直前の第１のプレーン期間におけるＢ，Ｒプレーンであり、共に１つのベイヤＲＡＷ画像データから分離したものであるので、符号化高率は非常に高いものが期待できる。つまり、第２のプレーン期間におけるＢ，Ｒプレーンの符号量は極めて少ないものとなり、３プレーンの符号化技術を利用しながらも、ベイヤＲＡＷ画像の動画の符号化を効率よく行うことが可能になる。

なお、撮像部１００が撮像した１枚のベイヤＲＡＷ画像データをフレーム画像データと表現した場合、上記実施形態におけるＧ１，Ｂ，Ｒプレーンで構成されるセットを第１のサブフレーム、Ｇ２，Ｂ，Ｒプレーンで構成されるセットを第２のサブフレームとして表現できる。

［第２の実施形態］
上記実施形態（第１の実施形態）では、ベイヤＲＡＷ画像データを構成する４プレーンの符号化を、Ｂ，Ｒプレーンは共通とし、フレーム期間毎に、Ｇ１とＧ２プレーンを切り替えることで、３プレーン画像として符号化する方法を説明した。

第２の実施形態では、第１のフレーム期間と第２にフレーム期間で、ＢとＲ成分の画像データが同一であることに着目し、第２のフレーム期間のＢおよびＲプレーン符号化時に、画面間予測（インター符号化）をする符号化モードを強制的に制限するようにし、符号化に係る演算コストの削減及び符号化効率を向上する。

本第２の実施形態を図６、図７を用いて説明する。図６は本第２の実施形態における撮像装置の符号化に関わる部分のブロック構成図を示している。第１の実施形態と同じ構成については同参照符号を付し、その説明は省略する。

本第２の実施形態における、第１の実施形態との相違点は、画像符号化部１０２内に符号化モード限定部６００を設けた点である。この符号化モード限定部６００は、符号化プレーン指示部１１６から第２のプレーン期間であること（符号化対象としてＧ２，Ｂ，Ｒプレーンを符号化すること）が指示され、尚且つ、符号化しようとしている着目プレーンがＲプレーン，Ｂプレーンのいずれかであるとき、イントラ・インター判定部１０５に対して強制的にインター予測部１０４からの予測ブロックを選択させるものである。

以下、本第２の実施形態における特徴となる処理について、図７を参照して説明する。なお、当該動作フローにおいて、ステップＳ３０１からＳ３１３までは、第１の実施形態と同じであるので、同参照符号を付し、その説明は省略する。

ステップＳ３１３にて、制御部２００が、現在のフレーム期間が第２のフレーム期間であると判定した場合、ステップＳ３１４にて、メタデータを生成し、符号化ストリームに埋め込む。この後、Ｓ７００にて、制御部２００は、Ｂ，Ｒプレーンに対してスキップマクロブロックモードで符号化するように設定し、Ｓ３１０にて符号化を行わせる。

第１と第２のフレーム期間において、ＢおよびＲプレーン画像はまったく同じ映像のため、画面間の差分が無いことが符号化前の時点で自明である。そのため、実際の画面間符号化処理でベクトル探索による膨大な演算を行う必要がなく、外挿パラメータとして強制的にスキップマクロブロックモードで符号化する指定することによって、符号化装置の処理時間短縮、ひいては消費電力低減を実現できる。また、スキップマクロブロックとして符号化すれば、第２のフレーム期間で発生する符号量が少なくなるため、符号量制御としても第１のフレーム期間のデータに多くの符号量を割り当てて、画質を向上させることができる。以上が本第２の実施形態の動作を説明した。

［第３の実施形態］
上記第２の実施形態では、ベイヤ画像データの符号化時に、第２のフレーム期間のＢおよびＲプレーンの符号化処理を、スキップマクロブロックモードで符号化する方法を説明した。

第３の実施形態では、上述の第１、第２の実施形態で符号化出力を行ったビットストリームを復号する画像復号装置を説明する。

図８は、第３の実施形態における画像復号装置のブロック構成図であり、図９は復号処理手順を示すフローチャート、図１０は復号処理時におけるプレーンと参照プレーンの推移を示す図である。

画像復号装置は、装置全体の制御を司る制御部８５０（ＣＰＵ、ＲＯＭ、ＲＡＭで構成される）を有する。そして、本装置は、制御部８５０による制御対象要素として、表示部８００、フレームメモリ８０１、画像復号部８０２、参照フレーム指示部８０３、デコードスキップ指示部８０４、メタデータ取得部８０５、再生部８０６を有する。

再生部８０６は、メモリカードやハードディスク等の記録媒体、場合によってはネットワークから符号化ストリームを取得する。画像復号部８０２は、再生部８０６からストリームを受信し、フレーム単位で復号処理を繰り返し行う。

フレーム８０１には復号後の画像データが格納される。表示部８００は、復号後の画像データを読み出してパネルやテレビモニタ等の出力機器へ表示する。

メタデータ取得部８０５は、画像復号部８０２内のビットストリーム解析部８０７から、上述の第１の実施形態で説明した第２のフレーム期間の符号化データであることを示す情報を、ビットストリーム中のメタデータから取得する。デコードスキップ指示部８０４は、メタデータ取得部８０３の結果に基づいて、プレーン単位で復号処理を行う画像復号部８０２において、復号処理のスキップ許可通知を指示する。

参照フレーム指示部８０３は、デコードスキップ指示部８０４からの復号処理のスキップ通知に基づいて、スキップした符号化データから復号したフレームを、復号処理における参照先フレームとしないように変更する機能を有する。

続いて、画像復号部８０２内部の構成と復号処理の詳細について説明する。

画像復号部８０２は、ビットストリーム解析部８０７、エントロピー復号部８０８と、逆量子化部８０９と、逆整数変換部８１０と、予測画像生成部８１１、ループフィルタ８１３、加算器８１４を備えている。このうち、逆量子化部８０９、逆整数変換部８１０、予測画像生成部８１１、ループフィルタ８１３は、図１における逆量子化部１１１、逆整数変換部１１２、予測画像生成部１０６、ループフィルタ１１３、加算器１２１に相当する機能を実現するものである。

ビットストリーム解析部８０７は、再生部８０６によって再生されたストリームを、アクセスユニット単位で、ＳＰＳやＰＰＳ、スライスヘッダ等のヘッダ情報を解析し、スライス層以上の復号処理に必要なパラメータを抽出する。また、ビットストリーム解析部８０７は、ＳＥＩの付加情報については別途メタデータ取得部８０３に通知する。

エントロピー復号部８０４は、ビットストリーム解析部８０５から受信したヘッダ階層以下のスライスデータを復号し、量子化後の係数データを出力する。また、エントロピー復号部８０４は、予測モードや量子化係数などの符号化パラメータも合わせて復号する。

逆量子化部１１１は、復号した量子化後の係数データを逆量子化し、整数変換係数データとして逆整数変換部１１２へ供給する。逆整数変換部１１２は、整数変換係数データを逆整数変換（逆ＤＣＴ変換）し、予測画像ブロックとの差分ブロックを出力する。

予測画像生成部１０６は、復号した予測モードやベクトル情報などの符号化パラメータに応じて予測画像ブロックを生成する。予測モードがイントラ予測の場合、予測画像生成部１０６は、復号しようとするブロックと同じプレーン内の既に復号済みのブロックを、フレームメモリ８０１から読み出し、加算器８１４に供給する。一方、予測モードがインター予測の場合は、予測画像生成部１０６は、フレームメモリ８０１に格納されている、既に復号したプレーン内の、ベクトルで示されるブロックを、予測ブロックとして読み出し、加算器８１４に供給する。

加算器８１４は、逆整数変換部８１０からの差分ブロックと、予測画像生成部８１１が生成した予測ブロックとを加算し、ループフィルタ８１３に供給する。ループフィルタ８１３は、符号化歪の軽減処理が施し、フレームメモリ１０１に格納する。

以上が第３の実施例における画像復号装置における各構成要素の主な処理内容である。続いて、本第３の実施形態の復号処理を図９のフローチャートに従って説明する。当該処理フローは、画像復号装置が不図示の操作部から、ユーザによる再生開始の指示を受けた際に繰り返し実行する１フレーム期間分の復号処理である。

制御部８５０は、ステップＳ９０１にて、記再生部８０６から読み出したビットストリームから、アクセスユニット分の復号処理、すなわち３プレーン分の復号処理を終了したかを判定する。３プレーン分の復号処理を終えたと判定した場合には、本処理を終える。一方、復号処理が未完であると判定した場合、制御部８５０は、処理をステップＳ９０２に進める。このステップＳ９０２にて、制御部８５０は、復号対象のベイヤＲＡＷ画像データがＩピクチャであるか否かを判定する。Ｉピクチャである場合、制御部８５０はステップＳ９０３にて、画面内復号処理を実行する。

ここで、ステップＳ９０３における処理について補足する。復号対象の着目ベイヤＲＡＷ画像データがＩピクチャであり、復号対象が第１のフレーム期間のプレーンの場合、実施形態では、Ｇ１，Ｂ，Ｒプレーンのそれぞれがイントラ符号化されているので、それらをイントラ復号する。一方、符号化対象の着目ベイヤＲＡＷ画像データがＩピクチャとして符号化され、且つ、現在のフレーム期間が第２のフレーム期間である場合、実施形態では、Ｇ２プレーンについてはイントラ復号を行う。しかし、Ｂ，Ｒプレーンについては直前の第１のフレーム期間のＢ，Ｒプレーンを参照プレーンとして復号を行う。なお、第２のフレーム期間におけるＢ，Ｒプレーンは、第１のフレーム期間におけるＢ，Ｒプレーンと同じであるので、第２のフレーム期間におけるＢ，Ｒプレーンの復号処理は省略し、直前に復号したＢ，Ｒプレーンを復号結果として出力しても良い。

ステップＳ９０２にて、制御部８５０は、復号対象のベイヤＲＡＷ画像データがＩピクチャではないと判定した場合（Ｐピクチャである場合）、処理をステップＳ９０４に進める。このステップＳ９０４にて、制御部８５０は、復号対象のプレーンがＧ１プレーン又はＧ２プレーンであるか否かを判定する。

Ｈ．２６４規格に準拠した、具体的な判断方法としては、符号化時にプレーン毎にスライスヘッダに付与したcolour_plane_idに基づいて、どの色プレーンなのかを識別する。復号しようとするプレーンがＧ１またはＧ２プレーンの場合は（ステップＳ９０４のＴＲＵＥの場合）、当該プレーンと同じ色プレーンを参照する画面間復号を行い、次のプレーン復号処理を継続する（ステップＳ９０５）。

一方、復号対象のプレーンがＢまたはＲプレーンの場合（ステップＳ９０４のＦＡＬＳＥの場合）、制御部８５０はステップＳ９０６に処理を進め、ビットストリーム解析部８０５においてヘッダやスライスデータから分離したＳＥＩメッセージをメタデータ取得部８０３で復号し、第１の実施形態で説明したメタデータを取得する。そして、ステップＳ９０７にて、制御部８５０は、取得したメタデータの復号結果に基づいて、プレーンの符号化データが符号化装置において第２のフレーム期間に符号化したデータか否かを、２ｎｄ＿ｐｅｒｉｏｄ＿ｃｏｄｅｄ＿ｆｌａｇ情報から判断する。そして当該符号化ピクチャが第２のフレーム期間におけるＢまたはＲプレーンデータだった場合は（ステップＳ９０７のＴＲＵＥ）、当該符号化ピクチャが参照するフレーム情報をヘッダ情報から取得して図示せぬＳＲＡＭ等のメモリに一時的に保存する（ステップＳ９０９）。続いて、当該プレーンの符号化ピクチャは、前回のフレーム復号時に、すなわち第１のフレーム期間で符号化したピクチャデータと同じ復号画像データであり、既に復号済みであると判断し、復号処理をスキップする（ステップＳ９１０）。

ここで、ステップＳ９０９およびステップＳ９１０の処理は、メタデータ取得部８０３からの情報に基づいてデコードスキップ指示部８０２で行う。

また、ステップＳ９０７の判定結果がＦＡＬＳＥとなった場合は、復号対象のＢまたはＲプレーンは、第１のフレーム期間に符号化されたデータであることになる。それ故、制御部８５０は、ステップＳ９１０において復号処理をスキップしたピクチャを参照すると正しく復号できなくなってしまう。そこで、制御部８５０は、ステップＳ９０８にて、元のヘッダ情報から導出した参照フレーム情報を、ステップＳ９０９で保存した参照フレーム情報に変更して復号処理を行う。

以上、本第３の実施形態における復号処理を説明した。続いて、上記処理フローに基づいたベイヤＲＡＷ画像データの復号処理について、時間方向の動作タイミングを、図１０を用いて説明する。

本第３の実施形態では、第１の実施形態の動作タイミングと同様に、第１のフレーム期間における第１のプレーンにはＧ１成分、第２のプレーンにＢ成分、そして第３のプレーンにＲ成分を割り当て、Ｇ１、Ｂ、Ｒの順番で復号するものとする。一方、第２のフレーム期間における第１のプレーンにＧ２成分を復号するが、第２のプレーンおよび第３のプレーンについては、第１のフレーム期間に同じ画像のＢおよびＲプレーンの画像を既に復号済みのため、復号処理をスキップする。

図１０では、点描にて、ビットストリームとして対象プレーンのデータは存在するものの、復号処理をスキップしていることを明示的に表記している。

また、符号化処理時点の参照関係では、第１のフレーム期間のＢ₁プレーンは、第２のフレーム期間のＢ０プレーン画像を参照しているが、前記復号処理フローの参照先フレーム情報の差し替えによって、図中の矢１０００印で示した第１のフレーム期間のＢ０プレーンを参照するよう変更する。Ｒプレーンについても同様の操作を行なうものとする。

このように、符号化時に付与したメタデータを復号処理時に利用することによって、簡単な制御で、システム全体の復号処理に伴うメモリアクセスを低減し、ひいては省電力効果を実現することができる。

以上述べたシステム構成と処理ステップを備えることによって、４プレーンのベイヤ画像データの復号処理を実現することが可能となる。

なお、上記実施形態では、撮像装置に適用した例を説明したが、ベイヤＲＡＷ画像データを無圧縮として保存した記憶媒体から、符号化を行っても良い。この場合、上記実施形態で説明した、第１フレーム期間、第２フレーム期間の時間的制約はなくなる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像部、１０１…フレームメモリ、１０２…画像符号化部、１０３…イントラ予測部、１０４…インター予測部、１０５…イントラ・インター判定部、１０６…予測画像生成部、１０７…整数変換部、１０８…量子化部、１０９…エントロピー符号化部、１１０…符号量制御部、１１１…逆量子化部、１１２…逆整数変換部、１１３…ループフィルタ、１１４…ビットストリーム生成部、１１５…フレーム同期信号カウンタ、１１６…符号化プレーン指示部、１１７…参照フレーム指示部、１１８…メタデータ生成部、１１９…記録部、１２０…減算器、１２１…加算器

Claims (8)

1. 動画像データを符号化する画像符号化装置であって、
   ４成分で構成されるフレーム画像データを順に入力する入力手段と、
   ３つの色プレーンで構成される画像データを符号化する符号化手段と、
   前記入力手段により入力した４成分で構成されるフレーム画像データを、各成分の種類で分離することで４つのプレーンに分離し、当該４つのプレーンから、それぞれが３つプレーンで構成される第１のサブフレーム、第２のサブフレームを生成し、当該第１のサブフレーム、第２のサブフレームを、前記符号化手段で符号化させる符号化制御手段とを有し、
   前記４つのプレーンを第１乃至第４のプレーンとしたとき、前記第１のサブフレームは第１、第３、第４のプレーンで構成され、前記第２のサブフレームは第２、第３、第４のプレーンで構成されることを特徴とする画像符号化装置。
2. 前記フレーム画像データは、ベイヤ配列の画像データであって、前記第１のサブフレームはＧ１，Ｂ，Ｒプレーンで構成され、前記第２のサブフレームはＧ２，Ｂ，Ｒプレーンで構成されることを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号化制御手段は、
   Ｇ１プレーン又はＧ２プレーンを符号化する場合には、直前に符号化を完了したフレーム画像データにおける同じ成分のプレーンを参照するよう前記符号化手段を制御することで、Ｇ１プレーンを符号化する場合にはＧ２プレーンを参照せず、且つ、Ｇ２プレーンを符号化する際にはＧ１プレーンを参照しないようにし、
   Ｒ又はＢプレーンを符号化する場合には、直前に符号化が完了した同じ成分のプレーンを参照するよう前記符号化手段を制御する
   ことを特徴とする請求項２に記載の画像符号化装置。
4. 前記符号化制御手段は、前記第２のサブフレームを構成するＢ，Ｒプレーンについては、スキップマクロブロックモードを適用した符号化を行わせることを特徴とする請求項２に記載の画像符号化装置。
5. 前記符号化制御手段は、前記第２のサブフレームから得られた符号化データに、第２のサブフレームであることを表すメタデータを埋め込むメタデータ生成手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
6. 前記メタデータ生成手段は、埋め込むメタデータとして、Ｈ．２６４規格で定義されるＳＥＩメッセージにおける、Ｕｓｅｒ Ｄａｔａ Ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩを用いることを特徴とする請求項５に記載の画像符号化装置。
7. ３つの色プレーンで構成される画像データを符号化する符号化手段を有し、当該符号化手段を用いて動画像データを符号化する画像符号化装置の制御方法であって、
   ４成分で構成されるフレーム画像データを順に入力する入力工程と、
   前記入力工程により入力した４成分で構成されるフレーム画像データを、各成分の種類で分離することで４つのプレーンに分離し、当該４つのプレーンから、それぞれが３つプレーンで構成される第１のサブフレーム、第２のサブフレームを生成し、当該第１のサブフレーム、第２のサブフレームを、前記符号化手段で符号化させる符号化制御工程とを有し、
   前記４つのプレーンを第１乃至第４のプレーンとしたとき、前記第１のサブフレームは第１、第３、第４のプレーンで構成され、前記第２のサブフレームは第２、第３、第４のプレーンで構成されることを特徴とする画像符号化装置の制御方法。
8. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至６のいずれか１項に記載の画像符号化装置が有する各手段として機能させるためのプログラム。

Images