JP2007049520A - 画像信号の高能率符号化装置 - Google Patents

Abstract

【課題】周波数変換処理を必要とする画像の高能率符号化処理に対して、符号化装置全体の回路規模や消費電力を増大させることなく、周波数変換処理を必要としない高能率符号化処理で処理可能な水平・垂直解像度と同等解像度の符号化処理を実現する。
【解決手段】ＭＰＥＧ２画像符号化装置は、入力信号取得制御処理部１０２、画像信号相関検出処理部１０４、及びフレーム周波数変換情報出力処理部１０５を有し、半分以下のフレーム周波数に変換する画像信号の周波数変換処理において、複数フレーム間隔で入力信号をメモリ２０５に格納し、格納された画像情報のみを用いて両処理部１０４及び１０５を通して周波数変換処理を行なう。この周波数変換処理と画像信号入力処理の動作タイミングを入力信号取得制御処理部１０２にて管理し、同時のデータアクセスを避ける。これにより瞬間的に必要となるデータバスの伝送パフォーマンスを削減する。
【選択図】 図１

Description

本発明は、画像信号に対して情報圧縮を施し、伝送・記録を行なう、高能率符号化装置もしくはプログラムに係り、少ないハードウェア資産やプロセッサ能力を有効に用いて高精細な動画像の符号化処理を実現可能な技術に関する。

近年、デジタル化された画像信号及び音声信号に対して高能率符号化による圧縮された情報を用いて、記録媒体により長時間のコンテンツを記録する装置や、衛星波、地上波、電話回線などの伝送路により情報を配信するサービスが実用化されている。このようなサービスにおける動画像・音声の高能率符号化方式として、国際規格であるＭＰＥＧ２（Moving Picture Experts Group phase 2）、ＭＰＥＧ４（Moving Picture Experts Group phase 4）、ＡＳＰ（Advanced Simple Profile）、ＭＰＥＧ４ ＡＶＣ（Advanced Video Coding）等の方式が用いられている。これらの規格の画像符号化に関しては、画像信号の隣接画素間（空間方向）の相関および、隣接フレーム間もしくは隣接フィールド間（時間方向）の相関を利用して情報量を圧縮する方式を用いている。

例えば、ＭＰＥＧ２規格における画像符号化装置は、以下のようなアルゴリズムで符号化処理を行なう。まず、時間的に連続する画像フレームを、基準フレームと予測フレームに振り分ける。基準フレームは、空間方向の相関のみを用いて符号化することで、そのフレームの符号化データのみで復元することができる。予測フレームは、基準となるフレームからの時間方向の相関と空間方向の相関を共に用いて符号化することにより、基準フレームに対してより符号化効率を高めることができる。予測フレームの符号化データは、復元された基準フレームと予測フレームの符号化データより復元される。

具体的なＭＰＥＧ２画像符号化で用いられる符号化体系について、図１０（Ａ）を用いて説明する。

図１０（Ａ）中の「Ｉ」で示す基準フレームであるＩピクチャ（Ｉフレーム）は定期的に存在し、復号処理の基準となる。また、予測フレームには、同図に「Ｐ」で示す時間的に前（過去）の基準フレームからの予測のみで符号化されるＰピクチャ（Ｐフレーム）と、同図に「Ｂ」で示す時間的に前後（過去と未来）の２つの基準フレームから予測符号化されるＢピクチャ（Ｂフレーム）が存在する。図１０（Ａ）中の矢印は、予測方向を示す。

Ｉピクチャは、自身が予測フレームであると共に、続くＢピクチャやＰピクチャの基準フレームにもなる。Ｉピクチャの画像信号は、輝度信号で水平１６画素×垂直１６画素のマクロブロックと呼ばれる処理単位に分割される。分割されたマクロブロックのデータは、更に８×８画素単位の２次元ブロックに分割され、直交変換の一種であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理が行なわれる。

ＤＣＴ変換後の信号は、その２次元ブロックの周波数成分に準じた値を示すため、一般的な画像では低域に成分が集中する。また、高周波数成分の情報劣化は、低周波数成分の情報劣化よりも視覚的に目立ちにくい性質がある。よって、低域成分を細かく高域成分を粗く量子化し、その係数成分と成分が無い係数０の連続する長さを可変長符号化することにより、情報量を圧縮している。

Ｐピクチャの画像信号は、Ｉピクチャと同様に、輝度信号で水平１６画素×垂直１６画素のマクロブロックの単位に分割される。Ｐピクチャでは、マクロブロック毎に基準フレームとの間の動きベクトルを計算する。動きベクトルの検出は、一般的にブロックマッチングにより求められる。このブロックマッチングでは、マクロブロックの各画素と動きベクトル値だけマクロブロックの存在する水平及び垂直の位置を動かした場所の基準フレームを水平１６×垂直１６画素にブロック化した各画素の差分絶対値総和（もしくは差分二乗総和）を求め、その最小値を取る動きベクトルの値を、検出された動きベクトルとして出力する。

マクロブロックの各画素は、動きベクトルにより切り出された２次元ブロックの各画素との差分が取られる。正確な動きベクトルが検出された場合には、差分ブロックの情報量は元のマクロブロックの持っている情報量よりも大幅に少なくなるため、Ｉピクチャよりも粗い量子化処理が可能となる。実際には、差分ブロックを符号化するか非差分ブロック（Ｉｎｔｒａブロック）を符号化するかを選択し（予測モード判定）、選択されたブロックに対してＩピクチャと同様のＤＣＴ・可変長符号化処理を施し、情報量が圧縮される。

Ｂピクチャは、Ｐピクチャと同様の処理が行なわれるが、基準フレームであるＩ、Ｐピクチャが時間的に前後に存在するため、それぞれの基準フレームとの間で動きベクトルを検出する。Ｂピクチャでは、予測の選択肢が前基準フレームからの予測（Ｆｏｒｗａｒｄ予測）、後基準フレームからの予測（Ｂａｃｋｗａｒｄ予測）、２つの予測ブロックの画素毎平均値（Ａｖｅｒａｇｅ予測）の３種類存在し、Ｉｎｔｒａブロックを合わせた４種類から予測モード判定を行なう。

Ｂピクチャは、時間的に前後の基準フレームから予測が可能となるため、Ｐピクチャよりも更に予測効率が向上する。よって、一般的にＰピクチャよりも更に粗く量子化される。選択されたブロックはＩ、Ｐピクチャと同様の符号化処理がなされる。

Ｂピクチャは、復号されるために、時間的に後の基準フレームからの予測処理が行なわれる。このため、基準フレームは、Ｂピクチャに先行して符号化される。そのため、入力された画像信号は、図１０（Ｂ）に示されるように、Ｂピクチャは、基準フレームであるＩピクチャ又はＰピクチャの後の順番に並べ替えが行われ、符号化される。復号処理では、図１０（Ｃ）に示すように、図１０（Ｂ）とは逆の並べ替えを行ない出力することにより、入力された画像信号の順番に復号画像が再生される。

映画フィルムに記録されている画像をデジタル画像信号として媒体に記録・再生する方式として、ＴＶの表示系の出力周波数にあわせるためのフレーム周波数変換処理を施して記録する２−３プルダウン方式が用いられている。

２−３プルダウン方式とは、２４フレーム／秒で作成された映像信号を、元信号における２フレーム単位でそれぞれ１フレーム及び２フレームのリピートフレームを挿入することによって、５フレームの画像信号に変換することにより、６０フレーム／秒の映像信号を生成する方式である。変換前と変換後のフレーム構成と時間間隔に関する関係を図１１に示す。

ＮＴＳＣ信号のようなインターレース信号に変換する場合には、上記変換された６０フレーム／秒の画像信号を順番に奇数フィールド走査位置取り込み／偶数フィールド走査位置取り込みと行なうことにより、６０フィールド／秒の画像信号を生成する。

上記のように２−３プルダウン方式で変換された画像信号に対して、ＭＰＥＧ２符号化のような高能率符号化処理を行なう場合に、リピートフレームのパターンを検出し、リピート情報をフレーム毎の制御情報として伝送することにより、実質２４フレームの符号化処理を行なうことで符号化情報を生成できる方法が存在する。具体的には、ＭＰＥＧ２符号化ストリームのピクチャヘッダ内に、「ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ」と「ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ」というフラグが存在し、この２つのフラグを用いてリピートされたフィールドもしくはフレームを表現する。また、画像のシーケンス全体を２４フレーム／秒に変換し、符号化処理を行なう方法も可能である。

上記手法を用いるためには、符号化を行なう２４フレーム／秒の画像信号を生成する必要がある。リピートフレームのパターンを検出する手法としては、特許文献２において従来技術として示されているように、映像信号の隣接するフレーム単位での相関を調べることによりリピートフレームを検出する方法や、デジタル画像信号の垂直ブランキング区間の補助情報領域にリピートを示すフラグを予め立てておき、そのフラグを検出する方法が実現可能である。

上記方法の内、隣接するフレーム単位での相関を検出することにより６０フレーム／秒から２４フレーム／秒への変換処理を施し、ＭＰＥＧ２画像符号化を行なう、画像符号化装置の構成図を図１２に示し、動作を説明する。

まず、入力端子２０１より入力された画像信号は、画像信号入力装置２０２により符号化処理を行なう領域の画像信号を取り込み、メモリ制御部２０３、データバス２０４を介して入力画像メモリ２０５に格納される。格納された画像データは、時間的に連続する２フレームの輝度信号データが画像信号相関検出回路２０６に読み込まれ、フレーム間の相関値を計測する。相関値の計測方法としては、２フレームの空間的に同位置に存在する輝度信号の差分絶対値の総和を取得し、その値がある閾値よりも小さい場合に、リピートフレームであると判断する。判断されたリピートフレーム情報は、フレーム周波数変換情報出力処理部２０７に送られる。

フレーム周波数変換情報出力処理部２０７では、入力された判定情報のパターンより、１フレームのリピートと、２フレーム連続のリピートのパターンを検出し、２４フレーム／秒のパターンを生成する。前記相関値計測方法及びパターン検出処理としては、例えば特許文献１にて提案されているような変換処理を用いることにより、編集処理が加わった素材に対しての変換処理も可能となる。生成されたパターンに従い、２４フレーム／秒の画像信号として使用される画像フレームのＩＤ情報（バンク番号、メモリアドレス値等）を、制御バス２０８を介して符号化制御部２０９に出力する。

また、色差信号に関しては、フレーム毎に色差サブサンプリング処理２１０に１フレーム分の色差信号がメモリ制御部２０３及びデータバス２０４を介して入力され、ＭＰＥＧ２符号化処理において４：２：２フォーマットで構成される入力画像信号に対して、垂直方向にサブサンプリング処理を行ない、４：２：０フォーマットの色差信号に変換され、メモリ制御部２０３、データバス２０４を介して、入力画像メモリ２０５に格納される。

符号化処理部２０においては、２４フレーム／秒の画像信号に対してＭＰＥＧ２符号化処理が行なわれる。以下、符号化処理部２０の内部の構成と動作を説明する。

まず、基準フレームにおいては、入力画像メモリ２０５からメモリ制御部２０３及びデータバス２０４を介して、符号化制御部２０９より制御バス２０８を介して指令されるフレームＩＤ情報に従って、符号化を行なう画像フレーム信号を２次元ブロック変換回路２１１に入力する。

２次元ブロック変換回路２１１においては、マクロブロックが切り出され、マクロブロックデータは減算器２１２を介して直交変換回路２１３に供給され、水平８画素×垂直８画素単位でＤＣＴ変換が行われてＤＣＴ係数が出力される。基準フレームの場合には、予測処理は行なわれず、減算器２１２への予測値は０となる。ＤＣＴ係数は、さらに輝度信号で水平１６画素×垂直１６画素のマクロブロック単位にまとめられて、量子化回路２１４に送られる。

量子化回路２１４においては、ＤＣＴ係数を周波数成分毎に異なった値を持つ量子化マトリクスにより係数毎に異なった値で除算されることにより、量子化処理される。量子化処理されたＤＣＴ係数は、符号化回路２１５において符号化テーブル２１６の係数に対応したアドレスを参照することにより可変長または固定長の符号化が行われる。

マルチプレクサ２１７は、符号化回路２１５から出力された符号化データと符号化制御部２０９より制御バス２０８を介して入力された画面内でのマクロブロックの場所等を示す付加情報が多重化され、メモリ制御部２０３、データバス２０４を介して画像ストリームバッファ２１８に格納される。

一方、量子化回路２１４において量子化されたＤＣＴ係数は、逆量子化回路２１９及び逆直交変換回路２２０において、逆量子化及び逆ＤＣＴ処理が行われ、量子化されたＤＣＴ係数が復号され、加算器２２１及びデブロック回路２２２、メモリ制御部２０３、データバス２０４を介して参照画像メモリ２２３に供給されて格納される。参照画像メモリ２２３に格納された画像は、予測フレームの符号化処理時に使用される。

続いて、予測フレームにおいては、入力画像メモリ２０５から切り出された画像信号は、２次元ブロック変換回路２１１と共に動きベクトル検出回路２２４に入力される。動きベクトル検出回路２２４には、参照画像メモリ２２３よりメモリ制御部２０３、データバス２０４を介して予測符号化を行なうための参照画像が入力される。

動きベクトル検出回路２２４では、符号化を行なう画像と参照画像の間でパターンマッチングによる最小誤差値の検索によりの画像間の動きベクトルが求められる。動きベクトル検出回路２２４から出力された動きベクトルと動きベクトルにより切り出された予測ブロックは、動き補償予測回路２２５に供給される。

動き補償予測回路２２５では、複数切り出された予測ブロックの中から最適な予測モードの選択を行ない、予測画像ブロックを減算器２１２に出力すると共に、動きベクトル値と予測モード値を制御バス２０８を介して、符号化制御部２０９に伝送する。

２次元ブロック変換回路２１１から出力されたマクロブロックデータは、減算器２１２により、予測ブロックとの差分信号が生成され、直交変換回路２１３に供給される。差分信号は、前記基準フレームの各ブロックと同様の処理が行われ、ＤＣＴ係数が量子化処理され符号化回路２１５により、符号化制御部２０９から制御バス２０８を介して設定された動きベクトル値や予測モード値と重畳され、ビットストリームとしてマルチプレクサ２１７から、画像ストリームバッファ２１８に出力される。

画像データの入出力は、データバス２０４を介して行なわれるため、複数の処理・回路よりデータ転送の要求があった場合の調停を行なうために、メモリ制御部２０３が存在する。

上記符号化装置において、符号化処理のパフォーマンスに影響する処理としては、符号化処理部２０の内部処理の処理速度と共に、データバス２０４において伝送できるデータ量が存在する。データ量が増大すると、各処理より要求されるデータ伝送要求が待たされる時間も増大し、データを確保することにより動作可能な符号化処理の処理速度にも影響を与える。リピートフレームの検出を行なう場合に、従来の手法では、常に隣接するフレーム間での相関情報を算出し、リピートパターンを検出しているために、データバス２０４において伝送すべきデータ量が増大する。

一例として、１２８０×７２０画素、４：２：２フォーマット、６０フレーム／秒の入力画像信号において、２４フレーム／秒への変換処理を行ない、符号化処理を行なう際の、データバス２０４の必要な伝送レートを算出すると、
１）画像信号入力処理部２０２からのデータ伝送：
（（１２８０×７２０）＋（６４０×７２０×２））×６０＝１１０５９２０００バイト／秒
２）画像信号相関検出処理部２０６に関するデータ伝送：
（１２８０×７２０）×２×６０＝１１０５９２０００バイト／秒
３）色差サブサンプリング処理部２１０に関するデータ伝送：
（（６４０×７２０×２）＋（６４０×３６０×２））×６０＝８２９４４０００バイト／秒
４）符号化処理部２０に関するデータ伝送（ストリームの伝送を除く：Ｂフレームを想定）
（（１２８０×７２０）＋（６４０×３６０×２））×３×２４＝９９５３２８００バイト／秒
となる。この例は、動きベクトル検出回路２２４内部にキャッシュメモリを持ち、動きベクトルの探索処理は、キャッシュメモリをアクセスすることでデータバス２０４の負荷を低減する構成を想定した場合のデータ伝送量となっている。

この場合、純粋に符号化処理に有するデータ伝送量が約１００ＭＢ／秒に対して、画像入力処理と２４フレーム／秒への変換処理に要するデータ伝送量が約３０５ＭＢ／秒となり、データバス２０４に対する負荷を増大させている。
特開平７−３２７１６４号公報 特開２００３−３０９８２３号公報

しかし、上記特許文献１、２の従来例にて示されるような、従来のリピートフレーム検出手法による６０フレーム／秒から２４フレーム／秒への画像信号の周波数変換処理においては、データバスにおけるデータ伝送量が増大するため、符号化処理の処理速度に影響を与えてしまう。

また、符号化処理の処理速度として同じ水平・垂直画素数を持つ画像信号を３０フレーム／秒処理できるような符号化処理回路においても、データバスにおけるデータ伝送量より生じる速度低下により、２４フレーム／秒の符号化処理の実現に影響を与えてしまう。

そこで、上記問題を解決する方法として、データバスの動作スピードを向上させる方法や、データバスのバス幅を拡張する方法でデータバス自体の性能を向上させ、影響を解消する方法が考えられるが、符号化装置全体の回路規模や消費電力を増大させることになる。

本発明は、上記に鑑みてなされたもので、その目的としては、半分以下のフレーム周波数に変換する画像信号の周波数変換処理において、複数フレーム間隔で入力信号をメモリに格納し、格納された画像情報のみを用いて周波数変換処理を実現する手法を提供し、周波数変換処理と画像信号入力処理の動作タイミングを管理することにより、瞬間的に必要となるデータバスの伝送パフォーマンスを削減することを可能とし、周波数変換処理を必要とする画像の高能率符号化処理に対して、符号化装置全体の回路規模や消費電力を増大させることなく、周波数変換処理を必要としない高能率符号化処理で処理可能な水平・垂直解像度と同等解像度の符号化処理を実現させることができる画像信号の高能率符号化装置を提供することにある。

上記目的を達成するため、請求項１記載の発明に係る画像信号の高能率符号化装置は、Ｍフレーム／秒の入来画像信号をＮフレーム間隔（Ｍ＞Ｎ≧２）で取り込むための画像取り込み指令を出力すると共に、前記画像取り込み指令が与えられるフレームの次のフレームに対応するタイミングで第１及び第２の処理実行指令を出力する指令付与手段と、 前記指令付与手段から前記画像取り込み指令を受けたときに、前記Ｍフレーム／秒の入来画像信号をＮフレーム間隔で取り込み、Ｍ／Ｎフレーム／秒の画像信号としてメモリに格納する画像入力手段と、前記指令付与手段から前記第１の処理実行指令を受けたときに、前記メモリから前記Ｍ／Ｎフレーム／秒の画像信号を読み出し、その画像信号の時間的に前後に隣接する２つのフレーム間の相関を検出する相関検出処理手段と、前記指令付与手段から前記第２の処理実行指令を受けたときに、前記２つのフレーム間の相関検出結果に基づいて、前記２つのフレームが互いに同一内容のフレームと判断された場合、前記２つのフレームのうち時間的に前のフレームをスキップさせることにより、前記Ｍ／Ｎフレーム／秒の画像信号からＬフレーム／秒（Ｌ＜Ｍ／Ｎ）の画像信号へのフレーム周波数変換を行なうフレーム周波数変換処理手段と、周波数変換された前記Ｌフレーム／秒の画像信号に対して符号化処理を行なう符号化処理手段とを備えたことを特徴とする。

請求項２記載の発明では、前記相関検出処理手段は、前記２つのフレームの輝度信号を対象として、画面分割された領域における、フレーム間同空間位置の差分信号の絶対値和と、同一フレーム内の輝度信号平均値と、同一フレーム内隣接画素の信号間差分絶対値の総和とのうち少なくとも１つの値を算出し、画面分割された領域毎の算出値及び算出値の総和に基づいて、前記２つのフレーム間の相関を検出することを特徴とする。

請求項３記載の発明では、前記フレーム周波数変換処理手段は、可変パラメータを用いて前記Ｌフレーム／秒の間隔に対する画像出力の過多及び過少を管理する手段を備えたことを特徴とする。

請求項１〜３記載の発明によれば、半分以下のフレーム周波数に変換する画像信号の周波数変換処理において、複数フレーム間隔で入力信号をメモリに格納し、格納された画像情報のみを用いて周波数変換処理を実現する手法を提供し、周波数変換処理と画像信号入力処理の動作タイミングを管理する。これにより、瞬間的に必要となるデータバスの伝送パフォーマンスを削減することを可能とし、周波数変換処理を必要とする画像の高能率符号化処理に対して、符号化装置全体の回路規模や消費電力を増大させることなく、周波数変換処理を必要としない高能率符号化処理で処理可能な水平・垂直解像度と同等解像度の符号化処理を実現させることができる。

請求項１記載の発明によれば、Ｍ／Ｎフレーム／秒の画像信号の時間的に前後に隣接する２つのフレーム間の相関を検出してこの相関検出結果に基づいて、２つのフレームが互いに同一内容のフレームと判断された場合に、時間的に前のフレームをスキップさせることにより、Ｍ／Ｎフレーム／秒の画像信号からＬフレーム／秒（Ｌ＜Ｍ／Ｎ）の画像信号へのフレーム周波数変換を行なうので、スキップさせたフレーム分に相当するデータバスの伝送パフォーマンスを瞬間的に削減することができる。

また、請求項２記載の発明によれば、画面分割された領域毎の算出値及び算出値の総和に基づいて、２つのフレーム間の相関を検出することで、２つのフレームの輝度信号の相関検出処理の効率を向上することができ、データバスの負担を削減することができる。

さらに、請求項３記載の発明によれば、可変パラメータを用いてＬフレーム／秒の間隔に対する画像出力の過多及び過少を管理するので、フレームスキップを管理して制御することができる。

以下、図面を参照しながら、本発明に係る画像信号の高能率符号化装置を実施するための最良の形態について説明する。

図１は、本実施の形態に係る画像信号の高能率符号化装置の構成を示す。図１に示す高能率符号化装置は、周波数変換処理を伴ったＭＰＥＧ２画像符号化装置（画像ストリーム変換記録装置）を適用したものである。この画像符号化装置は、図１２の従来例と比べ、符号化処理部２０（２次元ブロック変換回路２１１、減算器２１２、直交変換回路２１３、量子化回路２１４、符号化回路２１５、符号化テーブル２１６、マルチプレクサ２１７、逆量子化回路２１９、逆直交変換回路２２０、加算器２２１、デブロック回路２２２、動きベクトル検出回路２２４）と、入力端子２０１、メモリ制御部２０３、データバス２０４、入力画像メモリ２０５、制御バス２０８、画像ストリームバッファ２１８、及び参照画像メモリ２２３に関しては、同一構成になっているため、同一符号を付して、その説明は省略する。

符号化制御部１０１は、フレーム周波数変換処理を行なう指令、及び画像信号を取得するフレーム間隔を示す情報Ｎ（Ｎ≧２）を、制御バス２０８を介して、入力信号取得制御処理部１０２に設定する。

入力信号取得制御処理部１０２は、符号化制御部１０１により設定された上記フレーム間隔を示す情報Ｎの間隔で、画像信号入力処理部１０３に対して取り込み指令を与えると共に、画像信号相関検出処理部１０４、及びフレーム周波数変換情報出力処理部１０５に対して、上記取り込み指令を与えたフレームの次のフレームにて、検出指令及び情報出力指令を与える。

画像信号入力処理部１０３は、入力信号取得制御処理部１０２から上記取り込み指令が与えられたフレームの画像信号に対して入力端子２０１からその画像入力を行ない、入力された画像信号を、メモリ制御部２０３及びデータバス２０４を介して入力画像メモリ２０５に格納する。

画像信号相関検出処理部１０４は、上記検出指令が与えられたフレームのタイミングにて取り込まれた画像信号の時間順の２フレームの輝度信号を、入力画像メモリ２０５からメモリ制御部２０３及びデータバス２０４を介して取り込み、相関値の計測を行なう。

この相関値の計測方法として、本実施例では、２フレームの空間的に同位置に存在する輝度信号（Ｌｕｍａ信号）の差分絶対値の総和と合わせて、同一フレーム内の輝度信号平均値、同一フレーム内隣接画素の信号間差分絶対値の総和を取得する方法を用いる。

この方法で取得する単位としては、画面内を水平・垂直に数分割を行ない、それぞれの総和を個別に取得する。個別に取得した、２フレーム間の差分絶対値総和をＤｉｆｆ（ｘ，ｙ）、同一フレーム内の輝度平均値をＤＣ１（ｘ，ｙ）、ＤＣ２（ｘ，ｙ）、同一フレーム内の隣接画素間差分絶対値和をＡｃｔ１（ｘ，ｙ）、Ａｃｔ２（ｘ，ｙ）とすると、これらのフレーム総和も計算する。

Ｄｉｆｆ＝ΣＤｉｆｆ（ｘ，ｙ）
ＤＣ１＝ΣＤＣ１（ｘ，ｙ）、ＤＣ２＝ΣＤＣ２（ｘ，ｙ）
Ａｃｔ１＝ΣＡｃｔ１（ｘ，ｙ）、Ａｃｔ２＝ΣＡｃｔ２（ｘ，ｙ）
画像信号相関検出処理部１０４は、上記値を用いて、２つのフレーム間の関係を３種類のパターンに分ける処理を行なう。３種類のパターンは、静止もしくはリピート状態、シーン変化状態、その他の（定常）状態の３つである。

ここで、図２に示すフローチャートを参照して、画像信号相関検出処理部１０４による状態判断処理について説明する。

図２において、画像信号相関検出処理部１０４は、最初に、静止もしくはリピート状態であるかどうかの判断処理を行なう。すなわち、全ての分割された領域のＤｉｆｆ（ｘ，ｙ）に対して、閾値α（Ｄｉｆｆ）との比較を行ない、全ての領域で、
Ｄｉｆｆ（ｘ，ｙ）≦α（Ｄｉｆｆ）
であるかどうかを判断する（ステップＳ３０１）。

その結果、条件を満たさない場合（ＮＯ）には、静止もしくはリピート状態ではないと判断し（ステップＳ３０４）、条件成立（ＹＥＳ）の場合には、続いてＤＣ及びＡｃｔの２フレームでの比較を行なう。これらの比較も全ての領域に対して行なう。全ての領域に対して、
ＡＢＳ（ＤＣ１（ｘ，ｙ）−ＤＣ２（ｘ，ｙ））≦α（ＤＣ）
であるかどうかを判断する（ステップＳ３０２）。ＡＢＳは、絶対値演算を示す。

その結果、条件を満たさない場合（ＮＯ）には、静止もしくはリピート状態ではないと判断し（ステップＳ３０４）、条件成立の場合（ＹＥＳ）には、Ａｃｔの比較処理を行なう。Ａｃｔの比較処理も、同様に全ての領域に対して、
ＡＢＳ（Ａｃｔ１（ｘ，ｙ）−Ａｃｔ２（ｘ，ｙ））≦α（Ａｃｔ）
であるかどうかを判断する（ステップＳ３０３）。

その結果、条件を満たさない場合（ＮＯ）には、静止もしくはリピート状態ではないと判断し（ステップＳ３０４）、条件成立の場合（ＹＥＳ）には、静止もしくはリピート状態であると判断する（ステップ３０５）。

上記処理にて、静止もしくはリピート状態ではないと判断された場合（ステップＳ３０４）には、続いてシーン変化状態であるかどうかの判断を行なう。シーン変化状態の判断には、Ｄｉｆｆの分割された領域の値の最大値ＭａｘＤｉｆｆにより補正された全体の総和の値Ｄｉｆｆ（Ｍｏｄ）及び、画面全体のＤＣ及びＡｃｔの差分絶対値ＤｉｆｆＤＣ、ＤｉｆｆＡｃｔを用いて行なう。それぞれの計算は、
ＭａｘＤｉｆｆ＝Ｍａｘ（Ｄｉｆｆ（ｘ，ｙ））
Ｄｉｆｆ（Ｍｏｄ）＝（Ｄｉｆｆ×β）／ＭａｘＤｉｆｆ
ＤｉｆｆＤＣ＝ＡＢＳ（ＤＣ１−ＤＣ２）
ＤｉｆｆＡｃｔ＝ＡＢＳ（Ａｃｔ１−Ａｃｔ２）
となる（ステップＳ３０６）。βは固定の乗数である。

まず、Ｄｉｆｆ（Ｍｏｄ）と閾値γの比較を行ない（ステップＳ３０７）、
Ｄｉｆｆ（Ｍｏｄ）≦γ
の場合（ＹＥＳ）には、シーン変化状態ではないと判断し、定常状態となる（ステップＳ３０８）。それ以外の場合（ＮＯ）には、ＤｉｆｆＤＣ及びＤｉｆｆＡｃｔに関して、直前に同様の計測を行なった結果の値ＰｒｅｖＤｉｆｆＤＣ、ＰｒｅｖＤｉｆｆＡｃｔを保持しておき、差分絶対値の変化を計測する。

ＤＣに関しては、
（ＤｉｆｆＤＣ＋Δ（ＤＣ））／（ＰｒｅｖＤｉｆｆＤＣ＋Δ（ＤＣ））＞ε（ＤＣ）
の条件判断を行ない（ステップＳ３０９）、条件が成立する場合（ＹＥＳ）には、シーン変化状態となり（ステップＳ３１０）、成立しない場合（ＮＯ）には、Ａｃｔに関しての判断が行なわれる。Δ（ＤＣ）及びε（ＤＣ）は、固定値及び閾値である。

Ａｃｔに関しても同様に、
（ＤｉｆｆＡｃｔ＋Δ（Ａｃｔ））／（ＰｒｅｖＤｉｆｆＡｃｔ＋Δ（Ａｃｔ））＞ε（Ａｃｔ）
の条件判断を行ない（ステップＳ３１１）、条件が成立する場合（ＹＥＳ）には、シーン変化状態となり（ステップＳ３１０）、成立しない場合（ＮＯ）には定常状態となる（ステップＳ３０８）。

上記処理にて状態が確定した後、ＤｉｆｆＤＣ及びＤｉｆｆＡｃｔは、次の相関判断のためにＰｒｅｖＤｉｆｆＤＣ及びＰｒｅｖＤｉｆｆＡｃｔに格納され（ステップＳ３１２）、処理が終了する。

上記のようにして決定された２つのフレーム間の関係情報（定常状態、静止もしくはリピート状態、シーン変化状態）は、フレーム周波数変換情報出力処理部１０５に送られる。

フレーム周波数変換情報出力処理部１０５は、入力された上記関係情報のパターンにより、入力したフレームの中から２４フレーム／秒のパターンを生成する。基本的には、静止もしくはリピート状態の間隔を計測し、５回の間隔でリピート状態が生じている場合にパターンが確定される。

図３〜図７は、符号化処理開始時における２−３プルダウン（テレシネプルダウン）の各種位相におけるリピート状態の検出及び、２４フレーム／秒への変換タイミングを、５つの位相パターン（２−３プルダウンパターン１〜５）に分けて説明するものである。

図３〜図７の例では、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、…は、入力端子２０１に入力される６０フレーム／秒（Ｍ＝６０）の画像信号を構成するフレーム、入力処理は、画像信号入力処理部１０３により２フレーム間隔（Ｎ＝２）で取り込まれるフレーム、比較は、画像信号相関検出処理部１０４により比較される２つのフレームを示す。相関情報は、画像信号相関検出処理部１０４により前述のように確定される２フレーム間の相関情報で、図の例では、０は定常状態、１は静止もしくはリピート状態、２はシーン変化状態をそれぞれ示す。Ｃｎｔ及びＮｅｘｔ＿Ｓｋｉｐは、フレーム周波数変換情報出力処理部１０５内に設定されるカウンタ及びフラグである（詳細は後述参照）。Ｌｕｍａ判定は、フレーム周波数変換情報出力処理部１０５により周波数変換される２４フレーム／秒（Ｌ＝２４）の画像信号のうちの輝度信号を示す。図中のＳｔａｒｔは処理開始タイミング、Ｒｅｐは同一フレームのリピート状態、Ｓｋｉｐはスキップされたフレームを示す。

ここでは、フレーム周波数変換情報出力処理部１０５において、図示しないメモリ内に、静止もしくはリピート状態の間隔を計測するカウンタＣｎｔと、処理開始タイミングと２４フレーム／秒出力画像の生成タイミング（図中のＬｕｍａ判定タイミング）とのずれを計測するパラメータＯｆｆｓｅｔと、現在のＣｎｔ値に対し直前のＣｎｔ値を保持しておくＰｒｅｖＣｎｔとを用意し、素材編集が行なわれた際の２−３パターンのずれやシーケンスが静止画像になった場合の補正を行なう。

具体的に、フレーム周波数変換情報出力処理部１０５は、次のような処理を行なう。

１）２つのフレーム間の関係情報が静止もしくはリピート状態を示している場合（図中の相関情報＝１の場合）には、Ｃｎｔ値を０にリセットする（図３のフレームＡ、Ｅ、図４のフレームＣ、図５のフレームＥ、図６のフレームＣ、図７のフレームＥ参照）。

２）Ｃｎｔ値が４である時に、静止もしくはリピート状態を示すことを確認することで、６０フレーム／秒の入力画像に対して、２４フレーム／秒のフレーム周波数変換出力を正常に行っていると判断する。

３）Ｃｎｔ値を０にリセットした場合には、次の状態判断時の時間的に前に入力された画像信号をスキップするためのフラグＮｅｘｔ＿Ｓｋｉｐを１にセットする。

４）Ｃｎｔ値が０で、ＰｒｅｖＣｎｔ値が４未満の値であって、２−３パターン検出の同期が確定しており、尚且つ静止もしくはリピート状態であると判断した場合には、スキップ処理を行なわずにＰｒｅｖＣｎｔ値をＰｒｅｖＣｎｔ＋１の値にセットし、Ｃｎｔ値を０にする。

５）上記以外の場合には、Ｃｎｔ値をＰｒｅｖＣｎｔに代入し、Ｃｎｔ値をＣｎｔ＋１の値にセットする。この処理により、静止状態（図中の相関情報＝１の場合）に置いては、５フレーム間隔以外のパターンを無視できる。

６）フラグＮｅｘｔ＿Ｓｋｉｐが１にセットされており、修正されたＰｒｅｖＣｎｔ値が０である場合には、２つのフレームの時間的に前に入力されたフレームの画像信号をスキップする情報を、制御バス経由２０８で符号化制御部１０１へ伝送する。

７）上記スキップを行なわない場合（２４フレーム／秒の画像信号と判断した場合）に、色差サブサンプリング処理部１０６に処理実行命令を出力する。

色差サブサンプリング処理部１０６は、上記処理実行命令を受信したフレーム及び次のフレームのタイミングにおいて、スキップを行なわないと判断したフレームの色差信号（Ｃｈｒｏｍａ信号）を、入力画像メモリ２０５からメモリ制御部２０３及びデータバス２０４を介して取り込み、垂直方向のサブサンプリング処理を施し、メモリ制御部２０３及びデータバス２０４を介して入力画像メモリ２０５に４：２：０フォーマットの色差信号を格納する。

図８は、図３の例と同様の処理タイミングで、入力画像から色差信号出力及び符号化処理開始までの動作タイミングを説明するものである。図中の入力処理、比較、相関情報、Ｃｎｔ、Ｎｅｘｔ＿Ｓｋｉｐ、Ｌｎｍａ判定は、前述の図３〜図７と同様である。図中のＣｒｏｍａ判定は、色差サブサンプリング処理部１０６により生成され、入力画像メモリ２０５に格納される色差信号を示す。また、符号化は、符号化処理部２０により符号化処理される２４フレーム／秒の画像信号を示す。

図８に示すように、最初の画像信号（図中のフレームＢ）が符号化処理されるタイミングは、６０フレーム／秒（Ｍ＝６０）の入力画像信号を２フレーム間隔（Ｎ＝２）で取り込む場合、画像入力から９フレーム後であるため、その時刻より２４フレーム／秒（Ｌ＝２４）の間隔で符号化処理動作を行なうことにより、２４フレーム／秒の符号化処理が実現できる。

従来例で算出した条件と同じ条件として、１２８０×７２０画素、４：２：２フォーマット、６０フレーム／秒の入力画像信号において、２４フレーム／秒への変換処理を行ない、符号化処理を行なう際の、データバス２０４の必要な伝送レートを算出すると、入力処理を行なっているフレームをＡフレーム、行なっていないフレームをＢフレームと区別して、
１）画像信号入力処理部１０３からのデータ伝送：
Ａ： （（１２８０×７２０）＋（６４０×７２０×２））×６０＝１１０５９２０００バイト／秒
Ｂ： ０バイト／秒
２）画像信号相関検出処理部１０４に関するデータ伝送：
Ａ： ０バイト／秒
Ｂ： （１２８０×７２０）×２×６０＝１１０５９２０００バイト／秒
３）色差サブサンプリング処理部１０６に関するデータ伝送：
Ａ： （（６４０×７２０×２）＋（６４０×３６０×２））×６０／２＝４１４７２０００バイト／秒
Ｂ： （（６４０×７２０×２）＋（６４０×３６０×２））×６０／２＝４１４７２０００バイト／秒
となり、符号化処理部２０に関するデータ伝送を除いた、データ伝送レートは、Ａフレームの場合もＢフレームの場合も、約１５２ＭＢ／秒（１１０５９２０００バイト／秒＋４１４７２０００バイト／秒）となり、前述した従来例と比べ、伝送レートが半減する。

平均伝送レートとしては、２４フレームのみの色差信号変換となるため、色差サブサンプリング処理部１０６に関するデータ伝送は、３３１７７６００バイト／秒となり、更に約７ＭＢ／秒の削減が行なわれる。

続いて、フレーム周波数変換情報出力処理部１０５による、素材編集時の２−３パターン追従処理の一例におけるパラメータ推移を図９に示し、その動作を説明する。図中の入力処理、比較、相関情報、Ｃｎｔ、Ｎｅｘｔ＿Ｓｋｉｐ、Ｌｎｍａ判定、Ｃｒｏｍａ判定は、前述の図３〜図８と同様である。図中のＯｆｆｓｅｔは、前述したように処理開始タイミングと２４フレーム／秒出力画像の生成タイミングのずれを計測するパラメータである。

フレーム周波数変換情報出力処理部１０５は、処理開始タイミングと２４フレーム／秒出力画像の生成タイミングのずれを計測するパラメータＯｆｆｓｅｔが４以上になった場合に、編集ポイントにおいて強制的に１フレーム抜き取る処理を行ない、２４フレーム／秒の出力処理とのタイミングを補正する。

図９の例では、Ｏｆｆｓｅｔ＝４において、時間的に前のフレームＥを取り込むタイミングで編集ポイントが存在した場合に、相関情報が２となっていることより、フレーム周波数変換情報出力処理部１０５は、編集ポイントであると認識する。これにより、強制的に１フレーム抜き取る処理を行なう。

フレーム周波数変換情報出力処理部１０５は、強制的に１フレーム抜き取る処理を行なう場合、Ｎｅｘｔ＿Ｓｋｉｐ値を０にすると共に、Ｃｎｔ値を０にセットし、直前のＣｎｔ値（図９の例では２）を４から引いた値（図９の例では４−２＝２）をＯｆｆｓｅｔ（図９の例では４）から引く（図９の例では４−２）。その結果、図９の場合には、Ｏｆｆｓｅｔが４から２に変化する（４−２＝２）。

その後、フレーム周波数変換情報出力処理部１０５により、シーン変化後に最初に認識したリピートフレーム（図９の例ではフレームＧ）でＣｎｔ値が０にセットされた場合に、直前のＣｎｔ値が４でない場合（図９の例では２であり、この場合に該当する）には、シーン変化後の２−３プルダウンパターンの位相が補正されており、Ｃｎｔ値が４よりも小さかった場合（図９の例はこの場合に該当する）には、フレーム周波数変換情報出力処理部１０５は、更にＯｆｆｓｅｔ値（図９の例では２）から、直前のＣｎｔ値（図９の例では２）を４から引いた値（図９の例では４−２＝２）を引く（図９の例では２−２）。

一方、フレーム周波数変換情報出力処理部１０５により、シーン変化後に最初に認識したリピートフレーム（図９の例ではフレームＧ）でＣｎｔ値が４よりも大きかった場合（図９の例はこの場合に該当しない）には、フレーム周波数変換情報出力処理部１０５は、直前のＣｎｔ値から４を引いた値をＯｆｆｓｅｔ値に加算する。

このようにして、フレーム周波数変換情報出力処理部１０５により、シーン変化に伴うリピートフレームの位相パターンの修正値をＯｆｆｓｅｔ値に反映させることにより、２４フレーム／秒の画像フレーム取得と符号化処理を保持できる。図９の場合には、Ｏｆｆｓｅｔ値は最終的に０になる（２−２＝０）。

上記のように２４フレーム／秒の間隔に対する出力の過多及び過少を管理するパラメータＯｆｆｓｅｔを用いると、３つの状態情報の時間的なパターンから、符号化開始時、シーン変化検出時、及びフレームスキップのパターンが検出できなかった場合に、パラメータＯｆｆｓｅｔを増減させ、そのＯｆｆｓｅｔ値に基づいてフレームスキップを制御することができる。

なお、本実施の形態は、ＭＰＥＧ２符号化装置を専用ハードウェア構成にて実現する場合の構成であったが、ソフトウェアにて符号化プログラムを動作させることにより実現する場合においても、同様に有効である。コンピュータにて高解像度の画像信号をアクセスする場合には、ＨＤＤや外部メモリに蓄えられた画像信号をＣＰＵ内部で処理させるために、従来の構成ではハードウェア構成の場合と同様にデータ伝送に大きな負荷がかかるため、符号化処理速度の低下や、メモリに格納できる画像の解像度や量の低下を招く。本発明は、プログラムにてフレーム周波数変換処理を伴った符号化処理を実装する場合にも、有効であることは明らかである。

また、本実施の形態では、ＭＰＥＧ２規格の画像ストリーム変換記録装置を説明したが、同様の画像信号の隣接画素間（空間方向）の相関および、隣接フレーム間もしくは隣接フィールド間（時間方向）の相関を利用して情報量を圧縮するＭＰＥＧ４ ＡＳＰやＭＰＥＧ４ ＡＶＣを用いた符号化記録装置においても、同様の効果を持った符号化処理装置として適用可能である。

なお、本実施の形態では、６０フレーム／秒（Ｍ＝６０）の画像信号を２フレーム間隔（Ｎ＝２）で取り込み、３０フレーム／秒（Ｍ／Ｎ＝６０／２＝３０）の画像信号として画像メモリに格納し、３０フレーム／秒の画像信号から２４フレーム／秒（Ｌ＝２４）の画像信号に周波数変換する場合、すなわちＭ＝６０、Ｎ＝２、Ｌ＝２４の場合を説明しているが、本発明はこれに限定されるものではない。

例えば、ＮＴＳＣ方式からＰＡＬ方式に変換するときにＭ＝６０、Ｎ＝２、Ｌ＝２５とする場合や、テレシネ方式からＰＡＬ方式に変換するときにＭ＝５０、Ｎ＝２、Ｌ＝２４とする場合や、テレシネ方式からＮＴＳＣ方式に変換するときにＭ＝６０＊（１０００／１００１）、Ｎ＝２、Ｌ＝２４＊（１０００／１００１）の場合等にも適用することができる。

なお、上記した装置の機能をプログラムによりコンピュータに実現させるようにしてもよい。このプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

以上、本発明の実施の形態について説明したが、本発明の好適な実施の態様を以下のとおり列挙する。

本発明によれば、ＭＰＥＧ２規格の画像ストリーム変換記録装置のほか、ＭＰＥＧ４ ＡＳＰやＭＰＥＧ４ ＡＶＣを用いた符号化記録装置等の高能率符号化装置の用途にも適用できる。

本発明の実施の形態による周波数変換処理を伴ったＭＰＥＧ２画像符号化装置の全体構成を示す概略ブロック図である。 本発明の実施の形態による画像符号化装置の画像信号相関検出処理の処理アルゴリズムを説明する概略フローチャートである。 符号化処理開始時におけるテレシネプルダウンパターン（２−３プルダウンパターン１の場合）の各タイミングにおける周波数変換処理及び符号化処理の動作タイミングを説明する図である。 符号化処理開始時におけるテレシネプルダウンパターン（２−３プルダウンパターン２の場合）の各タイミングにおける周波数変換処理及び符号化処理の動作タイミングを説明する図である。 符号化処理開始時におけるテレシネプルダウンパターン（２−３プルダウンパターン３の場合）の各タイミングにおける周波数変換処理及び符号化処理の動作タイミングを説明する図である。 符号化処理開始時におけるテレシネプルダウンパターン（２−３プルダウンパターン４の場合）の各タイミングにおける周波数変換処理及び符号化処理の動作タイミングを説明する図である。 符号化処理開始時におけるテレシネプルダウンパターン（２−３プルダウンパターン５の場合）の各タイミングにおける周波数変換処理及び符号化処理の動作タイミングを説明する図である。 図３に示すテレシネプルダウン位相パターンにおける入力画像信号に対する色差信号出力及び符号化処理の動作タイミングを説明する図である。 素材編集時の場合に対しての２−３パターン追従処理の一例におけるパラメータ推移を示す図である。 ＭＰＥＧ２画像符号化で用いられている符号化体系、符号化時の符号化順並べ替えのタイミング、及び復号時のストリーム到達順と復号画像出力順を示す模式図である。 （Ａ）〜（Ｃ）は、２−３プルダウン方式における、６０フレーム／秒の画像信号と、変換前の２４フレーム／秒の画像信号との関係を示す模式図である。 従来例の周波数変換処理を伴ったＭＰＥＧ２画像符号化装置の構成図である。

符号の説明

２０ 符号化処理部
１０１ 符号化制御部
１０２ 入力信号取得制御処理部
１０３ 画像信号入力処理部
１０４ 画像信号相関検出処理部
１０５ 周波数変換情報出力処理部
１０６ 色差サブサンプリング処理部
２０１ 入力端子
２０２ 画像信号入力処理
２０３ メモリ制御部
２０４ データバス
２０５ 入力画像メモリ
２０６ 画像信号相関検出回路
２０７ 周波数変換情報出力処理部
２０８ 制御バス
２０９ 符号化制御部
２１０ 色差サブサンプリング処理部
２１１ ２次元ブロック変換回路
２１２ 減算器
２１３ 直交変換回路
２１４ 量子化回路
２１５ 符号化回路
２１６ 符号化テーブル
２１７ マルチプレクサ
２１８ 画像ストリームバッファ
２１９ 逆量子化回路
２２０ 逆直交変換回路
２２１ 加算器
２２２ デブロック回路
２２３ 参照画像メモリ
２２４ 動きベクトル検出回路
２２５ 動き補償予測回路

Claims (3)

1. Ｍフレーム／秒の入来画像信号をＮフレーム間隔（Ｍ＞Ｎ≧２）で取り込むための画像取り込み指令を出力すると共に、前記画像取り込み指令が与えられるフレームの次のフレームに対応するタイミングで第１及び第２の処理実行指令を出力する指令付与手段と、
   前記指令付与手段から前記画像取り込み指令を受けたときに、前記Ｍフレーム／秒の入来画像信号をＮフレーム間隔で取り込み、Ｍ／Ｎフレーム／秒の画像信号としてメモリに格納する画像入力手段と、
   前記指令付与手段から前記第１の処理実行指令を受けたときに、前記メモリから前記Ｍ／Ｎフレーム／秒の画像信号を読み出し、その画像信号の時間的に前後に隣接する２つのフレーム間の相関を検出する相関検出処理手段と、
   前記指令付与手段から前記第２の処理実行指令を受けたときに、前記２つのフレーム間の相関検出結果に基づいて、前記２つのフレームが互いに同一内容のフレームと判断された場合、前記２つのフレームのうち時間的に前のフレームをスキップさせることにより、前記Ｍ／Ｎフレーム／秒の画像信号からＬフレーム／秒（Ｌ＜Ｍ／Ｎ）の画像信号へのフレーム周波数変換を行なうフレーム周波数変換処理手段と、
   周波数変換された前記Ｌフレーム／秒の画像信号に対して符号化処理を行なう符号化処理手段とを備えたことを特徴とする画像信号の高能率符号化装置。
2. 前記相関検出処理手段は、
   前記２つのフレームの輝度信号を対象として、画面分割された領域における、フレーム間同空間位置の差分信号の絶対値和と、同一フレーム内の輝度信号平均値と、同一フレーム内隣接画素の信号間差分絶対値の総和とのうち少なくとも１つの値を算出し、画面分割された領域毎の算出値及び算出値の総和に基づいて、前記２つのフレーム間の相関を検出することを特徴とする請求項１記載の画像信号の高能率符号化装置。
3. 前記フレーム周波数変換処理手段は、
   可変パラメータを用いて前記Ｌフレーム／秒の間隔に対する画像出力の過多及び過少を管理する手段を備えたことを特徴とする請求項１又は２記載の画像信号の高能率符号化装置。
   
   
   

Images