JP2001069507A - 画像データ処理装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、画像データ処理装置に関し、従来に
比して一段と画質を向上することを提案する。 【解決手段】時間軸方向に異なる静止画像間の相関関係
を解析し、当該解析した相関関係を基に場面の切り換わ
りを示すシーンチェンジを検出した場合には、シーンチ
ェンジ後に存在する静止画像に施す帯域制限の度合いを
強制的に弱くすることにより、シーンチェンジ後に存在
する静止画像の情報量を削減する割合を小さくすること
ができ、かくして当該シーンチェンジ後に存在する静止
画像を圧縮符号化しても当該静止画像の画質が劣化する
ことを回避し得、従来に比して一段と画質を向上し得
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像データ処理装置
及びその方法に関し、例えば入力される画像データを圧
縮符号化して光ディスクに記録する記録再生装置に適用
して好適なものである。

【０００２】

【従来の技術】従来、画像データを圧縮符号化する方式
として、ＭＰＥＧ（Moving Picture Experts Group）規
格に基づく符号化方式がある。このＭＰＥＧ規格に基づ
く符号化方式は、同一フレーム内における空間的な相関
関係や異なるフレーム間における時間的な相関関係を利
用して画像データの情報量を削減するようになされてい
る。

【０００３】従って、このＭＰＥＧ規格に基づく符号化
方式を採用した記録再生装置は、入力される画像データ
をＭＰＥＧ規格に基づいて圧縮符号化して圧縮画像デー
タを生成し、これを光ディスクに記録する。そして記録
再生装置は、再生時、光ディスクから圧縮画像データを
再生してこれを伸長復号化することにより元の画像デー
タを復元する。このように記録再生装置は、ＭＰＥＧ規
格に基づく符号化方式を用いて、膨大な情報量の画像デ
ータを効率的に光ディスクに記録するようになされてい
る。

【０００４】

【発明が解決しようとする課題】ところでかかる構成の
記録再生装置においては、画像データを圧縮符号化する
前に当該画像データに対して適応的にフィルタリング処
理を施すことにより、圧縮画像データの情報量を一定に
保つことが考えられている。すなわち記録再生装置は、
画像データを構成する各フレームのうち時間的な相関関
係が低いフレームについては、当該フレームの高周波成
分の情報量を削減した上で圧縮符号化するのに対して、
当該時間的な相関関係が高いフレームについては、当該
フレームの情報量を削減せずに圧縮符号化する。

【０００５】このように記録再生装置は、フレーム間の
時間的な相関関係が低いため圧縮画像データの情報量が
増大することが予測される場合には、人間の視覚にとっ
て画質の劣化が目立たない高周波成分の情報量を削減し
た上で画像データの圧縮符号化処理を行うことにより、
圧縮画像データの情報量を一定にしている。

【０００６】ところで、例えば映画やドラマなどではシ
ーンが突然変わる場合があり、この場合のシーンチェン
ジ前後に存在するフレーム間の時間的な相関関係は全く
ない。上述の記録再生装置は、シーンチェンジが画像デ
ータに含まれていると、同一シーンにおけるフレーム間
の相関関係が低い場合のときと同様に、シーンチェンジ
前後に存在するフレーム間の相関関係が全くないにもか
かわらず、当該各フレームの高周波成分の情報量を削減
して圧縮符号化してしまうことから、圧縮画像データを
伸長復号化して元の画像データを復元する際、シーンチ
ェンジ直後の画像データの画質が劣化する不都合があっ
た。

【０００７】本発明は以上の点を考慮してなされたもの
で、従来に比して一段と画像データの画質を向上し得る
画像データ処理装置及びその方法を提案しようとするも
のである。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、画像データを静止画像毎に適応的
に帯域制限し、時間軸方向に異なる静止画像間の相関関
係を解析し、当該解析した相関関係を基に場面の切り換
わりを示すシーンチェンジを検出した場合には、シーン
チェンジ後の静止画像に施す帯域制限の度合いを強制的
に弱くすることにより、シーンチェンジ後に存在する静
止画像の情報量を削減する割合を小さくすることができ
る。

【０００９】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【００１０】図１において、１は全体として記録再生装
置を示し、外部から供給されるＮＴＳＣ（National Tel
evision System Commmittee ）方式の画像信号Ｓ１をア
ナログ／ディジタル（Ａ／Ｄ）変換回路２に入力し、当
該Ａ／Ｄ変換回路２においてアナログディジタル変換を
施すことにより得られた画像データＤ２をＮＴＳＣデコ
ーダ３に送出する。ＮＴＳＣデコーダ３は、このＮＴＳ
Ｃ方式の画像データＤ２を輝度信号及び色信号に分離
し、当該分離された輝度信号及び色信号でなる画像デー
タＤ３をノイズ低減回路４及びシーンチェンジ検出回路
５に送出する。

【００１１】ノイズ低減回路４は、図２に示すように、
ＮＴＳＣデコーダ３から供給される画像データＤ３を動
き補償フィールド巡回型ノイズ低減回路６及びフィール
ドメモリ７に入力する。さらに動き補償フィールド巡回
型ノイズ低減回路６は、図３に示すように、この画像デ
ータＤ３を減算器１０及びＶフィルタ１１に入力する。
また動き補償フィールド巡回型ノイズ低減回路６は、ノ
イズ低減回路４（図２）のフィールドメモリ７から画像
データＤ３を１フィールド遅延させたフィールド遅延画
像データＤ５が供給されると、これをＶフィルタ１３に
入力する。

【００１２】Ｖフィルタ１１は、インタレース（飛び越
し）走査方式の画像データＤ３に対して垂直方向におけ
るフィールド遅延画像データＤ５との間の位相補償を施
し、その結果得た画像データＤ６を動き補償回路１４に
送出する。同様にしてＶフィルタ１３は、インタレース
（飛び越し）走査方式のフィールド遅延画像データＤ５
に対して垂直方向における画像データＤ３との間の位相
補償を施し、その結果得たフィールド遅延画像データＤ
７を動き補償回路１４に送出する。

【００１３】すなわち図４に示すように、Ｖフィルタ１
１は、画像データＤ３の偶数フィールドにおいて、水平
方向の位相が同一であってかつ隣接する偶数ライン上に
存在する２つの画素の画素値を基に、当該各画素を垂直
方向に対して所定の比（例えば３：１）で分割した位相
の画素の画素値を算出する。これと共にＶフィルタ１３
は、フィールド遅延画像データＤ５の奇数フィールドに
おいて、水平方向の位相が同一であってかつ隣接する奇
数ライン上に存在する２つの画素の画素値を基に、当該
各画素を垂直方向に対して所定の比（例えば１：３）で
分割した位相の画素の画素値を算出する。これにより画
像データＤ３及びフィールド遅延画像データＤ５の垂直
方向の位相が一致し、位相補償が行われる。

【００１４】相関度算出手段としての動き補償回路１４
は、まず画像データＤ６を所定の大きさのブロックに分
割する。そして動き補償回路１４は、これら各ブロック
の中から１つの参照ブロックを抽出し、フィールド遅延
画像データＤ７の所定のサーチエリア内に存在する候補
ブロックの中から当該参照ブロックに最も類似する類似
候補ブロックを探索し、当該探索された類似候補ブロッ
クとの差分すなわちノイズを算出する。そして動き補償
回路１４は、画像データＤ６内の全てのブロックについ
て類似候補ブロックとの差分を算出し、これを動き補償
残差データＤ８としてアダマール変換回路１５及び符号
化難易度算出回路１６（図２）に送出する。

【００１５】アダマール変換回路１５は、動き補償回路
１４から送出される動き補償残差データＤ８を例えば８
つの水平周波数成分に分離し、当該各水平周波数成分の
動き補償残差データＤ９を非線形回路１６に送出する。
非線形回路１６は、非線形のリミッタ回路でなり、各水
平周波数成分の動き補償残差データＤ９に適用される各
リミッタ値を、当該各水平周波数の周波数帯域に応じて
適応的に変化させ、各動き補償残差データＤ９の上限値
をそれぞれ制限することにより、各水平周波数成分のノ
イズデータＤ１０を生成して逆アダマール変換回路１７
に送出する。すなわち、水平周波数成分が低域の動き補
償残差データＤ９は、ノイズとして目立つためリミッタ
値を高く設定するのに対して、水平周波数成分が高域の
動き補償残差データＤ９は、ノイズとして目立たないた
めリミッタ値を低く設定する。

【００１６】逆アダマール変換回路１７は、各水平周波
数成分のノイズデータＤ１０を時間軸のノイズデータＤ
１１に変換し、これを減算器１０に送出する。減算器１
０は、ＮＴＳＣデコーダ３（図１）から供給される画像
データＤ３からノイズデータＤ１１を減算することによ
り、異なるフィールド間において時間的な相関関係がな
いノイズが低減されたノイズ低減画像データＤ１２を生
成し、これをマルチプレクサ回路２０（図２）に送出す
る。

【００１７】このように動き補償フィールド巡回型ノイ
ズ低減回路６は、画像データＤ３のノイズを予め低減す
ることにより、圧縮符号化処理や伸長復号化処理を実行
する際に生じる、各ブロックの境界が不連続となるブロ
ック歪みやエッジ周辺に現れるリンキング状のモスキー
トノイズを低減するようになされている。

【００１８】符号化難易度算出回路１６は、図５に示す
ように、動き補償フィールド巡回型ノイズ低減回路６
（図２）から供給される動き補償残差データＤ８をＨブ
ロックフィルタ回路２１に入力する。Ｈブロックフィル
タ回路２１は、図６（Ａ）に示すように、動き補償残差
データＤ８を構成する各ブロックデータｄｍｃ〔ｍ、
ｎ〕それぞれに対して、次式

【００１９】

【数１】

【００２０】に示すような水平方向のブロック間におけ
るフィルタリング処理を施すことにより、水平方向の平
滑化が行われたブロックデータｄｍｃ＿ｈｆｉｌ〔ｍ、
ｎ〕からなる動き補償残差データＤ１５をＶブロックフ
ィルタ回路２２及びマルチプレクサ回路２３に送出す
る。ここでｍは各ブロックの水平方向のアドレスを示
し、ｎは垂直方向のアドレスを示す。

【００２１】Ｖブロックフィルタ回路２２は、図６
（Ｂ）に示すように、Ｈブロックフィルタ回路２１から
供給される動き補償残差データＤ１５の各ブロックデー
タｄｍｃ＿ｈｆｉｌ〔ｍ、ｎ〕それぞれに対して、シリ
アル／パラレル変換回路２４から供給される動き補償残
差多重化データＤ１６に含まれるブロックデータｄｍｃ
＿ｈｆｉｌ〔ｍ、ｎ−１〕を用いて、次式

【００２２】

【数２】

【００２３】に示すような垂直方向のブロック間におけ
るフィルタリング処理を施すことにより、次式

【００２４】

【数３】

【００２５】に示すような水平及び垂直方向の平滑化が
行われたブロックデータｄｍｃ＿ｈｖｆｉｌ〔ｍ、ｎ〕
からなる動き補償残差データＤ１７を生成し、これをマ
ルチプレクサ回路２３に送出する。従って動き補償残差
データＤ１７は、図６（Ｃ）に示すように、動き補償残
差データＤ８を構成する各ブロックデータｄｍｃ〔ｍ、
ｎ〕に対して空間的な平滑化を行うことによって生成さ
れたデータである。

【００２６】マルチプレクサ回路２３は、図７に示すよ
うに、水平方向の平滑化が行われた動き補償残差データ
Ｄ１５と水平及び垂直方向の平滑化が行われた動き補償
残差データＤ１７をブロック毎に多重化し、その結果得
た動き補償残差多重化データＤ１８をパラレルシリアル
変換回路２５に送出する。パラレルシリアル変換回路２
５は、４ビットの動き補償残差多重化データＤ１８をパ
ラレルシリアル変換し、その結果得た１ビットの動き補
償残差多重化データＤ１９をセレクタ回路２６に送出す
る。

【００２７】セレクタ回路２６は、パラレルシリアル変
換回路２５から供給される動き補償残差多重化データＤ
１９とメモリ２７から読み出された動き補償残差多重化
データＤ２０とを適応的に切り換え、当該切り換えたい
ずれか一方のデータを動き補償残差多重化データＤ２１
としてメモリ２７に送出して記憶する。メモリ２７は、
書き込んだ動き補償残差多重化データＤ２１を所定のタ
イミングで読み出し、これを動き補償残差多重化データ
Ｄ２０としてセレクタ回路２６及びシリアルパラレル変
換回路２４に送出する。シリアルパラレル変換回路２４
は、１ビットの動き補償残差多重化データＤ２１をシリ
アルパラレル変換し、その結果得た４ビットの動き補償
残差多重化データＤ１６をＶブロックフィルタ回路２２
及びテンポラルフィルタ回路３０に送出する。

【００２８】相関度平滑化手段としてのテンポラルフィ
ルタ回路３０は、シリアルパラレル変換回路２４から供
給される動き補償残差多重化データＤ１６のうち水平及
び垂直方向の平滑化が行われた動き補償残差データをｄ
ｆｃ＿ｉｎとすると共に、フィールドメモリ７（図２）
から供給される、当該動き補償残差データｄｆｃ＿ｉｎ
を１フィールド遅延させた動き補償残差データでなるフ
ィールド遅延符号化難易度データＤ２５を動き補償残差
データｄｆｃ＿ｆｄとして、時間軸方向のフィルタリン
グ処理を施すことにより、符号化難易度算出回路１６に
入力された動き補償残差データＤ８に対して水平及び垂
直並びに時間軸方向の平滑化を施し、これを符号化難易
度データと定義している。

【００２９】具体的にはテンポラルフィルタ回路３０
は、水平及び垂直方向の平滑化が行われた動き補償残差
データｄｆｃ＿ｉｎ及び当該動き補償残差データｄｆｃ
＿ｉｎを１フィールド遅延させた動き補償残差データｄ
ｆｃ＿ｆｄとを基に、次式

【００３０】

【数４】

【００３１】に示すような時間軸方向のフィルタリング
処理を施すことにより符号化難易度データｔｆｉｌを生
成する。

【００３２】ここで、ｄｉｆ＿ｆｄは動き補償残差デー
タｄｆｃ＿ｉｎと動き補償残差データｄｆｃ＿ｆｄとの
差分データを示し、ａｄｉｆ＿ｆｄは差分データｄｉｆ
＿ｆｄの絶対値を示す。ｓ＿ｄｉｆ＿ｆｄは差分データ
ｄｉｆ＿ｆｄの符号ビットを示し、当該符号ビットｓ＿
ｄｉｆ＿ｆｄが０のときは差分データｄｉｆ＿ｆｄが正
であることを示し、符号ビットｓ＿ｄｉｆ＿ｆｄが１の
ときは差分データｄｉｆ＿ｆｄが負であることを示す。
ｃ＿ｔｍｐ＿ｆｉｌ＿ｈ、ｃ＿ｔｍｐ＿ｆｉｌ＿ｌは定
数を示す。

【００３３】すなわちテンポラルフィルタ回路３０は、
水平及び垂直方向の平滑化が行われた動き補償残差デー
タｄｆｃ＿ｉｎと当該動き補償残差データｄｆｃ＿ｉｎ
を１フィールド遅延させた動き補償残差データｄｆｃ＿
ｆｄとの差分データｄｉｆ＿ｆｄが所定の範囲内に存在
する場合には動き補償残差データｄｆｃ＿ｉｎ及びｄｆ
ｃ＿ｆｄの平均値を符号化難易度データｔｆｉｌとする
一方、所定の範囲外に存在する場合には動き補償残差デ
ータｄｆｃ＿ｆｄに対して所定の定数を加算又は減算し
た結果を符号化難易度データｔｆｉｌとする。

【００３４】ところで符号化難易度算出回路１６（図
２）は、シーンチェンジ検出回路５（図１）から例えば
映画やドラマなどでなる画像データＤ３中にシーンチェ
ンジがあったか否かを示すシーンチェンジデータＤ２６
が供給されており、当該供給されたシーンチェンジデー
タＤ２６をテンポラルフィルタ回路３０に入力するよう
になされている。この場合、シーンチェンジ検出回路５
は、シーンチェンジを検出したときはシーンチェンジデ
ータＤ２６として１を出力し、それ以外は０を出力す
る。

【００３５】そこでテンポラルフィルタ回路３０は、上
述の符号化難易度データｔｆｉｌを符号化難易度データ
Ｄ２７としてシフトレジスタ３１に送出する際、当該符
号化難易度データＤ２７の垂直帰線消去期間にシーンチ
ェンジデータＤ２６を時分割でシフトレジスタ３１に送
出する。シフトレジスタ３１は、シーンチェンジデータ
Ｄ２６及び符号化難易度データＤ２７を一旦保持し、所
定のタイミングでノイズ低減回路４のマルチプレクサ回
路２０に送出する。

【００３６】マルチプレクサ回路２０は、動き補償フィ
ールド巡回型ノイズ低減回路６から供給されるノイズ低
減画像データＤ１２を出力する際、当該ノイズ低減画像
データＤ１２の水平帰線消去期間を利用してシーンチェ
ンジデータＤ２６及び符号化難易度データＤ２７を出力
することによりノイズ低減画像データＤ１２、シーンチ
ェンジデータＤ２６及び符号化難易度データＤ２７を多
重化し、当該多重化されたノイズ低減画像データＤ１
２、シーンチェンジデータＤ２６及び符号化難易度デー
タＤ２７をフィールドメモリ７に送出して書き込む。

【００３７】フィールドメモリ７は、ＮＴＳＣデコーダ
３から供給された画像データＤ３を１フィールド遅延さ
せ、そのフィールド遅延画像データＤ５を動き補償フィ
ールド巡回型ノイズ低減回路６及びシーンチェンジ検出
回路５に送出し、符号化難易度データＤ２７を１フィー
ルド遅延させ、そのフィールド遅延符号化難易度データ
Ｄ２５を符号化難易度算出回路１６に送出し、当該フィ
ールド遅延符号化難易度データＤ２５及びシーンチェン
ジデータＤ２６を適応型プリフィルタ３５（図１）に送
出し、ノイズ低減画像データＤ１２を１フィールド遅延
させ、そのフィールド遅延ノイズ低減画像データＤ３０
を適応型プリフィルタ３５に送出する。

【００３８】ここでこのフィールドメモリ７に対する各
データの書込み及び読出しタイミングを図８（Ａ）〜
（Ｆ）に示す。図８（Ａ）はノイズ低減画像データＤ１
２がフィールドメモリ７に書き込まれるタイミングを示
し、図８（Ｂ）は符号化難易度データＤ２７がフィール
ドメモリ７に書き込まれるタイミングを示し、図８
（Ｃ）はシーンチェンジデータＤ２６がフィールドメモ
リ７に書き込まれるタイミングを示す。図８（Ｄ）はフ
ィールド遅延ノイズ低減画像データＤ３０をフィールド
メモリ７から読み出すタイミングを示し、図８（Ｅ）は
フィールド遅延符号化難易度データＤ２５をフィールド
メモリ７から読み出すタイミングを示し、図８（Ｆ）は
シーンチェンジデータＤ２６をフィールドメモリ７から
読み出すタイミングを示す。

【００３９】すなわち図８（Ａ）に示すように、ノイズ
低減画像データＤ１２のうちフィールドＦ１及びＦ２間
すなわちタイミングｔ２でシーンチェンジが発生する
と、図８（Ｂ）に示すように、ノイズ低減画像データＤ
１２のフィールドＦ２に相当する符号化難易度データＤ
２７の値が大きくなり、また図８（Ｃ）に示すように、
タイミングｔ３で論理レベル１のシーンチェンジデータ
Ｄ２６が得られる。この場合、シーンチェンジの有無
は、隣接するフィールドＦ間の相関関係を基に判断され
るため、シーンチェンジの検出タイミングは当該シーン
チェンジが発生したタイミングから１フィールド遅れる
ことになる。

【００４０】そこでノイズ低減画像データＤ１２及び符
号化難易度データＤ２７は、図８（Ｄ）及び（Ｅ）に示
すように、書込みタイミングから１フィールド遅延した
タイミングでフィールドメモリ７から読み出されるのに
対して、シーンチェンジデータＤ２６は、図８（Ｆ）に
示すように、書込みタイミングから遅延することなくフ
ィールドメモリ７から読み出される。

【００４１】ところでフィルタ制御手段としてのシーン
チェンジ検出回路５は、ＮＴＳＣデコーダ３から供給さ
れる例えば映画やドラマなどでなる画像データＤ３から
場面の切り換わりを示すシーンチェンジを検出するため
のものであり、画像データＤ３と当該画像データＤ３を
１フィールド遅延させたフィールド遅延画像データＤ５
との相関関係を解析する。

【００４２】すなわちシーンチェンジ検出回路５は、画
像データＤ３とフィールド遅延画像データＤ５との間で
対応する各画素の画素値の差分を算出し、その算出した
差分値の絶対値を合計することにより、画像データＤ３
とフィールド遅延画像データＤ５との相関関係を示す相
関値を求める。この相関値は、フィールド間の相関関係
が高いと小さくなり、フィールド間の相関関係が低いと
大きくなる。

【００４３】そしてシーンチェンジ検出回路５は、相関
値が所定の閾値よりも大きいか否かを判断する。その結
果、肯定結果が得られると、このことは画像データＤ３
及びフィールド遅延画像データＤ５間に相関関係が全く
ない場合すなわちシーンチェンジが発生したことを表し
ており、このときシーンチェンジ検出回路５は、論理レ
ベル１でなるシーンチェンジデータＤ２６をノイズ低減
回路４を介して適応型プリフィルタ３５に送出する。こ
れに対して、否定結果が得られると、画像データＤ３及
びフィールド遅延画像データＤ５間に相関関係が存在す
る場合すなわちシーンチェンジが発生していないことを
表しており、このときシーンチェンジ検出回路５は、論
理レベル０でなるシーンチェンジデータＤ２６をノイズ
低減回路４を介して適応型プリフィルタ３５に送出す
る。

【００４４】適応型プリフィルタ３５は、フィールド遅
延符号化難易度データＤ２５及びシーンチェンジデータ
Ｄ２６に基づいてフィールド遅延ノイズ低減画像データ
Ｄ３０に対して、次式

【００４５】

【数５】

【００４６】に示すような伝達関数Ｈを用いて適応的に
フィルタリング処理を施すことにより、フィールド遅延
ノイズ低減画像データＤ３０を構成する各フィールドの
時間的な相関関係に応じて当該フィールド遅延ノイズ低
減画像データＤ３０の情報量を削減し、その結果得たノ
イズ低減画像データＤ３１をＭＰＥＧエンコーダ３６に
送出する。なお伝達関数Ｇは、図９に示すように、注目
する画素の画素値に対して当該画素の周囲に存在する画
素の画素値に所定の係数を乗算したものを加算すること
により重み付け演算を行うようになされている。

【００４７】ここで、フィルタ係数αはフィールド遅延
符号化難易度データＤ２５及びシーンチェンジデータＤ
２６の値に応じて０〜１の範囲内で決定される値であ
る。すなわちフィルタ係数αは、フィールド遅延符号化
難易度データＤ２５の値が所定レベル以上であってかつ
シーンチェンジデータＤ２６の値が０の場合には１が設
定され、フィールド遅延符号化難易度データＤ２５の値
が所定レベル以下であってかつシーンチェンジデータＤ
２６の値が０の場合には０が設定されるが、シーンチェ
ンジデータＤ２６の値が１の場合にはフィールド遅延符
号化難易度データＤ２５の値にかかわらず強制的に０が
設定される。

【００４８】このように適応型プリフィルタ３５は、図
１０に示すように、時間的な相関関係が低いフィールド
に対しては、フィルタ係数αに１を設定して当該フィー
ルドの高周波成分の情報量を削減するのに対して、時間
的な相関関係が高いフィールドに対しては、フィルタ係
数αに０を設定して当該フィールドの情報量の削減を行
わないようにすることにより、フィールド遅延ノイズ低
減画像データＤ３０に対して適応的にフィルタリング処
理を施し、後段のＭＰＥＧエンコーダ３６によって得ら
れる圧縮画像データＤ３６の情報量を一定に保ってい
る。

【００４９】これにより適応型プリフィルタ３５は、フ
ィールド間の時間的な相関関係が低いため圧縮画像デー
タＤ３６の情報量が増大することが予測される場合に
は、人間の視覚にとって画質の劣化が目立たない高周波
成分の情報量を削減した上でフィールド遅延ノイズ低減
画像データＤ３０の圧縮符号化処理を行うことにより、
圧縮画像データＤ３６の情報量を一定にしている。

【００５０】その際、適応型プリフィルタ３５は、シー
ンチェンジが発生したフィールドすなわち直前のフィー
ルドと時間的な相関関係が全くないフィールドに対して
は、フィルタ係数αに強制的に０を設定して当該フィー
ルドの情報量の削減を行わないようにする。これにより
記録再生装置１では、適応型プリフィルタ３５によって
得られたノイズ低減画像データＤ３１を圧縮符号化及び
伸長復号化する際、シーンチェンジ直後の画像データが
劣化することがないと共にブロック歪みやモスキートノ
イズが低減される。

【００５１】またフィールド遅延符号化難易度データＤ
２５は、符号化難易度算出回路１６のテンポラルフィル
タ回路３０において時間方向のフィルタリング処理が施
されていることから、適応型プリフィルタ３５の周波数
特性の時間的な変化によってノイズ低減画像データＤ３
１にフリッカが発生することが回避されると共にブロッ
ク歪みやモスキートノイズが低減される。

【００５２】ＭＰＥＧエンコーダ３６は、ＤＣＴ（Disc
rete Cosine Tranform：離散コサイン変換）符号化方式
に基づいてノイズ低減画像データＤ３１を圧縮符号化す
ることにより、画像データに例えば量子化スケール等の
符号化情報が付加されてなる圧縮画像データＤ３２をＥ
ＣＣ（Error Correcting Circuit）エンコーダ３７に送
出する。

【００５３】ＥＣＣエンコーダ３７は、圧縮画像データ
Ｄ３２に対して誤り訂正符号を付加し、その結果得た圧
縮画像データＤ３３を８−１４変調回路３８に送出す
る。８−１４変調回路３８は、所定の８−１４変調方式
に基づいて圧縮画像データＤ３３に対して変調処理を施
し、その結果得た圧縮画像データＤ３４をＲＦアンプ３
９に送出する。ＲＦアンプ３９は、圧縮画像データＤ３
４を所定レベルに増幅し、その結果得た圧縮画像データ
Ｄ３５を光ピックアップ４０を介して光ディスク４１に
記録する。

【００５４】これに対して再生時、記録再生装置１は、
光ディスク４１から光ピックアップ４０を介して圧縮画
像データＤ４０を再生し、これをＲＦアンプ４５に送出
する。ＲＦアンプ４５は、圧縮画像データＤ４０を所定
のレベルに増幅し、その結果得た圧縮画像データＤ４１
を８−１４復調回路４６に送出する。８−１４復調回路
４６は、所定の８−１４復調方式に基づいて圧縮画像デ
ータＤ４１を復調し、その結果得た圧縮画像データＤ４
２をＥＣＣデコーダ４７に送出する。

【００５５】ＥＣＣデコーダ４７は、ＥＣＣエンコーダ
３７において付加された誤り訂正符号を用いて誤り訂正
を行い、その結果得た圧縮画像データＤ４３をＭＰＥＧ
デコーダ４８に送出する。ＭＰＥＧデコーダ４８は、圧
縮画像データＤ４３を伸長復号化することにより元の画
像データＤ４４を復元し、これをノイズ低減回路４９に
送出する。その際、ＭＰＥＧデコーダ４８は、量子化ス
ケールなどの符号化情報データＤ４５を抽出し、当該符
号化情報データＤ４５もノイズ低減回路４９に送出す
る。

【００５６】ノイズ低減回路４９は、符号化情報データ
Ｄ４５を用いて画像データＤ４４に対してフィルタリン
グ処理を施すことにより当該画像データＤ４４に生じた
ブロック歪みやモスキートノイズを低減し、その結果得
た画像データＤ４６を画質補正回路５０に送出する。画
質補正回路５０は、画像データＤ４６に対して例えば輪
郭補正などの画質補正処理を施し、その結果得た画像デ
ータＤ４７をＮＴＳＣエンコーダ５１に送出する。ＮＴ
ＳＣエンコーダ５１は、画像データＤ４７をＮＴＳＣ方
式の画像データＤ４８に変換し、これをディジタルアナ
ログ（Ｄ／Ａ）変換回路５２に送出する。Ｄ／Ａ変換回
路５２は、ＮＴＳＣ方式の画像データＤ４８をディジタ
ルアナログ変換し、その結果得た画像信号Ｓ４９を外部
に出力する。

【００５７】ところで操作入力部５５は、ブロック歪み
の低減を行うか否かを選択するためのスイッチや、画質
補正を制御するためのスイッチが設けられ、ユーザの入
力操作に応じた入力データＤ５５を生成し、これを制御
回路５６に送出する。制御回路５６は、操作入力部５５
から供給される入力データＤ５５を基に制御データＤ５
６を生成し、これをノイズ低減回路４９及び画質補正回
路５０に送出し当該ノイズ低減回路４９及び画質補正回
路５０の動作を制御する。

【００５８】以上の構成において、シーンチェンジ検出
回路５は、ＮＴＳＣデコーダ３から供給される画像デー
タＤ３と当該画像データＤ３を１フィールド遅延させた
フィールド遅延画像データＤ５との間の相関関係を解析
することにより当該画像データＤ３に含まれるシーンチ
ェンジを検出し、当該シーンチェンジの有無を示すシー
ンチェンジデータＤ２６を適応型プリフィルタ３５に送
出する。

【００５９】またノイズ低減回路４は、画像データＤ３
とフィールド遅延画像データＤ５との間の相関関係を解
析して動き補償残差データＤ８を生成した後、当該動き
補償残差データＤ８に対して水平及び垂直並びに時間軸
方向の平滑化処理を施すことによりフィールド遅延符号
化難易度データＤ２５を生成し、これを適応型プリフィ
ルタ３５に送出する。

【００６０】適応型プリフィルタ３５は、供給されるフ
ィールド遅延符号化難易度データＤ２５及びシーンチェ
ンジデータＤ２６に基づいて、ノイズ低減回路４から順
次供給されるフィールド遅延ノイズ低減画像データＤ３
０の各フィールド画像のうち、１フィールド前のフィー
ルド画像との間の相関関係が低いフィールド画像に対し
ては不要な周波数成分を除去する帯域制限の度合いを強
くするのに対して、相関関係が高いフィールド画像に対
しては帯域制限の度合いを弱くするが、シーンチェンジ
が発生し１フィールド前のフィールド画像との間の相関
関係が全くないフィールド画像に対しては強制的に帯域
制限の度合いを弱めることにより、フィールド遅延ノイ
ズ低減画像データＤ３０を構成する各フィールド画像の
情報量を必要に応じて削減する。

【００６１】かくして記録再生装置１では、従来のよう
にシーンチェンジ直後のフィールド画像に対する帯域制
限の度合いを強くして当該フィールド画像の情報量を削
減することがないことから、適応型プリフィルタ３５か
ら得られるノイズ低減画像データＤ３１を圧縮符号化及
び伸長復号化しても、シーンチェンジ直後の画質が劣化
することがない。

【００６２】また、画像データＤ３とフィールド遅延画
像データＤ５との間の相関関係を解析した解析結果でな
る動き補償残差データＤ８に対して時間軸方向の平滑化
処理を施したフィールド遅延符号化難易度データＤ２５
を適応型プリフィルタ３５に供給することにより、当該
フィールド遅延符号化難易度データＤ２５によって制御
される適応型プリフィルタ３５の周波数特性の時間的変
化が平滑化され、適応型プリフィルタ３５から得られる
ノイズ低減画像データＤ３１を圧縮符号化及び伸長復号
化する際にフリッカが発生することが回避される。

【００６３】以上の構成によれば、１フィールド前のフ
ィールド画像との相関関係が低いフィールド画像に対し
ては帯域制限の度合いを強くするのに対して、相関関係
が高いフィールド画像に対しては帯域制限の度合いを弱
くするが、シーンチェンジが発生して１フィールド前の
フィールド画像との相関関係が全くないフィールド画像
に対しては強制的に帯域制限の度合いを弱くすることに
より、シーンチェンジ後に存在するフィールド画像の情
報量を削減する割合を小さくすることができ、かくして
当該シーンチェンジ後に存在するフィールド画像を圧縮
符号化及び伸長復号化処理しても当該フィールド画像の
画質が劣化することを回避し得る。

【００６４】なお上述の実施の形態においては、フィー
ルドメモリ７を用いてシーンチェンジ検出回路５、動き
補償フィールド巡回型ノイズ低減回路６、符号化難易度
算出回路１６及び適応型プリフィルタ３５それぞれに供
給するデータの読出しタイミングを制御する場合につい
て述べたが、本発明はこれに限らず、フレームメモリを
用いて各回路に供給するデータの読出しタイミングを制
御するようにしても良い。

【００６５】この場合のフレームメモリにおける各デー
タの書込み及び読出しタイミングを図１１（Ａ）〜
（Ｆ）に示す。図１１（Ａ）はノイズ低減画像データＤ
１２がフレームメモリに書き込まれるタイミングを示
し、図１１（Ｂ）は符号化難易度データＤ２７がフレー
ムメモリに書き込まれるタイミングを示し、図１１
（Ｃ）はシーンチェンジデータＤ２６がフレームメモリ
に書き込まれるタイミングを示す。図１１（Ｄ）はフレ
ーム遅延ノイズ低減画像データをフレームメモリから読
み出すタイミングを示し、図１１（Ｅ）はフレーム遅延
符号化難易度データをフレームメモリから読み出すタイ
ミングを示し、図１１（Ｆ）はシーンチェンジデータＤ
２６をフレームメモリから読み出すタイミングを示す。

【００６６】すなわち図１１（Ａ）に示すように、ノイ
ズ低減画像データＤ１２のうちフィールドＦ１及びＦ２
間すなわちタイミングｔ２でシーンチェンジが発生する
と、図１１（Ｂ）に示すように、ノイズ低減画像データ
Ｄ１２のフィールドＦ２に相当する符号化難易度データ
Ｄ２７の値が大きくなり、また図１１（Ｃ）に示すよう
に、タイミングｔ３で論理レベル１のシーンチェンジデ
ータＤ２６が得られる。この場合、シーンチェンジの有
無は、隣接するフィールドＦ間の相関関係を基に判断さ
れるため、シーンチェンジの検出タイミングは当該シー
ンチェンジが発生したタイミングから１フィールド遅れ
ることになる。

【００６７】そこでノイズ低減画像データＤ１２及び符
号化難易度データＤ２７は、図１１（Ｄ）及び（Ｅ）に
示すように、書込みタイミングから１フレーム遅延した
タイミングでフレームメモリから読み出されるため、シ
ーンチェンジデータＤ２６は、図１１（Ｆ）に示すよう
に、書込みタイミングから１フィールド遅延させてフレ
ームメモリから読み出されることになる。

【００６８】また上述の実施の形態においては、動き補
償回路１４及びシーンチェンジ検出回路５を用いて時間
軸方向に異なるフィールド間の相関関係を解析した場合
について述べたが、本発明はこれに限らず、要は、時間
軸方向に連続する複数の静止画像によって形成される動
画像でなる画像データのうち異なる静止画像との間の相
関関係を解析すれば良い。

【００６９】また上述の実施の形態においては、適応型
プリフィルタ３５においてシーンチェンジ直後のフィー
ルド画像に対してはフィルタ係数αに強制的に０を設定
して当該フィールド画像の情報量の削減を行わない場合
について述べたが、本発明はこれに限らず、フィルタ係
数αに０に近い値を設定してフィールド画像の情報量を
僅かに削減するようにしても良い。

【００７０】さらに上述の実施の形態においては、本発
明を記録再生装置１に適用した場合について述べたが、
本発明はこれに限らず、画像データを圧縮符号化する前
に当該画像データに対して適応的にフィルタリング処理
を施す画像データ処理装置に本発明を広く適用し得る。

【００７１】

【発明の効果】上述のように本発明によれば、時間軸方
向に異なる静止画像間の相関関係を解析し、当該解析し
た相関関係を基に場面の切り換わりを示すシーンチェン
ジを検出した場合には、シーンチェンジ後の静止画像に
施す帯域制限の度合いを強制的に弱くすることにより、
シーンチェンジ後に存在する静止画像の情報量を削減す
る割合を小さくすることができ、かくして当該シーンチ
ェンジ後に存在する静止画像を圧縮符号化しても当該静
止画像の画質が劣化することを回避し得、従来に比して
一段と画質を向上し得る。

【図面の簡単な説明】

【図１】本発明による画像データ処理装置の一実施の形
態を示すブロック図である。

【図２】ノイズ低減回路の構成を示すブロック図であ
る。

【図３】動き補償フィールド巡回型ノイズ低減回路の構
成を示すブロック図である。

【図４】Ｖフィルタによる位相補償の説明に供する略線
図である。

【図５】符号化難易度算出回路の構成を示すブロック図
である。

【図６】水平及び垂直方向のフィルタリング処理の説明
に供する略線図である。

【図７】多重化処理の説明に供する略線図である。

【図８】フィールドメモリに対する各データの書込み及
び読出しタイミングの説明に供する略線図である。

【図９】伝達関数Ｇによるフィルタリング処理の説明に
供する略線図である。

【図１０】伝達関数Ｈによるフィルタリング処理の説明
に供する略線図である。

【図１１】フレームメモリに対する各データの書込み及
び読出しタイミングの説明に供する略線図である。

【符号の説明】

１……記録再生装置、４……ノイズ低減回路、５……シ
ーンチェンジ検出回路、６……動き補償フィールド巡回
型ノイズ低減回路、７……フィールドメモリ、１４……
動き補償回路、１６……符号化難易度算出回路、３５…
…適応型プリフィルタ、３６……ＭＰＥＧエンコーダ、
４１……光ディスク。

【手続補正書】

【提出日】平成１１年１０月１４日（１９９９．１０．
１４）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００２７

【補正方法】変更

【補正内容】

【００２７】セレクタ回路２６は、パラレルシリアル変
換回路２５から供給される動き補償残差多重化データＤ
１９とメモリ２７から読み出された動き補償残差多重化
データＤ２０とを切り換え、当該切り換えたいずれか一
方のデータを動き補償残差多重化データＤ２１としてメ
モリ２７に送出して記憶する。メモリ２７は、書き込ん
だ動き補償残差多重化データＤ２１を所定のタイミング
で読み出し、これを動き補償残差多重化データＤ２０と
してセレクタ回路２６及びシリアルパラレル変換回路２
４に送出する。シリアルパラレル変換回路２４は、１ビ
ットの動き補償残差多重化データＤ２１をシリアルパラ
レル変換し、その結果得た４ビットの動き補償残差多重
化データＤ１６をＶブロックフィルタ回路２２及びテン
ポラルフィルタ回路３０に送出する。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００４８

【補正方法】変更

【補正内容】

【００４８】このように適応型プリフィルタ３５は、図
１０に示すように、時間的な相関関係が低い領域に対し
ては、フィルタ係数αに１に近い値を設定して当該フィ
ールドの高周波成分の情報量を削減するのに対して、時
間的な相関関係が高い領域に対しては、フィルタ係数α
に０に近い値を設定して当該フィールドの情報量の削減
を行わないようにすることにより、フィールド遅延ノイ
ズ低減画像データＤ３０に対して適応的にフィルタリン
グ処理を施し、後段のＭＰＥＧエンコーダ３６によって
得られる圧縮画像データＤ３６の情報量をほぼ一定に保
っている。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００４９

【補正方法】変更

【補正内容】

【００４９】これにより適応型プリフィルタ３５は、フ
ィールド間の時間的な相関関係が低いため圧縮画像デー
タＤ３６の情報量が増大することが予測される場合に
は、人間の視覚にとって画質の劣化が目立たない高周波
成分の情報量を削減した上でフィールド遅延ノイズ低減
画像データＤ３０の圧縮符号化処理を行うことにより、
圧縮画像データＤ３６の情報量をほぼ一定にしている。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００５０

【補正方法】変更

【補正内容】

【００５０】その際、適応型プリフィルタ３５は、シー
ンチェンジが発生したフィールドすなわち直前のフィー
ルドと時間的な相関関係が全くないフィールドに対して
は、フィルタ係数αに強制的に０を設定して当該フィー
ルドの情報量の削減を行わないようにする。これにより
記録再生装置１では、適応型プリフィルタ３５によって
得られたノイズ低減画像データＤ３１を圧縮符号化及び
伸長復号化する際、シーンチェンジ直後の画像データが
劣化することがない。ブロック歪みやモスキートノイズ
は、シーンチェンジ直後の画像にＩピクチャを割り当て
ることにより低減される。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 伊木 信弥 東京都品川区北品川６丁目７番35号ソニー 株式会社内 Ｆターム(参考） 5C053 FA07 FA25 GA11 GB15 GB22 GB28 KA00 KA08 KA11 5C059 KK22 MA22 MA23 MC11 PP01 RF05 SS13 TA69 TB05 TC14 TD16 UA02 UA11 UA17 UA21 5J064 AA01 BC02 BC06 BC07 BC11 BC18 BC19 BC21 BC25 BC27 BD03

Claims (4)

【特許請求の範囲】
1. 【請求項１】時間軸方向に連続する複数の静止画像から
   形成された動画像でなる画像データを処理する画像デー
   タ処理装置において、 時間軸方向に異なる上記静止画像間の相関関係を示す相
   関度を算出する相関度算出手段と、 時間軸方向に異なる上記静止画像との間の上記相関度が
   低い上記静止画像に対しては帯域制限の度合いを強くす
   るのに対して、上記相関度が高い上記静止画像に対して
   は上記帯域制限の度合いを弱くして、上記画像データを
   上記静止画像毎に適応的に帯域制限するフィルタと時間
   軸方向に異なる上記静止画像間の相関関係を解析し、当
   該解析した相関関係を基に場面の切り換わりを示すシー
   ンチェンジを検出した場合には、上記シーンチェンジ後
   の上記静止画像に施す上記帯域制限の度合いを強制的に
   弱くするフィルタ制御手段と上記フィルタによって帯域
   制限が施された上記画像データを圧縮符号化する圧縮符
   号化手段とを具えることを特徴とする画像データ処理装
   置。
2. 【請求項２】上記相関度算出手段によって算出された上
   記相関度に対して時間軸方向の平滑化処理を施した後に
   上記フィルタに供給する相関度平滑化手段を具えること
   を特徴とする請求項１に記載の画像データ処理装置。
3. 【請求項３】時間軸方向に連続する複数の静止画像から
   形成された動画像でなる画像データを処理する画像デー
   タ処理方法において、 時間軸方向に異なる上記静止画像間の相関関係を示す相
   関度を算出し、 時間軸方向に異なる上記静止画像との間の上記相関度が
   低い上記静止画像に対しては帯域制限の度合いを強くす
   るのに対して、上記相関度が高い上記静止画像に対して
   は上記帯域制限の度合いを弱くして、上記画像データを
   上記静止画像毎に適応的に帯域制限し、 時間軸方向に異なる上記静止画像間の相関関係を解析
   し、当該解析した相関関係を基に場面の切り換わりを示
   すシーンチェンジを検出した場合には、上記シーンチェ
   ンジ後の上記静止画像に施す上記帯域制限の度合いを強
   制的に弱くし、 上記フィルタによって帯域制限が施された上記画像デー
   タを圧縮符号化することを特徴とする画像データ処理方
   法。
4. 【請求項４】上記相関度に対して時間軸方向の平滑化処
   理を施すことを特徴とする請求項３に記載の画像データ
   処理方法。