JP2001069507A - 画像データ処理装置及びその方法 - Google Patents
画像データ処理装置及びその方法Info
- Publication number
- JP2001069507A JP2001069507A JP24647599A JP24647599A JP2001069507A JP 2001069507 A JP2001069507 A JP 2001069507A JP 24647599 A JP24647599 A JP 24647599A JP 24647599 A JP24647599 A JP 24647599A JP 2001069507 A JP2001069507 A JP 2001069507A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- correlation
- data
- scene change
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
比して一段と画質を向上することを提案する。 【解決手段】時間軸方向に異なる静止画像間の相関関係
を解析し、当該解析した相関関係を基に場面の切り換わ
りを示すシーンチェンジを検出した場合には、シーンチ
ェンジ後に存在する静止画像に施す帯域制限の度合いを
強制的に弱くすることにより、シーンチェンジ後に存在
する静止画像の情報量を削減する割合を小さくすること
ができ、かくして当該シーンチェンジ後に存在する静止
画像を圧縮符号化しても当該静止画像の画質が劣化する
ことを回避し得、従来に比して一段と画質を向上し得
る。
Description
及びその方法に関し、例えば入力される画像データを圧
縮符号化して光ディスクに記録する記録再生装置に適用
して好適なものである。
として、MPEG(Moving Picture Experts Group)規
格に基づく符号化方式がある。このMPEG規格に基づ
く符号化方式は、同一フレーム内における空間的な相関
関係や異なるフレーム間における時間的な相関関係を利
用して画像データの情報量を削減するようになされてい
る。
方式を採用した記録再生装置は、入力される画像データ
をMPEG規格に基づいて圧縮符号化して圧縮画像デー
タを生成し、これを光ディスクに記録する。そして記録
再生装置は、再生時、光ディスクから圧縮画像データを
再生してこれを伸長復号化することにより元の画像デー
タを復元する。このように記録再生装置は、MPEG規
格に基づく符号化方式を用いて、膨大な情報量の画像デ
ータを効率的に光ディスクに記録するようになされてい
る。
記録再生装置においては、画像データを圧縮符号化する
前に当該画像データに対して適応的にフィルタリング処
理を施すことにより、圧縮画像データの情報量を一定に
保つことが考えられている。すなわち記録再生装置は、
画像データを構成する各フレームのうち時間的な相関関
係が低いフレームについては、当該フレームの高周波成
分の情報量を削減した上で圧縮符号化するのに対して、
当該時間的な相関関係が高いフレームについては、当該
フレームの情報量を削減せずに圧縮符号化する。
時間的な相関関係が低いため圧縮画像データの情報量が
増大することが予測される場合には、人間の視覚にとっ
て画質の劣化が目立たない高周波成分の情報量を削減し
た上で画像データの圧縮符号化処理を行うことにより、
圧縮画像データの情報量を一定にしている。
ーンが突然変わる場合があり、この場合のシーンチェン
ジ前後に存在するフレーム間の時間的な相関関係は全く
ない。上述の記録再生装置は、シーンチェンジが画像デ
ータに含まれていると、同一シーンにおけるフレーム間
の相関関係が低い場合のときと同様に、シーンチェンジ
前後に存在するフレーム間の相関関係が全くないにもか
かわらず、当該各フレームの高周波成分の情報量を削減
して圧縮符号化してしまうことから、圧縮画像データを
伸長復号化して元の画像データを復元する際、シーンチ
ェンジ直後の画像データの画質が劣化する不都合があっ
た。
で、従来に比して一段と画像データの画質を向上し得る
画像データ処理装置及びその方法を提案しようとするも
のである。
め本発明においては、画像データを静止画像毎に適応的
に帯域制限し、時間軸方向に異なる静止画像間の相関関
係を解析し、当該解析した相関関係を基に場面の切り換
わりを示すシーンチェンジを検出した場合には、シーン
チェンジ後の静止画像に施す帯域制限の度合いを強制的
に弱くすることにより、シーンチェンジ後に存在する静
止画像の情報量を削減する割合を小さくすることができ
る。
施の形態を詳述する。
置を示し、外部から供給されるNTSC(National Tel
evision System Commmittee )方式の画像信号S1をア
ナログ/ディジタル(A/D)変換回路2に入力し、当
該A/D変換回路2においてアナログディジタル変換を
施すことにより得られた画像データD2をNTSCデコ
ーダ3に送出する。NTSCデコーダ3は、このNTS
C方式の画像データD2を輝度信号及び色信号に分離
し、当該分離された輝度信号及び色信号でなる画像デー
タD3をノイズ低減回路4及びシーンチェンジ検出回路
5に送出する。
NTSCデコーダ3から供給される画像データD3を動
き補償フィールド巡回型ノイズ低減回路6及びフィール
ドメモリ7に入力する。さらに動き補償フィールド巡回
型ノイズ低減回路6は、図3に示すように、この画像デ
ータD3を減算器10及びVフィルタ11に入力する。
また動き補償フィールド巡回型ノイズ低減回路6は、ノ
イズ低減回路4(図2)のフィールドメモリ7から画像
データD3を1フィールド遅延させたフィールド遅延画
像データD5が供給されると、これをVフィルタ13に
入力する。
し)走査方式の画像データD3に対して垂直方向におけ
るフィールド遅延画像データD5との間の位相補償を施
し、その結果得た画像データD6を動き補償回路14に
送出する。同様にしてVフィルタ13は、インタレース
(飛び越し)走査方式のフィールド遅延画像データD5
に対して垂直方向における画像データD3との間の位相
補償を施し、その結果得たフィールド遅延画像データD
7を動き補償回路14に送出する。
1は、画像データD3の偶数フィールドにおいて、水平
方向の位相が同一であってかつ隣接する偶数ライン上に
存在する2つの画素の画素値を基に、当該各画素を垂直
方向に対して所定の比(例えば3:1)で分割した位相
の画素の画素値を算出する。これと共にVフィルタ13
は、フィールド遅延画像データD5の奇数フィールドに
おいて、水平方向の位相が同一であってかつ隣接する奇
数ライン上に存在する2つの画素の画素値を基に、当該
各画素を垂直方向に対して所定の比(例えば1:3)で
分割した位相の画素の画素値を算出する。これにより画
像データD3及びフィールド遅延画像データD5の垂直
方向の位相が一致し、位相補償が行われる。
は、まず画像データD6を所定の大きさのブロックに分
割する。そして動き補償回路14は、これら各ブロック
の中から1つの参照ブロックを抽出し、フィールド遅延
画像データD7の所定のサーチエリア内に存在する候補
ブロックの中から当該参照ブロックに最も類似する類似
候補ブロックを探索し、当該探索された類似候補ブロッ
クとの差分すなわちノイズを算出する。そして動き補償
回路14は、画像データD6内の全てのブロックについ
て類似候補ブロックとの差分を算出し、これを動き補償
残差データD8としてアダマール変換回路15及び符号
化難易度算出回路16(図2)に送出する。
14から送出される動き補償残差データD8を例えば8
つの水平周波数成分に分離し、当該各水平周波数成分の
動き補償残差データD9を非線形回路16に送出する。
非線形回路16は、非線形のリミッタ回路でなり、各水
平周波数成分の動き補償残差データD9に適用される各
リミッタ値を、当該各水平周波数の周波数帯域に応じて
適応的に変化させ、各動き補償残差データD9の上限値
をそれぞれ制限することにより、各水平周波数成分のノ
イズデータD10を生成して逆アダマール変換回路17
に送出する。すなわち、水平周波数成分が低域の動き補
償残差データD9は、ノイズとして目立つためリミッタ
値を高く設定するのに対して、水平周波数成分が高域の
動き補償残差データD9は、ノイズとして目立たないた
めリミッタ値を低く設定する。
数成分のノイズデータD10を時間軸のノイズデータD
11に変換し、これを減算器10に送出する。減算器1
0は、NTSCデコーダ3(図1)から供給される画像
データD3からノイズデータD11を減算することによ
り、異なるフィールド間において時間的な相関関係がな
いノイズが低減されたノイズ低減画像データD12を生
成し、これをマルチプレクサ回路20(図2)に送出す
る。
ズ低減回路6は、画像データD3のノイズを予め低減す
ることにより、圧縮符号化処理や伸長復号化処理を実行
する際に生じる、各ブロックの境界が不連続となるブロ
ック歪みやエッジ周辺に現れるリンキング状のモスキー
トノイズを低減するようになされている。
ように、動き補償フィールド巡回型ノイズ低減回路6
(図2)から供給される動き補償残差データD8をHブ
ロックフィルタ回路21に入力する。Hブロックフィル
タ回路21は、図6(A)に示すように、動き補償残差
データD8を構成する各ブロックデータdmc〔m、
n〕それぞれに対して、次式
るフィルタリング処理を施すことにより、水平方向の平
滑化が行われたブロックデータdmc_hfil〔m、
n〕からなる動き補償残差データD15をVブロックフ
ィルタ回路22及びマルチプレクサ回路23に送出す
る。ここでmは各ブロックの水平方向のアドレスを示
し、nは垂直方向のアドレスを示す。
(B)に示すように、Hブロックフィルタ回路21から
供給される動き補償残差データD15の各ブロックデー
タdmc_hfil〔m、n〕それぞれに対して、シリ
アル/パラレル変換回路24から供給される動き補償残
差多重化データD16に含まれるブロックデータdmc
_hfil〔m、n−1〕を用いて、次式
るフィルタリング処理を施すことにより、次式
行われたブロックデータdmc_hvfil〔m、n〕
からなる動き補償残差データD17を生成し、これをマ
ルチプレクサ回路23に送出する。従って動き補償残差
データD17は、図6(C)に示すように、動き補償残
差データD8を構成する各ブロックデータdmc〔m、
n〕に対して空間的な平滑化を行うことによって生成さ
れたデータである。
うに、水平方向の平滑化が行われた動き補償残差データ
D15と水平及び垂直方向の平滑化が行われた動き補償
残差データD17をブロック毎に多重化し、その結果得
た動き補償残差多重化データD18をパラレルシリアル
変換回路25に送出する。パラレルシリアル変換回路2
5は、4ビットの動き補償残差多重化データD18をパ
ラレルシリアル変換し、その結果得た1ビットの動き補
償残差多重化データD19をセレクタ回路26に送出す
る。
換回路25から供給される動き補償残差多重化データD
19とメモリ27から読み出された動き補償残差多重化
データD20とを適応的に切り換え、当該切り換えたい
ずれか一方のデータを動き補償残差多重化データD21
としてメモリ27に送出して記憶する。メモリ27は、
書き込んだ動き補償残差多重化データD21を所定のタ
イミングで読み出し、これを動き補償残差多重化データ
D20としてセレクタ回路26及びシリアルパラレル変
換回路24に送出する。シリアルパラレル変換回路24
は、1ビットの動き補償残差多重化データD21をシリ
アルパラレル変換し、その結果得た4ビットの動き補償
残差多重化データD16をVブロックフィルタ回路22
及びテンポラルフィルタ回路30に送出する。
ルタ回路30は、シリアルパラレル変換回路24から供
給される動き補償残差多重化データD16のうち水平及
び垂直方向の平滑化が行われた動き補償残差データをd
fc_inとすると共に、フィールドメモリ7(図2)
から供給される、当該動き補償残差データdfc_in
を1フィールド遅延させた動き補償残差データでなるフ
ィールド遅延符号化難易度データD25を動き補償残差
データdfc_fdとして、時間軸方向のフィルタリン
グ処理を施すことにより、符号化難易度算出回路16に
入力された動き補償残差データD8に対して水平及び垂
直並びに時間軸方向の平滑化を施し、これを符号化難易
度データと定義している。
は、水平及び垂直方向の平滑化が行われた動き補償残差
データdfc_in及び当該動き補償残差データdfc
_inを1フィールド遅延させた動き補償残差データd
fc_fdとを基に、次式
処理を施すことにより符号化難易度データtfilを生
成する。
タdfc_inと動き補償残差データdfc_fdとの
差分データを示し、adif_fdは差分データdif
_fdの絶対値を示す。s_dif_fdは差分データ
dif_fdの符号ビットを示し、当該符号ビットs_
dif_fdが0のときは差分データdif_fdが正
であることを示し、符号ビットs_dif_fdが1の
ときは差分データdif_fdが負であることを示す。
c_tmp_fil_h、c_tmp_fil_lは定
数を示す。
水平及び垂直方向の平滑化が行われた動き補償残差デー
タdfc_inと当該動き補償残差データdfc_in
を1フィールド遅延させた動き補償残差データdfc_
fdとの差分データdif_fdが所定の範囲内に存在
する場合には動き補償残差データdfc_in及びdf
c_fdの平均値を符号化難易度データtfilとする
一方、所定の範囲外に存在する場合には動き補償残差デ
ータdfc_fdに対して所定の定数を加算又は減算し
た結果を符号化難易度データtfilとする。
2)は、シーンチェンジ検出回路5(図1)から例えば
映画やドラマなどでなる画像データD3中にシーンチェ
ンジがあったか否かを示すシーンチェンジデータD26
が供給されており、当該供給されたシーンチェンジデー
タD26をテンポラルフィルタ回路30に入力するよう
になされている。この場合、シーンチェンジ検出回路5
は、シーンチェンジを検出したときはシーンチェンジデ
ータD26として1を出力し、それ以外は0を出力す
る。
述の符号化難易度データtfilを符号化難易度データ
D27としてシフトレジスタ31に送出する際、当該符
号化難易度データD27の垂直帰線消去期間にシーンチ
ェンジデータD26を時分割でシフトレジスタ31に送
出する。シフトレジスタ31は、シーンチェンジデータ
D26及び符号化難易度データD27を一旦保持し、所
定のタイミングでノイズ低減回路4のマルチプレクサ回
路20に送出する。
ールド巡回型ノイズ低減回路6から供給されるノイズ低
減画像データD12を出力する際、当該ノイズ低減画像
データD12の水平帰線消去期間を利用してシーンチェ
ンジデータD26及び符号化難易度データD27を出力
することによりノイズ低減画像データD12、シーンチ
ェンジデータD26及び符号化難易度データD27を多
重化し、当該多重化されたノイズ低減画像データD1
2、シーンチェンジデータD26及び符号化難易度デー
タD27をフィールドメモリ7に送出して書き込む。
3から供給された画像データD3を1フィールド遅延さ
せ、そのフィールド遅延画像データD5を動き補償フィ
ールド巡回型ノイズ低減回路6及びシーンチェンジ検出
回路5に送出し、符号化難易度データD27を1フィー
ルド遅延させ、そのフィールド遅延符号化難易度データ
D25を符号化難易度算出回路16に送出し、当該フィ
ールド遅延符号化難易度データD25及びシーンチェン
ジデータD26を適応型プリフィルタ35(図1)に送
出し、ノイズ低減画像データD12を1フィールド遅延
させ、そのフィールド遅延ノイズ低減画像データD30
を適応型プリフィルタ35に送出する。
データの書込み及び読出しタイミングを図8(A)〜
(F)に示す。図8(A)はノイズ低減画像データD1
2がフィールドメモリ7に書き込まれるタイミングを示
し、図8(B)は符号化難易度データD27がフィール
ドメモリ7に書き込まれるタイミングを示し、図8
(C)はシーンチェンジデータD26がフィールドメモ
リ7に書き込まれるタイミングを示す。図8(D)はフ
ィールド遅延ノイズ低減画像データD30をフィールド
メモリ7から読み出すタイミングを示し、図8(E)は
フィールド遅延符号化難易度データD25をフィールド
メモリ7から読み出すタイミングを示し、図8(F)は
シーンチェンジデータD26をフィールドメモリ7から
読み出すタイミングを示す。
低減画像データD12のうちフィールドF1及びF2間
すなわちタイミングt2でシーンチェンジが発生する
と、図8(B)に示すように、ノイズ低減画像データD
12のフィールドF2に相当する符号化難易度データD
27の値が大きくなり、また図8(C)に示すように、
タイミングt3で論理レベル1のシーンチェンジデータ
D26が得られる。この場合、シーンチェンジの有無
は、隣接するフィールドF間の相関関係を基に判断され
るため、シーンチェンジの検出タイミングは当該シーン
チェンジが発生したタイミングから1フィールド遅れる
ことになる。
号化難易度データD27は、図8(D)及び(E)に示
すように、書込みタイミングから1フィールド遅延した
タイミングでフィールドメモリ7から読み出されるのに
対して、シーンチェンジデータD26は、図8(F)に
示すように、書込みタイミングから遅延することなくフ
ィールドメモリ7から読み出される。
チェンジ検出回路5は、NTSCデコーダ3から供給さ
れる例えば映画やドラマなどでなる画像データD3から
場面の切り換わりを示すシーンチェンジを検出するため
のものであり、画像データD3と当該画像データD3を
1フィールド遅延させたフィールド遅延画像データD5
との相関関係を解析する。
像データD3とフィールド遅延画像データD5との間で
対応する各画素の画素値の差分を算出し、その算出した
差分値の絶対値を合計することにより、画像データD3
とフィールド遅延画像データD5との相関関係を示す相
関値を求める。この相関値は、フィールド間の相関関係
が高いと小さくなり、フィールド間の相関関係が低いと
大きくなる。
値が所定の閾値よりも大きいか否かを判断する。その結
果、肯定結果が得られると、このことは画像データD3
及びフィールド遅延画像データD5間に相関関係が全く
ない場合すなわちシーンチェンジが発生したことを表し
ており、このときシーンチェンジ検出回路5は、論理レ
ベル1でなるシーンチェンジデータD26をノイズ低減
回路4を介して適応型プリフィルタ35に送出する。こ
れに対して、否定結果が得られると、画像データD3及
びフィールド遅延画像データD5間に相関関係が存在す
る場合すなわちシーンチェンジが発生していないことを
表しており、このときシーンチェンジ検出回路5は、論
理レベル0でなるシーンチェンジデータD26をノイズ
低減回路4を介して適応型プリフィルタ35に送出す
る。
延符号化難易度データD25及びシーンチェンジデータ
D26に基づいてフィールド遅延ノイズ低減画像データ
D30に対して、次式
フィルタリング処理を施すことにより、フィールド遅延
ノイズ低減画像データD30を構成する各フィールドの
時間的な相関関係に応じて当該フィールド遅延ノイズ低
減画像データD30の情報量を削減し、その結果得たノ
イズ低減画像データD31をMPEGエンコーダ36に
送出する。なお伝達関数Gは、図9に示すように、注目
する画素の画素値に対して当該画素の周囲に存在する画
素の画素値に所定の係数を乗算したものを加算すること
により重み付け演算を行うようになされている。
符号化難易度データD25及びシーンチェンジデータD
26の値に応じて0〜1の範囲内で決定される値であ
る。すなわちフィルタ係数αは、フィールド遅延符号化
難易度データD25の値が所定レベル以上であってかつ
シーンチェンジデータD26の値が0の場合には1が設
定され、フィールド遅延符号化難易度データD25の値
が所定レベル以下であってかつシーンチェンジデータD
26の値が0の場合には0が設定されるが、シーンチェ
ンジデータD26の値が1の場合にはフィールド遅延符
号化難易度データD25の値にかかわらず強制的に0が
設定される。
10に示すように、時間的な相関関係が低いフィールド
に対しては、フィルタ係数αに1を設定して当該フィー
ルドの高周波成分の情報量を削減するのに対して、時間
的な相関関係が高いフィールドに対しては、フィルタ係
数αに0を設定して当該フィールドの情報量の削減を行
わないようにすることにより、フィールド遅延ノイズ低
減画像データD30に対して適応的にフィルタリング処
理を施し、後段のMPEGエンコーダ36によって得ら
れる圧縮画像データD36の情報量を一定に保ってい
る。
ィールド間の時間的な相関関係が低いため圧縮画像デー
タD36の情報量が増大することが予測される場合に
は、人間の視覚にとって画質の劣化が目立たない高周波
成分の情報量を削減した上でフィールド遅延ノイズ低減
画像データD30の圧縮符号化処理を行うことにより、
圧縮画像データD36の情報量を一定にしている。
ンチェンジが発生したフィールドすなわち直前のフィー
ルドと時間的な相関関係が全くないフィールドに対して
は、フィルタ係数αに強制的に0を設定して当該フィー
ルドの情報量の削減を行わないようにする。これにより
記録再生装置1では、適応型プリフィルタ35によって
得られたノイズ低減画像データD31を圧縮符号化及び
伸長復号化する際、シーンチェンジ直後の画像データが
劣化することがないと共にブロック歪みやモスキートノ
イズが低減される。
25は、符号化難易度算出回路16のテンポラルフィル
タ回路30において時間方向のフィルタリング処理が施
されていることから、適応型プリフィルタ35の周波数
特性の時間的な変化によってノイズ低減画像データD3
1にフリッカが発生することが回避されると共にブロッ
ク歪みやモスキートノイズが低減される。
rete Cosine Tranform:離散コサイン変換)符号化方式
に基づいてノイズ低減画像データD31を圧縮符号化す
ることにより、画像データに例えば量子化スケール等の
符号化情報が付加されてなる圧縮画像データD32をE
CC(Error Correcting Circuit)エンコーダ37に送
出する。
D32に対して誤り訂正符号を付加し、その結果得た圧
縮画像データD33を8−14変調回路38に送出す
る。8−14変調回路38は、所定の8−14変調方式
に基づいて圧縮画像データD33に対して変調処理を施
し、その結果得た圧縮画像データD34をRFアンプ3
9に送出する。RFアンプ39は、圧縮画像データD3
4を所定レベルに増幅し、その結果得た圧縮画像データ
D35を光ピックアップ40を介して光ディスク41に
記録する。
光ディスク41から光ピックアップ40を介して圧縮画
像データD40を再生し、これをRFアンプ45に送出
する。RFアンプ45は、圧縮画像データD40を所定
のレベルに増幅し、その結果得た圧縮画像データD41
を8−14復調回路46に送出する。8−14復調回路
46は、所定の8−14復調方式に基づいて圧縮画像デ
ータD41を復調し、その結果得た圧縮画像データD4
2をECCデコーダ47に送出する。
37において付加された誤り訂正符号を用いて誤り訂正
を行い、その結果得た圧縮画像データD43をMPEG
デコーダ48に送出する。MPEGデコーダ48は、圧
縮画像データD43を伸長復号化することにより元の画
像データD44を復元し、これをノイズ低減回路49に
送出する。その際、MPEGデコーダ48は、量子化ス
ケールなどの符号化情報データD45を抽出し、当該符
号化情報データD45もノイズ低減回路49に送出す
る。
D45を用いて画像データD44に対してフィルタリン
グ処理を施すことにより当該画像データD44に生じた
ブロック歪みやモスキートノイズを低減し、その結果得
た画像データD46を画質補正回路50に送出する。画
質補正回路50は、画像データD46に対して例えば輪
郭補正などの画質補正処理を施し、その結果得た画像デ
ータD47をNTSCエンコーダ51に送出する。NT
SCエンコーダ51は、画像データD47をNTSC方
式の画像データD48に変換し、これをディジタルアナ
ログ(D/A)変換回路52に送出する。D/A変換回
路52は、NTSC方式の画像データD48をディジタ
ルアナログ変換し、その結果得た画像信号S49を外部
に出力する。
の低減を行うか否かを選択するためのスイッチや、画質
補正を制御するためのスイッチが設けられ、ユーザの入
力操作に応じた入力データD55を生成し、これを制御
回路56に送出する。制御回路56は、操作入力部55
から供給される入力データD55を基に制御データD5
6を生成し、これをノイズ低減回路49及び画質補正回
路50に送出し当該ノイズ低減回路49及び画質補正回
路50の動作を制御する。
回路5は、NTSCデコーダ3から供給される画像デー
タD3と当該画像データD3を1フィールド遅延させた
フィールド遅延画像データD5との間の相関関係を解析
することにより当該画像データD3に含まれるシーンチ
ェンジを検出し、当該シーンチェンジの有無を示すシー
ンチェンジデータD26を適応型プリフィルタ35に送
出する。
とフィールド遅延画像データD5との間の相関関係を解
析して動き補償残差データD8を生成した後、当該動き
補償残差データD8に対して水平及び垂直並びに時間軸
方向の平滑化処理を施すことによりフィールド遅延符号
化難易度データD25を生成し、これを適応型プリフィ
ルタ35に送出する。
ィールド遅延符号化難易度データD25及びシーンチェ
ンジデータD26に基づいて、ノイズ低減回路4から順
次供給されるフィールド遅延ノイズ低減画像データD3
0の各フィールド画像のうち、1フィールド前のフィー
ルド画像との間の相関関係が低いフィールド画像に対し
ては不要な周波数成分を除去する帯域制限の度合いを強
くするのに対して、相関関係が高いフィールド画像に対
しては帯域制限の度合いを弱くするが、シーンチェンジ
が発生し1フィールド前のフィールド画像との間の相関
関係が全くないフィールド画像に対しては強制的に帯域
制限の度合いを弱めることにより、フィールド遅延ノイ
ズ低減画像データD30を構成する各フィールド画像の
情報量を必要に応じて削減する。
にシーンチェンジ直後のフィールド画像に対する帯域制
限の度合いを強くして当該フィールド画像の情報量を削
減することがないことから、適応型プリフィルタ35か
ら得られるノイズ低減画像データD31を圧縮符号化及
び伸長復号化しても、シーンチェンジ直後の画質が劣化
することがない。
像データD5との間の相関関係を解析した解析結果でな
る動き補償残差データD8に対して時間軸方向の平滑化
処理を施したフィールド遅延符号化難易度データD25
を適応型プリフィルタ35に供給することにより、当該
フィールド遅延符号化難易度データD25によって制御
される適応型プリフィルタ35の周波数特性の時間的変
化が平滑化され、適応型プリフィルタ35から得られる
ノイズ低減画像データD31を圧縮符号化及び伸長復号
化する際にフリッカが発生することが回避される。
ィールド画像との相関関係が低いフィールド画像に対し
ては帯域制限の度合いを強くするのに対して、相関関係
が高いフィールド画像に対しては帯域制限の度合いを弱
くするが、シーンチェンジが発生して1フィールド前の
フィールド画像との相関関係が全くないフィールド画像
に対しては強制的に帯域制限の度合いを弱くすることに
より、シーンチェンジ後に存在するフィールド画像の情
報量を削減する割合を小さくすることができ、かくして
当該シーンチェンジ後に存在するフィールド画像を圧縮
符号化及び伸長復号化処理しても当該フィールド画像の
画質が劣化することを回避し得る。
ルドメモリ7を用いてシーンチェンジ検出回路5、動き
補償フィールド巡回型ノイズ低減回路6、符号化難易度
算出回路16及び適応型プリフィルタ35それぞれに供
給するデータの読出しタイミングを制御する場合につい
て述べたが、本発明はこれに限らず、フレームメモリを
用いて各回路に供給するデータの読出しタイミングを制
御するようにしても良い。
タの書込み及び読出しタイミングを図11(A)〜
(F)に示す。図11(A)はノイズ低減画像データD
12がフレームメモリに書き込まれるタイミングを示
し、図11(B)は符号化難易度データD27がフレー
ムメモリに書き込まれるタイミングを示し、図11
(C)はシーンチェンジデータD26がフレームメモリ
に書き込まれるタイミングを示す。図11(D)はフレ
ーム遅延ノイズ低減画像データをフレームメモリから読
み出すタイミングを示し、図11(E)はフレーム遅延
符号化難易度データをフレームメモリから読み出すタイ
ミングを示し、図11(F)はシーンチェンジデータD
26をフレームメモリから読み出すタイミングを示す。
ズ低減画像データD12のうちフィールドF1及びF2
間すなわちタイミングt2でシーンチェンジが発生する
と、図11(B)に示すように、ノイズ低減画像データ
D12のフィールドF2に相当する符号化難易度データ
D27の値が大きくなり、また図11(C)に示すよう
に、タイミングt3で論理レベル1のシーンチェンジデ
ータD26が得られる。この場合、シーンチェンジの有
無は、隣接するフィールドF間の相関関係を基に判断さ
れるため、シーンチェンジの検出タイミングは当該シー
ンチェンジが発生したタイミングから1フィールド遅れ
ることになる。
号化難易度データD27は、図11(D)及び(E)に
示すように、書込みタイミングから1フレーム遅延した
タイミングでフレームメモリから読み出されるため、シ
ーンチェンジデータD26は、図11(F)に示すよう
に、書込みタイミングから1フィールド遅延させてフレ
ームメモリから読み出されることになる。
償回路14及びシーンチェンジ検出回路5を用いて時間
軸方向に異なるフィールド間の相関関係を解析した場合
について述べたが、本発明はこれに限らず、要は、時間
軸方向に連続する複数の静止画像によって形成される動
画像でなる画像データのうち異なる静止画像との間の相
関関係を解析すれば良い。
プリフィルタ35においてシーンチェンジ直後のフィー
ルド画像に対してはフィルタ係数αに強制的に0を設定
して当該フィールド画像の情報量の削減を行わない場合
について述べたが、本発明はこれに限らず、フィルタ係
数αに0に近い値を設定してフィールド画像の情報量を
僅かに削減するようにしても良い。
明を記録再生装置1に適用した場合について述べたが、
本発明はこれに限らず、画像データを圧縮符号化する前
に当該画像データに対して適応的にフィルタリング処理
を施す画像データ処理装置に本発明を広く適用し得る。
向に異なる静止画像間の相関関係を解析し、当該解析し
た相関関係を基に場面の切り換わりを示すシーンチェン
ジを検出した場合には、シーンチェンジ後の静止画像に
施す帯域制限の度合いを強制的に弱くすることにより、
シーンチェンジ後に存在する静止画像の情報量を削減す
る割合を小さくすることができ、かくして当該シーンチ
ェンジ後に存在する静止画像を圧縮符号化しても当該静
止画像の画質が劣化することを回避し得、従来に比して
一段と画質を向上し得る。
態を示すブロック図である。
る。
成を示すブロック図である。
図である。
である。
に供する略線図である。
び読出しタイミングの説明に供する略線図である。
供する略線図である。
に供する略線図である。
び読出しタイミングの説明に供する略線図である。
ーンチェンジ検出回路、6……動き補償フィールド巡回
型ノイズ低減回路、7……フィールドメモリ、14……
動き補償回路、16……符号化難易度算出回路、35…
…適応型プリフィルタ、36……MPEGエンコーダ、
41……光ディスク。
14)
換回路25から供給される動き補償残差多重化データD
19とメモリ27から読み出された動き補償残差多重化
データD20とを切り換え、当該切り換えたいずれか一
方のデータを動き補償残差多重化データD21としてメ
モリ27に送出して記憶する。メモリ27は、書き込ん
だ動き補償残差多重化データD21を所定のタイミング
で読み出し、これを動き補償残差多重化データD20と
してセレクタ回路26及びシリアルパラレル変換回路2
4に送出する。シリアルパラレル変換回路24は、1ビ
ットの動き補償残差多重化データD21をシリアルパラ
レル変換し、その結果得た4ビットの動き補償残差多重
化データD16をVブロックフィルタ回路22及びテン
ポラルフィルタ回路30に送出する。
10に示すように、時間的な相関関係が低い領域に対し
ては、フィルタ係数αに1に近い値を設定して当該フィ
ールドの高周波成分の情報量を削減するのに対して、時
間的な相関関係が高い領域に対しては、フィルタ係数α
に0に近い値を設定して当該フィールドの情報量の削減
を行わないようにすることにより、フィールド遅延ノイ
ズ低減画像データD30に対して適応的にフィルタリン
グ処理を施し、後段のMPEGエンコーダ36によって
得られる圧縮画像データD36の情報量をほぼ一定に保
っている。
ィールド間の時間的な相関関係が低いため圧縮画像デー
タD36の情報量が増大することが予測される場合に
は、人間の視覚にとって画質の劣化が目立たない高周波
成分の情報量を削減した上でフィールド遅延ノイズ低減
画像データD30の圧縮符号化処理を行うことにより、
圧縮画像データD36の情報量をほぼ一定にしている。
ンチェンジが発生したフィールドすなわち直前のフィー
ルドと時間的な相関関係が全くないフィールドに対して
は、フィルタ係数αに強制的に0を設定して当該フィー
ルドの情報量の削減を行わないようにする。これにより
記録再生装置1では、適応型プリフィルタ35によって
得られたノイズ低減画像データD31を圧縮符号化及び
伸長復号化する際、シーンチェンジ直後の画像データが
劣化することがない。ブロック歪みやモスキートノイズ
は、シーンチェンジ直後の画像にIピクチャを割り当て
ることにより低減される。
Claims (4)
- 【請求項1】時間軸方向に連続する複数の静止画像から
形成された動画像でなる画像データを処理する画像デー
タ処理装置において、 時間軸方向に異なる上記静止画像間の相関関係を示す相
関度を算出する相関度算出手段と、 時間軸方向に異なる上記静止画像との間の上記相関度が
低い上記静止画像に対しては帯域制限の度合いを強くす
るのに対して、上記相関度が高い上記静止画像に対して
は上記帯域制限の度合いを弱くして、上記画像データを
上記静止画像毎に適応的に帯域制限するフィルタと時間
軸方向に異なる上記静止画像間の相関関係を解析し、当
該解析した相関関係を基に場面の切り換わりを示すシー
ンチェンジを検出した場合には、上記シーンチェンジ後
の上記静止画像に施す上記帯域制限の度合いを強制的に
弱くするフィルタ制御手段と上記フィルタによって帯域
制限が施された上記画像データを圧縮符号化する圧縮符
号化手段とを具えることを特徴とする画像データ処理装
置。 - 【請求項2】上記相関度算出手段によって算出された上
記相関度に対して時間軸方向の平滑化処理を施した後に
上記フィルタに供給する相関度平滑化手段を具えること
を特徴とする請求項1に記載の画像データ処理装置。 - 【請求項3】時間軸方向に連続する複数の静止画像から
形成された動画像でなる画像データを処理する画像デー
タ処理方法において、 時間軸方向に異なる上記静止画像間の相関関係を示す相
関度を算出し、 時間軸方向に異なる上記静止画像との間の上記相関度が
低い上記静止画像に対しては帯域制限の度合いを強くす
るのに対して、上記相関度が高い上記静止画像に対して
は上記帯域制限の度合いを弱くして、上記画像データを
上記静止画像毎に適応的に帯域制限し、 時間軸方向に異なる上記静止画像間の相関関係を解析
し、当該解析した相関関係を基に場面の切り換わりを示
すシーンチェンジを検出した場合には、上記シーンチェ
ンジ後の上記静止画像に施す上記帯域制限の度合いを強
制的に弱くし、 上記フィルタによって帯域制限が施された上記画像デー
タを圧縮符号化することを特徴とする画像データ処理方
法。 - 【請求項4】上記相関度に対して時間軸方向の平滑化処
理を施すことを特徴とする請求項3に記載の画像データ
処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24647599A JP2001069507A (ja) | 1999-08-31 | 1999-08-31 | 画像データ処理装置及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24647599A JP2001069507A (ja) | 1999-08-31 | 1999-08-31 | 画像データ処理装置及びその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001069507A true JP2001069507A (ja) | 2001-03-16 |
Family
ID=17148964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24647599A Pending JP2001069507A (ja) | 1999-08-31 | 1999-08-31 | 画像データ処理装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001069507A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6987521B2 (en) | 2001-11-08 | 2006-01-17 | Canon Kabushiki Kaisha | Control apparatus and method for image display |
JP2006310934A (ja) * | 2005-04-26 | 2006-11-09 | Nippon Hoso Kyokai <Nhk> | プリフィルタ |
-
1999
- 1999-08-31 JP JP24647599A patent/JP2001069507A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6987521B2 (en) | 2001-11-08 | 2006-01-17 | Canon Kabushiki Kaisha | Control apparatus and method for image display |
CN100442832C (zh) * | 2001-11-08 | 2008-12-10 | 佳能株式会社 | 图像显示控制装置及图像显示装置的控制方法 |
US7561171B2 (en) | 2001-11-08 | 2009-07-14 | Canon Kabushiki Kaisha | Control apparatus and method for image display |
US8179406B2 (en) | 2001-11-08 | 2012-05-15 | Canon Kabushiki Kaisha | Control apparatus and method for image display |
JP2006310934A (ja) * | 2005-04-26 | 2006-11-09 | Nippon Hoso Kyokai <Nhk> | プリフィルタ |
JP4481868B2 (ja) * | 2005-04-26 | 2010-06-16 | 日本放送協会 | プリフィルタ |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100823371B1 (ko) | 화상 데이터 처리 장치 및 화상 데이터 처리 방법 | |
JP4186242B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
US20040179743A1 (en) | Image coding method, image coding and decoding method, image coding apparatus, and image recording and reproduction apparatus | |
US20090059031A1 (en) | Image-Capturing Apparatus and Method, Recording Apparatus and Method, and Reproducing Apparatus and Method | |
JPH08237669A (ja) | 画像信号処理装置、画像信号処理方法および画像信号復号化装置 | |
US6343097B2 (en) | Noise reducer, noise reducing thereof, picture signal processing apparatus, and motion detecting method | |
JP3540855B2 (ja) | ブロック歪み補正器 | |
CN1608378A (zh) | 在视频清晰度增强中改善时间一致性 | |
WO2019003676A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
US8233548B2 (en) | Noise reduction device and noise reduction method of compression coded image | |
KR100405120B1 (ko) | 화상복호화처리장치및방법 | |
JP2001069507A (ja) | 画像データ処理装置及びその方法 | |
JPH09130748A (ja) | 画像信号処理装置および記録/再生装置 | |
JPH09130648A (ja) | 動画像信号処理装置 | |
JP2795225B2 (ja) | 動画像符号化方式 | |
JPH0389792A (ja) | 画像符号化装置 | |
KR0172902B1 (ko) | 엠펙 ii 부호기 | |
JPH10276433A (ja) | ブロックノイズ除去装置 | |
JP2003333370A (ja) | 信号処理装置 | |
JP2004015351A (ja) | 符号化装置及び方法、プログラム、記録媒体 | |
US6233281B1 (en) | Video signal processing apparatus, and video signal processing method | |
JP2001094934A (ja) | 画像データ処理装置 | |
JP2001359098A (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP2844861B2 (ja) | 画像信号の高能率符号化装置及び符号化方法 | |
JP3924815B2 (ja) | 動き判断装置及び動き判断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080321 |