JP2005184442A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2005184442A JP2005184442A JP2003422155A JP2003422155A JP2005184442A JP 2005184442 A JP2005184442 A JP 2005184442A JP 2003422155 A JP2003422155 A JP 2003422155A JP 2003422155 A JP2003422155 A JP 2003422155A JP 2005184442 A JP2005184442 A JP 2005184442A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- video signal
- block
- smoothing
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】映像信号に含まれているノイズや、映像信号を高能率符号化した信号を伝送したときに発生するブロックノイズを低減するのに祭して、常にノイズ低減効果と画質劣化のバランスが取れた状態で視聴することができる画像処理装置を提供する。
【解決手段】フレームメモリを用いた巡回型ノイズ低減回路で、映像信号からノイズ成分を減算する減算部102で用いる減算信号を、表示装置と視聴者間の距離(視距離)に応じてノイズの低減レベルと動画像のエッジ画質の劣化度を変えることが可能な非線形変換部106を通して得ることにより、視聴位置に応じてバランスが取れた画質で視聴できる画像処理装置が提供できる。同様に、ブロックノイズを検出し、視距離に応じてブロック境界の画素レベルの平滑化度合いを可変することで、視聴位置に応じてバランスが取れた画質に制御された画像処理装置が提供できる。
【選択図】図1
【解決手段】フレームメモリを用いた巡回型ノイズ低減回路で、映像信号からノイズ成分を減算する減算部102で用いる減算信号を、表示装置と視聴者間の距離(視距離)に応じてノイズの低減レベルと動画像のエッジ画質の劣化度を変えることが可能な非線形変換部106を通して得ることにより、視聴位置に応じてバランスが取れた画質で視聴できる画像処理装置が提供できる。同様に、ブロックノイズを検出し、視距離に応じてブロック境界の画素レベルの平滑化度合いを可変することで、視聴位置に応じてバランスが取れた画質に制御された画像処理装置が提供できる。
【選択図】図1
Description
本発明は、画像処理装置に係り、特に、映像信号に含まれるノイズや符号化された画像データの復号化時に生じるノイズを低減する装置に関する。
従来、映像信号に含まれるノイズを低減する手段の一つとして、フレームメモリを用いた巡回型ノイズ低減方式がある(例えば、非特許文献1参照)。
図7は、このフレームメモリを用いた巡回型のノイズ低減装置の一例を示すブロック図である。この図において、入力端子101に接続されたノイズを含んだ映像信号は、次の減算部102で、後述する非線形変換部706で生成された減算信号によりノイズ成分が低減されて出力端子103から出力される。
上記非線形変換部706には、演算部105で作成された上記減算信号の元となる信号が入力される。演算部105には、入力の映像信号とフレームメモリ104で1フレーム遅延した出力映像信号が入力されており、ここで演算により両映像信号のフレーム差信号が得られ、非線形変換部706に入る。
非線形変換部706は、このフレーム差信号の入力レベルに応じて出力レベルを非線形に変化させる特性を持つ回路で、出力信号は上記減算部102の減算信号となる。
図7は、このフレームメモリを用いた巡回型のノイズ低減装置の一例を示すブロック図である。この図において、入力端子101に接続されたノイズを含んだ映像信号は、次の減算部102で、後述する非線形変換部706で生成された減算信号によりノイズ成分が低減されて出力端子103から出力される。
上記非線形変換部706には、演算部105で作成された上記減算信号の元となる信号が入力される。演算部105には、入力の映像信号とフレームメモリ104で1フレーム遅延した出力映像信号が入力されており、ここで演算により両映像信号のフレーム差信号が得られ、非線形変換部706に入る。
非線形変換部706は、このフレーム差信号の入力レベルに応じて出力レベルを非線形に変化させる特性を持つ回路で、出力信号は上記減算部102の減算信号となる。
図8は上記非線形変換部706の入出力特性を示したものである。
この図の非線形特性を説明すると、まず入力のフレーム差信号が小さい範囲(区間a)では、入力映像信号が静止領域であり、フレーム差信号は時間的に相関を持たないノイズであるとして、入力されたフレーム差信号を線形のレベル関係で出力する。
一方、入力のフレーム差信号が大きい範囲(区間d)では、入力信号が動領域の場合であり、このフレーム差信号は動きによる差分であるので、これを入力映像信号から減算すると画像情報が大きく損なわれてしまう。したがって、この区間では出力を0として画質の劣化を防いでいるが、そのためにノイズ低減の効果もなくなる。しかし、通常、視聴者は画像の動きがある所のノイズには気づきにくいといえる。
フレーム差信号が中間的レベルの範囲(区間b)では、出力レベルに制限値を設け、また、そのレベルよりもさらに大きい範囲(区間c)では逆に出力を小さくしている。これらの非線形特性の範囲は入力信号が静止領域から動領域に変わる個所であり、画質に悪影響が現れないような減算レベルの設定を行う必要がある。
この図の非線形特性を説明すると、まず入力のフレーム差信号が小さい範囲(区間a)では、入力映像信号が静止領域であり、フレーム差信号は時間的に相関を持たないノイズであるとして、入力されたフレーム差信号を線形のレベル関係で出力する。
一方、入力のフレーム差信号が大きい範囲(区間d)では、入力信号が動領域の場合であり、このフレーム差信号は動きによる差分であるので、これを入力映像信号から減算すると画像情報が大きく損なわれてしまう。したがって、この区間では出力を0として画質の劣化を防いでいるが、そのためにノイズ低減の効果もなくなる。しかし、通常、視聴者は画像の動きがある所のノイズには気づきにくいといえる。
フレーム差信号が中間的レベルの範囲(区間b)では、出力レベルに制限値を設け、また、そのレベルよりもさらに大きい範囲(区間c)では逆に出力を小さくしている。これらの非線形特性の範囲は入力信号が静止領域から動領域に変わる個所であり、画質に悪影響が現れないような減算レベルの設定を行う必要がある。
このように、フレームメモリを用いた巡回型ノイズ低減装置は、入力映像信号とノイズが低減された1フレーム前の映像信号とのフレーム差分がある値以下のレベルをノイズ成分とみなし、入力映像信号から減算することによりノイズが低減される仕組みである。
しかし、フレーム差分がある値以下のレベルの中にも信号成分が存在するわけで、この成分もノイズとみなされ減算されることにより、小レベル信号の解像度が低下し、いわゆる画像の細かなデテールが損なわれる現象になる。そのため、上記静止領域から動領域に変わる部分の画質への影響も含め、画質劣化との兼ね合いからノイズの低減効果をどの程度に設定するかが重要な設計項目となる。
しかし、フレーム差分がある値以下のレベルの中にも信号成分が存在するわけで、この成分もノイズとみなされ減算されることにより、小レベル信号の解像度が低下し、いわゆる画像の細かなデテールが損なわれる現象になる。そのため、上記静止領域から動領域に変わる部分の画質への影響も含め、画質劣化との兼ね合いからノイズの低減効果をどの程度に設定するかが重要な設計項目となる。
映像信号に含まれるノイズには、上記で説明したようなアナログ信号伝送系で混入するノイズのほかに、高能率符号化デジタル信号を伝送し復号したときに発生するブロックノイズ(ブロック歪)がある。このブロックノイズはデジタル信号の伝送によって発生する特有のノイズであるため、前記のノイズ低減方式では除去できず、それとは全く異なる方式のノイズ低減技術が下記特許文献1に開示されている。
この特許文献1では、まず、ブロックノイズの検出に、隣接ブロックとの境界における特定画素のレベルを比較して、レベル差が設定したしきい値に対してある条件を満たしたときをブロックノイズと判定し、次いで、そのブロックの境界の画素レベルを前後の画素を用いて平滑化することにより、視覚的にブロックノイズを目立たないようにしているものである。
特公平7−14211号公報
吹抜敬彦著 画像メディア工学 コロナ社 p.102−103
前述のフレームメモリを用いた巡回型のノイズ低減装置では、ノイズの除去レベルを強くすると、低レベルの画像情報が多く失われるためにデテールの再現性の悪い画質となり、また画像が動いたときにエッジに残像が現れるなどの欠点が見られるようになる。
そのため一般に、ノイズの除去レベルをもっと強くできるにもかかわらず、画質劣化との兼ね合いで弱めに設定している。
同様に、前記特許文献1のブロックノイズ低減装置も、ブロックノイズと判定するためのしきい値の設定と平滑化するときの平滑度の設定が難しく、例えばブロックノイズでないものをブロックノイズと判定すると平滑化により画質が悪化するので、ブロックノイズと判定するレベルが高くなりがちになり、また平滑度も弱くなる。したがって、低減されないブロックノイズが現れ画質を損ねることになる。
そのため一般に、ノイズの除去レベルをもっと強くできるにもかかわらず、画質劣化との兼ね合いで弱めに設定している。
同様に、前記特許文献1のブロックノイズ低減装置も、ブロックノイズと判定するためのしきい値の設定と平滑化するときの平滑度の設定が難しく、例えばブロックノイズでないものをブロックノイズと判定すると平滑化により画質が悪化するので、ブロックノイズと判定するレベルが高くなりがちになり、また平滑度も弱くなる。したがって、低減されないブロックノイズが現れ画質を損ねることになる。
こうした従来のノイズ低減装置は、表示画面を比較的近くで見たときの条件でノイズと画質のバランスをとっている例が多い。しかし表示画面と視聴者との間隔(視距離)は一定ではなく、設置場所や視聴者の好みなどで変わるものである。ノイズや画質の見え方は視距離によって大きく変わるので、従来のように一定の視距離を前提にノイズと画質のバランスをとっていたのでは、視聴者にとって最適なノイズ低減状態すなわち最適な画質設定とはいえない状態であるという問題を有している。
本発明は、このような従来の問題点に鑑みなされたものであり、その目的は、ノイズ低減装置の各種設定を、表示画面と視聴者間の視距離に基づいて可変することにより、視聴者にとって最も見やすい映像信号の表示を可能とする画像処理装置を提供するものである。
本発明は、上記課題を解決する手段として以下の(1)から(4)に記載の構成からなる。すなわち、
(1)ノイズを含む映像信号からノイズを抽出し、前記映像信号から前記抽出したノイズを減算することにより映像信号のノイズ低減を行う画像処理装置において、
前記ノイズ低減された映像信号を表示する表示画面と、この表示画面を視聴する視聴者との距離を計測して視距離情報を得る手段と、
前記視距離が小のときは前記ノイズの減算レベルを大とし、前記視距離が大のときは前記ノイズの減算レベルを小となるように制御する手段と
を有することを特徴とする画像処理装置。
(2)ノイズを含む映像信号からノイズを抽出し、前記映像信号から前記抽出したノイズを減算することにより映像信号のノイズ低減を行う画像処理装置において、
前記抽出したノイズを非線形変換処理してから前記減算入力信号として用いる手段と、
前記ノイズ低減された映像信号を表示する表示画面と、この表示画面を視聴する視聴者との距離を計測して視距離情報を得る手段とを有し、
前記視距離が小のときは前記ノイズの減算レベルの範囲を大とし、前記視距離が大のときは前記ノイズの減算レベルの範囲を小となるように、前記非線形変換処理の特性を変化させることを特徴とする画像処理装置。
(3)ノイズを含む映像信号からノイズを抽出する手段として、前記ノイズを含む映像信号と、ノイズが低減された1フレーム前または1フィールド前の映像信号との差の信号を得る手段を有することを特徴とする請求項1または請求項2の画像処理装置。
(4)映像信号を構成する画素をブロック単位に分割し、この分割されたブロック毎の画素を高能率符号化した信号を伝送したときに発生するブロックノイズを低減する画像処理装置において、
前記ブロックの境界における画素のレベル差からブロックノイズを検出する検出手段と、
前記ブロックノイズが検出されたときに、前記ブロックの境界をはさむ画素のレベルを平滑化する平滑化手段と、
前記ブロックノイズが低減された映像信号を表示する表示画面と、この表示画面を視聴する視聴者との距離を計測して視距離情報を得る手段とを有し、
前記視距離が小のときは前記平滑化手段の平滑度合いを大とし、前記視距離が大のときは前記平滑化手段の平滑度合いを小となるように、前記平滑手段の特性を変化させることを特徴とする画像処理装置。
(1)ノイズを含む映像信号からノイズを抽出し、前記映像信号から前記抽出したノイズを減算することにより映像信号のノイズ低減を行う画像処理装置において、
前記ノイズ低減された映像信号を表示する表示画面と、この表示画面を視聴する視聴者との距離を計測して視距離情報を得る手段と、
前記視距離が小のときは前記ノイズの減算レベルを大とし、前記視距離が大のときは前記ノイズの減算レベルを小となるように制御する手段と
を有することを特徴とする画像処理装置。
(2)ノイズを含む映像信号からノイズを抽出し、前記映像信号から前記抽出したノイズを減算することにより映像信号のノイズ低減を行う画像処理装置において、
前記抽出したノイズを非線形変換処理してから前記減算入力信号として用いる手段と、
前記ノイズ低減された映像信号を表示する表示画面と、この表示画面を視聴する視聴者との距離を計測して視距離情報を得る手段とを有し、
前記視距離が小のときは前記ノイズの減算レベルの範囲を大とし、前記視距離が大のときは前記ノイズの減算レベルの範囲を小となるように、前記非線形変換処理の特性を変化させることを特徴とする画像処理装置。
(3)ノイズを含む映像信号からノイズを抽出する手段として、前記ノイズを含む映像信号と、ノイズが低減された1フレーム前または1フィールド前の映像信号との差の信号を得る手段を有することを特徴とする請求項1または請求項2の画像処理装置。
(4)映像信号を構成する画素をブロック単位に分割し、この分割されたブロック毎の画素を高能率符号化した信号を伝送したときに発生するブロックノイズを低減する画像処理装置において、
前記ブロックの境界における画素のレベル差からブロックノイズを検出する検出手段と、
前記ブロックノイズが検出されたときに、前記ブロックの境界をはさむ画素のレベルを平滑化する平滑化手段と、
前記ブロックノイズが低減された映像信号を表示する表示画面と、この表示画面を視聴する視聴者との距離を計測して視距離情報を得る手段とを有し、
前記視距離が小のときは前記平滑化手段の平滑度合いを大とし、前記視距離が大のときは前記平滑化手段の平滑度合いを小となるように、前記平滑手段の特性を変化させることを特徴とする画像処理装置。
映像信号に含まれているノイズや、高能率符号化された映像信号を復号したときに発生するブロックノイズなどを低減するノイズ低減装置において、表示画面と視聴者間の間隔(視距離)に応じてノイズ低減レベルと画質のバランスを最適設定することで、従来のように、視距離によってはノイズが目立ったり、あるいは画質劣化が気になったりするようなことが無くなり、視聴者にとって常にバランスの取れた最も見やすい映像信号の表示が可能となる。
以下、本発明の画像処理装置の実施形態につき、好ましい実施例により図面を参照して説明する。
図1は本発明に係る画像処理装置の実施例1の構成を示すブロック図、図2は図1における非線形変換部106の各種の非線形特性を示した図である。なお、図1は従来例を示す図7と同一ブロック部は同一符号で表してある。
本実施例1は、図1に示すように、映像信号の入力端子101、入力端子101に接続された入力映像信号から非線形変換部106の出力(ノイズ)を減算する減算部102、ノイズの低減された映像信号を外部に出力する出力端子103、ノイズの低減された映像信号を1フレーム遅延させるフレームメモリ104、入力映像信号とフレームメモリ104の出力映像信号との差を求める演算部105、表示装置と視聴者との距離を計測する計測装置(図示せず)のデータが入力される接続端子107、接続端子107に入力されたデータから視距離を求める視距離測定部108、視距離に応じて非線形変換部106の非線形特性を決定する非線形特性決定部109で構成されている。
本実施例1は、図1に示すように、映像信号の入力端子101、入力端子101に接続された入力映像信号から非線形変換部106の出力(ノイズ)を減算する減算部102、ノイズの低減された映像信号を外部に出力する出力端子103、ノイズの低減された映像信号を1フレーム遅延させるフレームメモリ104、入力映像信号とフレームメモリ104の出力映像信号との差を求める演算部105、表示装置と視聴者との距離を計測する計測装置(図示せず)のデータが入力される接続端子107、接続端子107に入力されたデータから視距離を求める視距離測定部108、視距離に応じて非線形変換部106の非線形特性を決定する非線形特性決定部109で構成されている。
図1において、入力端子101に接続された映像信号は、次の減算部102で、非線形変換部106で生成された減算信号によりノイズ成分が低減され、出力端子103から外部に出力される。
非線形変換部106には、演算部105で作成された上記減算信号の元となる信号が入力される。演算部105には、入力の映像信号とフレームメモリ104の出力映像信号とが入力されており、ここで演算により両映像信号のフレーム差信号が得られ、上記非線形変換部106に入る。
非線形変換部106は、このフレーム差信号の入力レベルに応じて出力レベルを非線形に変化させる特性を持つ回路で、出力信号は上記減算部102の減算信号となる。
非線形変換部106には、演算部105で作成された上記減算信号の元となる信号が入力される。演算部105には、入力の映像信号とフレームメモリ104の出力映像信号とが入力されており、ここで演算により両映像信号のフレーム差信号が得られ、上記非線形変換部106に入る。
非線形変換部106は、このフレーム差信号の入力レベルに応じて出力レベルを非線形に変化させる特性を持つ回路で、出力信号は上記減算部102の減算信号となる。
図2は上記非線形変換部106の入出力特性を示したものである。
この図の非線形特性を(a)を例に説明すると、まず入力のフレーム差信号が小さい範囲(区間a)では、フレーム差信号は時間的に相関を持たないノイズであるとして、入力されたフレーム差信号を線形のレベル関係で出力する。
一方、入力のフレーム差信号が大きい範囲(区間d)では、このフレーム差信号は動きによる差分であるので、これを入力映像信号から減算すると画像情報が大きく損なわれてしまう。したがって、この区間では出力を0として画質の劣化を防いでいるが、そのためにノイズ低減の効果もなくなる。
フレーム差信号が中間的レベルの範囲(区間b)では、出力レベルに制限値を設け、また、そのレベルよりもさらに大きい範囲(区間c)では逆に出力を小さくしている。これらの非線形特性の範囲は入力信号が動領域の個所であるから、画質に悪影響が現れないような減算レベルの設定を行う必要がある。
なお、図1、図2のここまでの動作は図7、図8の従来例と同様である。
また、フレームメモリ104の代りにフィールドメモリを用いることも可能である。
この図の非線形特性を(a)を例に説明すると、まず入力のフレーム差信号が小さい範囲(区間a)では、フレーム差信号は時間的に相関を持たないノイズであるとして、入力されたフレーム差信号を線形のレベル関係で出力する。
一方、入力のフレーム差信号が大きい範囲(区間d)では、このフレーム差信号は動きによる差分であるので、これを入力映像信号から減算すると画像情報が大きく損なわれてしまう。したがって、この区間では出力を0として画質の劣化を防いでいるが、そのためにノイズ低減の効果もなくなる。
フレーム差信号が中間的レベルの範囲(区間b)では、出力レベルに制限値を設け、また、そのレベルよりもさらに大きい範囲(区間c)では逆に出力を小さくしている。これらの非線形特性の範囲は入力信号が動領域の個所であるから、画質に悪影響が現れないような減算レベルの設定を行う必要がある。
なお、図1、図2のここまでの動作は図7、図8の従来例と同様である。
また、フレームメモリ104の代りにフィールドメモリを用いることも可能である。
次に図1の視距離測定部108と非線形特性決定部109の動作について説明する。
視距離測定部108では、常時若しくは間歇的に視聴者と表示装置との間の距離を測定し、視距離情報を得る。視距離を測定する方法は特に図示していないが、例えば一般的な超音波距離センサーを表示装置の上に置き、視聴者までの距離を計測することができる。また、撮像カメラのオートフォーカス機構を使ってピント情報を視距離の計測データとして用いることも可能である。このような方法で得られた視距離の計測データは、端子107を経由して視距離測定部108に供給され、制御用の視距離情報に変換されて非線形特性決定部109に供給される。
視距離測定部108では、常時若しくは間歇的に視聴者と表示装置との間の距離を測定し、視距離情報を得る。視距離を測定する方法は特に図示していないが、例えば一般的な超音波距離センサーを表示装置の上に置き、視聴者までの距離を計測することができる。また、撮像カメラのオートフォーカス機構を使ってピント情報を視距離の計測データとして用いることも可能である。このような方法で得られた視距離の計測データは、端子107を経由して視距離測定部108に供給され、制御用の視距離情報に変換されて非線形特性決定部109に供給される。
非線形特性決定部109では、前記視距離情報に応じて非線形変換部106の非線形特性を決定するための制御データを出力する。本実施例では、視距離を4区分し、(a)視距離が3H(Hは表示画面の高さ寸法)未満、(b)3H以上5H未満、(c)5H以上7H未満、(d)7H以上、としている。
この制御データに基づいて前記非線形変換部106が作成する非線形特性の一例を図2(a)〜(d)に示す。したがって、図2は、(a)は視距離が3H未満、(b)が3H以上5H未満、(c)が5H以上7H未満、(d)が7H以上、の区分けで使用するように最適化設定した非線形特性である。
この制御データに基づいて前記非線形変換部106が作成する非線形特性の一例を図2(a)〜(d)に示す。したがって、図2は、(a)は視距離が3H未満、(b)が3H以上5H未満、(c)が5H以上7H未満、(d)が7H以上、の区分けで使用するように最適化設定した非線形特性である。
図2の非線形特性の違いを説明すると、(a)の特性は視聴者がテレビのすぐ近くで見ている場合に用いるもので、前述のフレーム差信号のかなり大きなレベルまでを減算信号として使う設定になっているので、ノイズの低減効果は大きくなる。したがって、近くで見たときにノイズが見えない設定と言える。
一方、(d)の特性はテレビから離れて見ている場合に用いるもので、この場合視聴者は画面の細部は見えないので、多少ノイズは残っていても良く、むしろ画像の輪郭等の画質を損なわないような特性になっている。(b)(c)はその中間特性である。
このようにして、視距離に応じて非線形変換部106の非線形特性を適宜切り換えることにより、視聴者の位置から見たときにノイズ低減と画質のバランスの良い状態の画像を表示することができるようになる。
一方、(d)の特性はテレビから離れて見ている場合に用いるもので、この場合視聴者は画面の細部は見えないので、多少ノイズは残っていても良く、むしろ画像の輪郭等の画質を損なわないような特性になっている。(b)(c)はその中間特性である。
このようにして、視距離に応じて非線形変換部106の非線形特性を適宜切り換えることにより、視聴者の位置から見たときにノイズ低減と画質のバランスの良い状態の画像を表示することができるようになる。
次に本発明に係る画像処理装置の実施例2について説明する。この実施例2は従来例で述べたブロックノイズの低減に関する課題の解決手段を提供するものである。
図3はその実施例2の構成を示すブロック図、図4は実施例2の動作を説明するための高能率符号化された画素ブロックの位置関係を示す図、図5は同じく実施例2の動作を説明するための平滑化の判定で用いる画素配置と信号レベルの関係を示す図、図6は平滑化フィルタの係数aの視距離に応じた変化を示す図である。
図3はその実施例2の構成を示すブロック図、図4は実施例2の動作を説明するための高能率符号化された画素ブロックの位置関係を示す図、図5は同じく実施例2の動作を説明するための平滑化の判定で用いる画素配置と信号レベルの関係を示す図、図6は平滑化フィルタの係数aの視距離に応じた変化を示す図である。
本実施例2は図3に示すように、映像信号の入力端子301、ブロック境界周辺部の画素を選択する選択入力部302、選択された画素を参照画素列として並べるための遅延部303、304、305、参照画素列の信号レベルからブロックノイズの検出を行なう平滑化判定部306、平滑化特性決定部311および平滑化判定部306より平滑化の要否(ON/OFF)制御信号を受け、要(ON)の場合には当該画素の平滑化すなわちブロックノイズ低減を行なう平滑化演算部307、ブロックノイズの低減された映像信号を出力する出力端子308、表示装置と視聴者との距離を計測する計測装置(図示せず)のデータが入力される接続端子309、接続端子309に入力されたデータから視距離を求める視距離測定部310、視距離に応じて平滑化特性を決定する平滑化特性決定部311で構成されている。
図3において、入力端子301に入力された高能率符号化されている映像信号は、次の選択入力部302に供給され、ここでブロック境界を挟んで対称でかつブロック境界に垂直な方向に並ぶ4画素の信号レベルが選択される。すなわち図4に示すように、横方向のブロック境界に対しては縦方向の4画素の信号が、縦方向のブロック境界に対しては横方向の4画素が選択される。この選択入力部302の選択信号は遅延部303、304、305で夫々遅延されて平滑化判定部306に入力され、後述の参照画素列となる。平滑化判定部306では、参照画素列の信号レベルからブロック境界部に平滑化処理の必要があるか否か、すなわちブロックノイズであるか否かの決定を後述の判定アルゴリズムにより行う。
上記のように、平滑化判定部306では、参照画素列の信号レベルに応じてブロック境界部に平滑化処理の必要があるか否かを決定するが、その判定のアルゴリズムを次に説明する。アルゴリズム中の計算および判定で画素配置と信号レベルの関係を図5に示す。
図5において、参照画素の信号レベルより判定パラメータd0、d1、d2を次のように計算する。
d0=|S0−S'0|
d1=|S1−S0|
d2=|S'0−S'1|
これらの値としきい値ThA、ThBの大小比較から、
d0≦ThA :平滑化不要(OFF)
d0>ThA and(d1≦ThB and d2≦ThB)
:平滑化要(ON)
d0>ThA and(d1>ThB or d2>ThB)
:平滑化不要(OFF)
このアルゴリズムで平滑化の要否(ON/OFF)を判定する。
図5において、参照画素の信号レベルより判定パラメータd0、d1、d2を次のように計算する。
d0=|S0−S'0|
d1=|S1−S0|
d2=|S'0−S'1|
これらの値としきい値ThA、ThBの大小比較から、
d0≦ThA :平滑化不要(OFF)
d0>ThA and(d1≦ThB and d2≦ThB)
:平滑化要(ON)
d0>ThA and(d1>ThB or d2>ThB)
:平滑化不要(OFF)
このアルゴリズムで平滑化の要否(ON/OFF)を判定する。
すなわち、ブロック境界に接する2つの画素間の信号レベル差d0が第1のしきい値ThA以下である場合(d0≦ThA)は、境界部の信号レベル差が大きくないので平滑化不要(OFF)と判定する。
ブロック境界に接する2つの画素間の信号レベル差d0が第1のしきい値ThAより大きい場合(d0>ThA)は、これら2つの画素にそれぞれ隣接する画素とこれら2つの画素の各々との間の信号レベル差d1及びd2と第2のしきい値ThBとの比較で画像のエッジの部分であるのか、符号化によるブロックノイズであるのかを判別する。
すなわち、信号レベル差d1及びd2が第2のしきい値ThB以下の場合(d0>ThAで、かつd1≦ThBおよびd2≦ThB)は、境界のすぐ両側で信号レベルが急激に変化しているが、その外側では信号レベルの変化が緩やかであるからそれは符号化によるブロックノイズであるとみなし、平滑化要(ON)と判定する。
また、信号レベル差d1及びd2の少なくとも一方が第2のしきい値ThBより大きい場合(d0>ThAで、かつd1>ThBまたはd2>ThB)は、境界周辺での信号レベルの変化が連続して急激であるから、これは画像のエッジの部分であるとみなし平滑化不要(OFF)と判定する。
この結果、平滑化演算部307においては、上記平滑化判定部306より平滑化要(ON)の信号を受けた場合のみ、ブロック境界に直接接する2画素に同時に平滑化処理、すなわちブロックノイズ低減処理を行うことになる。
ブロック境界に接する2つの画素間の信号レベル差d0が第1のしきい値ThAより大きい場合(d0>ThA)は、これら2つの画素にそれぞれ隣接する画素とこれら2つの画素の各々との間の信号レベル差d1及びd2と第2のしきい値ThBとの比較で画像のエッジの部分であるのか、符号化によるブロックノイズであるのかを判別する。
すなわち、信号レベル差d1及びd2が第2のしきい値ThB以下の場合(d0>ThAで、かつd1≦ThBおよびd2≦ThB)は、境界のすぐ両側で信号レベルが急激に変化しているが、その外側では信号レベルの変化が緩やかであるからそれは符号化によるブロックノイズであるとみなし、平滑化要(ON)と判定する。
また、信号レベル差d1及びd2の少なくとも一方が第2のしきい値ThBより大きい場合(d0>ThAで、かつd1>ThBまたはd2>ThB)は、境界周辺での信号レベルの変化が連続して急激であるから、これは画像のエッジの部分であるとみなし平滑化不要(OFF)と判定する。
この結果、平滑化演算部307においては、上記平滑化判定部306より平滑化要(ON)の信号を受けた場合のみ、ブロック境界に直接接する2画素に同時に平滑化処理、すなわちブロックノイズ低減処理を行うことになる。
一方、端子309および視距離測定部310の動作は、前述した実施例1の図1で述べた視距離の測定と同一構成であるので説明を省略する。
本実施例2では視距離測定部310で得られた視距離情報は平滑化特性決定部311に供給される。
平滑化特性決定部311では上記視距離情報に応じて平滑化演算部307のブロックノイズ低減レベルを決定する。上記のごとく、平滑化演算部307においてはブロック境界に直接接する2画素に同時に次の平滑化処理を行うことでブロックノイズ低減処理を行うが、このときの平滑化特性を決定する例を次に述べる。
図5において、平滑化該当画素X0、X'0の新たな信号レベルS0-new、S'0-newは、
S0-new=[(1−a)/2]×S1+a×S0+[(1−a)/2]×S'0
S'0-new=[(1−a)/2]×S0+a×S'0+[(1−a)/2]×S'1
(a:視距離により変化する係数。ただし、0.5≦a≦1.0)
として与えられる。
本実施例2では視距離測定部310で得られた視距離情報は平滑化特性決定部311に供給される。
平滑化特性決定部311では上記視距離情報に応じて平滑化演算部307のブロックノイズ低減レベルを決定する。上記のごとく、平滑化演算部307においてはブロック境界に直接接する2画素に同時に次の平滑化処理を行うことでブロックノイズ低減処理を行うが、このときの平滑化特性を決定する例を次に述べる。
図5において、平滑化該当画素X0、X'0の新たな信号レベルS0-new、S'0-newは、
S0-new=[(1−a)/2]×S1+a×S0+[(1−a)/2]×S'0
S'0-new=[(1−a)/2]×S0+a×S'0+[(1−a)/2]×S'1
(a:視距離により変化する係数。ただし、0.5≦a≦1.0)
として与えられる。
この式のように、視距離に応じた係数aの値を制御することにより、平滑化特性が変わりブロックノイズ低減レベルを制御することができる。図6に視距離に応じて変化する係数aの一例を示す。
この例では、視距離が3H未満の場合はa=0.5、3H以上6H未満の場合はa=0.5〜1.0、6H以上の場合はa=1.0として平滑化フィルタを決定している。このように、aの値は小さくなるにつれてノイズ除去レベルが大きくなり、a=1.0の場合にはノイズ除去処理を行わない設定である。
また、別の例として、視距離を3H未満、3H以上4H未満、4H以上5H未満、5H以上6H未満、6H以上の5つに区分し、視距離が3H未満の場合はa=0.5、3H以上4H未満の場合はa=0.625、4H以上5H未満の場合はa=0.75、5H以上6H未満の場合はa=0.875、6H以上の場合はa=1.0とし、視距離の区分を多くすることでより画質を向上することも可能である。
この例では、視距離が3H未満の場合はa=0.5、3H以上6H未満の場合はa=0.5〜1.0、6H以上の場合はa=1.0として平滑化フィルタを決定している。このように、aの値は小さくなるにつれてノイズ除去レベルが大きくなり、a=1.0の場合にはノイズ除去処理を行わない設定である。
また、別の例として、視距離を3H未満、3H以上4H未満、4H以上5H未満、5H以上6H未満、6H以上の5つに区分し、視距離が3H未満の場合はa=0.5、3H以上4H未満の場合はa=0.625、4H以上5H未満の場合はa=0.75、5H以上6H未満の場合はa=0.875、6H以上の場合はa=1.0とし、視距離の区分を多くすることでより画質を向上することも可能である。
以上の詳述した手段において、高能率符号化された映像信号の復号時に発生するブロックノイズに関して、視聴者の見る位置に応じて適応的に平滑化特性を可変することで、ブロックノイズの見え方と画質のバランスの取れた状態が得られるようになる。
なお、本実施例では、平滑化特性決定部311で視距離に応じて平滑化特性を決定し、その後に平滑化判定部306でON/OFFの切り替えを行っているが、平滑化特性決定部311と平滑化判定部306の順序が入れ替わっても良い。また、平滑化特性決定部311と平滑化判定部306を組み合わせてブロックノイズ除去レベルを決定しても良い。さらに、平滑化判定部306でON/OFFの切り替えだけでなく、複数のブロックノイズ除去レベルを決定しても良い。
なお、本実施例では、平滑化特性決定部311で視距離に応じて平滑化特性を決定し、その後に平滑化判定部306でON/OFFの切り替えを行っているが、平滑化特性決定部311と平滑化判定部306の順序が入れ替わっても良い。また、平滑化特性決定部311と平滑化判定部306を組み合わせてブロックノイズ除去レベルを決定しても良い。さらに、平滑化判定部306でON/OFFの切り替えだけでなく、複数のブロックノイズ除去レベルを決定しても良い。
なお、本発明による画像処理装置は、上記実施例に限らず、実施例1の図1および実施例2の図3に示す各ブロックの動作および特性をコンピュータとプログラムで構成し、入力映像信号をこのコンピュターに取り込み、コンピュータ上で画像処理することも可能である。
101:映像信号入力端子
102:減算部
103:映像信号出力端子
104:フレームメモリ
105:演算部
106、706:非線形変換部
107:距離計測装置の接続端子
108:視距離測定部
109:非線形特性決定部
301:映像信号入力端子
302:選択入力部
303、304、305:遅延部
306:平滑化判定部
307:平滑化演算部
308:映像信号出力端子
309:距離計測装置の接続端子
310:視距離測定部
311:平滑化特性決定部
102:減算部
103:映像信号出力端子
104:フレームメモリ
105:演算部
106、706:非線形変換部
107:距離計測装置の接続端子
108:視距離測定部
109:非線形特性決定部
301:映像信号入力端子
302:選択入力部
303、304、305:遅延部
306:平滑化判定部
307:平滑化演算部
308:映像信号出力端子
309:距離計測装置の接続端子
310:視距離測定部
311:平滑化特性決定部
Claims (4)
- ノイズを含む映像信号からノイズを抽出し、前記映像信号から前記抽出したノイズを減算することにより映像信号のノイズ低減を行う画像処理装置において、
前記ノイズ低減された映像信号を表示する表示画面と、この表示画面を視聴する視聴者との距離を計測して視距離情報を得る手段と、
前記視距離が小のときは前記ノイズの減算レベルを大とし、前記視距離が大のときは前記ノイズの減算レベルを小となるように制御する手段と
を有することを特徴とする画像処理装置。 - ノイズを含む映像信号からノイズを抽出し、前記映像信号から前記抽出したノイズを減算することにより映像信号のノイズ低減を行う画像処理装置において、
前記抽出したノイズを非線形変換処理してから前記減算入力信号として用いる手段と、
前記ノイズ低減された映像信号を表示する表示画面と、この表示画面を視聴する視聴者との距離を計測して視距離情報を得る手段とを有し、
前記視距離が小のときは前記ノイズの減算レベルの範囲を大とし、前記視距離が大のときは前記ノイズの減算レベルの範囲を小となるように、前記非線形変換処理の特性を変化させることを特徴とする画像処理装置。 - ノイズを含む映像信号からノイズを抽出する手段として、前記ノイズを含む映像信号と、ノイズが低減された1フレーム前または1フィールド前の映像信号との差の信号を得る手段を有することを特徴とする請求項1または請求項2の画像処理装置。
- 映像信号を構成する画素をブロック単位に分割し、この分割されたブロック毎の画素を高能率符号化した信号を伝送したときに発生するブロックノイズを低減する画像処理装置において、
前記ブロックの境界における画素のレベル差からブロックノイズを検出する検出手段と、
前記ブロックノイズが検出されたときに、前記ブロックの境界をはさむ画素のレベルを平滑化する平滑化手段と、
前記ブロックノイズが低減された映像信号を表示する表示画面と、この表示画面を視聴する視聴者との距離を計測して視距離情報を得る手段とを有し、
前記視距離が小のときは前記平滑化手段の平滑度合いを大とし、前記視距離が大のときは前記平滑化手段の平滑度合いを小となるように、前記平滑手段の特性を変化させることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003422155A JP2005184442A (ja) | 2003-12-19 | 2003-12-19 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003422155A JP2005184442A (ja) | 2003-12-19 | 2003-12-19 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005184442A true JP2005184442A (ja) | 2005-07-07 |
Family
ID=34783115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003422155A Pending JP2005184442A (ja) | 2003-12-19 | 2003-12-19 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005184442A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009164915A (ja) * | 2008-01-08 | 2009-07-23 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20110157209A1 (en) * | 2009-12-28 | 2011-06-30 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
KR20120018467A (ko) * | 2010-08-23 | 2012-03-05 | 엘지전자 주식회사 | 입체영상의 출력 방법 |
JP2016081042A (ja) * | 2014-10-17 | 2016-05-16 | ▲ホア▼▲ウェイ▼技術有限公司Huawei Technologies Co.,Ltd. | 画像アンチエイリアシング方法および装置 |
KR101753801B1 (ko) | 2010-06-10 | 2017-07-04 | 엘지디스플레이 주식회사 | 액정 표시장치 및 구동방법 |
-
2003
- 2003-12-19 JP JP2003422155A patent/JP2005184442A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009164915A (ja) * | 2008-01-08 | 2009-07-23 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20110157209A1 (en) * | 2009-12-28 | 2011-06-30 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
US8704843B2 (en) * | 2009-12-28 | 2014-04-22 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
KR101753801B1 (ko) | 2010-06-10 | 2017-07-04 | 엘지디스플레이 주식회사 | 액정 표시장치 및 구동방법 |
KR20120018467A (ko) * | 2010-08-23 | 2012-03-05 | 엘지전자 주식회사 | 입체영상의 출력 방법 |
KR101704033B1 (ko) * | 2010-08-23 | 2017-02-07 | 엘지전자 주식회사 | 입체영상의 출력 방법 |
JP2016081042A (ja) * | 2014-10-17 | 2016-05-16 | ▲ホア▼▲ウェイ▼技術有限公司Huawei Technologies Co.,Ltd. | 画像アンチエイリアシング方法および装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4513819B2 (ja) | 映像変換装置、映像表示装置、映像変換方法 | |
US7136538B2 (en) | Noise reducing apparatus and noise reducing method | |
KR100272582B1 (ko) | 스캔컨버터회로 | |
US6930752B2 (en) | Image processing method and apparatus | |
US9001272B2 (en) | Image synthesizing device, coding device, program, and recording medium | |
KR100771616B1 (ko) | 투사형 디스플레이 장치 및 그 제어방법 | |
JP4534723B2 (ja) | 画像表示装置、画像処理装置および画像処理方法 | |
JP2007266684A (ja) | ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置 | |
US6175659B1 (en) | Method and apparatus for image scaling using adaptive edge enhancement | |
JP4488979B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
EP2161687B1 (en) | Video signal processing device, video signal processing method, and video signal processing program | |
JP2010257100A (ja) | 画像処理装置および画像処理方法 | |
US20080001975A1 (en) | Image processing apparatus and image processing method | |
US9215353B2 (en) | Image processing device, image processing method, image display device, and image display method | |
TWI384417B (zh) | 影像處理方法及其裝置 | |
JP4111738B2 (ja) | プラズマディスプレイ装置 | |
US20100026904A1 (en) | Video signal processing apparatus and video signal processing method | |
KR100270815B1 (ko) | 부화상 표시방법 및 장치 | |
JP5192087B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2007334457A (ja) | 画像処理装置及び画像処理方法 | |
JP2005184442A (ja) | 画像処理装置 | |
JP5050637B2 (ja) | 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体 | |
JP4306274B2 (ja) | 液晶表示装置 | |
JP2008139828A (ja) | 画像処理装置、画像処理方法、電気光学装置及び電子機器 | |
EP1903803A2 (en) | Frame interpolating circuit, frame interpolating method, and display apparatus |