JP2010098652A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】PinP画像に対して階調変換処理を行う場合に、より簡単な構成で、より自然な画質を得ることができるようにする。
【解決手段】階調変換部４６は、例えば、供給される１２ビットのPinP画像を、８ビットのPinP画像に変換する階調変換を行う。スイッチ８２は、注目画素がPinP画像の親画像と子画像の境界から所定の領域内側のランダムディザ領域の画素である場合、ランダムノイズ出力部８１を選択する。一方、スイッチ８２は、注目画素がランダムディザ領域以外の画素である場合、２次元フィルタ８０を選択する。これにより、階調変換部４６は、注目画素がランダムディザ領域の画素である場合、ランダムディザ法による階調変換を行う。一方、階調変換部４６は、注目画素がランダムディザ領域以外の領域の画素である場合、誤差拡散法による階調変換を行う。本発明は、例えば、PinP画像を処理する画像処理装置に適用できる。
【選択図】図９

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、PinP画像に対して階調変換処理を行う場合に、より簡単な構成で、より自然な画質を得ることができるようにする画像処理装置、画像処理方法、およびプログラムに関する。

例えば、Nビットの画素値の画像（以下、Nビットの画像ともいう）を、Nビットよりも小さいMビットの画素値の画像を表示する表示装置で表示するには、Nビットの画像を、Mビットの画像に変換する必要がある。つまり、画像の階調を変換する階調変換を行う必要がある。

Nビットの画像を、Mビットの画像に階調変換する方法（階調変換方法）としては、例えば、Nビットの画素値の、下位N-Mビットを切り捨てて、Mビットの画素値とする方法がある。N＝８、M＝４とすると、グレースケールの８ビットの画像を、下位４ビットを切り捨てることにより、４ビットの画像に階調変換する方法がある。

しかしながら、８ビットでは、２５６（＝２⁸）階調を表現することができるが、４ビットでは、１６（＝２⁴）階調しか表現することができない。そのため、８ビットの画像の下位４ビットを切り捨てる階調変換では、階調の変化が帯のように見えるバンディング(banding)が生じる。

このようなバンディングが生じるのを防止し、階調変換後の画像において、階調変換前の画像の階調を擬似的に表現する階調変換方法として、誤差拡散法と呼ばれる方法がある。

図１は、誤差拡散法による階調変換を行う従来の階調変換部の構成例を示している。

図１において、階調変換部１は、演算部１１、量子化部１２、演算部１３、及び、２次元フィルタ１４から構成される。

演算部１１には、階調変換の対象の画像（変換対象画像）として、例えば、８ビットの画像の各画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に供給される。また、演算部１１には、２次元フィルタ１４の出力も供給される。

演算部１１は、画素値IN(x,y)と、２次元フィルタ１４の出力とを加算し、その結果得られる加算値を、量子化部１２、及び、演算部１３に供給する。

量子化部１２は、演算部１１からの加算値を、例えば、４ビットに量子化し、その結果得られる４ビットの量子化値を、階調変換後の画像の画素(x,y)の画素値OUT(x,y)として出力する。また、量子化部１２が出力する画素値OUT(x,y)は、演算部１３にも供給される。

演算部１３は、演算部１１からの加算値から、量子化部１２からの画素値OUT(x,y)を減算することで、量子化部１２での量子化により生じる量子化誤差-Q(x,y)を求め、２次元フィルタ１４に供給する。換言すれば、演算部１３は、量子化部１２への入力から、量子化部１２からの出力を減算することで、量子化部１２での量子化により生じる量子化誤差-Q(x,y)を求める。

２次元フィルタ１４は、信号をフィルタリングする２次元のフィルタであり、演算部１３からの量子化誤差-Q(x,y)をフィルタリングし、そのフィルタリングの結果を、演算部１１に出力する。

演算部１１では、以上のようにして、２次元フィルタ１４が出力する、量子化誤差-Q(x,y)のフィルタリングの結果と、画素値IN(x,y)とが加算される。

階調変換部１では、量子化誤差-Q(x,y)が、２次元フィルタ１４を介して、入力側（演算部１１）にフィードバックされており、２次元のΔΣ変調器を構成している。

以上のような２次元のΔΣ変調器によれば、例えば、上述したように、２５６階調の画像を階調変換して得られる１６階調の画像において、人が画像を見たときに、視覚的に、１６階調で、２５６階調を表現することができ、良好な画質の画像を得ることができる。

なお、２次元のΔΣ変調器によって、良好な画質の画像への階調変換を行う方法については、例えば、特許文献１に、その詳細が開示されている。

図２は、誤差拡散法による階調変換の処理を行う画素の順番を示している。

階調変換部１に対しては、上述したように、図２に示されるラスタスキャン順に、変換対象画像の画素(x,y)の画素値IN(x,y)が供給される。したがって、階調変換部１では、変換対象画像の画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に、階調変換処理の対象とされる。

図３は、２次元フィルタ１４において、画素(x,y)のフィードバック値の算出に使用される量子化誤差の画素を示す図である。

図３では、変換対象画像の各画素の位置（座標）を、左上の画素（の中心）を基準座標（原点）（０，０）とし、かつ、横軸をx軸とするとともに、縦軸をy軸とする２次元座標系によって表す。なお、隣接する画素どうしの距離は、１であることとする。

２次元フィルタ１４において画素値IN(x,y)に対するフィードバック値を算出する際には、過去の量子化誤差が使用される。具体的には、図３において点線で囲まれた領域が、画素値IN(x,y)に対してフィードバック値を算出するために使用される過去の量子化誤差の領域（量子化誤差使用領域）を示している。画素(x,y)の量子化誤差使用領域に含まれる量子化誤差は、-Q（x-２,y-２）、-Q（x-１,y-２）、-Q（x,y-２）、-Q（x＋１,y-２）、-Q（x＋２,y-２）、-Q（x-２,y-１）、-Q（x-１,y-１）、-Q（x,y-１）、-Q（x＋１,y-１）、-Q（x＋２,y-１）、-Q（x-２,y）および-Q（x-１,y）である。

ところで、最近のテレビジョン受像機、ハードディスクレコーダなどの記録再生装置には、親画像の中に子画像を重畳して２画像（２画面）を同時表示させるピクチャ・イン・ピクチャ画像（PinP画像）を表示できるものがある（例えば、特許文献２参照）。

従来、PinP画像に対して、上述の誤差拡散法による階調変換処理を適用する場合には、図４に示されるような構成が採用されていた。

即ち、図４は、PinP機能と階調変換機能を併用する第１の構成例を示している。

図４では、PinP処理を実行するPinP処理部２１が、階調変換部１の前段に設けられている。PinP処理部２１には、Nビットの画素値の親画像３１Aと子画像３１Bが供給される。PinP処理部２１は、親画像３１Aの一部に子画像３１Bを縮小して重畳したPinP画像を生成し、階調変換部１に出力する。階調変換部１は、各画素がNビットの画素値を有するPinP画像を、Mビットの画像に変換し、出力する。

特許第3959698号 特開2005−123775号公報

しかしながら、図４に示したような構成を採用する場合、以下に説明するような問題が発生する。

図５Aは、PinP画像の表示中で、変換処理対象の画素(x,y)が子画像３１Bの近傍の親画像３１Aの画素である例を示している。一方、図５Bは、図５Aと同位置の画素(x,y)で子画像３１Bがない場合の例を示している。

変換処理対象のの画素(x,y)が、子画像３１Bの近傍の親画像３１Aの画素である場合には、子画像３１Bの有無により、親画像３１Aが同じであっても、２次元フィルタ１４の演算結果（フィルタリングの結果）が異なる。これは、図５AのPiP画像における変換処理対象の画素(x,y)の演算には、子画像３１Bの画素値を用いて計算された量子化誤差が含まれるのに対して、図５Bの親画像３１Aだけの演算には含まれないからである。

この処理の違いにより、PinP機能をオンからオフに切り替えた場合、図６に示されるように、子画像３１Bとの境界付近の親画像３１Aの画素の画素値が変化して見えることになり、ユーザは不自然さを感じる。

上記のような、PinP機能をオンからオフに切り替えた場合に親画像３１Aに不自然さを感じるという問題を解決するためには、図７に示されるような構成を採用する方法がある。即ち、図７は、PinP機能と階調変換機能を併用する第２の構成例を示している。

PinP機能と階調変換機能を併用する第２の構成は、PinP処理を実行するPinP処理部２１の後段に階調変換部１を設けるのではなく、PinP処理部２１の前段に階調変換部１を設ける構成である。

この場合、図７に示されるように、親画像３１Aのための階調変換部１Aと、子画像３１Bのための階調変換部１Bの２つの階調変換部１を設ける必要がある。従って、PinP機能をオンからオフに切り替えた場合に不自然さを感じるという問題は解決できるものの、多くの演算器やメモリを必要とするという別の問題が生じる。

本発明は、このような状況に鑑みてなされたものであり、PinP画像に対して階調変換処理を行う場合に、より簡単な構成で、より自然な画質を得ることができるようにするものである。

本発明の一側面の画像処理装置は、親画像に子画像が重畳されたPinP画像の階調を変換する階調変換手段を備え、前記階調変換手段は、前記PinP画像の前記親画像と前記子画像の境界から所定の領域内側のランダムディザ領域に対して、ランダムディザ法による階調変換を行い、前記ランダムディザ領域以外の領域に対して、誤差拡散法による階調変換を行う。

本発明の一側面の画像処理方法は、親画像に子画像が重畳されたPinP画像の階調を変換する階調変換手段を備える画像処理装置の前記階調変換手段が、前記PinP画像の前記親画像と前記子画像の境界から所定の領域内側のランダムディザ領域に対して、ランダムディザ法による階調変換を行い、前記ランダムディザ領域以外の領域に対して、誤差拡散法による階調変換を行う。

本発明の一側面のプログラムは、コンピュータに、親画像に子画像が重畳されたPinP画像のなかの、前記親画像と前記子画像の境界から所定の領域内側のランダムディザ領域に対して、ランダムディザ法による階調変換を行い、前記ランダムディザ領域以外の領域に対して、誤差拡散法による階調変換を行う処理を実行させる。

本発明の一側面においては、親画像に子画像が重畳されたPinP画像のなかの、親画像と子画像の境界から所定の領域内側のランダムディザ領域に対して、ランダムディザ法による階調変換が行われ、ランダムディザ領域以外の領域に対して、誤差拡散法による階調変換が行われる。

画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、PinP画像に対して階調変換処理を行う場合に、より簡単な構成で、より自然な画質を得ることができる。

[テレビジョン受像機の構成例]
図８は、本発明を適用したテレビジョン受像機（以下、TVと称する）の一実施の形態の構成例を示すブロック図である。

図８のTV４０は、チューナ４１、デマルチプレクサ４２、デコーダ４３、ノイズリダクション部４４、PinP処理部４５、階調変換部４６、表示制御部４７、表示部４８、操作部４９、及び、制御部５０から構成される。

チューナ４１は、例えば、デジタル放送の放送信号を受信し、その放送信号から、トランスポートストリームを復調して、デマルチプレクサ４２に供給する。

デマルチプレクサ４２は、チューナ４１からのトランスポートストリームから、必要なTS(Transport Stream)パケットを分離し、デコーダ４３に供給する。

デコーダ４３は、デマルチプレクサ４２からのTSパケットに含まれる、MPEG(Moving Picture Expert Group)エンコードされたデータをデコードする。これにより、例えば、８ビットの画像（データ）が得られ、ノイズリダクション部４４に供給される。

ノイズリダクション部４４は、デコーダ４３からの８ビットの画像に対して、ノイズリダクション処理を施し、その結果得られる、例えば、１２ビットの画像を、階調変換部４６に供給する。すなわち、ノイズリダクション部４４によるノイズリダクション処理によれば、８ビットの画像が、１２ビットの画像に拡張される。

PinP処理部４５には、制御部５０からPinP機能の実行の有無を表す制御信号が供給される。

PinP機能の実行が指示されている場合、PinP処理部４５には、親画像３１Aの画像信号と子画像３１Bの画像信号の両方が、ノイズリダクション部４４に供給される。親画像３１Aと子画像３１Bのいずれも１２ビットの画像である。

PinP処理部４５は、親画像３１A（図４）の中に子画像３１B（図４）を重畳した１２ビットのPinP画像を生成して、階調変換部４６に供給する。なお、以下では、説明を簡単にするため、子画像３１Bの表示される位置および大きさは固定されて決まっているものとする。

一方、PinP機能が実行されていない場合、PinP処理部４５は、ノイズリダクション部４４から供給される１つの画像（親画像３１A）をそのまま階調変換部４６に供給する。

階調変換部４６は、ノイズリダクション部４４から供給される１２ビットの画像（変換対象画像）を、表示部４８が表示することができるビット数の画像に変換する階調変換を行う。

すなわち、階調変換部４６は、表示制御部４７から、表示部４８が表示することができる画像のビット数その他の必要な情報を取得する。

そして、表示部４８が表示することができる画像のビット数が、例えば、８ビットである場合には、階調変換部４６は、ノイズリダクション部４４からの１２ビットの画像を、８ビットの画像に階調変換し、表示制御部４７に供給する。

表示制御部４７は、表示部４８を制御し、階調変換部４６からの画像を、表示部４８に表示させる。表示部４８は、例えば、LCD(Liquid Crystal Display)や、有機EL(organic Electro Luminescence)等で構成され、表示制御部４７の制御の下、画像を表示する。

操作部４９は、例えば、電源ボタン、チャンネル変更ボタンなどの各種のボタンを備え、ユーザの操作を受け付け、ユーザの操作に対応する操作信号を制御部５０に供給する。また、操作部４９は、図示せぬリモートコントローラから供給される無線の操作信号を受信し、制御部５０に供給する。例えば、リモートコントローラにおいて、ユーザは、PinP機能のオンまたはオフを選択することができ、選択されたPinP機能のオンまたはオフに対応する操作信号が無線により操作部４９に供給される。

制御部５０は、操作部４９から供給される操作信号に応じて、TV４０の各部を制御する。例えば、制御部５０は、ユーザが選択したチャンネルを表す操作信号に基づいて、チューナ４１の受信チャンネルを制御する。また、制御部５０は、ユーザのPinP機能のオンまたはオフの選択に応じて、PinP処理部４５および階調変換部４６にPinP機能のオンまたはオフを表す制御信号（以下、オンオフ信号と称する）を供給する。

[階調変換部４６の構成]
図９は、階調変換部４６の詳細な構成例を示すブロック図である。

階調変換部４６は、演算部７１、量子化部７２、演算部７３、動き検出部７４、重み決定部７５、乗算部７６および７７、ランダムノイズ出力部７８、演算部７９、２次元フィルタ８０、ランダムノイズ出力部８１、並びにスイッチ８２により構成される。

制御部５０から供給されたPinP機能のオンまたはオフを表すオンオフ信号は、階調変換部４６の重み決定部７５とスイッチ８２に入力される。また、重み決定部７５とスイッチ８２には、階調変換部４６に入力される画素値IN(x,y)の位置(x,y)が、処理対象の画素（注目画素）を表す注目画素情報として供給される。

演算部７１には、階調変換の対象の画像として、１２ビットの画像の各画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に供給される。また、演算部７１には、スイッチ８２の出力も供給される。

演算部７１は、画素値IN(x,y)と、スイッチ８２の出力とを加算し、その結果得られる加算値を、量子化部７２、及び、演算部７３に供給する。

量子化部７２は、演算部７１からの加算値を、例えば、８ビットに量子化し、その結果得られる８ビットの量子化値を、階調変換後の画像の画素(x,y)の画素値OUT(x,y)として出力する。

また、量子化部７２が出力する画素値OUT(x,y)は、演算部７３にも供給される。

演算部７３は、演算部７１からの加算値から、量子化部７２からの画素値OUT(x,y)を減算することで、量子化部７２での量子化により生じる量子化誤差-Q(x,y)を求め、乗算部７６に供給する。すなわち、演算部７３は、量子化部７２への入力から、量子化部７２からの出力を減算することで、量子化部７２での量子化により生じる量子化誤差-Q(x,y)を求め、乗算部７６に供給する。

動き検出部７４には、演算部７１に供給されているのと同一の、１２ビットの画像の各画素(x,y)の画素値IN(x,y)が供給される。動き検出部７４は、供給される画像の各画素(x,y)の画素値IN(x,y)を、フレーム単位で記憶（更新）する。そして、動き検出部７４は、供給された画素(x,y)の画素値IN(x,y)と、その１フレーム前の画素値IN₁(x,y)とを比較して、画像（の画素）の動きを検出する。検出された画像の動きは、重み決定部７５に供給される。

重み決定部７５には、制御部５０から、オンオフ信号および注目画素情報が供給される。重み決定部７５は、オンオフ信号および注目画素情報に応じて重みWを決定する。ここで、重みWは、０以上１以下の値（０≦W≦１）である。なお、重み決定部７５は、所定の条件下では、動き検出部７４からの動き検出結果も用いて重みWを決定する。重みWの決定の仕方については、図１２等を参照して後述するが、重みWは、PinP機能オン時とPinP機能がオフされた直後から所定期間だけ０以外の値をとる。重み決定部７５は、１から重みWを引いた差（１−W）を乗算部７６に供給し、重みWを乗算部７７に供給する。

乗算部７６は、演算部７３から供給される量子化誤差-Q(x,y)に重み（１−W）を乗算し、その乗算結果を演算部７９に供給する。乗算部７７は、ランダムノイズを発生して出力するランダムノイズ出力部７８から供給されるランダムノイズに重みWを乗算し、その乗算結果を演算部７９に供給する。

演算部７９は、乗算部７６の出力と、乗算部７７の出力を加算し、その結果得られる加算値を、２次元フィルタ８０に供給する。

ここで、乗算部７６の出力は、-Q(x,y)×（1-w）で表すことができる。一方、乗算部７７の出力は、ランダムノイズ出力部７８が画素(x,y)に対して出力するランダムノイズをRa(x,y)とすると、Ra(x,y)×Wと表すことができる。この場合、演算部７９の出力は、量子化誤差-Q(x,y)とRa(x,y)を所定の比率Wで加算した値であり、演算部７９の出力を-Q’(x,y)とすると、-Q’(x,y)＝-Q(x,y)×（1-w）＋Ra(x,y)×Wと表すことができる。重みWが１である（W=１）場合には、-Q’(x,y)はランダムノイズのみともなるが、以下では、説明の便宜上、-Q’(x,y)を量子化誤差と称して説明する。

２次元フィルタ８０は、信号をフィルタリングする２次元のフィルタであり、演算部７９の出力-Q’(x,y)をフィルタリングし、そのフィルタリングの結果を、スイッチ８２に出力する。なお、２次元フィルタ８０は、演算部７９からの出力-Q’(x,y)に対して、上述した２次元フィルタ１４と同様に、図３の点線で囲まれた量子化誤差使用領域の１２個の量子化誤差-Q’（x-２,y-２）乃至-Q’（x-１,y）を使用する。

ランダムノイズ出力部８１は、ランダムノイズを発生し、スイッチ８２に供給する。なお、ランダムノイズ出力部８１とランダムノイズ出力部７８は、共通化してもよい。

スイッチ８２には、制御部５０から、オンオフ信号および注目画素情報が供給される。スイッチ８２は、オンオフ信号および注目画素情報に応じて、２次元フィルタ８０またはランダムノイズ出力部８１のいずれか一方を選択し、選択した方から入力された値を演算部７１に出力する。具体的には、スイッチ８２は、PinP機能がオンで、かつ、注目画素（処理対象画素）がランダムディザ領域（図１０を参照して後述する）である場合には、ランダムノイズ出力部８１を選択し、それ以外の場合には、２次元フィルタ８０を選択する。

演算部７１は、スイッチ８２が２次元フィルタ８０を選択している場合には、２次元フィルタ１４が出力するフィルタリングの結果と、画素値IN(x,y)とを加算する。一方、スイッチ８２がランダムノイズ出力部８１を選択している場合には、演算部７１は、ランダムノイズ出力部８１が出力するランダムノイズと画素値IN(x,y)とを加算する。

以上のように構成される階調変換部４６においても、量子化誤差-Q’(x,y)が、２次元フィルタ８０を介して、入力側（演算部７１）にフィードバックされており、２次元のΔΣ変調器を構成しているということができる。

[ランダムディザ領域]
図１０は、ランダムディザ領域の例を示している。

枠１０１は、PinP機能がオンされたときの親画像３１Aと子画像３１Bの境界を示している。この枠１０１の内側に、子画像３１Bが表示される。なお、枠１０１は、説明の便宜上、付したものであり、実際の画像（画面）に表示されるものではない。

ランダムディザ領域１０２は、枠１０１から水平方向および垂直方向ともに内側２画素で構成される領域である。ランダムディザ領域１０２は、注目画素(x,y)に対する量子化誤差使用領域で決定される。即ち、本実施の形態では、注目画素(x,y)に対して、水平方向に±２画素、および（過去方向の）垂直方向に２画素の領域が、画素(x,y)のフィードバック値の算出のために使用される。このため、ランダムディザ領域１０２は、枠１０１から水平方向および垂直方向ともに内側２画素で構成される。従って、例えば、注目画素(x,y)に対して、水平方向および垂直方向に３画素の領域が、画素(x,y)のフィードバック値の算出のために使用される場合、ランダムディザ領域１０２は、枠１０１から水平方向および垂直方向ともに内側３画素で構成される。

[スイッチ８２の選択処理]
図１１は、スイッチ８２が、ラスタスキャン順に順次供給される画素(x,y)を注目画素として行う、選択処理を説明するフローチャートである。この処理は、TV４０の電源投入とともに開始され、電源がオフ（スタンバイを含む）されたとき終了する。

初めに、ステップＳ１において、スイッチ８２は、制御部５０からのオンオフ信号に基づいて、PinP機能がオンされたかを判定する。ステップＳ１で、PinP機能がオンされていないと判定された場合、処理はステップＳ２に進み、スイッチ８２は、２次元フィルタ８０を選択する。

一方、ステップＳ１で、PinP機能がオンされたと判定された場合、処理はステップＳ３に進み、スイッチ８２は、注目画素情報に基づいて、注目画素がランダムディザ領域１０２であるかを判定する。

ステップＳ３で、注目画素がランダムディザ領域１０２ではないと判定された場合、処理は上述したステップＳ２に進み、スイッチ８２は、２次元フィルタ８０を選択する。

一方、ステップＳ３で、注目画素がランダムディザ領域１０２であると判定された場合、処理はステップＳ４に進み、スイッチ８２は、ランダムノイズ出力部８１を選択する。

ステップＳ２またはステップＳ４の処理後、ステップＳ５において、スイッチ８２は、選択した方から入力された値を演算部７１に出力する。ステップＳ５の後、処理はステップＳ１に戻り、上述した処理が繰り返し実行される。

以上のように、スイッチ８２は、PinP機能がオンで、かつ、注目画素がランダムディザ領域１０２である場合にのみ、ランダムノイズ出力部８１を選択し、それ以外の場合には、２次元フィルタ８０を選択する。

スイッチ８２においてランダムノイズ出力部８１が選択されている場合、階調変換部４６は、画素値IN(x,y)にランダムノイズ出力部８１が出力するランダムノイズを加算するランダムディザ法による階調変換を行うことになる。

即ち、階調変換部４６は、PinP画像のランダム領域１０２に対して、ランダムディザ法による階調変換を行い、ランダム領域１０２以外の領域に対して、誤差拡散法による階調変換を行う。

次に、重み決定部７５が決定する重みWについて説明する。

重み決定部７５は、ランダムディザ領域１０２以外の画素(x,y)については、常に（PinP機能のオンオフに関わらず）重みWを０に設定する。一方、ランダムディザ領域１０２の画素(x,y)については、図１２に示すように重みWを制御する。

[重みWの制御]
図１２は、ランダムディザ領域１０２の画素(x,y)に対する重みWの値を示す図である。

重み決定部７５は、PinP機能がオンされた場合、重みWを１に設定する。重みWは、PinP機能がオンの間、１のまま変化しない。そして、PinP機能がオフに変更された場合、重み決定部７５は、時間の経過に応じて所定の比率で重みWが小さくなり、所定時間経過後に０となるような、W=at+b（a,bは所定の定数、tは時間）の制御式により、重みWを制御する。

図１２に示される例では、時刻t₁においてPinP機能がオフに変更され、時刻t₁から所定の比率で重みWが小さくなり、所定時間経過後の時刻t₃に重みWが０となっている。

また、重み決定部７５は、重みWが１から０になるまでの間であっても、動き検出部７４から、注目画素において動きが検出された場合、それ以降、重みWを０に設定する。

図１２に示される例では、時刻t₅においてPinP機能がオフに変更され、時刻t₅から所定の比率で重みWが小さくなっているが、時刻t₆において、画素の動きが検出され、時刻t₆以降、重みWが０とされている。

[PinP機能オン変更時の重み制御処理]
図１３は、PinP機能がオンに変更されたときに、重み決定部７５が、ラスタスキャン順に順次供給される画素(x,y)を注目画素として行う重み制御処理を説明するフローチャートである。

初めに、ステップＳ２１において、重み決定部７５は、制御部５０から供給されるオンオフ信号に基づいて、PinP機能がオンされたかを判定する。そして、PinP機能がオンされたと判定されるまで、ステップＳ２１の処理が繰り返される。

ステップＳ２１で、PinP機能がオンされたと判定された場合、ステップＳ２２において、重み決定部７５は、注目画素がランダムディザ領域１０２であるかを判定する。

ステップＳ２２で、注目画素がランダムディザ領域１０２ではないと判定された場合、処理はステップＳ２３に進み、重み決定部７５は、重みWを０に設定する。一方、ステップＳ２２で、注目画素がランダムディザ領域１０２であると判定された場合、処理はステップＳ２４に進み、重み決定部７５は、重みWを１に設定する。

ステップＳ２３またはステップＳ２４の処理後、ステップＳ２５において、重み決定部７５は、オンオフ信号に基づいてPinP機能がオフされたかを判定する。ステップＳ２５で、PinP機能がオフされていないと判定された場合、処理はステップＳ２２に戻り、ステップＳ２２乃至Ｓ２５の処理が繰り返される。

一方、ステップＳ２５で、PinP機能がオフされたと判定された場合、重み制御処理は終了する。

以上のように、図１３の処理によれば、PinP機能がオンされた場合、ランダムディザ領域１０２の画素(x,y)に対しては、重みWが１に設定され、ランダムディザ領域１０２以外の画素(x,y)に対しては重みWが０に設定される。

[PinP機能オフ変更時の重み制御処理]
図１４は、図１３の処理とは反対に、PinP機能がオフに変更されたときに、重み決定部７５が、ラスタスキャン順に順次供給される画素(x,y)を注目画素として行う重み制御処理を説明するフローチャートである。

初めに、ステップＳ４１において、重み決定部７５は、制御部５０から供給されるオンオフ信号に基づいて、PinP機能がオフされたかを判定する。そして、PinP機能がオンされたと判定されるまで、ステップＳ４１の処理が繰り返される。

ステップＳ４１で、PinP機能がオフされたと判定された場合、ステップＳ４２において、重み決定部７５は、注目画素がランダムディザ領域１０２であるかを判定する。

ステップＳ４２で、注目画素がランダムディザ領域１０２ではないと判定された場合、処理はステップＳ４３に進み、重み決定部７５は、重みWを０に設定する。一方、ステップＳ４２で、注目画素がランダムディザ領域１０２であると判定された場合、処理はステップＳ４４に進み、重み決定部７５は、重みWが０であるかを判定する。即ち、重み決定部７５は、注目画素がランダムディザ領域１０２であっても、所定時間が経過したことにより、または、動きが検出されたことにより、重みWがすでに０になっているかを判定する。

ステップＳ４４で、重みWがすでに０となっていると判定された場合、処理は上述したステップＳ４３に進み、重みWが（確認的に）０に設定される。

一方、ステップＳ４４で、重みWがまだ０となっていないと判定された場合、処理はステップＳ４５に進み、重み決定部７５は、制御式W=at+bにより重みWを決定（計算）する。

そして、ステップＳ４６において、重み決定部７５は、注目画素で動きが検出されたか、即ち、動き検出部７４から動きが検出されたことを表す信号が供給されたかを判定する。

ステップＳ４６で、動きが検出されたと判定された場合、処理は上述したステップＳ４３に進み、重みWが０に設定される。一方、ステップＳ４６で、動きが検出されていないと判定された場合、処理はステップＳ４７に進み、重み決定部７５は、重みWを、ステップＳ４５で計算された値に設定する。

ステップＳ４３またはステップＳ４７の処理後、ステップＳ４８において、重み決定部７５は、オンオフ信号に基づいてPinP機能がオンされたかを判定する。ステップＳ４８で、PinP機能がオンされていないと判定された場合、処理はステップＳ４２に戻り、ステップＳ４２乃至Ｓ４８の処理が繰り返される。

一方、ステップＳ４８で、PinP機能がオンされたと判定された場合、重み制御処理は終了する。

以上のように、図１４の処理によれば、ランダムディザ領域１０２以外の画素(x,y)に対しては重みWが常に０とされる。一方、ランダムディザ領域１０２の画素(x,y)に対しては、PinP画像から親画像３１Aのみの画像に変換対象画像が変更された直後、２次元フィルタ８０は、ランダムノイズと量子化誤差を所定の比率（重みW）で加算した値をフィルタリングする。そして、所定時間が経過するか、または、動きが検出された場合、重みWが０に設定され、２次元フィルタ８０は、量子化誤差のみをフィルタリングする。

[動き検出部７４の構成]
図１５は、動き検出部７４の詳細な構成例を示すブロック図である。

動き検出部７４は、フレームバッファ１１１、演算部１１２、及び、判定部１１３により構成される。動き検出部７４には、PinP処理部４５から、１２ビットの画像の各画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に供給される。

フレームバッファ１１１は、１フレーム分の記憶領域を有し、そこに、ラスタスキャン順に供給される各画素(x,y)の画素値IN(x,y)を、古い順に上書きする形で記憶する。

演算部１１２は、注目画素としてPinP処理部４５から供給される画素(x,y)の画素値IN(x,y)と、フレームバッファ１１１から供給される１フレーム前の同位置の画素値IN₁(x,y)との差分を演算する。演算部１１２は、演算の結果得られる差分値を判定部１１３に供給する。

判定部１１３は、演算部１１２から供給される差分値の絶対値を求める。さらに、判定部１１３は、差分値の絶対値が予め設定された所定の閾値以上であるかを判定する。そして、判定部１１３は、差分値の絶対値が所定の閾値以上である場合、注目画素に動きがあったと判定し、差分値の絶対値が所定の閾値より小さい場合、注目画素に動きがないと判定する。判定結果（を表す信号）は、重み決定部７５に供給される。

[動き検出部７４の動き検出処理]
図１６のフローチャートを参照して、動き検出部７４の動き検出処理について説明する。

初めに、ステップＳ６１において、演算部１１２は、注目画素の差分値を演算する。即ち、演算部１１２は、画素(x,y)の画素値IN(x,y)と、１フレーム前の同位置の画素値IN₁(x,y)との差分を演算する。得られた差分値は、判定部１１３に供給される。

ステップＳ６２において、判定部１１３は、演算部１１２から供給された差分値の絶対値を求める。

ステップＳ６３において、判定部１１３は、差分値の絶対値が所定の閾値以上であるかを判定する。ステップＳ６３で、差分値の絶対値が所定の閾値以上であると判定された場合、ステップＳ６４において、判定部１１３は、注目画素に動きがあると判定する。一方、ステップＳ６４で、差分値の絶対値が所定の閾値より小さいと判定された場合、ステップＳ６５において、判定部１１３は、注目画素に動きがないと判定する。

ステップＳ６４またはステップＳ６５の後、ステップＳ６６において、判定部１１３は、注目画素の判定結果を重み決定部７５に出力して、処理を終了する。

以上のように決定された動きの検出結果が、重み決定部７５において、注目画素がランダムディザ領域１０２であるとき参照される。

[重みWの役割]
次に、重み決定部７５によって制御される重みWの役割について説明する。

図４に示した従来の構成では、PinP画像において画素(x,y)が子画像３１Bとの境界付近の親画像３１Aの画素である場合、図５Aを参照して説明したように、子画像３１Bの量子化誤差が、出力となる画素値OUT(x,y)に含まれる。そして、PinP機能がオフとなった瞬間から、同位置の画素(x,y)は、親画像３１Aの量子化誤差のみで演算されることになる（図５B参照）。その結果、ユーザが画像の変化に不自然さを感じることが発生していた（図６参照）。

そこで、階調変換部４６では、図１７に示すように、従来、PinP機能の子画像３１Bの有無により、フィードバック値の計算に用いられる量子化誤差が異なる親画像３１A上の画素の量子化誤差使用領域に対して、ランダムディザ領域１０２が設定されている。

ランダムディザ領域１０２では、PinP機能がオンであるとき、重みW=１となり、ランダムノイズ出力部７８からのランダムノイズRa(x,y)が２次元フィルタ８０に供給される。これにより、注目画素(x,y)が子画像３１B近傍の親画像３１の画素、即ち、フィードバック値の計算に用いられる量子化誤差が異なる親画像３１A上の画素である場合に、子画像３１Bの量子化誤差が、画素値OUT(x,y)の計算に含まれることはない。

しかしながら、PinP機能がオフとなった瞬間から、図１８に示されるように、ランダムノイズ出力部７８からのランダムノイズRa(x,y)を全く使用しないこととすると、従来と同様の問題が生じる。即ち、PinP機能がオフとなった瞬間からランダムノイズRa(x,y)を突然使用しなくなると、図６右側に示したように、子画像３１Bがあった付近の親画像３１Aの画素に変化が見られ、ユーザが不自然さを感じる。

そこで、階調変換部４６は、ランダムディザ領域１０２において、図１９に示すように、PinP機能がオフとなる前の重みW=１から、徐々に、重みWを小さくしてランダムノイズRa(x,y)の比率を少なくする。逆に言うと、階調変換部４６は、親画像３１Aの量子化誤差の比率を大きくする。これにより、子画像３１Bがあった付近の親画像３１Aの画素の変化を自然に見せることができる。

また、階調変換部４６は、親画像３１Aの画素に動きがあった場合には、画素値の変化は、PinP機能オフの影響による画素の変化（不自然な変化）よりも大きくなると考えられるので、重みWを０にリセットする。

なお、ランダムディザ領域１０２の内側では、PinP機能がオンの場合、子画像３１Bのみの量子化誤差を用いて画素(x,y)の画素値OUT(x,y)が計算される。逆に、PinP機能がオフの場合、親画像３１Aのみの量子化誤差を用いて画素(x,y)の画素値OUT(x,y)が計算される。従って、ランダムディザ領域１０２の内側では、画像を見たユーザが不自然さを感じることはない。

以上のように、徐々に、重みWを小さくしてランダムノイズRa(x,y)の比率を少なくすることにより、子画像３１Bがあった付近の親画像３１Aの画素の変化を自然に見せることができる。また、PinP画像に対して階調変換処理を行う場合であっても、図７に示したように、親画像３１Aと子画像３１Bそれぞれについて階調変換部４６を設ける必要はない。従って、より簡単な構成で、より自然な画質を得ることができる。

なお、PinP機能がオフからオンに変更した場合には、親画像３１Aのみの表示のところに、子画像３１Bが表示されることになる。従って、PinP機能がオフからオンに変更した場合には、子画像３１B付近の親画像３１Aに、画素の変化があってもユーザが知覚するのは難しいと考えられる。そのため、上述した例では、PinP機能がオンからオフに変更した場合のみ、重みWが徐々に変化するようになされている。

しかしながら、PinP機能がオフからオンに変更した場合にも、重みWを徐々に変化させるようにしても勿論よい。PinP機能がオフからオンに変更した場合には、重みWの比率を徐々に大きくしてランダムノイズRa(x,y)の比率を大きくする。

また、これまでの説明では、子画像３１Bの表示される位置および大きさは固定されているとして説明したが、子画像３１Bの表示される位置および大きさが変化した場合であっても上述の処理は適用可能である。

例えば、子画像３１Bが所定の位置に所定の大きさで表示された後、ユーザの操作によって、子画像３１Bの位置が移動する場合にも適用可能である。子画像３１Bの位置が移動する場合、移動によって子画像３１Bから親画像３１Aを表示することになる画素は、PinP機能のオフにより、子画像３１Bから親画像３１Aを表示することになる画素と同様に処理することができる。移動によって親画像３１Aから子画像３１Bを表示することになる画素は、PinP機能のオンにより、親画像３１Aから子画像３１Bを表示することになる画素と同様である。

［階調変換部４６のノイズシェーピングの特性の説明］
ところで、スイッチ８２が２次元フィルタ８０を選択し、重みWが０である場合には、図９の階調変換部４６は、実質的には、図１の階調変換部１と同様の構成となる。

しかしながら、図９の階調変換部４６と図１の階調変換部１とは、ノイズシェーピング特性が異なるので、階調変換部４６のノイズシェーピング特性について、以下説明する。

階調変換部４６への入力である画素(x,y)の画素値IN(x,y)と、階調変換部４６からの出力である画素(x,y)の画素値OUT(x,y)とは、以下の式で表される関係を有する。

OUT(x,y)＝IN(x,y)−（１−G）×Q(x,y)・・・・・・・（１）

式（１）において、Gは、２次元フィルタ８０の伝達関数を表す。式（１）によれば、量子化誤差Q(x,y)は、伝達関数（１−G）のノイズシェーピングにより高域に変調される。

階調変換部４６による階調変換後の画像は、最終的には、表示部４８（図８）で表示される。従って、表示部４８に表示される画像の画質を向上させる観点からは、人の視覚の空間周波数特性については、表示部４８で表示される画像の最高の空間周波数までを考慮すればよい。

表示部４８で表示される画像の最高の空間周波数は、表示部４８の解像度と視聴距離とから、cycle/degreeを単位とする空間周波数で得ることができる。ここで、視聴距離は、表示部４８に表示された画像を視聴するときの視聴者から表示部４８までの距離をいう。

なお、表示部４８で表示される画像の最高の空間周波数は、表示部４８の解像度によって決まるので、以下、適宜、解像度に対応する空間周波数ともいう。

表示部４８の垂直方向（縦）の長さをHインチと表すこととすると、視聴距離としては、例えば、2.5Hないし3.0H程度が採用される。

例えば、表示部４８が、いわゆるフルHD(High Definition)の画像を表示する横×縦が1920×1080画素の40インチのサイズを有する場合、表示部４８で表示される画像の最高の空間周波数は、30cycle/degreeとなる。

図２０は、空間周波数の単位であるcycle/degreeを説明する図である。

cycle/degreeは、視野角に対する単位角度の範囲に見える縞模様の数を表す。例えば、10cycle/degreeは、視野角１度の範囲に、白線と黒線のペアが１０ペア見えることを意味し、20cycle/degreeは、視野角１度の範囲に、白線と黒線のペアが２０ペア見えることを意味する。

図２１は、人間の視覚特性、および表示部４８で表示される画像の最高の空間周波数を30cycle/degreeとした場合の、階調変換部４６のΔΣ変調によるノイズシェーピングの振幅特性を示す図である。

特性１２１は、人間の視覚の空間周波数特性（視覚特性）を表す。振幅特性１２２は、従来のJarvis,Judice&Ninkeのフィルタ（以下、Jarvisフィルタと称する）を用いたノイズシェーピングの振幅特性を表す。振幅特性１２３は、従来のFloyd&Steinbergのフィルタ（以下、Floydフィルタと称する）を用いたノイズシェーピングの振幅特性を表す。一方、振幅特性１３１は、２次元フィルタ８０を用いたノイズシェーピングの振幅特性を表す。

横軸は空間周波数ｆ［cycle/degree］を表しており、人間の視覚特性１２１については縦軸がコントラスト感度を表し、ノイズシェーピングの振幅特性１２２、１２３および１３１については縦軸がゲインを表している。

図２１では、人間の視覚特性１２１は、空間周波数ｆが７cycle/degree付近でピーク値となり、30cycle/degreeまで減衰していく。これに対し、階調変換部４６によるノイズシェーピングの振幅特性１３１は、空間周波数ｆが１２cycle/degree付近までマイナス方向に減衰し、その後急峻に立ち上がる曲線となっている。すなわち、振幅特性１３１は、表示部４８が表示することができる画像の空間周波数の最高周波数の略３分の２までの低域成分の量子化誤差を減少させるようになっており、人間の視覚特性１２１に対して十分感度が低い帯域に量子化誤差を変調している。

２次元フィルタ８０によるフィルタリングのフィルタ係数は、人間の視覚特性１２１に基づき、次のように決定される。即ち、表示部４８の解像度に対応する空間周波数以下の周波数帯域において、階調変換部４６によるノイズシェーピングの中域以上の特性が、人間の視覚特性１２１の逆の特性になるように決定される。

図２１の振幅特性１３１は、そのようにしてフィルタ係数が決定されたノイズシェーピングの振幅特性を示している。

図２１の振幅特性１３１、すなわち、階調変換部４６によるノイズシェーピングの振幅特性１３１は、表示部４８の解像度に対応する空間周波数である30 cycle/degreeにおいて、利得が最大になる。また、図２１の振幅特性１３１は、（0 cycle/degreeから）表示部４８の解像度に対応する空間周波数までの周波数帯域のうちの中域以上の特性が、人間の視覚特性１２１の逆の特性（以下、適宜、逆特性ともいう）になっている。換言すれば、中域以上の特性が、いわばHPF（High Pass Filter）の特性になっている。

さらに、階調変換部４６によるノイズシェーピングの振幅特性１３１は、高域で、Floydフィルタを用いたノイズシェーピングの振幅特性１２３よりも急峻に増加する。

したがって、振幅特性１３１を有するノイズシェーピングによれば、階調変換後の画像の画素値OUT(x,y)に含まれる量子化誤差のうちの、人の視覚の感度が低い、より高域の周波数成分は大となる。また、振幅特性１３１を有するノイズシェーピングによれば、人の視覚の感度が高い、7cpd付近を含む中域の周波数成分は小となる。

その結果、階調変換後の画像に、ノイズとしての量子化誤差が視認されることを防止して、見た目の画質を向上させることができる。

なお、ノイズシェーピングの中域以上の振幅特性は、人の視覚の逆特性に、完全に一致している必要はない。すなわち、ノイズシェーピングの中域以上の振幅特性は、人の視覚の逆特性に類似していればよい。

また、ノイズシェーピングの振幅特性は、その全体を、視覚特性１２１の逆の特性とすることができる。

すなわち、図２１の視覚特性１２１によれば、人の視覚の感度が低い周波数成分としては、高域の周波数成分の他に、低域の周波数成分がある。したがって、ノイズシェーピングの振幅特性としては、高域と低域の周波数成分を通過させるような、いわゆるバンドパスフィルタの特性を採用することができる。

但し、ノイズシェーピングの振幅特性として、バンドバスフィルタの特性を採用する場合には、ノイズシェーピングの振幅特性のタップ数が多くなり、装置が大規模化、高コスト化する。

したがって、装置の規模、及びコストの観点等からは、ノイズシェーピングの振幅特性としては、図２１に示した、中域以上の振幅特性が、人の視覚の逆特性のHPFの特性を採用することが望ましい。

なお、図２１において、階調変換部４６によるノイズシェーピングの振幅特性１３１は、高域で、ゲイン1を大きく超えているが、これは、JarvisフィルタやFloydフィルタを用いる場合よりも、高域の量子化誤差を、大きく増幅していることを表す。

また、図２１では、階調変換部４６によるノイズシェーピングの振幅特性１３１は、低域から中域にかけて、ゲインが負になっているが、これにより、２次元フィルタ８０を、少ないタップ数の２次元フィルタで構成することができる。すなわち、より簡単な構成で、より自然な画質を得ることができる。

［２次元フィルタ８０の構成例］
図２２は、図９の２次元フィルタ８０の構成例を示す図である。

２次元フィルタ８０は、量子化誤差記憶部１５１、乗算部１６１乃至１７２、および加算部１８１を有し、FIR（Finite Impulse Response）フィルタを構成している。

いま、重みWが０である場合の階調変換部４６について説明しているので、-Q’(x,y)＝-Q(x,y)である。即ち、演算部７３が出力する量子化誤差-Q(x,y)がそのまま２次元フィルタ８０に供給される。

量子化誤差記憶部１５１は、ΔΣ変調する際に用いる過去の量子化誤差を記憶し、処理対象の画素に応じて複数の過去の量子化誤差を出力する。画素(x,y)の画素値IN(x,y)をΔΣ変調する際、量子化誤差記憶部１５１は、図２２に示される１２個の量子化誤差-Q（x-２,y-２）乃至-Q（x-１,y）を出力する。

乗算部１６１は、量子化誤差記憶部１５１から供給された量子化誤差-Q（x-２,y-２）とフィルタ係数a(1,1)を乗算し、その結果を加算部１８１に出力する。乗算部１６２は、量子化誤差記憶部１５１から供給された量子化誤差-Q（x-１,y-２）とフィルタ係数a(2,1)を乗算し、その結果を加算部１８１に出力する。乗算部１６３は、量子化誤差記憶部１５１から供給された量子化誤差-Q（x,y-２）とフィルタ係数a(3,1)を乗算し、その結果を加算部１８１に出力する。乗算部１６４は、量子化誤差記憶部１５１から供給された量子化誤差-Q（x+１,y-２）とフィルタ係数a(4,1)を乗算し、その結果を加算部１８１に出力する。乗算部１６５は、量子化誤差記憶部１５１から供給された量子化誤差-Q（x+２,y-２）とフィルタ係数a(5,1)を乗算し、その結果を加算部１８１に出力する。

乗算部１６６乃至１７０も同様に、量子化誤差-Q（x-２,y-１）乃至-Q（x＋２,y-１）と、フィルタ係数a(1,2)乃至a(5,2)とを、それぞれ乗算し、その結果を加算部１８１に出力する。乗算部１７１または１７２も、量子化誤差-Q（x-２,y）または-Q（x-１,y）と、フィルタ係数a(1,3)またはa(2,3)とをそれぞれ乗算し、その結果を加算部１８１に出力する。

加算部１８１は、乗算部１６１乃至１７２の出力を加算して、その加算結果を出力する。

［誤差拡散法による階調変調処理］
図２３は、スイッチ８２が２次元フィルタ８０を選択し、重みWが０である場合の階調変換部４６による階調変換処理を説明するフローチャートである。換言すれば、図２３は、誤差拡散法による階調変換を行う階調変換部４６の階調変調処理を説明するフローチャートである。

初めに、ステップＳ８１において、演算部７１は、供給された画素値IN(x,y)と、スイッチ８２の出力（２次元フィルタ８０の出力）とを加算し、その結果得られる加算値を、量子化部７２、及び、演算部７３に供給する。

ステップＳ８２において、量子化部７２は、演算部７１からの加算値を、例えば、８ビットに量子化し、その結果得られる８ビットの量子化値を、階調変換後の画像の画素(x,y)の画素値OUT(x,y)として出力する。即ち、量子化部７２は、演算部７１からの加算値を量子化し、量子化誤差を含む量子化値を、ΔΣ変調の結果（ΔΣ変調による階調変換の結果）として出力する。

ステップＳ８３において、演算部７３は、演算部７１からの加算値から、量子化部７２からの画素値OUT(x,y)を減算することで、量子化部７２での量子化により生じる量子化誤差-Q(x,y)を求める。得られた量子化誤差-Q(x,y)は、乗算部７６および演算部７９を介して２次元フィルタ８０に供給される。なお、量子化部７２からの画素値OUT(x,y)は、演算部７１からの加算値のビット幅と同一のビット幅に逆量子化された後に、演算（減算）される。

ステップＳ８４において、２次元フィルタ８０は、演算部７３からの量子化誤差-Q(x,y)をフィルタリングし、そのフィルタリングの結果を、スイッチ８２に出力する。

ステップＳ８５において、スイッチ８２は、２次元フィルタ８０からの出力を入力側へフィードバックする。即ち、スイッチ８２は、２次元フィルタ８０からの出力を演算部７１に供給する。

階調変換部４６にラスタスキャン順に供給される画像の画素(x,y)の画素値IN(x,y)を、順次注目画素として、上述したステップＳ８１乃至Ｓ８５の処理が繰り返される。

階調変換部４６の２次元フィルタ８０では、フィルタリングのフィルタ係数が、ΔΣ変調によるノイズシェーピングの振幅特性の中域以上の特性が、図２１の振幅特性１３１のように、人間の視覚特性１２１の逆の特性になるように決定される。したがって、ノイズとしての量子化誤差が視認しにくくなるので、階調変換後の画像の見た目の画質を向上させることができる。

なお、階調変換部４６での階調変換の対象となる画像（変換対象画像）が、画素値として、YCbCr等の複数の成分を有する場合には、階調変換処理は、成分ごとに独立して行われる。すなわち、変換対象画像が、画素値として、Y成分、Cb成分、及びCr成分を有する場合には、Y成分のみを対象として、階調変換処理が行われる。同様に、Cb成分のみを対象として、階調変換処理が行われ、Cr成分のみを対象として、階調変換処理が行われる。

以上、本発明を、TVでの階調変換に適用した場合について説明したが、本発明は、TV以外の画像を扱うあらゆる装置での階調変換に適用可能である。

例えば、最近急速に普及しているHDMI(R)(High-Definition Multimedia Interface)では、１０ビットや１２ビット等の画素値を伝送するディープカラー(Deep Color)が規定されている。階調変換部４６による階調変換処理は、そのようなHDMIで伝送されてきた１０ビットや１２ビットの画素値の画像を、８ビット等の画像を表示するディスプレイで表示する場合の階調変換に適用することができる。

また、例えば、Blu-Ray(R)ディスク等のディスクを再生する記録再生装置が、１２ビットの画像を再生し、８ビットの画像を伝送する伝送路を介して、８ビットの画像を表示するディスプレイで、画像を表示させる。このとき、記録再生装置は、階調変換部４６による階調変換処理を行うことによって、１２ビットの画像を８ビットの画像に変換してからディスプレイに伝送する。これにより、ディスプレイでは、擬似的に、１２ビットの画像を表示することができる。

なお、上述した階調変換の処理は、階調変換部４６のように所定のブロックとして装置に組み込まれていてもよいし、単独の装置（画像処理装置）として構成されていてもよい。

上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータ２００の一実施の形態の構成例を示している。

プログラムは、コンピュータ２００に内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータ２００にインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータ２００に無線で転送されてきてもよい。また、プログラムは、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータ２００に有線で転送されてきてもよい。コンピュータ２００では、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。

キーボードや、マウス、マイク等で構成される入力部２０７が、ユーザによって操作等されることにより、コンピュータ２００に指令が入力される。コンピュータ２００は、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。CPU２０２は、入出力インタフェース２１０を介して指令を受け取ると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力する。あるいは、CPU２０２は、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。

プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。したがって、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）としてもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

誤差拡散法による階調変換を行う従来の階調変換部の構成例を示す図である。 階調変換の処理を行う画素の順番を示す図である。 フィードバック値の算出に使用される量子化誤差の画素を示す図である。 PinP機能と階調変換機能を併用する第１の構成例を示す図である。 従来の問題を説明する図である。 従来の問題を説明する図である。 PinP機能と階調変換機能を併用する第２の構成例を示す図である。 本発明を適用したテレビジョン受像機の一実施の形態の構成例を示すブロック図である。 階調変換部の詳細な構成例を示すブロック図である。 ランダムディザ領域の例を示す図である。 選択処理を説明するフローチャートである。 ランダムディザ領域の画素に対する重みWの値を示す図である。 オフ変更時の重み制御処理を説明するフローチャートである。 オン変更時の重み制御処理のフローチャートである。 動き検出部の詳細な構成例を示すブロック図である。 動き検出部の動き検出処理について説明するフローチャートである。 重みWの役割を説明する図である。 重みWの役割を説明する図である。 重みWの役割を説明する図である。 空間周波数の単位であるcycle/degreeを説明する図である。 ノイズシェーピングの振幅特性を示す図である。 ２次元フィルタの構成例を示す図である。 誤差拡散法による階調変換処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

４０ TV， ４５ PinP処理部， ４６ 階調変換部， ７１ 演算部， ７２ 量子化部， ７３ 演算部， ７４ 動き検出部， ７５ 重み決定部， ７８ ランダムノイズ出力部， ８０ ２次元フィルタ， ８１ ランダムノイズ出力部， ８２ スイッチ

Claims (7)

1. 親画像に子画像が重畳されたPinP画像の階調を変換する階調変換手段を備え、
   前記階調変換手段は、
   前記PinP画像の前記親画像と前記子画像の境界から所定の領域内側のランダムディザ領域に対して、ランダムディザ法による階調変換を行い、前記ランダムディザ領域以外の領域に対して、誤差拡散法による階調変換を行う
   画像処理装置。
2. 前記階調変換手段は、
   量子化誤差をフィルタリングするフィルタリング手段と、
   変換対象画像の画素値と、前記フィルタリング手段の出力とを加算する加算手段と、
   前記加算手段の出力を量子化し、前記量子化誤差を含む量子化値を出力する量子化手段と、
   前記加算手段の出力と、前記加算手段の出力の前記量子化値との差分を演算することにより、前記量子化誤差を求める演算手段と、
   ランダムノイズを発生するランダムノイズ発生手段と
   を有し、
   前記フィルタリング手段は、前記PinP画像から前記親画像のみの画像に変換対象画像が変更された直後、前記ランダムディザ領域の画素に対し、前記ランダムノイズと前記量子化誤差を所定の比率で加算した値をフィルタリングする
   請求項１に記載の画像処理装置。
3. 前記ランダムノイズと前記量子化誤差の比率を制御する制御手段をさらに備え、
   前記制御手段は、前記変換対象画像が前記PinP画像から前記親画像のみの画像に変更された直後から、前記ランダムノイズの比率が徐々に小さくなるように制御する
   請求項２に記載の画像処理装置。
4. 前記階調変換手段は、前記変換対象画像の動きを検出する検出手段をさらに備え、
   前記フィルタリング手段は、前記PinP画像から前記親画像のみの画像に表示が変更された直後の前記ランダムディザ領域の画素に対し、前記ランダムノイズと前記量子化誤差を所定の比率で加算している間に、前記検出手段により前記変換対象画像の動きが検出された場合、前記量子化誤差のみのフィルタリングに変更する
   請求項３に記載の画像処理装置。
5. 前記PinP画像を生成するPinP処理手段をさらに備える
   請求項４に記載の画像処理装置。
6. 親画像に子画像が重畳されたPinP画像の階調を変換する階調変換手段を備える画像処理装置の前記階調変換手段が、
   前記PinP画像の前記親画像と前記子画像の境界から所定の領域内側のランダムディザ領域に対して、ランダムディザ法による階調変換を行い、前記ランダムディザ領域以外の領域に対して、誤差拡散法による階調変換を行う
   画像処理方法。
7. コンピュータに、
   親画像に子画像が重畳されたPinP画像のなかの、前記親画像と前記子画像の境界から所定の領域内側のランダムディザ領域に対して、ランダムディザ法による階調変換を行い、前記ランダムディザ領域以外の領域に対して、誤差拡散法による階調変換を行う
   処理を実行させるプログラム。

Images