JP2006222564A - 階調補間回路及び階調補間方法 - Google Patents

Abstract

【課題】映像信号の量子化の粗さに起因して表示画像中のグラデーション領域等に生じる縞模様の境界線（段差）を検出して縞模様を解消する階調補間回路を提供する。
【解決手段】 境界線をもつ画像信号を受け、所定の数式に応じて、境界線に平行な画素と垂直な画素とにより囲まれた領域の画像を、複数のフレームにて階調パタンを変化させることで境界線の前後の領域の画像の更に中間階調を表現するべく、画素値を再構成する階調補間回路。
【選択図】 図２

Description

本発明は、映像信号をデジタル処理する映像信号処理装置に関し、特に表示画像中のグラデーション領域内に生じる縞模様の境界線を解消して自然な階調表現を可能とする階調補間回路及び階調補間方法に関する。

従来、主にパーソナルコンピュータ（以下、ＰＣと略称する）の映像信号処理装置（通称、グラフィック・ボード）では、映像信号を階調８ビットで処理し、最終的に階調６ビットに変換し、減らした２ビットによっていわゆるディザ処理を施してディスプレイに出力することで、８ビット相当の階調表現を実現している。又、デジタル処理によるテレビジョン受像機（以下、ＴＶと略称する）の映像信号処理装置では、映像信号を階調１０ビットで処理し、最終的に階調８ビットに変換し、減らした２ビット分で、例えば魔方陣アルゴリズムと称するディザ（通称、ＦＲＣ：フレーム・レート・コントロール）処理を施してディスプレイに出力することで、１０ビット相当の階調表現を実現している。

しかしながら、上記のような従来の映像信号処理装置では、映像信号の量子化の粗さをディザ処理によって緩和しているものの、緩やかに階調が変化するグラデーション領域では、量子化ビットの切り替わり部分の段差が目立ち、縞模様となって表示されてしまう。

又、これに関連する従来技術として、特許文献１には、ボカシ処理を利用した画像処理であり、輪郭領域と非輪郭領域の間の階調を平均化フィルタでボカシ処理をしており、画像の輪郭について、これを除去する働きを示している。
特開２０００−１３６０７号公報。

しかし、上述した特許文献１の従来技術においては、映像信号中のグラデーション領域において、映像信号の量子化の粗さをボカシ処理により緩和しているものの、量子化ビットの荒さを起因とする、緩やかに階調が変化するグラデーション領域（平坦領域）では、量子化ビットの切り替わり部分の段差が目立ち、縞模様となって表示されてしまうという問題がある。

本発明の目的は、映像信号の量子化の粗さに起因して表示画像中のグラデーション領域等に生じる縞模様の境界線を検出し、縞模様を解消する階調補間回路及び階調補間方法を提供することにある。

本発明の一実施形態は、境界線をもつ画像信号を受け、所定の数式に応じて、前記境界線に平行な画素と垂直な画素とにより囲まれた領域の画像を、複数のフレームにて階調パタンを変化させることで、前記境界線の前後の領域の画像の更に中間階調を表現するべく、画素値を再構成することを特徴とする階調補間回路である。

上記した発明によれば、例えば、境界線をもつグラデーション領域等の画像信号を受けて、階調補間を行なうものである。ここでの、階調補間処理は、境界線を挟んだ平坦領域の画像を境界線を含む位置に配置し、境界線の前後の画像領域の画素値の更に中間階調を表現するために、境界線の左右の領域の画像領域の画素値を再構成するものである。このとき、複数フレームについて、階調パタンを変化させることで、境界線の前後の画像領域の画素値の更に中間階調を表現することが可能となる。これにより、映像信号の量子化の粗さに起因して表示画像中のグラデーション領域内に生じる縞模様の段差を検出し、縞模様を解消することができる階調補間回路及び方法を提供することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

ここで、図１は、本発明に係る階調処理回路の補間処理について説明するための概念図。

図２は、本発明に係る階調補間回路の構成の一例を示すブロック図、図３は、本発明に係る階調補間回路で行なわれる第１の階調補間処理の一例を示す説明図、図４は、同じく第２の階調補間処理の一例を示す説明図、図５は、同じく第３の階調補間処理の一例を示す説明図、図６は、同じく第４の階調補間処理の一例を示す説明図、図７は、同じく第５の階調補間処理の一例を示す説明図、図８は、同じく第６の階調補間処理の一例を示す説明図、図９は、同じく第７の階調補間処理の一例を示す説明図、図１０は、同じく第８の階調補間処理の一例を示す説明図、図１１は、同じく第９の階調補間処理の一例を示す説明図、図１２は、同じく第１０の階調補間処理の一例を示す説明図である。

＜本発明に係る階調補間回路の構成の一例＞
初めに、図１及び図２を参照して、本発明に係る階調補間回路の概要を説明する。今、図１に示すように、ディスプレイ装置の画面Ｄの中央部に、背景色に対して僅かに明るい楕円の縞が映し出されていた場合を想定する。明るさの違いは１階調（量子化８ビットの場合はダイナミックレンジの１／２５６）とすると、明るい所と暗い所の境界線の水平部分の信号を拡大すると、拡大部Ｄ１に示すような１階調の段差になっている。境界線部分の位置と明るさの傾斜は、図２の水平検出部Ａ５及び垂直検出部Ａ６の各傾斜検出機能により得られるものである。この境界線部分に対して、テレビ画面Ｄの例では、境界線部分で画面左から右に向かって暗い方に傾斜している。これに対して、フレーム単位で境界線の位置を左右に振るように、階調補間処理を施すものである。

すなわち、図１の信号Ｆ０〜Ｆ５のタイミングチャートに示すように、原信号Ｆ０に対して、１フレーム目、２フレーム目、３フレーム目、４フレーム目の４フレーム周期で境界線の位置を左右に振るものである。これにより、ユーザがテレビ画面等を見た場合には、視覚的には４フレーム合成後の視覚的イメージとなり、１／４階調ずつの細かい階調表現がなされているように視覚的に感じるものである。この例の場合、信号処理が８ビットであるが、境界線付近では１０ビットの表現が可能である。このような操作を水平方向、垂直方向の境界線部分全体に施すことにより、量子化によって発生した縞模様を目立たなくすることができる。

このための階調処理回路１の構成の一例が、図２に示されている。図２において、外部から与えられたＲＧＢ信号は、水平画素値比較回路Ａ１、垂直画素値比較回路Ａ２、１Ｈ遅延線Ａ３、ＲＧＢフレームメモリ回路Ａ４のそれぞれに入力される。

水平画素値比較回路Ａ１では、隣り合う２画素の画素値について遂次比較を行う。水平検出回路Ａ５は、比較回路Ａ１１の比較結果を用いて、水平平坦領域、水平境界線、水平傾斜のそれぞれを検出する。具体的には、比較回路Ａ１で比較された画素値の差が一定範囲内にある領域を水平平坦領域（グラデーション領域）として検出し、この検出領域の水平方向の境界線を求める。そして、境界線前後の領域の画素値の差または変化の度合い（傾斜）が規定範囲内にある場合には、水平方向の境界線をグラデーション領域内の段差と判定し、規定範囲から外れる場合には別領域の境界線と判定する。

一方、垂直画素値比較回路Ａ２では、ＲＧＢ信号の直接入力と１Ｈ遅延されたＲＧＢ信号とを取り込んで垂直方向に並ぶ２画素の画素値について遂次比較を行う。垂直検出回路Ａ６は、比較回路Ａ２の比較結果を用いて、垂直平坦領域、垂直境界線、垂直傾斜のそれぞれを検出する。具体的には、比較回路Ａ２で比較された画素値の差が一定範囲内にある領域を垂直平坦領域として検出し、この検出領域の垂直方向の境界線を求める。そして、境界線前後の画素値の差または変化の度合い（傾斜）が規定範囲内にある場合には、垂直方向の境界線をグラデーション領域内の段差と判定し、規定範囲から外れる場合には別領域の境界線と判定する。

上記ＲＧＢフレームメモリ回路Ａ４は入力したＲＧＢ信号を１フレーム遅延することで、上記の比較・検出処理に要する時間を確保する。ここで１フレーム遅延されたＲＧＢ信号は、水平境界階調補間回路Ａ７及び垂直境界階調補間回路Ａ８を介して階調処理回路２１５から出力され、ビット変換回路２１６に送られる（図１３、図１４参照）。

ここで、上記水平境界階調補間回路Ａ７は、上記水平検出回路Ａ５で平坦領域内の境界線がグラデーション（平坦）領域内の段差（境界線）であると判定された場合に、その境界線前後で図１で示したような階調補間処理を施して、境界線部分の段差を目立たなくする。同様に、上記垂直境界階調補間回路Ａ８は、上記垂直検出回路Ａ６で平坦領域内の境界線がグラデーション領域内の段差であると判定された場合に、その境界線前後で図１で示したような階調補間処理を施して、境界線部分の縞模様を目立たなくさせるものである。

以上の処理により、グラデーション領域内に生じる縞模様の段差（境界線）を絵柄のよる境界線と区別して検出することができ、この境界線部分が目立たなくなるような階調補間処理を行うものである。

このような階調処理回路１は、ＰＣに搭載したり、後述する映像信号処理装置、テレビジョン受信機等に応用することが可能であり、映像信号の量子化の粗さに起因して表示画像中のグラデーション領域内に生じる縞模様の段差を検出することができ、境界線部分の画素値の差、傾斜情報を取得することができるので、適切な階調補間を施して段差部分を目立たないようにすることができる。

尚、上記実施形態ではＲＧＢ信号で階調処理される場合について説明としたが、ＹＵＶの輝度信号、色差信号の段階で行っても同様の効果を得られることは言うまでもない。

なお、ここで、図２の水平境界階調補間部Ａ７及び垂直境界階調補間部Ａ８において、以下のような階調補間処理が行なわれるわけだが、水平境界階調補間部Ａ７及び垂直境界階調補間部Ａ８は、これらの階調補間処理のどれか一つを任意に行なうことが可能である。しかし、これらの複数を回路構成又はプログラム等として保有しており、例えば、水平検出回路Ａ５や垂直検出回路Ａ６の傾斜検出機能において検出した傾斜の程度に応じて、これらの実施形態のどれか一つを選択して所望の傾斜を実現することが好適である。しかしこの方法に限定されるものではなく、どれか一つの実施形態を用意することでも、フレーム単位の境界線の階調補正が可能となる。

（第１実施形態）
初めに、図３に示すような階調補間処理の第１実施形態の一例を示す。この処理は、図１４の水平境界階調補間部Ａ１７又は垂直境界階調補間部Ａ１８においてなされるものである。ここで、２^ｍ−１≧ｎの関係をもつ整数ｍ及び整数ｎを用いて表される場合、水平検出回路Ａ１５及び垂直検出回路Ａ１６が検出した境界線と平行な方向の２^ｎ画素と、この境界線に垂直な方向の２^ｎ画素で囲まれた画素領域を、境界線を含む位置に境界線と垂直な方向に（２^ｍ−１）個連続して配置し、それぞれの２^ｎ×２^ｎの画素領域は、前記境界線の前後の画素値を用いてそれぞれ２^ｍフレームで２^ｍ段階の階調表現ができるようにするものである。ここでは、境界線に接した画像領域の画素値の差に応じて、各画像領域の画素値を決定するものである。

すなわち、ｎ＝１、ｍ＝１とした場合は、水平検出回路Ａ１５及び垂直検出回路Ａ１６が検出した境界線と平行な方向の２画素とこの境界線に垂直な方向の２画素で囲まれた画素領域を、境界線の前後の画素値を用いてそれぞれ２フレームで２段階の階調表現ができるようにするものである。ここでは、境界線に接した画像領域の画素値の差に応じて、各画像領域の画素値を決定するものである。

このように、この階調補間処理によって、２フレーム周期で階調パタンを変化させることにより、映像信号本来の階調性を超える２階調を表現することができるため、ユーザが画面を見た際の不自然な段差を解消することが可能となる。

（第２実施形態）
同様に、図４が示す第２実施形態においては、第１実施形態において、ｎ＝１、ｍ＝２とした場合の階調補正の例を示している。同様に、この方法では、４フレーム周期で階調パタンを変化させることにより４階調を表現することで、不自然な段差を解消することが可能となる。

（第３実施形態）
同様に、図５が示す第３実施形態においては、第１実施形態において、ｎ＝２、ｍ＝１とした場合の階調補正の例を示している。同様に、この方法では、２フレーム周期で階調パタンを変化させることにより２階調を表現することで、不自然な段差を解消することが可能となる。

（第４実施形態）
同様に、図６が示す第４実施形態においては、第１実施形態において、ｎ＝２、ｍ＝２とした場合の階調補正の例を示している。同様に、この方法では、４フレーム周期で階調パタンを変化させることにより４階調を表現することで、不自然な段差を解消することが可能となる。

（第５実施形態）
次に、図７が示す第５実施形態において説明する。ここで、境界線と平行な方向の（２^ｎ＋１）画素と境界線に垂直な方向の２^ｎ画素で囲まれた画素領域を、境界線を含む位置に配置し、（２^ｎ＋１）×２^ｎで囲まれた領域の画素値を境界線に平行な画素列が（２^ｎ＋１）フレームで（２^ｎ＋１）段階の階調表現ができるように、境界線に接した画像領域の画素値の差に応じて、各画像領域の画素値を決定することにより行なわれる階調補間処理である。

すなわち、ここで、ｎ＝１とした場合、図７に示すように、境界線と平行な方向の３画素と境界線に垂直な方向の２画素で囲まれた画素領域を、境界線を含む位置に配置し、６画素で囲まれた領域の画素値を境界線に平行な画素列が３フレームで３段階の階調表現ができるように、境界線に接した画像領域の画素値の差に応じて、各画像領域の画素値を決定することにより行なわれる階調補正である。これにより、３フレーム周期で階調パタンを変化させることにより３階調を表現することができる。

（第６実施形態）
更に、図８が示す第６実施形態においては、第５実施形態の手法において、ｎ＝２とした場合の階調補間処理が示されている。ここでは、図８に示されるように、５フレーム周期で階調パタンを変化させることにより５階調を表現することができる。

（第７実施形態）
次に、図９が示す第１０実施形態について、説明する。ここで、境界線と平行な方向の（ｎ＋１）画素と境界線に垂直な方向のｎ画素で囲まれた画素領域を、境界線を含む位置に配置し、（ｎ＋１）×ｎ画素で囲まれた領域の画素値を境界線に平行な画素列が（ｎ＋１）フレームで（ｎ＋１）階調表現ができるように、境界線の前後の画素値の差に応じて、各画像領域の画素値を決定するものである。ここで、ｎ＝１とすることにより、２フレーム周期で階調パタンを変化させることにより２階調の表現を行なうことができる。

できる。

（第８実施形態）
更に、図１０が示す第８実施形態においては、第７実施形態の手法において、ｎ＝３とした場合の階調補間処理が示されている。ここでは、図１０に示されるように、４フレーム周期で階調パタンを変化させることにより４階調を表現することができる。

（第９実施形態）
更に、図１１が示す第９実施形態においては、境界線と平行な方向の１画素と境界に垂直な方向のｎ画素とで囲まれた画素領域を境界を含む一に配置し、１×ｎ画素で囲まれた領域の画素値を境界に平行な画素列が（ｎ＋１）フレームで（ｎ＋１）階調表現できるように境界の前後の画素値の差に応じて、各画素領域の画素値を決定するものである。ここで、ｎ＝１とした場合の階調補間処理が示されている。ここでは、図１１に示されるように、２フレーム周期で階調パタンを変化させることにより２階調を表現することができる。

（第１０実施形態）
次に、図１２が示す第１０実施形態を説明する。ここで、第９実施形態の手法において、ｎ＝２とすることにより、図１２に示すように、３フレーム周期で階調パタンを変化させ３階調を表現することが可能となる。

なお、上記に示してきた各実施形態は、明るさの階調が左から右に変化している場合について示しているが、明るさが右から左、上から下、下から上に変化している場合も同様に扱えることは言うまでもない。

又、各実施形態の画像配列における画素パタン例は、一例であり、複数フレームの平均値で所望の階調を表現できるパタンであれば同等の効果を得られることは言うまでもない。

このように、本発明の一実施形態にかかる階調補間処理を施すことにより、与えられた映像信号の階調性以上の階調表現が可能となるため、これにより、従来量子化の粗さに起因して発生していた縞模様を目立たない状態で画面等に表示させることが可能となる。

＜映像信号処理装置の一実施形態＞
次に、上述した図２に示すような本発明に係る階調補間回路１を、例えばＴＶ放送受信対応ＰＣ等の映像信号処理装置に適用した場合について、図面を用いて詳細に説明する。

（構成）
図１３は、本発明が適用される、映像信号処理装置の一実施形態であるＴＶ放送受信対応ＰＣの全体構成を示すブロック図である。図１３において、ＴＶ放送受信部１１が示され、ＴＶ放送受信部１１では、ユーザ指定のチャンネル番組を受信してＴＶ信号を復調し、映像信号と音声信号を分離する。このうち映像信号はスイッチ１２を介してビデオデコーダ１３に送られる。尚、スイッチ１２は、ＴＶ映像信号と他の映像再生機器（例えばＤＶＤプレーヤ等）からの映像信号を選択するためのものである。

ビデオデコーダ１３は、入力映像信号をベースバンド信号（ＹＵＶ）に変換してデジタル化する。このとき、映像信号を８ビットで階調表現する。このデジタル映像信号はＰＣＩバス１４を介してサウスブリッジ１５に送られる。このサウスブリッジ１５は、ハードディスク装置（ＨＤＤ）１６、光ディスク装置（ＯＤＤ）１７等を収容し、これらの装置の記録媒体に制御命令に従って入力データの書き込み・読み出しを実行する。サウスブリッジ１５はノースブリッジ１８に接続されており、このノースブリッジ１８はＣＰＵ（演算処理装置）１９及びメインメモリ２０によるソフトウェア処理によってサウスブリッジ１５のデータ処理を制御する。すなわち、サウスブリッジ１５に入力された映像信号は、ノースブリッジ１８からの制御命令に基づいてノースブリッジ１８に送られ、ソフトウェアによる画像処理が施された後、グラフィック処理部２１に送られる。

このグラフィック処理部２１に入力された映像信号は、正方スケーラ回路２１１でピクセル形状が整えられ、ＹＵＶ／ＲＧＢ変換回路２１２で信号形式が変換され、画質調整回路２１３で画質バランスが調整され、αブレンド／スケーラ回路２１４で画像サイズがディスプレイサイズに合わせて変更された後、本発明に係る階調処理回路２１５で適宜階調の補正が施される。この階調処理回路２１５から出力される映像信号は、ビット変換回路２１６でデータサイズが６ビットに変更され、Ｄ／Ａ変換部２２を経由してディスプレイ装置２３に送られる。

すなわち、上記構成によるグラフィック処理部２１では、従来と同様に、映像信号処理を８ビットで行い、出力のところで６ビットに変換するようにし、削減された２ビットにて出力映像信号に例えばディザを加えて、階調表現として８ビット相当としている。従って、擬似的ではあるが、実際に最大表現可能な階調はＲＧＢ各８ビット相当に留まる。このとき、量子化の粗さに起因して表示画像中のグラデーション領域内に縞模様の段差を生じる。そこで、本発明では、階調処理回路２１５において、表示画像中のグラデーション領域内に生じる縞模様の段差を検出し、この段差が目立たなくなるように適切な補正を施すようにしている。

図１４は上記階調処理回路２１５の具体的な構成を示すブロック図である。この階調処理回路２１５は、図２に述べた階調処理回路１とほぼ同等のものである。尚、図１４において、入力映像信号の信号形態はＲＧＢの３種類であるが、ここでは説明を簡単にするため、あたかも一つの信号であるかのように説明を行うものとする。

図１４において、αブレンド・スケーラ回路２１４から出力されたＲＧＢ信号は、水平画素値比較回路Ａ１１、垂直画素値比較回路Ａ１２、１Ｈ遅延線Ａ１３、ＲＧＢフレームメモリ回路Ａ１４のそれぞれに入力される。

水平画素値比較回路Ａ１１では、隣り合う２画素の画素値について遂次比較を行う。水平検出回路Ａ１５は、比較回路Ａ１１の比較結果を用いて、水平平坦領域、水平境界線、水平傾斜のそれぞれを検出する。具体的には、比較回路Ａ１１で比較された画素値の差が一定範囲内にある領域を水平平坦領域（グラデーション領域）として検出し、この検出領域の水平方向の境界線を求める。そして、境界線前後の画素値の差または変化の度合い（傾斜）が規定範囲内にある場合には、水平方向の境界線をグラデーション領域内の段差と判定し、規定範囲から外れる場合には別領域の境界線と判定する。

一方、垂直画素値比較回路Ａ１２では、ＲＧＢ信号の直接入力と１Ｈ遅延されたＲＧＢ信号とを取り込んで垂直方向に並ぶ２画素の画素値について遂次比較を行う。垂直検出回路Ａ１６は、比較回路Ａ１２の比較結果を用いて、垂直平坦領域、垂直境界線、垂直傾斜のそれぞれを検出する。具体的には、比較回路Ａ１２で比較された画素値の差が一定範囲内にある領域を垂直平坦領域として検出し、この検出領域の垂直方向の境界線を求める。そして、境界線前後の画素値の差または変化の度合い（傾斜）が規定範囲内にある場合には、垂直方向の境界線をグラデーション領域内の段差と判定し、規定範囲から外れる場合には別領域の境界線と判定する。

上記ＲＧＢフレームメモリ回路Ａ１４は入力したＲＧＢ信号を１フレーム遅延することで、上記の比較・検出処理に要する時間を確保する。ここで１フレーム遅延されたＲＧＢ信号は、水平境界階調補間回路Ａ１７及び垂直境界階調補間回路Ａ１８を介して階調処理回路２１５から出力され、ビット変換回路２１６に送られる。

ここで、上記水平境界階調補間回路Ａ１７は、図２について先に詳述したように、上記水平検出回路Ａ１５で平坦領域内の境界線がグラデーション（平坦）領域内の段差（境界線）であると判定された場合に、その境界線前後で先に詳述した階調補間処理を施して、境界線部分の段差を目立たなくする。同様に、上記垂直境界階調補間回路Ａ１８は、上記垂直検出回路Ａ１６で平坦領域内の境界線がグラデーション領域内の段差であると判定された場合に、その境界線前後で先に詳述した階調補間処理を施して、境界線部分の縞模様を目立たなくさせるものである。

なお、図１３の実施形態では、ＴＶ放送受信部をアナログ放送受信部として説明をしたが、デジタル放送に対しても同等の効果をえられることは言うまでもない。

以上の処理により、例えばＴＶ放送受信対応ＰＣ等の映像信号処理装置に適用した場合においても同様に、グラデーション領域内に生じる縞模様の段差（境界線）を絵柄のよる境界線と区別して検出することができ、この境界線部分が目立たなくなるように後述するように階調補間処理を行うものである。

（平坦領域検出処理・境界線検出処理）
次に、本発明に係る階調処理方法における、平坦領域検出処理・境界線検出処理について、特にフローチャートを用いて詳述する。図１５Ａ〜図１５Ｄは、それぞれ上記階調処理回路２１５の水平画素値比較回路Ａ１１、水平検出回路Ａ１５、垂直画素値比較回路Ａ１２、垂直検出回路Ａ１６による平坦領域検出処理・境界線検出処理をソフトウェア処理で実現する場合のアルゴリズムを示すフローチャートである。図１５Ａ及び図１５Ｂは水平方向のグラデーション段差検出処理、図１５Ｃ及び図１５Ｄは垂直方向のグラデーション段差検出処理の実施例である。ここでは、条件としてＲＧＢフレームメモリ回路Ａ１４に画像データが格納されているものとし、画像空間は水平Ｘ画素、垂直Ｙ画素とする。又、表記の例として、“ｉ，ｊ”はそれぞれメモリの水平、垂直アドレスを示し、（ｉ，ｊ）はアドレス“ｉ，ｊ”の画素値を表し、ｓは階調ステップ数、メモリＡは水平方向同一階調エリアの記憶メモリ、メモリＢは下り水平方向境界線記憶メモリ、メモリＣは上り方向境界線記憶メモリ、メモリＤは垂直方向同一階調エリアの記憶メモリ、メモリＥは下り垂直方向境界線記憶メモリ、メモリＦは上り方向境界線記憶メモリを意図している。

まず、水平方向のグラデーション段差検出処理について説明する。グラデーション段差検出とは、平坦領域（グラデーション領域）を検出し、更に、その中の段差（境界線）を検出するものである。

図１５Ａ及び図１５Ｂにおいて、ステップＳＨ１１として画像取り込みがスタートすると、まずステップＳＨ１２では、フレーム画像の水平方向に隣接する２画素（ｉ，ｊ），（ｉ＋１，ｊ）を取り込む。尚、スタート画素アドレスは“１，１”とする。続いて、ステップＳＨ１３では、（ｉ，ｊ）＝（ｉ＋１，ｊ）か否かを判断し、ＮＯならばステップＳＨ１５に進み、ＹＥＳならばステップＳＨ１４に進む。ステップＳＨ１４では、同一階調エリア検出用に確保してある画像空間と一致する水平Ｘ、垂直ＹのメモリＡに対し、アドレス“ｉ，ｊ”と“ｉ＋１，ｊ“の両方にｂｉｔ＝１を立てて、ステップＳＨ１５に進む。

ステップＳＨ１５では、（ｉ，ｊ）＝（ｉ＋１，ｊ）＋ｓか否かを判断し、ＮＯならばステップＳＨ１７に進み、ＹＥＳならばステップＳＨ１６に進む。ステップＳＨ１６では、下り水平方向境界線検出用に確保してある画像空間と一致する水平Ｘ、垂直ＹのメモリＢに対し、アドレス“ｉ，ｊ”にｂｉｔ＝１を立てて、ステップＳＨ１７に進む。

ステップＳＨ１７では、（ｉ，ｊ）＝（ｉ＋１，ｊ）−ｓか否かを判断し、ＮＯならばステップＳＨ１９に進み、ＹＥＳならばステップＳＨ１８に進む。ステップＳＨ１８では、上り水平方向境界線検出用に確保してある画像空間と一致する水平Ｘ、垂直ＹのメモリＣに対し、アドレス“ｉ，ｊ”にｂｉｔ＝１を立てて、ステップＳＨ１９に進む。

ステップＳＨ１９では、ｉ＝Ｘに達したか否かを判断し、達していなければ（ＮＯ）、ステップＳＨ２０にて、ｉをインクリメントして次の水平画素取り込みのためのステップＳＨ１２に戻る。ｉ＝Ｘに達していれば（ＹＥＳ）、ステップＳＨ２１に移行してｊ＝Ｙに達したか否かを判断し、達していなければ（ＮＯ）、ステップＳＨ２２にて、ｊをインクリメントして次の水平画素列取り込みのためのステップＳＨ１２に戻る。

上記ステップＳＨ２１でｊ＝Ｙに達している場合には（ＹＥＳ）、ステップＳＨ２３に進む。ステップＳＨ２３では、メモリＡにおいて、ｂｉｔ＝１が連続しているかを調べる。続いてステップＳＨ２４ではｂｉｔ＝１がｋ個以上連続しているか否かを判断する。ｋ個以上連続していれば（ＹＥＳ）、ステップＳＨ２６に進み、連続していない場合には（ＮＯ）、ステップＳＨ２５にて、メモリＡのｋ個未満のビット列のｂｉｔ＝１をｂｉｔ＝０に置き換えてステップＳＨ２６に進む。

ステップＳＨ２６では、ｉ＝Ｘに達したか否かを判断し、達していなければ（ＮＯ）、ステップＳＨ２７にて、ｉをインクリメントして次のステップＳＨ２３に戻る。ｉ＝Ｘに達していれば（ＹＥＳ）、ステップＳＨ２８に移行してｊ＝Ｙに達したか否かを判断し、達していなければ（ＮＯ）、ステップＳＨ２９にて、ｊをインクリメントして次の水平画素列に進んでステップＳＨ２３に戻る。

上記ステップＳＨ２８でｊ＝Ｙに達している場合には（ＹＥＳ）、ステップＳＨ３０に進み、平坦なエリア領域と境界線アドレスが一致しているかを調べる。ここで、ステップＳＨ３１において、メモリＢでｂｉｔ＝１が立っているアドレスに対してメモリＡで同じアドレスに水平アドレス１を加えたアドレスでｂｉｔ＝１が立っているか否かを判断する。ｂｉｔ＝１が立っていれば（ＹＥＳ）ステップＳＨ３３に進み、立っていなければ（ＮＯ）、ステップＳＨ３２にて、メモリＢのｂｉｔ＝１をｂｉｔ＝０に置き換えてステップＳＨ３３に進む。ステップＳＨ３３では、メモリＢで１が立っている全てのアドレスについてメモリＡと比較したか否かを判断する。全て比較していない場合には（ＮＯ）ステップＳＨ３１に戻り、全て比較した場合には（ＹＥＳ）ステップＳＨ３４に進む。

ステップＳＨ３４では、メモリＣでｂｉｔ＝１が立っているアドレスに対してメモリＡで同じアドレスに水平アドレス１を加えたアドレスでｂｉｔ＝１が立っているか否かを判断する。ｂｉｔ＝１が立っていれば（ＹＥＳ）ステップＳＨ３６に進み、立っていなければ（ＮＯ）、ステップＳＨ３５にて、メモリＣのｂｉｔ＝１をｂｉｔ＝０に置き換えてステップＳＨ３６に進む。ステップＳＨ３６では、メモリＣで１が立っている全てのアドレスについてメモリＡと比較したか否かを判断する。全て比較していない場合には（ＮＯ）ステップＳＨ３４に戻り、全て比較した場合には（ＹＥＳ）ステップＳＨ３７に進む。

ステップＳＨ３７では、メモリＢ，Ｃの内容を水平境界階調補正回路Ａ１７に通知し、ステップＳＨ３８で次の画像を取り込んでステップＳＨ１２に戻る。これにより、第1実施形態乃至第１０実施形態で詳述したような水平方向のグラデーション段差検出処理が完了する。

次に、垂直方向のグラデーション段差検出処理について説明する。同様に、垂直方向のグラデーション段差検出とは、フレーム画像を垂直方向に、平坦領域（グラデーション領域）を検出し、更に、その中の段差（境界線）を検出するものである。

図１５Ｃ及び図１５Ｄにおいて、ステップＳＶ１１として画像取り込みがスタートすると、まずステップＳＶ１２では、フレーム画像の垂直方向に隣接する２画素（ｉ，ｊ），（ｉ，ｊ＋１）を取り込む。尚、スタート画素アドレスは“１，１”とする。続いて、ステップＳＶ１３では、（ｉ，ｊ）＝（ｉ，ｊ＋１）か否かを判断し、ＮＯならばステップＳＶ１５に進み、ＹＥＳならばステップＳＶ１４に進む。ステップＳＶ１４では、同一階調エリア検出用に確保してある画像空間と一致する水平Ｘ、垂直ＹのメモリＤに対し、アドレス“ｉ，ｊ”と“ｉ，ｊ＋１“の両方にｂｉｔ＝１を立てて、ステップＳＶ１５に進む。

ステップＳＶ１５では、（ｉ，ｊ）＝（ｉ，ｊ＋１）＋ｓか否かを判断し、ＮＯならばステップＳＶ１７に進み、ＹＥＳならばステップＳＶ１６に進む。ステップＳＶ１６では、下り垂直方向境界検出用に確保してある画像空間と一致する水平Ｘ、垂直ＹのメモリＥに対し、アドレス“ｉ，ｊ”にｂｉｔ＝１を立てて、ステップＳＶ１７に進む。

ステップＳＶ１７では、（ｉ，ｊ）＝（ｉ，ｊ＋１）−ｓか否かを判断し、ＮＯならばステップＳＶ１９に進み、ＹＥＳならばステップＳＶ１８に進む。ステップＳＶ１８では、上り垂直方向線検出用に確保してある画像空間と一致する水平Ｘ、垂直ＹのメモリＦに対し、アドレス“ｉ，ｊ”にｂｉｔ＝１を立てて、ステップＳＶ１９に進む。

ステップＳＶ１９では、ｊ＝Ｙに達したか否かを判断し、達していなければ（ＮＯ）、ステップＳＶ２０にて、ｊをインクリメントして次の垂直水平画素取り込みのためのステップＳＶ１２に戻る。ｊ＝Ｙに達していれば（ＹＥＳ）、ステップＳＶ２１に移行してｉ＝Ｘに達したか否かを判断し、達していなければ（ＮＯ）、ステップＳＶ２２にて、ｉをインクリメントして次の垂直画素列取り込みのためのステップＳＶ１２に戻る。

上記ステップＳＶ２１でｉ＝Ｘに達している場合には（ＹＥＳ）、ステップＳＶ２３に進む。ステップＳＶ２３では、メモリＤにおいて、ｂｉｔ＝１が連続しているかを調べる。続いてステップＳＶ２４ではｂｉｔ＝１がｋ個以上連続しているか否かを判断する。ｋ個以上連続していれば（ＹＥＳ）、ステップＳＶ２６に進み、連続していない場合には（ＮＯ）、ステップＳＶ２５にて、メモリＤのｋ個未満のビット列のｂｉｔ＝１をｂｉｔ＝０に置き換えてステップＳＶ２６に進む。

ステップＳＶ２６では、ｊ＝Ｙに達したか否かを判断し、達していなければ（ＮＯ）、ステップＳＶ２７にて、ｊをインクリメントして次のステップＳＶ２３に戻る。ｊ＝Ｙに達していれば（ＹＥＳ）、ステップＳＶ２８に移行してｉ＝Ｘに達したか否かを判断し、達していなければ（ＮＯ）、ステップＳＶ２９にて、ｉをインクリメントして次の垂直画素列に進んでステップＳＶ２３に戻る。

上記ステップＳＶ２８でｉ＝Ｘに達している場合には（ＹＥＳ）、ステップＳＶ３０に進み、平坦なエリア領域と境界線アドレスが一致しているかを調べる。ここで、ステップＳＶ３１において、メモリＥでｂｉｔ＝１が立っているアドレスに対してメモリＤで同じアドレスに垂直アドレス１を加えたアドレスでｂｉｔ＝１が立っているか否かを判断する。ｂｉｔ＝１が立っていれば（ＹＥＳ）ステップＳＶ３３に進み、立っていなければ（ＮＯ）、ステップＳＶ３２にて、メモリＥのｂｉｔ＝１をｂｉｔ＝０に置き換えてステップＳＶ３３に進む。ステップＳＶ３３では、メモリＥで１が立っている全てのアドレスについてメモリＤと比較したか否かを判断する。全て比較していない場合には（ＮＯ）ステップＳＶ３１に戻り、全て比較した場合には（ＹＥＳ）ステップＳＶ３４に進む。

ステップＳＶ３４では、メモリＦでｂｉｔ＝１が立っているアドレスに対してメモリＤで同じアドレスに垂直アドレス１を加えたアドレスでｂｉｔ＝１が立っているか否かを判断する。ｂｉｔ＝１が立っていれば（ＹＥＳ）ステップＳＶ３６に進み、立っていなければ（ＮＯ）、ステップＳＶ３５にて、メモリＦのｂｉｔ＝１をｂｉｔ＝０に置き換えてステップＳＶ３６に進む。ステップＳＶ３６では、メモリＦで１が立っている全てのアドレスについてメモリＤと比較したか否かを判断する。全て比較していない場合には（ＮＯ）ステップＳＶ３４に戻り、全て比較した場合には（ＹＥＳ）ステップＳＶ３７に進む。

ステップＳＶ３７では、メモリＥ，Ｆの内容を垂直境界線階調補正回路Ａ１８に通知し、ステップＳＶ３８で次の画像を取り込んでステップＳＶ１２に戻る。これにより、第1実施形態乃至第１０実施形態で詳述したような垂直方向のグラデーション段差検出処理が完了するものである。

＜本発明が適用されるテレビジョン受像機の一例＞
次に、本発明に係る階調補間処理をテレビジョン受像機にも適用した場合を図面を用いて説明する。図１６に本発明をテレビジョン受像機に適用した場合の構成を示す。

図１６において、アナログ放送受信部３１からの映像信号出力と映像信号ライン入力は、スイッチ３２で任意に切り替えられてビデオデコーダ回路３３でベースバンド信号（ＹＵＶ）としてデジタル化されて、バックエンドプロセッサ３４に送られる。一方、デジタル放送受信部３５で受信されたデジタル放送信号も、ＭＰＥＧ２−ＴＳデコーダ回路３６で映像信号が復調された後、同じくバックエンドプロセッサ３４に送られる。

バックエンドプロセッサ３４に入ったそれぞれの映像信号は、スケーラ回路３４１で画像サイズが調整され、画質調整回路３４２で画質が調整され、ＹＵＶ−ＲＧＢ変換回路３４３でＲＧＢ信号に変換された後、本発明に係る階調処理回路３４４でグラデーション段差部分の補正が施される。最終的に、ビット変換・階調補正回路３４５で２ビット削減された後、ＦＲＣ（フレームレートコントロール）によって階調が補正される。階調補正された信号はＤ／Ａ変換部３５でＤ／Ａ変換された後、ディスプレイ部３６に送られる。尚、上記階調処理回路３４４は、図１７に示すように構成される。但し、図１４に示した回路構成と同様であるので、ここでは図１４と同一部分に同一符号を付して、その説明を省略する。

すなわち、上記構成によるテレビジョン受像機において、バックエンドプロセッサ３４では、映像信号を１０ビットで処理し、最終段で８ビットに変換して階調補正を施すようにしており、内部の階調の表現の最大値は１０ビットが限界となっている。このようなプロセッサ３４に対し、本発明に係る階調処理回路３４４を最終段のビット変換・階調補正回路３４５の前に配置し、グラデーション領域内の段差部分（境界線部分）を検出して、例えば図１乃至図１２で詳述したような境界線部分での階調補間処理を行うものである。これにより、境界線部分では１２ビット相当で表現され、グラデーション領域内の段差部分は目立たなくなり、視覚的に非常に滑らかなグラデーション表示を実現することができる。

尚、本実施形態においても、ＲＧＢ信号で階調処理される場合についての説明としたが、ＹＵＶ信号の段階で行っても同様の効果を得られることは言うまでもない。

又、本発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。又、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。更に、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

本発明に係る階調処理回路の補間処理について説明するための概念図。 本発明に係る階調処理回路の構成の一例を示すブロック図。 本発明に係る階調処理回路で行なわれる第１の階調補間処理の一例を示す説明図。 本発明に係る階調処理回路で行なわれる第２の階調補間処理の一例を示す説明図。 本発明に係る階調処理回路で行なわれる第３の階調補間処理の一例を示す説明図。 本発明に係る階調処理回路で行なわれる第４の階調補間処理の一例を示す説明図。 本発明に係る階調処理回路で行なわれる第５の階調補間処理の一例を示す説明図。 本発明に係る階調処理回路で行なわれる第６の階調補間処理の一例を示す説明図。 本発明に係る階調処理回路で行なわれる第７の階調補間処理の一例を示す説明図。 本発明に係る階調処理回路で行なわれる第８の階調補間処理の一例を示す説明図。 本発明に係る階調処理回路で行なわれる第９の階調補間処理の一例を示す説明図。 本発明に係る階調処理回路で行なわれる第１０の階調補間処理の一例を示す説明図。 本発明が適用される、ＴＶ放送受信対応ＰＣの全体構成の一例を示すブロック図。 ＰＣに用いられる、本発明に係る階調処理回路の具体的な構成の一例を示すブロック図。 図１４の階調処理回路の水平方向グラデーション段差検出処理をソフトウェア処理で実現する場合のアルゴリズムの一例を示すフローチャート。 図１５Ａに続くアルゴリズムの一例を示すフローチャート。 図１４の階調処理回路の垂直方向グラデーション段差検出処理をソフトウェア処理で実現する場合のアルゴリズムの一例を示すフローチャート。 図１５Ｃに続くアルゴリズムの一例を示すフローチャート。 本発明が適用される、テレビジョン受像機の全体構成の一例を示すブロック図。 図１６のテレビジョン受像機に用いられる、本発明に係る階調処理回路の具体的な構成の一例を示すブロック図。

符号の説明

１１…ＴＶ放送受信部、１２…スイッチ、１３…ビデオデコーダ、１４…ＰＣＩバス、１５…サウスブリッジ、１６…ハードディスク装置（ＨＤＤ）、１７…光ディスク装置（ＯＤＤ）、１８…ノースブリッジ、１９…ＣＰＵ（演算処理装置）、２０…メインメモリ、２１…グラフィック処理部、２１１…正方スケーラ回路、２１２…ＹＵＶ／ＲＧＢ変換回路、２１３…画質調整回路、２１４…αブレンド／スケーラ回路、２１５…階調処理回路、２１６…ビット変換回路、２２…Ｄ／Ａ変換部、２３…ディスプレイ装置、Ａ１１…水平画素値比較回路、Ａ１２…垂直画素値比較回路、Ａ１３…１Ｈ遅延線、Ａ１４…ＲＧＢフレームメモリ回路、Ａ１５…水平検出回路、Ａ１６…垂直検出回路、Ａ１７…水平境界階調補間回路、Ａ１８…垂直境界階調補間回路、３１…アナログ放送受信部、３２…スイッチ、３３…ビデオデコーダ回路、３４…バックエンドプロセッサ、３５…デジタル放送受信部、３６…ＭＰＥＧ２−ＴＳデコーダ回路、３４１…スケーラ回路、３４２…画質調整回路、３４３…ＹＵＶ−ＲＧＢ変換回路、３４４…階調処理回路、３４５…ビット変換・階調補正回路、３７…Ｄ／Ａ変換部、３８…ディスプレイ部。

Claims (16)

1. 境界線をもつ画像信号を受け、所定の数式に応じて、前記境界線に平行な画素と垂直な画素とにより囲まれた領域の画像を、複数のフレームにて階調パタンを変化させることで前記境界線の前後の領域の画像の更に中間階調を表現するべく、画素値を再構成することを特徴とする階調補間回路。
2. 前記所定の数式に応じた処理とは、２^ｍ−１≧ｎの関係をもつ整数ｍ及び整数ｎを用いて表される場合、前記境界線と平行な方向の２^ｎ画素と前記境界線に垂直な方向の２^ｎ画素で囲まれた画素領域を、前記境界線を含む位置に前記境界線と垂直な方向に（２^ｍ−１）個連続して配置し、それぞれの２^ｎ×２^ｎの画素領域は、前記境界線の前後の画素値を用いてそれぞれ２ｍフレームで２ｍ段階の階調表現ができるように、前記画像領域のフレーム毎の画素値を再構成することを特徴とする請求項１記載の階調補間回路。
3. 前記所定の数式に応じた処理とは、前記境界線と平行な方向の（２^ｎ＋１）画素と前記境界線に垂直な方向の２^ｎ画素で囲まれた画素領域を、前記境界線を含む位置に配置し、（２^ｎ＋１）×２^ｎで囲まれた領域の画素値を境界線に平行な画素列が（２^ｎ＋１）フレームで（２^ｎ＋１）段階の階調表現ができるように、前記画像領域のフレーム毎の画素値を再構成することを特徴とする請求項１記載の階調補間回路。
4. 前記所定の数式に応じた処理とは、前記境界線と平行な方向の（ｎ＋１）画素と前記境界線に垂直な方向のｎ画素で囲まれた画素領域を、前記境界線を含む位置に配置し、（ｎ＋１）×ｎ画素で囲まれた領域の画素値を前記境界線に平行な画素列が（ｎ＋１）フレームで（ｎ＋１）階調表現ができるように、前記画像領域のフレーム毎の画素値を再構成することを特徴とする請求項１記載の階調補間回路。
5. 前記所定の数式に応じた処理とは、前記境界線と平行な方向の１画素と前記境界線に垂直な方向のｎ画素で囲まれた画素領域を、前記境界線を含む位置に配置し、１×ｎ画素で囲まれた領域の画素値を前記境界線に平行な画素列が（ｎ＋１）フレームで（ｎ＋１）階調表現ができるように、前記画像領域のフレーム毎の画素値を再構成することを特徴とする請求項１記載の階調補間回路。
6. 前記所定の数式に応じた処理は、前記画像信号の水平方向に施され、更に、同一の画像信号の垂直方向に施されることを特徴とする請求項１記載の階調補間回路。
7. 前記所定の数式に応じた処理は、前記画像信号の色信号であるＲ，Ｇ，Ｂについて、独立して行なわれることを特徴とする請求項１記載の階調補間回路。
8. 前記所定の数式に応じた処理は、前記画像信号の輝度信号と色差信号について、独立して行なわれることを特徴とする請求項１記載の階調補間回路。
9. 境界線をもつ画像信号を受け、所定の数式に応じて、前記境界線に平行な画素と垂直な画素とにより囲まれた領域の画像を、複数のフレームにて階調パタンを変化させることで前記境界線の前後の領域の画像の更に中間階調を表現するべく、画素値を再構成することを特徴とする階調補間方法。
10. 前記所定の数式に応じた処理とは、２^ｍ−１≧ｎの関係をもつ整数ｍ及び整数ｎを用いて表される場合、前記境界線と平行な方向の２^ｎ画素と前記境界線に垂直な方向の２^ｎ画素で囲まれた画素領域を、前記境界線を含む位置に前記境界線と垂直な方向に（２^ｍ−１）個連続して配置し、それぞれの２^ｎ×２^ｎの画素領域は、前記境界線の前後の画素値を用いてそれぞれ２^ｍフレームで２^ｍ段階の階調表現ができるように、前記画像領域のフレーム毎の画素値を再構成することを特徴とする請求項９記載の階調補間方法。
11. 前記所定の数式に応じた処理とは、前記境界線と平行な方向の（２^ｎ＋１）画素と前記境界線に垂直な方向の２^ｎ画素で囲まれた画素領域を、前記境界線を含む位置に配置し、（２^ｎ＋１）×２^ｎで囲まれた領域の画素値を境界線に平行な画素列が（２^ｎ＋１）フレームで（２^ｎ＋１）段階の階調表現ができるように、前記画像領域のフレーム毎の画素値を再構成することを特徴とする請求項９記載の階調補間方法。
12. 前記所定の数式に応じた処理とは、前記境界線と平行な方向の（ｎ＋１）画素と前記境界線に垂直な方向のｎ画素で囲まれた画素領域を、前記境界線を含む位置に配置し、（ｎ＋１）×ｎ画素で囲まれた領域の画素値を前記境界線に平行な画素列が（ｎ＋１）フレームで（ｎ＋１）階調表現ができるように、前記画像領域のフレーム毎の画素値を再構成することを特徴とする請求項９記載の階調補間方法。
13. 前記所定の数式に応じた処理とは、前記境界線と平行な方向の１画素と前記境界線に垂直な方向のｎ画素で囲まれた画素領域を、前記境界線を含む位置に配置し、１×ｎ画素で囲まれた領域の画素値を前記境界線に平行な画素列が（ｎ＋１）フレームで（ｎ＋１）階調表現ができるように、前記画像領域のフレーム毎の画素値を再構成することを特徴とする請求項９記載の階調補間方法。
14. 前記所定の数式に応じた処理は、前記画像信号の水平方向に施され、更に、同一の画像信号の垂直方向に施されることを特徴とする請求項９記載の階調補間方法。
15. 前記所定の数式に応じた処理は、前記画像信号の色信号であるＲ，Ｇ，Ｂについて、独立して行なわれることを特徴とする請求項９記載の階調補間方法。
16. 前記所定の数式に応じた処理は、前記画像信号の輝度信号と色差信号について、独立して行なわれることを特徴とする請求項９記載の階調補間方法。

Images