JP2008182627A - 色トランジェント補正装置 - Google Patents

Abstract

【課題】４：２：２などといった、色差信号が輝度信号に対しサンプリングレートが低い信号の色差信号のトランジェントを改善する。
【解決手段】入力同期信号からＵＶ選択パルスを出力するＵＶ選択パルス発生手段と、
時分割多重された入力色差信号を前記ＵＶ選択パルスに基づいて第一の中間色差信号と第二の中間色差信号に分離する色差信号分離手段と、入力輝度信号から重み係数を演算し出力する重み係数算出手段と、前記重み係数に基づき前記第一の中間色差信号を補間し、第一の出力色差信号を出力する第一の補間手段と、前記重み係数に基づき前記第二の中間色差信号を補間し、第二の出力色差信号を出力する第二の補間手段とを備える。
【選択図】図１

Description

本発明はデジタル映像信号処理を行うテレビやプロジェクタ、ビデオ、デジタルカメラなどの映像機器に使用される色トランジェント補正装置に関するものである。

近年、テレビなどの映像機器において、映像信号をデジタルで扱うことは一般的になってきた。そのようなデジタル映像信号は輝度（Ｙ）、色差（Ｃｂ，ＣｒまたはＰｂ，Ｐｒと表記されることもあるが、ここではＵ、Ｖと記載する。厳密にはマトリクス係数が異なるが本発明の趣旨とは無関係の為、同等のものとして表記する。）の３つのコンポーネントから構成される。なお、回路上ではこのほかにクロック、同期信号（Ｈ，Ｖ）が必要となるが周知のことであり詳細は記さない。

一方、人間の視覚特性上色成分は輝度成分に対して解像度が低くても目立たないとされ、色差信号の帯域が減らされて扱われることが多い。このことを用いて色差信号のクロックレートを落とし回路規模の削減や消費電力の削減につなげることができる。

例えば、一般に当該分野の技術者の間で４：４：４と表記される場合は輝度信号と色差信号（Ｕ、Ｖ）が同一の頻度でサンプリングされるが、４：２：２と表記される場合は、色差信号（Ｕ、Ｖ）が輝度信号に対し半分の頻度でサンプリングされる（１／２のサンプリングレート）ことを意味している。また、４：１：１は色差信号が輝度信号の１／４のサンプリングレートとなる。４：２：０では４：２：２の後、垂直方向へも１／２へ間引かれたものである。

図５に４：４：４の時の信号フォーマットと、４：２：２の時の信号フォーマットを示す。このように４：２：２では色差信号を２本から１本に減らすことが可能である。

図６は４：２：２から４：４：４へ変換（デコード）する際のブロック図の例を示す。

図６においてＦＦ１はフリップ・フロップであり、図示していないがクロック信号分入力信号を遅らせる働きをする。またＬＨ２はロード・ホールドであり、ＵＶ選択パルスがＨ期間のみ、ＦＦ１同様図示していないクロック信号分入力信号を遅らせる。ＬＨ３も同様である。ＵＶ選択パルスがＬ期間では出力は変化させない。ＦＦもＬＨもデジタル回路の基本要素でありデジタル技術者の間では周知のものである。

前記したように多重化された色差信号をＦＦ（フリップ・フロップ）で遅延させ、ＬＨ（ロード・ホールド）で取り出すことで４：４：４へのデコードが可能となる。図７にタイミングチャートを示す。信号は回路内のＦＦやＬＨの遅延回路によって遅れたものが出力されるが、通常この遅れにあわせて他の信号、たとえば同期信号や輝度信号も遅らせて遅延調整を行っている。なお、このような遅延調整は周知のことであるため図中では省略している。

ところで、図７に示したように、このままでは色信号が偶数番目と奇数番目で２画素づつ同一の値が続いてしまう。たとえば、ＬＨ２の出力はＶ０、Ｖ０、Ｖ２、Ｖ２という具合である。図５に示したような４：４：４フォーマットの場合Ｖ０、Ｖ１、Ｖ２，Ｖ３と信号が出力する場合、Ｖ１，Ｖ３といった奇数番目の信号が入力時点で削られているためである。その結果、前記したデコード後の信号を画像としてみると色の変わり目等ががたがたとした不自然な画像となる。そこで従来の色トランジェント補正装置では奇数番目の画素において前後の画素から補間するという方法がとられていた（例えば、特許文献１参照）。補間に用いる代表的なものとしては下記（数１）の線形補間がある。

ただしｎはｎ＝０，１，２，３，…である。このように前後の画素を足して２で割ることで不自然ながたがたとした画像となることを改善していた。

しかしながら、色の帯域が制限されたままであり、色にじみが生じてしまうという問題がある。対策として特許文献２に引用されている構成では、輝度信号と色差信号それぞれをウェーブレット変換にて帯域分割し、両信号のエッジ位置の相関に基づいて高域輝度信号から高域色差信号を推定しエンハンスされた色差信号を出力するようになっている。
特開２００３‐８８６５号公報 特開平１０‐２２４８１５号公報

しかしながら、後者の方法ではウェーブレット変換等のサブバンド分割が必要であり、回路規模が大きくなってしまうという問題点があり、前者の方法では前述したとおり、輝度成分の変化点（トランジェント）において、輝度に対し色の変化点が滲んでしまうという問題が生じていた。

また、４：２：２の処理中で合成された２画面等の多画面処理や文字等を画面中に挿入するオン・スクリーン・ディスプレイ（ＯＳＤ）処理が加わると、それらの処理の境界部に色が抜けたり、色が飛び出たりする問題も生じる。

本発明は以上のべたような従来の課題を解決するもので、回路規模が比較的小さく簡易な構成で実現でき、色滲みの改善した色トランジェント補正装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の色トランジェント補正装置は、入力同期信号からＵＶ選択パルスを出力するＵＶ選択パルス発生手段と、時分割多重された入力色差信号を前記ＵＶ選択パルスに基づいて第一の中間色差信号と第二の中間色差信号に分離する色差信号分離手段と、入力輝度信号から重み係数を演算し出力する重み係数算出手段と、前記重み係数に基づき前記第一の中間色差信号を補間し、第一の出力色差信号を出力する第一の補間手段と、前記重み係数に基づき前記第二の中間色差信号を補間し、第二の出力色差信号を出力する第二の補間手段とを備える。

本構成によって、補間フィルタの係数を輝度信号の変化に応じて変化させるため、簡易な構成で、色滲みのすくない色トランジェント補正装置を提供することができる。

本発明の色トランジェント補正装置によれば、回路規模が比較的小さく簡易な構成で、色滲みの改善された色トランジェント補正装置を提供することができる
また、４：２：２の処理中で合成された２画面等の多画面処理や文字等を画面中に挿入するオン・スクリーン・ディスプレイ（ＯＳＤ）処理が加わっても、それらの処理の境界部に色が抜けたり、色が飛び出たりするとのない色トランジェント補正装置を提供することができる。

以下本発明を実施するための最良の形態について図面を参照しながら説明する。

（実施の形態１）
図１は本発明の実施の形態１における色トランジェント補正装置のブロック図である。

また、図２は本実施の形態における色トランジェント補正装置の動作を示したタイミング図である。

図１において、入力信号は４：２：２フォーマットの信号を示しており、そのタイミングチャートは図２に示した「入力輝度信号Ｙ」、「入力色差信号Ｃ」、「入力同期信号」のようになっている。色差信号分離手段１０１は「入力色差信号Ｃ」に多重されたＵ、Ｖの信号を抜き取り、図２中の「色差信号Ｕ」、「色差信号Ｖ」のように出力する回路である。具体的回路例としては図６に示したＦＦとＬＨを組み合わせた形が一般的である。

ＵＶ選択パルス発生手段１０２は、同期信号を受け取り前述した色差信号分離手段１０１へＵＶ選択パルスを出力するものである。具体的回路例としては、当該分野のデジタル技術者には周知のものであるので回路図を用いた詳細な説明は省くが、映像信号に対応したクロック信号（ブロック図中では省略）をクロック入力とする１ビットのＦＦと、そのＦＦの出力に１を加算し、その結果を同期信号でリセットがかかるようにセレクタを通した後前記したＦＦに入力するように構成すれば基本的回路を作ることが可能である。ただし実際の回路の遅延にあわせた遅延調整は必要である。また、ソフトウエアで作成する場合では色差信号は通常、配列で表現されるため、配列の添え字を参照し偶数か奇数かで判断することで可能となる。

補間手段１０３は図２中の「出力色差信号Ｖ」のＶ１、Ｖ３、Ｖ５、、、Ｖ２ｎ＋１（ただしｎはｎ＝０，１，２，…）の部分の信号を前後の画素データ（Ｖデータ）から補間して求める手段である。補間式には一例として下記（数２）を用いる。

αは補間位相を示すものでα＝０〜１．０の範囲で用いる。αが０よりの時は、Ｖ２ｎ＋２に近い値が補間値として得られ、１よりの時はＶ２ｎに値が近くなる。このようにαによって位相特性が異なる補間フィルタを用いるのが本実施の形態の特徴のひとつである。したがって、補間式の例として一般的な線形補間の式を示したがその他の補間関数を用いたものでも良いことは言うまでもない。また、αを整数ではなく実数で表現しているが、実際の回路上または演算処理上では固定小数点を用いた有限桁の演算、すなわち２の倍数をαに掛け整数化し、整数演算を行い結果を２の倍数で割る（下位ビット切捨て）処理が速度、回路規模等の点でよいことは言うまでもない。

なお、αは後述する重み係数算出手段１０５から得られる。

補間手段１０４も補間手段１０３同様であり扱う信号がＶからＵに変わるだけである。

一方、重み係数算出手段１０５はＶ２ｎ＋１、Ｕ２ｎ＋１に対応するＹ２ｎ＋１の前後における輝度の変化に応じてαを算出する手段である。たとえば一例として以下の（数３）で行う。

ただし、ｍａｘ（ａ，ｂ）はａ，ｂのうちの大きい方を示し、ｍｉｎ（ａ，ｂ）はａ，ｂのうちの小さい方を示す。

式で示した輝度信号の添え字と色差信号の添え字の関係を図３に示す。図３において水平方向は信号の水平位置を示しており、垂直方向は○を用いて各輝度信号、色差信号の値を示している。なお、色差信号の●はもともと４：２：２において値がある部分を示しており、この例では偶数番目の信号を示している。色差信号の○は補間されて作られる部分を示しており、この例では奇数番目の信号を示している。図中の○は色差信号分離手段１０１の出力した状態を示しているため直前の色差信号と同じ値となっている。

前記した式の意味するところは、着目画素Ｙ２ｎ＋１における輝度がその前の画素Ｙ２ｎに相関があるか、後の画素Ｙ２ｎ＋２に相関があるか調べており、前の画素に相関があればαを大きく、後ろの画素に相関があればαを小さくするということである。また、着目画素Ｙ２ｎ＋１が前後の画素（Ｙ２ｎ、Ｙ２ｎ＋２）の間にない場合その範囲内にクリップする処理も含んでいる。

たとえば、前式のｉｆ節が真の時、前の画素Ｙ２ｎが大きく、後の画素Ｙ２ｎ＋２が小さい場合であるので、着目画素Ｙ２ｎ＋１の最大値はＹ２ｎでなければならない。すなわちＹ２ｎ＋１、Ｙ２ｎのどちらか小さい方を選べばよい。その処理を示した部分がｍｉｎ（Ｙ２ｎ，Ｙ２ｎ＋１）に相当する。また、値は少なくともＹ２ｎ＋２以上であることより、前記はＹ２ｎ＋２との大きい方を出力すればよいため式としてはｍａｘ（Ｙ２ｎ＋２，（ｍｉｎ（Ｙ２ｎ，Ｙ２ｎ＋１））となっている。このようにクリップされた結果から、Ｙ２ｎ＋２を引き算することでＹ２ｎ＋２からの距離がわかりそれを（Ｙ２ｎ―Ｙ２ｎ＋２）で割ることで相関がわかる。よって値が０になれば後ろの画素（Ｙ２ｎ＋２）と相関が最も強く、値が１になれば前の画素（Ｙ２ｎ）に最も相関が強いことを示す。

このような式で相関の検出方法を示したが、もちろん他の方法で相関を検出してもよくたとえば前後２点からだけでなく複数点を用い多次曲線を求めその曲線からの相関も求めてもよく、また２次元に拡張して曲面からの相関を求めても良いことは言うまでもない。

このように求められた相関結果をαとして、前記したように補間手段１０３、補間手段１０４の補間位相に用いて補間する。

図４は本実施の形態における中間色差信号の補間の動作の概要を示す。（ａ）、（ｂ）、（ｃ）の３例を示している。水平に画素の水平位置、垂直に各信号の値を示しており、上段が輝度信号、下段が色差信号を示している。色差信号において黒がもともと存在している信号（偶数番目の信号）、白が補間される信号（奇数番目の信号）を示している。また中央が着目点である。

図中の（ａ）において、着目点における輝度信号が前後の信号より下側にはみ出ており、前記したクリップ処理がなされている。クリップ処理後の信号を点線で示す。αはこの点線の信号より求められるためαは１．０となる。一方色差信号はα＝１であるから前の信号を用いて補間され図の矢印で示したように補間される。

図中の（ｂ）においては、輝度信号は前後の信号の中間にあり、８割がた前側の輝度信号に近い位置にあることからαは０．８となる。よって、色差信号は前側と後側との線形補間により図に示す位置に補間される。

図中の（ｃ）においては、輝度信号が上側にクリップされており、α＝０となる。よって色差信号は後ろ側の信号と同じ値に補間される。

以上説明したことから明らかなように、色信号の補間点に相当する輝度信号の周辺画素からの相関より色信号の補間位相を求め、実際に色信号の補間に用いることで色のトランジェントを改善させることが可能となる。

また、４：２：２から４：４：４（ＹＵＶ）に変換する場合の例を示したが、４：１：１から４：４：４への変換も色差の補間式と輝度の相関に対する考え方としては同じであり前記例へ限定するものではないことは言うまでもない。

また、垂直方向への間引きが行われている４：２：０フォーマットに対しても同様に垂直への応用を行えば対応できることは言うまでもない。

また、αの向きは後ろの画素に相関が高いときを０としたが、その逆でも良いことはいうまでもない。

（実施の形態２）
本実施の形態では実施の形態１の構成・動作に加えて、分母が所定の閾値より小さい時は、αが中点α＝０．５に近づくように演算する。

たとえば分母が所定の閾値βより小さい時は以下の（数４）で演算を行う。

ただし、ｍａｘ（ａ，ｂ）はａ，ｂのうちの大きい方を示し、ｍｉｎ（ａ，ｂ）はａ，ｂのうちの小さい方を示す。

これにより、輝度変化が少なく、色の変化が大きい部分で輝度信号上にノイズによる僅かな変化があった場合、色方向にノイズが倍増することを防止することができる。

以上より、輝度信号がノイズ等で微小に変動した場合でも色に与える影響を少なくすることができる。

（実施の形態３）
前記した構成の重み係数算出手段１０５では、αの算出に割り算を用いており回路規模が増大した演算速度が遅くなったりする問題がある。本実施の形態では入力をＤとＭの二つとし、出力にαを返す２次元のルック・アップ・テーブル（ＬＵＴ）としたものである。ただし、ＤはＤ＝｜Ｙ２ｎ―Ｙ２ｎ＋２｜であり、Ｍは下記（数５）であらわされるものとする。

ルック・アップ・テーブルとはＤとＭの値に対応した値を予めＲＯＭ（リード・オンリー・メモリー）等に格納しておき、ＤとＭに応じて読み出すようにしたものである。

このルック・アップ・テーブルに書き込む値を前記実施の形態１や２に記載の式を用いて計算した結果にすることで、回路規模や演算速度の問題を回避させることが可能である。

また前記式に束縛されることなく任意の値を入れることが可能であることはいうまでもない。

本発明の色トランジェント補正装置は、簡易な構成で色にじみの低減や色ずれの補正が可能であるので、デジタル映像信号処理を行うデジタル機器全般に応用でき、テレビ、ビデオ、ＤＶＤプレーヤーやレコーダー、デジタルスチルカメラ、ビデオカメラ、また映像処理を行うソフトウエアにも有用である。

本発明の実施の形態１における色トランジェント補正装置の構成を示すブロック図 本発明の実施の形態１における色トランジェント補正装置の動作を示すタイミング図 本発明の実施の形態１における輝度信号と色差信号の対応を示す図 本発明の実施の形態１における補間位相を説明する図 ４：４：４と４：２：２のフォーマットを示す図 色差信号分離手段１０１の回路図 色差信号分離手段１０１のタイミングチャート

符号の説明

１ ＦＦ（フリップ・フロップ）
２、３ ＬＨ（ロード・ホールド）
１０１ 色差信号分離手段
１０２ ＵＶ選択パルス発生手段
１０３、１０４ 補間手段
１０５ 重み係数算出手段

Claims (3)

1. 入力同期信号からＵＶ選択パルスを出力するＵＶ選択パルス発生手段と、
   時分割多重された入力色差信号を前記ＵＶ選択パルスに基づいて第一の中間色差信号と第二の中間色差信号に分離する色差信号分離手段と、
   入力輝度信号から重み係数を演算し出力する重み係数算出手段と、
   前記重み係数に基づき前記第一の中間色差信号を補間し、第一の出力色差信号を出力する第一の補間手段と、
   前記重み係数に基づき前記第二の中間色差信号を補間し、第二の出力色差信号を出力する第二の補間手段とを備えた色トランジェント補正装置。
2. 輝度信号の変化が所定の閾値より小さい場合は補間位相が中点となるように重み係数を生成することを特徴とする前記請求項１記載の色トランジェント補正装置。
3. 重み係数の生成にルックアップテーブル（ＬＵＴ）を用いたことを特徴とする請求項１記載の色トランジェント補正装置。

Images