JP2006229269A - 走査線補間装置 - Google Patents

Abstract

【課題】飛び越し走査画像を順次走査画像に変換する際に正確な画素補間が行われず、エッジ部分のボケや、斜め線が不連続に見える等の画質劣化の改善を目的とする。
【解決手段】飛び越し走査画像を順次走査画像に変換する際に、表示装置の画素配列に合わせた精度で動き探索および動き補償を行うことにより、高い精度の走査線補間を行い、表示画質を改善する。
【選択図】図１

Description

この発明は、インタレース信号を順次走査信号に変換する順次走査変換回路に関するもので、特に動きベクトル検出により補間信号を生成する順次走査変換方法・装置に関する。

２：１インタレース信号を順次走査信号に変換するには、走査線を１本置きに補間する必要がある。この補間方法の一つとして動き補償型の順次走査変換がある。図２に示すように、フレームやフィールド間の動きベクトルを用いて走査線を補間する（特許文献１参照）。

動きベクトルは、現在の画面のある部分が１つ前の画面のどの場所から移動したかを示すものである。ブロックマッチング法では、現フレーム又は現フィールドの対象ブロックと最も似通った（即ち最も相関度が高い）最適ブロックを参照フレーム又は参照フィールドの探索範囲内から抽出して、動きベクトルを検出する。従って、ある物体が１フィールド期間にＶ（画素数／１フィールド期間）の速さで平行移動しているとき、１フィールド前の画像を推定移動量Ｖだけシフトすれば、フィールド間での相関度が最も高いブロックとなる（即ちフィールド間での対象ブロックと候補ブロックとのブロック内画素差分累積値が最も小さくなる）。

一方、カラー液晶ディスプレイ（ＬＣＤ）やプラズマディスプレイ（ＰＤＰ）等の表示デバイスは、例えば図５に示すように、３つのＲＧＢ発光素子（以下ＲＧＢサブピクセル：Ｓｕｂ ｐｉｘｅｌという）からなる表示画素（以下、ピクセル：ｐｉｘｅｌという）を所定の順序で一方向、図の例では水平方向（ｘ方向）に並べて１ラインを構成し、このラインをさらにこれと直交する方向、つまり垂直方向（ｙ方向）に複数配設する。これにより二次元方向に広がる表示画面を構成し、この３つのＲＧＢサブピクセルを１つのピクセルとして用いることで様々なカラー表示を可能としている。

最近では、このような表示デバイスを用いて高精細な文字描画を可能とする、サブピクセルフォントレンダリング（Ｓｕｂ Ｐｉｘｅｌ Ｆｏｎｔ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ）という新しい描画技術が注目されている。この技術は、ＲＧＢ各サブピクセルをそれぞれ個別のモノクロ画素として扱うことで擬似的に解像度の向上を図るようにしたものである（例えば、特許文献２参照）。ＲＧＢサブピクセルを１つのピクセルとしてまとめて取り合う従来の描画に対してサブピクセルの並び方向に３倍の高精細描画を可能としたものである（図５の例では水平方向に３倍の高精細描画が可能）。尚、文字表示に関しては、既にＭｉｃｒｏｓｏｆｔのＣｌｅａｒＴｙｐｅ等でこのような、いわゆるサブピクセル描画が行われている。

特開平６−１２１２８９号公報

特開２０００−１５５５５１号公報

表示装置の１つの画素の画素値がＲ，Ｇ，Ｂそれぞれの画素の値で構成され、例えばＲ，Ｇ，Ｂそれぞれを８ビットの階調で表現使用とする場合には、Ｒ，Ｇ，Ｂそれぞれの画素値が０〜２５５までの値をとる。一方、動きベクトルの探索には、これらのＲ，Ｇ，Ｂの３つの画素値を一つの単位として、３つの画素値から計算される輝度値Ｙを用いて探索を行う。例えば、画素値がR1,G1,B1である画素の輝度値Ｙは、係数 k1, k2, k3 を定めて、
Ｙ ＝ k1*R 1 + k2*G 1 + k3*B1
により計算される。この輝度値での探索により求められた動きベクトルに基づき、従来はＲ，Ｇ，Ｂの組を一つの画素と考えて、その画素を動き補償により補間している。従来の動きベクトル探索においては、表示手段の画素構造を考慮していないため、動きベクトルの画素精度としては、計算量の少ない、整数画素精度や１／２画素精度が用いられている。

例えば、整数画素精度もしくは１／２画素精度の動きベクトル探索により、図３において、フィールド画像１の１１１の位置の画素が、フィールド画像３において１１６の方向に 1 画素だけ動いていることが分かった場合、フィールド画像２においては、1/2 画素だけ動いていることになるので、１１３の画素に１１１の画素値の1/2、１１４の位置に１１１の画素値の 1/2 を割り振っていた。

すなわち、図３において １１１の位置のＲ，Ｇ，Ｂの画素値を、それぞれＲ１，Ｇ１，Ｂ１とすると、１１１の画素が１１２の方向に 1 画素動いたと検出された場合の、フィールド画像２における補間画素１１３の画素値Ｒ１', Ｇ１'，Ｂ１' および補間画素１１４の位置の画素値 Ｒ２'，Ｇ２'，Ｂ２' は、次のように与えられる。
Ｒ１'＝Ｒ１＊（1/2）
Ｇ１'＝Ｇ１＊（1/2）
Ｂ１'＝Ｂ１＊（1/2）
Ｒ２'＝Ｒ１＊（1/2）
Ｇ２'＝Ｇ１＊（1/2）
Ｂ２'＝Ｂ１＊（1/2）
このように、走査線補間が、表示手段の画素構造と関係なく、画素単位で行われるため、例えば、表示装置の水平方向の画素が少ない場合には、水平方向に正確な画素補間が行われず、垂直エッジ部分のボケや、斜め線が不連続に見える等の、走査線補間による画質改善効果が十分に得られない場合があった。

本願において開示する代表的な発明は以下の通りである。
入力された飛び越し走査画像を順次走査画像に動き補償を用いて走査変換する走査線補間部と、動き補償のための動きベクトルを探索する動きベクトル探索部と、動きベクトル探索の探索精度を制御する制御部とを有している走査線補間装置。特に制御部は、上記順次走査画像を表示する表示部の画素構造に基づいて上記探索精度を決定する。

動き探索の精度を表示装置の画素構造に応じた値として動き補償を行うことにより、サブピクセル単位での画素補間が可能となる。これにより、エッジ部分のボケや、斜め線が不連続に見える等の、画質劣化を少なくして走査線補間を行うことができる。

以下、本発明の実施例を図示により説明する。

図１に、本発明を用いた、映像受信機の構成例を示す。
走査線補間器１０１に入力される信号は、テレビ放送等を受信した際のインタレース映像信号や、ＤＶＤ等の再生機からの出力であるインタレース映像信号である。入力された２：１インタレース画像は、動きベクトル探索器１０２で動きベクトルが探索される。動きベクトルは、現在の処理対象の画面のある部分が、他の画面もしくは同じ画面のどの場所からどれだけ移動したかを示すものである。この動きベクトルの検出にはいくつかの方法があるが、ブロックマッチング法がデジタル回路による処理の容易さなどから多く用いられている。ブロックマッチング法は、画像を（Ｍ×Ｎ）個の画素（例えば８画素×８ライン）のようなブロックに分け、このブロック単位で動きベクトルを検出する。

記憶装置１０３は、動きベクトル探索に必要となる、参照フレーム又は参照フィールドを記録する。具体的には、現フレーム又は現フィールド、時間的に前後フレーム又はフィールドの画素値情報を記憶する。探索精度制御器１０４は、表示装置１０５の表示画素構造を参照し、動きベクトル探索器１０２で用いる探索精度を決定する。表示装置１０５は、走査線補間器の出力である順次走査映像信号を表示する。

ブロックマッチング法では、図６に示すように、現フレーム又は現フィールド内の（Ｍ×Ｎ）個の画素で構成された対象ブロックと他の候補ブロックとの相関度を評価する。候補ブロックは、現フレーム又は現フィールドとは時間的に異なる参照フレーム又は参照フィールド上に設定される、（Ｍ×Ｎ）個の画素で構成されるブロックである。相関度の評価値は例えば、対象ブロックと候補ブロックとの類似を評価できる値をいう。具体的には同じ位置にある画素値同士の差分絶対値を累積加算することによって求められる。求めた相関度の評価値が最小となる候補ブロックと、参照フレーム又は参照フィールド上に投影した対象ブロックとの間の変位を動きベクトルとして検出する。

この動きベクトル探索時の探索精度として、ＭＰＥＧ圧縮等においては、１画素精度や１／２画素精度が用いられている。本発明においては、この動きベクトル探索精度を、表示画面の画素構造に応じて変化させることを特徴とする。探索精度制御器１０４は、表示装置１０５の画素構造情報を取得し、動きベクトル探索器１０２の動きベクトル探索精度を制御する。

例えば表示装置１０５が、図５に示されるような１ピクセルがＲ，Ｇ，Ｂ３種類サブピクセルで構成される垂直ストライプを持つ構造の場合には、水平方向の動きベクトル探索精度を 1/3 画素とする。つまり画素間の距離を、表示画面の１ピクセルを構成するサブピクセルの数で割った値の精度で動き探索を行う。なお本発明の適用範囲は、ＲＧＢ垂直ストライプを持ったディスプレイに限定されない。ＲＧＢの画素を独立とみなして動き探索を行うため、例えば、ＲＧＢ水平ストライプを持ったディスプレイの場合は、垂直方向の動きベクトル探索精度を１／３画素精度とすることにより、同様に適用できる。さらに、画素構造は２種類以上の画素を単位として構成されていれば本願を適用することができる。

動き探索は、画素の輝度値情報を元に行われる。１／３画素精度の動きベクトル探索は、現フレームまたは現フィールドおよび、参照フレームまたは参照フィールドの画素を水平方向・垂直方向に３倍に内挿処理することにより行われる。この内挿処理および動き探索処理は、ＭＰＥＧ等で用いられている動き探索の１／２画素精度探索と同じ概念の処理である。動き探索を行う際の、ブロック間の相関は、上記したように対応する位置に存在する画素のＲＧＢ輝度値の値を用いることができる。又、特定の色の画素値（例えばＧの画素値）のみで動きベクトル探索を行ってもよい。

動きベクトル探索により、補間しなければならない走査線上の画素が、例えば、図４においてフィールド画像１の２１１の位置の画素が、フィールド画像３において２１６の方向に 2/3 画素だけ動いていることが分かったとする。この場合、フィールド画像２においては、２１１の画素が 1/3 画素だけ２１２の方向に動いたことになるので、図中 ２１７の位置に２１１をずらして画素補間を行えばよい。

このように表示装置の画素構造に応じて、水平方向の動き探索の精度を1/3 画素として動き補償を行うことにより、水平方向においては1/3画素精度での画素補間が可能となり、垂直エッジ部分のボケや、斜め線が不連続に見える等の、画質劣化を少なくして走査線補間を行うことができる。前述したように、従来従来手法を用いると、１画素より小さい動きは、隣接する２画素を用いて表現することになる。よって、例えば、水平方向に１画素幅の斜め線の含まれる画像を走査線補間する場合においては、実走査線側は水平１画素幅であるのに対して、補間走査線側は、ボケた水平２画素幅の斜め線として、補間されてしまっていた。本発明を用いることにより、表示画像のサブピクセル構成にあわせた1/3 画素精度の補間が可能となり、補間走査線側においても、水平１画素幅として補間することが可能となる。

表示装置はＲ，Ｇ，Ｂそれぞれ独立の映像信号入力を有しているため、本発明で用いているＲ，Ｇ，Ｂの画素を独立とみなすサブピクセル処理を適用するに当たって、表示装置側において特別な処理又は回路を必要としない。映像信号出力側（本発明においては順次走査変換装置）において、本願の画素構造にあわせて補間された各サブピクセルの値を考慮してサブピクセルを制御する信号を作り出せばよい。

図８に、本発明の順次走査変換装置の動作を示すフローチャートを示す。まず、表示装置より、表示装置の画素構造を表す信号を取得する（３０１）。表示装置からの情報を受信しても良いし、予め記憶しておくものを読み出してもかまわない。次に、取得した画素構造情報に応じて動きベクトルの探索精度を決定する（３０２）。順次走査変換装置の入力であるインタレース信号は、決定された動き探索精度を用いて、実在する走査線を用いて、動きベクトルが探索される（３０３）。探索された動きベクトルに応じて、補間されるライン上の画素が内挿され、順次走査映像信号として出力される（３０４）。このような補間方法では、補間されないサブピクセルが発生する場合があるが、そのようなサブピクセルに関しては、補間されている近傍のサブピクセル画素値を用いて内挿する等の手段を用いればよい。

本実施例においては、ブロックマッチングを用いた動きベクトル探索例を示したが、本発明における動きベクトル探索は、ブロックマッチングに限定されるものではなく、画素毎の動きベクトル探索を用いてもよい。

実施例１においては、映像受信機として、表示装置を含む例を示したが、本発明は、順次走査変換装置に関するものであり、図７に示されるように、表示装置とその他の構成要素は別であっても構わない。この場合は、接続される表示装置からその画素構造に関する情報の通知を受け、動き探索制御器（104）は随時探索精度を切り替えるように動作することができる。もちろん装置とその画像構造を対応づけて予め記憶部に記憶しておき、表示部から取得する型番等にもとづいて精度を決定するような構成でも良い。

このような構成にすることにより、表示装置の画素構造情報や、型番情報等が得られる場合においては、自動的に動きベクトル探索精度を切り替えることが可能となり、表示装置に適した順次走査変換が行える。
また、表示装置と、順次走査変換装置が一体となった装置の場合は、表示装置の画素構造は既知である。よって、探索精度制御器１０４の精度は予め初期設定される固定値とすることが出来る。

表示部の画素構造が不明な場合や、画素構造に関する情報が得られない場合においては、動きベクトル探索の探索精度を所定の画素精度（例えば１画素精度）に固定できるように切替器を設けることも考えられる。
又、動きベクトル探索を用いないで走査線変換を行う従来技術を用いた補間方法を選択できるように、走査線補間器への動きベクトル探索部から入力を切り替える切替器を探索部に設けてもよい。この場合には別途走査線補間器に用意される変換方法によって走査変換が実行される。

このような、動きベクトルの探索精度の切替器または、順次走査変換手法の切替器を設け、それを使用者の指示又は自動的に切り換えることにより、表示部の画素構造が不明な場合や、画素構造に関する情報が得られない場合も含めて、適切に順次走査変換を行うことができる。

本願発明のフローはコンピュータにプログラム読み込むことで実現することができる。又、ソフトウェアとハードウェアの協調処理によって実現されるものであっても良い。

本発明を用いた、映像受信機の一実施例を示す図。 動き補償型順次走査変換の概念図。 従来方法を用いた走査線補間方法の概念図。 サブピクセル走査線補間の概念図。 サブピクセル及びピクセルの配置の一例を示す部分拡大概念図。 動きベクトルの検出方法の例を示す図。 順次走査変換装置の一実施例を示す図。 順次走査変換装置の動作の一例を表すフローチャート。

符号の説明

１０１…走査線補間器、１０２…動きベクトル探索器、１０３…記憶装置、１０４…動きベクトル精度制御器、１０５…表示装置。
１１１〜１１６…Ｒ、Ｇ、Ｂ三つのサブピクセルで構成される画素の一つ。
２１１〜２１６…Ｒ、Ｇ、Ｂ三つのサブピクセルで構成される画素の一つ。
３０１…表示装置の画素構造取得手段、３０２…動きベクトルの探索精度決定手段、３０３…動きベクトル探索手段、３０４…走査線補間手段。

Claims (8)

1. 入力された飛び越し走査画像を順次走査画像に動き補償を用いて走査変換する走査線補間部と、
   上記動き補償のための動きベクトルを探索する動きベクトル探索部と、
   上記動きベクトル探索の探索精度を制御する制御部とを有し、
   上記制御部は、上記順次走査画像を表示する表示部の画素構造に基づいて上記探索精度を決定することを特徴とする走査線補間装置。
2. 上記画素構造は１画素を構成するサブピクセルの数であって、
   上記制御部は上記サブピクセルの数の逆数の値に上記探索精度を設定することを特徴とする請求項１記載の走査線補間装置。
3. 上記表示部の画素構造に関する情報を接続される表示部から受信することを特徴とする請求項１又は２に記載の走査線補間装置。
4. 上記画素構造が１画素が水平方向にＲ，Ｇ，Ｂの３つのサブピクセルで構成されている場合には、水平方向の動き探索精度を１／３画素精度とすることを特徴とする請求項１乃至３の何れかに記載の走査線補間装置。
5. 上記動きベクトル探索部で上記制御部で決定された探索精度を用いる場合と所定の値を用いる場合を切り替える切替器を更に有することを特徴とする請求項１乃至４の何れかに記載の走査線補間装置。
6. 上記ベクトル探索は、ブロックマッチングにより行うことを特徴とする請求項１乃至５の何れかに記載の走査線補間装置。
7. 入力された飛び越し走査画像を順次走査画像に動き補償を用いて走査変換する走査線補間部と、
   上記動き補償のための動きベクトルを探索する動きベクトル探索部と、
   上記動きベクトル探索の探索精度を制御する制御部と、
   上記順次走査画像を表示する表示部とを有し、
   上記制御部は、上記順次走査画像を表示する表示部の画素構造に基づいて上記探索精度を決定することを特徴とする走査線補間装置。
8. 上記画素構造は１画素を構成するサブピクセルの数であって、
   上記サブピクセルの数の逆数の値に上記探索精度を設定することを特徴とする請求項７記載の走査線補間装置。

Images