JP2008136227A - ビデオデータ処理方法 - Google Patents

Abstract

【課題】ディジタルテレビジョンの明確性及び鮮明性を維持しかつ運動するエッジを描写し得るようにインタレース−順次走査変換プロセスを達成する。
【解決手段】ビデオデータ、すなわち、輝度信号Ｙを走査線ビデオプロセッサ１、２に入力して、輝度信号Ｙの現行フィールドと先行フィールドとの比較から運動信号ｋを検出し、中間値フィルタ４５に通して誤りを除去した後、時間フィルタ２７及び空間フィルタ２９に通して運動信号ｋを空間的に広げ、他方、輝度信号Ｙからエッジ検出器４３がエッジ情報を位置検出し、経路３０上のエッジ情報を画素選択ステップ７０で運動信号ｋ，及び遅延輝度信号と組み合わせることによって、鮮明なエッジ及び低雑音フィールド間運動を伴う、ビデオディスプレイ用保全順次走査信号を出力経路３６上に生成する。
【選択図】図２

Description

本発明は、ディジタルビデオシステム、特にディジタルビデオシステム上のビデオ順次運動（ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ ｍｏｔｉｏｎ）の表示に関する。

テレビジョンがアナログシステムからディジタルシステムへ移行するに従って、いくつかの問題が生じる。このような問題の１つは、表示のフィールドを横切る運動物体の描写に当たって起こる。

物体がアナログシステム内の表示を横切って運動するとき、エッジ、すなわち、物体の境界は忠実に描写され、運動している物体の曲線、対角線、及びその他の特徴を描写するのに事実上の困難はない。エッジの１例は、青い背景に対する赤いボールの曲線であろう。しかしながら、連続画像の線の代わりに個々のセルを使った画素化表示では、エッジの保全性を維持するのは困難である。

更に他の問題は、ほとんどの従来テレビジョンがインタレース様式を使用し、そこでは１つの区間中１つ置きの線を描き、次いで第２区間中に未扱い線を描くと云うことである。順次走査のような技術を使用するディジタルテレビジョンにおいては、ことごとくの線が同一区間中に「描かれ」、第２区間からの未扱いデータを補間しなければならない。運動物体の補間は、アーチファクト、すなわち、誤りを抱える可視画像を生じる。

ボールのような物体上の丸いエッジは、この物体が静止しているときは事実上の問題は提示しない。それらの曲線は、その静止物体の先行フィールドデータの使用を通して平滑化される。先行フィールドデータの使用を伴わないならば、曲線は、階段又はのこぎり歯に良く似て見えるぎざぎざエッジを有するであろう。しかしながら、物体が運動するとき、先行データを、現行フィールドと過去フィールドとの間の相関の欠如のために、もはや使用することができない。それゆえ、現行フィールドを使用する線平均が、補間プロセスに対して、しばしば採用される。簡単な平均技術は、受容解像度の欠如をこうむり、これはブレ又は階段状エッジによって証拠付けられる。これらの可視アーチファクトは、データの実際のエッジ内容を考慮に入れない補間プロセスに起因している。

使用されているこれらの適応技術は、運動するエッジを分解するに当たって満足なものではなかった。その結果の画像は、上述した階段状エッジのようなアーチファクトを有し、これが高精細度テレビジョン（ＨＤＴＶ）又はディジタルテレビジョン内で可能な一般に鮮明な画像の利点を損なう。

ディジタルテレビジョン内で達成可能な明確性及び鮮明性を維持しつつ運動するエッジを描写することを表示に許し、かつまた処理要件の甚だしい増大を伴うことなく順次走査の一層高速な環境の中で使用可能な、或る方法が必要とされる。

インタレース−順次走査変換プロセスが、ここに開示される。本プロセスは、運動補償補間を採用する。それは、中央値フィルタインタフレーム差信号（ｍｅｄｉａｎ−ｆｉｌｔｅｒｅｄ ｉｎｔｅｒ−ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｓｉｇｎａｌｓ）の使用で以て運動検出を遂行する。本プロセスは、エッジ適応性であって、原インタレース画像からのエッジ指向性を使用する。本プロセスは、雑音に低感受性を有する運動検出を施す一方、また原インタレース画像内に見付けられたエッジの保全性を確保する適応補間を施す。本プロセスは、鮮明な運動エッジかつ低雑音の画像を生じ、全体に視聴者に一層良好なシーン表現を生じる。

運動適応インタレース−順次走査変換（以下、ＩＰＣ（ｉｎｔｅｒｌａｃｅｄ−ｔｏ−ｐｒｏｇｒｅｓｓｉｖｅ−ｓｃａｎ ｃｏｎｖｅｒｓｉｏｎの略）と称する）は、各フィールドが１つ置きの線を含みかつそれらの２つのフィールドがインタレースされて１つの完全なフィールドになるインタレース走査様式に由来するアーチファクトを除去するために、使用されるＩＰＣ技術は、運動信号ｋの荷重和を、フィールド内値及びフィールド間値と共に、使用する。

ＩＰＣ方法の１例は、図１に示されている。図１において、論議は、どの信号がどこをいつ通るかを単に指摘することである。これらの信号の機能性及びそれらの遅延の背後の目的は、図２において論じられる。

輝度信号Ｙは、経路１０に沿って、第１走査線ビデオプロセッサ（以下、ＳＶＰ（Ｓｃａｎ−ｌｉｎｅ Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｏｒの略）と称する）１へ送られる。同じ信号が、経路１２に沿って、変化されることなく第２ＳＶＰ２へ送られる。経路１４は、輝度信号Ｙを分岐し、かつそれをフィールド遅延器１６において１フィールドだけ遅延させる。この遅延フィールドは、経路１８に沿って、第２ＳＶＰ２に直接送られる。しかしながら、第１ＳＶＰ１へ送られる前に、この１回遅延信号が、１線水平遅延器２０及び他のフィールド遅延器２２を通る。それで、２回遅延信号は、経路２４に沿って第１ＳＶＰ１へ送られる。

第１ＳＶＰ１は、３つの信号を生成する。第１信号ｋ’は、経路２６上にある。それは、１フィールド遅延させられて、経路２８上の運動信号ｋの生成に当たって援助するように再処理される。エッジ情報は第１ＳＶＰ１から経路３０上へ出てかつ第２ＳＶＰ２へ入る。第２ＳＶＰ２は次の入力を有する。すなわち、経路１２上の原輝度信号Ｙ、経路１８上の１回遅延輝度信号Ｙ、経路２８上の運動信号ｋ、経路３０上のエッジ情報、及び、それぞれ、経路３２、３４上の２つの色差信号Ｒ−Ｙ、Ｂ−Ｙ。第２ＳＶＰ２は、経路３６上の輝度順次走査（ｐｒｏｓｃａｎ）出力信号Ｙ_Ｐ、及び経路３８、３９上の出力色差信号Ｒ−Ｙ_Ｐ及びＢ−Ｙ_Ｐを有する。

理解しなければならないのは、第２ＳＶＰ２内で遂行されるプロセスを、第１ＳＶＰ１の異なるセクション内でもおそらく遂行することができると云うことである。しかしながら、論議の容易のために、２つＳＶＰを使用するとした方が理解に都合が良い。

運動信号処理
ここで、図２へ転じて、順次走査出力信号Ｙ_Ｐを生成するに当たっての種々の信号及びそれらの機能を考察しよう。図２は、各ＳＶＰの内部プロセスの詳細流れ図を示す。上側破線ブロックに囲われた領域が、図１の第１ＳＶＰ１である。原輝度信号Ｙは、やはり経路１０上に存在する。信号Ｙが第１ＳＶＰ１に入る際に、経路１４及び４０が信号Ｙを分岐する。経路１４は、フィールド遅延器１６において信号Ｙを、運動を検出することの理由から、１フィールドだけ遅延させる。運動の大きさを決定するために、現行フィールドと２回遅延フィールドとの間で比較を行わなければならない。それで、この１回遅延輝度フィールドが、経路１８に沿って第２ＳＶＰ２へ送られる。経路１４は、遅延フィールド間のどんな奇数／偶数線不整合も防止するように１線水平遅延器２０へと続く。遅延器２０は、１水平走査線だけフィールドを遅延させる。このフィールドが、次いで再びフィールド遅延器２２において遅延させられる。この２回遅延フィールドは、次いで、経路２４に沿って送られる。次いで、経路１０上をこのシステムに入る現行フィールドが、経路２４上の２回遅延フィールドから減算されて、これら２つのフィールド間の比較値を与える。

この運動信号決定のグラフィック表現が、図３ａ及び３ｂに示されている。フィールド差は、図３ａの差符号の下での現行フィールドと先行フィールドとの比較によって見付けられる。図３ｂにおいて、補間画素Ｘは、運動信号ｋを、Ｘの空間的隣接画素ばかりでなく、先行フィールドからの画素Ｚと一緒に使用して、決定される。この線図は運動信号の構想とエッジ情報の構想とを一緒に示すが、後者については図５を参照して更に詳細に論じる。

比較値は符号付き数であるので、９ビットを有する。絶対値計算器４２において比較値の絶対値を取ることによって、この値は８ビット数に減少される。次いで、非線形機能４４が、８ビットを４ビットに減少させて中間値フィルタ４５内へ送る。

中間値フィルタ４５のプロセスは、図４ａに示されている。運動信号を中間値フィルタすることによって、どんな点雑音源も除去することができ、それゆえ、運動信号に信頼性を付加する。最低雑音ターゲットデータを見付けるために、中間値フィルタ４５は、図４ａに示されたように、ターゲットデータを見付けるために隣接データ点の値を使用する。図４ｂ０示されたように、変数Ｖ_０、Ｖ_１、Ｖ_２、Ｖ_３、及びＶ_４は、補間される点を囲む及び含むデータ点を表す。

ステップ４６において、所与の値のうち２つが比較され、これらのうち極値が除去される。フィルタ４５のプロセスは、最大値を処理しかつ中間値決定に最低値を使用することができるか、又は最小値を処理しかつ中間値決定に最高値を使用することができるかのどちらかである。捜索の結果、５つの入力のうちの中間値を見付ける。論議を限定しない際は、これらの最大値又は最小値を極値と称することにする。もし最大値を処理する実行があったとしたならば、ステップ４６は図４ｃに示されたように機能する。もしＶ₁がＶ₀より大きいならば、Ｓ₀が０に等しい、もしそうでなければ、Ｓ₀は１に等しい。図４ｄに示されたように、経路５２上の、ステップ５０の出力は、もしＳ₀が０であるならば、Ｖ₀に等しい。これは、Ｖ₀がＶ₁より小さいことを意味する。

フィルタ４５のプロセスは、ステップ５４において、極値Ｄ₀からＤ₃の集合が４つの最高値又は最低値を提示するまで、続行する。この集合は、更に、ステップ５６によって、３つの最高値又は最低値、すなわち、Ｃ₀からＣ₂の集合へ減少させられる。ステップ５６及び６０において、これら３つの最高値又は最低値が、それらの３つの変数の反対の極値を見付けるために分類される。例えば、もし値Ｃ₀からＣ₂が最大３値であるならば、ステップ５８及び６０は、これら３値のうちのどれが最小であるかを決定する。これが、その際、中間値になる。

上の例は、５タップ中間値フィルタについてである。使用するタップを多くも少なくもすることができる。或る論点では、ＳＶＰ命令の数を必要な命令の数より上げてみても、追加の精度利点がもはや増大しなくなるような点がある。そのような点は、各設計者によって決定されなければならない。しかしながら、この論点において、５タップフィルタは、命令数と得られる精度との間の最善の妥協であるように決定されている。

ここで図１及び図２に戻ると、経路２６上の中間値フィルタ４５の、経路２６上への出力は、次いで、図１内の同じ経路上に示された信号ｋ’としてフィードバックループ内へ送られる。信号ｋ’は、先行フィールドに関する運動信号である。運動信号ｋ’へ行われる残りの処理は、図２に更に詳細に示されている。時間フィルタ２７は、経路２６からの運動信号ｋ’へ行われるプロセスを遂行する。フィルタ２７は、一連のフィールド遅延線ＦＩＥＬＤ ＤＬ及び１線水平遅延器１Ｈを中間値フィルタ４５のプロセスから決定された値と一緒に使用することによって、運動信号ｋ’を時間的に（時間ベース）フィルタする。

空間フィルタ２９は、時間フィルタ２７の後にそのプロセスを遂行する。空間フィルタ２９は、垂直帯域通過フィルタＶＬＰＦ及び水平帯域通過フィルタＨＬＰＦを含み、これらの双方が、第２ＳＶＰ２から経路２８上へ出力された最終運動信号ｋ内の雑音を除去するように働く。

時間フィルタ２７及び空間フィルタ２９は、運動信号を空間的な仕方で外側へ広げる傾向を有する。それゆえ、その信号内の少しの雑音又は誤りも伝搬する傾向がある。これらのフィルタ２７、２９の前段に中間値フィルタ４５を使用することのこれまで知られなかった利点は、中間値フィルタ４５が雑音を除去して、それが隣接画素への伝搬するのを防止し、遥かに明確な画像を生じると云うことである。

先に言及した他の問題は、運動と一緒のエッジの検出である。エッジ検出と運動信号処理とは２つの分離した論題であり、分離して実現され得るが、エッジ情報は実際には運動の存在下で効果を発揮するだけである。それゆえ、運動信号処理は、未扱い線の補間に使用されるエッジ情報の量に影響を及ぼし得る。

エッジ検出
ここで図１及び図２を再び参照して、論議を図１の経路３０上のエッジ情報出力へ移す。そのプロセスの詳細な流れ図は、図２に示されている。エッジ検出器４３は、経路１０の入力、すなわち、原輝度信号Ｙ、及び経路４０に沿って１水平走査線だけ遅延された輝度信号を使用する。このプロセスは、図５にグラフ的に示されている。

図３ｂと類似して、画素Ｘは、隣接画素Ａ〜Ｆを有する。エッジの方向を、冗長エッジ方向を含まない、上側隣接画素及び下側隣接画素のどれかの組合わせであるように決定することができるであろう。例えば、ＡＤ、ＢＥ、及びＣＦは、全て垂直エッジであり、方向の１指定以外は求めない。したがって、なお可能なエッジ方向は、ＡＥ、ＡＦ、ＢＥ、ＣＤ、及びＣＥである。ＡＥとＢＦは同じエッジであるように、ＣＥとＢＤもまた同じエッジであることに注意されたい。ＡＦ等の指定は、２つの変数の間の差の絶対値を指定する。ＡＦは、Ａ−Ｆの絶対値である。もし５つの値ＡＥ、ＡＦ、ＢＥ、ＣＤ、及びＣＥのうちの最大値からのこれらの値のうちの最小値の減算が所定しきい値よりも大きいならば、エッジ方向は、これら５つの値の最小値であるように選択される。もしそうでなければ、エッジは、ＢＥ、すなわち、垂直であると決定される。

これを実現する１つのやり方は、第２ＳＶＰ２へ送られる値に各可能なエッジ方向を割り当て、それによって第２ＳＶＰ２にどの補間を使用すべきかを知らせることである。

これらの値の割当ての例を下の表に示す。これらの値は２を基数とし、Ｘは「ドントケア（ＤＯ ＮＯＴ ＣＡＲＥ）」を指定する。

図２を参照すると、エッジ情報は、経路３０上を第２ＳＶＰ２へ送られる。そこで、経路３０上のエッジ情報は、画素選択ステップ７０において、原輝度信号Ｙ及び１水平走査線遅延信号と組み合わせられる。ここで、第２ＳＶＰ２は、 を遂行する。このプロセスは、２つ信号を経路７２及び７４上に生じ、これらの信号は である。これら２つの信号は、等しく１／２荷重されかつ組み合わせられる。この結果の信号は、経路７６上の混合ステップＭＩＸに入力され、ここで、経路１８上からのフィールド遅延輝度信号、及び経路２８上の運動信号ｋを使って処理される。経路３６上の結果の出力は、補間順次走査出力信号Ｙ_Ｐである。更に、色差信号Ｒ−Ｙ_Ｐ及びＢ−Ｙ_Ｐが第２ＳＶＰ２から経路３８及び３９上に出力される。先に言及したように、上に挙げた全てを第１ＳＶＰ１のような同じＳＶＰ内で遂行することもおそらくできる。その場合、エッジ情報及び運動信号は、第２ＳＶＰ２へ送られる代わりに更に他の処理に利用可能であろう。

（発明の効果）
上に挙げたプロセスは、インタレース信号が、鮮明なエッジ及び運動を伴って、順次走査（ｐｒｏｇｒｅｓｓｉｖｅ ｓｃａｎ，ｏｒ ｐｒｏｓｃａｎ）へ変換されるのを許す。シーン中で運動している物体は、低雑音であり、視聴者に良好な画像を与える。更に、これらのプロセスはＩＰＣプロセスに既に必要なＳＶＰ内に設置され得る、と云うのは、これらのプロセス全体が最少数命令しか使用せず、これらの命令がＳＶＰの不使用部分内で実現され得るからである。上に挙げたステップの全てを１つのプロセッサの異なるいくつかの活性領域内で遂行することもできる。

したがって、ここまでにインタレース−順次走査変換プロセスについて特定実施例を説明してきたが、このような特定参照が前掲特許請求の範囲に記載されている限りを除き、本発明の範囲への限定と考えられることを意図しているのではない。

以上の説明に関して更に以下の項を開示する。
（１） ビデオデータ処理方法であって、
（ａ） プロセッサ内へ前記データ受けること、
（ｂ） 前記データから運動信号を決定すること、
（ｃ） 前記データ内にエッジ情報を見付けること、
（ｄ） 前記運動信号をフィルタすること、
（ｅ） 走査線ビデオプロセッサへ前記エッジ情報と前記フィルタ運動信号とを送ること、及び
（ｆ） ビデオディスプレイデバイス上に使用される順次走査信号を生成するために前記フィルタ運動信号と前記エッジ情報とを使用すること
を含む方法。
（２） 改善運動信号を生成する方法であって、
（ａ） プロセッサにおいてビデオ信号内のデータのフィールド間の運動の大きさから運動信号を決定すること、
（ｂ） 前記運動信号から誤りを除去して、フィルタ運動信号を生成すること、
（ｃ） 前記フィルタ運動信号を時間的及び空間的にフィルタして、三回フィルタ運動信号を生成すること、及び
（ｄ） 更に他の処理のために前記三回フィルタ運動信号を利用可能にならしめること
を含む方法。
（３） 改善エッジ検出方法であって、
（ａ） プロセッサにおいて第１離散エッジ方向の集合間の最小差値を見付けること、
（ｂ） 前記差値が所定しきい値より大きいかどうかを決定すること、
（ｃ） 前記決定に基づいて最終エッジ方向を選択することであって、もし前記差値が前記所定しきい値より大きいならば前記最終エッジ方向を前記差値であるように選択し、もしそうでなければ、前記最終エッジ方向を垂直方向であるように設定する、前記選択すること、及び
（ｄ） 前記最終エッジ情報を送る前記プロセッサから信号を生成すること
を含む方法。
（４） 従来のインタレースビデオの入力から順次走査信号を生成するためにビデオデータを処理する方法。前記データが、プロセッサに受けられ、前記データのフィールド間の時間にわたって運動信号を決定するために使用される。前記運動信号は、誤りを除去するためにフィルタされ、次いで、決定運動信号を広げるために更にフィルタされる。エッジ情報は、位置検出され、かつ前記運動信号と組み合わされて、鮮明なエッジ及び低雑音のフィールド間運動を伴う、ビデオディスプレイ上に表示される保全順次走査信号を生成する。

本発明による１実施例の運動適応インタレース−順次走査変換方法の流れ図。 本発明による１実施例の、運動信号及びエッジ検出信号を発生するプロセスの詳細な図解を伴った、運動適応インタレース−順次走査変換方法の分解流れ図。 本発明による実施例の運動信号を決定するプロセスのグラフ図であって、ａはフィールド差を示す図、ｂは補間画素の決定を示す図である。 本発明による実施例の中間値フィルタプロセスの説明線図であって、ａはこのプロセス全体の流れ図、ｂはターゲットの見付け方の説明図、ｃはａのステップ４６における機能の説明図、ｄはａのステップ５０における機能の説明図である。 本発明による実施例のエッジ検出例図である。

符号の説明

１、２ 第１、第２ＳＶＰ
１６ フィールド遅延器
２０ １線水平遅延器
２２ フィールド遅延器
２７ 時間フィルタ
２９ 空間フィルタ
４２ 絶対値計算器
４３ エッジ検出器
４４ 非線形機能
４５ 中間値フィルタ
７０ 画素選択ステップ
ＭＩＸ 混合ステップ

Claims (2)

1. ビデオ信号処理方法であって、
   （ａ） プロセッサ内へビデオ輝度信号を受信すること、
   （ｂ） 前記受信した輝度信号から、以下の一連の処理をプロセッサが行って、フィルタされたビデオ運動信号を決定すること、
   ｉ．前記受信された輝度信号の複数の値にわたって、遅延されたフィールドの前記受信された輝度信号の値から、現在フィールドの前記受信された輝度信号の値を減算して、一連の差分値を生成し、
   ｉｉ．一連の隣接する差分値を含む一組の差分値に関して、互いに差分値を比較して当該組内の最も大きい差分値のサブセットを選択し、
   ｉｉｉ．中間比較値として、最も大きい差分値のサブセットの中で、最も小さい差分値を識別し、
   ｉｖ．前記受信した輝度信号の複数の値に対して前記ステップｉ、ｉｉ、ｉｉｉを繰り返し、
   ｖ．時間的及び空間的に前記識別された中間値をフィルタして、フィルタされたビデオ運動信号を生成する、
   （ｃ） 前記受信された輝度信号内に、背景上を動く物体によって生成されるエッジ情報を見付けること、
   （ｄ） 前記エッジ情報と前記フィルタされたビデオ運動信号を順次走査ビデオプロセッサに送ること、及び
   （ｅ） 前記エッジ情報に応答して選択された輝度信号を補間し、前記フィルタされたビデオ運動信号を重み付け係数として用い、当該補間された輝度信号を処理して順次走査輝度信号を生成することで、前記フィルタされたビデオ運動信号と前記エッジ情報を用いてビデオ表示装置上で用いられる順次走査信号を生成する、
   ビデオ信号処理方法。
2. ビデオ信号処理方法であって、
   （ａ） プロセッサ内へビデオ輝度信号を受信すること、
   （ｂ） 前記受信した輝度信号から、以下の一連の処理をプロセッサが行って、フィルタされたビデオ運動信号を決定すること、
   ｉ．前記受信された輝度信号の複数の値にわたって、遅延されたフィールドの前記受信された輝度信号の値から、現在フィールドの前記受信された輝度信号の値を減算して、一連の差分値を生成し、
   ｉｉ．一連の隣接する差分値を含む一組の差分値に関して、互いに差分値を比較して当該組内の最も大きい差分値のサブセットを選択し、
   ｉｉｉ．中間比較値として、最も小さい差分値のサブセットの中で、最も大きい差分値を識別し、
   ｉｖ．前記受信した輝度信号の複数の値に対して前記ステップｉ、ｉｉ、ｉｉｉを繰り返し、
   ｖ．時間的及び空間的に前記識別された中間値をフィルタして、フィルタされたビデオ運動信号を生成する、
   （ｃ） 前記受信された輝度信号内に、背景上を動く物体によって生成されるエッジ情報を見付けること、
   （ｄ） 前記エッジ情報と前記フィルタされたビデオ運動信号を順次走査ビデオプロセッサに送ること、及び
   （ｅ） 前記エッジ情報に応答して選択された輝度信号を補間し、前記フィルタされたビデオ運動信号を重み付け係数として用い、当該補間された輝度信号を処理して順次走査輝度信号を生成することで、前記フィルタされたビデオ運動信号と前記エッジ情報を用いてビデオ表示装置上で用いられる順次走査信号を生成する、
   ビデオ信号処理方法。