JP2015526046A - 処理方法及び処理装置 - Google Patents

Abstract

本発明は一般にビデオアーチファクトの自動検出に関連する。本発明は生成されるアーティフィシャルエッジマップに基づいてSTBデコードエラーに起因する視覚的アーチファクトを有する画像を自動的に検出ことに関連する。特に、本願は、視覚的アーチファクトを有する画像を検出する方法及びテクスチャ(自然)エッジからアーティフィシャルエッジを区別する方法を教示する。本システムは、ローカルエリア内でアーティフィシャルエッジが重要又は要処理であることを識別する一方、テクスチャエッジを他のテクスチャエッジと一緒にする。

Description

本発明は一般にビデオアーチファクトの自動検出等に関連する。

新たな機能の絶え間ない導入及びコスト削減とともに、セットトップボックス(STB)の新たなバージョンを市場に出すための時間を短縮することは、商業的成功を収めるために重要である。装置の機能や安定性を検査するため、ストレス検査等のような妥当性確認試験(validation test)が装置について実行される必要がある。妥当性確認試験は市場に出るまでの時間のうち多くの割合を占めるので、確認試験の時間短縮は製品の市場での成功に大きく貢献するであろう。

ストレス検査は、新たなSTBのパフォーマンスを検査するために、温度や湿度等の様々な条件の下で長時間にわたって実行される妥当性確認試験のうちの1つである。その検査は長時間にわたって実行されるので、視覚的なアーチファクト(visual artifact)が画像に生じているか否かを確認するために従業者や開発者がディスプレイの前に座って眺めるようなことは実用的ではない。しかしながら、開発者等はデバッグを行って製品を改善するためにそのようなアーチファクトを記録する必要がある。

図1には、視覚的なアーチファクトを含む画像の2つの表示が(参照番号100とともに)示されている。右側の画像120はSTBにより表示される視覚的アーチファクトを有する画像である。左側の画像は、従来の方法により自動的に検出された視覚的アーチファクトを示す画像エッジマップ110を示す。左側の図110により示される視覚的アーチファクトのほとんどは水平又は垂直なエッジ状に存在するので、既存の方法の多くは、垂直/水平なエッジを検査することによりアーチファクトを検出している。しかしながら、それらはエッジの向き及び長さしか考慮していないので、アーティフィシャルエッジ(artificial edge)として誤って判断される多くのテクスチャエッジ(texture edge)となってしまう。誤検出の回数を減らすため、ある方法は、アーティフィシャルエッジがマクロブロック(MB)の境界に存在することを仮定し、そこでのエッジのみを検査している。しかしながらこの仮定は場合によっては正しくない。例えば、動き補償やスケーリングに起因して、アーティフィシャルエッジの位置はMB境界に整合しなくなるかもしれない。従って、上記の問題を回避しつつ、これらのフレームを自動的に検出しかつ妥当性確認プロセスを大幅にスピードアップすることが可能な自動処理をもたらすことが望まれている。

一つの側面における実施の形態の課題は、製品の確認検査の時間を短縮することが可能な方法及び装置等を提供することである。

一実施形態による方法は、
画像を受信するステップと、
複数のピクセルの各々を複数の隣接ピクセルで重み付けすることにより、複数のピクセル各々についてのエッジ値を生成するステップと、
複数のエッジ値が第１の閾値を超えかつ連続するエッジ値の個数が第２の閾値を超える場合に、第１の連続エッジ値を生成するステップと、
第１の連続エッジを含む領域に第２の連続エッジが存在するか否かを判断するステップと、
前記第２の連続エッジが存在しない旨の判断に応じて、アーチファクトの通知を生成するステップと、
を有する方法である。

アーティフィシャルエッジアーチファクトを含む2つの画像例を示す図。 本発明の例示的な実施形態による方法を示すフローチャート。 本発明の例示的な実施形態における画素マップ及びエッジ画素マップを模式的に示す図。 本発明の例示的な実施形態におけるローカルエリアでの連続的なエッジの判定の仕方を説明するための図。 本発明の例示的な実施形態においてマニュアルで追加された特徴エッジを有する画像の一例を示す図。 本発明の例示的な実施形態における長いエッジを示す図。 本発明の例示的な実施形態による方法を使用する装置を示す図。

＜実施形態の概要＞
本発明の一実施形態によれば、装置が開示される。例示的な実施形態による装置は、画像を受信する入力部と、複数のピクセルの各々を複数の隣接ピクセルで重み付けすることにより、前記画像内の複数のピクセル各々についてのエッジ値を生成し、複数のエッジ値が第１の閾値を超えかつ連続するエッジ値の個数が第２の閾値を超える場合に、第１の連続エッジ値を生成し、第１の連続エッジを含む領域に第２の連続エッジが存在するか否かを判断し、前記第２の連続エッジが存在しない旨の判断に応じて、アーチファクトの通知を生成するプロセッサと、前記通知をユーザに表示するディスプレイと、を有する装置である。

本発明の別の実施形態によれば、ビデオフレーム又はストリームにおける視覚的アーチファクトを検出する方法が開示される。例示的な実施形態による方法は、画像を受信するステップと、複数のピクセルの各々を複数の隣接ピクセルで重み付けすることにより、複数のピクセル各々についてのエッジ値を生成するステップと、複数のエッジ値が第１の閾値を超えかつ連続するエッジ値の個数が第２の閾値を超える場合に、第１の連続エッジ値を生成するステップと、第１の連続エッジを含む領域に第２の連続エッジが存在するか否かを判断するステップと、前記第２の連続エッジが存在しない旨の判断に応じて、アーチファクトの通知を生成するステップと、を有する方法である。

＜図面＞
本発明による上記及び他の特徴及び利点並びにそれらを達成する技術は本願により更に明らかになり、本発明は以下の詳細な説明を参照することにより更に理解されるであろう。

図1はアーティフィシャルエッジアーチファクトを含む2つの画像例を示す図である。

図2は本発明の例示的な実施形態による方法を示すフローチャートである。

図3は本発明の例示的な実施形態における画素マップ及びエッジ画素マップを模式的に示す図である。

図4は本発明の例示的な実施形態におけるローカルエリアでの連続的なエッジの判定の仕方を説明するための図である。

図5は本発明の例示的な実施形態においてマニュアルで追加された特徴エッジを有する画像の一例を示す図である。

図6は本発明の例示的な実施形態における長いエッジを示す図である。

図7は本発明の例示的な実施形態による方法を使用する装置を示す図である。

本願で説明される例は本発明の好適な実施形態に関連しているが、そのような例は如何なる方法によっても本発明の範囲を限定するように解釈されてはならない。

＜実施形態の詳細な説明＞
一例として説明される以下の詳細な説明により、本発明の特徴及び利点は更に明確になるであろう。本発明の一実施形態は集積回路内に包含されてもよい。本発明の別の実施形態は回路を形成する複数の個別素子の形態を含んでもよい。本願で説明される例は本発明の好適な実施形態に関連しているが、そのような例は如何なる方法によっても本発明の範囲を限定するように解釈されてはならない。

本願の実施形態によるシステムは、生成されたアーティフィシャルエッジマップに基づいて、STBデコードエラーに起因する視覚的アーチファクトを伴う画像を検出する方法及びシステム等を教示する。本システムは、圧縮(ブロッキネス(blockiness))又はパケットロス等に起因するアーティフィシャルエッジを検出するような他の用途に使用されてもよく、その理由はそのような視覚的アーチファクトも類似する性質を有するからである。特に、本願は、図1に示されているような視覚的アーチファクトを伴う画像を検出する方法や、テクスチャ(ナチュラル又は自然(natural))エッジからアーティフィシャルエッジを如何にして特定するかを教示する。本システムでは、アーティフィシャルエッジがローカルなエリアの中でかなり深刻であると判断する一方、テクスチャエッジは他のテクスチャエッジとしばしば一緒にされる。

本システムは、ローカルエリア内のエッジ同士の間の関係を用いてアーティフィシャルエッジとテクスチャエッジとを識別することにより、アーティフィシャルエッジとテクスチャエッジとを識別することを目指す。本システムは、画像が視覚的なアーチファクトであるか否か、或いは、検出されるアーティフィシャルエッジの画素全体に対する割合が閾値より高いか否かを判断することを目指す。そうである場合、画像は視覚的アーチファクトを伴う画像としてマークされる。この方法の更なる利点は、圧縮やパケット欠落等に起因する他のアーチファクトを検出することにも拡張可能なことである。

提案される方法の例示的な実施形態は、8ビット深度の画像/ビデオに使用されるように説明され、関連するパラメータ及び閾値は全て8ビット深度画像/ビデオ用に設定される。この方法及び装置は、10ビット深度或いは12ビット深度の画像/ビデオ等のような他のアプリケーションに使用されることも可能であり、その場合、関連するパラメータ及び閾値もそれに応じて調整される必要がある。

図2には、アーティフィシャルエッジマップを如何にして生成するかを示すフローチャートが示されている。入力において、システムは、YUVフォーマット210等のような画像を受信し、システムはアーティフィシャルエッジマップを出力する(280)。このフローチャートは、垂直アーティフィシャルエッジマップを取得するためのプロセスを表現している。水平アーティフィシャルエッジマップも同様に生成されることが可能である。

番組画像が受信されると(210)、システムは、画像中の全てのエッジの境界を定める処理を進め、例えば、テクスチャエッジとアーティフィシャルエッジとを区別する。ピクセル(i,j)が画像の上、右又は下の境界に存在する場合、エッジ値E_ijはゼロに等しい。「ピクセル」は「画素」と言及されてもよい。それ以外の場合、エッジ値は、隣接するピクセル間の重み付け差分値に等しい：

図3には、上記の数式が図式的に示されており、E_i,jはi番目の行及びj番目の列にあるピクセルのエッジ値であり、I_i,jはi番目の行及びj番目の列にあるピクセルの輝度値である。画像の中で、右、上又は下の境界のピクセルの場合、I_i-1,j+1やI_i+1,j+1は存在しない。この場合、それらのエッジ値は0に設定される。

図2に示す方法において、エッジマップが決定された後(220)、連続エッジマップ(continuous edge map)が決定される(230)。「連続エッジ」とは、図3に示されるようなE_i-m,jからE_i+n,jまでのエッジ値が全て閾値より高いエッジ値であることを意味する。これらのエッジ値が連続エッジを形成する。連続エッジの長さは、エッジ値の数(そのようなエッジ値を示すピクセルの数)として定義されてもよい(一例として、「m+n」(厳密には、m+n+1)であってもよい)。人間の眼に知覚されるアーティフィシャルエッジの場合、連続エッジが存在しかつその長さが閾値より長くなっている。従って、このステップでは、連続エッジを保持するが、そうではないばらばらのエッジ(separated edge)は除去される。連続エッジが、長さがT2より長い連続エッジに該当する場合、連続エッジの値C_ijはE_ijに等しく設定される。そうでない場合はゼロに設定され、すなわち連続エッジの長さがT₂より短い場合、連続エッジにおける全てのC_ijはゼロに設定される：

T₁及びT₂は所定の2つの閾値である。ユーザ又は製造業者は、様々なアプリケーションに合わせて閾値を適宜変更してもよい(260)。建生場、図1の画像を受信するSTBのストレス検査の場合、アーティフィシャルエッジの多くに関する長さ及び勾配を考慮して、T₁及びT₂はそれぞれ12及び6に設定されてもよい。「勾配」は「グラジエント」、「傾斜」又は「傾き」等と言及されてもよい。

その後、連続エッジマップから重要エッジマップ(significant edge map)が決定される(240)。テクスチャエッジはしばしばローカルエリアの中で他の同じレベルのテクスチャエッジに繋がっているが、アーティフィシャルエッジはしばしば他の隣接するテクスチャエッジから非常に際だっている。従って、ローカルエリアの中でエッジ値を比較することにより、テクスチャエッジはアーティフィシャルエッジと区別される。この判断基準を利用することにより、アーティフィシャルエッジを保持しつつ、多くのテクスチャエッジを除去することが可能である。「ローカルエリア」は「局所領域」等と言及されてもよい。

図4を参照しながら、ローカルエリアの中で連続エッジを決定する例が説明される。C_i-m,jからC_i+n,jまでの連続エッジ値が既に計算されているものとする(図2の230)。ローカルエリアのサイズは設計条件により決定される。この実施形態では、ローカルエリア410は、m+n個の行及び7個の列を有し、影が付いた部分として示されている。ローカルエリアの高さは、連続エッジの値により決定される。C_i-m,jからC_i+n,jまで全ての値が0であってはならないことが要求される。更に、C_i-m-1,j及びC_i+n+1,jは、それらが存在するならば、0でなければならない(すなわち、C_i-m,jが上における値ではなく、C_i+n,jが下における値でない場合である)。ローカルエリアの幅は7である(左側に3列及び右側に3列ある)。

先ず、連続エッジ値がローカルエリアの中で際だっているか否かを判断するために、C_i-m,jからC_i+n,jまでの平均的なエッジ値が計算される。Cバーは連続エッジの全てのC_ijに関する平均値である。この場合において、連続エッジは、連続エッジ値がゼロでない複数の隣接するピクセルを意味する。

次に、ローカルエリアの中で、全ての列に関し、閾値を超える全てのエッジ値を平均化することにより、平均値が算出される。ここで、T₃はテクスチャエッジに関する閾値である。例示的な実施形態において、閾値の値は5であってもよい。ある列において、全てのエッジ値がT₃より小さい場合、平均エッジ値は0に設定される。E_dバーはj+d番目の列において選択されるピクセルのエッジ値による平均値である。連続エッジ値を検査するのではなく、エッジ値を検査していることに留意を要する。列j+dにおいて、行i-mから行i+nまでのエッジ値がT₃より高い場合、それは平均化の計算に含められる。

そして、計算された2つの平均値が比較される。同一レベル(又は同じ値)でエッジが存在する場合、C_i-m,jからC_i+n,jまでの全ての連続エッジ値は0に設定される。以下の数式における上側の条件が、ローカルエリア内の6列全てに関して満たされない場合、これはC_i-m,jからC_i+n,jまでの連続エッジがローカルエリアの中でかなり重要であることを意味し、この場合、その連続エッジ値が保持される。ここで、αは連続エッジの重要性を決めるパラメータである。デフォルト値は0.6である。重要エッジマップが決定された後(240)、V_i+k,jはエッジ値となる。ここでは、6つの隣接する列を1つずつ検査し、1列のE_dバーが条件を満たす場合に限って、V_i+k,j(kは-mからnまでの範囲内にある)がゼロに設定される。

重要エッジマップが決定された後(240)、テクスチャエッジの多くが除去される。例示的な方法における選択的な次のステップにおいて、特殊な場合の処理がなされる。図5では、画像の左下の場所に、メモがマニュアルで(又は手作業で)付加される。このエッジもローカルエリアの中で重要であるので、先の計算において、このエッジも保持される。しかしながら、目下対象としている応用例では、意図的に適用された連続エッジではなく、STBのデコード処理エラーに起因するアーチファクトを特定することが望まれる。この種のエッジの他の具体例は、例えば、HD16:9スクリーンで表示される4:3画像における左右の黒いエッジであってもよい。

この種のエッジは画像の中で時折にしか存在しないので、エッジの長さが十分に長い場合にのみ、最終的な結果に何らかの影響を及ぼし得る。従って、本システムは、長さが所定の閾値より長いエッジのみを検査する。例えば、例示的な実施形態において、閾値は例えば17に設定されてもよい。従って、STB復号化エラーに起因するアーティフィシャルエッジが17より長い場合、アーティフィシャルエッジが1つのMBを超えるので、これは非常に強いアーチファクトとなり、MBの他の側における別の関連するアーチファクトが生じる場合もある。

上記の議論に基づいて、これらの種類のエッジは、対応するエッジを検査することにより特定及び除去されることが可能である。図6において、V_i-m,jからV_i+n,jまでの連続エッジが長エッジ(V_i-m,jからV_i+n,jまでの全てのエッジ値が0ではなく、m+n＞17であるエッジ)である場合、V_i-m,j-16からV_i+n,j-16までのエッジ値が検査される。j-16において対応するエッジが存在する場合、V_i-m,jからV_i+n,jまでのエッジ値が保持される。本願において、N_nonzeroはV_i-m,j-16からV_i+n,j-16までのゼロでないエッジ値の個数である。この条件が満たされない場合、V_i-m,j-16からV_i+n,j-16までのエッジ値に関する別の検査が、同様に実行される。j-16又はj+16において長さが閾値より長いエッジが存在する場合に限り、V_i-m,jからV_i+n,jまでのエッジ値が保持される、或いは、V_i-m,jからV_i+n,jまでの全てのエッジ値が0に設定される。

N_nonzero≧0.5×(m＋n)
アーティフィシャルエッジマップが生成されると、それは様々なアプリケーションで使用されることが可能である。例えば、STBデコード処理エラーに起因する視覚的アーチファクト(例えば、図1)を有する画像を検出するために使用可能である。

そして、全てのピクセルに対するアーティフィシャルエッジの比率が計算される：

ここで、rは比率又は割合であり、N_v及びN_tはそれぞれゼロでないエッジ値の個数及びピクセルの総数である。

計算された比率は所定の閾値T₄と比較される。r≧T₄である場合、その画像は視覚的アーチファクトを伴っているものとしてマークされ、そうでなければ視覚的アーチファクトを伴っていないものとしてマークされる。T₄は、様々なコンテンツ又は様々な状況によりユーザにより選択的に変更されてもよい。例示的な実施形態では、そのデフォルト値は0.001であってもよい。

図7には、本発明を使用する画像処理装置を有するシステム700が示されている。画像処理装置705は、セットトップボックス710等から画像を受信する入力部730を有する。画像はケーブル720又は同様な伝送媒体を介して入力部730に与えられる。画像は入力部730からプロセッサ740に与えられる。プロセッサ740は上述したように画像マップを生成するように画像処理するように動作する。画像マップが生成されると、画像マップはユーザによる検査のために表示されてもよい。或いは、画像マップは記憶媒体760に保存され、例えば、LED等により通知が行われ、或いは文字列やメッセージ等により、望まれないアーチファクトの存在等のような事柄に関連する何らかの信号及び画像マップの存在を通知してもよい。更に、上述したような閾値の入力を支援するため又は他の検査属性のために、ユーザインタフェース750が設けられてもよい。ユーザインタフェース750は適切な如何なる形態を採用してもよく、一例として、タッチスクリーンやキーボード等の形態であってもよい。

上述したように、本発明は、画像中の視覚的なアーチファクトを検出するためのアーキテクチャ及びプロトコルを提供する。本発明は好適な設計例の観点から説明されてきたが、本発明は開示内容の精神及び範囲内で更に変更されてもよい。すなわち、本願は、一般的な原理を用いて本発明に対してなされる任意の変形、応用、修正等を包含するように意図されている。更に、本願は、そのような変形、応用、修正等が、本発明の技術分野における自明な事項とともに本願に包含されかつ特許請求の範囲内に属するように、意図されている。

Claims (12)

1. 画像を受信するステップと、
   複数のピクセルの各々を複数の隣接ピクセルで重み付けすることにより、複数のピクセル各々についてのエッジ値を生成するステップと、
   複数のエッジ値が第１の閾値を超えかつ連続するエッジ値の個数が第２の閾値を超える場合に、第１の連続エッジ値を生成するステップと、
   第１の連続エッジを含む領域に第２の連続エッジが存在するか否かを判断するステップと、
   前記第２の連続エッジが存在しない旨の判断に応じて、アーチファクトの通知を生成するステップと、
   を有する方法。
2. アーチファクトの通知を生成する前記ステップが、
   前記第１の連続エッジ値が長さに関して第３の閾値を超えるか否かを判断し、前記第１の連続エッジ値が長さに関して前記第３の閾値を超えない旨の判断に応じて、アーチファクトの通知を生成するステップ
   を更に有する、請求項１に記載の方法。
3. 前記第１の閾値が、隣接ピクセルの間の所定の差分重み付け値である、請求項１に記載の方法。
4. 前記第２の閾値が、前記第１の閾値を超える連続エッジ値についての所定の個数である、請求項１に記載の方法。
5. 第３の閾値が、前記第２の閾値を超える連続エッジ値についての所定の個数である、請求項１に記載の方法。
6. 複数のピクセル又は各々のピクセルについて輝度値が決定される、請求項１に記載の方法。
7. 画像を受信する入力部と、
   複数のピクセルの各々を複数の隣接ピクセルで重み付けすることにより、前記画像内の複数のピクセル各々についてのエッジ値を生成し、複数のエッジ値が第１の閾値を超えかつ連続するエッジ値の個数が第２の閾値を超える場合に、第１の連続エッジ値を生成し、第１の連続エッジを含む領域に第２の連続エッジが存在するか否かを判断し、前記第２の連続エッジが存在しない旨の判断に応じて、アーチファクトの通知を生成するプロセッサと、
   前記通知をユーザに表示するディスプレイと、
   を有する装置。
8. 前記プロセッサは、前記第１の連続エッジ値が長さに関して第３の閾値を超えるか否かを判断し、前記第１の連続エッジ値が長さに関して前記第３の閾値を超えない旨の判断に応じて、アーチファクトの通知を生成するように動作する、請求項７に記載の装置。
9. 前記第１の閾値が、隣接ピクセルの間の所定の差分重み付け値である、請求項７に記載の装置。
10. 前記第２の閾値が、前記第１の閾値を超える連続エッジ値についての所定の個数である、請求項７に記載の装置。
11. 第３の閾値が、前記第２の閾値を超える連続エッジ値についての所定の個数である、請求項７に記載の装置。
12. 複数のピクセル又は各々のピクセルについて輝度値が決定される、請求項７に記載の装置。

Images