JP2016220197A - 映像ノイズ分析装置、残留ポイント・ノイズ検出方法及び欠陥画素検出方法 - Google Patents

Abstract

【課題】映像中の残留ポイント・ノイズを効果的に検出する。【解決手段】映像ノイズ分析装置５２０は、時間的不変値検出部５５０と空間的異常値検出部５４０の結果を合わせて、欠陥画素候補のリストを生成する。データ構造記憶部５３２は、欠陥画素の候補又は欠陥画素の候補が選択されたブロックの特徴を記述するデータを記憶する。欠陥画素候補のリストに含まれる画素について、更に、近隣画素から大幅に輝度が異なって目立っている画素をチェックして、欠陥画素を特定する。【選択図】図７

Description

本発明は、映像の分析に関し、特に、映像のフレーム中の欠陥画素や映像生成デバイスの欠陥画素を検出するための装置及び方法に関する。

欠陥（又はデッド）画素とは、映像クリップ中で一貫して隣接する画素から目立ってしまう画素のことである。欠陥ホット・画素とは、輝度レンジの明るい側の端部に張り付いてしまうものであり、欠陥コールド・画素は輝度レンジの暗い側の端部に張り付いてしまうものであり、両方ともに、映像シーンの適切な色を表すことができない。カメラの元々のコンテンツ中において、欠陥画素には非常にシャープなエッジ、つまり、隣接する画素に対して高いコントラストがある。カメラの元々のコンテンツ中における欠陥画素は、半導体イメージ・センサ中の特定部分における問題、つまり、センサ表面上の埃や汚れによって生じることがある。こうした欠陥画素は、連続する複数のイメージ又はフレームに渡って、一様な輝度レベルを生成することがあり、記録された映像中に残留ポイント・ノイズ（残留ポイント・ノイズ：ＲＰＮ）を生じさせる。多くの場合、ＲＰＮスポットには、水平及び垂直方向の一方又は両方に、数個のデッド又は破損画素があり、これらは適切な色を再現できない。もしこうした映像がサブ・サンプルされたり、処理されたりすると、欠陥画素は、通常、ぼやけて、元々のカメラ出力の欠陥画素ほどにはシャープではなくなる。

理論上は、こうした欠陥画素のルミナンスは、その近隣画素よりも大幅の小さいか又は大きいものとなり得る。暗い映像シーンでは、欠陥ホット・画素は、近隣の欠陥のない画素よりも大幅に明るく現れ、明るい映像シーンでは、欠陥コールド・画素は、近隣の欠陥のない画素よりも大幅に暗く現れることがあり得る。また、理論上は、欠陥画素のＲＧＢの値は変化せず、各欠陥画素は、１映像シーン（１ショット）の最初から最後まで存在しているはずである。

特開２００６−２１１０６９号公報

Toshitaka Ikumo、「The Basics of Camera Technology」、MK10088V1KYP03NOV、ソニー株式会社、２００３年９月２２日、１９頁、「ＲＰＮ（Residual Point Noise）」の項目 「ピーク信号対雑音比」の記事、［online］、Wikipedia（日本語版）、［２０１６年４月４日検索］、インターネット<URL：http://ja.wikipedia.org/wiki/ピーク信号対雑音比> 「structural similarity」の記事、［online］、Wikipedia（英語版）、［２０１６年４月４日検索］、インターネット<URL：https://en.wikipedia.org/wiki/Structural_similarity> 「アフィン写像」の記事、［online］、Wikipedia（日本語版）、［２０１６年４月４日検索］、インターネット<URL：http://ja.wikipedia.org/wiki/アフィン写像>

しかし、現実の映像クリップ、特に、放送目的の映像クリップでは、欠陥画素のＲＧＢ値が変化することがあり、その映像の別々の期間中に、欠陥画素が現れたり、消えたりすることがある。これは、コード変換処理、アップ・コンバーション（スケール調整）処理、又は、映像コンテンツの特性が原因となり得る。また、これは、映像クリップが複数の映像信号源から組み立てられたもので、ある映像信号源には、複数の欠陥画素の第１グループがあり、別の映像信号源には、別の複数の欠陥画素の第２グループがある、という場合にも起こり得る。こうした場合において得られる映像には、瞬間的に現れたり、消えたりする欠陥画素があるように見える。欠陥画素のある映像クリップがコ―ド変換されるか、又は、アップ・コンバートされた場合、得られる映像クリップ中の補完された上記欠陥画素及びその近隣の画素は、いくらかぼんやりする。この補完処理は、通常、重み付け平均化処理、つまり、補完されるポイントの近隣の複数画素でＲＧＢの値の平均値を求め、この平均値が補完されたポイントに割り当てられる。場合によっては、欠陥画素の背景が非常に明るいことがあり、そのため、欠陥画素が目立ちにくく、期間によっては存在しないように見えることがある。

ＲＰＮ検出は、典型的には、空間的異常値及び時間的不変性検出問題として定義できる。ある映像における全画素位置に渡る個々の画素位置において、こうした計算を行うのには、映像中の大多数の画素に比較して、極わずかの画素だけに欠点があるのが通常であることを考えると、演算リソースの利用の点で合理的でなく、こうしたやり方でＲＰＮを検出するのは効率的でない。

本発明の実施形態は、従来技術の上述の問題やその他の問題を解決しようとするものである。

本発明をいくつかの観点から見ていくと、次のように表現できる。

本発明の概念１は、残留ポイント・ノイズを検出する映像ノイズ分析装置であって、
分析する映像を受ける入力部と、
隣接する２つのフレームの同じブロックの画素間の差分を求め、上記フレーム間で比較的変化率の低い画素を含む第１画素候補リストを生成するよう構成される時間的不変値検出部と、
隣接する画素から比較的高い輝度レベルの偏差を有する画素を含む第２画素候補リストを生成するよう構成される空間的異常値検出部と、
上記第１画素候補リスト及び上記第２画素候補リストを組み合わせて、ノイズ画素候補リストを生成する合成部と、
上記ノイズ画素候補リスト上の１つ以上の上記画素又は上記ノイズ画素候補リスト上の上記画素が選択されたブロックを記述するデータを収容するよう構成されたデータ記憶部と
を具えている。

本発明の概念２は、上記概念１による残留ポイント・ノイズを検出する映像ノイズ分析装置であって、このとき、上記時間的不変値検出部が、２つの上記隣接するフレームがいつシーン変化の境界にかかるか（境界を通過するか）を検出するのに利用される。

本発明の概念３は、上記概念１による残留ポイント・ノイズを検出する映像ノイズ分析装置であって、このとき、上記空間的異常値検出部が、２乗平方根（ＲＭＳ）又はメディアン・フィルタ分析を利用する。

本発明の概念４は、上記概念１による残留ポイント・ノイズを検出する映像ノイズ分析装置であって、このとき、上記データ記憶部が、
ブロック輝度範囲サイズと、
ブロック損傷度と、
ブロック検出信頼度と
を含んでいる。

本発明の概念５は、上記概念１による残留ポイント・ノイズを検出する映像ノイズ分析装置であって、上記映像ノイズ分析装置に入力されるフレームのそれぞれについて、画素データの赤コンポーネント・フレームと、画素データの緑コンポーネント・フレームと、画素データの青コンポーネント・フレームとを生成するカラー・スプリッタを更に具えている。

本発明の概念６は、映像中の残留ポイント・ノイズを検出する方法であって、
分析する映像を受ける処理と、
隣接する２つのフレームの同じブロックの画素間の差分を求め、時間的不変値検出を実行する処理と、
上記時間的不変値検出に基いて、上記フレーム間で比較的変化率の低い画素を含む第１画素候補リストを生成する処理と、
隣接する画素から比較的高い輝度レベルの偏差を選択することによって、空間的異常値検出を実行する処理と、
隣接する画素から比較的高い輝度レベルの偏差を用いて選択された上記画素を含む第２画素候補リストを生成する処理と、
上記第１画素候補リスト及び上記第２画素候補リストを組み合わせて、ノイズ画素候補リストを生成する処理と、
上記ノイズ画素候補リスト上の１つ以上の上記画素又は上記ノイズ画素候補リスト上の上記画素が選択されたブロックを記述するデータを記憶するデータ記録を生成する処理と
を具えている。

本発明の概念７は、上記概念６による映像中の残留ポイント・ノイズを検出する方法であって、このとき、シーン変化が発生したときに、上記時間不変値検出を行うことを特徴としている。

本発明の概念８は、上記概念６による映像中の残留ポイント・ノイズを検出する方法であって、このとき、上記空間的異常値検出を実行する処理が、２乗平方根（ＲＭＳ）又はメディアン・フィルタ分析を実行する処理を有している。

本発明の概念９は、上記概念６による映像中の残留ポイント・ノイズを検出する方法であって、データ記録を生成する処理が、
ブロック輝度範囲サイズを生成する処理と、
ブロック損傷度を生成する処理と、
ブロック検出信頼度を生成する処理と
を含んでいる。

本発明の概念１０は、上記概念６による映像中の残留ポイント・ノイズを検出する方法であって、入力されるフレームのそれぞれについて、
画素データの赤コンポーネント・フレームを生成する処理と、
画素データの緑コンポーネント・フレームを生成する処理と、
画素データの青コンポーネント・フレームを生成する処理と
を更に具えている。

本発明の概念１１は、映像デバイスから生成された映像を検査することによって、上記映像デバイス中の欠陥画素を検出する映像ノイズ分析装置であって、
分析する映像を受ける入力部と、
入力された上記映像のフレームから、複数画素から成るブロックを複数生成するフレーム分割部と、
ブロック内の画素を、同じブロック内の他の画素の平均値と比較するよう構成される第１目立ち度分析部と、
近接画素から大幅に異なる画素を含む第１画素候補リストを生成する第１しきい値プロセッサと、
上記第１画素候補リストに含まれる画素に関して、対象画素、その近隣画素（第１近隣画素）、該第１近隣画素の近隣画素（第２近隣画素）の間の差分値を生成するよう構成される第２目立ち度分析部と、
所定の頻度しきい値よりも大きい視覚的目立ち度の発生頻度を有する画素を、欠陥画素の候補としてラベルを付ける特定部と
を具えている。

本発明の概念１２は、上記概念１１による欠陥画素を検出するための映像ノイズ分析装置であって、このとき、上記第１目立ち度分析部は、画素のブロックの標準偏差が所定の異質しきい値を下回る場合にのみ、ブロック内の画素を比較するよう構成される。

本発明の概念１３は、上記概念１１による欠陥画素を検出するための映像ノイズ分析装置であって、このとき、上記第１目立ち度分析部は、複数のカラー・コンポーネントを合成したものに対して、動作するよう構成される。

本発明の概念１４は、上記概念１１による欠陥画素を検出するための映像ノイズ分析装置であって、このとき、上記欠陥画素の候補として上記ラベルは、シーン変化の時点でリセットされる。

本発明の概念１５は、上記概念１１による欠陥画素を検出するための映像ノイズ分析装置であって、このとき、上記近隣画素が、８個、１０個、又は１２個の画素を含んでいる。

本発明の概念１６は、映像デバイスから生成された映像を検査することによって、上記映像デバイス中の欠陥画素を検出する方法であって、
分析する映像を受ける処理と、
入力された上記映像のフレームから、複数画素から成るブロックを複数生成する処理と、
ブロック内の画素を、同じブロック内の他の画素の平均値と比較する第１目立ち度分析を実行する処理と、
近接画素から大幅に異なる画素を含む第１画素候補リストを生成する処理と、
上記第１画素候補リストに含まれる画素に関して、第２目立ち度分析を実行する処理と、
上記第２目立ち度分析に基いて、対象画素、その近隣画素（第１近隣画素）、該第１近隣画素の近隣画素（第２近隣画素）の間の差分値を生成する処理と、
所定の頻度しきい値よりも大きい視覚的目立ち度の発生頻度を有する画素を、欠陥画素の候補として特定する処理と
を具えている。

本発明の概念１７は、上記概念１６による欠陥画素を検出する方法であって、このとき、このとき、上記第１目立ち度分析が、画素のブロックの標準偏差が、所定の異質しきい値未満の場合にのみ、実行される。

本発明の概念１８は、上記概念１６による欠陥画素を検出する方法であって、このとき、上記第１目立ち度分析を実行する処理が、複数のカラー・コンポーネントを合成したものに対して実行される。

本発明の概念１９は、上記概念１６による欠陥画素を検出する方法であって、上記欠陥画素の候補のリストをシーン変化時点でリセットする処理を更に具えている。

本発明の概念２０は、上記概念１６による欠陥画素を検出する方法であって、このとき、上記第２目立ち度分析が、８個、１０個、又は１２個の画素に対して実行される。

図１は、本発明の実施形態によって分析される映像を時空間で表したものである。 図２は、本発明の実施形態による残留ポイント・ノイズ（ＲＰＮ）領域を検出する方法の一例のフローチャートである。 図３Ａは、本発明の実施形態による図２のＲＰＮ領域検出方法の１ステップの更に詳細な実施形態の例のフローチャートである。 図３Ｂは、図３ＡにおけるＲＰＮ候補検出ステップの更に詳細な実施形態の例のフローチャートである。 図４は、残留ポイント・ノイズであり得る欠陥画素を検出する本発明の別の実施形態の例によるフローチャートである。 ５Ａは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 ５Ｂは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 ５Ｃは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 ５Ｄは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 ５Ｅは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 ５Ｆは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 ５Ｇは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 ５Ｈは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 ５Ｉは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 ５Ｊは、本発明の実施形態によるパターン・マッチング処理で使用するパターンの一例を示した図である。 図６は、本発明の実施形態によるサブ・サンプル処理された映像コンテンツの中央の対象画素と比較される画素の種々のレイヤを示した図である。 図７は、本発明の実施形態による検出器の例の機能ブロック図である。

以下では、図面に本発明の実施形態を示して、説明を行う。これら図面は、説明の都合上描いたもので、本発明を図示したものに限定しようとするものではない。本発明は、こうした実施形態に沿って説明されるが、これら説明は、これら特定の実施実施形態に本発明を限定することを意図したものではない。

以下の詳細な説明では、１つ以上の実施形態に言及するが、本発明は、こうした実施形態に限定されるものではない。こうした詳細な説明と、提示する任意の実施形態は、単に説明の都合によるものに過ぎない。当業者であれば、本願で図面に関連して行う詳細な説明は、説明の都合によるものであって、本発明は、これらに制約されるものでないことが理解できよう。

特定システムの要素に言及するのに、特定の用語が利用される。以下の説明及び特許請求の範囲では、「何々を含む」、「何々を具える」といった表現を用いるが、これは、何々を含むが、含むものは、それら何々に限定されるものでないと解釈すべきものである。本願では、「何々に結合される」及び「何々に接続される」といった言い回しが、２つのデバイス、装置、要素、コンポーネントのつながりを表現するのに利用され、特に限定しない限り、物理的、光学的又は電気的に、直接に結合されるか、又は、適切な、例えば、１つ以上の介在要素若しくはコンポーネントを介してか、若しくは、無線若しくは有線接続など介して、間接的に結合されることを意味することを意図する。用語「システム」とは、２つ以上のコンポーネントの集合体のことを意味しており、また、全体のシステム（例えば、通信システム、受信システム、試験システム、コンピュータ・システム、こうしたデバイス／システムのネットワークなど）、もっと大きなシステムの一部分として提供されるサブシステム、こうしたシステム又はサブシステムの動作に関係する処理又は方法を指すために使用することもある。

本願で記述する発明は、理解を助けるために、特定の典型的な詳細な実施形態例を用いて説明される。しかし、開示する発明は、当業者であれば、こうした細部を利用しなくても、実施できるであろう。本発明は、ハードウェアで実現でき、ソフトウェア・アプリケーションを利用する。こうしたハードウェアは、専用に設計されたＡＳＩＣ、専用プロセッサ、ソフトウェアでプログラムされる汎用プロセッサとしても良い。別の実施形態としては、こうしたハードウェアとソフトウェアの組み合わせとしても良い。当業者であれば、本願の開示に基づいて、必要な機能を有するデバイスを制作することは充分に可能であろう。ブロック図に示すコンポーネント及びデバイスは、典型的な本発明の実施形態の説明のためのもので、本発明が分かり難くならなようにしようという意図で示している。また、種々の構成要素間のつながりは、必ずしも直接である必要はなく、これら要素間のデータ転送は、種々の変更が可能である。

明細書で「実施形態」を参照している場合、その実施形態に関連して説明する特定の特徴、構造、特性又は機能が、本発明の少なくとも１つの実施形態に含まれることを意味している。明細書中で「ある実施形態では」と記載したカ所がいくつかあるが、これらは、必ずしも全て同じ実施形態とは限らない。

以下、ＲＰＮを利用した欠陥画素を検出する第１実施形態を、図１〜３を参照して説明する。また、ＲＰＮを利用した欠陥画素を検出する第２実施形態を、図４〜６を参照して説明する。

図１は、分析対象の映像を本発明の実施形態に従って時空間で表現したものである。被分析映像の例１００は、複数の個々のフレーム１０２〜１０８から構成される。実際は、映像１００中のフレームの個数は、非常に多数であるが、図１の映像１００では、代表的なものだけを示す。通常、映像の１秒当たりのフレーム数は、毎秒２０〜３００フレームのオーダーであるが、特定の特殊なスローモーション映像では、毎秒数万フレームに達することもある。各フレーム、例えば、フレーム１０２は、マイクロブロックにまとめられた複数の画素を含む。このフレーム１０２には、行及び列に配列された１６個のマイクロブロックがあり、各マイクロブロックは、同じ個数の画素を有している。典型的には、各マイクロブロックが１６×１６画素としても良いが、画素の個数は、別の値も可能である。また、特定のフレームでは、マイクロブロックの列の数を、その行の数よりも多くすることも可能である。

図２は、映像中の残留ポイント・ノイズ（ＲＰＮ）領域を検出する本発明の実施形態のフローチャートの例２００を示している。フローチャート２００は、図１に示した映像１００のような分析対象の映像シーケンスを入力するステップ２０５で始まる。次に、ステップ２１０では、この映像から、図１のフレーム１０２のような個々のフレームが選択される。ステップ２１５では、必要に応じて、選択したフレームについて、ＹＵＶからＲＧＢへと変換する。

次に、ステップ２２０において、フレームは、図１に示したような複数のマイクロブロック（以下、単にブロックとも呼ぶ）に分割される。実施形態によっては、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の複数の色チャンネルそれぞれ用に、マイクロブロックにも複数のグループがあり、これによって、各色チャンネルを独立して処理し、調べられるようにしても良い。こうして設定したフレーム内の各ブロックの位置は、各ブロックに関する特有のデータを記憶するためのデータ構造に関係している。言い換えると、このデータ構造は、映像の複数フレームに跨がる特定ブロックの位置に関するデータを記憶している。例えば、データ構造には、ブロックが処理されたか否かを示すフラグ、ＲＰＮの信頼度（信頼性の目安：confidence measure）を記憶したフィールド、損傷度（severity measure）を記憶したフィールド、輝度範囲サイズ（intensity window measure）を記憶したフィールド、ＲＰＮが現れた画素の位置のリストを記憶した１つ以上のフィールド、などが含まれる。実施形態によっては、このデータ構造は、処理が続いている間、継続的に更新され、チェックされる。データ構造にデータを追加し、使用する手法については、以下で更に詳しく説明する。

ステップ２２５では、各ブロックを処理するループが開始され、初めに、現在処理中のブロックのブロック処理フラグの状態（ステータス）がチェックされる。このブロック処理フラグは、初期設定で、全てのマイクロブロックについて「真（TRUE）」に設定されている。もし処理中のブロックのブロック処理フラグの状態が真ならば、ステップ２３５において、そのブロックは、ＲＰＮについて検査される。これについては、以下で、図３Ａ及び３Ｂを参照し、更に詳細に説明する。そうではなく、もし処理中のブロックのブロック処理フラグの状態が偽（FALSE）ならば、処理は、ステップ２４０に進み、次のブロックの処理に入る。即ち、ブロック処理フラグの状態が真ならば、そのブロックについてのＲＰＮの検査が未処理であることを意味する。

ステップ２２５とステップ２４０の間におけるブロックの処理は、ステップ２４５において、処理終了状態に達するまで続く。処理終了状態になる条件としては、例えば、もし映像が最後に達したり、映像がユーザが指定した長さまで処理されたりした場合に、満たされるとしても良い。この映像の長さは、例えば、フレームの数や、映像の時間で指定するようにしても良い。

ステップ２５０では、特殊な場合のブロックを扱う。特殊な場合の例としては、例えば、ブロック処理フラグが、映像の分析対象とした長さの最初から最後まで、ずっと真であり続けた場合がある。これは、そのブロックが、フレームの静的な領域の部分であった場合に起こり得る。フレームの静的な領域が生じる映像の例としては、レター・ボックス（上下に余白部分がある）、サイドパネル（ピラー・ボックスとも呼ぶ：左右に余白部分がある）、カラー・バー、ブラック・フレーム、静的なシーン、などがある。また、そのブロックにおいて、ＲＰＮ画素の数の方が優勢である場合にも、真であり続けることが起こり得る。これらの場合の両方において、ステップ２５０では、特殊な処理を起動するようにしても良い。特殊処理の一例としては、映像を処理した長さ全体でブロック処理フラグが真だった複数のブロックの領域をつなげて、調査するものがある。これら領域の全体の領域が、処理されたフレームの大きさと比較される。映像を処理した長さ全体でブロック処理フラグが真だった複数のブロックの領域をつなげたときのトータルの領域が、フレーム全体の大きさの０．０１％を下回る場合、もしシーンの変化がなかったとすれば、それらブロックは、ＲＰＮを含むとしてマークを付ける。

そのブロックの平均輝度の時間的な変化をトラッキング（追跡観測）することで、シーンの変化があったことが判明するかもしれない。例えば、もし平均輝度が、輝度レンジ（例えば、８ビットで画素を表現する場合、０〜２５５の輝度レンジ）の５％以上変化すると、シーン変化があったと判断される。

図３Ａ及び３Ｂは、本発明の実施形態による残留ポイント・ノイズ（ＲＰＮ）を検出する方法の例のフローチャートを示す。つまり、図３Ａ及び３Ｂは、図２のステップ２３５におけるＲＰＮ検出を実行する方法の例を示している。

フローチャート３００は、ステップ３００の開始動作で始まり、次に、ステップ３１０において、概略を上述したように、シーン変化があったか否か判断される。シーン変化があったと判断されると、ステップ３１５において、図３Ｂに詳細に示すように、ＲＰＮの候補が検出される。空間的異常値検出処理３１５Ａは、ＲＭＳ（Root Mean Square：２乗平方根）をベースとするものか、又は、メディアン・フィルタ処理（周知のノイズ除去手法の１つ）したバージョンを生成し、続いて、処理中の画素に関して、メディアン・フィルタ処理バージョンとの差分を得るとしても良い。例えば、任意の時点又はフレームにおいて、各ブロックが、輝度に関して、極わずかな偏差しかないと仮定する。このとき、もっと小さいサイズのブロックについて検討すれば、もっと大きい近隣の画素の一部分として考えた場合と反対に、ＲＰＮが現れている画素は、少ない個数の近隣の画素と比較すれば、統計的に突出するであろう。よって、よりサイズの小さいブロックを使うことで、より正確な空間的異常値検出を行える可能性が高くなる。しかし、小さなブロック・サイズを利用するリスクとしては、特に、まれであるが、多数のＲＰＮ画素がそのブロックに集中している場合に、ＲＰＮ画素が、そのブロックの統計的な特性に関して支配的になっている可能性があることである。多くの場合、１６×１６画素のブロック・サイズが利用されるが、このサイズは、映像圧縮処理における典型的なブロック・サイズなので、効果的である。

もう１つの処理３１５Ｂでは、時間的な変化（時間的difference）に基づいて、時間的不変値検出を行う。特に、ブロック・レベルでのシーン変化において、ＲＰＮ画素は、近隣の画素から突出する（目立つ）可能性が高いので、こうした場合に、時間的不変値検出が活用される。言い換えると、シーン変化を通過するフレームのブロック内の画素が、例えば、差分を取る方法で、互いに比較され、ゼロか又はゼロに近い値を探し出す。ＲＰＮ画素は、シーン変化において目立つ傾向にある。つまり、ブロック内の他の多くの画素がシーン変化によって変化するが、こうした画素の輝度レベルは、ほぼ変化しない。

実施形態によっては、空間的異常値検出方法と時間不変値検出方法の両方を用いて、ＲＰＮであると疑われる候補だけを、ステップ３１５Ｃ及び３１５Ｄに示すように、ＲＰＮ候補画素リストに追加する。別の実施形態では、空間的異常値検出モードと時間不変値検出モードのどちらかだけの候補を用いるようにしても良い。ただし、この方法によれば、先の結合させる方法と比較して、選別が緩くなり、偽の応答の数がもっと多くなる

図３Ａに戻ると、次のステップ３２０では、そのブロック内の特定の画素がＲＰＮの兆候を示しているか判断するのを補助するために、データを累積する。こうしたデータについて、先に簡単に説明したが、ここで更に詳しく説明する。ＲＰＮ検出の信頼度は、各ブロックについて、次の数式１を用いて求めても良い。

損傷度は、各ブロックについて、次の数式２を用いて求めても良い。

輝度範囲サイズは、各ブロックでシーン変化の間に見られた平均輝度レベルのダイナミック・レンジを追跡（観測）したものとしても良い。もしそのブロックに充分なダイナミック・レンジがあることが測定されて、かつ、ＲＰＮらしきものが存在していると観測されたのなら、その疑わしい画素は、ＲＰＮ画素である可能性が一層高まるので、ＲＰＮ画素の可能性が高いとしてフラグを立てる。ステップ３２５における輝度範囲サイズを求める１つの方法は、ブロックについて計算された平均輝度レベルの時間的な最大値及び最小値の差を利用するものである。あるブロックが、例えば、そのブロックの輝度レベルのレンジの４０％より高い輝度範囲サイズを有していたら、そのブロック処理フラグは、ステップ３４５において、偽（false）の状態に設定される。

ステップ３２５の後、処理フローは、ステップ３３０へと続き、ここでは、現在処理中のブロックの各画素を、ステップ３３５でＲＰＮ画素であるとして分類するか、又は、ステップ３４０でＲＰＮ画素ではないとして分類する。こうした判断を行うため、データ構造中に蓄積したデータが調べられ、種々のしきい値と比較される。データがしきい値の１つを超えると、現在処理中のブロック内のその画素がステップ３３５においてＲＰＮ画素として分類され、これらしきい値の全てを超えないと、ステップ３４０においてＲＰＮ画素ではないとして分類される。すると、処理フローは、図２に示したフロー２００へと戻る。ＲＰＮの潜在的な発生源と識別された各画素について、ステップ２５５において、ユーザに提供されるレポートが生成される。ステップ２５５で生成されるレポートは、上述のように、ＲＰＮを示していると特定された画素についてのデータと、画素の各ブロックとに関して蓄積したデータを含む。例えば、このレポートは、ＲＰＮ画素の位置のリスト、ブロック中のどのくらいの数の画素がＲＰＮ特性を示しているかという損傷度、各ブロックについてのＲＰＮ検出の信頼度、そして、各ブロックについての輝度範囲サイズ（intensity window measure）を含んでいる。もちろん、検出システムで生成された他のデータも合わせて、ユーザに提供しても良い。

図４、５Ａ〜５Ｊ及び６は、結果として残留ポイント・ノイズとなり得る欠陥画素を検出する方法の本発明による別の実施形態例を示している。上述のように、欠陥画素（defective or dead pixels）の最も重要な２つの特徴としては、空間的な異常値特性と、時間的な異常値特性とがある。空間的な異常値特性は、欠陥画素と、その近隣の画素との間の高いコントラストとして示され、時間的異常値は、ある１シーン内のほとんどの時間について、欠陥画素がそのままの状態であり続ける（変化がない）ということによって示される。これら２つの特徴は、人の注目を引くものであり、同時に欠陥画素を検出するのに利用される。

概略としては、この検出手法では、視覚的に静的ないくつかのポイント（画素）を候補として特定し（これをレベル１検出と呼ぶ）、続いて、そのシーン全体を通して、特定された画素の目立つ特性を追跡（トラッキング）して測定する（これをレベル２検出と呼ぶ）。その追跡結果は、トラッキング・マップに蓄積され、ここに映像フレームの各画素の測定デ―タが入力される。１つのショット又はシーンの最後において、トラッキング・マップが分析され、各画素について、視覚的に目立つ特性の発生頻度がチェックされる。ある画素について、視覚的に目立つ特性が生じている時間が、そのシーンの全時間中の、例えば、７０％を超える場合に、その画素は欠陥画素として分類される（マークが付けられる）。この特定の比率は、７０％に限らず、動作環境に応じて、例えば、４０％〜９０％の範囲で調整しても良い。

最初に、レベル１の視覚的に目立つ特性を生成するため、平均ＲＧＢと、標準及び絶対偏差が、各ブロックについて求められる。先の実施形態と違って、この実施形態では、ＲＧＢコンポーネントは、個別に検討するのではなくて、合成される。１つの実施形態例では、１つのブロック又は複数画素から構成される１つのグループの平均ＲＧＢを求めるため、最初のステップとして、コンポーネント（Ｒ、Ｇ、Ｂ）それぞれに関するカラー値を合計し、合計Ｒ（赤）値、合計Ｇ（緑）値、合計Ｂ（青）値を得る。次に、合計Ｒ（赤）値、合計Ｇ（緑）値、合計Ｂ（青）値は、そのブロック又はグループ内の画素の総数で割り算される。これらの得られた値を平均すると、平均ＲＧＢが得られる。実施形態によっては、このＲＧＢの計算は、ＲＧＢ２４又はＢＧＲ２４に変換された画素の値に対して実行される。

標準偏差は、数式３を用いて計算できる。

シグマ（Sigma）は、標準偏差のスカラー値である。もし特定のブロックの標準偏差シグマが、異質しきい値よりも大きかった場合には、そのブロックは無視される。これは、異質しきい値よりも大きい標準偏差は、そのブロックが、映像フレームの異質領域（ここでは、画素が他とは大幅に異なる）にあることを示している可能性が高いからである。この異質しきい値は、経験に基いて定めても良い。例えば、この異質しきい値は、２４〜３２の間にあり、特に２８としても良い。

元々のカメラのコンテンツについて、もし現在処理中のブロックの標準偏差（シグマ）が、レベル１の目立つか否かのしきい値（以下、単に目立ち度しきい値と呼ぶ）レベル（例えば、２０）より小さかったら、そのブロック内の各画素のレベル１の目立ち度は、ブロックの平均ＲＧＢ値からのその画素の特定ＲＧＢ値の絶対偏差として計算される。絶対偏差は、以下で説明するように、数式５を用いて、その画素のＲＧＢ値とブロックの平均ＲＧＢ値との間の差として計算できる。レベル１の目立ち度しきい値レベルは、経験的に求めると良いが、例えば、１５〜２２の範囲としても良い。次に、実際の目立ち度は、そのブロックのシグマの、例えば、３倍のしきい値と比較する２値化処理を通して、その値を再調整しても良い。この再調整では、シグマ・レベルがレベル１の目立ち度しきい値よりも大きい場合には、シグマ・レベルを１６とし、そうでなければ、シグマ・レベルを０とする処理を含んでいても良い。

次に、現在処理中の画素とそのレイヤ１の近隣画素との間の差がチェックされる。図５Ａを参照すると、この７×７画素ブロックの最も中央の画素を、チェックの対象画素と考えることにすると、この対象画素は、これを中心として、複数画素から構成される３つの同心円状のレイヤで囲まれている。この説明においては、対象画素の直ぐ外側で対象画素を囲む８個の画素をレイヤ１画素と呼び、レイヤ１画素の直ぐ外側でレイヤ１画素を囲む１６個の画素をレイヤ２画素と呼び、最も外側であってレイヤ２画素の直ぐ外側でレイヤ２画素を囲む２４個の画素をレイヤ３画素と呼ぶ。もちろん、本発明の実施形態は、任意のブロック・サイズで機能し、図５Ａは、単なる一例に過ぎない。もし対象画素が、８個のレイヤ１の近隣画素の内の少なくとも５個の画素からの差分が２４より大きいというように、大幅に異なっていたら、パターン・マッチング動作を開始しても良い。２個のＲＧＢ画素Ｐ_１（ｒ_１，ｇ_１，ｂ_１）及びＰ_２（ｒ_２，ｇ_２，ｂ_２）の間の差が、数式４に示されるようにして計算される。また、差分値のしきい値は、経験的に求められる。

パターン・マッッチング処理でチェックされるパターンを、図５Ａ〜５Ｊに示す。図５Ａのパターンについては、先に説明している。パターン５Ｂ及び５Ｃは、ブロック・サイズがそれぞれ８×７画素と７×８画素であり、最も内側の画素を強調（図では、黒塗り）して示している。残りのパターン５Ｄ〜５Ｊは、ブロック・サイズが８×８画素であり、最も内側付近にある２個〜４個の画素を種々の組み合わせで強調（黒塗りで）示している。パターン・マッチングにおけるチェック処理には、数個のサブ・ステップがある。パターン・マッチングを始めるにあたり、いくつかの実施形態では、現在処理（current：Curと略す）中の画素Ｐ_ｃｕｒの目立ち度が６４以上なら、その画素は、既に完全に処理されているので、無視される。そうでない場合、まずは、レイヤ１近隣画素のそれぞれが、上述の差分計算を用いて、１個の対象画素と比較される。もしこの１個の対象画素と大幅に異なるレイヤ１近隣画素の個数が８ならば、それは、レイヤ１近隣画素中に、対象画素と似ているものがないことを意味する。もし８個のレイヤ１画素が全て対象画素と大幅に異なっているなら、これら画素のグループには、図５Ａに示したパターンが適しているということである。

もし１個の対象画素と大幅に異なっているレイヤ１近隣画素の個数が７ならば、それは、レイヤ１近隣画素の１個だけが、対象画素と似ていることを意味する。もし対象画素Ｐ_ｃｕｒと似ている唯一の近隣画素が、その右隣の画素Ｐ_rightであって、このＰ_rightが対象画素Ｐ_ｃｕｒを除くＰ_rightの近隣画素の全てと大幅に異なるなら、これら画素のグループには、図５Ｂのパターンが適している。同様に、もし対象画素Ｐ_ｃｕｒと似ている唯一の近隣画素が、その下の画素Ｐ_bottomであって、このＰ_bottomが対象画素Ｐ_ｃｕｒを除くＰ_bottomの近隣画素の全てと大幅に異なるなら、これら画素のグループには、図５Ｃのパターンが適している。同様にして、１個の対象画素と大幅に異なっているレイヤ１近隣画素の個数が７の場合における処理は、図５Ｄ及び５Ｅに示したパターンとマッチングするパターンが存在するかどうか判断するために続けられる。

１個の対象画素と大幅に異なっているレイヤ１近隣画素の個数が６又は５の場合についても、マッチング・パターンが図５Ｆ〜５Ｊのいずれかとなる点を除いて、上述の処理と同様にしてパターン・マッチング処理を続けて行う。このとき、上述のように、差分が常に２４より大きい状態である限り、パターンは、図５Ｆ〜５Ｊのいずれかとマッチングするであろう。

もし現在処理中の画素とその類似するレイヤ１画素から構成される複数画素のグループが、このグループの近隣画素の全てと大幅に異なっているなら、このグループは、レベル１目立ち度画素グループと判断され、このとき、このグループの各画素がレベル１目立ち度画素である。

次に、中央の対象画素と、その類似する近隣画素が、レベル１目立ち度画素候補のグループを形成し、続いて、これら画素のグループに関する目立ち度値（saliency value）が、このグループと、そのレイヤ１／レイヤ２近隣画素との間の平均差分として計算される。この目立ち度値は、しきい値である２４と比較する２値化処理を通して、その値が再調整される。例えば、もし目立ち度値が、このしきい値よりも大きい場合には、その目立ち度は６４に設定され、そうでない場合には、０に設定される。もし対象画素の目立ち度値が、ブロックの平均値からのＲＧＢ絶対偏差値として、既に予め計算されているならば、これら２つの再調整値の内の大きい方を適切な値とみなす。

サブ・サンプル処理等されたコンテンツを検査する場合には、上述した元々の（native）カメラ・コンテンツを検査する手法とは、異なる手法を用いても良い。ただし、類似する点もいくつかある。具体的には、もしサブ・サンプル処理等されたコンテンツの現在処理中のブロックのシグマ（標準偏差）が２０より小さいなら、画素のレベル１視覚的目立ち度を、例えば、数式５を用いて、そのブロックの平均ＲＧＢ値からのその画素のＲＧＢ値の絶対偏差（absolute deviation）として定義しても良い。

そうではなくて、もし１個の対象画素が、図６に示したように、その８個のレイヤ１近隣画素の内の少なくとも５個と大幅に異なる（２４よりも差分が大きい）場合には、そのレベル１目立ち度が、その対象画素と、そのレイヤ１／レイヤ２近隣画素との間の平均差分として定義される。この平均差分値は、これら差分値を合計し、この合計値を、差分値を合計する計算の対象とした近隣画素の数で割り算することで求めても良い。

上述した元々の（native：カメラで生成した映像に処理を加えていない）カメラ・コンテンツに関する方法と違って、この方法では、候補の画素が、それ自身と非常に良く類似する近隣画素を有していたとしても、複数画素のグループを一度に処理する必要はない。むしろ、レベル１目立ち度の値を再調整するだけで充分である。

元々のカメラ・コンテンツは、レベル１目立ち度に関して、サブ・サンプル処理されたコンテンツと異なる形で処理されることがある。これは、元々のカメラ・コンテンツでは、欠陥画素が、通常、非常にシャープなエッジを有している一方、サブ・サンプル処理されたコンテンツでは、そうしたエッジが、通常、ぼやけているためである。元々のカメラ・コンテンツ用の方法は、より厳格なものとなっており、そのため、偽となる比率が低くなる。しかし、真となる比率も低い。サブ・サンプル処理されたコンテンツ用の方法は、こうしたぼけた欠陥画素をも捕捉するために、もっと緩やかになっており、そのため、真となる比率が高くなる。しかし、偽となる比率も高い。実施形態によっては、ユーザには、選択可能なオプションが少なくとも２つ与えられる。ユーザは、評価する対象が、元々のカメラ・コンテンツか、それともサブ・サンプル処理されたコンテンツかに関係なく、誤った警告を可能な限り少なくするように、最初の手法（元々のカメラ・コンテンツ用として説明した方法）を選択できる。ただし、これは、欠陥画素をいくらか捕捉に失敗する場合があることを意味する。また、もしユーザが可能な限り多くの欠陥画素を捕捉したいと望むのであれば、後者の方法を選択することもできる。ただし、この場合、誤った警告が増加する可能性がある。

レベル１視覚的目立ち度を求める処理を行った後、レベル２視覚的目立ち度を求める処理が行われる。

レベル２視覚的目立ち度は、候補となる目立つ画素の領域と、その最も近い近隣画素との間のＲＧＢ値の差分として定義される。孤立した１個の目立つ画素の候補については、そのレベル２視覚的目立ち度は、その候補の対象画素と、そのレイヤ１／レイヤ２近隣画素との間のＲＧＢ値の差分である。複数の目立つ画素の候補から成るグループについては、そのレベル２視覚的目立ち度は、これら候補の画素と、それらのレイヤ２／レイヤ３近隣画素との間のＲＧＢ値の差分である。計算された目立ち度値は、上述のように、しきい値である２４と比較する２値化処理を通して、その値が再調整される。２個のＲＧＢ画素Ｐ_１（ｒ_１，ｇ_１，ｂ_１）及びＰ_２（ｒ_２，ｇ_２，ｂ_２）の間の差分を計算する方法の１つとしては、上述の数式４で示したように、２次平均値を用いても良い。

シーン（又はショット）の変化を検出するためのシーン（又はショット）検出処理を、ＰＳＮＲ（peak signal-to-noise ratio：ピーク信号対ノイズ比）、ＳＳＩＭ（structural similarity）及びアフィン変換（affine transformation）を用いて行っても良い。各フレームに関して、最初に、現在処理中のフレーム（フレームＡと呼ぶ）と、その前のフレーム（フレームＢと呼ぶ）との間で、ＰＳＮＲが計算される（非特許文献２参照）。概して、ＰＳＮＲが高いほど、ノイズが少ないと判断できる。ＰＳＮＲの値が２４より小さい場合には、ＳＳＩＭ（非特許文献３参照）が計算されて、フレームＡとフレームＢとの間に関してＳＳＩＭマップが生成される。ＳＳＩＭマップは、１１×１１画素の小さい部分画像区画（全画像中の一部分）に関するＳＳＩＭ値の行列である。各画素につき、その画素の１１×１１の近隣画素についてＳＳＩＭが計算されるので、各画素は、ＳＳＩＭマップ中に対応する要素を有している。もし次の数式６中に記載した条件が満たされると、シーンの境界の候補がわかる。なお、ＳＳＩＭは、一般に２つの画像の類似性を測定するために利用されている。

数式６中の不等式について、次のパラメータの設定だと、上手く機能することが分かっている：PSNR_thres1 = 14, PSNR_thres2 = 22, SSIM_thres1 = 0.64, SSIM_thres2 = 0.52及びSSIM_thres3 = 0.35（thresは、thresholdの略で、しきい値を意味）。

もしSSIM_thres１_pctが、部分画像のＳＳＩＭが０.９８より大きい部分画像区画の割合（pct＝percentage：パーセンテージ）として定義され、また、SSIM_thres２_pctが、部分画像のＳＳＩＭが０.８５より大きい部分画像区画の割合として定義され、更に、次の数式７に示す条件が満たされると、５０より大きい部分画像ＰＳＮＲを有する部分画像区画の割合（PSNR_thres１_pctで示す）が求まる。

PSNR_thres１_pctが０.４より大きい場合には、シーン変化が起こった可能性は極わずかであり、現在のフレームの処理を終了できる。こうした場合、シーンには、人物又はオブジェクトの速い動きが含まれる可能性が高い。

数式７に示す条件が満たされないか、又は、PSNR_thres１_pctが０.４以下の場合には、高速なカメラの動きが続いているかどうかの確認が行われる。これは、フレームＡ及びフレームＢが実際は同じシーン内にある場合、ＰＳＮＲとＳＳＩＭの値が小さいという結果になり得る。こうした確認（チェック）を実行するため、最初に、フレームＡ及びＢ間の最適なアフィン変換行列Ｍを、概算で求める（非特許文献４参照）。もしこの概算がうまくいかず、空の行列Ｍが生成された場合には、シーンの境界が生じていた可能性が極めて高いので、そのフレームに関する処理は完了する。そうでない場合には、アフィン変換行列Ｍを用いてフレームＢを変形させて、画像Ｂ’を得る。続いて、現在処理中のフレームＡと画像Ｂ’との間でＰＳＮＲとＳＳＩＭを計算し、この処理を、他のフレームＡと画像Ｂ’についても繰り返す。もし数式６の条件が満たされ、且つ、数式７の条件が満たされないと、シーンの境界が生じていた可能性が極めて高い。

シーン変化が検出された後、完了したばかりの前のシーンが処理される。

誤った検出の比率を低く維持するため、最初に、いくつかの形式のブロックを除外する。除外されるブロックとしては、時間のしきい値（例えば、４０％）について、固まっている（frozen：変化のない）ブロックがある。また、ブロック内の欠陥画素の候補の平均近隣画素（区画（kernelカーネル）のサイズが９画素）のシグマ（標準偏差）が、３０より大きいブロックも除外する。

１シーン中の時間にして４０％以上で変化のないブロックを求めるため、最初に、複数の連続するフレームについて、平均二乗誤差（MSE：mean squared error）を計算し、これらＭＳＥ値を合計する。そのシーンの最後で、ＭＳＥ値の合計を、フレームを単位とするシーンの長さで割り算し、各ブロックに関する平均ＭＳＥを得る。もしブロックの平均ＭＳＥが６８より小さければ、固まっているブロックとみなす。輝度の演算処理量を減らすため、固まっているブロックの分析は、欠陥画素の候補を含むブロックについてのみ行われる。

ブロックの欠陥画素の候補の平均近隣画素（区画サイズが９画素）のシグマ（標準偏差）が３０より大きいブロックを求めるため、欠陥画素の候補の９×９の近隣画素のシグマが計算される。再度、この分析は、処理に必要なリソースを低減するために、ブロック内に欠陥画素の候補がある場合にのみ実行するようにしても良い。続いて、各ブロックについて、複数のシグマ値が加算されていき、そして、シーンの最後で、このシグマ値の合計が、現在処理中のブロックで生じた欠陥画素の候補の総数で割り算される。この平均シグマは、ブロック内の欠陥画素の候補の近隣画素の滑らかさ（スムースさ）を表現している。もしこれがあまりにも大きい場合、ブロック内の欠陥画素の候補は、おそらく、異質な領域（例えば、レターボックスの余白領域など）中にあると考えられる。

最後に、１シーンの期間中、累積で７０％以上の頻度で視覚的目立ち度が発生した画素を欠陥画素と判断する。そして、これをレポートするようにしても良い。

次に、結果として残留ポイント・ノイズ（ＲＰＮ）であり得る欠陥画素を検出するための図４のフローチャートの例を説明する。フローチャート４００は、分析する映像クロックを入力するステップ４０５で始まる。ステップ４１０において、新しいフレームが取り出される。判断ステップ４１５で判断されるように、映像の最後でない場合、判断ステップ４４０で、そのフレームが新しいシーンの第１フレームか否かが判断される。この判断処理では、ＰＳＮＲ、ＳＳＩＭ及びアフィン変換を利用するなど、上述した手法を用いても良い。

もしそのフレームが新しいシーンの最初でないなら、フレームは、ステップ４６０において、複数のブロックに分割される。このブロックのサイズは、映像の品質及びサイズ次第で異なっていても良い。例えば、ＨＤ及びＳＤ映像クリップについては、ｍ×ｎのブロック・サイズは、ｍ＝８、ｎ＝８としても良い。４Ｋ映像クロックの場合では、ｍ＝１６、ｎ＝１６としても良い。もちろん、他のブロック・サイズも可能である。

ステップ４６５において、個々のブロックそれぞれについて、最初に、レベル１視覚的目立ち度画素が、上述のようにして特定される。レベル１目立ち度画素は、視覚的な目立ち度画素の候補としてみなされる。続いて、ステップ４７０では、各ブロック中のレベル１目立ち度画素のそれぞれについて、レベル２視覚的目立ち度がチェック（調査）される。上述のように、レベル１視覚的目立ち度は、比較的粗く、特に、サブ・サンプル処理コンテンツに関して上述した方法に使うためのものであるが、レベル２視覚的目立ち度は、ずっと厳格である。ステップ４７０では、上述のように、これら目立ち度画素の候補のＲＧＢ値が、それらに最も近い近隣画素のＲＧＢ値と比較され、その差分が計算される。もし差分値がしきい値より大きければ、目立ち度は１に設定され、そうでなければ、目立ち度は０に設定される。設定された目立ち度のレベルは、被分析ブロックの各画素の画素目立ち度トラッキング・マップを更新するのに利用される。

そのシーンの最後のフレームが分析された後、判断ステップ４４０は、ＹＥＳの方向に抜けて、ステップ４４５において、最後のフレームの画素目立ち度トラッキング・マップが分析される。欠陥画素は、ステップ４５０において、その視覚的目立ち度の発生頻度が、例えば、１シーンの期間中の７０％（フレーム単位）を超える場合（つまり、１シーンの全フレーム中の７０％を超えるフレームで視覚的目立ち度が発生した場合）に、エラー画素としてレポートされる。もしブロックが、１シーンの期間中の４０％を超えて変化がない（固まっている）又はほぼ変化がない場合、又は、現在処理中のブロック内の欠陥画素の候補の平均近隣画素（区画サイズは９画素）シグマが３０より大きい場合には、ブロックの処理は終了し、次のブロックが取り出される。ステップ４５０で欠陥画素がレポートされた後、画素目立ち度トラッキング・マップはリセットされる。続いては、処理は、次のブロックへと続く。

映像の最後のフレームが分析されたら、判断ステップ４１５はＹＥＳの方向へ抜けて、ステップ４２０、４２５及び４３０において、映像クリップの最後ショットに関して、同じレポートが作成される。

上述したような実施形態の全ては、図７のブロック図に示したような欠陥画素検出システム５００で実現しても良い。欠陥画素検出装置５２０は、映像信号源５１０から入力信号を受けて、欠陥画素レポート５８０を出力する。このレポートは、例えば、書面のレポート、欠陥画素のマップ、欠陥画素のリストなど、多様な形態があり得る。

ある実施形態では、欠陥画素検出装置５２０には、上述した処理を実行するプロセッサ５２２がある。データ・メモリ５２３及びプログラム・メモリ５２４は、プロセッサ５２２に結合され、欠陥画素に関するデータを一時的に記憶したり、プロセッサ５２２が欠陥画素の分析を実行した後に、欠陥画素レポート５８０を生成するようにするプログラムを記憶したりしている。欠陥画素検出装置５２０には、多様なしきい値を記憶するしきい値記憶部５３０や、上述したようなブロックのデータを記憶するデータ構造記憶部５３２を別途設けても良い。

別の実施形態では、特定の機能を、専用プロセッサや専用にプログラムされたプロセッサのような専用のハードウェアで実行する。例えば、空間的異常値検出部５４０が、上述した空間的異常値検出機能を実行しても良い。同様に、時間的不変値検出部５５０が、上述した時間的不変値検出機能を実行しても良い。欠陥画素検出装置５２０は、輝度プロセッサ５６０のような他の専用プロセッサも同様に有していてもよく、これは、輝度範囲サイズの測定処理及び輝度レンジの処理を実行する。

欠陥画素検出装置５２０中に多くの機能ブロックを示したが、図示した機能ブロックと、物理的なハードウェア・ブロックとが、１対１で対応している必要はない。いくつかの機能が、プロセッサ５２２で実行されたり、他の複数のブロックで実行されたり、プロセッサ５２２と連係して、複数のハードウェア・ブロックが組み合わせられて動作しても良い。

ユーザ・インタフェース５９０によって、ユーザは、プログラム・メモリ５２４にプログラムをロードすることも含めて、欠陥画素検出装置５２０の動作を制御できる。ユーザ・インタフェース５９０には、典型的には、キーボード、ボタン、マウスなどの１つ以上の入力装置に加えて、表示装置のような１つ以上の出力装置もある。動作においては、ユーザは、ユーザ・インタフェース５９０を操作して、欠陥画素の検出を開始する。ユーザは、１つ以上の映像信号源５１０を選択し、上述した欠陥画素検出処理は、欠陥画素検出装置５２０を用いて実行される。欠陥画素検出処理の最後において、又は、別の時点において、欠陥画素検出装置５２０は、欠陥画素レポート５８０を生成する。

当業者であれば、本発明が特定の実施形態の例に限定されることがなく、本発明の範囲から離れることなく、同様なアーキテクチャを有するシステムに応用可能なことが理解できよう。

明快な理解という観点から、本発明の実施形態を具体的に説明してきたが、本願で説明した実施形態は幅広く変更可能であるとの観点から、上述の記載は、説明の都合上によるものに過ぎず、本発明の範囲を限定するものではないと理解すべきである。

５００ 欠陥画素検出システム
５１０ 映像信号源
５２０ 欠陥画素検出装置
５２２ プロセッサ
５２３ データ・メモリ
５２４ プログラム・メモリ
５３０ しきい値記憶部
５３２ データ構造記憶部
５４０ 空間的異常値検出部
５５０ 時間的不変値検出部
５６０ 輝度プロセッサ
５８０ 欠陥画素レポート
５９０ ユーザ・インタフェース

Claims (4)

1. 残留ポイント・ノイズを検出するための映像ノイズ分析装置であって、
   分析する映像を受ける入力部と、
   隣接する２つのフレームの同じブロックの画素間の差分を求め、上記フレーム間で比較的変化率の低い画素を含む第１画素候補リストを生成するよう構成される時間的不変値検出部と、
   隣接する画素から比較的高い輝度レベルの偏差を有する画素を含む第２画素候補リストを生成するよう構成される空間的異常値検出部と、
   上記第１画素候補リスト及び上記第２画素候補リストを組み合わせて、ノイズ画素候補リストを生成する合成部と、
   上記ノイズ画素候補リスト上の１つ以上の上記画素又は上記ノイズ画素候補リスト上の上記画素が選択されたブロックを記述するデータを収容するよう構成されたデータ記憶部と
   を具える映像ノイズ分析装置。
2. 映像中の残留ポイント・ノイズを検出する方法であって、
   分析する映像を受ける処理と、
   隣接する２つのフレームの同じブロックの画素間の差分を求め、時間的不変値検出を実行する処理と、
   上記時間的不変値検出に基いて、上記フレーム間で比較的変化率の低い画素を含む第１画素候補リストを生成する処理と、
   隣接する画素から比較的高い輝度レベルの偏差を選択することによって、空間的異常値検出を実行する処理と、
   隣接する画素から比較的高い輝度レベルの偏差を用いて選択された上記画素を含む第２画素候補リストを生成する処理と、
   上記第１画素候補リスト及び上記第２画素候補リストを組み合わせて、ノイズ画素候補リストを生成する処理と、
   上記ノイズ画素候補リスト上の１つ以上の上記画素又は上記ノイズ画素候補リスト上の上記画素が選択されたブロックを記述するデータを記憶するデータ記録を生成する処理と
   を具える残留ポイント・ノイズ検出方法。
3. 映像生成デバイスから生成された映像を検査することによって、上記映像生成デバイス中の欠陥画素を検出する映像ノイズ分析装置であって、
   分析する映像を受ける入力部と、
   入力された上記映像のフレームから、複数画素から成るブロックを複数生成するフレーム分割部と、
   ブロック内の画素を、同じブロック内の他の画素の平均値と比較するよう構成される第１目立ち度分析部と、
   近接画素から大幅に異なる画素を含む第１画素候補リストを生成する第１しきい値プロセッサと、
   上記第１画素候補リストに含まれる画素に関して、対象画素、その近隣画素、該近隣画素の近隣画素の間の差分値を生成するよう構成される第２目立ち度分析部と、
   所定の頻度しきい値よりも大きい視覚的目立ち度の発生頻度を有する画素を、欠陥画素の候補としてラベルを付ける特定部と
   を具える映像ノイズ分析装置。
4. 映像生成デバイスから生成された映像を検査することによって、上記映像生成デバイス中の欠陥画素を検出する方法であって、
   分析する映像を受ける処理と、
   入力された上記映像のフレームから、複数画素から成るブロックを複数生成する処理と、
   ブロック内の画素を、同じブロック内の他の画素の平均値と比較する第１目立ち度分析を実行する処理と、
   近接画素から大幅に異なる画素を含む第１画素候補リストを生成する処理と、
   上記第１画素候補リストに含まれる画素に関して、第２目立ち度分析を実行する処理と、
   上記第２目立ち度分析に基いて、対象画素、その近隣画素（第１近隣画素）、該第１近隣画素の近隣画素（第２近隣画素）の間の差分値を生成する処理と、
   所定の頻度しきい値よりも大きい視覚的目立ち度の発生頻度を有する画素を、欠陥画素の候補として特定する処理と
   を具える欠陥画素検出方法。

Images