JP2018537742A - エッジ認識双方向画像処理 - Google Patents

エッジ認識双方向画像処理 Download PDF

Info

Publication number
JP2018537742A
JP2018537742A JP2018507680A JP2018507680A JP2018537742A JP 2018537742 A JP2018537742 A JP 2018537742A JP 2018507680 A JP2018507680 A JP 2018507680A JP 2018507680 A JP2018507680 A JP 2018507680A JP 2018537742 A JP2018537742 A JP 2018537742A
Authority
JP
Japan
Prior art keywords
vertex
reference image
image
pixels
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018507680A
Other languages
English (en)
Other versions
JP6431245B1 (ja
Inventor
ジョナサン・ティルトン・バロン
ベン・プール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Application granted granted Critical
Publication of JP6431245B1 publication Critical patent/JP6431245B1/ja
Publication of JP2018537742A publication Critical patent/JP2018537742A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

例示的な実施形態が、参照画像に関して画像データの効率的な、エッジ保存フィルタリング、アップサンプリング、または他の処理を可能としてもよい。前記入力アレイから出力画像を生成するコスト最小化問題が多次元頂点空間内の規則的間隔頂点にマップされる。このマッピングは、前記参照画像の画素および前記頂点の間の関連付け、および前記入力アレイの要素および前記参照画像の前記画素の間の関連付けに基づく。前記問題が、前記頂点の各々に対する頂点不均衡値を決定するために解かれる。前記出力画像の画素は、前記画素の各々に関連付けられたそれぞれの１つまたは複数の頂点に対する決定された頂点不均衡値に基づいて決定されることができる。この高速で効率的な画像処理方法を、エッジ保存画像アップサンプリング、画像色付け、画像コンテンツの意味論的セグメント化、画像フィルタリングまたは雑音除去、または他のアプリケーションを可能とするために使用することができる。

Description

関連出願の記載
本願は、２０１５年１１月５日に出願された米国仮特許出願第６２／２５１、６０８号に対する優先権を主張し、その内容を引用により本明細書に組み込む。
自然情景の画像に対する画像処理を行うとき、かかる画像の離散的な人々、動物、植物、オブジェクト、建物、または他のコンテンツの位置および境界を考慮することが有利でありうる。かかる画像処理タスクは（例えば、雑音またはアーチファクトを除去するために）画像データのフィルタリング、画像の色付け、当該画像の内容に関する情報（例えば、当該画像内の各画素の深度、当該画像内の各画素に割り当てられた意味論的カテゴリ・ラベル）、または幾つかの他の画像処理タスクの決定を含みうる。例えば、画像に色付けするとき、少数の手動で指定された色値を当該オブジェクトの残りに適用して当該画像の色付けされバージョンを生成することが有利でありうる。別の例では、画像の深度マップ（例えば、立体画像ペアから決定された、または、カメラまたは他の画像生成装置で整列された深度センサにより生成された、深度マップ）をフィルタおよび／またはアップサンプリングすることが有利であるかもしれない。かかる画像処理タスクは計算的に集約的でありうる（例えば、大量の時間、メモリ、または他の計算リソースを必要とする）。
かかる画像処理タスクを実施する改善された方法を開発することが有利でありうる。
自然情景の画像（例えば、建物内部の画像または屋外領域の画像）はしばしば、人々、動物、建物、植物、または他の離散的なオブジェクトを含む。当該画像内のかかるオブジェクトの境界に配慮した方式で色情報または画像に関連する他のデータをフィルタし、アップサンプリングし、または操作することが有益でありうる。例えば、画像に色付けするとき、人が当該画像内の領域またはオブジェクトの色を手動で指定してもよい。これらの手動で指定された色をついで、当該画像内のエッジと交わることなく当該画像の隣接領域に適用することができる。別の例では、当該シーンの可視光画像に対応するシーンの低解像度赤外線画像を、当該シーンの高解像度赤外線画像を生成するためにアップサンプリングしうる。このアップサンプリングは、当該アップサンプリングされた赤外線画像が当該シーンのオブジェクト内で平滑であるように当該可視光画像に基づきうるが、当該シーン内部のオブジェクトのエッジにわたって突然に変化しうる。かかる情報をエッジ保存方式で迅速にフィルタし、アップサンプリングし、または操作する能力が様々な他のアプリケーションで有利であるかもしれない。
第１の態様では、方法は、（ｉ）コンピューティング・システムにより、（１）カメラ・デバイスによりキャプチャされた参照画像および（２）ターゲット・アレイを取得するステップであって、参照画像は、参照画像内のそれぞれの画素位置およびそれぞれの色変数を有する複数の画素を含み、当該ターゲット・アレイはターゲット値を含み、当該ターゲット値はそれぞれ参照画像の当該画素に対応する、ステップと、（ｉｉ）当該コンピューティング・システムにより、参照画像の当該画素を頂点空間内のそれぞれの頂点に関連付けるステップであって、当該頂点空間は２つの空間次元および色空間次元を含み、参照画像の当該画素および当該それぞれの頂点の間の当該関連付けは関連付け行列により定義され、当該関連付け行列は半分未満が非零である複数の値を含む、ステップと、（ｉｉｉ）当該コンピューティング・システムにより、当該ターゲット値を、当該ターゲット値に対応する参照画像の当該画素が関連付けられる当該それぞれの頂点と関連付けるステップと、（ｉｖ）当該コンピューティング・システムにより、（１）参照画像の当該画素および当該それぞれの頂点の間の当該関連付け、および（２）参照画像の画素のペア間の類似度に基づいて頂点コスト行列を決定するステップであって、参照画像の画素の特定ペア間の当該類似度は、参照画像内の画素の当該特定のペアの当該画素位置の間の距離および参照画像の画素の当該特定のペアの当該色変数の間の当該色空間次元内の距離に関連する、ステップと、（ｖ）当該コンピューティング・システムにより、当該頂点コスト行列および頂点コスト・ベクトルにより定義された線形系を解くことによって、当該頂点に対するそれぞれの頂点適合値を決定するステップと、（ｖｉ）当該コンピューティング・システムにより、フィルタされた出力画像を生成するステップであって、当該フィルタされた出力画像は、それぞれ参照画像の当該画素に対応する画素を含み、当該フィルタされた出力画像を生成するステップは、参照画像の当該画素に関連付けられた頂点の当該決定された頂点適合値を当該フィルタされた出力画像のそれぞれの画素を決定するための基礎として使用するステップを含む、ステップとを含む。
さらなる態様では、（ｉ）（１）カメラ・デバイスによりキャプチャされた参照画像および（２）ターゲット・アレイを取得するステップであって、参照画像は、参照画像内のそれぞれの画素位置およびそれぞれの色変数を有する複数の画素を含み、当該ターゲット・アレイはターゲット値を含み、当該ターゲット値はそれぞれ参照画像の当該画素に対応する、ステップと、（ｉｉ）参照画像の当該画素を頂点空間内のそれぞれの頂点に関連付けるステップであって、当該頂点空間は２つの空間次元および色空間次元を含み、参照画像の当該画素および当該それぞれの頂点の間の当該関連付けは関連付け行列により定義され、当該関連付け行列は半分未満が非零である複数の値を含む、ステップと、（ｉｉｉ）当該ターゲット値に、当該ターゲット値に対応する参照画像の当該画素が関連付けられる当該それぞれの頂点を関連付けるステップと、（ｉｖ）（１）参照画像の当該画素および当該それぞれの頂点の間の当該関連付け、および（２）参照画像の画素のペア間の類似度に基づいて頂点コスト行列を決定するステップであって、参照画像の画素の特定ペア間の当該類似度は、参照画像内の画素の当該特定のペアの当該画素位置の間の距離および参照画像の画素の当該特定のペアの当該色変数の間の当該色空間次元内の距離に関連する、ステップと、（ｖ）当該頂点コスト行列および頂点コスト・ベクトルにより定義された線形系を解くことによって、当該頂点に対するそれぞれの頂点適合値を決定するステップと、（ｖｉ）フィルタされた出力画像を生成するステップであって、当該フィルタされた出力画像は、それぞれ参照画像の当該画素に対応する画素を含み、当該フィルタされた出力画像を生成するステップは、参照画像の当該画素に関連付けられた頂点の当該決定された頂点適合値を当該フィルタされた出力画像のそれぞれの画素を決定するための基礎として使用するステップを含む、ステップとを含む動作をコンピューティング・システムに実施させるように当該コンピューティング・システムにより実行可能な命令を格納した非一時的コンピュータ可読媒体が提供される。
これらのならびに他の態様、利点、および代替物は、必要に応じて添付図面を参照して以下の詳細な説明を読むことで当業者には明らかになろう。さらに、この要約のセクションおよび本明細書の他所で提供される説明はクレーム主題を限定ではなく例として示すものであることは理解されるべきである。
デバイスにより撮像された例示的なシーンのコンテンツを示す図である。 図１Ａのデバイスのカメラによりキャプチャされた図１Ａに示すシーンの例示的な画像の図である 図１Ａに示すシーンの低解像度画像を表す第１の例示的なターゲット・アレイの図である。 図１Ｂの画像の領域の意味論的分類を表す第２の例示的なターゲット・アレイを示す図である。 図１Ｂの画像の領域の予想される呈色を表す第３の例示的なターゲット・アレイを示す図である。 入力ターゲット・アレイおよび図１Ｂの画像に基づいて決定されうる例示的な出力画像を示す図である。 例示的な１次元画像の画素位置を示す図ある。 図４Ａの画素位置が埋め込まれる例示的な頂点を含む例示的な頂点空間を示す図である。 例示的な１次元画像の画素位置を示す図である。 図５Ａの画素位置が埋め込まれる例示的な頂点を含む例示的な頂点空間を示す図である。 例示的な方法の図である。 カメラ・コンポーネントを含みうる例示的なコンピューティング・デバイスのコンポーネントのうち幾つかを示す簡略化されたブロック図である。
方法およびシステムの例をここでは説明する。「例示的な」、「例」、および「例示的な」という用語は、本明細書において「例、事例、または例示としての役割を果たす」を意味するものとして使用されることは理解されるべきである。本明細書で「例示的な」、「例」、または「例示的な」として説明される任意の実施形態または特徴は他の実施形態または特徴に対して必ずしも好適または有利であると解釈されない。さらに、本明細書で説明する例示的な実施形態は限定を意味しない。開示したシステムおよび方法の特定の態様を多種多様な異なる構成で配置し結合できることは容易に理解される。
Ｉ．概要
例示的な実施形態が、より効率的に他の画像処理タスクをエッジ保存方式でフィルタし、アップサンプリングし、色付けし、意味論的に分割し、または実施するのを支援することができる。特に、色、コンテンツ、深度、不均衡、および／または他の画像情報が、当該出力画像情報が離散オブジェクトまたは参照画像の他のコンテンツ（例えば、オブジェクト、障害物、表面）内で相対的に平滑であるがオブジェクト間で鋭敏に変化しうるように、入力データ・セットに基づいて決定されてもよい。
画像処理タスクをエッジ保存方式で迅速に実施する能力が様々なアプリケーションにおいて有利であるかもしれない。例えば、シーンの画像に対応する低解像度画像（例えば、赤外線カメラまたは深度センサにより生成される当該シーンの別の画像）は、出力されたアップサンプリングされた画像が当該シーンの画像内のエッジに対応するエッジを有しうるようにエッジ認識の方法でアップサンプリングされうる。別の例では、シーンおよび／またはその画像の画素の特定の領域に関する情報（例えば、当該シーンの白黒画像内のオブジェクトの手動で指定された色、当該シーン内のオブジェクトのアイデンティティに関する機械的に生成された情報）は、当該入力情報に対応し当該シーンの参照画像内のエッジに対応するエッジを有しうる出力画像を生成するために使用されうる。さらに別の例では、シーンの画像はエッジ保存方式でフィルタされ、雑音除去され、または処理されうる。勿論、本明細書で説明する例示的な実施形態の利益および利用は説明の目的で提供され、本発明の範囲の限定として解釈すべきではないことは理解されるべきである。
幾つかの実施形態では、シーンの参照画像が提供される。参照画像がカメラにより生成されてもよい。複数のターゲット値を含むターゲット・アレイも提供される。各ターゲット値は参照画像のそれぞれの画素に対応し、当該画素に関する幾つかの情報および／または当該画素により表されるオブジェクトに関する幾つかの情報を表す。例えば、当該ターゲット値は、オブジェクトのアイデンティティまたは色、参照画像を生成したカメラに対する当該オブジェクトの深度または距離を表しうる。参照画像の画素と同じくらいの多くのターゲット値があってもよい。例えば、当該ターゲット・アレイは参照画像と同一の解像度を有する別の画像であることができ、または当該ターゲット値は、ここでの方法が参照画像をエッジ尊重方式でフィルタするために使用される例における当該画素自体に関する色変数または他の情報でありうる。あるいは、参照画像内の画素よりも少ないターゲット値があってもよい。例えば、当該ターゲット・アレイは低解像度画像、白黒画像を色付けするために使用される幾つかの手動で指定されたオブジェクト色、または参照画像の制限された数の画素および／または領域に関する幾つかの他の情報でありうる。
参照画像が次いで、当該ターゲット値に基づいて出力画像を生成するために使用される。当該出力画像は、参照画像の色付けされたバージョン、当該シーン内のオブジェクトを識別する画像、当該ターゲット・アレイのアップサンプリングされたバージョン（例えば、赤外線画像、深度マップ）、参照画像のフィルタされたバージョン、または幾つかの他の画像情報でありうる。当該出力画像を生成するステップは、入力として当該ターゲット・アレイをとる費用関数を適用（例えば、最小化）するステップを含みうる。かかる費用関数は、生成された出力画像の平滑性（即ち、互いに近接するかまたは何等かの方法で関連する（例えば、色および／または明度、または幾つかの他のメトリックまたはメトリックの組合せが類似した）当該出力画像の画素間の全体類似度））に関する項を含みうる。かかる費用関数はさらに、当該出力画像の画素および当該ターゲット・アレイの対応するターゲット値の間の対応関係の度合い（例えば、色および／または明度の類似性）に関する項を含む。
当該出力画像の画素が様々な方法で決定されてもよい。幾つかの例では、当該出力画像の画素を決定するプロセスを、決定されたまたは指定された特徴（例えば、当該画像の指定されたブロック、当該画素を埋め込みうる空間内の頂点）により、または幾つかの他の方法に従って、参照画像の画素をグループに関連付けることで（例えば、エッジ検出または他の画像処理技術を用いて参照画像内のオブジェクトの範囲を決定することで）簡略化してもよい。
例えば、参照画像の各画素は頂点空間内の１つまたは複数の頂点に関連付けられうる。当該頂点空間は、２つの空間次元（例えば、参照画像のフレーム内の画素位置の２つの空間次元に対応する空間次元）および（第１の画像の画素により表される参照画像の色、明度、色固有の明度、または特性に対応する）少なくとも１つの色空間次元を有しうる。例えば、参照画像は白黒画像であってもよく、頂点空間は、参照画像のフレーム内の画素の位置に対応する２つの空間次元および参照画像内の画素の明度に対応する第３の色空間次元を有しうる。したがって、参照画像の各画素は頂点空間内の位置を有し、頂点空間内の頂点への近接性に基づいて１つまたは複数の頂点に関連付けられうる。
出力画像を生成するために使用される費用関数はついで、頂点と参照画像の画素との間の関連付けに従って当該頂点にマップされうる。そのマップされた費用関数はついで当該頂点の各々に対する適合値を決定するために使用されうる。当該マップされた費用関数を解くのがかなり高速でかつ／またはあまり計算集約的でないように、実質的に参照画像内の画素より少ない頂点があってもよい。当該決定された頂点適合値をついで、当該頂点と参照画像の画素の間の関連付けに従って出力画像を生成するために使用することができる。
頂点空間内の次元の数が、特定のアプリケーションに応じて変化してもよい。幾つかの例では、出力画像が色参照画像に対して（例えば、画素が色空間、例えば、赤緑青（ＲＧＢ）色空間内の色を定義する画像に対して）決定されうる。かかる例に対応する頂点空間は参照画像のフレーム内の画素の位置に対応する２つの空間次元を有しうる。頂点空間は、当該画像（複数可）の画素により定義された色の色空間内の位置に対応するさらに３つの色空間次元を有しうる。
頂点空間内の頂点の位置は（例えば、参照画像に対応する頂点空間の体積の均一なサンプリングを提供するために）規則的に離間されうる。例えば、当該頂点は、３次元またはそれより多くの次元の形状のモザイク式のおよび／または規則的に繰り返すアレイの頂点でまたは幾つかの他の規則的パターンに従って、頂点空間内に配置されうる。幾つかの例では、当該頂点は、長方形アレイ内に配置されうる（即ち、ハイパー長方形のモザイク式のアレイの頂点で、多次元空間内の直交方向に沿って規則的に離間される）。幾つかの例では、当該頂点は、三角形のアレイに（即ち、頂点空間内で規則的にモザイク式にされた三角形、四面体、または高次元シンプレックスの頂点に）配置されうる。
本明細書で説明した上の実施形態および他の実施形態は説明の目的で提供され、限定を意図するものではないことは理解されるべきである。
ＩＩ．例示的な画像およびアプリケーション
一般に、イメージングが、現実世界環境またはシーンの色および明度の特性をデジタル的、化学的、または他のフォーマットで（例えば、写真および／またはモーション・ビデオで）キャプチャし格納することを指してもよい。多数の異なるフォーマット（例えば、色イメージング、白黒イメージング）で画像をキャプチャするのを促進するための多種多様な画像キャプチャ・デバイスが存在する（例えば、ＣＣＤ、写真検出器アレイ、アクティブ画素センサ）。
画像を様々な方法で処理できる。あるいは、当該画像は、幾つかの他の画像または画像関連の情報の処理を通知するために使用されうる。幾つかの例では、参照画像はシーンおよび位置を表すことができ、参照画像内のオブジェクト（例えば、人々、動物、建物、植物）の範囲は、当該画像内の当該オブジェクトのエッジを保存するかまたは当該画像内のかかるエッジを尊重する方式で幾つかの画像処理タスクを実施するために使用されうる。例えば、参照画像自体は、例えば、当該画像を一般に平滑化するがエッジにわたる鋭い遷移を可能とすることで、当該画像内のエッジを保存する方式で、フィルタされ、雑音除去され、色付けされ、または処理されうる。幾つかの例では、当該画像のシーンに関連する情報をアップサンプリングまたは処理して、同一の解像度の出力画像を、エッジを含みうる参照画像、または、当該参照画像内のエッジに対応するエッジまたは他の鋭い遷移として生成してもよい。例えば、可視光カメラおよび低解像度赤外線カメラはそれぞれ、同一のシーンの可視画像および赤外線画像を生成するために使用されうる。当該可視光画像はついで、当該アップサンプリングされた赤外線画像が一般に平滑であるように赤外線画像のアップサンプリングされたバージョンを生成するために参照画像として使用されうるが、参照画像内のエッジの位置で鋭い遷移または他の特徴を含んでもよい。手動で指定された色、画像のコンテンツを識別する意味論的情報、立体画像ペアから決定された不均衡情報、視線追跡情報、または他の情報を参照画像と組み合わせて使用して、参照画像と同一の解像度を有し参照画像内のエッジに対応する鋭い遷移または他の特徴を含みうる出力画像を生成してもよい。
図１Ａは、近傍オブジェクト１０３および遠方オブジェクト１０５を含むシーン１００を図示する。図１Ａはさらに、近傍オブジェクト１０３の近くに配置され他の機能のうちシーン１００の可視光画像を生成する（例えば、シーン１００の立体画像ペアを生成する）ように構成されたデバイス１１０を図示する。限定ではなく例として、デバイス１１０が、セルラ携帯電話（例えば、スマートフォン）、スチル・カメラ、ビデオカメラ、（デスクトップ、ノートブック、タブレット、またはハンドヘルドコンピュータのような）コンピュータ、携帯情報端末（ＰＤＡ）、ホーム・オートメーションコンポーネント、デジタルビデオレコーダ（ＤＶＲ）、デジタルテレビ、リモートコントロール、ウェアラブルコンピューティング・デバイス、または少なくとも１つのカメラを具備した幾つかの他種のデバイスであってもよい。デバイス１１０が、カメラアプリケーションがソフトウェア、またはカメラ機能を実行するように構成されたハードウェアおよびソフトウェアの他の組合せで動作するデジタルカメラ、特定の物理ハードウェアプラットフォームのような離散物理デバイスを提供してもよいことは理解されるべきである。
デバイス１１０は、可視光画像を生成するように動作してもよいカメラ１１５ａを含む。デバイス１１０はさらに追加のセンサ１１５ｂを含む。センサ１１５ｂは、カメラ１１５ａと独立におよび／または協調的に（即ち、デバイス１１０（図示せず）の１つまたは複数のコントローラにより）動作しうる。追加のセンサ１１５ｂは、（例えば、立体画像ペアの生成を促進するための）別の可視光カメラ、赤外線カメラ、距離センサ（例えば、レーザまたはレーダ距離センサ）、またはカメラ１１５ａにより画像化されるシーン（例えば、１００）に関する情報を生成するように動作可能である幾つかの他の検知デバイスでありうる。
図１Ｂは、参照近傍オブジェクト画像１５５ａおよび参照遠方オブジェクト画像１５５ｂを含むシーン１００の例示的な参照画像１５０を図示する。例示的な参照画像１５０はカメラ１１５ａにより生成されうる。
参照画像１５０は、参照画像１５０内のオブジェクトのエッジに対する幾つかのエッジ保存画像処理を実施するための情報に対するソースとして使用されうる。例えば、参照画像１５０は、出力画像が一般に平滑であるが参照画像１５０内のエッジに対応する鋭い遷移または他の特徴を有しうるように、幾つかのターゲット画像関連情報に基づいて出力画像を生成するために使用されうる。このターゲット情報が、それぞれ参照画像１５０のそれぞれの画素および／またはターゲット画像１５０内の位置に対応するターゲット値のアレイ（例えば、ターゲット色、ターゲット明度、ターゲット・オブジェクト識別子、ターゲット距離または不均衡）の形をとってもよい。このターゲット・アレイは参照画像と同一の解像度を有する画像でありうる。例えば、当該ターゲット・アレイは参照画像自体であってもよく、出力画像は参照画像１５０のフィルタされたバージョンでありうる。あるいは、当該ターゲット・アレイは参照画像１５０より低い解像度の画像でありうる。さらに別の例では、当該ターゲット・アレイは、手動で指定された色を表す幾つかの値、画像コンテンツのアイデンティティ、または参照画像１５０内の画素、位置、領域、またはオブジェクトに関連する幾つかの他の情報を含みうる。
幾つかの例では、当該ターゲット情報は追加のセンサ１１５ｂにより生成される低解像度赤外線画像または深度マップであってもよく、出力画像はかかる画像のアップサンプリングされたバージョンでありうる。あるいは、当該ターゲット情報は、参照画像１５０、参照画像１５０のコンテンツのアイデンティティの低解像度判定、参照画像１５０の１つまたは複数のオブジェクトまたは領域の手動でまたは自動的に指定された色、または参照画像１５０から決定されたまたはそうでなければそれに関連する幾つかの他の情報を含む立体画像ペアに基づいて決定された幾つかの不均衡値でありうる。
当該ターゲット・アレイは参照画像１５０より低い解像度を有するシーン１００の画像でありうる。例えば、当該ターゲット・アレイは、赤外線カメラにより生成された画像、距離センサを用いて測定された距離の深度マップ、または追加のセンサ１１５ｂの幾つかの他の検知要素でありうる。さらにまたはあるいは、当該ターゲット・アレイは、参照画像１５０および／または幾つかの他の画像（複数可）から生成された画像でありうる。例えば、当該ターゲット・アレイの値は、参照画像１５０を含む立体画像ペア（例えば、参照画像１５０と追加のセンサ１１５ｂの可視光カメラにより生成される第２の画像とを含む立体画像ペア）に基づいて決定された不均衡値、エントロピの測定値、視覚的関心、または当該画像の領域の幾つかの他の導出された局所的性質、または参照画像１５０に基づいて決定された幾つかの他の低解像度画像でありうる。当該低解像度画像は、参照画像１５０に基づいてエッジ保存方式でアップサンプリングされうる。
図２Ａは、幾つかのターゲット値２１０ａを含むシーン１００の低解像度画像を表す第１の例示的なターゲット・アレイ２００ａを図示する。各ターゲット値は、色、明度、温度、不均衡、深度、距離、画像エントロピ、画像フロー情報、またはシーン１００、参照画像１５０、および／または画素、オブジェクト、またはその領域に関連する幾つかの他の情報を表しうる。参照画像１５０内のオブジェクトの輪郭は図２Ａで点線により示されている。
第１の例示的なターゲット・アレイ２００ａは、赤外線カメラ、紫外線カメラ、距離センサ、または幾つかの他の検知デバイスにより生成されうる。例えば、第１のターゲット・アレイ２００ａのターゲット値２１０ａは、赤外線カメラを用いて検出されたオブジェクトの温度またはシーン１００の領域を表しうる。別の例では、第１のターゲット・アレイ２００ａのターゲット値２１０ａは、参照画像１５０を生成するために使用されるカメラ（例えば、カメラ１１５ａ）とターゲット値２１０ａに対応する参照画像１５０の画素により表されるオブジェクトまたはシーン１００の領域との間の距離を表しうる。
ターゲット・アレイは、幾つかの指定されたシーン１００の領域および／または参照画像１５０の画素または領域に関する幾つかの情報を表しうる。例えば、ターゲット・アレイは、ターゲット値に対応する参照画像１５０の画素により表されるシーン１００内のオブジェクトを記述するターゲット値を含みうる。かかるターゲット値が、カテゴリ的（例えば、１＝人、２＝バイク、３＝家具）であってもよく、単一のタイプのオブジェクト（例えば、１＝人、０＝人ではない）に関連してもよく、オブジェクトのアイデンティティの確信度（例えば、１＝確実に人、０．１＝人でない可能性）に関連してもよく、またはそうでなければ参照画像１５０で表されるオブジェクトを記述してもよい。かかるターゲット値をアルゴリズムにより（例えば、パターン・マッチング、ニューラルネット、または幾つかの他の方法により）決定してもよく、かつ／または人からの手動入力に基づいて決定してもよい。
図２Ｂは、参照画像１５０内のそれぞれの画素および／または位置に対応する幾つかのターゲット値２１０ｂ、２２０ｂ、２３０ｂを含む第２の例示的なターゲット・アレイ２００ｂを図示する。第２の例示的なターゲット・アレイ２００ｂのターゲット値は、参照画像１５０の対応する画素により表されるオブジェクトのアイデンティティを表す。例えば、第２のターゲット・アレイ２００ｂの第１の組のターゲット値２１０ｂは山を記述し、第２のターゲット・アレイ２００ｂの第２の組のターゲット値２２０ｂは犬を記述し、第２のターゲット・アレイ２００ｂの第３の組のターゲット値２３０ｂは草を記述する。参照画像内１５０のオブジェクトの輪郭が図２Ｂに点線で示されている。示すように、第２の例示的なターゲット・アレイ２００ｂは参照画像１５０の少数の位置および／または画素に対応するターゲット値を含む。しかし、かかるオブジェクト記述ターゲット・アレイは参照画像の画素の各々に対応するターゲット値を含みうる。かかる高解像度オブジェクト識別ターゲット・アレイを生成するために使用される方法に依存して、かかるターゲット・アレイは、シーン内のオブジェクトのエッジ近くのシーン内の低確信度の、不連続的な、またはそうでなければ低品質なオブジェクトの識別を示しうる。
ターゲット・アレイは、シーン１００の幾つかの指定された領域および／または参照画像１５０の画素または領域に関する色情報を表しうる。例えば、ターゲット・アレイは、ターゲット値２１０ａに対応する参照画像１５０の画素により表されるシーン１００内のオブジェクトの色を記述するターゲット値を含みうる。かかるターゲット値を、アルゴリズムにより（例えば、パターン・マッチング、ニューラルネット、または幾つかの他の方法により）決定してもよく、かつ／または、人からの手動入力に基づいて決定してもよい。例えば、人は、画像内の幾つかの異なるオブジェクトの各々の中心に所望の色を手動で適用してもよい。
図２Ｃは、参照画像１５０内の画素および／または位置のそれぞれの指定された色に対応するターゲット値２１０ｃ、２２０ｃ、２３０ｃを含む第３の例示的なターゲット・アレイ２００ｃを図示する。第３の例示的なターゲット・アレイ２００ｃのターゲット値は、参照画像１５０の対応する画素により表されるオブジェクトの色を表す。例えば、第３のターゲット・アレイ２００ｃの第１の組のターゲット値２１０ｃは灰色（山の指定された色に対応する）を表してもよく、第３のターゲット・アレイ２００ｃの第２の組のターゲット値２２０ｃは茶色（犬の指定された色に対応する）を表してもよく、第３のターゲット・アレイ２００ｃの第３の組のターゲット値２３０ｃは緑色（草または他の植物の指定された色に対応する）を表しうる。参照画像１５０内のオブジェクトの輪郭が図２Ｃで点線により示されている。示すように、第３の例示的なターゲット・アレイ２００ｃは参照画像１５０の少数の位置および／または１組の画素に対応するターゲット値を含むが、かかる色表現ターゲット・アレイは参照画像の画素の各々に対応するターゲット値を含みうる。
ターゲット・アレイ（例えば、２００ａ、２００ｂ、２００ｃ）は、参照画像内のエッジを保存する方式でターゲット領域に基づいて出力画像を生成するために、参照画像（例えば、１５０）と組み合わせて使用されうる。例えば、ターゲット・アレイをアップサンプリングし、フィルタし、または処理して、ターゲット・アレイのコンテンツに対応し一般に平滑であるが鋭い遷移、エッジ、または参照画像内のエッジに対応する他の特徴を含みうる出力画像（例えば、赤外線画像、当該画像内のオブジェクトのアイデンティティ、深度マップ、参照画像のカラー・マップを記述する画像）を生成してもよい。
図３は、ターゲット・アレイ２００ａ、２００ｂ、２００ｃの１つに対応し参照画像１５０で提示されるエッジを保存する例示的な出力画像３００を図示する。例えば、出力画像３００は、出力画像３００の特定の画素のグレー・スケール色が参照画像１５０の対応する画素により表されるオブジェクトの温度に対応するように、第１の例示的なターゲット・アレイ２００ａにより表される低解像度赤外線画像に対応しうる。別の例では、出力画像３００は、出力画像３００の特定の画素のグレー・スケール色が参照画像１５０の対応する画素により表されるオブジェクトのアイデンティティ（例えば、犬、山）に対応するように、第２の例示的なターゲット・アレイ２００ｂにより表される参照画像１５０内のオブジェクトのアイデンティティに対応しうる。さらに別の例では、出力画像３００の特定の画素のグレー・スケール色が参照画像１５０の対応する画素により表されるオブジェクトの色（例えば、灰色、茶色、緑）に対応するように、出力画像３００は、第３の例示的なターゲット・アレイ２００ｃにより表される参照画像１５０内のオブジェクトの指定された色に対応しうる。出力画像３００は、参照画像１５０およびターゲット・アレイ（例えば、２００ａ、２００ｂ、２００ｃ）に基づいて様々な方法で生成されうる。
ＩＩＩ．例示的な画像処理タスク
入力データ（例えば、低解像度画像データ、オブジェクト記述データ）から出力画像を参照画像に対するエッジ保存方式で生成するステップは計算的に高価なプロセスでありうる。出力画像を生成するプロセスは、出力画像の各画素に対する情報を決定するステップ（例えば、当該画素の各々に対する画素色、明度、深度、オブジェクト記述カテゴリ、または他の変数（複数可）を決定するステップ）を含みうる。かかる決定は、出力画像の所与の画素の特性（例えば、色、位置）を当該入力データの１つまたは複数の値と、例えば、ターゲット・アレイの１つまたは複数のターゲット値と比較するステップを含みうる。出力画像の画素が、それらがそれぞれのターゲット値に対応するように、例えば、出力画像が当該入力データのアップサンプリングされた、フィルタされた、またはそうでなければ修正されたバージョンであるように決定されうる。
かかる修正された出力画像の画素と入力ターゲット・アレイのターゲット値との間の対応関係はターゲット・アレイのターゲット値の画素位置に対する画素空間内の出力画像画素（例えば、出力画像および／または参照画像のフレーム内の２次元画素空間）の位置に関連しうる。これは、各ターゲット値と出力画像のそれぞれの１つまたは複数の個別の画素との間の対応関係を決定するステップを含みうる。例えば、ターゲット・アレイは出力画像内の画素と同じくらい多くのターゲット値を含んでもよく（例えば、ターゲット・アレイは、それ自体、画像でありうる）、ターゲット値はそれぞれ、出力画像のそれぞれの一意な画素に対応しうる。
当該入力ターゲット・アレイに対する幾つかのコスト関数またはエラー関数を適用するためのフィルタされた出力画像画素が決定されうる。例えば、出力画像の画素とターゲット・アレイのターゲット値との間の関係（例えば、差分）に基づいて決定された和、積、または幾つかの他の費用関数を最小化するための出力画像画素が決定されうる。かかる費用関数は、出力画像画素とターゲット・アレイの値との間の差分の二次費用関数、線形費用関数、または幾つかの他の関数でありうる。勾配降下法、遺伝子アルゴリズム、シミュレートされたアニーリング、または幾つかの他の方法または方法の組合せは、費用関数を最小化、削減、最大化、増大、または適用するための出力画像画素を決定するために使用されうる。
平滑であるが参照画像に存在するエッジを保存する出力画像を生成するために、出力画像の画素がそれぞれを考慮して決定されうる。例えば、出力画像とターゲット・アレイとの間の対応関係に関連するデータ項を含む費用関数を決定でき、さらに出力画像の個々の画素の間の類似性に関連する（例えば、出力画像の隣接する画素または近傍の画素の間の類似性に関連する）平滑性項を含む費用関数を、第１の画像の画素位置に対する不均衡値を決定するために（例えば、勾配降下法、動的プログラミング、または幾つかの他の方法を用いて）適用することができる。かかる平滑性項が、参照画像内のエッジの何れかの側にある画素に対応する出力画像画素がかかるエッジによって分離されない参照画像画素に対応する出力画像画素よりも互いから異なりうるように、参照画像に基づいて決定されうる。
（追加シンボルの左に）平滑性項を含み（当該追加シンボルの右に）損失項を含む例示的な費用関数が以下の式により記述される。
ｘｉは、フィルタされた出力画像のｉ番目の画素の値（例えば、明度、赤強度、青強度、温度、深度、不均衡、オブジェクト・アイデンティティ）である。出力画像のｉ番目の画素は、ｔｉ、即ち、ターゲット・アレイのｉ番目のターゲット値に対応する。
は複数の値を含む画素親和性行列である。
は、フィルタされた出力画像の決定されたｉ番目およびｊ番目の画素の間の類似度に対応する画素親和性行列の値である。したがって、
のより高い値は、ｉ番目のフィルタされた出力画像画素の決定された値ｘｉとｊ番目のフィルタされた出力画像画素の決定された値ｘｊとの間の所与の差分に対するより高いコストをもたらす。λは、所与の組の決定されたフィルタされた出力画像画素ｘの全体コストを決定する際の、平滑性項の相対的な重要性および損失項を設定するように指定されうる重み付け因子である（ｘのｉ番目の要素はｘｉ、即ち、ｉ番目のフィルタされた出力画像画素に対して決定された値である）。
示すように、費用関数は、入力ターゲット・アレイｔ（ｔのｉ番目の要素はｔｉである）の各出力画素とそれぞれのターゲット値との間の差分に関して二次である。その自乗差が次いで、信頼度アレイｃの対応する信頼度値ｃｉに従って拡大される。当該信頼度アレイが、出力画素値の特定のペアとターゲット・アレイ値との間の対応関係が他のペアに対するものより大きいように提供される。かかる信頼度値は、ターゲット・アレイの個々のターゲット値の品質の確信度、雑音レベル、分散、または他の測定値に対応しうる。当該信頼度アレイはここでは１例として提供され、省略されうる（例えば、信頼度値が全て１に設定されてもよい）ことに留意されたい。
図示されたターゲット・アレイは出力画像の各画素に対するターゲット値を含む（即ち、出力画像画素と同じくらいの多くのターゲット値がある）が、本明細書で説明するターゲット・アレイはより少数のターゲット値を含みうることに留意されたい。かかる例では、図示された費用関数は、対応するターゲット値を有するこれらの出力画像画素に対する差を合計するためにのみ変更されうる。さらにまたはあるいは、入力ターゲット・アレイを、（例えば、ゼロまたは幾つかの他の任意の値に設定された値をターゲット・アレイに加えることで、またはターゲット・アレイをアップサンプリングすることで）出力画像内の画素と同じくらい多くのターゲット値を含むように拡大してもよい。これは、追加されたターゲット値に対応する信頼度値をゼロに設定して、例えば、当該追加されたターゲット値が、生成された出力画像に影響を及ぼすのを防止するステップを含みうる。
図示された損失項では、各ターゲット値は出力画像および／または参照画像のそれぞれの画素に対応し、非限定的な例が意図されている。代替的な損失項が使用されうる。例えば、損失項が単一のターゲット値と複数の出力画像画素との間の差分、出力画像画素と幾つかのターゲット値との間の重み付けされた（例えば、出力画像画素の画素空間内の位置とターゲット値との間の距離に従って重み付けされた）差分に基づいてもよく、または幾つかの他の考慮に従ってもよい。
画素親和性行列の要素
は、ｉ番目およびｊ番目の出力画像画素の間の類似性に対する平滑性コストが出力画像のフレーム内のｉ番目およびｊ番目の出力画像画素の間および／または参照画像のフレーム内のｉ番目およびｊ番目の参照画像画素の間の近接性に関連するように選択されうる。例えば、類似性に対する平滑性コストは、参照画像のフレーム内の、ｉ番目およびｊ番目の参照画像画素の画素位置の間の距離の指数関数または他の関数に関連してもよく、それぞれｉ番目およびｊ番目の出力画像画素に対応する。さらにまたはあるいは、類似性に対する平滑性コストは、互いから指定された距離より離れたｉ番目およびｊ番目の画素位置のペアに対して、または幾つかの他の基準に従って、ゼロでありうる。画素親和性行列の要素
は、ｉ番目およびｊ番目のフィルタされた出力画像画素に対して決定された値の間の類似性に対する平滑性コストが出力画像画素および／または対応する参照画像画素の幾つかの他の性質または特性（例えば、参照画像画素の明度、色、または幾つかの他の性質または特性の間の類似性）に関連するように、選択されてもよい。
幾つかの例では、画素親和性行列は疎でありうる。即ち、画素親和性行列の要素の多くはゼロでありうる。例えば、画素親和性行列の要素の半分より少ないものがゼロであってもよく、または、画素親和性行列の要素の或るパーセントよりも少ないものがゼロでありうる。例えば、類似性に対する平滑性コストは隣接しないｉ番目およびｊ番目の画素位置のペアに対してゼロでありうる。かかるシナリオでは、隣接しないｉ番目およびｊ番目の画素のペアに対応する
がゼロであるので、
は疎行列でありうる。
画素親和性行列の要素
は、ｉ番目およびｊ番目のフィルタされた出力画像画素に対して決定された値の間の類似性に対する平滑性コストが、当該フィルタされた出力画像画素に対応する参照画像画素の空間内の類似性（例えば、参照画像のフレーム内の画素位置の間の近接性）および色空間内の類似性（例えば、参照画像画素の色の輝度色度（ＬＵＶ）または幾つかの他の色空間表現における近接性）に関連するように、選択されうる。例えば、当該要素
は、（例えば、双方向フィルタに関連する）参照画像のフレーム内の５次元ＸＹＬＵＶ（例えば、位置（ＸＹ）および色空間表現（ＬＵＶ））空間で定義された参照画像画素の全てペアの間のガウス型ポテンシャルでありうる。即ち、
である。
はそれぞれ、参照画像のフレーム内のｉ番目およびｊ番目の参照画像画素の水平位置を表し、
は、それぞれ、参照画像のフレーム内のｉ番目およびｊ番目の参照画像画素の垂直位置を表す。さらに
はｉ番目の参照画像画素の輝度および色度値を表し、
はｊ番目の参照画像画素の輝度および色度値を表す。
は参照画像のフレーム内の位置に対する拡大因子であり、
は輝度に対する拡大因子であり、
は色度に対する拡大因子である。
（参照画像のフレーム内の空間的類似性および色空間類似性を考慮した）このタイプの画素親和性行列定義は、参照画像の画素の画素位置および色変数に基づいて計算されるとき、参照画像のコンテンツに対してエッジ保存である画像処理を促進することができる。
費用関数を決定するかまたは幾つかの入力ターゲット・アレイに基づいてフィルタされた出力画像の画素に対する１組の決定された値を決定するために、他の画素親和性行列要素
を決定、指定、または使用しうることに留意されたい。例えば、当該要素
が、（例えば、上の式と同様な式を用いるが、指数内の右項は省略する）参照画像のフレーム内のＸＹ空間で定義されたガウス型ポテンシャルに基づいて決定されうる。画素親和性行列の要素
を決定および／または指定するための他の例示的な関数、関数のクラス、汎関数、または他の方法が予期される。
画素親和性行列の要素
が、親和性因子の行列
（即ち、［ｉ、ｊ］番目の要素が
である行列）が対称的であり二重確率であるように（即ち、
であり、
の各行が１に合計され、
の各列が１に合計されるように）選択されうる。対称的な二重確率の画素親和性行列
の利用により、（例えば、フィルタされた出力画像の画素に対する１組の値を決定するために費用関数を用いて勾配降下法を実施することに関与する１つまたは複数の行列乗算または他の手続の幾つかの単純化を可能とすることで）平滑性項のより効率的な計算を可能とすることができる。
かかる二重確率画素親和性行列が、非二重確率画素親和性行列から（例えば、上で示した
の点で定義されたＷから）様々な方法で、例えば、１つまたは複数の対角行列による事前乗算および事後乗算により、決定されうる。かかる対角行列が、直接的に、例えば、フィルタされた出力画像および／または参照画像の画素と同じくらい多くの行列の対角線要素を決定することで、決定されうる。あるいは、かかる対角行列が画素親和性行列をかかる頂点空間にマッピングした後に後述のように頂点空間内で決定されうる。
ＩＶ．立体画像データの頂点空間への埋込みと例示的な頂点空間
入力ターゲット・アレイに基づく、高解像度フィルタされた出力画像の画素ごとの値の決定は、（例えば、大まかに画像解像度の二乗で増大する画像内の画素の総数に起因して）計算的に高価でありうる。所与の数のフィルタされた出力画像画素（または画像の他の点または他の特徴）に対する画素値（例えば、深度マップ、参照画像の画素ごとのオブジェクト識別、白黒参照画像に対する色オーバレイ）を決定するのに必要な計算工数（例えば、プロセッサリソース（例えば、ＭＩＰＳ）、プロセッサ時間）は指数形式で画素の数に関連しうる。したがって、より大きなおよび／またはより詳細な参照画像および／またはターゲット・アレイに基づいてかかる組の画素色、温度、オブジェクトカテゴリ、深度、距離、色、または他の値を決定するステップは、所与の有限計算リソースおよび／または計算に利用可能な有限時間（例えば、モバイルデバイスの制限された計算リソース）が与えられると、扱いにくい可能性がある。
それに応じて、幾つかの方法は、フィルタされた出力画像の画素を決定するタスクを簡略化するために使用されうる。幾つかの例では、画素値を出力画像の画素のサブセットに対する（例えば、画像内の画素位置の規則的に離間したサブセットに対する）第１のステップで決定してもよく、当該決定された値を、値が第１のステップで決定された画素のサブセット内にないフィルタされた出力画像の画素に対して補間してもよい。幾つかの例では、参照画像を（例えば、規則的ブロックで、または参照画像内の決定されたオブジェクトに対応する領域に従って、例えば、幾つかの画像処理により）ブロック化またはパーティション化してもよく、個別のターゲット値を、参照画像のフレーム内のそれらの位置に従って（例えば、重み付け結合により）個別のブロックまたは他のパーティションに適用してもよい。特定のパーティションに対して決定された値をついで当該パーティション内の出力画像画素の全てに適用してもよい。
フィルタされた出力画像の画素を決定する問題を、当該問題を少数の代表変数にマップすることで簡略化しうる。例えば、参照画像の画素は頂点空間内の頂点に関連付けられうる。頂点の数は画素の数よりも大幅に少ない（例えば、半分未満、１パーセント未満、１０パーセント未満）。当該関連付けは、参照画像画素および当該頂点の画素位置と色の間の頂点空間内の近接性または他の関係に基づきうる（例えば、所与の参照画像画素は頂点空間内の最近傍頂点、または１組の頂点（例えば、当該所与の画素を囲む頂点空間内の形状の頂点を定義する１組の頂点）に関連付けられうる）。頂点空間は、空間次元（例えば、参照画像内の参照画像画素の画素位置の水平および垂直次元に対応する次元）および１つまたは複数の色空間次元（例えば、色空間内の参照画像画素の明度、色、赤、緑、または青強度、輝度、色度、または他の特性に対応する次元）を有しうる。
参照画像の画素と頂点空間内の頂点の間の関連付けは関連付け行列により定義されうる。かかる関連付け行列は、関連付けられた画素および頂点のペアに対応する非零要素と、関連付けられない画素および頂点のペアに対応する零値要素とを有しうる。当該関連付けは、頂点とそれに関連付けられた幾つかの参照画像画素との間のおよび／または画素とそれに関連付けられた幾つかの頂点との間の均等な重みでありうる（例えば、特定の画素は、頂点空間内のそれに最も近い３つの頂点に均等に関連付けられうる）。あるいは、当該関連付けは、例えば、頂点とそれに関連付けられた各参照画像画素との間および／または画素とそれに関連付けられた各頂点との間の頂点空間内の相対的な近接性に従って重み付けされうる。
各参照画素は（例えば、各画素が頂点空間内でそれに最も近い単一の頂点のみに関連付けられてもよい）少数の頂点に関連付けられる可能性があるので、当該関連付けの多くの要素がゼロであってもよい。例えば、関連付け行列の要素の半分より少ないものがゼロであってもよい。幾つかの例では、当該関連付け行列の要素の或るパーセントより少ないものがゼロであってもよい。さらなる例では、当該関連付け行列の要素の１０パーセントより少ないものがゼロであってもよい。非零である当該関連付け行列の要素の割合が、画素および頂点の相対的な数、単一の頂点に関連付けられうる頂点の数（または逆も成り立つ）、および／または画素を頂点に関連付ける方法に関連してもよい。
参照画像の画素と頂点空間内の頂点との間の関連付けに基づいて、参照画像に関連するプロセス（例えば、ターゲット値の入力アレイに基づくフィルタされた出力画像のエッジ保存生成）は、当該プロセスを当該頂点（参照画像の画素の数および／または当該フィルタされた出力画像の画素の数より大幅に少ない数でありうる）に対して実施できるように、当該プロセスを変換することで、簡略化しうる（例えば、より短い時間でおよび／またはより少ない計算リソースを用いて実施される）。当該頂点で実施されるプロセスの結果（例えば、当該頂点の各々に対する決定された頂点適合値）はついで、（例えば、特定のフィルタされた出力画像画素および／またはそれに対応する参照画像画素に関連付けられた頂点の決定された頂点適合値に基づいて当該フィルタされた出力画像の特定の画素に対する値を補間または計算することで）当該フィルタされた出力画像を生成するために使用されうる。
参照画像の画素の頂点空間内の頂点との関連付けを示すために、図４Ａは例示的な１次元画像４００ａ（即ち、画素の１次元ストライプ）を示す。（所与の画素４１０ａを含む）画像４００ａの画素はそれぞれの明度を定義する（即ち、画像４００の個々の画素が１次元（例えば、白黒）色空間内の色を定義する）。
図４Ｂは例示的な２次元頂点空間４００ｂを示す。頂点空間４００ｂは、画像４００ａの１次元「フレーム」内の画像４００ａの画素の位置に対応する（「画素位置」とラベルされ、水平軸として図示された）空間次元を含む。頂点空間４００ｂはさらに色空間次元を含む（「色」とラベルされ、垂直軸として図示され、より明るい画素は頂点空間４００ｂ内のより高い位置に配置される）。頂点空間４００ｂ内の画像４００ａの画素の位置がクロスで示されている。複数の頂点が頂点空間４００ｂに配置される。当該頂点の位置は頂点空間４００ｂ内に三角形のパターンで規則的に離間され、ドットで示される。頂点空間４００ｂ内の頂点は、正規２シンプレックス（即ち、三角形）の規則的にスタックされた（またはモザイク式の）パターンの頂点の位置にあるとして説明されうる。
画像４００ａの画素は、頂点空間４００ｂ内の画素および頂点の相対的な位置の近接性または幾つかの他の性質に従って、頂点空間４００ｂ内の頂点に関連付けられうる。かかる関連付けは関連付け行列により定義されうる。画素の頂点との関連付けの第１の機構において、頂点空間４００ｂの所与の画素４１０ｂ（画像４００ａの所与の画素４１０ａに対応する）は、所与の画素４１０ｂを含む頂点空間の領域（またはより一般に、頂点空間の次元の数に等しい次元の空間）を囲む包含三角形４２５を定義する３つの頂点４２０に関連付けられうる。かかる例示的な関連付けでは、所与の画素４１０ｂは、３つの頂点４２０の各々に等しく関連付けられうるかまたは幾つかの関数もしくは他の考慮に従って重み付けされた形式で関連付けられうる。例えば、所与の画素４１０ｂは、所与の画素４１０ｂと個々の頂点との間の頂点空間４００ｂ内のそれぞれの距離に従って（例えば、３つの頂点４２０の頂点の間の所与の画素４１０ｂの幾つかの重心パーティションまたは他の割当てに従って）３つの頂点４２０の個々の頂点に関連付けられうる。
同様に、包含三角形４２５内の他の画素は３つの頂点４２０に関連付けられうる（が、４２５内の第１の画素と３つの頂点４２０との間の関連付けの重みは、４２５内の第２の画素と３つの頂点４２０の間との関連付けの重みと、例えば、第１の画素および第２の画素の頂点空間４００ｂ内の位置における差分に応じて異なりうる）。この例示的な関連付け機構をさらに示すために、例示的な頂点４５０は第１の例示的な空間４７５内の画素に関連付けられうる。第１の例示的な空間４７５は、第１の例示的な頂点４５０を頂点として含む１組の包含三角形として定義されうる。
関連付けの別の機構の例として、所与の画素４１０ｂが、当該所与の画素に最も近い複数の頂点の最近傍頂点４３０に関連付けられうる。かかる関連付けの機構のもと、包含空間４３５内にある頂点空間内の画素が第１の頂点に関連付けられてもよい。包含空間４３５が、その中で最近傍頂点４３０が当該複数の頂点の最近傍頂点である頂点空間４００ｂ内の空間のサブセットとして定義されうる。この例示的な関連付け機構をさらに示すために、例示的な頂点４５０は第２の例示的な空間４６５内の画素４６０に関連付けられうる。第２の例示的な空間４６５が、その中で例示的な頂点４５０が当該複数の頂点の最近傍頂点である頂点空間４００ｂ内の空間のサブセットとして定義されうる。
頂点空間４００ｂ内の当該複数の頂点の位置は、図４Ｂで図示されたように、頂点空間内の頂点の位置のパターンの非限定的な例であることに留意されたい。図示されたように、当該頂点は、等辺の、規則的にタイルされた三角形（即ち、正則２次元シンプレックス）の当該頂点で頂点空間４００ｂに配置される。当該頂点はまた、アプリケーションに従って頂点空間４００ｂ内に幾つかの他の規則的または不規則なパターンで配置されうる。
例えば、当該頂点は、規則的にタイルされた不規則三角形（例えば、二等辺三角形、不等辺三角形）の頂点で頂点空間４００ｂ内に配置されうる。当該三角形のタイルの主軸の角度は、頂点空間４００ｂの次元のうち１つまたは複数の軸の１つに並列であってもよく（例えば、図４Ｂに図示されたように「画素位置」軸に並列である）または幾つかの他の方位を有しうる。当該頂点は、頂点空間４００ｂにおける１つまたは複数の第１の方向（例えば、頂点空間の空間次元における反復の第１の期間）に第１の「有効解像度」（即ち、パターン反復の期間）および１つまたは複数の第２の方向（例えば、頂点空間の色空間次元における反復の第２の期間）における第２の「有効解像度」を有しうる。他のパターン、スケール、および頂点空間内の複数の頂点の画素との関連付けの機構が予期される。
頂点空間内の頂点との画像の画素の関連付けの別の例を示すために、図５Ａは例示的な１次元画像５００ａ（即ち、画素の１次元ストライプ）を示す。（所与の画素５１０ａを含む）画像５００ａの画素はそれぞれの明度を定義する（即ち、画像５００ａの個々の画素が１次元（例えば、白黒）色空間内の色を定義する）。
図５Ｂは例示的な２次元頂点空間５００ｂを示す。頂点空間５００ｂは、画像５００ａの１次元「フレーム」内の画像５００ａの画素の位置に対応する空間次元（「画素位置」とラベルされ、水平軸と図示される）を含む。頂点空間５００ｂはさらに、色空間次元を含む（「色」とラベルされ、垂直軸として図示され、より明るい画素が頂点空間５００ｂ内のより高い位置に配置される）。頂点空間５００ｂ内の画像５００ａの画素の位置はクロスにより示されている。複数の頂点は頂点空間５００ｂに配置される。当該頂点の位置は、正方形パターンで頂点空間５００ｂ内に規則的に離間され、ドットで示されている。頂点空間５００ｂ内の頂点が、正方形（即ち、２次元超立方体）の規則的にスタックされた（またはモザイク式の）パターンの頂点の位置にあるとして説明されてもよい。
画像５００ａの画素は、頂点空間５００ｂ内の画素および頂点の相対的な位置の近接性または幾つかの他の性質に従って頂点空間５００ｂ内の頂点に関連付けられうる。画素の頂点との関連付けの第１の機構において、（画像５００ａの所与の画素５１０ａに対応する）頂点空間５００ｂ内の所与の画素５１０ｂは、所与の画素５１０ｂを含む頂点空間の領域（またはより一般に、頂点空間の次元の数に等しい次元の空間）を囲む包含正方形５２５を定義する４つの頂点５２０に関連付けられうる。かかる例示的な関連付けでは、所与の画素５１０ｂは、４つの頂点５２０の各々に等しく関連付けられてもよく、または、幾つかの関数または他の考慮に従って重み付けされた形式で関連付けられうる。例えば、所与の画素５１０ｂは、所与の画素５１０ｂと個々の頂点の間の頂点空間５００ｂにおけるそれぞれの距離に従って（例えば、４つの頂点５２０の頂点の間の所与の画素５１０ｂの幾つかの重心パーティションまたは他の割当てに従って）４つの頂点５２０の個々の頂点に関連付けられうる。
同様に、包含正方形５２５内の他の画素は４つの頂点５２０に関連付けられうる（が、５２５内の第１の画素と４つの頂点５２０との間の関連付けの重みは、５２５内の第２の画素と４つの頂点５２０との間の関連付けの重みと、例えば、第１の画素および第２の画素の頂点空間５００ｂ内の位置における差分に応じて異なりうる）。この例示的な関連付け機構をさらに示すために、例示的な頂点５５０は第１の例示的な空間５７５内の画素に関連付けられうる。第１の例示的な空間５７５が、第１の例示的な頂点５５０を頂点として含む１組の包含正方形として定義されうる。
関連付けの別の機構の例として、所与の画素５１０ｂは、当該所与の画素に最も近い複数の頂点の最近傍頂点５３０に関連付けられうる。かかる関連付けの機構のもと、包含空間５３５内にある頂点空間内の画素がまた、第１の頂点に関連付けられてもよい。包含空間５３５が、その中で最近傍頂点５３０が当該複数の頂点の最近傍頂点である頂点空間５００ｂ内の空間のサブセットとして定義されうる。この例示的な関連付け機構をさらに示すために、例示的な頂点５５０は第２の例示的な空間５６５内の画素５６０に関連付けられうる。第２の例示的な空間５６５が、その中で例示的な頂点５５０が当該複数の頂点の最近傍頂点である頂点空間５００ｂ内の空間のサブセットとして定義されうる。
頂点空間５００ｂ内の当該複数の頂点の位置は、図５Ｂで図示されたように、頂点空間内の頂点の位置のパターンの非限定的な例であることに留意されたい。図示されたように、当該頂点は、正規の規則的にタイルされた長方形（即ち、正方形または正則２次元超立方体）の頂点で頂点空間５００ｂ内で配置される。当該頂点がアプリケーションに従って頂点空間５００ｂ内の幾つかの他の規則的または不規則なパターンで配置されてもよい。
例えば、当該頂点は、規則的にタイルされた不規則ハイパー長方形の頂点で頂点空間５００ｂ内に配置されうる。正方形、長方形、超立方体、ハイパー長方形のタイル、または他のスタックされたタイル、またはそうでなければモザイク式の形状の主軸の角度は頂点空間５００ｂの次元のうち１つまたは複数の軸の１つに平行でありうる（例えば、図５Ｂに図示されたように「画素位置」軸および「色」軸の両方に平行である）または幾つかの他の方位を有しうる。当該頂点は、頂点空間５００ｂ内の１つまたは複数の第１の方向における第１の「有効解像度」（即ち、パターン反復の期間）（例えば、頂点空間の空間次元における反復の第１の期間）および１つまたは複数の第２の方向における第２の「有効解像度」（例えば、頂点空間の色空間次元における反復の第２の期間）を有しうる。他のパターン、スケール、および複数の頂点空間内の頂点の画素との関連付けの機構が予期される。
それぞれ図４Ａ、５Ａ、４Ｂ、および５Ｂに図示された１次元画像４００ａ、５００ａおよび対応する２次元頂点空間４００ｂ、５００ｂは、画像の画素（例えば、画素の２次元アレイを含む２次元画像）を頂点空間内の頂点（例えば、対応する画像の幾つかの次元に等しい幾つかの空間次元および当該画像の画素の色空間情報に対応する１つまたは複数の色空間次元を有する頂点空間）に関連付ける方法の例示的な例として意図されていることに留意されたい。１例では、２次元白黒（またはグレー・スケール）画像の画素は、当該画像の２次元（例えば、水平方向および垂直方向）に対応する２つの空間次元および当該画像の画素により定義された明度または他のグレー・スケール情報に対応する第３の色空間次元を有する３次元頂点空間内の頂点に関連付けられうる。
別の例では、２次元色（例えば、ＲＧＢ、ＬＵＶ、ＹＰＢＰＲ、ＹＣＢＣＲ）画像の画素位置は、当該画像の２次元（例えば、水平方向および垂直方向）に対応する２つの空間次元および当該画像の画素により定義された色空間情報（例えば、赤、緑、および青の色強度）に対応する３つの色空間次元を有する５次元頂点空間内の頂点に関連付けられうる。頂点空間の追加のまたはより少ない空間（例えば、１次元ライン画像または３次元体積画像またはホログラフィ画像に対応する）および／または色空間（例えば、ハイパースペクトル色チャネルに対応し、偏光情報チャネルに対応する）の次元は予期される。
さらに、頂点内の頂点の位置が規則的である必要はないが、アプリケーションに応じて任意の規則的または不規則な機構に従って指定されうることに留意されたい。例えば、当該頂点は、ガウスまたは他のＫＤ木の重心、頂点の最初の規則的に離間した集合の貪欲な統合から生ずる１組の頂点に従って、または頂点空間内および／または頂点空間のパーティショニング内の幾つかの他の間隔に従って配置されうる。
一般に、画像（例えば、参照画像、フィルタされた出力画像）の画素および／またはその情報（例えば、明度、色、深度値、温度、オブジェクト識別情報）は対応する関連付けられた頂点および／またはその情報（例えば、頂点明度等）の重み付けされた組合せに基づきうる。具体的には、フィルタされた出力画像の画素が決定された頂点適合値に基づいて決定されるケースに対して、当該フィルタされた出力画像の画素（例えば、かかる画素の明度または他の変数）は、
ｘ＝ＳＴｙ
により決定された頂点適合値に関連しうる。
ｘは決定されたフィルタされた出力画像画素のベクトルであり、ｙは決定された頂点適合値のベクトルであり、ＳＴは、その要素が個々の頂点と参照画像の個々の画素との間（したがって、それぞれ参照画像の画素に対応する、個々の頂点とフィルタされた出力画像の個々の画素との間）の関連付けを定義する関連付け行列である。
したがって、（参照画像またはフィルタされた出力画像の）それぞれの特定の画素に対応するＳＴの特定の行は、当該特定の画素に関連付けられない頂点に対応する全て列に対してゼロである。当該特定の行は、当該特定の画素に関連付けられた全て列に対して非値を有する。かかる非零値は、当該特定の画素と対応する頂点との間の関連付けの度合いに関連しうる。かかる非零値は、対応する決定された頂点適合値に相対的な当該特定の画素の明度、色、深度、不均衡、オブジェクト・アイデンティティ、または他の値を決定するために使用されうる。あるいは、ＳＴは、参照画像の個々の画素が、何等かの非零の度合いで、頂点空間内の頂点の全てに関連する場合に、完全行列（即ち、実質的に非零のエントリがない）でありうる。
本明細書の別の場所（例えば、図４Ａ、４Ｂ、５Ａ、および５Ｂ）で説明されるように、画素および頂点の間の例示的な関連付けに対して、ＳＴの特定の行の非零要素は当該特定の行に対応する画素に関連付けられた頂点に対応してもよく、当該非零要素の相対的な値は、当該特定の画素の関連付けられた頂点との関係の相対的な重みに（例えば、当該特定の画素と当該頂点の間の相対的な距離に従って、例えば、幾つかの重心重みに従って）対応しうる。
本明細書の別の場所で示すように、参照画像の画素は頂点空間内のそれぞれの頂点に関連付けられうる。ターゲット・アレイは、複数のターゲット値を含み、ついで参照画像に存在するエッジを尊重する方式でフィルタされた出力画像を生成するために使用されうる。当該フィルタされた出力画像の各画素は参照画像のそれぞれの画素に対応しうる。さらに、ターゲット・アレイの各ターゲット値は、例えば、参照画像の画素の参照画像のフレーム内の画素位置、および、ターゲット値の参照画像のフレーム内の画素位置に従って参照画像の１つまたは複数の画素に対応しうる。例えば、各ターゲット値は参照画像のそれぞれの画素に対応しうる。したがって、各ターゲット値を、ターゲット値に対応する参照画像の画素が関連付けられる頂点に関連付けることができる。
フィルタされた出力画像の画素の点で定義された費用関数または他の問題はついで、参照画像の画素と頂点空間内の頂点との間の関連付けに従って当該頂点にマップされうる。例えば、損失項および親和性項を含む費用関数は頂点適合値の線形系にマップされうる。頂点適合値の例示的な線形系は、
Ａｙ＝ｂ
である。
ｙは頂点適合値のベクトルであり、Ａは頂点コスト行列であり、ｂは頂点コスト・ベクトルである。（例えば、事前条件付き共役勾配方法により、または幾つかの他の方法により）ｙが決定されると、関連付け行列を、決定された頂点適合値ｙに基づいて、フィルタされた出力画像の画素を決定するために使用することができる。
当該頂点コスト行列が、（１）参照画像の画素とそれに関連付けられたそれぞれの頂点との間の関連付け（例えば、関連付け行列Ｓ）、および（２）参照画像の画素のペア間の類似度に基づいて決定されうる。参照画像の画素の特定ペア間の類似度は、画素の特定のペアの画素位置の間の距離と、当該画素の特定のペアの画素位置の間の色空間次元（例えば、１次元白黒色空間、３次元ＲＧＢ色空間）内の距離に関連しうる。かかる類似度は、本明細書の別の場所で説明するように画素親和性行列の要素の形態をとってもよい。
当該頂点コスト行列が、参照画像の画素と頂点空間内の頂点との間の関連付けを定義する関連付け行列に基づいて、参照画像の画素親和性行列を分解することで決定されうる。例示的な例は、
である。Ｗは、その要素が参照画像の画素のペアの間の類似性に関連する画素親和性行列であり、Ｓは関連付け行列であり、
は頂点親和性行列である。
は、上式がほぼ等しいようにＷを分解することで決定されうる。かかる分解は、互いに掛け合わされて
をもたらす幾つかの疎行列を生成するステップを含みうる。頂点コスト行列Ａはついで頂点親和性行列
に基づいて決定されうる。
上述のように、画素親和性行列が二重確率である問題を解くのが好ましいかもしれない。二重確率行列を直接的に大規模な非二重確率行列から生成するステップは計算的に高価である可能性があり、その代わり、頂点空間を利用して当該問題を簡単化することができる。１例では、１つまたは複数の対角行列が、関連付け行列および対角行列が頂点親和性行列に適用されたとき、正規化された二重確率画素親和性行列が生ずるように決定されうる。結果の計算を簡略化し、分析的にまたは計算的に扱いやすい解決策を提供し、当該問題の構造に関する幾つかの合理的な仮定に基づいてまたは幾つかの他の考慮に従って当該結果の計算を簡略化するための、これらの対角行列を決定する特定の形態および方法が選択されうる。これを示すために、当該対角行列が
のように決定されうる。
は画素親和性行列Ｗの二重確率バージョンであり、Ｄｍは第１の対角行列であり、Ｄｎは第２の対角行列である。第１の対角行列Ｄｍが関連付け行列の行和
に基づいて決定され、Ｄｎが、（例えば、上で示すように）関連付け行列および対角行列の頂点親和性行列への適用により生成される
が二重確率であるように決定される。
かかるＤｎが幾つかの方法で決定されうる。１つ効率的な方法は、反復的方法を使用して、Ｄｎの対角要素の推定を複数回（例えば、当該対角要素が収束するまで）更新することである。特定の例では、当該方法は
のように関連付け行列の行和に基づいて第１の正規化ベクトルを決定するステップを含む。ｍは第１の正規化ベクトルである。第２の正規化ベクトルをついで初期値に設定することができる。例えば、
である。ｎは第２の正規化ベクトルである。第２の正規化ベクトルが次いで、複数回、例えば、当該ベクトルが収束するまで更新されるか、または、事前指定された回数更新される。この更新は、（ａ）第１の正規化ベクトルと第２の正規化ベクトルの要素ごとの積、および（ｂ）頂点親和性行列と第２の正規化ベクトルの積の比率に基づくベクトルの各要素の平方根を取ること、例えば、
を含むことができる。°はアダマール積または要素ごとの乗算オペレータである。第２の対角行列はついで、第２の正規化ベクトルから決定されることができる。例えば、
Ｄｎ＝ｄｉａｇ（ｎ）
である。頂点コスト行列は、例えば、
のように、頂点親和性行列および第１のおよび第２の対角行列に基づいて決定されることができる。Ｃは、ターゲット・アレイｔのそれぞれのターゲット値に対応する信頼度値の信頼度アレイである。幾つかの例では、上式が信頼度アレイを欠いてもよい（例えば、当該信頼度アレイを１から成るベクトルで置き換えてもよい）。
頂点コスト・ベクトルｂが（１）ターゲット値と頂点の間の関連付けおよび（２）ターゲット値のセットに基づいて決定されうる。ターゲット・アレイに対応する信頼度アレイが存在する例では、当該頂点コスト・ベクトルがターゲット・アレイと信頼度アレイの要素ごとの積に基づいて決定されうる。例えば、
ｂ＝λＳ（ｃ°ｔ）
である。
頂点適合値の線形系を解くのを高速化するために、当該頂点適合値の初期推定を選択して損失項を最小化することができる。例えば、
である。頂点空間内の複数の頂点内の頂点の数は参照画像の１つまたは複数の特性に基づきうる。さらに、頂点空間内の当該複数の頂点の位置は参照画像に基づいて指定および／または決定されうる。頂点空間内の当該頂点の位置は、参照画像の画素によりスパンされる頂点空間内のボリュームにわたりうる。例えば、頂点空間は３次元であってもよく（例えば、参照画像は白黒でありうる）、当該頂点が、参照画像のフレームの範囲に対応する頂点空間の２つの空間次元内のボリュームおよび参照画像の画素により表される明度値の範囲に対応する１次元の色空間次元内のボリュームにわたってもよい。例えば、頂点空間内の頂点の位置は、参照画像の画素による頂点空間内のボリュームにわたりうる（例えば、３次元頂点空間は、参照画像のフレームの範囲に対応する空間頂点の２つの空間次元内のボリュームおよび参照画像の画素により表される明度値の範囲に対応する１次元色空間次元内のボリュームにわたる頂点を含みうる）。
頂点空間内の頂点の数が参照画像と独立に決定されうる。例えば、幾つかの頂点が、或る範囲の解像度および／または幾つかの画素を有する画像に対する本明細書で説明する方法の実施に対して指定されうる。当該指定された数の頂点は、本明細書で説明する方法を実施するために使用される参照画像の少ない数（例えば、１％未満）の画素でありうる。
頂点適合値、または、参照画像から決定された他の情報を決定するために使用される当該線形系の要素は、複数のフィルタされた出力画像を生成するために再使用されうる。例えば、参照画像内のそれぞれの異なるタイプのオブジェクトのアイデンティティに対応する複数のフィルタされた出力画像は、それぞれの異なる入力ターゲット・アレイおよび／または信頼度アレイ（例えば、参照画像の異なる画素がそれぞれの異なるタイプのオブジェクトを表すかどうかを表すターゲット値を含むターゲット・アレイ）に基づいて生成されうる。別の例では、単一の白黒参照画像が、参照画像内のそれぞれの異なる指定された色および／または色の位置を表す複数の異なるターゲット・アレイに従って色付けされうる。これは、頂点コスト・ベクトルおよびそれぞれの異なる頂点適合値ベクトルを連結して全体の線形系を解くステップを含みうる。例えば、
ＡＹ＝Ｂ
である。
Ａは、（（１）頂点と参照画像の画素との間の関連付けおよび（２）参照画像の画素の間の類似度に少なくとも基づく）頂点コスト行列であり、Ｙはそれぞれの異なるターゲット・アレイに対応する頂点適合値ベクトルの連結を含む行列であり、Ｂは、当該それぞれの異なるターゲット・アレイに対応し、当該それぞれの異なるターゲット・アレイに基づいて決定された頂点コスト・ベクトルの連結を含む行列である。全体の線形系を様々な方法で、例えば、ＱＲ分解により解いてもよい。
Ｖ．代替的な誤差関数
上述の方法は、入力ターゲット・アレイのターゲット値と生成されたフィルタされた出力画像の対応する画素との間の差分に関する二次費用関数、例えば、
ｃｉ（ｘｉ−ｔｉ）２
を使用した。
しかし、本明細書で説明する方法を、代替的な費用関数、例えば、
ρ（ｘｉ−ｔｉ）２
を用いて、フィルタされた出力画像を決定するために適用してもよい。
ρは、包括的費用関数（例えば、二次費用関数よりも異常値に対して弾力性がある堅牢な費用関数）である。本明細書で説明する方法をかかる任意の費用関数に適用するために、フィルタされた出力画像の画素の値に関する特定の初期推定は、当該推定に関する（当該包括的費用関数（複数可）を含む）全体の問題を線形化するために使用されうる。この線形化は当該初期出力画像推定に基づいて初期信頼度アレイを決定するステップを含みうる。当該方法はついで、当該初期信頼度アレイを用いて実施して、当該フィルタされた出力画像の後続の推定を決定しうる。当該全体の問題をついで当該フィルタされた出力画像の後続の推定に関して線形化してもよく、当該方法は、当該フィルタされた出力画像が収束するまで、指定された数のかかる反復が実施されるまで、または幾つかの他の基準が満たされるまで、繰り返される。
ＶＩ．後方伝播
幾つかの例では、ターゲット・アレイ（そこから、参照画像を用いて、フィルタされた出力画像が生成される）がアルゴリズムまたは他の自動化された方法に基づいて決定されうる。例えば、ターゲット・アレイは、参照画像内のオブジェクトを記述する情報（例えば、意味論的セグメント化データ、参照画像に配置されたオブジェクトのカテゴリ）を表しうる。かかるターゲット・アレイが、ニューラルネット、パターン・マッチング、または幾つかの他の方法を用いて参照画像に基づいて決定されうる。
かかる例では、かかるターゲット・アレイから生成されたフィルタされた出力画像を既知の「真」またはそうでなければ所望の目的画像（例えば、ターゲット・アレイが生成するのが好ましい画像）と比較することは有利でありうる。かかる目的画像は、例えば、参照画像内の特定のオブジェクトの位置と範囲またはオブジェクトのタイプを記述する、人間が生成した画像でありうる。さらに、どのアルゴリズムまたはプロセスがターゲット・アレイを生成するために使用されたかに関わらず、当該フィルタされた出力画像と当該目的画像の差分に基づいて更新することは有利でありうる。かかる更新は、当該フィルタされた出力画像における誤差とターゲット・アレイの特定のターゲット値における誤差との間の関係に関するエラー勾配または他の情報の決定を要求しうる。
ターゲット・アレイに関するかかるエラー情報を決定するために、フィルタされた出力画像と目的画像の差分を決定し使用して、更新されたターゲット・アレイを生成することができる。かかる更新されたターゲット・アレイが、後方伝播を用いて、関連付け行列、ベクトルコスト行列、および当該目的画像と当該フィルタされた出力画像の間の決定された差分に基づいて決定されうる。
かかる後方伝播を、当該ベクトルコスト行列の非対角要素に関してのみ導関数を計算することで簡略化しうる。例えば、損失関数
がフィルタされた出力画像
に関して定義され、ターゲット・アレイの部分導関数は
であり、信頼度アレイ（存在すれば）の部分導関数は
であり、
である。
は、フィルタされた出力画像
の画素を生成するために使用される、決定された頂点適合値のベクトルである。
ＶＩＩ．例示的な方法
図６は、例示的な実施形態に従う方法６００を示す流れ図である。方法６００を、カメラまたは幾つかの他のデバイス（カメラ・デバイス、モバイルデバイス、ポータブルデバイス、携帯電話、ラップトップ、タブレットコンピュータ、サーバ、クラウドコンピューティング・システム、ロボット、ドローン、自動運転車両、および自律車両を含むがこれらに限られない）を含むデバイスにより実装してもよい。
あるいは、方法６００を、かかるカメラ・デバイスと別の、それと通信しかつ／またはメモリ（例えば、メモリ・カード、コンパクト・ディスク、ハードドライブ、クラウド記憶サービス、リモートサーバ（例えば、インターネットと通信するサーバ）のメモリ）に格納された画像にアクセスするように構成された、デバイスまたはシステムにより実装してもよい。いずれにせよ、方法６００が、１つまたは複数の参照画像に相対的なエッジ保存方式で入力ターゲット・アレイに基づいて、フィルタされた出力画像を生成するように実装されてもよい。
方法６００がコンピューティング・システムにより、（１）カメラ・デバイスによりキャプチャされた参照画像および（２）ターゲット・アレイを取得するステップを含んでもよい（６１０）。参照画像は、参照画像内のそれぞれの画素位置およびそれぞれの色変数を有する複数の画素を含む。ターゲット・アレイは、それぞれ参照画像の画素に対応するターゲット値を含む。参照画像および／またはターゲット・アレイを取得するステップは、シーンのそれぞれの第１のおよび／または第２の画像をキャプチャするように第１のおよび／または第２のカメラを動作させるステップを含むことができる。さらにまたはあるいは、ターゲット・アレイは赤外線カメラ、深度センサ、または幾つかの他の検知要素（複数可）により生成されうる。参照画像および／またはターゲット・アレイを取得するステップは、メモリから、例えば、メモリ・カード、ハードドライブ、コンパクト・ディスクから、またはリモートシステムから（例えば、インターネットを介してアクセス可能なリモートサーバから）情報にアクセスするステップを含むことができる。
さらに、参照画像および／またはターゲット・アレイを取得するステップは、現実世界シーンに関連しない画像または他の情報をアクセスおよび／または生成するステップを含むことができる。例えば、シミュレーション、コンピュータグラフィックス、または他の計算プロセスにより生成された情報にアクセスするステップを含みうる。参照画像および／またはターゲット・アレイを生成、キャプチャ、フィルタ、修正、または取得するための他の方法または方法の組合せは予期される。
方法６００はさらに当該コンピューティング・システムにより、参照画像の画素を頂点空間内のそれぞれの頂点に関連付けるステップを含む（６２０）。頂点空間は２つの空間次元および少なくとも１つの色空間次元を含む。参照画像の画素とそれぞれの頂点の間の関連付けは、半分未満が非零である複数の値を含む関連付け行列により定義される。幾つかの例では、当該関連付け行列の値の１パーセント未満または１パーセントの１０分の１未満が非零である。
参照画像の各画素を１つまたは複数の頂点に関連付けるステップは、当該画素の画素位置と当該頂点の間の頂点空間内の近接性または幾つかの他の関係に基づきうる（例えば、所与の画素は頂点空間内の最近傍頂点、または１組の頂点（例えば、当該所与の画素位置を囲む頂点空間内の形状の頂点を定義する１組の頂点）に関連付けられうる）。頂点空間は、空間次元（例えば、参照画像の水平および垂直次元に対応する次元）および１つまたは複数の色空間次元（例えば、色空間内の画素位置の明度、色、赤、緑、または青強度、または他の特性に対応する次元）を有しうる。
幾つかの例では、参照画像は色画像であってもよく（例えば、その画素が色空間、例えば、赤緑青（ＲＧＢ色空間）内の色を定義する画像でありうる）、頂点空間は、参照画像のフレーム内の画素位置に対応する２つの空間次元および参照画像の当該複数の画素により定義された色の色空間内の位置に対応するさらに３つの色空間次元を有しうる。高次元または低次元の頂点空間が、その画素がより多くのまたは少ない色情報を定義する（例えば、その画素が、２次元色空間（例えば、赤緑色空間）または３より大きい次元の色空間（例えば、ハイパースペクトルイメージャの検出器の出力を表すように定義された）内の色を定義する色空間）または他の情報（例えば、当該画像内の光の偏光の方向および／または度合い）に対する画像に対して使用されうる。
頂点空間内の頂点の位置は、参照画像の画素によりスパンされる頂点空間内のボリュームにわたりうる。例えば、頂点空間は３次元であってもよく（例えば、第１の画像は白黒でありうる）、当該頂点が、参照画像のフレームの範囲に対応する頂点空間の２つの空間次元内のボリュームおよび参照画像の画素により表される明度値の範囲に対応する１次元色空間次元内のボリュームにわたってもよい。
さらに、頂点空間内の頂点の位置は、（例えば、参照画像に対応する頂点空間のボリュームの均一なサンプリングを提供するために）規則的に離間しうる。例えば、当該頂点は、３次元またはそれより多くの次元形状のモザイク式のおよび／または規則的に繰り返すアレイの頂点にある頂点空間内に、または幾つかの他の規則的パターンに従って配置されうる。幾つかの例では、当該頂点は長方形アレイで配置されうる（即ち、多次元空間内の直交方向に沿って、ハイパー長方形のモザイク式のアレイの頂点で規則的に離間する）。幾つかの例では、当該頂点は三角形のアレイに（即ち、頂点空間内で規則的なモザイク式である三角形、四面体、または高次元シンプレックスの頂点に）配置されうる。
方法６００はさらに、当該コンピューティング・システムにより、ターゲット値を、ターゲット値に対応する参照画像の画素が関連付けられるそれぞれの頂点と関連付けるステップを含む（６３０）。これは、ターゲット値を関連付け行列に従って当該頂点に関連付けるステップを含みうる。
方法６００はさらに当該コンピューティング・システムにより、（１）参照画像の画素とそれぞれの頂点との間の関連付け、および（２）参照画像の画素のペア間の類似度に基づいて頂点コスト行列を決定するステップを含む（６４０）。参照画像の画素の特定ペア間の類似度は、参照画像内の画素の当該特定のペアの画素位置の間の距離と、参照画像の画素の当該特定のペアの色変数の間の色空間次元内の距離とに関連する。当該頂点コスト行列は、それ自体が（１）参照画像の画素とそれぞれの頂点との間の関連付けおよび（２）その要素が参照画像の画素の特定のペアの間の類似度に関連する画素親和性行列に基づいて決定された頂点親和性行列に基づきうる。かかる頂点親和性行列が、当該関連付け行列を用いて画素親和性行列を分解することで決定されうる。当該コンピューティング・システムにより、頂点コスト行列を決定するステップは追加のまたは代替的なステップを含みうる。
方法６００はさらに当該コンピューティング・システムにより、当該頂点コスト行列および頂点コスト・ベクトルにより定義された線形系を解くことによって、頂点に対するそれぞれの頂点適合値を決定するステップを含む（６５０）。これは、勾配降下法または幾つかの他の方法を実施して当該線形系を解くステップを含みうる。当該コンピューティング・システムによりそれぞれの頂点適合値を決定するステップは、（１）ターゲット値とそれぞれの頂点との間の関連付けおよび（２）ターゲット値のセットに基づいて、例えば、ターゲット・アレイのターゲット値の品質に関する分散、不確実性、または他の情報に対応する、ターゲット・アレイと信頼度アレイの要素ごとの積を決定することで、当該頂点コスト・ベクトルを決定するステップを含みうる。当該コンピューティング・システムによりそれぞれの頂点適合値を決定するステップは追加のまたは代替的なステップを含みうる。
方法６００はさらに当該コンピューティング・システムにより、フィルタされた出力画像を生成するステップを含む（６６０）。当該フィルタされた出力画像は、それぞれ参照画像の画素に対応する画素を含む。当該フィルタされた出力画像を生成するステップは、参照画像の画素に関連付けられた頂点の決定された頂点適合値を当該フィルタされた出力画像のそれぞれの画素を決定するための基礎として使用するステップを含む。当該フィルタされた出力画像を生成するステップはさらに、幾つかの追加のステップを実施するステップ、例えば、当該フィルタされた出力画像の決定された色情報を参照画像に適用して参照画像の色付けされたバージョンを生成するステップを含みうる。当該フィルタされた出力画像を生成するステップは追加のまたは代替的なステップを含みうる。
方法６００は、上で列挙したものに加えて追加のステップまたは要素を含みうる（例えば、６１０、６２０、６３０、６４０、６５０、６６０）。例えば、方法６００は、参照画像内の画素に対する決定された不均衡値に基づいて、深度情報（例えば、参照画像に対する各画素に対する画素深度値）を決定するステップを含みうる。したがって、当該フィルタされた出力画像を利用して、シーンの深度マップを生成してもよい。当該深度マップをついで使用して、当該シーンに対する焦点設定を決定し、当該シーン内のオブジェクトの位置を決定し、当該シーンをマップし、当該シーンをナビゲートする（例えば、当該シーンを通じて移動するようにロボットまたは他の自律デバイスを動作させる）のを支援してもよく、および／または他の目的に使用してもよい。方法６００はフィルタされた出力画像に基づいて画像処理を参照画像に実施するステップを含みうる。例えば、画像処理プロセス（例えば、ぼかし、フィルタリング、コントラストの増大または減少、色バランスの変化、色フィルタの適用）を、指定された範囲の値に対応する決定された深度値、色、オブジェクト説明、または他の特性を有するオブジェクトに対応する参照画像の領域（即ち、参照画像内の画素の領域）に選択的に実施しうる。
方法６００は、生成されたフィルタされた出力画像に基づいて他のアプリケーションまたはプロセスを含みうる。方法６００を用いて決定された情報（例えば、決定されたフィルタされた出力画像画素および／または頂点適合値）の適用は、拡張現実（例えば、深度キュー（depth cue）の提供、ナビゲーションの支援）、画像の色付けまたはフィルタリング、画像の意味論的セグメント化、深度超解像度、または低解像度画像または他のセンサデータのアップサンプリングを含むがこれらに限られない。方法６００の他の追加のおよび／または代替的な要素および／またはアプリケーションは予期される
ＶＩＩＩ．例示的なシステム
本明細書で説明する計算機能（例えば、フィルタされた出力画像を参照画像に基づいてターゲット・アレイから生成する機能）がコンピューティング・システムにより実施されてもよい。かかるコンピューティング・システムが、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、サーバ、クラウドコンピューティングネットワーク、および／またはプログラム可能ロジックコントローラのようなコンピューティング・デバイスに組み込むかまたはその形をとってもよい。例示の目的のため、図７は、カメラ・コンポーネント７２４を含みうる例示的なコンピューティング・デバイス７００のコンポーネントの幾つかを示す簡略化されたブロック図である。カメラ・コンポーネント７２４が、可視光カメラ、赤外線カメラ、または他のタイプのカメラのような複数のカメラを含んでもよい。
限定ではなく例として、コンピューティング・デバイス７００が、セルラ携帯電話（例えば、スマートフォン）、スチル・カメラ、ビデオカメラ、ファックスマシン、（デスクトップ、ノートブック、タブレット、またはハンドヘルドコンピュータのような）コンピュータ、携帯情報端末（ＰＤＡ）、ホーム・オートメーションコンポーネント、デジタルビデオレコーダ（ＤＶＲ）、デジタルテレビ、リモートコントロール、ウェアラブルコンピューティング・デバイス、ロボット、ドローン、自律車両、または幾つかの画像キャプチャおよび／または画像処理機能を具備しうる幾つかの他種のデバイスであってもよい。コンピューティング・デバイス７００がデジタルカメラのような物理カメラ・デバイス、カメラアプリケーションがソフトウェア、または画像キャプチャおよび／または処理機能を実行するように構成されたハードウェアおよびソフトウェアの他の組合せで動作する特定の物理ハードウェアプラットフォームを提供してもよいことは理解されるべきである。
図７に示すように、コンピューティング・デバイス７００が通信インタフェース７０２、ユーザ・インタフェース７０４、プロセッサ７０６、データ記憶７０８、およびカメラ・コンポーネント７２４を含んでもよい。その全てがシステムバス、ネットワーク、または他の接続機構７１０により通信可能に接続されうる。
通信インタフェース７０２が、コンピューティング・デバイス７００が、電気、磁気、電磁気、光、または他の信号のアナログまたはデジタル変調を用いて、他のデバイス、アクセス・ネットワーク、および／または転送ネットワークと通信できるようにする機能であってもよい。したがって、通信インタフェース７０２が、回線交換および／またはパケット交換通信のような基本電話サービス（ＰＯＴＳ）通信および／またはインターネットプロトコル（ＩＰ）または他のパケット化された通信を促進してもよい。例えば、通信インタフェース７０２が、無線アクセス・ネットワークまたはアクセス・ポイントとの無線通信に対して構成されたチップセットおよびアンテナを含んでもよい。また、通信インタフェース７０２が、Ｅｔｈｅｒｎｅｔ、ユニバーサル・シリアル・バス（ＵＳＢ）、または高精細度マルチメディアインタフェース（HDMI(登録商標)）ポートのような有線インタフェースの形をとるかまたはそれらを含んでもよい。通信インタフェース７０２がまた、Ｗｉｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）、全地球測位システム（ＧＰＳ）、または広域無線インタフェース（例えば、ＷｉＭＡＸまたは３ＧＰＰロング・ターム・エボリューション（ＬＴＥ））のような無線インタフェースの形をとるかまたはそれらを含んでもよい。しかし、他の形態の物理レイヤインタフェースおよび他のタイプの標準または専用通信プロトコルを通信インタフェース７０２上で使用してもよい。さらに、通信インタフェース７０２が複数の物理通信インタフェース（例えば、Ｗｉｆｉインタフェース、ＢＬＵＥＴＯＯＴＨ（登録商標）インタフェース、および広域無線インタフェース）を含んでもよい。
幾つかの実施形態では、通信インタフェース７０２が、コンピューティング・デバイス７００が他のデバイス、リモートサーバ、アクセス・ネットワーク、および／または伝送ネットワークと通信できるようにするように機能してもよい。例えば、通信インタフェース７０２が、コンピューティング・デバイス７００がフィルタされた出力画像を当該アクセスされた参照画像、信頼度アレイ、および／またはターゲット・アレイに基づいて生成できるようにするために、リモートサーバまたは他のリモートデバイスまたはシステムとの通信を介して参照画像、ターゲット・アレイ、および／または信頼度アレイにアクセスするように機能してもよい。例えば、当該リモートシステムは、１つまたは複数の参照画像および／またはターゲット・アレイを含むメモリを含むサーバでありうる。さらにまたはあるいは、当該リモートシステムは、コンピューティング・デバイス７００により上述のようにアクセスされうる参照画像、ターゲット・アレイ、または他の情報を生成するように構成されたカメラ、または他の画像キャプチャ・デバイスを含みうる。かかるフィルタされた出力画像は、本明細書で説明する方法に従ってまたは幾つかの他の方法によりコンピューティング・デバイス７００により生成されうる。
ユーザ・インタフェース７０４が、コンピューティング・デバイス７００が、ユーザと対話、例えば、当該ユーザから入力疎受信し、かつ／または当該ユーザに出力を提供できるように機能してもよい。したがって、ユーザ・インタフェース７０４が、キーパッド、キーボード、タッチ−センシティブまたは存在検知パネル、コンピュータマウス、トラックボール、ジョイスティック、マイクロフォン、等のような入力コンポーネントを含んでもよい。ユーザ・インタフェース７０４がまた、ディスプレイスクリーンのような１つまたは複数の出力コンポーネントを含んでもよい。当該ディスプレイスクリーンを、例えば、存在検知パネルと組み合わせてもよい。当該ディスプレイスクリーンが、ＣＲＴ、ＬＣＤ、および／またはＬＥＤ技術、または現在公知のまたは後に開発される他の技術に基づいてもよい。ユーザ・インタフェース７０４がまた、スピーカ、スピーカ・ジャック、オーディオ出力ポート、オーディオ出力デバイス、イヤホン、および／または他の同様なデバイスを介して可聴出力（複数可）を生成するように構成されてもよい。
幾つかの実施形態では、ユーザ・インタフェース７０４が、（例えば、カメラ・コンポーネント７２４を用いてキャプチャされた画像の機能に関して）コンピューティング・デバイス７００によりサポートされるスチル・カメラおよび／またはビデオカメラ機能のためのビューファインダとしての役割を果たすディスプレイを含んでもよい。さらに、ユーザ・インタフェース７０４が、カメラ・コンポーネント７２４の構成とフォーカシングおよびカメラ・コンポーネント７２４を用いた画像のキャプチャを促進する１つまたは複数のボタン、スイッチ、ノブ、および／またはダイヤルを含んでもよい。これらのボタン、スイッチ、ノブ、および／またはダイヤルの一部または全部がタッチまたは存在検知パネル上の機能として実装されることが可能であってもよい。ユーザ・インタフェース７０４が、ユーザが入力ターゲット・アレイ情報を入力して、例えば、参照画像の領域の色を手動で指定できるようにするように構成されてもよい。
プロセッサ７０６が１つまたは複数の汎用目的プロセッサ、例えば、マイクロプロセッサおよび／または１つまたは複数の特殊な目的プロセッサ、例えば、デジタル信号プロセッサ（ＤＳＰ）、グラフィック演算装置（ＧＰＵ）、浮動小数点ユニット（ＦＰＵ）、ネットワークプロセッサ、または特殊用途向け集積回路（ＡＳＩＣ）を含んでもよい。幾つかの事例では、特殊な目的プロセッサが他のアプリケーションまたは機能のうち画像処理、画像配列、および画像のマージが可能であってもよい。データ記憶７０８が、磁気、光、フラッシュ、または有機記憶のような１つまたは複数の揮発性および／または不揮発性記憶コンポーネントを含んでもよく、全体的にまたは部分的にプロセッサ７０６と統合されてもよい。データ記憶７０８が取外し可能および／または非−取外し可能コンポーネントを含んでもよい。
プロセッサ７０６が、本明細書で説明する様々な機能を実行するためのデータ記憶７０８に格納されたプログラム命令７１８（例えば、コンパイル型または非−コンパイル型プログラムロジックおよび／またはマシンコード）を実行することができてもよい。したがって、データ記憶７０８が、コンピューティング・デバイス７００により実行されたとき、コンピューティング・デバイス７００に本明細書および／または添付図面で開示した方法、プロセス、または機能の何れかを実行させるプログラム命令を格納した非一時的コンピュータ可読媒体を含んでもよい。プロセッサ７０６によるプログラム命令７１８の実行が、プロセッサ７０６がデータ７１２を使用することをもたらしてもよい。
例として、プログラム命令７１８が、コンピューティング・デバイス７００にインストールされたオペレーティング・システム７２２（例えば、オペレーティング・システムカーネル、デバイスドライバ（複数可）、および／または他のモジュール）および１つまたは複数のアプリケーション・プログラム７２０（例えば、カメラ機能、アドレス帳、電子メール、ウェブ閲覧、ソーシャルネットワーキング、および／またはゲーミングアプリケーション）を含んでもよい。同様に、データ７１２がオペレーティング・システム・データ７１６およびアプリケーション・データ７１４を含んでもよい。オペレーティング・システム・データ７１６がオペレーティング・システム７２２に主にアクセス可能であってもよく、アプリケーション・データ７１４がアプリケーション・プログラム７２０のうち１つまたは複数に主にアクセス可能であってもよい。アプリケーション・データ７１４が、コンピューティング・デバイス７００のユーザに可視であるかまたはユーザから隠蔽されるファイルシステムに配置されてもよい。
アプリケーション・プログラム７２０が、１つまたは複数のアプリケーションプログラミングインタフェース（ＡＰＩ）を通じてオペレーティング・システム７２２と通信してもよい。これらのＡＰＩが、例えば、アプリケーション・プログラム７２０がアプリケーション・データ７１４を読み取りかつ／または書き込み、通信インタフェース７０２を介して情報を送信または受信し、情報をユーザ・インタフェース７０４で受信および／または表示し、カメラ・コンポーネント７２４を用いて画像をキャプチャする等を促進してもよい。
カメラによりキャプチャされた参照画像および／またはターゲット・アレイからの（即ち、例えば、カメラ・コンポーネント７２４によりキャプチャされた立体画像ペアからの）または幾つかの他の手段（例えば、画像処理、仮想現実、コンピュータ生成された画像、拡張現実、深度センサ）により生成されるフィルタされた出力画像の決定および／またはかかるフィルタされた出力画像に基づく他の情報の決定が、プロセッサ７０６の１つまたは複数のコンポーネントにより（例えば、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、グラフィック演算装置（ＧＰＵ）、中央演算装置（ＣＰＵ）、浮動小数点ユニット（ＦＰＵ）、特殊用途向け集積回路（ＡＳＩＣ）、幾つかの他種の計算コンポーネント、および／または１つまたは複数のタイプのプロセッサ７０６の計算コンポーネントの幾つかの組合せにより）実施されてもよい。例えば、フィルタされた出力画像の画素の決定（例えば、行列乗算、決定された頂点適合値に基づく画素値の決定）に関連する特定の動作がプロセッサ７０６の第１の計算要素またはタイプの計算要素（例えば、ＤＳＰ、ＧＰＵ）により実施されてもよく、頂点適合値の決定に関連する他の特定の動作（例えば、線形系を解くための勾配降下法動作の間のステップサイズの最適化）は、プロセッサ７０６の第２の計算要素または第２のタイプの計算要素（例えば、汎用目的ＣＰＵ）により実施されうる。
アプリケーション・プログラム７２０が、１つまたは複数のオンラインアプリケーション・ストアまたはアプリケーションマーケットを通じて（例えば、通信インタフェース７０２を介して）コンピューティング・デバイス７００にダウンロード可能でありうる「アプリ」の形をとりうる。しかし、アプリケーション・プログラムをまた、例えばウェブ・ブラウザを介してまたはコンピューティング・デバイス７００の物理インタフェース（例えば、ＵＳＢポート）を通じて他の方法でコンピューティング・デバイス７００にインストールすることができる。
カメラ・コンポーネント７２４が、開口、シャッタ、記録面（例えば、写真フィルムおよび／または画像センサ）、レンズ、および／またはシャッタを含んでもよいがこれらに限られない。カメラ・コンポーネント７２４が、プロセッサ７０６（例えば、アプリケーション・プログラム７２０）により実行されるソフトウェアにより少なくとも部分的に制御されてもよい。さらに、カメラ・コンポーネント７２４が複数のカメラシステムを含んでもよい。各カメラシステムはそれぞれの開口、シャッタ、記録面、レンズ、画像センサ、プロセッサ、および／または他の要素を含む。
複数のカメラシステムが含まれるとき、当該システムの間で共有された幾つかのコンポーネント、および共有されない他のコンポーネントがあってもよい。例えば、各カメラがその開口、レンズ、および画像センサを含んでもよく、プロセッサ、データバス、および／またはシャッタボタンのような他のコンポーネントを共有する。別の例として、各カメラがそのレンズを含むが、同一の画像センサを共有してもよい。あるいは、個々のカメラシステムのコンポーネントが、その個々のカメラシステムに対してのみ利用され、他のカメラシステムと共有されなくてもよい。
ＩＸ：実験結果
本明細書で説明する方法が、入力データ（例えば、ターゲット・アレイ）をフィルタし、アップサンプリングし、色付けし、またはそうでなければ処理して参照画像に基づいてエッジ保存方式で出力画像を生成するための他の方法の代替としてまたはそれの追加として実装されてもよい。本明細書で説明する方法は、多くの状況において、計算時間、メモリ要件、または他の考慮に関して他の方法に対して優位である。さらに、特定の代替的な方法がコンテキスト依存であってもよく（例えば、特定のタイプのシーンまたはコンテンツを表す画像を処理するように具体的に適合される）、本明細書で説明する方法は当該方法を適用できる参照画像および／またはターゲット・アレイの詳細に関して相対的に不可知である。したがって、本明細書で説明する方法は、画像処理の分野におけるコンピュータおよびコンピュータ関連技術に対する改善を表す。
ここでの方法が、消費者グレードの深度センサを用いて生成された雑音のある深度マップをアップサンプリングするために使用されてもよい。ここで説明する方法は一般に、深度センサ出力に基づいて生成された超解像度深度マップの他の最新の方法に対して、品質を向上する。本明細書で説明する方法はまた一般に、以下で図示されたように、かかる増大した解像度深度マップを生成するのに必要な計算時間を大幅に減少させる。
本明細書で説明する方法が、少量のユーザ入力または他の外部情報に基づいて参照画像を色付けするために使用されてもよい。本明細書で説明する方法は、Ｌｅｖｉｎらの方法を用いて生成された画像と同様な品質の色付けされた画像生成する。しかし、本明細書で説明する方法は、かかる色付けされ画像を生成するのに必要な計算時間を大幅に減らし、百万画素あたり０．８５４秒かかり、Ｌｅｖｅｎらは百万画素あたり８０．９９秒を要する。
本明細書で説明する方法が、カテゴリ・ラベルを割り当て（例えば、意味論的セグメント化タスクを実施する）またはそうでなければ参照画像の各画素に対する参照画像内のオブジェクトを記述する情報を生成するために使用されてもよい。かかる決定が、少数の位置または参照画像の画素で（例えば、参照画像より低い解像度で）参照画像内のオブジェクトを記述し、かつ／または、参照画像の全ての画素に対してしかし雑音のある、不確実な、またはそうでなければ低品質な方式で（例えば、画像境界にわたって平滑でありぼかされた方式で）参照画像内のオブジェクトを記述する入力データ（例えば、ターゲット・アレイ）に基づいてもよい。
本明細書で説明する方法は、これらの他の方法により生成されるものよりも平滑でありそれらとおおよそ正確である離散セグメント化画像を生成した。さらに、本明細書で説明する方法は、以下で図示するように、それが比較された他の方法よりも大幅に高速であった。当該入力データを生成するために使用される方法は、ＣｈｅｎらのディープＬａｂシステムのディープ畳み込みニューラル・ネットワーク、および、Ｚｈｅｎｇらの条件付きランダムフィールド再帰ニューラル・ネットワーク（ＣＲＦ−ＲＮＮ）システムの畳み込みニューラル・ネットワークコンポーネントを含んだ。本明細書で使用される方法は、かかるセグメント化アルゴリズムの出力をフィルタするタスクにおいて、かかる意味論的出力を後処理するための条件付きランダム分野（ＣＲＦ）方法と比較された。以下の「ＣＮＮ＋本明細書の方法」は、本明細書で説明する方法をＺｈｅｎｇらのＣＲＦ−ＲＮＮシステムの畳み込みニューラル・ネットワークコンポーネントの出力に適用することに関する。
Ｘ．結論
以上の詳細な説明は、添付図面を参照して、開示されたシステム、デバイス、および方法の様々な特徴および機能を説明する。図面では、同様なシンボルは一般に、特に断らない限り、同様なコンポーネントを識別する。詳細な説明、図面、および特許請求の範囲で説明した例示的な実施形態は限定を意味しない。他の実施形態を、本明細書で提供した主題の範囲から逸脱することなく、利用し、他の変更を加えることができる。本明細書で一般的に説明し図面で図示した本開示の諸態様を多種多様な異なる構成で配置、置換、結合、分離、および設計でき、その全てが明示的に本明細書で考慮されていることは容易に理解される。
図面におけるメッセージ流れ図、シナリオ、および流れ図の何れかまたは全部に関しておよび本明細書で説明するように、各ステップ、ブロックおよび／または通信が、例示的な実施形態に従う情報の処理および／または情報の送信を提供してもよい。代替的な実施形態はこれらの例示的な実施形態の範囲内に含まれる。これらの代替的な実施形態では、例えば、ステップ、ブロック、送信、通信、要求、応答、および／またはメッセージとして説明された機能を、含まれる機能に応じて実質的に並列または逆順を含めて、図示または議論したものと異なる順序で実行してもよい。より多くのまたはより少ないステップ、ブロックおよび／または関数を、本明細書で説明したメッセージ流れ図、シナリオの何れかで使用してもよく、本明細書で説明した流れ図、およびこれらのメッセージ流れ図、シナリオ、および流れ図を互いに、部分的にまたは全体として結合してもよい。
情報の処理を表すステップまたはブロックが、本明細書で説明した方法または技術の特定の論理機能を実施するように構成されうる回路に対応してもよい。あるいはまたはさらに、情報の処理を表すステップまたはブロックが、モジュール、セグメント、またはプログラムコードの一部（関連データを含む）に対応してもよい。当該プログラムコードが、特定の論理機能またはアクションを当該方法または技術で実装するためにプロセッサにより実行可能な１つまたは複数の命令を含んでもよい。当該プログラムコードおよび／または関連データを、ディスクドライブ、ハードドライブ、または他の記憶媒体を含む記憶デバイスのような任意のタイプのコンピュータ可読媒体に格納してもよい。
当該コンピュータ可読媒体がまた、レジスタメモリ、プロセッサキャッシュ、および／またはランダム・アクセスメモリ（ＲＡＭ）のような、データを短期間格納するコンピュータ可読媒体といった非一時的コンピュータ可読媒体を含んでもよい。当該コンピュータ可読媒体がまた、例えば読取専用メモリ（ＲＯＭ）、光または磁気ディスク、および／またはコンパクト・ディスク読取専用メモリ（ＣＤ−ＲＯＭ）のような二次または永続長期記憶といったプログラムコードおよび／またはデータを長期間格納する非一時的コンピュータ可読媒体を含んでもよい。当該コンピュータ可読媒体がまた、任意の他の揮発性または不揮発性記憶システムであってもよい。コンピュータ可読媒体をコンピュータ可読記憶媒体、例えば、または有形の記憶デバイスと考えてもよい。
さらに、１つまたは複数の情報送信を表すステップまたはブロックが、同一の物理デバイス内のソフトウェアおよび／またはハードウェアモジュール間の情報送信に対応してもよい。しかし、他の情報送信が、異なる物理デバイス内のソフトウェアモジュールおよび／またはハードウェアモジュールの間にあってもよい。
様々な態様および実施形態を本明細書で説明したが、他の態様および実施形態は当業者には明らかであろう。本明細書で開示した様々な態様および実施形態は例示の目的のためであって限定を意図するものではなく、その真の範囲は添付の特許請求の範囲により示される。
７０２通信インタフェース
７０４ユーザ・インタフェース
７０６プロセッサ
７０８データ記憶
７１２データ
７１４アプリケーション・データ
７１６オペレーティング・システム・データ
７１８プログラム命令
７２０アプリケーション・プログラム
７２２オペレーティング・システム
７２４カメラ・コンポーネント

Claims (20)

  1. コンピューティング・システムにより、（１）カメラ・デバイスによりキャプチャされた参照画像および（２）ターゲット・アレイを取得するステップであって、前記参照画像は、前記参照画像内のそれぞれの画素位置およびそれぞれの色変数を有する複数の画素を含み、前記ターゲット・アレイはターゲット値を含み、前記ターゲット値はそれぞれ前記参照画像の前記画素に対応する、ステップと、
    前記コンピューティング・システムにより、前記参照画像の前記画素を頂点空間内のそれぞれの頂点に関連付けるステップであって、前記頂点空間は２つの空間次元および色空間次元を含み、前記参照画像の前記画素および前記それぞれの頂点の間の前記関連付けは関連付け行列により定義され、前記関連付け行列は半分未満が非零である複数の値を含む、ステップと、
    前記コンピューティング・システムにより、前記ターゲット値を、前記ターゲット値に対応する前記参照画像の前記画素が関連付けられる前記それぞれの頂点と関連付けるステップと、
    前記コンピューティング・システムにより、（１）前記参照画像の前記画素および前記それぞれの頂点の間の前記関連付け、および（２）前記参照画像の画素のペア間の類似度に基づいて頂点コスト行列を決定するステップであって、前記参照画像の画素の特定ペア間の前記類似度は、前記参照画像内の画素の前記特定のペアの前記画素位置の間の距離および前記参照画像の画素の前記特定のペアの前記色変数の間の前記色空間次元内の距離に関連する、ステップと、
    前記コンピューティング・システムにより、前記頂点コスト行列および頂点コスト・ベクトルにより定義された線形系を解くことによって、前記頂点に対するそれぞれの頂点適合値を決定するステップと、
    前記コンピューティング・システムにより、フィルタされた出力画像を生成するステップと、前記フィルタされた出力画像は、それぞれ前記参照画像の前記画素に対応する画素を含み、前記フィルタされた出力画像を生成するステップは、前記参照画像の前記画素に関連付けられた頂点の前記決定された頂点適合値を前記フィルタされた出力画像のそれぞれの画素を決定するための基礎として使用するステップを含む、ステップと、
    を含む、方法。
  2. 前記頂点コスト行列を決定するステップは、
    画素親和性行列を決定するステップであって、前記画素親和性行列は複数の値を含み、前記画素親和性行列の前記値は前記参照画像の画素のペアの間の前記類似度にそれぞれ対応する、ステップと、
    頂点親和性行列を決定するステップであって、前記頂点親和性行列を決定するステップは、前記関連付け行列を用いて前記画素親和性行列を因数分解するステップを含む、ステップと、
    前記頂点親和性行列に基づいて前記頂点コスト行列を決定するステップと、
    を含む、請求項１に記載の方法。
  3. 前記頂点コスト行列を決定するステップはさらに、
    前記関連付け行列の行和に基づいて第１の対角行列を決定するステップと、
    前記関連付け行列、第１の対角行列、および第２の対角行列の前記頂点親和性行列への適用が二重確率である正規化された画素親和性行列をもたらすように第２の対角行列を決定するステップと、
    前記頂点親和性行列、前記第１の対角行列、および前記第２の対角行列に基づいて前記頂点コスト行列を生成するステップと、
    を含む、請求項２に記載の方法。
  4. 前記第２の対角行列を決定するステップは、
    前記関連付け行列の行和に基づいて第１の正規化ベクトルを決定するステップと、
    第２の正規化ベクトルを複数回更新するステップであって、前記第２の正規化ベクトルを更新するステップは、（ａ）前記第１の正規化ベクトルおよび前記第２の正規化ベクトルの要素ごとの積と、（ｂ）前記頂点親和性行列および前記第２の正規化ベクトルの積との比率に基づくベクトルの各要素の平方根を取るステップを含む、ステップと、
    前記第２の正規化ベクトルに基づいて前記第２の対角行列を決定するステップと、
    を含む、請求項３に記載の方法。
  5. （１）前記ターゲット値および前記それぞれの頂点の間の前記関連付けおよび（２）ターゲット値のセットに基づいて前記頂点コスト・ベクトルを決定するステップをさらに含む、請求項１に記載の方法。
  6. 前記ターゲット・アレイは前記参照画像内の画素の数と同じ数のターゲット値を含み、
    信頼度アレイを取得するステップであって、前記信頼度アレイは、それぞれ前記ターゲット・アレイの前記ターゲット値に対応する信頼度値を含む、ステップと、
    前記ターゲット・アレイおよび前記信頼度アレイの要素ごとの積に基づいて前記頂点コスト・ベクトルを生成するステップと、
    をさらに含む、請求項１に記載の方法。
  7. 第２の信頼度アレイを決定するステップであって、前記第２の信頼度アレイは、それぞれ前記ターゲット・アレイの前記ターゲット値に対応する信頼度値を含み、前記第２の信頼度アレイの信頼度値を決定するステップは、それぞれの費用関数を前記フィルタされた出力画像の画素および前記ターゲット・アレイのターゲット値のそれぞれの差分に適用するステップを含む、ステップと、
    （１）前記参照画像の前記画素および前記それぞれの頂点の間の前記関連付け、（２）前記参照画像の画素のペア間の類似度、および（３）前記第２の信頼度アレイに基づいて第２の頂点コスト行列を決定するステップと、
    （１）前記ターゲット値および前記それぞれの頂点の間の前記関連付けおよび（２）前記ターゲット・アレイおよび前記第２の信頼度アレイの要素ごとの積に基づいて、第２の頂点コスト・ベクトルを決定するステップと、
    前記第２の頂点コスト行列および前記第２の頂点コスト・ベクトルにより定義される線形系を解くことで、前記頂点に対するそれぞれの第２の頂点適合値を決定するステップと、
    第２のフィルタされた出力画像を生成するステップであって、前記第２のフィルタされた出力画像は、それぞれ前記参照画像の前記画素に対応する画素を含み、前記第２のフィルタされた出力画像を生成するステップは、前記参照画像の前記画素に関連付けられた頂点の前記決定された第２の頂点適合値を、前記第２のフィルタされた出力画像のそれぞれの画素を決定するための基礎として使用するステップを含む、ステップと、
    をさらに含む、請求項６に記載の方法。
  8. 前記ターゲット・アレイは前記参照画像内の画素の数より少ないターゲット値を含み、前記ターゲット・アレイの前記ターゲット値は前記参照画像の領域の色を表し、フィルタされた出力画像を生成するステップは前記参照画像の色付けされたバージョンを生成するステップを含む、請求項１に記載の方法。
  9. 前記ターゲット・アレイは前記参照画像内の画素の数より少ないターゲット値を含み、前記ターゲット・アレイの前記ターゲット値は前記参照画像のそれぞれの画素により表されるオブジェクトを記述し、フィルタされた出力画像を生成するステップは、前記参照画像で表されたオブジェクトの範囲および位置を記述する画像を生成するステップを含む、請求項１に記載の方法。
  10. 前記ターゲット・アレイは前記参照画像内の画素の数より少ないターゲット値を含み、前記ターゲット・アレイの前記ターゲット値は前記参照画像より低い解像度のターゲット画像を表し、フィルタされた出力画像を生成するステップは前記ターゲット画像のアップサンプリングされたバージョンを生成するステップを含む、請求項１に記載の方法。
  11. 前記ターゲット・アレイの前記ターゲット値は前記参照画像をキャプチャした前記カメラと前記参照画像のそれぞれの画素により表されるオブジェクトとの間の距離を表し、フィルタされた出力画像を生成するステップは、前記参照画像をキャプチャした前記カメラと前記参照画像のそれぞれの画素により表されるオブジェクトとの間の距離を生成するステップを含む、請求項１に記載の方法。
  12. 前記参照画像の前記画素を頂点空間内のそれぞれの頂点に関連付けるステップは、前記頂点のうちどれが、前記頂点空間において、他の頂点の何れよりも前記参照画像の特定の画素により近いかを判定するステップを含む、請求項１に記載の方法。
  13. 前記フィルタされた出力画像および目的画像の差分を決定するステップであって、前記目的画像は前記フィルタされた出力画像の画素にそれぞれ対応する画素を含む、ステップと、
    更新されたターゲット・アレイを生成するステップであって、前記更新されたターゲット・アレイは更新されたターゲット値を含み、前記更新されたターゲット値はそれぞれ前記ターゲット・アレイの前記ターゲット値に対応し、前記更新されたターゲット・アレイを生成するステップは、前記関連付け行列、前記頂点コスト行列、および前記フィルタされた出力画像と前記目的画像の差分に基づいて、後方伝播を用いて前記更新されたターゲット・アレイを決定するステップを含む、ステップと、
    をさらに含む、請求項１に記載の方法。
  14. （１）カメラ・デバイスによりキャプチャされた参照画像および（２）ターゲット・アレイを取得するステップであって、前記参照画像は、前記参照画像内のそれぞれの画素位置およびそれぞれの色変数を有する複数の画素を含み、前記ターゲット・アレイはターゲット値を含み、前記ターゲット値はそれぞれ前記参照画像の前記画素に対応する、ステップと、
    前記参照画像の前記画素を頂点空間内のそれぞれの頂点に関連付けるステップであって、前記頂点空間は２つの空間次元および色空間次元を含み、前記参照画像の前記画素および前記それぞれの頂点の間の前記関連付けは関連付け行列により定義され、前記関連付け行列は半分未満が非零である複数の値を含む、ステップと、
    前記ターゲット値に、前記ターゲット値に対応する前記参照画像の前記画素が関連付けられる前記それぞれの頂点を関連付けるステップと、
    （１）前記参照画像の前記画素および前記それぞれの頂点の間の前記関連付け、および（２）前記参照画像の画素のペア間の類似度に基づいて頂点コスト行列を決定するステップであって、前記参照画像の画素の特定ペア間の前記類似度は、前記参照画像内の画素の前記特定のペアの前記画素位置の間の距離および前記参照画像の画素の前記特定のペアの前記色変数の間の前記色空間次元内の距離に関連する、ステップと、
    前記頂点コスト行列および頂点コスト・ベクトルにより定義された線形系を解くことによって、前記頂点に対するそれぞれの頂点適合値を決定するステップと、
    フィルタされた出力画像を生成するステップであって、前記フィルタされた出力画像は、それぞれ前記参照画像の前記画素に対応する画素を含み、前記フィルタされた出力画像を生成するステップは、前記参照画像の前記画素に関連付けられた頂点の前記決定された頂点適合値を前記フィルタされた出力画像のそれぞれの画素を決定するための基礎として使用するステップを含む、ステップと、
    を含む動作をコンピューティング・システムに実施させる、前記コンピューティング・システムにより実行可能な命令を格納した非一時的コンピュータ可読媒体。
  15. 前記頂点コスト行列を決定するステップは、
    画素親和性行列を決定するステップであって、前記画素親和性行列は複数の値を含み、前記画素親和性行列の前記値は前記参照画像の画素のペアの間の前記類似度にそれぞれ対応する、ステップと、
    頂点親和性行列を決定するステップであって、前記頂点親和性行列を決定するステップは前記関連付け行列を用いて前記画素親和性行列を因数分解するステップを含む、ステップと、
    前記頂点親和性行列に基づいて前記頂点コスト行列を決定するステップと、
    を含む、請求項１４に記載の非一時的コンピュータ可読媒体。
  16. 前記頂点コスト行列を決定するステップはさらに、
    前記関連付け行列の行和に基づいて第１の対角行列を決定するステップと、
    前記関連付け行列、第１の対角行列、および第２の対角行列の前記頂点親和性行列への適用が正規化された画素親和性行列をもたらすように第２の対角行列を決定するステップであって、前記正規化された画素親和性行列は二重確率行列である、ステップと、
    前記頂点親和性行列、前記第１の対角行列、および前記第２の対角行列に基づいて前記頂点コスト行列を生成するステップと、
    を含む、請求項１５に記載の非一時的コンピュータ可読媒体。
  17. 前記第２の対角行列を決定するステップは、
    前記関連付け行列の行和に基づいて第１の正規化ベクトルを決定するステップと、
    第２の正規化ベクトルを複数回更新するステップであって、前記第２の正規化ベクトルを更新するステップは、（ａ）前記第１の正規化ベクトルおよび前記第２の正規化ベクトルの要素ごとの積、および（ｂ）前記頂点親和性行列および前記第２の正規化ベクトルの積の比率に基づくベクトルの各要素の平方根を取るステップと、
    前記第２の正規化ベクトルに基づいて前記第２の対角行列を決定するステップと、
    を含む、請求項１６に記載の非一時的コンピュータ可読媒体。
  18. 前記動作はさらに、
    （１）前記ターゲット値および前記それぞれの頂点の間の前記関連付けおよび（２）ターゲット値のセットに基づいて前記頂点コスト・ベクトルを決定するステップを含む、請求項１４に記載の非一時的コンピュータ可読媒体。
  19. 前記ターゲット・アレイは前記参照画像内の画素の数と同じ数のターゲット値を含み、前記動作はさらに、
    信頼度アレイを取得するステップであって、前記信頼度アレイは信頼度値を含み、前記信頼度値はそれぞれ前記ターゲット・アレイの前記ターゲット値に対応する、ステップと、
    前記ターゲット・アレイおよび前記信頼度アレイの要素ごとの積に基づいて前記頂点コスト・ベクトルを生成するステップと、
    を含む、請求項１４に記載の非一時的コンピュータ可読媒体。
  20. 前記ターゲット・アレイは前記参照画像内の画素の数より少ないターゲット値を含み、前記ターゲット・アレイの前記ターゲット値は前記参照画像より低い解像度のターゲット画像を表し、フィルタされた出力画像を生成するステップは前記ターゲット画像のアップサンプリングされたバージョンを生成するステップを含む、請求項１４に記載の非一時的コンピュータ可読媒体。
JP2018507680A 2015-11-05 2016-11-04 エッジ認識双方向画像処理 Active JP6431245B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562251608P 2015-11-05 2015-11-05
US62/251,608 2015-11-05
PCT/US2016/060733 WO2017079702A1 (en) 2015-11-05 2016-11-04 Edge-aware bilateral image processing

Publications (2)

Publication Number Publication Date
JP6431245B1 JP6431245B1 (ja) 2018-11-28
JP2018537742A true JP2018537742A (ja) 2018-12-20

Family

ID=58663129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018507680A Active JP6431245B1 (ja) 2015-11-05 2016-11-04 エッジ認識双方向画像処理

Country Status (8)

Country Link
US (1) US9892496B2 (ja)
EP (1) EP3295426B1 (ja)
JP (1) JP6431245B1 (ja)
KR (1) KR101936919B1 (ja)
CN (1) CN108140130B (ja)
AU (1) AU2016349518B2 (ja)
CA (1) CA2995857C (ja)
WO (1) WO2017079702A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
US9789880B2 (en) 2016-03-03 2017-10-17 Uber Technologies, Inc. Sensory stimulation system for an autonomous vehicle
US10093252B2 (en) 2016-04-01 2018-10-09 Uber Technologies, Inc. Transport facilitation system for configuring a service vehicle for a user
US10012990B2 (en) 2016-04-01 2018-07-03 Uber Technologies, Inc. Optimizing timing for configuring an autonomous vehicle
US9989645B2 (en) 2016-04-01 2018-06-05 Uber Technologies, Inc. Utilizing accelerometer data to configure an autonomous vehicle for a user
US10255816B2 (en) 2016-04-27 2019-04-09 Uber Technologies, Inc. Transport vehicle configuration for impaired riders
US9922466B2 (en) * 2016-08-05 2018-03-20 Uber Technologies, Inc. Virtual reality experience for a vehicle
US10043316B2 (en) 2016-08-05 2018-08-07 Uber Technologies, Inc. Virtual reality experience for a vehicle
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
JP6904684B2 (ja) * 2016-11-04 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2018112707A1 (zh) * 2016-12-19 2018-06-28 深圳前海达闼云端智能科技有限公司 障碍物检测方法及装置
US10621446B2 (en) * 2016-12-22 2020-04-14 Texas Instruments Incorporated Handling perspective magnification in optical flow processing
US10803323B2 (en) 2017-05-16 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
KR102472767B1 (ko) 2017-09-14 2022-12-01 삼성전자주식회사 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
JP7071088B2 (ja) * 2017-10-24 2022-05-18 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法、及びプログラム
EP3685346A4 (en) * 2017-11-09 2020-09-02 SZ DJI Technology Co., Ltd. SYSTEM AND PROCEDURE FOR ADJUSTING THE DYNAMIC IMAGE AREA
US10748036B2 (en) * 2017-11-21 2020-08-18 Nvidia Corporation Training a neural network to predict superpixels using segmentation-aware affinity loss
US10909377B2 (en) * 2018-04-18 2021-02-02 Baidu Usa Llc Tracking objects with multiple cues
CN109191558B (zh) * 2018-07-27 2020-12-08 深圳市商汤科技有限公司 图像打光方法和装置
CN109191392B (zh) * 2018-08-09 2021-06-04 复旦大学 一种语义分割驱动的图像超分辨率重构方法
US10719737B2 (en) 2018-08-23 2020-07-21 Denso International America, Inc. Image classification system for resizing images to maintain aspect ratio information
US11657322B2 (en) * 2018-08-30 2023-05-23 Nec Corporation Method and system for scalable multi-task learning with convex clustering
US10831702B2 (en) 2018-09-20 2020-11-10 Ceva D.S.P. Ltd. Efficient utilization of systolic arrays in computational processing
EP3627379A1 (en) * 2018-09-24 2020-03-25 Siemens Aktiengesellschaft Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium
CN111091592B (zh) 2018-10-24 2023-08-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质
US20200151576A1 (en) * 2018-11-08 2020-05-14 Uber Technologies, Inc. Training adaptable neural networks based on evolvability search
CN110799983A (zh) * 2018-11-22 2020-02-14 深圳市大疆创新科技有限公司 一种地图生成方法、设备、飞行器及存储介质
TWI697846B (zh) * 2018-11-26 2020-07-01 財團法人工業技術研究院 物體辨識方法及其裝置
US11845191B1 (en) * 2019-06-26 2023-12-19 Amazon Technologies, Inc. Robotic picking of cuboidal items from a pallet
CN110636294B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
KR102316165B1 (ko) * 2019-11-11 2021-10-22 공주대학교 산학협력단 딥러닝 기반 얼굴 인식 시스템의 공격용 이미지 생성 장치 및 방법
KR102167808B1 (ko) * 2020-03-31 2020-10-20 한밭대학교 산학협력단 Ar에 적용 가능한 의미적인 분할 방법 및 시스템
CN111738370B (zh) * 2020-08-25 2020-11-17 湖南大学 本质流形结构的图像特征融合与聚类协同表达方法及系统
CN112164017B (zh) * 2020-09-27 2023-11-17 中国兵器工业集团第二一四研究所苏州研发中心 一种基于深度学习的偏振彩色化方法
CN112668579A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于自适应亲和力和类别分配的弱监督语义分割方法
CN114305349B (zh) * 2022-03-14 2022-05-27 天津大学四川创新研究院 利用猪只感温变色耳标的温度检测方法及系统
CN113658200B (zh) * 2021-07-29 2024-01-02 东北大学 基于自适应特征融合的边缘感知图像语义分割方法
US20240037753A1 (en) * 2022-07-26 2024-02-01 Behr Process Corporation Image processing to detect edges, walls, and surfaces for a virtual painting application
US20240119655A1 (en) * 2022-10-05 2024-04-11 Sony Interactive Entertainment LLC Auto-generated shader masks and parameters

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077241A (ja) * 2007-09-21 2009-04-09 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2009268117A (ja) * 2008-04-29 2009-11-12 Sony Corp 不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域
JP2011175529A (ja) * 2010-02-25 2011-09-08 Nikon Corp 画像処理装置、撮像装置、及びプログラム
US20140211048A1 (en) * 2013-01-30 2014-07-31 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors with spatially arranged exposures
US20150104112A1 (en) * 2013-10-15 2015-04-16 Samsung Electronics Co., Ltd. Large Radius Edge-Preserving Low-Pass Filtering

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729691A (en) 1995-09-29 1998-03-17 Intel Corporation Two-stage transform for video signals
US6043909A (en) 1996-02-26 2000-03-28 Imagicolor Corporation System for distributing and controlling color reproduction at multiple sites
US6075905A (en) 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6046763A (en) 1997-04-11 2000-04-04 Nec Research Institute, Inc. Maximum flow method for stereo correspondence
US5987164A (en) 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6157747A (en) 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6009190A (en) 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US5986668A (en) 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
US6097854A (en) 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6018349A (en) 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
US6411953B1 (en) 1999-01-25 2002-06-25 Lucent Technologies Inc. Retrieval and matching of color patterns based on a predetermined vocabulary and grammar
US7200264B2 (en) 2002-04-10 2007-04-03 Hewlett-Packard Development Company, L.P. White point estimation using color by convolution
US7113649B2 (en) 2002-06-24 2006-09-26 Eastman Kodak Company Enhancing the tonal characteristics of digital images
US6987511B2 (en) * 2002-10-17 2006-01-17 International Business Machines Corporation Linear anisotrophic mesh filtering
US7365879B2 (en) * 2004-05-13 2008-04-29 Eastman Kodak Company Determining sets of n-dimensional colorant control signals
US7127104B2 (en) * 2004-07-07 2006-10-24 The Regents Of The University Of California Vectorized image segmentation via trixel agglomeration
US7248968B2 (en) 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
WO2007017834A2 (en) 2005-08-09 2007-02-15 Koninklijke Philips Electronics N.V. Disparity value generator
CN101356831B (zh) 2005-11-30 2010-09-01 意大利电信股份公司 用于确定立体视觉中的分散视差场的方法
US7587099B2 (en) 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
US8155454B2 (en) 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
US8253752B2 (en) 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US8179402B2 (en) 2007-10-31 2012-05-15 Canon Kabushiki Kaisha Generating colorimetric profiles from spectral data and user input
US8594465B2 (en) * 2007-11-14 2013-11-26 Microsoft Corporation Adaptive filtering for image transform processes
US8731320B2 (en) * 2009-01-20 2014-05-20 Andre Leitao Image processing using a bilateral grid
US8149459B2 (en) 2009-02-24 2012-04-03 Xerox Corporation Mapping an out-of-gamut color to a surface of a color gamut
JP5319415B2 (ja) 2009-06-22 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法
US8588551B2 (en) 2010-03-01 2013-11-19 Microsoft Corp. Multi-image sharpening and denoising using lucky imaging
JP5087665B2 (ja) * 2010-08-30 2012-12-05 株式会社東芝 画像処理装置、方法、及びプログラム
US9041817B2 (en) 2010-12-23 2015-05-26 Samsung Electronics Co., Ltd. Method and apparatus for raster output of rotated interpolated pixels optimized for digital image stabilization
US8233586B1 (en) * 2011-02-17 2012-07-31 Franz Edward Boas Iterative reduction of artifacts in computed tomography images using forward projection and an edge-preserving blur filter
US9007484B2 (en) 2011-10-12 2015-04-14 Apple Inc. Alleviating dominant color failure in automatic white balance using histogram trimming
US20140307066A1 (en) 2011-11-23 2014-10-16 Thomson Licensing Method and system for three dimensional visualization of disparity maps
US8824787B2 (en) * 2011-12-07 2014-09-02 Dunlop Sports Co., Ltd. Silhouette correction method and system and silhouette extraction method and system
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
FR3001318A1 (fr) * 2013-01-24 2014-07-25 Thomson Licensing Procede d’interpolation et dispositif correspondant
US9571819B1 (en) * 2014-09-16 2017-02-14 Google Inc. Efficient dense stereo computation
US9336582B1 (en) 2015-04-17 2016-05-10 Google Inc. Convolutional color correction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077241A (ja) * 2007-09-21 2009-04-09 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2009268117A (ja) * 2008-04-29 2009-11-12 Sony Corp 不規則で空間的にサブサンプルされる画像に対するフィルタによる影響を受ける適応領域
JP2011175529A (ja) * 2010-02-25 2011-09-08 Nikon Corp 画像処理装置、撮像装置、及びプログラム
US20140211048A1 (en) * 2013-01-30 2014-07-31 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors with spatially arranged exposures
US20150104112A1 (en) * 2013-10-15 2015-04-16 Samsung Electronics Co., Ltd. Large Radius Edge-Preserving Low-Pass Filtering

Also Published As

Publication number Publication date
KR101936919B1 (ko) 2019-04-09
EP3295426B1 (en) 2019-07-17
WO2017079702A1 (en) 2017-05-11
US9892496B2 (en) 2018-02-13
CN108140130A (zh) 2018-06-08
EP3295426A4 (en) 2018-08-15
JP6431245B1 (ja) 2018-11-28
CN108140130B (zh) 2019-10-18
CA2995857C (en) 2019-02-12
AU2016349518A1 (en) 2018-01-04
US20170132769A1 (en) 2017-05-11
KR20180023011A (ko) 2018-03-06
AU2016349518B2 (en) 2018-06-07
CA2995857A1 (en) 2017-05-11
EP3295426A1 (en) 2018-03-21

Similar Documents

Publication Publication Date Title
JP6431245B1 (ja) エッジ認識双方向画像処理
US9736451B1 (en) Efficient dense stereo computation
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
US20200175700A1 (en) Joint Training Technique for Depth Map Generation
US9418319B2 (en) Object detection using cascaded convolutional neural networks
US11113832B2 (en) Aperture supervision for single-view depth prediction
US20210383199A1 (en) Object-Centric Learning with Slot Attention
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
US10810707B2 (en) Depth-of-field blur effects generating techniques
Liu et al. Image de-hazing from the perspective of noise filtering
CN108876706A (zh) 根据全景图像的缩略图生成
WO2023065665A1 (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
US11869172B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
US9342873B1 (en) Tile-based optical flow
US20220343525A1 (en) Joint depth prediction from dual-cameras and dual-pixels
EP4055556B1 (en) Defocus blur removal and depth estimation using dual-pixel image data
Luo et al. Bokeh rendering from defocus estimation
WO2021167586A1 (en) Systems and methods for object detection including pose and size estimation
JP7463186B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112785651B (zh) 用于确定相对位姿参数的方法和装置
US9852542B1 (en) Methods and apparatus related to georeferenced pose of 3D models
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN115619924A (zh) 用于光估计的方法与装置
Tang Modeling and Analysis of Optical Blur for Everyday Photography
Kaarlela Edge adaptive filtering of depth maps for mobile devices

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181101

R150 Certificate of patent or registration of utility model

Ref document number: 6431245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250