JP2016500975A - 結合された深度キューに基づく平面視画像からの深度マップの生成 - Google Patents

結合された深度キューに基づく平面視画像からの深度マップの生成 Download PDF

Info

Publication number
JP2016500975A
JP2016500975A JP2015538620A JP2015538620A JP2016500975A JP 2016500975 A JP2016500975 A JP 2016500975A JP 2015538620 A JP2015538620 A JP 2015538620A JP 2015538620 A JP2015538620 A JP 2015538620A JP 2016500975 A JP2016500975 A JP 2016500975A
Authority
JP
Japan
Prior art keywords
depth map
determining
image
weight
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015538620A
Other languages
English (en)
Other versions
JP6438403B2 (ja
Inventor
チェン・ウー
デバルガ・ムカルジー
メン・ウァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2016500975A publication Critical patent/JP2016500975A/ja
Application granted granted Critical
Publication of JP6438403B2 publication Critical patent/JP6438403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

結合された深度マップは、各々が画像平面に関連する画像内のピクセルの深度を記述する、画像のための色の深度マップ、空間の深度マップ、および動きの深度マップの重み付けをされた結合に基づいて、平面視画像に対して生成される。色の深度マップは、ピクセルの色に基づいてピクセルの深度を決定し、空間の深度マップは、画像内のピクセルの位置に基づいてピクセルの深度を決定し、動きの深度マップは、画像内のピクセルの動きに基づいてピクセルの深度を決定する。深度マップのそれぞれは、重み付けをされた結合を生成するために使用される重みに関連付けられる。重みは、異なる平面視画像間の変化を説明するために適応される。

Description

本開示は、ビデオ処理に関し、特に、平面視（monoscopic）画像の立体視（stereoscopic）３D画像への変換に関する。
ステレオビデオまたは「３D」ビデオは、立体視をシミュレートすることによって奥行き感覚の錯覚を高め、それによって、視差のシミュレーションを介して奥行きの錯覚を生み出す。ステレオビデオの普及を遅らせる１つの側面は、しかしながら、ステレオフォーマットにおけるビデオの利用可能性（availability）である。伝統的に、ステレオビデオを生成するための主要な方法は、深度情報を取得するために、異なる視点から角度を設定された２つの異なるカメラを使用して、ステレオで撮影することだった。ステレオで撮影することに伴う困難および費用によって、ステレオビデオは、比較的少数しかこれまでに生成されてこなかった。
さらに、平面視画像からステレオビデオを作成することは現在可能であるが、既存の技術の中には、画像内のオブジェクトを特定するためにオブジェクトの分割に依存し、次いで、画像の平面に関連するオブジェクトの深度を決定するために近似するものもある。オブジェクトの分割は、オブジェクトの境界を誤って決定する可能性があり、そのことは、視聴者が、画像内の何のオブジェクトが突出させられているのか、および何のオブジェクトが後退させられているのかを識別することを困難にする、誤った深度の割り当てを引き起こす。結果として、既存の技術は一般に、一貫性があり且つ正確な方式で、画像におけるオブジェクトの深度を描写する平面視画像から立体視画像を作成することができない。
画像のための色の深度マップ、空間の深度マップおよび動きの深度マップの重み付けをされた結合に基づいて、結合された深度マップが平面視画像のために生成され、各マップは、画像の平面に関連する画像における各ピクセルの深度を記述する。一態様では、個々の深度マップはそれぞれ、結合された深度マップを計算するために使用される重みに関連付けられている。重みは、異なる平面視画像間の変化を説明するために適応されてもよい。いくつかのケースでは、深度マップは、重みのセットに関連付けられてもよく、前記重みのセットは、個々のピクセルの各々またはピクセルのグループに対する重みを有し、各重みは画像の部分に対応する。
色の深度マップは、ピクセルの色に基づいて、画像における各ピクセルの深度を記述する。同様の色を有するピクセルは、同様の深度を有する傾向にあるという判断に基づいて、色の深度マップが生成され、前記色の深度マップは、ピクセルの色をその深度の決定に関連付ける色の深度関数を提供する。一態様では、色の深度マップのための重みは、画像における色の分布に基づいて決定される。色の深度マップの重みは、色のコントラストに基づいてスケーリングされ、色に基づいて深度を定量化することに対する信頼性を表す。
代表的な平面視画像の大量の集合に対して、各位置におけるピクセルの深度を平均することによって、空間の深度マップが生成される。空間の深度マップを生成することにおいて、各ピクセルの位置におけるピクセルの深度の分散を示す分散マップもまた、生成されることができる。空間の深度マップの重みは、分散マップによって示される分散に基づいて決定される。分析されるべき各ピクセルの位置に対して、分散マップがアクセスされ、空間の深度マップの重みは各位置における分散とは逆にスケーリングされる。
動きの深度マップは、より速い動きを有するピクセルは画像の前景により近いという判断を使用して、ピクセルの局所的な動きに基づいて、ピクセルの深度を決定する。局所的な動きは、２つのフレーム間のピクセルの動きの合計から、カメラの動きを差し引くことによって計算される。動きの深度関数は、計算された局所的な動きをピクセルの深度のマップに関連付ける。動きの深度マップのための重みは、画像における動きの量に基づいて決定される。局所的な動きを有する画像におけるピクセルの割合が決定されるとともに、動きの深度マップの重みは、移動するピクセルの割合の関数として、増加したり減少したりする。
本要約および以下の詳細な説明において説明される特徴および利点は、包括的でない。多くの追加の特徴および利点は、本発明の図面、明細書および特許請求の範囲を考慮すると、当業者にとっては明らかである。
図１は、一実施形態に係る、画像の結合された深度マップを生成するステップの概要を示す。 図２は、一実施形態に係る深度マップ生成モジュールのブロック図である。 図３は、一実施形態に係る、動きの深度マップの重みを生成するためのプロセスを示すフローチャートである。 図４は、一実施形態に係る、画像の結合された深度マップを生成するためのプロセスを示すフローチャートである。
図は、例示のみを目的として、本発明の様々な実施形態を描写する。当業者は、本明細書に示される構成および方法の代替の実施形態が、本明細書で説明される発明の原理から逸脱することなく採用されることができることを、以下の説明から容易に認識することができる。
図１は、画像の結合された深度マップを生成するためのプロセスの概要を示す。ビデオフレーム１０２は平面視画像であって、一実施形態では、平面視画像は、平面視カメラによって撮影されたビデオのフレームである。ビデオフレーム１０２は、複数のピクセルを有し、１つまたは２つ以上のオブジェクトを描写してもよい。ビデオフレーム１０２は、平面視カメラによって取得されたため、ビデオフレーム１０２のピクセルは、同一平面上にあり、前記同一平面は、本明細書においては画像平面と呼ばれる。ピクセルは、ビデオフレーム１０２によって描写されるオブジェクトの元の深度の関係を明確に記述していない。
しかしながら、ビデオフレーム１０２のピクセルの元の深度の関係の表現は、ビデオフレーム１０２のための様々な深度マップを生成することによって作成されることができる。色の深度マップ１０４は、ピクセルの深度の指標としてピクセルの色を使用して、ビデオフレーム１０２におけるピクセルの深度を決定する。空間の深度マップ１０６は、画像におけるある平面内のオブジェクトは、特定の深度を有するであろうという仮定に基づいて、画像におけるピクセルの位置を使用して深度を決定する。動きの深度マップ１０８は、ピクセルの深度を決定するために、フレームＩ−１およびフレームＩの間のような、２つのフレーム間の動きを使用する。色の深度マップ１０４、空間の深度マップ１０６および動きの深度マップ１０８の各々は、それによってピクセルがビデオフレーム１０２の平面に対して垂直に突出させられるか、または後退させられるように表現される、量を記述するピクセル毎の深度値を提供する。一実施形態では、より大きな深度値は、ピクセルがフレームの背面付近にあることを示し、一方で、小さいまたは負の深度は、ピクセルが平面の前面付近にあることを示す。
ピクセルの深度を決定するために画像の多数の特徴を採用する改善された深度マップは、いくつかの深度マップを結合することによって生成されることができる。結合された深度マップ１１０は、色の深度マップ１０４、空間の深度マップ１０６および動きの深度マップ１０８の線形結合である。一実施形態では、結合された深度マップ１１０は、ピクセル毎に計算される。例えば、各々がビデオフレーム１０２における位置(x,y)におけるピクセルの深度を記述する、色の深度マップ１０４によって示される深度Dcolor、空間の深度マップ１０６によって示される深度Dspatialおよび動きの深度マップ１０８によって示される深度Dmotionが与えられると、結合された深度マップD(x,y)は、以下の式：
D (x,y) = w1 * Dcolor (x,y) + w2 * Dspatial (x,y) + w3 * Dmotion (x,y) (1)
によって表されることができ、w1は色の深度マップの重みであり、w2は空間の深度マップの重みであり、w3は動きの深度マップの重みである。他の実施形態では、結合された深度マップ１１０は、画像のピクセルのグループに対して決定される。結合された深度マップ１１０は、各部分における深度を最も正確に決定するために、画像の異なる部分の異なる特徴を使用して、ビデオフレーム１０２の様々なピクセルのための同一の重みまたは異なる重みを使用して生成されることができる。
結合された深度マップ１１０は、平面視画像から立体視画像を生成するために使用されることができる。一実施形態では、デプス・イメージ・ベースト・レンダリング（depth image based rendering：DIBR）は、ビデオフレーム１０２と同一であるがオフセットピクセルを有するフレームを生成するために使用されることができる。例えば、ビデオフレーム１０２が左フレームとして使用される場合、DIBRは、結合された深度マップ１１０によって記述される深度に基づいて、左フレームからピクセルをシフトさせることによって右フレームを作成する。
図２は、一実施形態に基づく、結合された深度マップ１１０を生成するために構成される深度マップ生成モジュール２００のブロック図である。深度マップ生成モジュール２００は、色の深度マップ生成器２０２、空間の深度マップ生成器２０４、動きの深度マップ生成器２０６および結合された深度マップモジュール２０８を有する。深度マップ生成モジュール２００の代替的な実施形態は、本明細書で説明されているものとは異なるおよび／または追加のモジュールを有する。同様に、機能は、本明細書で説明される方式とは異なる方式で、モジュール間に分散されることができる。
深度マップ生成モジュール２００は、ビデオデータベース２１２と通信するように構成される。一実施形態では、深度マップ生成モジュール２００は、ビデオデータベース２１２と、インターネットのようなネットワークを介して通信する。他の実施形態では、深度マップ生成モジュール２０２は、ビデオデータベース２１２と、ハードウェアや専用のデータ通信技術を介して通信する。ビデオデータベース２１２は、様々なソースから取得される平面視ビデオおよび立体視ビデオを格納する。ビデオデータベース２１２は、追加的に、または代替的に、個々の画像を格納してもよい。ビデオデータベース２１２におけるビデオまたは画像は、ユーザから取得されてもよく、例えば、ユーザによってビデオをビデオリポジトリまたはビデオホスティングウェブサイトにアップロードする。ビデオデータベース２１２におけるビデオは、複数のフレームを有し、各フレームは、ピクセルの二次元アレイを有する。ピクセルの特定の色は、RGBまたはYCbCr色空間のような色空間において定義されてもよい。
深度生成モジュール２００は、画像平面に関連する各フレームにおけるピクセルの深度を記述する１つまたは２つ以上の深度マップを生成するために、ビデオフレームを処理する。一実施形態では、深度生成モジュール２００は、いくつかの深度マップを生成し、各深度マップは、フレーム内の異なる深度キュー（cue）を使用して生成されるとともに、深度生成モジュール２００は、深度マップをピクセルの深度の単一の表現に結合する。深度生成モジュール２００の色の深度マップ生成器２０２、空間の深度マップ生成器２０４および動きの深度マップ生成器２０６はそれぞれ、深度マップを生成するために異なる深度キューを使用し、前記深度マップは、深度マップモジュール２０８によって結合される。
色の深度マップ生成器２０２は、入力としてビデオフレーム１０２を受信するとともに、ピクセルの深度を決定するために、色のキューを使用してフレームのための深度マップを生成する。一般には、色の深度マップ生成器２０２は、ピクセルの色と深度の相互関係を示すヒューリスティックに定義されたルールに基づいて、異なる色（または色の範囲）を、異なる深度に関連付ける。一実施形態では、そのようなルールは、過去の深度データの分析によって定義される。色の深度マップ生成器２０２は、立体視レンズで撮影されたとともに、各ピクセルの色に対する深度情報がわかっているビデオデータベース２１２内の画像のサンプルセットを分析する。ピクセルの色は、ピクセルにおける各原色の強度を示すトリプレットによって特定されてもよい。例えば、RGB色空間では、白は（100%，100%，100%）か、（255，255，255）か、または♯FFFFFFによって表現されてもよく、赤色、緑色、および青色の成分の最大強度を示す。この過去の色の深度データに基づいて、色の深度マップ生成器２０２は、各色の、または各色の範囲のピクセルための平均深度（または、他の性能指数）を決定する。平均深度は、各色のトリプレットを深度値と関連付けるルックアップテーブルのような、色の深度のプライア（color depth prior）に統合されてもよい。色の深度マップ生成器２０２によって生成された色の深度のプライアは、例えば、より多くの赤色を有するピクセルに関連付けられた小さい深度値（すなわち、フレームの前面により近い）および、より多くの青色を有するピクセルに関連付けられたより高い深度値（すなわち、フレームの背面により近い）を示してもよい。そのような関係は、人のようなオブジェクト（主に赤色を有する）が前景に頻繁に位置している一方で、画像の背景に頻繁にある、空または木のようなオブジェクト（主に青色を有する）から生じ得る。
他の実施形態では、色の深度マップ生成器２０２は、ピクセルの色の赤色と青色の成分の相対的な強度に基づいて、赤色ピクセルをより低い深度値に関連付ける（すなわち、フレームの前面により近い）とともに、青色ピクセルをより高い深度値と関連付ける（すなわち、フレームの背面により近い）ために、ルックアップテーブル（または同等の機能）を使用してもよい。YCbCr色空間においては、例えば、ルックアップテーブル（または同等の機能）は、ピクセルの青色（Cb）と赤色（Cr）の差成分の線形結合を、ピクセルの決定された深度に関連付けることができる。青色ピクセルは典型的にフレームの背面に近いオブジェクトに関連付けられるという仮定に基づいて、色の深度関数は、より大きなCb成分はより大きなピクセルの深度になり、一方、より大きなCr成分はより小さなまたは負のピクセルの深度になるように、重み付けをされてもよい。例えば、ピクセルの深度Dcolorは、以下の形態を有する色の深度関数によって表されてもよい：
Dcolor = α(Cb) + (1−α) (β−Cr) (2)
ここで、αおよびβは、ピクセルから導出される。値βは、CbおよびCrのための可能な値の範囲の大きさを表す。例えば、CbおよびCrが0から255の間のいずれかの値を有する場合、βは255である。
一実施形態では、色の深度マップ生成器２０２は、分析された１つの画像または複数の画像のピクセルの差成分CbおよびCr間の、画像内の（または複数の画像にわたる）最大の広がりの方向を決定する主成分分析（principal component analysis）を実行することによってαを決定する。ピクセルの色のRGB表現をYCbCr表現に変換した後、もし該当するならば、色の深度マップ生成器２０２は、分析されたピクセル毎に、aおよびbに対する値を決定し、a=Cr−128であるとともに、b=Cb−128である。３つの異なる期待値が計算され、前記３つの異なる期待値は、sa=E(a2)と、sb=E(b2)と、sab=E(ab)であり、期待値E(z)は、全ての分析されたピクセル上のzの平均値である。期待値Sa、SbおよびSabは、以下の数式によって定義される行列Cを作成するために使用される：
Figure 2016500975
主成分分析は、Cの固有値および固有ベクトルを決定し、２つの固有値のうちの大きい方に対応する固有ベクトルνを選択する。その要素が合計して１になるようにスケーリングされる場合、νは要素αおよび1−αを有する。色の深度マップ生成器２０２は、ビデオフレーム１０２のための色の深度マップ１０４を生成するために、式(2)の色の深度関数を使用する。
一実施形態では、色の深度マップ生成器２０２は、屋外のシーンまたは屋内のシーンを描くように、画像を分類することによって色の深度マップを改良する。画像の分類は、屋内、屋外および背景画像を含む画像のトレーニングセットを収集することによって決定されてもよく、それぞれはその分類にラベル付をされている。各画像におけるピクセルの色のように、トレーニング画像から特徴が抽出される。色の深度マップ生成器２０２は、サポートベクターマシン（support vector machine：SVM）のような分類器を使用し、画像のラベルに基づいて抽出された特徴に従って画像を分類するためのモデルを構築する。異なる色の深度のプライアが、各分類に対して生成されてもよい。新しい、未分類の画像が受信されると、色の深度マップ生成器２０２は、新しい画像から同じ特徴を抽出するとともに、新しい画像の分類を決定するためにトレーニングされたモデルに適用する。画像におけるピクセルの深度は、次いで、画像の分類のための色の深度のプライアから決定される。
空間の深度マップ生成器２０４は、フレーム内の様々な位置における平均のピクセルの深度に基づいて、ビデオフレーム１０２のための他の深度マップを生成する。平均のピクセルの深度を決定するために、空間の深度マップ生成器２０４は、立体視レンズで撮影されたとともに、各ピクセルの位置に対する深度情報がわかっているビデオデータベース２１２における画像のサンプルセットを分析する。ピクセルの位置は、実際の座標ペア(x,y)か、または例えば、(x％,y％)（x％は、与えられたピクセルに対する画像の幅全体の割合である）のように、画像の原点からのオフセットの割合に基づく相対的な位置によって表現されることができる。従って、640×480の画像における、(320, 240)でのピクセルは、(0.50,0.50)の位置にある。多数の３D画像にわたる所定の位置におけるピクセルの既知の深度を平均することによって、空間のマップ生成器２０４は、空間の深度のプライア（spatial depth prior，各位置におけるピクセルの深度の統計的平均を表す）と分散のプライア（variance prior，各位置におけるピクセルの深度の分散を表す）とを生成する。空間の深度のプライアは、ピクセルの位置を深度に関連付けるルックアップテーブルとして構成されてもよい。同様に、分散のプライアは、ピクセルの位置を深度の分散に関連付けるルックアップテーブルとして構成されてもよい。
空間のマップ生成器２０４によって生成された空間の深度のプライアは、一般に画像の前景に位置するフレームの中心および底部付近のオブジェクトによって、画像の中心および底部付近に位置するピクセルに関連付けられた小さい深度値および上部および側面付近のピクセルに対する大きい深度値を示してもよい。一実施形態では、空間の深度マップ生成器２０４は、いくつかの空間の深度のプライアを決定し、いくつかの可能なシーンの分類の各々に対して１つを決定する。例えば、空間の深度マップ生成器２０４は、屋外および屋内のシーンのために別々の空間の深度のプライアを生成してもよく、前記シーンは、上述のようにサポートベクターマシンによって分類される。一実施形態では、空間の深度マップ生成器２０４が入力として平面視ビデオフレーム１０２を受信すると、前記空間の深度マップ生成器２０４は、ピクセルの位置に基づいて空間の深度のプライアにおける画像内のピクセルに対する深度値を設定することによって、空間の深度マップ１０６を生成し、この決定は、画像内の各ピクセル（またはピクセルのグループ）に対して行われる。他の実施形態では、空間の深度マップ生成器２０４は、ピクセルに対する深度値を生成するために、空間の深度のプライアによって特定される値をスケーリングしてもよい。例えば、空間の深度のプライアにおける平均値は、「屋外」に分類される画像に対してより大きくなるようにスケーリングされてもよく、屋外のシーンにおけるフィールドの潜在的により大きい深度を説明する。
動きの深度マップ生成器２０６は、カメラの動きに関係する、ビデオフレーム１０２のピクセルの動きに基づいて、ビデオフレーム１０２のための深度マップを生成する。動きの深度マップ生成器２０６は、深度を決定するために、最も多い動きを有するオブジェクトは通常、フレームの前面に近いという仮定を使用する。図３は、２つのフレーム間の動きを計算して、動きに基づいて深度を決定するために、動きの深度マップ生成器２０６よって採用されるプロセスを示す。
動きを計算するために、動きの深度マップ生成器２０６は、ビデオシーケンスにおけるビデオフレーム１０２およびフレーム１０２の前のフレームのような、２つまたは３つ以上のビデオフレームを入力として受信する。当業者によって知られているような特徴検出アルゴリズムを使用して、フレームから特徴が抽出される（３０２）。これらの特徴は、色の特徴（例えば、HSV色空間における色相および彩度）や、テクスチャの特徴（例えば、ガボール・ウェーブレット（Gabor wavelet）からの特徴）や、エッジの特徴（例えば、キャニーエッジ検出器（Canny edge detector）によって検出される特徴）や、ラインの特徴（例えば、確率的ハフ変換（probabilistic Hough Transform）によって検出される特徴）またはSIFT（Scale Invariant Feature Transform：スケール不変特徴量変換）、GLOH（Gradient Location and Orientation Histogram：勾配位置および方向ヒストグラム）、LESH（Local Energy based Shape Histogram：局所的エネルギーベースの形状ヒストグラム）またはSURF（Speeded Up Robust Features：高速化ロバスト特徴）のような特徴等の、複数の画像の特徴のうちのいずれかを有してもよい。一実施形態では、ラプラシアン・オブ・ガウシアン（Laplacian-of-Gaussian）フィルタが、１つのフレームにおける関心点を検出されるために使用され、局所的な特徴は、局所的な領域におけるテクスチャの特徴の118次元ガボール・ウェーブレットを計算することによって決定される。一実施形態では、動きの深度マップ生成器２０６は、各フレームから約103の特徴を抽出する。
特徴を抽出した後、動きの深度マップ生成器２０６は、入力フレーム間の抽出された特徴点の動きを計算することによって、画像の全体的な動き（global motion）を決定する（３０４）。全体的な動きは、カメラ自体の移動を表している。例えば、カメラがビデオを撮影する間、固定の速度で左から右にパンニングしていた場合、ビデオは、その固定の速度に対応する全体的な動きを有する。全体的な流れ（global flow）を決定するために、局所的な動きを有するビデオにおけるオブジェクトは、各フレームのピクセルの小さなサブセットのみを有し、ピクセルの大部分は、２つのフレーム間で同一の動きを有する傾向にあることが想定される。ピクセルの大部分によって共有される動きが、画像の全体的な動きである。一実施形態では、全体的な流れを決定するために局所的な動きを有する範囲外のピクセルを無視して、流れのロバストなフィット（robust fit）を決定するためにランダム・サンプル・コンセンサス（random sample consensus：RANSAC）アルゴリズムが使用されることができる。局所的な動きを持たないピクセルは、RANSACアルゴリズムによってインライア（inlier）であると決定され、前記インライアは、その分布が全体的な流れによって説明されることができるデータポイントである。RANSACは、Martin A. Fischler and Robert C. Bolles (June 1981). “Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography”. Comm. of the ACM 24 (6): 381−395において説明され、参照によって本明細書に組み込まれる。
RANSACアルゴリズムは、１つのフレーム内のピクセルの位置を次のフレーム内のその位置にマッピングするホモグラフィー（homography）Aを出力する。例えば、フレームI0内の位置（x0,y0）およびフレームI１内の（x1,y1）におけるピクセルが与えられると、RANSACは、λはスカラー値であると仮定して、インライアであると決定された全てのピクセルに対して、以下の変換：
Figure 2016500975
 の誤差を最小化するために、3×3のホモグラフィーAを決定する。ホモグラフィーを決定した後、動きの深度マップ生成器２０６は、ビデオフレーム１０２のピクセルの全体的な動きを定量化する、行列Aの行列式Mを計算する。
動きの深度マップ生成器２０６はまた、画像内の各ピクセルに対する合計の動きベクトルを生成する（３０６）。一実施形態では、合計の動きベクトルは、当業者によって知られているオプティカルフロー（optical flow）アルゴリズムによって決定される。オプティカルフローは例えば、Berthold K.P. Horn and Brian G. Schunck (1981), “Determining Optical Flow,” Artificial Intelligence 17: 185-203によって記載されている。動きの深度マップ生成器２０６によって採用されるオプティカルフローアルゴリズムは、ブロックマッチング、位相相関または多くの変分法のような方法によって解決される、ピクセルの強度の空間的および時間的な導関数（derivative）に基づいて、ビデオにおけるフレーム間のピクセルの速度を測定する。
動きの深度マップ生成器２０６は、個々のピクセルの動きベクトルからフレームの全体的な動きMを引くことによって各ピクセルの局所的な動きを計算する（３０８）。具体的には、局所的な動きは、合計の動きベクトルの絶対値とホモグラフィーAの行列式Mとの間の差である。次いで、ピクセルの深度は、より速く動くオブジェクトはフレームの前景にあるという仮定に基づいて決定されることができる（３１０）。一実施形態では、動きの深度マップ生成器２０６は、動きを有するか、動きを有しないかのいずれかとして各ピクセルを分類するために、閾値を各ピクセルの局所的な動きに適用する。動きを有すると決定されたピクセルは、深度値に0を割り当てられてもよい（ピクセルを前景に配置する）とともに、動きを有しないと決定されたピクセルは、深度値に255が割り当てられてもよい（ピクセルを背景に配置する）。
深度マップモジュール２０８は、色の深度マップ、空間の深度マップおよび動きの深度マップの重み付けをされた結合を計算することによって、結合された深度マップを生成する。色の深度マップの重みw1、空間の深度マップの重みw2および動きの深度マップの重みw3は、深度マップモジュール２０８が、個々の深度マップのそれぞれから結合された深度マップ１１０を生成することを可能にする。一実施形態では、重みw1、w2およびw3のそれぞれは、0から1の間の値を有するとともに、全てを合計すると1になる。
一実施形態では、深度マップモジュール２０８は、重みw1、w2およびw3をヒューリスティックに決定する。他の実施形態では、重みは、フレームの特徴に基づいて適応し、様々な位置における特徴に従ってフレーム間で変動する。
適応性のある色の深度マップの重み
一実施形態では、深度マップモジュール２０８は、画像における色の分布に基づいて、画像の色の深度マップのための適応性のある重みを決定する。適応性のある色の深度マップの重みw1は、色のキューを使用して深度マップを生成することができることにおける信頼性を表す。画像が狭い色の分布を有する場合、画像におけるピクセルの深度に関係なく、画像内の全てのピクセルは同一色または類似色を有する。それに応じて、色の分布が狭い場合に深度を決定するために、空間のキューや動きのキューのような、代替の深度のキューにより頼ることは有益である。一方、深度マップモジュール２０８は、画像がより広い色の分布を有する場合、より正確な色の深度を決定することができ、このことは、色の分布が広い場合に色の深度マップの重みを増加させることは有益であることを意味する。
一実施形態では、深度マップモジュール２０８は、画像に対する色のコントラストを計算することによって、色の分布を定量化する。例えば、深度マップモジュール２０８は、以下の式：
Figure 2016500975
 に基づいて、画像内のピクセルの強度に基づく二乗平均平方根（root mean square：RMS）画像コントラストcを計算してもよい。サイズm×nの画像に対して、Iijは位置（i,j）におけるピクセルの強度であり、
Figure 2016500975
 は、画像におけるピクセルの平均強度である。cの値は、範囲[0, 1]内になるように正規化される。色の深度マップの重みに対する上限w1_maxおよび下限w1_minがそれぞれ与えられると、色の深度マップの重みw1は、以下の式：
w1 = w1_min + c (w1_max−w1_min) (4)
に従って、コントラストcに基づいて決定される。
他の実施形態では、深度マップモジュールは、ヒストグラムのために計算された離散エントロピーに基づいて、画像に対する色の分布を計算する。例えば、YCbCr色空間では、深度マップモジュール２０８は、x軸において量子化された色のヒストグラムhist_y、hist_cbおよびhist_crをBビン（B bin）（例えば、255）に取り込んでもよい。ヒストグラムは、色空間における各色のチャネルに対する、各色のビンにおけるフレーム内のピクセル数を表す。深度マップモジュール２０８は、Bビンを有する均一ヒストグラムのエントロピーと同様に、各ヒストグラムのエントロピーH(x)を計算する。各チャネル内の全ての色の均等な分布を表す、均一ヒストグラムは、最大可能エントロピーH(unif)を有する。Y、CbおよびCrチャネルのそれぞれにおけるヒストグラムのエントロピーを表す、H(hist_y)、H(hist_cb)およびH(hist_cr)を計算した後、深度マップモジュール２０８は、H(unif)に対するヒストグラムの比率を平均することによって色の深度マップの重みw1を決定する：
Figure 2016500975
 式(5)では、w1_maxはヒューリスティックに選択されたw1の値の上限である。
適応性のある動きの深度マップの重み
一実施形態では、深度マップモジュール２０８は、ビデオの２つまたは３つ以上のフレーム間のピクセルの局所的な動きの量に基づいて、動きの深度マップのための適応性のある重みを決定する。画像のピクセルが局所的な動きをほとんど有しないまたは全く有しない場合、類似した局所的な動きを有するピクセルは、異なる深度を有する傾向にある。結果として、適応性のある動きの深度マップの重みw2は、深度を決定するために動きを使用することにおける信頼性を表す。
深度マップモジュール２０８は、局所的な動きを有するフレーム内のピクセルの割合に基づいて、適応性のある動きの深度マップの重みを計算する。一実施形態では、個々のピクセルは、ピクセルが動きの中にあるか、または動きの中にないかを特定するバイナリ動き値が割り当てられる。閾値を上回る絶対値を持つ差分ベクトルを有するピクセルは、動きの中にあると決定される（および動き値に「1」が割り当てられる）とともに、閾値を下回る絶対値を持つ差分ベクトルを有するピクセルは、静止していると決定される（および動き値に「0」が割り当てられる）ように、距離の閾値は、動きの深度マップ生成器２０６によって計算される差分ベクトルの絶対値に適用されてもよい。距離の閾値を差分ベクトルに適用した後、深度マップモジュール２０８は、局所的な動きを有するフレーム内のピクセルの割合pを決定し、すなわち、p = (MV_1／N)であり、MV_1は動き値1を有するピクセル数であり、Nは画像内のピクセル数である。
動きの深度マップの重みw2は、割合pの関数として調整される。一実施形態では、深度推定モジュール２０８は、動きの閾値を局所的な動きを有するピクセルの割合に適用する。割合pが動きの閾値を上回る場合、w2はプリセット値から少量増加する。割合pが動きの閾値を下回る場合、w2は少量減少する。具体的には、動きの閾値εおよび割合pが与えられると、深度推定モジュール２０８は、フレームi-1における同一のピクセルの動きの深度マップの重みに対応するw2i−1に関連して、フレームiにおけるピクセルの動きの深度マップの重みに対応するw2iの値を、w2iに1.0に近い値を掛けることによって、決定してもよい。例えば、深度推定モジュール２０８は、
Figure 2016500975
 に基づいてw2iを決定してもよい。乗数の値（本実施例における1.02および0.98）はヒューリスティックに決定されることができるとともに、任意の適切な値は深度マップモジュール２０８によって使用されることができる。深度マップモジュール２０８はまた、動きの深度マップの重みがプリセット値からずれることができる量を制限するw2における上限および下限を定義してもよい。
適応性のある空間の深度マップの重み
一実施形態では、深度マップモジュール２０８は、空間の深度のプライアの分散に基づいて、画像の空間の深度マップのための適応性のある重みを決定する。低い分散は、空間の深度のプライアによって特定されるような、ピクセルの位置における平均深度値がピクセルの深度を正確に予測するより高い確率を示す。空間の深度マップ生成器２０４によって生成された分散のプライアは、各ピクセルの位置における深度の分散を記述する。位置(x,y)におけるピクセルのための適応性のある空間の深度マップの重みw3を生成するために、深度マップモジュール２０８は、分散のプライア内の(x,y)における分散を見つける。分散が小さい場合、深度マップモジュール２０８はw3の値を増加させ、分散が大きい場合、w3を減少させる。一実施形態では、深度マップモジュール２０８は、分散がプリセット閾値を上回るかまたは下回る場合に、w3に所定の値を掛けるという、式(6)によって記述される方法と同様の方法によってw3を決定する。
結合された深度マップの生成
適応性のある重みが、画像のための結合された深度マップを生成するために使用される場合、深度マップモジュール２０８は、上述の方法を使用して、１つまたは２つの適応性のある重みを決定してもよく、３つの重みは合計して1.0になるという制約とともに、決定された重みに基づいて残りの１つまたは複数の重みを計算してもよい。例えば、深度マップモジュール２０８が１つの適応性のある重み（例えば、適応性のあるw1）を生成する場合、残りの２つの重みは、
Figure 2016500975
 のような、固定比αを有するように定義されてもよい。次いで、w2およびw3のための値は、以下の式：
Figure 2016500975
Figure 2016500975
 によって決定されることができる。あるいは、深度マップモジュール２０８が２つの適応性のある重みを生成する場合、３つ目の重みは、1.0の制約値から２つの生成された重みを引くことによって決定されることができる。
図４は、平面視画像の結合された深度マップを生成するためのプロセスを示すフローチャートである。プロセスのステップは、深度マップ生成モジュール２００によって実行されることができる。他の実施形態は、追加のまたはより少ないステップを有してもよく、異なる順序でステップを実行してもよい。
深度マップ生成モジュール２００は、複数のピクセルを有する平面視画像にアクセスする（４０２）。一実施形態では、画像は、ビデオフレーム１０２のような、ビデオのフレームである。色の深度マップは、ピクセルの深度を決定するためにピクセルの色を使用することによって、画像に対して決定される（４０４）。色の深度マップは、同様の色を有するピクセルは同様の深度を有するであろうという仮定に基づいて生成される。一実施形態では、深度マップ生成モジュール２００は、画像におけるピクセルの色情報にアクセスするとともに過去の深度情報または色の深度関数に基づいて、色の深度マップを計算する。
深度マップ生成モジュール２００はまた、ピクセルの深度を決定するためにピクセルの位置を使用することによって画像のための空間の深度マップを決定する（４０６）。多数の3D画像から取得された様々な位置における既知のピクセルの深度を平均することによって計算された、空間の深度のプライアは、画像におけるピクセルの位置とピクセルの深度のマップとの間の相関を提供する。一実施形態では、空間の深度のプライアは、ピクセルの位置をピクセルの深度に関連付けるルックアップテーブルである。
深度マップ生成モジュール２００は、ピクセルの深度を決定するために、２つのフレーム間のピクセルの動きを使用することによって、画像のための動きの深度マップを決定する（４０８）。ピクセルの動きは、２つのフレーム間の全体的な動きを同一の２つのフレーム間のピクセルの動きの合計から引くことによって決定される。
色の深度マップの重み、空間の深度マップの重みおよび動きの深度マップの重みがまた決定される（４１０）。重みは、0から1の間の値であり、合計すると1.0になる。一実施形態では、重みは画像間および各画像にわたって適応性があり、画像における異なる特徴および異なる特徴の深度を正確に定量化するための各深度マップの方法の信頼性を説明する。
最後に、深度マップ生成モジュール２００は、結合された深度マップを生成する（４１２）。結合された深度マップは、色の深度マップの重みによって重み付けをされた色の深度マップと、空間の深度マップの重みによって重み付けをされた空間の深度マップと、動きの深度マップの重みによって重み付けをされた動きの深度マップの線形結合である。結合された深度マップを生成することによって、深度マップ生成モジュール２００は、個々のマップによって単独で提供されるマップよりも画像におけるピクセルの深度のより正確なマップを提供する。
さらなる構成の考慮事項
本発明の実施形態の前述の説明は、例示の目的のために提示されている。本発明の実施形態の前述の説明は、網羅的なものではなく、本発明を開示された明確な形態に限定するものではない。当業者は、上述の開示に照らして、多くの修正および変更が可能であることを理解することができる。
本説明のいくつかの部分は、情報に対する処理のアルゴリズムおよび記号表現によって、本発明の実施形態を説明する。これらのアルゴリズムの記述および表現は一般に、効果的に他の当業者に彼らの仕事の要旨を伝えるために、データ処理における当業者によって使用される。これらの処理は、機能的、計算的または論理的に説明される一方で、コンピュータプログラムまたは等価の電気回路やマイクロコード等によって実施されるものと理解される。さらに、一般性を失うことなく、モジュールとしてこれらの処理の配置（arrangement）を参照することは、時には便利であることがまた証明された。説明された処理および関連モジュールは、ソフトウェア、ファームウェア、ハードウェアまたはそれらの任意の組合せにおいて実装されてもよい。
本明細書で説明されたステップ、処理またはプロセスのうちのいずれかは、１つまたは２つ以上のハードウェアまたはソフトウェアモジュールを単独で、または他の装置と組み合わせて実行または実施されてもよい。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を有するコンピュータプログラム製品によって実施され、前記コンピュータプログラムコードは、説明されたステップ、処理またはプロセスのうちのいずれかまたは全てを実行するためのコンピュータプロセッサによって実行可能である。
本発明の実施形態はまた、本明細書の処理を実行するための機器に関連してもよい。前記機器は、必要な目的のために特別に構成されてもよく、および／または、前記機器は、コンピュータ内に格納されたコンピュータプログラムによって選択的に起動された、または再構成された、汎用コンピューティング装置を有してもよい。そのようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体や、またはコンピュータシステムバスに結合されることができる電子命令を格納するのに適した任意のタイプの媒体の中に格納されてもよい。さらに、明細書内で参照される任意のコンピュータシステムは、単一のプロセッサを含んでもよく、または増加した計算能力のためにマルチプロセッサ設計を採用するアーキテクチャであってもよい。
発明の実施形態はまた、本明細書で説明されたコンピューティングプロセスによって生じる製品に関連してもよい。そのような製品は、コンピューティングプロセスから生じる情報を有してもよく、情報は、非一時的な有形のコンピュータ可読記憶媒体上に格納されるとともに、本明細書で説明されるコンピュータプログラム製品の任意の実施形態または他のデータの組み合わせを含んでもよい。
最後に、本明細書で使用される言語は、主として、読みやすさおよび教示目的のために選択されたとともに、発明の主旨を線引きする、または限定するために選択されたものではない。従って、本発明の範囲は、本明細書における詳細な説明によっては限定されず、本明細書に基づく出願に対して発行する任意の請求項によって限定されるものである。従って、本発明の実施形態の開示は、例示を行うものであり、本発明の範囲を限定するものではなく、以下の特許請求の範囲において明らかにされる。
１０２ ビデオフレーム
１０４ 色の深度マップ
１０６ 空間の深度マップ
１０８ 動きの深度マップ
１１０ 結合された深度マップ
２００ 深度マップ生成モジュール
２０２ 色の深度マップ生成器
２０４ 空間の深度マップ生成器
２０６ 動きの深度マップ生成器
２０８ 深度推定モジュール
２１２ ビデオデータベース

Claims (20)

  1. 画像の深度マップを生成するための方法であって、前記方法は、
    複数のピクセルを有する前記画像にアクセスするステップであって、各ピクセルは前記画像における色および位置を有する、ステップと、
    前記画像における前記ピクセルの前記色に基づいて、前記画像のための色の深度マップを決定するステップと、
    ピクセルの前記位置と、複数の他の画像内の類似した位置におけるピクセルのための過去の深度情報とに基づいて、前記画像のための空間の深度マップを決定するステップと、
    前記画像におけるピクセルの動きに基づいて、前記画像のための動きの深度マップを決定するステップと、
    色の深度マップの重みと、空間の深度マップの重みと、動きの深度マップの重みとを決定するステップと、
    前記色の深度マップの重みによって重み付けをされた前記色の深度マップと、前記空間の深度マップの重みによって重み付けをされた前記空間の深度マップと、前記動きの深度マップの重みによって重み付けをされた前記動きの深度マップとの組み合わせから、前記画像のための結合された深度マップを生成するステップと
    を有する方法。
  2. 前記色の深度マップの重みを決定するステップは、
    前記ピクセルの前記色の分布を記述するヒストグラムを決定するステップと、
    前記ヒストグラムによって記述された前記色の前記分布に基づいて、前記色の深度マップの重みを決定するステップと
    を有する、請求項１に記載の方法。
  3. 前記空間の深度マップの重みを決定するステップは、
    前記過去の深度情報の分散を記述する、複数の他の画像内の類似した位置における前記ピクセルのための過去の深度分散情報を決定するステップと、
    前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップと
    を有する、請求項１に記載の方法。
  4. 前記動きの深度マップの重みを決定するステップは、局所的な動きを有する前記画像におけるピクセルの割合を決定し、局所的な動きを有するピクセルの前記割合に基づいて前記動きの深度マップの重みを決定するステップを有する、請求項１に記載の方法。
  5. 前記ヒストグラムによって記述された色の前記分布に基づいて、前記色の深度マップの重みを決定するステップは、
    色の前記分布に基づく、前記ヒストグラムに関連付けられたエントロピーを決定するステップと、
    前記色の相対的な分布を記述する、前記画像に関連付けられた最大エントロピーに対する前記エントロピーの比率を決定するステップと、
    前記比率に基づいて、前記比率に正比例する前記色の深度マップの重みを決定するステップと
    を有する、請求項２に記載の方法。
  6. 前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップは、
    前記画像における位置に関連付けられた過去の深度分散情報を取り出すステップと、
    １よりも大きい値を有する第１乗数を決定するステップと、
    １よりも小さい値を有する第２乗数を決定するステップと、
    前記位置に関連付けられた前記過去の深度分散情報を、分散閾値と比較するステップと
    を有し、前記空間の深度マップの重みを決定するステップは、
    前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を上回るという決定に応じて、前記空間の深度マップの重みに前記第１乗数を掛けるステップと、
    前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を下回るという決定に応じて、前記空間の深度マップの重みに前記第２乗数を掛けるステップと
    を有する、請求項３に記載の方法。
  7. 局所的な動きを有する第２の画像におけるピクセルの割合に基づいて、前記第２の画像のための動きの深度マップの重みを決定するステップであって、前記第２の画像は、ビデオシーケンスにおいて、第１の画像よりも前にある、ステップと、
    １よりも大きい値を有する第１乗数を決定するステップと、
    １よりも小さい値を有する第２乗数を決定するステップと、
    局所的な動きを有する前記第１の画像におけるピクセルの前記割合を、動きの閾値と比較するステップとをさらに有し、
    前記第１の画像のための前記動きの深度マップの重みを決定するステップは、
    局所的な動きを有する前記第１の画像におけるピクセルの前記割合が、前記動きの閾値を上回るという決定に応じて、前記第２の画像のための前記動きの深度マップの重みに前記第１乗数を掛けるステップと、
    局所的な動きを有する前記第１の画像におけるピクセルの前記割合が、前記動きの閾値を下回るという決定に応じて、前記第２の画像のための前記動きの深度マップの重みに前記第２乗数を掛けるステップと
    を有する、請求項４に記載の方法。
  8. 画像の深度マップを生成するためのコンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、
    複数のピクセルを有する前記画像にアクセスするステップであって、各ピクセルは前記画像における色および位置を有する、ステップと、
    前記画像における前記ピクセルの前記色に基づいて、前記画像のための色の深度マップを決定するステップと、
    ピクセルの前記位置と、複数の他の画像内の類似した位置におけるピクセルのための過去の深度情報とに基づいて、前記画像のための空間の深度マップを決定するステップと、
    前記画像におけるピクセルの動きに基づいて、前記画像のための動きの深度マップを決定するステップと、
    色の深度マップの重みと、空間の深度マップの重みと、動きの深度マップの重みとを決定するステップと、
    前記色の深度マップの重みによって重み付けをされた前記色の深度マップと、前記空間の深度マップの重みによって重み付けをされた前記空間の深度マップと、前記動きの深度マップの重みによって重み付けをされた前記動きの深度マップとの組み合わせから、前記画像のための結合された深度マップを生成するステップと
    を行うために実行可能である、コンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体。
  9. 前記色の深度マップの重みを決定するステップは、
    前記ピクセルの前記色の分布を記述するヒストグラムを決定するステップと、
    前記ヒストグラムによって記述された前記色の前記分布に基づいて、前記色の深度マップの重みを決定するステップと
    を有する、請求項８に記載の非一時的コンピュータ可読記憶媒体。
  10. 前記空間の深度マップの重みを決定するステップは、
    前記過去の深度情報の分散を記述する、複数の他の画像内の類似した位置における前記ピクセルのための過去の深度分散情報を決定するステップと、
    前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップと
    を有する、請求項８に記載の非一時的コンピュータ可読記憶媒体。
  11. 前記動きの深度マップの重みを決定するステップは、局所的な動きを有する前記画像におけるピクセルの割合を決定し、局所的な動きを有するピクセルの前記割合に基づいて前記動きの深度マップの重みを決定するステップを有する、請求項８に記載の非一時的コンピュータ可読記憶媒体。
  12. 前記ヒストグラムによって記述された色の前記分布に基づいて、前記色の深度マップの重みを決定するステップは、
    色の前記分布に基づく、前記ヒストグラムに関連付けられたエントロピーを決定するステップと、
    前記色の相対的な分布を記述する、前記画像に関連付けられた最大エントロピーに対する前記エントロピーの比率を決定するステップと、
    前記比率に基づいて、前記比率に正比例する前記色の深度マップの重みを決定するステップと
    を有する、請求項９に記載の非一時的コンピュータ可読記憶媒体。
  13. 前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップは、
    前記画像における位置に関連付けられた過去の深度分散情報を取り出すステップと、
    １よりも大きい値を有する第１乗数を決定するステップと、
    １よりも小さい値を有する第２乗数を決定するステップと、
    前記位置に関連付けられた前記過去の深度分散情報を、分散閾値と比較するステップと
    を有し、前記空間の深度マップの重みを決定するステップは、
    前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を上回るという決定に応じて、前記空間の深度マップの重みに前記第１乗数を掛けるステップと、
    前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を下回るという決定に応じて、前記空間の深度マップの重みに前記第２乗数を掛けるステップと
    を有する、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
  14. 前記コンピュータプログラム命令はさらに、
    局所的な動きを有する第２の画像におけるピクセルの割合に基づいて、前記第２の画像のための動きの深度マップの重みを決定するステップであって、前記第２の画像は、ビデオシーケンスにおいて、第１の画像よりも前にある、ステップと、
    １よりも大きい値を有する第１乗数を決定するステップと、
    １よりも小さい値を有する第２乗数を決定するステップと、
    局所的な動きを有する前記第１の画像におけるピクセルの前記割合を、動きの閾値と比較するステップとを行うために実行可能であり、
    前記第１の画像のための前記動きの深度マップの重みを決定するステップは、
    局所的な動きを有する前記第１の画像におけるピクセルの前記割合が、前記動きの閾値を上回るという決定に応じて、前記第２の画像のための前記動きの深度マップの重みに前記第１乗数を掛けるステップと、
    局所的な動きを有する前記第１の画像におけるピクセルの前記割合が、前記動きの閾値を下回るという決定に応じて、前記第２の画像のための前記動きの深度マップの重みに前記第２乗数を掛けるステップと
    を有する、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
  15. 画像の深度マップを生成するためのシステムであって、前記システムは、
    コンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、
    複数のピクセルを有する前記画像にアクセスするステップであって、各ピクセルは前記画像における色および位置を有する、ステップと、
    前記画像における前記ピクセルの前記色に基づいて、前記画像のための色の深度マップを決定するステップと、
    ピクセルの前記位置と、複数の他の画像内の類似した位置におけるピクセルのための過去の深度情報とに基づいて、前記画像のための空間の深度マップを決定するステップと、
    前記画像におけるピクセルの動きに基づいて、前記画像のための動きの深度マップを決定するステップと、
    色の深度マップの重みと、空間の深度マップの重みと、動きの深度マップの重みとを決定するステップと、
    前記色の深度マップの重みによって重み付けをされた前記色の深度マップと、前記空間の深度マップの重みによって重み付けをされた前記空間の深度マップと、前記動きの深度マップの重みによって重み付けをされた前記動きの深度マップとの組み合わせから、前記画像のための結合された深度マップを生成するステップと、
    を行うために実行可能である、非一時的コンピュータ可読記憶媒体と、
    前記コンピュータプログラム命令を実行するためのプロセッサと
    を有する、システム。
  16. 前記色の深度マップの重みを決定するステップは、
    前記ピクセルの前記色の分布を記述するヒストグラムを決定するステップと、
    前記ヒストグラムによって記述された前記色の前記分布に基づいて、前記色の深度マップの重みを決定するステップと
    を有する、請求項１５に記載のシステム。
  17. 前記空間の深度マップの重みを決定するステップは、
    前記過去の深度情報の分散を記述する、複数の他の画像内の類似した位置における前記ピクセルのための過去の深度分散情報を決定するステップと、
    前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップと
    を有する、請求項１５に記載のシステム。
  18. 前記動きの深度マップの重みを決定するステップは、前記画像における移動するピクセルの割合を決定し、移動するピクセルの前記割合に基づいて前記動きの深度マップの重みを決定するステップを有する、請求項１５に記載のシステム。
  19. 前記ヒストグラムによって記述された色の前記分布に基づいて、前記色の深度マップの重みを決定するステップは、
    色の前記分布に基づく、前記ヒストグラムに関連付けられたエントロピーを決定するステップと、
    前記色の相対的な分布を記述する、前記画像に関連付けられた最大エントロピーに対する前記エントロピーの比率を決定するステップと、
    前記比率に基づいて、前記比率に正比例する前記色の深度マップの重みを決定するステップと
    を有する、請求項１６に記載のシステム。
  20. 前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップは、
    前記画像における位置に関連付けられた過去の深度分散情報を取り出すステップと、
    １よりも大きい値を有する第１乗数を決定するステップと、
    １よりも小さい値を有する第２乗数を決定するステップと、
    前記位置に関連付けられた前記過去の深度分散情報を、分散閾値と比較するステップと
    を有し、前記空間の深度マップの重みを決定するステップは、
    前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を上回るという決定に応じて、前記空間の深度マップの重みに前記第１乗数を掛けるステップと、
    前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を下回るという決定に応じて、前記空間の深度マップの重みに前記第２乗数を掛けるステップと
    を有する、請求項１７に記載のシステム。
JP2015538620A 2012-11-01 2013-10-28 結合された深度キューに基づく平面視画像からの深度マップの生成 Active JP6438403B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/666,566 2012-11-01
US13/666,566 US9098911B2 (en) 2012-11-01 2012-11-01 Depth map generation from a monoscopic image based on combined depth cues
PCT/IB2013/059733 WO2014068472A1 (en) 2012-11-01 2013-10-28 Depth map generation from a monoscopic image based on combined depth cues

Publications (2)

Publication Number Publication Date
JP2016500975A true JP2016500975A (ja) 2016-01-14
JP6438403B2 JP6438403B2 (ja) 2018-12-12

Family

ID=50546717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015538620A Active JP6438403B2 (ja) 2012-11-01 2013-10-28 結合された深度キューに基づく平面視画像からの深度マップの生成

Country Status (6)

Country Link
US (2) US9098911B2 (ja)
EP (1) EP2915333B8 (ja)
JP (1) JP6438403B2 (ja)
KR (1) KR102138950B1 (ja)
CN (2) CN104756491B (ja)
WO (1) WO2014068472A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002783A (ja) * 2019-06-24 2021-01-07 日本放送協会 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
JP7303930B1 (ja) 2022-07-27 2023-07-05 維沃移動通信有限公司 画像処理方法、装置、電子機器および読み取り可能な記憶媒体

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483836B2 (en) * 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
US9179047B2 (en) * 2011-06-13 2015-11-03 University Of Florida Research Foundation, Inc. Systems and methods for estimating the structure and motion of an object
US8995755B2 (en) * 2011-09-30 2015-03-31 Cyberlink Corp. Two-dimensional to stereoscopic conversion systems and methods
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
EP3039617B1 (en) 2013-08-31 2020-05-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
US9619884B2 (en) * 2013-10-03 2017-04-11 Amlogic Co., Limited 2D to 3D image conversion device and method
US10311595B2 (en) * 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
EP3089102B1 (en) 2013-12-03 2019-02-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
WO2015104235A1 (en) 2014-01-07 2015-07-16 Dacuda Ag Dynamic updating of composite images
WO2015104236A1 (en) 2014-01-07 2015-07-16 Dacuda Ag Adaptive camera control for reducing motion blur during real-time image capture
EP3696774A1 (en) * 2014-05-12 2020-08-19 ML Netherlands C.V. Method and apparatus for scanning a 3d object
US10567635B2 (en) * 2014-05-15 2020-02-18 Indiana University Research And Technology Corporation Three dimensional moving pictures with a single imager and microfluidic lens
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
WO2016130997A1 (en) * 2015-02-12 2016-08-18 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements
US9679387B2 (en) * 2015-02-12 2017-06-13 Mitsubishi Electric Research Laboratories, Inc. Depth-weighted group-wise principal component analysis for video foreground/background separation
PL412832A1 (pl) 2015-06-24 2017-01-02 Politechnika Poznańska Sposób renderowania w oparciu o obraz głębi i system do renderowania w oparciu o obraz głębi
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10453207B2 (en) * 2015-07-31 2019-10-22 Versitech Limited Method and system for global motion estimation and compensation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10033926B2 (en) * 2015-11-06 2018-07-24 Google Llc Depth camera based image stabilization
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
DE102016208056A1 (de) * 2016-05-11 2017-11-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN106981079A (zh) * 2016-10-26 2017-07-25 李应樵 一种基于权重自适应立体深度调整的方法
CN106447719B (zh) * 2016-10-31 2019-02-12 成都通甲优博科技有限责任公司 一种单目摄像机获取深度图的方法
CN106504289B (zh) * 2016-11-02 2019-12-17 深圳乐动机器人有限公司 一种室内目标检测方法及装置
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
CN107133982B (zh) * 2017-04-28 2020-05-15 Oppo广东移动通信有限公司 深度图构建方法、装置及拍摄设备、终端设备
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
EP3418975A1 (en) * 2017-06-23 2018-12-26 Koninklijke Philips N.V. Depth estimation for an image
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10776992B2 (en) * 2017-07-05 2020-09-15 Qualcomm Incorporated Asynchronous time warp with depth data
CN109842789A (zh) * 2017-11-28 2019-06-04 奇景光电股份有限公司 深度感测装置及深度感测方法
US11062479B2 (en) * 2017-12-06 2021-07-13 Axalta Coating Systems Ip Co., Llc Systems and methods for matching color and appearance of target coatings
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
CN108537836A (zh) * 2018-04-12 2018-09-14 维沃移动通信有限公司 一种深度数据获取方法及移动终端
US11853713B2 (en) * 2018-04-17 2023-12-26 International Business Machines Corporation Graph similarity analytics
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN110889851B (zh) * 2018-09-11 2023-08-01 苹果公司 针对深度和视差估计的语义分割的稳健用途
CN110084826B (zh) * 2018-11-30 2023-09-12 叠境数字科技（上海）有限公司 基于tof相机的头发分割方法
US11164326B2 (en) * 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
CN111340922A (zh) * 2018-12-18 2020-06-26 北京三星通信技术研究有限公司 定位与地图构建的方法和电子设备
US11449769B2 (en) * 2019-04-11 2022-09-20 International Business Machines Corporation Cognitive analytics for graphical legacy documents
CN110400344B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
WO2021062240A1 (en) * 2019-09-27 2021-04-01 Nevermind Capital Llc Methods and apparatus for encoding frames captured using fish-eye lenses
KR102262832B1 (ko) * 2019-11-29 2021-06-08 연세대학교 산학협력단 단안 비디오 영상의 깊이 추정 방법 및 장치
US11450018B1 (en) 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
CN111260597B (zh) * 2020-01-10 2021-12-03 大连理工大学 一种多波段立体相机的视差图像融合方法
CN112785575B (zh) * 2021-01-25 2022-11-18 清华大学 一种图像处理的方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
JP2005151534A (ja) * 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
WO2011050304A2 (en) * 2009-10-23 2011-04-28 Qualcomm Incorporated Depth map generation techniques for conversion of 2d video data to 3d video data
JP2011215949A (ja) * 2010-03-31 2011-10-27 Toshiba Corp 視差画像生成装置、及びその方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949796B2 (ja) 1997-11-06 2007-07-25 株式会社ブリヂストン タイヤ形状判定装置
US7352386B1 (en) 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
CA2472272A1 (en) 2001-11-24 2003-06-05 Tdv Technologies Corp. Generation of a stereo image sequence from a 2d image sequence
JP4770154B2 (ja) 2004-11-08 2011-09-14 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
CA2653815C (en) 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
EP2174293B1 (en) * 2007-07-03 2011-04-27 Koninklijke Philips Electronics N.V. Computing a depth map
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
US8463019B2 (en) 2007-07-19 2013-06-11 JVC Kenwood Corporation Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method
KR101483660B1 (ko) * 2007-07-26 2015-01-16 코닌클리케 필립스 엔.브이. 깊이－관련 정보 전파를 위한 방법 및 장치
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
US8553972B2 (en) * 2009-07-06 2013-10-08 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
CN101945295B (zh) * 2009-07-06 2014-12-24 三星电子株式会社 生成深度图的方法和设备
US8644624B2 (en) 2009-07-28 2014-02-04 Samsung Electronics Co., Ltd. System and method for indoor-outdoor scene classification
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
CN102792699A (zh) 2009-11-23 2012-11-21 通用仪表公司 作为到视频序列的附加通道的深度代码化
US9042636B2 (en) 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
KR20110124473A (ko) 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US8933927B2 (en) * 2010-09-02 2015-01-13 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US8836765B2 (en) 2010-11-05 2014-09-16 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
JP5963422B2 (ja) 2010-12-17 2016-08-03 キヤノン株式会社 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
JP5242667B2 (ja) * 2010-12-22 2013-07-24 株式会社東芝 マップ変換方法、マップ変換装置及びマップ変換プログラム
EP2509324A1 (en) * 2011-04-08 2012-10-10 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
JP5291755B2 (ja) 2011-04-21 2013-09-18 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
CN102196292B (zh) * 2011-06-24 2013-03-06 清华大学 基于人机交互生成视频深度图序列的方法及系统
CN102263979B (zh) * 2011-08-05 2013-10-09 清华大学 一种平面视频立体化的深度图生成方法及装置
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
US9501834B2 (en) * 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
CN102360489B (zh) * 2011-09-26 2013-07-31 盛乐信息技术（上海）有限公司 实现二维图像到三维图像转换的方法及装置
US20140098100A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Multiview synthesis and processing systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
JP2005151534A (ja) * 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
WO2011050304A2 (en) * 2009-10-23 2011-04-28 Qualcomm Incorporated Depth map generation techniques for conversion of 2d video data to 3d video data
JP2011215949A (ja) * 2010-03-31 2011-10-27 Toshiba Corp 視差画像生成装置、及びその方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002783A (ja) * 2019-06-24 2021-01-07 日本放送協会 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
JP7257272B2 (ja) 2019-06-24 2023-04-13 日本放送協会 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
JP7303930B1 (ja) 2022-07-27 2023-07-05 維沃移動通信有限公司 画像処理方法、装置、電子機器および読み取り可能な記憶媒体

Also Published As

Publication number Publication date
EP2915333B1 (en) 2017-10-11
EP2915333A4 (en) 2015-11-04
CN107277491B (zh) 2019-04-30
CN107277491A (zh) 2017-10-20
CN104756491A (zh) 2015-07-01
JP6438403B2 (ja) 2018-12-12
KR102138950B1 (ko) 2020-07-28
CN104756491B (zh) 2017-07-25
US20150304630A1 (en) 2015-10-22
US9426449B2 (en) 2016-08-23
WO2014068472A1 (en) 2014-05-08
EP2915333B8 (en) 2017-11-22
KR20150079576A (ko) 2015-07-08
EP2915333A1 (en) 2015-09-09
US20140118494A1 (en) 2014-05-01
US9098911B2 (en) 2015-08-04

Similar Documents

Publication Publication Date Title
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
Feng et al. Local background enclosure for RGB-D salient object detection
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
US9305206B2 (en) Method for enhancing depth maps
CN108805169B (zh) 影像处理方法、非暂态电脑可读取媒体以及影像处理系统
US20180357819A1 (en) Method for generating a set of annotated images
Muddamsetty et al. A performance evaluation of fusion techniques for spatio-temporal saliency detection in dynamic scenes
KR20110112143A (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
Mirkamali et al. Object removal by depth-wise image inpainting
Wang Image matting with transductive inference
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Thomas et al. Color balancing for change detection in multitemporal images
Dittrich et al. Saliency detection for stereoscopic video
JP2023065296A (ja) 平面検出装置及び方法
Zhu et al. Multi-feature fusion algorithm in VR panoramic image detail enhancement processing
Shinde et al. Image object saliency detection using center surround contrast
Agrafiotis et al. HDR Imaging for Enchancing People Detection and Tracking in Indoor Environments.
KR101357581B1 (ko) 깊이 정보 기반 사람의 피부 영역 검출 방법
CN108062741A (zh) 双目图像处理方法、成像装置和电子设备
JP2013120504A (ja) オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム
Le et al. Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired
Dickson et al. User-centred Depth Estimation Benchmarking for VR Content Creation from Single Images.
Chen et al. Video Saliency Detection Using Spatiotemporal Cues
Tseng et al. A Multi-Patch Aggregated Aesthetic Rating System Based on Eyefixation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170814

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181116

R150 Certificate of patent or registration of utility model

Ref document number: 6438403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250