JP2015173441A - 立体画像の視差マップ推定のための方法,装置及びコンピュータプログラム製品 - Google Patents
立体画像の視差マップ推定のための方法,装置及びコンピュータプログラム製品 Download PDFInfo
- Publication number
- JP2015173441A JP2015173441A JP2015029217A JP2015029217A JP2015173441A JP 2015173441 A JP2015173441 A JP 2015173441A JP 2015029217 A JP2015029217 A JP 2015029217A JP 2015029217 A JP2015029217 A JP 2015029217A JP 2015173441 A JP2015173441 A JP 2015173441A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- parallax
- pixels
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
を含む、方法。
を実行させるように構成される、装置。
を実行させる、コンピュータプログラム製品。
を備える、装置。
を実行させる、コンピュータプログラム製品。
ここで、C(p) は画素pに対する信頼値、dp は画素pに対する視差値、A(p,d) は視差d(dはdp は除く複数の視差値d1, d2, …, dnで変わる)と画素pに対する第1の総コストボリューム、σ は特定の定数である。
ここで、C'(p) は画素pに対する正規化信頼値、C (p)は画素pに対する信頼値、L は第1の画像における視差の数である。
ここで、dp は画像l1(第1の画像)の画素pに対するフィルタ視差値、dq は画素qに対する視差値、D(p,q) は第1のセグメントツリーにおける画素pと画素qの間の距離、bq は信頼マップに関連する画素qの2進値、Npは画素pに対する正規化項、σは定数である。ある例示的実施形態では、正規化項(Np)は次の式(4)に基づいて決定される:
Claims (54)
- 第1の画像及び第2の画像の受取りを進めることであって、前記第1の画像及び第2の画像は風景に関連している、前記進めることと;
複数の視差値に対して前記第1の画像の画素に関連する第1の総コストボリュームを決定し、前記複数の視差値に対して前記第2の画像の画素に関連する第2の総コストボリュームを決定することと;
前記第1の総コストボリュームに基づいて、前記第1の画像の第1の視差マップを作成し、前記第2の総コストボリュームに基づいて、前記第2の画像の第2の視差マップを作成することと;
前記第1の総コストボリュームに基づいて、前記第1の視差マップにおける前記第1の画像の画素の視差値に対する信頼マップを作成することであって、前記信頼マップは、前記第1の画像の画素から信頼画素群を表わす、前記作成することと;
前記第1の画像の複数の色セグメント及び前記複数の色セグメントにおける信頼画素数に少なくとも基づいて、前記第1の画像の1つ又は複数の無限遠領域を決定することと;
前記第1の画像の画素に対するフィルタ視差値を決定することで、前記第1の視差マップに基づいて第3の視差マップを作成することであって、前記第1の画像の1つ又は複数の無限遠領域の画素に対するフィルタ視差値は、所定の視差値として決定される、前記作成すること
を含む、方法。 - 前記複数の視差値に対して、前記第1の画像の画素と前記第2の画像の対応する画素との間のコストボリュームを決定することであって、前記コストボリュームは、前記複数の視差値に対して、前記第1の画像の画素と前記第1の画像の画素に対応する前記第2の画像の画素に対する複数のマッチングコストを含む、前記決定することを更に含み、
前記コストボリュームは、前記第1の総コストボリュームを決定するために前記第1のセグメントツリーに基づいて集計され、前記第2の総コストボリュームを決定するために第2のセグメントツリーに基づいて集計される、
請求項1に記載の方法。 - 前記信頼マップを作成することは、
前記第1の総コストボリュームに基づいて、前記第1の視差マップにおける前記第1の画像の画素に対する視差値に対応する信頼値を決定することと;
正規化信頼値を生成するために、前記第1の画像の画素に対する視差値に対応する信頼値を正規化することと;
前記第1の画像の画素にバイナリ信頼値を割当てるために、前記正規化信頼値を信頼閾値と比較することであって、前記第1の画像の画素に対する正規化信頼値が前記信頼閾値を超える場合、該画素に対するバイナリ信頼値は'0'と割当てられ、前記第1の画像の画素に対する正規化信頼値が前記信頼閾値以下の場合、該画素に対するバイナリ信頼値は'1'と割当てられる、前記比較することと
を含む、請求項1又は2に記載の方法。 - 平均シフト分割法又はセグメントツリー分割に基づいて、前記第1の画像の複数の色セグメントを決定することを更に含む、請求項1に記載の方法。
- 前記第1の画像の1つ又は複数の無限遠領域を決定することは、
前記第1の視差マップと前記第2の視差マップの比較に基づいて、前記第1の視差マップの閉塞画素を決定することと;
前記第1の視差マップの閉塞画素を決定し、前記第1の画像の複数の色セグメントの大きさと複数の色セグメントにおける信頼画素数、閉塞画素数に基づいて、前記1つ又は複数の無限遠領域を定義すること
を更に含む、請求項1に記載の方法。 - 前記1つ又は複数の無限遠領域を定義することは、
前記複数の色セグメントのサイズを閾値サイズと比較することに基づいて、前記複数の色セグメントの色セグメント群を決定することと;
前記色セグメント群に対する第1の因子と第2の因子の比を計算することであって、前記色セグメント群の個別色セグメントに対する第1の因子は、該個別色セグメントにおける閉塞画素でない信頼画素の数に基づいて計算され、前記個別色セグメントに対する第2の因子は、該個別色セグメントにおける閉塞画素でない全画素に基づいて計算される、前記計算することと;
前記比と閾値比の比較に基づいて、前記色セグメント群の1つ又は複数の色セグメントを1つ又は複数の無限遠領域として分類すること
を含む、請求項5に記載の方法。 - 前記色セグメント群の色セグメントを前記1つ又は複数の無限遠領域の中の無限遠領域として分類することは、
前記色セグメント群の色セグメントの比を前記閾値比と比較することと;
次のこと:
前記比が前記閾値比未満の場合、前記色セグメント群の色セグメントを無限遠領域と分類する;
前記比が前記閾値比以上の場合、前記色セグメント群の色セグメントを閉塞穴部と分類する
の何れかを実行すること
を含む、請求項6に記載の方法。 - 前記第1の画像の画素に対するフィルタ視差値は、ツリーベース集計法に基づいて決定される、請求項1から7の何れかに記載の方法。
- 前記第1の画像の画素に対するフィルタ視差値は、次の式:
に基づいて決定される、ただし、dp は前記第1の画像の画素pに対するフィルタ視差値、dq は前記第1の画像の画素qに対する視差値、D(p,q) は前記第1のセグメントツリーにおける画素pと画素qの間の距離、bq は信頼マップに関連する画素qの2進値、Npは画素pに対する正規化項、σは定数である、請求項2から8の何れかに記載の方法。 - 前記第1の画像の画素に対するフィルタ視差値は、全画像ガイド付きフィルタリング法に基づいて決定される、請求項2から8の何れかに記載の方法。
- 前記所定の視差値はゼロ視差値である、請求項1から10の何れかに記載の方法。
- 前記第1の画像及び前記第2の画像は、前記風景の立体画像対である、請求項1から11の何れかに記載の方法。
- 少なくとも1つのプロセッサと;
コンピュータプログラムコードを含む少なくとも1つのメモリを備える装置であって、前記少なくとも1つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサを用いて、前記装置に少なくとも:
各々風景に関連する第1の画像及び第2の画像の受取りを進めることと;
複数の視差値に対して前記第1の画像の画素に関連する第1の総コストボリュームを決定し、前記複数の視差値に対して前記第2の画像の画素に関連する第2の総コストボリュームを決定することと;
前記第1の総コストボリュームに基づいて、前記第1の画像の第1の視差マップを作成し、前記第2の総コストボリュームに基づいて、前記第2の画像の第2の視差マップを作成することと;
前記第1の視差マップにおける前記第1の画像の画素の視差値に対する信頼マップであって、前記第1の画像の画素から信頼画素群を表わす信頼マップを、前記第1の総コストボリュームに基づいて作成することと;
前記第1の画像の複数の色セグメント及び前記複数の色セグメントにおける信頼画素数に少なくとも基づいて、前記第1の画像の1つ又は複数の無限遠領域を決定することと;
前記第1の画像の画素に対するフィルタ視差値を決定することで、前記第1の視差マップに基づいて第3の視差マップを作成することであって、前記第1の画像の1つ又は複数の無限遠領域の画素に対するフィルタ視差値は、所定の視差値として決定される、前記作成すること
を実行させるように構成される、装置。 - 前記装置は更に、
前記複数の視差値に対して、前記第1の画像の画素と前記第2の画像の対応する画素との間のコストボリュームを決定することであって、前記コストボリュームは、前記複数の視差値に対して、前記第1の画像の画素と前記第1の画像の画素に対応する前記第2の画像の画素に対する複数のマッチングコストを含む、前記決定することを少なくとも部分的に実行させられ、
前記コストボリュームは、前記第1の総コストボリュームを決定するために前記第1のセグメントツリーに基づいて集計され、前記第2の総コストボリュームを決定するために第2のセグメントツリーに基づいて集計される、
請求項13に記載の装置。 - 前記信頼マップを作成するために、前記装置は更に、
前記第1の総コストボリュームに基づいて、前記第1の視差マップにおける前記第1の画像の画素に対する視差値に対応する信頼値を決定することと;
正規化信頼値を生成するために、前記第1の画像の画素に対する視差値に対応する信頼値を正規化することと;
前記第1の画像の画素にバイナリ信頼値を割当てるために、前記正規化信頼値を信頼閾値と比較することであって、前記第1の画像の画素に対する正規化信頼値が前記信頼閾値を超える場合、該画素に対するバイナリ信頼値は'0'と割当てられ、前記第1の画像の画素に対する正規化信頼値が前記信頼閾値以下の場合、該画素に対するバイナリ信頼値は'1'と割当てられる、前記比較することと
を少なくとも部分的に実行させられる、請求項13又は14に記載の装置。 - 前記装置は更に、平均シフト分割法又はセグメントツリー分割に基づいて、前記第1の画像の複数の色セグメントを決定することを少なくとも部分的に実行させられる、請求項13に記載の装置。
- 前記第1の画像の1つ又は複数の無限遠領域を決定するために、前記装置は更に、
前記第1の視差マップと前記第2の視差マップの比較に基づいて、前記第1の視差マップの閉塞画素を決定することと;
前記第1の視差マップの閉塞画素を決定し、前記第1の画像の複数の色セグメントの大きさと複数の色セグメントにおける信頼画素数、閉塞画素数に基づいて、前記1つ又は複数の無限遠領域を定義すること
を少なくとも部分的に実行させられる、請求項13に記載の装置。 - 前記第1の画像の1つ又は複数の無限遠領域を決定するために、前記装置は更に、
前記複数の色セグメントのサイズを閾値サイズと比較することに基づいて、前記複数の色セグメントの色セグメント群を決定することと;
前記色セグメント群に対する第1の因子と第2の因子の比を計算することであって、前記色セグメント群の個別色セグメントに対する第1の因子は、該個別色セグメントにおける閉塞画素でない信頼画素の数に基づいて計算され、前記個別色セグメントに対する第2の因子は、該個別色セグメントにおける閉塞画素でない全画素に基づいて計算される、前記計算することと;
前記比と閾値比の比較に基づいて、前記色セグメント群の1つ又は複数の色セグメントを1つ又は複数の無限遠領域として分類すること
を少なくとも部分的に実行させられる、請求項17に記載の装置。 - 前記色セグメント群の色セグメントを前記1つ又は複数の無限遠領域の中の無限遠領域として分類するために、前記装置は更に、
前記色セグメント群の色セグメントの比を前記閾値比と比較することと;
次のこと:
前記比が前記閾値比未満の場合、前記色セグメント群の色セグメントを無限遠領域と分類する;
前記比が前記閾値比以上の場合、前記色セグメント群の色セグメントを閉塞穴部と分類する
の何れかを実行すること
を少なくとも部分的に実行させられる、請求項18に記載の装置。 - 前記第13の画像の画素に対するフィルタ視差値は、ツリーベース集計法に基づいて決定される、請求項13から19の何れかに記載の装置。
- 前記第1の画像の画素に対するフィルタ視差値は、次の式:
に基づいて決定される、ただし、dp は前記第1の画像の画素pに対するフィルタ視差値、dq は前記第1の画像の画素qに対する視差値、D(p,q) は前記第1のセグメントツリーにおける画素pと画素qの間の距離、bq は信頼マップに関連する画素qの2進値、Npは画素pに対する正規化項、σは定数である、請求項14から20の何れかに記載の装置。 - 前記第1の画像の画素に対するフィルタ視差値は、全画像ガイド付きフィルタリング法に基づいて決定される、請求項13から19の何れかに記載の装置。
- 前記所定の視差値はゼロ視差値である、請求項13から22の何れかに記載の装置。
- 前記第1の画像及び前記第2の画像は、前記風景の立体画像対である、請求項13から23の何れかに記載の装置。
- 前記装置は電子機器として構成され:
前記電子機器の少なくとも1つの機能を、ディスプレイを通じてユーザが制御することを容易にするように、かつユーザ入力に応答するように構成される、ユーザインタフェース回路およびユーザインターフェース・ソフトウェアと;
前記電子機器のユーザインタフェースの少なくとも一部を表示するように、かつ前記電子機器の機能の少なくとも一部のユーザ制御を容易にするように構成される、ディスプレイ回路と;
を備える、請求項13に記載の装置。 - 前記電子機器は、前記第1の画像及び第2の画像をキャプチャするように構成される少なくとも1つのイメージセンサを備える、請求項25に記載の装置。
- 前記電子機器は携帯電話として構成される、請求項25に記載の装置。
- 少なくとも1つのコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、前記コンピュータ可読記憶媒体は命令セットを含み、前記命令セットは、1つ以上のプロセッサにより実行されると、装置に少なくとも:
第1の画像及び第2の画像の受取りを進めることであって、前記第1の画像及び第2の画像は風景に関連している、前記進めることと;
複数の視差値に対して前記第1の画像の画素に関連する第1の総コストボリュームを決定し、前記複数の視差値に対して前記第2の画像の画素に関連する第2の総コストボリュームを決定することと;
前記第1の総コストボリュームに基づいて、前記第1の画像の第1の視差マップを作成し、前記第2の総コストボリュームに基づいて、前記第2の画像の第2の視差マップを作成することと;
前記第1の総コストボリュームに基づいて、前記第1の視差マップにおける前記第1の画像の画素の視差値に対する信頼マップを作成することであって、前記信頼マップは、前記第1の画像の画素から信頼画素群を表わす、前記作成することと;
前記第1の画像の複数の色セグメント及び前記複数の色セグメントにおける信頼画素数に少なくとも基づいて、前記第1の画像の1つ又は複数の無限遠領域を決定することと;
前記第1の画像の画素に対するフィルタ視差値を決定することで、前記第1の視差マップに基づいて第3の視差マップを作成することであって、前記第1の画像の1つ又は複数の無限遠領域の画素に対するフィルタ視差値は、所定の視差値として決定される、前記作成すること
を実行させる、コンピュータプログラム製品。 - 前記装置は更に、
前記複数の視差値に対して、前記第1の画像の画素と前記第2の画像の対応する画素との間のコストボリュームを決定することであって、前記コストボリュームは、前記複数の視差値に対して、前記第1の画像の画素と前記第1の画像の画素に対応する前記第2の画像の画素に対する複数のマッチングコストを含む、前記決定することを少なくとも部分的に実行させられ、
前記コストボリュームは、前記第1の総コストボリュームを決定するために前記第1のセグメントツリーに基づいて集計され、前記第2の総コストボリュームを決定するために第2のセグメントツリーに基づいて集計される、
請求項28に記載のコンピュータプログラム製品。 - 前記信頼マップを作成するために、前記装置は更に、
前記第1の総コストボリュームに基づいて、前記第1の視差マップにおける前記第1の画像の画素に対する視差値に対応する信頼値を決定することと;
正規化信頼値を生成するために、前記第1の画像の画素に対する視差値に対応する信頼値を正規化することと;
前記第1の画像の画素にバイナリ信頼値を割当てるために、前記正規化信頼値を信頼閾値と比較することであって、前記第1の画像の画素に対する正規化信頼値が前記信頼閾値を超える場合、該画素に対するバイナリ信頼値は'0'と割当てられ、前記第1の画像の画素に対する正規化信頼値が前記信頼閾値以下の場合、該画素に対するバイナリ信頼値は'1'と割当てられる、前記比較することと
を少なくとも部分的に実行させられる、請求項28又は29に記載のコンピュータプログラム製品。 - 前記装置は更に、平均シフト分割法又はセグメントツリー分割に基づいて、前記第1の画像の複数の色セグメントを決定することを少なくとも部分的に実行させられる、請求項28に記載のコンピュータプログラム製品。
- 前記第1の画像の1つ又は複数の無限遠領域を決定するために、前記装置は更に、
前記第1の視差マップと前記第2の視差マップの比較に基づいて、前記第1の視差マップの閉塞画素を決定することと;
前記第1の視差マップの閉塞画素を決定し、前記第1の画像の複数の色セグメントの大きさと複数の色セグメントにおける信頼画素数、閉塞画素数に基づいて、前記1つ又は複数の無限遠領域を定義すること
を少なくとも部分的に実行させられる、請求項28に記載のコンピュータプログラム製品。 - 前記第1の画像の1つ又は複数の無限遠領域を決定するために、前記装置は更に、
前記複数の色セグメントのサイズを閾値サイズと比較することに基づいて、前記複数の色セグメントの色セグメント群を決定することと;
前記色セグメント群に対する第1の因子と第2の因子の比を計算することであって、前記色セグメント群の個別色セグメントに対する第1の因子は、該個別色セグメントにおける閉塞画素でない信頼画素の数に基づいて計算され、前記個別色セグメントに対する第2の因子は、該個別色セグメントにおける閉塞画素でない全画素に基づいて計算される、前記計算することと;
前記比と閾値比の比較に基づいて、前記色セグメント群の1つ又は複数の色セグメントを1つ又は複数の無限遠領域として分類すること
を少なくとも部分的に実行させられる、請求項32に記載のコンピュータプログラム製品。 - 前記色セグメント群の色セグメントを前記1つ又は複数の無限遠領域の中の無限遠領域として分類するために、前記装置は更に、
前記色セグメント群の色セグメントの比を前記閾値比と比較することと;
次のこと:
前記比が前記閾値比未満の場合、前記色セグメント群の色セグメントを無限遠領域と分類する;
前記比が前記閾値比以上の場合、前記色セグメント群の色セグメントを閉塞穴部と分類する
の何れかを実行すること
を少なくとも部分的に実行させられる、請求項33に記載のコンピュータプログラム製品。 - 前記第1の画像の画素に対するフィルタ視差値は、ツリーベース集計法に基づいて決定される、請求項28から34の何れかに記載のコンピュータプログラム製品。
- 前記第1の画像の画素に対するフィルタ視差値は、次の式:
に基づいて決定される、ただし、dp は前記第1の画像の画素pに対するフィルタ視差値、dq は前記第1の画像の画素qに対する視差値、D(p,q) は前記第1のセグメントツリーにおける画素pと画素qの間の距離、bq は信頼マップに関連する画素qの2進値、Npは画素pに対する正規化項、σは定数である、請求項29から35の何れかに記載のコンピュータプログラム製品。 - 前記第1の画像の画素に対するフィルタ視差値は、全画像ガイド付きフィルタリング法に基づいて決定される、請求項28から34の何れかに記載のコンピュータプログラム製品。
- 前記所定の視差値はゼロ視差値である、請求項28から37の何れかに記載のコンピュータプログラム製品。
- 前記第1の画像及び前記第2の画像は、前記風景の立体画像対である、請求項28から38の何れかに記載のコンピュータプログラム製品。
- 第1の画像及び第2の画像の受取りを進める手段であって、前記第1の画像及び第2の画像は風景に関連している、前記進める手段と;
複数の視差値に対して前記第1の画像の画素に関連する第1の総コストボリュームを決定し、前記複数の視差値に対して前記第2の画像の画素に関連する第2の総コストボリュームを決定する手段と;
前記第1の総コストボリュームに基づいて、前記第1の画像の第1の視差マップを作成し、前記第2の総コストボリュームに基づいて、前記第2の画像の第2の視差マップを作成する手段と;
前記第1の総コストボリュームに基づいて、前記第1の視差マップにおける前記第1の画像の画素の視差値に対する信頼マップを作成する手段であって、前記信頼マップは、前記第1の画像の画素から信頼画素群を表わす、前記作成する手段と;
前記第1の画像の複数の色セグメント及び前記複数の色セグメントにおける信頼画素数に少なくとも基づいて、前記第1の画像の1つ又は複数の無限遠領域を決定する手段と;
前記第1の画像の画素に対するフィルタ視差値を決定することで、前記第1の視差マップに基づいて第3の視差マップを作成する手段であって、前記第1の画像の1つ又は複数の無限遠領域の画素に対するフィルタ視差値は、所定の視差値として決定される、前記作成する手段
を備える、装置。 - 前記装置は、
前記複数の視差値に対して、前記第1の画像の画素と前記第2の画像の対応する画素との間のコストボリュームを決定する手段であって、前記コストボリュームは、前記複数の視差値に対して、前記第1の画像の画素と前記第1の画像の画素に対応する前記第2の画像の画素に対する複数のマッチングコストを含む、前記決定する手段を更に含み、
前記コストボリュームは、前記第1の総コストボリュームを決定するために前記第1のセグメントツリーに基づいて集計され、前記第2の総コストボリュームを決定するために第2のセグメントツリーに基づいて集計される、
請求項28に記載の装置。 - 前記信頼マップを作成する手段は、
前記第1の総コストボリュームに基づいて、前記第1の視差マップにおける前記第1の画像の画素に対する視差値に対応する信頼値を決定する手段と;
正規化信頼値を生成するために、前記第1の画像の画素に対する視差値に対応する信頼値を正規化する手段と;
前記第1の画像の画素にバイナリ信頼値を割当てるために、前記正規化信頼値を信頼閾値と比較する手段であって、前記第1の画像の画素に対する正規化信頼値が前記信頼閾値を超える場合、該画素に対するバイナリ信頼値は'0'と割当てられ、前記第1の画像の画素に対する正規化信頼値が前記信頼閾値以下の場合、該画素に対するバイナリ信頼値は'1'と割当てられる、前記比較する手段
を備える、請求項40又は41に記載の装置。 - 平均シフト分割法又はセグメントツリー分割に基づいて、前記第1の画像の複数の色セグメントを決定する手段を更に含む、請求項40に記載の装置。
- 前記第1の画像の1つ又は複数の無限遠領域を決定する手段は、
前記第1の視差マップと前記第2の視差マップの比較に基づいて、前記第1の視差マップの閉塞画素を決定する手段と;
前記第1の視差マップの閉塞画素を決定し、前記第1の画像の複数の色セグメントの大きさと複数の色セグメントにおける信頼画素数、閉塞画素数に基づいて、前記1つ又は複数の無限遠領域を定義する手段
を備える、請求項40に記載の装置。 - 前記1つ又は複数の無限遠領域を定義する手段は、
前記複数の色セグメントのサイズを閾値サイズと比較することに基づいて、前記複数の色セグメントの色セグメント群を決定する手段と;
前記色セグメント群に対する第1の因子と第2の因子の比を計算する手段であって、前記色セグメント群の個別色セグメントに対する第1の因子は、該個別色セグメントにおける閉塞画素でない信頼画素の数に基づいて計算され、前記個別色セグメントに対する第2の因子は、該個別色セグメントにおける閉塞画素でない全画素に基づいて計算される、前記計算する手段と;
前記比と閾値比の比較に基づいて、前記色セグメント群の1つ又は複数の色セグメントを1つ又は複数の無限遠領域として分類する手段
を備える、請求項44に記載の装置。 - 前記色セグメント群の色セグメントを前記1つ又は複数の無限遠領域の中の無限遠領域として分類する手段は、
前記色セグメントの比を前記閾値比と比較する手段と;
次のこと:
前記比が前記閾値比未満の場合、前記色セグメント群の色セグメントを無限遠領域と分類する;
前記比が前記閾値比以上の場合、前記色セグメント群の色セグメントを閉塞穴部と分類する
の何れかを実行する手段
を備える、請求項45に記載の装置。 - 前記第1の画像の画素に対するフィルタ視差値は、ツリーベース集計法に基づいて決定される、請求項40から46の何れかに記載の装置。
- 前記第1の画像の画素に対するフィルタ視差値は、次の式:
に基づいて決定される、ただし、dp は前記第1の画像の画素pに対するフィルタ視差値、dq は前記第1の画像の画素qに対する視差値、D(p,q) は前記第1のセグメントツリーにおける画素pと画素qの間の距離、bq は信頼マップに関連する画素qの2進値、Npは画素pに対する正規化項、σは定数である、請求項41から47の何れかに記載の装置。 - 前記第1の画像の画素に対するフィルタ視差値は、全画像ガイド付きフィルタリング法に基づいて決定される、請求項40から46の何れかに記載の装置。
- 前記所定の視差値はゼロ視差値である、請求項40から49の何れかに記載の装置。
- 前記第1の画像及び前記第2の画像は、前記風景の立体画像対である、請求項40から50の何れかに記載の装置。
- コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令は、装置により実行されると該装置に:
第1の画像及び第2の画像の受取りを進めることであって、前記第1の画像及び第2の画像は風景に関連している、前記進めることと;
複数の視差値に対して前記第1の画像の画素に関連する第1の総コストボリュームを決定し、前記複数の視差値に対して前記第2の画像の画素に関連する第2の総コストボリュームを決定することと;
前記第1の総コストボリュームに基づいて、前記第1の画像の第1の視差マップを作成し、前記第2の総コストボリュームに基づいて、前記第2の画像の第2の視差マップを作成することと;
前記第1の総コストボリュームに基づいて、前記第1の視差マップにおける前記第1の画像の画素の視差値に対する信頼マップを作成することであって、前記信頼マップは、前記第1の画像の画素から信頼画素群を表わす、前記作成することと;
前記第1の画像の複数の色セグメント及び前記複数の色セグメントにおける信頼画素数に少なくとも基づいて、前記第1の画像の1つ又は複数の無限遠領域を決定することと;
前記第1の画像の画素に対するフィルタ視差値を決定することで、前記第1の視差マップに基づいて第3の視差マップを作成することであって、前記第1の画像の1つ又は複数の無限遠領域の画素に対するフィルタ視差値は、所定の視差値として決定される、前記作成すること
を実行させる、コンピュータプログラム。 - 添付図面を参照して実質的に本明細書に記載される装置。
- 添付図面を参照して実質的に本明細書に記載される方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN1083CH2014 | 2014-03-03 | ||
IN1083/CHE/2014 | 2014-03-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015173441A true JP2015173441A (ja) | 2015-10-01 |
JP5996013B2 JP5996013B2 (ja) | 2016-09-21 |
Family
ID=54260490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015029217A Active JP5996013B2 (ja) | 2014-03-03 | 2015-02-18 | 立体画像の視差マップ推定のための方法,装置及びコンピュータプログラム製品 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9390508B2 (ja) |
EP (1) | EP2916291B1 (ja) |
JP (1) | JP5996013B2 (ja) |
CN (1) | CN104902254B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101854048B1 (ko) * | 2016-11-25 | 2018-05-02 | 연세대학교 산학협력단 | 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치 |
US10382684B2 (en) | 2015-08-20 | 2019-08-13 | Kabushiki Kaisha Toshiba | Image processing apparatus and image capturing apparatus |
US10785412B2 (en) | 2015-08-20 | 2020-09-22 | Kabushiki Kaisha Toshiba | Image processing apparatus and image capturing apparatus |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10210624B2 (en) | 2014-12-09 | 2019-02-19 | Inuitive Ltd. | Method for determining depth for stereoscopic reconstruction of three dimensional images |
US10586345B2 (en) * | 2015-05-17 | 2020-03-10 | Inuitive Ltd. | Method for estimating aggregation results for generating three dimensional images |
US9626590B2 (en) * | 2015-09-18 | 2017-04-18 | Qualcomm Incorporated | Fast cost aggregation for dense stereo matching |
WO2017051407A1 (en) | 2015-09-21 | 2017-03-30 | Inuitive Ltd. | Storing data retrieved from different sensors for generating a 3-d image |
CN105681776B (zh) * | 2016-01-13 | 2017-12-08 | 深圳市奥拓电子股份有限公司 | 一种视差图提取的方法和装置 |
EP3264761A1 (en) * | 2016-06-23 | 2018-01-03 | Thomson Licensing | A method and apparatus for creating a pair of stereoscopic images using least one lightfield camera |
WO2018006296A1 (en) * | 2016-07-06 | 2018-01-11 | SZ DJI Technology Co., Ltd. | Systems and methods for stereoscopic imaging |
CN108230346B (zh) * | 2017-03-30 | 2020-09-11 | 北京市商汤科技开发有限公司 | 用于分割图像语义特征的方法和装置、电子设备 |
US11380005B2 (en) * | 2017-05-19 | 2022-07-05 | Movidius Limited | Methods, systems and apparatus to optimize pipeline execution |
CN110889851B (zh) * | 2018-09-11 | 2023-08-01 | 苹果公司 | 针对深度和视差估计的语义分割的稳健用途 |
CN110310320B (zh) * | 2019-07-09 | 2023-07-07 | 南京美基森信息技术有限公司 | 一种双目视觉匹配代价聚合优化方法 |
CN111709977A (zh) * | 2020-03-17 | 2020-09-25 | 北京航空航天大学青岛研究院 | 一种基于自适应单峰立体匹配成本滤波的双目深度学习方法 |
CN111862007B (zh) * | 2020-07-02 | 2021-01-08 | 哈尔滨市科佳通用机电股份有限公司 | 基于方差区域分割的货车制动缸倾斜检测方法 |
US11861859B2 (en) | 2020-08-14 | 2024-01-02 | Samsung Electronics Co., Ltd | System and method for disparity estimation based on cost-volume attention |
EP4199850A1 (en) * | 2020-08-19 | 2023-06-28 | Covidien LP | Predicting stereoscopic video with confidence shading from a monocular endoscope |
CN114972450A (zh) * | 2021-02-24 | 2022-08-30 | 嘉楠明芯(北京)科技有限公司 | 图像的立体匹配方法以及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011525769A (ja) * | 2008-06-24 | 2011-09-22 | フランス・テレコム | 少なくとも2つの画像に基づいて推定される深度または視差のマップの遮蔽の領域での充填のための方法および装置 |
JP2011216087A (ja) * | 2010-03-19 | 2011-10-27 | Canon Inc | 情報処理方法及び情報処理装置 |
JP2012253666A (ja) * | 2011-06-06 | 2012-12-20 | Sony Corp | 画像理装置および方法、並びにプログラム |
WO2013073167A1 (ja) * | 2011-11-17 | 2013-05-23 | パナソニック株式会社 | 画像処理装置、撮像装置および画像処理方法 |
JP2014504462A (ja) * | 2010-11-10 | 2014-02-20 | サムスン エレクトロニクス カンパニー リミテッド | 映像変換装置およびそれを利用するディスプレイ装置とその方法 |
JP2015503253A (ja) * | 2011-10-10 | 2015-01-29 | コーニンクレッカ フィリップス エヌ ヴェ | 深度マップの処理 |
JP2015503258A (ja) * | 2011-11-01 | 2015-01-29 | コーニンクレッカ フィリップス エヌ ヴェ | 突出ベース視差マッピング |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5917937A (en) | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
US7330593B2 (en) * | 2004-06-25 | 2008-02-12 | Stmicroelectronics, Inc. | Segment based image matching method and system |
JP5156837B2 (ja) | 2007-11-09 | 2013-03-06 | トムソン ライセンシング | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 |
RU2419880C2 (ru) | 2008-11-14 | 2011-05-27 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ и устройство для вычисления и фильтрации карты диспарантности на основе стерео изображений |
US9142026B2 (en) | 2010-02-26 | 2015-09-22 | Thomson Licensing | Confidence map, method for generating the same and method for refining a disparity map |
WO2012177166A1 (en) | 2011-06-24 | 2012-12-27 | Intel Corporation | An efficient approach to estimate disparity map |
US9342916B2 (en) | 2011-12-30 | 2016-05-17 | Intel Corporation | Coarse-to-fine multple disparity candidate stereo matching |
CN103366354B (zh) | 2012-03-27 | 2016-09-07 | 富士通株式会社 | 用于立体匹配的方法和系统 |
US20140009462A1 (en) * | 2012-04-17 | 2014-01-09 | 3Dmedia Corporation | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects |
-
2015
- 2015-02-09 US US14/617,348 patent/US9390508B2/en active Active
- 2015-02-16 EP EP15155166.0A patent/EP2916291B1/en active Active
- 2015-02-18 JP JP2015029217A patent/JP5996013B2/ja active Active
- 2015-03-02 CN CN201510093118.8A patent/CN104902254B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011525769A (ja) * | 2008-06-24 | 2011-09-22 | フランス・テレコム | 少なくとも2つの画像に基づいて推定される深度または視差のマップの遮蔽の領域での充填のための方法および装置 |
JP2011216087A (ja) * | 2010-03-19 | 2011-10-27 | Canon Inc | 情報処理方法及び情報処理装置 |
JP2014504462A (ja) * | 2010-11-10 | 2014-02-20 | サムスン エレクトロニクス カンパニー リミテッド | 映像変換装置およびそれを利用するディスプレイ装置とその方法 |
JP2012253666A (ja) * | 2011-06-06 | 2012-12-20 | Sony Corp | 画像理装置および方法、並びにプログラム |
JP2015503253A (ja) * | 2011-10-10 | 2015-01-29 | コーニンクレッカ フィリップス エヌ ヴェ | 深度マップの処理 |
JP2015503258A (ja) * | 2011-11-01 | 2015-01-29 | コーニンクレッカ フィリップス エヌ ヴェ | 突出ベース視差マッピング |
WO2013073167A1 (ja) * | 2011-11-17 | 2013-05-23 | パナソニック株式会社 | 画像処理装置、撮像装置および画像処理方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10382684B2 (en) | 2015-08-20 | 2019-08-13 | Kabushiki Kaisha Toshiba | Image processing apparatus and image capturing apparatus |
US10785412B2 (en) | 2015-08-20 | 2020-09-22 | Kabushiki Kaisha Toshiba | Image processing apparatus and image capturing apparatus |
KR101854048B1 (ko) * | 2016-11-25 | 2018-05-02 | 연세대학교 산학협력단 | 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
CN104902254B (zh) | 2017-07-07 |
EP2916291A1 (en) | 2015-09-09 |
US9390508B2 (en) | 2016-07-12 |
US20150248769A1 (en) | 2015-09-03 |
EP2916291B1 (en) | 2018-04-04 |
CN104902254A (zh) | 2015-09-09 |
JP5996013B2 (ja) | 2016-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5996013B2 (ja) | 立体画像の視差マップ推定のための方法,装置及びコンピュータプログラム製品 | |
JP6154075B2 (ja) | オブジェクト検出及び分割の方法,装置,コンピュータプログラム製品 | |
US9542750B2 (en) | Method, apparatus and computer program product for depth estimation of stereo images | |
US9692959B2 (en) | Image processing apparatus and method | |
TWI808987B (zh) | 將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法 | |
EP2947627B1 (en) | Light field image depth estimation | |
EP2874395A2 (en) | Method, apparatus and computer program product for disparity estimation | |
US9478036B2 (en) | Method, apparatus and computer program product for disparity estimation of plenoptic images | |
WO2015121535A1 (en) | Method, apparatus and computer program product for image-driven cost volume aggregation | |
US9412175B2 (en) | Method, apparatus and computer program product for image segmentation | |
JP2018505571A (ja) | 画像圧縮方法・装置及びサーバー | |
EP4064123A1 (en) | Text recognition method and apparatus | |
US20150332472A1 (en) | Method, apparatus and computer program product for disparity estimation in images | |
US9489741B2 (en) | Method, apparatus and computer program product for disparity estimation of foreground objects in images | |
JP6155349B2 (ja) | デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品 | |
US10097807B2 (en) | Method, apparatus and computer program product for blending multimedia content | |
EP3023932A1 (en) | Method and device for correction of depth values in a depth map |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20151112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5996013 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |