JP2015536057A - 画像処理装置、方法及びコンピュータプログラム - Google Patents
画像処理装置、方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2015536057A JP2015536057A JP2015530465A JP2015530465A JP2015536057A JP 2015536057 A JP2015536057 A JP 2015536057A JP 2015530465 A JP2015530465 A JP 2015530465A JP 2015530465 A JP2015530465 A JP 2015530465A JP 2015536057 A JP2015536057 A JP 2015536057A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- map
- filtered
- computer program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
Description
入力画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するステップと、を含む方法が提供される。
入力画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施するように構成される。
入力画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施するコンピュータプログラム製品が提供される。
画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするように適合されたダウンサンプラと、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定するように適合された視差推定器と、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するように適合された信頼度推定器と、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するように適合されたフィルタであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、フィルタと、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するよう適合された視差分布推定器と、を備える装置が提供される。
画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングする手段と、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定する手段と、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定する手段と、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得する手段であって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、手段と、
フィルタリングされた視差画像及びフィルタリングされた信頼度マップから前記画像ペアの視差分布を推定する手段と、を備える装置が提供される。
(ただしrは探索ウィンドウのサイズ)
1.符号化された奥行きビュー成分内の各輝度サンプル値が、実世界の距離(Z)値の逆数、すなわち1/Zが輝度サンプルのダイナミックレンジ(8ビット輝度表現の場合は0から255の範囲)に正規化されたものを表す。
2.符号化された奥行きビュー成分内の各輝度サンプル値が、実世界の距離(Z)値の逆数、すなわち1/Zが、マッピング関数f(1/Z)又は区分的線形マッピングなどのテーブルを用いて輝度サンプルのダイナミックレンジ(8ビット輝度表現の場合は0から255の範囲)にマップされたものを表す。言い換えれば、奥行きマップ値に関数f(1/Z)を適用した結果となる。
3.符号化された奥行きビュー成分内の各輝度サンプル値が、実世界の距離(Z)値が輝度サンプルのダイナミックレンジ(8ビット輝度表現の場合は0から255の範囲)に正規化されたものを表す。
4.符号化された奥行きビュー成分内の各輝度サンプル値が、現在の奥行きビューから別の指定又は導出された奥行きビュー又はビュー位置までの視差又はパララックス値を表す。
入力画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定するステップと、を含む方法が提供される。
少なくとも1つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも1つのサンプル値範囲をエンコードするステップをさらに含む。
少なくとも1つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも1つのサンプル値量子化レベル又はサンプル値量子化ステップサイズをエンコードするステップをさらに含む。
入力画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施するように構成される。
線形計算複雑性視差推定を1つ以上の入力パラメータの関数として適用することによって計算複雑性を制御し、
1つ以上の入力パラメータの値を決定する。
ユーザがディスプレイを用いて通信デバイスの少なくとも1つの機能を容易に制御できるように構成され、ユーザ入力に応答するようにさらに構成された、ユーザインタフェース回路及びユーザインタフェースソフトウェアと、
通信デバイスのユーザインタフェースの少なくとも一部を表示するように構成されたディスプレイ回路であって、ユーザが通信デバイスの少なくとも1つの機能を容易に制御できるように構成されたディスプレイ及びディスプレイ回路と、を備える。
入力画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、ステップと、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施する、コンピュータプログラムが提供される。
線形計算複雑性視差推定を1つ以上の入力パラメータの関数として適用することによって計算複雑性を制御し、
1つ以上の入力パラメータの値を決定する。
画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするように適合されたダウンサンプラと、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定するように適合された視差推定器と、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するように適合された信頼度推定器と、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するように適合されたフィルタであって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、フィルタと、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定するように適合された視差分布推定器と、を備える装置が提供される。
画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングする手段と、
少なくとも第1の画像の画素のサブセットと少なくとも第2の画像の画素のサブセットとの間の視差を視差画像内に推定する手段と、
少なくとも視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定する手段と、
視差画像及び信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得する手段であって、前記画素位置のフィルタリングが画素位置の空間的近傍を用いる、手段と、
フィルタリングされた視差画像及び信頼度マップから前記画像ペアの視差分布を推定する手段と、を備える装置が提供される。
Claims (43)
- 入力画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも前記第1の画像の画素のサブセットと少なくとも前記第2の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも前記視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
前記視差画像及び前記信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
前記フィルタリングされた視差画像及び前記フィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するステップと、を含む方法。 - 視差ヒストグラムに基づいて前記視差分布を推定するステップをさらに含む、請求項1に記載の方法。
- 推定視差分布の閾値に基づいて少なくとも1つの視差制限値を推定するステップをさらに含む、請求項1又は2に記載の方法。
- 奥行き推定において前記少なくとも1つの視差制限値を用いるステップをさらに含む、請求項3に記載の方法。
- 前記方法の計算複雑性を制御するステップをさらに含む、請求項1から4のいずれか一項に記載の方法。
- 前記計算複雑性を制御するステップが複雑性制限値を定義するステップを含む、請求項5に記載の方法。
- 少なくともダウンサンプリング比を調整することによって前記計算複雑性を制御するステップをさらに含む、請求項6に記載の方法。
- 線形計算複雑性視差推定を1つ以上の入力パラメータの関数として適用することによって前記計算複雑性を制御するステップと、前記1つ以上の入力パラメータの値を決定するステップと、をさらに含む、請求項6又は7に記載の方法。
- 前記1つ以上の入力パラメータが画像サイズ、ウィンドウサイズ、及び/又は予め利用可能な視差範囲である、請求項5に記載の方法。
- ビデオエンコードにおいて前記少なくとも1つの視差制限値を用いるステップをさらに含む、請求項3に記載の方法。
- 前記少なくとも1つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも1つのサンプル値範囲をエンコードするステップをさらに含む、請求項10に記載の方法。
- 前記少なくとも1つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも1つのサンプル値量子化レベル又はサンプル値量子化ステップサイズをエンコードするステップをさらに含む、請求項10又は11に記載の方法。
- 少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリと、を備える装置であって、前記少なくとも1つのメモリ及び前記コンピュータプログラムコードが前記少なくとも1つのプロセッサと共に用いられた場合、前記装置が少なくとも、
入力画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも前記第1の画像の画素のサブセットと少なくとも前記第2の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも前記視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
前記視差画像及び前記信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
前記フィルタリングされた視差画像及び前記フィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施するように構成された装置。 - 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、視差ヒストグラムに基づいて前記視差分布を推定する、請求項13に記載の装置。
- 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、推定視差分布の閾値に基づいて少なくとも1つの視差制限値を推定する、請求項13又は14に記載の装置。
- 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、奥行き推定において前記少なくとも1つの視差制限値を用いる、請求項15に記載の装置。
- 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、前記方法の計算複雑性を制御する、請求項13から16のいずれか一項に記載の装置。
- 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、複雑性制限値を定義する、請求項17に記載の装置。
- 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、少なくともダウンサンプリング比を調整する、請求項18に記載の装置。
- 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、
線形計算複雑性視差推定を1つ以上の入力パラメータの関数として適用することによって前記計算複雑性を制御し、
前記1つ以上の入力パラメータの値を決定する、請求項18又は19に記載の装置。 - 前記1つ以上の入力パラメータが画像サイズ、ウィンドウサイズ、及び/又は予め利用可能な視差範囲である、請求項17に記載の装置。
- 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、ビデオエンコードにおいて前記少なくとも1つの視差制限値を用いる、請求項15に記載の装置。
- 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、前記少なくとも1つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも1つのサンプル値範囲を符号化する、請求項22に記載の装置。
- 前記少なくとも1つのメモリに記憶されたコードが前記少なくとも1つのプロセッサによって実行されたとき、前記装置がさらに、前記少なくとも1つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも1つのサンプル値量子化レベル又はサンプル値量子化ステップサイズを符号化する、請求項22又は23に記載の装置。
- 通信デバイスを備える、請求項13から24に記載の装置であって、前記通信デバイスが、
ユーザがディスプレイを用いて前記通信デバイスの少なくとも1つの機能を容易に制御できるように構成され、ユーザ入力に応答するようにさらに構成された、ユーザインタフェース回路及びユーザインタフェースソフトウェアと、
前記通信デバイスのユーザインタフェースの少なくとも一部を表示するように構成されたディスプレイ回路であって、ユーザが前記通信デバイスの少なくとも1つの機能を容易に制御できるように構成された前記ディスプレイ及びディスプレイ回路と、を備える装置。 - 前記通信デバイスが携帯電話を備える、請求項25に記載の装置。
- 1つ以上の命令から成る1つ以上のシーケンスを含むコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、装置が少なくとも、
入力画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするステップと、
少なくとも前記第1の画像の画素のサブセットと少なくとも前記第2の画像の画素のサブセットとの間の視差を視差画像内に推定するステップと、
少なくとも前記視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するステップと、
前記視差画像及び前記信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するステップであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、ステップと、
前記フィルタリングされた視差画像及び前記フィルタリングされた信頼度マップから前記画像ペアの視差分布を推定するステップと、を実施する、コンピュータプログラム。 - 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項27に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置が視差ヒストグラムに基づいて前記視差分布を推定する、コンピュータプログラム。
- 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項27又は28に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置が推定視差分布の閾値に基づいて少なくとも1つの視差制限値を推定する、コンピュータプログラム。
- 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項29に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置が奥行き推定において前記少なくとも1つの視差制限値を用いる、コンピュータプログラム。
- 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項27から30のいずれか一項に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置が前記方法の計算複雑性を制御する、コンピュータプログラム。
- 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項31に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置が複雑性制限値を定義する、コンピュータプログラム。
- 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項32に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置が少なくともダウンサンプリング比を調整する、コンピュータプログラム。
- 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項32又は33に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置が、
線形計算複雑性視差推定を1つ以上の入力パラメータの関数として適用することによって前記計算複雑性を制御し、
前記1つ以上の入力パラメータの値を決定する、コンピュータプログラム。 - 前記1つ以上の入力パラメータが画像サイズ、ウィンドウサイズ、及び/又は予め利用可能な視差範囲である、請求項31に記載のコンピュータプログラム。
- 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項29に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置がビデオエンコードにおいて前記少なくとも1つの視差制限値を用いる、コンピュータプログラム。
- 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項36に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置が前記少なくとも1つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも1つのサンプル値範囲を符号化する、コンピュータプログラム。
- 1つ以上の命令から成る1つ以上のシーケンスを含む、請求項36又は37に記載のコンピュータプログラムであって、前記1つ以上のシーケンスが1つ以上のプロセッサによって実行されたとき、前記装置が前記少なくとも1つの視差制限値に基づいて、奥行き図又は視差図に示された少なくとも1つのサンプル値量子化レベル又はサンプル値量子化ステップサイズを符号化する、コンピュータプログラム。
- コンピュータ可読メモリ内に含まれる、請求項27から38のいずれか一項に記載のコンピュータプログラム。
- 前記コンピュータ可読メモリが不揮発性コンピュータ可読記憶媒体を備える、請求項39に記載のコンピュータプログラム。
- 画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングするように適合されたダウンサンプラと、
少なくとも前記第1の画像の画素のサブセットと少なくとも前記第2の画像の画素のサブセットとの間の視差を視差画像内に推定するように適合された視差推定器と、
少なくとも前記視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定するように適合された信頼度推定器と、
前記視差画像及び前記信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得するように適合されたフィルタであって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、フィルタと、
前記フィルタリングされた視差画像及び前記フィルタリングされた信頼度マップから前記画像ペアの視差分布を推定する視差分布推定器と、を備える装置。 - 画像ペアを第1の画像及び第2の画像の低解像度ペアにダウンサンプリングする手段と、
少なくとも前記第1の画像の画素のサブセットと少なくとも前記第2の画像の画素のサブセットとの間の視差を視差画像内に推定する手段と、
少なくとも前記視差画像の画素のサブセットに対する前記視差推定の信頼度を信頼度マップ内に推定する手段と、
前記視差画像及び前記信頼度マップをフィルタリングして、フィルタリングされた視差画像及びフィルタリングされた信頼度マップを取得する手段であって、前記フィルタリングが、フィルタリングされる画素の画素位置の空間的近傍を用いる、手段と、
前記フィルタリングされた視差画像及び前記フィルタリングされた信頼度マップから前記画像ペアの視差分布を推定する手段と、を備える装置。 - 請求項1から12のいずれか一項に記載の方法を実施する手段を備える装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/FI2012/050861 WO2014037603A1 (en) | 2012-09-06 | 2012-09-06 | An apparatus, a method and a computer program for image processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015536057A true JP2015536057A (ja) | 2015-12-17 |
JP6158929B2 JP6158929B2 (ja) | 2017-07-05 |
Family
ID=49111022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015530465A Expired - Fee Related JP6158929B2 (ja) | 2012-09-06 | 2012-09-06 | 画像処理装置、方法及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140063188A1 (ja) |
EP (1) | EP2706504A3 (ja) |
JP (1) | JP6158929B2 (ja) |
CN (1) | CN104662896B (ja) |
WO (1) | WO2014037603A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101763376B1 (ko) | 2016-03-11 | 2017-07-31 | 광주과학기술원 | 신뢰 기반 재귀적 깊이 영상 필터링 방법 |
JP2018018425A (ja) * | 2016-07-29 | 2018-02-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
WO2018037479A1 (ja) * | 2016-08-23 | 2018-03-01 | 株式会社日立製作所 | 画像処理装置、ステレオカメラ装置及び画像処理方法 |
JP2018078496A (ja) * | 2016-11-10 | 2018-05-17 | 株式会社金子製作所 | 三次元動画像表示処理装置、動画情報記録媒体、動画情報提供サーバ、並びにプログラム |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8983121B2 (en) * | 2010-10-27 | 2015-03-17 | Samsung Techwin Co., Ltd. | Image processing apparatus and method thereof |
AU2013263760A1 (en) * | 2013-11-28 | 2015-06-11 | Canon Kabushiki Kaisha | Method, system and apparatus for determining a depth value of a pixel |
US9536351B1 (en) * | 2014-02-03 | 2017-01-03 | Bentley Systems, Incorporated | Third person view augmented reality |
EP2916290A1 (en) * | 2014-03-07 | 2015-09-09 | Thomson Licensing | Method and apparatus for disparity estimation |
JP6589313B2 (ja) * | 2014-04-11 | 2019-10-16 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
US9712807B2 (en) * | 2014-09-08 | 2017-07-18 | Intel Corporation | Disparity determination for images from an array of disparate image sensors |
US9674505B2 (en) * | 2014-12-09 | 2017-06-06 | Intel Corporation | Disparity search range determination for images from an image sensor array |
US9965861B2 (en) * | 2014-12-29 | 2018-05-08 | Intel Corporation | Method and system of feature matching for multiple images |
US10019657B2 (en) * | 2015-05-28 | 2018-07-10 | Adobe Systems Incorporated | Joint depth estimation and semantic segmentation from a single image |
US10097805B2 (en) | 2015-10-13 | 2018-10-09 | Apple Inc. | Multi-image color refinement with application to disparity estimation |
US10554956B2 (en) * | 2015-10-29 | 2020-02-04 | Dell Products, Lp | Depth masks for image segmentation for depth-based computational photography |
EP3313077B1 (en) * | 2015-11-05 | 2019-09-25 | Axis AB | A method and apparatus for controlling a degree of compression of a digital image |
US10404970B2 (en) | 2015-11-16 | 2019-09-03 | Intel Corporation | Disparity search range compression |
CN106228597A (zh) * | 2016-08-31 | 2016-12-14 | 上海交通大学 | 一种基于深度分层的图像景深效果渲染方法 |
EP3358844A1 (en) * | 2017-02-07 | 2018-08-08 | Koninklijke Philips N.V. | Method and apparatus for processing an image property map |
CN110998660B (zh) * | 2017-05-19 | 2024-04-26 | 莫维迪乌斯有限公司 | 用于优化流水线执行的方法、系统和装置 |
US10805514B2 (en) * | 2017-05-25 | 2020-10-13 | Eys3D Microelectronics, Co. | Image processor and related image system |
US10554957B2 (en) * | 2017-06-04 | 2020-02-04 | Google Llc | Learning-based matching for active stereo systems |
KR102455632B1 (ko) * | 2017-09-14 | 2022-10-17 | 삼성전자주식회사 | 스테레오 매칭 방법 및 장치 |
US10841558B2 (en) * | 2017-11-17 | 2020-11-17 | Omnivision Technologies, Inc. | Aligning two images by matching their feature points |
KR102459853B1 (ko) * | 2017-11-23 | 2022-10-27 | 삼성전자주식회사 | 디스패리티 추정 장치 및 방법 |
CN108734776B (zh) * | 2018-05-23 | 2022-03-25 | 四川川大智胜软件股份有限公司 | 一种基于散斑的三维人脸重建方法及设备 |
US10878590B2 (en) * | 2018-05-25 | 2020-12-29 | Microsoft Technology Licensing, Llc | Fusing disparity proposals in stereo matching |
CN109191512B (zh) * | 2018-07-27 | 2020-10-30 | 深圳市商汤科技有限公司 | 双目图像的深度估计方法及装置、设备、程序及介质 |
CN109325513B (zh) * | 2018-08-01 | 2021-06-25 | 中国计量大学 | 一种基于海量单类单幅图像的图像分类网络训练方法 |
CN109191506B (zh) * | 2018-08-06 | 2021-01-29 | 深圳看到科技有限公司 | 深度图的处理方法、系统及计算机可读存储介质 |
CN110910438B (zh) * | 2018-09-17 | 2022-03-22 | 中国科学院沈阳自动化研究所 | 一种超高分辨率双目图像的高速立体匹配算法 |
US10930054B2 (en) * | 2019-06-18 | 2021-02-23 | Intel Corporation | Method and system of robust virtual view generation between camera views |
CN114450713A (zh) * | 2019-09-25 | 2022-05-06 | 索尼集团公司 | 信息处理装置、视频生成方法和程序 |
KR20210056540A (ko) * | 2019-11-11 | 2021-05-20 | 삼성전자주식회사 | 디스패리티 이미지를 생성하는 알고리즘 갱신 방법 및 장치 |
US11481914B2 (en) * | 2020-05-13 | 2022-10-25 | Microsoft Technology Licensing, Llc | Systems and methods for low compute depth map generation |
US11488318B2 (en) * | 2020-05-13 | 2022-11-01 | Microsoft Technology Licensing, Llc | Systems and methods for temporally consistent depth map generation |
EP4199850A1 (en) * | 2020-08-19 | 2023-06-28 | Covidien LP | Predicting stereoscopic video with confidence shading from a monocular endoscope |
CN112633096A (zh) * | 2020-12-14 | 2021-04-09 | 深圳云天励飞技术股份有限公司 | 客流的监测方法、装置、电子设备及存储介质 |
WO2022183358A1 (zh) | 2021-03-02 | 2022-09-09 | 京东方科技集团股份有限公司 | 视频图像去交错方法和视频图像去交错装置 |
US20240031540A1 (en) * | 2022-07-21 | 2024-01-25 | Apple Inc. | Foveated down sampling of image data |
CN116701707B (zh) * | 2023-08-08 | 2023-11-10 | 成都市青羊大数据有限责任公司 | 一种教育大数据管理系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07240943A (ja) * | 1994-02-25 | 1995-09-12 | Sanyo Electric Co Ltd | ステレオ画像符号化方法 |
WO2000027131A2 (en) * | 1998-10-30 | 2000-05-11 | C3D Limited | Improved methods and apparatus for 3-d imaging |
WO2011013030A1 (en) * | 2009-07-27 | 2011-02-03 | Koninklijke Philips Electronics N.V. | Combining 3d video and auxiliary data |
US20110280311A1 (en) * | 2010-05-13 | 2011-11-17 | Qualcomm Incorporated | One-stream coding for asymmetric stereo video |
US20110292178A1 (en) * | 2010-05-28 | 2011-12-01 | Qualcomm Incorporated | Three-dimensional image processing |
EP2466903A2 (en) * | 2010-12-14 | 2012-06-20 | Vestel Elektronik Sanayi ve Ticaret A.S. | A method and device for disparity range detection |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2356818B1 (en) * | 2008-12-01 | 2016-04-13 | Imax Corporation | Methods and systems for presenting three-dimensional motion pictures with content adaptive information |
KR101650702B1 (ko) * | 2008-12-19 | 2016-08-24 | 코닌클리케 필립스 엔.브이. | 이미지들로부터의 깊이 맵들의 생성 |
ES2578022T3 (es) * | 2009-02-17 | 2016-07-20 | Koninklijke Philips N.V. | Combinación de datos de imágenes 3D y gráficos |
WO2011080892A1 (ja) * | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | ステレオ画像符号化装置、方法 |
US9142026B2 (en) * | 2010-02-26 | 2015-09-22 | Thomson Licensing | Confidence map, method for generating the same and method for refining a disparity map |
JP2013521686A (ja) * | 2010-03-05 | 2013-06-10 | ソニー株式会社 | 3dtvのための視差分布推定 |
KR20110124473A (ko) * | 2010-05-11 | 2011-11-17 | 삼성전자주식회사 | 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법 |
US20110304618A1 (en) * | 2010-06-14 | 2011-12-15 | Qualcomm Incorporated | Calculating disparity for three-dimensional images |
US20120062548A1 (en) * | 2010-09-14 | 2012-03-15 | Sharp Laboratories Of America, Inc. | Reducing viewing discomfort |
WO2012084277A1 (en) * | 2010-12-22 | 2012-06-28 | Thomson Licensing | Apparatus and method for determining a disparity estimate |
GB2489202B (en) * | 2011-03-11 | 2016-06-29 | Snell Ltd | Analysis of stereoscopic images |
US9560334B2 (en) * | 2011-09-08 | 2017-01-31 | Qualcomm Incorporated | Methods and apparatus for improved cropping of a stereoscopic image pair |
-
2012
- 2012-09-06 CN CN201280075646.5A patent/CN104662896B/zh active Active
- 2012-09-06 WO PCT/FI2012/050861 patent/WO2014037603A1/en active Application Filing
- 2012-09-06 JP JP2015530465A patent/JP6158929B2/ja not_active Expired - Fee Related
-
2013
- 2013-08-27 US US14/010,988 patent/US20140063188A1/en not_active Abandoned
- 2013-09-03 EP EP13182719.8A patent/EP2706504A3/en not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07240943A (ja) * | 1994-02-25 | 1995-09-12 | Sanyo Electric Co Ltd | ステレオ画像符号化方法 |
WO2000027131A2 (en) * | 1998-10-30 | 2000-05-11 | C3D Limited | Improved methods and apparatus for 3-d imaging |
WO2011013030A1 (en) * | 2009-07-27 | 2011-02-03 | Koninklijke Philips Electronics N.V. | Combining 3d video and auxiliary data |
US20120120200A1 (en) * | 2009-07-27 | 2012-05-17 | Koninklijke Philips Electronics N.V. | Combining 3d video and auxiliary data |
US20110280311A1 (en) * | 2010-05-13 | 2011-11-17 | Qualcomm Incorporated | One-stream coding for asymmetric stereo video |
WO2011143599A1 (en) * | 2010-05-13 | 2011-11-17 | Qualcomm Incorporated | Frame packing for asymmetric stereo video |
US20110292178A1 (en) * | 2010-05-28 | 2011-12-01 | Qualcomm Incorporated | Three-dimensional image processing |
EP2466903A2 (en) * | 2010-12-14 | 2012-06-20 | Vestel Elektronik Sanayi ve Ticaret A.S. | A method and device for disparity range detection |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101763376B1 (ko) | 2016-03-11 | 2017-07-31 | 광주과학기술원 | 신뢰 기반 재귀적 깊이 영상 필터링 방법 |
JP2018018425A (ja) * | 2016-07-29 | 2018-02-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US10410329B2 (en) | 2016-07-29 | 2019-09-10 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer readable storage medium |
WO2018037479A1 (ja) * | 2016-08-23 | 2018-03-01 | 株式会社日立製作所 | 画像処理装置、ステレオカメラ装置及び画像処理方法 |
JPWO2018037479A1 (ja) * | 2016-08-23 | 2019-03-22 | 株式会社日立製作所 | 画像処理装置、ステレオカメラ装置及び画像処理方法 |
JP2018078496A (ja) * | 2016-11-10 | 2018-05-17 | 株式会社金子製作所 | 三次元動画像表示処理装置、動画情報記録媒体、動画情報提供サーバ、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20140063188A1 (en) | 2014-03-06 |
JP6158929B2 (ja) | 2017-07-05 |
EP2706504A2 (en) | 2014-03-12 |
CN104662896B (zh) | 2017-11-28 |
WO2014037603A1 (en) | 2014-03-13 |
CN104662896A (zh) | 2015-05-27 |
EP2706504A3 (en) | 2017-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6158929B2 (ja) | 画像処理装置、方法及びコンピュータプログラム | |
US9525858B2 (en) | Depth or disparity map upscaling | |
CN103250184B (zh) | 基于全局运动的深度估计 | |
US9185388B2 (en) | Methods, systems, and computer program products for creating three-dimensional video sequences | |
WO2019076503A1 (en) | APPARATUS, METHOD AND COMPUTER PROGRAM FOR ENCODING VOLUMETRIC VIDEO | |
US9736498B2 (en) | Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding | |
CN108886598A (zh) | 全景立体视频系统的压缩方法和装置 | |
KR20170140187A (ko) | 깊이 정보를 이용한 완전 시차 압축 광 필드 합성을 위한 방법 | |
US10244259B2 (en) | Method and apparatus of disparity vector derivation for three-dimensional video coding | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
US8947506B2 (en) | Method and system for utilizing depth information for generating 3D maps | |
US10616548B2 (en) | Method and apparatus for processing video information | |
Shih et al. | A depth refinement algorithm for multi-view video synthesis | |
US9787980B2 (en) | Auxiliary information map upsampling | |
Kim et al. | Photorealistic interactive virtual environment generation using multiview cameras | |
WO2022115119A1 (en) | Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems | |
Chellappa et al. | Academic Press Library in Signal Processing, Volume 6: Image and Video Processing and Analysis and Computer Vision | |
US10783609B2 (en) | Method and apparatus for processing video information | |
Brites et al. | Epipolar plane image based rendering for 3D video coding | |
WO2018211171A1 (en) | An apparatus, a method and a computer program for video coding and decoding | |
EP3267682A1 (en) | Multiview video encoding | |
Lin et al. | 2D-to-3D Video Conversion: Techniques and Applications in 3D Video Communications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6158929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |