JP2021525408A - 画像または音声データの入力データセットペアの変位マップの生成 - Google Patents
画像または音声データの入力データセットペアの変位マップの生成 Download PDFInfo
- Publication number
- JP2021525408A JP2021525408A JP2020561645A JP2020561645A JP2021525408A JP 2021525408 A JP2021525408 A JP 2021525408A JP 2020561645 A JP2020561645 A JP 2020561645A JP 2020561645 A JP2020561645 A JP 2020561645A JP 2021525408 A JP2021525408 A JP 2021525408A
- Authority
- JP
- Japan
- Prior art keywords
- map
- feature map
- displacement
- feature
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 358
- 238000000034 method Methods 0.000 claims abstract description 85
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000000746 purification Methods 0.000 claims description 131
- 239000002131 composite material Substances 0.000 claims description 75
- 230000002123 temporal effect Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 17
- 238000011403 purification operation Methods 0.000 claims description 15
- 230000000052 comparative effect Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 11
- 238000011835 investigation Methods 0.000 claims description 9
- 238000007670 refining Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 8
- 238000013459 approach Methods 0.000 description 54
- 238000012549 training Methods 0.000 description 28
- 239000013598 vector Substances 0.000 description 27
- 238000011176 pooling Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000010076 replication Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009699 differential effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
−ニューラルネットワークに基づく特徴抽出器(25)であって、該抽出器は、特徴マップのベースペアと特徴マップの精製ペアを含む特徴マップ階層(50)を生成するために(特徴マップのペア、つまり図2の同じ水平位置の左と右の特徴マップ、については上を参照)、第1の入力データセットと第2の入力データセット(図2の例の左画像(20a)と右画像(30a))を処理するように適合され、特徴マップの各ペアは特徴マップ階層(50)の1レベルを構成し、特徴マップの精製ペアは少なくとも1つの空間次元及び/又は時間次元の全てにおいて、特徴マップの前記ベースペアよりも粗さが少ない解像度を有する、抽出器(25)と;
−変位ユニット(具体的には、図2の例の視差ユニット(40e))であって、該変位ユニットは、特徴マップ階層(50)の特徴マップのベースペアのための初期変位マップ(図2の実施形態の初期視差マップ、すなわち、上に詳述される左および右の視差マップ(46e)(48e))を生成するために、特徴マップのベースペアの第1の特徴マップを、特徴マップのベースペアの第2の特徴マップとマッチングさせるように適合された、第1のコンパレータユニット(第1のコンパレータユニット(64)(74)は、実施形態の図3に示される)を含む、変位ユニット(40e)と;
−変位精製ユニット(具体的には、図2の例の視差精製ユニット;図2では、3つの視差精製ユニットが示され、すなわち、視差精製ユニット(40b)(40c)(40d))と、を含んでおり、該変位精製ユニットは、
−アップスケーリングユニット(図6の実施形態でアップスケーリングユニット(120)と(130)で、詳細は下を参照)であって、アップスケーリングされた初期変位マップを生成するために、初期変位マップを、少なくとも1つの空間次元及び/又は時間次元の全てにおいて、それぞれのアップスケーリング係数で、特徴マップ階層(50)の特徴マップの精製ペア(図2の例の特徴マップ(20d)(30d))のスケールにアップスケーリングするよう適合され、かつ、初期変位マップの値をそれぞれのアップスケーリング係数で掛けるように適合された、アップスケーリングユニットと、
−変形ユニット(実施形態の変形ユニット(124)(134)は、図6を参照)であって、特徴マップ階層(50)の特徴マップの精製ペア(図2で、特徴マップ(20d)(30d)は初期変位マップをスケーリングするために使用される精製ペアのメンバーである)の第1特徴マップ上のアップスケーリングされた初期変位マップを用いて、変形演算を実施することによって、特徴マップの精製ペアの第1の特徴マップの変形バージョンを生成するように適合された変形ユニットと、
−第2のコンパレータユニット(第2のコンパレータユニット(126)(136)は、図6の実施形態を参照;第1と第2のコンパレータユニットは同じ構造、例えば図5Bに示される選択肢と共に、図5Aに示される構造、を有していても良い)であって、特徴マップの精製ペアの第1の特徴マップの変形バージョンと、特徴マップの精製ペアの第2の特徴マップのための補正変位マップ得るために、特徴マップの精製ペアの第1の特徴マップの変形バージョンを特徴マップの精製ペアの第2の特徴マップとマッチングさせるように適合された、第2のコンパレータユニットと、
−(特徴マップの精製ペアのための)更新変位マップを得るために、補正変位マップとアップスケーリングされた初期変位マップを追加するように適合された追加ユニット(図6の実施形態の追加ユニット(128)(138)を参照)と、を含む。
−特徴マップのベースペアの第1の特徴マップの複数のシフト特徴マップ(図2に示されている特徴マップ(20e)(30e))は、特徴マップのベースペアの第1の特徴マップに複数の異なるシフト(シフトが単一の数値で与えられる場合のシフト/シフト値、またはシフトが複数の座標で与えられる場合のシフト/シフトベクトル)を適用することによって生成され、および
−初期変位マップ(図2において左右の視差マップ(46e)(48e))は、特徴マップのベースペアの第1の特徴マップの複数のシフト特徴マップと特徴マップのベースペアの第2の特徴マップとの間のマッチングを調査することに基づいて、特徴マップのベースペアの第2の特徴マップの各データ要素(ピクセル)位置のための合成シフトを生成することによって得られる(したがって、マッチングに基づいて、合成シフト、すなわち、それぞれのシフトは各ピクセル位置のために得られ、その位置に対応する変位(例えば視差)値を与える)。
−特徴マップの精製ペアの第1の特徴マップの複数のシフト特徴マップ(図2において特徴マップ(20d)(30d))は、特徴マップの精製ペアの第1の特徴マップの変形バージョンに複数の異なるシフトを適用することによって生成され、
−補正変位マップは、特徴マップの精製ペアの第1の特徴マップの複数のシフト特徴マップと特徴マップの精製ペアの第2の特徴マップとの間のマッチングを調査することに基づいて、特徴マップの精製ペアの第2の特徴マップの各データ要素(ピクセル)位置のための合成シフトを生成することによって得られる。
−複数のシフト特徴マップ(82)(ここで、シフト数は、異なるシフトの数である)、および
−参照特徴マップ(80)として機能する他の特徴マップ(すなわち、他の特徴マップは、参照特徴マップの役割を果たす、したがって、以下この名称で呼ばれる)
のマッチングは、以下のステップで実行される:
−第1の中間比較データマップを得るために、参照特徴マップ(80)に第1の比較コンボリューションユニット(84)を適用し、
−複数の第2の中間比較データマップを得るために、複数のシフト特徴マップ(82)のそれぞれに第2の比較コンボリューションユニット(94)を適用し、
−合成比較データマップを得るために、追加演算において、異なるシフトの数に従って複製された(すなわち、上で詳述したように、バーチャルに複製された、または物理的に複製された)第1の中間比較データマップおよび複数の第2の中間比較データマップを追加し、
−少なくとも1つの空間次元及び/又は時間次元の全てにおいて、合成比較データマップの各データ要素に対してそれぞれの合成シフトを生成し、出力変位マップにおける対応データ要素にそれぞれの合成シフトの全てを割り当てる(すなわち、合成比較データマップにおけるデータ要素による)。
−異なるシフト値ごとに複数の変位ビンを確立し、
−変位ビンごとに変位確率を生成し、合成比較データマップに基づいて変位確率を計算し、および
−対応変位確率によってシフト値を重み付けすることで、合成シフトを得る(詳細およびその他のオプションについては、図5Bの説明を参照)。
−変位ユニット(40e)は、特徴マップのベースペアの第1の特徴マップに複数の異なるシフトを適用することによって、特徴マップのベースペアの第1の特徴マップの複数のシフト特徴マップを生成するために適合された第1のシフターユニット(図3の視差ユニット(40e)およびシフターユニット(62)(67))を含み、および
―第1のコンパレータユニット(図3のコンパレータユニット(64)(74))は、特徴マップのベースペアの第1の特徴マップの複数のシフト特徴マップと特徴マップのベースペアの第2の特徴マップとの間のマッチングを調査することに基づいて、特徴マップのベースペアの第2の特徴マップの各データ要素(ピクセル)位置のための合成シフトを生成することによって、初期変位マップを得るために適合される。
を備える。
−変位精製ユニット(図2の視差精製ユニット(40b)(40c)(40d)、またはこれらのうちの1つ以上)は、特徴マップの精製ペアの第1の特徴マップの変形バージョンに複数の異なるシフトを適用することによって、特徴マップの精製ペアの第1の特徴マップの複数のシフト特徴マップを生成するために、適合された第2のシフターユニット(図6のシフターユニット(122)(132))を含み、および
−第2のコンパレータユニット(図6のコンパレータユニット(126)(136))は、特徴マップのベースペアの第1の特徴マップの複数のシフト特徴マップと特徴マップのベースペアの第2の特徴マップとの間のマッチングを調査することに基づいて、特徴マップの精製ペアの第2の特徴マップの各データ要素(ピクセル)位置のための合成シフトを生成することによって、補正変位マップを得るために適合される。
−初期変位マップとして適用するための出力変位マップを生成するための第1のコンパレータユニット、及び/又は補正変位マップとして適用するための出力変位マップを生成するための第2のコンパレータユニットは、
−第1の中間比較データマップを得るために、参照特徴マップ(80)に適用するように適合された第1の比較コンボリューションユニット(84)と、
−複数の第2の中間比較データマップを得るために、複数のシフト特徴マップそれぞれに適用するように適合された第2の比較コンボリューションユニット(94)と、
−合成比較データマップを得るために、異なるシフトの数および複数の第2の中間比較データマップの数に従って(バーチャルにまたは物理的に)複製された第1の中間比較データマップを追加するように、適合された追加ユニット(98)と、
−合成シフト生成ユニット(例えば、図5Bの合成シフト生成ユニット(C2_A)(C2_B)(C2_C)を参照)であって、少なくとも1つの空間次元及び/又は時間次元の全てにおいて、合成比較データマップの各データ要素のそれぞれの合成シフトを生成するように、且つ出力変位マップにおける対応データ要素(すなわち、合成比較データマップにおけるそのデータ要素に従う)にそれぞれの合成シフトの全てを割り当てるように、適合された合成シフト生成ユニットを備える。
−異なる可能なシフト値ごとに複数の変位ビンを確立し、
−変位ビンごとに変位確率を生成し、合成比較データマップに基づいて変位確率を計算し、
−対応変位確率によって可能な変位値を重み付けすることで、合成シフトを得ることによって、合成シフト生成ユニット(合成シフト生成ユニット(C2_B)は実施形態のための例である)により、生成される。
Claims (24)
- 入力データセットペアの第1の入力データセットと第2の入力データセットの変位マップを生成するための方法であって、各入力データセットは少なくとも1つの空間次元及び/又は時間次元を有し、前記方法は、
特徴マップのベースペア(20e)(30e)と特徴マップの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)を含む特徴マップ階層(50)を生成するために、ニューラルネットワークに基づく特徴抽出器(25)によって、第1の入力データセットと第2の入力データセットを処理する工程であって、特徴マップの各ペア(20b)(30b)(20c)(30c)(20d)(30d)(20e)(30e)は特徴マップ階層(50)の1レベルを構成し、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)は少なくとも1つの空間次元及び/又は時間次元の全てにおいて、特徴マップの前記ベースペア(20e)(30e)よりも粗さが少ない解像度を有する、工程と;
特徴マップのベースペア(20e)(30e)の第1の特徴マップを特徴マップのベースペア(20e)(30e)の第2の特徴マップとマッチングさせることに基づいて、特徴マップ階層(50)の特徴マップのベースペア(20e)(30e)のための変位生成演算で初期変位マップを生成する工程と;
変位精製演算で、
アップスケーリングされた初期変位マップを生成するために、前記初期変位マップを、少なくとも1つの空間次元及び/又は時間次元の全てにおいて、それぞれのアップスケーリング係数で、前記特徴マップ階層(50)の特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)のスケールにアップスケーリングする工程、および、前記初期変位マップの前記値を前記それぞれのアップスケーリング係数で掛ける工程と、
特徴マップ階層(50)の特徴マップの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第1の特徴マップ上にあるアップスケーリングされた初期変位マップを用いて、変形演算を実施することによって、特徴マップの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第1の特徴マップの変形バージョンを生成する工程と、
特徴マップの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第1の特徴マップの前記変形バージョン及び特徴マップの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第2の特徴マップのための補正変位マップを得るために、特徴マップの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第1の特徴マップの前記変形バージョンを特徴マップの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第2の特徴マップとマッチングさせる工程であって、更新変位マップを得るために、アップスケーリングされた初期変位マップに補正変位マップを追加する、工程と、
を含む、方法。 - 特徴マップの少なくとも2つの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)は特徴マップ階層(50)に含まれ、ここで、前記特徴マップ階層(50)で特徴マップのベースペア(20e)(30e)に最も近い、特徴マップの第1の精製ペア(20d)(30d)は、特徴マップのベースペア(20e)(30e)よりも粗さが少ない解像度を有し、そして、特徴マップの前記第1の精製ペア(20d)(30d)よりも、前記特徴マップ階層(50)で前記特徴マップの前記ベースペア(20e)(30e)から遠い特徴マップの各連続精製ペア(20b)(30b)(20c)(30c)は、特徴マップの前記各連続精製ペア(20b)(30b)(20c)(30c)よりも、前記特徴マップ階層(50)で特徴マップ(20e)(30e)の前記ベースペアに近い特徴マップの隣接する精製ペア(20d)(30d)よりも粗さが少ない解像度を有し、
前記変位精製演算は、特徴マップの前記第1の精製ペア(20d)(30d)を使用して実行され、そして、それぞれのさらなる精製演算は、特徴マップの各連続する精製ペア(20b)(30b)(20c)(30c)のために実行され、ここで、各さらなる変位精製演算では、特徴マップの前記それぞれの連続する精製ペア(20b)(30b)(20c)(30c)よりも、前記特徴マップ階層(50)で特徴マップの前記ベースペア(20e)(30e)に近い、特徴マップの前記隣接する精製ペア(20d)(30d)のために得られた前記更新変位マップは、それぞれの変位精製演算時におけるアップスケーリング中に、それぞれのアップスケーリング係数で、特徴マップの前記それぞれの連続する精製ペア(20b)(30b)(20c)(30c)の前記スケールへアップスケーリングされる前記初期変位マップとして使用され、そして、前記更新初期変位マップの前記値は前記それぞれのアップスケーリング係数で掛けられる、ことを特徴とする、請求項1に記載の方法。 - 特徴マップの前記ベースペア(20e)(30e)の前記第1の特徴マップの複数のシフト特徴マップ(82)は、特徴マップの前記ベースペア(20e)(30e)の前記第1の特徴マップに、複数の異なるシフトを適用して生成され、
前記初期変位マップは、特徴マップの前記ベースペア(20e)(30e)の前記第1の特徴マップと、特徴マップの前記ベースペア(20e)(30e)の前記第2の特徴マップの、複数のシフト特徴マップ(82)間のマッチングを調査することに基づいて、特徴マップの前記ベースペア(20e)(30e)の前記第2の特徴マップの各データ要素のポジションのための、合成シフトを生成することによって、得られ、
および/または、前記変位精製演算で、
特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第1の特徴マップの複数のシフト特徴マップ(82)は、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第1の特徴マップの変形バージョンに、複数の異なるシフトを適用することによって、生成され、
前記補正変位マップは、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第1の特徴マップと、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第2の特徴マップの、複数のシフト特徴マップ(82)間のマッチングを調査することに基づいて、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第2の特徴マップの各データ要素のポジションのために、合成シフトを生成することによって、得られる、ことを特徴とする、請求項1に記載の方法。 - 前記初期変位マップとしての適用のための出力変位マップを生成するための変位生成演算において、及び/又は、前記補正変位マップとしての適用のための前記出力変位マップを生成するための前記変位精製演算において、
シフト数が、異なるシフトの数である、前記複数のシフト特徴マップ(82)と、
参照特徴マップ(80)として機能する前記第2の特徴マップと、
のマッチングが、
第1の中間比較データマップを得るために、第1の比較コンボリューションユニット(84)を、前記参照特徴マップ(80)に適用する工程と、
複数の第2の中間比較データマップを得るために、第2の比較コンボリューションユニット(94)を、前記複数のシフト特徴マップ(82)の各々に適用する工程と、
追加演算で、合成比較データマップを得るために、前記異なるシフトの前記数と前記複数の第2の中間比較データマップに準じて複製された、前記第1の中間比較データマップを追加する工程と、
少なくとも1つの空間次元及び/又は時間次元の全てにおいて、前記合成比較データマップの各データ要素のためのそれぞれの合成シフトを生成する工程と、そして、前記それぞれの合成シフトを、前記出力変位マップの対応データ要素に割り当てる工程と、で実行される、ことを特徴とする、請求項3に記載の方法。 - 少なくとも1つの空間次元及び/又は時間次元の全てにおいて、前記合成比較データマップの各データ要素のための、前記それぞれの合成シフトは、シフト調査コンボリューションユニット(104)を、前記合成比較データマップに適用することによって生成される、ことを特徴とする請求項4に記載の方法。
- 前記特徴マップは、1以上の特徴チャネルを有し、そして前記合成比較データマップは、前記シフト調査コンボリューションユニット(104)を適用する前に、前記特徴マップの1以上の特徴チャネルによってスタックされる、ことを特徴とする請求項5に記載の方法。
- 少なくとも1つの空間次元及び/又は時間次元の全てにおいて、前記合成比較データマップの各データ要素のためのそれぞれの合成シフトは、複数の異なるシフトから最もマッチングするシフトを選択することによって生成される、ことを特徴とする、請求項4に記載の方法。
- 少なくとも1つの空間次元及び/又は時間次元の全てにおいて、前記合成比較データマップの各データ要素のためのそれぞれの合成シフトは、
異なるシフト値ごとに複数の変位ビンを確立すること、
変位ビンの各々に対する変位確率を生成することであって、前記変位確率は、前記合成比較データマップに基づいて計算され、こと、そして
対応変位確率によって前記シフト値を重み付けすることによって、前記合成シフトを得ること、によって生成される、ことを特徴とする、請求項4に記載の方法。 - 1つの空間次元及び/又は時間次元の全てにおいて、前記合成比較データマップの各データ要素のためのそれぞれの合成シフトを生成する前に、非線形層を前記合成比較データマップに適用する、ことを特徴とする、請求項4に記載の方法。
- 前記特徴マップは1以上の特徴チャネルを有し、前記変位生成演算及び/又は前記変位精製演算において、前記マッチングする工程は、前記特徴マップの1以上の特徴チャネルを考慮することによって実行され、そして、初期変位マップ及び補正変位マップは、前記入力データセットの少なくとも1つの空間次元及び/又は時間次元の数と同じ、またはそれよりも少ない座標チャネルの数で、それぞれ生成される、ことを特徴とする請求項1に記載の方法。
- 第1の初期変位マップと第2の初期変位マップのペアは、前記変位生成演算において生成され、そして、前記第1の初期変位マップと前記第2の初期変位マップのペア、および、前記変位精製演算で生成された第1の補正変位マップと第2の補正変位マップのペアに基づいて、第1の更新変位マップと第2の更新変位マップのペアが、前記変位精製演算で生成される、ことを特徴とする、請求項1に記載の方法。
- 前記入力データセットペアはステレオ画像の画像のぺアであり、前記変位マップは視差マップであり、前記変位生成演算は視差生成演算であり、そして前記変位精製演算は視差精製演算である、ことを特徴とする、請求項1に記載の方法。
- 入力データセットペアの第1の入力データセットと第2の入力データセットの変位マップを生成するための装置であって、各入力データセットは少なくとも1つの空間次元及び/又は時間次元を有し、前記装置は、
特徴マップのベースペア(20e)(30e)と特徴マップの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)を含む特徴マップ階層(50)を生成するために、前記第1の入力データセットと前記第2の入力データセットを処理するように適合された、ニューラルネットワークに基づく特徴抽出器(25)であって、特徴マップの各ペア(20b)(30b)(20c)(30c)(20d)(30d)(20e)(30e)は特徴マップ階層(50)の1レベルを構成し、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)は少なくとも1つの空間次元及び/又は時間次元の全てにおいて、特徴マップの前記ベースペア(20e)(30e)よりも粗さが少ない解像度を有する、抽出器(25)と;
特徴マップ階層(50)の特徴マップの前記ベースペア(20e)(30e)のための初期変位マップを生成するために、特徴マップの前記ベース(20e)(30e)の第1の特徴マップを、特徴マップの前記ベースペア(20e)(30e)の第2の特徴マップとマッチングさせるように適合された、第1のコンパレータユニット(64)(74)を含む変位ユニットと;
変位精製ユニットであって、
アップスケーリングされた初期変位マップを生成するために、前記初期変位マップを、少なくとも1つの空間次元及び/又は時間次元の全てにおいて、それぞれのアップスケーリング係数で、前記特徴マップ階層(50)の特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)のスケールにアップスケーリングするよう適合され、かつ、前記初期変位マップの前記値を前記それぞれのアップスケーリング係数で掛けるように適合された、アップスケーリングユニット(120、130)と、
特徴マップ階層(50)の特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第1の特徴マップ上の前記アップスケーリングされた初期変位マップを用いて、変形演算を実施することによって、特徴マップの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第1の特徴マップの変形バージョンを生成するように適合された変形ユニット(114)(134)と、
特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第1の特徴マップの前記変形バージョンと、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第2の特徴マップのための補正変位マップ得るために、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第1の特徴マップの変形バージョンを特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第2の特徴マップにマッチングさせるように適合された、第2のコンパレータユニット(126)(136)と、
更新変位マップを得るために、前記補正変位マップと前記アップスケーリングされた初期変位マップを追加するように適合された追加ユニット(128)(138)と、
を含む、変位精製ユニット、を含む、装置。 - 少なくとも1つのさらなる変位精製ユニットを含み、そして、特徴マップの少なくとも2つの精製ペア(20b)(30b)(20c)(30c)(20d)(30d)は、前記特徴マップ階層(50)に含まれ、ここで、前記特徴マップ階層(50)で特徴マップのベースペア(20e)(30e)に最も近い、特徴マップの第1の精製ペア(20d)(30d)は、特徴マップのベースペア(20e)(30e)よりも粗さが少ない解像度を有し、そして、特徴マップの前記第1の精製ペア(20d)(30d)よりも、前記特徴マップ階層(50)で前記特徴マップの前記ベースペア(20e)(30e)に遠い特徴マップの各連続精製ペア(20b)(30b)(20c)(30c)は、特徴マップの前記各連続精製ペア(20b)(30b)(20c)(30c)よりも、前記特徴マップ階層(50)で特徴マップの前記ベースペア(20e)(30e)に近い特徴マップの隣接する精製ペア(20d)(30d)よりも粗さが少ない解像度を有し、
変位精製ユニットは、特徴マップの前記第1の精製ペア(20d)(30d)に適用され、そして、それぞれのさらなる変位精製ユニットは、特徴マップの各連続する精製ペア(20b)(30b)(20c)(30c)に適用され、ここで、各さらなる変位精製ユニットでは、特徴マップの前記それぞれの連続する精製ペア(20b)(30b)(20c)(30c)よりも、前記特徴マップ階層(50)で特徴マップの前記ベースペア(20e)(30e)に近い、特徴マップの前記隣接する精製ペア(20d)(30d)のために得られた前記更新変位マップは、それぞれの変位精製演算時におけるアップスケーリング中に、それぞれのアップスケーリング係数で、特徴マップの前記それぞれの連続する精製ペア(20b)(30b)(20c)(30c)の前記スケールへアップスケーリングされる、前記初期変位マップとして使用され、かつ、前記更新変位マップの前記値は前記それぞれのアップスケーリング係数で掛けられる、ことを特徴とする、請求項13に記載の装置。 - 前記変位ユニットは、特徴マップの前記ベースペア(20e)(30e)の前記第1の特徴マップに、複数の異なるシフトを適用することによって、特徴マップの前記ベースペア(20e)(30e)の前記第1の特徴マップの複数のシフト特徴マップ(82)を生成するように適合された、第1のシフトユニット(62)、(72)をさらに含み、ここで、前記第1のコンパレータユニット(64)、(74)は、特徴マップの前記ベースペア(20e)(30e)の前記第1の特徴マップと、特徴マップの前記ベースペア(20e)(30e)の前記第2の特徴マップの、複数のシフト特徴マップ(82)間のマッチングを調査することに基づいて、特徴マップの前記ベースペア(20e)(30e)の前記第2の特徴マップの各データ要素のポジションのための、合成シフトを生成することによって、前記初期変位マップを得るように適合され、および/または、
前記変位精製ユニットは、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第1の特徴マップの変形バージョンに、複数の異なるシフトを適用することによって、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第1の特徴マップの複数のシフト特徴マップ(82)を生成するように適合された、第2のシフトユニット(122、132)をさらに含み、ここで、前記第2のコンパレータユニット(126、136)は、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第1の特徴マップと、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の前記第2の特徴マップの、複数のシフト特徴マップ(82)間のマッチングを調査することに基づいて、特徴マップの前記精製ペア(20b)(30b)(20c)(30c)(20d)(30d)の第2の特徴マップの各データ要素のポジションのための、合成シフトを生成することによって、前記補正変位マップを得るように適合される、ことを特徴とする、請求項13に記載の装置。 - シフト番号が、異なるシフトの数である、前記複数のシフト特徴マップ(82)と、
参照特徴マップ(80)として機能する前記第2の特徴マップと、
のマッチングのために、
前記初期変位マップとしての適用のために、出力変位マップを生成するための第1のコンパレータユニット(64)(74)、および/または、前記補正変位マップとしての適用のために、前記出力変位マップを生成するための前記第2のコンパレータユニット(126、136)は、
第1の中間比較データマップを得るために、前記参照特徴マップ(80)に適用するように適合された、第1の比較コンボリューションユニット(84)と、
複数の第2の中間比較データマップを得るために、前記複数のシフト特徴マップ(82)の各々に適用するように適合された、第2の比較コンボリューションユニット(94)と、
合成比較データマップを得るために、前記異なるシフトの前記数と前記複数の前記第2の中間比較データマップに準じて複製された、前記第1の中間比較データマップを追加するように適合された、追加ユニット(98)と、
少なくとも1つの空間次元及び/又は時間次元の全てにおいて、前記合成比較データマップの各データ要素のためのそれぞれの合成シフトを生成するように適合され、そして、前記それぞれの合成シフトを、前記出力変位マップの対応データ要素に割り当てるように適合された合成シフト生成ユニット(C2_A)(C2_B)(C2_C)を含む、
ことを特徴とする、請求項15に記載の装置。 - 前記合成シフト生成ユニット(C2_A)は、少なくとも1つの空間次元及び/又は時間次元の全てにおいて、前記合成比較データマップの各データ要素のそれぞれの合成シフトを生成するために、前記合成比較データマップに適用されるように適合され、そして、前記それぞれの合成シフトの全てを、前記合成比較データマップにおけるそれらのデータ要素に準じて、前記出力変位マップに割り当てるように適合された、シフト調査コンボリューションユニット(104)を含む、ことを特徴とする、請求項16に記載の装置。
- 前記特徴マップは、1以上の特徴チャネルを有し、前記第1のコンパレータユニット(64)(74)及び/又は前記第2のコンパレータユニット(126)(136)は、シフト調査コンボリューションユニット(104)を適用する前に、前記特徴マップの1以上の特徴チャネルによって、合成比較データマップをスタックするように適合された、スタッキングユニット(102)を含む、ことを特徴とする、請求項17に記載の装置。
- 少なくとも1つの空間次元及び/又は時間次元の全てにおける、前記合成比較データマップの各データ要素のための前記それぞれの合成シフトは、複数の異なるシフトから最もマッチングするシフトを選択することによって、前記合成シフト生成ユニット(C2_B)によって生成される、ことを特徴とする、請求項16に記載の装置。
- 少なくとも1つの空間次元及び/又は時間次元の全てにおける、前記合成比較データマップの各データ要素のための前記それぞれの合成シフトは、
異なる可能な変位値ごとに複数の変位ビンを確立すること、
前記変位ビンの各々に対する変位確率を生成することであって、ここで前記変位確率は、前記合成比較データマップに基づいて計算される、こと、そして
対応変位確率によって前記可能な変位値を重み付けすることによって、前記合成シフトを得ること、
によって、前記合成シフト生成ユニット(C2_C)によって生成される、ことを特徴とする、請求項16に記載の装置。 - 少なくとも1つの空間次元及び/又は時間次元の全てにおいて、前記合成比較データマップの各データ要素のためのそれぞれの合成シフトを生成する前に、前記合成比較データマップに適用される適合された非線形層を含む、ことを特徴とする、請求項16に記載の装置。
- 前記特徴マップは、1以上の特徴チャネルを有し、前記変位ユニット及び/又は前記変位精製ユニットは、前記特徴マップの1以上の特徴チャネルを考慮することによって前記マッチングを実行するように適合され、そして、前記入力データセットの少なくとも1つの空間次元及び/又は時間次元の数と同じ、またはそれよりも少ない座標チャネルの数で、初期変位マップと補正変位マップを、それぞれ生成するように適合される、ことを特徴とする請求項13に記載の装置。
- 前記変位ユニットは、第1の初期変位マップと第2の初期変位マップのペアを生成するように適合され、前記変位精製ユニットは、前記第1の初期変位マップと前記第2の初期変位マップの前記ペア、および、それぞれの第2のコンパレータユニット(126)(136)によって生成された第1の補正変位マップと第2の補正変位マップのペアに基づいて、第1の更新変位マップと第2の更新変位マップのペアを生成するように適合される、ことを特徴とする請求項13に記載の装置。
- 前記入力データセットペアは、ステレオ画像の画像のペア(20a)(30a)であり、前記変位マップは視差マップであり、前記変位ユニットは視差ユニット(40e)であり、そして前記変位精製ユニットは視差精製ユニット(40b)(40c)(40d)である、ことを特徴とする、請求項13に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/992,930 US10380753B1 (en) | 2018-05-30 | 2018-05-30 | Method and apparatus for generating a displacement map of an input dataset pair |
US15/992,930 | 2018-05-30 | ||
PCT/HU2019/000017 WO2019229486A1 (en) | 2018-05-30 | 2019-05-29 | Generating a displacement map of an input dataset pair of image or audio data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021525408A true JP2021525408A (ja) | 2021-09-24 |
JP7311117B2 JP7311117B2 (ja) | 2023-07-19 |
Family
ID=67543942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020561645A Active JP7311117B2 (ja) | 2018-05-30 | 2019-05-29 | 画像または音声データの入力データセットペアの変位マップの生成 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10380753B1 (ja) |
EP (1) | EP3803791B1 (ja) |
JP (1) | JP7311117B2 (ja) |
KR (1) | KR20210016587A (ja) |
CN (1) | CN112219223A (ja) |
WO (1) | WO2019229486A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114995131A (zh) * | 2022-05-25 | 2022-09-02 | 福建德尔科技股份有限公司 | 用于电子级三氟甲烷制备的精馏控制系统及其控制方法 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10489887B2 (en) | 2017-04-10 | 2019-11-26 | Samsung Electronics Co., Ltd. | System and method for deep learning image super resolution |
US10614557B2 (en) * | 2017-10-16 | 2020-04-07 | Adobe Inc. | Digital image completion using deep learning |
US10672164B2 (en) * | 2017-10-16 | 2020-06-02 | Adobe Inc. | Predicting patch displacement maps using a neural network |
WO2019194561A1 (ko) * | 2018-04-03 | 2019-10-10 | 한국과학기술원 | 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템 |
US10755391B2 (en) | 2018-05-15 | 2020-08-25 | Adobe Inc. | Digital image completion by learning generation and patch matching jointly |
CN109905271B (zh) * | 2018-05-18 | 2021-01-12 | 华为技术有限公司 | 一种预测方法、训练方法、装置及计算机存储介质 |
US10878590B2 (en) * | 2018-05-25 | 2020-12-29 | Microsoft Technology Licensing, Llc | Fusing disparity proposals in stereo matching |
CN108876733B (zh) * | 2018-05-30 | 2021-11-09 | 上海联影医疗科技股份有限公司 | 一种图像增强方法、装置、设备和存储介质 |
JP7131195B2 (ja) * | 2018-08-14 | 2022-09-06 | 日本電信電話株式会社 | 物体認識装置、物体認識学習装置、方法、及びプログラム |
US11429824B2 (en) * | 2018-09-11 | 2022-08-30 | Intel Corporation | Method and system of deep supervision object detection for reducing resource usage |
US20200159495A1 (en) * | 2018-11-15 | 2020-05-21 | Samsung Electronics Co., Ltd. | Processing apparatus and method of processing add operation therein |
US10817777B2 (en) * | 2019-01-31 | 2020-10-27 | StradVision, Inc. | Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same |
US10839543B2 (en) * | 2019-02-26 | 2020-11-17 | Baidu Usa Llc | Systems and methods for depth estimation using convolutional spatial propagation networks |
CN111627051B (zh) * | 2019-02-27 | 2023-12-15 | 中强光电股份有限公司 | 电子装置及用以估计光流的方法 |
KR20210056540A (ko) * | 2019-11-11 | 2021-05-20 | 삼성전자주식회사 | 디스패리티 이미지를 생성하는 알고리즘 갱신 방법 및 장치 |
US11120280B2 (en) * | 2019-11-15 | 2021-09-14 | Argo AI, LLC | Geometry-aware instance segmentation in stereo image capture processes |
US11556784B2 (en) | 2019-11-22 | 2023-01-17 | Samsung Electronics Co., Ltd. | Multi-task fusion neural network architecture |
US11270448B2 (en) | 2019-11-26 | 2022-03-08 | Microsoft Technology Licensing, Llc | Using machine learning to selectively overlay image content |
US11321939B2 (en) * | 2019-11-26 | 2022-05-03 | Microsoft Technology Licensing, Llc | Using machine learning to transform image styles |
CN112991254A (zh) * | 2019-12-13 | 2021-06-18 | 上海肇观电子科技有限公司 | 视差估计系统、方法、电子设备及计算机可读存储介质 |
US11694341B2 (en) * | 2019-12-23 | 2023-07-04 | Texas Instmments Incorporated | Cascaded architecture for disparity and motion prediction with block matching and convolutional neural network (CNN) |
US11429771B2 (en) * | 2020-01-31 | 2022-08-30 | Fotonation Limited | Hardware-implemented argmax layer |
US11810313B2 (en) * | 2020-02-21 | 2023-11-07 | Google Llc | Real-time stereo matching using a hierarchical iterative refinement network |
US11763468B2 (en) * | 2020-03-12 | 2023-09-19 | Ping An Technology (Shenzhen) Co., Ltd. | Structured landmark detection via topology-adapting deep graph learning |
US11062471B1 (en) * | 2020-05-06 | 2021-07-13 | Nvidia Corporation | Neural network system for stereo image matching |
US11861859B2 (en) * | 2020-08-14 | 2024-01-02 | Samsung Electronics Co., Ltd | System and method for disparity estimation based on cost-volume attention |
AT524118B1 (de) * | 2020-10-15 | 2022-03-15 | Ait Austrian Inst Tech Gmbh | Computer-implementiertes Verfahren zur Erstellung von mehrdimensionalen Gegenstands-Datenstrukturen |
CN114494087A (zh) * | 2020-11-12 | 2022-05-13 | 安霸国际有限合伙企业 | 无监督的多尺度视差/光流融合 |
CN112907645B (zh) * | 2021-03-05 | 2022-08-26 | 重庆紫光华山智安科技有限公司 | 视差图获取方法、装置、训练方法、电子设备和介质 |
DE102021107904A1 (de) * | 2021-03-29 | 2022-09-29 | Conti Temic Microelectronic Gmbh | Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz |
US20220319031A1 (en) * | 2021-03-31 | 2022-10-06 | Auris Health, Inc. | Vision-based 6dof camera pose estimation in bronchoscopy |
KR102358372B1 (ko) * | 2021-06-02 | 2022-02-08 | 아주대학교 산학협력단 | 영상의 스테레오 정합 방법 및 장치 |
CN114611685A (zh) * | 2022-03-08 | 2022-06-10 | 安谋科技(中国)有限公司 | 神经网络模型中的特征处理方法、介质、设备和程序产品 |
WO2023211000A1 (ko) * | 2022-04-28 | 2023-11-02 | 삼성전자 주식회사 | 컨볼루션 뉴럴 네트워크를 이용한 영상 처리 방법, 전자 디바이스, 및 저장매체 |
TWI822032B (zh) * | 2022-05-05 | 2023-11-11 | 國立陽明交通大學 | 影片播放系統、可攜式影片播放裝置及影片增強方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2700654B1 (fr) | 1993-01-19 | 1995-02-17 | Thomson Csf | Procédé d'estimation de disparité entre les images monoscopiques constituant une image stéréoscopiques. |
GB9823689D0 (en) | 1998-10-30 | 1998-12-23 | Greenagate Limited | Improved methods and apparatus for 3-D imaging |
GB2417628A (en) * | 2004-08-26 | 2006-03-01 | Sharp Kk | Creating a new image from two images of a scene |
US7889949B2 (en) | 2007-04-30 | 2011-02-15 | Microsoft Corporation | Joint bilateral upsampling |
US9030530B2 (en) | 2009-12-15 | 2015-05-12 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
US8385630B2 (en) | 2010-01-05 | 2013-02-26 | Sri International | System and method of processing stereo images |
US9111342B2 (en) | 2010-07-07 | 2015-08-18 | Electronics And Telecommunications Research Institute | Method of time-efficient stereo matching |
US8867826B2 (en) | 2012-11-26 | 2014-10-21 | Mitusbishi Electric Research Laboratories, Inc. | Disparity estimation for misaligned stereo image pairs |
US10074158B2 (en) | 2014-07-08 | 2018-09-11 | Qualcomm Incorporated | Systems and methods for stereo depth estimation using global minimization and depth interpolation |
US9751210B2 (en) * | 2014-11-26 | 2017-09-05 | Irobot Corporation | Systems and methods for performing occlusion detection |
CN105956597A (zh) | 2016-05-04 | 2016-09-21 | 浙江大学 | 一种基于卷积神经网络的双目立体匹配方法 |
-
2018
- 2018-05-30 US US15/992,930 patent/US10380753B1/en active Active
-
2019
- 2019-05-29 EP EP19768874.0A patent/EP3803791B1/en active Active
- 2019-05-29 WO PCT/HU2019/000017 patent/WO2019229486A1/en unknown
- 2019-05-29 JP JP2020561645A patent/JP7311117B2/ja active Active
- 2019-05-29 CN CN201980036652.1A patent/CN112219223A/zh active Pending
- 2019-05-29 KR KR1020207038079A patent/KR20210016587A/ko active Search and Examination
Non-Patent Citations (2)
Title |
---|
ANURAG RANJAN,外1名: "Optical Flow Estimation using a Spatial Pyramid Network", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN6023000908, 21 July 2017 (2017-07-21), pages 2720 - 2729, XP033249617, ISSN: 0004963855, DOI: 10.1109/CVPR.2017.291 * |
DEQING SUN,外3名: "PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume", [ONLINE], JPN6023000907, 28 November 2017 (2017-11-28), ISSN: 0004963856 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114995131A (zh) * | 2022-05-25 | 2022-09-02 | 福建德尔科技股份有限公司 | 用于电子级三氟甲烷制备的精馏控制系统及其控制方法 |
CN114995131B (zh) * | 2022-05-25 | 2023-02-03 | 福建德尔科技股份有限公司 | 用于电子级三氟甲烷制备的精馏控制系统及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3803791A1 (en) | 2021-04-14 |
US10380753B1 (en) | 2019-08-13 |
EP3803791B1 (en) | 2023-11-22 |
CN112219223A (zh) | 2021-01-12 |
KR20210016587A (ko) | 2021-02-16 |
WO2019229486A1 (en) | 2019-12-05 |
JP7311117B2 (ja) | 2023-07-19 |
WO2019229486A8 (en) | 2020-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7311117B2 (ja) | 画像または音声データの入力データセットペアの変位マップの生成 | |
US11508146B2 (en) | Convolutional neural network processing method and apparatus | |
CN109308679B (zh) | 一种图像风格转换方法及装置、设备、存储介质 | |
US9418458B2 (en) | Graph image representation from convolutional neural networks | |
US20160078600A1 (en) | Method and device for performing super-resolution on an input image | |
WO2022195285A1 (en) | Image processing using machine learning | |
WO2020234449A1 (en) | Generative adversarial networks with temporal and spatial discriminators for efficient video generation | |
JP7449977B2 (ja) | 可変焦点カメラの深度推定方法 | |
CN115482382A (zh) | 一种基于Transformer架构的图像语义分割方法 | |
EP2948922A1 (en) | Method and apparatus for performing super-resolution of single images | |
CN112488209A (zh) | 一种基于半监督学习的增量式图片分类方法 | |
CN112991254A (zh) | 视差估计系统、方法、电子设备及计算机可读存储介质 | |
Rajput et al. | A robust facial image super-resolution model via mirror-patch based neighbor representation | |
Zareapoor et al. | Local spatial information for image super-resolution | |
KR20220055970A (ko) | 사전 정보 학습 기반 영상 업스케일링 장치 및 방법 | |
CN114846382B (zh) | 具有卷积神经网络实现的显微镜和方法 | |
CN114494786A (zh) | 一种基于多层协调卷积神经网络的细粒度图像分类方法 | |
Gabarda et al. | On the use of a joint spatial-frequency representation for the fusion of multi-focus images | |
US20230073175A1 (en) | Method and system for processing image based on weighted multiple kernels | |
Deck et al. | Easing color shifts in score-based diffusion models | |
KR102051597B1 (ko) | 내용 기반 영상 크기 조절 장치 및 방법 | |
CN115439397A (zh) | 用于无卷积图像处理的方法和装置 | |
Garnica-Carrillo et al. | Multi-focus image fusion by local optimization over sliding windows | |
US20200372280A1 (en) | Apparatus and method for image processing for machine learning | |
Singh et al. | Feature map retargeting to classify biomedical journal figures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210114 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230224 |
|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20230503 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230503 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7311117 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |