JP2022515517A - 画像深度推定方法および装置、電子機器、ならびに記憶媒体 - Google Patents
画像深度推定方法および装置、電子機器、ならびに記憶媒体 Download PDFInfo
- Publication number
- JP2022515517A JP2022515517A JP2021537988A JP2021537988A JP2022515517A JP 2022515517 A JP2022515517 A JP 2022515517A JP 2021537988 A JP2021537988 A JP 2021537988A JP 2021537988 A JP2021537988 A JP 2021537988A JP 2022515517 A JP2022515517 A JP 2022515517A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- sampling point
- reverse
- image
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000003860 storage Methods 0.000 title claims description 10
- 238000005070 sampling Methods 0.000 claims description 699
- 238000005457 optimization Methods 0.000 claims description 57
- 230000015654 memory Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012804 iterative process Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- DHSSDEDRBUKTQY-UHFFFAOYSA-N 6-prop-2-enyl-4,5,7,8-tetrahydrothiazolo[4,5-d]azepin-2-amine Chemical compound C1CN(CC=C)CCC2=C1N=C(N)S2 DHSSDEDRBUKTQY-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 229950008418 talipexole Drugs 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
Description
本願は、出願番号が201910621318.4であり、出願日が2019年07月10日であり、出願の名称が「画像深度推定方法および装置、電子機器、ならびに記憶媒体」である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するステップと、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するk層の現在画像、および前記基準フレームに対応するk層の基準画像を得るステップであって、kは2以上の自然数であるステップと、
前記k層の基準画像および前記逆深度空間範囲に基づき、前記k層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るステップと、を含む。
少なくとも二つの選別対象フレームを取得するステップと、
前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を含む。
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。
前記k層の現在画像および前記逆深度空間範囲に基づき、第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第i層のサンプリング点は前記k層の現在画像のうちの第i層の現在画像をサンプリングして得られた画素点であり、iは1以上、且つk以下の自然数であるステップと、
前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記k層の基準画像のうちの第i層の基準画像に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、第i層の逆深度値を得るステップと、
i=kになるまで、i=i+1にして、前記k層の現在画像内の、解像度が前記第i層の現在画像より高い第i+1層の現在画像に対して逆深度推定を継続して行い、第k層の逆深度値を得るステップと、
前記第k層の逆深度値を前記逆深度推定結果として特定するステップと、を含む。
前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、
前記複数の初期逆深度値を第1層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、
iが1に等しくない場合、前記k層の現在画像から、第i-1層のサンプリング点、および第i-1層の逆深度値を取得するステップと、
前記第i-1層の逆深度値、第i-1層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む。
前記第i-1層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、
前記第i-1層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、
前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、
前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、前記複数の逆深度等分値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、
前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第i層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を含む。
前記第i層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第i層のサンプリング点内の各サンプリング点を前記第i層の基準画像に投影し、前記第i層のサンプリング点内の各サンプリング点に対応する第i層の投影点を得るステップと、
前記第i層のサンプリング点および前記第i層の投影点に基づいてブロックマッチングを行い、前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果を得るステップと、
前記第i層のマッチング結果に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第i層の逆深度値を得るステップと、を含む。
予め設定されたウィンドウにより、前記第i層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第i層の基準画像から、前記マッチング対象サンプリング点に対応する第i層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、
前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第i層のマッチング結果として特定するステップと、
前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果が得られるまで、前記第i層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第i層のマッチング結果を継続して特定するステップと、を含む。
前記第i層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第i層のマッチング結果から、目標マッチング結果を選択するステップと、
前記目標サンプリング点に対応する第i層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、
前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、
前記第i層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第i層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第i層の逆深度値を得るステップと、を含む。
前記第k層の逆深度値に対して補間最適化を行い、最適化後の第k層の逆深度値を得るステップと、
前記最適化後の第k層の逆深度値を前記逆深度推定結果として特定するステップと、をさらに含む。
前記第k層の逆深度値内の各逆深度値に対して、それぞれ第k層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第k層のサンプリング点は前記k層の現在画像のうちの第k層の現在画像をサンプリングして得られた画素点であるステップと、
前記隣接逆深度値に対応するマッチング結果を取得するステップと、
前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第k層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第k層の逆深度値を得るステップと、を含む。
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するk層の現在画像、および前記基準フレームに対応するk層の基準画像を得るステップであって、kは2以上の自然数であるステップを実行するように構成されたダウンサンプリング部と、
前記k層の基準画像および前記逆深度空間範囲に基づき、前記k層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部と、を含む画像深度推定装置を提供する。
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。
前記通信バスは、前記プロセッサと前記メモリの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶される画像深度推定プログラムを実行して、上記画像深度推定方法を実現するように構成される、電子機器を提供する。
第i-1層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、第一サンプリング点は第i層のサンプリング点のうちのいずれか一つであるステップS501と、
第i-1層の逆深度値に基づき、少なくとも二つの第三サンプリング点の各々の逆深度値、および第二サンプリング点の深度値を取得し、少なくとも三つの逆深度値を得るステップS502と、
少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップS503と、
複数の初期逆深度値から、最大逆深度値と最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を第一サンプリング点に対応する逆深度候補値として特定するステップS504と、
第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、第i層のサンプリング点のうち第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップS505と、を含む。
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部801と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するk層の現在画像、および前記基準フレームに対応するk層の基準画像を得るステップであって、kは2以上の自然数であるステップを実行するように構成されたダウンサンプリング部802と、
前記k層の基準画像および前記逆深度空間範囲に基づき、前記k層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部803と、を含み、
任意選択的に、本開示の実施例の画像深度推定装置は、前記逆深度推定結果に基づき、前記現在フレームの深度推定結果を特定するように構成された特定部804をさらに含んでもよく、前記深度推定結果は前記現在フレームに基づく三次元シーン構築の実現に用いることができる。
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。
前記通信バス903は、前記プロセッサ901と前記メモリ902の間の接続通信を実現するように構成され、
前記プロセッサ901は、前記メモリ902に記憶された画像深度推定プログラムを実行して、上記画像深度推定方法を実現するように構成される。
例えば、本願は以下の項目を提供する。
(項目1)
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するステップと、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するk層の現在画像、および前記基準フレームに対応するk層の基準画像を得るステップであって、kは2以上の自然数であるステップと、
前記k層の基準画像および前記逆深度空間範囲に基づき、前記k層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るステップと、を含む、画像深度推定方法。
(項目2)
現在フレームに対応する基準フレームを取得する前記ステップは、
少なくとも二つの選別対象フレームを取得するステップと、
前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を含む、項目1に記載の画像深度推定方法。
(項目3)
前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、項目2に記載の画像深度推定方法。
(項目4)
前記k層の基準画像および前記逆深度空間範囲に基づき、前記k層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得る前記ステップは、
前記k層の現在画像および前記逆深度空間範囲に基づき、第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第i層のサンプリング点は前記k層の現在画像のうちの第i層の現在画像をサンプリングして得られた画素点であり、iは1以上、且つk以下の自然数であるステップと、
前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記k層の基準画像のうちの第i層の基準画像に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、第i層の逆深度値を得るステップと、
i=kになるまで、i=i+1にして、前記k層の現在画像内の、解像度が前記第i層の現在画像より高い第i+1層の現在画像に対して逆深度推定を継続して行い、第k層の逆深度値を得るステップと、
前記第k層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、項目1から3のいずれか一項に記載の画像深度推定方法。
(項目5)
前記k層の現在画像および前記逆深度空間範囲に基づき、第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、
前記複数の初期逆深度値を第1層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、
iが1に等しくない場合、前記k層の現在画像から、第i-1層のサンプリング点、および第i-1層の逆深度値を取得するステップと、
前記第i-1層の逆深度値、第i-1層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む、項目4に記載の画像深度推定方法。
(項目6)
前記第i-1層の逆深度値、第i-1層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記第i-1層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、
前記第i-1層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、
前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、
前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、
前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第i層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を含む、項目5に記載の画像深度推定方法。
(項目7)
前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記k層の基準画像のうちの第i層の基準画像に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、第i層の逆深度値を得る前記ステップは、
前記第i層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第i層のサンプリング点内の各サンプリング点を前記第i層の基準画像に投影し、前記第i層のサンプリング点内の各サンプリング点に対応する第i層の投影点を得るステップと、
前記第i層のサンプリング点および前記第i層の投影点に基づいてブロックマッチングを行い、前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果を得るステップと、
前記第i層のマッチング結果に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第i層の逆深度値を得るステップと、を含む、項目4に記載の画像深度推定方法。
(項目8)
前記第i層のサンプリング点および前記第i層の投影点に基づいてブロックマッチングを行い、前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果を得る前記ステップは、
予め設定されたウィンドウにより、前記第i層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第i層の基準画像から、前記マッチング対象サンプリング点に対応する第i層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、
前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第i層のマッチング結果として特定するステップと、
前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果が得られるまで、前記第i層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第i層のマッチング結果を継続して特定するステップと、を含む、項目7に記載の画像深度推定方法。
(項目9)
前記第i層のマッチング結果に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第i層の逆深度値を得る前記ステップは、
前記第i層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第i層のマッチング結果から、目標マッチング結果を選択するステップと、
前記目標サンプリング点に対応する第i層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、
前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、
前記第i層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第i層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第i層の逆深度値を得るステップと、を含む、項目7に記載の画像深度推定方法。
(項目10)
第k層の逆深度値を得る前記ステップの後に、さらに、
前記第k層の逆深度値に対して補間最適化を行い、最適化後の第k層の逆深度値を得るステップと、
前記最適化後の第k層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、項目4から9のいずれか一項に記載の画像深度推定方法。
(項目11)
前記第k層の逆深度値に対して補間最適化を行い、最適化後の第k層の逆深度値を得る前記ステップは、
前記第k層の逆深度値内の各逆深度値に対して、それぞれ第k層のサンプリング点内の対応するサンプリング点の候補逆深度値から、前記逆深度値の隣接逆深度値を選択するステップであって、前記第k層のサンプリング点は前記k層の現在画像のうちの第k層の現在画像をサンプリングして得られた画素点であるステップと、
前記隣接逆深度値に対応するマッチング結果を取得するステップと、
前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第k層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第k層の逆深度値を得るステップと、を含む、項目10に記載の画像深度推定方法。
(項目12)
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するk層の現在画像、および前記基準フレームに対応するk層の基準画像を得るように構成されたダウンサンプリング部であって、kは2以上の自然数であるダウンサンプリング部と、
前記k層の基準画像および前記逆深度空間範囲に基づき、前記k層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部と、を含む、画像深度推定装置。
(項目13)
前記取得部は、具体的に、少なくとも二つの選別対象フレームを取得するステップと、前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を実行するように構成される、項目12に記載の画像深度推定装置。
(項目14)
前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、項目13に記載の画像深度推定装置。
(項目15)
前記推定部は、具体的に、前記k層の現在画像および前記逆深度空間範囲に基づき、第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第i層のサンプリング点は前記k層の現在画像のうちの第i層の現在画像をサンプリングして得られた画素点であり、iは1以上、且つk以下の自然数であるステップと、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記k層の基準画像のうちの第i層の基準画像に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、第i層の逆深度値を得るステップと、i=kになるまで、i=i+1にして、前記k層の現在画像内の、解像度が前記第i層の現在画像より高い第i+1層の現在画像に対して逆深度推定を継続して行い、第k層の逆深度値を得るステップと、前記第k層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、項目12から14のいずれか一項に記載の画像深度推定装置。
(項目16)
前記推定部は、具体的に、前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、前記複数の初期逆深度値を第1層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、iが1に等しくない場合、前記k層の現在画像から、第i-1層のサンプリング点、および第i-1層の逆深度値を取得するステップと、前記第i-1層の逆深度値、第i-1層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を実行するように構成される、項目15に記載の画像深度推定装置。
(項目17)
前記推定部は、具体的に、前記第i-1層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、前記第i-1層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第i層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を実行するように構成される、項目16に記載の画像深度推定装置。
(項目18)
前記推定部は、具体的に、前記第i層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第i層のサンプリング点内の各サンプリング点を前記第i層の基準画像に投影し、前記第i層のサンプリング点内の各サンプリング点に対応する第i層の投影点を得るステップと、前記第i層のサンプリング点および前記第i層の投影点に基づいてブロックマッチングを行い、前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果を得るステップと、前記第i層のマッチング結果に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第i層の逆深度値を得るステップと、を実行するように構成される、項目15に記載の画像深度推定装置。
(項目19)
前記推定部は、具体的に、予め設定されたウィンドウにより、前記第i層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第i層の基準画像から、前記マッチング対象サンプリング点に対応する第i層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第i層のマッチング結果として特定するステップと、前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果が得られるまで、前記第i層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第i層のマッチング結果を継続して特定するステップと、を実行するように構成される、項目18前記の画像深度推定方法。
(項目20)
前記推定部は、具体的に、前記第i層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第i層のマッチング結果から、目標マッチング結果を選択するステップと、前記目標サンプリング点に対応する第i層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、前記第i層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第i層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第i層の逆深度値を得るステップと、を実行するように構成される、項目18に記載の画像深度推定装置。
(項目21)
前記推定部はさらに、前記第k層の逆深度値に対して補間最適化を行い、最適化後の第k層の逆深度値を得るステップと、前記最適化後の第k層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、項目15から20のいずれか一項に記載の画像深度推定装置。
(項目22)
前記推定部は、具体的に、前記第k層の逆深度値内の各逆深度値に対して、それぞれ第k層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第k層のサンプリング点は前記k層の現在画像のうちの第k層の現在画像をサンプリングして得られた画素点であるステップと、前記隣接逆深度値に対応するマッチング結果を取得するステップと、前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第k層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第k層の逆深度値を得るステップと、を実行するように構成される、項目21に記載の画像深度推定装置。
(項目23)
プロセッサ、メモリおよび通信バスを含む電子機器であって、
前記通信バスは、前記プロセッサと前記メモリとの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶される画像深度推定プログラムを実行して、項目1から11のいずれか一項に記載の画像深度推定方法を実現するように構成される、電子機器。
(項目24)
携帯電話またはタブレット型コンピュータである、項目23に記載の電子機器。
(項目25)
一つ以上のプロセッサにより実行されて項目1から11のいずれか一項に記載の画像深度推定方法を実現可能な一つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体。
(項目26)
プロセッサにより実行される時に項目1から11のいずれか一項に記載の画像深度推定方法の対応するステップを実現するコンピュータ可読コードを含む、コンピュータプログラム。
Claims (26)
- 現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するステップと、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するk層の現在画像、および前記基準フレームに対応するk層の基準画像を得るステップであって、kは2以上の自然数であるステップと、
前記k層の基準画像および前記逆深度空間範囲に基づき、前記k層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るステップと、を含む、画像深度推定方法。 - 現在フレームに対応する基準フレームを取得する前記ステップは、
少なくとも二つの選別対象フレームを取得するステップと、
前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を含む、請求項1に記載の画像深度推定方法。 - 前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、請求項2に記載の画像深度推定方法。 - 前記k層の基準画像および前記逆深度空間範囲に基づき、前記k層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得る前記ステップは、
前記k層の現在画像および前記逆深度空間範囲に基づき、第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第i層のサンプリング点は前記k層の現在画像のうちの第i層の現在画像をサンプリングして得られた画素点であり、iは1以上、且つk以下の自然数であるステップと、
前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記k層の基準画像のうちの第i層の基準画像に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、第i層の逆深度値を得るステップと、
i=kになるまで、i=i+1にして、前記k層の現在画像内の、解像度が前記第i層の現在画像より高い第i+1層の現在画像に対して逆深度推定を継続して行い、第k層の逆深度値を得るステップと、
前記第k層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、請求項1から3のいずれか一項に記載の画像深度推定方法。 - 前記k層の現在画像および前記逆深度空間範囲に基づき、第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、
前記複数の初期逆深度値を第1層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、
iが1に等しくない場合、前記k層の現在画像から、第i-1層のサンプリング点、および第i-1層の逆深度値を取得するステップと、
前記第i-1層の逆深度値、第i-1層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む、請求項4に記載の画像深度推定方法。 - 前記第i-1層の逆深度値、第i-1層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記第i-1層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、
前記第i-1層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、
前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、
前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、
前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第i層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を含む、請求項5に記載の画像深度推定方法。 - 前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記k層の基準画像のうちの第i層の基準画像に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、第i層の逆深度値を得る前記ステップは、
前記第i層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第i層のサンプリング点内の各サンプリング点を前記第i層の基準画像に投影し、前記第i層のサンプリング点内の各サンプリング点に対応する第i層の投影点を得るステップと、
前記第i層のサンプリング点および前記第i層の投影点に基づいてブロックマッチングを行い、前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果を得るステップと、
前記第i層のマッチング結果に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第i層の逆深度値を得るステップと、を含む、請求項4に記載の画像深度推定方法。 - 前記第i層のサンプリング点および前記第i層の投影点に基づいてブロックマッチングを行い、前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果を得る前記ステップは、
予め設定されたウィンドウにより、前記第i層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第i層の基準画像から、前記マッチング対象サンプリング点に対応する第i層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、
前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第i層のマッチング結果として特定するステップと、
前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果が得られるまで、前記第i層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第i層のマッチング結果を継続して特定するステップと、を含む、請求項7に記載の画像深度推定方法。 - 前記第i層のマッチング結果に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第i層の逆深度値を得る前記ステップは、
前記第i層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第i層のマッチング結果から、目標マッチング結果を選択するステップと、
前記目標サンプリング点に対応する第i層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、
前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、
前記第i層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第i層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第i層の逆深度値を得るステップと、を含む、請求項7に記載の画像深度推定方法。 - 第k層の逆深度値を得る前記ステップの後に、さらに、
前記第k層の逆深度値に対して補間最適化を行い、最適化後の第k層の逆深度値を得るステップと、
前記最適化後の第k層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、請求項4から9のいずれか一項に記載の画像深度推定方法。 - 前記第k層の逆深度値に対して補間最適化を行い、最適化後の第k層の逆深度値を得る前記ステップは、
前記第k層の逆深度値内の各逆深度値に対して、それぞれ第k層のサンプリング点内の対応するサンプリング点の候補逆深度値から、前記逆深度値の隣接逆深度値を選択するステップであって、前記第k層のサンプリング点は前記k層の現在画像のうちの第k層の現在画像をサンプリングして得られた画素点であるステップと、
前記隣接逆深度値に対応するマッチング結果を取得するステップと、
前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第k層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第k層の逆深度値を得るステップと、を含む、請求項10に記載の画像深度推定方法。 - 現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するk層の現在画像、および前記基準フレームに対応するk層の基準画像を得るように構成されたダウンサンプリング部であって、kは2以上の自然数であるダウンサンプリング部と、
前記k層の基準画像および前記逆深度空間範囲に基づき、前記k層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部と、を含む、画像深度推定装置。 - 前記取得部は、具体的に、少なくとも二つの選別対象フレームを取得するステップと、前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を実行するように構成される、請求項12に記載の画像深度推定装置。
- 前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、請求項13に記載の画像深度推定装置。 - 前記推定部は、具体的に、前記k層の現在画像および前記逆深度空間範囲に基づき、第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第i層のサンプリング点は前記k層の現在画像のうちの第i層の現在画像をサンプリングして得られた画素点であり、iは1以上、且つk以下の自然数であるステップと、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記k層の基準画像のうちの第i層の基準画像に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、第i層の逆深度値を得るステップと、i=kになるまで、i=i+1にして、前記k層の現在画像内の、解像度が前記第i層の現在画像より高い第i+1層の現在画像に対して逆深度推定を継続して行い、第k層の逆深度値を得るステップと、前記第k層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、請求項12から14のいずれか一項に記載の画像深度推定装置。
- 前記推定部は、具体的に、前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、前記複数の初期逆深度値を第1層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、iが1に等しくない場合、前記k層の現在画像から、第i-1層のサンプリング点、および第i-1層の逆深度値を取得するステップと、前記第i-1層の逆深度値、第i-1層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を実行するように構成される、請求項15に記載の画像深度推定装置。
- 前記推定部は、具体的に、前記第i-1層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、前記第i-1層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、前記第i層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第i層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を実行するように構成される、請求項16に記載の画像深度推定装置。
- 前記推定部は、具体的に、前記第i層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第i層のサンプリング点内の各サンプリング点を前記第i層の基準画像に投影し、前記第i層のサンプリング点内の各サンプリング点に対応する第i層の投影点を得るステップと、前記第i層のサンプリング点および前記第i層の投影点に基づいてブロックマッチングを行い、前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果を得るステップと、前記第i層のマッチング結果に基づき、前記第i層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第i層の逆深度値を得るステップと、を実行するように構成される、請求項15に記載の画像深度推定装置。
- 前記推定部は、具体的に、予め設定されたウィンドウにより、前記第i層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第i層の基準画像から、前記マッチング対象サンプリング点に対応する第i層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第i層のサンプリング点のうちのいずれか一つであるステップと、前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第i層のマッチング結果として特定するステップと、前記第i層のサンプリング点内の各サンプリング点に対応する第i層のマッチング結果が得られるまで、前記第i層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第i層のマッチング結果を継続して特定するステップと、を実行するように構成される、請求項18前記の画像深度推定方法。
- 前記推定部は、具体的に、前記第i層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第i層のマッチング結果から、目標マッチング結果を選択するステップと、前記目標サンプリング点に対応する第i層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、前記第i層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第i層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第i層の逆深度値を得るステップと、を実行するように構成される、請求項18に記載の画像深度推定装置。
- 前記推定部はさらに、前記第k層の逆深度値に対して補間最適化を行い、最適化後の第k層の逆深度値を得るステップと、前記最適化後の第k層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、請求項15から20のいずれか一項に記載の画像深度推定装置。
- 前記推定部は、具体的に、前記第k層の逆深度値内の各逆深度値に対して、それぞれ第k層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第k層のサンプリング点は前記k層の現在画像のうちの第k層の現在画像をサンプリングして得られた画素点であるステップと、前記隣接逆深度値に対応するマッチング結果を取得するステップと、前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第k層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第k層の逆深度値を得るステップと、を実行するように構成される、請求項21に記載の画像深度推定装置。
- プロセッサ、メモリおよび通信バスを含む電子機器であって、
前記通信バスは、前記プロセッサと前記メモリとの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶される画像深度推定プログラムを実行して、請求項1から11のいずれか一項に記載の画像深度推定方法を実現するように構成される、電子機器。 - 携帯電話またはタブレット型コンピュータである、請求項23に記載の電子機器。
- 一つ以上のプロセッサにより実行されて請求項1から11のいずれか一項に記載の画像深度推定方法を実現可能な一つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体。
- プロセッサにより実行される時に請求項1から11のいずれか一項に記載の画像深度推定方法の対応するステップを実現するコンピュータ可読コードを含む、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910621318.4 | 2019-07-10 | ||
CN201910621318.4A CN112215880B (zh) | 2019-07-10 | 2019-07-10 | 一种图像深度估计方法及装置、电子设备、存储介质 |
PCT/CN2019/101778 WO2021003807A1 (zh) | 2019-07-10 | 2019-08-21 | 一种图像深度估计方法及装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022515517A true JP2022515517A (ja) | 2022-02-18 |
JP7116262B2 JP7116262B2 (ja) | 2022-08-09 |
Family
ID=74047542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021537988A Active JP7116262B2 (ja) | 2019-07-10 | 2019-08-21 | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210350559A1 (ja) |
JP (1) | JP7116262B2 (ja) |
KR (1) | KR20210089737A (ja) |
CN (1) | CN112215880B (ja) |
SG (1) | SG11202108201RA (ja) |
TW (1) | TWI738196B (ja) |
WO (1) | WO2021003807A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2603947A (en) * | 2021-02-22 | 2022-08-24 | Nokia Technologies Oy | Method and apparatus for depth estimation relative to a mobile terminal |
US11688090B2 (en) | 2021-03-16 | 2023-06-27 | Toyota Research Institute, Inc. | Shared median-scaling metric for multi-camera self-supervised depth evaluation |
CN113313742A (zh) * | 2021-05-06 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像深度估计方法、装置、电子设备及计算机存储介质 |
TWI817594B (zh) * | 2022-07-04 | 2023-10-01 | 鴻海精密工業股份有限公司 | 圖像深度識別方法、電腦設備及儲存介質 |
CN116129036B (zh) * | 2022-12-02 | 2023-08-29 | 中国传媒大学 | 一种深度信息引导的全方向图像三维结构自动恢复方法 |
CN117880630B (zh) * | 2024-03-13 | 2024-06-07 | 杭州星犀科技有限公司 | 对焦深度获取方法、对焦深度获取系统及终端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6487304B1 (en) * | 1999-06-16 | 2002-11-26 | Microsoft Corporation | Multi-view approach to motion and stereo |
CN105007495A (zh) * | 2015-08-20 | 2015-10-28 | 上海玮舟微电子科技有限公司 | 一种基于多层3drs的差异估计方法及装置 |
CN108520554A (zh) * | 2018-04-12 | 2018-09-11 | 无锡信捷电气股份有限公司 | 一种基于orb-slam2的双目三维稠密建图方法 |
CN108648274A (zh) * | 2018-05-10 | 2018-10-12 | 华南理工大学 | 一种视觉slam的认知点云地图创建系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7889905B2 (en) * | 2005-05-23 | 2011-02-15 | The Penn State Research Foundation | Fast 3D-2D image registration method with application to continuously guided endoscopy |
GB2506338A (en) * | 2012-07-30 | 2014-04-02 | Sony Comp Entertainment Europe | A method of localisation and mapping |
US9576183B2 (en) * | 2012-11-02 | 2017-02-21 | Qualcomm Incorporated | Fast initialization for monocular visual SLAM |
WO2014165244A1 (en) * | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
KR102546996B1 (ko) * | 2016-08-19 | 2023-06-26 | 모비디어스 리미티드 | 희소 볼륨 데이터를 사용한 연산들 |
TWI756365B (zh) * | 2017-02-15 | 2022-03-01 | 美商脫其泰有限責任公司 | 圖像分析系統及相關方法 |
CN108010081B (zh) * | 2017-12-01 | 2021-12-17 | 中山大学 | 一种基于Census变换和局部图优化的RGB-D视觉里程计方法 |
CN109993113B (zh) * | 2019-03-29 | 2023-05-02 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
-
2019
- 2019-07-10 CN CN201910621318.4A patent/CN112215880B/zh active Active
- 2019-08-21 SG SG11202108201RA patent/SG11202108201RA/en unknown
- 2019-08-21 WO PCT/CN2019/101778 patent/WO2021003807A1/zh active Application Filing
- 2019-08-21 JP JP2021537988A patent/JP7116262B2/ja active Active
- 2019-08-21 KR KR1020217017780A patent/KR20210089737A/ko active Search and Examination
-
2020
- 2020-01-22 TW TW109102630A patent/TWI738196B/zh active
-
2021
- 2021-07-22 US US17/382,819 patent/US20210350559A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6487304B1 (en) * | 1999-06-16 | 2002-11-26 | Microsoft Corporation | Multi-view approach to motion and stereo |
CN105007495A (zh) * | 2015-08-20 | 2015-10-28 | 上海玮舟微电子科技有限公司 | 一种基于多层3drs的差异估计方法及装置 |
CN108520554A (zh) * | 2018-04-12 | 2018-09-11 | 无锡信捷电气股份有限公司 | 一种基于orb-slam2的双目三维稠密建图方法 |
CN108648274A (zh) * | 2018-05-10 | 2018-10-12 | 华南理工大学 | 一种视觉slam的认知点云地图创建系统 |
Also Published As
Publication number | Publication date |
---|---|
JP7116262B2 (ja) | 2022-08-09 |
CN112215880B (zh) | 2022-05-06 |
KR20210089737A (ko) | 2021-07-16 |
CN112215880A (zh) | 2021-01-12 |
TWI738196B (zh) | 2021-09-01 |
WO2021003807A1 (zh) | 2021-01-14 |
TW202103106A (zh) | 2021-01-16 |
US20210350559A1 (en) | 2021-11-11 |
SG11202108201RA (en) | 2021-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022515517A (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
US10368062B2 (en) | Panoramic camera systems | |
CN107566688B (zh) | 一种基于卷积神经网络的视频防抖方法、装置及图像对齐装置 | |
CN107689035B (zh) | 一种基于卷积神经网络的单应性矩阵确定方法及装置 | |
US9338437B2 (en) | Apparatus and method for reconstructing high density three-dimensional image | |
CN111598993A (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
CN107564063B (zh) | 一种基于卷积神经网络的虚拟物显示方法及装置 | |
CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
US20200349754A1 (en) | Methods, devices and computer program products for generating 3d models | |
CN109495733B (zh) | 三维影像重建方法、装置及其非暂态电脑可读取储存媒体 | |
WO2021035627A1 (zh) | 获取深度图的方法、装置及计算机存储介质 | |
US10154241B2 (en) | Depth map based perspective correction in digital photos | |
CN114332125A (zh) | 点云重建方法、装置、电子设备和存储介质 | |
JP5178538B2 (ja) | 深度マップを画像から決定する方法、深度マップを決定する装置 | |
CN115564639A (zh) | 背景虚化方法、装置、计算机设备和存储介质 | |
JP2009530701A5 (ja) | ||
JP2009186287A (ja) | 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム | |
KR102310789B1 (ko) | 다양한 시점에서 연속적으로 획득된 영상을 활용한 카메라 자세 및 깊이 추정 장치 및 방법 | |
US20120038785A1 (en) | Method for producing high resolution image | |
CN110176035A (zh) | 标志点的定位方法、装置、计算机设备和存储介质 | |
CN115086625A (zh) | 投影画面的校正方法、装置、系统、校正设备和投影设备 | |
CN117456124B (zh) | 一种基于背靠背双目鱼眼相机的稠密slam的方法 | |
KR102492163B1 (ko) | 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법 및 장치 | |
US9531943B2 (en) | Block-based digital refocusing system and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7116262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |