JP2020123114A - 深度超解像装置、深度超解像方法、及びプログラム - Google Patents

深度超解像装置、深度超解像方法、及びプログラム Download PDF

Info

Publication number
JP2020123114A
JP2020123114A JP2019014286A JP2019014286A JP2020123114A JP 2020123114 A JP2020123114 A JP 2020123114A JP 2019014286 A JP2019014286 A JP 2019014286A JP 2019014286 A JP2019014286 A JP 2019014286A JP 2020123114 A JP2020123114 A JP 2020123114A
Authority
JP
Japan
Prior art keywords
depth
hierarchical
depth information
continuity
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019014286A
Other languages
English (en)
Other versions
JP7074090B2 (ja
Inventor
泰洋 八尾
Yasuhiro Yao
泰洋 八尾
慎吾 安藤
Shingo Ando
慎吾 安藤
夏菜 倉田
Kana Kurata
夏菜 倉田
仁 新垣
Jin Niigaki
仁 新垣
淳 嵯峨田
Atsushi Sagata
淳 嵯峨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019014286A priority Critical patent/JP7074090B2/ja
Priority to US17/425,916 priority patent/US11900622B2/en
Priority to PCT/JP2020/002700 priority patent/WO2020158646A1/ja
Publication of JP2020123114A publication Critical patent/JP2020123114A/ja
Application granted granted Critical
Publication of JP7074090B2 publication Critical patent/JP7074090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

【課題】単眼画像と疎な深度情報のみを用いて密な深度情報を生成することができる。【解決手段】深度超解像装置１００は、入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力する入力データ処理部２２と、前記階層的入力画像に基づいて階層的推定深度連続性を導出する深度連続性推定部２４と、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力する深度連続性マスク導出部２６と、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出するコスト関数最小化部３０と、を備える。【選択図】図１

Description

本発明は、深度超解像装置、深度超解像方法、及びプログラムに関する。
Light Detection and Ranging(LiDAR)などによって計測される深度情報は正確であるが、密度が疎であるため、利用のために高密度化する必要がある場合がある。そのため、計測により得られる疎な深度情報と画像から密な深度情報を導出する手法が提案されている。
画像と疎な深度情報を入力として、Deep Neural Network (DNN)で処理をすることで、密な深度情報を生成する手法が知られている(例えば、非特許文献１)。画像と疎な深度情報を入力とし、密な深度情報を正解として与え学習したDNNにより、高密度な深度情報の推定を行う。
また、ステレオ画像と疎な深度情報を用いて、コスト関数の最小化によって密な深度情報を生成する手法も知られている(例えば、非特許文献２参照)。この手法では深度の連続性を保持しながら、ステレオ画像の視差との誤差と計測された疎な深度情報との誤差を小さくするような密な深度情報を導出する。
M. Fengchang, and K. Sertac, "Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image", IEEE International Conference on Robotics and Automation (ICRA), 2018 G. Kuschk, A. Bozic and D. Cremers, "Real-time variational stereo reconstruction with applications to large-scale dense SLAM," 2017 IEEE Intelligent Vehicles Symposium (IV), Los Angeles, CA, 2017, pp. 1348-1355.
非特許文献１のように、DNNで処理をすることで密な深度情報を生成する手法では、大量の学習データが必要となる。この場合に必要となる学習データは画像と深度情報を同時に計測したものでなければならない。さらに、正解データとするために何らかの方法によって密な深度情報を生成する必要がある。非特許文献１では時系列的に連続して計測された画像と疎な深度情報から自動で高密度な深度情報を生成し、正解データとして用いる方法も併せて提案しているが、手動で生成した高密度な深度情報により学習したDNNの性能のほうが高いと報告されている。本手法のようなDNNによる深度情報の超解像のために要求される画像と深度情報は画像のみのデータに比べて入手が困難である。
非特許文献２の手法では、ステレオ画像と疎な深度情報を入力として必要とする。そのため、単眼画像と疎な深度情報から密な深度情報を生成しなければならない状況下では適用できず、限定的な状況でしか使うことができない。
本発明はこのような事情に鑑みてなされたものであり、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することができる深度超解像装置、方法、及びプログラムを提供することを目的とする。
本発明の一態様は、入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力する入力データ処理部と、前記階層的入力画像に基づいて階層的推定深度連続性を導出する深度連続性推定部と、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力する深度連続性マスク導出部と、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出するコスト関数最小化部と、を備える深度超解像装置である。
また、本発明の一態様は、入力データ処理部が、入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力し、深度連続性推定部が、前記階層的入力画像に基づいて階層的推定深度連続性を導出し、深度連続性マスク導出部が、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力し、コスト関数最小化部が、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出する深度超解像方法である。
本発明の一態様によれば、入力データ処理部が、入力画像と入力深度情報を適切な形式に変換しあらかじめ定められた階層数(N≧1)にしたがい解像度変換することで階層的入力画像と階層的入力深度情報を導出する。
深度連続性推定部が、前記階層的入力画像に基づいて階層的推定深度連続性を導出する。深度連続性マスク導出部が、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力する。
コスト関数最小化部が、前記階層的入力深度情報と前記階層的推定深度連続性と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように繰り返し最適化計算を行って超解像深度情報を導出する。
このように、前記階層的入力画像に基づいて階層的推定深度連続性を導出し、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、階層的深度連続性マスクを出力し、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように繰り返し最適化計算を行って超解像深度情報を導出することにより、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することが可能となる。なお、深度情報を推定するモデルの学習では、ステレオ画像を用いるようにしてもよい。
本発明の一態様は、上記の深度超解像装置であって、前記階層的入力深度情報に基づいてコスト関数最小化初期値を出力する初期値導出部を更に含み、前記コスト関数最小化部は、前記コスト関数最小化初期値を用いて、前記コスト関数を最小化するように前記超解像深度情報を導出する。
本発明の一態様は、コンピュータを、上記の深度超解像装置として機能させるためのプログラムである。
以上説明したように、本発明によれば、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することが可能となる、という効果が得られる。
本実施形態に係る深度超解像装置の構成例を示す図である。 深度超解像装置の全体の処理フローを示す図である。 入力データ処理部で出力される階層的入力画像の例を示す図である。 入力データ処理部で実施される点群形式の入力深度情報をデプスマップ形式に変換する処理の入力と出力を例示する図である。 入力データ処理部で出力される階層的入力深度情報の例を示す図である。 深度連続性推定部の処理の入力と出力を例示する図である。 深度連続性マスク導出部の処理の入力と出力を例示する図である。 初期値導出部の入力と出力を例示する図である。 初期値導出部を介さない場合のコスト関数最小化初期値の例を示す図である。 コスト関数最小化部の処理フローを示す図である。 深度超解像装置が出力する超解像深度情報を例示する図である。
以下、図面を参照して、本発明の一実施形態による深度超解像装置を説明する。
＜深度超解像装置の構成＞
図１は同実施形態の構成を示す模式図である。この図に示す深度超解像装置１００は、入力部１０、演算部２０、及び出力部５０を備えている。
演算部２０は、入力データ処理部２２、深度連続性推定部２４、深度連続性マスク導出部２６、初期値導出部２８、及びコスト関数最小化部３０の各機能部を備える。なお、これらの機能部は、例えばＣＰＵやＧＰＵなどがプログラムを実行することにより実現される。また、深度超解像装置１００は機能部などのデバイスを備える。
演算部２０は、記憶部３２を備えている。記憶部３２は、入力部１０により入力された入力画像４０及び入力深度情報４２を記憶している。
入力データ処理部２２は、入力画像４０と入力深度情報４２を適切な形式に変換し予め定められた階層数(N≧1)にしたがい解像度変換することで階層的入力画像４４と階層的入力深度情報４６とを出力し、記憶部３２に格納する。
深度連続性推定部２４は、階層的入力画像４４に基づいて階層的推定深度連続性４８を導出し、記憶部３２に格納する。
深度連続性マスク導出部２６は、階層的入力画像４４と階層的推定深度連続性４８とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスク５２を出力し、記憶部３２に格納する。
初期値導出部２８は、階層的入力深度情報４６に基づいてコスト関数最小化初期値５４を出力し、記憶部３２に格納する。
コスト関数最小化部３０は、コスト関数最小化初期値５４を用いて、階層的入力深度情報と階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように繰り返し最適化計算を行って超解像深度情報５６を導出し、記憶部３２に格納する。
＜深度超解像装置の作用＞
図２は同実施形態における処理のフローを示すフロー図である。図に示すように、深度連続性推定・深度連続性マスク導出の処理と初期値導出の処理は並列に実行してもよい。
ステップＳ１００において、入力データ処理部２２は入力画像４０と入力深度情報４２を入力とし、予め定められた階層数(N≧1)に従い階層的入力画像４４と階層的入力深度情報４６を導出する。
入力データ処理部２２での入力画像４０に対する処理について図３を用いて説明する。入力画像４０の解像度を幅W、高さH(単位：ピクセル)とする。以下、階層数をNとし、階層のインデックスをnとする。ここで、n=0,1,…,N-1である。入力データ処理部２２では入力画像４０を幅W_n=W/2^(N-n)、高さH_n=H/2^(N-n)に変換し、画像I_nを生成する。よってN枚の画像が生成され、これらを階層的入力画像４４として記憶部３２に保存する。図３（Ａ）〜（Ｃ）に階層数N=3の場合の画像I_nを例示する。なお、N=1の場合は、幅W、高さHの入力画像４０が解像度変換されずに出力される。
入力データ処理部２２での入力深度情報４２に対する処理について図４、図５を用いて説明する。入力深度情報４２は各点がx,y,zの3次元の情報を持つ点の集合である点群形式、もしくは各ピクセルが深度値を持つ画像であるデプスマップ形式で与えられる。図４（Ａ）、（Ｂ）に、点群形式、デプスマップ形式の入力深度情報４２を例示する。点群形式でデータが与えられた場合、点群をカメラ画像平面に投影する投影行列を用いて、入力深度情報４２をデプスマップ形式に変換する。デプスマップ形式の入力深度情報４２は解像度W、高さHとなる。このデプスマップ形式の入力深度情報４２を幅W_n、高さH_nに変換し、深度情報D_nを生成する。よってN枚のデプスマップ形式の深度情報が生成され、これらを階層的入力深度情報４６として記憶部３２に保存する。図５（Ａ）〜（Ｃ）に階層数N=3の場合の深度情報D_nを例示する。なお、N=1の場合は、幅W、高さHの入力深度情報４２が解像度変換されずに出力される。
ステップＳ１０２では、深度連続性推定部２４が、階層的入力画像４４を入力として、階層的推定深度連続性４８を導出する。ここで、推定深度連続性は画像と同じ解像度を持つ情報であり、値の微分が深度の微分と相関を持つような情報である。例えば、画像から深度情報を推定するＤＮＮを用いて推定深度連続性を得ることができる。非特許文献３、非特許文献４にあるように、深度情報を推定するＤＮＮは画像のみから学習をすることができるので、学習データの入手が容易である。具体的にはステレオ画像を用いて単眼画像から深度情報を推定するＤＮＮを学習している。
［非特許文献３］Godard, Clement, Oisin Mac Aodha, and Gabriel J. Brostow. "Unsupervised monocular depth estimation with left-right consistency." CVPR. Vol. 2. No. 6. 2017.
［非特許文献４］Garg, Ravi et al. “Unsupervised CNN for Single View Depth Estimation: Geometry to the Rescue.” Lecture Notes in Computer Science (2016): 740-756. Crossref. Web.
また、例えばk-meansクラスタリングなどの、学習が不要な領域分割手段によって画像を領域分割することで推定深度連続性を得ることができる。この場合ＤＮＮの学習は不要である。
図６（Ａ）〜（Ｃ）に推定深度連続性の導出を例示する。各階層の入力画像について深度連続性情報を導出するので、N枚の深度連続性情報U_n(n=0,1,…,N)が出力され、これらを階層的推定深度連続性４８として記憶部３２に保存する。
ステップＳ１０４では、深度連続性マスク導出部２６は、階層的入力画像４４と階層的推定深度連続性４８を入力として、階層的深度連続性マスク５２を出力する。深度連続性マスクは深度が連続となると推定される位置で大きな値を持ち、深度が不連続であると推定される位置で小さい値(≧0)を持つようなデータである。各階層について対応する解像度の深度連続性マスクG_nを生成するので、計N枚の深度連続性マスクが生成される。深度連続性マスクG_nの導出方法は限定されないが、以下に具体的なG_nの導出式を2例示す。

(式1)

(式2)
なお、α_I, β_I, α_U, β_Uは0以上の任意の定数である。上記式１、式２は、深度連続性マスクの要素毎に計算される。ただし、∇I_n、∇U_nは、隣接画像との微分値を計算したものである。
図７に深度連続性マスク導出部２６の入力と出力を例示する。生成した階層的深度連続性マスク５２は記憶部３２に保存される。
ステップＳ１０６では、初期値導出部２８は階層的入力深度情報４６の第0階層のデータであるD_0からコスト関数最小化初期値D’を導出する。D’は以下に示す重みづけ平均によって導出する。

(式3)
ここで、

はそれぞれ画像平面上の2次元座標であり、σ2は重みづけ平均をとる際の分散値であり、任意の0より大きい値である。出力されたコスト関数最小化初期値５４は記憶部３２に保存される。図８に初期値導出部２８の入力と出力を図示する。
なお、初期値導出部２８を備えないように構成してもよい。初期値導出部２８を備えない実施形態では、コスト関数最小化初期値D’は階層的入力深度情報４６の第0階層のデータであるD_0の値がないピクセルに乱数値を代入する、もしくは定数値を代入するなどの方法で導出することができる。このようにして導出したコスト関数最小化初期値５４を図９（Ａ）、（Ｂ）に図示する。
ステップＳ１０８では、コスト関数最小化部３０は、階層的入力深度情報４６と階層的深度連続性マスク４６とコスト関数最小化初期値５４とを入力とし、繰り返し最適化計算により超解像深度情報５６を導出し、超解像深度情報５６を記憶部３２に出力する。この超解像深度情報５６が本発明の最終的な出力である。コスト関数最小化部３０では非特許文献５に記載のprimal-dual algorithmにより繰り返し最適化処理を実施する。
［非特許文献５］A. Chambolle and T. Pock. "A first-order primal-dual algorithm for convex problems with applications to imaging." Journal of mathematical imaging and vision 40.1 (2011), 120-145.
図１０にコスト関数最小化部３０の処理フローを示す。第0階層から始め、第N-1階層まで段階的に最適化計算を実施する。本処理フローにのっとり、以下コスト関数最小化部３０の処理について説明する。なお、コスト関数最小化部３０では、階層的深度連続性マスク５２と階層的入力深度情報４６とに基づいて、階層的深度連続性マスクと超解像深度情報とを演算子により演算したもの、及び超解像深度情報と階層的推定深度連続性との差分を含んで表されるコスト関数を最小化する。具体的には、以下のコスト関数を最小化する。

(式4)
ここで、Lは微分演算子の行列形式であり、ε、λは0以上の定数であり、Ωは階層的入力深度情報D_nが定義される平面であり、入力画像平面と同一平面である。||・||_εはHuber Normであり、以下の式で定義される。

(式5)
(式4)を最小化するために、以下に続く式のように変数q_n、a_n、θを導入し、Legendre-Fenchel変換、Quadratic Relaxationとして知られる式変換を施す。

(式6)

(式7)
ただし、supは、上限を出力する関数である。上記式では、超解像深度情報を表す主変数と双対変数とを含むコスト関数を最小化することを表している。
以降、第n階層での変数の初期値をd_n_0、q_n_0、a_n_0、

と書く。また、第n階層での最適化処理の結果をd_n_end、q_n_endと書く。
まず、ステップＳ１２０では、ｎ＝０と初期化する。
ステップＳ１２２では、コスト関数を最小化する第n階層の変数を求める。ステップＳ１２２は、以下のステップＳ１２４〜ステップＳ１３２により実現される。
ステップＳ１２４では、第n階層の変数の初期化を行い、変数の初期値を定める。初期値の定め方は自由であり、配列の次元が正しければ任意の初期値から始めても最適化処理を実施してもよい。以下、初期値の定め方の一例を示す。以降、K_n=W_n×H_nとする。
n=0の場合、d_0_0はコスト関数最小化初期値D’をK_0×1次元に変形したベクトルであり、q_0_0はK_0×2次元のすべての要素が0の配列であり、

はd_0_0と等しいベクトルであり、a_0_0はd_0_0と等しいベクトルである。
n>0の場合、d_n_0は、第n-1階層の最適化結果d_n-1_endをH_{n-1}×W_{n-1}次元の配列に変形したのちH_n×W_nに拡大し(値は内挿もしくは近傍値をとることで定める)さらにK_n×1次元に変形したベクトルである。q_n_0は、q_n-1_endをH_{n-1}×W_{n-1}×2次元の配列に変形したのちH_n×W_nに拡大し(値は内挿もしくは近傍値をとることで定める)さらにK_n×2次元に変形したベクトルである。

は、d_n_0と等しいベクトルであり、a_n_0はd_n_0と等しいベクトルである。
前述のように初期値の定め方は自由であり、ベクトルと配列の次元が同じであれば上記の方法によらずに初期値を設定してもよい。
ステップＳ１２６では、双対変数(q_n_i)を以下の式にしたがって更新する。

(式8)
ここで、上記式８は、双対変数の要素毎に計算される。ただし、

は、複数の要素を使って計算される。また、τ_qは0より大きい定数である。
ステップＳ１２８では、超解像深度情報を表す主変数(d_n_i)を以下の式に従って更新する。

(式9)
ここで、上記式９は、主変数の要素毎に計算される。ただし、

は、複数の要素を使って計算される。また、^Tは3次元配列(次元のインデックスを0,1,2とする)の第1次元と第2次元の転置を表し、τ_dは0より大きい定数である。なお、非特許文献4で述べられているように、τ_qとτ_dは以下を満たさなければならない。

(式10)
ステップＳ１３０では、他の変数の更新を行う。具体的には、a_n_iの更新を以下の式に従って行う。

(式11)
また、

の更新を以下の式に従って行う。

(式12)
また、何らかの方法によりθ_iを逐次的に小さくすることによってθ_iの更新を行う。例えば、以下の式のように行えばよいが、方法は限定されない。

(式13)
ステップＳ１３２では、第n階層のコスト関数最小化を終了するか否かを判定する。第n階層のコスト関数最小化の終了判定はどのような方法で行ってもよいが、例えば以下のア)からウ)に示すような終了判定条件がある。
ア)規定回数の繰り返しを実施したこと。
イ)θ_iがあらかじめ定めたθ_end未満であること。
ウ)d_n_iとd_n_{i-1}の差分のノルムがδ未満であること。
終了判定を満たさない場合、i=i+1とし、ステップＳ１２６へ戻り、双対変数(q_n_i)、主変数(d_n_i)、他の変数

を更新する。
第n階層のコスト関数最小化の終了判定条件を満たした場合、ステップＳ１３４では、nがN-1(すなわち最終階層)であるか否かを判定する。n<N-1の場合n=n+1としてステップＳ１２４へ戻り、第n階層の変数の初期化を実施する。n=N-1(すなわち最終階層)であればコスト関数最小化処理を終了し、主変数d_n_endを幅W、高さHに変形し、超解像深度情報５６として出力する。出力された超解像深度情報５６の例を図１１に示す。
以下、コスト最適化計算のその他の計算実施方法について述べる。
(式8)から(式13)の代わりに、(式14)から(式17)に示す更新式によって、θ、a_nを導入しない(式6)の形のコスト関数の最小化を実施できる。用いる定数の意味と値の範囲は(式8)から(式13)の議論と同様である。

(式14)

(式15)

(式16)

(式17)
(式4)の代わりに(式18)のコスト関数を最小化する場合、(式19)から(式23)の更新式によってコスト関数最小化の計算が実施できる。用いる定数の意味と値の範囲は(式8)から(式13)の議論と同様である。

(式18)

(式19)

(式20)

(式21)

(式22)

(式23)
コスト関数最小化部３０では、(式8)から(式13)の更新式、(式14)から(式17)の更新式、(式18)から(式23)の更新式のいずれを用いてもよい。
以上説明したように、本発明の実施の形態に係る深度超解像装置によれば、階層的入力画像に基づいて階層的推定深度連続性を導出し、階層的入力画像と階層的推定深度連続性とに基づいて、階層的深度連続性マスクを出力し、階層的入力深度情報と階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように繰り返し最適化計算を行って超解像深度情報を導出することにより、センサで計測された疎な深度情報と単眼画像のみを用いて密な深度情報を生成することが可能となる。
また、深度情報を推定するＤＮＮの学習時には画像の情報のみを用いることで学習データの入手を容易とし、かつ超解像処理の実施においては、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することができる。
また、本発明は学習を実施しない形でも実施でき、その場合学習データの入手は不要であり、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することができる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上述の深度超解像装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
１０ 入力部
２０ 演算部
２２ 入力データ処理部
２４ 深度連続性推定部
２６ 深度連続性マスク導出部
２８ 初期値導出部
３０ コスト関数最小化部
３２ 記憶部
４０ 入力画像
４２ 入力深度情報
４４ 階層的入力画像
４６ 階層的深度連続性マスク
４６ 階層的入力深度情報
４８ 階層的推定深度連続性
５０ 出力部
５２ 階層的深度連続性マスク
５４ コスト関数最小化初期値
５６ 超解像深度情報
１００ 深度超解像装置

Claims (7)

  1. 入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力する入力データ処理部と、
    前記階層的入力画像に基づいて階層的推定深度連続性を導出する深度連続性推定部と、
    前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力する深度連続性マスク導出部と、
    前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出するコスト関数最小化部と、
    を備える深度超解像装置。
  2. 前記階層的入力深度情報に基づいてコスト関数最小化初期値を出力する初期値導出部を更に含み、
    前記コスト関数最小化部は、前記コスト関数最小化初期値を用いて、前記コスト関数を最小化するように前記超解像深度情報を導出する請求項１記載の深度超解像装置。
  3. 前記コスト関数最小化部は、前記超解像深度情報を表す主変数と双対変数とを含む前記コスト関数を最小化するように前記主変数と前記双対変数とを繰り返し更新する請求項１又は２に記載の深度超解像装置。
  4. 前記コスト関数は、前記階層的深度連続性マスクと前記超解像深度情報とを演算子により演算したもの、及び前記超解像深度情報と前記階層的入力深度情報との差分を含んで表される請求項１〜請求項３の何れか１項記載の深度超解像装置。
  5. 入力データ処理部が、入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力し、
    深度連続性推定部が、前記階層的入力画像に基づいて階層的推定深度連続性を導出し、
    深度連続性マスク導出部が、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力し、
    コスト関数最小化部が、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出する
    深度超解像方法。
  6. 初期値導出部が、前記階層的入力深度情報に基づいてコスト関数最小化初期値を出力することを更に含み、
    前記コスト関数最小化部が導出することでは、前記コスト関数最小化初期値を用いて、前記コスト関数を最小化するように前記超解像深度情報を導出する請求項５記載の深度超解像方法。
  7. コンピュータを、請求項１〜請求項４の何れか１項記載の深度超解像装置として機能させるためのプログラム。
JP2019014286A 2019-01-30 2019-01-30 深度超解像装置、深度超解像方法、及びプログラム Active JP7074090B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019014286A JP7074090B2 (ja) 2019-01-30 2019-01-30 深度超解像装置、深度超解像方法、及びプログラム
US17/425,916 US11900622B2 (en) 2019-01-30 2020-01-27 Depth superresolution device, depth superresolution method, and program
PCT/JP2020/002700 WO2020158646A1 (ja) 2019-01-30 2020-01-27 深度超解像装置、深度超解像方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019014286A JP7074090B2 (ja) 2019-01-30 2019-01-30 深度超解像装置、深度超解像方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020123114A true JP2020123114A (ja) 2020-08-13
JP7074090B2 JP7074090B2 (ja) 2022-05-24

Family

ID=71840987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019014286A Active JP7074090B2 (ja) 2019-01-30 2019-01-30 深度超解像装置、深度超解像方法、及びプログラム

Country Status (3)

Country Link
US (1) US11900622B2 (ja)
JP (1) JP7074090B2 (ja)
WO (1) WO2020158646A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022051524A (ja) * 2020-09-18 2022-03-31 株式会社デンソー Ｌｉｄａｒの出力を強化するためのシステム及び方法
JP2022100299A (ja) * 2020-12-23 2022-07-05 日本電気株式会社 画像処理の方法、デバイス及びコンピュータ可読記憶媒体
KR20230020187A (ko) * 2021-08-03 2023-02-10 연세대학교 산학협력단 깊이맵 완성 장치 및 방법
US11868430B2 (en) 2021-03-17 2024-01-09 Kabushiki Kaisha Toshiba Image processing device, method, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7074090B2 (ja) * 2019-01-30 2022-05-24 日本電信電話株式会社 深度超解像装置、深度超解像方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176107A (ja) * 1992-12-04 1994-06-24 Canon Inc 距離画像処理方法及び装置
JPH10143635A (ja) * 1996-11-13 1998-05-29 Matsushita Electric Ind Co Ltd 画像合成装置
JP2010218547A (ja) * 2009-03-17 2010-09-30 Mitsubishi Electric Research Laboratories Inc 画像をアップサンプリングする方法
JP2017224169A (ja) * 2016-06-15 2017-12-21 日本電信電話株式会社 距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9349174B2 (en) * 2013-05-31 2016-05-24 Microsoft Technology Licensing, Llc Absolute phase measurement with secondary pattern-embedded fringe
JP6176107B2 (ja) 2013-12-27 2017-08-09 富士通株式会社 情報収集プログラム、情報収集方法及び情報収集装置
US9729857B2 (en) * 2014-04-08 2017-08-08 Semyon Nisenzon High resolution depth map computation using multiresolution camera clusters for 3D image generation
US10326981B2 (en) * 2015-05-15 2019-06-18 Semyon Nisenzon Generating 3D images using multi-resolution camera set
US9900584B2 (en) * 2016-04-27 2018-02-20 Semyon Nisenzon Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters
JP7074090B2 (ja) * 2019-01-30 2022-05-24 日本電信電話株式会社 深度超解像装置、深度超解像方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176107A (ja) * 1992-12-04 1994-06-24 Canon Inc 距離画像処理方法及び装置
JPH10143635A (ja) * 1996-11-13 1998-05-29 Matsushita Electric Ind Co Ltd 画像合成装置
JP2010218547A (ja) * 2009-03-17 2010-09-30 Mitsubishi Electric Research Laboratories Inc 画像をアップサンプリングする方法
JP2017224169A (ja) * 2016-06-15 2017-12-21 日本電信電話株式会社 距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022051524A (ja) * 2020-09-18 2022-03-31 株式会社デンソー Ｌｉｄａｒの出力を強化するためのシステム及び方法
JP7192935B2 (ja) 2020-09-18 2022-12-20 株式会社デンソー Ｌｉｄａｒの出力を強化するためのシステム及び方法
JP2022100299A (ja) * 2020-12-23 2022-07-05 日本電気株式会社 画像処理の方法、デバイス及びコンピュータ可読記憶媒体
JP7363883B2 (ja) 2020-12-23 2023-10-18 日本電気株式会社 画像処理の方法、デバイス及びコンピュータ可読記憶媒体
US11868430B2 (en) 2021-03-17 2024-01-09 Kabushiki Kaisha Toshiba Image processing device, method, and storage medium
KR20230020187A (ko) * 2021-08-03 2023-02-10 연세대학교 산학협력단 깊이맵 완성 장치 및 방법
KR102641108B1 (ko) 2021-08-03 2024-02-27 연세대학교 산학협력단 깊이맵 완성 장치 및 방법

Also Published As

Publication number Publication date
US20220198690A1 (en) 2022-06-23
JP7074090B2 (ja) 2022-05-24
WO2020158646A1 (ja) 2020-08-06
US11900622B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
JP7074090B2 (ja) 深度超解像装置、深度超解像方法、及びプログラム
Bertalan et al. On learning Hamiltonian systems from data
Jakeman et al. Enhancing ℓ1-minimization estimates of polynomial chaos expansions using basis selection
Su et al. Fourier-based interpolation bias prediction in digital image correlation
US20190354832A1 (en) Method and system for learning on geometric domains using local operators
Bot et al. A primal-dual splitting algorithm for finding zeros of sums of maximal monotone operators
Bergman et al. Deep adaptive lidar: End-to-end optimization of sampling and depth completion at low sampling rates
Hennig et al. Probabilistic solutions to differential equations and their application to Riemannian statistics
CN111902826A (zh) 定位、建图和网络训练
JP2015197702A (ja) 情報処理装置、情報処理方法
Jowers et al. Shape detection with vision: implementing shape grammars in conceptual design
Wismüller et al. Pair-wise clustering of large scale Granger causality index matrices for revealing communities
WO2020230214A1 (ja) 深度推定装置、深度推定モデル学習装置、深度推定方法、深度推定モデル学習方法、及び深度推定プログラム
Yang et al. Fast adaptive mesh augmented lagrangian digital image correlation
Lichtenstein et al. Deep eikonal solvers
Kazemi et al. Topology optimization integrated deep learning for multiphysics problems
US20200202563A1 (en) 3d image reconstruction processing apparatus, 3d image reconstruction processing method and computer-readable storage medium storing 3d image reconstruction processing program
Merras et al. Camera self calibration with varying parameters by an unknown three dimensional scene using the improved genetic algorithm
JP2006338365A (ja) 動画生成装置、動画生成方法、動画生成プログラム
Baranger et al. Combined energy method and regularization to solve the Cauchy problem for the heat equation
JP6651254B2 (ja) シミュレーション方法、シミュレーションプログラム、及びシミュレーション装置
Jain et al. A kernel class allowing for fast computations in shape spaces induced by diffeomorphisms
Ochs Unifying abstract inexact convergence theorems for descent methods and block coordinate variable metric iPiano
Hangelbroek Polyharmonic approximation on the sphere
Pan et al. Deep learning for rectification of radial distortion image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7074090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150