JP2016148588A - デプス推定モデル生成装置及びデプス推定装置 - Google Patents
デプス推定モデル生成装置及びデプス推定装置 Download PDFInfo
- Publication number
- JP2016148588A JP2016148588A JP2015025429A JP2015025429A JP2016148588A JP 2016148588 A JP2016148588 A JP 2016148588A JP 2015025429 A JP2015025429 A JP 2015025429A JP 2015025429 A JP2015025429 A JP 2015025429A JP 2016148588 A JP2016148588 A JP 2016148588A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- estimation model
- image
- pixel
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 デプス推定モデル生成装置10は、RGB画像組を取得するRGB画像取得部11と、仮想的なデプス撮像装置によって仮想的に撮像されるデプス画像を生成するデプス画像生成部12と、同一の注目領域内の注目ピクセルの周辺の輝度分布と、当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成する推定モデル生成部13とを備えている。
【選択図】 図1
Description
Sean Fanello他:Learning to be a Depth Camera for Close-Range Human Capture AND Interaction, ACM Transactions on Graphics,Vol. 33, No. 4, Article 86, Publication Date: July 2014 金田憲明他、ステレオビジョン画像処理技術の実用化研究(新潟県工業技術総合研究所工業技術研究報告書)、2006年 Kishore Konda, Roland Memisevic:Unsupervised learning of depth AND motion,2013
γ1、γ2:RGB輝度
β:カメラID
で表されるf(ω,γ,pi,β)と、分割閾値τとを比較して、ノード分割後の前記注目ピクセルにおけるデプス値の分散が最も小さくなるように、前記注目ピクセルにおけるノード分割を行ってよい。
10 デプス推定モデル生成装置
11 RGB画像取得部
12 デプス画像生成部
13 デプス推定モデル生成部
14 デプス推定部
15 記憶部
16 学習データ記憶部
17 デプス推定モデル記憶部
Claims (7)
- 平行等位に設置された複数の撮像デバイスによって撮像されたRGB画像組を取得するRGB画像取得部と、
前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記RGB画像組に対応するデプス画像を生成するデプス画像生成部と、
前記RGB画像取得部にて取得されたRGB画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するデプス推定モデル生成部と、
を備えたデプス推定モデル生成装置。 - 前記デプス推定モデル生成部は、ランダムフォレストに基づいて、前記注目ピクセルから、前記RGB画像組を構成する画像ごとに異なる量でオフセットさせた周辺ピクセルにおける輝度値の差に応じて、前記注目ピクセルにおけるデプス値集合のノード分割を繰り返し行うことで、前記仮想カメラから見たデプス値を回帰する1以上の回帰木からなる推定モデルを生成する、請求項1に記載のデプス推定モデル生成装置。
- 前記学習部は、カメラβによって撮像された画像のあるピクセルにおけるRGB輝度をIβ(pi,γ)として、
γ1、γ2:RGB輝度
β:カメラID
で表されるf(ω,γ,pi,β)と、分割閾値τとを比較して、ノード分割後の前記注目ピクセルにおけるデプス値の分散が最も小さくなるように、前記注目ピクセルにおけるノード分割を行う請求項2に記載のデプス推定モデル生成装置。 - 平行等位に設置された複数の撮像デバイスによって撮像されたRGB画像組を取得するRGB画像取得部と、
前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記RGB画像組に対応するデプス画像を生成するデプス画像生成部と、
前記RGB画像取得部にて取得されたRGB画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するデプス推定モデル生成部と、
前記デプス推定モデル生成部にて生成された推定モデルを用いてデプス値の推定を行うデプス推定部と
を備えたデプス推定装置。 - 前記デプス推定モデル生成部は、ランダムフォレストに基づいて、前記注目ピクセルから、前記RGB画像組を構成する画像ごとに異なる量でオフセットさせた周辺ピクセルにおける輝度値の差に応じて、当該注目ピクセルにおけるデプス値のノード分割を繰り返し行うことで、前記仮想カメラから見たデプス値を回帰する1以上の回帰木からなる推定モデルを生成し、
前記デプス推定部は、各前記回帰木から得られるデプス値の確率の合計値に基づいて、推定デプス値を算出する請求項4に記載のデプス推定装置。 - 平行等位に設置された複数の撮像デバイスによって撮像されたRGB画像組を取得するステップと、
前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記RGB画像組に対応するデプス画像を生成するステップと、
前記RGB画像取得部にて取得されたRGB画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するステップと、
を備えたデプス推定モデル生成方法。 - デプス推定モデルを生成するためのプログラムであって、コンピュータに、
平行等位に設置された複数の撮像デバイスによって撮像されたRGB画像組を取得するステップと、
前記複数の撮像デバイスの略中央に位置する仮想的なデプス撮像装置によって仮想的に撮像される、前記RGB画像組に対応するデプス画像を生成するステップと、
前記RGB画像取得部にて取得されたRGB画像組における、同一の注目ピクセルの周辺の輝度分布と、前記デプス画像生成部にて生成されたデプス画像内の当該注目ピクセルにおけるデプス値との関係を学習することで、デプス推定モデルを生成するステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015025429A JP6359985B2 (ja) | 2015-02-12 | 2015-02-12 | デプス推定モデル生成装置及びデプス推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015025429A JP6359985B2 (ja) | 2015-02-12 | 2015-02-12 | デプス推定モデル生成装置及びデプス推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016148588A true JP2016148588A (ja) | 2016-08-18 |
JP6359985B2 JP6359985B2 (ja) | 2018-07-18 |
Family
ID=56688302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015025429A Expired - Fee Related JP6359985B2 (ja) | 2015-02-12 | 2015-02-12 | デプス推定モデル生成装置及びデプス推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6359985B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102051074B1 (ko) * | 2018-07-26 | 2019-12-02 | 샐터스 주식회사 | 영상 처리 장치 및 방법 |
JP2021522603A (ja) * | 2019-05-02 | 2021-08-30 | ナイアンティック, インコーポレイテッドNiantic,Inc. | 深度ヒントを使用した深度推定モデルの自己教師ありトレーニング |
CN114119698A (zh) * | 2021-06-18 | 2022-03-01 | 湖南大学 | 基于注意力机制的无监督单目深度估计方法 |
US11991342B2 (en) | 2018-05-17 | 2024-05-21 | Niantic, Inc. | Self-supervised training of a depth estimation system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110229020A1 (en) * | 2010-03-19 | 2011-09-22 | Canon Kabushiki Kaisha | Learning method and apparatus for pattern recognition |
JP2012043156A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 情報処理装置、情報処理方法およびプログラム |
JP2014232470A (ja) * | 2013-05-30 | 2014-12-11 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
JP2015005237A (ja) * | 2013-06-24 | 2015-01-08 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
-
2015
- 2015-02-12 JP JP2015025429A patent/JP6359985B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110229020A1 (en) * | 2010-03-19 | 2011-09-22 | Canon Kabushiki Kaisha | Learning method and apparatus for pattern recognition |
JP2012043156A (ja) * | 2010-08-18 | 2012-03-01 | Canon Inc | 情報処理装置、情報処理方法およびプログラム |
JP2014232470A (ja) * | 2013-05-30 | 2014-12-11 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
JP2015005237A (ja) * | 2013-06-24 | 2015-01-08 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11991342B2 (en) | 2018-05-17 | 2024-05-21 | Niantic, Inc. | Self-supervised training of a depth estimation system |
KR102051074B1 (ko) * | 2018-07-26 | 2019-12-02 | 샐터스 주식회사 | 영상 처리 장치 및 방법 |
JP2021522603A (ja) * | 2019-05-02 | 2021-08-30 | ナイアンティック, インコーポレイテッドNiantic,Inc. | 深度ヒントを使用した深度推定モデルの自己教師ありトレーニング |
JP6996009B2 (ja) | 2019-05-02 | 2022-01-17 | ナイアンティック, インコーポレイテッド | 深度ヒントを使用した深度推定モデルの自己教師ありトレーニング |
JP2022037113A (ja) * | 2019-05-02 | 2022-03-08 | ナイアンティック, インコーポレイテッド | 深度ヒントを使用した深度推定モデルの自己教師ありトレーニング |
US11317079B2 (en) | 2019-05-02 | 2022-04-26 | Niantic, Inc. | Self-supervised training of a depth estimation model using depth hints |
JP7174139B2 (ja) | 2019-05-02 | 2022-11-17 | ナイアンティック, インコーポレイテッド | 深度ヒントを使用した深度推定モデルの自己教師ありトレーニング |
US11711508B2 (en) | 2019-05-02 | 2023-07-25 | Niantic, Inc. | Self-supervised training of a depth estimation model using depth hints |
CN114119698A (zh) * | 2021-06-18 | 2022-03-01 | 湖南大学 | 基于注意力机制的无监督单目深度估计方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6359985B2 (ja) | 2018-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021503134A (ja) | 画像深度とエゴモーション予測ニューラルネットワークの教師なし学習 | |
CN107507277B (zh) | 三维点云重构方法和装置、服务器及可读存储介质 | |
CN107316326B (zh) | 应用于双目立体视觉的基于边的视差图计算方法和装置 | |
US20120127275A1 (en) | Image processing method for determining depth information from at least two input images recorded with the aid of a stereo camera system | |
KR102483641B1 (ko) | 양안 시차 영상의 처리 방법 및 장치 | |
JP6431404B2 (ja) | 姿勢推定モデル生成装置及び姿勢推定装置 | |
US10460471B2 (en) | Camera pose estimating method and system | |
CN102289803A (zh) | 图像处理设备、图像处理方法及程序 | |
JP6328351B2 (ja) | 3dシーンを3dモデルとして再構成する方法 | |
JP6359985B2 (ja) | デプス推定モデル生成装置及びデプス推定装置 | |
JP6664579B2 (ja) | 学習装置、学習方法及び学習プログラム | |
JP2021534600A (ja) | ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体 | |
US11651581B2 (en) | System and method for correspondence map determination | |
JP2017021759A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN111696196A (zh) | 一种三维人脸模型重建方法及装置 | |
CN109887008B (zh) | 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备 | |
TW201436552A (zh) | 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置 | |
CN108305280B (zh) | 一种双目图像基于最小生成树的立体匹配方法及系统 | |
CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
JP2017229067A5 (ja) | ||
US10529085B2 (en) | Hardware disparity evaluation for stereo matching | |
CN107403448B (zh) | 代价函数生成方法和代价函数生成装置 | |
JP2010506482A (ja) | ビデオストリームの視差回復方法及びフィルタ | |
JP2017096817A (ja) | 距離情報補正装置、距離情報補正方法及び距離情報補正プログラム | |
EP2980752B1 (en) | Image processing device, image processing system, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6359985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |