JP2022171705A - 部屋レイアウト推定方法および技法 - Google Patents
部屋レイアウト推定方法および技法 Download PDFInfo
- Publication number
- JP2022171705A JP2022171705A JP2022137791A JP2022137791A JP2022171705A JP 2022171705 A JP2022171705 A JP 2022171705A JP 2022137791 A JP2022137791 A JP 2022137791A JP 2022137791 A JP2022137791 A JP 2022137791A JP 2022171705 A JP2022171705 A JP 2022171705A
- Authority
- JP
- Japan
- Prior art keywords
- room
- predicted
- network
- layout
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 161
- 238000013528 artificial neural network Methods 0.000 claims abstract description 99
- 238000012549 training Methods 0.000 claims description 69
- 230000015654 memory Effects 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 40
- 230000000306 recurrent effect Effects 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 abstract description 17
- 230000003190 augmentative effect Effects 0.000 abstract description 15
- 230000008569 process Effects 0.000 description 35
- 238000012545 processing Methods 0.000 description 26
- 238000010801 machine learning Methods 0.000 description 12
- 230000001052 transient effect Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 11
- 238000010606 normalization Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000001994 activation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 241000256837 Apidae Species 0.000 description 2
- 235000009499 Vanilla fragrans Nutrition 0.000 description 2
- 244000263375 Vanilla tahitensis Species 0.000 description 2
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006993 memory improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】好適な部屋レイアウト推定方法および技法を提供すること。【解決手段】部屋のレイアウトを推定するためのシステムおよび方法が、開示される。部屋のレイアウトは、床、1つ以上の壁、および天井の場所を含むことができる。一側面では、ニューラルネットワークが、部屋の一部の画像を分析し、部屋のレイアウトを決定することができる。ニューラルネットワークは、エンコーダサブネットワークと、デコーダサブネットワークと、サイドサブネットワークとを有する、畳み込みニューラルネットワークを備えることができる。ニューラルネットワークは、部屋タイプと関連付けられた2次元の順序付けられた特徴点を使用して、3次元の部屋のレイアウトを決定することができる。部屋のレイアウトは、拡張または複合現実、ロボット、自律的屋内ナビゲーション等の用途において使用されることができる。【選択図】図1C
Description
(関連出願の相互参照)
本願は、2017年3月17日に出願され“ROOM LAYOUT ESTIMATION METHODS AND TECHNIQUES”と題された米国特許出願第62/473,257号に対する優先権の利益を主張するものであり、該米国特許出願は、その全体が参照により本明細書中に援用される。
本願は、2017年3月17日に出願され“ROOM LAYOUT ESTIMATION METHODS AND TECHNIQUES”と題された米国特許出願第62/473,257号に対する優先権の利益を主張するものであり、該米国特許出願は、その全体が参照により本明細書中に援用される。
本開示は、概して、自動化された画像分析を使用して、部屋のレイアウトを推定するためのシステムおよび方法に関し、より具体的には、部屋のレイアウトを決定するための深層機械学習システム(例えば、畳み込みニューラルネットワーク)に関する。
深層ニューラルネットワーク(DNN)は、計算機械学習方法である。DNNは、人工ニューラルネットワーク(NN)のクラスに属する。NNを用いることで、計算グラフが、構築され、これは、生物学的ニューラルネットワークの特徴を模倣するものである。生物学的ニューラルネットワークは、計算に特化し、そうでなければ、他の方法を通して捕捉することが困難であり得る、生物学系の能力の多くに関与する、特徴を含む。いくつかの実装では、そのようなネットワークは、接続が一方向性である、シーケンシャル層化構造に配列される。例えば、特定の層の人工ニューロンの出力は、後続層の人工ニューロンの入力に接続されることができる。DNNは、多数の層(例えば、10、100、またはそれを上回る層)を伴う、NNであることができる。
異なるNNは、異なる視点において相互に異なる。例えば、異なるNNのトポロジまたはアーキテクチャ(例えば、層の数および層が相互接続される方法)および加重は、異なり得る。加重は、生物学系内のニューラル接続のシナプス強度にほぼ類似し得る。加重は、1つの層から別の層に伝搬される効果の強度に影響を及ぼす。人工ニューロンの出力は、その入力の加重された和の非線形関数であることができる。NNは、訓練データ上で訓練され、次いで、訓練されていないデータからの出力を決定するために使用されることができる。
世界の3次元(3D)表現を画像から構築することは、コンピュータビジョンにおける重要な課題であって、拡張現実、ロボット、自律的ナビゲーション等への重要な応用を有する。本開示は、部屋の1つ以上の画像を分析することによって、部屋のレイアウトを推定するためのシステムおよび方法の実施例を提供する。レイアウトは、部屋内の床、1つ以上の壁、天井等の場所を含むことができる。
一側面では、ニューラルネットワークを備える、機械学習システムが、部屋のレイアウト推定のために使用される。種々の実施形態では、機械学習システムは、これらの種々の実施形態がニューラルネットワークを使用して部屋のレイアウトを決定するため、本明細書では、RoomNetという名称で称される。機械学習システムは、非一過性記憶装置を備える、ハードウェアコンピュータプロセッサによって実施されることができ、ローカルでまたは分散型(例えば、クラウド)コンピューティング環境内で実施されることができる。
本明細書に説明される部屋のレイアウトシステムおよび方法は、拡張および複合現実に適用可能である。例えば、拡張現実(AR)デバイスは、ARデバイスの環境の画像を捕捉するように構成される、外向きに面した結像システムを含むことができる。ARデバイスは、画像のRoomNet分析を実施し、ARデバイスの装着者が位置する、部屋のレイアウトを決定することができる。ARデバイスは、部屋のレイアウトを使用して、装着者の環境の3D表現(時として、世界マップとも称される)を構築することができる。
一側面では、ニューラルネットワークは、部屋の一部の画像を分析し、部屋のレイアウトを決定することができる。ニューラルネットワークは、エンコーダサブネットワークと、デコーダサブネットワークと、サイドサブネットワークとを有する、畳み込みニューラルネットワークを備えることができる。ニューラルネットワークは、部屋タイプと関連付けられた2次元の順序付けられた特徴点を使用して、3次元の部屋のレイアウトを決定することができる。部屋のレイアウトは、拡張または複合現実、ロボット、自律的屋内ナビゲーション等の用途において使用されることができる。
一側面では、RoomNetは、エンコーダサブネットワークと、エンコーダネットワークに接続される、デコーダサブネットワークと、エンコーダネットワークに接続される、サイドサブネットワークとを備える。部屋画像を受信後、複数の部屋タイプに対応する、複数の予測されるヒートマップが、RoomNetのエンコーダサブネットワークおよびデコーダサブネットワークを使用して、決定されることができる。複数の部屋タイプの予測される部屋タイプが、RoomNetのエンコーダサブネットワークおよびサイドサブネットワークおよび部屋画像を使用して、決定されることができる。複数の予測される特徴点場所における特徴点が、予測される部屋タイプに対応する予測されるヒートマップを使用して、決定されることができる。部屋画像内の予測される部屋のレイアウトが、予測される部屋タイプ、特徴点、および予測される部屋タイプと関連付けられた特徴点順序を使用して、決定されることができる。
別の側面では、システムが、部屋のレイアウト推定のためのニューラルネットワークを訓練するために使用される。訓練用部屋画像は、エンコーダサブネットワークと、エンコーダネットワークに接続される、デコーダサブネットワークと、エンコーダネットワークに接続される、サイドサブネットワークとを備え得る、ニューラルネットワークを訓練するために使用されることができる。訓練用部屋画像はそれぞれ、基準部屋タイプおよび訓練用部屋画像内の基準特徴点場所における基準特徴点と関連付けられることができる。ニューラルネットワークを訓練するステップは、エンコーダサブネットワークおよびデコーダサブネットワークおよび訓練用部屋画像を使用して、部屋タイプに対応する複数の予測されるヒートマップを決定するステップと、エンコーダサブネットワークおよびサイドサブネットワークおよび訓練用部屋画像を使用して、予測される部屋タイプを決定するステップとを含むことができる。ニューラルネットワークは、基準特徴点場所と予測されるヒートマップとの間の第1の差異と、基準部屋タイプと予測される部屋タイプとの間の第2の差異とに基づいて更新される、加重を含むことができる。
本明細書に説明される主題の1つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
例えば、本発明は以下の項目を提供する。
(項目1)
システムであって、
非一過性メモリであって、
部屋のレイアウトの推定のための部屋画像と、
部屋のレイアウトを推定するためのニューラルネットワークであって、前記ニューラルネットワークは、
エンコーダ-デコーダサブネットワークと、
前記エンコーダ-デコーダサブネットワークに接続される分類子サブネットワークと
を備える、ニューラルネットワークと
を記憶するように構成される、非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記部屋画像にアクセスすることと、
前記エンコーダ-デコーダサブネットワークおよび前記部屋画像を使用して、複数の部屋タイプに対応する複数の予測される2次元(2D)特徴点マップを決定することと、
前記エンコーダ-デコーダサブネットワーク、前記分類子サブネットワーク、および前記部屋画像を使用して、予測される部屋タイプを前記複数の部屋タイプから決定することと、
前記複数の予測される2D特徴点マップおよび前記予測される部屋タイプを使用して、前記予測される部屋タイプと関連付けられた複数の順序付けられた特徴点を決定することと、
前記複数の順序付けられた特徴点を使用して、前記部屋画像内の部屋の予測されるレイアウトを決定することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、システム。
(項目2)
前記複数の部屋タイプ内の各部屋タイプは、部屋タイプ特徴点の順序付けられたセットを含む、項目1に記載のシステム。
(項目3)
前記複数の部屋タイプ内の各部屋タイプは、前記部屋タイプ内の領域に関する意味論セグメント化を含み、前記意味論セグメント化は、床、天井、または壁としての識別を含む、項目2に記載のシステム。
(項目4)
第1の特徴点順序は、前記複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、前記複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、前記第1の特徴点順序および前記第2の特徴点順序は、異なる、項目2に記載のシステム。
(項目5)
前記部屋画像は、単眼画像を含む、項目1に記載のシステム。
(項目6)
前記部屋画像は、赤色-緑色-青色(RGB)画像を含む、項目1に記載のシステム。
(項目7)
前記部屋画像の次元は、前記予測される2D特徴点マップの次元より大きい、項目1に記載のシステム。
(項目8)
前記エンコーダ-デコーダサブネットワークは、複数の畳み込み層および複数のプーリング層を含むエンコーダサブネットワークを備える、項目1に記載のシステム。
(項目9)
前記エンコーダ-デコーダサブネットワークは、複数の畳み込み層および複数のアップサンプリング層を含むデコーダサブネットワークを備える、項目1に記載のシステム。
(項目10)
前記エンコーダ-デコーダサブネットワークは、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワークを備える、項目1に記載のシステム。
(項目11)
前記エンコーダ-デコーダサブネットワークは、複数の再帰層を備える、項目1に記載のシステム。
(項目12)
前記複数の再帰層の再帰反復数は、2である、項目11に記載のシステム。
(項目13)
前記複数の再帰層の再帰反復数は、少なくとも3である、項目11に記載のシステム。
(項目14)
前記複数の再帰層はそれぞれ、加重行列を有し、前記加重行列は、前記複数の再帰層の全てに関して同一である、項目11-13のいずれか1項に記載のシステム。
(項目15)
前記予測される2次元(2D)特徴点マップは、ヒートマップを含む、項目1に記載のシステム。
(項目16)
前記ハードウェアプロセッサは、前記ヒートマップからの特徴点場所を前記ヒートマップの最大値として抽出するようにプログラムされている、項目15に記載のシステム。
(項目17)
前記ハードウェアプロセッサは、
前記部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスすることと、
前記オブジェクト情報と前記部屋の予測されるレイアウトを組み合わせることと
を行うようにプログラムされている、項目1に記載のシステム。
(項目18)
前記オブジェクト認識装置は、前記部屋画像内の直方体を検出するように構成される、項目17に記載のシステム。
(項目19)
ウェアラブルディスプレイデバイスであって、
前記部屋のレイアウトの推定のための部屋画像を捕捉するように構成される、外向きに面した結像システムと、
項目1に記載のシステムと
を備える、ウェアラブルディスプレイデバイス。
(項目20)
システムであって、
ニューラルネットワークのためのパラメータを記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
訓練用部屋画像を受信することであって、前記訓練用部屋画像は、
複数の部屋タイプからの基準部屋タイプと、
部屋の基準レイアウトと関連付けられた基準特徴点と
と関連付けられている、ことと、
部屋のレイアウト推定のためのニューラルネットワークを生成することであって、前記ニューラルネットワークは、
前記複数の部屋タイプのそれぞれと関連付けられた予測される部屋のレイアウトと関連付けられた予測される2次元(2D)特徴点を出力するように構成されるエンコーダ-デコーダサブネットワークと、
予測される部屋タイプを前記複数の部屋タイプから出力するように構成される前記エンコーダ-デコーダネットワークに接続されるサイドサブネットワークと
を備えている、ことと、
前記予測される2D特徴点に関する第1の損失および前記予測される部屋タイプに関する第2の損失に基づいて、損失関数を最適化することと、
前記最適化された損失関数に基づいて、前記ニューラルネットワークのパラメータを更新することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、システム。
(項目21)
前記複数の部屋タイプの数は、5を上回る、項目20に記載のシステム。
(項目22)
前記基準特徴点および前記予測される2D特徴点は、特徴点順序と関連付けられる、項目20に記載のシステム。
(項目23)
第1の特徴点順序は、前記複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、前記複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、前記第1の特徴点順序および前記第2の特徴点順序は、異なる、項目20に記載のシステム。
(項目24)
前記訓練用部屋画像は、単眼画像を含む、項目20に記載のシステム。
(項目25)
前記訓練用部屋画像は、赤色-緑色-青色(RGB)画像を含む、項目20に記載のシステム。
(項目26)
前記訓練用部屋画像の次元は、前記予測される2D特徴点と関連付けられたマップの次元より大きい、項目20に記載のシステム。
(項目27)
前記エンコーダサブネットワークおよび前記デコーダサブネットワークは、複数の再帰層を備える、項目20に記載のシステム。
(項目28)
前記再帰層の再帰反復数は、2または3である、項目27に記載のシステム。
(項目29)
深層監視が、前記再帰層に適用される、項目27に記載のシステム。
(項目30)
前記再帰層の反復の第1の再帰反復と関連付けられた加重は、前記再帰層の第2の再帰反復と関連付けられた加重と同じである、項目27に記載のシステム。
(項目31)
前記複数の再帰層は、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワークとして構成される、項目27に記載のシステム。
(項目32)
前記サイドサブネットワークは、部屋タイプ分類子を含む、項目20に記載のシステム。
(項目33)
前記予測される2D特徴点に関する前記第1の損失は、複数の基準特徴点場所と前記予測される2D特徴点との間のユークリッド損失を含む、項目20に記載のシステム。
(項目34)
前記予測される部屋タイプに関する前記第2の損失は、クロスエントロピ損失を含む、項目20に記載のシステム。
(項目35)
前記予測される2D特徴点は、予測されるヒートマップから抽出される、項目20に記載のシステム。
(項目36)
ハードウェアプロセッサは、
前記訓練画像の基準特徴点と関連付けられた基準ヒートマップを計算することと、
前記予測されるヒートマップと前記基準ヒートマップとの間の差異に基づいて、前記予測される2D特徴点に関する前記第1の損失を計算することと
を行うようにプログラムされている、項目35に記載のシステム。
(項目37)
前記基準ヒートマップは、基準特徴点毎の場所を中心とする2次元分布を含む、項目36に記載のシステム。
(項目38)
前記基準ヒートマップは、前記基準特徴点から離れた背景と、前記基準特徴点と関連付けられた前景とを含み、前記ハードウェアプロセッサは、前記前景と前記背景との間の比率に基づいて、前記基準ヒートマップ内の勾配に加重するようにプログラムされている、項目36に記載のシステム。
(項目39)
前記基準ヒートマップ内の勾配に加重するために、前記ハードウェアプロセッサは、1未満の減少係数によって、前記背景内のピクセルの値を減少させるようにプログラムされている、項目38に記載のシステム。
(項目40)
ウェアラブルディスプレイシステムであって、
前記ウェアラブルディスプレイシステムの装着者の環境の部屋画像を取得するように構成される外向きに面した結像システムと、
前記部屋画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記プロセッサは、
前記環境の部屋画像にアクセスすることと、
前記部屋画像を分析し、前記部屋画像内の予測される部屋のレイアウトを決定することと
を行うようにプログラムされており、前記部屋画像を分析するために、前記プロセッサは、
ニューラルネットワークを使用して、前記部屋画像内の部屋に関する部屋タイプと関連付けられた2次元(2D)特徴点の順序付けられたセットを決定することと、
少なくとも部分的に、前記2D特徴点および前記部屋タイプに基づいて、前記部屋のレイアウトを提供することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
(項目41)
前記ニューラルネットワークは、畳み込みエンコーダ-デコーダネットワークを備える、項目40に記載のウェアラブルディスプレイシステム。
(項目42)
前記畳み込みエンコーダ-デコーダネットワークは、メモリ増強再帰エンコーダ-デコーダネットワークを備える、項目41に記載のウェアラブルディスプレイシステム。
(項目43)
前記ニューラルネットワークは、前記部屋タイプを決定するように構成される分類子を含む、項目40に記載のウェアラブルディスプレイシステム。
(項目44)
前記ハードウェアプロセッサはさらに、前記2D特徴点の順序付けられたセットをヒートマップから抽出するようにプログラムされている、項目40に記載のウェアラブルディスプレイシステム。
(項目45)
前記ハードウェアプロセッサはさらに、
前記部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスすることと、
前記オブジェクト情報と前記部屋のレイアウトを組み合わせることと
を行うようにプログラムされている、項目40に記載のウェアラブルディスプレイシステム。
例えば、本発明は以下の項目を提供する。
(項目1)
システムであって、
非一過性メモリであって、
部屋のレイアウトの推定のための部屋画像と、
部屋のレイアウトを推定するためのニューラルネットワークであって、前記ニューラルネットワークは、
エンコーダ-デコーダサブネットワークと、
前記エンコーダ-デコーダサブネットワークに接続される分類子サブネットワークと
を備える、ニューラルネットワークと
を記憶するように構成される、非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記部屋画像にアクセスすることと、
前記エンコーダ-デコーダサブネットワークおよび前記部屋画像を使用して、複数の部屋タイプに対応する複数の予測される2次元(2D)特徴点マップを決定することと、
前記エンコーダ-デコーダサブネットワーク、前記分類子サブネットワーク、および前記部屋画像を使用して、予測される部屋タイプを前記複数の部屋タイプから決定することと、
前記複数の予測される2D特徴点マップおよび前記予測される部屋タイプを使用して、前記予測される部屋タイプと関連付けられた複数の順序付けられた特徴点を決定することと、
前記複数の順序付けられた特徴点を使用して、前記部屋画像内の部屋の予測されるレイアウトを決定することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、システム。
(項目2)
前記複数の部屋タイプ内の各部屋タイプは、部屋タイプ特徴点の順序付けられたセットを含む、項目1に記載のシステム。
(項目3)
前記複数の部屋タイプ内の各部屋タイプは、前記部屋タイプ内の領域に関する意味論セグメント化を含み、前記意味論セグメント化は、床、天井、または壁としての識別を含む、項目2に記載のシステム。
(項目4)
第1の特徴点順序は、前記複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、前記複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、前記第1の特徴点順序および前記第2の特徴点順序は、異なる、項目2に記載のシステム。
(項目5)
前記部屋画像は、単眼画像を含む、項目1に記載のシステム。
(項目6)
前記部屋画像は、赤色-緑色-青色(RGB)画像を含む、項目1に記載のシステム。
(項目7)
前記部屋画像の次元は、前記予測される2D特徴点マップの次元より大きい、項目1に記載のシステム。
(項目8)
前記エンコーダ-デコーダサブネットワークは、複数の畳み込み層および複数のプーリング層を含むエンコーダサブネットワークを備える、項目1に記載のシステム。
(項目9)
前記エンコーダ-デコーダサブネットワークは、複数の畳み込み層および複数のアップサンプリング層を含むデコーダサブネットワークを備える、項目1に記載のシステム。
(項目10)
前記エンコーダ-デコーダサブネットワークは、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワークを備える、項目1に記載のシステム。
(項目11)
前記エンコーダ-デコーダサブネットワークは、複数の再帰層を備える、項目1に記載のシステム。
(項目12)
前記複数の再帰層の再帰反復数は、2である、項目11に記載のシステム。
(項目13)
前記複数の再帰層の再帰反復数は、少なくとも3である、項目11に記載のシステム。
(項目14)
前記複数の再帰層はそれぞれ、加重行列を有し、前記加重行列は、前記複数の再帰層の全てに関して同一である、項目11-13のいずれか1項に記載のシステム。
(項目15)
前記予測される2次元(2D)特徴点マップは、ヒートマップを含む、項目1に記載のシステム。
(項目16)
前記ハードウェアプロセッサは、前記ヒートマップからの特徴点場所を前記ヒートマップの最大値として抽出するようにプログラムされている、項目15に記載のシステム。
(項目17)
前記ハードウェアプロセッサは、
前記部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスすることと、
前記オブジェクト情報と前記部屋の予測されるレイアウトを組み合わせることと
を行うようにプログラムされている、項目1に記載のシステム。
(項目18)
前記オブジェクト認識装置は、前記部屋画像内の直方体を検出するように構成される、項目17に記載のシステム。
(項目19)
ウェアラブルディスプレイデバイスであって、
前記部屋のレイアウトの推定のための部屋画像を捕捉するように構成される、外向きに面した結像システムと、
項目1に記載のシステムと
を備える、ウェアラブルディスプレイデバイス。
(項目20)
システムであって、
ニューラルネットワークのためのパラメータを記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
訓練用部屋画像を受信することであって、前記訓練用部屋画像は、
複数の部屋タイプからの基準部屋タイプと、
部屋の基準レイアウトと関連付けられた基準特徴点と
と関連付けられている、ことと、
部屋のレイアウト推定のためのニューラルネットワークを生成することであって、前記ニューラルネットワークは、
前記複数の部屋タイプのそれぞれと関連付けられた予測される部屋のレイアウトと関連付けられた予測される2次元(2D)特徴点を出力するように構成されるエンコーダ-デコーダサブネットワークと、
予測される部屋タイプを前記複数の部屋タイプから出力するように構成される前記エンコーダ-デコーダネットワークに接続されるサイドサブネットワークと
を備えている、ことと、
前記予測される2D特徴点に関する第1の損失および前記予測される部屋タイプに関する第2の損失に基づいて、損失関数を最適化することと、
前記最適化された損失関数に基づいて、前記ニューラルネットワークのパラメータを更新することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、システム。
(項目21)
前記複数の部屋タイプの数は、5を上回る、項目20に記載のシステム。
(項目22)
前記基準特徴点および前記予測される2D特徴点は、特徴点順序と関連付けられる、項目20に記載のシステム。
(項目23)
第1の特徴点順序は、前記複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、前記複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、前記第1の特徴点順序および前記第2の特徴点順序は、異なる、項目20に記載のシステム。
(項目24)
前記訓練用部屋画像は、単眼画像を含む、項目20に記載のシステム。
(項目25)
前記訓練用部屋画像は、赤色-緑色-青色(RGB)画像を含む、項目20に記載のシステム。
(項目26)
前記訓練用部屋画像の次元は、前記予測される2D特徴点と関連付けられたマップの次元より大きい、項目20に記載のシステム。
(項目27)
前記エンコーダサブネットワークおよび前記デコーダサブネットワークは、複数の再帰層を備える、項目20に記載のシステム。
(項目28)
前記再帰層の再帰反復数は、2または3である、項目27に記載のシステム。
(項目29)
深層監視が、前記再帰層に適用される、項目27に記載のシステム。
(項目30)
前記再帰層の反復の第1の再帰反復と関連付けられた加重は、前記再帰層の第2の再帰反復と関連付けられた加重と同じである、項目27に記載のシステム。
(項目31)
前記複数の再帰層は、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワークとして構成される、項目27に記載のシステム。
(項目32)
前記サイドサブネットワークは、部屋タイプ分類子を含む、項目20に記載のシステム。
(項目33)
前記予測される2D特徴点に関する前記第1の損失は、複数の基準特徴点場所と前記予測される2D特徴点との間のユークリッド損失を含む、項目20に記載のシステム。
(項目34)
前記予測される部屋タイプに関する前記第2の損失は、クロスエントロピ損失を含む、項目20に記載のシステム。
(項目35)
前記予測される2D特徴点は、予測されるヒートマップから抽出される、項目20に記載のシステム。
(項目36)
ハードウェアプロセッサは、
前記訓練画像の基準特徴点と関連付けられた基準ヒートマップを計算することと、
前記予測されるヒートマップと前記基準ヒートマップとの間の差異に基づいて、前記予測される2D特徴点に関する前記第1の損失を計算することと
を行うようにプログラムされている、項目35に記載のシステム。
(項目37)
前記基準ヒートマップは、基準特徴点毎の場所を中心とする2次元分布を含む、項目36に記載のシステム。
(項目38)
前記基準ヒートマップは、前記基準特徴点から離れた背景と、前記基準特徴点と関連付けられた前景とを含み、前記ハードウェアプロセッサは、前記前景と前記背景との間の比率に基づいて、前記基準ヒートマップ内の勾配に加重するようにプログラムされている、項目36に記載のシステム。
(項目39)
前記基準ヒートマップ内の勾配に加重するために、前記ハードウェアプロセッサは、1未満の減少係数によって、前記背景内のピクセルの値を減少させるようにプログラムされている、項目38に記載のシステム。
(項目40)
ウェアラブルディスプレイシステムであって、
前記ウェアラブルディスプレイシステムの装着者の環境の部屋画像を取得するように構成される外向きに面した結像システムと、
前記部屋画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記プロセッサは、
前記環境の部屋画像にアクセスすることと、
前記部屋画像を分析し、前記部屋画像内の予測される部屋のレイアウトを決定することと
を行うようにプログラムされており、前記部屋画像を分析するために、前記プロセッサは、
ニューラルネットワークを使用して、前記部屋画像内の部屋に関する部屋タイプと関連付けられた2次元(2D)特徴点の順序付けられたセットを決定することと、
少なくとも部分的に、前記2D特徴点および前記部屋タイプに基づいて、前記部屋のレイアウトを提供することと
を行うようにプログラムされている、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
(項目41)
前記ニューラルネットワークは、畳み込みエンコーダ-デコーダネットワークを備える、項目40に記載のウェアラブルディスプレイシステム。
(項目42)
前記畳み込みエンコーダ-デコーダネットワークは、メモリ増強再帰エンコーダ-デコーダネットワークを備える、項目41に記載のウェアラブルディスプレイシステム。
(項目43)
前記ニューラルネットワークは、前記部屋タイプを決定するように構成される分類子を含む、項目40に記載のウェアラブルディスプレイシステム。
(項目44)
前記ハードウェアプロセッサはさらに、前記2D特徴点の順序付けられたセットをヒートマップから抽出するようにプログラムされている、項目40に記載のウェアラブルディスプレイシステム。
(項目45)
前記ハードウェアプロセッサはさらに、
前記部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスすることと、
前記オブジェクト情報と前記部屋のレイアウトを組み合わせることと
を行うようにプログラムされている、項目40に記載のウェアラブルディスプレイシステム。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
(概要)
関数、アルゴリズム、システム、および同等物等のデータ関係およびパターンを表す、モデルは、入力を受け取り、何らかの方法において、入力に対応する出力を生産し得る。例えば、モデルは、畳み込みニューラルネットワーク(CNN)または深層ニューラルネットワーク(DNN)等の機械学習方法として実装されてもよい。深層学習は、タスク特有アルゴリズムとは対照的に、学習データ表現の概念に基づく、機械学習方法のより広義の系統の一部であって、拡張現実、複合現実、仮想現実、および機械知能に有用な視聴覚計算問題を解法する際、著しい有望性を示す。機械学習では、畳み込みニューラルネットワーク(CNNまたはConvNet)は、深層フィードフォワード人工ニューラルネットワークのクラスを含むことができ、CNNは、視覚的画像の分析の適用に成功を収めている。機械学習方法は、眼画像セグメント化および眼追跡を含む、様々な問題に対するロバストかつ正確なソリューションを有効にし得る、方法の系統を含む。
関数、アルゴリズム、システム、および同等物等のデータ関係およびパターンを表す、モデルは、入力を受け取り、何らかの方法において、入力に対応する出力を生産し得る。例えば、モデルは、畳み込みニューラルネットワーク(CNN)または深層ニューラルネットワーク(DNN)等の機械学習方法として実装されてもよい。深層学習は、タスク特有アルゴリズムとは対照的に、学習データ表現の概念に基づく、機械学習方法のより広義の系統の一部であって、拡張現実、複合現実、仮想現実、および機械知能に有用な視聴覚計算問題を解法する際、著しい有望性を示す。機械学習では、畳み込みニューラルネットワーク(CNNまたはConvNet)は、深層フィードフォワード人工ニューラルネットワークのクラスを含むことができ、CNNは、視覚的画像の分析の適用に成功を収めている。機械学習方法は、眼画像セグメント化および眼追跡を含む、様々な問題に対するロバストかつ正確なソリューションを有効にし得る、方法の系統を含む。
本明細書に開示されるのは、RoomNetと呼ばれる、部屋のレイアウト推定のためのニューラルネットワークの実施例である。RoomNetは、部屋の少なくとも一部の画像を分析し、部屋のレイアウトを決定することができる。部屋のレイアウトは、部屋内の床、壁、または天井の場所の表現を含むことができる。画像は、例えば、単眼画像またはグレースケールまたはカラー(例えば、赤色-緑色-青色(RGB))画像を含むことができる。画像は、ビデオからのフレームまたは複数のフレームであってもよい。他の技法は、部屋のレイアウト推定を2つのサブタスク、すなわち、レイアウト仮定を生産するための床、壁、および天井の意味論セグメント化と、これらの仮定をランク付けするためのその後の反復最適化ステップとに分割する。
これらのアプローチと対照的に、RoomNetは、部屋のレイアウト問題を部屋のレイアウト特徴点の順序付けられたセットの推定として公式化することができる。部屋のレイアウトおよび対応するセグメント化は、これらの順序付けられた特徴点の場所を前提として、完全に規定されることができる。RoomNetは、エンドツーエンド訓練可能エンコーダ-デコーダネットワークであることができる。RoomNet機械学習アーキテクチャは、より良好な性能を有し得る(例えば、算出の量、正確度等の観点から)。いくつかの実施形態では、RoomNetは、再帰算出およびメモリユニットを含み、類似または同じパラメータ容量下、特徴点場所を精緻化する、アーキテクチャを有することができる。
立体視画像は、部屋のレイアウトに関する深度情報を提供することができる。単眼画像(深度情報を含まない)からの部屋のレイアウト推定は、困難である。屋内場面の2次元表現(2D)(例えば、ボックス状の表現)の輪郭を描くことを狙いとする、単眼画像からの部屋のレイアウト推定は、屋内ナビゲーション、場面再構築またはレンダリング、または拡張現実等の様々なコンピュータビジョンタスクのための用途を有する。図1Aは、画像104を撮影し、ボトムアップ様式において、局所色、テクスチャ、および縁キュー等の画像特徴108を抽出後、消失点検出112が続く、従来の部屋のレイアウト技法を図示する。従来の方法は、構造化サポートベクトルマシン(SVM)または条件付きランダムフィールド(CRF)を用いて、特徴誤対応をクリーンアップし、部屋のレイアウト仮定116の大規模なセットを生成またはランク付けするために使用される、別個の後処理段階を含んでもよい。原理上、部屋のレイアウトの3D再構築は、これらの方法を使用して決定された2Dレイアウト120aおよび消失点の知識を用いて、取得されることができる(例えば、縮尺を除いて)。しかしながら、実際は、これらの従来の方法は、複雑であって、最終レイアウト予測の正確度は、多くの場合、それ自体が、局所雑音、場面クラッタ、およびオクルージョンを被りやすい、主として、抽出された低レベル画像特徴の品質に依存する。有利には、本開示のRoomNetの実施形態は、局所雑音、場面クラッタ、およびオクルージョンを被りにくくあり得る。さらに、RoomNetによって提供される部屋のレイアウト推定は、有利には、他の方法より良好な性能(例えば、200倍または600倍等の算出の量の観点から)を有し得る。
いくつかの実施形態では、RoomNetは、手動操作低レベル画像特徴抽出に取って代わる有益なエッジマップを生産する、深層ニューラルネットワーク、意味論セグメント化、完全畳み込みネットワーク(FCN)モデル等の畳み込みニューラルネットワーク(CNN)に基づいて、他の部屋のレイアウト推定方法より良好な性能を有し得る。そのようなFCNによって生成された予測されるエッジマップは、次いで、レイアウト仮定生成およびランク付けのための消失線をサンプリングするために使用されることができる。例えば、FCNは、左壁、正面壁、右壁、天井、および地面等の意味論表面ラベルを学習するために使用されることができる。次いで、連結成分および孔充填技法が、FCNの未加工のピクセル毎予測を精緻化後、古典的消失点/ラインサンプリング方法が続き、部屋のレイアウトを生産するために使用されることができる。低レベル特徴の新しいセットを生成し、各フレームを処理するために30秒またはそれを上回って要求し得る、そのような方法と対照的に、RoomNetは、より算出上効率的である、エンドツーエンド訓練可能CNNであることができる。
いくつかの実施形態では、RoomNetの予測は、最終レイアウトを生産するために高価であり得る、仮定試験段階によって後処理される必要はない。RoomNetは、トップダウンアプローチを使用して、部屋のレイアウト推定を実施し得、直接、部屋のレイアウト特徴点(例えば、角)と部屋タイプの両方を推測するように訓練されることができる。いったん部屋タイプが、推測または決定されると、順序付けられた特徴点の対応するセットが、位置特定または決定され、特徴点は、決定された部屋タイプに基づいて、具体的順序でつなげられ、2D空間の部屋のレイアウトを取得することができる。
RoomNetアーキテクチャは、図1Bおよび1Cに図示されるように、直接的かつ単純であり得る。下記にさらに説明されるであろうように、RoomNet124は、入力画像104(例えば、320ピクセル×320ピクセルのサイズ)を撮影し、畳み込みエンコーダ-デコーダアーキテクチャを通して、画像を処理し、部屋のレイアウト特徴点128k1-128k6のセットを特定の部屋のレイアウトに対応する特徴点ヒートマップ128から抽出し、次いで、(随意に)取得された特徴点を具体的順序でつなげ、部屋のレイアウト120bを提供することができる。部屋のレイアウト120bは、例えば、床132、天井134、および壁136等の部屋内の垂直または水平表面の場所または配向を含むことができる。
随意に、部屋のレイアウトは、下記に説明されるように、回帰されることができる。部屋のレイアウト120bは、例えば、拡張現実または屋内自律的ナビゲーションまたは場面再構築またはレンダリングのために、世界マップ内で使用されることができる。随意に、部屋のレイアウトは、図面、建築用マップ等として出力されることができる。レイアウト表面の意味論セグメント化は、単に、本つながりの結果として取得可能であって、意味論的にセグメント化された部屋のレイアウト画像136として表されることができる。故に、RoomNetは、特徴点位置特定によって、部屋のレイアウト推定のタスクを実施する。いくつかの実施形態では、RoomNetは、CNNに基づく、エンコーダ-デコーダネットワークであることができる。RoomNetは、ジョイント特徴点回帰および部屋のレイアウトタイプ分類においてパラメータ上効率的かつ効果的であり得る。
(例示的特徴点ベースの部屋のレイアウト表現)
(例示的特徴点ベースの部屋のレイアウト表現)
RoomNetの実施形態は、部屋のレイアウト推定において効果的であり得る。RoomNetは、エンドツーエンドで訓練可能であって、効率的に推測され得る、標的出力表現に基づくことができる。RoomNetは、幾何学的コンテキストまたは意味論クラス(例えば、床、壁、または天井等)を画像内の各ピクセルに割り当て、次いで、ピクセル毎ラベルに基づいて、部屋のレイアウト特徴点および境界を取得することに基づいて、方法を補完または補足することができる。レイアウト特徴点および境界を未加工ピクセル出力から導出するステップは、非自明であって、RoomNetの実施形態ほど効率的ではあり得ない。対照的に、RoomNetは、特徴点ベースとピクセルベースの両方の部屋のレイアウト表現が、高正確度を伴って効率的に取得され得るように、直接、順序付けられた部屋のレイアウトの特徴点場所のセットを出力する、モデルに基づくことができる。RoomNetは、他の方法によって使用されるピクセルベースの表現における曖昧性を低減または排除することができる。RoomNetの実施形態は、したがって、異なる表面識別(例えば、正面壁、側壁、床、天井)を区別することが可能である。例えば、RoomNetは、正面壁クラスと右壁クラスを正しく区別し、それによって、同一表面内の規則的な非混合ラベルを出力し得る。故に、RoomNetは、より良好な全体的部屋のレイアウト推定正確度および性能を有し得る。
いくつかの実装では、RoomNetは、図2に図示される特徴点ベースの部屋のレイアウト表現を使用して訓練されてもよい。図2は、例示的部屋タイプ0-10 204rt0-204rt10のリストを示し、その個別の特徴点定義は、1、2、3、4、5、6、7、および/または8として標識される。各特徴点上の数字は、グラウンドトゥルース内に保存された点の具体的順序を定義する。これらの11の部屋のレイアウトタイプは、画像内のオブジェクト、縁、角が、デカルトグリッド上に構築され、画像勾配統計における規則性につながる、典型的カメラ姿勢下の可能性として考えられる状況の大部分およびManhattanの世界仮定下における一般的部屋のレイアウト表現を網羅することができる。種々の実施形態では、部屋タイプは、複数の多角形領域によって表され得、各領域は、例えば、床、天井、右壁、中央壁、左壁等に対応する。部屋タイプは、角の特徴点のセット、例えば、多角形領域の交点に対応する角によって編成されることができる。例えば、部屋タイプ204rt5では、左壁は、特徴点1、2、5、および4によって境界され、右壁特徴点は、特徴点1、3、6、および4によって境界され、床は、特徴点5、4、6によって境界され、天井は、特徴点2、1、3によって境界される。部屋タイプは、意味論的にセグメント化され、床、壁、および天井を識別することができる。
いったん訓練されると、RoomNetは、関連付けられた部屋タイプを伴う、正しい特徴点場所を予測し、これらの点は、次いで、具体的順序でつなげられ、ボックス状の部屋のレイアウト表現を生産することができる。例えば、部屋タイプ7 204rt7は、ボックス状の部屋のレイアウト表現が、特徴点1 208k1と特徴点2 208k2および特徴点3 208k3と特徴点4 208k4をつなげることによって、構築されることができるように、4つの順序付けられた特徴点場所208k1-208k4を含む。11の部屋のレイアウトは、8つの特徴点を伴う、1つの部屋のレイアウトタイプ204rt0と、6つの特徴点を伴う、3つの部屋のレイアウトタイプ204rt1、204rt2、および204rt5と、4つの特徴点を伴う、4つの部屋のレイアウトタイプ204rt3、204rt4、204rt6、および204rt7と、2つの特徴点を伴う、3つの部屋のレイアウトタイプ204rt8、204rt9、および204rt10とを含む。同一数の特徴点を伴う、部屋のレイアウトは、同一特徴点のつながり(部屋のレイアウトタイプ3および4、204rt3および204rt4等)または異なる特徴点のつながり(部屋のレイアウトタイプ1および2、204rt3および204rt4等)を有することができる。11の部屋のレイアウトタイプが、本実施例では使用されるが、異なる数の部屋のレイアウトタイプ(例えば、5、10、15、20、またはそれを上回る)または図2に示されるものと異なる配列を有する部屋のレイアウトタイプも、他の実装では、使用されることができる。
(RoomNetの例示的アーキテクチャ)
(RoomNetの例示的アーキテクチャ)
本開示の部屋のレイアウト推定のためのニューラルネットワークは、2次元(2D)特徴点を使用して、部屋のレイアウト構造の輪郭を描く、畳み込みニューラルネットワーク(CNN)を含むことができる。RoomNetへの入力は、単眼画像、例えば、単一赤色-緑色-青色(RGB)画像またはビデオからのRGBフレームであることができる。RoomNetの出力は、関連付けられた部屋タイプを伴う、具体的順序と関連付けられた2D特徴点のセットを含むことができる。
特徴点推定。いくつかの実施形態では、RoomNetは、屋根(または天井)、左壁、右壁、後壁、床等の部屋の表面の特徴点推定および意味論セグメント化のためのベースネットワークアーキテクチャを含むことができる。図3は、RoomNet300の例示的アーキテクチャを描写する。本例示的アーキテクチャでは、デコーダが、そのエンコーダから転送されたプーリングインデックスを使用して、その入力をアップサンプリングし、疎特徴マップを生産後、訓練可能フィルタバンクを伴ういくつかの畳み込み層が続き、特徴応答を稠密化する。最終デコーダ出力特徴点ヒートマップが、ユークリッド損失とともに、リグレッサにフィードされる。3つの全結合層を伴うサイドヘッドが、ボトルネック層にアタッチされ、部屋タイプクラスラベルを訓練および予測するために使用され、これは、次いで、特徴点ヒートマップの関連付けられたセットを選択するために使用される。再帰エンコーダ-デコーダ(中央の破線ブロック)を伴うRoomNetの完全モデルは、図4Bおよび5を参照して説明されるように、特徴点精緻化をさらに実施する。
図3を継続して参照すると、RoomNet300は、エンコーダサブネットワーク304aと、デコーダサブネットワーク304bとを含むことができる。エンコーダサブネットワーク304aは、入力画像308をより低い分解能の特徴マップ312a-312eにマッピングすることができる。デコーダサブネットワーク304bは、ピクセル毎分類のために、低分解能のエンコードされた特徴マップ312eをより高い分解能のマップ316a-316bおよびヒートマップ320r0-320r10(例えば、入力画像308と比較して、同一またはそれより低い分解能を伴う)にアップサンプリングすることができる。入力画像308、特徴マップ312a-312e、316a-316b、およびヒートマップ320r0-320r10の次元は、図3に示されるRoomNet実施例300において標識される。エンコーダサブネットワーク304aは、複数の畳み込み層と、プーリング層324a-324eとを含むことができる。デコーダサブネットワーク304bは、複数の畳み込み層と、アップサンプリング層328a-328cとを含むことができる。いくつかの実施形態では、デコーダサブネットワーク304bは、対応するエンコーダサブネットワーク304bの最大プーリングステップまたは層内で算出されたプーリングインデックスを使用して、非線形アップサンプリングを実施することができる。例えば、特徴マップ312eを生成するために使用される、最大プーリング層の加重は、特徴マップ312eをアップサンプリングするために使用されることができる。別の実施例として、特徴マップ312cを生成するために使用される、最大プーリング層の加重は、特徴マップ316aをアップサンプリングするために使用されることができる。プーリングインデックスは、アップサンプリングすることを学習する必要性を最小限にするかまたは排除することができる。アップサンプリングされたマップは、疎であり得、訓練可能フィルタを用いて畳み込まれ、稠密特徴マップ316a、316bを生産することができる。本エンコーダ-デコーダアーキテクチャは、部屋のレイアウト推定のための他の方法と比較して、それに匹敵する推定時間および効率的メモリ使用を伴う、良好な性能を提供することができる。ヒートマップ320r0-320r10の数は、5、10、11、15、またはそれを上回る等、定義された部屋タイプの数であることができる。図3は、各部屋タイプと関連付けられた特徴点の数を示す。例えば、部屋タイプ0320r0は、8つの特徴点と関連付けられる。それぞれ8つの特徴点は、例えば、8つのヒートマップ320r0のそれぞれにおける最高ピークとして識別されることができる。故に、RoomNet300によって出力されるヒートマップ320r0-320r10の数は、異なる部屋タイプの特徴点の総数であることができる。図3に図示される実施例では、ヒートマップ320r0-320r10の数は、48である。
RoomNet300のベースアーキテクチャは、屋内場面の画像308を撮影し、直接、2D部屋のレイアウト特徴点のセットを出力し、部屋のレイアウト構造を復元することができる。各特徴点グラウンドトゥルースは、出力層内のチャネルのうちの1つとして真の特徴点場所を中心とする、2Dガウスヒートマップによって表されることができる。いくつかの実施形態では、単一2D画像内の特徴点ヒートマップ320r0-320r10は、可視化のために、色分けされることができる。RoomNet300のエンコーダ-デコーダアーキテクチャは、ボトルネック層(例えば、畳み込みおよび最大プーリング層324e)を通して情報フローを処理し、ボトルネック層に、部屋のレイアウトの2D構造をエンコードする特徴点間の関係を暗示的にモデル化させることができる。
いくつかの実施形態では、RoomNet300のデコーダサブネットワーク304bは、図3に示されるように完全分解能320ピクセル×320ピクセルの代わりに、空間次元10×10~40×40を伴う特徴マップ312eをボトルネック層324eからアップサンプリングすることができる。入力画像308の次元と比較した40ピクセル×40ピクセルへの出力ヒートマップ320r0-320r10の次元のそのような低減は、部屋のレイアウトを事実上すでにモデル化するための提案される2D特徴点ベースの表現を使用して、実験的に決定されることができる。いくつかの実施形態では、ヒートマップ320r0-320r10の幅および高さは、320ピクセル×320ピクセル等、入力画像308のものと同一であることができる。異なる出力次元を伴う、RoomNet300の実施形態は、類似性能を有してもよい。本トリミングされたデコーダサブネットワーク304bの使用は、有利には、より高い分解能における畳み込みの高算出コストに起因して、訓練と試験の両方の間、メモリ使用または時間コストを低減させる(例えば、有意に低減させる)ことができる。
複数の部屋タイプへの拡張。RoomNet300のフレームワークまたはアーキテクチャは、1つの特定の部屋タイプに限定されない。RoomNetの実施形態は、クラスあたり1つのネットワークを訓練することなく、複数の部屋タイプに関して一般化されることができる。RoomNet300のそのような実施形態は、最初から効率的かつ高速であり得る。図3に図示されるRoomNet実施形態300は、1回の順方向通過において、入力画像に対する関連付けられた部屋タイプに関する部屋のレイアウト特徴点を予測することができる。出力層328c内のチャネルの数は、全ての定義された部屋タイプに関する特徴点の総数に合致することができる(例えば、図2に図示される11の部屋タイプに関して合計48の特徴点)。RoomNet300はまた、図3に示されるように、ボトルネック層324e(例えば、通常、画像分類のために使用される層)に接続された層332a-332c(例えば、全結合層)を伴う、サイドヘッドまたはサイドサブネットワーク304cを含み、部屋タイプ予測を予測することができる。サイドサブネットワークは、分類子ネットワークを備え、部屋画像内の部屋タイプを分類することができる。
訓練実施例または部屋画像は、(I,y,t)として示されることができ、yは、入力画像Iに関する部屋タイプtを伴う、k特徴点のグラウンドトゥルース座標のリストである。訓練段階では、損失関数Lは、予測される特徴点に関する第1の損失と、予測される部屋タイプに関する第2の損失とを含み得る。第1の損失は、ユークリッド損失であり得、これは、レイアウト特徴点ヒートマップ回帰のためのコスト関数として使用され得る。訓練の間、第2の損失は、クロスエントロピ損失(例えば、対数)であり得、これは、部屋タイプ予測のために使用され得る。特徴点ヒートマップリグレッサ
(例えば、デコーダサブネットワーク304bから出力される)および部屋タイプ分類子
(例えば、全結合サイドヘッド層304cから出力される)を前提として、方程式[1]に示される損失関数Lは、最適化される(例えば、低減または最小限にされる)ことができる。
式中、
は、特徴点kがグラウンドトゥルース部屋タイプt内に現れるかどうかを示し、
は、部屋タイプインデックスcがグラウンドトゥルース部屋タイプtと等しいかどうかを示し、関数Gは、yを中心とするガウス分布であって、加重項は、λである。例えば、加重項λ(例えば、5)は、クロス検証によって設定されることができる。損失関数における第1の項は、予測されるヒートマップ320r0-320r10と特徴点毎に別個に合成されたグラウンドトゥルースヒートマップを比較する。特徴点ヒートマップ毎のグラウンドトゥルースは、あるピクセルの数(例えば、5ピクセル)の標準偏差を伴う、真の特徴点場所上を中心とする2Dガウス分布であることができる。損失関数における第2の項は、サイドヘッド304c全結合層332a-332cに正しい部屋タイプクラスラベルに対する高信頼度値を生産するように促すことができる。
(例えば、デコーダサブネットワーク304bから出力される)および部屋タイプ分類子
(例えば、全結合サイドヘッド層304cから出力される)を前提として、方程式[1]に示される損失関数Lは、最適化される(例えば、低減または最小限にされる)ことができる。
式中、
は、特徴点kがグラウンドトゥルース部屋タイプt内に現れるかどうかを示し、
は、部屋タイプインデックスcがグラウンドトゥルース部屋タイプtと等しいかどうかを示し、関数Gは、yを中心とするガウス分布であって、加重項は、λである。例えば、加重項λ(例えば、5)は、クロス検証によって設定されることができる。損失関数における第1の項は、予測されるヒートマップ320r0-320r10と特徴点毎に別個に合成されたグラウンドトゥルースヒートマップを比較する。特徴点ヒートマップ毎のグラウンドトゥルースは、あるピクセルの数(例えば、5ピクセル)の標準偏差を伴う、真の特徴点場所上を中心とする2Dガウス分布であることができる。損失関数における第2の項は、サイドヘッド304c全結合層332a-332cに正しい部屋タイプクラスラベルに対する高信頼度値を生産するように促すことができる。
RoomNet300の1回の順方向通過は、全ての定義された部屋タイプ(例えば、図2では、11)に関する2Dの部屋のレイアウト特徴点320r0-320r10を生産することができる。2Dの部屋のレイアウト特徴点は、ヒートマップの形態であることができ、最終特徴点は、これらのヒートマップ内の最大値として抽出されることができる。いくつかの実施形態では、損失関数(例えば、方程式[1]に示される損失関数L)のみが、特徴点kが現在の入力画像I内のグラウンドトゥルース部屋タイプtに関して存在する場合、予測される部屋タイプインデックスを効果的に使用して、ユークリッド回帰誤差にペナルティを課し、特徴点ヒートマップの対応するセットを選択し、リグレッサを更新する。同一方略は、予測される部屋タイプ(例えば、サイドネットワーク304cによって)が、最終出力における予測される特徴点ヒートマップを選択するために使用されるように、RoomNet300が訓練された後(例えば、試験段階において)も、適用されることができる。
特徴点精緻化のためのRoomNet拡張子。再帰ニューラルネットワーク(RNN)およびその変形例である超短期メモリ(LSTM)は、シーケンシャルデータに対処するとき、効果的モデルであり得る。RoomNet300の実施形態は、入力画像308が静的であっても、再帰構造を組み込むことができる。例えば、RoomNet300は、再帰畳み込み層と、畳み込みLSTM(convLSTM)層とを含むことができる。いくつかの実施形態では、RoomNet300の再帰特徴は、再帰ニューラルネットワークとしての条件付きランダムフィールド(CRF-RNN)を伴う完全畳み込みネットワーク(FCN)、反復誤差フィードバックネットワーク、再帰CNN、スタックされたエンコーダ-デコーダ、および再帰エンコーダ-デコーダネットワーク等のモデルに類似することができる。静的入力をモデル化するときに時系列概念を組み込むステップは、コンテキスト情報を統合し、ある場合には、予測誤差を低減させる、RoomNet300の能力を有意に改良することができる。
ベースRoomNetアーキテクチャは、中心エンコーダ-デコーダコンポーネント336(例えば、図3における中央破線ブロック参照)を再帰させることによって、拡張されることができる。例えば、RoomNet300は、メモリ増強再帰エンコーダ-デコーダ(MRED)構造404b(図4B参照)を含み、予測される特徴点ヒートマップを繰り返し精緻化するために、人工的時間にわたって反復することによって、典型的再帰ニューラルネットワーク404a(図4Aに示される実施例参照)の挙動を模倣することができる、すなわち、人工的時間ステップ(例えば、反復)は、再帰構造によって作成される。
本MRED構造404b内の各層312c-312e、316a-316bは、同一層l内の時間ステップt-1における前の予測hl(t-1)からの着信特徴マップと、前の層l-1内の時間ステップtにおける現在の入力hl-1(t)とを用いて、畳み込み(*記号として示される)、方程式[2]に示されるように、時間ステップtにおける出力を生成する、異なる時間ステップ(例えば、反復)を通した同一加重行列を共有することができる。
式中、
および
は、層lに関する入力およびフィードフォワード加重であって、blは、層lに関するバイアスであって、σは、活性化関数、例えば、正規化線形ユニット(ReLU)活性化関数である。
式中、
および
は、層lに関する入力およびフィードフォワード加重であって、blは、層lに関するバイアスであって、σは、活性化関数、例えば、正規化線形ユニット(ReLU)活性化関数である。
図4Bは、再帰エンコーダ-デコーダ構造内の深度および時間を通した順方向伝搬および逆方向伝搬の間の情報フローの例示的全体的プロセスを実証する。メモリ増強再帰エンコーダ-デコーダ(MRED)アーキテクチャ404bは、隠れユニット408a、408bを含み、現在の時間ステップにおける推定に役立つ、前の活性化を記憶する。提案されるMRED404bアーキテクチャを使用する非限定的例示的利点は、(1)隠れ/メモリユニット(例えば、再帰畳み込みエンコーダ-デコーダ構造では試みられていなかった)を通した特徴点間のコンテキストおよび構造知識の反復的利用、または(2)固定数のパラメータを用いてはるかに深いネットワークをもたらす、再帰エンコーダ-デコーダ内の畳み込み層の加重共有を含む。
精緻化後、特徴点のヒートマップは、図5A-5Dの下段に示されるように、はるかに鮮明である。図5A-5Dは、精緻化なし(上段、ヒートマップ508a-508d)および精緻化あり(底段、ヒートマップ512a-512d)別の単一画像(中央段、画像504a-504d)からの例示的部屋のレイアウト特徴点推定を図示する、画像を示す。複数のチャネルからの特徴点ヒートマップが、可視化目的のために、単一2次元(2D)画像に示される。特徴点精緻化ステップは、より集中し、より鮮明なヒートマップを生産し、該当する場合、誤検出を除去する。改良が、MREDアーキテクチャ404bを伴うRoomNet300の実施形態によって成された(図5C-5D参照)。
経時的深層監視。スタックされた、反復、または再帰畳み込み構造を適用すると、ネットワーク内の各層は、より多くの層または/および時間ステップを横断した勾配を受信し、訓練がはるかに困難である、モデルをもたらし得る。例えば、反復誤差フィードバックネットワークは、多段階訓練を要求し得、スタックされたエンコーダ-デコーダ構造は、バッチ正規化が使用されるときでも、各エンコーダ-デコーダの終了時に中間監視を使用し得る。RoomNet300を訓練するステップは、各時間ステップの終了時に監視を投入するステップを含むことができる。例えば、方程式[1]に示される損失関数等の同一損失関数L604が、全ての時間ステップに適用されることができる。図6Bにおける各時間ステップの終了時に投入される、3つの損失関数L1604a、L2604b、およびL3604cは、同じまたは異なることができる。図6A-6Bは、経時的深層監視なし(図6A)および経時的深層監視あり(図6B)のメモリ増強再帰エンコーダ-デコーダアーキテクチャの実施例を描写する。深層監視は、RoomNet300の性能を経時的に改良することができる。
(例示的訓練)
(例示的訓練)
データセット。RoomNet300の実施形態が、2つの難解なベンチマークデータセット、すなわち、Hedauデータセットおよび大規模場面理解課題(LSUN)の部屋のレイアウトデータセット上で試験された。Hedauデータセットは、ウェブおよびLabelMeから収集された209枚の訓練、53枚の検証、および105枚の試験画像を含有する。LSUNデータセットは、SUNデータベースからサンプリングされた4,000枚の訓練、394枚の検証、および1,000枚の試験画像から成る。全ての入力画像は、320×320ピクセルに再スケーリングされ、LSUN訓練セットのみ上で最初からRoomNet300を訓練するために使用された。全ての実験結果は、LSUNの部屋のレイアウト用課題ツールキットを使用して、オリジナル画像スケールで算出された。
実装詳細。RoomNet300への入力は、分解能320×320ピクセルのRGB画像であって、出力は、関連付けられた部屋タイプクラスラベルを伴う、分解能40×40の部屋のレイアウト特徴点ヒートマップであった。他の実装では、画像分解能またはヒートマップ分解能は、異なり得る。経時的逆方向伝搬(BPTT)アルゴリズムが、バッチサイズ20の確率的勾配降下法(SGD)、0.5ドロップアウトレート、0.9モーメンタム、および0.0005加重減衰を用いて、モデルを訓練するために適用された。初期学習レートは、0.00001であって、それぞれ、基準時点150および200において、5分の1に減少した。全ての変形例が、225の総基準時点を用いて同一スキームを使用した。エンコーダおよびデコーダ加重は、初期化された。バッチ正規化および正規化線形ユニット(ReLU)活性化関数もまた、各畳み込み層後に使用され、訓練プロセスを改良した。入力画像の水平反転が、データ拡張として、訓練の間に使用された。いくつかの実施形態では、RoomNet300は、オープンソース深層学習フレームワークCaffe内に実装されることができる。
グラウンドトゥルース特徴点ヒートマップは、そのエリアの大部分に関してゼロ値(背景)を有し得、そのわずかな部分のみが、ガウス分布(実際の特徴点場所と関連付けられた前景)に対応する。ネットワークの出力は、したがって、前景と背景分布との間の不平衡に起因して、ゼロに収束する傾向にあり得る。いくつかの実施形態では、勾配は、特徴点ヒートマップ毎に、前景エリアと背景エリアとの間の比率に基づいて加重された。背景ピクセルの勾配は、それらを0.2の係数で乗算することによって減少され、これは、訓練を有意により安定させた。ある場合には、背景内のピクセルは、例えば、5ピクセルを上回る、閾値距離、例えば、グラウンドトゥルースヒートマップを生成するために使用されるガウス分布の標準偏差より特徴点から遠いピクセルを含む。
最初からの訓練は、RoomNetの一実施形態に関して、4 NVIDIA Titan X GPU上で約40時間かかった。完全モデルの1回の順方向推定(RoomNet再帰3反復)は、単一GPU上で83msかかった。最終試験予測を生成するために、画像のオリジナル入力と反転バージョンの両方が、ネットワークを通して起動され、ヒートマップが、ともに平均された(特徴点誤差における0.12%平均改良およびピクセル誤差における0.15%平均改良を考慮して)。特徴点場所は、対応するヒートマップの最大活性化場所であるように選定された。
(例示的性能)
(例示的性能)
いくつかの実施形態では、部屋のレイアウト推定評価メトリックは、ピクセル誤差および特徴点誤差を含み得る。ピクセル誤差は、予測される表面ラベルとグラウンドトゥルースラベルとの間のピクセル毎誤差であり得る。特徴点誤差は、画像対角線長によって正規化される、予測される特徴点と注釈が付けられた特徴点場所との間の平均ユークリッド距離であり得る。
正確度。両データセット上でのRoomNet300の性能が、表1および2に列挙される。以前の最良方法は、2ステップフレームワーク(別個の仮定ランク付けアプローチを伴う、ピクセル毎CNNベースのセグメント化)であった。本開示のRoomNet300は、特徴点誤差およびピクセル誤差の両方に関して、有意に改良し、以前の結果より優れており、最先端の性能を達成することができる。サイドヘッド部屋タイプ分類子は、LSUNデータセット上で81.5%の正確度を取得した。
ランタイムおよび複雑性。320×320の入力画像サイズ上の効率評価が、表3に示される。完全モデル(RoomNet再帰3反復)は、部屋のレイアウト推定の別の方法と比較して、200倍の加速を達成し、再帰構造を伴わないベースRoomNet(RoomNet基本)は、600倍の加速を達成した。計時は、本明細書に説明されるように、2回の順方向通過に関して行われた。提案されるRoomNet300のうちのいずれか1つを使用することは、表4に示されるように、有意な推定時間低減および改良された正確度を提供することができる。
例示的RoomNet分析
例示的RoomNet分析
再帰対直接予測。RoomNetアーキテクチャ内の各コンポーネントの効果が、LSUNデータセットを用いて調査された。表4は、RoomNet基本アーキテクチャをメモリ増強再帰エンコーダ-デコーダネットワークに拡張する有効性を示す。より多くの反復が、特徴点誤差およびピクセル誤差の両方に関して、より低い誤差率につながったことが観察された。すなわち、特徴点場所を補正するために反復的に回帰された再帰構造を伴う、RoomNet300は、6.95%特徴点誤差および10.46ピクセル誤差を達成した再帰構造を伴わないRoomNet300と比較して、6.3%特徴点誤差および9.86ピクセル誤差を達成した。さらなる有意な性能改良は、3回の反復後、観察されなかった。理論によって限定されるわけではないが、畳み込み層の加重が反復を横断して共有されるため、改良は、ネットワーク内の同一パラメータ容量に由来し得る。
経時的深層監視の効果。エンコーダ-デコーダアーキテクチャを伴う再帰構造を適用するとき、ネットワーク内の各層は、訓練の間、深度のみではなく、また、入力と最終目的関数との間の経時的ステップも横断して、勾配を受信する。補助損失関数を異なる時間ステップにおいて追加する効果が、決定された。表5は、2回または3回の再帰反復を伴うRoomNet300を使用した経時的深層監視の影響を実証する。特徴点誤差およびピクセル誤差の両方における中間低減が、両方の場合に関して、補助損失を追加することによって認められた。いくつかの実施形態では、深層監視を伴う学習問題は、異なる時間ステップを通してより容易となり得る。時間内に3回の反復を伴うRoomNet300は、経時的深層監視が適用されないとき、2回の反復を伴うRoomNet300より性能が悪化した。これは、経時的深層監視が適用されるとき、修正された。再帰構造内により多くの反復を伴う、いくつかの実施形態では、経時的深層監視が、アーキテクチャを正常に訓練するために適用されることができる。
定質的結果。RoomNet300の定質的結果が、図7A-7Gに示される。図7A-7Gは、大規模場面理解課題(LSUN)データセット上における例示的RoomNet予測および対応するグラウンドトゥルースを示す、画像である。RoomNetは、RGB画像をその入力704a-704g(各図中の第1の列に描かれる)としてとり、例示的部屋のレイアウト特徴点ヒートマップ708a-708g(各図中の第2の列)を生産した。最終特徴点は、最大応答を伴う場所をヒートマップから抽出することによって取得された。各図中の第3および第4の列は、図2におけるように、取得された特徴点を具体的順序でつなげることによって、例示的ボックス状の部屋のレイアウト表現712a-712fg 716a-716gを示す。第3の列内の異なる表面は、異なる平行線模様パターンで示され、これは、レイアウトのセグメント化から生じ、天井、床、壁等を識別することができる。RoomNet部屋のレイアウト出力712a-712gは、異なる平行線模様において、床、天井、および壁を示す。表現716a-716gでは、部屋のレイアウトは、個別の入力画像704a-704g上に重畳される。各図中の第5および第6の列は、実際の部屋のレイアウトに関する例示的グラウンドトゥルース720a-720g、724a-724gを示す。部屋のレイアウト712a-712gおよび716a-716g(RoomNetによって決定された)と実際のグラウンドトゥルースレイアウト720a-720gおよび724a-724gとの間の対応は、顕著である。これらの例示的結果は、RoomNetが、オブジェクト(例えば、テーブル、椅子、ベッド等)による特徴点オクルージョンに対してロバストであることを実証する。画像が、鮮明であって、部屋のレイアウト境界/角が、オクルードされていないとき、RoomNet300は、高正確度を伴って、ボックス状の部屋のレイアウト表現を復元することができる。RoomNetフレームワークはまた、例えば、図7B、7C、7D、7Fに実証されるオブジェクト(例えば、テーブル、椅子、ベッド等)による特徴点オクルージョンに対してもロバストであった。
図8A-8Dは、RoomNetの実施形態からの部屋のレイアウト予測がグラウンドトゥルースレイアウトにあまり良好に合致しない実施例を示す、例示的画像である。RoomNet予測とグラウンドトゥルースとの間の差異は、本明細書に説明されるように、さらに低減または排除されることができる。各図中の第1の列は、例示的入力画像804a-804dを示す。各図中の第2の列は、例示的予測される特徴点ヒートマップ808a-808dを示す。各図中の第3および第4の列は、取得された例示的ボックス状の表現812a-812d、816a-816dを示す。第3の列内の異なる表面は、異なる平行線模様パターンで示され、レイアウトのセグメント化から生じ、天井、床、壁等を識別することができる。第5および第6の列は、例示的グラウンドトゥルース820a-820d、824a-824dを示す。RoomNet300のさらなる改良が、部屋のレイアウト境界は、かろうじて可視であるとき(例えば、図8Aおよび8C)、または場面の所与の画像に関する1つを上回る妥当と思われる部屋のレイアウトが存在するとき(例えば、図8Bおよび8D)、可能性として考えられ得る。
例示的代替エンコーダ-デコーダ
例示的代替エンコーダ-デコーダ
LSUNデータセットを用いた提案されるアーキテクチャ内の各コンポーネントの効果が、実験的に決定された。調査される部屋のレイアウト推定タスクのための図9A-9Fに示される6つの代替エンコーダ-デコーダアーキテクチャの評価は、(a)図9Aに示される、バニラエンコーダ/デコーダ900a(RoomNet基本)、(b)図9Bに示される、スタックされたエンコーダ-デコーダ900b、(c)図9Cに示される、スキップコネクションを伴うスタックされたエンコーダ-デコーダ900c、(d)図9Dに示される、フィードバックを伴うエンコーダ-デコーダ900d、(e)図9Eに示される、メモリ増強再帰エンコーダ-デコーダ(RoomNet完全)900e、および(f)図9Fに示される、フィードバックを伴うメモリ増強再帰エンコーダ-デコーダ900fを含んだ。RoomNet300のいくつかの実施形態は、あるタスクに関して、RoomNet300の他の実施形態に優る利点を有し得る。例えば、RoomNetのいくつかの実施形態は、図8A-8Dに示される差異を低減または排除することができる。表6は、LSUNデータセット上における異なる変形例の性能を示す。
(a)および(b)構成900a、900bの比較は、ネットワークが、制約を複数のボトルネック層に課すことによって、部屋のレイアウト特徴点の空間構造を暗示的に学習するように強いられるため、エンコーダ-デコーダネットワークをスタックすることが、さらに性能を改良し得ることを示す。
しかしながら、(c)構成900cにおけるようなスキップコネクションの追加は、試験される条件下、本タスクのための性能を改良しなかった。これは、訓練セットのサイズ(数千)が評価された他のデータセット(数百万)ほど大きくなく、したがって、スキップ層が具体的データセットのために必要ではなかったためであり得る。
(d)構成900dにおけるように、同一エンコーダ-デコーダネットワークのための新しい入力としての入力と前の予測の連結として実装される、フィードバックループを追加することは、性能を改良した。反復毎に、ネットワークは、オリジナル入力とともに、これまでの準最適予測にアクセスし、現在の時間ステップにおける推定に役立てた。
(e)構成900eにおけるメモリユニットを伴うエンコーダ-デコーダ再帰をRNNとして挙動させることは、最低特徴点誤差およびピクセル誤差を取得する(完全RoomNetモデル)。再帰エンコーダ-デコーダにおける側結合は、ネットワークが、情報を繰り越し、将来的時間ステップにおける予測に役立てることを可能にした。(f)構成900fにおけるフィードバックループをメモリ増強再帰エンコーダ-デコーダに追加することは、結果を改良しなかった。構成(e)900eにおけるメモリ増強構造を使用することは、フィードバックを伴わずに、すでに前の隠れ状態情報を十分に記憶することができることが可能性として考えられた。エンコーダ-デコーダの加重行列は、(b)および(c)構成900b、900cにおいて共有されなかったが、(d)、(e)、および(f)構成900d、900e、900fにおいて共有され、よりパラメータ上効率的なアーキテクチャをもたらした。
事前訓練による特徴転送。外部データに起因する性能向上を切り離すために、(意味論セグメント化タスクにおける)SUNの事前に訓練されたモデルからRoomNetを微調整した結果が、決定された。表7に示されるように、そのようなRoomNetは、LSUNデータセット上における少なくとも7.95%特徴点誤差および9.31%ピクセル誤差を伴う他の方法と比較して、6.09%特徴点誤差および9.04%ピクセル誤差を達成した。表7は、余剰データまたは事前に訓練されたモデルを用いた部屋のレイアウト推定結果を反映する。いくつかの実施形態では、RoomNetは、付加的Hedau+訓練セットを使用して訓練され、NYUDv2 RGBD(RGB plus Depth)の事前に訓練されたモデルから微調整されることができる。表7は、PASCALおよびSUNの事前に訓練されたRoomNetから微調整した結果を示す。SUNの事前に訓練されたRoomNetは、LSUNデータセット上で最低特徴点誤差およびピクセル誤差を達成した。
いくつかの実施形態では、RoomNet300は、ゲーティング機構を含み、着信信号が再帰ユニットの状態を改変することを可能にすることができる。いくつかの実施形態では、RoomNet300は、シーケンシャルデータを使用して、訓練され、および/またはシーケンシャルデータを使用して、建物の部屋のレイアウトマップを予測することができる。
RoomNetを訓練する例示的プロセス
RoomNetを訓練する例示的プロセス
図10は、RoomNetを訓練する例示的プロセス1000のフロー図である。プロセス1000は、画像、RoomNetアーキテクチャおよびパラメータ(例えば、NN加重)、部屋タイプ、2D特徴点場所(例えば、ヒートマップ)、部屋のレイアウト等を記憶するように構成される、非一過性メモリを備える、ハードウェアプロセッサによって実施されることができる。
プロセス1000は、ブロック1004から開始し、そこで、部屋および部屋タイプの多くのタイプに関する訓練用部屋画像が、受信される。訓練用部屋画像はそれぞれ、基準部屋タイプと、部屋のレイアウト(例えば、床、天井、壁)を識別する、基準特徴点と関連付けられることができる。ある場合には、訓練画像は、手動で注釈が付けられ、画像に示される部屋に関するグラウンドトゥルース(例えば、特徴点場所および部屋タイプ)を示す。訓練用部屋画像は、単眼画像、赤色-緑色-青色(RGB)画像等であることができる。訓練画像は、HedauデータセットまたはLSUNデータセットから取得可能である。
プロセス1000は、データ拡張方略(例えば、水平に反転された画像を用いて訓練データを増大させる)を実施し、訓練されたRoomNetの性能を改良するステップを含むことができる。部屋タイプの数は、2、3、5、10、11、15、20、またはそれを上回る等、異なる実装では、異なり得る。部屋タイプは、特徴点順序と関連付けられる、複数の特徴点と関連付けられることができる。特徴点は、特徴点順序でつなげられ、部屋のレイアウトを提供することができる。特徴点の数は、2、3、5、6、8、10、20、50、またはそれを上回る等、異なる実装では、異なり得る。
ブロック1008では、部屋のレイアウト推定のためのニューラルネットワーク(例えば、RoomNet)が、生成されることができる。本明細書に説明されるように、RoomNetの実施形態は、エンコーダサブネットワークと、エンコーダネットワークに接続される、デコーダサブネットワークと、エンコーダネットワークに接続される、サイドヘッドまたはサブネットワークとを備えることができる。エンコーダサブネットワークは、複数の畳み込み層と、複数のプーリング層とを備えることができる。デコーダサブネットワークは、複数の畳み込み層と、複数のアップサンプリング層とを備えることができる。デコーダサブネットワークのデコーダ層の加重は、エンコーダサブネットワークの対応するエンコーダ層の加重を含むことができる。代替として、または加えて、デコーダサブネットワークのデコーダ層の加重は、エンコーダサブネットワークの対応するエンコーダ層の加重と同じであることができる。いくつかの実施形態では、エンコーダサブネットワークおよびデコーダサブネットワークは、複数の再帰層を備え、再帰エンコーダ-デコーダ構造(例えば、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワーク)を形成する。再帰層の再帰反復数は、2、3、5、10、またはそれを上回ることができる。いくつかの実施形態では、再帰層の反復の第1の再帰反復と関連付けられた加重は、再帰層の第2の再帰反復と関連付けられた加重と同じである。
エンコーダサブネットワークおよびデコーダサブネットワークは、異なる実装では、異なるアーキテクチャを有することができる。例えば、エンコーダサブネットワークおよびデコーダサブネットワークは、スタックされたエンコーダ-デコーダアーキテクチャを有することができる。別の実施例として、エンコーダサブネットワークおよびデコーダサブネットワークは、スキップコネクションを伴う、スタックされたエンコーダ-デコーダアーキテクチャを有することができる。さらに別の実施例として、エンコーダサブネットワークおよびデコーダサブネットワークは、フィードバックを伴う、スタックされたエンコーダ-デコーダアーキテクチャを有することができる。一実施例では、エンコーダサブネットワークおよびデコーダサブネットワークは、メモリ増強再帰エンコーダ-デコーダ(MRED)アーキテクチャを有する。別の実施例では、エンコーダサブネットワークおよびデコーダサブネットワークは、フィードバックを伴う、メモリ増強再帰エンコーダ-デコーダ(MRED)アーキテクチャを有する。再帰層を伴うRoomNetの特徴マップは、いくつかの実施形態では、方程式[2]を使用して決定されることができる。
ブロック1012では、部屋タイプ毎に複数の予測される2D特徴点が、RoomNetのエンコーダサブネットワークおよびデコーダサブネットワークおよび訓練用部屋画像を使用して、決定されることができる。訓練用部屋画像の次元は、予測されるヒートマップの次元より小さい、同一、またはより大きくあることができる。2D特徴点場所は、ある場合には、ヒートマップから抽出されることができる(例えば、ヒートマップ内の最大値として)。
ブロック1016では、予測される部屋タイプは、RoomNetのエンコーダサブネットワークおよびサイドサブネットワークおよび訓練用部屋画像を使用して、決定されることができる。例えば、サイドサブネットワークは、全結合層等の複数の層を備えることができる。いくつかの実施形態では、サイドサブネットワークは、3つの全結合層を備える。サイドサブネットワークの出力層の次元および複数の部屋タイプの数は、同じであることができる。
ブロック1020では、プロセス1000は、訓練画像内の基準特徴点に対する予測される特徴点内の誤差を表す第1の損失と、訓練画像内の基準部屋タイプに対する予測される部屋タイプ内の誤差を表す第2の損失とに基づいて、損失関数を最適化する(例えば、低減または最小限にする)ことができる。損失関数Lの実施例は、方程式[1]を参照して説明される。第1の損失は、予測される特徴点と基準特徴点との間のユークリッド損失であることができる。いくつかの実装では、予測される特徴点は、ヒートマップによって表され、基準(例えば、グラウンドトゥルース)特徴点に関する基準ヒートマップは、ガウス分布を基準特徴点場所上を中心として設置することによって、生成されることができる。第1の損失は、特徴点が入力訓練画像内の基準部屋タイプに関して存在する場合のみ、予測される特徴点にペナルティを課すように設定されることができる。第2の損失は、サイドサブネットワークが正しい部屋タイプに対する高信頼度値を生産するように促す、部屋タイプ分類子(例えば、部屋タイプサイドサブネットワークから出力される)に基づく、クロスエントロピ(例えば、対数)損失であることができる。
いくつかの実施形態では、第1の損失を決定するステップは、基準特徴点を使用して、基準ヒートマップを決定するステップと、予測される特徴点に関して基準ヒートマップと予測されるヒートマップとの間の差異を決定するステップとを含む。基準ヒートマップは、各基準特徴点場所を中心とする分布を含むことができる。分布は、2次元ガウス分布を含むことができる。ガウス分布は、例えば、2、3、5、10、またはそれを上回るピクセルの標準偏差を有することができる。ガウス分布は、5%、10%、20%、25%、またはそれを上回る等、基準ヒートマップの次元のパーセンテージの標準偏差を有することができる。いくつかの実施形態では、基準ヒートマップを決定するステップは、例えば、ピクセル値を0.1、0.2、0.3等の1未満の減少係数で乗算することによって、ピクセルの閾値数であるピクセルの値を基準特徴点場所から離れるように減少させるステップを含むことができる。
ブロック1024では、RoomNetのためのニューラルネットワークパラメータは、最適化された損失関数に基づいて、更新されることができる。いくつかの実施形態では、RoomNetの加重は、誤差逆方向伝播法によって更新されることができる。
プロセス1000は、訓練画像セット(例えば、HedauまたはLSUNデータセット)内の訓練画像毎に反復され、ニューラルネットワークを調整し、低減または最小限にされた誤差(例えば、上記に説明されるように、ピクセル誤差または特徴点誤差)を伴う、ロバストなニューラルネットワークモデルを生産することができる。RoomNetの実施形態は、プロセス1000を使用して訓練され、次いで、拡張現実または複合現実、屋内ナビゲーション、場面再構築またはレンダリング等において、実世界画像に適用されることができる。
部屋のレイアウト推定のためのRoomNetを使用する例示的プロセス
部屋のレイアウト推定のためのRoomNetを使用する例示的プロセス
図11は、部屋のレイアウトを部屋画像から推定するためのRoomNetを使用する例示的プロセス1100のフロー図である。プロセス1100は、画像、RoomNetアーキテクチャおよびパラメータ(例えば、NN加重)、部屋のレイアウトタイプ、ヒートマップ、部屋のレイアウト等を記憶するように構成される、非一過性メモリを備える、ハードウェアプロセッサによって実施されることができる。図12を参照して下記に説明されるように、ウェアラブルディスプレイシステム1200またはロボットシステムが、プロセス1100の実施形態を実装するように構成されることができる。
プロセス1100は、ブロック1104から開始し、そこで、システム(例えば、図12を参照して説明されるウェアラブルディスプレイシステム1200)が、可能性として考えられる部屋場面を含む、入力画像を受信する。画像は、1つの部屋場面を含むことができる。画像は、カラー画像(例えば、RGBまたはRGB-D)を備えることができ、画像は、単眼であってもよい。画像は、ビデオのフレームであってもよく、図12を参照して説明されるウェアラブルディスプレイシステム1200の外向きに面した結像システム1244を使用して取得されてもよい。
ブロック1108では、ウェアラブルディスプレイシステム1200は、図10に図示されるプロセス1000によって訓練されたRoomNet等の部屋のレイアウト推定のためのニューラルネットワーク(RoomNet)にアクセスすることができる。RoomNetは、エンコーダサブネットワークと、エンコーダネットワークに接続される、デコーダサブネットワークと、エンコーダネットワークに接続される、サイドサブネットワークとを含むことができる。いくつかの実施形態では、エンコーダサブネットワークおよびデコーダサブネットワークは、複数の再帰層を備える。例えば、エンコーダ-デコーダサブネットワークは、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワークを備えることができる。再帰層を伴うRoomNetの特徴マップが、上記の方程式[2]を使用して、決定されることができる。RoomNetのアーキテクチャは、異なる実装では、異なり得る。例えば、エンコーダサブネットワークおよびデコーダサブネットワークは、スタックされたエンコーダ-デコーダアーキテクチャを備えることができる。別の実施例として、エンコーダサブネットワークおよびデコーダサブネットワークは、複数のスキップコネクションを備えることができる。一実施例では、サイドサブネットワークは、複数のフィードバック層を備える。
ブロック1112では、プロセス1100は、RoomNetのエンコーダサブネットワークおよびデコーダサブネットワークおよび部屋画像を使用して、複数の部屋タイプのそれぞれに対応する複数の2D特徴点を決定することができる。2D特徴点は、ヒートマップと関連付けられることができ、特徴点場所は、ヒートマップ内で生じる最大値としてヒートマップから抽出されることができる。部屋タイプの数は、5(例えば、ある場合には、11)を上回ることができる。
ブロック1116では、ウェアラブルディスプレイシステム1200は、RoomNetのサイドサブネットワークおよび部屋画像を使用して、予測される部屋タイプを複数の部屋タイプから決定することができる。
ブロック1120では、プロセス1100は、部屋画像内の部屋のレイアウトを予測される部屋タイプおよび2D特徴点から決定することができる。部屋のレイアウトは、予測される部屋タイプと関連付けられた特徴点順序を有する、順序付けられた特徴点を含むことができる。特徴点の数は、2、3、4、6、8、10、またはそれを上回る等、異なる実装では、異なり得る。部屋のレイアウトは、天井、床、壁等としてのレイアウト表面の識別等、レイアウト表面の意味論セグメント化を含むことができる。意味論セグメント化は、順序付けられた2D特徴点から導出されることができる。故に、ニューラルネットワークは、関連付けられた部屋タイプを伴う具体的順序であり得る、2D特徴点を使用して、3D部屋のレイアウト構造を提供することができる。
ブロック1124では、プロセス1100は、部屋のレイアウトを拡張または複合現実用途において、自律的屋内ナビゲーションのため、場面再構築またはレンダリングのため等に利用することができる。
ウェアラブルディスプレイシステム1200(下記の図12を参照して説明される)は、入力画像内の部屋の予測されるレイアウトに基づいて、システムのユーザと相互作用することができる。いくつかの実施形態では、ウェアラブルディスプレイシステム1200は、部屋画像内の予測される部屋のレイアウトに基づいて、屋内ナビゲーションを実施し、例えば、ユーザを部屋内の所望の場所に案内することができる(例えば、部屋のレイアウトおよび(随意に)場所までの経路をレンダリングすることによって)。他の実施形態では、ウェアラブルディスプレイシステム1200は、部屋画像内の部屋の予測されるレイアウトに基づいて、部屋画像内の場面を再構築することができる。
(例示的NN層)
(例示的NN層)
上記に説明されるように、RoomNetの実施形態は、ニューラルネットワークを備えることができる。深層ニューラルネットワーク(DNN)等のニューラルネットワーク(NN)の層は、線形または非線形変換をその入力に適用し、その出力を生成することができる。深層ニューラルネットワーク層は、正規化層、畳み込み層、ソフトサイン層、正規化線形層、連結層、プーリング層、再帰層、インセプション様層、または任意のそれらの組み合わせであることができる。正規化層は、その入力の明度を正規化し、例えば、ユークリッドまたはL2正規化を用いて、その出力を生成することができる。正規化層は、例えば、複数の画像の明度を相互に対して一度に正規化し、複数の正規化された画像をその出力として生成することができる。明度を正規化するための方法の非限定的実施例は、ローカルコントラスト正規化(LCN)またはローカル応答正規化(LRN)を含む。ローカルコントラスト正規化は、ピクセルベースで画像のローカル領域を正規化し、ゼロの平均値および1の分散(または平均値および分散の他の値)を有することによって、画像のコントラストを非線形に正規化することができる。ローカル応答正規化は、ローカル入力領域にわたって画像を正規化し、ゼロの平均値および1の分散(または平均値および分散の他の値)を有することができる。正規化層は、訓練プロセスを加速させ得る。
畳み込み層は、その入力を畳み込み、その出力を生成する、カーネルのセットを適用することができる。ソフトサイン層は、ソフトサイン関数をその入力に適用することができる。ソフトサイン関数(softsign(x))は、例えば、(x/(1+|x|))であることができる。ソフトサイン層は、要素毎誤対応の影響を無視してもよい。正規化線形層は、正規化線形層ユニット(ReLU)またはパラメータ化された正規化線形層ユニット(PReLU)であることができる。ReLU層は、ReLU関数をその入力に適用し、その出力を生成することができる。ReLU関数ReLU(x)は、例えば、max(0,x)であることができる。PReLU層は、PReLU関数をその入力に適用し、その出力を生成することができる。PReLU関数PReLU(x)は、例えば、x≧0である場合、xであって、x<0である場合、axであることができ、aは、正の数であることができる。連結層は、その入力を連結し、その出力を生成することができる。例えば、連結層は、4つの5×5画像を連結し、1つの20×20画像を生成することができる。プーリング層は、プーリング関数を適用することができ、これは、その入力をダウンサンプリングし、その出力を生成する。例えば、プーリング層は、20×20画像を10×10画像にダウンサンプリングすることができる。プーリング関数の非限定的実施例は、最大プーリング、平均プーリング、または最小プーリングを含む。
時間点tでは、再帰層は、隠蔽状態s(t)を計算することができ、再帰接続は、時間点tにおける隠蔽状態s(t)を再帰層に後続時間点t+1における入力として提供することができる。再帰層は、時間点tにおける隠蔽状態s(t)に基づいて、時間点t+1においてその出力を計算することができる。例えば、再帰層は、ソフトサイン関数を時間点tにおける隠蔽状態s(t)に適用し、時間点t+1におけるその出力を計算することができる。時間点t+1における再帰層の隠蔽状態は、その入力として、時間点tにおける再帰層の隠蔽状態s(t)を有する。再帰層は、例えば、ReLU関数をその入力に適用することによって、隠蔽状態s(t+1)を計算することができる。インセプション様層は、正規化層、畳み込み層、ソフトサイン層、ReLU層およびPReLU層等の正規化線形層、連結層、プーリング層、または任意のそれらの組み合わせのうちの1つ以上のものを含むことができる。
NN内の層の数は、異なる実装では、異なり得る。例えば、DNN内の層の数は、50、100、200、またはそれを上回ることができる。深層ニューラルネットワーク層の入力タイプは、異なる実装では、異なり得る。例えば、層は、いくつかの層の出力をその入力として受信することができる。層の入力は、5つの層の出力を含むことができる。別の実施例として、層の入力は、NNの層の1%を含むことができる。層の出力は、いくつかの層の入力であることができる。例えば、層の出力は、5つの層の入力として使用されることができる。別の実施例として、層の出力は、NNの層の1%の入力として使用されることができる。
層の入力サイズまたは出力サイズは、非常に大きくなることができる。層の入力サイズまたは出力サイズは、n×mであることができ、nは、入力または出力の幅を示し、mは、高さを示す。例えば、nまたはmは、11、21、31、またはそれを上回ることができる。層の入力または出力のチャネルサイズは、異なる実装では、異なり得る。例えば、層の入力または出力のチャネルサイズは、4、16、32、64、128、またはそれを上回ることができる。層のカーネルサイズは、異なる実装では、異なり得る。例えば、カーネルサイズは、n×mであることができ、nは、カーネルの幅を示し、mは、高さを示す。例えば、nまたはmは、5、7、9、またはそれを上回ることができる。層のストライドサイズは、異なる実装では、異なり得る。例えば、深層ニューラルネットワーク層のストライドサイズは、3、5、7、またはそれを上回ることができる。
いくつかの実施形態では、NNは、NNの出力をともに計算する、複数のNNを指し得る。複数のNNの異なるNNは、異なるタスクのために訓練されることができる。プロセッサ(例えば、図12を参照して説明されるローカルデータ処理モジュール1224のプロセッサ)は、複数のNNのNNの出力を計算し、NNの出力を決定することができる。例えば、複数のNNのNNの出力は、尤度スコアを含むことができる。プロセッサは、複数のNNの異なるNNの出力の尤度スコアに基づいて、複数のNNを含む、NNの出力を決定することができる。
例示的ウェアラブルディスプレイシステム
例示的ウェアラブルディスプレイシステム
いくつかの実施形態では、ユーザデバイスは、ウェアラブルディスプレイデバイスであることができる、またはその中に含まれることができ、これは、有利には、より没入型の仮想現実(VR)、拡張現実(AR)、または複合現実(MR)体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実であるように見える、またはそのように知覚され得る様式で装着者に提示される。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供し得ると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。例えば、導波管のスタックを含有するディスプレイは、ユーザまたは視認者の眼の正面に位置付けられて装着されるように構成されてもよい。導波管のスタックは、複数の導波管を使用して、画像投入デバイス(例えば、1つ以上の光ファイバを介して画像情報を送出する、離散ディスプレイまたは多重化されたディスプレイの出力端)からの光を特定の導波管と関連付けられた深度平面に対応する特定の角度(および発散量)で視認者の眼に指向することによって、3次元知覚を眼/脳に提供するために利用され得る。
いくつかの実施形態では、視認者の眼毎に1つの導波管の2つのスタックが、異なる画像を各眼に提供するために利用されてもよい。一実施例として、拡張現実場面は、AR技術の装着者に、人々、木々、背景における建物、およびコンクリートプラットフォームを特徴とする実世界公園状設定が見えるようなものであってもよい。これらのアイテムに加え、AR技術の装着者はまた、実世界プラットフォーム上に立っているロボット像と、マルハナバチの擬人化のように見える飛んでいる漫画状アバタキャラクタとを「見ている」と知覚し得るが、ロボット像およびマルハナバチは、実世界には存在しない。導波管のスタックは、入力画像に対応するライトフィールドを生成するために使用されてもよく、いくつかの実装では、ウェアラブルディスプレイは、ウェアラブルライトフィールドディスプレイを備える。ライトフィールド画像を提供するためのウェアラブルディスプレイデバイスおよび導波管スタックの実施例は、米国特許公開第2015/0016777号(それが含有する全てに関して参照することによってその全体として本明細書に組み込まれる)に記載されている。
図12は、VR、AR、またはMR体験をディスプレイシステム装着者または視認者1204に提示するために使用され得る、ウェアラブルディスプレイシステム1200の実施例を図示する。ウェアラブルディスプレイシステム1200は、本明細書に説明される用途または実施形態のいずれかを実施するようにプログラムされてもよい(例えば、RoomNetを使用して、部屋のレイアウトを推定する)。ディスプレイシステム1200は、ディスプレイ1208と、そのディスプレイ1208の機能をサポートするための種々の機械的および電子モジュールおよびシステムとを含む。ディスプレイ1208は、フレーム1212に結合されてもよく、これは、ディスプレイシステム装着者または視認者1204によって装着可能であって、ディスプレイ1208を装着者1204の眼の正面に位置するように構成される。ディスプレイ1208は、ライトフィールドディスプレイであってもよい。いくつかの実施形態では、スピーカ1216は、フレーム1212に結合され、ユーザの外耳道に隣接して位置付けられ、いくつかの実施形態では、示されない別のスピーカが、ユーザの他の外耳道に隣接して位置付けられ、ステレオ/調節可能音制御を提供する。ディスプレイシステム1200は、装着者1204の周囲の環境の画像(例えば、静止画像またはビデオ)を取得し得る、外向きに面した結像システム1244(例えば、1つ以上のカメラ)を含むことができる。外向きに面した結像システム1244によって取得される画像は、RoomNetの実施形態によって分析され、装着者1204の周囲の環境内の部屋のレイアウトの表現を決定することができる。
ディスプレイ1208は、有線導線または無線コネクティビティ等によって、ローカルデータ処理モジュール1224に動作可能に結合され1220、これは、フレーム1212に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ1204に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載され得る。
ローカル処理およびデータモジュール1224は、ハードウェアプロセッサと、非一過性デジタルメモリ、例えば、不揮発性メモリ(例えば、フラッシュメモリ等)とを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、(a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等のセンサ(例えば、フレーム1212に動作可能に結合され得る、または別様に、装着者1204に取り付けられ得る)から捕捉されたデータ、および/または(b)可能性として、処理または読出後にディスプレイ1208への通過のために、遠隔処理モジュール1228および/または遠隔データリポジトリ1232を使用して入手および/または処理されたデータを含む。ローカル処理およびデータモジュール1224は、これらの遠隔モジュール1228、1232が、相互に動作可能に結合され、ローカル処理およびデータモジュール1224へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク1236、1240によって、遠隔処理モジュール1228および遠隔データリポジトリ1232に動作可能に結合されてもよい。画像捕捉デバイスは、眼画像セグメント化または眼追跡プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。
いくつかの実施形態では、遠隔処理モジュール1228は、データおよび/または画像捕捉デバイスによって捕捉されたビデオ情報等の画像情報を分析および処理するように構成される、1つ以上のプロセッサを備えてもよい(例えば、RoomNetを実施することによって)。ビデオデータは、ローカル処理およびデータモジュール1224内にローカルで記憶されてもよいおよび/または遠隔データリポジトリ1232内に記憶されてもよい。いくつかの実施形態では、遠隔データリポジトリ1232は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール1224において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
いくつかの実装では、ローカル処理およびデータモジュール1224および/または遠隔処理モジュール1228は、RoomNetの実施形態を実施し、部屋のレイアウトを決定するようにプログラムされる。例えば、ローカル処理およびデータモジュール1224および/または遠隔処理モジュール1228は、図11を参照して説明されるプロセス1100の実施形態を実施するようにプログラムされることができる。ローカル処理およびデータモジュール1224および/または遠隔処理モジュール1228は、本明細書に開示される部屋のレイアウト推定方法1100を実施するようにプログラムされることができる。画像捕捉デバイスは、特定の用途(例えば、拡張現実(AR)または複合現実(MR)、人間-コンピュータ相互作用(HCI)、自律車両、ドローン、またはロボット全般)のためのビデオを捕捉することができる。ビデオ(またはビデオからの1つ以上のフレーム)は、処理モジュール1224、1228の一方または両方によって、算出RoomNetアーキテクチャの実施形態を使用して分析されることができる。ある場合には、RoomNetの分析の少なくとも一部を遠隔処理モジュール(例えば、「クラウド」)にオフロードすることは、計算の効率または速度を改良し得る。RoomNetニューラルネットワークのパラメータ(例えば、加重、バイアス項、プーリング層のためのサブサンプリング係数、異なる層内のカーネルの数およびサイズ、特徴マップの数、部屋のレイアウトタイプ、特徴点ヒートマップ等)は、データモジュール1224および/または1232内に記憶されることができる。
RoomNet分析の結果(例えば、方法1100の出力)は、付加的動作または処理のために、処理モジュール1224、1228の一方または両方によって使用されることができる。例えば、ウェアラブルディスプレイシステム1200の処理モジュール1224、1228は、方法1100の出力に基づいて、拡張または複合現実、屋内ナビゲーション、または場面再構築またはレンダリング等の付加的用途を実施するようにプログラムされることができる。故に、ウェアラブルシステム200は、RoomNetを使用して、部屋のレイアウトをリアルタイムで提供することができる。
例えば、ウェアラブルディスプレイシステム1200は、オブジェクト、壁、床、天井、ドア等が、複合現実環境内で相互に対して位置する場所を説明する、世界マップ(例えば、ローカルまたは遠隔データリポジトリ1224、1240内に記憶される)を利用することができる。世界マップの使用に関するさらなる詳細は、米国特許公開第2015/0016777号(それが含有する全てに関して、参照することによって本明細書に組み込まれる)に説明される。RoomNetの出力(例えば、方法1100の出力)は、世界マップを更新し、システム1200の装着者が位置する部屋に関する部屋のレイアウトを含めるために使用されることができる。
RoomNetアーキテクチャは、ユーザの環境内のオブジェクトに関する画像を分析する、他のオブジェクト認識装置または深層学習システムと併用されることができる。例えば、2017年11月14日に出願され、「Deep Learning System for Cuboid Detection」と題された米国特許出願第15/812,928号(それが含有する全てに関して、参照することによってその全体として本明細書に組み込まれる)は、画像内の3Dの直方体形状のオブジェクトを検出するための機械学習技法を説明する。いくつかの実施形態では、RoomNetアーキテクチャは、部屋のレイアウトを識別するために使用されることができ、直方体検出アーキテクチャは、部屋のレイアウト内の直方体オブジェクトを識別または位置特定するために使用されることができる。本情報は、ウェアラブルディスプレイシステム1200の世界マップに追加され、改良されたARまたはMRユーザ体験を提供することができる。
さらに別の実施例として、ロボットが、RoomNetの実施形態を利用し、部屋のレイアウトを決定し、次いで、部屋内のロボットの自動化されたナビゲーションのために、部屋のレイアウトを使用することができる。ロボットは、自律的屋内ロボット(例えば、ロボット吸引クリーナー、モップ、掃除機)、ウェアハウスロボット(例えば、自動保管、取出、および在庫管理動作のために使用される)、屋内飛行ドローン等を含むことができる。
付加的側面
付加的側面
第1の側面では、部屋のレイアウトを推定するためのシステムが、開示される。本システムは、部屋のレイアウトの推定のための部屋画像と、部屋のレイアウトを推定するためのニューラルネットワークであって、エンコーダ-デコーダサブネットワークと、エンコーダ-デコーダサブネットワークに接続される、分類子サブネットワークとを備える、ニューラルネットワークとを記憶するように構成される、非一過性メモリと、非一過性メモリと通信するハードウェアプロセッサであって、部屋画像にアクセスし、エンコーダ-デコーダサブネットワークおよび部屋画像を使用して、複数の部屋タイプに対応する複数の予測される2次元(2D)特徴点マップを決定し、エンコーダ-デコーダサブネットワーク、分類子サブネットワーク、および部屋画像を使用して、予測される部屋タイプを複数の部屋タイプから決定し、複数の予測される2D特徴点マップおよび予測される部屋タイプを使用して、予測される部屋タイプと関連付けられた複数の順序付けられた特徴点を決定し、複数の順序付けられた特徴点を使用して、部屋画像内の部屋の予測されるレイアウトを決定するようにプログラムされる、ハードウェアプロセッサとを備える。
第2の側面では、複数の部屋タイプ内の各部屋タイプは、部屋タイプ特徴点の順序付けられたセットを含む、側面1に記載のシステム。
第3の側面では、複数の部屋タイプ内の各部屋タイプは、部屋タイプ内の領域に関する意味論セグメント化を含み、意味論セグメント化は、床、天井、または壁としての識別を含む、側面2に記載のシステム。
第4の側面では、第1の特徴点順序は、複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、第1の特徴点順序および第2の特徴点順序は、異なる、側面2または側面3に記載のシステム。
第5の側面では、部屋画像は、単眼画像を含む、側面1-4のいずれか1項に記載のシステム。
第6の側面では、部屋画像は、赤色-緑色-青色(RGB)画像を含む、側面1-5のいずれか1項に記載のシステム。
第7の側面では、部屋画像の次元は、予測される2D特徴点マップの次元より大きい、側面1-6のいずれか1項に記載のシステム。
第8の側面では、エンコーダ-デコーダサブネットワークは、複数の畳み込み層および複数のプーリング層を含む、エンコーダサブネットワークを備える、側面1-7のいずれか1項に記載のシステム。
第9の側面では、エンコーダ-デコーダサブネットワークは、複数の畳み込み層および複数のアップサンプリング層を含む、デコーダサブネットワークを備える、側面1-8のいずれか1項に記載のシステム。
第10の側面では、エンコーダ-デコーダサブネットワークは、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワークを備える、側面1-9のいずれか1項に記載のシステム。
第11の側面では、エンコーダ-デコーダサブネットワークは、複数の再帰層を備える、側面1-10のいずれか1項に記載のシステム。
第12の側面では、複数の再帰層の再帰反復数は、2である、側面11に記載のシステム。
第13の側面では、複数の再帰層の再帰反復数は、少なくとも3である、側面11に記載のシステム。
第14の側面では、複数の再帰層はそれぞれ、加重行列を有し、加重行列は、複数の再帰層の全てに関して同一である、側面11-13のいずれか1項に記載のシステム。
第15の側面では、予測される2次元(2D)特徴点マップは、ヒートマップを含む、側面1-14のいずれか1項に記載のシステム。
第16の側面では、ハードウェアプロセッサは、ヒートマップからの特徴点場所をヒートマップの最大値として抽出するようにプログラムされる、側面15に記載のシステム。
第17の側面では、ハードウェアプロセッサは、部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスし、オブジェクト情報と部屋の予測されるレイアウトを組み合わせるようにプログラムされる、側面1-16のいずれか1項に記載のシステム。
第18の側面では、オブジェクト認識装置は、部屋画像内の直方体を検出するように構成される、側面17に記載のシステム。
第19の側面では、ウェアラブルディスプレイデバイスが、開示される。ウェアラブルディスプレイデバイスは、部屋のレイアウトの推定のための部屋画像を捕捉するように構成される、外向きに面した結像システムと、側面1-18のいずれか1項に記載のシステムとを備える。
第20の側面では、部屋のレイアウトを推定するためのニューラルネットワークを訓練するのためのシステムが、開示される。本システムは、ニューラルネットワークのためのパラメータを記憶するように構成される、非一過性メモリと、非一過性メモリと通信する、ハードウェアプロセッサであって、訓練用部屋画像を受信し、訓練用部屋画像は、複数の部屋タイプからの基準部屋タイプと、部屋の基準レイアウトと関連付けられた基準特徴点と関連付けられ、部屋のレイアウト推定のためのニューラルネットワークを生成し、ニューラルネットワークは、複数の部屋タイプのそれぞれと関連付けられた予測される部屋のレイアウトと関連付けられた予測される2次元(2D)特徴点を出力するように構成される、エンコーダ-デコーダサブネットワークと、予測される部屋タイプを複数の部屋タイプから出力するように構成される、エンコーダ-デコーダネットワークに接続される、サイドサブネットワークとを備え、予測される2D特徴点に関する第1の損失および予測される部屋タイプに関する第2の損失に基づいて、損失関数を最適化し、最適化された損失関数に基づいて、ニューラルネットワークのパラメータを更新するようにプログラムされる、ハードウェアプロセッサとを備える。
第21の側面では、複数の部屋タイプの数は、5を上回る、側面20に記載のシステム。
第22の側面では、基準特徴点および予測される2D特徴点は、特徴点順序と関連付けられる、側面20または側面21に記載のシステム。
第23の側面では、第1の特徴点順序は、複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、第1の特徴点順序および第2の特徴点順序は、異なる、側面20-22のいずれか1項に記載のシステム。
第24の側面では、訓練用部屋画像は、単眼画像を含む、側面20-23のいずれか1項に記載のシステム。
第25の側面では、訓練用部屋画像は、赤色-緑色-青色(RGB)画像を含む、側面20-24のいずれか1項に記載のシステム。
第26の側面では、訓練用部屋画像の次元は、予測される2D特徴点と関連付けられたマップの次元より大きい、側面20-25のいずれか1項に記載のシステム。
第27の側面では、エンコーダサブネットワークおよびデコーダサブネットワークは、複数の再帰層を備える、側面20-26のいずれか1項に記載のシステム。
第28の側面では、再帰層の再帰反復数は、2または3である、側面27に記載のシステム。
第29の側面では、深層監視が、再帰層に適用される、側面27または側面28に記載のシステム。
第30の側面では、再帰層の反復の第1の再帰反復と関連付けられた加重は、再帰層の反復の第2の再帰反復と関連付けられた加重と同じである、側面27-29のいずれか1項に記載のシステム。
第31の側面では、複数の再帰層は、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワークとして構成される、側面27-30のいずれか1項に記載のシステム。
第32の側面では、サイドサブネットワークは、部屋タイプ分類子を含む、側面20-31のいずれか1項に記載のシステム。
第33の側面では、予測される2D特徴点に関する第1の損失は、複数の基準特徴点場所と予測される2D特徴点との間のユークリッド損失を含む、側面20-32のいずれか1項に記載のシステム。
第34の側面では、予測される部屋タイプに関する第2の損失は、クロスエントロピ損失を含む、側面20-33のいずれか1項に記載のシステム。
第35の側面では、予測される2D特徴点は、予測されるヒートマップから抽出される、側面20-34のいずれか1項に記載のシステム。
第36の側面では、ハードウェアプロセッサは、訓練画像の基準特徴点と関連付けられた基準ヒートマップを計算し、予測されるヒートマップと基準ヒートマップとの間の差異に基づいて、予測される2D特徴点に関する第1の損失を計算するようにプログラムされる、側面35に記載のシステム。
第37の側面では、基準ヒートマップは、基準特徴点毎の場所を中心とする2次元分布を含む、側面36に記載のシステム。
第38の側面では、基準ヒートマップは、基準特徴点から離れた背景と、基準特徴点と関連付けられた前景とを含み、ハードウェアプロセッサは、前景と背景との間の比率に基づいて、基準ヒートマップ内の勾配に加重するようにプログラムされる、側面36または側面37に記載のシステム。
第39の側面では、基準ヒートマップ内の勾配に加重するために、ハードウェアプロセッサは、1未満の減少係数によって、背景内のピクセルの値を減少させるようにプログラムされる、側面38に記載のシステム。
第40の側面では、ウェアラブルディスプレイシステムが、開示される。本システムは、ウェアラブルディスプレイシステムの装着者の環境の部屋画像を取得するように構成される、外向きに面した結像システムと、部屋画像を記憶するように構成される、非一過性メモリと、非一過性メモリと通信する、ハードウェアプロセッサであって、環境の部屋画像にアクセスし、部屋画像を分析し、部屋画像内の予測される部屋のレイアウトを決定し、部屋画像内を分析するために、プロセッサは、ニューラルネットワークを使用して、部屋画像内の部屋に関する部屋タイプと関連付けられた2次元(2D)特徴点の順序付けられたセットを決定するようにプログラムされ、少なくとも部分的に、2D特徴点および部屋タイプに基づいて、部屋のレイアウトを提供するようにプログラムされる、プロセッサとを備える。
第41の側面では、ニューラルネットワークは、畳み込みエンコーダ-デコーダネットワークを備える、側面40に記載のウェアラブルディスプレイシステム。
第42の側面では、畳み込みエンコーダ-デコーダネットワークは、メモリ増強再帰エンコーダ-デコーダネットワークを備える、側面41に記載のウェアラブルディスプレイシステム。
第43の側面では、ニューラルネットワークは、部屋タイプを決定するように構成される、分類子を含む、側面40-42のいずれか1項に記載のウェアラブルディスプレイシステム。
第44の側面では、ハードウェアプロセッサはさらに、2D特徴点の順序付けられたセットをヒートマップから抽出するようにプログラムされる、側面40-43のいずれか1項に記載のウェアラブルディスプレイシステム。
第45の側面では、ハードウェアプロセッサはさらに、部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスし、オブジェクト情報と部屋のレイアウトを組み合わせるようにプログラムされる、側面40-44のいずれか1項に記載のウェアラブルディスプレイシステム。
第46の側面では、部屋のレイアウトを推定するための方法が、開示される。本方法は、部屋のレイアウトの推定のための部屋画像にアクセスするステップと、部屋のレイアウトを推定するためのニューラルネットワークのエンコーダ-デコーダサブネットワークおよび部屋画像を使用して、複数の部屋タイプに対応する複数の予測される2次元(2D)特徴点マップを決定するステップと、エンコーダ-デコーダサブネットワーク、エンコーダ-デコーダサブネットワークに接続される、ニューラルネットワークの分類子サブネットワーク、および部屋画像を使用して、予測される部屋タイプを複数の部屋タイプから決定するステップと、複数の予測される2D特徴点マップおよび予測される部屋タイプを使用して、予測される部屋タイプと関連付けられた複数の順序付けられた特徴点を決定するステップと、複数の順序付けられた特徴点を使用して、部屋画像内の部屋の予測されるレイアウトを決定するステップとを含む。
第47の側面では、複数の部屋タイプ内の各部屋タイプは、部屋タイプ特徴点の順序付けられたセットを含む、側面46に記載の方法。
第48の側面では、複数の部屋タイプ内の各部屋タイプは、部屋タイプ内の領域に関する意味論セグメント化を含み、意味論セグメント化は、床、天井、または壁としての識別を含む、側面47に記載の方法。
第49の側面では、第1の特徴点順序は、複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、第1の特徴点順序および第2の特徴点順序は、異なる、側面47または側面48に記載の方法。
第50の側面では、部屋画像は、単眼画像を含む、側面46-49のいずれか1項に記載の方法。
第51の側面では、部屋画像は、赤色-緑色-青色(RGB)画像を含む、側面46-50のいずれか1項に記載の方法。
第52の側面では、部屋画像の次元は、予測される2D特徴点マップの次元より大きい、側面46-51のいずれか1項に記載の方法。
第53の側面では、エンコーダ-デコーダサブネットワークは、複数の畳み込み層および複数のプーリング層を含む、エンコーダサブネットワークを備える、側面46-52のいずれか1項に記載の方法。
第54の側面では、エンコーダ-デコーダサブネットワークは、複数の畳み込み層および複数のアップサンプリング層を含む、デコーダサブネットワークを備える、側面46-53のいずれか1項に記載の方法。
第55の側面では、エンコーダ-デコーダサブネットワークは、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワークを備える、側面46-54のいずれか1項に記載の方法。
第56の側面では、エンコーダ-デコーダサブネットワークは、複数の再帰層を備える、側面46-55のいずれか1項に記載の方法。
第57の側面では、複数の再帰層の再帰反復数は、2である、側面56に記載の方法。
第58の側面では、複数の再帰層の再帰反復数は、少なくとも3である、側面56に記載の方法。
第59の側面では、複数の再帰層はそれぞれ、加重行列を有し、加重行列は、複数の再帰層の全てに関して同一である、側面56-58のいずれか1項に記載の方法。
第60の側面では、予測される2次元(2D)特徴点マップは、ヒートマップを含む、側面46-59のいずれか1項に記載の方法。
第61の側面では、ヒートマップから特徴点場所をヒートマップの最大値として抽出するステップをさらに含む、側面60に記載の方法。
第62の側面では、部屋画像を分析し、オブジェクト情報と部屋の予測されるレイアウトを組み合わせる、オブジェクト認識装置から、オブジェクト情報にアクセスするステップをさらに含む、側面46-61のいずれか1項に記載の方法。
第63の側面では、オブジェクト認識装置を使用して、部屋画像内の直方体を検出するステップをさらに含む、側面62に記載の方法。
第64の側面では、部屋のレイアウトを推定するためのニューラルネットワークを訓練するための方法が、開示される。本方法は、訓練用部屋画像を受信するステップであって、訓練用部屋画像は、複数の部屋タイプからの基準部屋タイプと、部屋の基準レイアウトと関連付けられた基準特徴点と関連付けられる、ステップと、部屋のレイアウト推定のためのニューラルネットワークを生成するステップであって、ニューラルネットワークは、複数の部屋タイプのそれぞれと関連付けられた予測される部屋のレイアウトと関連付けられた予測される2次元(2D)特徴点を出力するように構成される、エンコーダ-デコーダサブネットワークと、予測される部屋タイプを複数の部屋タイプから出力するように構成される、エンコーダ-デコーダネットワークに接続される、サイドサブネットワークとを備える、ステップと、予測される2D特徴点に関する第1の損失および予測される部屋タイプに関する第2の損失に基づいて、損失関数を最適化するステップと、最適化された損失関数に基づいて、ニューラルネットワークのパラメータを更新するステップとを含む。
第65の側面では、複数の部屋タイプの数は、5を上回る、側面64に記載の方法。
第66の側面では、基準特徴点および予測される2D特徴点は、特徴点順序と関連付けられる、側面64または側面65に記載の方法。
第67の側面では、第1の特徴点順序は、複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、第1の特徴点順序および第2の特徴点順序は、異なる、側面64-66のいずれか1項に記載の方法。
第68の側面では、訓練用部屋画像は、単眼画像を含む、側面64-67のいずれか1項に記載の方法。
第69の側面では、訓練用部屋画像は、赤色-緑色-青色(RGB)画像を含む、側面64-68のいずれか1項に記載の方法。
第70の側面では、訓練用部屋画像の次元は、予測される2D特徴点と関連付けられたマップの次元より大きい、側面64-69のいずれか1項に記載の方法。
第71の側面では、エンコーダサブネットワークおよびデコーダサブネットワークは、複数の再帰層を備える、側面64-70のいずれか1項に記載の方法。
第72の側面では、再帰層の再帰反復数は、2または3である、側面71に記載の方法。
第73の側面では、深層監視が、再帰層に適用される、側面71または側面72に記載の方法。
第74の側面では、再帰層の反復の第1の再帰反復と関連付けられた加重は、再帰層の反復の第2の再帰反復と関連付けられた加重と同じである、側面71-73のいずれか1項に記載の方法。
第75の側面では、複数の再帰層は、メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワークとして構成される、側面71-74のいずれか1項に記載の方法。
第76の側面では、サイドサブネットワークは、部屋タイプ分類子を含む、側面64-75のいずれか1項に記載の方法。
第77の側面では、予測される2D特徴点に関する第1の損失は、複数の基準特徴点場所と予測される2D特徴点との間のユークリッド損失を含む、側面64-76のいずれか1項に記載の方法。
第78の側面では、予測される部屋タイプに関する第2の損失は、クロスエントロピ損失を含む、側面64-77のいずれか1項に記載の方法。
第79の側面では、予測される2D特徴点は、予測されるヒートマップから抽出される、側面64-78のいずれか1項に記載の方法。
第80の側面では、訓練画像の基準特徴点と関連付けられた基準ヒートマップを計算し、予測されるヒートマップと基準ヒートマップとの間の差異に基づいて、予測される2D特徴点に関する第1の損失を計算するステップをさらに含む、側面79に記載の方法。
第81の側面では、基準ヒートマップは、基準特徴点毎の場所を中心とする2次元分布を含む、側面80に記載の方法。
第82の側面では、基準ヒートマップは、基準特徴点から離れた背景と、基準特徴点と関連付けられた前景とを含み、ハードウェアプロセッサは、前景と背景との間の比率に基づいて、基準ヒートマップ内の勾配に加重するようにプログラムされる、側面80または側面81に記載の方法。
第83の側面では、基準ヒートマップ内の勾配に加重するステップは、背景内のピクセルの値を1未満の減少係数によって減少させるステップを含む、側面82に記載の方法。
第84の側面では、方法が、開示される。本方法は、環境の部屋画像にアクセスするステップと、ニューラルネットワークを使用して、部屋画像内の部屋に関する部屋タイプと関連付けられた2次元(2D)特徴点の順序付けられたセットを決定するステップを含む、部屋画像を分析し、部屋画像内の予測される部屋のレイアウトを決定するステップと、少なくとも部分的に、2D特徴点および部屋タイプに基づいて、部屋のレイアウトを提供するステップとを含む。
第85の側面では、ニューラルネットワークは、畳み込みエンコーダ-デコーダネットワークを備える、側面84に記載の方法。
第86の側面では、畳み込みエンコーダ-デコーダネットワークは、メモリ増強再帰エンコーダ-デコーダネットワークを備える、側面85に記載の方法。
第87の側面では、ニューラルネットワークは、部屋タイプを決定するように構成される、分類子を含む、側面84-86のいずれか1項に記載の方法。
第88の側面では、2D特徴点の順序付けられたセットをヒートマップから抽出するステップをさらに含む、側面84-87のいずれか1項に記載の方法。
第89の側面では、部屋画像を分析し、オブジェクト情報を決定するステップと、オブジェクト情報と部屋のレイアウトを組み合わせるステップとをさらに含む、側面84-88のいずれか1項に記載の方法。
(付加的考慮点)
(付加的考慮点)
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスク(例えば、RoomNet技法の性能)または用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合され得る、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。本明細書で開示される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つまたはそれを上回る実施形態に対していかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「~のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、およびA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序または連続的順序で実施されること、または全ての図示される動作が実施されることの必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
Claims (31)
- 部屋のレイアウトを推定するための方法であって、前記方法は、
部屋のレイアウトの推定のための部屋画像にアクセスすることと、
部屋のレイアウトを推定するためのニューラルネットワークのエンコーダ-デコーダサブネットワークおよび前記部屋画像を使用して、複数の部屋タイプに対応する複数の予測される2次元(2D)特徴点マップを決定することと、
前記エンコーダ-デコーダサブネットワーク、前記エンコーダ-デコーダサブネットワークに接続される前記ニューラルネットワークの分類子サブネットワーク、および前記部屋画像を使用して、予測される部屋タイプを前記複数の部屋タイプから決定することと、
前記複数の予測される2D特徴点マップおよび前記予測される部屋タイプを使用して、前記予測される部屋タイプと関連付けられた複数の順序付けられた特徴点を決定することと、
前記複数の順序付けられた特徴点を使用して、前記部屋画像内の前記部屋の予測されるレイアウトを決定することと
を含む、方法。 - 前記複数の部屋タイプ内の各部屋タイプは、部屋タイプ特徴点の順序付けられたセットを含む、請求項1に記載の方法。
- 前記複数の部屋タイプ内の各部屋タイプは、前記部屋タイプ内の領域に関する意味論セグメント化を含み、前記意味論セグメント化は、床、天井、または壁としての識別を含む、請求項2に記載の方法。
- 第1の特徴点順序は、前記複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、前記複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、前記第1の特徴点順序および前記第2の特徴点順序は、異なる、請求項2または請求項3に記載の方法。
- 前記部屋画像の次元は、前記予測される2D特徴点マップの次元より大きい、請求項1~4のいずれか1項に記載の方法。
- 前記エンコーダ-デコーダサブネットワークは、
複数の畳み込み層および複数のプーリング層を含むエンコーダサブネットワーク、
複数の畳み込み層および複数のアップサンプリング層を含むデコーダサブネットワーク、
メモリ増強再帰エンコーダ-デコーダ(MRED)ネットワーク、または、
複数の再帰層
を備える、請求項1~5のいずれか1項に記載の方法。 - 前記複数の再帰層の再帰反復数は、2または少なくとも3である、請求項6に記載の方法。
- 前記複数の再帰層はそれぞれ、加重行列を有し、前記加重行列は、前記複数の再帰層の全てに関して同一である、請求項7に記載の方法。
- 前記予測される2次元(2D)特徴点マップは、ヒートマップを含む、請求項1~8のいずれか1項に記載の方法。
- 前記ヒートマップから特徴点場所を前記ヒートマップの最大値として抽出することをさらに含む、請求項9に記載の方法。
- 前記部屋画像を分析するオブジェクト認識装置からオブジェクト情報にアクセスすることと、前記オブジェクト情報と前記部屋の前記予測されるレイアウトを組み合わせることとをさらに含む、請求項1~10のいずれか1項に記載の方法。
- 前記オブジェクト認識装置を使用して、前記部屋画像内の直方体を検出することをさらに含む、請求項11に記載の方法。
- 部屋のレイアウトを推定するためのニューラルネットワークを訓練するための方法であって、前記方法は、
訓練用部屋画像を受信することであって、前記訓練用部屋画像は、
複数の部屋タイプからの基準部屋タイプ、および、
基準部屋レイアウトと関連付けられた基準特徴点
と関連付けられる、ことと、
部屋のレイアウトの推定のためのニューラルネットワークを生成することであって、前記ニューラルネットワークは、
前記複数の部屋タイプのそれぞれと関連付けられた予測される部屋のレイアウトと関連付けられた予測される2次元(2D)特徴点を出力するように構成されるエンコーダ-デコーダサブネットワークと、
予測される部屋タイプを前記複数の部屋タイプから出力するように構成される前記エンコーダ-デコーダサブネットワークに接続されるサイドサブネットワークと
を備える、ことと、
前記予測される2D特徴点に関する第1の損失および前記予測される部屋タイプに関する第2の損失に基づいて、損失関数を最適化することと、
前記最適化された損失関数に基づいて、前記ニューラルネットワークのパラメータを更新することと
を含む、方法。 - 前記基準特徴点および前記予測される2D特徴点は、特徴点順序と関連付けられる、請求項13に記載の方法。
- 第1の特徴点順序は、前記複数の部屋タイプのうちの第1の部屋タイプと関連付けられ、第2の特徴点順序は、前記複数の部屋タイプのうちの第2の部屋タイプと関連付けられ、前記第1の特徴点順序および前記第2の特徴点順序は、異なる、請求項13~14のいずれか1項に記載の方法。
- 前記訓練用部屋画像の次元は、前記予測される2D特徴点と関連付けられたマップの次元より大きい、請求項13~15のいずれか1項に記載の方法。
- 前記エンコーダサブネットワークおよび前記デコーダサブネットワークは、複数の再帰層を備える、請求項13~16のいずれか1項に記載の方法。
- 前記サイドサブネットワークは、部屋タイプ分類子を含む、請求項13~17のいずれか1項に記載の方法。
- 前記予測される2D特徴点に関する前記第1の損失は、前記複数の基準特徴点場所と前記予測される2D特徴点との間のユークリッド損失を含む、請求項13~18のいずれか1項に記載の方法。
- 前記予測される部屋タイプに関する前記第2の損失は、クロスエントロピ損失を含む、請求項13~19のいずれか1項に記載の方法。
- 前記予測される2D特徴点は、予測されるヒートマップから抽出される、請求項13~20のいずれか1項に記載の方法。
- 前記訓練用画像の前記基準特徴点と関連付けられた基準ヒートマップを計算することと、前記予測されるヒートマップと前記基準ヒートマップとの間の差異に基づいて、前記予測される2D特徴点に関する前記第1の損失を計算することとをさらに含む、請求項21に記載の方法。
- 前記基準ヒートマップは、基準特徴点毎の場所を中心とする2次元分布を含む、請求項22に記載の方法。
- 前記基準ヒートマップは、前記基準特徴点から離れた背景と、前記基準特徴点と関連付けられた前景とを含み、前記ハードウェアプロセッサは、前記前景と前記背景との間の比率に基づいて、前記基準ヒートマップ内の勾配に加重するようにプログラムされる、請求項22または請求項23に記載の方法。
- 前記基準ヒートマップ内の前記勾配に加重することは、前記背景内のピクセルの値を1未満の減少係数によって減少させることを含む、請求項24に記載の方法。
- 環境の部屋画像にアクセスすることと、
ニューラルネットワークを使用して、前記部屋画像内の部屋に関する部屋タイプと関連付けられた2次元(2D)特徴点の順序付けられたセットを決定することを含む、前記部屋画像を分析し、前記部屋画像内の前記部屋の予測されるレイアウトを決定することと、
少なくとも部分的に、前記2D特徴点および前記部屋タイプに基づいて、前記部屋のレイアウトを提供することと
を含む、方法。 - 前記ニューラルネットワークは、畳み込みエンコーダ-デコーダネットワークを備える、請求項26に記載の方法。
- 前記畳み込みエンコーダ-デコーダネットワークは、メモリ増強再帰エンコーダ-デコーダネットワークを備える、請求項27に記載の方法。
- 前記ニューラルネットワークは、前記部屋タイプを決定するように構成される分類子を含む、請求項26~28のいずれか1項に記載の方法。
- 2D特徴点の前記順序付けられたセットをヒートマップから抽出することをさらに含む、請求項26~29のいずれか1項に記載の方法。
- 前記部屋画像を分析し、オブジェクト情報を決定することと、前記オブジェクト情報と前記部屋のレイアウトを組み合わせることとをさらに含む、請求項26~30のいずれか1項に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762473257P | 2017-03-17 | 2017-03-17 | |
US62/473,257 | 2017-03-17 | ||
JP2019547140A JP6929953B2 (ja) | 2017-03-17 | 2018-03-16 | 部屋レイアウト推定方法および技法 |
JP2021131087A JP7135180B2 (ja) | 2017-03-17 | 2021-08-11 | 部屋レイアウト推定方法および技法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021131087A Division JP7135180B2 (ja) | 2017-03-17 | 2021-08-11 | 部屋レイアウト推定方法および技法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022171705A true JP2022171705A (ja) | 2022-11-11 |
JP7305859B2 JP7305859B2 (ja) | 2023-07-10 |
Family
ID=63519469
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019547140A Active JP6929953B2 (ja) | 2017-03-17 | 2018-03-16 | 部屋レイアウト推定方法および技法 |
JP2021131087A Active JP7135180B2 (ja) | 2017-03-17 | 2021-08-11 | 部屋レイアウト推定方法および技法 |
JP2022137791A Active JP7305859B2 (ja) | 2017-03-17 | 2022-08-31 | 部屋レイアウト推定方法および技法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019547140A Active JP6929953B2 (ja) | 2017-03-17 | 2018-03-16 | 部屋レイアウト推定方法および技法 |
JP2021131087A Active JP7135180B2 (ja) | 2017-03-17 | 2021-08-11 | 部屋レイアウト推定方法および技法 |
Country Status (9)
Country | Link |
---|---|
US (3) | US10657376B2 (ja) |
EP (1) | EP3596659A4 (ja) |
JP (3) | JP6929953B2 (ja) |
KR (2) | KR20210113443A (ja) |
CN (2) | CN110419049B (ja) |
AU (3) | AU2018236433B2 (ja) |
CA (1) | CA3055597A1 (ja) |
IL (2) | IL268913B (ja) |
WO (1) | WO2018170421A1 (ja) |
Families Citing this family (103)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US10242474B2 (en) | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
WO2018093796A1 (en) * | 2016-11-15 | 2018-05-24 | Magic Leap, Inc. | Deep learning system for cuboid detection |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
CN110419049B (zh) | 2017-03-17 | 2024-01-23 | 奇跃公司 | 房间布局估计方法和技术 |
US10838396B2 (en) * | 2017-04-18 | 2020-11-17 | Cisco Technology, Inc. | Connecting robotic moving smart building furnishings |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
US10299982B2 (en) * | 2017-07-21 | 2019-05-28 | David M Frankel | Systems and methods for blind and visually impaired person environment navigation assistance |
IL272289B (en) | 2017-09-20 | 2022-08-01 | Magic Leap Inc | A personal neural network for eye tracking |
JP7181928B2 (ja) | 2017-10-26 | 2022-12-01 | マジック リープ, インコーポレイテッド | 深層マルチタスクネットワークにおける適応的損失平衡のための勾配正規化システムおよび方法 |
US10395147B2 (en) | 2017-10-30 | 2019-08-27 | Rakuten, Inc. | Method and apparatus for improved segmentation and recognition of images |
US10410350B2 (en) * | 2017-10-30 | 2019-09-10 | Rakuten, Inc. | Skip architecture neural network machine and method for improved semantic segmentation |
US11775824B1 (en) | 2017-12-04 | 2023-10-03 | Express Scripts Strategic Development, Inc. | Labeling apparatus |
US10838375B2 (en) * | 2017-12-12 | 2020-11-17 | Distech Controls Inc. | Inference server and environment controller for inferring via a neural network one or more commands for controlling an appliance |
US10908561B2 (en) | 2017-12-12 | 2021-02-02 | Distech Controls Inc. | Environment controller and method for inferring one or more commands for controlling an appliance taking into account room characteristics |
US10895853B2 (en) | 2017-12-12 | 2021-01-19 | Distech Controls Inc. | Inference server and environment controller for inferring one or more commands for controlling an appliance taking into account room characteristics |
US10845768B2 (en) | 2017-12-12 | 2020-11-24 | Distech Controls Inc. | Environment controller and method for inferring via a neural network one or more commands for controlling an appliance |
US10726597B1 (en) | 2018-02-22 | 2020-07-28 | A9.Com, Inc. | Optically challenging surface detection for augmented reality |
US10592747B2 (en) * | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
US20230045798A1 (en) * | 2018-04-30 | 2023-02-16 | Seoul National University R&Db Foundation | Method for predicting structure of indoor space using radio propagation channel analysis through deep learning |
GB2574795B (en) * | 2018-05-04 | 2022-10-05 | Signaturize Holdings Ltd | Generating virtual representations |
CN112740631A (zh) * | 2018-07-20 | 2021-04-30 | 诺基亚技术有限公司 | 通过接收算法中的参数的更新来在通信系统中学习 |
CN112513944A (zh) | 2018-07-23 | 2021-03-16 | 奇跃公司 | 用于头部姿势预测的深度预测器循环神经网络 |
US11055531B1 (en) * | 2018-08-24 | 2021-07-06 | United Services Automobiie Association (USAA) | Augmented reality method for repairing damage or replacing physical objects |
US11164067B2 (en) * | 2018-08-29 | 2021-11-02 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging |
US10832437B2 (en) * | 2018-09-05 | 2020-11-10 | Rakuten, Inc. | Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence |
US11029694B2 (en) * | 2018-09-27 | 2021-06-08 | Salesforce.Com, Inc. | Self-aware visual-textual co-grounded navigation agent |
US11188787B1 (en) | 2018-09-28 | 2021-11-30 | Apple Inc. | End-to-end room layout estimation |
KR20200043005A (ko) * | 2018-10-17 | 2020-04-27 | 삼성전자주식회사 | 이미지 인식 모델을 트레이닝시키는 장치 및 방법과 이미지 인식 장치 및 방법 |
EP3654247A1 (en) * | 2018-11-15 | 2020-05-20 | IMEC vzw | Convolution engine for neural networks |
US11087165B2 (en) * | 2018-11-29 | 2021-08-10 | Nec Corporation | Method and system for contextualizing automatic image segmentation and regression |
CN111353349B (zh) * | 2018-12-24 | 2023-10-17 | 杭州海康威视数字技术股份有限公司 | 人体关键点检测方法、装置、电子设备及存储介质 |
US10839606B2 (en) * | 2018-12-28 | 2020-11-17 | National Tsing Hua University | Indoor scene structural estimation system and estimation method thereof based on deep learning network |
US10776651B2 (en) * | 2019-01-18 | 2020-09-15 | Intelligrated Headquarters, Llc | Material handling method, apparatus, and system for identification of a region-of-interest |
US20200242771A1 (en) * | 2019-01-25 | 2020-07-30 | Nvidia Corporation | Semantic image synthesis for generating substantially photorealistic images using neural networks |
US10628688B1 (en) * | 2019-01-30 | 2020-04-21 | Stadvision, Inc. | Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system |
CN109902601B (zh) * | 2019-02-14 | 2023-04-07 | 武汉大学 | 一种结合卷积网络和递归网络的视频目标检测方法 |
CN109886176B (zh) * | 2019-02-14 | 2023-02-24 | 武汉大学 | 复杂驾驶场景下的车道线检测方法 |
CN111581414B (zh) * | 2019-02-18 | 2024-01-16 | 北京京东尚科信息技术有限公司 | 服饰识别、分类及检索的方法、装置、设备及存储介质 |
US11210547B2 (en) * | 2019-03-20 | 2021-12-28 | NavInfo Europe B.V. | Real-time scene understanding system |
US10984560B1 (en) * | 2019-03-29 | 2021-04-20 | Amazon Technologies, Inc. | Computer vision using learnt lossy image compression representations |
US11461640B2 (en) | 2019-04-18 | 2022-10-04 | International Business Machines Corporation | Mitigation of conductance drift in neural network resistive processing units |
CN113785302A (zh) | 2019-04-26 | 2021-12-10 | 辉达公司 | 自主机器应用中的路口姿态检测 |
US11067786B2 (en) * | 2019-06-07 | 2021-07-20 | Leica Microsystems Inc. | Artifact regulation methods in deep model training for image transformation |
AU2020306013A1 (en) * | 2019-06-24 | 2022-02-10 | Insurance Services Office, Inc. | Machine learning systems and methods for improved localization of image forgery |
CN110378253B (zh) * | 2019-07-01 | 2021-03-26 | 浙江大学 | 一种基于轻量化神经网络的实时关键点检测方法 |
US11473915B2 (en) * | 2019-07-04 | 2022-10-18 | Mapsted Corp. | Magnetic fingerprint neural network training for mobile device indoor navigation |
WO2021020305A1 (ja) * | 2019-07-29 | 2021-02-04 | 京セラ株式会社 | 画像処理システム、機械学習器、画像処理器及び撮像装置 |
JP7309506B2 (ja) * | 2019-07-29 | 2023-07-18 | 京セラ株式会社 | 画像処理システム、機械学習器、撮像装置及び学習方法 |
US11321566B2 (en) * | 2019-08-22 | 2022-05-03 | Jpmorgan Chase Bank, N.A. | Systems and methods for self-learning a floorplan layout using a camera system |
US10860954B1 (en) | 2019-08-27 | 2020-12-08 | Capital One Services, Llc | Roomfinder platform |
US11243656B2 (en) * | 2019-08-28 | 2022-02-08 | Zillow, Inc. | Automated tools for generating mapping information for buildings |
US11127139B2 (en) * | 2019-09-18 | 2021-09-21 | Adobe Inc. | Enhanced semantic segmentation of images |
US11531892B2 (en) * | 2019-09-24 | 2022-12-20 | Toyota Research Institute, Inc. | Systems and methods for detecting and matching keypoints between different views of a scene |
US11885141B2 (en) * | 2019-10-10 | 2024-01-30 | National University Of Singapore | Sensory flooring system and a sensory floor comprising a sensory flooring system |
US11144790B2 (en) * | 2019-10-11 | 2021-10-12 | Baidu Usa Llc | Deep learning model embodiments and training embodiments for faster training |
JP7363384B2 (ja) * | 2019-11-05 | 2023-10-18 | 富士通株式会社 | 解析装置、解析プログラム及び解析方法 |
US11454978B2 (en) * | 2019-11-07 | 2022-09-27 | Naver Corporation | Systems and methods for improving generalization in visual navigation |
CN111062416B (zh) * | 2019-11-14 | 2021-09-21 | 支付宝(杭州)信息技术有限公司 | 用户聚类及特征学习方法、设备、计算机可读介质 |
CN111104879B (zh) * | 2019-12-09 | 2020-11-27 | 贝壳找房(北京)科技有限公司 | 房屋功能间的识别方法和装置、可读存储介质、电子设备 |
KR102447814B1 (ko) | 2020-12-21 | 2022-09-26 | 엘지전자 주식회사 | 공기조화기 및 그 제어 방법 |
KR20220089218A (ko) | 2020-12-21 | 2022-06-28 | 엘지전자 주식회사 | 공기조화기 및 그 제어 방법 |
CN114846275A (zh) * | 2019-12-23 | 2022-08-02 | Lg电子株式会社 | 空调机以及其控制方法 |
CN110751721B (zh) * | 2019-12-24 | 2020-10-30 | 广东博智林机器人有限公司 | 家具布局图纸的生成方法和装置、计算机设备及存储介质 |
CN111179160A (zh) * | 2020-01-02 | 2020-05-19 | 广东博智林机器人有限公司 | 一种信息过滤方法、装置、电子设备及存储介质 |
CN111259850B (zh) * | 2020-01-23 | 2022-12-16 | 同济大学 | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 |
US11796333B1 (en) | 2020-02-11 | 2023-10-24 | Keysight Technologies, Inc. | Methods, systems and computer readable media for augmented reality navigation in network test environments |
CN111340938B (zh) * | 2020-02-21 | 2020-12-11 | 贝壳找房(北京)科技有限公司 | 用于获得房屋布局信息的方法、网络模型训练方法及装置 |
US11450008B1 (en) * | 2020-02-27 | 2022-09-20 | Amazon Technologies, Inc. | Segmentation using attention-weighted loss and discriminative feature learning |
WO2021174060A1 (en) * | 2020-02-27 | 2021-09-02 | Scale Builders Co | Apparatus and method of converting digital images to three-dimensional construction images |
KR102119687B1 (ko) * | 2020-03-02 | 2020-06-05 | 엔에이치네트웍스 주식회사 | 영상 이미지 학습장치 및 방법 |
KR102167808B1 (ko) * | 2020-03-31 | 2020-10-20 | 한밭대학교 산학협력단 | Ar에 적용 가능한 의미적인 분할 방법 및 시스템 |
CN111507354B (zh) * | 2020-04-17 | 2023-12-12 | 北京百度网讯科技有限公司 | 信息抽取方法、装置、设备以及存储介质 |
WO2021210413A1 (ja) * | 2020-04-17 | 2021-10-21 | 株式会社Roxy | 判別対象の分類方法、これに用いるプログラム、および、判別装置 |
WO2021210414A1 (ja) * | 2020-04-17 | 2021-10-21 | 株式会社Roxy | 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置 |
CN111523169B (zh) * | 2020-04-24 | 2023-06-13 | 广东博智林机器人有限公司 | 一种装修方案生成方法、装置、电子设备及存储介质 |
CN111914612B (zh) * | 2020-05-21 | 2024-03-01 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
US11803829B2 (en) | 2020-09-30 | 2023-10-31 | Block, Inc. | Device-aware communication requests |
US11341473B2 (en) | 2020-09-30 | 2022-05-24 | Block, Inc. | Context-based communication requests |
CN117744196A (zh) * | 2020-10-13 | 2024-03-22 | 弗莱瑞尔公司 | 通过自动分析传感器数据生成物理结构和环境的测量结果 |
CN112434198B (zh) * | 2020-11-24 | 2024-05-24 | 深圳市明源云科技有限公司 | 图表组件推荐方法及装置 |
CN112464311A (zh) * | 2020-11-24 | 2021-03-09 | 中天众达智慧城市科技有限公司 | 一种智慧城市数据中心的设备布置方法 |
US11570050B2 (en) | 2020-11-30 | 2023-01-31 | Keysight Technologies, Inc. | Methods, systems and computer readable media for performing cabling tasks using augmented reality |
CN112836710B (zh) * | 2021-02-23 | 2022-02-22 | 浙大宁波理工学院 | 一种基于特征金字塔网络的房间布局估计获取方法与系统 |
CN112837336B (zh) * | 2021-02-23 | 2022-02-22 | 浙大宁波理工学院 | 一种基于关键点热图修正的房间布局估计获取方法与系统 |
US11836973B2 (en) | 2021-02-25 | 2023-12-05 | MFTB Holdco, Inc. | Automated direction of capturing in-room information for use in usability assessment of buildings |
US11790648B2 (en) | 2021-02-25 | 2023-10-17 | MFTB Holdco, Inc. | Automated usability assessment of buildings using visual data of captured in-room images |
EP4298610A1 (en) * | 2021-05-25 | 2024-01-03 | Samsung Electronics Co., Ltd. | A method and an electronic apparatus for acquiring a floor map of a room layout |
US11657611B2 (en) * | 2021-05-28 | 2023-05-23 | Verizon Patent And Licensing Inc. | Methods and systems for augmented reality room identification based on room-object profile data |
KR102325838B1 (ko) * | 2021-06-01 | 2021-11-15 | 한밭대학교 산학협력단 | Ar에 적용 가능한 마커리스 기반의 실내위치 측정시스템 및 그 방법 |
CN113362461B (zh) * | 2021-06-18 | 2024-04-02 | 盎锐(杭州)信息科技有限公司 | 基于语义分割的点云匹配方法、系统及扫描终端 |
US20220405500A1 (en) * | 2021-06-21 | 2022-12-22 | Google Llc | Computationally efficient and robust ear saddle point detection |
CN113536989A (zh) * | 2021-06-29 | 2021-10-22 | 广州博通信息技术有限公司 | 基于摄像视频逐帧分析的制冷机结霜监控方法及系统 |
CA3225826A1 (en) * | 2021-07-27 | 2023-02-02 | Caroline ROUGIER | Two-dimensional pose estimations |
US11417069B1 (en) * | 2021-10-05 | 2022-08-16 | Awe Company Limited | Object and camera localization system and localization method for mapping of the real world |
CN113642090B (zh) * | 2021-10-14 | 2022-04-01 | 深圳润世华软件和信息技术服务有限公司 | 建筑布局生成方法、装置、计算机设备和存储介质 |
KR20230063234A (ko) * | 2021-11-01 | 2023-05-09 | 삼성전자주식회사 | 카메라의 캘리브레이션을 위한 전자 장치 및 방법 |
USD1021943S1 (en) | 2021-12-15 | 2024-04-09 | Block, Inc. | Display screen or portion thereof with a graphical user interface |
CN114491772B (zh) * | 2022-03-23 | 2022-09-13 | 清华大学 | 一种户型布局生成方法及装置 |
US11776206B1 (en) | 2022-12-23 | 2023-10-03 | Awe Company Limited | Extended reality system and extended reality method with two-way digital interactive digital twins |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014220804A (ja) * | 2013-05-11 | 2014-11-20 | 三菱電機株式会社 | 単一の2次元画像からシーンを再構成する方法 |
Family Cites Families (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5291560A (en) | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5583795A (en) | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
AU2003209553A1 (en) | 2002-03-13 | 2003-09-22 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
KR20050025927A (ko) | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
US7248720B2 (en) | 2004-10-21 | 2007-07-24 | Retica Systems, Inc. | Method and system for generating a combined retina/iris pattern biometric |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
JP4824420B2 (ja) | 2006-02-07 | 2011-11-30 | アイテック株式会社 | 視線ベクトル検出方法及び同装置 |
US7970179B2 (en) | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
US8363783B2 (en) | 2007-06-04 | 2013-01-29 | Oraya Therapeutics, Inc. | Method and device for ocular alignment and coupling of ocular structures |
US8098891B2 (en) | 2007-11-29 | 2012-01-17 | Nec Laboratories America, Inc. | Efficient multi-hypothesis multi-human 3D tracking in crowded scenes |
JP5478618B2 (ja) | 2008-07-03 | 2014-04-23 | エヌイーシー ラボラトリーズ アメリカ インク | 上皮層検出器およびそれに関連する方法 |
US8768014B2 (en) | 2009-01-14 | 2014-07-01 | Indiana University Research And Technology Corp. | System and method for identifying a person with reference to a sclera image |
AU2011207402B2 (en) | 2010-01-22 | 2015-01-29 | Amo Development, Llc | Apparatus for automated placement of scanned laser capsulorhexis incisions |
US8345984B2 (en) | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
KR101997852B1 (ko) | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
RU2017118159A (ru) | 2011-05-06 | 2018-10-30 | Мэджик Лип, Инк. | Мир массового одновременного удаленного цифрового присутствия |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
KR102116697B1 (ko) | 2011-11-23 | 2020-05-29 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
NZ700887A (en) | 2012-04-05 | 2016-11-25 | Magic Leap Inc | Wide-field of view (fov) imaging devices with active foveation capability |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9141916B1 (en) | 2012-06-29 | 2015-09-22 | Google Inc. | Using embedding functions with a deep network |
WO2014021169A1 (ja) | 2012-07-31 | 2014-02-06 | 独立行政法人科学技術振興機構 | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 |
US8369595B1 (en) | 2012-08-10 | 2013-02-05 | EyeVerify LLC | Texture features for biometric authentication |
US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
KR102274413B1 (ko) | 2013-01-15 | 2021-07-07 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
KR102516124B1 (ko) | 2013-03-11 | 2023-03-29 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
US9147154B2 (en) | 2013-03-13 | 2015-09-29 | Google Inc. | Classifying resources using a deep network |
KR102318391B1 (ko) | 2013-03-15 | 2021-10-26 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
WO2014182769A1 (en) | 2013-05-07 | 2014-11-13 | The Johns Hopkins University | Automated and non-mydriatic fundus-perimetry camera for irreversible eye diseases |
US9275308B2 (en) | 2013-05-31 | 2016-03-01 | Google Inc. | Object detection using deep neural networks |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US20140380249A1 (en) | 2013-06-25 | 2014-12-25 | Apple Inc. | Visual recognition of gestures |
CN103431840B (zh) | 2013-07-31 | 2016-01-20 | 北京智谷睿拓技术服务有限公司 | 眼睛光学参数检测系统及方法 |
AU2014337171B2 (en) | 2013-10-16 | 2018-11-15 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
US9202144B2 (en) | 2013-10-30 | 2015-12-01 | Nec Laboratories America, Inc. | Regionlets with shift invariant neural patterns for object detection |
US10095917B2 (en) | 2013-11-04 | 2018-10-09 | Facebook, Inc. | Systems and methods for facial representation |
JP6236296B2 (ja) | 2013-11-14 | 2017-11-22 | 株式会社デンソーアイティーラボラトリ | 学習装置、学習プログラム、及び学習方法 |
CN107315249B (zh) | 2013-11-27 | 2021-08-17 | 奇跃公司 | 虚拟和增强现实系统与方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
US9430829B2 (en) | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
NZ722903A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
IL231862A (en) | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
WO2015164807A1 (en) | 2014-04-25 | 2015-10-29 | Texas State University | Detection of brain injury and subject state with eye movement biometrics |
CN107087431B (zh) | 2014-05-09 | 2021-02-05 | 谷歌有限责任公司 | 用于辨别眼睛信号和连续生物识别的系统和方法 |
AU2015266586B2 (en) | 2014-05-30 | 2020-07-23 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
US9536293B2 (en) | 2014-07-30 | 2017-01-03 | Adobe Systems Incorporated | Image assessment using deep convolutional neural networks |
US20160034811A1 (en) | 2014-07-31 | 2016-02-04 | Apple Inc. | Efficient generation of complementary acoustic models for performing automatic speech recognition system combination |
US9659384B2 (en) | 2014-10-03 | 2017-05-23 | EyeEm Mobile GmbH. | Systems, methods, and computer program products for searching and sorting images by aesthetic quality |
CN105917354A (zh) | 2014-10-09 | 2016-08-31 | 微软技术许可有限责任公司 | 用于图像处理的空间金字塔池化网络 |
CN105981051B (zh) | 2014-10-10 | 2019-02-19 | 北京旷视科技有限公司 | 用于图像解析的分层互连多尺度卷积网络 |
KR102276339B1 (ko) | 2014-12-09 | 2021-07-12 | 삼성전자주식회사 | Cnn의 근사화를 위한 학습 장치 및 방법 |
CN106471525A (zh) * | 2014-12-24 | 2017-03-01 | 谷歌公司 | 增强神经网络以生成附加输出 |
CN107438866B (zh) * | 2015-05-13 | 2020-12-01 | 谷歌公司 | 深度立体:学习从现实世界形象预测新视图 |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US10146997B2 (en) | 2015-08-21 | 2018-12-04 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
US9767565B2 (en) * | 2015-08-26 | 2017-09-19 | Digitalglobe, Inc. | Synthesizing training data for broad area geospatial object detection |
JP6678930B2 (ja) * | 2015-08-31 | 2020-04-15 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 分類モデルを学習する方法、コンピュータ・システムおよびコンピュータ・プログラム |
WO2018013199A1 (en) | 2016-07-14 | 2018-01-18 | Magic Leap, Inc. | Iris boundary estimation using cornea curvature |
KR102648770B1 (ko) | 2016-07-14 | 2024-03-15 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
EP3500911B1 (en) | 2016-08-22 | 2023-09-27 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
CA3038967A1 (en) | 2016-10-04 | 2018-04-12 | Magic Leap, Inc. | Efficient data layouts for convolutional neural networks |
WO2018093796A1 (en) | 2016-11-15 | 2018-05-24 | Magic Leap, Inc. | Deep learning system for cuboid detection |
CN110419049B (zh) | 2017-03-17 | 2024-01-23 | 奇跃公司 | 房间布局估计方法和技术 |
-
2018
- 2018-03-16 CN CN201880017801.5A patent/CN110419049B/zh active Active
- 2018-03-16 EP EP18767554.1A patent/EP3596659A4/en active Pending
- 2018-03-16 KR KR1020217028859A patent/KR20210113443A/ko not_active Application Discontinuation
- 2018-03-16 CN CN202410006125.9A patent/CN117893680A/zh active Pending
- 2018-03-16 CA CA3055597A patent/CA3055597A1/en active Pending
- 2018-03-16 KR KR1020197029282A patent/KR102302725B1/ko active IP Right Grant
- 2018-03-16 WO PCT/US2018/022905 patent/WO2018170421A1/en active Application Filing
- 2018-03-16 AU AU2018236433A patent/AU2018236433B2/en active Active
- 2018-03-16 US US15/923,511 patent/US10657376B2/en active Active
- 2018-03-16 JP JP2019547140A patent/JP6929953B2/ja active Active
-
2019
- 2019-08-26 IL IL268913A patent/IL268913B/en unknown
-
2020
- 2020-04-09 US US16/844,812 patent/US11775835B2/en active Active
-
2021
- 2021-08-11 JP JP2021131087A patent/JP7135180B2/ja active Active
-
2022
- 2022-01-03 IL IL289588A patent/IL289588A/en unknown
- 2022-05-19 AU AU2022203390A patent/AU2022203390A1/en active Pending
- 2022-06-02 AU AU2022203838A patent/AU2022203838A1/en not_active Abandoned
- 2022-08-31 JP JP2022137791A patent/JP7305859B2/ja active Active
-
2023
- 2023-08-23 US US18/454,680 patent/US20230394315A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014220804A (ja) * | 2013-05-11 | 2014-11-20 | 三菱電機株式会社 | 単一の2次元画像からシーンを再構成する方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018170421A1 (en) | 2018-09-20 |
US20200234051A1 (en) | 2020-07-23 |
EP3596659A4 (en) | 2021-01-27 |
KR20190128190A (ko) | 2019-11-15 |
IL268913B (en) | 2022-02-01 |
IL268913A (en) | 2019-10-31 |
AU2022203838A1 (en) | 2022-06-23 |
US10657376B2 (en) | 2020-05-19 |
CN110419049B (zh) | 2024-01-23 |
JP7305859B2 (ja) | 2023-07-10 |
JP6929953B2 (ja) | 2021-09-01 |
EP3596659A1 (en) | 2020-01-22 |
AU2018236433A1 (en) | 2019-09-12 |
JP2020514890A (ja) | 2020-05-21 |
KR102302725B1 (ko) | 2021-09-14 |
JP2021176109A (ja) | 2021-11-04 |
CN117893680A (zh) | 2024-04-16 |
AU2018236433B2 (en) | 2022-03-03 |
CN110419049A (zh) | 2019-11-05 |
CA3055597A1 (en) | 2018-09-20 |
AU2022203390A1 (en) | 2022-06-09 |
IL289588A (en) | 2022-03-01 |
JP7135180B2 (ja) | 2022-09-12 |
US11775835B2 (en) | 2023-10-03 |
US20230394315A1 (en) | 2023-12-07 |
US20180268220A1 (en) | 2018-09-20 |
KR20210113443A (ko) | 2021-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7305859B2 (ja) | 部屋レイアウト推定方法および技法 | |
JP7151016B2 (ja) | 直方体検出のための深層機械学習システム | |
US11853894B2 (en) | Meta-learning for multi-task learning for neural networks | |
CA3078530A1 (en) | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks | |
US9111375B2 (en) | Evaluation of three-dimensional scenes using two-dimensional representations | |
Mandal et al. | Unsupervised Learning of Depth, Camera Pose and Optical Flow from Monocular Video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7305859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |