JP2020518882A - 八分木に基づく畳み込みニューラルネットワーク - Google Patents

八分木に基づく畳み込みニューラルネットワーク Download PDF

Info

Publication number
JP2020518882A
JP2020518882A JP2019549375A JP2019549375A JP2020518882A JP 2020518882 A JP2020518882 A JP 2020518882A JP 2019549375 A JP2019549375 A JP 2019549375A JP 2019549375 A JP2019549375 A JP 2019549375A JP 2020518882 A JP2020518882 A JP 2020518882A
Authority
JP
Japan
Prior art keywords
node
octree
nodes
dimensional shape
empty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019549375A
Other languages
English (en)
Other versions
JP7194685B2 (ja
Inventor
ウォン，ペンシュアイ
リウ，ヤン
トン，シン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2020518882A publication Critical patent/JP2020518882A/ja
Application granted granted Critical
Publication of JP7194685B2 publication Critical patent/JP7194685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9027—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Neurology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Complex Calculations (AREA)
  • Materials For Medical Uses (AREA)
  • Storage Device Security (AREA)
  • Human Computer Interaction (AREA)

Abstract

本明細書に記述される主題の実装形態は、八分木に基づく畳み込みニューラルネットワークに関する。いくつかの実装形態において、３次元形状を処理するコンピュータ実装方法が提供される。本方法は、３次元形状を表すための八分木を取得することを含む。八分木のノードは、空ノード及び非空ノードを含む。空ノードは、３次元形状を含まず、且つ八分木の葉ノードであり、及び非空ノードは、３次元形状の少なくとも一部を含む。本方法は、畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する八分木のノードについて、畳み込み層の出力を取得するために畳み込み層の畳み込み操作を実行することを更に含む。

Description

背景
[0001] 近年、３Ｄ撮像装置及びモデリングツールの発展に伴い、３Ｄモデル及びシーンが質量共に急速に向上している。各種の３次元形状の特徴の識別及び解析は、多くの形状解析及び認識タスク、例えば形状分類、形状探索、形状分割等のタスクにおいて一層重要になる。
[0002] 現在、学術界及び産業界は、３次元形状を表し、且つ３次元形状に対する畳み込みニューラルネットワーク処理を実行するための解決策を提案している。しかし、これらの解決策は、一般に、膨大な記憶空間及び膨大な計算リソースを必要とする。
概要
[0003] いくつかの実装形態において、３次元形状を表すための八分木を保存するように構成されたメモリを含む装置が提供される。八分木のノードは、空ノード及び非空ノードを含む。空ノードは、３次元形状を含まず、且つ八分木の葉ノードであり、及び非空ノードは、３次元形状の少なくとも一部を含む。本装置は、メモリに結合され、且つ３次元形状を表すための八分木をメモリから取得することと、畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する八分木のノードについて、畳み込み層の出力を取得するために畳み込み層の畳み込み操作を実行することとを含む動作を実行ように構成された処理装置を更に含む。
[0004] 本概要は、以下の詳細な説明で詳述する概念の一覧を簡潔な形式で紹介するために提供される。本概要は、特許請求される主題の主な特徴又は本質的な特徴を識別することを意図されておらず、また特許請求される主題の範囲を限定するために用いられることも意図されていない。
図面の簡単な説明
[0005]本明細書に記述する主題の複数の実装形態を実装可能なコンピューティング環境のブロック図を概略的に示す。 [0006]本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークの概略図を示す。 [0007]本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークを表す四分木を概略的に示す。 [0008]本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークを表す四分木を概略的に示す。 [0009]本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークの畳み込み操作の概略図を示す。 [0010]本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークのダウンサンプリングの概略図を示す。 [0011]本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークのプーリング操作の概略図を示す。 [0012]本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークの逆プーリング操作の概略図を示す。 [0013]本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークを訓練又は適用する方法のフロー図を示す。
[0014] 全ての図面を通して、同一又は同様の参照符号を使用して同一又は同様の要素を指示する。
実施形態の詳細な説明
[0015] 以下では、本明細書に記述する主題を、いくつかの例示的実装形態を参照しながら説明する。これらの実装形態は、主題の範囲を決して限定するものではなく、本明細書に記述する主題を当業者がより良く理解及び実施できるようにすることのみを目的として説明されることを理解されたい。
[0016] 以下で用いる用語「含む」及びその変化形は、「含むが、限定されない」を意味する開放的用語として読まれるべきである。用語「〜に基づいて」は、「〜に少なくとも部分的に基づいて」として読まれるべきである。用語「１つの実装形態」及び「実装形態」は、「少なくとも１つの実装形態」として読まれるべきである。用語「別の実装形態」は、「少なくとも１つの別の実装形態」として読まれるべきである。用語「第１の」、「第２の」等は、異なるか又は同一の対象を指し得る。他の明示的及び暗示的な定義も以下に含まれる場合がある。
[0017] コンピュータビジョン分野において、畳み込みニューラルネットワークは、画像及びビデオデータの抽出に際して利点を十分に発揮している。しかし、規則的なデータ構造（例えば、画像）向けの畳み込みニューラルネットワーク構造及び訓練方法を３次元形状に適合させることは、極めて困難である。規則的な格子でサンプリングされる画像及びビデオデータと異なり、３次元形状は、三角形メッシュ又は無作為にサンプリングされた３次元点の集合で表される。しかし、このような表現は、非疎表現であるため、膨大な記憶空間を必要とする。更に、２次元画像に保存されたＲＧＢデータと異なり、３次元形状で定義されるいずれの種類データが畳み込みニューラルネットワークに最適であるかは、明らかでない。
[0018] 現在、３次元形状を表し、且つ３次元形状に対して畳み込みニューラルネットワーク処理を実行する解決策が提案されている。しかし、これらの解決策は、一般に、膨大な記憶空間及び膨大な計算リソースを必要とする。このため、これらの問題を少なくとも部分的に解決するために、３次元形状に用いる畳み込みニューラルネットワークの解決策を提案することが必要である。本明細書に記述する主題の基本原理及びいくつかの例示的実装形態を、図面を参照しながら以下に記述する。
例示的動作環境
[0019] 本明細書に記述する主題の基本的原理及びいくつかの例示的実装形態を、図面を参照しながら以下に記述する。図１は、本明細書に記述する主題の１つ以上の実装形態を実行可能なコンピュータシステム／サーバ１００のブロック図を示す。図１に示すコンピュータシステム／サーバ１００は、一例に過ぎず、本明細書に記述する主題の機能及び範囲を決して限定するものではないことを理解されたい。
[0020] 図１に示すように、コンピュータシステム／サーバ１００は、汎用コンピューティング装置の形式である。コンピュータシステム／サーバ１００の構成要素は、１つ以上の中央プロセッサ又は中央演算処理装置１００、メモリ１２０、１つ以上の入力装置１３０、１つ以上の出力装置１４０、ストレージ１５０及び１つ以上の通信装置１６０並びに１つ以上のグラフィック処理装置１７０を含むが、これらに限定されない。処理装置１００は、現実又は仮想プロセッサであり得、メモリ１２０に保存されたプログラムに従って各種のプロセスを実行することができる。多重処理システムにおいて、複数の処理装置が処理能力を高めるためにコンピュータ実行可能な命令を実行する。
[0021] コンピュータシステム／サーバ１００は、典型的に、複数のコンピュータ媒体を含む。このような媒体は、コンピュータシステム／サーバ１００にアクセス可能な任意の利用可能な媒体であり得、揮発性及び不揮発性媒体並びに取り外し可能及び取り外し不可能な媒体を含むが、これらに限定されない。メモリ１２０は、揮発性メモリ（例えば、レジスタ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発メモリ（例えば、読み出し専用メモリ（ＲＯＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ）又はこれらの何らかの組み合わせであり得る。ストレージ１５０は、着脱可能であっても着脱不可能であってもよく、フラッシュドライバ、磁気ディスク等の機械可読媒体又は情報の保存に利用可能であり、コンピュータシステム／サーバ１００でアクセス可能な他の任意の媒体を含み得る。
[0022] コンピュータシステム／サーバ１００は、他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータシステム記憶媒体を更に含み得る。図１に示していないが、取り外し可能な不揮発性ディスク（例えば、「フロッピーディスク」）から読み出すか又はそれに書き込むためのディスクドライバ、及び取り外し可能な不揮発性光ディスクから読み出すか又はそれに書き込むための光ディスクドライバを提供することができる。メモリ１２０は、本明細書に記述する主題の各種の実装形態の機能を実行するように構成されたプログラムモジュールの組（例えば、少なくとも１つのプログラムモジュール）を有する少なくとも１つのプログラム製品を含み得る。
[0023] プログラムモジュールの組（少なくとも１つのプログラムモジュール）を有するプログラム／ユーティリティプログラムツールは、例えば、メモリ１２０に保存され得る。このようなプログラムモジュールは、オペレーティングシステム、１つ以上のアプリケーション、他のプログラムモジュール及び動作データを含むが、これらに限定されない。これらの例の各々又は特定の組み合わせは、ネットワーク環境の実装を含み得る。これらのプログラムモジュールは、本明細書に記述する主題の複数の実装形態による機能及び／又は方法を実行することができる。いくつかの実装形態において、このようなプログラムモジュールは、ストレージ１５０に保存され得る。
[0024] 入力装置１３０は、１つ以上の各種の入力機器であり得る。例えば、入力装置１３０は、マウス、キーボード、トラックボール等のようなユーザー機器を含み得る。通信装置１６０は、通信媒体を介して別の計算装置との通信を実行する。また、コンピュータシステム／サーバ１００の構成要素の機能は、単一のコンピュータ又は通信接続を介して通信可能な複数のコンピュータに実装することができる。このように、コンピュータシステム／サーバ１００は、１つ以上の他のサーバ、ネットワークパーソナルコンピュータ（ＰＣ）又は他の一般的なネットワークノードとの論理的接続を用いるネットワーク化された環境で動作することができる。一例として、但し非限定的に、通信媒体は、有線又は無線ネットワーク技術を含む。
[0025] コンピュータシステム／サーバ１００は、必要に応じて、記憶装置、表示装置等、ユーザーがコンピュータシステム／サーバ１００と対話できるようにする１つ以上の装置、及び／又はコンピュータシステム／サーバ１００が１つ以上の他のコンピューティング装置と通信可能であるようにする任意の装置（例えば、ネットワークカード、モデム等）の１つ以上の外部装置（図示せず）とも通信することができる。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース（図示せず）を介して実行することができる。
[0026] 中央処理装置１１０は、加速バス（図示せず）を介してグラフィック処理装置１７０と通信することができる。グラフィック処理装置１７０は、バスを介してデータ中央処理装置１１０に送信し、バスを介して中央処理装置からデータを受信することができる。グラフィック処理装置１７０は、畳み込みニューラルネットワークに関連付けられたデータを保存するためのグラフィックメモリ１８０を含む。グラフィックメモリ１８０のための記憶空間が制限されるため、グラフィック処理装置１７０により畳み込みニューラルネットワークが訓練される際、記憶空間を完全に利用及び保存しなければならない。グラフィック処理装置１７０は、グラフィックメモリ１８０からデータを読み込み、及び／又はグラフィックメモリ１８０にデータを書き込んでデータを処理するための処理装置を更に含む。グラフィック処理装置１７０及び中央処理装置１１０は、ボードと一体化するか又は各々のボードに別々に形成することができる。
[0027] 一般に、グラフィック処理装置１７０は、３次元グラフのリアルタイム表示を加速するように構成される。グラフィック処理能力に対する要求が高まるにつれて、グラフィック処理装置の性能は、一層強力且つ一層プログラム可能になる。現在、グラフィック処理装置は、グラフィック処理とは無関係の多くの他のタスクを効果的に実行することができる。例えば、グラフィック処理装置は、強力な並列コンピューティング能力を備え、従ってニューラルネットワークモデルにおいて、特にニューラルネットワークモデルの訓練において利用することができる。本明細書に記述する畳み込みニューラルネットワークモデルは、中央処理装置１１０に対するコンピューティング制約を緩和して、グラフィック処理装置１７０の並列処理能力を完全に利用するために、グラフィック処理装置１７０に少なくとも部分的に（又は完全に）実装することができる。
畳み込みニューラルネットワークのアーキテクチャの例
[0028] 図２は、本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークの例示的アーキテクチャ２００を示す。図２に示すアーキテクチャ２００が一例に過ぎないことを理解されたい。本明細書に記述する主題の実装形態は、他のアーキテクチャの畳み込みニューラルネットワークにも適用することができる。本明細書に記述する主題は、これに限定されない。
[0029] 図２に示すように、畳み込みニューラルネットワークの入力２１０は、３次元形状の八分木表現である。いくつかの実装形態において、各々の葉ノードは、葉ノード内の点の平均法線を保存することができる。３次元形状の幾何学的構造は、離散的法線場を有する八分木により近似することができる。畳み込みニューラルネットワークモデルを八分木表現に基づいて構築することができる。法線信号及び平均法線は、データ信号を３次元形状で表す例に過ぎないことに注意されたい。本明細書に記述する主題は、他の任意の適切な形式のデータ信号にも適用することができる。本明細書に記述する主題は、これに限定されない。
[0030] 図２に示すように、八分木の構造が入力２１０に示される。いくつかの実装形態において、３次元形状の他の種類の表現を八分木表現に変換し、次いで畳み込みニューラルネットワークへの入力２１０として提供することができる。例えば、立方体２１２において、平面等の３次元幾何形状が含まれ得る。立方体２１２は、八分木の深さゼロの根ノードに対応する。次いで、立方体２１２は、立方体２１４で示すように深さ１の８つのノードに分割することができる。従って、各ノードは、根ノードの子ノードに対応する。
[0031] ３次元幾何形状が全ての３次元空間全体にわたって広がっていないため、３次元空間を更に分割した場合、いくつかのノードは、３次元形状を含まないであろう。この場合、このような空ノードが分割されないのに対し、非空ノードのみが更に分割される。従って、空ノードは、八分木の葉ノードでもある。３次元形状を含むノードを更に分割した場合、各々が深さ２及び深さ３に対応する立方体２１６及び２１８が得られる。ノードを更に分割することで深さｄの八分木が生成される。以下の記述において、本明細書に記述する主題のいくつかの実装形態による八分木に基づく表現を、図３及び４を参照しながら詳述する。
[0032] 八分木により表される入力２１０を受信した後、畳み込みニューラルネットワーク操作を八分木の一番下のノードから上向きに実行することができる。図２に示すように、ニューラルネットワークの深さが破線枠２６０に示される。例示的なアーキテクチャ２００において、入力２１０内で深さｄを有するノードに対して畳み込み操作を実行することにより特徴マップ２２０が得られる。特徴マップ２２０は、３つのチャネルを示す。しかし、他の任意の適当な個数のチャネルも適用できることを理解されたい。本明細書に記述する主題は、これに限定されない。特徴マップ２３０は、特徴マップ２２０に対してプーリング操作を実行することにより得られる。次いで、１つ以上の畳み込み及びプーリング操作が連続的に繰り返される。例えば、深さ３のノードに対して畳み込み操作を実行することにより特徴マップ２４０が得られ、特徴マップ２４０に対してプーリング操作を実行することにより特徴マップ２５０が得られる。特徴マップ２５０は、分類等の様々な目的で他のニューラルネットワーク層（例えば、完全接続層）に提供することができる。
[0033] ３次元形状の形状特徴に起因して、空ノードは、八分木内に葉ノードとして存在するため、このような八分木で多くのノードを除外することが可能になる。例えば、深さ１の空ノードにより、空ノードの下の全てのノードが除外されるため、保存及び操作すべきノードデータが大幅に減り、従って、記憶空間が節約されると共に計算効率が向上する。
データ構造
[0034] 八分木構造の従来の実装形態では、特定のノードに効果的にアクセスできない。従って、頻繁にデータにアクセスする畳み込みニューラルネットワークにこれらの実装形態を用いることは不適当である。八分木のアクセス効率を更に向上させるために、畳み込みニューラルネットワークへの高速アクセス及び八分木表現と一体化された従来の畳み込みニューラルネットワーク操作をサポートする効果的な八分木記憶解決策を提供する。
[0035] 図２に示すアーキテクチャにおいて、八分木の最大深さをｄと表記する。いくつかの実装形態において、八分木の各ノードは、シャッフルキー法に従ってキー又はインデクスが割り当てられ得る。八分木の各ノードは、８つの子ノードを有し、これらは、従って、０〜７の範囲の３ビット２進符号により符号化することができる。換言すれば、２進符号は、各子ノードがカバーする部分領域を符号化することができる。例えば、ｘビットが１である場合、子ノードは、ｘ軸方向に沿うノードをカバーする。一方、子ノードは、ｘ軸方向とは逆方向のノードをカバーする。更に、ｙビット及びｚビットは、同様に設定することができる。
[0036] 八分木の第ｌ層において、ノードの整数座標（ｘ，ｙ，ｚ）を３組のｌビットデータ、すなわちｘ＝（ｘ１ｘ２．．．ｘｌ）、ｙ＝（ｙ１ｙ２．．．ｙｌ）、ｚ＝（ｚ１ｚ２．．．ｚｌ）、ｘｉ、ｙｉ、ｚｉ∈｛０、１｝で表すことができる。ノードＯのシャッフルキー、すなわちｋｅｙ（Ｏ）は、次式で定義される。
ｋｅｙ（Ｏ）：＝ｘ１ｙ１ｚ１ｘ２ｙ２ｚ２．．．ｘｌｙｌｄｌ （１）
ここで、ｌは、八分木におけるノードＯの深さを表す。従って、深さｌでのノードのシャッフルキーは、３１ビットである。
[0037] 八分木の各ノードをシャッフルキーで表すことができる。いくつかの実装形態において、深さｌにおける全てのシャッフルキーを昇順にソートすることができ、ソートされた配列をＳｌと定義する。このソート方法は、一例に過ぎず、他の任意の適当なソート方法も可能であることに注意されたい。本明細書に記述する主題は、これに限定されない。例えば、ソートは、降順に行われ得る。
[0038] シャッフルキーの大きさに基づいてノードがソートされた後、同じ親ノードに属する８つの子ノードが連続的に配置され、従って全ての子ノードが同じ部分木に属する。この特性は、以下に詳述するプーリング操作に極めて有用である。
[0039] 上述のように、３次元形状の特性に起因して、八分木のいくつかのノードは、空であり、すなわち３次元形状のいかなる部分も含まない。Ｓｌの非空ノードの位置を記憶するために、これらの非空ノードに整数ラベルが割り当てられる。ラベルは、１から始まり、次のノードが非空である場合に増分され得る。空ノードの場合、ラベルは、ゼロ等の事前設定された値に設定することができる。これらのラベルは、ラベルベクトルＬｌと呼ばれるベクトル又は配列に編成することができる。データが下から上に流れる場合（すなわちダウンサンプリング）、ラベルベクトルを用いることができる。
[0040] いくつかの実装形態において、全てのＳｌ（ｌ＝０、１、．．．、ｄ）を、キーベクトルＳと呼ばれる連続的な配列に結合することができる。従って、全てのＬｌ（ｌ＝０、１、．．．、ｄ）は、ラベルベクトルＬと呼ばれる別の連続的な配列に結合することができる。更に、各々の深さの第１のノードのインデクスを、Ｓ内の深さｌにおけるｒ番目の非空ノードＯに直ちにアクセスできるように配列Ｊに保存することができる。最初に、法線信号が八分木の深さｄにおけるノードに結合されて連続配列Ｔｄに保存される。Ｔｌのデータ（ｌ＝０、１、．．．、ｄ−１）がニューラルネットワーク内で動的に計算されて、データベクトルＴと呼ばれる連続配列に結合される。例えば、ストライドが１である畳み込み層において、畳み込み計算後のデータは、プーリング操作等の後続処理のための層に対応する深さを有するノードに保存される。配列Ｓｌ、Ｌｌ及びＴｌは、長さが同じであり、同一インデクスを共有する点に注意されたい。ノードのシャッフルキーが与えられた場合、配列Ｓｌを探索して対応するインデクスが得られ、Ｌｌ及びＴｌに保存された情報が直接得られる。４つのベクトル（Ｓ、Ｌ、Ｊ、Ｔ）を用いて八分木のデータ構造を表すことができる。
[0041] いくつかの実装形態において、異なる３次元形状は、異なる八分木構造を有する。バッチ入力により畳み込みニューラルネットワークの効果的な訓練又は推論をサポートするために、バッチ内の全ての３次元形状の八分木を超八分木として結合することができる。例えば、バッチ内の八分木の全てのＳｌ、Ｌｌ及びＴｌを接続して超八分木のベクトル
Figure 2020518882
、
Figure 2020518882
及び
Figure 2020518882
とすることができ、これらは、上述のように編成できるため、ここでは詳細を省略する。超八分木は、一時的配列を生成することなくデータを効果的に処理できるように畳み込みニューラルネットワークの入力として用いることができる。
[0042] 八分木構造が３次元表現に関係するため、八分木構造を示すことは、極めて困難である。従って、説明の便宜上、上で導入したデータ構造を、図３及び４の四分木３００及び４００を参照しながら記述する。以下の記述において、深さ２の四分木（又は２次元分割）の表現をどのように決定すべきかを詳述しているが、以下の例は、特許請求される主題の範囲を限定するものではなく、当業者が技術的解決策をより明確に理解できるようにするためのものに過ぎないことを理解されたい。以下の説明は、本明細書に記述する主題の実装形態による八分木構造に容易に適用することができる。図３に示すように、四分木構造３００は、深さ２の四分木であり、黒点は、グラフィカル情報又はデータを表し、黒点を含まないブロックは空ノードであり、黒点を含むブロックは、非空ノードである。親ノードを、Ｓ０で表すインデクス０のブロック３３０で示す。従って、ノードがグラフィカルデータを含むため、Ｌ０で表す対応ラベルに値１が割り当てられる。
[0043] 四分木（深さ１）の第１層において、親ノード３３０は、それぞれブロック３２０で示すように０、１、２及び３とマークされた４つの四分円に分割される。図３において、ｘ軸が水平方向として設定され、ｙ軸が垂直方向として設定される。ここで、ノード２を例として挙げて、第１層でノードのインデクスをどのように決定するかを説明する。第１層におけるノードのインデクスは、ｘｌｙｌと表記することができる。上述のように、ｘビットが１である場合、子ノードは、ｘ軸（右側）の正方向に沿って四分円をカバーし、ｙビットが０である場合、子ノードは、ｙ軸（下側）の負方向に沿って四分円をカバーする。従って、ｘｙ＝１０（２）＝２（ｌ０）は、右下角の四分円を表す。四分円は、グラフィカルデータを含まないため、対応するラベルに値０が割り当てられる。同様に、インデクス０、１及び３は、ブロック３２０に示す左下角、左上角及び右上角の四分円をそれぞれ表す。従って、四分木の第１層のインデクスをＳｌで表し、対応するラベルをＬｌで表すことができる。
[0044] ブロック３２０から分かるように、四分円１及び２は、四分木の第１層でグラフィックスを含まず、更に分割する必要はない。逆に、四分円０及び３は、共にグラフィックスを含むため、更に分割することができる。ブロック３１０、すなわち四分木の深さ２に対応する層をブロック３２０の分割後に得ることができる。ブロック３１０は、８つのノードを含み、ノード１〜３は、ブロック３２０のノード０に対応し、ノード１２〜１５は、ブロック３２０のノード３に対応する。
[0045] ここで、ノード１３を例として挙げて、第２層におけるノードのインデクスをどのように決定するかを説明する。第２層におけるノードのインデクスは、ｘ１ｙ１ｘ２ｙ２と表記することができ、ここで、ノード１３は、上述のようにｘ１ｙ１＝１１（２）と表わすことができる。ノード１３がｘ軸方向に沿った左側の且つｙ軸方向に沿った上側の四分円をカバーするため、ｘ２ｙ２＝０１（２）が成り立つ。従って、ノード１３のインデクスは、１１０１（２）＝１３（１０）である。
[0046] 図４は、図３の四分木の階層構造４００及びに関連データ表現を更に示す。図４に示すように、対応するインデクスを各ノードに付している。例えば、根ノードのインデクスは、図示のように０である。
[0047] 上述のように、Ｓ０、Ｓ１及びＳ２は、四分木のインデクスを表すために一次元のベクトル又は配列Ｓとして結合される。例えば、Ｓは、「０、１、２、３、１２、１３、１４、１５、０、１、２、３、０」と表記することができる。図４に示すように、四分木の各層において、第１の四分円又はノードは、層においてインデクス０で表される。従って、Ｌ０、Ｌ１及びＬ２も、「１、０、２、３、０、４、０、５、１、０、０、２、１」と表される一次元のベクトル又は配列Ｊとして結合することができる。従って、ベクトルＳにおいて、Ｓ内の四分木の３層の第１のノードのインデクスの位置は、それぞれ「１２、８、０」、すなわちそれぞれＳ内の１３番目の位置、９番目の位置及び１番目の位置である。この位置情報をＪと表記する。インデクスＳに対応して、ノードに関連付けられた形状データも、Ｓと同一寸法のベクトルＪとして保存することができる。例えば、形状データは、上述のように各ノード内の点で平均法線であり得る。
[0048] 上記では、組み合わせ方法の一例を紹介したに過ぎない。他の組み合わせ方法も可能であることを理解されたい。本明細書に記述する主題は、これに限定されない。例えば、Ｓ０、Ｓｌ及びＳ２を「０、０、１、２、３、０、１、２、３、１２、１３、１４、１５」のように結合することができる。従って、Ｌ及びＪをそれぞれ「１、１、０、０、２、１、０、２、３、０、４、０、５」及び「０、１、５」のように結合することができる。
畳み込みニューラルネットワークの操作
[0049] 畳み込みニューラルネットワークの基本的操作は、畳み込み及びプーリングである。画像処理の場合、各ピクセルが色情報を含み、これらの操作を通じて他の領域に情報を伝播すべきであるため、これらの操作は、全ての領域で実行すべきである。しかし、３次元形状の場合、幾何学的情報は、限られた領域内にのみ存在する。空領域への情報の伝播は、膨大な計算リソースを要するために不要である。本明細書に記述する主題のいくつかの実装形態に従い、情報伝播は、八分木内に限定され、畳み込み及びプーリング操作が相応に実行される。換言すれば、畳み込みニューラルネットワーク操作は、八分木のノードが存在する場所で実行される。更に、逆畳み込み及び逆プーリング操作が八分木構造に拡張される。
[0050] 畳み込み操作を八分木のノードに適用するには、同じ深さの隣接ノードを決定する必要がある。計算を効果的に実行するために、畳み込み操作の符号を以下の拡張形式で表すことができる。
Figure 2020518882
ここで、Ｏｉｊｋは、Ｏの隣接ノードを表し、Ｔ（・）は、Ｏｉｊｋに関連付けられた特徴ベクトルを表し、Ｔ（ｎ）（・）は、特徴ベクトルのｎ番目のチャネルを表し、
Figure 2020518882
は、畳み込み操作の重みである。Ｏｉｊｋが八分木内に存在しない場合、Ｔ（Ｏｉｊｋ）は、ゼロベクトルに設定される。このような形式において、畳み込み操作は、行列演算に変換され、これらの線形代数演算は、グラフィカルコンピュータ上で効果的に実行することができる。
[0051] 畳み込み操作の畳み込み核（フィルタとも呼ばれる）のサイズがＫである場合、畳み込み操作は、各八分木ノードのＫ３−ｌ個の隣接ノードへのアクセスを要求する。隣接ノードを取得するには、八分木を上から下へ辿ることは、十分に効果的な選択肢ではない。畳み込み操作のストライドが１である場合、畳み込み操作は、八分木の現在の層における全てのノードに適用される。従来、各ノードに対してＫ３−１個のクエリが必要とされる。しかし、同一の親ノードの下の８つの子ノードの隣接ノードは、高度に重なり、全部で（Ｋ＋ｌ）３個のノード（８つの子ノード自体も含む）のみを有する。従って、隣接探索は、８つの子ノードの（Ｋ＋ｌ）３−８個の隣接ノードのみを探索することにより処理を加速することができる。例えば、Ｋ＝３の場合、この最適化により探索操作の速度を２倍超高めることができる。
[0052] 図５は、本明細書に記述する主題のいくつかの実装形態による畳み込み操作５００の一例を示す。図５に示す実装形態において、畳み込み核のサイズは、３である。しかし、これは、一例に過ぎないことを理解されたい。本明細書に記述する主題は、これに限定されない。
[0053] 図５は、同一の親ノードを有する８つの子ノード５１０を示し、各子ノードに隣接する２７のノード（子ノード自体も含む）をそれぞれ８つの立方体５２０の各立方体で表す。例えば、ノード５１１（ノード５１１自体も含む）に隣接する２７のノードを立方体５２１で表し、ノード５１３（ノード５１３自体も含む）に隣接する２７のノードを立方体５２３で表す。これらの立方体は、多くの重なりを有するが、実際には、立方体５３０で表す（Ｋ＋１）３＝６４のノード（ノード５１０自体も含む）のみを含む。八分木を上から下へ辿る従来方式によれば、８×Ｋ３＝２１６のクエリを実行する必要がある。対照的に、図５に示す方法によれば、６４のクエリのみを実行し得るため、クエリ数が大幅に減る。
[0054] ストライドが２である場合、同一の親ノードの下の８つの子ノードのうち、第１子ノードに畳み込みを適用しながら他の７つのノードを無視することができ、これは、特徴マップの解像度を半分にダウンサンプリングすることと均等である。ストライドが２ｒ（ｒ＞ｌ）の畳み込み操作である場合、高さｒの各部分木の第１のノードに操作を適用することができる。次いで、特徴マップは、２ｒ分の１ずつダウンサンプリングを実行する。八分木の特別な階層構造に起因して、畳み込みのストライドは、２の整数乗に制約される。
[0055] ストライドが１よりも大きい畳み込み操作を実行する場合、ダウンサンプリングが生じて、形状データ配列Ｔの長さが短縮される。データは、八分木の一番下から上向きに流れてＬｌに保存されたラベル情報を用いて対応関係を取得することができる。図６は、このような四分木の一例６００を示す。配列Ｔ２の初期長は、８であり、ダウンサンプリングが実行された場合に２になる。しかし、四分木の深さがｌである場合、４つのノードが存在し、従って配列Ｔ１の長さは、４のはずである。配列Ｌｌ内の情報を、ダウンサンプリングされた配列Ｔ（１）と組み合わせることにより、更新された配列Ｔｌが容易に得られる。図６に示すように、（破線のブロック６１０で示す）深さ２のノード「１、０、２、３」の場合、「１、０、２、３」に関連付けられた親ノードがＬ１内で１及び０とラベル付けされるため、ダウンサンプリングされたデータ６２０は、Ｌ１のラベル１に対応する。従って、データ６２０は、Ｌ１内のラベル１に対応するデータ６３０の更新に用いられる。
[0056] いくつかの実装形態において、図２に示すように、畳み込みニューラルネットワークは、表現の空間サイズを漸次縮小することを主な機能とする１つ以上のプーリング層を含み得る。プーリング層は、特徴マップの各チャネルに独立に作用し、その空間サイズを相応に縮小する。プーリング層は、最大プーリング層又は平均プーリング層等、多くの形式を有し得る。
[0057] 図７は、本明細書に記述する主題のいくつかの実装形態によるプーリング操作７００の概略図を示す。最も一般的な最大プーリング層は、ストライドが２の状態でサイズが２のフィルタを適用するものである。八分木表現において、最大プーリング操作は、同一の親ノードを有する８つのノードの最大データを見出すことと均等である。本明細書に記述する主題のいくつかの実装形態によれば、同一の親ノードの下の８つのノードは、連続的に保存される。従って、最大プーリング操作を八分木に適用することにより、配列の８つの連続的な要素から最大の要素を選択することに帰着する。図７に示すように、同一の親ノードを有する８つのノードの最大データは、９であり、最大要素を選択して親ノードにデータを送信する。この操作は、グラフィック処理装置上で高速に実行することができる。従って、特徴マップの解像度は、半分にダウンサンプリングされ、親ノードの情報を用いて更なる操作を導くことができる。
[0058] 図６は、最大プーリングの場合にデータを操作する方法も示す。例えば、深さ２のノード「１、０、２、３」の場合、対応するデータは、「５、０、２、１」である。従って、これらのノードに対して最大プーリング操作を実行した後に得られた値は、６２０に示すように５である。「１、０、２、３」に関連付けられた親ノードがＬｌ内で１及び０とラベル付けられるため、ダウンサンプリングされたデータ６２０は、Ｌｌ内のラベル１に対応し、すなわちデータ６３０に値５を割り当てることができる。
[0059] プーリング操作が他のサイズ及び／又は他のストライドのフィルタに関する場合、上の畳み込み操作と同様の操作を用いて関連ノードを見つけることができる。例えば、ストライドが４、サイズが４のフィルタを最大プーリング層が適用する場合、これは、あるノードの６４の孫ノードの要素から最大要素を選択することに対応する。
[0060] いくつかの実装形態において、畳み込みニューラルネットワークは、プーリング層の逆操作であり、アップサンプリング操作である逆プーリング層も含み得る。逆プーリング層は、畳み込みニューラルネットワークの視覚化及び画像分割に用いることができる。逆プーリング操作は、通常、プーリング操作に関連付けられる。最大プーリング操作が適用された後、各プーリング領域内の最大値の位置をスイッチ変数の組に記録することができる。対応する最大逆プーリング操作は、これらのスイッチ変数を用いて、現在の特徴マップ内の信号を、アップサンプリングされた特徴マップ内の適当な位置に配置する。
[0061] 図８は、図７に示すプーリング操作に対応する、本明細書に記述する主題のいくつかの実装形態による逆プーリング操作８００の概略図を示す。図７において、最大プーリング操作が適用された後、最大値の位置が記録される。従って、図８において、最大逆プーリング操作が適用された際、現在の特徴マップ内の信号（本例では５）は、アップサンプリングされた特徴マップの適当な位置に配置される。
[0062] いくつかの実装形態において、畳み込みニューラルネットワークは、畳み込み層の逆操作、すなわち畳み込み層の順方向計算（順方向畳み込み計算）及び逆方向計算（畳み込み計算の勾配を逆向きに送信）を逆転させる逆畳み込み層を更に含み得る。逆畳み込み操作の順方向計算機能は、畳み込み逆方向計算機能を使用し、逆畳み込み操作の後方向計算機能は、畳み込み順方向計算機能を直接使用する。
[0063] 畳み込みニューラルネットワークの操作について、前段で記述したデータ構造と組み合わせて詳細に記述する点に注意されたい。しかし、これらの操作は、他のデータ構造と組み合わせて図２に示す入力２１０により表される八分木にも適用できることを理解されたい。
訓練処理の例
[0064] 図９は、本明細書に記述する主題の一実装形態による畳み込みニューラルネットワークを訓練する方法９００のフローマップを示す。本方法は、図１に示すグラフィック処理装置１７０により実行することができる。
[0065] ９２０において、３次元形状を表すための八分木を取得する。上述のように、八分木のノードは、空ノード及び非空ノードを含む。空ノードは、３次元形状を含まず、且つ八分木の葉ノードであり、及び非空ノードは、３次元形状の少なくとも一部を含む。いくつかの実装形態において、３次元形状の八分木表現をグラフィック処理装置１７０のグラフィカルメモリに保存することができる。
[0066] いくつかの実装形態において、八分木は、八分木のノードのインデクス、八分木のノードのラベルであって、ノードが空又は非空であるか否かを少なくとも示すラベル、八分木のノードの形状データであって、ノードによって表されるノード内の３次元形状の形状を少なくとも示す形状データ及び八分木の階層構造の少なくとも１つによって表すことができる。いくつかの実装形態において、インデクス、ラベル、形状データ及び階層構造の少なくとも１つは、１次元ベクトルとして定義される。例えば、インデクス、ラベル、形状データ及び階層構造は、上述のベクトルＳ、Ｌ、Ｔ及びＪによって実装することができる。
[0067] いくつかの実装形態において、受信されたデータ信号を、３次元形状を表すための八分木に変換することができる。例えば、３次元形状を表すデータ信号が最初に受信され、データ信号を受信することに応答して、３次元形状を表すための八分木が決定される。
[0068] ９４０において、畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する八分木のノードについて、畳み込み層の畳み込み操作を実行して畳み込み層の出力を取得する。畳み込み操作の実行は、例えば、例として式（２）に示すように、畳み込み層のパラメータ及び関連データを演算することにより行うことができる。いくつかの実装形態において、同一の親ノードを有する８つのノードを、畳み込み層に関連付けられた深さを有するノードから決定することができる。次に、八分木に基づいて８つのノードのノード近傍が決定される。ノード近傍は、８つのノードの少なくとも１つに隣接するノードを含む。次いで、ノード近傍に対して８つのノードの畳み込み層の操作が実行される。このように、畳み込み操作に必要な探索操作を大幅に簡素化することができるため、グラフィックメモリ１８０からのデータの読み込みが容易になる。
[0069] いくつかの実装形態において、畳み込みニューラルネットワークは、プーリング層を更に含む。方法９００は、プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することを更に含む。次いで、８つのノードの形状データに対してダウンサンプリング操作が実行される。プーリング層は、最大プーリング層又は平均プーリング層であり得る。例えば、図７に示すように、最大プーリング層の実装に際して、同一の親ノードを有する８つのノードを決定することができ、形状データの最大値を有するノードが選択される。
[0070] いくつかの実装形態において、畳み込みニューラルネットワークは、逆プーリング層を更に含む。方法９００は、逆プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することを更に含む。次いで、８つのノードの形状データに対してアップサンプリング操作が実行される。例えば、逆プーリング操作は、プーリング操作に関連付けられ得る。最大プーリング操作が適用された後、各プーリング領域内の最大値の位置を記録することができる。対応する最大逆プーリング操作により、現在の特徴マップ内の信号を、アップサンプリングされた特徴マップの適当な位置に配置する。
[0071] いくつかの実装形態において、畳み込みニューラルネットワークは、逆畳み込み層を含む。方法９００は、逆畳み込み層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することを更に含む。次いで、八分木に基づいて８つのノードのノード近傍が決定される。ノード近傍は、８つのノードの少なくとも１つに隣接するノードを含む。次いで、ノード近傍に対して８つのノードの逆畳み込み層の操作が実行される。
[0072] 例えば、分類アプリケーションにおいて、畳み込みニューラルネットワークにより得られた結果をグラウンドトゥルースと比較することができる。次いで、損失機能の勾配が逆伝播されて畳み込みニューラルネットワークのパラメータを更新する。畳み込みニューラルネットワークは、訓練処理中に大量のデータを処理する必要があるため、方法９００は、データをバッチ処理的に訓練できる畳み込みニューラルネットワークの訓練処理に特に有用であり、従って特に並列処理に適合され、グラフィック処理装置による実行に適する。しかし、方法９００は、畳み込みニューラルネットワークモデルによる判定処理にも適用できることに注意されたい。
畳み込みニューラルネットワークの関連アプリケーション
[0073] 近年、畳み込みニューラルネットワークのネットワークアーキテクチャが急激に進化している。多くのタスクを達成するためにより深く且つ広いネットワークが優位性を示している。３次元畳み込みニューラルネットワークは、異なるネットワーク構造により能力を向上させることができる。本明細書に記述する主題のいくつかの実装形態による八分木に基づく表現の利点をより明らかに示すために、簡単なニューラルネットワークを以下に示す。しかし、本明細書に記述する主題の実装形態による八分木に基づく表現は、各種の畳み込みニューラルネットワークアーキテクチャにも適用できることを理解されたい。本明細書に記述する主題は、これに限定されない。
[0074] 八分木に基づく畳み込みニューラルネットワークの設計は、八分木データ構造の一番下から上向きに畳み込み及びプーリング操作を繰り返し適用することを含む。更に、例えば活性化関数を利用することができ、正規化線形関数（ＲｅＬＵ）等の非線形活性化関数により出力を活性化することができる。更に、バッチ正規化（ＢＮ）を用いて内部共変量シフトを減らすことができる。操作シーケンス「畳み込み＋ＢＮ＋ＲｅＬＵ＋プーリング」は、畳み込みニューラルネットワークの基本単位である。深さｌのノードに畳み込みが適用された場合、基本単位をＵｌと表記することができる。Ｕｌの特徴マップのチャネル数を２ｍａｘ（２，９−ｌ）に設定することができ、ここで、ｍａｘは、最大値関数であり、畳み込みカーネルのサイズを例えば３に設定することができる。従って、畳み込みニューラルネットワークを次式：
入力→Ｕｄ→Ｕｄ−１→．．．→Ｕ２
で定義することができ、簡便のためＯ−ＣＮＮ（ｄ）と呼ばれる。
[0075] 特徴マップがノードのみに関連付けられるため、記憶空間は、対応する深さにおけるノード数と線形関係にある。約Ｏ（ｎ３）の空間を占める全ボクセル表現と比較して、八分木構造は、Ｏ（ｎ２）の空間を占めるに過ぎない。従って、本明細書に記述する主題のいくつかの実装形態による八分木表現により記憶空間を大幅に減らすことができ、記憶空間が比較的小さいグラフィック処理装置に極めて適する。
[0076] いくつかの実装形態において、Ｏ−ＣＮＮは、形状解析、例えばオブジェクト分類、形状取得、形状分割等に適用することができる。オブジェクト分割の場合、２つの完全接続された（ＦＣ）層、ソフトマックス層及び２つのドロップアウト層をＯ−ＣＮＮ（ｄ）の後に追加することができる。すなわち、
Ｏ−ＣＮＮ（ｄ）→ドロップアウト→ＦＣ（ｌ２８）→ドロップアウト→ＦＣ（ＮＣ）→ソフトマックス→出力
であり、ここで、１２８は、ＦＣ内のニューロン数を表し、ＮＣは、分類カテゴリ数を表す。ドロップアウト層は、過剰適合を回避するために用いられる。形状探索の場合、上のオブジェクト分類からの出力を最も類似度が高い形状の探索キーとして用いることができる。
[0077] 形状分割の場合、逆畳み込みネットワークは、各葉ノードの分割ラベルを取得するためにＯ−ＣＮＮ（ｄ）とカスケードすることができる。逆畳み込みネットワークは、Ｏ−ＣＮＮ（ｄ）のミラーレイアウトであり、逆畳み込み及び逆プーリング操作により畳み込み及びプーリング操作を代替する。逆プーリングが深さｌのノードに適用された場合、「逆プーリング＋逆畳み込み＋ＢＮ＋ＲｅＬＵ」は、基本単位として定義されてＤＵｌと表記する。逆畳み込みネットワークＤ−Ｏ−ＣＮＮ（ｄ）は、ＤＵ２→ＤＵ３→．．．→ＤＵｄ−ｌの形式をとることができる。
[0078] 試験により、畳み込みニューラルネットワークの上述の３つのアプリケーションにおいて記憶効率及び計算効率が大幅に向上していることが分かる。従って、八分木表現の深さを大幅に増大させることができるため、ニューラルネットワークモデルの精度が更に向上する。
[0079] 本明細書に記述する機能は、１つ以上のハードウェア論理素子により、少なくとも部分的に実行することができる。例えば、但し非限定的に、図示する種類の使用可能なハードウェア論理素子は、フィールド−プログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複合プログラム可能論理素子（ＣＰＬＤ）等を含む。
[0080] 本明細書に記述する主題の方法を実行するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで記述され得る。これらのプログラムコードは、汎用コンピュータ、特定用途コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサ若しくはコントローラに与えられ得、プログラムコードは、プロセッサ又はコントローラにより実行された場合にフロー図及び／又はブロック図で指定される機能／操作を実行させる。プログラムコードは、スタンドアロンソフトウェアパッケージとして全部がマシン上で、一部がマシン上で、一部がマシン上且つ一部がリモートコンピュータ上で、又は全部がリモートマシン又はサーバ上で実行され得る。
[0081] 本開示に関連して、機械可読媒体は、命令実行システム、装置若しくは機器によるか又はこれらと組み合わせて使用するプログラムを包含又は保存できる任意の有形媒体であり得る。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であり得る。機械可読媒体は、電子、磁気、光、電磁気、赤外若しくは半導体システム、装置若しくは機器又はこれらの任意の適当な組み合わせを含み得るが、これらに限定されない。機械可読記憶媒体のより具体的な例として、１つ以上の導線を介した電気接続、可搬コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブルメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、可搬コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置又はこれらの任意の適当な組み合わせが含まれる。
[0082] 更に、特定の順序で動作を記述しているが、このような動作を、図示する特定の順序又は連続的な順序で実行する必要があるものと理解すべきではない。特定の状況において、マルチタスキング及び並列処理が有利な場合がある。同様に、上の記述において、いくつかの特定の実装形態の詳細が含まれるが、本明細書に記述する主題の範囲を限定するものと解釈すべきではない。別個の実装形態に関連して記述される特定の特徴は、単一の実装形態と組み合わせても実施され得る。逆に、単一の実装形態に関連して記載される各種の特徴は、複数の実装形態で別個に又は任意の適当な副次的組み合わせでも実施され得る。
例示的実装形態
[0083] 本明細書に記述する主題のいくつかの例示的実装形態を以下に列挙する。
[0084] いくつかの実装形態に従い、３次元形状を表すための八分木であって、八分木のノードは、空ノード及び非空ノードを含み、空ノードは、３次元形状を含まず、且つ八分木の葉ノードであり、及び非空ノードは、３次元形状の少なくとも一部を含む、八分木を保存するように構成されたメモリと、メモリに結合され、且つ３次元形状を表すための八分木をメモリから取得することと、畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する八分木のノードについて、畳み込み層の出力を取得するために畳み込み層の畳み込み操作を実行することとを含む動作を実行するように構成された処理装置とを含む装置が提供される。
[0085] いくつかの実装形態において、３次元形状を表すための八分木を取得することは、３次元形状の空間分割に基づいて、八分木のノードのインデクス、八分木のノードのラベルであって、ノードが空ノード又は非空ノードであるか否かを少なくとも示すラベル、八分木のノードの形状データであって、ノード内の３次元形状の形状を少なくとも示す形状データ及び八分木の階層構造の少なくとも１つを取得することを含む。
[0086] いくつかの実装形態において、３次元形状を表すための八分木を取得することは、３次元形状を表すデータ信号を受信することと、データ信号を受信することに応答して、３次元形状を表すための八分木を決定することとを含む。
[0087] いくつかの実装形態において、畳み込み層の畳み込み操作を実行することは、畳み込み層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、八分木に基づいて８つのノードのノード近傍を決定することであって、ノード近傍は、８つのノードの少なくとも１つに隣接するノードを含む、決定することと、ノード近傍に対して８つのノードの畳み込み層の操作を実行することとを含む。
[0088] いくつかの実装形態において、畳み込みニューラルネットワークは、プーリング層を含み、及び動作は、プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、８つのノードの形状データに対してダウンサンプリング操作を実行することとを更に含む。
[0089] いくつかの実装形態において、畳み込みニューラルネットワークは、逆プーリング層を含み、及び動作は、逆プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、８つのノードの形状データに対してアップサンプリング操作を実行することとを更に含む。
[0090] いくつかの実装形態において、畳み込みニューラルネットワークは、逆畳み込み層を含み、及び動作は、逆畳み込み層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、八分木に基づいて８つのノードのノード近傍を決定することであって、ノード近傍は、８つのノードの少なくとも１つに隣接するノードを含む、決定することと、ノード近傍に対して８つのノードの逆畳み込み層の操作を実行することとを更に含む。
[0091] いくつかの実装形態において、インデクス、ラベル、形状データ及び階層構造の少なくとも１つは、連続ベクトルとして定義される。
[0092] いくつかの実装形態において、装置は、グラフィック処理装置（ＧＰＵ）である。
[0093] いくつかの実装形態に従い、３次元形状を表すための八分木であって、八分木のノードは、空ノード及び非空ノードを含み、空ノードは、３次元形状を含まず、且つ八分木の葉ノードであり、及び非空ノードは、３次元形状の少なくとも一部を含む、八分木を取得することと、畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する八分木のノードについて、畳み込み層の出力を取得するために畳み込み層の畳み込み操作を実行することとを含むコンピュータ実装方法が提供される。
[0094] いくつかの実装形態において、３次元形状を表すための八分木を取得することは、３次元形状の空間分割に基づいて、八分木のノードのインデクス、八分木のノードのラベルであって、ノードが空ノード又は非空ノードであるか否かを少なくとも示すラベル、八分木のノードの形状データであって、ノード内の３次元形状の形状を少なくとも示す形状データ及び八分木の階層構造の少なくとも１つを取得することを含む。
[0095] いくつかの実装形態において、３次元形状を表すための八分木を取得することは、３次元形状を表すデータ信号を受信することと、データ信号を受信することに応答して、３次元形状を表すための八分木を決定することとを含む。
[0096] いくつかの実装形態において、畳み込み層の畳み込み操作を実行することは、畳み込み層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、八分木に基づいて８つのノードのノード近傍を決定することであって、ノード近傍は、８つのノードの少なくとも１つに隣接するノードを含む、決定することと、ノード近傍に対して８つのノードの畳み込み層の操作を実行することとを含む。
[0097] いくつかの実装形態において、畳み込みニューラルネットワークは、プーリング層を含み、及び本方法は、プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、８つのノードの形状データに対してダウンサンプリング操作を実行することとを更に含む。
[0098] いくつかの実装形態において、畳み込みニューラルネットワークは、逆プーリング層を含み、及び本方法は、逆プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、８つのノードの形状データに対してアップサンプリング操作を実行することとを更に含む。
[0099] いくつかの実装形態において、畳み込みニューラルネットワークは、逆畳み込み層を含み、及び本方法は、逆畳み込み層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、八分木に基づいて８つのノードのノード近傍を決定することであって、ノード近傍は、８つのノードの少なくとも１つに隣接するノードを含む、決定することと、ノード近傍に対して８つのノードの逆畳み込み層の操作を実行することとを更に含む。
[00100] いくつかの実装形態において、インデクス、ラベル、形状データ及び階層構造の少なくとも１つは、連続ベクトルとして定義される。
[00101] いくつかの実装形態において、畳み込み層の畳み込み操作を実行することは、グラフィック処理装置（ＧＰＵ）で畳み込み層の畳み込み操作を実行することを含む。
[00102] いくつかの実装形態において、コンピュータ可読媒体に有形的に保存された命令を含むコンピュータプログラム製品であって、命令は、機械によって実行された場合、機械に、３次元形状を表すための八分木であって、八分木のノードは、空ノード及び非空ノードを含み、空ノードは、３次元形状を含まず、且つ八分木の葉ノードであり、及び非空ノードは、３次元形状の少なくとも一部を含む、八分木を取得することと、畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する八分木のノードについて、畳み込み層の出力を取得するために畳み込み層の畳み込み操作を実行することとを含む方法を実施させる、コンピュータプログラム製品が提供される。
[00103] いくつかの実装形態において、３次元形状を表すための八分木を取得することは、３次元形状の空間分割に基づいて、八分木のノードのインデクス、八分木のノードのラベルであって、ノードが空ノード又は非空ノードであるか否かを少なくとも示すラベル、八分木のノードの形状データであって、ノード内の３次元形状の形状を少なくとも示す形状データ及び八分木の階層構造の少なくとも１つを取得することを含む。
[00104] いくつかの実装形態において、３次元形状を表すための八分木を取得することは、３次元形状を表すデータ信号を受信することと、データ信号を受信することに応答して、３次元形状を表すための八分木を決定することとを含む。
[00105] いくつかの実装形態において、畳み込み層の畳み込み操作を実行することは、畳み込み層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、八分木に基づいて８つのノードのノード近傍を決定することであって、ノード近傍は、８つのノードの少なくとも１つに隣接するノードを含む、決定することと、ノード近傍に対して８つのノードの畳み込み層の操作を実行することとを含む。
[00106] いくつかの実装形態において、畳み込みニューラルネットワークは、プーリング層を含み、及び本方法は、プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、８つのノードの形状データに対してダウンサンプリング操作を実行することとを更に含む。
[00107] いくつかの実装形態において、畳み込みニューラルネットワークは、逆プーリング層を含み、及び本方法は、逆プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、８つのノードの形状データに対してアップサンプリング操作を実行することとを更に含む。
[00108] いくつかの実装形態において、畳み込みニューラルネットワークは、逆畳み込み層を含み、及び本方法は、逆畳み込み層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、八分木に基づいて８つのノードのノード近傍を決定することであって、ノード近傍は、８つのノードの少なくとも１つに隣接するノードを含む、決定することと、ノード近傍に対して８つのノードの逆畳み込み層の操作を実行することとを更に含む。
[00109] いくつかの実装形態において、インデクス、ラベル、形状データ及び階層構造の少なくとも１つは、連続ベクトルとして定義される。
[00110] 主題が構造的特徴及び／又は方法論理動作に固有の言語で記述されてきたが、添付の請求項により規定される主題は、上述の特定の特徴及び動作に限定されないことを理解されたい。逆に、上述の特定の特徴及び動作は、請求項を実現するための例示的な形式に過ぎない。

Claims (15)

  1. ３次元形状を表すための八分木であって、前記八分木のノードは、空ノード及び非空ノードを含み、前記空ノードは、前記３次元形状を含まず、且つ前記八分木の葉ノードであり、及び前記非空ノードは、前記３次元形状の少なくとも一部を含む、八分木を保存するように構成されたメモリと、
    前記メモリに結合され、且つ
    前記３次元形状を表すための前記八分木を前記メモリから取得することと、
    畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する前記八分木のノードについて、前記畳み込み層の出力を取得するために前記畳み込み層の畳み込み操作を実行することと、
    を含む動作を実行するように構成された処理装置と、
    を含む装置。
  2. 前記３次元形状を表すための前記八分木を取得することは、前記３次元形状の空間分割に基づいて、
    前記八分木のノードのインデクス、
    前記八分木のノードのラベルであって、前記ノードが空ノード又は非空ノードであるか否かを少なくとも示すラベル、
    前記八分木のノードの形状データであって、前記ノード内の前記３次元形状の形状を少なくとも示す形状データ、及び
    前記八分木の階層構造、
    の少なくとも１つを取得することを含む、請求項１に記載の装置。
  3. 前記３次元形状を表すための前記八分木を取得することは、
    前記３次元形状を表すデータ信号を受信することと、
    前記データ信号を受信することに応答して、前記３次元形状を表すための前記八分木を決定することと、
    を含む、請求項１に記載の装置。
  4. 前記畳み込み層の畳み込み操作を実行することは、
    前記畳み込み層に関連付けられた前記深さを有する前記ノードから、同一の親ノードを有する８つのノードを決定することと、
    前記八分木に基づいて前記８つのノードのノード近傍を決定することであって、前記ノード近傍は、前記８つのノードの少なくとも１つに隣接するノードを含む、決定することと、
    前記ノード近傍に対して前記８つのノードの前記畳み込み層の前記操作を実行することと、
    を含む、請求項１に記載の装置。
  5. 前記畳み込みニューラルネットワークは、プーリング層を含み、前記動作は、
    前記プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、
    前記８つのノードの形状データに対してダウンサンプリング操作を実行することと、
    を更に含む、請求項１に記載の装置。
  6. 前記畳み込みニューラルネットワークは、逆プーリング層を含み、及び前記動作は、
    前記逆プーリング層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、
    前記８つのノードの形状データに対してアップサンプリング操作を実行することと、
    を更に含む、請求項１に記載の装置。
  7. 前記畳み込みニューラルネットワークは、逆畳み込み層を含み、及び前記動作は、
    前記逆畳み込み層に関連付けられた深さを有するノードから、同一の親ノードを有する８つのノードを決定することと、
    前記八分木に基づいて前記８つのノードのノード近傍を決定することであって、前記ノード近傍は、前記８つのノードの少なくとも１つに隣接するノードを含む、決定することと、
    前記ノード近傍に対して、前記８つのノードの前記逆畳み込み層の操作を実行することと、
    を更に含む、請求項１に記載の装置。
  8. 前記インデクス、前記ラベル、前記形状データ及び前記階層構造の少なくとも１つは、連続ベクトルとして定義される、請求項２に記載の装置。
  9. グラフィック処理装置（ＧＰＵ）である、請求項１に記載の装置。
  10. ３次元形状を表すための八分木であって、前記八分木のノードは、空ノード及び非空ノードを含み、前記空ノードは、前記３次元形状を含まず、且つ前記八分木の葉ノードであり、及び前記非空ノードは、前記３次元形状の少なくとも一部を含む、八分木を取得することと、
    畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する前記八分木のノードについて、前記畳み込み層の出力を取得するために前記畳み込み層の畳み込み操作を実行することと、
    を含むコンピュータ実装方法。
  11. ３次元形状を表すための八分木を取得することは、前記３次元形状の空間分割に基づいて、
    前記八分木のノードのインデクス、
    前記八分木のノードのラベルであって、前記ノードが空ノード又は非空ノードであるか否かを少なくとも示すラベル、
    前記八分木のノードの形状データであって、前記ノード内の前記３次元形状の形状を少なくとも示す形状データ、及び
    前記八分木の階層構造、
    の少なくとも１つを取得することを含む、請求項１０に記載の方法。
  12. ３次元形状を表すための八分木を取得することは、
    前記３次元形状を表すデータ信号を受信することと、
    前記データ信号を受信することに応答して、前記３次元形状を表すための前記八分木を決定することと、
    を含む、請求項１０に記載の方法。
  13. 前記畳み込み層の畳み込み操作を実行することは、
    前記畳み込み層に関連付けられた前記深さを有する前記ノードから、同一の親ノードを有する８つのノードを決定することと、
    前記八分木に基づいて前記８つのノードのノード近傍を決定することであって、前記ノード近傍は、前記８つのノードの少なくとも１つに隣接するノードを含む、決定することと、
    前記ノード近傍に対して前記８つのノードの前記畳み込み層の操作を実行することと、
    を含む、請求項１０に記載の方法。
  14. コンピュータ可読媒体に有形的に保存された命令を含むコンピュータプログラム製品であって、前記命令は、機械によって実行された場合、前記機械に、
    ３次元形状を表すための八分木であって、前記八分木のノードは、空ノード及び非空ノードを含み、前記空ノードは、３次元形状を含まず、且つ前記八分木の葉ノードであり、及び前記非空ノードは、前記３次元形状の少なくとも一部を含む、八分木を取得することと、
    畳み込みニューラルネットワークの畳み込み層に関連付けられた深さを有する前記八分木のノードについて、前記畳み込み層の出力を取得するために前記畳み込み層の畳み込み操作を実行することと、
    を含む方法を実施させる、コンピュータプログラム製品。
  15. ３次元形状を表すための八分木を取得することは、前記３次元形状の空間分割に基づいて、
    前記八分木のノードのインデクス、
    前記八分木のノードのラベルであって、前記ノードが空ノード又は非空ノードであるか否かを少なくとも示すラベル、
    前記八分木のノードの形状データであって、前記ノード内の前記３次元形状の形状を少なくとも示す形状データ、及び
    前記八分木の階層構造、
    の少なくとも１つを取得することを含む、請求項１４に記載のコンピュータプログラム製品。
JP2019549375A 2017-04-28 2018-04-20 八分木に基づく畳み込みニューラルネットワーク Active JP7194685B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710297300.4 2017-04-28
CN201710297300.4A CN108805261B (zh) 2017-04-28 2017-04-28 基于八叉树的卷积神经网络
PCT/US2018/028458 WO2018200316A2 (en) 2017-04-28 2018-04-20 Octree-based convolutional neural network

Publications (2)

Publication Number Publication Date
JP2020518882A true JP2020518882A (ja) 2020-06-25
JP7194685B2 JP7194685B2 (ja) 2022-12-22

Family

ID=62186529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019549375A Active JP7194685B2 (ja) 2017-04-28 2018-04-20 八分木に基づく畳み込みニューラルネットワーク

Country Status (17)

Country Link
US (1) US11704537B2 (ja)
EP (1) EP3616166A2 (ja)
JP (1) JP7194685B2 (ja)
KR (1) KR20190142343A (ja)
CN (1) CN108805261B (ja)
AU (1) AU2018258094B2 (ja)
BR (1) BR112019022275A2 (ja)
CA (1) CA3056959A1 (ja)
CL (1) CL2019003013A1 (ja)
CO (1) CO2019012038A2 (ja)
IL (1) IL270192B2 (ja)
MX (1) MX2019012673A (ja)
PH (1) PH12019550187A1 (ja)
RU (1) RU2767162C2 (ja)
SG (1) SG11201909561RA (ja)
WO (1) WO2018200316A2 (ja)
ZA (1) ZA201905869B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018022011A1 (en) * 2016-07-26 2018-02-01 Hewlett-Packard Development Company, L.P. Indexing voxels for 3d printing
CN108805261B (zh) 2017-04-28 2021-11-12 微软技术许可有限责任公司 基于八叉树的卷积神经网络
CN109829399B (zh) * 2019-01-18 2022-07-05 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
EP3825956B1 (en) * 2019-11-21 2022-06-22 Dassault Systèmes Processing a 3d signal of a shape attribute over a real object
CN114041292A (zh) * 2019-11-22 2022-02-11 腾讯美国有限责任公司 用于神经网络模型压缩的三维(3d)树编解码的方法和装置
JP2022520912A (ja) * 2020-01-22 2022-04-04 深▲チェン▼市商▲湯▼科技有限公司 データ処理方法、装置及びチップ、電子機器、記憶媒体
CN112102467B (zh) * 2020-07-22 2024-05-24 深圳市菲森科技有限公司 一种基于gpu的并行八叉树生成、装置及电子设备
CN112256652B (zh) * 2020-10-19 2022-09-16 济南大学 一种三维点云属性压缩方法、系统及终端
CN113160902B (zh) * 2021-04-09 2024-05-10 大连理工大学 一种预测化学反应产物对映选择性的方法
US11810250B2 (en) 2021-06-30 2023-11-07 Tencent America LLC Systems and methods of hierarchical implicit representation in octree for 3D modeling
WO2023172573A1 (en) 2022-03-07 2023-09-14 Quidient, Llc Systems and methods for generalized scene reconstruction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277562A (ja) * 2005-03-30 2006-10-12 Fujitsu Ltd ３次元データ管理装置および３次元データ処理装置
JP2013069132A (ja) * 2011-09-22 2013-04-18 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446635B1 (ko) * 2001-11-27 2004-09-04 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
GB0209080D0 (en) 2002-04-20 2002-05-29 Virtual Mirrors Ltd Methods of generating body models from scanned data
US6903738B2 (en) 2002-06-17 2005-06-07 Mitsubishi Electric Research Laboratories, Inc. Image-based 3D modeling rendering system
US7519603B2 (en) * 2002-11-27 2009-04-14 Zyvex Labs, Llc Efficient data structure
RU2339083C2 (ru) * 2003-12-19 2008-11-20 ТиДиВижн Корпорейшн Эс.Эй.ДЕ Си.Ви Система трехмерной видеоигры
KR100519780B1 (ko) * 2004-02-17 2005-10-07 삼성전자주식회사 3차원 체적 데이터 부호화/복호화 방법 및 장치
US20060017720A1 (en) 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
US8169434B2 (en) * 2008-09-29 2012-05-01 Microsoft Corporation Octree construction on graphics processing units
CN102214366B (zh) * 2011-07-20 2013-01-16 浙江万里学院 三维点采样数据高性能渲染方法
CN102999937A (zh) * 2011-09-08 2013-03-27 上海翰攀信息科技有限公司 心脏散乱点云数据曲面重建的方法
US9396512B2 (en) * 2012-03-09 2016-07-19 Nvidia Corporation Fully parallel construction of k-d trees, octrees, and quadtrees in a graphics processing unit
US10013507B2 (en) * 2013-07-01 2018-07-03 Here Global B.V. Learning synthetic models for roof style classification using point clouds
EP2933777A1 (en) * 2014-04-17 2015-10-21 amberMind Three dimensional modeling
EP3007136B1 (en) 2014-10-09 2019-01-16 Huawei Technologies Co., Ltd. Apparatus and method for generating an augmented reality representation of an acquired image
CN104616345B (zh) * 2014-12-12 2017-05-24 浙江大学 一种基于八叉树森林压缩的三维体素存取方法
EP3295368A1 (en) 2015-05-13 2018-03-21 Google LLC Deepstereo: learning to predict new views from real world imagery
US20160379109A1 (en) 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Convolutional neural networks on hardware accelerators
US10235606B2 (en) 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
EP3156942A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
US9495764B1 (en) 2016-03-21 2016-11-15 URC Ventures, Inc. Verifying object measurements determined from mobile device images
CN106095907A (zh) * 2016-06-08 2016-11-09 江西理工大学 基于八叉树与三维r星树集成的激光点云数据管理方法
EP3608876A1 (en) * 2016-09-13 2020-02-12 Dassault Systèmes Compressing a signal that represents a physical attribute
CN108805261B (zh) 2017-04-28 2021-11-12 微软技术许可有限责任公司 基于八叉树的卷积神经网络
CN109410321B (zh) 2018-10-17 2022-09-20 大连理工大学 基于卷积神经网络的三维重建方法
US11671110B2 (en) 2019-11-22 2023-06-06 Tencent America LLC Method and apparatus for neural network model compression/decompression
CN112991424B (zh) 2021-04-07 2024-02-13 重庆大学 一种基于八叉树算法的分形维数计算方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277562A (ja) * 2005-03-30 2006-10-12 Fujitsu Ltd ３次元データ管理装置および３次元データ処理装置
JP2013069132A (ja) * 2011-09-22 2013-04-18 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GERNOT RIEGLER, ALI OSMAN ULUSOY AND ANDREAS GEIGER: "OctNet: Learning Deep 3D Representations at High Resolutions", ARXIV.ORG [ONLINE], JPN6022002848, 10 April 2017 (2017-04-10), US, ISSN: 0004802264 *

Also Published As

Publication number Publication date
PH12019550187A1 (en) 2020-06-08
CA3056959A1 (en) 2018-11-01
MX2019012673A (es) 2020-02-05
CN108805261B (zh) 2021-11-12
US11704537B2 (en) 2023-07-18
RU2767162C2 (ru) 2022-03-16
AU2018258094B2 (en) 2022-04-21
EP3616166A2 (en) 2020-03-04
CL2019003013A1 (es) 2020-03-27
CN108805261A (zh) 2018-11-13
IL270192B2 (en) 2024-05-01
ZA201905869B (en) 2020-11-25
BR112019022275A2 (pt) 2020-05-19
US20200042863A1 (en) 2020-02-06
WO2018200316A3 (en) 2019-02-07
AU2018258094A1 (en) 2019-09-19
SG11201909561RA (en) 2019-11-28
IL270192A (ja) 2019-12-31
KR20190142343A (ko) 2019-12-26
JP7194685B2 (ja) 2022-12-22
RU2019138328A (ru) 2021-05-28
WO2018200316A2 (en) 2018-11-01
CO2019012038A2 (es) 2020-01-17
IL270192B1 (en) 2024-01-01

Similar Documents

Publication Publication Date Title
JP7194685B2 (ja) 八分木に基づく畳み込みニューラルネットワーク
Zhang et al. A review of deep learning-based semantic segmentation for point cloud
Riegler et al. Octnet: Learning deep 3d representations at high resolutions
Wei et al. Superpixel hierarchy
US10922793B2 (en) Guided hallucination for missing image content using a neural network
US20190147296A1 (en) Creating an image utilizing a map representing different classes of pixels
US20220058429A1 (en) Method for fine-grained sketch-based scene image retrieval
US20130235050A1 (en) Fully parallel construction of k-d trees, octrees, and quadtrees in a graphics processing unit
US20210090328A1 (en) Tile-based sparsity aware dataflow optimization for sparse data
Liu et al. A new point containment test algorithm based on preprocessing and determining triangles
Liu et al. Pvnas: 3d neural architecture search with point-voxel convolution
Ahmad et al. 3D capsule networks for object classification from 3D model data
Jiang et al. Recognizing vector graphics without rasterization
US20220012536A1 (en) Creating an image utilizing a map representing different classes of pixels
Shan et al. Interactive visual exploration of halos in large-scale cosmology simulation
KR20240013085A (ko) 기계 시각을 위한 이미지 데이터 처리 방법들 및 장치
Heidari et al. Parallel implementation of color based image retrieval using CUDA on the GPU
Doraiswamy et al. Spade: Gpu-powered spatial database engine for commodity hardware
Vučković et al. Generalized N-way iterative scanline fill algorithm for real-time applications
CN104992425A (zh) 一种基于gpu加速的dem超分辨率方法
Shaharabany et al. End-to-end segmentation of medical images via patch-wise polygons prediction
Teng et al. 3dpro: querying complex three-dimensional data with progressive compression and refinement
Li et al. 3D face point cloud super-resolution network
Askari et al. Parallel gpu implementation of hough transform for circles
CN116502303B (zh) 一种基于场景层级实例信息增强的bim模型可视化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220421

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221019

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221019

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221031

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7194685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150