JP2023502140A - タスク固有のデータ利用のための物理学により誘導されたディープマルチモーダル埋め込みのための方法及び装置 - Google Patents
タスク固有のデータ利用のための物理学により誘導されたディープマルチモーダル埋め込みのための方法及び装置 Download PDFInfo
- Publication number
- JP2023502140A JP2023502140A JP2022534235A JP2022534235A JP2023502140A JP 2023502140 A JP2023502140 A JP 2023502140A JP 2022534235 A JP2022534235 A JP 2022534235A JP 2022534235 A JP2022534235 A JP 2022534235A JP 2023502140 A JP2023502140 A JP 2023502140A
- Authority
- JP
- Japan
- Prior art keywords
- modality
- sensor
- data
- modalities
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 239000013598 vector Substances 0.000 claims abstract description 203
- 230000000704 physical effect Effects 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims description 107
- 238000000605 extraction Methods 0.000 claims description 34
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 24
- 238000013499 data model Methods 0.000 description 23
- 238000013527 convolutional neural network Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000013481 data capture Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004566 IR spectroscopy Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000011157 data evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
Description
[発明の項目]
[項目1]
少なくとも2つのモダリティを有する共通シーンから捕捉されたセンサデータを組み合わせるための共通埋め込み空間を訓練するための方法であって、
前記少なくとも2つのモダリティのうちの第1のモダリティを有する複数の前記捕捉センサデータのそれぞれについて、センサデータ固有のニューラルネットワークを用いて、前記第1のモダリティを有する前記センサデータの特徴のそれぞれの第1のモダリティのセンサ-データベクトル表現を作成するステップと、
前記少なくとも2つのモダリティのうちの第2のモダリティを有する複数の前記捕捉センサデータのそれぞれについて、センサデータ固有のニューラルネットワークを用いて、前記第2のモダリティを有する前記センサデータの前記特徴のそれぞれの第2のモダリティのセンサ-データベクトル表現を作成するステップと、
共通埋め込み空間に、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を埋め込み、モダリティにわたって関係付けられた埋め込まれたモダリティのベクトルが、関係付けられていないモダリティのベクトルよりも、前記共通埋め込み空間において互いにより近くなるようにするステップと、
前記埋め込まれた第1のモダリティのセンサ-データベクトル表現と、前記第2のモダリティのベクトル表現とをそれぞれ組み合わせるステップと、
を含み、
前記第1及び第2のモダリティのセンサ-データベクトル表現の前記作成、並びに前記第1及び前記第2のモダリティのセンサ-データベクトル表現の前記埋め込みのうちの少なくとも一方が、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータを捕捉したそれぞれのセンサのうちの少なくとも1つの物理特性と、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータの物理特性とによって誘導される、方法。
[項目2]
センサデータ固有のニューラルネットワークは、前記センサデータ固有のニューラルネットワークが適用されるモダリティを有するセンサデータの特徴を認識するように予め訓練される、項目1に記載の方法。
[項目3]
前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現は、後期融合を用いて組み合わされる、項目1に記載の方法。
[項目4]
前記少なくとも2つのモダリティのうちの、複数の、前記第1のモダリティを有する前記捕捉センサデータ、及び前記第2のモダリティを有する前記捕捉センサデータ間の差異を決定するステップを更に含む、項目1に記載の方法。
[項目5]
前記第1のモダリティ及び前記第2のモダリティを有する前記捕捉センサデータ間の前記決定された差異を用いて、前記第1のモダリティ又は前記第2のモダリティのうちの一方の欠落データが、前記第2のモダリティ又は前記第1のモダリティのうちの他方の捕捉データから決定される、項目4に記載の方法。
[項目6]
前記差異は、敵対的生成ネットワークを用いて決定される、項目4に記載の方法。
[項目7]
前記埋め込まれた第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのベクトル表現の各々の、前記組み合わせに対する寄与を決定するステップを含む、項目1に記載の方法。
[項目8]
前記物理特性は、表面反射、温度又は湿度のうちの少なくとも1つを含む、項目1に記載の方法。
[項目9]
共通埋め込み空間を用いる少なくとも2つのモダリティを有するセンサデータにおける、オブジェクト検出、オブジェクト分類又はオブジェクトセグメンテーションのうちの少なくとも1つのための方法であって、
前記少なくとも2つのモダリティのうちの第1のモダリティを有するセンサデータの特徴のそれぞれの第1のモダリティのセンサ-データベクトル表現を作成するステップと、
前記少なくとも2つのモダリティのうちの第2のモダリティを有するセンサデータの特徴のそれぞれの第2のモダリティのセンサ-データベクトル表現を作成するステップと、
前記共通埋め込み空間に、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を投影し、モダリティにわたって関係付けられた埋め込まれたモダリティのベクトルが、関係付けられていないモダリティのベクトルよりも、前記共通埋め込み空間において互いにより近くなるようにするステップと、
前記投影された第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を組み合わせるステップと、
距離関数を用いて、前記組み合わされたモダリティのセンサ-データベクトル表現と、前記共通埋め込み空間内のオブジェクトの特徴のそれぞれの埋め込まれたベクトル表現との間の類似度を決定して、前記少なくとも2つのモダリティを有する前記センサデータによって示される少なくとも1つのオブジェクトを識別するステップと、
を含み、
前記第1及び第2のモダリティのセンサ-データベクトル表現の前記作成、並びに前記第1及び前記第2のモダリティのセンサ-データベクトル表現の前記投影のうちの少なくとも一方は、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータを捕捉したそれぞれのセンサのうちの少なくとも1つの物理特性と、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータの物理特性とによって誘導される、方法。
[項目10]
前記少なくとも2つのモダリティのうちの、複数の、前記第1のモダリティを有する前記センサデータ、及び前記第2のモダリティを有する前記センサデータ間の差異を決定するステップを更に含む、項目9に記載の方法。
[項目11]
複数の、前記第1のモダリティを有する前記センサデータ、及び前記第2のモダリティを有する前記センサデータ間の前記決定された差異を用いて、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現のうちの少なくとも一方が作成される、項目10に記載の方法。
[項目12]
前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現のうちの少なくとも一方は、センサデータ固有のニューラルネットワークを用いて作成される、項目9に記載の方法。
[項目13]
前記埋め込まれた第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのベクトル表現の各々の、前記組み合わせに対する寄与が予め決定される、項目9に記載の方法。
[項目14]
前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現は、アテンションベースのモード融合を用いて組み合わされる、項目13に記載の方法。
[項目15]
共通埋め込み空間を用いる少なくとも2つのモダリティを有するセンサデータにおけるオブジェクト検出のための装置であって、
前記少なくとも2つのモダリティのうちの第1のモダリティを有するセンサデータの特徴のそれぞれの第1のモダリティのセンサ-データベクトル表現、及び前記少なくとも2つのモダリティのうちの第2のモダリティを有するセンサデータの特徴のそれぞれの第2のモダリティのセンサ-データベクトル表現を作成するように構成された少なくとも1つの特徴抽出モジュールと、
前記共通埋め込み空間に、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を投影し、モダリティにわたって関係付けられた埋め込まれたモダリティのベクトルが、関係付けられていないモダリティのベクトルよりも、前記共通埋め込み空間において互いにより近くなるようにするように構成された少なくとも1つの埋め込みモジュールと、
前記投影された第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を組み合わせるように構成された融合モジュールと、
距離関数を用いて、前記組み合わされたモダリティのセンサ-データベクトル表現と、前記共通埋め込み空間内のオブジェクトの特徴のそれぞれの埋め込まれたベクトル表現との間の類似度を決定して、前記少なくとも2つのモダリティを有する前記センサデータによって示される少なくとも1つのオブジェクトを識別するように構成された推論モジュールと、
を備え、
前記第1及び第2のモダリティのセンサ-データベクトル表現の前記作成、並びに前記第1及び前記第2のモダリティのセンサ-データベクトル表現の前記投影のうちの少なくとも一方は、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータを捕捉したそれぞれのセンサのうちの少なくとも1つの物理特性と、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータの物理特性とによって誘導される、装置。
[項目16]
前記少なくとも2つのモダリティのうちの、複数の、前記第1のモダリティを有する前記センサデータ、及び前記第2のモダリティを有する前記センサデータ間の差異を決定するように構成された敵対的生成ネットワークを更に備える、項目15に記載の装置。
[項目17]
前記敵対的生成ネットワークは、前記第1のモダリティ及び前記第2のモダリティを有する前記センサデータ間の前記決定された差異を用いて、前記第1のモダリティ又は前記第2のモダリティのうちの一方の欠落データを、前記第2のモダリティ又は前記第1のモダリティのうちの他方のデータから決定する、項目16に記載の装置。
[項目18]
前記融合モジュールは、前記少なくとも2つのモダリティのうちの前記投影された第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現の各々の、前記組み合わせに対する寄与を決定するように構成される、項目15に記載の装置。
[項目19]
前記融合モジュールは、アテンションベースのモード融合を適用して、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を組み合わせるように構成される、項目18に記載の装置。
[項目20]
前記物理特性は、表面反射、温度又は湿度のうちの少なくとも1つを含む、項目15に記載の装置。
Claims (20)
- 少なくとも2つのモダリティを有する共通シーンから捕捉されたセンサデータを組み合わせるための共通埋め込み空間を訓練するための方法であって、
前記少なくとも2つのモダリティのうちの第1のモダリティを有する複数の前記捕捉センサデータのそれぞれについて、センサデータ固有のニューラルネットワークを用いて、前記第1のモダリティを有する前記センサデータの特徴のそれぞれの第1のモダリティのセンサ-データベクトル表現を作成するステップと、
前記少なくとも2つのモダリティのうちの第2のモダリティを有する複数の前記捕捉センサデータのそれぞれについて、センサデータ固有のニューラルネットワークを用いて、前記第2のモダリティを有する前記センサデータの前記特徴のそれぞれの第2のモダリティのセンサ-データベクトル表現を作成するステップと、
共通埋め込み空間に、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を埋め込み、モダリティにわたって関係付けられた埋め込まれたモダリティのベクトルが、関係付けられていないモダリティのベクトルよりも、前記共通埋め込み空間において互いにより近くなるようにするステップと、
前記埋め込まれた第1のモダリティのセンサ-データベクトル表現と、前記第2のモダリティのベクトル表現とをそれぞれ組み合わせるステップと、
を含み、
前記第1及び第2のモダリティのセンサ-データベクトル表現の前記作成、並びに前記第1及び前記第2のモダリティのセンサ-データベクトル表現の前記埋め込みのうちの少なくとも一方が、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータを捕捉したそれぞれのセンサのうちの少なくとも1つの物理特性と、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータの物理特性とによって誘導される、方法。 - センサデータ固有のニューラルネットワークは、前記センサデータ固有のニューラルネットワークが適用されるモダリティを有するセンサデータの特徴を認識するように予め訓練される、請求項1に記載の方法。
- 前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現は、後期融合を用いて組み合わされる、請求項1に記載の方法。
- 前記少なくとも2つのモダリティのうちの、複数の、前記第1のモダリティを有する前記捕捉センサデータ、及び前記第2のモダリティを有する前記捕捉センサデータ間の差異を決定するステップを更に含む、請求項1に記載の方法。
- 前記第1のモダリティ及び前記第2のモダリティを有する前記捕捉センサデータ間の前記決定された差異を用いて、前記第1のモダリティ又は前記第2のモダリティのうちの一方の欠落データが、前記第2のモダリティ又は前記第1のモダリティのうちの他方の捕捉データから決定される、請求項4に記載の方法。
- 前記差異は、敵対的生成ネットワークを用いて決定される、請求項4に記載の方法。
- 前記埋め込まれた第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのベクトル表現の各々の、前記組み合わせに対する寄与を決定するステップを含む、請求項1に記載の方法。
- 前記物理特性は、表面反射、温度又は湿度のうちの少なくとも1つを含む、請求項1に記載の方法。
- 共通埋め込み空間を用いる少なくとも2つのモダリティを有するセンサデータにおける、オブジェクト検出、オブジェクト分類又はオブジェクトセグメンテーションのうちの少なくとも1つのための方法であって、
前記少なくとも2つのモダリティのうちの第1のモダリティを有するセンサデータの特徴のそれぞれの第1のモダリティのセンサ-データベクトル表現を作成するステップと、
前記少なくとも2つのモダリティのうちの第2のモダリティを有するセンサデータの特徴のそれぞれの第2のモダリティのセンサ-データベクトル表現を作成するステップと、
前記共通埋め込み空間に、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を投影し、モダリティにわたって関係付けられた埋め込まれたモダリティのベクトルが、関係付けられていないモダリティのベクトルよりも、前記共通埋め込み空間において互いにより近くなるようにするステップと、
前記投影された第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を組み合わせるステップと、
距離関数を用いて、前記組み合わされたモダリティのセンサ-データベクトル表現と、前記共通埋め込み空間内のオブジェクトの特徴のそれぞれの埋め込まれたベクトル表現との間の類似度を決定して、前記少なくとも2つのモダリティを有する前記センサデータによって示される少なくとも1つのオブジェクトを識別するステップと、
を含み、
前記第1及び第2のモダリティのセンサ-データベクトル表現の前記作成、並びに前記第1及び前記第2のモダリティのセンサ-データベクトル表現の前記投影のうちの少なくとも一方は、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータを捕捉したそれぞれのセンサのうちの少なくとも1つの物理特性と、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータの物理特性とによって誘導される、方法。 - 前記少なくとも2つのモダリティのうちの、複数の、前記第1のモダリティを有する前記センサデータ、及び前記第2のモダリティを有する前記センサデータ間の差異を決定するステップを更に含む、請求項9に記載の方法。
- 複数の、前記第1のモダリティを有する前記センサデータ、及び前記第2のモダリティを有する前記センサデータ間の前記決定された差異を用いて、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現のうちの少なくとも一方が作成される、請求項10に記載の方法。
- 前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現のうちの少なくとも一方は、センサデータ固有のニューラルネットワークを用いて作成される、請求項9に記載の方法。
- 前記埋め込まれた第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのベクトル表現の各々の、前記組み合わせに対する寄与が予め決定される、請求項9に記載の方法。
- 前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現は、アテンションベースのモード融合を用いて組み合わされる、請求項13に記載の方法。
- 共通埋め込み空間を用いる少なくとも2つのモダリティを有するセンサデータにおけるオブジェクト検出のための装置であって、
前記少なくとも2つのモダリティのうちの第1のモダリティを有するセンサデータの特徴のそれぞれの第1のモダリティのセンサ-データベクトル表現、及び前記少なくとも2つのモダリティのうちの第2のモダリティを有するセンサデータの特徴のそれぞれの第2のモダリティのセンサ-データベクトル表現を作成するように構成された少なくとも1つの特徴抽出モジュールと、
前記共通埋め込み空間に、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を投影し、モダリティにわたって関係付けられた埋め込まれたモダリティのベクトルが、関係付けられていないモダリティのベクトルよりも、前記共通埋め込み空間において互いにより近くなるようにするように構成された少なくとも1つの埋め込みモジュールと、
前記投影された第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を組み合わせるように構成された融合モジュールと、
距離関数を用いて、前記組み合わされたモダリティのセンサ-データベクトル表現と、前記共通埋め込み空間内のオブジェクトの特徴のそれぞれの埋め込まれたベクトル表現との間の類似度を決定して、前記少なくとも2つのモダリティを有する前記センサデータによって示される少なくとも1つのオブジェクトを識別するように構成された推論モジュールと、
を備え、
前記第1及び第2のモダリティのセンサ-データベクトル表現の前記作成、並びに前記第1及び前記第2のモダリティのセンサ-データベクトル表現の前記投影のうちの少なくとも一方は、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータを捕捉したそれぞれのセンサのうちの少なくとも1つの物理特性と、前記第1のモダリティのセンサデータ及び前記第2のモダリティのセンサデータの物理特性とによって誘導される、装置。 - 前記少なくとも2つのモダリティのうちの、複数の、前記第1のモダリティを有する前記センサデータ、及び前記第2のモダリティを有する前記センサデータ間の差異を決定するように構成された敵対的生成ネットワークを更に備える、請求項15に記載の装置。
- 前記敵対的生成ネットワークは、前記第1のモダリティ及び前記第2のモダリティを有する前記センサデータ間の前記決定された差異を用いて、前記第1のモダリティ又は前記第2のモダリティのうちの一方の欠落データを、前記第2のモダリティ又は前記第1のモダリティのうちの他方のデータから決定する、請求項16に記載の装置。
- 前記融合モジュールは、前記少なくとも2つのモダリティのうちの前記投影された第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現の各々の、前記組み合わせに対する寄与を決定するように構成される、請求項15に記載の装置。
- 前記融合モジュールは、アテンションベースのモード融合を適用して、前記第1のモダリティのセンサ-データベクトル表現及び前記第2のモダリティのセンサ-データベクトル表現を組み合わせるように構成される、請求項18に記載の装置。
- 前記物理特性は、表面反射、温度又は湿度のうちの少なくとも1つを含む、請求項15に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062987697P | 2020-03-10 | 2020-03-10 | |
US62/987,697 | 2020-03-10 | ||
PCT/US2021/017731 WO2021183256A1 (en) | 2020-03-10 | 2021-02-11 | Physics-guided deep multimodal embeddings for task-specific data exploitation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023502140A true JP2023502140A (ja) | 2023-01-20 |
JP7332238B2 JP7332238B2 (ja) | 2023-08-23 |
Family
ID=77672008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022534235A Active JP7332238B2 (ja) | 2020-03-10 | 2021-02-11 | タスク固有のデータ利用のための物理学により誘導されたディープマルチモーダル埋め込みのための方法及び装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230004797A1 (ja) |
JP (1) | JP7332238B2 (ja) |
WO (1) | WO2021183256A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11921824B1 (en) * | 2021-03-29 | 2024-03-05 | Amazon Technologies, Inc. | Sensor data fusion using cross-modal transformer |
US20230316592A1 (en) * | 2022-03-31 | 2023-10-05 | Konica Minolta Business Solutions U.S.A., Inc. | Method and system for automated generation of representative icons from images |
GB2618526A (en) * | 2022-05-03 | 2023-11-15 | Oxa Autonomy Ltd | Generating a descriptor associated with data of a first modality |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014512897A (ja) * | 2011-03-16 | 2014-05-29 | コーニンクレッカ フィリップス エヌ ヴェ | 医療データの知的リンキング方法及びシステム |
WO2018104563A2 (en) * | 2016-12-09 | 2018-06-14 | Tomtom Global Content B.V. | Method and system for video-based positioning and mapping |
US20180375743A1 (en) * | 2015-12-26 | 2018-12-27 | Intel Corporation | Dynamic sampling of sensor data |
WO2019016968A1 (ja) * | 2017-07-21 | 2019-01-24 | 学校法人玉川学園 | 画像処理装置及び方法、並びに、プログラム |
WO2019049856A1 (ja) * | 2017-09-07 | 2019-03-14 | 株式会社日立ハイテクノロジーズ | 材料仕様情報サーバ、材料選択支援方法及び材料選択支援システム |
WO2019057954A1 (en) * | 2017-09-22 | 2019-03-28 | Softbank Robotics Europe | ENHANCED LOCATION OF A MOBILE DEVICE BASED ON IMAGE AND RADIO WORDS |
US20190135300A1 (en) * | 2018-12-28 | 2019-05-09 | Intel Corporation | Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles |
US20190293462A1 (en) * | 2018-03-23 | 2019-09-26 | Industry-Academic Cooperation Foundation, Dankook University | Apparatus and method for processing multi-type sensor signal on the basis of multi-modal deep learning |
WO2019220622A1 (ja) * | 2018-05-18 | 2019-11-21 | 日本電気株式会社 | 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
JP2019535063A (ja) * | 2016-12-30 | 2019-12-05 | 三菱電機株式会社 | マルチモーダルフュージョンモデルのための方法及びシステム |
US20200018852A1 (en) * | 2018-07-12 | 2020-01-16 | Toyota Research Institute, Inc. | System and method for calibrating a lidar and a camera together using semantic segmentation |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8712156B2 (en) | 2010-01-10 | 2014-04-29 | Bronstein Bronstein Kimmel Technologies Ltd. | Comparison of visual information |
KR102360246B1 (ko) * | 2016-02-22 | 2022-02-07 | 에스케이텔레콤 주식회사 | 멀티모달학습장치 및 멀티모달 학습 방법 |
US11106967B2 (en) | 2017-07-03 | 2021-08-31 | X Development Llc | Update of local features model based on correction to robot action |
US20190197400A1 (en) | 2017-12-27 | 2019-06-27 | Facebook, Inc. | Topic classification using a jointly trained artificial neural network |
US10885111B2 (en) * | 2018-04-16 | 2021-01-05 | International Business Machines Corporation | Generating cross-domain data using variational mapping between embedding spaces |
US11055555B2 (en) | 2018-04-20 | 2021-07-06 | Sri International | Zero-shot object detection |
CA3100065A1 (en) | 2018-05-30 | 2019-12-05 | Quantum-Si Incorporated | Methods and apparatus for multi-modal prediction using a trained statistical model |
-
2021
- 2021-02-11 WO PCT/US2021/017731 patent/WO2021183256A1/en active Application Filing
- 2021-02-11 US US17/781,827 patent/US20230004797A1/en active Pending
- 2021-02-11 JP JP2022534235A patent/JP7332238B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014512897A (ja) * | 2011-03-16 | 2014-05-29 | コーニンクレッカ フィリップス エヌ ヴェ | 医療データの知的リンキング方法及びシステム |
US20180375743A1 (en) * | 2015-12-26 | 2018-12-27 | Intel Corporation | Dynamic sampling of sensor data |
WO2018104563A2 (en) * | 2016-12-09 | 2018-06-14 | Tomtom Global Content B.V. | Method and system for video-based positioning and mapping |
JP2019535063A (ja) * | 2016-12-30 | 2019-12-05 | 三菱電機株式会社 | マルチモーダルフュージョンモデルのための方法及びシステム |
WO2019016968A1 (ja) * | 2017-07-21 | 2019-01-24 | 学校法人玉川学園 | 画像処理装置及び方法、並びに、プログラム |
WO2019049856A1 (ja) * | 2017-09-07 | 2019-03-14 | 株式会社日立ハイテクノロジーズ | 材料仕様情報サーバ、材料選択支援方法及び材料選択支援システム |
WO2019057954A1 (en) * | 2017-09-22 | 2019-03-28 | Softbank Robotics Europe | ENHANCED LOCATION OF A MOBILE DEVICE BASED ON IMAGE AND RADIO WORDS |
US20190293462A1 (en) * | 2018-03-23 | 2019-09-26 | Industry-Academic Cooperation Foundation, Dankook University | Apparatus and method for processing multi-type sensor signal on the basis of multi-modal deep learning |
WO2019220622A1 (ja) * | 2018-05-18 | 2019-11-21 | 日本電気株式会社 | 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
US20200018852A1 (en) * | 2018-07-12 | 2020-01-16 | Toyota Research Institute, Inc. | System and method for calibrating a lidar and a camera together using semantic segmentation |
US20190135300A1 (en) * | 2018-12-28 | 2019-05-09 | Intel Corporation | Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles |
Also Published As
Publication number | Publication date |
---|---|
WO2021183256A1 (en) | 2021-09-16 |
JP7332238B2 (ja) | 2023-08-23 |
US20230004797A1 (en) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7332238B2 (ja) | タスク固有のデータ利用のための物理学により誘導されたディープマルチモーダル埋め込みのための方法及び装置 | |
US11557085B2 (en) | Neural network processing for multi-object 3D modeling | |
US20190370647A1 (en) | Artificial intelligence analysis and explanation utilizing hardware measures of attention | |
JP2020508522A (ja) | 監視されていないクロスドメイン画像生成のための周期的敵対的生成ネットワーク | |
JP2022503647A (ja) | クロスドメイン画像変換 | |
KR102321998B1 (ko) | 환경 변화에 강인한 이미지의 위치 및 방향 추정 방법 및 시스템 | |
CN113795851A (zh) | 具有针对使用对抗训练的表示学习的推理的大规模生成神经网络模型 | |
US10599975B2 (en) | Scalable parameter encoding of artificial neural networks obtained via an evolutionary process | |
CN113065635A (zh) | 一种模型的训练方法、图像增强方法及设备 | |
US20220222832A1 (en) | Machine learning framework applied in a semi-supervised setting to perform instance tracking in a sequence of image frames | |
CN111340190A (zh) | 构建网络结构的方法与装置、及图像生成方法与装置 | |
US10783660B2 (en) | Detecting object pose using autoencoders | |
CN114239885A (zh) | 一种运行故障预测方法及装置 | |
Liu et al. | Graphcspn: Geometry-aware depth completion via dynamic gcns | |
CN115661336A (zh) | 一种三维重建方法及相关装置 | |
Katyal et al. | Occupancy map prediction using generative and fully convolutional networks for vehicle navigation | |
KR20220065209A (ko) | 다양한 품질의 영상을 인식하는 방법 및 장치 | |
US20220398283A1 (en) | Method for fast and better tree search for reinforcement learning | |
Tan et al. | 3D detection transformer: Set prediction of objects using point clouds | |
Anupama et al. | Extrapolating z-axis data for a 2d image on a single board computer | |
CN112766465A (zh) | 用于智能转动性能检测的神经网络的训练方法 | |
CN116993996B (zh) | 对图像中的对象进行检测的方法及装置 | |
Heintz et al. | Online shape modeling of resident space objects through implicit scene understanding | |
KR102344005B1 (ko) | super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치 | |
Guo et al. | A Generative Map for Image-based Camera Localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220708 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220803 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220816 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20220708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7332238 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |