JP2020507857A - 視覚入力を使用したエージェントナビゲーション - Google Patents
視覚入力を使用したエージェントナビゲーション Download PDFInfo
- Publication number
- JP2020507857A JP2020507857A JP2019543104A JP2019543104A JP2020507857A JP 2020507857 A JP2020507857 A JP 2020507857A JP 2019543104 A JP2019543104 A JP 2019543104A JP 2019543104 A JP2019543104 A JP 2019543104A JP 2020507857 A JP2020507857 A JP 2020507857A
- Authority
- JP
- Japan
- Prior art keywords
- characterization
- time step
- environment
- map
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title abstract description 5
- 238000012512 characterization method Methods 0.000 claims abstract description 141
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims description 74
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 19
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000001902 propagating effect Effects 0.000 claims 1
- 238000004590 computer program Methods 0.000 abstract description 13
- 239000003795 chemical substances by application Substances 0.000 description 67
- 230000006870 function Effects 0.000 description 23
- 230000015654 memory Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000009334 Singa Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000006886 spatial memory Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/387—Organisation of map data, e.g. version management or database structures
- G01C21/3878—Hierarchical structures, e.g. layering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
ただし、ftは、時間ステップについての最終的な特徴付けに対するスコアのセットであり、ctは、時間ステップについての最終的な特徴付けに対するスコアのセットにおける信頼の尺度のセットであり、ft’は、第1の初期特徴付けに対するスコアのセットであり、ct’は、第1の初期特徴付けに対するスコアのセットにおける信頼の尺度のセットであり、ft−1は、第2の初期特徴付けに対するスコアのセットであり、ct−1は、第2の初期特徴付けに対するスコアのセットにおける信頼の尺度のセットである。
ここで、ftは、時間ステップについての最終的な特徴付けの確信度データにおけるスコアのセット、ctは、時間ステップについての最終的な特徴付けの信頼度データにおける信頼の尺度のセット、ft’は、第1の初期特徴付けについてのスコアのセット、ct’は、第1の初期特徴付けにおける信頼の尺度のセット、ft−1は、第2の初期特徴付けについてのスコアのセット、ct−1は、第2の初期特徴付けについてのスコアのセットにおける信頼の尺度のセットである。
110 微分可能マッパ
112 特徴付け
120 微分可能階層プランナー
122 目標
132 アクション
202 最終的な特徴付け
212 第2の初期特徴付け
212 微分可能ワーピング関数
220 ニューラルネットワーク
222 第1の初期特徴付け
230 結合関数
310 値サブシステム
320 フューザー
330 値反復モジュール
Claims (24)
- 1つまたは複数のコンピュータと、命令を記憶する1つまたは複数の記憶デバイスとを備えるシステムであって、前記命令は、実行されると、前記1つまたは複数のコンピュータに、
複数の時間ステップの各時間ステップにおいて、環境の特徴付けを前記時間ステップにおける前記環境の画像から生成するように構成されたマッピングサブシステムを実装させ、前記特徴付けが、特定の特徴を有する前記環境内の場所を識別する環境マップを含み、前記特徴付けを生成することが、時間ステップごとに、
前記時間ステップにおいて前記環境の前記画像を取得することであり、前記画像が、前記環境内を移動するエージェントによってキャプチャされた画像である、取得することと、
前記時間ステップについての前記環境の第1の初期特徴付けを生成するために、ニューラルネットワークを使用して前記画像を処理することと、
前記時間ステップに先立つ先行する時間ステップについての前記環境の最終的な特徴付けを取得することと、
前記先行する時間ステップと前記時間ステップとの間の前記エージェントの動きの尺度を取得することと、
前記時間ステップについての前記環境の第2の初期特徴付けを生成するために、前記先行する時間ステップについての前記環境の前記特徴付けを処理することであり、前記第2の初期特徴付けを生成するために、前記先行する時間ステップについての前記環境の前記最終的な特徴付けおよび動きの前記尺度に微分可能ワーピング関数を適用することを含む、処理することと、
前記第1の初期特徴付けと前記第2の初期特徴付けとを結合して、前記時間ステップについての前記環境の最終的な特徴付けを生成することと
を含む、システム。 - 前記ワーピング関数が、双線形サンプリングを使用して補間を実行する関数である、請求項1に記載のシステム。
- 前記画像が、前記エージェントの1人称の自己中心的視点からのものであり、
前記第1の初期特徴付け、前記第2の初期特徴付け、前記先行する時間ステップについての前記最終的な特徴付け、および前記時間ステップについての前記最終的な特徴付けが、トップダウンの視点からのものである、
請求項1または2に記載のシステム。 - 前記第1の初期特徴付けと前記第2の初期特徴付けとを結合して、前記時間ステップについての前記最終的な特徴付けを生成することが、
前記第1の初期特徴付けおよび前記第2の初期特徴付けに更新関数を適用して、前記最終的な特徴付けを生成すること
を含む、請求項1から3のいずれか一項に記載のシステム。 - 各特徴付けが、(i)前記環境内の前記複数の場所が前記特定の特徴を有するか否かを表すスコアのセット、および(ii)前記スコアのセットにおける信頼の尺度のセットを含み、
前記更新関数が、以下の式の演算を実行することを含み、
ただし、ftは、前記時間ステップについての前記最終的な特徴付けに対する前記スコアのセットであり、ctは、前記時間ステップについての前記最終的な特徴付けに対する前記スコアのセットにおける前記信頼の尺度のセットであり、ft’は、前記第1の初期特徴付けに対する前記スコアのセットであり、ct’は、前記第1の初期特徴付けに対する前記スコアのセットにおける前記信頼の尺度のセットであり、ft−1は、前記第2の初期特徴付けに対する前記スコアのセットであり、ct−1は、前記第2の初期特徴付けに対する前記スコアのセットにおける前記信頼の尺度のセットである、請求項4に記載のシステム。 - 前記更新関数が、リカレントニューラルネットワークによって実行され、前記リカレントニューラルネットワークが、前記複数の時間ステップの時間ステップごとに、前記時間ステップについての前記第1の初期特徴付けおよび前記第2の初期特徴付けを処理して、前記時間ステップについての前記最終的な特徴付けを生成するように構成される、請求項4に記載のシステム。
- 時間ステップについての前記環境マップが、前記環境内の前記複数の場所の各々について、
前記場所が特定の特徴を有するか否かを表すスコアを含み、前記特徴付けが、前記場所ごとに、
前記場所についての前記スコアにおける信頼の尺度
をさらに含む、請求項1から6のいずれか一項に記載のシステム。 - 前記複数の時間ステップの各々について、
前記マッピングサブシステムから前記時間ステップについての前記最終的な特徴付けを取得し、
前記時間ステップにおいて前記環境と対話するエージェントによって実行されるべき提案されたアクションを選択するために、前記最終的な特徴付けを処理する
ように構成された計画サブシステム
をさらに含む、請求項1から7のいずれか一項に記載のシステム。 - 前記エージェントが、目標を達成するためにアクションを実行しており、前記時間ステップについての前記提案されたアクションを選択するために、前記最終的な特徴付けを処理することが、
前記時間ステップについての前記最終的な特徴付けから空間的にスケーリングされた環境マップのシーケンスを生成することであり、前記シーケンス内の各空間的にスケーリングされた環境マップが、前記シーケンス内の任意の後続の空間的にスケーリングされた環境マップに対してダウンサンプリングされる、生成することと、
最もダウンサンプリングされた空間的にスケーリングされた環境マップから始まる前記シーケンス内の空間的にスケーリングされた環境マップごとに、
前記空間的にスケーリングされた環境マップについての1つまたは複数の値マップを生成するために、前記空間的にスケーリングされた環境マップおよび前記空間的にスケーリングされた環境マップに関連付けられた1つまたは複数の入力を処理することであり、値マップが、前記空間的にスケーリングされた環境マップ内の複数の領域の領域ごとに、前記目標を達成するために前記領域内にいる前記エージェントの値の評価を含む、処理することと、
最後の空間的にスケーリングされた環境マップ以外の前記シーケンス内の空間的にスケーリングされた環境マップごとに、前記シーケンス内の後続の空間的にスケーリングされた環境マップに関連付けられた入力として、前記空間的にスケーリングされた環境マップについての前記1つまたは複数の値マップを提供することと
を含む、請求項8に記載のシステム。 - 前記シーケンス内の各空間的にスケーリングされた環境マップに関連付けられた前記入力が、前記エージェントの前記目標を識別するデータを含む、請求項9に記載のシステム。
- 前記目標が、前記エージェントが到達しようと試みる前記環境内の場所である、請求項10に記載のシステム。
- 前記目標が、前記エージェントが見つけようと試みる前記環境内のオブジェクトである、請求項10に記載のシステム。
- 前記最もダウンサンプリングされた空間的にスケーリングされた環境マップへの前記入力が、前記時間ステップについての前記最終的な特徴付けを含む、請求項9から12のいずれか一項に記載のシステム。
- 前記空間的にスケーリングされた環境マップについての前記1つまたは複数の値マップを生成するために、前記空間的にスケーリングされた環境マップに関連付けられた入力を処理することが、
前記空間的にスケーリングされた環境マップについての1つまたは複数の初期値マップを生成するために、前記空間的にスケーリングされた環境マップに関連付けられた入力を処理することと、
前記空間的にスケーリングされた環境マップについての前記1つまたは複数の値マップを生成するために、前記空間的にスケーリングされた環境マップについての前記1つまたは複数の初期値マップに対して1つまたは複数の値反復を実行することと
を含む、請求項9から13のいずれか一項に記載のシステム。 - 前記提案されたアクションを選択するために、前記最終的な特徴付けを処理することが、
前記シーケンス内の前記最後の空間的にスケーリングされた環境マップについての前記値マップに基づいて前記提案されたアクションを選択すること
を含む、請求項9から14のいずれか一項に記載のシステム。 - 前記シーケンス内の前記最後の空間的にスケーリングされた環境マップについての前記値マップに基づいて前記提案されたアクションを選択することが、
前記シーケンス内の前記最後の空間的にスケーリングされた環境マップについての前記値マップから、値の最高の評価を有する更新された値マップの特定の領域を決定することと、
前記時間ステップについての前記提案されたアクションとして、前記特定の領域に前記エージェントを連れて行くアクションを選択することと
を含む、請求項15に記載のシステム。 - 前記シーケンス内の前記最後の空間的にスケーリングされた環境マップについての前記値マップに基づいて前記提案されたアクションを選択することが、
前記提案されたアクションを選択するために1つまたは複数の修正された線形ユニットを含むニューラルネットワークを介して前記値マップを処理すること
を含む、請求項15に記載のシステム。 - 請求項8から17のいずれか一項に記載のマッピングサブシステムおよび計画サブシステムを含むシステムをトレーニングする方法であって、
画像を取得するステップと、
前記画像の時間ステップについてのオブジェクトの環境の最終的な特徴付けを決定するために、前記マッピングサブシステムを使用して前記画像を処理するステップと、
前記画像の前記時間ステップについての提案されたアクションを選択するために、前記計画サブシステムを使用して前記最終的な特徴付けを処理するステップと、
前記画像の前記時間ステップについての最適なアクションを取得するステップと、
前記選択されたアクションと前記最適なアクションとの間の誤差の尺度の勾配を決定するステップと、
前記マッピングサブシステムおよび前記計画サブシステムのパラメータに対する更新を決定するために、前記マッピングサブシステムおよび前記計画サブシステムを介して前記勾配を逆伝搬するステップと
を含む、方法。 - 前記環境内を移動するエージェントに、前記提案されたアクションを確率pで実行させ、前記最適なアクションを確率1−pで実行させるステップ
をさらに含む、請求項18に記載の方法。 - 前記エージェントの動作中にpを増加させて、前記最適なアクションを選択する確率を高めるステップ
をさらに含む、請求項19に記載の方法。 - 請求項1から17のいずれか一項に記載のサブシステムのうちのいずれか1つによって実行される動作を含む方法。
- 命令で符号化された1つまたは複数のコンピュータ記憶媒体であって、前記命令は、1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項1から17のいずれか一項に記載のシステムを実装させる、1つまたは複数のコンピュータ記憶媒体。
- 1つまたは複数のコンピュータと、命令を記憶する1つまたは複数の記憶デバイスとを備えるシステムであって、前記命令は、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項18から20のいずれか一項に記載の方法の動作を実行させるように動作可能である、システム。
- 命令で符号化されたコンピュータ記憶媒体であって、前記命令は、1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項18から20のいずれか一項に記載の方法の動作を実行させる、コンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762456945P | 2017-02-09 | 2017-02-09 | |
US62/456,945 | 2017-02-09 | ||
PCT/US2018/017666 WO2018148574A1 (en) | 2017-02-09 | 2018-02-09 | Agent navigation using visual inputs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020507857A true JP2020507857A (ja) | 2020-03-12 |
JP7021236B2 JP7021236B2 (ja) | 2022-02-16 |
Family
ID=63107124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019543104A Active JP7021236B2 (ja) | 2017-02-09 | 2018-02-09 | 視覚入力を使用したエージェントナビゲーション |
Country Status (6)
Country | Link |
---|---|
US (1) | US11010948B2 (ja) |
EP (1) | EP3563344A4 (ja) |
JP (1) | JP7021236B2 (ja) |
KR (1) | KR102241404B1 (ja) |
CN (1) | CN110268338B (ja) |
WO (1) | WO2018148574A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10706840B2 (en) | 2017-08-18 | 2020-07-07 | Google Llc | Encoder-decoder models for sequence to sequence mapping |
US10860927B2 (en) * | 2018-09-27 | 2020-12-08 | Deepmind Technologies Limited | Stacked convolutional long short-term memory for model-free reinforcement learning |
US11017499B2 (en) | 2018-12-21 | 2021-05-25 | Here Global B.V. | Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image |
CN111044045B (zh) * | 2019-12-09 | 2022-05-27 | 中国科学院深圳先进技术研究院 | 基于神经网络的导航方法、装置及终端设备 |
KR102430442B1 (ko) | 2020-08-19 | 2022-08-09 | 경기대학교 산학협력단 | 에이전트 학습 보상 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004110802A (ja) * | 2002-08-26 | 2004-04-08 | Sony Corp | 環境同定装置、環境同定方法、プログラム及び記録媒体、並びにロボット装置 |
JP2011189481A (ja) * | 2010-03-16 | 2011-09-29 | Sony Corp | 制御装置、制御方法およびプログラム |
JP2015031922A (ja) * | 2013-08-06 | 2015-02-16 | Kddi株式会社 | 情報端末装置及びプログラム |
WO2017019555A1 (en) * | 2015-07-24 | 2017-02-02 | Google Inc. | Continuous control with deep reinforcement learning |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100204101B1 (ko) * | 1990-03-02 | 1999-06-15 | 가나이 쓰도무 | 화상처리장치 |
US6954544B2 (en) * | 2002-05-23 | 2005-10-11 | Xerox Corporation | Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences |
CN1166922C (zh) | 2002-07-18 | 2004-09-15 | 上海交通大学 | 多传感器多目标信息融合方法 |
US7889905B2 (en) * | 2005-05-23 | 2011-02-15 | The Penn State Research Foundation | Fast 3D-2D image registration method with application to continuously guided endoscopy |
US7835820B2 (en) * | 2005-10-11 | 2010-11-16 | Vanderbilt University | System and method for image mapping and visual attention |
CN101466305B (zh) * | 2006-06-11 | 2012-05-30 | 沃尔沃技术公司 | 用于确定和分析视觉兴趣位置的方法 |
US8175617B2 (en) * | 2009-10-28 | 2012-05-08 | Digimarc Corporation | Sensor-based mobile search, related methods and systems |
CA2792336C (en) * | 2010-03-19 | 2018-07-24 | Digimarc Corporation | Intuitive computing methods and systems |
CN102243537B (zh) * | 2010-05-14 | 2014-01-15 | 深圳市汇春科技有限公司 | 运动图像位移检测方法及装置、光电鼠标 |
AU2011293091A1 (en) * | 2010-08-25 | 2013-03-14 | The University Of Sydney | Sensor data processing |
JP2012064131A (ja) * | 2010-09-17 | 2012-03-29 | Tokyo Institute Of Technology | 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置 |
US8553964B2 (en) * | 2010-10-20 | 2013-10-08 | Siemens Aktiengesellschaft | Unifying reconstruction and motion estimation in first pass cardiac perfusion imaging |
US8885941B2 (en) * | 2011-09-16 | 2014-11-11 | Adobe Systems Incorporated | System and method for estimating spatially varying defocus blur in a digital image |
CN102592287B (zh) * | 2011-12-31 | 2014-06-04 | 浙江大学 | 基于3d视频的时空域运动分割与估计模型的凸优化方法 |
CN104823444A (zh) * | 2012-11-12 | 2015-08-05 | 行为识别系统公司 | 用于视频监控系统的图像稳定技术 |
US8700320B1 (en) * | 2012-11-13 | 2014-04-15 | Mordechai Teicher | Emphasizing featured locations during a journey |
US9761014B2 (en) * | 2012-11-15 | 2017-09-12 | Siemens Healthcare Gmbh | System and method for registering pre-operative and intra-operative images using biomechanical model simulations |
WO2014139821A1 (en) * | 2013-03-15 | 2014-09-18 | Volkswagen Aktiengesellschaft | Automatic driving route planning application |
US9195654B2 (en) * | 2013-03-15 | 2015-11-24 | Google Inc. | Automatic invocation of a dialog user interface for translation applications |
EP2869239A3 (en) * | 2013-11-04 | 2015-08-19 | Facebook, Inc. | Systems and methods for facial representation |
WO2016108847A1 (en) * | 2014-12-30 | 2016-07-07 | Nokia Technologies Oy | Methods and apparatus for processing motion information images |
US10062010B2 (en) * | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
US10093021B2 (en) * | 2015-12-02 | 2018-10-09 | Qualcomm Incorporated | Simultaneous mapping and planning by a robot |
US10788836B2 (en) * | 2016-02-29 | 2020-09-29 | AI Incorporated | Obstacle recognition method for autonomous robots |
CN105957060B (zh) * | 2016-04-22 | 2019-01-11 | 天津师范大学 | 一种基于光流分析的tvs事件分簇方法 |
US9661473B1 (en) * | 2016-06-17 | 2017-05-23 | Qualcomm Incorporated | Methods and apparatus for determining locations of devices in confined spaces |
US10061987B2 (en) * | 2016-11-11 | 2018-08-28 | Google Llc | Differential scoring: a high-precision scoring method for video matching |
US10607134B1 (en) * | 2016-12-19 | 2020-03-31 | Jasmin Cosic | Artificially intelligent systems, devices, and methods for learning and/or using an avatar's circumstances for autonomous avatar operation |
-
2018
- 2018-02-09 CN CN201880010935.4A patent/CN110268338B/zh active Active
- 2018-02-09 KR KR1020197023399A patent/KR102241404B1/ko active IP Right Grant
- 2018-02-09 JP JP2019543104A patent/JP7021236B2/ja active Active
- 2018-02-09 EP EP18751319.7A patent/EP3563344A4/en active Pending
- 2018-02-09 WO PCT/US2018/017666 patent/WO2018148574A1/en unknown
- 2018-02-09 US US16/485,140 patent/US11010948B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004110802A (ja) * | 2002-08-26 | 2004-04-08 | Sony Corp | 環境同定装置、環境同定方法、プログラム及び記録媒体、並びにロボット装置 |
JP2011189481A (ja) * | 2010-03-16 | 2011-09-29 | Sony Corp | 制御装置、制御方法およびプログラム |
JP2015031922A (ja) * | 2013-08-06 | 2015-02-16 | Kddi株式会社 | 情報端末装置及びプログラム |
WO2017019555A1 (en) * | 2015-07-24 | 2017-02-02 | Google Inc. | Continuous control with deep reinforcement learning |
JP2018525759A (ja) * | 2015-07-24 | 2018-09-06 | ディープマインド テクノロジーズ リミテッド | ディープ強化学習による連続的制御 |
Non-Patent Citations (6)
Title |
---|
NOBUTAKA KIMURA, ET AL.: ""Real-Time Updating of 2D Map for Autonomous Robot Locomotion Based on Distinction Between Static an", ADVENCED ROBOTICS, vol. Vol.26, No.11-12, JPN6021051925, 2012, pages 1343 - 1368, ISSN: 0004672967 * |
PATRAUCEAN, VIORICA, ET AL.: ""SPATIO-TEMPORAL VIDEO AUTOENCODER WITH DIFFERENTIABLE MEMORY"", ARXIV:1511.06309V5, vol. version v5, JPN6020029654, 1 September 2016 (2016-09-01), pages 1 - 13, ISSN: 0004324932 * |
TAMAR, AVIV, ET AL.: ""Value Iteration Networks"", PROCEEDINGS OF NIPS 2016, JPN6020029656, 2016, pages 1 - 9, ISSN: 0004324933 * |
江尻 理帆(外3名): "「未知自然環境における単眼視によるナビゲーション方針」", 第24回日本ロボット学会学術講演会予稿集, [CD-ROM], JPN6021051926, 14 September 2006 (2006-09-14), JP, pages 3, ISSN: 0004672966 * |
芦ヶ原 隆之: "「ロボットのためのビジョンシステムとその応用」", 映像情報メディア学会誌, vol. 60, no. 12, JPN6021051927, 1 December 2006 (2006-12-01), JP, pages 1914 - 1919, ISSN: 0004672965 * |
芦ヶ原隆之(外1名): "「二足歩行ロボット用小型ステレオビジョンとそのアプリケーションの開発」", 情報処理学会研究報告, vol. 2003, no. 2, JPN6020029652, 17 January 2003 (2003-01-17), JP, pages 43 - 50, ISSN: 0004324931 * |
Also Published As
Publication number | Publication date |
---|---|
KR102241404B1 (ko) | 2021-04-16 |
CN110268338A (zh) | 2019-09-20 |
US11010948B2 (en) | 2021-05-18 |
JP7021236B2 (ja) | 2022-02-16 |
EP3563344A1 (en) | 2019-11-06 |
CN110268338B (zh) | 2022-07-19 |
US20190371025A1 (en) | 2019-12-05 |
EP3563344A4 (en) | 2020-07-22 |
WO2018148574A1 (en) | 2018-08-16 |
KR20190104587A (ko) | 2019-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11790549B2 (en) | Unsupervised learning of image depth and ego-motion prediction neural networks | |
US11074481B2 (en) | Environment navigation using reinforcement learning | |
EP3535705B1 (en) | Reinforcement learning with auxiliary tasks | |
US20230252288A1 (en) | Reinforcement learning using distributed prioritized replay | |
CN108027897B (zh) | 利用深度强化学习的连续控制 | |
CN110326004B (zh) | 使用路径一致性学习训练策略神经网络 | |
CN110546653B (zh) | 使用管理者和工作者神经网络的用于强化学习的动作选择 | |
US10572798B2 (en) | Dueling deep neural networks | |
JP2020507857A (ja) | 視覚入力を使用したエージェントナビゲーション | |
US10860927B2 (en) | Stacked convolutional long short-term memory for model-free reinforcement learning | |
KR20220147154A (ko) | 신경망을 이용한 장면 이해 및 생성 | |
US20210073997A1 (en) | Future semantic segmentation prediction using 3d structure | |
JP7181415B2 (ja) | 観測値の尤度を使用して環境を探索するためのエージェントを制御すること | |
US20220215580A1 (en) | Unsupervised learning of object keypoint locations in images through temporal transport or spatio-temporal transport |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7021236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |