JP2022525805A - 仮想哺乳動物を用いて哺乳動物の生理学的行動をシミュレートするための装置、プロセス、及びコンピュータプログラム - Google Patents
仮想哺乳動物を用いて哺乳動物の生理学的行動をシミュレートするための装置、プロセス、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2022525805A JP2022525805A JP2021556801A JP2021556801A JP2022525805A JP 2022525805 A JP2022525805 A JP 2022525805A JP 2021556801 A JP2021556801 A JP 2021556801A JP 2021556801 A JP2021556801 A JP 2021556801A JP 2022525805 A JP2022525805 A JP 2022525805A
- Authority
- JP
- Japan
- Prior art keywords
- environment
- training
- eye
- mammal
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000124008 Mammalia Species 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims description 44
- 230000008569 process Effects 0.000 title claims description 38
- 230000008560 physiological behavior Effects 0.000 title claims description 10
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000012549 training Methods 0.000 claims abstract description 172
- 230000033001 locomotion Effects 0.000 claims abstract description 154
- 238000011105 stabilization Methods 0.000 claims abstract description 63
- 230000006641 stabilisation Effects 0.000 claims abstract description 60
- 230000006399 behavior Effects 0.000 claims abstract description 58
- 230000006870 function Effects 0.000 claims abstract description 55
- 230000015654 memory Effects 0.000 claims abstract description 46
- 230000009471 action Effects 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims description 204
- 238000004088 simulation Methods 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 13
- 210000002569 neuron Anatomy 0.000 claims description 8
- 230000003750 conditioning effect Effects 0.000 claims description 6
- 230000036541 health Effects 0.000 claims description 4
- 230000000087 stabilizing effect Effects 0.000 claims description 3
- 238000012421 spiking Methods 0.000 claims description 2
- 210000001508 eye Anatomy 0.000 abstract description 139
- 210000003128 head Anatomy 0.000 abstract description 72
- 230000004886 head movement Effects 0.000 abstract description 24
- 230000001960 triggered effect Effects 0.000 abstract 1
- 230000004424 eye movement Effects 0.000 description 44
- 210000000695 crystalline len Anatomy 0.000 description 28
- 230000011514 reflex Effects 0.000 description 27
- 230000007613 environmental effect Effects 0.000 description 25
- 230000032683 aging Effects 0.000 description 24
- 230000001720 vestibular Effects 0.000 description 22
- 230000006978 adaptation Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 18
- 238000013515 script Methods 0.000 description 18
- 230000001537 neural effect Effects 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 230000002490 cerebral effect Effects 0.000 description 14
- 239000000463 material Substances 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 210000001525 retina Anatomy 0.000 description 13
- 210000004556 brain Anatomy 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 230000002207 retinal effect Effects 0.000 description 12
- 230000000971 hippocampal effect Effects 0.000 description 11
- 210000000857 visual cortex Anatomy 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000001953 sensory effect Effects 0.000 description 7
- 210000001638 cerebellum Anatomy 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000002747 voluntary effect Effects 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 210000001320 hippocampus Anatomy 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 201000010041 presbyopia Diseases 0.000 description 4
- 210000003994 retinal ganglion cell Anatomy 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 3
- 230000019771 cognition Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 208000030533 eye disease Diseases 0.000 description 3
- 239000003889 eye drop Substances 0.000 description 3
- 230000000366 juvenile effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000036982 action potential Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 229940012356 eye drops Drugs 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000000834 fixative Substances 0.000 description 2
- 210000004295 hippocampal neuron Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001404 mediated effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004899 motility Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000004465 reflex eye movement Effects 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010047531 Visual acuity reduced Diseases 0.000 description 1
- 230000003679 aging effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000550 effect on aging Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 210000005171 mammalian brain Anatomy 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000007658 neurological function Effects 0.000 description 1
- 230000004466 optokinetic reflex Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 210000000977 primary visual cortex Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000003945 visual behavior Effects 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/30—Anatomical models
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/30—Anatomical models
- G09B23/32—Anatomical models with moving parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Medicinal Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Eye Examination Apparatus (AREA)
- Instructional Devices (AREA)
Abstract
Description
-環境に対して移動する頭部と、
-頭部に対して回転移動する少なくとも1つの眼と、を含み、
前記装置は、
-環境に対する前記少なくとも1つの眼の姿勢を表す連続データを受信するよう適合される少なくとも1つの第1の入力と、
-環境内の仮想哺乳動物による少なくとも1つの移動行動のための命令を受信するよう適合される少なくとも1つの第2の入力と、
-環境及び前記少なくとも1つの眼の運動と頭部の運動との間の安定化制約に関する情報を格納するよう適合される少なくとも1つのメモリと、
-少なくとも1つのプロセッサであって、
前記連続データから環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録し、
前記少なくとも1つの移動行動、前記連続データ、及び環境に関する格納された情報の関数において、頭部及び前記少なくとも1つの眼の連続運動をトリガすることと、
安定化制約を用いることによって、前記連続データの関数において頭部の連続運動に対する前記少なくとも1つの眼の連続運動の動的調整を制御するために構成される少なくとも1つのプロセッサと、を備え、
前記装置は、更に、
-訓練段階において、訓練環境に関連付けられる頭部及び前記少なくとも1つの眼の訓練運動シーケンスを表す訓練運動シーケンスデータ(=訓練データ)を受信するよう適合される少なくとも1つの第3の入力と、を備え、
前記少なくとも1つのプロセッサは、前記訓練段階において、
-訓練環境において、前記訓練運動シーケンスデータに対応する頭部の連続運動をトリガすることと、
-前記訓練データから訓練環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録することと、
-訓練環境の前記現在の部分を評価すること及び前記現在の部分に関する前記情報を記録することを考慮して、前記訓練データ及び頭部の前記連続運動の関数において、安定化制約の前記少なくとも一部に関する情報を特定し、安定化制約の前記少なくとも一部に関する前記情報を前記少なくとも1つのメモリに記録することと、
により、前記安定化制約の少なくとも一部を学習するために構成され、
その結果、仮想哺乳動物が、頭部及び前記少なくとも1つの眼の連続的に動的に調整された現在の運動を通じて、且つ環境を評価することを通じて、環境内で前記少なくとも1つの移動行動を実行する際にシミュレートされるべき哺乳動物のシミュレートされた行動を提供する。
-プロセッサは、ソフトウェア及び計算ハードウェアを備え、
-頭部及び前記少なくとも1つの眼の訓練運動シーケンスは、シミュレートされる哺乳動物上で取得され、
-頭部及び前記少なくとも1つの眼の訓練運動シーケンスは、計算によって得られ、合成であり、
-訓練段階における学習プロセスは、装置のデータ駆動型レジームにおいて実行され、
-装置は、訓練段階を実行することができるデータ駆動型レジームにおいて用いることができ、
-装置はモデル駆動型レジームにおいて用いることができ、
-前記現在の部分が前記少なくとも1つのメモリにおいて同定されていない場合、環境の前記現在の部分に関する情報を前記少なくとも1つのメモリに記録する代わりに、前記少なくとも1つのプロセッサは、前記少なくとも1つのメモリに、以前に記録された情報を前記現在の部分に関する情報と置き換えるために構成され、
-前記少なくとも1つのメモリへの環境の前記現在の部分に関する記録された情報は消去可能であり、
-装置は、病理学的挙動をシミュレートするためのものでもあり、
-装置の仮想哺乳動物は完全に仮想であり、
-装置の仮想哺乳動物は実体部分を備え、
-実体部品は頭部を含み、
-実体部分は、少なくとも1つの眼を含み、
-実体部分は本体を含み、
-実体部分は手足を含み、
-装置の頭部は仮想的であり、
-装置の頭部は物質的要素であり、
-装置の少なくとも1つの眼は仮想的であり、
-装置の少なくとも1つの眼は物質的要素であり、
-装置の少なくとも1つの眼は見ることが可能であり、
-装置の少なくとも1つの眼はカメラを備え、
-少なくとも1つの移動行動のための命令は、頭部を動かすための命令を含み、
-少なくとも1つの移動行動のための命令は、眼を動かすための命令を含み、
-少なくとも1つの移動行動のための命令は、頭部と眼の両方を動かすための命令を含み、
-少なくとも1つの移動行動のための命令は、物体を探すための命令を含み、
-少なくとも1つの移動行動のための命令は、環境内の所定の場所に進むための命令を含み、
-前記少なくとも1つの眼の「姿勢」とは、前記少なくとも1つの眼の座標系に対する向きと共に位置を意味し、
-前記少なくとも1つの眼の「姿勢」は、位置及び方向の値として表すことができ、
-前記少なくとも1つの眼の「姿勢」は、ベクトルとして表すことができ、
-頭部及び前記少なくとも1つの眼の運動シーケンスは、経時的に連続姿勢になり、
-姿勢(位置+向き)を表すデータは、眼の姿勢自体に、又は環境に対する眼の姿勢に対応する視覚ストリームに関係し、
-安定化制約は前庭眼反射に関連し、
-安定化制約は意図的な眼の固定に関連し、
-安定化制約は視運動性反射に関連し、
-前記少なくとも1つのプロセッサの学習のための構成は、前記安定化制約の少なくとも一部を学習するために、訓練環境に関連付けられた頭部及び前記少なくとも1つの眼の訓練運動シーケンスを表すデータにより深層学習プロセスを実行するための構成であり、
-哺乳動物は人間であり、
-哺乳動物は動物であり、
-シミュレートされる哺乳動物は、定義された実際の個体であり、
-シミュレートされる哺乳動物は、理論上の哺乳動物であり、
-理論上の哺乳動物は、群を表す哺乳動物であり、
-理論上の哺乳動物は、統計的に定義され、
-理論上の哺乳動物は研究哺乳動物であり、
-訓練段階中、仮想哺乳動物が位置する訓練環境は、シミュレートされる哺乳動物の頭部及び前記少なくとも1つの眼の訓練運動シーケンスが得られる環境と同じであるのが好ましく、
-訓練段階中、仮想哺乳動物が位置する訓練環境は、シミュレートされる哺乳動物の頭部及び前記少なくとも1つの眼の訓練運動シーケンスが得られる環境と同じではなく、
-仮想哺乳動物が訓練段階において訓練されると、訓練環境の取得される環境情報/知識は、仮想哺乳動物の更なる使用のために保持され、
-仮想哺乳動物が訓練段階において訓練されると、訓練環境の取得される環境情報/知識は消去され、その結果、そのように構成された仮想哺乳動物は、ゼロから環境を発見し始め、
-仮想哺乳動物の環境は現実であり、
-仮想哺乳動物の環境は仮想であり、
-前記訓練データから前記環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録するために、仮想哺乳動物装置の訓練と見なすこともできるが、この訓練は、データ駆動型レジーム及びモデル駆動型レジームの両方で実行することができ、
-少なくとも1つの動作であって、環境の前記現在の部分を評価することと、情報を記録することと、前記連続運動をトリガすることとのうちの少なくとも1つの動作は、シミュレートする前記哺乳動物に特有の少なくとも1つの作業パラメータに関連付けられ、前記少なくとも1つのプロセッサは、更に、訓練環境の前記現在の部分を評価することと、前記現在の部分に関する前記情報を記録することとを考慮して、前記訓練データ及び頭部の前記連続運動の関数において、前記少なくとも1つの作業パラメータを訓練段階において学習するために構成され、
-作業パラメータは、測定可能であるか、又は外部特性から誘導することができる任意の種類のパラメータから選択され、
-作業パラメータは、例えば、光のレベル及び視覚の範囲に対するまぶたの動作に関連し、
-作業パラメータは、例えば、環境内の周囲光のレベルに関連し、
-前記少なくとも1つのプロセッサは、更に、
-前記少なくとも1つの眼の姿勢を表す前記連続データに対応する少なくとも1つの視覚ストリームを取得し、前記少なくとも1つの視覚ストリームから環境の前記現在の部分を評価し、前記連続運動をトリガし、特に前記少なくとも1つの視覚ストリームの関数において前記動的調整を制御し、
-前記訓練段階において、訓練運動シーケンスを表す前記訓練運動シーケンスデータに対応する少なくとも1つの訓練視覚ストリームを取得し、訓練環境の前記現在の部分を評価し、特に前記少なくとも1つの訓練視覚ストリームの関数において前記情報を特定するために構成され、
-訓練運動シーケンスを表す前記データは、仮想哺乳動物の一部(例えば、仮想哺乳動物の胴体及び/又は足等)の位置及び経時的な注視方向データを含み、
-前記少なくとも1つのプロセッサは、更に、シミュレートする前記哺乳動物に特有の少なくとも1つの条件付けパラメータに関連して、前記取得された少なくとも1つの視覚ストリーム及び前記少なくとも1つの訓練視覚ストリームを条件付けるために構成され、前記少なくとも1つのプロセッサは、更に、訓練環境の前記現在の部分の評価及び前記現在の部分に関する前記情報の記録を考慮して、前記少なくとも1つの訓練視覚ストリーム及び頭部の前記連続運動の関数において、前記少なくとも1つの条件付けパラメータを訓練段階において学習するために構成され、
-前記少なくとも1つのプロセッサは、更に、
-前記少なくとも1つの視覚ストリームから連続イメージを導出し、
-前記導出された連続イメージの少なくとも一部を安定化させることによって前記動的調整を制御するために構成され、
-前記少なくとも1つのプロセッサは、更に、前記連続イメージの前記少なくとも一部に対する前記少なくとも1つの眼の連続運動を抑制することによって前記動的調整を制御するために構成され、
-装置は、安定化制約の修正値に関する情報を受信するよう適合される少なくとも1つの第5の入力を備え、前記少なくとも1つのプロセッサは、メモリ内の安定化制約の以前の値に関する情報を前記修正値に関する情報と置き換えるために構成され、
-安定化制約の前記以前の値及び修正値は、一対の異なる哺乳動物年齢及び一対の異なる健康状態のうちの少なくとも1つに対応し、
-前記少なくとも1つのプロセッサは、フィードバックループにより前記動的調整を制御するために構成される少なくとも1つの第1のニューラルネットワークを備え、
-フィードバックループにより前記動的調整を制御するために構成される前記少なくとも1つの第1のニューラルネットワークは、シミュレートする哺乳動物の小脳前庭眼反射制御構造に基づいて構築され、
-前記少なくとも1つの第1のニューラルネットワークは、シミュレートされたニューラルネットワークであり、
-環境の前記現在の部分を評価することと、前記情報を記録することと、前記連続運動をトリガすることと、前記動的調整を制御することのうちの少なくとも1つの動作は、作業パラメータと関連付けられ、前記装置は、頭部及び前記少なくとも1つの眼の前記連続運動に対応する基準運動データを受信するよう適合される少なくとも1つの入力を備え、前記基準運動データは、前記受信された少なくとも1つの視覚ストリームに対応する基準視覚データと関連付けられ、前記少なくとも1つのプロセッサは、前記基準運動データ及び前記基準視覚データの少なくとも一部から前記作業パラメータの少なくとも1つを学習するために構成され、
-仮想哺乳動物装置が、前記基準運動データ及び前記基準視覚データの少なくとも一部から前記作業パラメータのうちの少なくとも1つを学習する場合、それはデータ駆動型レジームにあり、
-仮想哺乳動物装置が、前記基準運動データ及び前記基準視覚データの少なくとも一部から前記作業パラメータのうちの少なくとも1つを学習し終えた場合、それはデータ駆動型レジームにあり、モデル駆動型レジームに置かれ、
-基準視覚データの少なくとも1つの視覚ストリームは合成であり、
-基準視覚データの少なくとも1つの視覚ストリームは、シミュレートされる哺乳動物上で取得され、
-基準視覚データの少なくとも1つの視覚ストリームは、シミュレートされる哺乳動物上で得られた基準注視方向から導出され、
-基準視覚データの少なくとも1つの視覚ストリームは、シミュレートされる哺乳動物の眼の近くに配置されるカメラから取得され、
-前記少なくとも1つのプロセッサは、環境の前記現在の部分を評価し、前記現在の部分に関する情報を記録するために構成される少なくとも1つの第2のニューラルネットワークを備え、
-環境の前記現在の部分を評価し、前記現在の部分に関する情報を記録するために構成される少なくとも1つの第2のニューラルネットワークは、シミュレートする哺乳動物の海馬構造に基づいて構築され、前記海馬構造は位置符号化を含み、
-少なくとも1つの第2のニューラルネットワークは、シミュレートされたニューラルネットワークであり、
-前記少なくとも1つのプロセッサは、シミュレートされるスパイキングニューロンによって、環境の前記現在の部分を評価することと、前記現在の部分に関する前記情報を記録することと、前記少なくとも1つの眼の連続運動の動的調整を制御することとのうちの少なくとも1つの動作を実行するために構成され、
-前記装置は、少なくとも1つのシミュレートされた視覚特性を受信するよう適合される少なくとも1つの第4の入力を備え、前記少なくとも1つのプロセッサは、更に、前記少なくとも1つのシミュレートされた視覚特性の関数において、前記少なくとも1つの視覚ストリームを動的に条件付けるために構成され、
-前記少なくとも1つのプロセッサは、更に、シミュレートする哺乳動物の網膜及び初期視覚皮質をシミュレートする少なくとも1つの専用ニューラルネットワークのおかげで、前記少なくとも1つのシミュレートされた視覚特性の関数において前記少なくとも1つの視覚ストリームを動的に条件付けるために構成され、
-網膜及び初期視覚皮質をシミュレートする専用ニューラルネットワークは、シミュレートされたニューラルネットワークであり、
-前記少なくとも1つのプロセッサは、更に、少なくとも1つの視覚ストリームをフィルタリングする少なくとも1つのカスタマイズ可能な時空間フィルタのおかげで、前記少なくとも1つのシミュレートされた視覚特性の関数において前記少なくとも1つの視覚ストリームを動的に条件付けるために構成され、
-前記少なくとも1つのプロセッサは、更に、カスケード接続されるカスタマイズ可能な時空間フィルタのセットのおかげで、前記少なくとも1つのシミュレートされた視覚特性の関数において前記少なくとも1つの視覚ストリームを動的に条件付けるために構成され、
-カスタマイズ可能な時空間フィルタは、視覚機器をシミュレートし、
-仮想哺乳動物の眼がカメラを有する物質的要素である場合、同じく実体である視覚機器は、仮想哺乳動物の実体眼上に配置され、
-カスタマイズ可能な時空間フィルタは、眼の変形、特に眼の光インターフェースの変形をシミュレートし、
-カスタマイズ可能な時空間フィルタは、眼の疾患をシミュレートし、
-前記少なくとも1つのシミュレートされた視覚特性は、前記少なくとも1つの眼に関連付けられた少なくとも1つの生理学的行動に少なくとも部分的に関係し、
-生理学的行動は、眼自体又は視覚皮質における対応する機能に関係し、
-前記少なくとも1つのシミュレートされた視覚特性は、前記少なくとも1つの眼の視覚機器に少なくとも部分的に関係する。
-環境に対して可動にされる頭部と、
-頭部に対して回転可動にされる少なくとも1つの眼と、を含むよう実装され、
前記プロセスは、
-環境に対する前記少なくとも1つの眼の姿勢を表す連続データを受信することと、
-環境内の仮想哺乳動物による少なくとも1つの移動行動のための命令を受信することと、
-少なくとも1つのプロセッサによって、少なくとも1つのメモリに格納された環境に関する情報を用いて、前記連続データから環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録することと、
-前記少なくとも1つのプロセッサによって、前記少なくとも1つの移動行動、前記連続データ、及び環境に関する格納された情報の関数において、頭部及び前記少なくとも1つの眼の連続運動をトリガすることと、
-前記少なくとも1つのプロセッサによって、前記少なくとも1つの眼の運動と頭部の運動との間の安定化制約を用いることによって、前記連続データの関数において頭部の連続運動に対する前記少なくとも1つの眼の連続運動の動的調整を制御することと、を含み、
前記プロセスは、更に、
-訓練段階において、訓練環境に関連付けられる頭部及び前記少なくとも1つの眼の訓練運動シーケンスを表す訓練データを受信することと、
前記少なくとも1つのプロセッサによって、前記訓練段階において、学習することであって、
-訓練環境において、前記訓練運動シーケンスに対応する頭部の連続運動をトリガすることと、
-前記訓練データから訓練環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録することと、
-前記訓練環境の前記現在の部分を評価すること及び前記現在の部分に関する前記情報を記録することを考慮して、前記訓練データ及び前記頭部の前記連続運動の関数において、前記安定化制約の前記少なくとも一部に関する情報を特定し、前記安定化制約の前記少なくとも一部に関する前記情報を前記少なくとも1つのメモリに記録することと、
により、前記安定化制約の少なくとも一部を学習するために構成され、
その結果、仮想哺乳動物が、頭部及び前記少なくとも1つの眼の連続的に動的に調整された現在の運動を通じて、且つ環境を評価することを通じて、環境内で前記少なくとも1つの移動行動を実行する際にシミュレートされるべき哺乳動物のシミュレートされた行動を提供する。
-仮想哺乳動物パラメータの構成(手動、又はファイルからロードされるか、又は学習されるかのいずれか)。
-例えばファイルからロードすることができる仮想哺乳動物環境の構成。
-機能モジュールに関する仮想哺乳動物挙動の構成。ユーザは、例えば、ユーザ行動を決定する実験データをロードすることができる。学習プロセスが実行されるデータ駆動型レジームにおいて、挙動は、実験データ、例えば時間の関数としての頭部の位置及び視線の方向によって特定される。モデル駆動型レジームにおいて、挙動は、挙動タスクを記述する実験プロトコルによって特定される(例えば、ナビゲーション実験において、開始位置及び目標が与えられなければならず、また学習試行回数も同様である)。
-シミュレーションの結果を処理し、視覚化するために開発された任意の特定のデータ解析ツールへのアクセス。これらの解析ツールは、仮想哺乳動物の特定のコンポーネント、その挙動パフォーマンスの評価等に関係していてもよい。
-RosInterface。このスクリプトは、ROSインターフェースを実装し、その結果、3Dエイジング仮想哺乳動物及びその環境コンポーネントは、制御プログラムを含む他のモジュールとメッセージを交換することができ、その制御プログラムから3Dエイジング仮想哺乳動物及びその環境コンポーネントが遠隔制御される。
-SimulationManager。このスクリプトは制御プログラムによって呼び出され、シミュレーションの状態を管理する役割を果たす。それは、仮想哺乳動物及びその環境を作成するため、並びに行動のシミュレーションを開始、一時停止、及び停止するために用いられる。
-SubjectMovement。このスクリプトは、制御プログラムから命令されるように、仮想哺乳動物の挙動を実行する。このスクリプトはまた、仮想哺乳動物センサから生の感覚データも受信する(例えば、仮想哺乳動物が体験する視覚ストリームの視覚情報のフローを受信する)。この感覚情報は、制御スクリプトに、又はサーバライブラリコンポーネントのサブスクリプションサービスを介してそれを受信するよう購読される任意の他のモジュールに戻される。
-SubjectEye。このスクリプトは仮想哺乳動物の眼を実装し、仮想哺乳動物の頭部に取り付けられるビデオカメラによってシミュレートすることができる。
-PALens。このスクリプトは、仮想哺乳動物の眼に取り付けられる、単一視、レンズ/ゴーグル、フィルタ、フォトクロミック等の任意の視覚機器による視覚入力の歪みを実行する。これは、そのスクリプトが視覚ストリームの条件付けを行っていることである。
-パラメータファイル又は実験データベースから仮想哺乳動物パラメータをロードすること。
-例えば、Matlab又はPythonで書かれた制御プログラムを用いて、通常の動作状態又は訓練段階にある間に、シミュレーションを作成し、開始し、停止すること。
-特に対応するモジュールからのメッセージを購読することによって、プラットフォームの任意のモジュールによって生成されたシミュレーションデータを取得し、性能評価、監視、及び予測を提供するようにこのデータを解析すること。
-視覚ストリームを受信した仮想網膜及び初期視覚皮質モジュール17によって出力されるような視覚情報。
-自己受容、前庭等の他の感覚情報。
1.第1に、シミュレーションの対象である哺乳動物被験体は、記録されたデータを生成するよう何らかの実験タスク中にその行動が記録される。例えば、新しい視覚機器への適応は、定義される環境における幾つかの試行にわたって眼球運動のダイナミクスを測定することによって記録される。
2.仮想哺乳動物は、次いで、データ駆動型レジームでシミュレートされて、眼球適応運動に関与する少なくとも1つの機能モジュール、この例では、その安定化制約を有する小脳VOR制御モジュールのモデルパラメータを学習し、これはニューラルネットワークに基づいている。その目的のために、現在訓練段階にある仮想哺乳動物は、先に得られた記録データを用いて且つ同じ対応する環境を用いてシミュレートされる。機能モデルが訓練される場合、特に安定化制約が設定される場合、それは、この特定の対象が新しい視覚機器にどのように適応するかのモデルを表す。
3.機能モジュールがステップ2で訓練された後、それを用いて、被験体が、以前に試験されたことがない別の視覚機器に、又は場合によっては、モデルの品質をチェックするための手段と同じものにどのように適応するかを予測することができる。このモデル駆動型シミュレーションにおいて、仮想哺乳動物パラメータ、特にこの例では安定化制約は従って固定され、新しい視覚機器が仮想哺乳動物に設置される。シミュレーションは、次いで、開始され、仮想哺乳動物のパフォーマンスが記録される。このパフォーマンスは、この新しい視覚機器がこの特定のタスクにおいて被験体に装着された場合に被験体が何をするかの予測を構成する。
1-シミュレートされる哺乳動物に基づく仮想哺乳動物の定義。定義は、哺乳動物プロファイルに関するパラメータを含む。それは、年齢及び/又は性別及び/又は他の情報等の個体群統計情報を考慮に入れる。他の情報の例として、眼科使用の状況において、少なくとも処方、フィッティングパラメータ等のパラメータを考慮することができるが、感覚、運、動及び認知状態情報も考慮することができる。定義内容は、シミュレーションの目的及び状況によって決まる。定義は以下の多くの方法で入力することができる。関連するパラメータを含むファイルを用いて、又は訓練段階で学習したものを用いて、手動での入力。この定義において、仮想哺乳動物をシミュレートするための装置により解決すべき目標及び問題も設定される。目標及び問題は、任意の分野、産業、医療、ゲームに関連することができ、少なくとも以下を含む。
-学習プロセスを通して安定化制約等のパラメータを設定するために、訓練段階において学習すること。
-学習の結果として仮想哺乳動物との動きを再生/レンダリングすること。
-運動又は他の要素(例えば、モデル化された(ニューラルネットワーク)視覚構造の一部における視覚情報の表現)、又はより一般的には、装置における処理に関与するデータ(特に、安定化制約、視覚の質等)及び/又は構造(特に、ニューラルネットワークの構造及び特性)の評価又は監視。
-動き又は他の要素を予測すること。
2-機能モジュール選択。レジーム(モデル駆動型レジーム又はデータ駆動型レジーム)及びモジュールの選択は、ユーザの目的に従って行われる。
3-3D仮想哺乳動物によるシミュレーションの出力/応答は、1人の特定のユーザ又はユーザのクラスタに対して送出することができる。出力/応答は、異なる機能モジュールから送出することができ、及び/又は、更に、ナビゲーション、自律性、並びに感覚、運動、及び/又は脳レベル等の挙動の評価を得るために処理することができる。
4-仮想哺乳動物が直面する問題に対するソリューションの特定/選択/最適化。これは、シミュレーション、再生、視覚機器レンズに関わる任意の問題を客観的又は主観的に特定又は選択するための、又は哺乳動物の健康を改善するためのパーソナライズされた推奨を提供するための、神経計算ベースの方法/プロセスである。視覚機器又は再教育/機能回復の影響は、哺乳動物のパフォーマンスをモデル化する仮想環境においてシミュレート及び試験することができる。ソフトウェアモデリングのおかげで、潜在的な視覚処理(例えば、眼疾患)、人間の脳、行動欠陥、又は視力不良(例えば、矯正されていないか又は不適切な屈折)の影響を予測するために、老化した哺乳動物の行動をシミュレート又は再現することができる。スタンドアローンバージョンにおいて、仮想哺乳動物は、仮想哺乳動物の出力/応答を比較するために自動評価モードを含んでいる。このスタンドアローンバージョンは、最良のソリューションに関する推奨を確立するための基準を提供する。
-データ駆動型レジームに対し、視覚環境歪みの計算のためのそのPALensスクリプトを有する3Dエイジング仮想哺乳動物及びその環境コンポーネント16、及び小脳VOR制御モジュール18。
-モデル駆動型レジームに対し、小脳VOR制御モジュール18及び現在のレンズで記録された頭部運動に基づいて眼球運動を再計算するための小脳VOR制御モジュール18を含む、3Dエイジング仮想哺乳動物及びその環境並びに機能モジュール。実際に、彼/彼女のレンズ歪みに適応した装着者は、網膜上のイメージを安定化させるよう最適にシミュレートされた前庭眼反射(VOR)を提示する。
-データ駆動型レジームに対して:PALensスクリプト、仮想網膜及び初期視覚皮質モジュール17を有する3Dエイジング仮想哺乳動物及びその環境16コンポーネント。
-データ駆動型レジームに対して:3Dエイジング仮想哺乳動物及びその環境16コンポーネント、仮想網膜及び初期視覚皮質モジュール17、小脳VOR制御モジュール18。
-訓練環境に関連付けられる頭部及び少なくとも1つの眼の訓練運動シーケンスを表す訓練データを受信することと、
-以下により前記安定化制約の少なくとも一部を学習することであって、
-訓練環境において、前記訓練運動シーケンスに対応する頭部の連続運動をトリガすることと、
-前記訓練データから訓練環境の現在の部分を評価することと、
-現在の部分が少なくとも1つのメモリにおいて同定されていないかどうかを試験することと、
-そうではない場合、現在の部分に関する情報を少なくとも1つのメモリに記録することと、
-訓練環境の現在の部分の評価及び前記現在の部分に関する情報の記録を考慮して、前記訓練データ及び頭部の前記連続運動の関数における安定化制約の少なくとも一部に関する情報を特定することと、
-前記安定化制約の少なくとも一部に関する情報を少なくとも1つのメモリに記録することと、による学習することである。
-環境に対する少なくとも1つの眼の姿勢を表す連続データを受信することと、
-環境内の仮想哺乳動物による少なくとも1つの移動行動のための命令を受信することと、
-少なくとも1つのメモリに格納された環境に関する情報を用いて、連続データから環境の現在の部分を評価することと、
-現在の部分が少なくとも1つのメモリにおいて同定されていないかどうかを試験することと、
そうではない場合、現在の部分に関する情報を少なくとも1つのメモリに記録することと、
-少なくとも1つの移動行動、前記連続データ、及び環境に関する格納された情報の関数において、頭部及び少なくとも1つの眼の連続運動をトリガすることと、
-前記少なくとも1つの眼球運動と頭部運動との間の安定化制約を用いることによって、連続データの関数において頭部の連続運動に対する少なくとも1つの眼の連続運動の動的調整を制御することである。
Claims (15)
- 仮想哺乳動物(1)によって環境(2)における哺乳動物の生理学的行動をシミュレートするための装置(11)であって、前記仮想哺乳動物(1)は、
前記環境に対して移動する(5)頭部(3)と、
前記頭部(3)に対して回転移動(6)する少なくとも1つの眼(4)と、を含み、
前記装置(11)は、
-前記環境(2)に対する前記少なくとも1つの眼(4)の姿勢を表す連続データを受信するよう適合される少なくとも1つの第1の入力と、
-前記環境(2)内の前記仮想哺乳動物(1)による少なくとも1つの移動行動(9)のための命令を受信するよう適合される少なくとも1つの第2の入力と、
-前記環境(8)及び前記少なくとも1つの眼(4)の運動(6)と前記頭部(3)の運動(5)との間の安定化制約(7)に関する情報を格納するよう適合される少なくとも1つのメモリ(13)と、
-少なくとも1つのプロセッサ(12)であって、
前記連続データから前記環境(2)の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリ(13)において同定されない場合、前記現在の部分に関する情報(8)を前記少なくとも1つのメモリ(13)に記録し、
前記少なくとも1つの移動行動(9)、前記連続データ、及び前記環境(8)に関する前記格納された情報の関数において、前記頭部(3)及び前記少なくとも1つの眼(4)の連続運動(5、6)をトリガし、
前記安定化制約(7)を用いることによって、前記連続データの関数において前記頭部(3)の前記連続運動(5)に対する前記少なくとも1つの眼(4)の前記連続運動(6)の動的調整を制御するために構成される少なくとも1つのプロセッサ(12)と、を備え、
前記装置(11)は、更に、
-訓練段階において、訓練環境に関連付けられる前記頭部(3)及び前記少なくとも1つの眼(4)の訓練運動シーケンスを表す訓練運動シーケンスデータ(23)を受信するよう適合される少なくとも1つの第3の入力と、を備え、
前記少なくとも1つのプロセッサ(12)は、前記訓練段階において、
-前記訓練環境において、前記訓練運動シーケンスデータ(23)に対応する前記頭部(3)の連続運動(5)をトリガすることと、
-前記訓練運動シーケンスデータ(23)から前記訓練環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリ(13)において同定されない場合、前記現在の部分(8’)に関する情報を前記少なくとも1つのメモリ(13)に記録することと、
-前記訓練環境の前記現在の部分を評価すること及び前記現在の部分に関する前記情報を記録することを考慮して、前記訓練運動シーケンスデータ及び前記頭部の前記連続運動の関数において、前記安定化制約の前記少なくとも一部に関する情報を特定し、前記安定化制約の前記少なくとも一部に関する前記情報を前記少なくとも1つのメモリに記録することと、
により、前記安定化制約(7)の少なくとも一部を学習するために構成され、
その結果、前記仮想哺乳動物(1)が、前記頭部(3)及び前記少なくとも1つの眼(4)の前記連続的に動的に調整された現在の運動を通じて、且つ前記環境(2)を評価することを通じて、前記環境内で前記少なくとも1つの移動行動を実行する際にシミュレートされるべき前記哺乳動物のシミュレートされた行動を提供する、
装置(11)。 - 前記環境(2)の前記現在の部分を評価することと、前記情報(8、8’)を記録することと、前記連続運動(5、6)をトリガすることとのうちの少なくとも1つの動作は、シミュレートする前記哺乳動物に特有の少なくとも1つの作業パラメータに関連付けられ、前記少なくとも1つのプロセッサ(12)は、更に、前記訓練環境の前記現在の部分を評価することと、前記現在の部分に関する前記情報を記録することとを考慮して、前記訓練運動シーケンスデータ及び前記頭部(3)の前記連続運動(5)の関数において、前記少なくとも1つの作業パラメータを前記訓練段階において学習するために構成されることを特徴とする、請求項1に記載の装置(11)。
- 前記少なくとも1つのプロセッサは、更に、
-前記少なくとも1つの眼(4)の姿勢を表す前記連続データに対応する少なくとも1つの視覚ストリーム(10)を取得し、前記少なくとも1つの視覚ストリーム(10)から前記環境の前記現在の部分を評価し、前記連続運動をトリガし、特に前記少なくとも1つの視覚ストリーム(10)の関数において前記動的調整を制御し、
-前記訓練段階において、前記訓練運動シーケンスを表す前記訓練運動シーケンスデータ(23)に対応する少なくとも1つの訓練視覚ストリーム(10’)を取得し、前記訓練環境の前記現在の部分を評価し、特に前記少なくとも1つの訓練視覚ストリーム(10’)の関数において前記情報を特定するために構成されることを特徴とする、
請求項1又は2に記載の装置(11)。 - 前記少なくとも1つのプロセッサ(12)は、更に、シミュレートする前記哺乳動物に特有の少なくとも1つの条件付けパラメータに関連して、前記取得された少なくとも1つの視覚ストリーム(10)及び前記少なくとも1つの訓練視覚ストリーム(10’)を条件付けるために構成され、前記少なくとも1つのプロセッサ(12)は、更に、前記訓練環境の前記現在の部分の評価及び前記現在の部分に関する前記情報の記録を考慮して、前記少なくとも1つの訓練視覚ストリーム(10’)及び前記連続運動の関数において、前記少なくとも1つの条件付けパラメータを前記訓練段階において学習するために構成されることを特徴とする、請求項3に記載の装置(11)。
- 前記少なくとも1つのプロセッサ(12)は、更に、
-前記少なくとも1つの視覚ストリーム(10)から連続イメージを導出し、
-前記導出された連続イメージの少なくとも一部を安定化させることによって前記動的調整を制御するために構成されることを特徴とする、
請求項3又は4に記載の装置(11)。 - 前記装置(11)は、少なくとも1つのシミュレートされた視覚特性を受信するよう適合される少なくとも1つの第4の入力を備え、前記少なくとも1つのプロセッサ(12)は、更に、前記少なくとも1つのシミュレートされた視覚特性の関数において、前記少なくとも1つの視覚ストリーム(10)を動的に条件付けるために構成されることを特徴とする、請求項3~5のいずれか一項に記載の装置(11)。
- 前記少なくとも1つのシミュレートされた視覚特性は、前記少なくとも1つの眼(4)に関連付けられる生理学的行動に少なくとも部分的に関係することを特徴とする、請求項6に記載の装置(11)。
- 前記少なくとも1つのシミュレートされた視覚特性は、前記少なくとも1つの眼(4)の視覚機器に少なくとも部分的に関係することを特徴とする、請求項6又は7に記載の装置(11)。
- 前記安定化制約(7)の修正値に関する情報を受信するよう適合される少なくとも1つの第5の入力を備え、前記少なくとも1つのプロセッサ(12)は、前記メモリ(13)内の前記安定化制約(7)の以前の値に関する情報を前記修正値に関する情報と置き換えるために構成されることを特徴とする、請求項1~8のいずれか一項に記載の装置(11)。
- 前記安定化制約(7)の前記以前の値及び修正値は、一対の異なる哺乳動物年齢及び一対の異なる健康状態のうちの少なくとも1つに対応することを特徴とする、請求項9に記載の装置(11)。
- 前記少なくとも1つのプロセッサ(12)は、フィードバックループにより前記動的調整を制御するために構成される少なくとも1つの第1のニューラルネットワーク(18)を備えることを特徴とする、請求項1~10のいずれか一項に記載の装置(11)。
- 前記少なくとも1つのプロセッサ(12)は、前記環境の前記現在の部分を評価し、前記現在の部分に関する情報を記録するために構成される少なくとも1つの第2のニューラルネットワーク(19)を備えることを特徴とする、請求項1~11のいずれか一項に記載の装置。
- 前記少なくとも1つのプロセッサ(12)は、シミュレートされるスパイキングニューロン(17)によって、前記環境(2)の前記現在の部分を評価することと、前記現在の部分に関する前記情報(8、8’)を記録することと、前記少なくとも1つの眼(4)の前記連続運動(6)の前記動的調整を制御することとのうちの少なくとも1つの動作を実行するために構成されることを特徴とする、
請求項1~12のいずれか一項に記載の装置(11)。 - 仮想哺乳動物(1)によって環境(2)における哺乳動物の生理学的行動をシミュレートするためのプロセスであって、前記仮想哺乳動物(1)は、
前記環境に対して可動(5)にされる頭部(3)と、
前記頭部(3)に対して回転可動(6)にされる少なくとも1つの眼(4)と、を含むよう実装され、
前記プロセスは、
-前記環境(2)に対する前記少なくとも1つの眼(4)の姿勢を表す連続データを受信することと、
-前記環境(2)内の前記仮想哺乳動物(1)による少なくとも1つの移動行動(9)のための命令を受信することと、
少なくとも1つのプロセッサ(12)によって、少なくとも1つのメモリ(13)に格納された前記環境(8)に関する情報を用いて、前記連続データから前記環境(2)の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリ(13)において同定されない場合、前記現在の部分に関する情報(8)を前記少なくとも1つのメモリ(13)に記録することと、
前記少なくとも1つのプロセッサによって、前記少なくとも1つの移動行動(9)、前記連続データ、及び前記環境(8)に関する前記格納された情報の関数において、前記頭部(3)及び前記少なくとも1つの眼(4)の連続運動(5、6)をトリガすることと、
前記少なくとも1つのプロセッサによって、前記少なくとも1つの眼(4)の運動(6)と前記頭部(3)の運動(5)との間の安定化制約(7)を用いることによって、前記連続データの関数において前記頭部(3)の前記連続運動(5)に対する前記少なくとも1つの眼(4)の前記連続運動(6)の動的調整を制御することと、を含み、
前記プロセスは、更に、
-訓練段階において、訓練環境に関連付けられる前記頭部(3)及び前記少なくとも1つの眼(4)の訓練運動シーケンスを表す訓練運動シーケンスデータ(23)を受信することと、
前記少なくとも1つのプロセッサによって、前記訓練段階において、学習することであって、
-前記訓練環境において、前記訓練運動シーケンスに対応する前記頭部(3)の連続運動(5)をトリガすることと、
-前記訓練運動シーケンスデータから前記訓練環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリ(13)において同定されない場合、前記現在の部分(8’)に関する情報を前記少なくとも1つのメモリ(13)に記録することと、
-前記訓練環境の前記現在の部分を評価すること及び前記現在の部分に関する前記情報を記録することを考慮して、前記訓練運動シーケンスデータ及び前記頭部の前記連続運動の関数において、前記安定化制約の前記少なくとも一部に関する情報を特定し、前記安定化制約の前記少なくとも一部に関する前記情報を前記少なくとも1つのメモリに記録することと、
により、前記安定化制約(7)の少なくとも一部を学習することと、を含み、
その結果、前記仮想哺乳動物(1)が、前記頭部(3)及び前記少なくとも1つの眼(4)の前記連続的に動的に調整された現在の運動を通じて、且つ前記環境(2)を評価することを通じて、前記環境内で前記少なくとも1つの移動行動を実行する際にシミュレートされるべき前記哺乳動物のシミュレートされた行動を提供する、
プロセス。 - コンピュータプログラムであって、前記プログラムがプロセッサによって実行される場合、前記プロセッサに、請求項14に記載のプロセスを実行させる命令を備える、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19305363.4 | 2019-03-22 | ||
EP19305363 | 2019-03-22 | ||
PCT/EP2020/057888 WO2020193439A1 (en) | 2019-03-22 | 2020-03-20 | Device for simulating a physiological behaviour of a mammal using a virtual mammal, process and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022525805A true JP2022525805A (ja) | 2022-05-19 |
Family
ID=66041399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021556801A Pending JP2022525805A (ja) | 2019-03-22 | 2020-03-20 | 仮想哺乳動物を用いて哺乳動物の生理学的行動をシミュレートするための装置、プロセス、及びコンピュータプログラム |
Country Status (8)
Country | Link |
---|---|
US (1) | US20220198959A1 (ja) |
EP (1) | EP3942544A1 (ja) |
JP (1) | JP2022525805A (ja) |
KR (1) | KR20210142627A (ja) |
CN (1) | CN113678183B (ja) |
AU (1) | AU2020249323A1 (ja) |
BR (1) | BR112021018666A2 (ja) |
WO (1) | WO2020193439A1 (ja) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5319579A (en) * | 1990-02-05 | 1994-06-07 | Westinghouse Electric Corp. | Simulation of human performance of a process operation procedure |
EP0831444B1 (de) * | 1996-09-16 | 1999-04-28 | Oerlikon Contraves AG | Verfahren und Anlage zur Erfassung des Verhaltens eines Fahrschülers |
WO2002091356A1 (fr) * | 2001-05-02 | 2002-11-14 | Sony Corporation | Dispositif robot, appareil de reconnaissance de caracteres, procede de lecture de caracteres, programme de commande et support d'enregistrement |
EP2011087A4 (en) * | 2006-04-24 | 2010-02-24 | Sony Corp | PRESENTATION-FACED FACIAL ANIMATION |
EP1862110A1 (en) | 2006-05-29 | 2007-12-05 | Essilor International (Compagnie Generale D'optique) | Method for optimizing eyeglass lenses |
KR101059806B1 (ko) * | 2007-10-29 | 2011-08-26 | 재단법인서울대학교산학협력재단 | 전정안 반사를 응용한 안정화 제어 시스템 및 방법 |
GB2479406A (en) * | 2010-04-09 | 2011-10-12 | Medaphor Ltd | Ultrasound Simulation Training System |
CN108474970B (zh) | 2016-03-15 | 2020-04-10 | 依视路国际公司 | 用于确定适配于运动参数的眼科镜片的方法 |
CA2925703C (en) * | 2016-03-31 | 2017-05-02 | Cae Inc. | Dynamically updating a model associated to a simulated interactive object |
US10559111B2 (en) * | 2016-06-23 | 2020-02-11 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
US11071450B2 (en) | 2016-06-29 | 2021-07-27 | Ace Vision Group, Inc. | System and methods using real-time predictive virtual 3D eye finite element modeling for simulation of ocular structure biomechanics |
EP3324365A1 (en) * | 2016-11-22 | 2018-05-23 | Dassault Systèmes | Computer-implemented method for simulating a body taking a posture, in particular to look at a target |
US10949648B1 (en) * | 2018-01-23 | 2021-03-16 | Snap Inc. | Region-based stabilized face tracking |
-
2020
- 2020-03-20 AU AU2020249323A patent/AU2020249323A1/en active Pending
- 2020-03-20 EP EP20711224.4A patent/EP3942544A1/en active Pending
- 2020-03-20 WO PCT/EP2020/057888 patent/WO2020193439A1/en active Application Filing
- 2020-03-20 BR BR112021018666A patent/BR112021018666A2/pt unknown
- 2020-03-20 JP JP2021556801A patent/JP2022525805A/ja active Pending
- 2020-03-20 US US17/441,564 patent/US20220198959A1/en active Pending
- 2020-03-20 CN CN202080022554.5A patent/CN113678183B/zh active Active
- 2020-03-20 KR KR1020217029815A patent/KR20210142627A/ko active Search and Examination
Also Published As
Publication number | Publication date |
---|---|
AU2020249323A1 (en) | 2021-10-28 |
BR112021018666A2 (pt) | 2021-11-30 |
KR20210142627A (ko) | 2021-11-25 |
CN113678183B (zh) | 2023-08-01 |
EP3942544A1 (en) | 2022-01-26 |
CN113678183A (zh) | 2021-11-19 |
US20220198959A1 (en) | 2022-06-23 |
WO2020193439A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109414164B (zh) | 用于用户健康分析的增强现实系统和方法 | |
JP6952713B2 (ja) | 反射を利用する拡張現実システムおよび方法 | |
CN103959357B (zh) | 用于眼科检查培训的系统和方法 | |
WO2016011457A1 (en) | Generating and using a predictive virtual personification | |
KR102616391B1 (ko) | 양안 장애의 진단 평가 및 선별을 위한 방법, 시스템 및 장치 | |
US20220013228A1 (en) | Split vision visual test | |
KR102250775B1 (ko) | 근시 치료를 위한 디지털 장치 및 애플리케이션 | |
Keshner et al. | The untapped potential of virtual reality in rehabilitation of balance and gait in neurological disorders | |
CA3046789A1 (en) | Platform for identification of biomarkers using navigation tasks and treatments using navigation tasks | |
JP2022525805A (ja) | 仮想哺乳動物を用いて哺乳動物の生理学的行動をシミュレートするための装置、プロセス、及びコンピュータプログラム | |
US11843764B2 (en) | Virtual reality headsets and method of managing user experience with virtual reality headsets | |
Machaen et al. | Bio-inspired cognitive model of motor learning by imitation | |
JP2021192317A (ja) | 情報処理装置、情報処理装置に知的行動を模擬させる方法、コンピュータプログラム、及び、それを記憶した記憶媒体 | |
Tamilselvam et al. | Robotics-based Characterization of Sensorimotor Integration in Parkinson’s Disease and the Effect of Medication | |
Imaizumi et al. | Sensorimotor coupling but not visual perspective modulates perceived time during voluntary action | |
Wang | Behavior shift to altered physics law of standing: a prediction from the reinforcement learning controller of postural control | |
Guy | Evaluation and Manipulation of Virtual Embodiment | |
Salous | User modeling for adaptation of cognitive systems | |
WO2023172768A1 (en) | Methods, systems, and computer readable media for assessing visual function using virtual mobility tests | |
Andrew | Imitation of atypical biological motion in autism spectrum disorders | |
NZ758470B2 (en) | Augmented reality systems and methods utilizing reflections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240206 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240318 |