JP2022525805A - 仮想哺乳動物を用いて哺乳動物の生理学的行動をシミュレートするための装置、プロセス、及びコンピュータプログラム - Google Patents

仮想哺乳動物を用いて哺乳動物の生理学的行動をシミュレートするための装置、プロセス、及びコンピュータプログラム Download PDF

Info

Publication number
JP2022525805A
JP2022525805A JP2021556801A JP2021556801A JP2022525805A JP 2022525805 A JP2022525805 A JP 2022525805A JP 2021556801 A JP2021556801 A JP 2021556801A JP 2021556801 A JP2021556801 A JP 2021556801A JP 2022525805 A JP2022525805 A JP 2022525805A
Authority
JP
Japan
Prior art keywords
environment
training
eye
mammal
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021556801A
Other languages
English (en)
Inventor
ドニ・シェニコヴィッチ
リチャード・カリージョ
ルカ・レオナルド・ボローニャ
ユスフ・シェリフィ
ティアニー・リ
アンジェロ・アルレオ
コノガン・バラントン
アンヌ-カトリーヌ・シャルラン
デルフィーヌ・トランヴエ-ベルナルダン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sorbonne Universite
Original Assignee
Sorbonne Universite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sorbonne Universite filed Critical Sorbonne Universite
Publication of JP2022525805A publication Critical patent/JP2022525805A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/30Anatomical models
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/30Anatomical models
    • G09B23/32Anatomical models with moving parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Eye Examination Apparatus (AREA)
  • Instructional Devices (AREA)

Abstract

仮想哺乳動物(1)によって環境(2)における哺乳動物の行動をシミュレートするための装置(11)は、可動(5)頭部(3)と少なくとも1つの可動(6)眼(4)とを含む。装置は、眼の姿勢を表す連続データのための第1の入力と、移動行動命令(9)のための第2の入力と、環境(8)及び安定化制約(7)に関する情報を格納するためのメモリ(13)と、環境(2)の現在の部分を評価し、前記現在の部分に関する情報(8)を記録し、前記移動行動、連続データ、及び環境に関する格納された情報の関数において、頭部及び眼の連続運動(5)をトリガし、連続データの関数において及び安定化制約を用いることによって、頭部の連続運動に対する眼の連続運動の動的調整を制御するために構成される少なくとも1つのプロセッサ(12)とを備えている。装置は、更に、訓練環境に関連付けられる頭部及び眼の訓練運動シーケンスを表す訓練運動シーケンスデータ(23)のための第3の入力を備え、プロセッサは、訓練環境において前記訓練運動シーケンスに対応する頭部の連続運動(5)をトリガし、訓練運動シーケンスデータから訓練環境の現在の部分を評価し、前記現在の部分(8’)に関する情報を記録することにより、安定化制約を訓練段階において学習し、その結果、仮想哺乳動物は、シミュレートされるべき哺乳動物のシミュレートされた行動を提供する。

Description

発明は、仮想哺乳動物を用いて哺乳動物の生理学的行動、より正確には、環境内に置かれた哺乳動物の視覚システムに関する行動をシミュレートするための装置に関する。発明は、コンピューティング分野において実装することができ、例えば、視力矯正の評価又は眼科用製品の検査のための眼科領域において多くの用途を有している。
多くの研究が、生物、特に哺乳類、一般的には哺乳類の中の人間の視覚システムに関して、眼の構造及び動作、光変換から、視覚に関連する神経構造及び動作まで行われてきた。かかる知識及び視覚システムの挙動に基づいて、シミュレーションモデルがコンピュータで実現されている。ツール(例えばCarlSim)、アプリケーションブロック(例えばwww.makehumancommunity.orgからのソフトウェアによるボディアバター)、又はブロックを組み合わせることによりグローバルなアプリケーションシステムが、ロボット工学の分野において生物の行動をシミュレートするために提案されているが、これは、一般に、特にシミュレートされる構造及びそれらが作成される環境に関して、かなり限定的である。
その上、人間の場合、視覚システムは一般に、視覚システムに提供される画像に関して極めて制約される条件で、特に固定画像で、頭部及び眼が動かない状態で評価される。かかる条件は、静止又は準静止条件と呼ぶことができる。
ここで、視覚システムは、実際には、極めて変化する視覚環境に曝されており、視覚性能の任意の効果的な評価は、かかる変化する環境を考慮すべきである。例えば、文献(特許文献1)は、視覚機器、特にレンズを客観的又は主観的に決定又は選択する方法を記載しており、ここで視覚機器、視覚環境、及び着用者を仮想的にシミュレートすることができる。特に視覚環境を変化させることによる視覚の運動性と、頭部及び眼の可動性とを考慮することの重要性は、かかる変化及び可動性が、正確に機能する視覚システムを生成するための生物の視覚システムの発達期間において不可欠であるという事実に関して更に強調することができる。
その上、眼の動きに関しては、2つの主な原因、反射的な動きと、反射的な動きとは対照的な他の動きとが考えられる。これらの他の動きは、反射的な動きとは対照的に、自発的な動きと名付けることができる。特に、頭部が動いている場合、視覚システムは、現在視覚化されている環境にも依存する反射反応により、頭部の動きの前庭系による検出に反応する。これは、前庭眼反射、VOR、と呼ばれ、視野の中心に画像を維持する対側眼球運動による頭部回転中の網膜上の画像の安定化を可能にする。VORは、適応が感覚運動エラーによって直接行われる脳領域、即ち、小脳によって介在される。網膜スリップによって信号伝達される固視におけるエラー信号によって駆動される小脳適応プロセスは、最終的に眼球運動を駆動する代償運動指令を生成するための前庭出力を削る網膜スリップを最小化する。前庭眼反射は、視覚条件がどのようなものであっても動作可能であり、明るい条件と暗い条件の両方で機能する。前庭眼反射は、以下の会議及び関連論文の主題であった。(非特許文献1)
視覚システムに関するかかる高度な研究は、いずれにしても、所定の環境において移動するロボット又はデジタルアバターの現実的な実装に満足のいく形で統合するには複雑であることを証明している。即ち、既存のシミュレーションシステムは、通常、現実的に十分な視覚機構に及ばないか、又は現実世界の哺乳動物に対して多かれ少なかれ実質的な歪みを生じることを証明するかのどちらか一方である。
文献(特許文献2)も公知である。
欧州特許出願公開第1862110号明細書 国際公開第2018/005891号
「Exploring vestibulo-ocular adaptation in a closed-loop neuro-robotic experiment using STDP.A simulation study」Francisco Naveros他,2018 IEEE/RSJ International Conf. on Intelligent Robots and Systems(IROS),10.1109/IROS.2018.8594019.
本発明の1つの目的は、仮想哺乳動物によって環境内の哺乳動物の生理学的行動をシミュレートするための装置を提供することであって、前記仮想哺乳動物は、
-環境に対して移動する頭部と、
-頭部に対して回転移動する少なくとも1つの眼と、を含み、
前記装置は、
-環境に対する前記少なくとも1つの眼の姿勢を表す連続データを受信するよう適合される少なくとも1つの第1の入力と、
-環境内の仮想哺乳動物による少なくとも1つの移動行動のための命令を受信するよう適合される少なくとも1つの第2の入力と、
-環境及び前記少なくとも1つの眼の運動と頭部の運動との間の安定化制約に関する情報を格納するよう適合される少なくとも1つのメモリと、
-少なくとも1つのプロセッサであって、
前記連続データから環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録し、
前記少なくとも1つの移動行動、前記連続データ、及び環境に関する格納された情報の関数において、頭部及び前記少なくとも1つの眼の連続運動をトリガすることと、
安定化制約を用いることによって、前記連続データの関数において頭部の連続運動に対する前記少なくとも1つの眼の連続運動の動的調整を制御するために構成される少なくとも1つのプロセッサと、を備え、
前記装置は、更に、
-訓練段階において、訓練環境に関連付けられる頭部及び前記少なくとも1つの眼の訓練運動シーケンスを表す訓練運動シーケンスデータ(=訓練データ)を受信するよう適合される少なくとも1つの第3の入力と、を備え、
前記少なくとも1つのプロセッサは、前記訓練段階において、
-訓練環境において、前記訓練運動シーケンスデータに対応する頭部の連続運動をトリガすることと、
-前記訓練データから訓練環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録することと、
-訓練環境の前記現在の部分を評価すること及び前記現在の部分に関する前記情報を記録することを考慮して、前記訓練データ及び頭部の前記連続運動の関数において、安定化制約の前記少なくとも一部に関する情報を特定し、安定化制約の前記少なくとも一部に関する前記情報を前記少なくとも1つのメモリに記録することと、
により、前記安定化制約の少なくとも一部を学習するために構成され、
その結果、仮想哺乳動物が、頭部及び前記少なくとも1つの眼の連続的に動的に調整された現在の運動を通じて、且つ環境を評価することを通じて、環境内で前記少なくとも1つの移動行動を実行する際にシミュレートされるべき哺乳動物のシミュレートされた行動を提供する。
特定の実装において、かかる装置は、実際の生物、この例において哺乳動物と多かれ少なかれ同じように挙動することができ、それにより、仮想哺乳動物又は同等に哺乳動物のアバターによりかかる哺乳動物を正確にシミュレートすることが可能となることができる。この点において、かかる仮想哺乳動物は、特に、個人化されたシミュレーション、監視、及び予測を可能にすることができる。
開示の幾つかの実施形態において、これは、深層学習プロセスを通して実際の哺乳動物と同じ挙動をするよう学習するかかる装置により、更に同一/正確に得られる。後者は、視覚システムの完全且つ正確な作業モデルの作成、又は実際の視覚システムに関与する構造及び機能の正確な知識を必要としないという点で、かかる仮想哺乳動物を製造する他の方法に勝る利点を有することができる。この深層学習プロセスは、視覚システムの少なくとも一部をシミュレートするために用いられるニューラルネットワークにより有利に行われ、ニューラルネットワークが訓練されると、シミュレーションのために用いることができる。
いずれにしても、開示の装置は、生物のニューロンの態様及び眼の能力等の視覚的態様に制限されず、光変換能力もまた、それら自体で、又は年齢、変性、若しくは他の生理学的条件等のより一般的な条件を通して考慮することができる。
他の用途に加えて、開示の装置によってシミュレートされる仮想哺乳動物はまた、眼科医、外科医、又は眼科若しくは視覚機器に関与する他の人物を訓練するためのダミーとして用いることができる。
加えて、眼球運動の動的調整の制御は、VOR機構に制限されない。それは特に、意図的な眼の固定及び/又は(動いている物体を追う際の)反射視運動において安定化を代わりに又は組み合わせて含むことができる。
訓練段階において、安定化制約の少なくとも一部の学習は、特に、一方では頭部運動を表し、他方では眼球運動を表す受信訓練データ間の暗黙の関係に依存することができ、これらの関係は安定化制約に依存する。プロセッサは、特に、環境内の哺乳動物によって見られるような少なくとも1つの視覚ストリームに対応するイメージの基礎となる安定化機構を考慮することができる。
例えば、訓練段階において、頭部運動及びかかるイメージの少なくとも一部は、受信訓練データから、環境内の仮想哺乳動物について模倣される。後者は、例えば、かかる視覚ストリームに直接関連するデータ、又はかかる視覚ストリームが誘導される眼球運動に関連するデータを含むことができる。この例において、安定化制約を学習する際に眼球運動をトリガする必要はない。
別の例において、訓練段階において、頭部運動及び眼球運動の少なくとも一部は、受信訓練データから、環境内の仮想哺乳動物について模倣される。かかる視覚ストリームは、次いで、そのシミュレーションから誘導される。
また、仮想哺乳動物の訓練段階において、環境認識を、安定化制約の少なくとも一部の学習において考慮することができ、環境認識と哺乳動物に特有の眼球運動安定化機構との間の効果的な結合を反映することが可能となる。
実際に、開示の装置は、学習段階を含めて、組み合わされた環境認識及び眼球運動安定化機構を包含する際に実質的な現実性を潜在的に得ることができる。この向上は、視覚システムのシミュレーションにとって特に重要であることを証明することができる。
眼の姿勢を表すデータ及び/又は眼の訓練運動シーケンスを表す訓練運動シーケンスデータは、特に、眼の姿勢及び/又は眼の姿勢に対応する1つ以上の視覚ストリームに向けられるデータを含むことができる。かかる視覚ストリームは、実際に、眼の姿勢又は眼の訓練運動シーケンスを表す可能性がある。
有利な実装において、仮想哺乳動物は、可動頭部だけでなく、環境に対して可動な身体を含む。
単独で又は以下の特徴の任意の技術的組合せに従って発明の装置と共に任意に用いることができる以下の特徴も考えられる。
-プロセッサは、ソフトウェア及び計算ハードウェアを備え、
-頭部及び前記少なくとも1つの眼の訓練運動シーケンスは、シミュレートされる哺乳動物上で取得され、
-頭部及び前記少なくとも1つの眼の訓練運動シーケンスは、計算によって得られ、合成であり、
-訓練段階における学習プロセスは、装置のデータ駆動型レジームにおいて実行され、
-装置は、訓練段階を実行することができるデータ駆動型レジームにおいて用いることができ、
-装置はモデル駆動型レジームにおいて用いることができ、
-前記現在の部分が前記少なくとも1つのメモリにおいて同定されていない場合、環境の前記現在の部分に関する情報を前記少なくとも1つのメモリに記録する代わりに、前記少なくとも1つのプロセッサは、前記少なくとも1つのメモリに、以前に記録された情報を前記現在の部分に関する情報と置き換えるために構成され、
-前記少なくとも1つのメモリへの環境の前記現在の部分に関する記録された情報は消去可能であり、
-装置は、病理学的挙動をシミュレートするためのものでもあり、
-装置の仮想哺乳動物は完全に仮想であり、
-装置の仮想哺乳動物は実体部分を備え、
-実体部品は頭部を含み、
-実体部分は、少なくとも1つの眼を含み、
-実体部分は本体を含み、
-実体部分は手足を含み、
-装置の頭部は仮想的であり、
-装置の頭部は物質的要素であり、
-装置の少なくとも1つの眼は仮想的であり、
-装置の少なくとも1つの眼は物質的要素であり、
-装置の少なくとも1つの眼は見ることが可能であり、
-装置の少なくとも1つの眼はカメラを備え、
-少なくとも1つの移動行動のための命令は、頭部を動かすための命令を含み、
-少なくとも1つの移動行動のための命令は、眼を動かすための命令を含み、
-少なくとも1つの移動行動のための命令は、頭部と眼の両方を動かすための命令を含み、
-少なくとも1つの移動行動のための命令は、物体を探すための命令を含み、
-少なくとも1つの移動行動のための命令は、環境内の所定の場所に進むための命令を含み、
-前記少なくとも1つの眼の「姿勢」とは、前記少なくとも1つの眼の座標系に対する向きと共に位置を意味し、
-前記少なくとも1つの眼の「姿勢」は、位置及び方向の値として表すことができ、
-前記少なくとも1つの眼の「姿勢」は、ベクトルとして表すことができ、
-頭部及び前記少なくとも1つの眼の運動シーケンスは、経時的に連続姿勢になり、
-姿勢(位置+向き)を表すデータは、眼の姿勢自体に、又は環境に対する眼の姿勢に対応する視覚ストリームに関係し、
-安定化制約は前庭眼反射に関連し、
-安定化制約は意図的な眼の固定に関連し、
-安定化制約は視運動性反射に関連し、
-前記少なくとも1つのプロセッサの学習のための構成は、前記安定化制約の少なくとも一部を学習するために、訓練環境に関連付けられた頭部及び前記少なくとも1つの眼の訓練運動シーケンスを表すデータにより深層学習プロセスを実行するための構成であり、
-哺乳動物は人間であり、
-哺乳動物は動物であり、
-シミュレートされる哺乳動物は、定義された実際の個体であり、
-シミュレートされる哺乳動物は、理論上の哺乳動物であり、
-理論上の哺乳動物は、群を表す哺乳動物であり、
-理論上の哺乳動物は、統計的に定義され、
-理論上の哺乳動物は研究哺乳動物であり、
-訓練段階中、仮想哺乳動物が位置する訓練環境は、シミュレートされる哺乳動物の頭部及び前記少なくとも1つの眼の訓練運動シーケンスが得られる環境と同じであるのが好ましく、
-訓練段階中、仮想哺乳動物が位置する訓練環境は、シミュレートされる哺乳動物の頭部及び前記少なくとも1つの眼の訓練運動シーケンスが得られる環境と同じではなく、
-仮想哺乳動物が訓練段階において訓練されると、訓練環境の取得される環境情報/知識は、仮想哺乳動物の更なる使用のために保持され、
-仮想哺乳動物が訓練段階において訓練されると、訓練環境の取得される環境情報/知識は消去され、その結果、そのように構成された仮想哺乳動物は、ゼロから環境を発見し始め、
-仮想哺乳動物の環境は現実であり、
-仮想哺乳動物の環境は仮想であり、
-前記訓練データから前記環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録するために、仮想哺乳動物装置の訓練と見なすこともできるが、この訓練は、データ駆動型レジーム及びモデル駆動型レジームの両方で実行することができ、
-少なくとも1つの動作であって、環境の前記現在の部分を評価することと、情報を記録することと、前記連続運動をトリガすることとのうちの少なくとも1つの動作は、シミュレートする前記哺乳動物に特有の少なくとも1つの作業パラメータに関連付けられ、前記少なくとも1つのプロセッサは、更に、訓練環境の前記現在の部分を評価することと、前記現在の部分に関する前記情報を記録することとを考慮して、前記訓練データ及び頭部の前記連続運動の関数において、前記少なくとも1つの作業パラメータを訓練段階において学習するために構成され、
-作業パラメータは、測定可能であるか、又は外部特性から誘導することができる任意の種類のパラメータから選択され、
-作業パラメータは、例えば、光のレベル及び視覚の範囲に対するまぶたの動作に関連し、
-作業パラメータは、例えば、環境内の周囲光のレベルに関連し、
-前記少なくとも1つのプロセッサは、更に、
-前記少なくとも1つの眼の姿勢を表す前記連続データに対応する少なくとも1つの視覚ストリームを取得し、前記少なくとも1つの視覚ストリームから環境の前記現在の部分を評価し、前記連続運動をトリガし、特に前記少なくとも1つの視覚ストリームの関数において前記動的調整を制御し、
-前記訓練段階において、訓練運動シーケンスを表す前記訓練運動シーケンスデータに対応する少なくとも1つの訓練視覚ストリームを取得し、訓練環境の前記現在の部分を評価し、特に前記少なくとも1つの訓練視覚ストリームの関数において前記情報を特定するために構成され、
-訓練運動シーケンスを表す前記データは、仮想哺乳動物の一部(例えば、仮想哺乳動物の胴体及び/又は足等)の位置及び経時的な注視方向データを含み、
-前記少なくとも1つのプロセッサは、更に、シミュレートする前記哺乳動物に特有の少なくとも1つの条件付けパラメータに関連して、前記取得された少なくとも1つの視覚ストリーム及び前記少なくとも1つの訓練視覚ストリームを条件付けるために構成され、前記少なくとも1つのプロセッサは、更に、訓練環境の前記現在の部分の評価及び前記現在の部分に関する前記情報の記録を考慮して、前記少なくとも1つの訓練視覚ストリーム及び頭部の前記連続運動の関数において、前記少なくとも1つの条件付けパラメータを訓練段階において学習するために構成され、
-前記少なくとも1つのプロセッサは、更に、
-前記少なくとも1つの視覚ストリームから連続イメージを導出し、
-前記導出された連続イメージの少なくとも一部を安定化させることによって前記動的調整を制御するために構成され、
-前記少なくとも1つのプロセッサは、更に、前記連続イメージの前記少なくとも一部に対する前記少なくとも1つの眼の連続運動を抑制することによって前記動的調整を制御するために構成され、
-装置は、安定化制約の修正値に関する情報を受信するよう適合される少なくとも1つの第5の入力を備え、前記少なくとも1つのプロセッサは、メモリ内の安定化制約の以前の値に関する情報を前記修正値に関する情報と置き換えるために構成され、
-安定化制約の前記以前の値及び修正値は、一対の異なる哺乳動物年齢及び一対の異なる健康状態のうちの少なくとも1つに対応し、
-前記少なくとも1つのプロセッサは、フィードバックループにより前記動的調整を制御するために構成される少なくとも1つの第1のニューラルネットワークを備え、
-フィードバックループにより前記動的調整を制御するために構成される前記少なくとも1つの第1のニューラルネットワークは、シミュレートする哺乳動物の小脳前庭眼反射制御構造に基づいて構築され、
-前記少なくとも1つの第1のニューラルネットワークは、シミュレートされたニューラルネットワークであり、
-環境の前記現在の部分を評価することと、前記情報を記録することと、前記連続運動をトリガすることと、前記動的調整を制御することのうちの少なくとも1つの動作は、作業パラメータと関連付けられ、前記装置は、頭部及び前記少なくとも1つの眼の前記連続運動に対応する基準運動データを受信するよう適合される少なくとも1つの入力を備え、前記基準運動データは、前記受信された少なくとも1つの視覚ストリームに対応する基準視覚データと関連付けられ、前記少なくとも1つのプロセッサは、前記基準運動データ及び前記基準視覚データの少なくとも一部から前記作業パラメータの少なくとも1つを学習するために構成され、
-仮想哺乳動物装置が、前記基準運動データ及び前記基準視覚データの少なくとも一部から前記作業パラメータのうちの少なくとも1つを学習する場合、それはデータ駆動型レジームにあり、
-仮想哺乳動物装置が、前記基準運動データ及び前記基準視覚データの少なくとも一部から前記作業パラメータのうちの少なくとも1つを学習し終えた場合、それはデータ駆動型レジームにあり、モデル駆動型レジームに置かれ、
-基準視覚データの少なくとも1つの視覚ストリームは合成であり、
-基準視覚データの少なくとも1つの視覚ストリームは、シミュレートされる哺乳動物上で取得され、
-基準視覚データの少なくとも1つの視覚ストリームは、シミュレートされる哺乳動物上で得られた基準注視方向から導出され、
-基準視覚データの少なくとも1つの視覚ストリームは、シミュレートされる哺乳動物の眼の近くに配置されるカメラから取得され、
-前記少なくとも1つのプロセッサは、環境の前記現在の部分を評価し、前記現在の部分に関する情報を記録するために構成される少なくとも1つの第2のニューラルネットワークを備え、
-環境の前記現在の部分を評価し、前記現在の部分に関する情報を記録するために構成される少なくとも1つの第2のニューラルネットワークは、シミュレートする哺乳動物の海馬構造に基づいて構築され、前記海馬構造は位置符号化を含み、
-少なくとも1つの第2のニューラルネットワークは、シミュレートされたニューラルネットワークであり、
-前記少なくとも1つのプロセッサは、シミュレートされるスパイキングニューロンによって、環境の前記現在の部分を評価することと、前記現在の部分に関する前記情報を記録することと、前記少なくとも1つの眼の連続運動の動的調整を制御することとのうちの少なくとも1つの動作を実行するために構成され、
-前記装置は、少なくとも1つのシミュレートされた視覚特性を受信するよう適合される少なくとも1つの第4の入力を備え、前記少なくとも1つのプロセッサは、更に、前記少なくとも1つのシミュレートされた視覚特性の関数において、前記少なくとも1つの視覚ストリームを動的に条件付けるために構成され、
-前記少なくとも1つのプロセッサは、更に、シミュレートする哺乳動物の網膜及び初期視覚皮質をシミュレートする少なくとも1つの専用ニューラルネットワークのおかげで、前記少なくとも1つのシミュレートされた視覚特性の関数において前記少なくとも1つの視覚ストリームを動的に条件付けるために構成され、
-網膜及び初期視覚皮質をシミュレートする専用ニューラルネットワークは、シミュレートされたニューラルネットワークであり、
-前記少なくとも1つのプロセッサは、更に、少なくとも1つの視覚ストリームをフィルタリングする少なくとも1つのカスタマイズ可能な時空間フィルタのおかげで、前記少なくとも1つのシミュレートされた視覚特性の関数において前記少なくとも1つの視覚ストリームを動的に条件付けるために構成され、
-前記少なくとも1つのプロセッサは、更に、カスケード接続されるカスタマイズ可能な時空間フィルタのセットのおかげで、前記少なくとも1つのシミュレートされた視覚特性の関数において前記少なくとも1つの視覚ストリームを動的に条件付けるために構成され、
-カスタマイズ可能な時空間フィルタは、視覚機器をシミュレートし、
-仮想哺乳動物の眼がカメラを有する物質的要素である場合、同じく実体である視覚機器は、仮想哺乳動物の実体眼上に配置され、
-カスタマイズ可能な時空間フィルタは、眼の変形、特に眼の光インターフェースの変形をシミュレートし、
-カスタマイズ可能な時空間フィルタは、眼の疾患をシミュレートし、
-前記少なくとも1つのシミュレートされた視覚特性は、前記少なくとも1つの眼に関連付けられた少なくとも1つの生理学的行動に少なくとも部分的に関係し、
-生理学的行動は、眼自体又は視覚皮質における対応する機能に関係し、
-前記少なくとも1つのシミュレートされた視覚特性は、前記少なくとも1つの眼の視覚機器に少なくとも部分的に関係する。
発明の更なる目的は、発明による装置において、仮想哺乳動物によって環境内の哺乳動物の生理学的行動をシミュレートするためのプロセスを提供することにあり、前記哺乳動物は、
-環境に対して可動にされる頭部と、
-頭部に対して回転可動にされる少なくとも1つの眼と、を含むよう実装され、
前記プロセスは、
-環境に対する前記少なくとも1つの眼の姿勢を表す連続データを受信することと、
-環境内の仮想哺乳動物による少なくとも1つの移動行動のための命令を受信することと、
-少なくとも1つのプロセッサによって、少なくとも1つのメモリに格納された環境に関する情報を用いて、前記連続データから環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録することと、
-前記少なくとも1つのプロセッサによって、前記少なくとも1つの移動行動、前記連続データ、及び環境に関する格納された情報の関数において、頭部及び前記少なくとも1つの眼の連続運動をトリガすることと、
-前記少なくとも1つのプロセッサによって、前記少なくとも1つの眼の運動と頭部の運動との間の安定化制約を用いることによって、前記連続データの関数において頭部の連続運動に対する前記少なくとも1つの眼の連続運動の動的調整を制御することと、を含み、
前記プロセスは、更に、
-訓練段階において、訓練環境に関連付けられる頭部及び前記少なくとも1つの眼の訓練運動シーケンスを表す訓練データを受信することと、
前記少なくとも1つのプロセッサによって、前記訓練段階において、学習することであって、
-訓練環境において、前記訓練運動シーケンスに対応する頭部の連続運動をトリガすることと、
-前記訓練データから訓練環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリにおいて同定されない場合、前記現在の部分に関する情報を前記少なくとも1つのメモリに記録することと、
-前記訓練環境の前記現在の部分を評価すること及び前記現在の部分に関する前記情報を記録することを考慮して、前記訓練データ及び前記頭部の前記連続運動の関数において、前記安定化制約の前記少なくとも一部に関する情報を特定し、前記安定化制約の前記少なくとも一部に関する前記情報を前記少なくとも1つのメモリに記録することと、
により、前記安定化制約の少なくとも一部を学習するために構成され、
その結果、仮想哺乳動物が、頭部及び前記少なくとも1つの眼の連続的に動的に調整された現在の運動を通じて、且つ環境を評価することを通じて、環境内で前記少なくとも1つの移動行動を実行する際にシミュレートされるべき哺乳動物のシミュレートされた行動を提供する。
プロセスは、特に上記の装置について、説明した全ての方法に従って実行することができ、場合によっては共に組み合わせることができる。
発明はまた、コンピュータプログラムであって、プログラムがプロセッサによって実行される場合、前記プロセッサに、発明のプロセスを実行させる命令を備えるコンピュータプログラムにも関する。
コンピュータプログラムは、有利には、開示のプロセスの実行モードのいずれかを別々に又は組み合わせて実行するために構成される。
発明はまた、少なくとも1つのプロセッサによって実行される場合、装置内の前記少なくとも1つのプロセッサに、発明のプロセスを実行させるコンピュータプログラムの命令を含む非一時的コンピュータ読取可能媒体にも関する。
本発明の実施形態を、単なる例として添付図面を参照して、ここで説明する。
開示による装置によってシミュレートされる仮想哺乳動物の主要な構造的、機能的、及び環境的特定及び関係を記号で示す。 モデル駆動型レジームにおいて動作するような仮想哺乳動物をシミュレートする装置を略図で示す。 機能モジュールを有する装置のデータ及び機能の好ましい動作実装を略図で示す。 哺乳動物の網膜及び初期視覚皮質をモデル化/シミュレートするために考えられてもよい異なる要素の一例を示す。 推論することができるVORコントローラの数学的モデルの一例を示す。 モデル化/シミュレートされる哺乳動物のVOR神経システムの簡略化された構造を示す。 内部空間表現の構築中に視覚及び自己運動情報の処理をモデル化/シミュレートするための基礎である哺乳動物の簡略化された海馬ニューロン構造を示す。 データ駆動型レジームにおいて動作するような仮想哺乳動物をシミュレートする装置の物質的要素を略図で示す。 開示のプロセスのフロー図である。
開示の装置及びプロセスは、仮想哺乳動物を用いて哺乳動物の少なくとも視覚システム(追加の機能及び部分、器官を仮想哺乳動物に容易に追加してもよいことを見て取るであろう)の健康な又は不健康な状態であり得る哺乳動物の生理学的行動をシミュレートする(従って、病理学的行動をシミュレートすることも可能である)ことを目的とし、哺乳動物は装置内でシミュレートされる。従って、シミュレートされる生理学的行動は、健康な哺乳動物又は幾つかの病状を有する哺乳動物に由来するものである。言及する哺乳動物は、特に装置が視覚機器、とりわけレンズ又はゴーグルの選択に適用される場合、人間であるのが好ましい。
仮想哺乳動物における視覚システムは、例えば、眼に入る光に対する眼の作用に関連する(例えば、眼の曲率及び長さに関連する)関数、網膜における光/光子の変換、仮想哺乳動物の基準である実際の哺乳動物の視覚システムの異なるニューロン構造関数との並列処理による変換された光に対して行われる異なる演算である関数のセットを用いてシミュレートされる。これらのニューロン構造関数は、例えば、初期視覚処理構造、前庭眼反射(VOR)ニューロン構造である。これらの関数は、実際の哺乳動物におけるニューロン構造に関与するものに関して、実際のニューロン構造をシミュレートするために仮想哺乳動物における神経回路網として実装/実行されるのが最も好ましい。しかし、実際のニューロン構造の関数が極めて単純であるか、及び/又は哺乳動物間であまり変化しない場合、それは、予め決定され、固定することができる数学的関数及び/又は論理関数によってより簡単にシミュレートすることができる。
以下の説明において、視覚ストリームを、姿勢(位置+配向)を表すデータの伝播体/支持体と考える。視覚ストリームは、環境に対する眼の姿勢に対応し、装置内で受け取ってもよいか、又は既知の眼の姿勢から及び環境データから装置によって特定されてもよい(後者は、仮想哺乳動物のメモリ/複数のメモリに格納されてもよく、哺乳動物にとって利用可能な情報と関係がある環境に関する情報と同じではない)。
その上、以下の説明は主に、VOR機構における眼球運動の動的調整の制御に基づいている。それは更に、意図的な眼の固定及び/又は(動いている物体を追う際の)視運動性反射に関する安定化を別々に又は組み合わせて含むことができる。従って、これらのモード、VOR、意図的な固視、及び視運動性反射のそれぞれ単独又は組合せを装置において実装することができる(対応する機能モジュールを用いて実装することができることは後述する)。前庭眼反射(VOR)は、仮想哺乳動物をシミュレートするために少なくとも実装されるのが好ましい。
図1を参照すると、開示による装置11によってシミュレートされる仮想哺乳動物1は、環境2内に位置し、環境2との関係、現在の例では主に、仮想哺乳動物の眼4によって環境2内で見られるもの又は見られると想定されるものに対応するデータの視覚ストリーム10の形態である視覚的関係を有し、これは、受け取った光/光子に含まれる情報に対応する。眼及び視覚システムの一部は、視覚ストリーム10に含まれる視覚情報を処理して環境情報8を得る。
仮想哺乳動物は、眼4が位置する頭部3を有し、頭部3及び眼4の両方は、回転矢印5、6で表すように移動可能であり、眼は頭部に対して移動可能6であり、頭部は環境2に対して移動可能5である。これらの運動は、反射運動とは対照的な「随意」運動であることができ、「随意」運動は、移動行動命令9の制御下にある。移動行動命令9の制御下での「随意」移動は、移動行動命令の種類に応じて、頭部3の「随意」運動のためのものであるか、又は眼4の「随意」移動のためのものでもある。眼4はまた、安定化制約7に応じて反射運動も受ける。
仮想哺乳動物は、完全に仮想であってもよいか、又は、幾つかの物質的な要素、及び、例えば、カメラである物質的な可動眼と共に可動である物質的な頭部を備えることができ、全体は、現実及び/又は画面上に表示される物質的環境内にある。仮想哺乳動物はまた、特にそれ自体が完全に仮想である場合、完全に仮想的な環境内に仮想的に配置することができる。それはまた、環境内で可動であってもよい本体(完全に仮想であるか、又は物質的要素を有する)を備えることができる。仮想哺乳動物はロボットとして実装することができる。
仮想哺乳動物の物質的要素は、実際には、シミュレートされる哺乳動物の拡張である。出力/応答に関して、シミュレートされる哺乳動物はまた、物質的要素もシミュレートし、前記シミュレーションは、物質的要素を移動又は活性化させる効果器を制御するために用いられる。従って、物質的要素の動きは、シミュレーションの結果であり、特に移動行動命令を通じた随意又は反射運動に対する応答を含む。入力、特に視覚ストリームに関しては、合成(即ち、コンピュータによって作成される)であってもよいか、又は、カメラ、特に物理的な頭部及び眼を有する仮想哺乳動物の眼の位置におけるカメラから取得することができる。無論、シミュレートされる哺乳動物は、追加の入力及び/又は出力項眼、腕、脚、聴力等の手段を用いて拡張することができ、従って追加の対応する機能モジュール(以下参照)が追加される。
仮想哺乳動物は、従って、現実環境の極めて詳細な3Dモデルとすることができ、且つ、哺乳動物、特に人間の記録された行動を再現するために用いることができる仮想環境、又は合成/仮想3D環境に配置することができ、仮想哺乳動物が定義された人が、同様の現実環境に配置された場合に何を行うかを予測するために用いることができる仮想環境に配置することができる。
ここで、図2は、環境内の哺乳動物の視覚に関する行動をシミュレートするための装置において実装される主要なハードウェア要素を略図的に示している。この図2は、仮想哺乳動物が哺乳動物のモデルから容易に構築される装置に関しており、それは次いで、モデル駆動型レジームにおいて実装されるものとして参照される。仮想哺乳動物1は、哺乳動物をシミュレートするための装置11で構成されている。プロセッサ12は装置の心臓部であり、複数の方法で実装することができる。それは、少なくとも1つの汎用プロセッサ又は汎用プロセッサとニューロンコンピューティングハードウェア若しくはリプログラマブルゲートアレイ等の特殊用途処理手段との組合せを有するコンピュータ、典型的にはマイクロコンピュータ、コンピュータのアレイ若しくはネットワークであることができる。プロセッサ12はソフトウェアの制御下にあり、メモリ13と通信し、入出力リンクを介してその周囲と通信する。メモリは、特に環境情報8及び安定化制約7を格納する。ここでも、メモリは以下の任意の種類とすることができる。例えば、RAM、EEPROM等の汎用回路又は特殊回路であって、物質的又はシミュレートされる神経回路のように回路の構造によって情報を格納することができるもの。
プロセッサ12が動作するソフトウェアは、哺乳動物をシミュレートするよう構成され、移動行動9(「随意」移動)及び視覚ストリーム10に対する受信した(入力リンクを介した)命令に従って頭部運動5及び眼球運動6を(出力リンクを介して)シミュレート及び制御するよう構成され、これは、安定化制約7及び環境情報8に従って眼球運動を適応させるよう「反射」眼球運動のプロセッサ12による処理/生成を含む。
太い矢印611が、図2において、プロセッサ12と視覚ストリーム10との間に破線で表されており、これは、プロセッサ12が、定義された条件、特にシミュレートされる視覚特性に基づいて、受信する視覚ストリーム10を、特に条件付けによって修正することができるという事実を符号で表している。それらの条件は、例えば、眼によって受け取られ、それらを通して仮想哺乳動物の網膜に伝達されると想定される光に対する、レンズ若しくはゴーグル又は眼の幾つかの部分の影響に関連していてもよい。例えば、それらの条件は、仮想哺乳動物の眼上の仮想レンズ(又は仮想哺乳動物の実体眼上の実際のレンズ)の介在、眼内の変性組織の存在、眼に対する年齢の影響、眼の一部を除去する眼科医の行為であってもよい。その目的のために、且つそれらの条件のうちの幾つかを選択することができるように、専用の条件入力リンク(図示せず)が追加されてもよい。それらの条件はまた、プロセッサ12を制御するソフトウェアの一部であってもよい。
図2では、通常の矢印56が、結果として生じる頭部運動5と眼球運動6との間で破線で表されており、これは、眼の動きのうち、頭部の動きに起因する「反射」部分を符号で表している。別の通常の矢印610は、結果として生じる眼球運動6と視覚ストリーム10との間で破線で表されており、これは、眼が環境に対して動く場合、仮想哺乳動物の眼がもはや同じ方向を見ていないので、視覚ストリーム10に含まれる情報が変化するという事実を符号で表している。仮想哺乳動物がカメラである可動眼を含む場合、視覚ストリーム10における情報の変化は自動的である。しかし、仮想哺乳動物の眼もシミュレートされる場合、これは、視覚ストリーム内の情報を変更するプロセッサ12である可能性があり、これは、上で検討した出力611を介して行うことができる。
仮想哺乳動物のモデル駆動型レジームは、主に、目標指向の行動を得るための移動行動のための命令により動作する。そのモデル駆動型レジームにおいて、仮想哺乳動物は、新しい挙動を実装するために用いることができる。このモデル駆動型レジームは、予測及び監視のために用いることができる。
ここで、モデル駆動型レジームで仮想哺乳動物を構築するために、ゼロからモデルを特定することができない場合がある。その上、実際の哺乳動物(例えば、特定の個体又は統計的な個体又は群に対応する個体であることができる)に関して得られた知識から仮想哺乳動物を構築して、実際の哺乳動物と同様に行動する仮想哺乳動物を得ることが、多くの場合、より有利であり、仮想哺乳動物の挙動は、データ駆動型レジームと呼ばれるものの訓練段階における学習プロセスを通じて実際の哺乳動物の行動から構築される。データ駆動型レジームは、開示の装置の機械学習構成に対応する。仮想哺乳動物が訓練され、行動を学習すると(即ち、学習を通じて実際の哺乳動物として行動するよう構成されていると)、モデル駆動型レジームに置くことができる。
従って、データ駆動型レジームにより、図7に表すように、哺乳動物をシミュレートするための装置のソフトウェアはまた、データ駆動型レジームの訓練段階において、特定される訓練環境情報に場合によって関連付けられる頭部及び眼の訓練運動シーケンスを表すデータ23から安定化制約7を学習する(矢印22で表される)よう構成される。その目的のために、プロセッサ12は、頭部及び眼の訓練運動シーケンスデータ23及び訓練視覚ストリーム10’を受信する一方で、仮想哺乳動物は、訓練環境情報8’の形態でメモリ内に格納することができる特定された訓練環境に設定される。データベース21は、プロセッサ12とデータを交換することができる。データベースは、装置に自動的にロードすることができるシミュレーションのパラメータ、特に記録された実験データを格納することができる。更に、データベースは、データ駆動型レジーム及びその訓練段階を実行する必要なく、モデル駆動型レジームにおいて装置を直接設定するよう、予め定義されたモデルを含む、多くの他の種類のデータを格納することができることが分かるであろう。それらはまた、後で訓練段階をやり直す必要なく、後で再利用するために、シミュレーションの結果又は訓練段階から得られた結果モデルを格納することができる。
図7に表すこのデータ駆動型レジームにおいて、訓練運動シーケンスデータ23は、適用される眼球運動及び頭部運動に対応し、これは、図2のモデル駆動型レジームの移動行動のための命令ではなく、それらに対応しない。
訓練環境に関連付けられる眼の訓練運動シーケンスを表す訓練運動シーケンスデータ23は、必ずしも眼球運動を備えていない。それらは、代わりに、訓練環境における実際の哺乳動物、「平均的な」哺乳動物、又は架空の哺乳動物によって観察されるような関連する入力視覚ストリーム又は訓練のための他の種類の入力視覚ストリームを含むことができる。
例えば、入力視覚ストリームは、哺乳動物に固定された又はその外部にある適切なカメラによって追跡される実際の眼球運動から上流で、且つ周囲環境から特定されており、そういうものとして装置に提供される。入力視覚ストリームは、例えば、追跡された眼球運動から得られた視線方向から、周囲環境に対応する仮想環境における光線追跡を通じて、又は周囲環境において追跡された眼球運動を反映する方法で1つ若しくは2つのカメラを移動させることから誘導された。
別の実施例において、入力視覚ストリームは、例えば同じグループ(例えば、同じ性別、類似の年齢、類似の眼疾患、同じ身長カテゴリ等)に属する異なる実際の人物に関連付けられた幾つかの視覚ストリームを平均化することによって得られた。更に別の実施例において、入力視覚ストリームは、例えば、後で変換された現実世界の視覚ストリームに基づいて、人工的に作成された。
いずれにしても、眼球運動情報を訓練運動シーケンスデータ23として有することは、実際に特に興味深い実施形態であり、関連する訓練視覚ストリーム10’は、当該技術において周知のように、例えば眼球運動情報に対応する眼球姿勢及び訓練環境に対応する仮想環境に関連付けられた光線追跡によって、訓練環境の受信データから装置によって特定される。
加えて訓練運動シーケンスデータ23は、訓練環境に関連付けられた訓練運動シーケンスに対応する頭部及び眼球運動データを含む。訓練運動シーケンスは通常、反射眼球運動だけでなく環境認識も組み込んでいるため、それらは通常、随意運動を考慮に入れる。この点において、環境認識プロセス及び安定化プロセスは、密接に絡み合い、相互依存していてもよい。
哺乳動物の眼球運動安定化特性は、学習プロセスから誘導される。この点において、頭部運動及び視覚ストリーム、又は、頭部及び眼球運動は、訓練環境に関連するデータと共に、十分であり得る。安定化制約に関する情報は、実際には、頭部運動及び進行中の環境認識を考慮して、取得された入力視覚ストリームにおける既存の不安定性及び安定化効果から導出することができる。
矢印が存在する図2(モデル駆動型レジーム)とは対照的に、図7(データ駆動型レジーム)において、眼球運動6と頭部運動5との間に矢印が存在しないことに留意されたい。実際に、訓練段階において、眼球運動及び頭部運動は通常、例えば、先に監視したように、現実世界の状況において、単に受信したものとして取得及び適用される。それらは単にエントリとして共に取得され、図7に矢印が存在しないことは、眼球運動と頭部運動との間の関係が、訓練段階においてこれらのデータを取り出し、適用する際に問題とならないことを意味するため、それらの関係に関してこのレジームにおいては通常考慮されない。
データ駆動型レジームの学習プロセスの訓練段階に加えて、仮想哺乳動物は、実験的に記録された挙動を再現して、学習された構成又は事前に確立されたモデルが正しく機能することを検証するよう設定することができる。その上、このデータ駆動型レジームにおいて、新しいデータを得ることができ、これは利用可能な実験データを超える。例えば、環境内のユーザの頭部の位置、頭部に対する眼の位置、ユーザの視線方向及び視野のデータが実験的に測定することができる場合、仮想哺乳動物シミュレーションは、加えて、視野の内容、ユーザが注視する視覚キュー、及び、例えば網膜神経節細胞の神経活動に関する情報を提供することができる。
安定化制約7が学習される場合22、装置は、データ駆動型レジームの訓練段階を離れ、モデル駆動型レジームのその通常の動作状態に戻るか、又は、例えば、実験的挙動データを再現するために、訓練段階ではなくデータ駆動型レジームに留まることができる。訓練段階において、学習プロセスは、一般的に、深層学習プロセス及び/又はかかる実装が用いられる場合に神経回路網を構成する任意の学習プロセスを通して行われる。学習のための頭部及び眼の訓練運動シーケンスの使用は、仮想哺乳動物が実験的に記録された挙動を再現するように求められるデータ駆動型レジームに対応している。
言い換えれば、訓練段階は、装置がシミュレーションの対象となる実際の哺乳動物と同じ挙動をするよう学習する、装置のデータ駆動型レジームに対応している。訓練段階後に結果として得られる仮想哺乳動物は、基準としての役割を果たす哺乳動物のイメージである。仮想哺乳動物を訓練するための基準としての役割を果たす哺乳動物は、実際の哺乳動物又は統計的哺乳動物(例えば、実際の哺乳動物の平均)であってもよいか、又は構築された目的通りの哺乳動物であってもよい。用語「学習」の文脈において扱われる情報は、学習されるデータベース情報を暗黙的に指し、適切な解析ツールを用いて、哺乳動物の行動に関する基準データを有する装置の動作(運動シーケンス、場合によっては関連する移動行動、場合によっては訓練環境において誘導された視覚ストリーム等)から結果として生じる情報と相関させることができ、データベースは、特に、ローカル(ユーザライブラリ)又はリモート(サーバライブラリ)のいずれかであるライブラリを介して利用可能であってもよい。
学習段階又は通常の動作状態にある装置の動作中に、装置内で処理されるデータにアクセスすることが可能であり、また、仮想哺乳動物の実体部分、例えば移動可能な頭部及び/又は眼の位置から仮想哺乳動物の挙動にアクセスすることも可能である。例えば、環境内の仮想哺乳動物の実体頭部の位置、頭部に対する実体眼の位置、視線方向、及び視野を測定及び/又は記録することが可能である。別の方法において、特に仮想哺乳動物の実体部分がなく、処理されるデータに依存する必要がある場合、装置から得られる処理済みデータから同じ情報を取得及び/又は計算することが可能である可能性がある。その上、視覚システムの機能がシミュレートされる神経回路網として実装/実行される場合、学習プロセスから得られるシミュレートされた/仮想ニューロンの構造及びそれらがどのように挙動するかについての詳細な情報を得ることも可能である。視覚ストリームが視覚システム内でどのように処理され、「表され」るかに関する情報を得ること、及び視野の内容、ユーザが注視する視覚キュー、及び、例えば網膜神経節細胞の神経活動に関する情報を得ることも可能であってもよい。
プロセッサ12を制御するソフトウェアは多くの機能を有し、特にプログラミング、保守、カスタマイズ、及びアップグレードを容易にするために、異なる機能に対してモジュール式システムを実装することが好ましく、アップグレードは、例えば仮想哺乳動物の追加される物質的な身体の移動を制御すること等の新しい機能の追加を含む。加えて、モジュール式システムにより、仮想哺乳動物でシミュレートされる哺乳動物の実際の生体システムに機能的により近いシステムを作成することがより容易である。
アップグレードに関しては、視覚システムに関する限り、また、眼が仮想哺乳動物の頭部上にあるため、歩行を含む完全な身体の動きを、環境の空間内での頭部の動きに再び続けて、処理を簡略化することができる。実際に、視覚システムに関しては、頭部が眼と前庭系を支えているので、空間内の頭部運動を考慮すれば、全身のシミュレーションには十分である可能性があることに留意されたい。
アップグレードした実装において、仮想哺乳動物は、完全な身体を有することができ、後述するように、特定の機能モジュールによって制御されてもよい歩行及び/又は身体の他の動きを行うことができる。歩行及び/又は他の動きは、結果として、視覚システムに直接関連する機能モジュールによって考慮される頭部の動きを生じる。
システムは、従って、追加機能を実装するモジュールを追加することによって容易に拡張することができる。各機能モジュールは、生体器官又は脳領域又はその一部(例えば、眼、網膜及び視覚皮質、海馬;小脳;筋骨格系、並びに仮想哺乳動物のバランス及び姿勢を制御する脳内の制御領域)をシミュレートする。各機能は、生体詳細の異なるレベルにおける幾つかの機能モジュールによって実装することができる。シミュレーションを高速化するために、幾つかの機能モジュールは高速アルゴリズムによって実装することができる一方で、他のものはニューラルネットワーク又は細胞モデルを伴う詳細な生体シミュレーションによって実装することができる。
図3は、機能モジュール、処理手段、補助ツール、及びデータ構造等の異なるコンポーネントが相互接続される通信手段を有する例示的なモジュール式システムである。それらのコンポーネントを有するこのモジュール式システムは、装置のソフトウェアの一部である制御プログラムの制御下にある。より正確には、この実施例においては以下の通りである。サーバライブラリコンポーネント14、ユーザライブラリ及び解析ツール15、3Dエイジング仮想哺乳動物及びその環境コンポーネント16、並びに3つの機能モジュール17、18、19は、メッセージパッシングミドルウェア20に接続される。表した3つの機能モジュールは以下の通りである。仮想網膜及び初期視覚皮質モジュール17、小脳VOR制御モジュール18、及び海馬モジュール19。
3Dエイジング仮想哺乳動物及びその環境コンポーネント16は、仮想哺乳動物の年齢、仮想哺乳動物の年齢と共に進化する装置によってシミュレートされる能力及び機能を考慮するよう開発されているため、単語「エイジング」に言及している。
サーバライブラリコンポーネント14は、コンポーネント(登録、サブスクリプション、インターフェース、ブロードキャスト)を管理する。3Dコンポーネント16は、3Dシミュレーション環境を用いて、仮想哺乳動物、その環境、及び選択した挙動の視覚化を実行する特定のクライアントモジュールである。ユーザライブラリ及び解析ツールコンポーネント15(解析及びグラフィックユーザインターフェースを含む)は、シミュレーションプラットフォームの制御及び解析を実施し、その主な機能は以下を含む。
-仮想哺乳動物パラメータの構成(手動、又はファイルからロードされるか、又は学習されるかのいずれか)。
-例えばファイルからロードすることができる仮想哺乳動物環境の構成。
-機能モジュールに関する仮想哺乳動物挙動の構成。ユーザは、例えば、ユーザ行動を決定する実験データをロードすることができる。学習プロセスが実行されるデータ駆動型レジームにおいて、挙動は、実験データ、例えば時間の関数としての頭部の位置及び視線の方向によって特定される。モデル駆動型レジームにおいて、挙動は、挙動タスクを記述する実験プロトコルによって特定される(例えば、ナビゲーション実験において、開始位置及び目標が与えられなければならず、また学習試行回数も同様である)。
-シミュレーションの結果を処理し、視覚化するために開発された任意の特定のデータ解析ツールへのアクセス。これらの解析ツールは、仮想哺乳動物の特定のコンポーネント、その挙動パフォーマンスの評価等に関係していてもよい。
機能モジュール及び仮想環境がわかっている場合、装置の仮想哺乳動物を効率的にパラメータ化することが可能である。モデルのパラメータは、機能モジュール及びコンポーネントの全て又は大部分に影響を及ぼす全体的パラメータ(例えば、年齢、性別、特定の病状等のような)と、特定の機能モジュール又はコンポーネントの挙動に影響を及ぼす局所的パラメータ(例えば、視力若しくはコントラスト感度、又は哺乳動物の任意の他の実験的に測定されたパラメータ)とに分離することができる。
メッセージパッシングミドルウェア20は、システムに接続された各コンポーネントが他のコンポーネントにメッセージを送信し、他のコンポーネント上に実装された機能を呼び出すことを可能にするシステムのバックボーンである。技術的な観点から、装置の実装は、モジュールの数及びそれらの複雑さに応じて、1つのコンピュータ上で、幾つかのコンピュータ上で、又はコンピュータクラスタ上で実行することができる分散システムを介して行うことができる。
前述のように、特定の脳領域(例えば、一次視覚野)又は生体器官(例えば、眼)の計算モデルを含む機能モジュールであってもよい他のコンポーネントが追加されてもよい。各機能モジュールは、システムに登録されなければならず、他のモジュールのメッセージを購読することができ、それ自体の機能を公開しなければならない。
メッセージパッシングミドルウェア20の実装には、オープンソースROSフレームワーク(http://www.ros.org)を用いてもよい。特に、C/C++言語を用いるこのフレームワークの開発及び呼び出されるcROS(https://github.com/rrcarrillo/cros)を用いてもよい。この開発は、ROSマスタと、標準化されたソフトウェアインターフェースを用いてコンポーネントを管理し、メッセージパッシング/ブロードキャストを実装するサーバモジュールと、リモートファンクションコールとを含む。機能モジュールの生物学的に妥当な実装において、これらのモジュールは、スパイク列によって表されるメッセージ、即ち、情報を交換するために神経系内のニューロンによって用いられる電気活動電位をシミュレートする短いイベントのシーケンスを交換する。この目的のために、任意のモジュールが他の任意のモジュールにスパイク列を非同期的に送信することができ、脳における情報伝達をモデル化するように、特別な種類のメッセージがROSライブラリにコンパイルされている。システムは、他のカスタムメッセージタイプを追加することによって拡張することもできる。
3Dエイジング仮想哺乳動物及びその環境コンポーネント16は、「Unity 3Dエンジン」(https://unity3d.com/unity)を用いて開発してもよい。「Unity 3Dエンジン」は、照明効果、物理学、アニメーションを含む現実的な3D環境をモデル化するために用いることができる多くの機能を提供する。エンジンの完全な制御は、プログラミング言語C#を用いて実行することができる。この機能は、ユーザライブラリ及び解析ツール15コンポーネントから3Dモデルを遠隔制御するために用いられる。3Dエイジング仮想哺乳動物及びその環境16コンポーネントの制御を実装するユーザライブラリのサブコンポーネントは、本明細書において制御プログラムと称する。
5つの一般的なC#スクリプトが、3Dエイジング仮想哺乳動物及びその環境16コンポーネントを制御するために用いられる。
-RosInterface。このスクリプトは、ROSインターフェースを実装し、その結果、3Dエイジング仮想哺乳動物及びその環境コンポーネントは、制御プログラムを含む他のモジュールとメッセージを交換することができ、その制御プログラムから3Dエイジング仮想哺乳動物及びその環境コンポーネントが遠隔制御される。
-SimulationManager。このスクリプトは制御プログラムによって呼び出され、シミュレーションの状態を管理する役割を果たす。それは、仮想哺乳動物及びその環境を作成するため、並びに行動のシミュレーションを開始、一時停止、及び停止するために用いられる。
-SubjectMovement。このスクリプトは、制御プログラムから命令されるように、仮想哺乳動物の挙動を実行する。このスクリプトはまた、仮想哺乳動物センサから生の感覚データも受信する(例えば、仮想哺乳動物が体験する視覚ストリームの視覚情報のフローを受信する)。この感覚情報は、制御スクリプトに、又はサーバライブラリコンポーネントのサブスクリプションサービスを介してそれを受信するよう購読される任意の他のモジュールに戻される。
-SubjectEye。このスクリプトは仮想哺乳動物の眼を実装し、仮想哺乳動物の頭部に取り付けられるビデオカメラによってシミュレートすることができる。
-PALens。このスクリプトは、仮想哺乳動物の眼に取り付けられる、単一視、レンズ/ゴーグル、フィルタ、フォトクロミック等の任意の視覚機器による視覚入力の歪みを実行する。これは、そのスクリプトが視覚ストリームの条件付けを行っていることである。
従って、3Dエイジング仮想哺乳動物及びその環境コンポーネント16は、仮想哺乳動物、その環境、及びその挙動を視覚化するために用いられる。この実施例において、このコンポーネントはまた、レンズ/ゴーグル等の視覚機器による視覚歪み効果をシミュレートする役割も果たす。
仮想哺乳動物の環境の視覚化に関して、専用ソフトウェア(AutoCAD(登録商標)等)によって作成される環境の任意の詳細な3Dモデルを環境モデルとしてロードすることができる。別の実装において、実際の実験室の3Dモデルを「Unity 3Dエンジン」において直接開発することができる。
仮想哺乳動物頭部及び身体、並びに、より一般的にはその物理的外観及びその動きの視覚化は、人間型である場合、MakeHumanソフトウェア(http://www.makehumancommunity.org)を用いて実装することができる。仮想哺乳動物は、シミュレートされた哺乳動物が人間である場合、一般的な人間のカスタマイズ可能な3Dモデルであってもよい。現在の実装において、視覚的外観のカスタマイズは、年齢、性別、及び見通しを含む。しかし、任意の詳細な3D人間モデル(例えば、専用ソフトウェアによって作成された)をロードすることができる。
ユーザライブラリ及び解析ツール15コンポーネントは、ユーザが以下を行うことを可能にする。
-パラメータファイル又は実験データベースから仮想哺乳動物パラメータをロードすること。
-例えば、Matlab又はPythonで書かれた制御プログラムを用いて、通常の動作状態又は訓練段階にある間に、シミュレーションを作成し、開始し、停止すること。
-特に対応するモジュールからのメッセージを購読することによって、プラットフォームの任意のモジュールによって生成されたシミュレーションデータを取得し、性能評価、監視、及び予測を提供するようにこのデータを解析すること。
ここで、用いることができる機能モジュールの幾つか、より詳細には、視覚システム及び頭部運動に対する眼の適応に関するものを説明する。考慮する機能モジュールは、図3に表すものであり、その視覚システム及び頭部運動に対する眼の適応に関して、実際の哺乳動物の脳の異なる機能に関連して実装されているものである。
仮想網膜及び初期視覚皮質モジュール17は、哺乳動物、特に人間の網膜における網膜神経節細胞の活動をシミュレートする機能モジュールである。その機能モジュールは、図4に表す要素に基づいている。このモジュールはまた、脳のV1-V2領域における方位感受性ニューロンをシミュレートするために適用することができる。入力として、そのモジュールは、仮想哺乳動物の眼から、又は仮想哺乳動物の実体眼のカメラから視覚ストリームを受信する。出力として、そのモジュールは、シミュレートされた網膜神経節細胞によって放出されるスパイク列(シミュレートされた活動電位のシーケンス)を生成する。網膜処理は、網膜入力視覚ストリームに適用されるカスタマイズ可能な時空間フィルタのカスケードとして詳細な方法でシミュレートされる。時空間フィルタの特性等のこのモデルのパラメータは、予め特定されるか又は学習され、従って、網膜記録データに調整することができる(通常、網膜活動が記録されるように、測定電極を有する皿上で抽出された網膜を用いて行われる)。特に、初期視覚処理における加齢変化を、仮想網膜モデルをパラメータ化することによってこのモデルにおいて考慮に入れることができる。
小脳VOR制御モジュール18は、イメージを視野の中心に維持する目的で対側眼球運動によって頭部回転中に網膜上のイメージを安定化させる反射眼球運動である。VORは、適応が感覚運動エラーによって直接行われる脳領域、即ち、小脳によって介在される。小脳VOR制御モジュール18は、図5Bに表すニューロン構造に基づくように、小脳における神経回路網によるVOR制御の詳細なモデルを実装してもよい。より単純化した実装において、小脳VOR制御モジュール18は、数学関数として図5Aに表すコントローラモデルに基づいて実装されてもよい。
海馬モジュール19は、海馬のニューロンモデルに基づいており、仮想哺乳動物の環境の神経表現の構築に関与する。このニューロンモデルは、図6の表現から得られる。哺乳動物における視覚ベースの空間ナビゲーションは、海馬形成と呼ばれる脳領域の神経回路網によって制御される。この脳領域における幾つかの種類のニューロン、特に場所細胞及び格子細胞は、入ってくる感覚入力に基づいて、周囲環境の神経表現を構築するために複雑な方法で相互作用する。図6に表すように、自己運動入力及び他人中心性の視覚入力は格子細胞の配列ECに入力され、処理された情報は神経細胞の他の配列、即ち、フィードバック(サブα)のための、DG、視覚的場所細胞及び運動に基づく場所細胞を有するCA3、結合場所細胞を有するCA1を通して導かれる。海馬モジュール19は、神経回路網により、海馬形成による環境の空間評価中の海馬形成の動作をシミュレートする。
海馬モジュール19は、以下の複数の情報を入力として受信する。
-視覚ストリームを受信した仮想網膜及び初期視覚皮質モジュール17によって出力されるような視覚情報。
-自己受容、前庭等の他の感覚情報。
海馬モジュール19は、出力として、環境内の仮想哺乳動物の位置を符号化するニューロンの活動を生成する。これらの出力は、次いで、モデル駆動型レジームにおいて仮想哺乳動物の目標指向型挙動を駆動するために用いることができる。
装置の仮想哺乳動物は、それが受信する視覚ストリームから環境の現在の部分を評価することが可能であり、前記現在の部分に関する情報をそのメモリに記録することも可能であり、この記録はある種の学習/訓練と考えることができる。従って、装置は二重訓練スケールを有すると考えることができる。1つのレベルは、その訓練段階を有するデータ駆動型レジームにおける動的眼球運動調整のために仮想哺乳動物を構成することに向けられ、別のレベルは、データ駆動型並びにモデル駆動型段階における環境を学習することに向けられ、そうでなければ、データ駆動型段階は、組み合わされた二重訓練スケールを伴う。
装置の2つの可能なレジームに関して、データ駆動型レジームは、モデル駆動型レジームが既に適用された後に、特に仮想哺乳動物を再構成するために(例えば、別の個体の検討、健康状態の変更、又は同じ個体の老化等)実行することができ、いずれにしても、それは、それに基づくモデル駆動型レジームに先行し、この範囲で予備的である。
データ駆動型レジームにおいて、環境内の仮想哺乳動物の動きは、制御プログラムから発行されるコマンドに基づいて実行される。
一実装において、制御コマンドは、仮想哺乳動物が再生しなければならない時間の関数としての身体部分の記録された空間座標のセット(例えば、モーションキャプチャ機器によって提供される)を含む。視覚化を円滑に実行するために、制御運動は補間されて、5つの基本アニメーションの標準セットを混合することによって作成される最終的な仮想哺乳動物アニメーションの基礎を提供する。
仮想哺乳動物の異なる部分の動きに関して、制御プログラムは、仮想哺乳動物の眼を制御するために用いられる注視方向データも提供する。一実装において、3D環境内の注視対象の空間座標は時間の関数として提供される。仮想哺乳動物頭部の運動を仮想哺乳動物眼球の運動と適合させるために、逆運動学アプローチが用いられる。逆運動学方程式は、データと、仮想哺乳動物の3Dモデルの制約とに適合する連結眼球頭部位置を特定する。眼の波面、瞳孔径、及び眼瞼運動(アイトラッカーにより取得される)等の追加のパラメータを、シミュレーションの精度を向上させるために追加することができる。注視方向データ及び追加パラメータはまた、安定化制約の学習のための訓練段階においても用いることができる。
モデル駆動型レジームにおいて、制御プログラムは、実行すべき行動タスクの実験プロトコルを提供する。この場合、仮想哺乳動物の運動は、運動制御を実行する脳領域を実装する追加機能モジュールによって制御される。実際に、運動制御は多くの方法で実装することができる。例えば、運動制御のための特定のモジュール、即ち運動制御モジュールをモジュール式システムに追加することができる。図3のモジュール式システムに対応する別の実装において、VOR適応により、小脳VOR制御モジュール18は、3Dエイジング仮想哺乳動物コンポーネント16のために眼の位置を直接制御することによって眼球運動の適応を実装している。
別の実装において、追加機能モジュール、即ち、小脳VOR制御モジュール18の出力を急上昇させることによって制御される眼筋モジュールのモデルを、モジュール式システムに追加することができ、それは、極めて詳細且つ生理学的に妥当な様式で眼球制御を実装する。同じ方法であるがより大きなスケールで、図3の実装における海馬モジュール19はまた、仮想哺乳動物の動きの方向及び速度を単に設定することによって、仮想哺乳動物が動くように構築される場合、それ自体の動きを直接制御することもできる。その代わりに、生理学的に妥当な方法で仮想哺乳動物の運動制御を実施する特定の移動モジュールをモジュール式システムに追加することができる。
同じ補間アルゴリズムを用いて、仮想哺乳動物の自然な挙動を実装している。
モデル駆動型レジームにおけるシミュレーションの一例を以下に示す。
1.第1に、シミュレーションの対象である哺乳動物被験体は、記録されたデータを生成するよう何らかの実験タスク中にその行動が記録される。例えば、新しい視覚機器への適応は、定義される環境における幾つかの試行にわたって眼球運動のダイナミクスを測定することによって記録される。
2.仮想哺乳動物は、次いで、データ駆動型レジームでシミュレートされて、眼球適応運動に関与する少なくとも1つの機能モジュール、この例では、その安定化制約を有する小脳VOR制御モジュールのモデルパラメータを学習し、これはニューラルネットワークに基づいている。その目的のために、現在訓練段階にある仮想哺乳動物は、先に得られた記録データを用いて且つ同じ対応する環境を用いてシミュレートされる。機能モデルが訓練される場合、特に安定化制約が設定される場合、それは、この特定の対象が新しい視覚機器にどのように適応するかのモデルを表す。
3.機能モジュールがステップ2で訓練された後、それを用いて、被験体が、以前に試験されたことがない別の視覚機器に、又は場合によっては、モデルの品質をチェックするための手段と同じものにどのように適応するかを予測することができる。このモデル駆動型シミュレーションにおいて、仮想哺乳動物パラメータ、特にこの例では安定化制約は従って固定され、新しい視覚機器が仮想哺乳動物に設置される。シミュレーションは、次いで、開始され、仮想哺乳動物のパフォーマンスが記録される。このパフォーマンスは、この新しい視覚機器がこの特定のタスクにおいて被験体に装着された場合に被験体が何をするかの予測を構成する。
より一般的には、データ取得(シミュレートされるべき哺乳動物から記録されたデータ及び関連する環境を得るため)、モデル訓練(仮想哺乳動物動作の訓練段階における学習プロセス)、及びモデルに基づく予測の同じシーケンスを、任意の機能モジュールと共に用いることができる。例えば、小脳VOR制御モジュール18は、被験体が新しい実験条件にどのように適応するかを予測するために、記録されたデータ上で訓練することができる。別の例として、海馬モジュール19は、ある環境における実際のナビゲーションタスクに関する学習プロセスを通して訓練することができる。モデル駆動型レジームにおいて、仮想哺乳動物は、同じナビゲーションタスクが別の環境で実行される場合に何が起こるかを予測するために用いることができる。適応及び学習を表現することができる任意のモジュールを訓練し、次いで予測のために用いることができる。
特に、仮想哺乳動物においてシミュレートされる視覚システムに関して、哺乳類の眼は、仮想(仮想哺乳動物は、眼をシミュレートする実体部分を有さない)又は現実(仮想哺乳動物は、眼をシミュレートする実体部分を有し、カメラを備える)の円筒カメラとしてシミュレートされる。
追加として又は代替として、哺乳動物、特に人間の眼の任意の詳細なモデルを用いることができる。これは、例えば、修正されたSubjectEye C#スクリプトによって実装されて、3Dエイジング仮想哺乳動物モジュールによって直接的に所望の計算を実施することができる。モデルの複雑性が高く、専用の処理を必要とする場合、新しい機能モジュールを実装することができ、別個のコンピュータ又はコンピュータクラスタ上で実行してもよく、視覚ストリームを処理し、メッセージパッシングミドルウェアを用いて他の機能モジュールに対してそれを公開する。
同様に、仮想哺乳動物の眼に対して、3Dエイジング仮想哺乳動物モジュールにおいて直接C#スクリプトによりそれを直接実装することによって、又は専用機能モジュールを用いることによってのどちらか一方によって、任意の視覚機器をモデル化することができる。視覚的歪みをシミュレートすること、及び/又は(波面上の)幾つかの収差を眼の水晶体に加えること、及び網膜像に対する影響を計算することが可能である。次いで、仮想哺乳動物の主観的ベストフォーカスに対する非点収差及び高次収差の影響を評価することが可能である。
モジュール式システムによる仮想哺乳動物の実装は、以下の方法に従って行うことができる。
1-シミュレートされる哺乳動物に基づく仮想哺乳動物の定義。定義は、哺乳動物プロファイルに関するパラメータを含む。それは、年齢及び/又は性別及び/又は他の情報等の個体群統計情報を考慮に入れる。他の情報の例として、眼科使用の状況において、少なくとも処方、フィッティングパラメータ等のパラメータを考慮することができるが、感覚、運、動及び認知状態情報も考慮することができる。定義内容は、シミュレーションの目的及び状況によって決まる。定義は以下の多くの方法で入力することができる。関連するパラメータを含むファイルを用いて、又は訓練段階で学習したものを用いて、手動での入力。この定義において、仮想哺乳動物をシミュレートするための装置により解決すべき目標及び問題も設定される。目標及び問題は、任意の分野、産業、医療、ゲームに関連することができ、少なくとも以下を含む。
-学習プロセスを通して安定化制約等のパラメータを設定するために、訓練段階において学習すること。
-学習の結果として仮想哺乳動物との動きを再生/レンダリングすること。
-運動又は他の要素(例えば、モデル化された(ニューラルネットワーク)視覚構造の一部における視覚情報の表現)、又はより一般的には、装置における処理に関与するデータ(特に、安定化制約、視覚の質等)及び/又は構造(特に、ニューラルネットワークの構造及び特性)の評価又は監視。
-動き又は他の要素を予測すること。
2-機能モジュール選択。レジーム(モデル駆動型レジーム又はデータ駆動型レジーム)及びモジュールの選択は、ユーザの目的に従って行われる。
3-3D仮想哺乳動物によるシミュレーションの出力/応答は、1人の特定のユーザ又はユーザのクラスタに対して送出することができる。出力/応答は、異なる機能モジュールから送出することができ、及び/又は、更に、ナビゲーション、自律性、並びに感覚、運動、及び/又は脳レベル等の挙動の評価を得るために処理することができる。
4-仮想哺乳動物が直面する問題に対するソリューションの特定/選択/最適化。これは、シミュレーション、再生、視覚機器レンズに関わる任意の問題を客観的又は主観的に特定又は選択するための、又は哺乳動物の健康を改善するためのパーソナライズされた推奨を提供するための、神経計算ベースの方法/プロセスである。視覚機器又は再教育/機能回復の影響は、哺乳動物のパフォーマンスをモデル化する仮想環境においてシミュレート及び試験することができる。ソフトウェアモデリングのおかげで、潜在的な視覚処理(例えば、眼疾患)、人間の脳、行動欠陥、又は視力不良(例えば、矯正されていないか又は不適切な屈折)の影響を予測するために、老化した哺乳動物の行動をシミュレート又は再現することができる。スタンドアローンバージョンにおいて、仮想哺乳動物は、仮想哺乳動物の出力/応答を比較するために自動評価モードを含んでいる。このスタンドアローンバージョンは、最良のソリューションに関する推奨を確立するための基準を提供する。
開示の装置の用途は数多くある。
第1の用途において、シミュレートされた哺乳動物の移動に対する影響を評価することによって、新しいレンズ/ゴーグルを選択するために用いることができる。この第1の用途において、装置は、網膜に到達する視覚ストリーム上のレンズ/ゴーグルによって引き起こされる歪みをシミュレートする。実際の哺乳類の動きは、実際の環境の探索中に運動及び視標追跡システムを用いて記録される。システムによって記録されたデータは、各センサの空間座標と、視標追跡データとからなる。これらのデータは、データ駆動型レジームにおける学習のために仮想哺乳動物の動き及び注視方向を制御するために、制御プログラムを介して訓練段階中に装置にロードされる。訓練段階の後、学習した仮想哺乳動物は、シミュレーションを通して、レンズ/ゴーグルを装着するよう作成され、視覚入力によるその歪みは、3Dエイジング仮想哺乳動物コンポーネント16内のPALensスクリプトを用いてモデル化される。ユーザライブラリ及び解析ツールコンポーネント15によって、レンズ/ゴーグルの有無に関わらず視覚入力を、シミュレートされた現実世界環境の探索中に互いに比較することができる。特に、視覚的歪みは、バランス及び移動パターンの変化を生じる可能性がある。従って、視覚機器による視覚入力の変化を解析し、これらの変化を姿勢制御バランス、揺れ、歩行速度にリンクさせることによって、パフォーマンスに対する影響を最小限に抑えるよう視覚機器の特性を調整することが可能である。
開示の装置のこの第1の用途において、既存の点眼液のデータベースの中から、移動性、ナビゲーション活動等の装着者の日常行動に適合する点眼液を選択するために用いることができる。人間仮想哺乳動物の定義は、装着者プロファイル(処方、年齢、フィッティングパラメータ等)を含む。例えば、仮想哺乳動物の定義におけるパラメータは、以下であってもよい。処方の変更が必要な65歳の個人であって、現在のレンズは、累進の長さが短い。環境は商業環境である。入力パラメータは、利用可能な視覚機器と、商業環境における簡略化されたナビゲーションタスク中に記録された身体運動のデータ記録とを含む点眼液データベースである。機能モジュール及びコンポーネント選択のために、仮想哺乳動物が異なる視覚機器を装着する際、視覚ストリーム入力上のそれらの歪みは、3Dエイジング仮想哺乳動物及びその環境コンポーネント内のPALensスクリプトを用いてモデル化される。ユーザライブラリ及び解析ツールコンポーネント15によって、関与するモジュール及びコンポーネントの最小構成は以下の通りである。
-データ駆動型レジームに対し、視覚環境歪みの計算のためのそのPALensスクリプトを有する3Dエイジング仮想哺乳動物及びその環境コンポーネント16、及び小脳VOR制御モジュール18。
-モデル駆動型レジームに対し、小脳VOR制御モジュール18及び現在のレンズで記録された頭部運動に基づいて眼球運動を再計算するための小脳VOR制御モジュール18を含む、3Dエイジング仮想哺乳動物及びその環境並びに機能モジュール。実際に、彼/彼女のレンズ歪みに適応した装着者は、網膜上のイメージを安定化させるよう最適にシミュレートされた前庭眼反射(VOR)を提示する。
仮想哺乳動物の出力/応答に関して、データ駆動型レジームにおいて、出力/応答パラメータは、記録された移動パターン、眼球運動、及びシミュレートされた商業環境から計算される歪み量である。文献、国際公開第2017157760A1号パンフレットは、網膜視覚ストリーム上のレンズ歪みを最小化する視覚機器の選択を実行する方法として参照することができる。
仮想哺乳動物の出力/応答に関して、モデル駆動型レジームにおいて、これは、逆工学法による補足的評価を生じさせる。+2.50~+3.00dpの追加変更の処方を有する着用者は、歪みによる新たな視覚運動に直面し、彼/彼女の前庭眼反射(VOR)応答を適応させる必要がある。新たな視覚機器の歪みによって生じる感覚運動誤差は、機能モジュールである小脳VOR制御モジュール18と仮想網膜及び初期視覚皮質モジュール17、並びに3Dエイジング仮想哺乳動物及びその環境コンポーネント16のPALensスクリプトを用いることによって計算される。
視覚機器又は介入ソリューションの決定/選択/最適化のために、装置のユーザは、+2.50を有する装着者の現在の視覚機器と比較して、前庭眼反射(VOR)応答の最小の感覚運動誤差を生じさせる+3.00dpの追加を有する利用可能な既存の設計の中から新しいレンズを選択する。当業者であれば、レンズの側頭部側の視覚機器の歪みが短い設計でより強くなること、又は「ソフト」若しくは「ハード」レンズ設計を提示することは公知である。しかし、現在のアプローチは、レンズの望ましくない非点収差及び関連する光学偏差(局所プリズム効果)の局所的な変化率の光学計算からレンズの硬度を定義していた。この変化は、多かれ少なかれ急で複雑である。しかし、レンズの歪みは、以下のような複数の要因によって生じる。フィッティングパラメータ、光学設計、並びに移動中の着用者の眼球頭部パターン。新しいアプローチでは、モデル駆動型レジームは、装置のユーザに、各装着者の自発運動及び眼球運動パターンによって生成される前庭眼反射(VOR)機構を評価することにおいて装着者アプローチを有する機会を与える。個人的な選択は、利用可能なレンズのデータベースの中から、現在の視覚機器の歪みと、装着者に対して試験された全ての視覚機器を比較して行われる。
開示の装置の第2の用途において、構想段階中の性能基準として前庭眼反射(VOR)時間適応エイジング効果を用いて、新しい視覚機器を設計することができる。構想段階は、度数及び望まない非点収差の再分割、前面及び後面の定義等のレンズパラメータの手動又は自動修正である。本願において、前庭眼反射(VOR)適応実験に対する年齢効果をシミュレートする。
第1に、若い人間哺乳動物の標準パラメータを用いて、仮想哺乳動物を構成する。構成のために、仮想哺乳動物の装置は、訓練段階において、学習プロセスを用いて訓練され、幼若哺乳動物に関して得られたデータは、水平面内で頭部の少なくとも正弦波状回転を行い、特定された環境を用いる。装置の仮想哺乳動物による実験中、水平面における仮想哺乳動物の頭部の正弦波状回転は、同じ環境を用いて誘発される。仮想哺乳動物によるこの実験中、小脳VOR制御モジュール18は、仮想哺乳動物の「眼筋」の制御を自動的に調整して、仮想哺乳動物の眼の反対の動きによってその頭部の正弦波状運動を打ち消す。網膜上のイメージスリップに基づく前庭眼反射(VOR)適応は、仮想哺乳動物の眼球運動のダイナミクスの解析によって評価される。不十分な安定化による眼球運動の振幅は、時間と共に減少しなければならない。適応の時間スケールは測定変数である。
同じ操作が、次いで、前庭眼反射(VOR)適応能力に関する加齢誘発変化が設定された高齢の仮想哺乳動物により行われる。これらの加齢誘発変化は、結果として、前庭眼反射(VOR)適応ダイナミクスの速度低下をもたらし、それは、ユーザライブラリ及び解析ツール15コンポーネントによって解析することができる。前庭眼反射(VOR)適応に関しては、必要であれば、「Adaptation to Telescopic Spectacles:Vestibulo-ocular Reflex Plasticity」Demer他,1989 IOVS及び「Effect of adaptation to telescopic spectacles on the initial human horizontal vestibulo-ocular reflex.」https://doi.org/10.1152/jn.2000.83.1.38を参照することができる。
実際には、レジームモデルの選択は、利用可能なデータ及び装着者パラメータに基づいている。装着者プロファイル(処方、年齢、フィッティングパラメータ等)は、若い非正視患者及び40~50歳の老眼、又は40~50歳の老眼、又は60~70歳の老眼、又は70~80歳の老眼であってもよい。環境は定義されている。行動データ(データ駆動型レジーム)又はタスクを用いて実行することができる(モデル駆動型レジーム)。
モデル駆動型レジームにおいて、新しい視覚機器は、訓練段階における学習を通して仮想哺乳動物を構成するために用いられる幼若哺乳動物の標準パラメータに基づいて、年齢による前庭眼反射(VOR)時間適応によって定義される基準に対するこの新しい設計の影響を推定する際に、設計される。
再度、入力データは、幼若哺乳動物の標準パラメータであり、仮想哺乳動物を構成するために用いられ、その目的のために、水平面における仮想哺乳動物の頭部の正弦波状回転が誘導される。
機能モジュール及びコンポーネントの選択が行われる。仮想哺乳動物はレンズ/ゴーグルを装着し、視覚ストリーム上のその歪みは、3Dエイジング仮想哺乳動物及びその環境16コンポーネントにおけるPALensスクリプトを用いてモデル化される。ユーザライブラリ及び解析ツール15コンポーネントによって、関与する機能モジュール及びコンポーネントの最小定義構成は以下の通りである。
-データ駆動型レジームに対して:PALensスクリプト、仮想網膜及び初期視覚皮質モジュール17を有する3Dエイジング仮想哺乳動物及びその環境16コンポーネント。
-データ駆動型レジームに対して:3Dエイジング仮想哺乳動物及びその環境16コンポーネント、仮想網膜及び初期視覚皮質モジュール17、小脳VOR制御モジュール18。
仮想哺乳動物出力/応答に関して、残留網膜スリップ及び適応出力パラメータの時間スケールが、加齢誘発変化の結果として、全ての年齢群について計算される。前庭眼反射(VOR)適応及び残留網膜スリップの速度を年齢群ごとに同定する。
視覚機器の決定、選択、最適化又は介入ソリューションの選択に関して、多因子最適化は、年齢群当たりの眼球運動の振幅及び速度を考慮して、前庭眼反射(VOR)及び残留網膜スリップの時間コスト適応を減少させる非点収差、倍率、長さ進行等の視覚機器の設計パラメータを同定することからなる。
開示の装置の第3の用途において、視覚ストリーム10からそれ自体の運動軌道を推定する哺乳動物の能力に対する視覚機器の影響を評価することができる。実際の哺乳動物の動きは、ナビゲーションタスク中に(実際の環境又はヘッドマウントディスプレイを有する仮想環境のどちらか一方において)運動及び視標追跡システムを用いて記録され、哺乳動物は、開始位置(例えば、三角形の軌跡の2つの辺)から所定の軌跡をたどり、次いで、マークされていない開始位置に戻ることが要求される。このタスクは数回の試行にわたって繰り返される。開始位置に戻ることは、開始に対する自身の位置を推定することを必要とし、海馬におけるニューロン処理に依存することが知られている。自己位置推定の精度は、開始位置に戻る場合に被験体によってなされる誤差から特定される。
仮想環境において、幾つかの異なる種類の視覚入力をシミュレートして、周囲の視覚キューの統計に応じてレンズ歪みを評価することができる。視覚入力がない場合の同じタスクは、(視覚非依存制御条件として)自己受容入力のみに基づく自己位置の推定を可能にする。記録されたデータは、各センサの空間座標と視標追跡データとからなる。仮想網膜17、VOR制御18、及び海馬モジュール19を含む仮想哺乳動物が作成される。データは、データ駆動型レジームにおける学習のために仮想哺乳動物の動き及び注視方向を制御するために、制御プログラムを介して訓練段階中に装置にロードされる。学習の結果として、海馬モジュール19のニューラルネットワークは、実際の哺乳動物の精度に調整された精度で位置の表現を取得する。
視覚的歪みは、3Dエイジング仮想哺乳動物モジュール内のPALensスクリプトを用いて、シミュレートされる視覚機器を介してモデル駆動型レジームに導入される。レンズによって導入される視覚的歪みがタスクの性能に及ぼす影響は、ユーザライブラリ及び解析ツールコンポーネント15によって解析される。レンズによって導入される歪みの影響を試験することとは別に、加齢又は視覚疾患の進行に関連するタスク性能の変化を試験することができる。特に、健康又は病的な哺乳動物の視覚系(例えば、その網膜状態、有用視野、眼内の光拡散等)の幾つかの長期的測定を考慮すると、経時的な視覚処理における年齢関連又は疾患関連の変化のモデルを構築することができる。このモデルは、仮想哺乳動物にロードし、次いで、近い将来における哺乳動物の視覚システムの状態を予測するために用いることができる。かかるエイジング仮想哺乳動物モデルにより、将来の哺乳動物の行動(及び新しい環境条件への、又は新しい視覚機器へのその適応)をシミュレートし、潜在的なリハビリテーションソリューションを提供するか、又は年齢若しくは疾患関連問題に対抗する新しい視覚機器を提案することができる。
開示の仮想哺乳動物の動作のプロセスのフロー図である図8は、仮想哺乳動物を動作させる2つの可能な方法を示している。即ち、モデル駆動型レジーム及びデータ駆動型レジームであって、この最後のレジームは、安定化制約の少なくとも一部の情報を学習するために学習段階において動作する。
データ駆動型レジームにおいて、ステップは、
-訓練環境に関連付けられる頭部及び少なくとも1つの眼の訓練運動シーケンスを表す訓練データを受信することと、
-以下により前記安定化制約の少なくとも一部を学習することであって、
-訓練環境において、前記訓練運動シーケンスに対応する頭部の連続運動をトリガすることと、
-前記訓練データから訓練環境の現在の部分を評価することと、
-現在の部分が少なくとも1つのメモリにおいて同定されていないかどうかを試験することと、
-そうではない場合、現在の部分に関する情報を少なくとも1つのメモリに記録することと、
-訓練環境の現在の部分の評価及び前記現在の部分に関する情報の記録を考慮して、前記訓練データ及び頭部の前記連続運動の関数における安定化制約の少なくとも一部に関する情報を特定することと、
-前記安定化制約の少なくとも一部に関する情報を少なくとも1つのメモリに記録することと、による学習することである。
これらのステップの終わりに、安定化制約の少なくとも一部は、記録され、モデル駆動型レジームで用いることができ、これは、データ駆動型レジームの最後のステップからモデル駆動型レジームへの不連続な矢印によって符号で表されている。
安定化制約が装置内に存在する(以前のデータ駆動型レジームにより学習されるか、又は別の手段により得られる)モデル駆動型レジームにおいて、ステップは、
-環境に対する少なくとも1つの眼の姿勢を表す連続データを受信することと、
-環境内の仮想哺乳動物による少なくとも1つの移動行動のための命令を受信することと、
-少なくとも1つのメモリに格納された環境に関する情報を用いて、連続データから環境の現在の部分を評価することと、
-現在の部分が少なくとも1つのメモリにおいて同定されていないかどうかを試験することと、
そうではない場合、現在の部分に関する情報を少なくとも1つのメモリに記録することと、
-少なくとも1つの移動行動、前記連続データ、及び環境に関する格納された情報の関数において、頭部及び少なくとも1つの眼の連続運動をトリガすることと、
-前記少なくとも1つの眼球運動と頭部運動との間の安定化制約を用いることによって、連続データの関数において頭部の連続運動に対する少なくとも1つの眼の連続運動の動的調整を制御することである。

Claims (15)

  1. 仮想哺乳動物(1)によって環境(2)における哺乳動物の生理学的行動をシミュレートするための装置(11)であって、前記仮想哺乳動物(1)は、
    前記環境に対して移動する(5)頭部(3)と、
    前記頭部(3)に対して回転移動(6)する少なくとも1つの眼(4)と、を含み、
    前記装置(11)は、
    -前記環境(2)に対する前記少なくとも1つの眼(4)の姿勢を表す連続データを受信するよう適合される少なくとも1つの第1の入力と、
    -前記環境(2)内の前記仮想哺乳動物(1)による少なくとも1つの移動行動(9)のための命令を受信するよう適合される少なくとも1つの第2の入力と、
    -前記環境(8)及び前記少なくとも1つの眼(4)の運動(6)と前記頭部(3)の運動(5)との間の安定化制約(7)に関する情報を格納するよう適合される少なくとも1つのメモリ(13)と、
    -少なくとも1つのプロセッサ(12)であって、
    前記連続データから前記環境(2)の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリ(13)において同定されない場合、前記現在の部分に関する情報(8)を前記少なくとも1つのメモリ(13)に記録し、
    前記少なくとも1つの移動行動(9)、前記連続データ、及び前記環境(8)に関する前記格納された情報の関数において、前記頭部(3)及び前記少なくとも1つの眼(4)の連続運動(5、6)をトリガし、
    前記安定化制約(7)を用いることによって、前記連続データの関数において前記頭部(3)の前記連続運動(5)に対する前記少なくとも1つの眼(4)の前記連続運動(6)の動的調整を制御するために構成される少なくとも1つのプロセッサ(12)と、を備え、
    前記装置(11)は、更に、
    -訓練段階において、訓練環境に関連付けられる前記頭部(3)及び前記少なくとも1つの眼(4)の訓練運動シーケンスを表す訓練運動シーケンスデータ(23)を受信するよう適合される少なくとも1つの第3の入力と、を備え、
    前記少なくとも1つのプロセッサ(12)は、前記訓練段階において、
    -前記訓練環境において、前記訓練運動シーケンスデータ(23)に対応する前記頭部(3)の連続運動(5)をトリガすることと、
    -前記訓練運動シーケンスデータ(23)から前記訓練環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリ(13)において同定されない場合、前記現在の部分(8’)に関する情報を前記少なくとも1つのメモリ(13)に記録することと、
    -前記訓練環境の前記現在の部分を評価すること及び前記現在の部分に関する前記情報を記録することを考慮して、前記訓練運動シーケンスデータ及び前記頭部の前記連続運動の関数において、前記安定化制約の前記少なくとも一部に関する情報を特定し、前記安定化制約の前記少なくとも一部に関する前記情報を前記少なくとも1つのメモリに記録することと、
    により、前記安定化制約(7)の少なくとも一部を学習するために構成され、
    その結果、前記仮想哺乳動物(1)が、前記頭部(3)及び前記少なくとも1つの眼(4)の前記連続的に動的に調整された現在の運動を通じて、且つ前記環境(2)を評価することを通じて、前記環境内で前記少なくとも1つの移動行動を実行する際にシミュレートされるべき前記哺乳動物のシミュレートされた行動を提供する、
    装置(11)。
  2. 前記環境(2)の前記現在の部分を評価することと、前記情報(8、8’)を記録することと、前記連続運動(5、6)をトリガすることとのうちの少なくとも1つの動作は、シミュレートする前記哺乳動物に特有の少なくとも1つの作業パラメータに関連付けられ、前記少なくとも1つのプロセッサ(12)は、更に、前記訓練環境の前記現在の部分を評価することと、前記現在の部分に関する前記情報を記録することとを考慮して、前記訓練運動シーケンスデータ及び前記頭部(3)の前記連続運動(5)の関数において、前記少なくとも1つの作業パラメータを前記訓練段階において学習するために構成されることを特徴とする、請求項1に記載の装置(11)。
  3. 前記少なくとも1つのプロセッサは、更に、
    -前記少なくとも1つの眼(4)の姿勢を表す前記連続データに対応する少なくとも1つの視覚ストリーム(10)を取得し、前記少なくとも1つの視覚ストリーム(10)から前記環境の前記現在の部分を評価し、前記連続運動をトリガし、特に前記少なくとも1つの視覚ストリーム(10)の関数において前記動的調整を制御し、
    -前記訓練段階において、前記訓練運動シーケンスを表す前記訓練運動シーケンスデータ(23)に対応する少なくとも1つの訓練視覚ストリーム(10’)を取得し、前記訓練環境の前記現在の部分を評価し、特に前記少なくとも1つの訓練視覚ストリーム(10’)の関数において前記情報を特定するために構成されることを特徴とする、
    請求項1又は2に記載の装置(11)。
  4. 前記少なくとも1つのプロセッサ(12)は、更に、シミュレートする前記哺乳動物に特有の少なくとも1つの条件付けパラメータに関連して、前記取得された少なくとも1つの視覚ストリーム(10)及び前記少なくとも1つの訓練視覚ストリーム(10’)を条件付けるために構成され、前記少なくとも1つのプロセッサ(12)は、更に、前記訓練環境の前記現在の部分の評価及び前記現在の部分に関する前記情報の記録を考慮して、前記少なくとも1つの訓練視覚ストリーム(10’)及び前記連続運動の関数において、前記少なくとも1つの条件付けパラメータを前記訓練段階において学習するために構成されることを特徴とする、請求項3に記載の装置(11)。
  5. 前記少なくとも1つのプロセッサ(12)は、更に、
    -前記少なくとも1つの視覚ストリーム(10)から連続イメージを導出し、
    -前記導出された連続イメージの少なくとも一部を安定化させることによって前記動的調整を制御するために構成されることを特徴とする、
    請求項3又は4に記載の装置(11)。
  6. 前記装置(11)は、少なくとも1つのシミュレートされた視覚特性を受信するよう適合される少なくとも1つの第4の入力を備え、前記少なくとも1つのプロセッサ(12)は、更に、前記少なくとも1つのシミュレートされた視覚特性の関数において、前記少なくとも1つの視覚ストリーム(10)を動的に条件付けるために構成されることを特徴とする、請求項3~5のいずれか一項に記載の装置(11)。
  7. 前記少なくとも1つのシミュレートされた視覚特性は、前記少なくとも1つの眼(4)に関連付けられる生理学的行動に少なくとも部分的に関係することを特徴とする、請求項6に記載の装置(11)。
  8. 前記少なくとも1つのシミュレートされた視覚特性は、前記少なくとも1つの眼(4)の視覚機器に少なくとも部分的に関係することを特徴とする、請求項6又は7に記載の装置(11)。
  9. 前記安定化制約(7)の修正値に関する情報を受信するよう適合される少なくとも1つの第5の入力を備え、前記少なくとも1つのプロセッサ(12)は、前記メモリ(13)内の前記安定化制約(7)の以前の値に関する情報を前記修正値に関する情報と置き換えるために構成されることを特徴とする、請求項1~8のいずれか一項に記載の装置(11)。
  10. 前記安定化制約(7)の前記以前の値及び修正値は、一対の異なる哺乳動物年齢及び一対の異なる健康状態のうちの少なくとも1つに対応することを特徴とする、請求項9に記載の装置(11)。
  11. 前記少なくとも1つのプロセッサ(12)は、フィードバックループにより前記動的調整を制御するために構成される少なくとも1つの第1のニューラルネットワーク(18)を備えることを特徴とする、請求項1~10のいずれか一項に記載の装置(11)。
  12. 前記少なくとも1つのプロセッサ(12)は、前記環境の前記現在の部分を評価し、前記現在の部分に関する情報を記録するために構成される少なくとも1つの第2のニューラルネットワーク(19)を備えることを特徴とする、請求項1~11のいずれか一項に記載の装置。
  13. 前記少なくとも1つのプロセッサ(12)は、シミュレートされるスパイキングニューロン(17)によって、前記環境(2)の前記現在の部分を評価することと、前記現在の部分に関する前記情報(8、8’)を記録することと、前記少なくとも1つの眼(4)の前記連続運動(6)の前記動的調整を制御することとのうちの少なくとも1つの動作を実行するために構成されることを特徴とする、
    請求項1~12のいずれか一項に記載の装置(11)。
  14. 仮想哺乳動物(1)によって環境(2)における哺乳動物の生理学的行動をシミュレートするためのプロセスであって、前記仮想哺乳動物(1)は、
    前記環境に対して可動(5)にされる頭部(3)と、
    前記頭部(3)に対して回転可動(6)にされる少なくとも1つの眼(4)と、を含むよう実装され、
    前記プロセスは、
    -前記環境(2)に対する前記少なくとも1つの眼(4)の姿勢を表す連続データを受信することと、
    -前記環境(2)内の前記仮想哺乳動物(1)による少なくとも1つの移動行動(9)のための命令を受信することと、
    少なくとも1つのプロセッサ(12)によって、少なくとも1つのメモリ(13)に格納された前記環境(8)に関する情報を用いて、前記連続データから前記環境(2)の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリ(13)において同定されない場合、前記現在の部分に関する情報(8)を前記少なくとも1つのメモリ(13)に記録することと、
    前記少なくとも1つのプロセッサによって、前記少なくとも1つの移動行動(9)、前記連続データ、及び前記環境(8)に関する前記格納された情報の関数において、前記頭部(3)及び前記少なくとも1つの眼(4)の連続運動(5、6)をトリガすることと、
    前記少なくとも1つのプロセッサによって、前記少なくとも1つの眼(4)の運動(6)と前記頭部(3)の運動(5)との間の安定化制約(7)を用いることによって、前記連続データの関数において前記頭部(3)の前記連続運動(5)に対する前記少なくとも1つの眼(4)の前記連続運動(6)の動的調整を制御することと、を含み、
    前記プロセスは、更に、
    -訓練段階において、訓練環境に関連付けられる前記頭部(3)及び前記少なくとも1つの眼(4)の訓練運動シーケンスを表す訓練運動シーケンスデータ(23)を受信することと、
    前記少なくとも1つのプロセッサによって、前記訓練段階において、学習することであって、
    -前記訓練環境において、前記訓練運動シーケンスに対応する前記頭部(3)の連続運動(5)をトリガすることと、
    -前記訓練運動シーケンスデータから前記訓練環境の現在の部分を評価し、前記現在の部分が前記少なくとも1つのメモリ(13)において同定されない場合、前記現在の部分(8’)に関する情報を前記少なくとも1つのメモリ(13)に記録することと、
    -前記訓練環境の前記現在の部分を評価すること及び前記現在の部分に関する前記情報を記録することを考慮して、前記訓練運動シーケンスデータ及び前記頭部の前記連続運動の関数において、前記安定化制約の前記少なくとも一部に関する情報を特定し、前記安定化制約の前記少なくとも一部に関する前記情報を前記少なくとも1つのメモリに記録することと、
    により、前記安定化制約(7)の少なくとも一部を学習することと、を含み、
    その結果、前記仮想哺乳動物(1)が、前記頭部(3)及び前記少なくとも1つの眼(4)の前記連続的に動的に調整された現在の運動を通じて、且つ前記環境(2)を評価することを通じて、前記環境内で前記少なくとも1つの移動行動を実行する際にシミュレートされるべき前記哺乳動物のシミュレートされた行動を提供する、
    プロセス。
  15. コンピュータプログラムであって、前記プログラムがプロセッサによって実行される場合、前記プロセッサに、請求項14に記載のプロセスを実行させる命令を備える、コンピュータプログラム。
JP2021556801A 2019-03-22 2020-03-20 仮想哺乳動物を用いて哺乳動物の生理学的行動をシミュレートするための装置、プロセス、及びコンピュータプログラム Pending JP2022525805A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19305363.4 2019-03-22
EP19305363 2019-03-22
PCT/EP2020/057888 WO2020193439A1 (en) 2019-03-22 2020-03-20 Device for simulating a physiological behaviour of a mammal using a virtual mammal, process and computer program

Publications (1)

Publication Number Publication Date
JP2022525805A true JP2022525805A (ja) 2022-05-19

Family

ID=66041399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021556801A Pending JP2022525805A (ja) 2019-03-22 2020-03-20 仮想哺乳動物を用いて哺乳動物の生理学的行動をシミュレートするための装置、プロセス、及びコンピュータプログラム

Country Status (8)

Country Link
US (1) US20220198959A1 (ja)
EP (1) EP3942544A1 (ja)
JP (1) JP2022525805A (ja)
KR (1) KR20210142627A (ja)
CN (1) CN113678183B (ja)
AU (1) AU2020249323A1 (ja)
BR (1) BR112021018666A2 (ja)
WO (1) WO2020193439A1 (ja)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319579A (en) * 1990-02-05 1994-06-07 Westinghouse Electric Corp. Simulation of human performance of a process operation procedure
EP0831444B1 (de) * 1996-09-16 1999-04-28 Oerlikon Contraves AG Verfahren und Anlage zur Erfassung des Verhaltens eines Fahrschülers
WO2002091356A1 (fr) * 2001-05-02 2002-11-14 Sony Corporation Dispositif robot, appareil de reconnaissance de caracteres, procede de lecture de caracteres, programme de commande et support d'enregistrement
EP2011087A4 (en) * 2006-04-24 2010-02-24 Sony Corp PRESENTATION-FACED FACIAL ANIMATION
EP1862110A1 (en) 2006-05-29 2007-12-05 Essilor International (Compagnie Generale D'optique) Method for optimizing eyeglass lenses
KR101059806B1 (ko) * 2007-10-29 2011-08-26 재단법인서울대학교산학협력재단 전정안 반사를 응용한 안정화 제어 시스템 및 방법
GB2479406A (en) * 2010-04-09 2011-10-12 Medaphor Ltd Ultrasound Simulation Training System
CN108474970B (zh) 2016-03-15 2020-04-10 依视路国际公司 用于确定适配于运动参数的眼科镜片的方法
CA2925703C (en) * 2016-03-31 2017-05-02 Cae Inc. Dynamically updating a model associated to a simulated interactive object
US10559111B2 (en) * 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US11071450B2 (en) 2016-06-29 2021-07-27 Ace Vision Group, Inc. System and methods using real-time predictive virtual 3D eye finite element modeling for simulation of ocular structure biomechanics
EP3324365A1 (en) * 2016-11-22 2018-05-23 Dassault Systèmes Computer-implemented method for simulating a body taking a posture, in particular to look at a target
US10949648B1 (en) * 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking

Also Published As

Publication number Publication date
AU2020249323A1 (en) 2021-10-28
BR112021018666A2 (pt) 2021-11-30
KR20210142627A (ko) 2021-11-25
CN113678183B (zh) 2023-08-01
EP3942544A1 (en) 2022-01-26
CN113678183A (zh) 2021-11-19
US20220198959A1 (en) 2022-06-23
WO2020193439A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN109414164B (zh) 用于用户健康分析的增强现实系统和方法
JP6952713B2 (ja) 反射を利用する拡張現実システムおよび方法
CN103959357B (zh) 用于眼科检查培训的系统和方法
WO2016011457A1 (en) Generating and using a predictive virtual personification
KR102616391B1 (ko) 양안 장애의 진단 평가 및 선별을 위한 방법, 시스템 및 장치
US20220013228A1 (en) Split vision visual test
KR102250775B1 (ko) 근시 치료를 위한 디지털 장치 및 애플리케이션
Keshner et al. The untapped potential of virtual reality in rehabilitation of balance and gait in neurological disorders
CA3046789A1 (en) Platform for identification of biomarkers using navigation tasks and treatments using navigation tasks
JP2022525805A (ja) 仮想哺乳動物を用いて哺乳動物の生理学的行動をシミュレートするための装置、プロセス、及びコンピュータプログラム
US11843764B2 (en) Virtual reality headsets and method of managing user experience with virtual reality headsets
Machaen et al. Bio-inspired cognitive model of motor learning by imitation
JP2021192317A (ja) 情報処理装置、情報処理装置に知的行動を模擬させる方法、コンピュータプログラム、及び、それを記憶した記憶媒体
Tamilselvam et al. Robotics-based Characterization of Sensorimotor Integration in Parkinson’s Disease and the Effect of Medication
Imaizumi et al. Sensorimotor coupling but not visual perspective modulates perceived time during voluntary action
Wang Behavior shift to altered physics law of standing: a prediction from the reinforcement learning controller of postural control
Guy Evaluation and Manipulation of Virtual Embodiment
Salous User modeling for adaptation of cognitive systems
WO2023172768A1 (en) Methods, systems, and computer readable media for assessing visual function using virtual mobility tests
Andrew Imitation of atypical biological motion in autism spectrum disorders
NZ758470B2 (en) Augmented reality systems and methods utilizing reflections

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240318