JP2022074094A - 生物の挙動状態を継続的に共有するためのシステムおよび方法 - Google Patents

生物の挙動状態を継続的に共有するためのシステムおよび方法 Download PDF

Info

Publication number
JP2022074094A
JP2022074094A JP2021176426A JP2021176426A JP2022074094A JP 2022074094 A JP2022074094 A JP 2022074094A JP 2021176426 A JP2021176426 A JP 2021176426A JP 2021176426 A JP2021176426 A JP 2021176426A JP 2022074094 A JP2022074094 A JP 2022074094A
Authority
JP
Japan
Prior art keywords
robot
state
organism
predetermined
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021176426A
Other languages
English (en)
Inventor
ヴァイスヴァンゲ,トーマス
Weisswange Thomas
シュムドリッヒ,イェンス
Schmuedderich Jens
ホロヴィッツ,アーロン
Horowitz Aaron
シュワルツ,ジョエル
Schwartz Joel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Sproutel Inc
Original Assignee
Honda Research Institute Europe GmbH
Sproutel Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH, Sproutel Inc filed Critical Honda Research Institute Europe GmbH
Publication of JP2022074094A publication Critical patent/JP2022074094A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Toys (AREA)
  • Manipulator (AREA)

Abstract

【課題】生物の挙動状態を継続的に共有するためのシステムを提供すること。【解決手段】システムは、種々の挙動を実行するように構成されたロボット(12)と、生物を自動的に感知する少なくとも1つの感知手段(5)、(6)、(8)、(9)と、少なくとも1つの感知手段(5)、(6)、(8)、(9)から導出された情報に基づいて生物の状態を継続的に判定する判定手段と、種々の挙動から、判定された状態に割り当てられる挙動を選択する選択手段と、を備え、ロボット(12)は、選択された挙動を実行するように構成される。【選択図】図1

Description

本開示は、人の行動およびその他の状態を検出し、それを遠隔の人に報告するための技術に関する。しかし、本開示は、人に限定されず、動物のような他の生物にも適用することができる。
高齢者介護では、一人で暮らす人の好ましくない状態を検出し、それを介護者に報告する、またはその人が緊急サービスに知らせることを可能にするシステムが存在する。例えば、人の転倒を検出し、それを介護者に報告するデバイスが米国特許出願第2009048540(A1)号に記載される。
米国特許出願公開第20090322513(A1)号は、生理学的な健康状態パラメータを測定し、緊急事例を、場所と共に介護者に報告する方法を記載する。
しかし、そのような監視システムでは、少数の定義された状態が検出され、単独の事象としてリアルタイムで報告される。
さらに、能動的な通信のために、および/または明示的な対話を通じて遠隔の場所に存在する感覚を提供するために設計されたテレプレゼンス(telepresence)システムが知られている。米国特許第9552056(B1)号は、遠隔の操作者のジェスチャを反映してそれを受信者に伝達するテレプレゼンスロボットデバイスを開示する。
しかし、テレプレゼンスシステムは、規則的な行動を、特に継続的な形で遠隔の人に伝達するためには設計されていない。
Kwangmin Jeong他の「Fribo: A Social Networking Robot for Increasing Social Connectedness through Sharing Daily Home Activities from Living Noise Data」、Proceedings of the 2018 ACM/IEEE International Conference on Human-Robot Interaction(2018)は、居住者の生活音を分析することによりユーザの行動を認識し、その行動情報を各自のロボットを通じて親しい友人と共有するソーシャルロボットを開示する。特に、この文献は、住宅またはアパート内に位置し生活音のセンサデータ(行動データ)を生成するセンサと、センサデータをリアルタイムで受信し、センサデータを高水準の情報に変換し、その情報を、高水準の情報をスピーカおよびディスプレイを使用して第2のユーザに出力する同じ種類の別のロボットに送信するソーシャルロボットと、を備えるシステムを開示する。
しかし、高水準の情報は、音声情報または表示情報としてのみ出力されるため、ソーシャルロボットは、少しの感覚しか刺激せず、デバイスへの明示的な注意を必要とし、特定の時間にしか事象を伝達することができず、したがって、人が継続的に存在しているという印象をほとんど与えない。
よって、本開示の目的は、生物の状態を継続的に共有するためのシステムおよび方法の性能を改良することである。
本開示は、生物の挙動状態を継続的に共有するためのシステムおよび方法を提供する。
生物の挙動状態を継続的に共有するための本開示に係るシステムは、種々の挙動を継続的に実行するように構成されたロボットと、生物を自動的に感知する少なくとも1つの感知手段と、少なくとも1つの感知手段から導出された情報に基づいて生物の状態を判定する判定手段と、種々の挙動から、判定された状態に割り当てられる挙動を選択する選択手段と、を備え、ロボットは、選択された挙動を実行するように構成される。継続的に状態を伝達するために、生物の新しい(次の)状態が判定手段によって判定されるまで、同じ挙動を繰り返すことができる。生物の状態の判定は、継続的に行われる。
生物の挙動状態を継続的に共有するための本開示に係る方法は、種々の挙動を実行するように構成されたロボットを使用し、以下のステップを含む。
- 少なくとも1つの感知手段によって生物を自動的に感知するステップ;
- 少なくとも1つの感知手段から導出された情報に基づいて生物の状態を継続的に判定するステップ;
- 種々の挙動から、判定された状態に割り当てられる挙動を選択するステップ;および
- ロボットが選択された挙動を実行するステップ。
本開示について、以下で特に添付図面を参照しながら詳細に説明する。
本開示の例示的実施形態に係るシステムを示す図である。 図1に示されるシステムの第1の部分のブロック図である。 図1に示されるシステムの第2の部分のブロック図である。 本開示に係る、自律的にまたは部分的に自律的に駆動を実行するための方法を説明する簡略フローチャートである。
生物の挙動状態を継続的に共有するための本開示に係るシステムは、種々の挙動を継続的に実行するように構成されたロボットと、生物を自動的に感知する少なくとも1つの感知手段と、少なくとも1つの感知手段から導出された情報に基づいて生物の状態を判定する判定手段と、種々の挙動から、判定された状態に割り当てられる挙動を選択する選択手段と、を備え、ロボットは、選択された挙動を実行するように構成される。継続的に状態を伝達するために、生物の新しい(次の)状態が判定手段によって判定されるまで、同じ挙動を繰り返すことができる。生物の状態の判定は、継続的に行われる。
本開示によれば、ロボットが、自身の挙動を通じて遠隔の生物の抽象化された状態をリアルタイムで伝達し、それを通じて、その生物の受動的で継続的なテレプレゼンスを可能にし、行動および体験の共有の機会を明らかにする。「リアルタイム」という表現は、信号の処理および送信によって生じる遅延も包含することが留意されるべきである。ロボットが自身の挙動を通じて伝達するため、ロボットは、多くの感覚を刺激し、明示的な注意を必要とせず、生物の継続的な物理的存在の良好な印象を与える。現行技術に対する改良点は、本開示に係るシステムが継続的な状態の伝達を可能にすることであり、これは、メッセージの事象性を超えるものである(すなわち、特定の時点にのみ伝達するシステムに対して、本開示に係るロボットはどの時にも何かを伝達する)。この結果、その特定の瞬間にロボットに注意を向ける(「アクティブ」である)必要がなく、伝達は、ロボットへの注意がいずれか他の時に生じている場合でも効果を有することになる。いずれの場合も、遠隔の生物の挙動を観察して伝達することが、本物のコンパニオンという印象を向上させる。
生物は人またはペットであり得、ロボットは、別の人またはペットとコミュニケーションし、例えば、ペットの状態が、ペットを飼うことを許されない人と共有される。
選択された挙動を実行するために、ロボットは、ロボットの環境内の所定の位置に移動する、所定の経路に沿って移動する、所定の速度プロファイルで移動する、所定の姿勢を取る、所定の音声を出力する、ならびに/または、所定の色のおよび/もしくは所定の強度の光を出力するように構成され得る。
また、種々の挙動を実行するために、ロボットは、ロボットの環境内の種々の位置に移動する、種々の経路上を移動する、種々の速度プロファイルで移動する、種々の姿勢を取る、種々の音声を出力する、ならびに/または、種々の色のおよび/もしくは種々の強度の光を出力するように構成され得る。
ロボットは、ユーザの環境内、例えばユーザのアパートの床で、またはアパートもしくは動物の檻のミニチュアモデルの中で動作することができる。例えば、システムは、生物の環境のミニチュアモデルを備えることができ、ロボットは、そのミニチュアモデル内を移動するように構成される(例えば、モデル内に設置された外部センサを少なくとも部分的に使用する小型ロボット)。
システムは、テレプレゼンスの形態で動作することができ、ロボットは、一人のユーザまたはユーザ群の家にあり(「ホスト」ユーザ/場所)、対して、対応するセンサシステムは、別のユーザの空間に位置する(「遠隔」ユーザ/場所)。生物とロボットとは、それぞれ異なる場所に位置し、システムは、送信手段であって、データネットワークを介して、「遠隔」ユーザ/場所に位置する少なくとも1つの感知手段から導出された情報を「ホスト」ユーザ/場所に位置する判定手段に、「遠隔」ユーザ/場所に位置する判定手段からの判定された状態を「ホスト」ユーザ/場所に位置する選択手段に、または、「遠隔」ユーザ/場所に位置する選択手段からの選択された挙動を「ホスト」ユーザ/場所に位置するロボットに、送信する送信手段を備えることができる。
検出手段は、事前に定められた数の状態クラス同士を分類するために画像処理方法(例えば、特定の状態を実際に行っている人のラベル付けされた映像を用いて訓練された機械学習法)を使用することができ、または、センサもしくは特定のデバイスからの信号を直接使用することができ、例えば、テレビがその電源状態を通信する、冷蔵庫がドアが開いているかどうかを通信することを、それらの信号を、事前に定義された状態、すなわち「テレビを見ている」や「食べている」にどのように対応付けるかについての事前に定義された規則のセットと併せて、直接使用することができる。
判定手段によって判定される状態は以下である。
- 嬉しい、興奮している、退屈している、くつろいでいる、心を奪われている、ストレスを感じている、のような感情状態;
- 寝ている、起きている、疲労している、活動的である、冷たい/熱い、のような生理学的状態;
- 料理をしている、テレビを見ている、電話をしている、読書をしている、編み物をしている、のような行われた行動;
- 家にいない、電話をすることが可能な状態である、何もしていない、のような他の特定事例;および/または
- 転倒、不整脈/発作、病気のような緊急状態。
このために、判定手段は、生物の所定の感情状態、生物の所定の生理学的状態、生物によって行われた所定の行動、および/または生物の所定の緊急状態を判定するように構成され得る。
また、判定手段は、生物の状態を、種々の感情状態、種々の生理学的状態、種々の行動および/または種々の緊急状態に分類するように構成され得る。
プライバシーの保護を確実にするために、システムは、共有が許容されない生物の状態、および/または生物の状態の共有が許容されない時間を、「遠隔」または「ホスト」ユーザにより設定するための設定手段を備えることができる。このようにして、遠隔ユーザまたはシステムを設定する任意の操作者が、プライバシー設定で、どの状態を共有しても構わないかを指定することができ、および/または、ユーザはいくらかの時間にわたって共有を能動的に有効/無効にすることができる。
生物を感知するために、固定センサ、モバイルセンサ(例えばスマートウォッチやスマートフォン内のセンサ)、または作動されているデバイス(例えばスマート住宅システムの機器)を示す信号が使用され得る。別の例示的実施形態では、感知手段の少なくとも1つが、生物によって制御可能なデバイスの動作状態を検出するように構成される。
以下のセンサタイプが使用され得る。
- 3Dカメラ、能動(「パン・チルト・ズーム」)カメラ、IRカメラのようなカメラ;
- マイクロフォン
- 皮膚導電センサ、EMG、EEG、電極、光学心拍センサ、温度センサのような生理学的センサ;
- 磁気スイッチセンサ、近接センサ(例えば超音波)、動きセンサ(例えば光学式)、圧力センサ(例えば圧電);および/または
- 画面上選択などのための仮想センサ。
別の例示的実施形態では、感知手段の少なくとも1つが、カメラ、マイクロフォン、生理学的センサ、近接センサ、動きセンサ、圧力センサ、または自身の場所を判定するように構成された携帯型デバイスである。
代替的にまたは追加として、システムは、上記感知手段の少なくとも1つを備えた少なくとも1つのセンサロボットを備える。センサロボットは、生物の環境内を移動する、および/または感知手段の少なくとも1つを生物へと誘導するように構成され得る。
また、判定手段は、生物が遠隔の場所でセンサロボットと対話する対話状態を判定するように構成され得、選択手段は、対話状態が判定手段によって判定されたときに、例えば、ロボットがロボットの環境内の所定の物体のところまで移動する、および/または物体の周りを回る、および/または物体と対話する、対話挙動を選択するように構成される。この対話挙動は、次いでホスト場所にあるロボット内でもトリガされて、反映された印象を生じさせ、遠隔の場所での対話状態を伝達することができる。
ロボットの動きは、ロボットの1つまたは複数の外部センサおよび/または内部センサに基づいて制御され得る。別の例示的実施形態では、ロボットは、所定の物体を示す信号を生成する少なくとも1つの環境センサ(例えば近接センサ、カメラ)を備え、ロボットは、この少なくとも1つの環境センサから導出された信号に基づいて、所定の物体のところまで移動する、および/または物体の周りを回る、および/または物体と対話するように構成される。
生物の挙動状態を継続的に共有するための本開示に係る方法は、種々の挙動を実行するように構成されたロボットを使用し、以下のステップを含む。
- 少なくとも1つの感知手段によって生物を自動的に感知するステップ;
- 少なくとも1つの感知手段から導出された情報に基づいて生物の状態を継続的に判定するステップ;
- 種々の挙動から、判定された状態に割り当てられる挙動を選択するステップ;および
- ロボットが選択された挙動を実行するステップ。
図1は、本開示の例示的実施形態に係るシステムを示し、このシステムは、第1のアパート2にいる第1の人1(「遠隔」ユーザ)の挙動状態を、第2のアパート2にいる第2の人3(「ホスト」ユーザ)と共有する。図1に示されるシステムは、第1のアパート2内に、居間の中のエリアを撮影するカメラ5、寝室のベッド7に設置された圧力センサ6、台所に設置されたマイクロフォン8、第1の人1の手首に着用されるスマートウォッチ9、およびコンピュータのような第1の処理装置10を備える。第2のアパート2内に、システムは、データネットワーク(図示せず)を介して第1の処理装置10に接続された第2の処理装置11、例えば別のコンピュータと、第1の人1の抽象化された状態を、自身の挙動を通じて伝達するロボット12と、を備える。
マイクロフォン8は、料理する、食べる、歩行する、大きな笑い声、および話をするといった第1の人1の行動から発生する音を検出し、検出された音を、無線周波数通信またはケーブルを介して第1の処理装置10に送信するように構成される。カメラ5は、居間にいる第1の人1から画像信号を生成し、その画像信号を、無線周波数通信またはケーブルを介して第1の処理装置10に送信する。圧力センサ6は、第1の人1がベッド7にいるか否かを示す圧力信号を生成し、その圧力信号を、無線周波数通信またはケーブルを介して第1の処理装置10に送信する。スマートウォッチ9は、周辺光センサ、3軸加速度計、心拍数モニタ、および測位システム(屋内および/またはGPS)のような複数のセンサを備え、それらのセンサによって生成されたデータを、無線周波数通信を介して第1の処理装置10に送信するように構成される。
図2は、第1の処理装置10のブロック図を示し、第1の処理装置10は、第1の送受信手段14(例えばBluetooth(登録商標)またはWLAN送信デバイス)によって、カメラ5、圧力センサ6、マイクロフォン8、スマートウォッチ9および操作デバイス13に接続されると共に、第2の送受信手段16(例えばインターネットルータ、住居ゲートウェイ)によってデータネットワーク15に接続されている。第1の処理装置10は、第1の送受信手段14によって受信されたセンサデータに基づいて第1の人1の状態を判定する判定手段17と、共有が許容されない第1の人1の状態、および/または判定手段によって判定された状態の共有が許容されない時間を設定するための設定手段18と、を備える。
判定手段17は、カメラ5、圧力センサ6、マイクロフォン8およびスマートウォッチ9によって自動的に生成されるセンサデータに基づいて第1の人1の1つまたは複数の状態を継続的に判定し、判定手段17は、このセンサデータ中で、所定の状態に割り当てられた特定の特性を検出する。
詳細には、感情状態「嬉しい」は、画像処理および音声処理方法によって推定することができ、そこでは、カメラ5によって撮影された画像中で微笑んでいる顔が検出され、マイクロフォン8によって捕捉された音の中で笑い声が検出され、生理学的状態「寝ている」および「起きている」は、圧力センサ6の圧力信号およびスマートウォッチ9によって測定された心拍数に基づいて検出することができ、状態「テレビを見ている」、「電話をしている」、「読書をしている」および「編み物をしている」は、カメラ5によって撮影された画像に基づいて検出することができ、状態「料理をしている」および「食べている」は、マイクロフォン8によって捕捉された音に基づいて検出することができ、緊急状態「転倒」は、スマートウォッチ9の3軸加速度計の信号に基づいて検出することができ、状態「興奮している」、「心を奪われている」および「ストレスを感じている」は、音声認識によって推定することができる。音声認識自体は、従来技術から知られており、また特定の事象を検出するための画像処理および音声処理方法の使用も知られている。
状態判定の精度は、特性のセットを検出することによって向上し得、例えば、スマートウォッチ9への接続ができず、圧力信号が「起きている」ことを示し、第1の人1がカメラ5によって捉えられず、第1の人1の音または音声がいくらかの時間にわたって検出されない場合に、状態「家にいない」が設定され得る。
各状態(状態クラス)について、それぞれの状態(状態クラス)を実際に行っている人のラベル付けされた音および/または画像(映像)を用いて訓練された機械学習法によって、1つまたは複数の特性が決定され得る。判定手段17または外部のデバイスが、その機械学習法を行うことができ、そこでは、状態とそれに対応する特性または学習データが、操作デバイス13によって入力され、判定手段17に記憶される。
さらに、操作デバイス13を用いて、ユーザ(例えば第1の人1)が、プライバシー設定で、どの状態を共有しても構わないかを指定することができ、および/または、ユーザはいくらかの時間にわたって共有を能動的に有効/無効にすることができる。この設定は設定手段18に記憶され、設定手段18は、プライバシー設定のためのグラフィカルユーザインターフェースを生成し、判定手段17によって判定された状態から、共有が許容されない状態をフィルタリングする。共有が許容される状態は、第2の送受信手段16から受信され、第2の送受信手段16は、検出された状態を第2の処理装置11に送信する。
図3は、第2の処理装置11およびロボット12のブロック図を示す。第2の処理装置11は、共有が許容される状態に基づいてロボット12の挙動を選択する選択手段19と、データネットワーク15に接続されて、第1の処理装置10から状態を受信し、選択された挙動をロボット12に送信する送受信手段20(例えばWLANルータ)と、を備える。ロボット12は、選択された挙動を受信する送受信手段21(例えばWLANアダプタ)、顔の象徴的表現を表示するように構成されたディスプレイ22、音声を出力するスピーカ23、ロボット12の環境を感知するカメラ24、電動の脚25、電動の腕26、電動のしっぽ27、ならびに、選択された挙動を行うために、ディスプレイ22、スピーカ23、電動の脚25、電動の腕26および電動のしっぽ27を制御する制御手段28(例えばマイクロコントローラ)を備える。
図2および図3に記載されるすべての手段は、それぞれの第1の処理装置10、第2の処理装置11のプロセッサでまたはロボット12内で実行されるソフトウェアモジュールとして実現されてよい。
ロボット12の例示的挙動は以下であり得る。
- 例えば第2の人3、犬のかごなどの物体によって画定される、または例えば台所、入口のドアなどの部屋に関連する場所によって画定される、特定の位置に座る;
- 例えば、微笑む、あくびをする、目を閉じるなどの顔の表情;
- 例えば手を振るなどのジェスチャ、または横になる、伸びをするなどの身体姿勢;
- 歩き回る、飛び上がる、飛び降りる、向きを変える、踊るなどの一般的行動;
- 碗から食べる、壁を引っかく、ボールで遊ぶといった特定の行動;
- 色を変える、ディスプレイ22をオン/オフする;および/または
- 笑う、荒い呼吸をする、いびきをかく、ごろごろ言うなどの音響表現。
選択手段19は、判定手段17によって判定され得る各状態に対して、それぞれの状態の抽象化されたバージョンを表す挙動を記憶する。詳細には、第1の人1が起きており、家にいる場合は、ディスプレイ22に表示される顔の目が開いている挙動が選択され、第1の人1がアパート2を離れた場合は、ロボットが特定の場所、例えば入口のドアの隣に移動してそこに留まる挙動が選択され、第1の人1が嬉しい状態にある場合は、ロボット12が微笑み、および/またはしっぽを振る挙動が選択され、第1の人1が、何もしていないと解釈される行動と共に検出された場合は、ロボット12が表示された顔の色を変化させる挙動が選択される。
第1の人1の状態を判定するステップ、判定された状態に割り当てられる挙動を選択するステップ、およびその状態を選択された挙動によって第2の人3に伝達するステップは、自動的かつ継続的に行われ、操作ステップを行う必要はない。
特定の実装形態では、ロボット12の象徴的表現およびその挙動は、第2の人3が第2のアパート4を離れる場合でも状態を共有できるように、携帯型デバイス(例えばコンパニオン・アプリを有する携帯電話やタブレット)に表示され得る。代替的に、ロボット12またはロボット12の一部が、第2のアパート4の内部または外部で携行される間に挙動を示すために携帯型であり、および/または、ロボット12が、第2のアパート4のミニチュアモデル内で、または人形の家、ジオラマもしくはテラリウムのような、複数の対話ポイントを有する別の環境内で動作するように設計される。
代替的にまたは追加として、第1の人1を感知するセンサが、第2のアパート4に位置するロボット12と同様のまたは同一の別の(センサ)ロボット内に設置され得る。この場合、センサロボットとの第1の人1の対話(見る、話す、および/またはセンサロボットのところまで移動する)が検出され得、それがセンサロボット内で挙動をトリガし、それが次いでロボット12に「反映」される。
代替的にまたは追加として、状態を判定するために、センサもしくは特定のデバイスからの信号、例えば、テレビがその電源状態を通信する、冷蔵庫がドアが開いているかどうかを通信することを、それらの信号を、想定される状態、すなわち「テレビを見ている」や「食べている」にどのように対応付けるかについての事前に定義された規則のセットと併せて、使用することができる。
本明細書に記載される判定手段17、設定手段18および/または選択手段19の機能は、個々のハードウェア回路を使用して、プログラムされたマイクロプロセッサもしくは汎用コンピュータと併せて機能するソフトウェアを使用して、特定用途集積回路(ASIC)を使用して、および/または1つもしくは複数のデジタル信号プロセッサ(DSP)を使用して、実装されてよい。さらに、判定手段17または加えて設定手段18も、第2の処理装置11の一部であり得、または選択手段19が第1の処理装置10の一部であり得、送受信手段20が、選択された挙動を受信し、選択された挙動をロボット12に転送する。
代替的にまたは追加として、ロボット12は、基本位置が固定されているが複数の制御可能な関節を持つロボットアームを備えることができ、ロボット12は、自由に動き回ることができ顔で挙動を表現することもできる、脚のある「動物」として、または画面を備える車輪付きのロボットとして設計され得る。
図4は、上記に詳細に説明された方法の実現によって行われる個々のステップを示す簡略フローチャートを示す。
当業者には、本開示の範囲および主旨から逸脱することなく、本開示の構造に様々な変更および変形がなされ得ることが明らかであろう。前述に照らして、本開示は、以下の特許請求の範囲およびそれに相当するものの範囲内に該当する場合には本開示の変更および変形を包含することが意図される。

Claims (15)

  1. 生物の挙動状態を継続的に共有するためのシステムであって、
    種々の挙動を実行するように構成されたロボット(12)と、
    前記生物を感知する少なくとも1つの感知手段(5)、(6)、(8)、(9)と、
    前記少なくとも1つの感知手段(5)、(6)、(8)、(9)から導出された情報に基づいて前記生物の状態を判定する判定手段(17)と、
    前記種々の挙動から、前記判定された状態に割り当てられる挙動を選択する選択手段(19)と、を備え、
    前記ロボット(12)は、前記選択された挙動を実行するように構成される、システム。
  2. 前記生物が人またはペットである、請求項1に記載のシステム。
  3. 前記選択された挙動を実行するために、前記ロボット(12)が、前記ロボット(12)の環境内の所定の位置に移動する、所定の経路上を移動する、所定の速度プロファイルで移動する、所定の姿勢を取る、所定の音声を出力する、ならびに/または、所定の色のおよび/もしくは所定の強度の光を出力するように構成される、請求項1に記載のシステム。
  4. 前記種々の挙動を実行するために、前記ロボット(12)が、前記ロボット(12)の前記環境内の種々の位置に移動する、種々の経路上を移動する、種々の速度プロファイルで移動する、種々の姿勢を取る、種々の音声を出力する、ならびに/または、種々の色のおよび/もしくは種々の強度の光を出力するように構成される、請求項3に記載のシステム。
  5. 前記生物の環境のミニチュアモデル、をさらに備え、
    前記ロボット(12)が、前記ミニチュアモデル内を移動するように構成される、請求項1に記載のシステム。
  6. 前記生物と前記ロボット(12)とが、それぞれ異なる場所に位置し、前記システムが、送信手段(16)であって、データネットワーク(15)を介して、前記少なくとも1つの感知手段(5)、(6)、(8)、(9)から導出された前記情報を前記判定手段(17)に、前記判定された状態を前記選択手段(19)に、または前記選択された挙動を前記ロボットに、送信する送信手段(16)をさらに備える、請求項1に記載のシステム。
  7. 前記判定手段(17)が、前記生物の所定の感情状態、前記生物の所定の生理学的状態、前記生物によって行われた所定の行動、および/または前記生物の所定の緊急状態を判定するように構成される、請求項1に記載のシステム。
  8. 前記判定手段(17)が、前記生物(1)の状態を、種々の感情状態、種々の生理学的状態、種々の行動および/または種々の緊急状態に分類するように構成される、請求項7に記載のシステム。
  9. 共有が許容されない前記生物の状態、および/または前記生物の状態の共有が許容されない時間をユーザにより設定するための設定手段(18)をさらに備える、請求項7に記載のシステム。
  10. 前記感知手段(5)、(6)、(8)、(9)の少なくとも1つが、前記生物によって制御可能なデバイスの動作状態を検出するように構成される、請求項1に記載のシステム。
  11. 前記感知手段(5)、(6)、(8)、(9)の少なくとも1つが、カメラ(5)、マイクロフォン(8)、生理学的センサ、近接センサ、動きセンサ、圧力センサ(6)、または自身の場所を判定するように構成された携帯型デバイス(9)である、請求項1に記載のシステム。
  12. 前記感知手段(5)、(6)、(8)、(9)の少なくとも1つを備えたセンサロボット(12)をさらに備える、請求項1に記載のシステム。
  13. 前記判定手段(17)が、前記生物が前記センサロボット(12)と対話する対話状態を判定するように構成され、
    前記選択手段(19)は、前記対話状態が前記判定手段(17)によって判定されたときに、前記ロボット(12)が前記ロボット(12)の環境内の所定の物体のところまで移動する、および/または前記物体の周りを回る、対話挙動を選択するように構成される、請求項12に記載のシステム。
  14. 前記ロボット(12)が、前記所定の物体を示す信号を生成する少なくとも1つの環境センサを備え、
    前記ロボット(12)が、前記少なくとも1つの環境センサから導出された前記信号に基づいて、前記所定の物体のところまで移動する、および/または前記物体の周りを回るように構成される、請求項13に記載のシステム。
  15. 種々の挙動を実行するように構成されたロボットを使用して生物の挙動状態を継続的に共有するための方法であって、
    少なくとも1つの感知手段(5)、(6)、(8)、(9)によって前記生物を自動的に感知するステップと、
    前記少なくとも1つの感知手段(5)、(6)、(8)、(9)から導出された情報に基づいて前記生物の状態を継続的に判定するステップと、
    前記種々の挙動から、前記判定された状態に割り当てられる挙動を選択するステップと、
    前記ロボット(12)が前記選択された挙動を実行するステップと、を含む方法。
JP2021176426A 2020-10-30 2021-10-28 生物の挙動状態を継続的に共有するためのシステムおよび方法 Pending JP2022074094A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/084,646 2020-10-30
US17/084,646 US20220134544A1 (en) 2020-10-30 2020-10-30 System and method for continuously sharing behavioral states of a creature

Publications (1)

Publication Number Publication Date
JP2022074094A true JP2022074094A (ja) 2022-05-17

Family

ID=78414342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021176426A Pending JP2022074094A (ja) 2020-10-30 2021-10-28 生物の挙動状態を継続的に共有するためのシステムおよび方法

Country Status (3)

Country Link
US (1) US20220134544A1 (ja)
EP (1) EP3992987A1 (ja)
JP (1) JP2022074094A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210287453A1 (en) * 2020-03-13 2021-09-16 Magic Leap, Inc. Three dimensional diorama for spatial computing assets

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3577672A (en) * 1967-09-01 1971-05-04 William Nutting Modular rigid block-type dollhouse construction toy
US4846693A (en) * 1987-01-08 1989-07-11 Smith Engineering Video based instructional and entertainment system using animated figure
AU6754400A (en) * 1999-07-31 2001-02-19 Craig L. Linden Method and apparatus for powered interactive physical displays
US20020087498A1 (en) * 2000-07-27 2002-07-04 Makoto Yoshida Autonomous behavior decision control system for an electronic device
JP2004001162A (ja) * 2002-03-28 2004-01-08 Fuji Photo Film Co Ltd ペットロボット充電システム、受取装置、ロボット、及びロボットシステム
US6937152B2 (en) * 2003-04-08 2005-08-30 Shoot The Moon Products Ii, Llc Wireless interactive doll-houses and playsets therefor
JP2005078456A (ja) * 2003-09-01 2005-03-24 Sony Corp コンテンツ提供システム
WO2008042917A2 (en) * 2006-10-02 2008-04-10 Mattel, Inc. Electronic playset
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
IL184052A (en) * 2007-06-19 2014-08-31 E N T T Ltd Voice animation system and method
US9179864B2 (en) 2007-08-15 2015-11-10 Integrity Tracking, Llc Wearable health monitoring device and methods for fall detection
US20090322513A1 (en) 2008-06-27 2009-12-31 Franklin Dun-Jen Hwang Medical emergency alert system and method
US8694899B2 (en) * 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
US9190844B2 (en) * 2012-11-04 2015-11-17 Bao Tran Systems and methods for reducing energy usage
US8736228B1 (en) * 2010-12-20 2014-05-27 Amazon Technologies, Inc. Charging an electronic device including traversing at least a portion of a path with an apparatus
US9552056B1 (en) * 2011-08-27 2017-01-24 Fellow Robots, Inc. Gesture enabled telepresence robot and system
US10176725B2 (en) * 2011-08-29 2019-01-08 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
US9046884B2 (en) * 2012-12-31 2015-06-02 Microsoft Technology Licensing, Llc Mood-actuated device
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US9936819B2 (en) * 2013-12-31 2018-04-10 Popup Holdings, Llc Foldable play enclosures
US9592603B2 (en) * 2014-12-01 2017-03-14 Spin Master Ltd. Reconfigurable robotic system
US20160247500A1 (en) * 2015-02-22 2016-08-25 Rory Ryder Content delivery system
US11439344B2 (en) * 2015-07-17 2022-09-13 Origin Wireless, Inc. Method, apparatus, and system for wireless sleep monitoring
DE112017002589T5 (de) * 2016-05-20 2019-04-25 Groove X, Inc. Autonom handelnder Roboter und Computerprogramm
WO2018132364A1 (en) * 2017-01-10 2018-07-19 Intuition Robotics, Ltd. A method for performing emotional gestures by a device to interact with a user
US10350506B2 (en) * 2017-04-19 2019-07-16 Readysetz, Llc Portable folding play structure
US10449463B2 (en) * 2017-05-09 2019-10-22 Wowwee Group Ltd. Interactive robotic toy
US10421027B2 (en) * 2017-05-09 2019-09-24 Wowwee Group Ltd. Interactive robotic toy
US11826668B2 (en) * 2017-09-07 2023-11-28 3Duxdesign Llc Modeling kit including connectors and geometric shapes, and methods of making and using same
US11475291B2 (en) * 2017-12-27 2022-10-18 X Development Llc Sharing learned information among robots
KR102012968B1 (ko) * 2018-08-07 2019-08-27 주식회사 서큘러스 인터렉션 로봇의 제어 방법 및 제어 서버
US11040441B2 (en) * 2018-09-20 2021-06-22 Sony Group Corporation Situation-aware robot
US11269330B2 (en) * 2018-11-28 2022-03-08 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for intersection management of connected autonomous vehicles
US11439346B2 (en) * 2019-01-03 2022-09-13 Jacob T. Boyle Robotic device for assisting individuals with a mental illness
US10936066B1 (en) * 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US11327503B2 (en) * 2019-08-18 2022-05-10 Cobalt Robotics Inc. Surveillance prevention by mobile robot
US11202966B2 (en) * 2019-10-14 2021-12-21 Perry C. Faanes Sculpture device mountable to electronic device having built-in camera
KR20210078207A (ko) * 2019-12-18 2021-06-28 엘지전자 주식회사 로봇 및 로봇 시스템
US11290977B1 (en) * 2020-07-21 2022-03-29 Amazon Technolgies, Inc. System for localizing wireless transmitters with an autonomous mobile device

Also Published As

Publication number Publication date
US20220134544A1 (en) 2022-05-05
EP3992987A1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
KR100838099B1 (ko) 수시 도움을 요구하는 독거인을 모니터링하기 위한 자동시스템
US10405745B2 (en) Human socializable entity for improving digital health care delivery
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6724889B2 (ja) 見守りシステム及び見守り方法
KR20030001504A (ko) 돌봄을 필요로 하는 사람 및 그/그녀를 돌보는 사람을감시하기 위한 자동 시스템
WO2020115972A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2024055866A (ja) 内部状態または外部環境に応じて自律的に行動選択するロボット
JP2022074094A (ja) 生物の挙動状態を継続的に共有するためのシステムおよび方法
WO2018047426A1 (ja) 仮想生物制御システム、仮想生物制御方法、および記録媒体
van de Ven et al. Robo MD: a home care robot for monitoring and detection of critical situations
JP2006172410A (ja) ロボットを用いたケア情報基地
JP7296626B2 (ja) 情報処理装置及びプログラム
WO2020075675A1 (ja) ケアシステムの管理方法および管理装置、ならびにプログラム
EP3992984A1 (en) Interactive reminder companion
US20220355470A1 (en) Autonomous mobile body, information processing method, program, and information processing device
JP2021033676A (ja) 情報処理装置及びプログラム
JP7298861B2 (ja) 日常生活を記録する自律行動型ロボット
KR102668931B1 (ko) 맞춤형 서비스 제공 장치 및 방법
CN116234664B (zh) 机器人的控制方法、机器人、以及程序
WO2020075674A1 (ja) ケアシステムの管理方法および管理装置、ならびにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240531