JP2016120591A - 移動ロボット - Google Patents

移動ロボット Download PDF

Info

Publication number
JP2016120591A
JP2016120591A JP2016009370A JP2016009370A JP2016120591A JP 2016120591 A JP2016120591 A JP 2016120591A JP 2016009370 A JP2016009370 A JP 2016009370A JP 2016009370 A JP2016009370 A JP 2016009370A JP 2016120591 A JP2016120591 A JP 2016120591A
Authority
JP
Japan
Prior art keywords
robot
resident
mobile robot
room
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016009370A
Other languages
English (en)
Inventor
マシュー クロス,
Cross Matthew
マシュー クロス,
クララ ブ,
Vu Clara
クララ ブ,
ティム ビックモア,
Bickmore Tim
ティム ビックモア,
クライブ ボルトン,
Bolton Clive
クライブ ボルトン,
ジョン ゴッシュ,
Goetsch John
ジョン ゴッシュ,
アマンダ グルーバー,
Gruber Amanda
アマンダ グルーバー,
ケン シングレア,
Singlair Ken
ケン シングレア,
ローリン ワイルド,
Wilde Lorin
ローリン ワイルド,
ペース ウィリストン,
Williston Pace
ペース ウィリストン,
トニー エル. キャンベル,
L Campbell Tony
トニー エル. キャンベル,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iRobot Corp
Original Assignee
iRobot Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iRobot Corp filed Critical iRobot Corp
Publication of JP2016120591A publication Critical patent/JP2016120591A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0091Shock absorbers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/40ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】人に近い位置で停止するロボットを提供する。【解決手段】上面から見た外形が、第一前方、第二前方、及び第三後方コーナー領域で接続されている第一、第二、及び第三曲線からなる略ルーロー三角形である本体と、本体に搭載されたバンパと、一組の駆動輪と、前方方向を向いて、三つの曲線のうちの、第一前方及び第二前方コーナー領域においてそれぞれ第二及び第三曲線と接続される第一曲線を画定する、本体の第一部分に配置された、障害物検出センサと、少なくとも一部が前方方向を向き、少なくとも一部が第一前方コーナー領域において第一及び第二曲線を接続する接続曲線を画定する、本体の側面の第二部分に配置され、第一赤外線センサが発した光の反射光を受信するよう構成された第一赤外線センサと、を備える移動ロボット。【選択図】図4A

Description

(関連出願の引用)
本出願は、以下に対して優先権を請求し、本明細書にそれら全体を参照することによって組み込む。2006年5月4日に出願された米国仮特許出願第60/746,491号、2006年4月17日に出願された米国仮特許出願第60/745,006号、および2005年9月30日に出願された米国仮特許出願60/722,935号。
(発明の分野)
本発明は、概して人々と相互交流するための自律移動ロボットに関し、より具体的には、種々の仕事のために人を助力するための自律移動ロボットに関する。
(発明の背景)
ロボット研究プラットフォームは、相互交流ロボットによる支援から恩恵を受ける可能性のある、高齢者、子供、またはその他の人々などと家庭状況において相互交流するために開発されてきた。これらのロボットプラットフォームはしばしば、実際の家庭環境、または家庭環境において、コンパニオンロボットを差し出がましくない、歓迎される客にするなど、個人的好みおよび関心事を考慮に入れていない。
薬剤を運搬する、楽しい相互交流を提供する、および/またはテレビ会議ツールを提供する際に介助者を助力する、ある種のプラットフォームが開発されているが、多くは依然として研究プラットフォームのままであり、普通の家で使用するためには不適切であるように、非常に大きく、重く、扱いにくい傾向にある。これらのロボットプラットフォームは一般に、ある程度の監視が期待され、プライバシーおよび個人的尊厳がただでさえ悪影響を受ける傾向にある公共施設で試験され、プライバシー保護に対する期待がより高い、私宅での使用に適切ではない場合がある。
しかし、単にロボットを小さくしても、これらの短所は改善されない。ロボットが運搬されるのに十分小さいとはいえ、予定される使用は通常、単一の部屋の中であり、家中全体で有用となる能力は限定されている。低重量のプラットフォームはまた、地面に対して低くなる傾向があり、同じ部屋を動き回る可能性がある居住者の視界から外れ、平衡性または移動性の問題に関して危険を生む。つまり、従来のロボットは限定的な有用性に悩まされ、従って、人間に歓迎され、万能な助手として機能しない。
(発明の開示)
一側面では、本発明は、プロセッサと、プロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、薬剤投与事象に関する薬剤投与量情報および投与計画事象に関する健康関連情報のうちの少なくとも1つを確認し、事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して周囲環境内でロボットを動かし、人に近い位置で停止させるプロセッサ上で実行可能な人探しルーティンと、投与計画ルーティンとの遵守を確実にするための投与計画遵守管理部とを含む、投与計画遵守管理のためのロボットに関する。
一側面では、本発明は、プロセッサと、個人の薬剤投与量情報を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成し、人から遵守または非遵守表示を受信することができる通信インターフェースと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に、人探しルーティンを開始する、プロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させるプロセッサ上で実行可能な人探しルーティンと、投与される薬剤の場所に関する情報を含む、人が知覚可能な信号を人に送信し、人を薬剤に誘導する、プロセッサ上で実行可能な照合ルーティンとを含む、投与計画遵守管理のためのロボットに関する。上記側面のある実施形態では、通信インターフェースは、人から遵守または非遵守表示および延期規則を含むプロセッサによってアクセス可能なメモリを受信しており、人からの非遵守表示を認識すると、個人の薬剤投与量情報を確認し、延期規則と一致する新しい薬剤投与事象を設定する、投与計画遵守スヌーズルーティンをさらに含んでいる。
その他の側面では、プロセッサと、個人の薬剤投与量情報を含むプロセッサによってアクセス可能なメモリと、投与量を延期するための許容条件を定義する延期規則を含むメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成し、人から遵守または非遵守表示を受信することができる通信インターフェースと、ロボットを動かすプロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の隣の位置に停止させるプロセッサ上で実行可能な人探しルーティンと、投与される薬剤に関する情報を含む、人が知覚可能な信号を人に送信するプロセッサ上で実行可能な照合ルーティンと、人からの非遵守表示を認識すると、個人の薬剤投与量情報を確認し、薬剤の延期が延期規則と一致すれば新しい薬剤投与事象を設定する、投与計画遵守スヌーズルーティンを含む、投与計画遵守管理のためのロボットに関する。
その他の側面では、本発明は、ロボットによって運搬される、充填された薬剤を受ける薬剤貯蔵部と、プロセッサと、個人の薬剤投与量情報および延期規則を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、ロボットを動かすプロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させる、プロセッサ上で実行可能な人探しルーティンと、薬剤貯蔵部に運搬される薬剤に関する情報を含む、人が知覚可能な信号を人に送信する、プロセッサ上で実行可能な照合ルーティンとを含む、投与計画遵守管理のためのロボットに関する。上記側面のある実施形態では、ロボットは、今後の投与のために薬剤貯蔵部への充填に関する情報、および人を薬剤貯蔵部へ誘導する情報を含む、人が知覚可能な信号を人に送信する、プロセッサ上で実行可能な薬剤充填ルーティンを含む。
さらにその他の側面では、本発明は、充填された薬剤を受ける薬剤貯蔵部、プロセッサ、個人の薬剤投与量情報および延期規則を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、ロボットを動かすプロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させる、プロセッサ上で実行可能な人探しルーティンと、今後の投与のために薬剤貯蔵部への充填に関する情報、および人を薬剤貯蔵部へ誘導する情報を含む、人が知覚可能な信号を人に送信する、プロセッサ上で実行可能な薬剤充填ルーティンを有する、投与計画遵守管理のためのロボットシステムに関する。
その他の側面では、本発明は、ロボットを、介助者がロボットを接続してもよい遠隔位置に接続するネットワークインターフェースと、プロセッサと、個人の薬剤投与量情報を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成し、人から遵守または非遵守表示を受信することができる通信インターフェースと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始する、プロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させる、プロセッサ上で実行可能な人探しルーティンと、人からの非遵守表示を認識すると、ネットワークインターフェースを介して介助者に連絡する、プロセッサ上で実行可能な投与計画遵守リマインダルーティンとを含む、投与計画遵守管理のためのロボットシステムに関する。上記側面のある実施形態では、ロボットは、介助者が、着信通信チャネル経由で、また通信インターフェースを介して人が知覚可能な信号を送信するための着信通信チャネルを含む。
さらにその他の側面では、本発明は、ロボットを、介助者がロボットを接続できる遠隔位置に接続するネットワークインターフェースと、プロセッサと、健康関連の投与計画情報を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、介助者が、着信通信チャネル経由で、また通信インターフェースを介して人が知覚可能な信号を送信するための着信通信チャネルと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、投与計画事象に関する健康関連の投与計画情報を確認し、健康関連の投与計画事象より先に、人探しルーティンを開始する、プロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させるプロセッサ上で実行可能な人探しルーティンと、ネットワークインターフェースを介して通信セッションを介助者と接続するプロセッサ上で実行可能な投与計画遵守ガイドアクセスルーティンとを含む投与計画遵守管理のためのロボットシステムに関する。
その他の側面では、本発明は、通信スクリプトセグメントを受信するステップと、通信スクリプトセグメントの可視コンポーネント、および通信スクリプトセグメントの可聴コンポーネントのうちの少なくとも1つを人に出力するステップと、出力コンポーネントに付随するロボット表現コンポーネント、および人による入力に対するロボット応答のうちの少なくとも1つを制御するステップとを含む、人間とロボットの相互交流の方法に関する。
さらにその他の側面では、本発明は、出力クエリーサブスクリプト文字列および5つ以下のサブスクリプト応答文字列候補の応答ツリーを含む、通信スクリプトセグメントを受信するステップと、出力クエリー文字列を可聴出力信号に関連付けるステップと、音声クエリーとして可聴出力信号を人に出力するステップと、ロボットの表示部上の5つ以下のサブスクリプト応答文字列候補とともに、出力クエリーサブスクリプト文字列を表示するステップと、人の応答を可聴出力信号に記録するオーディオ入力信号を受信するステップと、オーディオ入力信号が、5つ以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つに対応する音声を含むかどうかと、オーディオ入力信号が、4つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、ユーザに可聴出力信号に対する応答の通信の再試行を促進するために出力信号を発行する音声を含むことが認識されないかどうかと、オーディオ入力信号が、5つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、認識された5つ以下のサブスクリプト応答文字列候補のうちの1つの反復を含む出力信号を発行する音声を含むことが認識されるかどうかを認識するために、オーディオ入力信号を処理するステップと、を含む、人間とロボットの相互交流の方法に関する。上記側面の実施形態は、確認信号が発行された後、認識された4つ以下のサブスクリプト応答文字列候補の正確さまたは不正確さの確認のために監視するステップを含む。さらにその他の実施形態では、ユーザにオーディオ出力信号に対する応答の通信の再試行を促進するために出力信号を発行するステップは、ロボットの表示部上に表示されたサブスクリプト文字列を強調表示するステップと、表示部に関連付けられた手動作動制御を介して5以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つを選択する入力信号を受信するステップとを含む。さらなる実施形態では、5つ以下のサブスクリプト応答文字列候補のうちの2つは、単純肯定応答および単純否定応答であり、オーディオ入力信号が、単純肯定応答に相当する肯定応答のファミリに対応する音声を含む、または単純否定応答に相当する肯定応答のファミリに対応する音声を含むかどうか認識するオーディオ入力信号を処理するステップをさらに含む。他の実施形態では、5つ以下のサブスクリプト応答文字列候補のうちの1つは、通信スクリプトセグメントの大部分に共通している応答文字列である。さらにその他の実施形態では、5つ以下のサブスクリプト応答文字列候補のうちの2つは、単純肯定応答および単純否定応答ではなく、オーディオ入力信号が、単純肯定応答に相当する肯定応答のファミリに対応する音声を含む、または単純否定応答に相当する肯定応答のファミリに対応する音声を含むかどうか認識するオーディオ入力信号を処理するステップをさらに含む。ロボットのその他の実施形態では、応答ツリーは、3つ以下のサブスクリプト応答文字列候補の応答ツリーであり、応答文字列候補のうちのどれも単純肯定応答および単純否定応答ではない。その他の実施形態は、応答ツリー文字列サブスクリプトを、表示部に表示される一連のメニュー選択に変換するステップを含む。
その他の側面では、本発明は、出力クエリーサブスクリプト文字列および5つ以下のサブスクリプト応答文字列候補の応答ツリーを含む、通信スクリプトセグメントを受信するステップと、出力クエリー文字列を可聴出力信号に関連付けるステップと、音声クエリーとして可聴出力信号を人に出力するステップと、ロボットの表示部上の5つ以下のサブスクリプト応答文字列候補とともに、出力クエリーサブスクリプト文字列を表示するステップと、人の応答を可聴出力信号に記録するオーディオ入力信号を受信するステップと、オーディオ入力信号が5つ以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つに対応する音声を含むかどうかと、オーディオ入力信号が、5つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、認識された5つ以下のサブスクリプト応答文字列候補のうちの1つの反復を含む出力信号を発行する音声を含むことが認識されるかどうかと、オーディオ入力信号が、4つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、ロボットの表示部上に表示されたサブスクリプト文字列を強調表示し、その後表示部に接続された手動作動制御を介して5つ以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つを選択する入力信号を受信する音声を含むことが認識されないかどうかを認識するために、オーディオ入力信号を処理するステップと、を含む、人間とロボットの相互交流の方法に関する。
さらにその他の側面では、本発明は、事象に応答して運動行動を含む、複数の運動行動を非同期的に実行するステップと、ロボット音声プロンプト文字列と人間応答文字列との会話分岐を含む、通信スクリプトセグメントを受信するステップと、可聴ロボット音声プロンプトを生成する通信スクリプトセグメントを解釈するステップと、可聴ロボット音声プロンプトに対する応答として人から入力を受信するステップと、非同期応答を実行するために、複数の行動のうちの1つによって検知される事象に応えて会話分岐に割り込むステップと、非同期応答の実行後に会話分岐を回復するステップと、を含む、人間とロボットの相互交流の方法に関する。
さらにその他の側面では、本発明は、ロボット音声プロンプト文字列と人間応答文字列との会話分岐を含む、通信スクリプトセグメントを受信するステップと、出力クエリー文字列を可聴出力信号に関連付けるステップと、音声クエリーとして可聴出力信号を人に出力するステップとをさらに含み、制御するステップは、上下軸頭部運動もしくは回転軸頭部運動、またはロボット全体の運動を含むロボット運動シーケンスとを含む頭部運動シーケンスから選択される少なくとも表現運動を追加することによって、通信スクリプトセグメントの間に所望の表現を示すように会話分岐を調節するステップと、を含む、人間とロボットの相互交流の方法に関する。
その他の側面では、ロボット音声プロンプト文字列と人間応答文字列との会話分岐と、ロボット表現運動タグとを含む、通信スクリプトセグメントを受信するステップと、会話分岐により、可聴ロボット音声プロンプトを生成する通信スクリプトセグメントおよびロボット表現運動を解釈するステップと、可聴ロボット音声プロンプトに対する応答として人から入力を受信するステップと、事象により、ロボットを再配置する補正行動を実行するために、ロボットによって検知された事象に応えて表現運動に割り込むステップと、補正行動の実行後に会話分岐を回復するステップと、を含む、人間とロボットの相互交流の方法に関する。
その他の側面では、本発明は、ロボットのためのロボット自己操縦の方法に関し、該方法は、センサおよび入力のうちの少なくとも1つを監視するステップと、センサおよび入力のうちの少なくとも1つからの信号を、少なくとも2つの所定の条件と比較するステップと、(a)信号が第1の条件に対応する場合の行為と、(b)信号が第2の条件に対応する場合の、ロボットの動きのうちの少なくもと1つを実行するステップとを含む。
一側面では、本発明は、ロボットの検知範囲内に人の存在を検知することができるセンサを監視するステップと、人がロボットの検知範囲内に検知される場合、存在得点を更新するステップと、漸次悪化させるように存在得点を減少させるステップと、存在得点が第1の閾存在得点まで減少する場合、ロボットを異なる場所に移動させる方向に運転するステップと、存在得点が第2の閾存在得点まで更新する場合、人に近い場所にロボットを駐車するステップとを含む、ロボット自己操縦の方法に関する。
その他の側面では、本発明は、ロボットの検知範囲内に検知可能な物体の存在を検知することができるセンサを監視するステップと、検知可能な物体がロボットの検知範囲内に検知される場合、存在得点を更新するステップと、漸次悪化させるように存在得点を減少させるステップと、存在得点が第1の閾存在得点まで減少する場合、ロボットを異なる場所に移動させる方向に運転するステップとを含む、ロボット自己操縦の方法に関する。ある実施形態では、センサパッケージは、人または充電局を含む検知可能な物体を検知することができ、存在得点が第2の閾存在得点まで更新する場合、該方法は、再充電するために係合する、人の近くに位置する充電局にロボットを駐車するステップをさらに含む。その他の実施形態では、運転するステップは、存在得点が第2の閾存在得点まで更新する場合、一連の異なる位置にロボットを移動させるステップを含む。
さらにその他の側面では、本発明は、ロボットの検知範囲内に検知可能な物体の存在を検知することができるセンサパッケージを監視するステップであって、検知可能な物体は、人または充電局のいずれか一方または両方を含むステップと、検知可能な物体がロボットの検知範囲内に検知される場合、存在得点を更新するステップと、漸次悪化させるように存在得点を減少させるステップと、存在得点が第1の閾存在得点まで減少する場合、ロボットを異なる場所に移動させる方向に運転するステップと、存在得点が第2の閾存在得点まで更新する場合、再充電するために係合する、異なる場所および人の近くに位置する充電局にロボットを駐車するステップと、を含む、ロボット自己操縦の方法に関する。
その他の側面では、本発明は、ロボットに近い第1の所定の空間内で、人または物体のうちの少なくとも1つを検知するための第1の検知器と、ロボットに近い第2の所定の空間内で、人または物体のうちの少なくとも1つを検知するための第2の検知器と、人および物体のうちの少なくとも1つとの接触を検知するための物理的接触装置であって、第1の検知器、第2の検知器、および接触装置のうちの少なくとも1つは、安全状態を引き起こす物理的接触装置と、安全状態が検知される場合にロボットを固定するように構成される制御器と、を含む人と相互交流するための移動ロボットに関する。
さらにその他の側面では、本発明は、検知条件に応えてアナンシエータ活性化信号を生成するステップと、アナンシエータ活性化信号上でアナンシエータを活性化するステップと、人からの検知応答に関してセンサを監視するステップと、検知応答が目的の応答を含むかどうか確認するステップと、確認するステップが、検知応答が目的の応答を含むことを確信すると、探し出された人のサクセスルーティンを活性化するステップと、確認するステップが、検知応答が目的の応答を含むことを確信すると、現在の部屋からの経路を識別するステップと、現在の部屋から新しい部屋への経路経由でロボットを移動させる方向に運転するステップと、を含む、ロボット自己操縦の方法に関する。
ロボットの機能は、自信、信頼、および同志的管理部として機能することが好ましい。ロボットは、ユーザの信頼および愛着を高めるように巧みに作られ、それ自体有益であり、また一般的利益をありとあらゆるその他の応用に提供し、それらの成功率を増加させる。この機能は、新しく、定着していない技術(特に自律的、自己制御的、移動技術)を一般人の生活に導入する課題に取り組む。
その他の側面では、本発明は、人の存在を示す非雑音信号に関してセンサパッケージを監視するステップと、非雑音信号が目的の応答に対応すると、探し出された人のサクセスルーティンを活性化するステップと、非雑音信号が目的の応答に対応しない場合、または応答が識別されない場合、(i)現在の部屋から戸口を識別し、現在の部屋から新しい部屋へ戸口経由でロボットを操縦するステップ、あるいは(ii)アナンシエータを活性化するために移動ロボットを制御するステップとを含む、無人操縦で目的の人を探し出すための方法に関する。上記側面のある実施形態では、アナンシエータは、目的の人の名前を含む音を出し、該方法は、目的の応答のソースが目的の人の名前であることを確信するために、目的の応答を確認するステップをさらに含む。
さらにその他の側面では、本発明は、部屋識別マーカーの遠隔ユーザの選択を代表する第1の操縦命令を受けるステップと、現在の部屋を認識するステップと、ロボットが、選択された部屋識別マーカーに対応する部屋識別情報を有する部屋内にいると認識されるまで、第1の操縦命令により異なる部屋識別情報から成る部屋の間を運転するステップと、部屋識別マーカーに対応する部屋識別情報を有する部屋内の床の位置または部屋識別マーカーに対応する部屋識別情報を有する部屋内の目印部位のうちの1つの遠隔ユーザの選択を代表する第2の操縦命令を受けるステップと、ロボットが、床の位置、または目印部位の隣のうちの1つにいると認識されるまで、第2の操縦命令により部屋識別情報に対応する部屋内を運転するステップと、方向および方角を含み、遠隔ユーザの命令を代表する第3の操縦命令ストリームを受けるステップと、方向および方角を含み、遠隔ユーザの命令を代表する、受けた第3の操縦命令ストリームにより、部屋内、および床の位置から運転するステップと、を含む、ロボットを操縦するための方法に関する。
さらにその他の側面では、住居内で利用可能な部屋識別情報に対応する、部屋識別情報の選択を受けるステップと、ロボットが、部屋識別情報の中でトポロジー的隣接を捕捉し、住居のそれぞれの部屋識別情報を、受けた部屋識別マーカーと相互に関連付けるまで、異なる部屋識別情報の部屋の間を運転するステップと、住居のために利用可能な部屋識別情報に対応する部屋識別マーカーを表示するステップであって、部屋識別マーカーは、対応する部屋識別情報のトポロジー的隣接により表示され、家の見取り図の一部として表示されるステップとを含むロボットを遠隔制御するために、操縦命令を実行するための方法に関する。
その他の側面では、本発明は、住居内の利用可能な部屋識別情報に対応する部屋識別情報の選択を受けるステップをさらに含み、ロボットが、部屋識別情報の中でトポロジー的隣接を捕捉し、住居のそれぞれの部屋識別情報を、受けた部屋識別マーカーと相互に関連付けるまで、異なる部屋識別情報の部屋の間を運転するステップと、住居のために利用可能な部屋識別情報に対応する部屋識別マーカーを表示するステップであって、部屋識別マーカーは、対応する部屋識別情報のトポロジー的隣接により表示され、家の見取り図の一部として表示されるステップと、部屋識別マーカーの遠隔ユーザの選択を代表する第1の操縦命令として、表示する部屋識別マーカーに連結されるユーザインターフェースを介して部屋識別マーカーの選択を受けるステップと、現在の部屋を認識するステップと、ロボットが、選択された部屋識別マーカーに対応する部屋識別情報を有する部屋内にいると認識されるまで、第1の操縦命令により異なる部屋識別情報から成る部屋の間を運転するステップとを含む、ロボットを遠隔制御するために、操縦命令を実行するための方法に関する。
さらにその他の側面では、本発明は、ロボットの存在を聞こえるように示すように構成されるアナンシエータと、ロボットの存在を光学的に示すように構成される可視性ビーコンと、ロボットの高さの大部分を覆うカーテン内で人を検知し、その後安全状態を引き起こすように構成される近接カーテン検知器と、人がロボットに衝突する衝撃を吸収し、人を検知し、安全状態を引き起こすように構成される物理的衝撃緩衝器と、高さが2インチ未満の物体を検知し、安全状態を引き起こすように構成される、床レベル近接リボンと、安全状態が検知される際、ロボットを固定するように構成される制御器とを含む、人と相互交流するための移動ロボットに関する。
さらにその他の側面では、本発明は、地面から10インチ上のロボットの高さの実質的な一部を覆うロボットの前の領域内で物体を検知し、その後安全状態を引き起こすように構成される領域検知器と、物体がロボットに衝突する衝撃を吸収し、物体を検知し、また安全状態を引き起こすように構成される近距離領域衝撃バンパーと、地面から2−10インチの間のロボットの前の物体を検知し、安全状態を引き起こすように構成される近距離領域近接センサと、高さが2−4インチ未満のロボットの前の物体を検知するように構成される近距離領域低物体近接センサと、安全状態が検知される際、ロボットを固定するように構成される制御器とを含む、人と相互交流するための移動ロボットに関する。上記側面の実施形態では、近接カーテン検知器、物理的衝撃緩衝器、および床レベル近接リボン検知器のそれぞれは、ロボットの中心から異なる距離で人を検知するように構成される。ある実施形態では、ロボットは、制御器によって確認され、また物体の熱放射または音が低閾値より上であり、また任意に高閾値より下である場合、移動の方向に遭遇する物体が人であることを決定する、熱放射検知器または音検知器をさらに含む。その他の実施形態では、移動の方向にある物体が、熱放射検知器または音検知器によって人であると決定した場合は、ロボットは秒速10cm未満に減速するように構成される。
その他の側面では、本発明は、ロボットが周囲環境にいて、居住者がセンサの範囲内にいる場合は、居住者を監視するように適合されるセンサと、センサからの監督データを監視するための制御器と、居住者が伝送のための許可を与える場合は、センサから周囲環境の外部の場所に監督データの伝送を可能にするように構成される伝送制御ルーティンと、少なくとも緊急状態で、センサから周囲環境の外部の場所に監督データの伝送を可能にするように構成されるオーバーライドルーティンと、を含む周囲環境で居住者と相互交流するためのロボットに関する。
その他の側面では、本発明は、ロボットが居住者の家にいて、居住者がセンサの範囲内にいる場合は、居住者を監視することができるセンサと、センサからの監督データを監視するために接続される制御器と、居住者が伝送のための許可を与える場合は、センサから居住者の家の外部に監督データの伝送を可能にするように構成される伝送制御ルーティンと、(i)ロボットによって検知される緊急状態で、または(ii)遠隔地の委任介助者がロボットに、居住者によって事前に許可された委任状および緊急状態表示を送信した後に、センサから住居者の家の外部に監督データの伝送を可能とし、そうでない場合、居住者の家の外部のロボットによる監督データの伝送は禁止されるように構成されるオーバーライドルーティンとを含む、居住者の家で住居者と相互交流するためのロボットに関する。上記側面のある実施形態では、ロボットは、ロックアウト部材を受けることができるコネクタを含み、ロックアウト部材がコネクタに挿入される場合のみ、伝送制御ルーティンは、センサから居住者の家の外部に監督データの伝送を可能にする。他の実施形態では、センサはカメラを含み、プライバシーモードが選択された場合は、ロボットは、ロボットの本体の方を向くようにカメラの対物レンズを方向付けるように構成されるプライバシー制御器を含む。代替の実施形態では、プライバシーモードが選択された場合は、ロボットは、センサを、物理的にプラグを抜くように構成されるプライバシー部材を含む。
さらにその他の側面では、本発明は、ロボットが居住者の家にいて、居住者がセンサの範囲内にいる場合は、居住者を監視することができるセンサと、センサからの監督データを監視するために接続される制御器と、ロックアウト部材を受けることができるコネクタと、居住者が伝送のための許可を与える場合は、またロックアウト部材がコネクタに挿入される場合のみ、センサから居住者の家の外部に監督データの伝送を可能にするように構成される伝送制御ルーティンと、緊急状態信号がロボットによって受信される場合のみ、センサから居住者の家の外部に監督データの伝送を可能にするように構成されるオーバーライドルーティンと、を含む、居住者の家で住居者と相互交流するためのロボットに関する。
その他の実施形態では、本発明は、顔と、顔の近くに取り付けられる少なくとも1つのカメラと、第1の位置および第2の位置を有する位置付け可能な支持部であって、取り付け具は、顔の少なくとも1つおよび少なくとも1つのカメラを支持する支持部を含む頭部組立て部を含む、人間とロボットの相互交流ができるロボットに関する。
さらにその他の側面では、本発明は、一面に顔を有する頭部と、顔と同じ方向に、カメラの対物レンズを方向付けるように顔に取り付けられる少なくとも1つのカメラと、顔および少なくとも1つのカメラが視界から隠れ、それによってカメラがロボットの周囲の領域を見ることを阻止するように、頭部に移動することを許可するために、頭部を支持する回転可能な枢軸とを含む、人間とロボットの相互交流ができるロボットに関する。上記側面の実施形態では、顔は、マトリクス要素から成る左右の目の異なる構成を示すために電子的に制御可能なマトリクスパネルをさらに含み、少なくとも1つのカメラは、マトリクス要素から成る左目に近い左のカメラおよびマトリクス要素から成る右のカメラに近い右のカメラを含む。
その他の側面では、本発明は、一面に顔を有する頭部であって、顔がマトリクス要素から成る左右の目の異なる構成を示すために電子的に制御可能なマトリクスパネルを備える頭部と、左目に近い左のカメラおよび右目に近い右のカメラであって、それぞれは、顔と同じ方向に、カメラの対物レンズを方向付けるために、顔の近くに取り付けられる左のカメラおよび右のカメラと、ロボットの周囲の領域を見ることができない位置にそれぞれを移動させるために、左のカメラおよび右のカメラを支持する少なくとも1つの位置付け可能な取り付け具を含む頭部組立て部を含む、人間とロボットの相互交流ができるロボットに関する。
さらにその他の側面では、本発明は、基地局と、ロボットとを含み、基地局は、ローカル無線プロトコル経由でTCP/IP伝送を通信することができる無線トランシーバと、インターネットにアクセスするローカル有線Ethernet(登録商標)経由でTCP/IP伝送を通信するための有線Ethernet(登録商標)コネクタと、およびロボットにロックされる所定のIPアドレス、ロボットにロックされる所定のシェルレベル暗号化、およびロボットのみに開かれるインターネットへの所定ポートに限定されるローカル有線Ethernet(登録商標)とローカル無線プロトコルとの間でTCP/IP伝送を転送するためのアクセスポイント回路とを含み、ロボットは、ローカル無線プロトコル経由でTCP/IP伝送を通信することができる無線トランシーバ、およびローカル無線プロトコル経由でTCP/IP伝送を転送するためのクライアント回路を含む、ロボットシステムに関する。上記側面の実施形態では、無線アクセスポイントは、複数のアンテナおよびアンテナダイバーシティ回路を含む。他の実施形態では、無線アクセスポイントは、複数のアンテナおよびアンテナダイバーシティ回路を含み、直交周波数分割多重を使用して無線伝送をエンコードする。
本発明の実施形態によると、無人操縦で目的の人を探し出すための方法は、(a)アナンシエータをアナンシエータ活性化信号上で作動させるように移動ロボットを制御するステップと、(b)作動後一定時間内にアナンシエータへの非雑音(フィルター処理した雑音)のいかなる応答に対してもセンサパッケージを監視するステップと、(c)検知された任意の非雑音応答と目的の応答のライブラリとを比較するステップと、(d)非雑音応答が目的の応答に対応しないと、または応答が識別されないと、現在の部屋から戸口を識別するステップと、(e)現在の部屋から新しい部屋へ戸口を通ってロボットを操縦するステップと、(f)検知状態に応えて、アナンシエータ活性化信号を生成するステップと、(g)非雑音応答が目的の応答に対応するまで、(a)から(f)を繰り返すステップと、(h)探し出された人のサクセスルーティンを作動させるステップとを含んでもよい。
戸口を識別するステップは、壁追跡の間にロボットの走行距離計測法および方位を分析するステップと、壁の端および/または戸口を横断したことを示す、走行距離計測法および方位の連続的な組み合わせを識別するステップを含んでもよい。さらに、戸口を識別するステップは、壁の隙間に向かう方位を察知し、識別するロボットの信号反射を分析するステップを含んでもよい。戸口を識別するステップは、動的に作成されたマップを分析するステップと、壁の隙間に向かう方位を識別するステップと、アーカイブに保管されたマップおよびロボットの位置を分析するステップと、壁の隙間に向かう方位を識別するステップと、ドアを指定するビーコンのビーコンセンサを分析するステップと、ドアビーコンによって指定されるドアに向かう方位を識別するステップと、および/または天井の形状または現在の部屋の天井にある兆候のパターンを分析するステップと、兆候または天井の形状を使用して認識された位置でドアに向かう方位を識別するステップと、をさらに含んでもよい。
アナンシエータは、目的に人の名前を含む音を発してもよく、検知された任意の非雑音応答と目的の応答/非雑音応答のライブラリとを比較するステップは、非雑音応答のソースが目的の人であることを示す。該方法は、移動ロボットが移動する恣意的な方位および恣意的な距離に基づき、第2の場所を選択するステップと、障害または危険物に遭遇する場合、移動ロボットの方位を調整するステップと、移動ロボットが恣意的な距離を移動するまで前進させるステップとをさらに含む。新しい部屋は、現在の部屋と異なる部屋に位置してもよく、該方法は、光学的部屋特性認識、ソナー、RFID部屋タグ付け、IR方向性ビーコン検知、走行距離計測法、慣性誘導、推測航法、部屋マッピング、および/またはコンパス操縦のうちの1つ以上に基づき、現在の部屋の場所から新しい部屋へ移動ロボットを操縦するステップをさらに含んでもよい。
また該方法は、目的の人を検知するように構成される少なくとも1つの二次検知システムを使用するステップを含んでもよく、少なくとも1つの二次検知システムは、赤外線検知、放射熱検知、音波探知、RFIDタグ付け検知、タンク回路検知、行動探知、およびまたは画像分析から選択され、または該方法は、移動ロボットが位置付けられる構造のマップを生成するステップ、および新しい部屋が現在の部屋から異なる部屋にある、あるいは少なくとも、現在の部屋から離れた閾値距離に位置する、生成されたマップに基づき、新しい部屋を選択するステップをさらに含む。
マップを生成するステップは、ロボットの周辺を歩き回り、壁および障害を検知するように、移動ロボットを制御するステップを含んでもよく、マップは、ユーザによって移動ロボットに送信されてもよい。該方法は、閉まっているドアを見つけ出すステップと、ドアを通して可聴信号を送信するステップとをさらに含み、さらに、可聴信号を送信するステップは、閉まっているドアにノッキングの音を伝えるステップを含んでもよい。
一実施形態によると、人と相互交流する移動ロボットは、ロボットの行動に基づき、可聴内容を生成するためのスピーカーと、スケジュールに従い、ロボットの行動を引き起こすように構成されるスケジューラと、当日遅くなって予定されている第2のロボットの行動に関して、人が目覚めた直後に、人と相互交流するための、朝のロボットの行動を含んでもよい。またロボットは、薬剤を分配するための錠剤ディスペンサを含み、第2のロボットの行動は、人に薬剤を分配するステップを含み、また朝のロボットの行動は、人に薬剤について注意喚起するステップおよび/または人が錠剤ディスペンサに薬剤を入れることを要求するステップを含む。薬剤がスケジュールに従い分配されない場合は、ロボットは、介助者に通知するための送信器をさらに含む。
さらに、ロボットは、人を検知するためのセンサと、人を探し出すときにセンサを使用する探知器とをさらに含んでもよく、ロボットは、予定されたロボットの行動に先立ち、人を探し出すように試行する。さらに、それぞれのロボットの行動は、予定されたロボットの行動を人に注意喚起するスピーカーを使用するステップを含んでもよい。第2のロボットの行動は、人2を所定の場所へ誘導するステップを含み、朝のロボットの行動は、来る第2のロボットの行動に関連する活動を人に口頭で注意喚起するステップを含み、朝のロボットの行動は、今後の第2のロボットに関連する活動に関して、人の認識の想起を促進してもよい。
移動ロボットは、視覚的表示部をさらに含んでもよく、朝のまたは第2のロボットの行動のうちの少なくとも1つは、表示するステップおよび話すステップの両方を含む。人が介助者に通知する許可を与えない限り、移動ロボットは、介助者に伝送することを阻止するためのプライバシー制御器をさらに含む。さらに、ロボットは、管理人から命令を受信するための受信機を含んでもよく、ここでは命令が受信されると、プライバシー制御器がオーバーライドされる。
ロボットの行動のうちの少なくとも1つは、人によってまたは介助者によって入力されてもよく、移動ロボットは、人によってまたは介助者によって停止するように指示されると、人との相互交流を中止してもよい。
その他の実施形態によると、人と相互交流する移動ロボットは、少なくとも1つのセンサと、人がセンサに作動する許可を与えない限り、センサの作動を阻止するためのプライバシー制御器と、オーバーライドユニットがオーバーライド命令を受信すると、プライバシー制御にかかわらず、センサの作動を可能にするように構成されるオーバーライドユニットとを含んでもよい。移動ロボットに関して、センサは、カメラ、マイクロホン、近接検知器、熱検知器、またはタグ検知器のうちの少なくとも1つを含んでもよい。移動ロボットは、送信用およびセンサを出力するための無線送信器、またはセンサの出力を記録するように構成される記録ユニットをさらに含んでもよい。移動ロボットはまた、オーディオおよび/またはビデオデータを送信および受信するためのテレビ会議ユニットを含んでもよく、テレビ会議ユニットはセンサを含み、また人が許可を与えない限り、プライバシー制御器は、テレビ会議セッションの開始を阻止する。さらに、移動ロボットは、口頭入力を検知するための音声認識ユニットをさらに含んでもよく、センサと話す許可および音声認識ユニットによる入力が扱われる。移動ロボット1は、人の住居内の物体を制御または操作してもよく(例えば、搭載されたIR送信器を使用して、特定の時間にテレビをつける)、またはロボット操作のコンポーネントとして、1日の特定の時間に、物体または場所に向かせてもよい。
さらに、オーバーライドユニットは、遠隔介助者からオーバーライド命令を無線で受信するための受信機を含んでもよい。着信テレビ会議依頼を受信すると、移動ロボットは、人を探し出すように試行する場合がある。さらに、ロボットが緊急状態を検知したとき、例えば、人が意識を失う、危険状態である、病気である、または煙が出ている、もしくは火災警報器が始動したように見える場合は、プライバシー制御器は、オーバーライドされてもよい。センサは、作動するときは目立つように配置されてもよく、センサが作動していないときは、人に見られないように、センサを包む、覆う、または移動するようにしてもよい。さらに、センサはカメラを含んでもよく、カメラは、作動する許可が与えられない場合、作動できない位置に配置され、カメラのレンズは、作動できない位置で不透明な表面と向かい合う。
移動ロボットは、コンピュータメモリに保存される行動プライバシーマトリクス、および複数のロボットの行動を、複数の許可の得点に相互に関連付けるステップをさらに含んでもよく、ロボットの行動が許可される場合は、プライバシー制御器は、ロボットの行動を許可し、またはロボットの行動が許可されない場合は、ロボットの行動を阻止する。
さらにその他の実施形態では、人と相互交流するためのロボットは、ロボットの存在を聞こえるように示すためのアナンシエータと、ロボットの存在を光学的に示すためのビーコンと、安全状態を検知するためのセンサと、安全状態が検知されるとき、ロボットを固定するための制御器とを含んでもよい。ロボットが移動しているときは、アナンシエータは、継続的または周期的に特徴のある音を発してもよい。ロボットが移動しているときは、ビーコンはストロボを光らせてもよい。さらに、センサは、とりわけ、カメラ、光学的センサ、IRセンサ、鍵検知器、行動検知器、接触スイッチ、圧力検知器、近接センサ、ソナー、レーザーを使った障害検知器、雑音検知器、および/またはマイクロホンを含んでもよい。
移動ロボットは、柄によってロボットの主胴体に取り付けられるプラットフォームをさらに含んでもよく、プラットフォームおよび柄は、脆性の印象を伝え、プラットフォームは、ロボットの主胴体の上の、人の腰の位置に及ぶ。柄およびロボットは、倒立振り子に類似した全体的な形状および/または質量の分布を有してもよい。移動ロボットは、人がうっかりプラットフォームと衝突しないようにする、柄に沿って位置付けられるチッパー環をさらに含んでもよい。
移動ロボットはまた、人2に関する情報を、介助者によって作動可能な遠隔端末に送信するための通信ユニットを含んでもよい。人が許可を与えなければ、通信ユニットは情報を送信することができず、さらに、所定のスケジュールにより、情報を周期的に送信してもよい。さらに、情報が変更すれば、通信ユニットは情報を送信してもよい。別法として、例えば、通信ユニットは、コンピュータネットワークを介して指示を検索してもよい。
その他の側面では、本発明は、居住者と移動ロボットとの間の人間とロボットの相互交流の方法に関し、該方法は、顔の表示部を備えるロボットおよび音声発生装置を提供するステップと、表示部を介して視覚素列の通信スクリプトセグメントを実行するステップと、視覚素列および音素列は、実質的および同期的に実行される、音声発生装置を介して音素列の通信スクリプトセグメントを実行するステップと、少なくとも居住者の行為およびロボットの柔軟な対応の投与計画に基づき相互交流を管理するステップとを含む。上記側面の一実施形態では、管理するステップは、事象に対するロボットの対応を示すための感情的な行動を含む。感情的な行動は、ロボットの可動式頭部での表示部を提供するステップと、事象が起こると、第1の位置から第2の位置に頭部を移動させるステップとを含んでもよい。上記の方法では、第1の位置は、居住者による観察を許可してもよく、また第2の位置は、驚きの応答、喜びの応答、混乱の応答、懸案の応答および落胆の応答のうちの1つに関連する。感情的な行動は、戯画を表示するステップをさらに含んでもよい。戯画は、驚きの応答、喜びの応答、混乱の応答、懸案の応答および落胆の応答に関連する、一連の戯画から選択される。
上記側面のその他の実施形態では、管理するステップは、居住者による非同期応答に応答するための割り込み行動を含む。割り込み行動は非同期応答を受信するステップと、非同期応答を受信すると、視覚素列の実行および音素列の実行に割り込むステップと、割り込み列を実行するステップと、割り込み列の後で視覚素列の実行および音素列の実行を回復するステップとを含んでもよい。割り込み行動は、エラーメッセージを送達するステップを含んでもよい。エラーメッセージを送達するステップは、表示部を介してエラー視覚素列を実行するステップと、音声発生装置を介してエラー音素列を実行するステップとを含んでもよく、ここでエラー視覚素列の実行とエラー音素列の実行は、実質的に同期化される。回復するステップは、視覚素列を実行するステップと、音素列を実行するステップを反復するステップを含んでもよい。非同期性は、所定の一連の応答のうちの1つに対応しない場合がある。上記の方法はまた、応答を所定の一連の応答と比較するステップと、応答が、所定の一連の応答のうちの1つの応答に対応しない場合は、第2の視覚素列および第2の音素列を実行するステップをさらに含んでもよい。
上記側面のその他の実施形態では、管理するステップは、居住者に指示を与えるための投与計画遵守行動を含んでもよい。投与計画遵守行動は、投与計画および投与計画に関連する遵守スケジュールを保存するステップと、遵守スケジュール間の所定の事象において、居住者にリマインダを提供するステップと、居住者からの応答を一連の所定の応答と比較するステップと、住居者からの応答に基づき行為を実行するステップとを含む。その他の実施形態では、実行するステップは、住居者に薬剤を提供するステップを含む。その他の実施形態では、実行するステップは、住居者に第2のリマインダを提供するステップを含む。実行するステップは、ロボットから遠隔の装置と通信するステップを含んでもよい。
上記側面のその他の実施形態では、管理するステップは、居住者と居住者から遠隔に位置する第三者との間の通信のための、遠隔通信列を含んでもよい。その他の実施形態では、遠隔通信列は、ロボット上にカメラを提供するステップと、事象が発生すると、カメラの状況を第1の設定から第2の設定に変更するステップとを含む。第1の設定は、居住者を観察することを許可し、第2の設定は、プライバシーを守るカメラの位置付けを含む。該方法はまた、住居者にプライバシー信号を提供するステップを含んでもよい。事象は、居住者からの許可の拒絶を含んでもよい。第1の設定は、カメラの電源が入っていない状態を含み、第2の設定は、カメラの電源が入っている状態を含み、ここではカメラは住居者を観察するように位置付けられる。
上記側面のさらにその他の実施形態では、管理するステップは、周囲環境内で移動ロボットを移動させるための操縦管理部を含む。操縦管理部は人間捜索列を含み、列は、複数の場所のうちの1番目でアナンシエータを作動させるステップと、非雑音応答のためにセンサパッケージを監視するステップと、非雑音応答と一連の所定の応答を比較するステップと、非雑音応答が、一連の所定の応答のうちの少なくとも1つの応答に対応する場合に、サクセスルーティンを作動させるステップと、ロボットを次の場所に操縦するステップと、アナンシエータを作動させるステップとを含む。操縦するステップは、戸口を識別するステップを含み、それは、(a)壁追跡モードの間の、ロボットの走行距離計測法および方位を分析し、壁の端と戸口のうちの1つの横断を示す、走行距離計測法および方位の組み合わせを識別するステップと、(b)信号反射を分析し、壁の隙間に向かう方位を識別するステップと、(c)動的に作成されたマップを分析し、壁の隙間に向かう方位を識別するステップと、(d)マップおよびマップに対するロボットの位置付けを分析し、壁の隙間に向かう方位を識別するステップと、(e)ビーコンを分析し、ビーコンに向かう方位を識別するステップと、(f)天井にある兆候のパターンを分析し、パターンを利用して認識された位置のドアに向かう方位を識別するステップからなるグループのうちの少なくとも1つを含む。該方法では、アナンシエータは、目的の居住者に関連する名前を含む音を発し、ここでは一連の所定の応答は、非雑音応答のソースを識別する。また該方法は、移動ロボットが移動する恣意的な方位および恣意的な距離に基づき、次の場所を選択するステップと、恣意的な方位の方向に移動させるステップと、障害を回避するために移動ロボットの移動方向を調整するステップと、障害を回避したとき、恣意的な方位に戻るステップと、移動ロボットが恣意的な距離を移動するまで、恣意的な方位の方向に継続して移動させるステップを含んでもよい。さらに、該方法は、光学的部屋特性認識、ソナー、RFID部屋タグ付け、IR方向性ビーコン検知、走行距離計測法、慣性誘導、推測航法、部屋マッピング、およびコンパス操縦のうちの少なくとも1つに基づき、次の場所へ移動ロボットを操縦するステップをさらに含んでもよい。また該方法は、人を検知するように構成される少なくとも1つの検知器を使用するステップを含んでもよく、少なくとも1つの検知器は、赤外線検知器、放射線検知器、音響検知器、RFID検知器、タンク回路検知器、行動検知器、および画像検知器より成るグループから選択される。さらに、該方法は、移動ロボットが位置付けられる構造のマップを作成するステップと、作成されたマップに基づき次の場所を選択するステップをさらに含み、次の場所は、少なくとも移動ロボットの現在の場所から離れた閾値距離に位置する。作成するステップは、障害を検知するステップ、または住居者から電子的にマップを受信するステップを含む。また該方法は、閉まっているドアを見つけ出すステップと、ドアを通して可聴信号を送信するステップとをさらに含んでもよい。送信するステップは、ドアにノッキングの音を伝えるステップを含む。
上記側面のさらにその他の実施形態では、管理するステップは、居住者との連絡を制御するための安全管理部を含む。安全管理部は、ロボットの存在を示すアナンシエータを構成するステップと、ロボットの存在を示すビーコンを構成するステップと、安全状態を検知するセンサを構成するステップと、安全状態が検知されると、ロボットを固定する制御器を構成するステップを含む安全手順を開始する。ロボットが移動しているときは、アナンシエータは所定の音を発する。ビーコンはストロボを備える。センサは、カメラ、光学的センサ、IRセンサ、鍵検知器、行動検知器、接触スイッチ、圧力検知器、近接センサ、ソナー検知器、レーザーを使った障害検知器、雑音検知器、およびマイクロホンのうちの少なくとも1つを含む。上記の方法は、居住者とロボットの基部との接触を制限するように、ロボットの物理的形状を構成するステップをさらに含む。上記の方法は、居住者に関する情報を遠隔端末へ送信するための、通信ユニットを構成するステップをさらに含む。情報を送信するステップは、居住者からの許可を受けるステップを含み、情報に変更が発生すると所定のスケジュールにより送信されるか、コンピュータ上でやりとりが行われる。
本発明自体と同様に、本発明の前述およびその他の目的、特徴および利点は、添付の図と共に読む際に、下記の種々の実施形態から完全に理解されるだろう。添付の図は以下の通りである。
図1Aは、本発明の一実施形態に従う自律移動ロボットの概略斜視図である。 図1Bは、図1Aの移動ロボットの点線の概略斜視図である。 図2Aは、本発明の別の実施形態に従う移動ロボットおよびその機能の概略斜視図である。 図3A−3Bは、本発明のその他の実施形態に従う移動ロボット、薬ディスペンサおよび基地局の、概略前面図および斜視図である。 図3A−3Bは、本発明のその他の実施形態に従う移動ロボット、薬ディスペンサおよび基地局の、概略前面図および斜視図である。 図4Aは、本発明の実施形態に従う移動ロボットの概略底面図である。 図4Bは、本発明の別の実施形態に従う移動ロボットの上面、側面、および前面図である。 図5A−5Bは、図1Aの移動ロボットの概略斜視図である。 図5A−5Bは、図1Aの移動ロボットの概略斜視図である。 図5Cは、本発明の一実施形態に従う、移動ロボットで用いるプライバシーインターフェースの概略図である。 図5Dは、本発明の一実施形態に従うプライバシー装置の概略図を示す。 図6Aは、本発明の一実施形態に従う移動ロボットの部品間の内部アーキテクチャおよび関係の概略ブロック図である。 図6Bは、本発明に従う移動ロボット用の従来とは異なる電子システムの概略ブロック図である。 図6Cは、本発明の一実施形態に従う移動ロボット用の相互交流状態図である。 図6Dは、本発明の別の実施形態に従う移動ロボット用の相互交流状態図である。 図7Aは、本発明の一実施形態に従う一般的相互交流アルゴリズムを示す。 図7Bは、本発明の一実施形態に従う会話アルゴリズムを示す。 図7Cは、本発明の一実施形態に従う追突アルゴリズムを示す。 図7Dは、本発明の一実施形態に従う表示バックアップでの声によるプロンプトおよび応答の組み合わせを利用した、表示相互交流アルゴリズムを示す。 図8Aは、本発明の一実施形態に従う移動ロボット用のネットワークサーバを示す。 図8Bは、本発明の一実施形態に従うネットワークプロトコル、安全性、およびトランスポート層の概略図である。 図8Cは、本発明の一実施形態に従うNAT/ファイアウォール横断接続のための、認証およびネゴシエーションの概略図を示す。 図9Aは、本発明の一実施形態に従う移動ロボット用の報告手順アルゴリズムである。 図9Bは、本発明の一実施形態に従う移動ロボット用の通信システムである。 図10Aは、本発明の一実施形態に従うロボット画面表示用の感情表現を示す。 図10Bは、本発明の一実施形態に従うロボット用の感情の動きを示す。 図11Aは、本発明の一実施形態に従うスケジュール図を示す。 図11Bは、本発明の一実施形態に従う投与計画開始アルゴリズムを示す。 図11Cは、本発明の一実施形態に従う投与計画遵守アルゴリズムを示す。 図12は、本発明の一実施形態に従うビデオ/テレビ会議依頼アルゴリズムを示す。 図13Aは、本発明のロボットが作動する家庭環境の計画図を示す。 図13Bは、図13Aの家庭環境のロボット構築トポロジーマップを示す。 図14Aは、本発明の一実施形態に従う位置決め行動中、移動ロボットが縦横する通路の計画図を示す。 図14Bは、本発明の一実施形態に従う位置決めアルゴリズムを示す。 図15は、本発明の一実施形態に従う近接アルゴリズムを示す。 図16は、本発明の別の実施形態に従う投与計画遵守アルゴリズムを示す。 図17A−17Bは、本発明の実施形態に従う照合アルゴリズムを示す。 図17A−17Bは、本発明の実施形態に従う照合アルゴリズムを示す。 図18Aは、本発明の別の実施形態に従う投与計画遵守注意喚起アルゴリズムを示す。 図18Bは、本発明の一実施形態に従う薬剤充填アルゴリズムを示す。 図19は、本発明の実施形態に従うロボット用の複数モードナビゲーションにおける第1モードのアルゴリズムを示す。 図20は、本発明の実施形態に従うロボット用の複数モードナビゲーションにおける第2モードのアルゴリズムを示す。 図21A−21Bは、本発明の実施形態に従うマップ形成アルゴリズムを示す。 図21A−21Bは、本発明の実施形態に従うマップ形成アルゴリズムを示す。 図22A−22Cは、図19で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22A−22Cは、図19で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22A−22Cは、図19で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22D−22Fは、図20で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22D−22Fは、図20で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22D−22Fは、図20で図示したナビゲーションモード用のユーザインターフェース表示を示す。
自律移動ロボット10の一実施形態を図1Aおよび1Bに示す。ロボット10は、本体12、1つ以上の車輪14、および頭部16を有する。ロボット10の特定の部品(例えば、本体12、車輪14、および頭部16)は、互換性のある即行取り付け具および/または電気接点配置を介し、他の部品とそれぞれ容易に取り付け/取り外しされるように構成される。また、互換性のある方法において異なるバージョンを使用可能である。多数の周辺装置は、ロボット10、すなわち本体12、頭部16、またはそのほかの部位に取り付けてもよい。示される実施形態には、ユーザがロボット10と情報をやり取りし、ロボット10によって提示される質問に答え、ロボット10に命令を与えるためのタッチ画面18を含む。スピーカー20、またはそのほかの音声発生装置は、ロボット10に位置する。加えて、図1Bに示されるように、ロボット10は、種々の環境条件を感知するため、実質上ロボット10のどの場所にでも取り付けられる多数のセンサ22を利用してもよい。例えば、センサ22は崖または端検知器、振動センサ、温度センサ、視覚感知用カメラ、タグ検知器、近接感知、壁追跡あるいは電源または基地局との接続用レーザー装置、自動誘導ビーコンまたは局所環境インディシア追跡用検知器を含んでもよい。
本説明のため、ロボットは機能システムのいくつかのカテゴリを有する。各機能システムは、センサ、エフェクタ(アクチュエータ)、通信、およびコンピュータ制御のような構成部品を含む。本発明に記述されるロボットは、いくつかの応用システムを有し、応用システムはロボットにより遂行される全体の機能を達成するためのシステムである。コンパニオンロボットにとっては、強化された人間/ロボットの相互交流は主要機能であるため、人間/ロボットの相互交流には必要な重複がある。ロボットはユーザの信頼と愛着を増加させるため、一般的利益を有し、ありとあらゆるその他の応用の成功率を増加させるシステム(プライバシー保護、相互交流システム)を含んでいる。ロボットは、関連ユーザに対する健康、衛生状態、ならびに、または必要な特定の投与計画、注意喚起、伝言、および激励手法の1つまたは複数のスケジュールを保持する。
ロボットは、音声命令、画面または表面への接触、動きおよび人間の存在の検知、(その他のもの)に応答し、ならびにロボットは音声合成、身振り、イアコン、文字列、画像、動き、および「周辺」色応答を介し通信してもよい。ロボットの頭部および胴の構造は、肩をすくめたり、うなずいたり、頭を振ったり、横を向いたり(対象を変える)、その他の身振りの合図を提供するよう設計されてもよく、すなわち移動システムによって、接近および後退の動き(個人空間および会話への留意の合図)ができ、顔のマトリクスパネルによって全種類の顔の表情を作ることができる。胸パネルは、コンテンツプレーヤー/エンジンのインターフェースであってもよい。ロボットの低レベル行動では、人による中断を受け入れてもよい。一実施形態では、行動によって割り込み、または引き起こすことができるスクリプトエンジンを用いてもよく、従来と異なる実施形態では、セルフプレイ(self play)、救助依頼、身振りの合図などのような一部の行動を、並列/調停行動として実行することができるよう意図している。ロボットは、短距離の対象回避および危険要因管理行動に応答する、2輪駆動および受動的脚輪のような車輪付き移動システムを含んでもよい。車輪付き移動システムは、中距離の障害回避計画(SLAM発生マップに基づく通路計画)および長距離の目的指向計画に応答する場合もある。
頭部16は、ライザ13、柄、または首に取り付けてもよい。回転(または左右回転)軸APは、通常首と平行で首の内側にある。上下軸ANは左右回転軸APに対し直角で、実質的に頭部16を2等分してもよい。表示軸は通常、上下軸および左右回転軸のいずれか、または両方に対し直角に交差していてもよく、表示部26から垂直に突出していてもよい。頭部16もまた、顔の動画用に使用される表示部26を含有し、ビデオ会議、マルチメディアアプリケーション、メニュー入力などに適応することができる。図1Bに図示するように、ロボット10の頭部16は、環境周辺でロボット10をナビゲートしたり、居住者またはその他の人を観察したり、ビデオ電話またはその他の通信装置として機能したりするなど、種々の機能を果たす、1つ以上のカメラ28を含有してもよい。アンテナ30、モデム、またはその他の無線通信装置によって、ロボット10および遠隔装置、基地局などの間で通信することができる。テレビ会議カメラ28を、ナビゲーションカメラ29とみなし、ナビゲーション、特徴抽出、および同類のものとして使用してもよく、または1つ以上の個別ナビゲーションカメラ29をそれぞれ備えてもよい(例えば、図3A−3Bに図示するように天井の象徴、端、形、または基準を観察するために天井に向けられたり、あるいは図22Fに図示するようにロボットの先頭の端または先頭部分を含み、床面または地面に向けられたりする)。
頭部16は、略球形、または適切な一定の直径であるその他の固体の形をしていてもよい(これらの形は、頭部と首接合部または胴との間で指が挟まれないほど十分に小さな間隔を伴って、首または肩の空洞内に頭部を配置または収容できる)。
頭部16を、左右回転モーターおよび位置エンコーダ314を含む左右回転接合部315、ならびに傾斜モーターおよび位置エンコーダ340を含む傾斜接合または中空枢軸302を介して連接してもよい。左右回転または傾斜接合部の片方または両方は、本明細書で論じるように、特定の利点を有するヨーク型接合部である場合がある。図4に図示する実施形態では、例えば、傾斜接合部302は、顔マトリクスパネル26を首部へ向かって回転させ(すなわち、視界から隠す)、頭部16の後部を顔マトリクスパネル26に取って代わるように回転させることができる、ヨーク型接合部である。あるいは、1つのモーターを使用する差動駆動機構を使用して、2つの軸周辺で頭部を駆動してもよい。
胴またはライザ13(ライザは一般に、センサおよび/または頭部要素を、カメラおよびセンサの視野が障害検知および遠隔操作に役立つ高さに持ち上げる)は、頭部16および左右回転接合部315を支持してもよい。ロボット100には、美観上および機能上の選択として、胴13内よりむしろ、頭部16または移動プラットフォーム12内に、大部分の部品を含む。胴13から離して部品を位置させることで、ロボットは重々しいゴミ箱のような外観になることを避けられる。機能上も、いくつかの利点がある。より重い部品は移動プラットフォーム12内に置き、重心を下げる。そこに部品を置けない場合、胴13は、より簡単に種々の上昇または伸長(胴部分を旋回/接合/折り畳みまたは伸縮させること)に対応できる。移動プラットフォーム12は胴13を支持し、通常三角形の形をしていてもよく、または一定幅の曲線の形をしていてもよい(例えば、奇数の辺を持つルーローの多角形)。任意に、ロボット100は、概ね底面に沿い延在する移動プラットフォーム12、概ね1つまたは2つの直角をなす面に沿い延在する胴13、および概ね頂点に位置する頭部16と共に、概ねピラミッド形または4面体の覆い内に収まる。この配置では、覆いの内部容量の多くが空いており、運搬用の盆または格納式遠隔操縦器(不図示)を収容し得る。さらに、頭部16の重量は、移動プラットフォーム12の中央に重心が置かれることに寄与するように、胴13を移動プラットフォーム12の1つの末端から、水平方向の中央に向かって延在するよう配置することもできる。重心に対するターゲットの高さは、床から約30cmである(頭部が高い位置にあるときには、必ずしも常にそうではない)。
特定の実施形態では、ロボット10の頭部16はいくつかの機能を果たしてもよい。頭部16は、主要制御板(例えば、多くの回路およびサブ回路を含む、図6Bに示すE20)を含んでもよい。カメラ28(電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)センサならびに互換性のある光学素子)を、立体視覚のために備え(2つが使用される場合)、熱分解(感熱性)センサ(S21)は、表示部26の方向に沿って向けてもよい(これらのうちの1つ以上を、前方、横、および後方へ向けて、胴または基地上の固定場所に置いてもよい)。カメラ28は、表示部26の近くの動画マトリクスまたはセグメント「目」304に近接(この場合4インチ未満)して置かれ得る。その結果、テレビ会議セッションの間、ロボットの頭部と目を見る人はカメラを凝視し、テレビ会議セッションを観察する遠隔ユーザは、カメラを真直ぐ見る居住者を見ることになり得る。会話中、特にロボット10がアバターとして機能し、遠隔ユーザに交信する際に、「目」を見るのは自然なことである一方、カメラを見るのは不自然であり(おそらく俳優を除いて)、テレビ会議セッションでは通常、参加者のほとんどは、カメラから目をそらすことになる。カメラを、内部ではなく、ロボットの動画化された目「304」から数インチ以内に置くことで、ビデオチャットまたはテレビ会議の際に、ロボットのユーザが基本的にカメラ28を直接見るような結果となりうる。「目」304全体を完全に動画化したり、顔のマトリクスパネル上で、異なる顔の異なる位置内に表示したりするためには、本実施形態ではカメラ28は目「304」内部にあるべきではない。
頭部16の後部は、滑らかかつ/または半透明であり得、丸またはその他の外形を有し得、インディシアや装飾を含み得、あるいは追加の情報表示パネルを組み込み得る。音声データを収集し、言葉での命令を受信するためなどに、マイクロホン32を含んでもよい。好ましくは、音源を探し、到達時間およびその他のフィルター技術を使用して、周辺雑音を取り除くことができる多数のマイクロホンを持つ、ベクトル化マイクロホン配列305を備える。表示部26は、頭部16内に収納される主印刷回路基板(PCB)に固定してもよい。PCBはロボット10の制御電子回路のほとんどを含んでもよく、第2のPCBが第1のPCBに並列に取り付けられてもよい。主PCBは、低電圧差動信号(LVDS)インターフェース要素(図6BのE10)を含んでもよく、本体12内の互換LVDSインターフェース要素E10に、多重LVDSペア線を介し接続されてもよい。図6Bに図示するように、高周波LVDS信号と互換性のあるコネクタおよびケーブルを使用し、主PCBと本体12との間にLVDS信号を送信してもよい。対象のケーブルおよびコネクタの電気抵抗は、100オームの差動対であってよい。LVDSの使用によって、システム配線を簡素化し、放射妨害波を低減してもよい。
ロボット10の本体12は、懸架システム付きまたはなしで、安定した3点接触を提供する、3つの車輪14上で支持されてもよい。3つの車輪14は、2つの差動前方駆動車輪及び後方キャスターにより構成されてもよい。なお、前後は逆であっても良い。多くの車輪によって、動輪と遊動輪とを異なる配置にすることも可能である。ハーモニックドライブ、ダイレクトドライブ、または従来型の歯車列を駆動モーター(図4)および車輪14の間に使用してもよい。車輪14は、約3cm高い敷居を踏み越えられる大きさであってよく、おおよそその大きさかまたはそれ以上に大きな半径を有してもよい。軸距Wの大きさ(特定の実施形態では、およそ32cm)は、必要な安定性に応じたものであり得、より低い重心またはより大きな数の車輪であれば、より短い軸距であってもよい。
あるいは、車輪はホロノームまたは全方向車輪であってもよい。かかるシステムは米国特許第3,876,255号、第4,223,753号、および第5,374,879号に開示され、それらの開示は参照することにより本明細書に組み込まれる。あるいは、ロボットは、倒立振り子の動的平衡を持つわずか2つの車輪を使用してもよい(例えば、図3A−3Bに図示する)。いくつかの配置では、ロボットは米国特許第6,535,793号、および第3,348,518号に記載の、障害を登る車輪または群車輪を使用してもよく、それらの開示は参照することにより本明細書に組み込まれる。
ロボット10と1人以上の居住者またはユーザとの間を結び付けることを容易にする、さらなる特徴および機能性を提供するその他の部品が、ロボット10に含まれてもよい。「居住者」は、ロボットと共に住居で生活する人を記述するのに使用され、本明細書で他の方法で使用されていない場合は、用語「居住者」および「ユーザ」は同じ意味で使用されてもよい。居住者は、さらなる注意または監督が必要な高齢者または子供、家族の各一員、家庭のペット、居住者により特定される家への来客などである可能性がある。ロボット10および居住者の間を結びつける可能性を増すため、ロボット10は触覚センサ34、あるいはロボットの本体12または頭部16のいずれかまたは全てを覆う「デジタルスキン」を含む。これらの触覚センサ34により、ロボット10は居住者が自分に触っていると認識する(およびかかる接触に対し適切に応答する)ことができる。触覚感知センサ34によって、物理的に居住者を援助するために手助けするよう設計されていないロボットを、居住者が使用している際に、ロボットが認識して適切に反応する(活動しなかったり、音声警告を送信したりする)ことを可能としてもよいが、ロボット10が正常に機能しない場合は、そのような目を引く機能は緊急停止として機能してもよい。
頭部16は可動式の首に取り付けるか、または首は固定または不動とし、その上を移動する頭部用の基地として機能してもよい。可動式頭部および首の両方の組み合わせもまた考えられる。可動式頭部16により、ロボット10は居住者により自然に反応できる。図1A−1B、および5A−5Bに示す一実施形態では、頭部16を中空肩支持部12aにより空洞24a内で支持する。肩支持部12a内の回転可能なヨークは、回転軸ATの周りを回転することができる。ヨークによって、頭部16も上下軸ANの周囲を回転できるので、表示部26をある条件下では視界から隠してもよい(図5Aおよび5B参照)。また、頭部16の動きにより、その上に位置付けられるカメラ28および表示部26は動くことができ、ロボット10に、カメラの広範な視界および表示部の広範な見やすさの両方を与える。特定の実施形態では、連結頭部/首の組み合わせにより、4つの自由度が提供される。
一実施形態では、表示部26は、顔セグメントまたはマトリクスパネルであり、くすんだ灰色のフィールド上の顔貌部分として個々に形作られる、約100から約1000の間のセグメントを含む、モノクロ、バックライト付き、またはバックライトなしの液晶表示(LCD)である。LCDは永続的パターンのセグメントを持つ、四角、長方形、八角形などで、およそ幅10−15cmである。垂直走査周波数および更新速度のいずれも、必ずしも急速でなくてもよい。セグメントの任意の部分は、任意の瞬間に作動する(すなわち、暗くなる)ことができ、セグメントは約50ミリ秒から約1秒後に状態を変化または切り替えることができる。LCDガラスは頭部16の一部とみなされ、頭部16に対し、表示部26はあまり動くべきではない。
表示部26は、音声および相互交流と同期して動画化される、目‐眉毛‐鼻‐口という対象の表示を実装し、ロボット10の変化する感情および非言語的行動を表現する。バックライトが希望より多くの電力を消費する場合は、表示部26は、居住者との相互交流の間にのみ、バックライト照射されてもよい。あるいは、表示部26は、反射パネルであってもよく、あるいは半透明の頭部16全体内でフィルターにかけられた部屋の周囲の光源によってバックライト照射されたり、1つ以上の発光ダイオード(LED)および適切な拡散器またはそれらの任意の組み合わせによって、バックライト照射されたりし得る。表示部26は、有機発光ダイオード(OLED)パネルであってもよく、表示部26はバックライトを必要としない場合もあり(使用されてもよいものもある)、暗いときにライトがつけられる顔のパターンを使用する場合は、より少ない電力消費が可能である。
ロボット100に対し、本明細書で論じられる設備が提供される場合、2つのバックライトの電力消費はいつでも、ロボット100により消費される電力の半分以上となり得、ロボットの作動時間を2時間以下に制限する可能性がある(反対に、バックライトなしで作動すれば、この時間を4−5時間に増加することができる)。
表示部26は、電気泳動、電子ボールの回転、電子インク、電子ペーパー表示、および/または混合電子インク/活性マトリクス表示のような、反射双安定(不揮発性)技術を使用して、構築してもよい。電気泳動または電子インク表示は、双安定で、電源が入っていない際に画像が残る高コントラスト、低電力技術により行われる(例えば、マサチューセッツ州ケンブリッジのE‐Ink Corporation製のE‐InkTM.高解像度マトリクス画像化フィルムまたはセグメント表示セル、またはXerox/3M製の電子インク/ジリコンシート)。この型の技術は、戯画化した顔の表情を満足に表示するのに、約0.5−1秒の切り替え時間を有する場合がある。混合電子インク/活性マトリクス表示では、鋼箔上の高分子エレクトロニクスに基づく画素駆動または従来のTFT技術を含む、薄膜トランジスタ(TFT)活性マトリクスの背面を、上記のような反射電子インクの前面(例えば、カリフォルニア州フレモントのSiPix Imaging社、またはオランダ、アイントホーフェンのPolymer Vision社製)と組み合わせる。識別される特性(反射性または透明、超低電力、双方向安定など)のうちの少なくとも一部を表示する、様々な原理で作動する表示型は、富士通の電子紙表示(日本の富士通よる、コレステリック選択反射膜の基板に基づく色表示)、またはNanoChromicsTM.表示(アイルランドのNTERAよる、ナノ構造膜電極/エレクトロクロミックビオロゲン分子表示)である。
表示部26を説明する際、用語「セグメント」パネルは、一例では、X−Yマトリクス画素よりむしろ、離散的に形作られる要素からなるパネルである。用語「マトリクス」パネルを使用するときは、一例では、X−Yマトリクスパネル画素からなるパネルを意味する。マトリクスパネルの潜在的な利点は、代わりとなる(または唯一の)情報表示として使用でき、その上に表示される顔または顔の表情を、ソフトウェア、ダウンロード、またはユーザ設計で完全に変えられることである。しかし、セグメントパネルは、より簡単でより効率的であり、作動されたセグメントに対し極めて滑らかなアウトラインを与えることができ、ユーザまたは一連の表情の共同体用プログラミングに容易に適応することができる。
本明細書の説明では、頭部16の円形パネル窓101の表面領域のほとんどを覆うことができる、八角形またはその他の辺を有する多角形パネル形を意図しているが、通常の4:3またはその他の長方形LCDパネルを、垂直または水平方向に使用してもよい。2つ以上のパネルを、円形パネル窓101内部に使用することもできる(例えば、垂直または水平方向の3つのパネルで、三角形パネルよりも円のより多くを埋めることができる)。図10Aに図示するように、口、目、眉という対象を、マトリクス表示部を使用し、非常に多数の画素から適宜形成することができ、または、セグメント表示部を使用し、多数のセグメントの設定形で形成することができる。もちろん、パネル26はセグメントおよびマトリクス部分の両方を組み込んでもよく、マトリクス画素は1種類のセグメントとみなすことができる。セグメントまたは顔マトリクスパネル26には、従来の製造技術によって、十分な数のセグメントまたは画素が提供されてもよい。
図1Aおよび1Bのロボット10は、入力および出力それぞれに使用される、2つの画面18、26を示しているが、ロボットのその他の実施様態では、両方の機能に対し通常は両方の番号が付される(例えば、図3A−図3Bを参照すると、「18、26」)単一の画面のみを利用してもよい。例えば、単一タッチ画面を、入力および出力の両方を見るために使用してもよく、ロボットの頭部または本体のいずれかに位置付けてもよい。あるいは、ロボットとの入力相互交流は、複数のボタン、ノブ、触覚またはその他のセンサなどを介することも可能な一方で、単一表示部を出力に使用することもできる。画面上のポインタを動かすためのトラックボール装置またはその他の型の接触パッドも、利用してもよい。トラックボールまたは接触パッドを、ロボットまたはそこから離れた場所に位置付けてもよい。
例示的な単一画面移動ロボットは、図2に示される。示されるロボットR2は、ロボット2を歩行器またはガイドとして機能させる、V形またはU形の基部112を含んでもよい。ロボットR2は、ロボットR2の手助けで歩くため、従来の歩行器に非常に似た、(通常、ロボットR2の頭部116が、水平の位置にあるときに)ロボットR2の1組の取手136を握ったり、寄りかかったりするユーザを安定化させるための、少なくとも3つの車輪114を含む。ロボットR2は、1つ以上の車輪114の回転を制御し、ロボットを誘導したり、あるいはロボットR2および/またはユーザが、あまりにも速く滑ったり動いたりするのを防いだり、かつ/または、取手136を介し頭部116を回すことで、ロボットR2を誘導し得るユーザの歩行を調節してもよい。捻り、角度、位置、ひずみ、および/またはその他いずれの変位検知器が、柄124または軌道134(以下に記載)に対する頭部116のねじれを検知し、歩行中の人を手助けするために車輪114の動きを変えてもよい。
柄124は、軌道134を含み、頭部116は(図2に図示するように)これに沿って140を動かす。加えて、頭部116は回転可能でもよく、および/または旋回してもよい。軌道134は受動的でまたは電動化されていてもよい。頭部116は例えば、締め付けノブを回すことにより、軌道134に沿って特定の位置に固定されてもよく、またはモーター、ロッキングボルト、ケーブル、鎖、台、および小歯車、またはその他のいかなるシステムで特定の位置に自動的に調節および/または固定されてもよい。軌道134に沿った頭部116の動きも、例えば制御ユニットの制御下で電気モーターによって影響を受ける場合があり、種々のロボットの行動または機能性に従い、動いてもよい。
軌道134は、軌道134に沿った最上部の点で、頭部116が平らに横たわる(すなわち、重力Gに垂直で、頭部116内の加速度計、ジャイロスコープ、デジタルレベルなどによって、任意に検知される)ことができる、「上死点」位置を有してもよい。あるいは、またはさらに、頭部116を反転し、図2Aに図示される方向と反対の方向に向けてもよい。図2Aに図示するように、軌道134は地面に向かって全方向に進み、表示部の顔側または盆(頭部116)側上のカメラを、地面の位置に移動させ、地面の表示を提供してもよい(ナビゲーションのため、または遺失物のためにソファその他の下を見るため)。
ロボットR2は、頭部116上に表示部126を含み、上記に述べたような、タッチ画面および/または視覚出力画面のいずれかとして機能してもよい。スピーカー120を音声出力用に頭部116上に位置付けてもよく、マイクロホン132または配列132は音声入力用に利用してもよい。その上、ロボットR2は、適切なセンサ122、または指キャップ心拍監視装置などのその他の付属品のいずれかを含み、以下に記載する、遠隔介助者または医者に医学的フィードバックを提供してもよい。頭部116および/または表示部126は、盆上に置かれたアイテムの特性を検知したり、あちこちにアイテムを移動させたりする手段として、盆の適切な使用を容易にするために(例えば、高温すぎるアイテム、重すぎるアイテム、または中心から遠くに置かれたアイテムを検知するために)、1つ以上の温度、質量、重量、またはその他のセンサを含んでもよい。頭部116は、アイテム(例えば、食物または飲み物など)を運搬または保持するのに適し、食物または飲み物、および/あるいは薬剤のための、反応する、能動的な、クランプ、または受動的なホルダーあるいは容器を含んでもよい。
図2はまた、安全機能を装備した移動ロボットR2の例を図示する。スピーカー120も、ロボットR2用のアナンシエータとして機能してもよく、あるいはロボットR2は別の「雑音源(noise−maker)」(必要以上に騒々しくなるように選択されているギアまたはその他の機械を含む)を含んでもよい。スピーカー120は、ロボットR2の存在を、居住者またはその他の人々に聞こえるように注意を呼びかけるために、特定の可聴プロファイルと組み合わせて使用してもよい。スピーカー/アナンシエータ120によって発せられる存在警告は、移動ロボットR2の存在を人々に聞こえるように注意を呼びかける、断続的なビープ音、継続的な送信音、音楽の一章節、滑らかな音、またはその他の適切な通知のいずれかであってもよい。しかし、雑音は騒々しすぎたり、煩わしすぎたりするべきではない。一実施形態では、床の通常の足音と同じ音の大きさの範囲ほどで聞き取れる。加えて、回転ライトバーのような、1つ以上の可視ビーコン138により、補助的な視覚的警告を提供する。ビーコン138によって発せられた視覚信号は、移動ロボットR2の存在について人々に注意を呼びかける、点滅する光源、ストロボ、色が継続的または変化する光線、表示部126上に表示される画像表示、あるいはその他の適切な可視信号であってよい。可視信号はまた、受動的なパターン(例えば、反射器または逆反射のパターンなど)であってもよい。
図3A−3Cは、本発明の実施形態に従う、ロボットのいくつかの変形物R3−R7を示す。ロボットR3−R7のそれぞれは、RF通信を含んでもよく、ロボット基地局を使用してもよい(本明細書では、以下に説明するセットトップボックスSTBの上に位置するBSとして示される)。
ロボットR3は、倒立振り子バランス(すなわち、ジャイロスコープ感知を使用した、車輪のサーボ制御を介した能動的または動的なバランス)を使用し、2つの同軸車輪(またはボール)上で平衡を保ち、自動的に復元する。本明細書で説明されるように、ロボット表示部またはテレビ会議画面18は、ロボットの上部近くにある。組合せカメラ28、29は、ロボットの上部で天井を向き、テレビ会議機能およびナビゲーション機能を操作する。組合せカメラは、天井および/または光源固定具および/または戸、ならびに角の端、特徴、インディシアまたは基準に沿うために、天井に向けられてもよく、例えば90度で傾斜し、テレビ会議またはさらなるナビゲーションモードのために前を向いていてもよい。ロボット全体の重心を、車輪または球の軸に可能な限り近くづけるため、ロボットの重量の半分以上は、車輪近くに配置される。膝またはそれ以上の水準で、チッパー環12は、ロボットの底のどの部分よりも著しく大きいので、ロボットの車輪またはつま先の高さの部分がつまずく(trip on)可能性が低くなり得る。同様に、チッパー環は円形で、人と同じくらいの幅であり(例えば、16−24インチ、好ましくは約18インチ)、膝の高さでほとんどの食卓および椅子の脚に遭遇する。
ロボットR3は、ロボットの中間近く(3−4フィート)に、衝突を検知することができる加速度計のような内部センサを含んでもよい。ロボットの上部には、自動復元プラットフォームがある。またプラットフォームも、その上に運搬される部位が倒れたり、こぼれたりしないように、水平方向を維持するために、好ましくは動的に平衡する。さらに、対象検知および回避センサをロボットR3の上部に位置付ける。プラットフォームは薬剤ディスペンサ17を支持する。図示するように、薬剤ディスペンサは穴の円形カルーセルであり、各穴は錠剤を包含するのに適した小さな紙コップ、あるいは水の飲み下しなどに適した「Dixie」カップを保持する。ディスペンサまたは錠剤局は、固定され、手動またはモーターにより回転することがある。ディスペンサは移動式D形「ハンドバック」取手(図示せず)を含んでもよく、ロボットに取り付けられたり、またはロボットから取り外されたりすることができ、かつ/またはロボットにロックすることもできる。ディスペンサはまた、家の中の別の場所(例えば、浴室内、ネットワーク接続、およびディスペンサ充填用の錠剤カートリッジを含有する場所)に位置付けられ得る充填器に合致していてもよい。本明細書で論じる充填技術では、前充填された(現地外、薬局などにおいて)カートリッジ型充填器を使用して、ディスペンサを充填することができる。示すように、ディスペンサMDまたは17はまた、家の中の別の場所に配置してもよい。
1つ、またはそれ以上のコンポーネントは必要ない。改良型R5は基本的には同様であるが、薬剤ディスペンサ17またはコンポーネントを、より低い重心で家の周りに移動させることができるように、延在または伸縮するライザ13Aを含む(伸縮シリンダー、ジャック、ねじ、はさみ、連結または接合腕を使用)。改良型R4は表示部26、18およびディスペンサ17を欠いているが、依然ナビゲーションカメラ28および多くの残りの設備を含み、表示画面を欠くロボットR4は、居住者をビデオチャットの目的のためセットトップボックスSTBおよびテレビに誘導してもよい。すなわち、テレビ会議カメラ28を有しないロボットに対して、またはテレビ会議カメラ28を有するロボットに対してでさえ、セットトップボックスSTBは、ロボットシステムの一部を形成することがある。セットトップボックスSTBは、ロボット基地局、またはロボット基地局ネットワーク上に特権的に与えられる個別コンポーネントで統合されてもよい。述べたように、基地局(および場合によりSTB)を、広帯域の入り口(典型的にはケーブル、xDSLモデムまたは光ファイバー端末だけでなく、WAN無線ネットワーク)で、家の中に置く。示すように、セットトップボックスには、セットトップボックスSTBが最も配置される可能性のあるテレビの正面に向けられたテレビ会議カメラを含む。通常の家庭用テレビ画面は、ロボットR3−R7によって運搬されることができる画面よりも非常に大きいので、テレビ会議モード(本明細書で論じるように、スケジューリングし、居住者を投与計画遵守対象、すなわちSTBおよびテレビに連れてくることを目的とした投与計画事象として取り扱われる場合もある)の際に、ロボットは(テレビの)大画面、安定した音響(モーターおよび機械の雑音の影響を受けないSTB上のマイクロホン配列)、安定したAC電源、安定したカメラ、および優先広帯域アクセスの利点を生かすビデオ会議セッションのため、居住者をSTBおよびテレビに連れてくることができる。
2つのさらなる改良型を図3Bおよび図3Cに示す。図3BのロボットR6の移動システムでは、前方から後方まで3組の車輪を使用し(全部で6車輪)、中央の車輪組が外側の2組よりわずかに低い。これにより、滑らかな表面上での低摩擦、柔らかい表面上での粘着摩擦、およびほとんどの表面上の適切な位置で迅速に回すことが可能となる。表示部26、18は、必要に応じてロボットから離れることのできるタブレットコンピュータモードパッドの形を取るが、ロボットR6が通常通りナビゲートする際は、本明細書で論じるその他の実施形態と同様の方向を向く。表示部パッド26、18自体が、基地局BSへの個別無線接続を有することもある。テレビ会議カメラはパッド26、18上にあり得るが(それを介して、取り外したパッドを発見することができる)、ナビゲーションカメラ28は、パッド26、18上にはないことが好ましい。この場合の薬剤ディスペンサは、取り外し可能な収納箱またはキットであり、ロボット上に「吊るされ」、それに係合する場合もある。この場合の「頭部」16は、主として表示部パッド26、18および薬収納箱17を取り付けるためのものである。
図3CのロボットR7の移動システムでは、家庭用ロボット掃除機と同様の、差動駆動および前方または後方キャスターを使用する。大概は中央が空の逆円錐は、本明細書で論じるように構成されるチッパー環152に通じる。チッパー環の真ん中には、薬剤ディスペンサ17がある。この場合、薬剤ディスペンサ17は、円錐およびチッパー環152の中心以内で、基本的に吊り下がり、旋回し、自由に揺れる(基本的にほとんどは水平のまま)。薬剤ディスペンサ17もまた、水平に留まるように、アクティブに制御されることがある。改良型R7は、本明細書で論じる改良型のうち、実施費用が最も安価であることがあり、半ばランダムにナビゲートしたり(壁追跡技術およびその他の室内後半検知技術、または戸口等の限られた記憶を用いる)、本明細書で述べるように近接および存在得点を使用するがマップは使用しないことによって、居住者への近接を識別したりすることができる。この場合、R7の改良型は、その他の改良型より早く、例えば投薬計画事象前の15分から1時間早く、居住者を探そうとし始めるであろう。ロボットR7は、タグまたは灯台に基づくナビゲーションを有してもよく、赤外線によるロボットR7上でではなく、錠剤局または薬剤ディスペンサ17と通信してもよい。薬剤ディスペンサは、種々の対象を保持および運搬するための網で代替されたり、またはその下で網を有していたりしてもよい。また一方では、チッパー環152は基部より大きな直径を持つ。基地局BSは、RFに接続していてもよいが、この場合、その代わりに通常の電話線に接続していてもよく、限定的なデータサービスのみが提供される(そして、それから呼び出し側IDチャネル、ヒントおよび呼び出し音、ならびにその他電話線信号により、間接的に遠隔から通信され得る)。
述べたように、図1Bは、本体12の上部に三角形基部40、延長本体12、および頭部16を概して有する移動ロボットR1の実施形態を示す。この実施形態では、頭部16は動くことを可能にするヨーク組立て部42を含む。ロボットR1は、車輪14、センサ22、少なくとも1つのカメラ28、および1つ以上の画面18、26を含む。モーター22は、車輪14に近接して置かれる。さらに、主電源/制御コンポーネント46を、基部40内に置く。電源/制御コンポーネント46の場所は、特定の応用に対し望ましいように変更してもよい。ある種の実施形態では、電源/制御コンポーネントを、電源コンポーネントおよび制御コンポーネントに分離し、電源コンポーネントをロボット基部または本体内に置き、頭部内に制御を置いてもよい。
図4Aおよび4Bは、対象検知範囲が、区域に配置された複数の収束赤外線エミッタセンサ部品により提供される実施例を図示する。それらのセンサの中でも、いくつかは崖感知用に下を向き、いくつかは前を、いくつかは後ろを向き、およびいくつかは本明細書で説明する特別構造である。このセンサシステムは単独でも機能してもよく、またはその代わりとして、例えば代理機能性のために、1つ以上の追突スイッチとの組合せで機能してもよい。
一例示的構造に従い、ロボット100は、後退の際の障害回避のための3つの追突スイッチと共に、障害および吹き抜け回避のための6つの赤外線距離計を含む。
赤外線センサは、例えば、崖検知器と互換性のある同期反射率エミッタ/検知器組のような、同様の電子的実装を好ましくは有する。赤外線距離計に関しては、限定されない実装例のように、エミッタ/検知器組は、下記のようないくつかの異なる構成に従い配備されてもよい。収束交差エミッタ/検知器組965は、崖センサで使用されるように、交差点で特定の検知区域を提供する、エミッタ/検知器組である。拡散並列部966、962A、962Bは、かかる対象の反射率に応じて、好ましくは30度の視野(+/−15度)を提供し、(例えば)約2cmから20cmの距離間で対象を検知する、共同設置エミッタ/検知器組である。接線センサ961は、ロボット100の最前面にある陥凹面978に渡って創造される「破壊光線」トポロジーを利用してもよい。
少なくとも1つの構成に従い、限定されない例として、関連するエミッタの照射パルスの間および後、センサは同期検知を実行することができ、そこではそれぞれの読み取りセンサは、周辺反射率および照射反射率を意味する2つのスカラー値を生成する。少なくとも8ビットの動的範囲で、センサそれぞれが、1秒当たり少なくとも100の当該サンプルを生成することができる。好ましい構成では、アナログ調節/フィルタリング/統合は、デジタル領域へと移行する前に、各検知器の信号で行われる。さらにまた、検知器コンポーネントは、独立型フォトダイオードであってもよく、または配線用ハーネスを通して信号対雑音比率を改善する、トランスインピーダンス増幅器を統合していることもある。16を含むロボット100の当該センサを、例として図4Bに図示する。
好ましい構成は、7cm離れた間隔の6つの前を向いた拡散センサ966を含むロボットに関係し、対象が範囲で検知されるのに十分反射的である場合、約14cmまで離れて対象へのセンサ範囲を提供することができる。移動する方向内の車輪14それぞれの前に、3つの下向き崖センサ965を置く。ロボット移動基部12の後方斜め側面にある2つの斜めの拡散センサ962A、962Bおよび963A、963Bは、反対方向の障害検知を提供し、例えばドック上のエミッタと連動して接続過程を誘導することができる。正面の2つの角収束センサ966により、例えば壁追跡または壁位置決めのため、ロボットの突き出した覆いの外のみの画定された検知区域を提供する。対象が表面のどこかの部分に触り、それに応じて衝突検知を促し、正確に対象の位置を決める際、ロボット基部の最前部978に渡る接線ビームによって、正確な接触情報を提供する。
移動ロボット100は、家庭環境で機能するので、家庭内安全の問題を色々な特徴のうちのどれかによって解決することができる。これらの特徴の中には、とりわけ、個人接触回避、障害回避(ロボット100に関連する、考えられる高さおよび位置の広範な範囲に渡って存在する対象を検知および/または回避する能力を含む)、および例えば家、家内の対象(家具、固定器具、その他同様のもの)またはロボット自体のいずれかに対する損傷を回避および/または軽減する損傷回避がある。これらの特徴に関連して、ロボットは好ましくは障害の検知および/または回避における重複性を含む。
個人接触回避に関して、かかる接触が回避不可能、または必要とする状況がない場合、ロボット100は、好ましくは例えばユーザなどどんな人とも物理的に接触するのを避ける。しかし、限定されない例のように、とりわけ、考えられる医学的緊急事態にロボットがユーザの体温を測ることが必要とされる際、または遠隔地の委任ユーザが、ロボットに人との物理的接触を行うよう命令を出す際、医療ロボット100は接触してもよい。
少なくとも一側面に従い、ロボット100は、監視空間を保護区域に分割した物理的空間の範囲に渡り、対象の存在または不在を検知するための1つ以上のセンサを含む。図4Cに図示するように、例えば、ロボット100を取り囲む領域には、地面水準から地面から上に約2インチまでに及ぶ「つま先区域」Z10、地面の上約2インチから約4インチまでに及ぶ「追突区域」Z20、地面の上約1インチから約12インチまでに及ぶ「近距離区域」Z30、およびロボットの顔26の正面にある領域に一致していて顔26を持ち上げたり低くしたり、または顔26を旋回または回転させるに従い変化する「顔区域」Z40を含む。それぞれの保護区域は、少なくとも1つのセンサ(例えば、フォトセンサまたは追突スイッチなど)で監視され、好ましくは2つ以上のセンサ間に監視区域の重複がある。結果として、重複領域を監視する1つのセンサが検知しない場合でさえ、同じ重複領域を監視する別のセンサがそれにもかかわらず障害を検知するので、障害検知の重複性を向上させ、検知されない障害の可能性を減少させる。
図4Cに図示するように、追突区域Z20は、接触スイッチまたは圧力センサなどの、追突センサ957によって監視される。近距離区域Z30は、好ましくは、光線エミッタL21、L22および光線エミッタL21、L22によって発せられた対象の反射された光源を検出する光検出器956を含むことがある光源カーテンにより、(例えば)光源ロボット100の全周囲の周りを監視される。地面の上から2−4インチ間の対象は、例えば、ロボット100から側面に沿って外へ1から5インチの間で検出することができる。つま先またはドアの敷居のような低い対象もまた、検知することができる。また1つ以上の崖センサは、移動プラットフォーム12周辺に位置付けられて、ロボット100の全周囲に渡り、地面の高さにおけるどんな突然または急な落下も検知することができる。
ロボット100正面の領域では、光のカーテンが、地面の上およそ1インチから12インチで、対象による侵入を検知することができる。顔26に向かい、近距離区域Z30もまた、赤外線または超音波障害センサにより監視されることがある。例えば、2フィートから20フィート以上などの遠方の範囲では、ロボット100は、カメラ304によって生成されるデータに画像加工が適用される際、近距離および遠方対象の両方を検知することができるカメラ304を含んでもよい。
ロボット100正面の人々を検知するため、熱センサ、超音波対象センサ、または音声ベクトル検知配列を使用してもよい。例えば、ロボット100は、音源の方向を決定され得るように配置された6つのマイクロホン配列(図示せず)を含んでもよく、すなわち、ロボットが音声と一致する音を「聞き」、音声ベクトル配列によって音源がロボットの正面にあると示される場合には、ロボットはそれに応じて応答することができる。加えて、ロボットに非常に近くに立っている人または接近する人々を検知し(衝突またはロボット先端部の損傷のため)、ふさわしく応答するために、ロボット100は当該「人物検知器」を、ロボット100の側面および/または背後に用いることがある。
ロボットは2つ以上のセンサからデータを受信し、センサのデータを統合し、保護区域の1つに存在する障害の可能性を予見し、存在する障害の予見される可能性が閾値を越える際には、(例えば、とりわけ、減速、行き先の変更、および/または頭部16を低くすることによって)その行動を変更することができる。その上、閾値は経験に従い適応して変更できる。例えば、障害の存在を予見するのに失敗した後、ロボットが障害と衝突する際、ロボットは閾値を下げることができ、またはロボットが予見された障害が実際には存在しないと発見する際、ロボットは閾値を引き上げることができる。
利点として、1つ以上のセンサおよび/または1つ以上の保護区域からの入力に基づき、ロボットの通路に入ってくる障害の存在を予見することによって、ロボットは主要保護区域へ障害が侵入するのを回避または軽減することができる。
図4Cに図示するように、例えば、ロボットの顔26には、カメラ304正面の広範な距離にわたって、対象を監視しおよび検知できる前方向カメラ304を含んでもよい。ロボット100はまた、光源L21の下方向光線を発する第1の光線源B21、および光源L22の上方向光線を発する第2の光線源B22を含んでもよい。光源L21およびL22の光線は、好ましくは領域に渡り交差し、いずれかの光線が対象に接触する際には、光源は対象に反射し、光検出器により検出される。光線源B21、B22および光検出器956によって監視される空間範囲は、概して近距離区域Z30に一致する。光源L21およびL22の異なる光線は、互いに異なる波長を有してもよく、または、例えば光検出器956によって検知される反射光源を、光線源B21またはB22のどちらが反射光源を発したかを決定するため、異なる信号でエンコードしてもよい。例えば、カメラ304が顔区域Z40の下方領域近くに横たわる、考えられる対象を検知し、また光検出器956が対象から反射する光源を検知する際には、ロボット100は近距離区域Z30での障害の可能性が高いと決定し、ロボット100が障害と衝突するのを回避するため、前方に動くのを中断することができる。
加えて、ロボット100は周辺の音または雑音のレベルを監視するマイクロホンを含んでもよい。マイクロホン入力が音声に一致する音を示す際に、例えば、ロボットは人がその付近にいる可能性があるかを決定し、それに応じて人と衝突する機会を減らすため自分の運動速度を落とすことができる。ロボット100はまた、熱検知器(例えば、赤外線光検出器)またはカメラのような、他のセンサを監視し、1つ以上のセンサに基づく行動決定を行うこともできる。例えば、実際にはロボット付近に人はいないが、テレビの電源が入っている場合、その結果ロボットのマイクロホンは音声を検知するが、熱検知器は何の熱源も示さない。かかる場合、ロボット100は代わりに人は存在しないと決定し、それに応じ自身の運動速度を落とさないことを決めることができる。
ロボット100が多くの潜在的な障害を包含する環境にいる際(例えば、雑然とした地下室内または人で一杯の部屋内)、ロボットは人や物と衝突しないように、遅い速度で作動することができる。遅い速度で作動する際、ロボットは、例えば光学カメラまたは光検出器よりも、追突センサにより依存し得る。
例えば図1Aおよび1Bのアイテム28に示される、ロボット上のカメラにより、ロボットは環境内にいる居住者またはその他の人を見ることができる。通常、居住者が相互交流ロボットといることが快適である場合でさえ、ロボットのネットワーク接続(以下に記述)は、居住者のプライバシーに対する懸念を引き起こすことがある。居住者は、自分たちが第三者によって「見られて」いる、または想像上の「ハッカー」が自分たちの住居を見ることができると感じることがある。したがって、ロボットは、居住者のプライバシーが漏らされていないことを表示したり、または別の方法で保証したりする機能性を装備してもよい。この機能性には、プライバシーが失われることを避ける、カメラ/頭部位置制限、可視または可聴インディシア、またはデフォルト条件を含むがそれらに限定されない。
図5Aでは、ロボットの頭部16内の作動位置にある可動カメラ28の側面概略図を示す。図5Bでは、不作動位置にある同じカメラ28を示す。ここでは、カメラ28は枢軸302およびレンズ304を有する本体300を含む(あるいは、全体カメラ28を、ボイド24aを頭部16内に完全に入れることができるシールド306の後方に置いてもよい)。電力用および視覚画像供給用のワイヤは、支持構造内に包含され、中空枢軸302を通って本体に入ってもよい。あるいは、ワイヤを支持構造外部へ置いてもよいが、頭部16の動きが妨げられないのに十分な長さである必要がある。図5Aでは、カメラ28を外部に向け、作動位置で遮るもののない前方の視覚を提供する。それゆえ、居住者はカメラ28が視覚データを録画(および潜在的に送信)できることを明確に確認することができる。しかし、図5Bの不作動位置では、中空24aを形成する不透明な表面と直面するように、カメラ28を回転、または別の方法で位置付けてもよく、それによりカメラ28の視覚全域を網羅することができる。居住者が図5Aの作動設定を認めない場合、図5Bに示す不作動位置は、代わりにカメラ28用のデフォルト位置として機能してもよい。
シールドを利用する場合、シールドは中空24a内でカメラ28が明瞭に見ることができるよう透明であってもよい。あるいは、全体に不透明であったり、カメラ28を覆う位置へ移動可能であったりして、その結果として、居住者が直接的にロボットの視覚データを見たり潜在的に送信したりする能力を制御してもよい。一実施形態では、カメラおよび/またはレンズは完全にロボット本体に引っ込められたり、またはロボット本体の隣にくるようにレンズを回されたりする。
したがって、示されているように、ロボットは自分の周囲を録画できなくされるだけでなく、レンズを遮断、ロボット本体と実質的に直面するようにレンズの向きを変更、または視野を変えるために頭部を回すことによって、当該録画ができないことを容易に確認することができる。カメラが視覚データを録画している際、カメラまたは頭部位置の視覚合図を、薄暗いまたは薄暗くない電子光源で補ってもよい。従って、第三者による潜在的監督下にはないことを、はっきり見て確認することができる。同様の機構を、ロボットのマイクロホン305またはマイクロホン配列305と共に使用することができ、プライバシーモードに入る際、ロボットはマイクロホンを不通、閉鎖、またはその他の方法で無効にしてもよい。マイクロホン305を遮断するため頭部に沿って回すか、または別の方法で動かす場合、動作不能位置のエラストマーシールによってさらに音を消してもよい。同様に、外部アンテナを不通にすることもできる。それぞれの場合には、送信媒体が居住者を監視できなくされる。
図5Cに図示するように、ロックアウト機構は、カメラ28またはマイクロホンを回す以外に他の形を取り、ローカル領域から隔離してもよい。一つのモデルにおいて、居住者またはユーザは、ローカル領域を監視する、ロボットの物理的能力に関する検証可能で完全な制御を有する。ロックアウト部材(鍵322、ドングルなどのような)を受け取ることができる鍵穴、プラグ、またはその他のコネクタ321を、ロボット10で容易にアクセス可能および見ることができるロックアウト局320に提供する。居住者がオーバーライドできない制御を有するモデルにおいてロボットを構築する場合、ロックアウト部材または鍵322の係合は、機械的に電気接触を閉ざし、カメラ28(およびマイクロホン)の作動を有効とし、プライベートな位置にある際にはカメラおよびマイクロホンを完全に無効にする。代替の配置では、可視電気ピン332を含むスライダ333のようなロックアウト部材をロックアウト局320内に配置する。重大な電気通路が開いているため、居住者はカメラおよびマイクロホンが全く動いていないことを容易に検証することができる。スライダ333が受入プラグ331に対して閉じている際、通知器は、容易に理解されるメッセージ(例えば、「オンエア中」)または信号(例えば、LRD点滅)を示し、ロボットが世界全体と接続していることについての通知を与える。この種の配置では、物理的にセンサのプラグを抜くよう構成されるプライバシー部材は、プライバシーモードが選択されている際には、居住者のカメラまたはマイクロホン監督に関し、家が「ハッカー防止」になっていると居住者に一定の自信を与えることができる。
代替のモデルでは、鍵穴、プラグ、またはその他のコネクタ321が電気接触を機械的に閉じることはなく、緊急状況にオーバーライドさせることができる。この場合、ロックアウト部材をコネクタ321内に差し込む際のみ、ソフトウェア送信制御ルーティンによって、カメラ28からの監督データを居住者の住居の外に送信することを可能にしうる。このモデルでは、ロボット10は通常、カメラまたはマイクロホンに接続された自身の制御部を使用し、そのセンサからの監督データを監視してもよい。居住者が送信の許可を与える場合、ロボットはセンサから(介助者へ)監督データを居住者の住居外へ送信できるよう構成された送信制御ルーティンを動かしてもよい。しかし、オーバーライドルーティンは、(i)ロボットにより検知される緊急状態で、センサから居住者の住居の外に監督データを送信できるよう構成されていてもよい。あるいは、遠隔の委任介助者が、緊急条件と共に居住者によって認められた認証を送る場合、カメラおよび/またはマイクロホンを有効にすることができ、ロボットによる居住者の住居の外への監督データの送信は、それ以外禁止される。オーバーライドモードが、センサの「プラグを再び差す」ための機構または中継を使用する場合、プライバシーモードが選択される際、この種の配置は物理的にセンサのプラグを抜くよう構成されるプライバシー部材を使用してもよい。
少なくとも一実施形態では、ロボットの周りの環境を観察または監視できるどのセンサ入力でも、図5Dに図示するようなプライバシー装置350によって、道順が決められることがある。プライバシー制御部352は、居住者によって与えられたまたは拒否された許可をたどり、カメラ28、マイクロホン32、またはその他のセンサ22のようなセンサからのデータストリームを制御し、それによって、かかる記録または送信が、居住者によって与えられた許可に準拠する場合にのみ、センサ入力がデータ記録装置356によって記録され、かつ/またはアンテナ30によって遠隔のデータ記録装置に送信される。プライバシー制御部352は、離れたハードウェアアイテムまたは別のハードウェア部分の一部として実装してもよく、あるいはプライバシー制御部352をソフトウェアルーティンとして実行してもよい。一実施形態では、例えば図5Cに図示するように、プライバシー制御部は、鍵、プラグ、ドングル、またはインストールされたときに限ってセンサを有効とするその他の物理的媒体の形を取る。
オーバーライドユニット354は、プライバシー制御部352によって、発行されるプライバシー指令、または無効とされる監視能力をオーバーライドしてもよく、それによって、プライバシー制御部352によって実行された許可にもかかわらず、センサ入力を一時的に記録および/または送信できる。ある実施形態では、所定の事象が存在し、その事象が1つ以上のセンサの出力の閾値または制御部352によって検知されるような解釈されるデータのいずれかである際、あるいは、介助者のオーバーライド命令を移動ロボットが受信する際のいずれかのとき、オーバーライドユニット354は、プライバシー制御部352をオーバーライドのみすることがある。介助者からのオーバーライド命令は、暗号化されたコードまたはその他の安全な送信の形であってよく、例えばデジタル証明書、公開鍵暗号化、所定パスワード、またはその他の適切な機構のような、適切な方法のいずれかを使用してエンコードされ、デジタル署名される。
例えば、脈拍、呼吸、医療、環境、または安全監視センサの損傷、あるいはその他の緊急状況を検知する際、オーバーライドユニット354により、一時的に監督または監視してもよい。窮状が検知される際、ロボットも介護人に居住者を調べるよう依頼し、外部への電話をかけることができる。また、移動ロボットはオーバーライド命令(例えば、介護人が作動することができる遠隔端末から)を無線で受信するための受信機を含んでもよい。加えて、安全または健康への考慮により、居住者によって与えられたか、または拒否された通常の許可を、一時的にオーバーライドすることを提案する事態があってもよい。マスタオーバーライド許可は、介助者は緊急状況において副次的な許可を一時的にオーバーライドする許可を受けることを可能にしたり、または医療監視装置またはデータ分析結果がこれらの許可をオーバーライドできるようにしたりし得る。
プライバシー制御部352のオーバーライドを必要とすることがある事態には、居住者が応答しなくなった(ひいては、意識不明となった可能性がある)という、移動ロボットによる決定、あるいは火災報知器または煙検知器がロボット上でまたはその環境内で始動したときを含んでもよい。かかる事態には、オーバーライドユニット354は、プライバシー制御部352をオーバーライドし、カメラ28、マイクロホン32、またはその他のセンサ22からの入力を、介助者、警察または消防署、あるいは救急サービスが所有する遠隔端末に送信できることがある。それゆえ、介助者はかかる緊急事態に注意を呼びかけられ、居住者の近くにいる移動ロボットからの関連するビデオ、画像、またはオーディオ情報を受信することができる。
図6A−6Dでは、本明細書で開示するように、ロボットの実施モードのソフトウェアアーキテクチャ、電子システム、およびネットワーク接続のいくつかを示す。これら全てが、本明細書で論じるロボットのいずれにも必要と言うわけではないが、説明は少なくとも一部分において、各実施形態に適用される。
図6Aは、仕事および機能の基本アーキテクチャ分布を示す。行動に基づくロボットは、大概は行動システムに基づいて機能し、この場合は反応システム6A−1として示される。短距離ナビゲーションは部屋内の障害内またはそれらの間のナビゲーションであり、巡回行動および旋回行動の組合せにより、通常行われ得る。目的行動では、的を絞り、比較的簡単な目的物、例えば充電器、仮想の壁または灯台、ビーコン、音、強い信号を受信する領域を探索または捜索する。避難行動では、ロボットの静止状態、行き詰まり、滑り落ち、またはその他身動きが取れない状況である事象においてより高位の優先権を得る。回避行動では、崖、おそらく人々などの単純な危険を回避ことができる。壁追跡行動およびその他の行動では障害を追い、ナビゲーションおよび拡散を向上させる。これら行動の全ては、アクチュエータ6A−4の制御に対し、センサ6A−5(視覚、吹き抜け部または崖、近接、車輪エンコーダ、あるいはその他の走行距離計測法)の集合または一式に基づき、仲裁および競争させられる。
より高水準の計画がいつも必要とは限らないが、行動に基づくシステムに影響を与えたり命令したりする特定の制御により、対処することができる。示すように、行動に基づくシステムは通常、計画ルーティン6A−2およびアクチュエータ6A−4の間に介入する。本明細書で論じるように、長距離ナビゲーションにより、ロボットを部屋から部屋へ移動させるか、または代替的な通路計画を使用する。マッパーにより、「直交(Cartesian)」空間マップ(本明細書で論じるルーティン、技術、および発明のほとんどは、直交または空間マップに依存しない)であってもよいが、またはそうでなくともよいマップを作ってもよい。ステレオ特徴は、目印またはラベルを識別するため、既知のルーティン(例えば、SIFTまたはSURFスケールの不変の特徴の抽出)に従い開始してもよい。必要な記録のいくつかを、サーバまたはデータベース6A−3に、遠隔保存してもよい。
図6Bでは、少なくとも1つの本発明の実施形態に従い、コンポーネント組織の一実施例を図示し、図では、通信または電力伝達関係は、種々のコンポーネントブロックを相互接続する矢印で示される。一実施例では、頭部16、首または胴13、あるいは移動基部12に概して置かれるコンポーネントを、コンポーネント群E20、E30、およびE46それぞれに組織してもよい。これらのコンポーネント群には、電源供給部、モーター制御部、および/または集積回路のような、種々の電子または電気回路を含んでもよい。好ましくは、集積回路、CPU、制御部、および通信バスのようなコンポーネントを、PCB板に統合する。すなわち、制限されない実施例として、ロボット100は、上部PCB板E20を頭部16に配置し、中間PCB板E30を胴13に配置し、および下部PCB板E46を移動基部12に配置する3つのPCB板を含んでいることがある。
図6Bの実施例では、無電力信号は、好ましくは上部、中間、および下部PCBの間を、低電圧差動シリアルチャネル(LVDS)を介して送信され、とりわけ低レベルの電磁雑音のみを生成する(および電気雑音障害に対し低感受率を持つ)という利点を提供する。あるいは、平行または伝統的なシリアルバス(RC232のような)を用いてもよく、またはPCB間に信号を送信するために、WiFiまたはBluetoothのような無線プロトコルでもよい。
下部PCB E46は、1つ以上の電源供給部E90、および1つの電池および/または充電器E91を含み、電源供給チャネル(プラスチック層の銅線、または移動基部12から胴13を通過し頭部16への動力伝達に適する、その他のどんなコンポーネントでもよい)は、電源供給部E90から中間PCBE30および上部PCBE20へ電力を送る。下部PCBE46はまた、左右回転モーター増幅器E401および1つ以上の駆動モーター増幅器E402を含み、これらは共に、エンコーダE403および近接センサインターフェースE404、そしてまた、2次元加速度計E406、およびマイクロコンピュータE407(限定されない実施例として、マイクロ制御部、プログラム可能な論理配列、デジタル信号プロセッサ、および/または汎用CPUを含んでもよい)を含む。下部PCBE46は、近接センサ222(近接センサインターフェースE404へのかかる通信の道順を決める)、駆動モーター/エンコーダ46と、および左右回転モーター/エンコーダ314へ通信する。
胴領域に関しては、本体表示パネル18およびスピーカーS31のような、局所からこの領域までの種々の特性が、中間PCB E30と通信する。またマイクロホンの配列を、音源の場所を決定するため、ロボット100に並べてもよい。少なくとも1つの実施形態に従い、音源位置決めシステム(本明細書では「音響マジック」と呼ぶ)に使用するためのマイクロホンは、好ましくは現在の音の方向を示す継続的な8ビットのシリアルストリームを発信する。ストリームは音響マジックPCBを内蔵するDSPにより発信され、その同期シリアルポートを経由し、非同期シリアル信号をエミュレートする。
シリアル信号は、配電盤上のHCS12によって受信され、8ビットはパケットストリームでは処理されず、CPU板へ配信されることがある。
CPU板では、処理は、信号を受信し、(限定されない実施例として)10サンプル/秒にまで縮小し、共有メモリ環状バッファ内にストリームを記憶する。当該縮小は、例えば極が3Hzで、単極IIRローパスフィルタに先行される。バッファは、好ましくは少なくとも最後の5秒の観察を記録し、これらの観察のそれぞれは、オーディオサンプルを実際に聞いた分(信号チェーンを経由する全てのバッファリングを占めている)に対する真のタイムスタンプと共に時間が刻印される。
推測される声の場所を、このベクトルを認識システムの音声検知器と組み合わせることにより生成する。音声検知器によって、好ましくは、生存する現状を示す通常のコールバックを発してもよい。これらのコールバックによって、検知された音声(真に実際の時間と一致する)が10hzの声の場所サンプルと関連があることがわかり、最近に検知された発話に対し推定された方向ベクトルを生成する。これらの発話方向ベクトルサンプルは、ユーザの場所および相互交流システムによって使用されるため、同様に共有メモリ環状バッファに記録される。かかる機能性および加工を、好ましくは中間PCB E30に配置された配列プロセッサE301によって提供する。
頭部領域では、焦電センサS21または接触センサS22のような、種々のセンサが左右画像センサ(カメラなど)28、29、および顔マトリクスパネル26だけでなく、上部PCB E20と通信してもよい。傾斜モーター/エンコーダ340もまた、上部PCB E20に接続する。
上部PCB E20内では、顔マトリクスパネル26とインターフェースを取る(および/または制御する)ための顔制御部/インターフェースE210、オーディオコーデック/増幅器E211、および/またはEthernet(登録商標)E202、USB E203、ならびに個別のチャネルに従い通信するための赤外線(IR)E204インターフェースコンポーネントのような、頭部16内に並ぶ装置に一致するコンポーネントを、PCB板に一体化してもよい。さらに、上部PCB E20には、上部PCB E20上に種々のサブコンポーネントを協調させ、かつ/または制御するための必要な指示を提供するために、埋め込みマイクロプロセッサE230(好ましくは1時間当たり1ワット未満を消費する)と、揮発性および不揮発性区分を備えるメモリE209とを含んでもよい。
加えて、頭部16内の上部PCB E20を、CDMAモデムと共に使用するためのセルラー帯アンテナのようなアンテナE201に接続してもよく、アンテナE201にはPC板上に取り付けられる埋め込みアンテナコンポーネントを含む。利点として、かかるコンポーネントは携帯電話器用に設計され、小型で、正確に製造され、インピーダンスに整合され、かつ統合するのが簡単である。さらに、アンテナ設計には代わりに単純なワイヤーダイポールを使用し、追加として費用を削減してもよい。
好ましくは、ダイポール設計が直接頭部16の上部PCB E20上で実装される。1つの例示的セルラーモデムスロットは、800mHzの携帯電話帯、特に824−849mHzの送信帯、および869−894mHzの受信帯で作動するモジュールをサポートする。ロボットの頭部16を、これらの周波数用の半波長ダイポールを収容するのに十分大きくなるよう選択してもよく、通常は163mmの長さである。しかし、その他多くの機械および電気コンポーネントを頭部に詰める場合、代わりにアンテナは水平に取り付けてもよい。別の選択肢として、水平ダイポールで、わずかに延在し(例えば、およそ4%)、および中間で曲がっている「逆V」構造を使用してもよい。逆Vは、より均一で全方向応答パターンという追加の利点を有する。
好ましい構造によって、1つの「逆V」ダイポールを、空間多様性のため、頭部の上部および底に取り付けるように置く。各ダイポールは2つの脚を有し、好ましくはそれぞれ長さが85mm、直径が2mmである。この構成に対し計算されたVSWRは、824mHzでの1.7から、860mHzでの1.2、894mHzでの1.7までの範囲であってもよい。これらのアンテナを(例えば)CPU板の裏に置かれるプレキシグラス支持に添付される12ゲージワイヤーセグメントと共に、実装してもよく、この場合、50オーム同軸ケーブルにより、アンテナをCDMAモジュールに接続することができる。
図6Cでは、1日のロボットにおける行動レベル間の推移を示す。これらの状態全てが、本明細書で論じる全ロボットに必要というわけではない。また示すように分割が必要であるというわけでもない。大概、これらの状態は電力節約に役立つ。ロボットが自身の周囲を「聞く」ことも「観察」することもしない(例えば、カメラおよびマイクロホンが無効になり、睡眠状態をプライバシーモードとみなし得る)、最大省電力のための電力睡眠状態では、なんらかの外的または内的な刺激事象でロボットは待機状態に入ってもよい(待機状態から、ロボットは相互交流スクリプトまたはその他の活動を開始してもよい)。電池が完全に充電されている場合、ロボットは睡眠状態よりはむしろ、監視状態で休んでもよく、音、熱、あるいは観察または検知された動きを含むいずれかの事象が検知されると、待機状態に入ることがある。電池の充電状態が低い場合、または音および行動も一定期間中(例えば、10分)検知されない場合には、ロボットは監視状態から睡眠状態に移行してもよい。睡眠状態から監視状態への変化を、明白な許可なしに避けてもよい。同様に、ロボットは非活動または充電が必要な事態では、待機状態から監視状態に入ってもよい。軌道モードは、ロボットが自身の周りの領域を照射する状態である。
図6Dでは、1日のロボットにおける異なる機能間の推移を示す。これらの機能全てが、本明細書で論じる全ロボットに必要というわけではない。また示すように分割がある必要もない。睡眠機能および待機機能は図6Cに関連して論じるような状態に類似している。電池が完全に充電されている場合、ロボットは、睡眠または待機状態よりはむしろ、その他の機能に着手する準備をするグローバル(準備)機能で休んでもよく、音、熱、あるいは観察または検知された動きを含むいずれかの事象が検知されると、待機状態に入ることがある。ロボットは、グローバル機能からアバター機能へ移行してもよい。アバター機能では、テレビ会議、遠隔操作、または遠隔出席セッションを開始してもよく、または一時停止から起動してもよい。コンパニオン機能では、本明細書で論じるような会話を開始してもよく、または一時停止から起動してもよい。アプリケーション機能では、ランタイムスタックを保存することにより一時停止された状態で保存可能ないずれのアプリケーションを開始してもよく、または一時停止から起動してもよい。スピーカーフォンまたはビデオチャットモードでは、ロボットは電話をかけ始めてもよく、または起動してもよい。
図7Aでは、本発明のロボットによって使用され得る、通信を自然に流す、一般化された会話ルーティンを示す。ステップSD1により開始シーケンスを始め、ロボットは居住者と関与するように様々な会話の1つを選択することができる。シーケンスを事象の発生または時間に基づき、選択してもよい。例えば、居住者が住居に戻ってくる際、ロボットは挨拶シーケンスを開始してもよく、または居住者に食事をした後の午後の予定があるのかを尋ねてもよい。加えて、居住者との接触および結びつく機会を増加させるため、ロボットは無作為にシーケンスを生成してもよい。ロボットは居住者に接近し、およびロボットに保存されたゲームをすることに興味があるか尋ね、ゲームを選択するよう依頼するなどしてもよい。加えて会話シーケンスは、ロボットおよび居住者間で発生する必要はないが、ロボットの独り言を含んでもよい。一実施例では、ロボットが環境内で移動する間に対象に追突する場合、ロボットは驚きまたは怒りを表現するシーケンスを始めてもよい。
ステップSD2は、1つの相互交流を示し、これは、アプリケーションによって、居住者への挨拶、ロボット自身への可聴コメントなどであり得る。ステップSD3で、ロボットは「今日はどうだった?(How was your day?)」「今夜の予定は?(Got plans tonight?)」「映画の時間を確認するよう頼まれた(You asked me to check movie times for you)」などの質問または肯定発言をしてもよい。質問は具体的には特定の数の居住者からの応答のうち1つを引き出すよう設計されることがあり、あるいは居住者は制約のない質問または発言に応答することがある。応答X(予想される応答のロボットのライブラリ外)によって、エラー、混乱、またはステップSDによりロボットからその他の応答を引き起こすことがあり、ロボットは相互交流を終了するか、またはステップSD3により質問または発言を再び提示する。所定のまたは期待される応答によって、ロボットからステップSD5により対応する返答を開始することができる。これらの応答には、例えば、驚きを示す感情として、聞こえるように「わあ(Wow)」、心配を示す感情として、聞こえるように「お気の毒に(That’s too bad)」、嬉しい感情として「いいね(Sounds great)」など、照合感情応答も含む。あるいは、ロボットの応答が第2の質問であってもよい。例えば、ロボットが居住者にどの映画を見たいのかを尋ねるとしたら、ロボットはそれから居住者にロボットが居住者のためにその映画を上映している劇場を探すかどうかなどを尋ねることもできる。
SD5でのロボットの返答の後、ロボットはSD6で、多数の第2の相互交流を始めることができる。例えば、ロボットは居住者と一緒にゲームを始めるか、第2の、より特殊な質問または相互交流のセリフへ移行するか、または特定の応答を考慮し相互交流を終了させてもよい。ある種の相互交流により、その他の相互交流が導かれてもよい。これらの事態の下では、事態の要求に伴い、ロボットは長い時間の間居住者と相互交流し、話題、活動、または仕事を変えることもあり、居住者のために豊かな相互交流の経験を創造する。
これらのルーティンに従い、ロボットは人とロボットの相互交流の効果的方法を行うことができる。基本的な動作行動の大部分は、非同期(または独立)の会話である。事象に対する避難または安全反応のような行動は、会話によって影響を受けない。通信スクリプトセグメント(クエリー、選択、返答)は、ロボットにより内部データベースまたは遠隔データベースから受信され、人応答文字列(人に対し繰り返すかまたは選ぶかの選択など)だけでなく、ロボット音声プロンプト文字列(会話クエリー、返答、および確認/フィードバック応答など)を含む。ロボットは、可聴ロボット音声プロンプトを生成するために、記録を参照するか、文字列と共に行く音声合成音素スクリプトを閲覧するか、またはオンザフライで文字列から音声への合成をするか(これらはそれぞれ、顔の動画を定義する視覚素タグ、強調音を定義するイアコン、またはロボットの強調動作を定義する「動画」スクリプトを同期化するスクリプトまたはタイムスタンプを含むことができる)のいずれかにより、通信スクリプトセグメントを解釈する。動画スクリプトは、通信スクリプトセグメントの間、上下軸頭部の動きまたは回転軸頭部の動きを含む頭部行動シーケンス、あるいはロボット全体の行動を含むロボット行動シーケンスの、大抵1つまたは両方の表現行動を追加することによって、所望の表現を定義する傾向がある。
ロボットは、マイクロホン配列を介した人からの記録音声、あるいは選ばれた応答の選択を押しボタンまたはタッチ画面で識別した結果のいずれかの形で入力を受信する。この会話のどの時点であっても、ロボットが行動システムからの応答が必要な事象(例えば、表現行動への移行の際、食卓またはその他の障害に追突したりする、あるいは第2の人に向かって部分的に動く)を検知する場合、ロボットは複数の行動の1つによって検知した事象に反応して会話分岐に割り込み(例えば、それらの行動によって使用されるセンサを介し)、非同期応答を実行する(ロボットを停止させるなど)。どのような非同期応答(自身の行動または姿勢の変更に関するロボットからのさらなるコメント、あるいは変更および非同期応答を引き起こしたものを発見したことを含む)の後でも、非同期応答を実行した後、ロボットは会話分岐を回復させる。ロボットは、ロボットによって検知された事象に反応して、表現行動に割り込む。事象に従ってロボットを再び位置付けるため、ロボットを停止する(またはその他の正常な行動をとる)。
図7Bでは、図7Aの一般的ルーティンを使用し構築される会話ルーティンを示す。ステップSD1’では、居住者が住居に戻ってくるときを、ロボットは居住者の1日の仕事の終結と認識し、それが引き金となり、ロボットは挨拶シーケンスを開始する。ロボットはステップSD2’で居住者を住居で出迎え、それからステップSD3’で居住者のその日について尋ねる。この場合、例えば、ロボットはSD3’の質問を、質問および潜在的応答(この場合、「最高(Great)」「まあまあ(OK)」「最悪(Terrible)」または「忙しい(I’m in a rush)」)の入力画面上の表示部と組み合わせてもよい。ロボットの返答の多くはSD5’で示され、あるいは居住者にロボットと相互交流する時間または興味がない場合、ロボットは会話を終了してもよい。ステップSD6’で、ロボットは、居住者にその日のまたは今後の仕事について尋ねたり、予定された事象を思い出させたり、夜に良い睡眠を取るよう助言したりなど、多くのその他の相互交流シーケンスを始めてもよい。示唆したように、相互交流によってその他の相互交流、質問などを導いてもよい。ロボットが最終地点に到達する、または居住者が相互交流の終結を依頼するまでなど、これらの相互交流を無制限に続けてもよい。
図7Cでは、図7Aの一般的アルゴリズムを使用し構築される、追突相互交流アルゴリズムSD10を示す。ステップSD11で、ロボットが不意に対象に追突するときが引き金となり、ロボットは、追突シーケンスを始める。ロボットはステップSD12で、ビープ音、破壊音、または対象との接触を示すその他の音のような追突音を発する。ロボットは、それから追突分析シーケンスSD13を開始し、センサ事象の頻度を測定する(この場合、対象との接触)。例えば、ロボットはステップSD13a内のように1回、またはステップSD13bおよび/またはSD13c内のように所定期間内では数回、対象に衝突してもよい。ロボットが使用する表現に関する決定SD14は、センサ事象に依存するが、必ずしも移動応答の行動応答に影響しない。言い換えれば、ロボットはどんな表現、音、感情などを出力してもよいが、これらはロボットの行動移動システム(例えば、ロボットは怒りを表現している間、必要な場合はバックアップを行う)からは独立している。可聴(ロボット自身のスピーカー)出力、または可視(自身の表示部)表現、SD14aに加え、ロボットもSD14bでその他の動画または音を利用することがあるマッピング機能を使用することで、ロボットはまた、自分が過去のあるとき、この特定の場所で対象にぶつかったのかをSD15で測定することができ、したがって移動に関し問題を経験したことのある領域を回避することを学ぶことができる。POPステップによって、ロボットは追突相互交流シーケンスから抜け出ることができる。図7Bの会話アルゴリズムと同様、この追突相互交流により、その他の相互交流が導かれてもよく、近くにいる居住者などに向けられる嘆願または質問を引き起こしてもよい。ロボットが最終地点に到達する、またはロボットに援助を申し出るなどするまで、これらの相互交流を無制限に続けてもよい。
図7Dでは、ロボットが、限られた数(5つ以下、大抵3つ)の応答であって、これらの応答は単純肯定、否定返答に限定される質問を居住者に提示するルーティンを示す。ステップ7D−10で、ロボットはスクリプトセグメントを自分自身のデータベースまたは遠隔データベースから、検索または受信する。ロボットは搭載されている全ての会話または共通の会話を伝えることができるが、その他の実施形態でもまた、アドホックに基づいて(めったに出会うことのない会話ツリーを探索)、予測に基づいて(居住者が会話中に進む速度に先行して、会話ツリーにおける可能な分岐全てまたはいくつかを検索)、あるいは予定されるまたはオンデマンド更新手順の一部として、遠隔サーバから会話を検索してもよい。上記で説明したように、ロボットはそれから可聴クエリーまたは質問(ステップ7D−12、および7D−2に示す、記録、音素、または文字列から)を「話し」、同時にロボットがスクリプト化された会話ツリー内の次に続く分岐として聞くことを期待する回答および、文字列内で一致する質問を表示する(7D−1で示すように画面を使用し、任意で発音されるごとにクエリーの文の各単語をハイライトするか、またはクエリー文全てを1度でハイライトする)。
続いて(ステップ7D−16)、ロボットは可聴応答を受信し、それを処理しようと試みる。図7Dでは、検知される応答が全くない事象(例えば、居住者は歩き去った、ある理由で居住者が全く話さない)でのロボットの行動に対する処理を示さないが、その処理はこのルーティンと一致するであろう。加えて、人が質問に回答する方法として表示される選択肢のそばにあるボタンまたはタッチ画面に手を伸ばし押す場合、図7Dの処理により、直ちに以下に述べるステップ7D−22(選ばれた選択肢の確認の繰り返し)に移行する。この場合の処理は音声認識であるが、一連の潜在的応答は画面上に示される回答に限定される(1つの例外は、より広い一連の可能性を有することができる肯定、否定応答である)。居住者は画面の応答文字列を声に出して読み選択してもよく、頻繁に使用する結果、典型的な応答を記憶していることもあり、あるいはタッチ画面またはソフトボタンを使用して入力し選択してもよい。図示するように、数を表示(および認識)してもよいが、数が話され認識されることができる根拠ごとに、ロボットが説明する必要は必ずしもないであろう。残りの仕事全ておよびロボットの作動に必要な計算と共有される、1000MIPs未満の埋め込み階級プロセッサで音声認識を行われるため、選択およびそれによって行われる処理は限定される。より多くの音声認識源が手に入る場合、それらはより万能な認識セットよりはむしろ、より高い成功率に寄与することがある。
図7Dに図示するように、分析および処理された音声を、ステップ7D−16で会話ツリー内の期待される応答の1つとして認識しない場合、ロボットは居住者にステップ7D−18、7D−20で「再試行」(1つが示される)の指定された数を提供する。再試行メッセージは話されてもよく(7D−5に示す)、質問自体、または可能な回答は、共にかまたは連続してハイライトされるか点滅し(7D−4)、または居住者の注意を再度向けさせるよう試みる。一方、ステップ7D−16で、分析および処理された音声が認識される場合、ロボットはステップ7D−22で可聴繰り返し戻しフィードバックにより(ステップ7D−7に示されている)、および/または認識された回答をハイライトまたは点滅することにより(7D−6)、これを確認してもよい。
この様式では、(データベースから)受信された通信スクリプトセグメントには、出力クエリーサブスクリプト文字列および5つ以下のサブスクリプト応答文字列候補の応答ツリー(しばしば「はい(yes)」、「いいえ(no)」、および「わからない(I don’t know)」のような選択肢、その他のときには、錠剤の型「赤のひし形」「緑」「白」「上記のどれでもない」のような一覧)が含まれる。一覧は、(1)極端な注意を回避する、(2)極端な表示画面「不動産」(すなわち、スクロールなしで、簡単に見直すのに十分大きい文字列)を回避する、および(3)音声認識に必要なリソースを制限するために、5つ以下に維持される。出力クエリー文字列(すなわち、尋ねられた質問)は、可聴出力信号(例えば、音素コード、圧縮記録オーディオ)および人に話されたクエリーのような出力に関連および付随する。出力クエリーサブスクリプト文字列および応答の制限数の両方は、ロボットの表示部に共に表示される。ロボットは、マイクロホン、あるいはベクトル化またはその他のマイクロホン配列を介し、オーディオ入力信号として人が発話した応答を受信し、表示されたもの(すなわち、質問に対し期待される応答全て)と一致するかどうかを確認/認識するために処理される。マイクロホンによって記録された信号が認識される場合、ロボットは出力信号(すなわち、声または文字列構成、ハイライトまたは点滅)を出し、認識された応答をフォードバックまたは繰り返し戻す。そうでない場合、出力信号、また声または文字列が、ハイライトまたは点滅プロンプトで、ユーザに応答の送信を再試行するよう、再び指示する。いくつかの場合、ロボットは認識した選択の正誤確認を監視することにより、居住者に確認を依頼することができる。
オーディオ再試行の効果がない場合、再試行は、ロボットの表示部上に表示されるサブスクリプト文字列をハイライトする(点滅または同様のことを含む)、または同時に表示部に付随する手動で作動される制御(例えば、ソフトボタン、タッチ画面)を介する応答選択肢を受信する形を取ることができる。応答文字列候補の2つが単純な肯定および単純な否定応答の場合であって、処理が、その後、単純な肯定応答と同等の肯定応答の多くの異なる種類、すなわちファミリ(はい(yes)、うん(yeah)、ふうん(uh−huh)、もちろん(sure)など)に対応する音声を確認するか、または単純否定応答と同等の否定応答のファミリ(いいえ(no)、いや(nope)、え−(nah)、そうは思わない(I don’t think so)、うーん(uh−uh)など)に対応するする音声を含む場合には、いくつかの利点がある。その他のメッセージは、多くのスクリプト(わからない[I don‘t know]、戻って[please go back]など)の間で共通することができ、かかる場合、ロボットは画面上に示されない限定された一連の可能な応答(戻って[please go back]、後で帰ってきて[come back later]、やめて[quit]、スケジュールを見せて[show me my schedule]など)を認識することができる。はい、およびいいえの回答もない場合、回答の一覧を3つ以下に限定し、音声認識の仕事を有意に制限してもよい。
独立型ネットワークアダプタにより、設定のためのユーザインタフェースを必要とせずに、ロボットのためのネットワークアクセスのファイアウォール迂回およびゼロ構成が提供される。これは、ロボットと独立して行われてもよく、ある実施形態では、住居で多数のロボットを潜在的に橋渡しすることができる。一実施形態では、WiFiはデフォルトおよび「ロック」により可能となる有線と同様のプライバシー/WiFi保護アクセス(WEP/WPA)を持つ、非放送型拡張サービスセット識別子(ESSID)である。ロボットおよびネットワークアダプタを、生成された固有のセキュリティ情報と共に工場で1対としてもよい。後に行われる追加の対の動作には、ロボットおよびネットワークアダプタ間の物理的近接または見通し線を必要とする(ペアリングケーブル、短距離BlueTooth、ZigBee、無線USBのようなRF、または短距離IRにより検証される)。
ネットワークアダプタはファイアウォールとして機能し、いずれの現存するインフラの外側へ入ってもよい。また、例えば、http://www.faqs.org/rfcs/rfc3489.htmlで定義される“Simple Traversal of User Datagram Protocol (UDP) Through Network Address Translators (NATs)”、を含み、この開示は参照することにより本明細書に含まれる。この機能性がドライブに組み込まれ、そしてネットワークアダプタがインターネットゲートウェイのように機能することを可能にし、家庭環境において認識されるロボットのインターネットアクセスを可能にし得る。例えば、既知の範囲内のMACアドレスをロボットが有することにより、ネットワークアダプタのファイアウォール迂回特性にアクセスする多くの方法がある。
権限を付与する一般的なネットワークアーキテクチャを、図8Aおよび8Bに示す。住居内のロボット10(多数のロボット、またはロボット基地局にアクセス可能なその他の埋め込み装置)それぞれは、異なるレベルのあらかじめインストールされたセキュリティおよび互換暗号鍵を介してロボット基地局にリンクされる。図8Bに図示するように、接続8B−2は通常RFプロトコルのフレームまたはパケット内に運ばれ、この中でIPスタックプロトコル(TCP、UDP、HTTP)を使用し、この中で信頼できる境界(仮想私的ネットワークVPN、または安全ソケット層SSL境界)を有するであろう。通常、ロボット10は無線で接続され、ロボット基地局は、ロボット20へまたはロボット20から送信され得るデータに十分なRF帯域幅およびプロトコルを使用するRF局である。例えば、ビデオ会議が行えるロボット10に対しては、802.11a/b/g/nのような、比較的高い処理能力のRF様式が役立つであろう。ビデオデータもオーディオデータも送信しないロボット10には、Bluetooth、無線USB、または専有のネットワークが使用できるであろう。基地局は、暗号をRFプロトコルに追加する(ネットワークへのアクセスを制限するため)ように、または追加せず(最も速い速度を許可するため)に構成できる。RFプロトコル自体が暗号化されていてもいなくても、最深部の信頼できる境界では、RF信号から盗聴されうるデータを暗号化および保護し、ロボットおよびその他の委任装置は、メディアアクセス制御MAC接続許可ホワイトリスト上にあり、ならびに/あるいはVPNまたはSSL接続用の適切な公開(public)および秘密(private)の暗号鍵を提供される。基地局8A−6によって、住居内のその他の装置のため一般的なRFプロトコルまたはWiFiネットワーク接続性を提供してもよく、ロボット(特に2つのトランシーバを与えられている場合)は、中継またはリピーターとして機能し、基地局8A−6の範囲を拡張してもよい。
基地局(この図では、8A−6)は、いつもモデムまたはネットワーク端末(大抵、ケーブルモデム、xDSL、または光ネットワーク端末)を介し、インターネットサービスプロバイダー(図示せず)に、それから公共のインターネット(クラウド)へ接続する。ロボット基地局は、通常ルータの機能を有しおよびルータ(例えば、DHCPサーバ、NAT、ファイアウォールなど)を提供するので、ルータを通す必要はない。それにもかかわらず、本明細書で説明するように、ロボット基地局8A−6がファイアウォールまたはNATサービスの内側にあるいくつかの場合、またはマッチメイキングのためのいくつかの技術が、本明細書にて対処される。
ロボット基地局8A−6は、定期的にまたは断続的にマッチメーカー8A−10(ウェブ、またはデータベースサーバ)に接続し、ロボット基地局89A−6の現在のIPアドレスの最新記録を保持する(ほとんどの場合、動的に割り当てられると考えられる)。照合が1度行われる(例えば、介助者局8A−4およびロボット基地局8A−6にお互いのIPアドレスを通知する)と、安全なピアツーピア接続(図8Bに図示するような、接続8B−8)を確立する。マッチメーカー8A−10は、ユビキタス固有IPアドレスを持つIPv6型においては必ずしも必須ではない。図8Bの右側に図示するように、基地局はマッチメーカーまたはスーパーノードのアドレスを知り、ロボット基地局接続8B−2に類似するプロトコル層を介し、89B−4に接続する。ただし、この場合の外側層が基地局からマッチメーカーにインターネットトラフィックを伝えるどんなメディアに対しても適切であるプロトコルである(例えば、Ethernet(登録商標)、ATM、X.25、またはその他のパケットネットワーク)場合は除く。マッチメーカー8A−10またはスーパーノードが、照合されたロボットまたはロボット10のIPアドレスを介助者の局に通知する。
さらに、マッチメーカー8A−10は、いわゆるスーパーノードに頼るネットワークの一部であり、特権クライアントの間でルーティングを提供してもよく、またはマッチメイキング機能は、データネットワーク8A−8、8A−12、8A−14へのいかなるアクセスも持たないノードおよびスーパーノードのネットワークによって処理してもよい。例えば、スーパーノードは、ファイアウォールの内側ではなく、パブリックまたは固定IPアドレスを有するノードであってもよい。ユーザ識別およびパスワード用の暗号鍵は、ログインサーバのように、マッチメーカー8A−10上に保存される。ロボット基地局または介助者局のそれぞれは、STUN(rfc3489)プロトコルおよびTURNプロトコルと類似したプロトコルを使用して、どのような種類のNATまたはファイアウォール介入かを決定してもよい。開始するには、局は、ランダムポート番号および共通ポート番号(HTTPの80またはHTTPSの443)で聴取ポートを開いてもよい(TCPまたはUDP)。それぞれの局は、スーパーノードまたはマッチメーカーのキャッシュ、ならびにそれらのIPアドレスおよび既知のランダムポートを維持してもよい。インターネットに接続されると、局はスーパーノードか、または履歴ポート番号でのマッチメーカーIPアドレスへパケット(TCPまたはUDP)を送信し、応答を待ち、その後HTTPポート、次いでHTTPSポートへ接続するように試行してもよい。スーパーノードまたはマッチメーカーへ接続された後、このマッチメーカーまたはその他のマッチメーカー、Webサーバまたはセキュリティサーバは局を認証してもよい。スーパーノードまたはマッチメーカーはまた、十分な量のパケットをやりとりし、局に、異なるマッチメーカーのIPアドレス、またはその局を認証することができる特定のログイン認証のアドレスを通知してもよい。接続の間、それぞれの局は、そのキャッシュを、スーパーノード、ノード、マッチメーカー、およびそれらの最新で既知の(ランダム)オープンポートおよびIPアドレスに追加する。任意のノード(ロボット基地局、介助者局)またはスーパーノードは、どちらか一方または両方がポート規制のあるネットワークファイアウォールまたはNATの内側にある場合、照合ロボット基地局と介助者局との間にトラフィックを回送および転送するルータとして機能することがある。これは通常、「Skype」のピアツーピア回線ネットワークと類似しており、かかるネットワークと相互運用が可能となる。本配置では、スーパーノードに負担をかける傾向がなく、通常処理機能が低い(すわなち、消費者のルータとほぼ同様の)ロボット基地局ノードの使用を回避するので、好ましくは、使用していない介助者局(通常、普通のPCの起動承認ソフトウェア、VPN、および/またはクライアントソフトウェア)は、かかる場合にはルータとして機能する。
図8Cに図示するように、これを、または修正システムを使用して、ロボットなどの承認装置、またはVOIP電話もしくはメディア局などの事前承認装置(すなわち、MACアドレス、公開鍵、署名など、ロボット基地局に知られている、暗号法もしくは固有の識別情報を有する、または直接有線接続、スキャン可能なID、直列接続、または同等物経由で局所的にこの情報を送信することができる)は、ロボット基地局によって、信頼できるネットワークの少なくとも一部に直接参加することが許可される。基地局は、認識されたノードになろうとする承認装置が、ランダムポートnn上で受信することを許可し、それによって装置がそのポートで使用可能であること(すなわち、ロボット基地局に対して指定されたIPアドレス、受信するポート、ロボットまたは事前承認装置に関連する識別性および/またはセキュリティ情報を含む)をマッチメーカーに通知する。別の場合には、基地局を介してアクセスする装置のそれぞれが、異なるランダムポートを有するので、識別情報は必要ではない。マッチメーカーおよびロボット/装置はその後、チャレンジレスポンス(セキュリティ、承認情報を含む)を実施し、マッチメーカーでロボット/装置を認証する。未承認装置が基地局の使用を試行する場合、装置は、基地局および承認サービスのリストを介して、その承認を交渉することによって認証されることになってもよい(例えば、基地局を介して、承認サーバに既に知られている署名および/または事前承認された特権コードを送信することによって登録する)。その後、装置またはロボットは、その基地局で承認されてもよい。介助者局が、スーパーノードまたはマッチメーカーに接続するように直ちに試行することを除いては、同様の処理が、介助者の局で行われる。さらに、ランダムポート戦略は、ロボット基地局または介助者局が、ファイアウォール、閉ポート、および/またはNATの内側にあるとき回送および転送する、HTTPポート、HTTPSポート、および/または介入ノードパケットを使用することによって補完される。
基地局8A−6はまた、ロボット10において有用な種々のアプリケーションを受け入れる、Webサーバまたはサーバ8A−8に接続される。Webサーバ8A−8は、コンテンツがロボット10(例えば、マルチメディアコンテンツ)によって使用されるファイルシステム8A−12へのアクセスと、さらに一般化データベースへのアクセスを有する。データベースは、居住者のためのユーザプロファイル、ロボット10が使用可能な会話、スケジュールおよび同等物を保存してもよい。極秘または機密であると見なされる任意のデータは、暗号鍵による識別またはコンテンツに関して不明瞭にすることができる。データベースの所有者(居住者ではない)が調べない、または識別性を個人データに載せないような方法で、データは、データベースによって使用または処理してもよい。接続テーブルは、ロボットまたは基地局上に保存された記録を、介助者によって保存されたデータと一致させることができるので、一方がピアツーピア8B−8を接続するオンラインでない間に、他方から収集または送信されるデータは関連付けられてもよい。ロボット上のみに、または介助者によって、もしくは介助者のネットワークによって通常保存されるデータ(極秘の病歴および記録など)は、データベース8A−14に維持してもよいが、好ましくは、介助者、ロボット、ロボット基地局または委任者(例えば、居住者の家庭用PC)によってのみ復号可能な暗号化バックアップ形式に維持される。
このようにして、ロボットシステムは、基地局8A−6およびロボット10の両方を含む。基地局は、ローカル無線プロトコル経由でTCP/IP伝送を通信できる無線トランシーバ、およびインターネットにアクセスするローカル有線Ethernet(登録商標)経由でTCP/IP伝送を通信するための有線Ethernet(登録商標)コネクタを含む。アクセスポイント回路(例えば、ロボット基地局における)は、ローカル有線Ethernet(登録商標)とローカル無線プロトコルとの間のTCP/IP伝送を転送し、またロボットに指定され、ロックされる(例えば、居住者または介助者が変更することは、承認なしでは、または全くできない)所定のIPアドレス、ロボットにロックされる所定のシェルレベル暗号化(論じたVPNおよび/またはSSLなど)、およびロボットのみに開かれるインターネットへの所定ポート(例えば、それぞれのロボットに指定されるおよび開かれる1つのランダムポート、または同じ言語下で、介入ランダムルーティングノードと組み合わせて、HTTPまたはHTTPSなどの共通ポート)に限定される。ロボット自体は、ローカルRFまたは無線プロトコル経由でTCP/IP伝送を通信することができる無線トランシーバ、およびローカル無線プロトコル経由でTCP/IP伝送を転送するためにクライアント回路(例えば、IPプロトコルスタックを有するCPUおよびOS)を含むことになる。
好ましくは、ロボット基地局は、複数のアンテナを含み(ロボットも同様に含んでもよい)、802.11nマルチプルイン、マルチプルアウトアンテナの多様性および選択を使用し、2.4GHzの無免許周波数に限定されないが、例えば、900MHzから最大約10GHzの帯域での、家庭内のマルチプルパス伝搬の問題を克服する。さらに好ましくは、ロボット基地局は、直交周波数分割多重化を使用して、無線伝送をさらにエンコードする。このような場合には、ロボット基地局は携帯式であってもよく、介助者局の部品(遠隔操作用のカメラおよびビデオ情報を中継することができる画面、およびロボットを遠隔操作するための制御器など)を組み込んでもよく、実施形態は、ロボット用のプラットフォームは、搭載される監督カメラを用いて、踏みつけられ、スリップしながら操作される、ことが企図される。可能な限り高速、マルチパス抵抗、マルチプルイン、マルチプルアウトアンテナの多様性を使用したフレームレート、直交周波数分割多重化、エラー修正をしないIPまたはIPと互換性のあるパケットプロトコル(UDPなど)、および任意に、H.264AVCまたはMPEG4などの予測ウェーブレットベースのビデオ圧縮において、ロボットから基地局へビデオを送信してもよい。
図8に示す実施形態では、ロボットは、上流サーバとやりとりするチャレンジレスポンスを介して認証する。ネットワークアダプタは、家の中の未認識ロボットのために、既知の認証サイトに小さな穴を開ける。この認証サイトは、未認識ロボットに対して課題を課す。ロボットが暗号法的に正当な応答に反応すると、認証トークンはネットワークアダプタに送信され、それはトークンを保存し、その地点からインターネットへのアクセスを可能にする。さらにその他の実施形態では、ロボットは、受信するためのランダムポート番号が与えられ、この情報はまた、マッチメイキングサービスへ転送される。
中央サービスは、ダイナミックDNSサービスと類似しているマッチメイキングを提供することがあるが、それは特定のネットワークアダプタを利用する市販のロボット用である。これらの状況下では、所有者がマッチメーカーサービスに最初に接続するときに、それぞれのロボットは、所有者を装置にマッピングする固有のパスコードとともに消費者に出荷されることになる。この場合は、マッチメーカーサービスは、ロボット用の、ウェブにより受け入れられる集中型ユーザインターフェースである。サービスは、双方ともインターネットクライアントである、ロボットとユーザ間の構成およびユーザインターフェースをプロキシする。さらに、マッチメーカーサービスは、車両管理ツール(ソフトウェアの更新用)および特定の家の中のロボット用のポータルとして作動してもよい。この中央側から、ユーザはロボットに「接続する」ことができ、それはユーザを、ロボット上で受け入れるユーザインターフェースをリダイレクトする。
図9Aは、安全上の懸念により遠隔端末へ情報の伝達が要求される状況において、移動ロボットによって実装してもよい報告ルーティンを図示する。ステップS1では、ロボットは、例えば、遠隔介助者が移動ロボットから受信したいと願う情報のリストをダウンロードすることによって、コンピュータネットワークから報告指示を検索する。かかる情報は、数ある中でも、何時にロボットが住居者の存在を最後に検知したか、居住者への薬剤の配給が成功したかどうかを含む。ステップS2では、ロボットはかかる情報を収集してもよい。ロボットはその後、現在の時間を確認し、それをステップS3でのスケジュールと比較し、S4において、スケジュールが情報を送信する時間になったと決定したら、ステップ5において、ロボットはその情報を遠隔端末に送信してもよい。さもなければ、例えば、制御はS2に戻ってもよい。
終日にわたるスケジュールまたは事象に応えて、移動ロボットは、限定されないが、(a)薬剤遵守情報、(b)音のパターンまたは他の検知によって認識される、居住者の存在または不在、(c)状況または「異常なし」の報告、(d)来客についての報告、(e)計画されたスケジュールに関して、居住者によって入力された更新(「2時間外出するよ(I’ll be out for two hours)」)、(f)音の異常なパターン(耳障りな雑音、呼び出し雑音)または異常に大きな音についての報告、(g)介助者または他の家族から居住者への通信の要求を含む、居住者に関する更新情報を含む更新を作成する。これらの更新には、事象に応答する更新、データ変更の更新、状況更新、および定期的な更新が含まれる。
ロボットは、プッシュ更新システムを使用して、プッシュサーバに統合される、またはそれと通信するコンピュータサーバに、最新情報をアップロードする。メールデリバリエージェントに類似しているプッシュサーバは、メールユーザエージェントに類似している更新クライアントに新しく受信した更新を送信(または転送)する。ロボットおよび介助者の端末の双方とも、更新クライアントとなり得る。プッシュサーバは、ロボットまたは介助者クライアントのネットワークを監視し、介助者に対する新しい更新を発見すると、更新を検索し、それを介助者の端末に転送する。同様に、プッシュサーバがロボットに対する新しい更新を発見すると、ロボットにメッセージを転送する。更新は個別に維持し、アーカイブに保管してもよく、またはしなくてもよい。
図9Bに図示するように、インターネットIに備えられるプッシュサーバPは、ロボットからの報告および更新(クライアントロボットにより、クライアントモードで、プッシュサーバに報告される)が介助者の端末Cに転送されるような方法で、(基地局Bを介して)移動ロボットRおよび介助者の端末Cと通信する。介助者の端末Cは、電話、メッセージング装置(ブラックベリーまたは他の携帯情報端末)、もしくはコンピュータブラウザまたは他のクライアントであってもよい。このような状況では、プッシュサーバPからクライアント装置に配信される情報は、クライアント装置によってまとめられる一連の所定の要求パラメータに基づく。これは、遅延様式またはインスタントメッセージ様式であってもよい。プッシュサーバPは、介助者の端末CがプッシュサーバPから更新を記録する、またはそうでなければ要求することなく、介助者の端末Cにコンテンツを転送する。結果的に、移動ロボットRによって更新された情報は、インターネットI上のプッシュサーバPを介して介助者の端末Cに中継される。プッシュッサーバは、電子メールと同様に更新を転送してもよい。別法として、RSSなどのプル技術は、ロボットから始まるコンテンツの配信用に使用してもよい。このような場合には、介助者の端末Cは、例えば、日中に特定の間隔で、コンピュータサーバからの任意の最新情報を自動的に検索してもよい。
本発明のロボットは、ある事象に対する応答を示す視覚合図を使用して、ユーザに豊かな相互交流体験を提供する。それらの合図は、少なくも、画面のうちの1つ以上での画面表示部および反応を伝えるための頭部または他の物的移動を含む。図10Aは、移動ロボットの画面26上で表示される、典型的な種々の感情表現を示す。図10Aに示された感情画像は、ロボットの頭部16の表示部26上に示されるが、感情画像はまた、本体に取り付けられる画面上に表示することも可能である。任意に、感情画面は表示部画面の一部のみを使用し、残部を他の相互交流および/または機能のために空けておいてもよい。
表示するように、口、目、眉という対象物(図10Aに示す典型的な表現など)は、マトリクス表示部を使用し、非常に多数の画素から適宜形成することができ、または、セグメント表示部を使用し、多数のセグメントの設定形で形成することができる。もちろん、表示部はセグメントおよびマトリクス部分の両方を内蔵してもよく、マトリクス画素は1種類のセグメントとみなしてもよい。セグメントまたは顔マトリクス表示部には、従来の製造技術によって、十分な数のセグメントまたは画素を提供してもよい。
以下の論考は、適切な部分で顕著な差異を有するセグメントパネル、またはマトリクスパネルを説明する。マトリクスパネルについて論じる際は、MacromediaTMFlashTM、携帯用動画システムで動画を生成するために使用される技術が有用である。この専門用語では、「映画(movie)」は一連の場面であり得、場面は、一実施形態では、層を成して背景に入れてもよい、文字列の対象および画像の対象などの一連の対象である。映画および対象は事象に応答し、映画の外の行為を行ってもよく、同様に効果(物体の外観を変化させる動画)を適用してもよい。セグメントパネルの作動を論じる際は、物体は、順番に、または個別に作動または停止させてもよい単一のセグメントまたはセグメントのグループであってもよく、作動または停止させることにより、動きの印象または外観の変化を与えることができる。いずれにしても、「対象(object)」は動画化され、移行性動画状態に適応する。この専門用語の使用にもかかわらず、本発明は、論じた動画システムに限定されることはない。
表示部26は、ロボットの変化する感情および非言語的行動を表現する音声および相互交流と同期して動画化される、目−鼻−口の表示を実行する。表示の動画化表現は、音声と同期化される非言語的行動、音声と同期化される音素動画化、会話および感情モジュールからの基本表現、およびいくつかの専門的表現手順などの、システム内の種々の変数に従い制御される。表現の機能要素には、いくつかの基本表現、視線方向、身振りを強調するためのいくつかの眉の位置、音素動画化のためのいくつかの口の形(視覚素)が含まれる。これらの要素、すなわち、音素動画化、注視移動、および眉吊り上げの作業は独立しており(直交)、これは、悲しい(軽度)、懸案、中立(肯定的)、幸せ(満足から喜びまで少なくとも4等級付け)、驚き(肯定的な驚きまたは否定的な驚きとは異なる提示)などを含む基本表現とは関係がない。状態から状態への平滑動画化移行のための、すべてこれらの要素において、「中間(in−between)」状態(トゥイーン(「tween」))が存在する。
視線方向は、例えば、右から左への、16の異なる位置の直視を提供してもよい。2つの位置の左上方および右上方、および2つの位置の左下方および右下方をさらに提供してもよい。眼の反射表示器は省略されたり、室内照明の方向性に応じて設定されたり、または安定状態を保ったりしてもよい。少なくとも3つの眉の位置が提供され得、すなわち中立、中位に吊り上げ、高位に吊り上げ、さらに中間状態が提供され得る。眉もまた、基本表現の形成に関与する。
音素動画化は、13の視覚素のサブセット(「視覚素」は、かかる音素を形成するために使用される人間の口の動きのタイミングおよび速度に応じて、音声合成音素に対応する位置での口の一連の動画フレームであり、「イアコン」は、アイコンに相当する可聴バージョンであり、すなわち、提案、物体、または話し言葉を使用しない行為を伝える、短い、意味のある音である)、毎秒5音素の標的発話速度に合わせて中間状態にされる。舌を示す表現は、このサブセットを減少するように除去されることがある。A、B、E、F、K、O、OO、R、THなど、一連の口を閉じた形は、基本の組の音素を備える。さらに大きな組は、P、B、M;W、UW;R;F、V;TH、DH;L;S、Z、D、T、N;SH、CH、JH、ZH;Y、IY、IH、IX、AW、H、K、G、NG;EY、EH、UH;AE、AX、AH、AA、AO、ER、AY;OY;およびOWなど、無音のうちのいずれかまたは全部を含んでもよい。
特色のある表現は、ウインク、まばたき、好奇心の強い、探求心のある(横目の1つの平らな眉)、瞳孔を開く、笑う、号泣、眠い(ロボットの電池レベルが低くなる)、考える(何かをダウンロードする間に使用される、額の深いしわを含むことがある)を含んでもよい。図10Aに示す表現は、必要に応じて、種々の頭部方向を併せて利用してもよい。
図10Bは、ロボット10のための表現運動行為および位置を表す。頭部16の潜在的デフォルト位置(図1Aに示すが、図10Bには示さない)は、居住者に関するものであってもよい。
本明細書に概して示すように、ロボットの頭部および胴の構造は、肩をすくめたり、うなずいたり、頭を振ったり、横を向いたり(対象を変える)、その他の身振りの合図を提供するよう設計されてもよく、すなわち移動システムによって、接近および後退の動き(個人空間および会話への留意の合図)ができる。ロボットは、頭部、または実際にはいかなる人間または動物の特性を有する必要がないことを留意することが重要である。人の頭部、肩または同等物の動きに関与する既知の身振りの合図については、人間の身振りの合図と同じまたは類似した会話のタイミングと合図に従い配置される場合は、類似した位置にあり、および/または類似したプロファイルのロボットの部分を使用した相似性運動は、ロボットの全身を使用して誇張される。これらの一部を図10Bに示す。接近および後退の動きは、また、横を向いたりする事と、その他の身振りの合図を含んでもよい。概して、本明細書で論じたように、身振りの合図を提供する動きは、用語表現運動の中に含まれ、非同期的に、または定期的にスクリプトによって引き起こされる可能性がある。図10Bに図示するように、ロボットは、特定の文化または人のために正確な距離に接近してもよい(これは、居住者との会話が、居住者をロボットから離れさすことを継続的に引き起こすことを、ロボットが検知することができるにつれ、記録され、徐々に適合することができる。)。これは身振りの合図の例であり、その他の典型的な身振りの合図は、会話の話題が変わる一瞬に、居住者からロボット全体またはロボットの頭部を、わずかに向きを変えることになる。図10Bにさらに図示するように、居住者がある方向に移動し始めることがわかると、ロボットは、居住者の邪魔にならない場所に「丁重かつ優雅に」移動し、ロボットが、ドアの位置および/または通行経路および/または住居の障害を記録することは、道をあけておくことを容易にする。これは、ロボットの表現運動を介して、社会的相互交流をシミュレートするロボットの例である。図10Bにさらに図示するように、ロボットは、「アニモーション(animotion)」、すなわち、表現を伝えるように設計される、ロボット全体(車輪を介して)の運動スクリプトを実行してもよい(これらはまた、ロボットの他の部分の動きおよび/または音などを含んでもよい)。これらの種類の表現運動のそれぞれは、表現運動および/または本明細書で論じている非同期ロボットの動きおよび非同期事象の一部と見なされる。
本発明の実施形態によると、移動ロボットは、種々の仕事または活動の遵守を促進または保証するために、居住者との相互交流を提供してもよい。例えば、移動ロボットは、図11Aに図示するように、多数の予定された事象のために、リマインダおよび他の刺激を提供してもよい。これは、日中の適切な時間に薬剤の服用の想起が困難である高齢者または他の居住者と相互交流することは特に有用となる。薬剤投与計画の支持に加えて、ロボットは、規定食計画を支持してもよく、慢性症状を管理するための提案(ストレッチをする、水を飲む、休憩する、など)の反復を提供し、また回復療法(療法士が推奨する運動など)の指示を提供してもよい。ロボットのプロセッサに保存されたスケジュール50は、居住者によってまたは遠隔オペレータもしくは介助者によって設定されてもよい。例えば、居住者は、コンピュータまたは携帯情報端末経由か、またはロボットのインターフェース能力を直接使用して、所望の事象を入力してもよい。さらに、居住者は、ある行動が直ちに実行されることを要求してもよい。同様に、ロボットスケジュール50はまた、重要な予約、医薬投与量などを記録するために、医者のコンピュータまたは携帯情報端末に連結されてもよい。さらに、または別法として、例えば、新しい薬剤が処方された場合に、スケジュール50は薬局から指示を受信してもよい。
図11Aにおけるスケジュール50に示されるように、薬剤遵守ルーティン54は、朝の投与計画52に続いて予定されてもよく、それは、居住者の目を覚まさせるロボット、錠剤充填手順、ストレッチ計画、バイタルサインの確認などを含んでもよい。朝の行動はまた、その日の後に予定されている活動のいずれか、または後日の特定の予約に関してさえ、居住者に注意喚起するために使用してもよい。日周活動における居住者の認識および物理的関与(自分自身の日課表を計画する、および/または薬剤を充填するなど)を高めることによって、ロボットは、居住者自身の投与計画への関与、責任、および制御を高める。自分自身の介助におけるかかる関与は有益となることがある。
さらなる投与計画は、類似するリマインダスキームとともに、移動ロボットによって支持されてもよい。例えば、ロボットは、すでにスケジュール50に入れられた、社交目的の訪問56、または娯楽事象58のためのリマンダを居住者に提供してもよい。薬剤遵守ルーティン54の間に、ロボットは、相互交流の目的を居住者に注意喚起し、投与する必要がある薬剤の量に留意し、また遵守ルーティンを進める許可を要求してもよい。本実例では、移動ロボットは、ロボットが、薬剤ディスペンサ、カートリッジ、または担体を含むかどうかに応じて、(i)薬剤が保管されている部屋へ行くように住居者に指図する、(ii)水と一緒に、ロボットが運ぶ1つのコップまたは複数のコップから薬剤を差し出す、(iii)居住者が薬剤を取り出し、服用できるように、錠剤ディスペンサの適切な部分を開くことがある。それに応じて、投与計画遵守の時間が来たことを単に居住者に注意喚起することによって、投与計画遵守の確率は増加する。しかしながら、この確率をさらに増加させるために、ロボットは種々の行為を行うことができる。例えば、ロボットは、関連した薬剤貯蔵部、担体、カートリッジ、またはディスペンサを備えてもよく、さらに、担体またはディスペンサを含んでもよい。遵守ルーティン54が、時間によって、または他の事象のトリガー(例えば、食後、遠隔介助者からの指図の時点など)によって開始されるときに、ロボットは、薬剤を居住者へ持って行く、または居住者を薬剤に連れてきてもよい。
図11Bは、典型的な投与計画開始のルーティン、Iを図示し、移動ロボットは、投与計画ルーティンを始めるために追随してもよい。ステップSI1では、移動ロボットは、現在の時間を確認し(または事象の発生に留意する)、それとスケジュール50(図6A)とを比較する。ステップSI2で、ロボットが、薬剤ルーティンまたは他の投与計画ルーティンを始める時間であると決定すると、ロボットは、ステップSI3で居住者を探し始める(そうでない場合は、制御工程はステップSI1にループバックすることがある)。探しルーティンを以下に説明する。ステップSI4では、移動ロボットは、居住者に問い合わせをし、その後ステップSI5で、相互交流の許可が与えられたかどうかを決定してもよい。そうであれば、移動ロボットは、SI6ステップで相互交流の行動を実行し、そうでない場合は、ステップSI7で、ロボットは、ロボットが拒否に関して遠隔介助者に連絡してもよいかどうかを決定するために与えられた許可を確認する。別法として、投与計画が重大でない場合(例えば、社交または娯楽事象)には、ロボットは、ステップSI10に移動して、その領域から離れてもよい。ステップSI8では、ロボットとの相互交流に対する居住者の拒否を介助者に通知することが許容されることを移動ロボットが決定すると、その後ステップSI9に進み、介助者に通知を送信する。一方、許可が与えられなかった場合は、オーバーライド状態が存在しないと見なされ、ロボットはステップSI10でその領域から離れてもよい。
典型的な投与計画遵守ルーティン、Cを図11Cに示す。ロボットの表示画面またはスピーカーは、表示可能もしくは可聴な指示、または薬剤の投与もしくは他の投与計画実行方法の説明を提供してもよい。スケジュール50が、投与計画の遵守ルーティン(例えば、朝のルーティン52、薬剤遵守ルーティン54、社交目的の訪問56、娯楽事象58)が予定されていることを示す場合、ひいてはロボットは、SC1に示すように、居住者が投与計画の遂行方法および理由を理解することを助けることができる。例えば、ロボットは、時間、事象、または他の要因に基づくか否かにかかわらず、人が服用する薬剤および服用するスケジュールを含む個人の薬剤投与量情報について説明してもよい。ロボットはその後、ルーティンの間の遵守を追跡するために、SC2で、ステップ=0に遵守カウンターを設定し、次いでSC3で、投与計画を遂行するために、第1のリマインダを渡してもよい。リマインダが最初に拒否されなければ(SC4)、ロボットは要求に応じ(SC5)、錠剤を提供したり、錠剤を保存する場所に人を誘導したり、運動指示を表示したり、かつ/または言葉で表現したり、ビデオ会議接続を準備したりすることによって助力する。設定時間または事象後、ロボットは、質問か、または他の遵守確信行為(例えば、錠剤ディスペンサの内容を確認する)とともに遵守を確認し(SC6)、遵守が確認されると(SC7)、ルーティンは終了し、ロボットはスケジュール50を監視するステップに戻る(図11A)。遵守が確認されると、ロボットは1だけ、遵守カウンターを増加させ(SC7’)、その後ルーティンが重大であるかどうかを決定する(SC9)。遵守カウンターがステップSC8でS+1だけ増加した後、ルーティンへの遵守がSC4で最初に拒否されると、再びこのステップSC9に至る。
遵守の確率を増加させるために、投与計画が重大でないときは、ロボットは、居住者が一時的に薬剤または投与計画を遅延することを許可する「スヌーズ」機能、SC9’を含んでもよい。スヌーズルーティンは、居住者、介助者、またはロボットによって、より重要ではあるが、重大ではないと見なされる特定の投与計画(例えば、薬剤遵守、治療遵守、など)のための再現に限定される。より重大ではない投与計画(例えば、社交および娯楽事象、予定された事象のない日の朝の起床、など)に関しては、スヌーズルーティンは、完全にタイムアウトし得る。スヌーズルーティンはまた、二次リマインダ(例えば、15分の遅延を許可する場合に、ロボットは、投与計画を有する遵守が間もなく要求されるというリマインダを発行してもよい)により修正可能であり、SC3に戻ってもよい。遵守の事情が好ましくない場合には(例えば、テレビ会議が予定されているときに、人が食事の準備をしている、など)、スヌーズ機能SC9’も同様に使用してもよい。投与計画遵守ルーティンが、必然的に居住者の制御によって中断または遅延する場合には、それは要求された遅延の後復活する。かかる遅延は、薬剤が何回およびどれくらいの期間遅延または拒否されてもよいか、介助者が遅延または拒否について通知されているか、またその通知方法に関して、指針を提供する延期規則によって管理されてもよい。
ルーティンが重大であれば、ロボットは、遵守カウンターが所定の閾値を満たすかどうか決定し(SC10)、そうでなければ、ロボットは、SC3で最初のリマインダを反復する。閾値を超える場合には(居住者による持続的な拒否に起因する)、ロボットには、より断定的なリマインダが提供され(SC11)、ロボットに他の音声(「Bob、この薬剤を服用することは非常に重要ですよ(Bob,it is very important that you take this medicine)」)を使用可能にさせる。または居住者に投与計画を遵守することを納得させるように感情応答(立腹する、悲しい)を行う。増加した断定的なリマインダが拒否されると(SC12)、ロボットは、必要に応じて、ステップSC13、SC14、SC15、およびSC15’(上記のステップSC5から開始する支援サブルーティンに類似している)を含み、支援サブルーティン経由で移動する。ステップSC17で、第2の閾値に到達するまで、継続拒否SC12は、遵守カウンターを増加する。さらなる遵守ステップとして、ロボットは、アプリケーションに応じて、居住者の許可の有無にかかわらず、継続拒否を介助者に報告してもよい(SC18)。この場合も先と同様に、重大と見なされる投与計画は、居住者の許可なく介助者に報告されてもよく、より重大ではない投与計画は、居住者の許可を要求する、または全く報告されなくてもよい。さらに、介助者または居住者の分別において、介助者への報告は、例えば、介助者が居住者に投与計画を遂行するように促すためのテレビ会議電話を含み、介助者の介入を行使する機会を提供してもよい。別法として、テレビ会議システムへのアクセスのない介助者にとって、ロボットの表示部は、介助者のためのアバターとして機能してもよく、そこでは介助者から受信した音声は、居住者と通信し、遵守を納得させるために、ロボットの表示部上の視覚素(および、任意に、音素)列に変換される。
ロボットはまた、意図的、または不注意に無視される場合においても遵守の確率を増加することができるように、その他の行動を取ることができる。非遵守に対する理由は、どんな行動を取るか、またはそれらの行動はいかに取られるかについて、単純なまたは条件に依存する忘れやすさを含む。その上、指定された時間、その他の時間またはスケジュール問題によって投薬が行われないこと、病状、完全な遵守投与計画に従う必要性への理解不足、および副作用に対する嫌悪またはその他の阻害要因のため、居住者が遵守できないことは、遵守に影響を及ぼすことがある。遵守投与計画に従わない場合、または連続動作中のいずれの時点でその他の問題が存在する、または生じる場合、ロボットは、助力を提供するために介助人を呼ぶオプションを提供することがある。介助人はまた、いずれの相互交流の実行を遠隔的に割り込むまたは決定することがある。
移動ロボットのカメラおよびマイクロホンはまた、ロボットがビデオ/テレビ会議局として、動作することを可能にする。ビデオ会議局として、表示部は、相手のアバターとして機能してもよく(介助人アバターに関して上記に述べたように)、また、ロボットは、MPEG−4、H.264、またはAVCなどの高圧縮のビデオ、またはその他のビデオおよびサウンドファイルを処理できるビデオ・コプロセッサ(coprocessor)を含むことがある。図12は、本発明の一実施形態に利用されることがある一般会議要求ルーティンVを示す。外部会議、すなわち、居住者主導の会議に関して、通話開始シーケンスで外部ビデオを提供する許可を提供することがある。しかしながら、通話の着信に関しては、居住者があまり要求しない場合、発信者は居住者を見ることができないことを保証するための許可が望ましい。
移動ロボットは、ステップSV1で、会議要求を受けることがある(例えば、標準IEEE801.11、または802.15、またはBlueTooth、UWBまたはその他のインパルス無線などの無線ネットワークプロトコルを使用したコンピュータネットワーク上で)。ロボットは、その後、ステップSV2で、居住者を見つける、または位置を特定する。居住者の捜索、および/または位置決めに対するナビゲーションの順序を下記の詳細を示す。移動ロボットが居住者を見つける場合、SV3のステップで、例えば、「会議要求を受け入れましょうか(Shall I accept this conferencing request?)」という、可聴および/または可視クエリーを発行することがある。ステップSV4で、移動ロボットは、マイクロホン、カメラ28、および/または口頭、身振り、または居住者からのその他の応答に対するその他のセンサを監視することがある。さらに、居住者は、ロボットの画面の1つの「受領」ボタンに触れ、ロボットの表面にあるボタンを押し、または特定のセンサに触れてもよい。ステップSV5で、ロボットは、会議セッションを始めることが許可されたか否かを、上記事象のいずれの1つ以上から決定する。許可を与える場合、移動ロボットは、ステップSV6で会議セッションを始め、別法で、移動ロボットは、ステップSV7で、セッションを拒絶することがある(場合により、遠隔会議要求器に通知を送る)。
居住者に役立つコンパニオンとして機能するために、ロボットは、予測不可能な家庭環境で操縦することができる。図13Aは、典型的な住居の見取り図またはフロアプランを示すが、ロボットは、空間または設計「図」を必ずしも必要としない。実施形態では、ロボットおよび介助人または居住者は、ウェブブラウザ、またはロボット自体の画面を介して、住居において関心のあるアクセス可能な部屋を表す概念的なアイコンのみを含む、アイコンセット(マップ)を作成する。
環境のトポロジーマップを構築するには、ロボットは、住居を動き回り、部屋または環境の他の区画を観察することがあってよい。これらの区画は、空間、例えば、廊下、大きな空間の4分円またはその他の部分などの論理的な分割であってよい。ロボットは、「灯台」を介して、または視覚的識別形状(窓など)により部屋の境界での空間を識別することがあってよい。米国仮特許出願番号第60/741,442号に前記空間境界識別子が開示されており、それらの開示は、本明細書にてそれら全体を参照することによって組み込む。さらに、ロボットは、天井に突出する兆候、自己類似タグなど、部屋の基準を認識することがある。天井に突出する基準の例は、米国特許出願第11/176,048号に記載され、それらの開示は本明細書にてそれら全体を参照することによって組み込む。ロボットはまた、走行距離計測法、光学的またはRF TOF(Time Of Flight)方式または到着角度測定の角度または三角測量により提供されるような位置情報を利用することもあり、部屋を識別するために、例えば、部屋の大きさの検出、最大対角線の大きさなどの空間的推定値を使用することがある。ロボットが環境内で種々の部屋/空間を探索する場合、部屋の隣接情報を獲得し、通常操作中、本情報を維持するために、トポロジーマップを構築することがある。ユーザ/居住者のインターフェースには、本マップ情報をキャッシュに入れ、オンラインサイトで保存してもよい。ロボットはまた、人または物により、処理され、認められ、または使われた無線周波数(RF)タグを認識することにより任意に人および物(充電局、戸、窓、鍵、ペットなど)を識別することがある。さらに、ロボットは、本明細書で説明されるように、署名、熱、音声、および/または視界パターンにより人を認識することも可能である。
いったんロボットがすべてまたは一部のトポロジー(および居住者/エンティティ情報)を完成させると、またはロボットがすべてまたは一部のトポロジー(および居住者/エンティティ情報)を完成させたときに、本情報をローカルに保存したり、または既に論じたようにウェブサーバに本情報を送ったりすることがある(または内容自体を供給する)。アイコンと部屋識別情報情報の組み合わせを使用するロボットナビゲーションのための方法に加えて、インターフェース、アイコンマップおよびマップとホームの間の有意の接続アイコンを構築するための方法を本明細書で論じる。ウェブクライアントは、ホームのアイコンマップを表示し、いくつかの実施形態では、実在の距離ではなく、トポロジーマップ上の距離により配列された部屋の収集として示すことがある。ウェブクライアントはまた、居住者または住宅内での他のエンティティに対する図またはその他のマーカーを画定し、表示してもよい。従って、住宅内でのいずれの特定された人または物の位置を追跡することができる。前記技術は、物または人がロボットに検出される場合、居住者または介助人が住宅内の物、人などの場所を監視することができる(タグまたは十分な認識資源を介して)。居住者またはその他のユーザは、「ここは浴室である」または「ここは寝室である」などのように、名前を変更したり、部屋を区別したりしてもよい。
それぞれの部屋およびエンティティの場所および識別性は、ロボットメモリまたはローカルまたは遠隔データベース内に保存され、例えば、ロボット表示または遠隔介助人局またはウェブクライアントに要求に応じて居住者に示される。ロボットは、部屋の基本リストおよび識別された人、物などを表示してもよいが、好ましくは本明細書で論じるように、アイコンマップに位置付ける。必要に応じて、居住者は、その部屋に行くためにロボットに命令するための画面に表示されたいずれの部屋に触れてもよい。本明細書で論じるように、プライバシーモードは、ロボットを部屋から部屋へ自律的に操縦する場合、ロボットのカメラは、遠隔介助人にアクセスできないことを必要とし、ロボットが興味のある部屋に到着すると、起動させるために居住者の一時的または信頼レベルの許可を必要としてもよい。識別された部屋に入ると(許可が適切な場合)、ロボットは、空間のビデオまたは静止画像を撮り、本データを表示するために居住者のもとに戻るか、居住者のコンピュータ、ネットワークテレビ、携帯情報端末へ遠隔的に送信するかのいずれかを行うことができる。また、ボタンまたはリモコンなどのための検索ツールとしてロボットを使用することがある。適切な認識能力(例えば、物体認識、適切な学習およびデータベースルーティンに基づくスケール不変特徴変換)を装備する場合、ロボットは、環境内で(例えば、最後に観察された場所によって)、現在追跡している人または物のリストを維持することができる。それらの項目の1つを選択することにより、居住者は、特定の人または物がある場所へ進むためにロボットを指示することができる。
図21A、21Bおよび22A−22Cは、ロボットを遠隔制御するために、操縦命令を実行するための方法を示す。本方法に従って、ローカルユーザ(居住者の住居でロボットを操作する居住者、介助人など、または設定技術者)は、部屋から部屋へのナビゲーションのために使用されるユーザホームの簡単なアイコンマップを構築することがある。本明細書に論じたようないくつかのステップは、トポロジー隣接性および/または住居を探索することを論じるが、基本的な方法は、トポロジーデータ、またはトポロジー隣接性を構築または理解するための探索を必要としない。すなわち、ロボットが、現在の部屋の固有性を識別でき、別の部屋の固有性を識別可能な部屋に移動するように命令される場合、ロボットは、トポロジーマップを厳密には必要としないが、探索する部屋を探すことができる最も近い部屋から部屋へのナビゲーションを使用して探索することができる。ユーザは、既知の部屋のトポロジー隣接性を識別することがあるが、好ましくは、ロボットがいずれかの隣接行列を構築するか、全く必要としないかのいずれかである。
図21Aに図示するように、ステップTM2で、ロボットは住居を探索する。本ステップは、不連続であり、後の工程で実施することができる。本状況では、ロボットは、単に無作為にまたは部屋から部屋への指示された道を移動してもよいが、好ましいモードは、ロボットが作動する領域へ居住者または介助人について行くように、部屋から部屋へロボットが誘導されることである。同時に、ロボットは、それぞれの部屋がどんな部屋であるかなど、座って待機するための好ましい場所を伝えられることがある。しかしながら、本方法はまた、遠隔的に実施されることがあるため、本探索は、すべてのアクセス可能な部屋のロボットをテレビ操作またはウェブ検索することを含むことがある(米国特許第6,535,793号および第6,845,297号に開示されたように)。ロボットは、その後、アクセス可能な部屋を数える(人により、または少数の部屋などに統合される過度な数などより修正されることがある)。本実施例では、廊下は、オペレータの視野から部屋とは見なされず、アイコンを割り当てられない(主として廊下に駐車したロボットは、障害となるため)。しかしながら、廊下もまた部屋として見なされる場合がある。
ステップTM4で、ロボットは、異なる部屋、ドックおよび充電器のトポロジー隣接を獲得する。ドックは、充電、および/またはデータ接続を提供することができ(例、ロボット基地局など)、充電器は、再充電することを目的とするが、データアクセスがあることもある。「獲得する」とは、人またはフロアプラン分析からのデータの入力をすることを含んでもよいが、一般に、ルーティンまたは人の助けによる、走行距離計測法またはローカライゼーションデータにしたがった、最終(トポロジー)パスおよびループを意味する。ステップTM6で、ノードは、ロボットにより割り当てられる。簡易化とは、より少ないノード、例えば一部屋あたり1つを意味する。しかしながら、ベースおよび充電器は、それぞれノードを備え、廊下は、一般に、アイコンマップに出現しようがしまいが、ノードを備える。加えて、ステップTM6に示すように、戸口および興味深い位置(例、テレビに向いている位置、椅子の後ろ、窓の近くの邪魔にならない所)はまた、ノードを割り当てられることがある。ステップTM8で、部屋数(例えば、住宅にいる場合、居住者または介助人がロボットを入れる部屋の数)は、部屋識別の数(例えば、ロボットにより発見される、または別法で、ロボットにより記録される、またはロボットに知らされる部屋数)に比較される。部屋識別情報が多すぎる場合、部屋数が部屋識別情報数に等しくなるまで部屋識別情報を組み合わせる。
トポロジーマップおよび/または部屋数がロボットまたはシステムにあると、ユーザマップまたはアイコンマップを構築することができる。ユーザマップおよびトポロジーマップは、はっきりと識別できる。ローカルまたは遠隔クライアントまたはロボットの表示部(PC、専用、携帯電話表示)にユーザインターフェース表示を使用して、ユーザマップを構築する。部屋識別およびマーカー(またはアイコン)に関連する人の識別は、ロボットおよび人の世界観を統一する最も簡単かつ最も信頼できる方法を提供する。居住者または介助人は、トポロジーマップの内容に示されてもされなくても良く、接続性およびトポロジーマップからの隣接がユーザマップを表示する(または別々に重ねて表示する、またはユーザマップとともに表示する)ために使用されてもされなくても良い。
図21Bに図示するように、ユーザマップを構築するために、ロボット、基地局、またはウェブアプリケーションは、ステップUM2のインターフェース経由でユーザに可能なマーカーを示す。図22Aに図示するように(ユーザインターフェース画面を示す)、1つのシステムは、図像、それぞれの部屋のタイプの単純な写真を使用する。図22Aに示した図では、事務所、居間、台所、寝室(1は寝室がまだ選択されていないことを示す)および浴室アイコンおよび/または文字列は、部屋識別マーカーとして示される。また、空の家のグラフィック表示(屋根付きの家の外観)を示す。この場合は、インターフェースは、識別される、残った部屋数を示す。ステップUM4で(UM2の前に来ることがあり、ノード次第ではないが部屋識別を決定するその他の方法によることがある)、ロボットは、部屋識別を照合することから新ノードに移動する。ステップUM6で、ロボットは、ユーザマップの構成を実施する人にロボットの視野を示す。図22Aに図示するように、ロボットの視野(1つ以上のカメラ28から)は、ユーザインターフェース経由で遠隔ユーザに示されることがある。これをローカルに実施する場合、ユーザは、ロボットがいる現在の部屋を確認するが、ロボットの視野を示す必要はない。
ステップUM8で、ロボット(またはウェブサーバなど)は、ロボットの視野または現在の部屋への部屋識別マーカーの1つの割り当てを要求する(図22Aから「どの部屋にロボットがいるか、ご確認下さい。(Please confirm which room the robot is in?)」)。居住者またはマップを構成するその他は、その後、部屋識別マーカーを選択する。本情報を受け取る1つの方法は、図22Bに図示するように、アイコンの1つの選択(カーソルマウスクリック、タッチスクリーン)を受け入れることにより、1つの部屋は、その後残りの部屋数から差し引かれ、選択した部屋の文字列確認が示される。さらに、今回またはその他の場合に、ルーティンは、ホームベース(充電器、ドック、RFアクセスポイント)を含む部屋を確認することがある。ステップUM12で、部屋識別情報(図22Bでは、「台所」の識別)は、台所アイコン部屋識別マーカーに関連する。ステップUM14では、割り当てられた部屋識別(「台所」)は、適切な部屋識別マーカーを備えるアイコンマップに割り当てられる。
ステップUM14は、実際は蓄積されるものであり、すなわち、それぞれの割り当てられた部屋識別情報をアイコンマップに追加し、マップを完成するために、ステップUM2−UM12は、ステップUM16が処理を終えるるまで、ステップUM14のそれぞれの反復に対して実施される。図22Cは、識別されるすべての部屋(5つ)がある、組立アイコンマップを示す。5つの部屋識別マーカーは、5つの割り当てられた部屋に対応し、5つの未知の部屋を説明する。完成したマップは、部屋識別情報(部屋のタイプと機能)および、さらに、任意的に、部屋(1つ以上のトポロジーノードを含む)を備えるグラフィック(マーカー)の接続として保存されることがある。確認は、ユーザがアクセス可能なすべての部屋を識別するかどうかをチェックする。図22Cおよび22Dは、部屋識別マーカーの間のラインとして部屋隣接を示すが、ユーザは必ずしもこれらを見なくても良い(同時に、マーカーまたはアイコンが、部屋から部屋への移動時間の直感的感覚があるロボットを人が作動することを提供するために、隣接および/または隣接ラインにしたがって、任意に配置される)。本明細書に記載されるように、ロボットは、遠隔ユーザの部屋識別マーカーの選択を代表する第1の操縦命令として表示された部屋識別マーカーにリンクされたユーザインターフェースを経由して部屋識別マーカーの選択を受け、現在の部屋を認識し、選択した部屋識別マーカーに対応する部屋識別を有する部屋内でロボットが認識するまで、第1の操縦命令に従って、異なる部屋識別のある部屋で、あらかじめ、同時に、またはその後に作動することがある。
アイコンマップを経由する指示は、精度を下げて、マルチモード半自律ナビゲーションを提供することができる。第1に、ユーザは、部屋識別マーカーを使用して部屋を選択し、ロボットは、そこに位置するまで、部屋識別情報がある部屋を検索するために部屋識別情報、および/またはトポロジー情報を使用する(トポロジーマップを使用する場合、検索よりもむしろ経路を計画する)。図19は、アイコンマップを使用し、第1モードを示す。ステップIN−2で、ロボットは、部屋識別情報、および/またはユーザ(多くの場合には、介助者、その他の例外に加えて、居住者が家の一部に閉じ込められている場合には、居住者からも)からのナビゲーション命令を受ける。図22Dに図示するように、オペレータは、部屋に対応するアイコンをクリックまたは選択することができる。図22Dの例示的なインターフェースはまた、アイコンマップ上の重ね合わせに加えて文字列を伴うロボット10の現在の場所および状況(台所、充電)を識別する。図22Dのインターフェースは、ロボットにより観察されたローカル場面をクリックする(または選択する)ために、すなわち、(地面の平面位置または目印の選択を介して)ロボットを位置付けたり、移動させたりするために、特定の部屋をクリックする(または別法で選択する)ために、それらの間で異なるオプションを提供する。確認ステップは示されないが、使用してもよい。
ステップIN−4では、ロボットは、現在の部屋を認識し得る。本明細書で論じるように、RF経由のローカライゼーション、基準、走行距離計測法、推測航法、物体認識、パターン認識、表面認識、または特徴認識などを含む、種々の技法が利用可能である。検出された部屋が、ロボットがいる部屋でない場合(インターフェースにより避けられた選択である可能性がある)、ロボットは、ステップIN−6で部屋を検索し始めるであろう。ロボットは、トポロジーマップを追従したり、または壁面追従したり、またはSLAMまたはこの検索を開始したりするためのほかのナビゲーションを使用し得る。検索はまた、本質的に無作為であってよい。新しい部屋に入ると、ロボットは、所定のノードにおいて、または任意に、部屋の認識を可能または容易にする位置において、停止したり、一時停止したりし得る。しかしながら、ロボットが最終的に見つけた部屋が検索された部屋識別情報に対応して見つけられたときに、検索された部屋をロボットが識別することが必要である。部屋を認識する方法もまた、本明細書で論じられ、ロボットがステップIN−8で正しい部屋にいることが確認できない場合、ロボットは、別の部屋に移動する。図19は、故障モードを特定されないという意味で、単純化され、ロボットが目的の部屋を見つけない場合、多くの場合、介入を必要とするであろう。ステップIN−10で、ロボットは、ロボットが自律的に接近することを可能にするために、モードを「ウェブドライブ」に変更し、遠隔またはローカルユーザがカメラ視野で地面の位置または目印(landmark)を選択することを可能にする。
ウェブドライブモードは、2つのサブモードを有する。図22Eに図示するように、ユーザインターフェースは、室内で、ロボットのテレビ会議カメラ28またはナビゲーションカメラ29を経由して観察された特性をオペレータがクリックすることを可能にし得る。ユーザは、ロボットを「誘導」したいという要求を(図22Eにおいては、ロボットの後部のプロファイルを表現しているアイコンをクリックするか選択することによって)示したり、すなわちジョイスティック命令のストリーミングを使用してロボットに直接的に命令したり、あるいはロボットを位置付けたいという要求を(図22Eにおいては、場面の一点または目印をクリックするか選択することによって)示したり、すなわち場面内のターゲットとして解釈されたx−y地面平面の位置を使用して比較的自律的に移動させたり、あるいは「移動」させたいという要求を(図22Eにおいては、アイコンマップのミニチュア表現をクリックまたは選択することによって)示したり、すなわちアイコンマップモードに戻り、新しい部屋を選択したりする。図20に図示するように、ウェブドライブに、ロボットは、ステップWN−2での遠隔使用から床の位置、および/または目印部位(床の位置またはノードに変換されることがある)を受け取る。ステップWN−4で、ロボットは、現在の場所を認識する。現在の場所の解像度は粗い可能性がある。すなわち、部屋における認識できる別個の位置はわずかしかない。あるいは、現在の位置を認識することは、ロボットには必要ないが、その代わりに、ユーザにより場面内で行われた選択からの視差または三角測量を使用し、前進運動の量を単に推測するためにすぎず、運動が完了するのを防ぐことがあるいずれの危険物の寸前で止まるために行動対象物検知および回避に依存することにより、その位置に移動するように試行する。いずれにしても、ロボットは、ステップWN−6で、場所に近づき始め、望ましい場所すなわち、ステップWN−8で、到達した場所である位置を解釈する場合、移動を止める。
図20は、新しい位置から、継続する工程、および地面の平面点によるウェブドライブから命令ストリームモードへの直接の移動を示すが、オペレータ(遠隔またはローカル介助人または居住者またはその他のユーザ)は、図22Eに図示するように、アイコンマップモードに至るまで、または命令ストリームモードに至るまでのステップへの機会があることを示される。命令ストリームモードが選択されると、例示的なユーザインターフェースは、図22Fに図示される形を取ることも可能となる。命令ストリームモードは、オペレータからのジョイスティックなどの(トラックボール、多角度パックコントローラ、マウス)運動命令を受けて、命令ストリームに従って、方向および方位でロボットを直接移動させる。直接運動の修正は、介在対象物検知および回避を経由する行動の監視、人または物に対する減速、スプライン曲線またはその他の移動予測、推定および平滑化、ならびに命令、実行およびフィードバックの間で待ち時間を処理するためのその他の規定を含むことができる。ping期間が極度に長い場合、地面の平面点ウェブドライブモードを有効にするために、このモードを無効にすることがある。
図22Fに図示するように、命令ストリームモードは、ジョイスティックをシミュレートするために画面上の能動的矢印制御を使用することがあり、これらの矢印を使用または位置付ける操縦の選択を提供することができる(図22Eに図示する図に戻ることにより)。図22Eに図示するように、効率的に操縦するために、スケール、方向、操縦に対する基準点として場面に現れるロボットの本体または先端の一部を有することはしばしば有用である。人間オペレータによる隙間、角度および距離の推定が向上する。図22Eでは、2つの異なるカメラの視野、すなわち地面の対象物を避けるために使用される地面の平面のカメラ、およびロボットの主要またはテレビ会議カメラ28から「目の高さ」の視野を示すためのロボット視野カメラの視野が示される。ロボットの本体、操縦基準、地面の平面視野は、別のカメラまたは同一のカメラからであってよい。ステップWN−10で命令ストリームモードへの変更で、ロボットは、上記で論じられるように、ステップWN−12およびWN−14を通してジョイスティックの命令ストリームまたはコントローラ命令を受け、ロボットは、命令ストリームWN−14に従って、実質的に直接に(待ち時間を伴うが)移動される。出口信号は、WN−16で、ユーザがロボットのその他の機能に戻ることを可能にする。
本ナビゲーション能力はまた、家を留守にする居住者、または家の特定領域に限定されている居住者に遠隔的に利用可能である。このような場合には、居住者は、インターネット接続経由(または個人的デジタル装置経由)で、遠隔的にロボットインターフェースにアクセスすることがあり、居住者はステータス情報を望む部屋または物を選択することがある。例えば、居住者は、ロボットに正面玄関に鍵がかかっていることを確認させることができ、ウェブブラウザに表示されるマップの居間を選択する。まず、ロボットは、その現在の場所を識別する(例えば、寝室D)。その後、ロボットは、廊下Fを通って、正面玄関が位置する居間Bに到達するまで、寝室Dから移動する。その後、ロボットは、居住者が、ロボットに開始点に戻るまたは異なる場所に移動するとの指示を行う時点で、正面玄関の視覚画像を取り、遠隔居住者に視覚データを送信することができる。あるいは、居住者は、まず、ロボットを誘導したい部屋を選択し、その部屋内の部位またはさらに特定の場所にロボットを方向付け、異なる位置に移動するためにロボットを方向付けることができる。ロボットはまた、部屋中を移動する場合、居住者にストリーミングビデオを送信することができる。さらに、本マッピングおよび追跡の機能性は、本明細書で説明されるように、適切な許可を持つ遠隔介助者に利用可能であってよい。
人間の居住者と相互交流する過程で、ロボットおよび居住者は、環境内で別々になることがある。遵守ルーティンの開始、テレビ会議の開始、または相互交流に起因して、ロボットが居住者との接触を必要とする場合、ロボットは、居住者を探し出すために環境を誘導することができるであろう。環境400の1つのナビゲーションパスの計画図を図14Aに示す。環境400は、それぞれの部屋に相互接続する廊下402に加えて示すように、部屋1、2、3および4などの複数の部屋を含むことがある。それぞれの部屋の入口および出口は、戸404により提供され、開閉されることがある。移動ロボット10は、相互交流または居住者の存在を必要とするその他のロボットの動きを開始する前に、居住者を探し出すための位置決め行動を実施することがある。例えば、基地局または充電局406でロボット10をドックに入れ、投与計画を開始しなければならないスケジュールを決定する場合、居住者がいることを表示するためのロボットの即時環境を監視しながら、環境400内で部屋から部屋へロボット10は進むことがある。
それぞれの部屋では、ロボット10は、人の存在に応答するセンサパッケージ(音検知、運動検知、脈拍検知、呼吸検知、および/または熱検知を含む)および/または可聴または可視クエリーを使用することがある。ロボット10はまた、ロボットの既知環境400の中央領域に移動することがあり、またはそのクエリーを開始するために、現在の場所(例えば、部屋の中央点)の観察領域へ移動することがある。この第1の初期集中型位置機能は、ロボットが、まだ現在位置おり、部屋を出る居住者を検知しなかった部屋または領域において、居住者と接触した場合、有用である。ロボットはまた、1回目の既知の部屋を巡回して、大きな領域の調査が可能な位置に停止し、あらゆる応答に対するセンサを監視する。誤った結果(コンロが熱すぎて居住者がいない、犬が低すぎて居住者がいないなど)を除くためにフィルタリングを使用することができる。
代替の実施形態では、ロボットは、人を検知するためのセンサの使用の有無にかかわらず、呼び出しシステムを使用してもよい。また、ロボットがセンサまたはその他の不良状態を抱えている場合、このタイプのシステムを使用してもよい。人を呼び出す場合、ロボットは、最適な短い距離(1実施形態では、約5m未満)で居住者を呼び出すために、ロボットから居住者への直通電話がより起こり得る場所から、別の部屋または室への戸口を使用することができる。ロボットはまた、部屋の副部分(より小さい領域)または外部からの経路または部屋の間で、この呼び出しを使用してもよい。ロボットは、1つの呼び出しで2つの部屋に到達するために、ロボット自体が戸口から呼び出してもよい。
人を検知する場合、ロボットは、スピーカーおよび/または録音された音声または音、または合成された音声または音を経由して、人がいるかどうか応える可聴または可視クエリーを使用することにより、人を識別するように試行してもよい。ロボットがすべての部屋を進む場合、図14Aに図示するように、人を示す音、動き、熱源を位置付けることなく、ロボットは、第2回の巡回または部屋を通るその他の経路(現在の部屋でスタートする)を実施するが、今回は、それぞれの部屋の可聴または可視クエリーを使用して、実施してもよい。センサ故障がロボットに適切な作動をさせないようにする場合、本検索方法を使用することがある。その他の手段は、家の中で人の存在を示す場合(例えば、ロボットが居住者の個人的無線IC(RFID)タグの存在を検知するが、その他の兆候を検知しない場合)、または人の存在を確認するが、クエリーの応答がない場合(例えば、脈拍および呼吸を検知するが、クエリー応答がない)、ロボットは、矛盾を解決するための手順を実施することができる。これらの手順は、介助者の確認電話の要求を含んでもよく、ロボットは、電話を経由して同一のクエリーを行うために検索した環境に電話してもよく、または、ロボットは、緊急サービスに連絡してもよい。
移動ロボットはまた、赤外線映像を分析する、または目的の人に対応する署名熱パターンを分析する、人の音声を認識するために音響分析を実施する、人に関連するまたは人に運ばれるRFIDまたは磁気タグを検知する、特定の運動または身振りを検知する、および/または、目鼻立ちまたは人により通常着装される記憶された服装のセットを認識するためにカメラにより生成されたビデオストリームまたは静止画像フレームの画像分析を実施するなど、人の身元を確認するために二次システムを使用することもある。
検索を継続するために次の場所を選択するには、移動ロボットは、光学的部屋特性認識、ソナー、RFID部屋タグ付け、赤外線(IR)方向性ビーコン検知、走行距離計測法、慣性誘導、推測航法、部屋マッピング、および/またはコンパス操縦のうちの1つ以上を含むが、それらに限定されないいずれの適切な方法を使用してもよい。一実施形態では、ロボットは、戸口またはその他の壁の隙間に利用可能な方角(マッピングにより、戸口への方位を推測できるビーコンの受動検知により、または戸口自体の能動的センサ検知により、利用可能な方位)を使用してもよい。移動ロボットはまた、適当な時間に戸を見つけることを目的とする任意経路を選び(例えば、信号反射を使用する壁追跡)、行き来する場合、戸口を検知するまで進んでもよい。ロボットはまた、壁追跡モードの間は、走行距離計測法および方位を分析することにより、戸口を識別してもよい。連続する走行距離計測法/方位の組み合わせを識別することは、戸口を行き来することを示す場合がある。次の場所に移動する際に移動ロボットがいずれの障害に遭遇する場合、移動ロボットは、選択した次の位置の座標位置に進むために、障害を一周する、または移動経路を調整したり、あるいは、移動ロボットは、障害で単に中断し、再度、クエリーを開始したりしてもよい。ロボットが移動経路を調整する場合には、ロボットが障害を通過し、その前回の方位に遭遇すると、所定の距離に到達するまで継続してもよい。さらに、ロボットは、そのクエリーを開始する前に、別の部屋か同一の部屋のいずれかで終わる閾値距離を単に移動してもよい。
さらに、図14Aに図示するように、移動ロボットが壁および/または戸404(開閉のいずれか)に遭遇する場合、環境400の障害、幾何学的、優先、トポロジー、格子、ボロノイ、またはその他のマップを生成することがある。それ自体のマップを生成する代わりに、マップは、居住者により、あるいは、スタートアップまたは所有開始シーケンスの部分として、ロボットに送信されることがある。このような場合には、ロボットは、環境内の一時的要素の場所を識別することにより、送信したマップを補う事がある。さらに、移動ロボットは、天井の特性(例えば、天井の端または形状、天井にある、または天井に突出するインディシアのパターンなど)に基づく環境400内の姿勢および/または部屋を認識するために上方向きカメラを備えることがある。米国特許出願第11/176,048号に該システムを開示し、それらの開示は本明細書にてそれら全体を参照することによって組み込む。移動ロボットはまた、次の場所または既知の戸またはノード接続トポロジー分岐を経由して利用可能なノードを選択することにより、次の場所を選択する方法を調整することができる。いくつかの理由において、閉まっている戸により潜在的経路を閉鎖することが可能である。
移動ロボットが閉まっている戸に遭遇する場合、可聴信号を閉まっている戸に適用することにより、反対側にいる人と連絡することを試行してもよい。例えば、移動ロボットは、ドアのノッカー(ソレノイドなど)、または閉まっている戸への可聴信号または告知を送信するために閉まっている戸に適用できるスピーカーを含んでもよい。それに応じて、移動ロボットは、人がロボットにアクセスできない領域にいる場合も、人に接触を試みることができる。
また、移動ロボットは、能動的または受動的検知または環境400のマップに基づいて選択した次の場所への経路を計画することができる。または、移動ロボットは、誘導する場合、走行距離計測法、および/または慣性誘導を装備することができる。このような方法で、移動ロボットは、例えば、戸を行き来する場合を識別することができる。あるいは、移動ロボットは、例えば、赤外線ビーム検知(例、米国仮特許出願第60/741,442号に開示されるようなナビゲーションおよびビーコンシステム)、RFID部屋または戸のタグ付け、タンク回路またはアモルファス金属タグの誘導検知または共鳴検知、光学的特性検知または画像分析などのナビゲーション、マッピング、および部屋の識別に対するいずれの適切な方法を使用することがある。ロボットはまた、環境の視覚および走行距離計測法データを作成するために、機械視覚ベースの方法、計算資源、およびセンサを使用するSLAM手法(SLAM)を使用してもよい。米国仮特許出願第60/822,636号に該システムが開示され、それらの開示は本明細書にてそれら全体を参照することによって組み込まれる。
図14Bに示す位置決めルーティンは、まず、(任意の)ステップSL0で居住者に対するローカル領域の確認(例、熱分解熱センサ、および/または音声、および/または動きまたは服装の視覚認識、および/またはタグまたは居住者により使用されたその他のエミッタ、および/または確認するために使用されたいずれか1つまたは少なくともほかの1つとの組み合わせ)を含んでもよい。居住者が、高い信頼があることを感じ取る場合、ルーティンは、成功ルーティンに直接進んでもよい。しかしながら、ルーティンはまた、その検知を確認しようとしてもよい。位置決めルーティンが、まず、居住者を確認しようがまたは直接クエリーに進もうが、ステップSLlでは、当該確認または直接のクエリーは、人を検知する場所で、またはまだ確認されていない位置でSLlに示すように、「いますか(Are you there?)」と、単純クエリーを必要としてもよい。代替として、クエリーは、追求された人の名前を特定してもよく、または例えば、単純トリル音、またはその他の感情的音声、または「メアリーはここですか(Mary here?)」などの認識能力の低いレベルで暗示することを目的とするメッセージであってもよい。移動ロボットは、その後、ステップSL2でタイマーの秒読みを始め、クエリーへのいずれの音声応答に対する音声センサSL3(マイクロホンなど)を監視してもよい。移動ロボットは、音声応答をステップSL4で検知したことを決定し、移動ロボットは、その後、次の仕事に進むことができる。一方、応答を検知しない場合、または非雑音応答がロボットのライブラリの応答に対応しない場合(例、居住者以外の人からの「退去」)、移動ロボットは、ステップSL7でタイマーを確認することができる。時間切れの場合(ステップSL7で決定する場合)、移動ロボットは、その後、次の場所のSL8に移動し、工程を繰り返すことができる。別法で、移動ロボットは、ステップSL3に戻り、タイマーがサイクルを完了するまで、応答に対する音声センサを監視し続けることができる。
ロボットの音声告知は、「叫び」のような音を発てる、またはクラクションまたはその他の大きな音声を含む必要はない。それよりむしろ、アナンシエータの音声レベルは、通常、部屋または隣接の部屋で他人に不快感を与えないことである。一例として、通常の背景雑音は約35dBであり、アナンシエータは、約55dBから約65dBの通常会話の声の大きさ、または検知した背景雑音よりも少なくとも約15dB大きい音である。居住者が難聴であると見なされる場合、ロボットは、最大約75dBまたはいくつかの他の閾値に音量を増加することができ、可視信号を追加する、および/または居住者が携帯する遠隔振動器を起動することができる。アナンシエータの音量は、検知された背景雑音よりも大きい約10dBから約20dBに減少することができ、および/または高齢者または様々なタイプの難聴である人でさえ、通常は、可聴する周波数(すなわち、約500Hzから約5000Hzの範囲内)にピッチを調節することができる。
居住者の必要性に対し、さらに迅速な応答を容易にするために、またはロボットが居住者から離れる時間量を制限するために(従って、さらにつながりを深める)、居住者周辺にロボットを保持する、または部屋から部屋への居住者を追跡しやすいセンサパッケージおよび反応行動をロボットは提供することができる。単に、部屋から部屋へ居住者について行くことは、ロボットの絶え間ない存在に居住者側に不快感を与えることがあり、従って、ロボットは代わりに、居住者の近くにロボットを置くようにするが、近づき過ぎないように、行動および仕事を引き受ける。行動は、(i)ロボットが居住者に近い可能性を高める、(ii)ロボットが部屋にいる、または居住者がいるまたはいる予定の部屋の近くにいる、および/または(iii)居住者がより短い時間で見つける可能性を高めることができる。
このために、一実施形態では、ロボットは、快適得点または存在得点(または実行を別の視野から見た場合、不安得点)を維持することがあり、居住者の存在において増加する、増分する、または完全に満たすことがあり、時間が経過する、または事象が居住者を観察することなく生じる場合、ジャンプまたはステップにおいて減少する、減衰する、または縮小することがある。快適得点が閾値を過ぎて減衰する、またはある範囲または領域に入ると、ロボットは、不快として得点を出すことがあり、居住者捜し行動または居住者へのロボットの近接を向上するようなその他の行動を起動する、または変更することがある。直接クエリーを行う居住者を察知する、または居住者の存在と関連がありがちな事象(熱、音声、運動)を確認する時点で、居住者または事象の検知の特徴により、快適得点を満たす、または徐々に増分することがある。
快適または存在得点を利用する例示的な追跡ルーティン(得点が居住者に近接することに関連する場合)を図15に示す。好ましい実施形態では、得点を上げるおよび下げることは、別の工程であり、同一得点を得たとしても、別の理由を生じることがある。電池の状態、またはドック近接などのその他の要因もまた得点に影響を及ぼすことがある。初めに、ステップST2Aで、例えば、居住者が近接である場合、得点は、最大(十分に満たされる)となることがある、または居住者が近接である場合、一定量により向上または増分することがあるなど、改善状態を設定する。これらは、異なる時刻または異なるユーザ選択により異なる場合がある。存在または快適得点の改善プロセッサ閾値は、その後、ステップST3Aで起動する。ステップST2Bで、例えば、居住者を検知しない場合、得点は、その日の初めに、半分(十分に満たされる)となることがある、または一定量、定速または加速により向上または増分することがあるなど、減衰状態を設定する。これらはまた、異なる時刻または異なるユーザ選択により異なる場合がある。存在または快適得点の減衰プロセッサ閾値は、その後、ステップST3Bで起動する。例えば、ロボットは、睡眠中の居住者の存在を検知し、最大値で快適得点を維持または再度増分するが、寝室で、アイドル、充電、または睡眠状態で、開始してもよい。ロボットは、停車または待ち状態を入力すること、またはそのセンサを監視することにより、居住者に近づいてもよい(ST7)。人が退室する場合、人についていくようにロボットを誘導しない場合、快適または存在得点が制御する閾値に従って、減衰するが、部屋にとどめてもよい。ロボットは、例えば、ロボットが充電局に近いか否かを測定する安全得点を追加するなど、競合得点を維持してもよいことに留意すべきである。快適得点が閾値内である、またはその他の得点と一緒である限り、ロボットは、捜し行動の優先順位を起動する、または変更することができない。これは、充電器で、または居住者を捜すために停止した最終の位置で駐車したロボットを生じる場合がある。閾値を超える場合(ST5)、居住者を見つけるおよび居住者に近づくために部屋を退出することにより、ロボットは、居住者を見つけようとし始める(ST6)。部屋に1つ以上の出口がある場合、ロボットは、居住者(図示せず)が使用した出口を記録し、再現することができる。いくつかの点で、ロボットは、居住者が存在する部屋を見つけてもよい。居住者を見つける場合、快適得点または存在得点は、ST3Aの閾値に従って改善し、ステップST7では、再度、居住者に近接するロボットに近づき、停車するだろう。
ロボットは、その後、静かに、または簡単なコメントまたは雑音を伴い、居住者と同室に、通行経路を妨げない位置で自ら駐車する。廊下および浴室などの非常に小さい部屋は、立ち入り禁止である場合があり、ロボットは代わりに、近くの部屋に自ら駐車することがある。この点で、快適得点が最大に到達するとすぐに、再度サイクルを開始する。ロボットが居住者を見つけない場合、充電局の安全性またはその他の快適を生じる事象を要求する場合がある。このように、ロボットは、居住者についていかないが、居住者との距離は、通常、あまり離れていないことがあり、ロボットは、しばしば、同室にいる場合がある。ロボットはまた、居住者から応答に反応する、および/または相互交流を招くために、連絡を取ってもよい。それに応じて、ロボットは、さらに自然のエンティティとして考えられ、居住者が即時に居場所を確認できることを確実にすることに加えて、招かざる不快な追跡行動がなく、居住者との近接を維持することができ、うまく人との交流を行う可能性を増進することができる。追跡行動を使用することにより、居住者を見つける場合、または居住者がロボットを呼ぶ場合、ロボットは、居住者の近くにいることの可能性を高める。検知範囲内に駐車することは、ロボットがそれほど頻繁に捜索する必要がないが、ロボットは、検知範囲内にいる必要はなく、捜し始める時より居住者に近いところにいる必要がある。充電局が近い場合、ロボットをドックに入れ、充電する。さらに、たとえ充電器が検知範囲外にあるとしても、ロボットが追加の電源を必要とすると決定する場合、ロボットをドックに入れ、近くの充電器で充電することができる。
あるいは、または加えて、ロボットは、ロボットにより維持された得点よりもむしろ快適得点を割り当てられる部屋では、仮想フェロモンシステムに従って運転することができる。一方、居住者が特定の部屋または場所で観察されない場合、その部屋の快適得点は下がる。頻繁な使用のある部屋への入室は、快適得点を増分し、ロボットは、快適得点を増加する傾向にある部屋へ誘導しがちな場合がある。これらの特性は、時間に依存することであり、ロボットは、まず午後7時にポインタの部屋で見つけられ、就寝時間後、寝室で見つけられ、減衰率は、部屋の変更の回数(早朝の活動)または安定性(夜間余暇活動)と関連がある場合がある。従って、ロボットは、快適得点の低い場所を捜しに行く前に、快適得点が高い部屋に居住者を捜し出すことを選択することができ、従って、潜在的には人を捜す可能性および標準速度を高める。あるいは、または加えて、ロボットは、快適関連の部屋マップ、ランドマークマップ、またはトポロジーマップを形成することができ、象徴またはセルが居住者の隣接した、または居住者に使用されている可能性に従って、象徴またはセルを更新し、この場合は、それぞれのセルは、部屋、廊下、またはほぼ部屋の大きさの領域に対応する。
あるいは、または加えて、ロボットは、モーター、ドライブ、または誘導目標空間に快適得点/ベクトルをマップする力、ベクトル、またはポテンシャル場に従って運転することができる。快適得点は、快適潜在性の高いベクトルまたは領域であり、時間とともに減衰する場合がある。ポテンシャル場の居住者の快適潜在性は、居住者がいる部屋にロボットが自らを駐車する場所を決定するために、充電器、基地局、または記録された無線信号強度の領域の快適または安全性の潜在性と比較することができる。領域は、ロボットが居住者に近いところにいるが、近すぎず、また、その部屋で利用可能な無線信号強度の強い領域にいるべきであると定義することができる。
移動ロボットは、ある状況で居住者を追跡および尾行することにより居住者にうまく近接状態を維持する割合を向上することができ、例えば、居住者が退室した、および/またはある時刻の間、および/または居住者により行動のパターン後をロボットがうまく検知する時間の固定または可変の割合を向上することができる。例えば、居住者が就寝する準備を始めることをロボットが認識する場合、ロボットは、居間から寝室へついて行くことができる。さらに、または代替としては、ロボットは、居住者の日常のルーティンまたはスケジュールの記述を記録、解釈、または入力の受け入れをすることができ、居住者より前に適切な部屋を予測し、移動するための予定を使用することができる。
ロボットは、居住者が存在の有無を尋ねる、積極的な応答を受ける、または、例えば、居住者または介助人からの通信、および/または入力を経由して、居住者を対象にするロボットへの注意を向けるなどによる、いずれの適切な方法で、居住者の存在に初めに気付くことがある。ロボットは、物理センサ、または赤外線センサ、熱センサ、運動センサ、光学的センサ、マイクロホンまたはその他の音響センサ、電気特性センサ(例、静電容量)またはいずれの他の適切な物理センサなどの種々のセンサからの入力を使用して、居住者の存在を検知することができる。あるいは、居住者は、能動的または受動的RFなどのタグ、またはRFIDタグ、タンク回路、音響エミッタ、光源、変調された信号などを運ぶことができるいずれかを運ぶことができ、ロボットは、居住者を識別し、捜すために使用することができる。医療呼び出しブレスレットなどの品目とともに使用する場合は、種々の医療の状況にロボットの反応時間を増加するためにその品目がとても有用になる。別例として、ロボットが仕事を実施するために居住者を捜す場合(上述の実施形態に記載されたように)、ロボットは、その後、居住者の場所を追跡し続け、居住者が環境内を移動する場合、居住者を追跡することができる。
環境を誘導する間、ロボットは、種々の候補対象物(室温より高い、運転中、または雑音を発する対象物)に遭遇するが、追求された居住者であるかどうかは分からない。候補対象物が居住者である可能性が高いか否かを決定するために、ロボットは、居住者がいる特定のセンサ入力プロファイルを関連付け、居住者のセンサプロファイルを有するロボットの範囲内に来るあらゆる対象物と比較することができる。例えば、Annが介護を受けている居住者である場合、ロボットは、Annとともに、またはAnnのために仕事を実施する経過中、IRセンサを使用してAnnの平均体温、カメラおよび/または画像分析器を使用してAnnのおおよその大きさ、同じ方法で、Annが普段よく装着している服装の組み合わせ、マイクロホンまたは音響センサを使用してAnnの声の高さ、またはAnnの呼吸音などを記録することができる。これら、またはその他の入力に基づいて、ロボットは、Annの特徴であるセンサプロファイルを生成することができる。さらに、ロボットは、適切なモデルまたは認識モデル、例えば、ベイジアン分析、隠れマルコフモデル、これらの2つに依存する技法、またはフィルタリングおよび認識に対するその他の統計または発見的ルーティンを使用することにより、居住者の特徴センサプロファイルを分析、または引き出すことができる。
ロボットはまた、複数のエンティティのグループ化された特性を追跡し、特定のエンティティ、および/または空間(トポロジー空間またはその他の概念上の代表的空間を含む)のエンティティの場所として表示されたグループ化された特性の持続的記録を維持することができる。ロボットが居住者の特性センサプロファイルに観察された対象を比較する場合、観察された対象である、つまり、居住者を概して可能性に関連付ける比較得点を生成することができる。観察された対象の比較得点が、閾値を越える場合、ロボットは、通常、居住者に近接を維持するために対象を追跡できる、または居住者である可能性が高いことを決定されるために、2つ以上の観察された対象の比較得点を順位付けすることができる、または比較が異なる上記の閾値をもたらす場合、1つの対象から別の対象へ追跡を切り替えることができる。ロボットは、居住者から直接の身元確認を捜すことなく、可能性分析に依存することがある。ロボットは、居住者からの特定の距離または距離範囲の維持を試みることができ、遅延または距離の閾値を超えた後のみ、反応することができる。
環境内で、ロボットが電源を再充電または供給を得るために、1つ以上のドックまたは基地局(再充電ドックまたは再供給ドックなど)を配置することができる。かかる充電局のうちの1つの場所を図14Aに示す。それぞれのドックは、壁にある電源出力に接続され、再充電のためにロボットがドックとインターフェースをとることを許容する。ロボットは、電源出力の高さおよび/またはドックターミナルの高さに、充電端子を有する。ドックは、1次元または2次元のバーコード、自己類似記号、または天井またはその他のすぐ目につく表面に投影されたその他の解釈可能な記号を認識するための上方向カメラまたはセンサを使用するロボットを用いて、天測ナビゲーションを採用可能である。解釈できる記号には、部屋のドックのタイプに対して解釈できる情報(充電、投与または消耗品の再補給など)、代表的な部屋(居間、食道、台所、寝室)、隣接した部屋、戸口の数および/または戸口の位置、および/またはドックに記録された情報を含むことができる。部屋の中でのドックの存在およびドックのタイプは、ロボットが実行可能な充電を維持する可能性を高めるためにロボットの快適得点、安全得点などを増分する、または変更することができる。ロボットは、ドックの記号を光学式走査する、RFIDタグがドックに付けられる場合にRFIDタグを検知する、ドック場所の最初から組み込まれているマップを用いるなど、いずれの他の適切な方法を用いて、ドックの存在を検知することができる。
投与計画の遵守支援ルーティンを図16に示す。ステップRC−2で、ロボットは、延期規則に加えて、居住者への薬物治療の投与計画に対応する薬剤投与量の情報など、個人的な投与計画の遵守情報のデータベース(ローカルに、遠隔的に)を確認する。データベースには、一回分の錠剤の数、投薬する時間および方法、食事の前後数分間または1時間の遅延が可能であるか否か、投薬がその他との併用が可能か否かなどを含む。本ルーティンは、健康志向の投与計画(運動、治療法、瞑想など)に適用可能であり、矛盾がない場合には、薬剤投与量情報および「投与量」の議論は、あらゆる種類の投与計画に関連する活動をも含む。
ロボットは、将来のある時間に居住者の近くにいる必要があることを予想するのに十分な頻度で情報を確認する(例、スケジュールに変更を適応することよりも先に頻繁に確認すること、または事象よりも先に備忘録を設定することにより)。RC−4で、事象がもうすぐ生じる(備忘録/リマインダにより、予想される、または知られている)場合、ロボットは、人/居住者を捜索し始める。本明細書で論じるような近接のルーティンを維持する場合に、居住者がとても近くにいる可能性は有効である。しかしながら、近接のルーティンを維持しない場合でさえ、ロボットは、住居全体を行き来するためにあらかじめ、十分な時間を持って予定を立てることのみ必要であるが、ほとんどの場合、必要ないであろう。既に記載されたように近接事象を使用するよりもむしろ、ロボットは、事象を必要とするそれぞれの日および時間に、居住者を見つける部屋を記録することによりスケジュールを学習することができ、つまり、命令は、1日の所定時間に、居住者がいる確率が最も高い部屋、2番目に高い部屋などを学習するであろう。ステップRC−8で使用した人探しルーティンは、本明細書で説明されるようなものであり、人の識別性を確認するための検証ステップを含むことができる。
居住者を位置付け、識別性を検証する場合、ロボットは、居住者の隣を位置に定める。居住者が他のことで忙しいため、ロボットは、好ましくは目立たない位置(例、壁際、すぐ近くの充電ドック、部屋の隅、居住者が座る椅子の肘掛けのそば)を取り、予定された事象を待つ。RC−16で、一般化した投与計画の遵守事象がある場合、居住者は、適用を期待される投与計画活動を思い出させられる。運動に関しては、ロボットは、コーチの役目を果たすことができ、画面に運動を表示することができる。また、ロボットは、生の運動セッションにリンクし、居住者により実施される運動に自身の動作を同期化することができる(本明細書で論じるように、特定のスクリプトされた事象またはスクリプトされない刺激に一致するために、変調および制御されたその他の適切な運動表現とともに)。治療法に関しては、ロボットは画面に治療法を表示でき、特定の装置に居住者を誘導する(または同一のものを運搬する)ことができ、生の、または録音されたセラピストにリンクすることができ、居住者の状況情報の報告をすることができる(例えば、運動および治療後、心拍数、血圧、呼吸数の報告、居住者に測定させるか、搭載対話型センサの使用のいずれかにより)。
本明細書で説明されるように、ロボットは、十分な接続性、電源、ネットワークアクセス、安全性、および健康支援器具への可動性への支援を含み、カリフォルニア州レッドウッドシティーのHealth Hero Network社から入手できる「Health Buddy」の一例は、米国特許第5,307,263号に記載され、本明細書にてそれら全体を参照することによって組み込まれることに留意すべきである。典型的な装置は、小さいカラーLCD画面、ソフトボタン、医療機器、およびネットワークインターフェースを搭載する1.25ポンドの装置である。それには、USBポート、RJ−45のEthernet(登録商標)ネットワークポート、および組み込み用クラスメモリ(64MB)およびプロセッシング(ARMプロセッサ、Linux OS)を含んでいてもよい。装置は、通常、ACアダプタを経由して5−24VDCにより駆動する。企図されるロボットは、さらに、器具や機器のために、頑丈で長時間(毎時2400−9000ミリアンペア)の電源、オンオフサイクルの高性能制御(必要な場合のみHealth Buddyを作動する)、機器および器具に供給するための移動性および患者の探索、追加の機器、無線装置、ポケベル、電気通信への追加のネットワーク接続性、全画面表示、全面的な支援、および生の個別指導および説明、ビデオ会議、遠隔観察、統計報告、強化制御およびインターフェースを提供することができる。当該器具は、血糖測定器、ピークフロー測定器、スケール、血圧計、パルス酸素濃度計などからデータを収集するために、ネットワークインターフェースを経由して接続することができる。ロボットは、傍受、分割、転送、また別法で、同一の機器にリンクすることができる。投与計画の遵守リマインダは、独立した、またはリンクしたスケジュール、その後に続く経路収集されたデータ、インターフェース事象、伝達、および本明細書に記載される器具の支援ネットワークまたはロボットネットワークを経由して本明細書に論じられるようにすべての他のデジタル処理で伝導できる情報に従って、Health Buddyまたは同等の装置へ委託を引き渡すまたは、それらから受け取ることができる。Health Buddyは、Linux製の装置であり、本明細書で論じるように、接続性の限定されたサブセットおよびロボットのユーザインターフェース要素を有し、すべてのHealth Buddyの工程、ソフトウェアおよびインターフェースは、画面上に表示可能な、タッチ画面またはソフトボタンなどのユーザインターフェース要素により制御可能な、ユーザインターフェースを含み、本明細書で論じるように、ロボットにより直接起動することができる。本明細書で論じられる、投与計画遵守、スケジューリング、相互交流、報告およびすべての他の遵守および医療報告は、居住者または患者の探索、リマインダ、住居誘導、および居住者の場所認識、薬剤搭載および運搬、プライバシーおよび許可投与、および人間とロボット相互交流により支援されるように、本明細書に記載される移動ロボットにより支援、運搬、および/またはリンクされるようなHealth Buddyなどの器具のすべての使用を明確に含み、本明細書の特許請求は、明らかに、当該付属器具は、「ロボット」、「ロボットシステム」、あるいはロボットまたはロボットシステムの作用、誘導、または別の制御方法に該当するとみなす。
遵守事象が薬物摂取に関与する場合、ステップRC−12およびRC−14は、特に適用可能である。これらの特許請求の範囲に照らし、「照合」は、薬剤投与と同一時刻に同一の場所に居住者を配置することが仕事であり、人への薬剤投与または人を薬剤へ誘導することを含むことができる。移動性が作動していない故障モードでは、照合は、単なるリマインダにより置換される。ステップRC−12では、人が知覚可能な信号(記録された音声、同期化された音声、表示された画像、または表示された文字列、閃光灯または点滅する光、ポインタ、または線画、またはハイライト)は、居住者へ「送信」されたものであり、居住者に薬剤を見つける場所(実際、ロボットにより携帯されるすぐ目の前にあることがあり、またはネットワーク化されたロボットシステムの一部である薬剤ディスペンサが保管される部屋にあることがあり、本明細書で論じられるようなその他の変化に加えて、居住者のために通常保存される薬剤の場所であることがある)を示す。ステップRC−14で論じられるように、誘導することは、薬剤の場所を居住者に示すまたは導く仕事であり、ロボットに薬剤の画像を示すことができ、ポインタまたは指示器にはロボットが携帯するディスペンサに対する注意を示すことができ、または居住者が語られたメッセージ、音、または表現行動によりロボットを同伴すべきであることを表わしながら、ディスペンサが位置する浴室またはその他の部屋に向かってロボットを実際に移動することができる。
照合の1種を図17Aに示す。本ルーティンでは、投与計画の支援対象は、図3A−3Cに示すように、ロボットが携帯するディスペンサを含むことができ、該ディスペンサは、ロボットにより携帯される、またはロボットにより保存される場所に置くことができ、また、ロボットにより携帯される、またはロボットにより保存される場所にある医療機器(血圧計、グルコース、心拍数など)や治療機器を含むことができる。ロボットは、上記に記載されるように、ステップM−2で人が知覚可能な信号を送信し、投与計画の実施場所を示し、この場合には、ロボットのディスペンサ場所を示す。投与計画支援対象の外観(すなわち、絵による描写)は、対象をロボットに位置付ける場合、表示部またはその他に示す(近隣の表面に投影することもできる)。ロボットは、ステップM−4で動画を示すまたは投与計画支援対象に近い第2兆候を起動することにより、対象に居住者を誘導する。照合の第2種を図17Bに示す。本ルーティンでは、ロボットは、上記に記載されるように、人が知覚可能な信号を送信し、投与計画実施場所を示し、この場合には、薬剤を保管するまたはその他の遵守活動を実施する部屋またはその他の場所を示す。ロボットは、ステップM−8で居住者を場所に誘導する。
図18Aは、リマインダルーティンを実施し、遠隔地の介助者に介入する機会を提供するためのルーティンを示す。このルーティンは、図16のステップRC−16で行うことができる。本明細書のステップRC−16では、適切な期間後であって、本明細書で論じられる任意の方法によって実行されるリマインダの後に、ロボットは、非遵守の表示、例えば、居住者の拒否および/または失敗の記録を確認し、スケジュール投与計画事象の完了を成功させる。ロボットは、本明細書に論じる相互交流方法のいずれかを介してこれを記録してもよい。手順は、無事完了すると終了する。ステップRC−18では、ロボットはネットワーク(本明細書に論じる安全性および認証を使用して)、および好ましいチャネル(デスクトップビデオチャット、携帯電話、電子メール)を介して介助者に接続する。介助者は、ステップRC−20で介入する機会(一部の例では、介助者による投与計画遵守の介入を許可する、居住者が事前に与えた、または拒否した許可によって制御される)が得られる。介助者が介入することを選択する場合には、ロボットは、着信通信チャネル(例えば、ロボットと介助者が両方接続するネットワーク経由のチャネル)を介して、人が知覚可能な信号(電子メール、録音メッセージ、ライブチャットまたは通話、ロボットが話す文字列)の通信を受信する。
図18Bは、ロボットが制御または監視できる薬剤ディスペンサに薬剤を充填するためのルーティンを示す。既に論じたように、かかるディスペンサは簡単であっても、または複雑であってもよい。簡単な種類は、ロボットが装置を監視しないが、居住者と単に相互交流する場合、ロボットによって運搬される標準プラスチック区画装置である。ディスペンサのさらなる特性は、区画の電子機械的開閉および区画の提示;数日分の投与量または瓶一杯の錠剤のカートリッジ化;「Dixie」の紙コップ入り錠剤または水、充填可能な使い捨て浮袋の水、または水差しを運搬する、交換需要品の通信販売または他の配達便をスケジュールするために、居住者による支払いシステムおよび/または検証に任意に接続されるカートリッジの監視;薬剤の有無のセンサ検知;個々の区画またはディスペンサ容器全体の有無のセンサ検知;シリアルインターフェース、センサーバス、汎用入出力または有線もしくはRFネットワークとともに、簡単なマイクロプロセッサを介して、ロボットまたはロボット基地局に接続される上記のいずれかを含んでもよい。
図18Bは、居住者−薬剤を必要とする人−が自分自身でディスペンサに充填するルーティンを記述する。先述のように、ディスペンサは、永続的にロボットに付随する、ロボットによって運搬される、ネットワーク化されるが浴室または同等物に設置されてもよく、さらにこれら後者2つの役割間で切り替えてもよい。ステップは機構的であり、いくらか検証する余地があるが、居住者がロボットおよびディスペンサと相互交流することに精通すると、時間を短縮できる。ロボットによる助手から大幅な利益を得ることができるほとんどの居住者は、どんな場合でも、自身の薬剤計画に対して責任があることになる。しかしながら、図18Bにおけるすべての場合で、居住者は、介助者、付き添い人、他の家族などと交代してもよい。ステップML−2では、ロボットは、ローカルまたは遠隔メモリから、その日の薬物補足物を検索し、さらに補足物、投与量規則(ディスペンサがかかる能力を含む場合には、収集、充填、または水を以後供給するかどうかを決定するために)、および同等物に関して、薬物のローカルまたは遠隔メモリ画像を検索してもよい。
ステップML−4では、居住者は、ディスペンサの充填が準備完了かどうか問われる。これは、本明細書に論じられる他の任意の遵守事象として任意に対処され、スヌーズの遅延、介助者への報告、および本明細書に詳述された同様の手順を受けることができる。ロボットが、居住者のディスペンサに使い残しの薬物があるかどうか確認する、および/または本人がすべての薬物を使用可能にしていることを期待するMSG−4に簡単な会話を示す。ステップML−6では、ロボットはそれぞれの薬物に対し、繰り返し話して進む。ロボットが薬剤のための特定の投与計画を計画し、薬剤の名前を使用し、薬剤の画像を示し、ユーザにチャンバ、区画、使い捨てコップ、または薬剤の他の入れ物に充填することを要求するための、簡単な会話をMSG−6に示される。より多くの薬剤が、同じ方法で進められる。ルーティンは、より顕著な相互交流(例えば、居住者が副作用または他の質問について尋ねたいなど)を示さないが、より応答性のある会話(本明細書に論じたように)はこれが起こることを可能にする。薬物がすべて充填されると、ロボットは居住者にその日の補足物に素早く進み、再度確認することを求める(ML−8)。介助者が薬物補足物を確認することを許可する、または指定すると(ML−10)、ロボットは介助者に通信チャネルを開き(ステップML−10、ステップRC−18およびステップRC−20の上記の論考と同じまたは類似する)、その後介助者が居住者についての質問をすることを許可する(または、計測機器が多いディスペンサは、状況を直接確認する)。ディスペンサは、ロボットのカメラに可視的であるように配置(透明またはオープンカバー付き)、また位置付けてもよく、居住者は、そのように構成されるディスペンサを、ロボットのカメラのうちの1つに向けて持ち上げてもよい。
上記で識別した機能性に加えて、買い物などの手伝いをするためにRFIDまたはバーコードセンサを備えてもよい。実例では、ロボットは、売り物が識別用および棚卸用のRFIDタグ(もしくはバーコード、または他の適切な任意の識別スキーム)を含む、小売店またはスーパーマーケットへ居住者に同行してもよい。居住者が品物を購入したいと思うと、ロボットは、指示された製品のRFID情報をスキャンし、購入の手伝いをするために店にその情報を伝える。さらに、ロボットは、冷蔵庫または食料品室にある品物のRFIDタグまたはバーコードをスキャンすることによって、住居内の食品または供給在庫の経過を追ってもよい。品物が少なくなると、ロボットは、例えば、さらなる需要品および補充を検索してもよい。かかる機能性は、食料品または店の品物に限定されないが、同様に、例えば、服、自動車部品など、適切な任意の品物に適用してもよい。
さらに、ロボットは、散乱物を監視することによって、または清掃スケジュールの経過を追うことによって、住居をきれいに保つのを手伝ってもよい。散乱物レベルは、例えば、(i)単位時間当たりまたは移動した距離単位当たり(これらは、センサデータに基づき、壁、家具、壁でない物の検知に分けることも可能である)の衝突または近接検知の数;および/または(ii)単位面積当たりの、ロボットの前の地面の平面を見るカメラによって検知される、異なるように着色したまたは異なるような質感にされた品物の数、および/または(iii)単位時間、距離、または領域当たりの、測距センサによって検知される中距離の障害の数により得点化することができる。このように、ロボットは、搭載されたカメラから得られた家の図に画像分析を適用し、家が乱雑になり過ぎているかどうか決定してもよく、または例えば、ロボットが、過程的にきれいであるべき、またはきれいである通路に沿って障害にあまりに頻繁に遭遇する場合は、散乱物が増加したかどうか決定してもよい。
ロボットは、居住者と遠隔地の介助者との間の確認リストを共有することによって、請求書の支払いを容易にしてもよい。それに応じて、請求書の支払いまたは他の住居内の仕事が済むと、ロボットは、表示画面上で仕事の確認リストを居住者に対して提示してもよい(さらに、口頭でまたは聞こえるように人に連絡してもよい)。仕事が完了していない場合には、プライバシーに関する許可と一致すれば、ロボットは介助者に通知してもよい。さらに、仕事確認リストは、例えば、居住者によってか、または遠隔地の介助者がプログラムしてもよい。ロボットのカメラはまた、写真ならびに/またはOCR請求書および通知書に使用することができる。
居住者が、住宅請負業者、販売員、または看護師もしくは看護助手などの外部第三者またはサービス提供者との対応に助力を要求する場合は、ロボットは、例えば、家にいる人々と遠隔地の介助者との間の現地テレビ会議を設けてもよい。さらに、遠隔可視的検査能力を備えているので、ロボットは、遠隔地の検査官(または介助者)に家の種々の場所を見ることを許可することによって、住居安全検査を容易にしてもよい。ロボットはまた、煙感知器、ラドンガス検知器、一酸化炭素またはCO2センサ、または同等物などの安全センサを含んでもよい。
ロボットは、テレビ、VCR、DVDプレーヤ、またはステレオシステムなど、1つ以上の家庭向け娯楽装置を制御するために赤外線エミッタを使用してもよい。例えば、ロボットは、装置調整者として機能してもよく、ロボットがテレビおよびDVDプレーヤの両方をつけることができるように、同時にまたは順番に応じて備品のいくつかの部品を制御してもよい(また、例えば、居住者がDVDを見たい場合には、ステレオミキサをDVDプレーヤからの入力に切り替える)。その他の特性として、ロボットは、小さなリモコンより探しやすい場合があり、ロボットはまた、種々の製品および製造者用のリモコンコードのデータベースを含んでもよく、居住者が複数の品物のためにリモコンをプログラムする必要性から解放する。
さらに、ロボット(またはカメラおよびIR変調エミッタを有する他の器械)は、家庭向け備品上のRFID、バーコード、または銘柄商標を検知し、適切なリモコンコードを見分ける場合があるので、人からのさらなる入力を要求することがない。ロボット(リモコンまたはカメラおよびIR変調エミッタに接続される他の器械)は、遠隔操作される任意の備品(テレビ、ステレオ、ビデオ記録装置、ケーブル箱、CD/DVD/ディスクプレーヤ、ホームシアタ、アンプ、チューナー、照明、送風機、エアコン、ビデオゲームなど)の前方フェイスパネルの一部または全部を撮影してもよい。ロボットはその後、遠隔コンピュータに備品の画像を伝え、それは銘柄情報または型式情報のために画像を分析し、適切なリモコンコードをロボットに戻し伝え、従って、例えば、ロボットはローカルに画像処理能力を必ずしも必要としない。
視覚パターン認識(ViPRTMシステム、Evolution Robotics of Pasadena、カリフォルニアなどのスケール不変特徴変換「SIFT」システム、または「SURF」など他の既知のスケール不変特徴変換アルゴリズムを用いてもよい)は、特性または異なる領域を識別し、OEM変数を含み、備品の銘柄および型式(または型式ファミリ)を一意に識別するために組み合わせて使用してもよい、固有の視覚パターンの1−1000の記述子を算定してもよい。この工程の任意の部分は、ロボット上または遠隔的にサーバ上で遂行することができ、大抵の場合、ロボットは、分解および差し向けられた備品の画像のデータベースとの比較のために、サーバに画像を単に送信することになる。投票による、または確率的なルーティンは、差し向けられた画像での特性を、録画画像での類似した特性を相互に関連付けるために、特性の投票を用いることができる。投票は、備品のための最も有望な識別性、または備品の異なる品物を識別するために一覧にされる。ロボットは、撮影されたすべての装置(例えば、テレビ、DVDプレーヤ、およびケーブル箱のそれぞれのためのすべてのコード)とともに使用するために、リモコンIR変調コードの適切なライブラリを選択または受信する。単一の写真またはいくつかの写真を分解または分析し、1つの場所、部屋または住居における備品のあらゆる部品を識別してもよい。
ロボットはその後、互換性ルーティンを用いて、入力および出力の互換性を調整することによって、居住者により特定される全体のタスクに応じて、装置を制御することができる(例えば、テレビを見る命令に応えて、ロボットは受信IRコード、テレビ オン、DVD オフ、ケーブルボックス オン、TVからCABLEへの入力を介して作動してもよく、DVDを見る命令に応えて、ロボットは、受信IRコード、テレビ オン、DVD オン、ケーブルボックス オフ、TVからS−VIDEOへの入力を介して作動してもよい)。このようにして、ロボットは、IRコードおよび製品の類似したデータベースを使用して、カリフォルニア州フレモントのLogitech Inc.社が販売しているHarmonyTMRemote Controlsのファミリと同様に作動することになる。Harmony装置は、ユーザによりプログラムされ、1つの制御装置が他のものともはや同期化されない場合の動向に悩まされ、入力/状態同期化を回復するために、すべての装置をデフォルト状態に初期化する無障害ルーティンを用いる。その一方で、本ロボットまたはリモコンもしくはカメラおよびIR変調エミッタに接続されるもしくは他の器械は、現在の入力の状態および他の機能に基づき、装置をお互い再同期化する代わりに、状態灯、状態表示(テレビの像)、状態メッセージ(テレビの画面または装置表示部)、または無障害ルーティンを使用して回避する他のパターン認識によって、任意の装置のオン、オフ、または他のアクティブ状態(例えば、選択された誤入力、低音量)を検知するために、カメラおよび先述の視覚パターン認識を使用してもよい。ロボットまたは他の装置はまた、例えば、人から口頭によるリモコン命令を受けるために、音声認識を使用してもよい。
口頭入力および/出力に関して、ロボットが、特定の仕事に関連する口頭による入力を正確に解釈してもよいように、移動ロボットは、種々の事象および/または仕事のための口頭パターンのデータベースを含んでもよい。例えば、ロボットが薬剤関係の仕事を実行しているときは、ロボットは、医学用語を即時音声認識パターンメモリに充填してもよく、ロボットが買い物の仕事を後に行うならば、ロボットは服または食料品関係の音声パターンデータベースに切り替えてもよい。
高齢者の世話に関係する多くの実例を本明細書に掲載する。しかしながら、本発明の同じ実施形態は、子供、限定された場合には、介助者の助力を要求する大人の世話に容易に適用することができる。人に精神的な刺激を与えるために、ロボットは、自然発生的に、または居住者もしくは介助者による要請に応えるように、または所定の日程に応じて、音、音楽および/またはゲームを使用してもよい。さらに、ロボットは、タッチスクリーンを使用してゲームをする;言葉遊びをする(オーディオのみ、もしくは表示部画面を介して、または両方);オーディオブックを聴く;物語を聞かせる、またはオーディオブックを朗読する;日刊ニュース記事、天気またはスポーツスコアを再生する;参考情報(百科事典、テレビガイド)を調べる(例えば、人からの口頭入力または質問に応えて);金融情報(株価、銀行残高)を調べる;電子メールおよびインスタントメッセージを受信する;家族および友人から送られたデジタル写真を見せる;家族および友人から送られたビデオを再生する;電話で話す;ビデオ会議に参加する;電子メールで介助者に送信する、居住者がその日に行った活動を記載した日報を作成する;居住者がロボットと話をしているオーディオクリップを再生する;家にいる居住者の写真を見せる;投与量および時間を含め、薬剤に関するリマインダを渡す;身体的活動に関するリマインダ(例えば、散歩に行く、ストレッチをする)を渡す;日常の行事に関するリマインダ(例えば、テレビの番組時間、予約、誕生日)を渡す;介助者にコンピュータから居住者と話をさせ会わせる;介助者に人の家周りにロボットを操縦させ、物事の確認をさせる;プライバシー規制を含む(カメラを回す、または遠隔地の介助者に仮想訪問をさせる前に、ロボットは居住者からの許可を要求する);つまずき検知器を含む(住居者がすぐ近くにいる場合ロボットは検知し、脇に寄り、音をたて、明かりを点滅させる);介助者による管理を含む;および/または最新版を渡す(新しいゲーム、音楽、ビデオおよび写真は、インターネットによる供給を介して、または具体的には遠隔位置からの介助者または第三者によって(電子メールまたはウェブインターフェースを介して)、自動的にロボットに送信してもよい)。
種々の実施形態に関連して、本発明を詳細に説明してきた。しかしながら、これらの実施形態は単に例のためにすぎず、本発明はそれらに限定されることはない。当業者には、他の変形形態および修正形態が、添付の特許請求の範囲によって定義される、本発明の範囲内で容易に作出できることが理解されよう。
(関連出願の引用)
本出願は、以下に対して優先権を請求し、本明細書にそれら全体を参照することによって組み込む。2006年5月4日に出願された米国仮特許出願第60/746,491号、2006年4月17日に出願された米国仮特許出願第60/745,006号、および2005年9月30日に出願された米国仮特許出願60/722,935号。
(発明の分野)
本発明は、概して人々と相互交流するための自律移動ロボットに関し、より具体的には、種々の仕事のために人を助力するための自律移動ロボットに関する。
(発明の背景)
ロボット研究プラットフォームは、相互交流ロボットによる支援から恩恵を受ける可能性のある、高齢者、子供、またはその他の人々などと家庭状況において相互交流するために開発されてきた。これらのロボットプラットフォームはしばしば、実際の家庭環境、または家庭環境において、コンパニオンロボットを差し出がましくない、歓迎される客にするなど、個人的好みおよび関心事を考慮に入れていない。
薬剤を運搬する、楽しい相互交流を提供する、および/またはテレビ会議ツールを提供する際に介助者を助力する、ある種のプラットフォームが開発されているが、多くは依然として研究プラットフォームのままであり、普通の家で使用するためには不適切であるように、非常に大きく、重く、扱いにくい傾向にある。これらのロボットプラットフォームは一般に、ある程度の監視が期待され、プライバシーおよび個人的尊厳がただでさえ悪影響を受ける傾向にある公共施設で試験され、プライバシー保護に対する期待がより高い、私宅での使用に適切ではない場合がある。
しかし、単にロボットを小さくしても、これらの短所は改善されない。ロボットが運搬されるのに十分小さいとはいえ、予定される使用は通常、単一の部屋の中であり、家中全体で有用となる能力は限定されている。低重量のプラットフォームはまた、地面に対して低くなる傾向があり、同じ部屋を動き回る可能性がある居住者の視界から外れ、平衡性または移動性の問題に関して危険を生む。つまり、従来のロボットは限定的な有用性に悩まされ、従って、人間に歓迎され、万能な助手として機能しない。
(発明の開示)
一側面では、本発明は、プロセッサと、プロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、薬剤投与事象に関する薬剤投与量情報および投与計画事象に関する健康関連情報のうちの少なくとも1つを確認し、事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して周囲環境内でロボットを動かし、人に近い位置で停止させるプロセッサ上で実行可能な人探しルーティンと、投与計画ルーティンとの遵守を確実にするための投与計画遵守管理部とを含む、投与計画遵守管理のためのロボットに関する。
一側面では、本発明は、プロセッサと、個人の薬剤投与量情報を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成し、人から遵守または非遵守表示を受信することができる通信インターフェースと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に、人探しルーティンを開始する、プロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させるプロセッサ上で実行可能な人探しルーティンと、投与される薬剤の場所に関する情報を含む、人が知覚可能な信号を人に送信し、人を薬剤に誘導する、プロセッサ上で実行可能な照合ルーティンとを含む、投与計画遵守管理のためのロボットに関する。上記側面のある実施形態では、通信インターフェースは、人から遵守または非遵守表示および延期規則を含むプロセッサによってアクセス可能なメモリを受信しており、人からの非遵守表示を認識すると、個人の薬剤投与量情報を確認し、延期規則と一致する新しい薬剤投与事象を設定する、投与計画遵守スヌーズルーティンをさらに含んでいる。
その他の側面では、プロセッサと、個人の薬剤投与量情報を含むプロセッサによってアクセス可能なメモリと、投与量を延期するための許容条件を定義する延期規則を含むメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成し、人から遵守または非遵守表示を受信することができる通信インターフェースと、ロボットを動かすプロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の隣の位置に停止させるプロセッサ上で実行可能な人探しルーティンと、投与される薬剤に関する情報を含む、人が知覚可能な信号を人に送信するプロセッサ上で実行可能な照合ルーティンと、人からの非遵守表示を認識すると、個人の薬剤投与量情報を確認し、薬剤の延期が延期規則と一致すれば新しい薬剤投与事象を設定する、投与計画遵守スヌーズルーティンを含む、投与計画遵守管理のためのロボットに関する。
その他の側面では、本発明は、ロボットによって運搬される、充填された薬剤を受ける薬剤貯蔵部と、プロセッサと、個人の薬剤投与量情報および延期規則を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、ロボットを動かすプロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させる、プロセッサ上で実行可能な人探しルーティンと、薬剤貯蔵部に運搬される薬剤に関する情報を含む、人が知覚可能な信号を人に送信する、プロセッサ上で実行可能な照合ルーティンとを含む、投与計画遵守管理のためのロボットに関する。上記側面のある実施形態では、ロボットは、今後の投与のために薬剤貯蔵部への充填に関する情報、および人を薬剤貯蔵部へ誘導する情報を含む、人が知覚可能な信号を人に送信する、プロセッサ上で実行可能な薬剤充填ルーティンを含む。
さらにその他の側面では、本発明は、充填された薬剤を受ける薬剤貯蔵部、プロセッサ、個人の薬剤投与量情報および延期規則を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、ロボットを動かすプロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させる、プロセッサ上で実行可能な人探しルーティンと、今後の投与のために薬剤貯蔵部への充填に関する情報、および人を薬剤貯蔵部へ誘導する情報を含む、人が知覚可能な信号を人に送信する、プロセッサ上で実行可能な薬剤充填ルーティンを有する、投与計画遵守管理のためのロボットシステムに関する。
その他の側面では、本発明は、ロボットを、介助者がロボットを接続してもよい遠隔位置に接続するネットワークインターフェースと、プロセッサと、個人の薬剤投与量情報を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成し、人から遵守または非遵守表示を受信することができる通信インターフェースと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始する、プロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させる、プロセッサ上で実行可能な人探しルーティンと、人からの非遵守表示を認識すると、ネットワークインターフェースを介して介助者に連絡する、プロセッサ上で実行可能な投与計画遵守リマインダルーティンとを含む、投与計画遵守管理のためのロボットシステムに関する。上記側面のある実施形態では、ロボットは、介助者が、着信通信チャネル経由で、また通信インターフェースを介して人が知覚可能な信号を送信するための着信通信チャネルを含む。
さらにその他の側面では、本発明は、ロボットを、介助者がロボットを接続できる遠隔位置に接続するネットワークインターフェースと、プロセッサと、健康関連の投与計画情報を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、介助者が、着信通信チャネル経由で、また通信インターフェースを介して人が知覚可能な信号を送信するための着信通信チャネルと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、投与計画事象に関する健康関連の投与計画情報を確認し、健康関連の投与計画事象より先に、人探しルーティンを開始する、プロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させるプロセッサ上で実行可能な人探しルーティンと、ネットワークインターフェースを介して通信セッションを介助者と接続するプロセッサ上で実行可能な投与計画遵守ガイドアクセスルーティンとを含む投与計画遵守管理のためのロボットシステムに関する。
その他の側面では、本発明は、通信スクリプトセグメントを受信するステップと、通信スクリプトセグメントの可視コンポーネント、および通信スクリプトセグメントの可聴コンポーネントのうちの少なくとも1つを人に出力するステップと、出力コンポーネントに付随するロボット表現コンポーネント、および人による入力に対するロボット応答のうちの少なくとも1つを制御するステップとを含む、人間とロボットの相互交流の方法に関する。
さらにその他の側面では、本発明は、出力クエリーサブスクリプト文字列および5つ以下のサブスクリプト応答文字列候補の応答ツリーを含む、通信スクリプトセグメントを受信するステップと、出力クエリー文字列を可聴出力信号に関連付けるステップと、音声クエリーとして可聴出力信号を人に出力するステップと、ロボットの表示部上の5つ以下のサブスクリプト応答文字列候補とともに、出力クエリーサブスクリプト文字列を表示するステップと、人の応答を可聴出力信号に記録するオーディオ入力信号を受信するステップと、オーディオ入力信号が、5つ以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つに対応する音声を含むかどうかと、オーディオ入力信号が、4つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、ユーザに可聴出力信号に対する応答の通信の再試行を促進するために出力信号を発行する音声を含むことが認識されないかどうかと、オーディオ入力信号が、5つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、認識された5つ以下のサブスクリプト応答文字列候補のうちの1つの反復を含む出力信号を発行する音声を含むことが認識されるかどうかを認識するために、オーディオ入力信号を処理するステップと、を含む、人間とロボットの相互交流の方法に関する。上記側面の実施形態は、確認信号が発行された後、認識された4つ以下のサブスクリプト応答文字列候補の正確さまたは不正確さの確認のために監視するステップを含む。さらにその他の実施形態では、ユーザにオーディオ出力信号に対する応答の通信の再試行を促進するために出力信号を発行するステップは、ロボットの表示部上に表示されたサブスクリプト文字列を強調表示するステップと、表示部に関連付けられた手動作動制御を介して5以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つを選択する入力信号を受信するステップとを含む。さらなる実施形態では、5つ以下のサブスクリプト応答文字列候補のうちの2つは、単純肯定応答および単純否定応答であり、オーディオ入力信号が、単純肯定応答に相当する肯定応答のファミリに対応する音声を含む、または単純否定応答に相当する肯定応答のファミリに対応する音声を含むかどうか認識するオーディオ入力信号を処理するステップをさらに含む。他の実施形態では、5つ以下のサブスクリプト応答文字列候補のうちの1つは、通信スクリプトセグメントの大部分に共通している応答文字列である。さらにその他の実施形態では、5つ以下のサブスクリプト応答文字列候補のうちの2つは、単純肯定応答および単純否定応答ではなく、オーディオ入力信号が、単純肯定応答に相当する肯定応答のファミリに対応する音声を含む、または単純否定応答に相当する肯定応答のファミリに対応する音声を含むかどうか認識するオーディオ入力信号を処理するステップをさらに含む。ロボットのその他の実施形態では、応答ツリーは、3つ以下のサブスクリプト応答文字列候補の応答ツリーであり、応答文字列候補のうちのどれも単純肯定応答および単純否定応答ではない。その他の実施形態は、応答ツリー文字列サブスクリプトを、表示部に表示される一連のメニュー選択に変換するステップを含む。
その他の側面では、本発明は、出力クエリーサブスクリプト文字列および5つ以下のサブスクリプト応答文字列候補の応答ツリーを含む、通信スクリプトセグメントを受信するステップと、出力クエリー文字列を可聴出力信号に関連付けるステップと、音声クエリーとして可聴出力信号を人に出力するステップと、ロボットの表示部上の5つ以下のサブスクリプト応答文字列候補とともに、出力クエリーサブスクリプト文字列を表示するステップと、人の応答を可聴出力信号に記録するオーディオ入力信号を受信するステップと、オーディオ入力信号が5つ以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つに対応する音声を含むかどうかと、オーディオ入力信号が、5つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、認識された5つ以下のサブスクリプト応答文字列候補のうちの1つの反復を含む出力信号を発行する音声を含むことが認識されるかどうかと、オーディオ入力信号が、4つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、ロボットの表示部上に表示されたサブスクリプト文字列を強調表示し、その後表示部に接続された手動作動制御を介して5つ以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つを選択する入力信号を受信する音声を含むことが認識されないかどうかを認識するために、オーディオ入力信号を処理するステップと、を含む、人間とロボットの相互交流の方法に関する。
さらにその他の側面では、本発明は、事象に応答して運動行動を含む、複数の運動行動を非同期的に実行するステップと、ロボット音声プロンプト文字列と人間応答文字列との会話分岐を含む、通信スクリプトセグメントを受信するステップと、可聴ロボット音声プロンプトを生成する通信スクリプトセグメントを解釈するステップと、可聴ロボット音声プロンプトに対する応答として人から入力を受信するステップと、非同期応答を実行するために、複数の行動のうちの1つによって検知される事象に応えて会話分岐に割り込むステップと、非同期応答の実行後に会話分岐を回復するステップと、を含む、人間とロボットの相互交流の方法に関する。
さらにその他の側面では、本発明は、ロボット音声プロンプト文字列と人間応答文字列との会話分岐を含む、通信スクリプトセグメントを受信するステップと、出力クエリー文字列を可聴出力信号に関連付けるステップと、音声クエリーとして可聴出力信号を人に出力するステップとをさらに含み、制御するステップは、上下軸頭部運動もしくは回転軸頭部運動、またはロボット全体の運動を含むロボット運動シーケンスとを含む頭部運動シーケンスから選択される少なくとも表現運動を追加することによって、通信スクリプトセグメントの間に所望の表現を示すように会話分岐を調節するステップと、を含む、人間とロボットの相互交流の方法に関する。
その他の側面では、ロボット音声プロンプト文字列と人間応答文字列との会話分岐と、ロボット表現運動タグとを含む、通信スクリプトセグメントを受信するステップと、会話分岐により、可聴ロボット音声プロンプトを生成する通信スクリプトセグメントおよびロボット表現運動を解釈するステップと、可聴ロボット音声プロンプトに対する応答として人から入力を受信するステップと、事象により、ロボットを再配置する補正行動を実行するために、ロボットによって検知された事象に応えて表現運動に割り込むステップと、補正行動の実行後に会話分岐を回復するステップと、を含む、人間とロボットの相互交流の方法に関する。
その他の側面では、本発明は、ロボットのためのロボット自己操縦の方法に関し、該方法は、センサおよび入力のうちの少なくとも1つを監視するステップと、センサおよび入力のうちの少なくとも1つからの信号を、少なくとも2つの所定の条件と比較するステップと、(a)信号が第1の条件に対応する場合の行為と、(b)信号が第2の条件に対応する場合の、ロボットの動きのうちの少なくもと1つを実行するステップとを含む。
一側面では、本発明は、ロボットの検知範囲内に人の存在を検知することができるセンサを監視するステップと、人がロボットの検知範囲内に検知される場合、存在得点を更新するステップと、漸次悪化させるように存在得点を減少させるステップと、存在得点が第1の閾存在得点まで減少する場合、ロボットを異なる場所に移動させる方向に運転するステップと、存在得点が第2の閾存在得点まで更新する場合、人に近い場所にロボットを駐車するステップとを含む、ロボット自己操縦の方法に関する。
その他の側面では、本発明は、ロボットの検知範囲内に検知可能な物体の存在を検知することができるセンサを監視するステップと、検知可能な物体がロボットの検知範囲内に検知される場合、存在得点を更新するステップと、漸次悪化させるように存在得点を減少させるステップと、存在得点が第1の閾存在得点まで減少する場合、ロボットを異なる場所に移動させる方向に運転するステップとを含む、ロボット自己操縦の方法に関する。ある実施形態では、センサパッケージは、人または充電局を含む検知可能な物体を検知することができ、存在得点が第2の閾存在得点まで更新する場合、該方法は、再充電するために係合する、人の近くに位置する充電局にロボットを駐車するステップをさらに含む。その他の実施形態では、運転するステップは、存在得点が第2の閾存在得点まで更新する場合、一連の異なる位置にロボットを移動させるステップを含む。
さらにその他の側面では、本発明は、ロボットの検知範囲内に検知可能な物体の存在を検知することができるセンサパッケージを監視するステップであって、検知可能な物体は、人または充電局のいずれか一方または両方を含むステップと、検知可能な物体がロボットの検知範囲内に検知される場合、存在得点を更新するステップと、漸次悪化させるように存在得点を減少させるステップと、存在得点が第1の閾存在得点まで減少する場合、ロボットを異なる場所に移動させる方向に運転するステップと、存在得点が第2の閾存在得点まで更新する場合、再充電するために係合する、異なる場所および人の近くに位置する充電局にロボットを駐車するステップと、を含む、ロボット自己操縦の方法に関する。
その他の側面では、本発明は、ロボットに近い第1の所定の空間内で、人または物体のうちの少なくとも1つを検知するための第1の検知器と、ロボットに近い第2の所定の空間内で、人または物体のうちの少なくとも1つを検知するための第2の検知器と、人および物体のうちの少なくとも1つとの接触を検知するための物理的接触装置であって、第1の検知器、第2の検知器、および接触装置のうちの少なくとも1つは、安全状態を引き起こす物理的接触装置と、安全状態が検知される場合にロボットを固定するように構成される制御器と、を含む人と相互交流するための移動ロボットに関する。
さらにその他の側面では、本発明は、検知条件に応えてアナンシエータ活性化信号を生成するステップと、アナンシエータ活性化信号上でアナンシエータを活性化するステップと、人からの検知応答に関してセンサを監視するステップと、検知応答が目的の応答を含むかどうか確認するステップと、確認するステップが、検知応答が目的の応答を含むことを確信すると、探し出された人のサクセスルーティンを活性化するステップと、確認するステップが、検知応答が目的の応答を含むことを確信すると、現在の部屋からの経路を識別するステップと、現在の部屋から新しい部屋への経路経由でロボットを移動させる方向に運転するステップと、を含む、ロボット自己操縦の方法に関する。
ロボットの機能は、自信、信頼、および同志的管理部として機能することが好ましい。ロボットは、ユーザの信頼および愛着を高めるように巧みに作られ、それ自体有益であり、また一般的利益をありとあらゆるその他の応用に提供し、それらの成功率を増加させる。この機能は、新しく、定着していない技術(特に自律的、自己制御的、移動技術)を一般人の生活に導入する課題に取り組む。
その他の側面では、本発明は、人の存在を示す非雑音信号に関してセンサパッケージを監視するステップと、非雑音信号が目的の応答に対応すると、探し出された人のサクセスルーティンを活性化するステップと、非雑音信号が目的の応答に対応しない場合、または応答が識別されない場合、(i)現在の部屋から戸口を識別し、現在の部屋から新しい部屋へ戸口経由でロボットを操縦するステップ、あるいは(ii)アナンシエータを活性化するために移動ロボットを制御するステップとを含む、無人操縦で目的の人を探し出すための方法に関する。上記側面のある実施形態では、アナンシエータは、目的の人の名前を含む音を出し、該方法は、目的の応答のソースが目的の人の名前であることを確信するために、目的の応答を確認するステップをさらに含む。
さらにその他の側面では、本発明は、部屋識別マーカーの遠隔ユーザの選択を代表する第1の操縦命令を受けるステップと、現在の部屋を認識するステップと、ロボットが、選択された部屋識別マーカーに対応する部屋識別性を有する部屋内にいると認識されるまで、第1の操縦命令により異なる部屋識別性から成る部屋の間を運転するステップと、部屋識別マーカーに対応する部屋識別性を有する部屋内の床の位置または部屋識別マーカーに対応する部屋識別性を有する部屋内の目印部位のうちの1つの遠隔ユーザの選択を代表する第2の操縦命令を受けるステップと、ロボットが、床の位置、または目印部位の隣のうちの1つにいると認識されるまで、第2の操縦命令により部屋識別性に対応する部屋内を運転するステップと、方向および方角を含み、遠隔ユーザの命令を代表する第3の操縦命令ストリームを受けるステップと、方向および方角を含み、遠隔ユーザの命令を代表する、受けた第3の操縦命令ストリームにより、部屋内、および床の位置から運転するステップと、を含む、ロボットを操縦するための方法に関する。
さらにその他の側面では、住居内で利用可能な部屋識別性に対応する、部屋識別性の選択を受けるステップと、ロボットが、部屋識別性の中でトポロジー的隣接を捕捉し、住居のそれぞれの部屋識別性を、受けた部屋識別マーカーと相互に関連付けるまで、異なる部屋識別性の部屋の間を運転するステップと、住居のために利用可能な部屋識別性に対応する部屋識別マーカーを表示するステップであって、部屋識別マーカーは、対応する部屋識別性のトポロジー的隣接により表示され、家の見取り図の一部として表示されるステップとを含むロボットを遠隔制御するために、操縦命令を実行するための方法に関する。
その他の側面では、本発明は、住居内の利用可能な部屋識別性に対応する部屋識別性の選択を受けるステップをさらに含み、ロボットが、部屋識別性の中でトポロジー的隣接を捕捉し、住居のそれぞれの部屋識別性を、受けた部屋識別マーカーと相互に関連付けるまで、異なる部屋識別性の部屋の間を運転するステップと、住居のために利用可能な部屋識別性に対応する部屋識別マーカーを表示するステップであって、部屋識別マーカーは、対応する部屋識別性のトポロジー的隣接により表示され、家の見取り図の一部として表示されるステップと、部屋識別マーカーの遠隔ユーザの選択を代表する第1の操縦命令として、表示する部屋識別マーカーに連結されるユーザインターフェースを介して部屋識別マーカーの選択を受けるステップと、現在の部屋を認識するステップと、ロボットが、選択された部屋識別マーカーに対応する部屋識別性を有する部屋内にいると認識されるまで、第1の操縦命令により異なる部屋識別性から成る部屋の間を運転するステップとを含む、ロボットを遠隔制御するために、操縦命令を実行するための方法に関する。
さらにその他の側面では、本発明は、ロボットの存在を聞こえるように示すように構成されるアナンシエータと、ロボットの存在を光学的に示すように構成される可視性ビーコンと、ロボットの高さの大部分を覆うカーテン内で人を検知し、その後安全状態を引き起こすように構成される近接カーテン検知器と、人がロボットに衝突する衝撃を吸収し、人を検知し、安全状態を引き起こすように構成される物理的衝撃緩衝器と、高さが2インチ未満の物体を検知し、安全状態を引き起こすように構成される、床レベル近接リボンと、安全状態が検知される際、ロボットを固定するように構成される制御器とを含む、人と相互交流するための移動ロボットに関する。
さらにその他の側面では、本発明は、地面から10インチ上のロボットの高さの実質的な一部を覆うロボットの前の領域内で物体を検知し、その後安全状態を引き起こすように構成される領域検知器と、物体がロボットに衝突する衝撃を吸収し、物体を検知し、また安全状態を引き起こすように構成される近距離領域衝撃バンパーと、地面から2−10インチの間のロボットの前の物体を検知し、安全状態を引き起こすように構成される近距離領域近接センサと、高さが2−4インチ未満のロボットの前の物体を検知するように構成される近距離領域低物体近接センサと、安全状態が検知される際、ロボットを固定するように構成される制御器とを含む、人と相互交流するための移動ロボットに関する。上記側面の実施形態では、近接カーテン検知器、物理的衝撃緩衝器、および床レベル近接リボン検知器のそれぞれは、ロボットの中心から異なる距離で人を検知するように構成される。ある実施形態では、ロボットは、制御器によって確認され、また物体の熱放射または音が低閾値より上であり、また任意に高閾値より下である場合、移動の方向に遭遇する物体が人であることを決定する、熱放射検知器または音検知器をさらに含む。その他の実施形態では、移動の方向にある物体が、熱放射検知器または音検知器によって人であると決定した場合は、ロボットは秒速10cm未満に減速するように構成される。
その他の側面では、本発明は、ロボットが周囲環境にいて、居住者がセンサの範囲内にいる場合は、居住者を監視するように適合されるセンサと、センサからの監督データを監視するための制御器と、居住者が伝送のための許可を与える場合は、センサから周囲環境の外部の場所に監督データの伝送を可能にするように構成される伝送制御ルーティンと、少なくとも緊急状態で、センサから周囲環境の外部の場所に監督データの伝送を可能にするように構成されるオーバーライドルーティンと、を含む周囲環境で居住者と相互交流するためのロボットに関する。
その他の側面では、本発明は、ロボットが居住者の家にいて、居住者がセンサの範囲内にいる場合は、居住者を監視することができるセンサと、センサからの監督データを監視するために接続される制御器と、居住者が伝送のための許可を与える場合は、センサから居住者の家の外部に監督データの伝送を可能にするように構成される伝送制御ルーティンと、(i)ロボットによって検知される緊急状態で、または(ii)遠隔地の委任介助者がロボットに、居住者によって事前に許可された権限および緊急状態表示を送信した後に、センサから住居者の家の外部に監督データの伝送を可能とし、そうでない場合、居住者の家の外部のロボットによる監督データの伝送は禁止されるように構成されるオーバーライドルーティンとを含む、居住者の家で住居者と相互交流するためのロボットに関する。上記側面のある実施形態では、ロボットは、ロックアウト部材を受けることができるコネクタを含み、ロックアウト部材がコネクタに挿入される場合のみ、伝送制御ルーティンは、センサから居住者の家の外部に監督データの伝送を可能にする。他の実施形態では、センサはカメラを含み、プライバシーモードが選択された場合は、ロボットは、ロボットの本体の方を向くようにカメラの対物レンズを方向付けるように構成されるプライバシー制御器を含む。代替の実施形態では、プライバシーモードが選択された場合は、ロボットは、センサを、物理的にプラグを抜くように構成されるプライバシー部材を含む。
さらにその他の側面では、本発明は、ロボットが居住者の家にいて、居住者がセンサの範囲内にいる場合は、居住者を監視することができるセンサと、センサからの監督データを監視するために接続される制御器と、ロックアウト部材を受けることができるコネクタと、居住者が伝送のための許可を与える場合は、またロックアウト部材がコネクタに挿入される場合のみ、センサから居住者の家の外部に監督データの伝送を可能にするように構成される伝送制御ルーティンと、緊急状態信号がロボットによって受信される場合のみ、センサから居住者の家の外部に監督データの伝送を可能にするように構成されるオーバーライドルーティンと、を含む、居住者の家で住居者と相互交流するためのロボットに関する。
その他の実施形態では、本発明は、顔と、顔の近くに取り付けられる少なくとも1つのカメラと、第1の位置および第2の位置を有する位置付け可能な支持部であって、取り付け具は、顔の少なくとも1つおよび少なくとも1つのカメラを支持する支持部を含む頭部組立て部を含む、人間とロボットの相互交流ができるロボットに関する。
さらにその他の側面では、本発明は、一面に顔を有する頭部と、顔と同じ方向に、カメラの対物レンズを方向付けるように顔に取り付けられる少なくとも1つのカメラと、顔および少なくとも1つのカメラが視界から隠れ、それによってカメラがロボットの周囲の領域を見ることを阻止するように、頭部に移動することを許可するために、頭部を支持する回転可能な枢軸とを含む、人間とロボットの相互交流ができるロボットに関する。上記側面の実施形態では、顔は、マトリクス要素から成る左右の目の異なる構成を示すために電子的に制御可能なマトリクスパネルをさらに含み、少なくとも1つのカメラは、マトリクス要素から成る左目に近い左のカメラおよびマトリクス要素から成る右のカメラに近い右のカメラを含む。
その他の側面では、本発明は、一面に顔を有する頭部であって、顔がマトリクス要素から成る左右の目の異なる構成を示すために電子的に制御可能なマトリクスパネルを備える頭部と、左目に近い左のカメラおよび右目に近い右のカメラであって、それぞれは、顔と同じ方向に、カメラの対物レンズを方向付けるために、顔の近くに取り付けられる左のカメラおよび右のカメラと、ロボットの周囲の領域を見ることができない位置にそれぞれを移動させるために、左のカメラおよび右のカメラを支持する少なくとも1つの位置付け可能な取り付け具を含む頭部組立て部を含む、人間とロボットの相互交流ができるロボットに関する。
さらにその他の側面では、本発明は、基地局と、ロボットとを含み、基地局は、ローカル無線プロトコル経由でTCP/IP伝送を通信することができる無線トランシーバと、インターネットにアクセスするローカル有線Ethernet(登録商標)経由でTCP/IP伝送を通信するための有線Ethernet(登録商標)コネクタと、およびロボットにロックされる所定のIPアドレス、ロボットにロックされる所定のシェルレベル暗号化、およびロボットのみに開かれるインターネットへの所定ポートに限定されるローカル有線Ethernet(登録商標)とローカル無線プロトコルとの間でTCP/IP伝送を転送するためのアクセスポイント回路とを含み、ロボットは、ローカル無線プロトコル経由でTCP/IP伝送を通信することができる無線トランシーバ、およびローカル無線プロトコル経由でTCP/IP伝送を転送するためのクライアント回路を含む、ロボットシステムに関する。上記側面の実施形態では、無線アクセスポイントは、複数のアンテナおよびアンテナダイバーシティ回路を含む。他の実施形態では、無線アクセスポイントは、複数のアンテナおよびアンテナダイバーシティ回路を含み、直交周波数分割多重を使用して無線伝送をエンコードする。
本発明の実施形態によると、無人操縦で目的の人を探し出すための方法は、(a)アナンシエータをアナンシエータ活性化信号上で作動させるように移動ロボットを制御するステップと、(b)作動後一定時間内にアナンシエータへの非雑音(フィルター処理した雑音)のいかなる応答に対してもセンサパッケージを監視するステップと、(c)検知された任意の非雑音応答と目的の応答のライブラリとを比較するステップと、(d)非雑音応答が目的の応答に対応しないと、または応答が識別されないと、現在の部屋から戸口を識別するステップと、(e)現在の部屋から新しい部屋へ戸口を通ってロボットを操縦するステップと、(f)検知状態に応えて、アナンシエータ活性化信号を生成するステップと、(g)非雑音応答が目的の応答に対応するまで、(a)から(f)を繰り返すステップと、(h)探し出された人のサクセスルーティンを作動させるステップとを含んでもよい。
戸口を識別するステップは、壁追跡の間にロボットの走行距離計測法および方位を分析するステップと、壁の端および/または戸口を横断したことを示す、走行距離計測法および方位の連続的な組み合わせを識別するステップを含んでもよい。さらに、戸口を識別するステップは、壁の隙間に向かう方位を察知し、識別するロボットの信号反射を分析するステップを含んでもよい。戸口を識別するステップは、動的に作成されたマップを分析するステップと、壁の隙間に向かう方位を識別するステップと、アーカイブに保管されたマップおよびロボットの位置を分析するステップと、壁の隙間に向かう方位を識別するステップと、ドアを指定するビーコンのビーコンセンサを分析するステップと、ドアビーコンによって指定されるドアに向かう方位を識別するステップと、および/または天井の形状または現在の部屋の天井にある兆候のパターンを分析するステップと、兆候または天井の形状を使用して認識された位置でドアに向かう方位を識別するステップと、をさらに含んでもよい。
アナンシエータは、目的に人の名前を含む音を発してもよく、検知された任意の非雑音応答と目的の応答/非雑音応答のライブラリとを比較するステップは、非雑音応答のソースが目的の人であることを示す。該方法は、移動ロボットが移動する恣意的な方位および恣意的な距離に基づき、第2の場所を選択するステップと、障害または危険物に遭遇する場合、移動ロボットの方位を調整するステップと、移動ロボットが恣意的な距離を移動するまで前進させるステップとをさらに含む。新しい部屋は、現在の部屋と異なる部屋に位置してもよく、該方法は、光学的部屋特性認識、ソナー、RFID部屋タグ付け、IR方向性ビーコン検知、走行距離計測法、慣性誘導、推測航法、部屋マッピング、および/またはコンパス操縦のうちの1つ以上に基づき、現在の部屋の場所から新しい部屋へ移動ロボットを操縦するステップをさらに含んでもよい。
また該方法は、目的の人を検知するように構成される少なくとも1つの二次検知システムを使用するステップを含んでもよく、少なくとも1つの二次検知システムは、赤外線検知、放射熱検知、音波探知、RFIDタグ付け検知、タンク回路検知、行動探知、およびまたは画像分析から選択され、または該方法は、移動ロボットが位置付けられる構造のマップを生成するステップ、および新しい部屋が現在の部屋から異なる部屋にある、あるいは少なくとも、現在の部屋から離れた閾値距離に位置する、生成されたマップに基づき、新しい部屋を選択するステップをさらに含む。
マップを生成するステップは、ロボットの周辺を歩き回り、壁および障害を検知するように、移動ロボットを制御するステップを含んでもよく、マップは、ユーザによって移動ロボットに送信されてもよい。該方法は、閉まっているドアを見つけ出すステップと、ドアを通して可聴信号を送信するステップとをさらに含み、さらに、可聴信号を送信するステップは、閉まっているドアにノッキングの音を伝えるステップを含んでもよい。
一実施形態によると、人と相互交流する移動ロボットは、ロボットの行動に基づき、可聴内容を生成するためのスピーカーと、スケジュールに従い、ロボットの行動を引き起こすように構成されるスケジューラと、当日遅くなって予定されている第2のロボットの行動に関して、人が目覚めた直後に、人と相互交流するための、朝のロボットの行動を含んでもよい。またロボットは、薬剤を分配するための錠剤ディスペンサを含み、第2のロボットの行動は、人に薬剤を分配するステップを含み、また朝のロボットの行動は、人に薬剤について注意喚起するステップおよび/または人が錠剤ディスペンサに薬剤を入れることを要求するステップを含む。薬剤がスケジュールに従い分配されない場合は、ロボットは、介助者に通知するための送信器をさらに含む。
さらに、ロボットは、人を検知するためのセンサと、人を探し出すときにセンサを使用する探知器とをさらに含んでもよく、ロボットは、予定されたロボットの行動に先立ち、人を探し出すように試行する。さらに、それぞれのロボットの行動は、予定されたロボットの行動を人に注意喚起するスピーカーを使用するステップを含んでもよい。第2のロボットの行動は、人を所定の場所へ誘導するステップを含み、朝のロボットの行動は、来る第2のロボットの行動に関連する活動を人に口頭で注意喚起するステップを含み、朝のロボットの行動は、今後の第2のロボットに関連する活動に関して、人の認識の想起を促進してもよい。
移動ロボットは、視覚的表示部をさらに含んでもよく、朝のまたは第2のロボットの行動のうちの少なくとも1つは、表示するステップおよび話すステップの両方を含む。人が介助者に通知する許可を与えない限り、移動ロボットは、介助者に伝送することを阻止するためのプライバシー制御器をさらに含む。さらに、ロボットは、管理人から命令を受信するための受信機を含んでもよく、ここでは命令が受信されると、プライバシー制御器がオーバーライドされる。
ロボットの行動のうちの少なくとも1つは、人によってまたは介助者によって入力されてもよく、移動ロボットは、人によってまたは介助者によって停止するように指示されると、人との相互交流を中止してもよい。
その他の実施形態によると、人と相互交流する移動ロボットは、少なくとも1つのセンサと、人がセンサに作動する許可を与えない限り、センサの作動を阻止するためのプライバシー制御器と、オーバーライドユニットがオーバーライド命令を受信すると、プライバシー制御にかかわらず、センサの作動を可能にするように構成されるオーバーライドユニットとを含んでもよい。移動ロボットに関して、センサは、カメラ、マイクロホン、近接検知器、熱検知器、またはタグ検知器のうちの少なくとも1つを含んでもよい。移動ロボットは、送信用およびセンサを出力するための無線送信器、またはセンサの出力を記録するように構成される記録ユニットをさらに含んでもよい。移動ロボットはまた、オーディオおよび/またはビデオデータを送信および受信するためのテレビ会議ユニットを含んでもよく、テレビ会議ユニットはセンサを含み、また人が許可を与えない限り、プライバシー制御器は、テレビ会議セッションの開始を阻止する。さらに、移動ロボットは、口頭入力を検知するための音声認識ユニットをさらに含んでもよく、センサと話す許可および音声認識ユニットによる入力が扱われる。移動ロボットは、人の住居内の物体を制御または操作してもよく(例えば、搭載されたIR送信器を使用して、特定の時間にテレビをつける)、またはロボット操作のコンポーネントとして、1日の特定の時間に、物体または場所に向かせてもよい。
さらに、オーバーライドユニットは、遠隔介助者からオーバーライド命令を無線で受信するための受信機を含んでもよい。着信テレビ会議依頼を受信すると、移動ロボットは、人を探し出すように試行する場合がある。さらに、ロボットが緊急状態を検知したとき、例えば、人が意識を失う、危険状態である、病気である、または煙が出ている、もしくは火災警報器が始動したように見える場合は、プライバシー制御器は、オーバーライドされてもよい。センサは、作動するときは目立つように配置されてもよく、センサが作動していないときは、人に見られないように、センサを包む、覆う、または移動するようにしてもよい。さらに、センサはカメラを含んでもよく、カメラは、作動する許可が与えられない場合、作動できない位置に配置され、カメラのレンズは、作動できない位置で不透明な表面と向かい合う。
移動ロボットは、コンピュータメモリに保存される行動プライバシーマトリクス、および複数のロボットの行動を、複数の許可の得点に相互に関連付けるステップをさらに含んでもよく、ロボットの行動が許可される場合は、プライバシー制御器は、ロボットの行動を許可し、またはロボットの行動が許可されない場合は、ロボットの行動を阻止する。
さらにその他の実施形態では、人と相互交流するためのロボットは、ロボットの存在を聞こえるように示すためのアナンシエータと、ロボットの存在を光学的に示すためのビーコンと、安全状態を検知するためのセンサと、安全状態が検知されるとき、ロボットを固定するための制御器とを含んでもよい。ロボットが移動しているときは、アナンシエータは、継続的または周期的に特徴のある音を発してもよい。ロボットが移動しているときは、ビーコンはストロボを光らせてもよい。さらに、センサは、とりわけ、カメラ、光学的センサ、IRセンサ、鍵検知器、行動検知器、接触スイッチ、圧力検知器、近接センサ、ソナー、レーザーを使った障害検知器、雑音検知器、および/またはマイクロホンを含んでもよい。
移動ロボットは、柄によってロボットの主胴体に取り付けられるプラットフォームをさらに含んでもよく、プラットフォームおよび柄は、脆性の印象を伝え、プラットフォームは、ロボットの主胴体の上の、人の腰の位置に及ぶ。柄およびロボットは、倒立振り子に類似した全体的な形状および/または質量の分布を有してもよい。移動ロボットは、人がうっかりプラットフォームと衝突しないようにする、柄に沿って位置付けられるチッパー環をさらに含んでもよい。
移動ロボットはまた、人に関する情報を、介助者によって作動可能な遠隔端末送信するための通信ユニットを含んでもよい。人が許可を与えなければ、通信ユニットは情報を送信することができず、さらに、所定のスケジュールにより、情報を周期的に送信してもよい。さらに、情報が変更すれば、通信ユニットは情報を送信してもよい。別法として、例えば、通信ユニットは、コンピュータネットワークを介して指示を検索してもよい。
その他の側面では、本発明は、居住者と移動ロボットとの間の人間とロボットの相互交流の方法に関し、該方法は、顔の表示部を備えるロボットおよび音声発生装置を提供するステップと、表示部を介して視覚素列の通信スクリプトセグメントを実行するステップと、視覚素列および音素列は、実質的および同期的に実行される、音声発生装置を介して音素列の通信スクリプトセグメントを実行するステップと、少なくとも居住者の行為およびロボットの柔軟な対応の投与計画に基づき相互交流を管理するステップとを含む。上記側面の一実施形態では、管理するステップは、事象に対するロボットの対応を示すための感情的な行動を含む。感情的な行動は、ロボットの可動式頭部での表示部を提供するステップと、事象が起こると、第1の位置から第2の位置に頭部を移動させるステップとを含んでもよい。上記の方法では、第1の位置は、居住者による観察を許可してもよく、また第2の位置は、驚きの応答、喜びの応答、混乱の応答、懸案の応答および落胆の応答のうちの1つに関連する。感情的な行動は、戯画を表示するステップをさらに含んでもよい。戯画は、驚きの応答、喜びの応答、混乱の応答、懸案の応答および落胆の応答に関連する、一連の戯画から選択される。
上記側面のその他の実施形態では、管理するステップは、居住者による非同期応答に応答するための割り込み行動を含む。割り込み行動は非同期応答を受信するステップと、非同期応答を受信すると、視覚素列の実行および音素列の実行に割り込むステップと、割り込み列を実行するステップと、割り込み列の後で視覚素列の実行および音素列の実行を回復するステップとを含んでもよい。割り込み行動は、エラーメッセージを送達するステップを含んでもよい。エラーメッセージを送達するステップは、表示部を介してエラー視覚素列を実行するステップと、音声発生装置を介してエラー音素列を実行するステップとを含んでもよく、ここでエラー視覚素列の実行とエラー音素列の実行は、実質的に同期化される。回復するステップは、視覚素列を実行するステップと、音素列を実行するステップを反復するステップを含んでもよい。非同期性は、所定の一連の応答のうちの1つに対応しない場合がある。上記の方法はまた、応答を所定の一連の応答と比較するステップと、応答が、所定の一連の応答のうちの1つの応答に対応しない場合は、第2の視覚素列および第2の音素列を実行するステップをさらに含んでもよい。
上記側面のその他の実施形態では、管理するステップは、居住者に指示を与えるための投与計画遵守行動を含んでもよい。投与計画遵守行動は、投与計画および投与計画に関連する遵守スケジュールを保存するステップと、遵守スケジュール間の所定の事象において、居住者にリマインダを提供するステップと、居住者からの応答を一連の所定の応答と比較するステップと、住居者からの応答に基づき行為を実行するステップとを含む。その他の実施形態では、実行するステップは、住居者に薬剤を提供するステップを含む。その他の実施形態では、実行するステップは、住居者に第2のリマインダを提供するステップを含む。実行するステップは、ロボットから遠隔の装置と通信するステップを含んでもよい。
上記側面のその他の実施形態では、管理するステップは、居住者と居住者から遠隔に位置する第三者との間の通信のための、遠隔通信列を含んでもよい。その他の実施形態では、遠隔通信列は、ロボット上にカメラを提供するステップと、事象が発生すると、カメラの状況を第1の設定から第2の設定に変更するステップとを含む。第1の設定は、居住者を観察することを許可し、第2の設定は、プライバシーを守るカメラの位置付けを含む。該方法はまた、住居者にプライバシー信号を提供するステップを含んでもよい。事象は、居住者からの許可の拒絶を含んでもよい。第1の設定は、カメラの電源が入っていない状態を含み、第2の設定は、カメラの電源が入っている状態を含み、ここではカメラは住居者を観察するように位置付けられる。
上記側面のさらにその他の実施形態では、管理するステップは、周囲環境内で移動ロボットを移動させるための操縦管理部を含む。操縦管理部は人間捜索列を含み、列は、複数の場所のうちの1番目でアナンシエータを作動させるステップと、非雑音応答のためにセンサパッケージを監視するステップと、非雑音応答と一連の所定の応答を比較するステップと、非雑音応答が、一連の所定の応答のうちの少なくとも1つの応答に対応する場合に、サクセスルーティンを作動させるステップと、ロボットを次の場所に操縦するステップと、アナンシエータを作動させるステップとを含む。操縦するステップは、戸口を識別するステップを含み、それは、(a)壁追跡モードの間の、ロボットの走行距離計測法および方位を分析し、壁の端と戸口のうちの1つの横断を示す、走行距離計測法および方位の組み合わせを識別するステップと、(b)信号反射を分析し、壁の隙間に向かう方位を識別するステップと、(c)動的に作成されたマップを分析し、壁の隙間に向かう方位を識別するステップと、(d)マップおよびマップに対するロボットの位置付けを分析し、壁の隙間に向かう方位を識別するステップと、(e)ビーコンを分析し、ビーコンに向かう方位を識別するステップと、(f)天井にある兆候のパターンを分析し、パターンを利用して認識された位置のドアに向かう方位を識別するステップからなるグループのうちの少なくとも1つを含む。該方法では、アナンシエータは、目的の居住者に関連する名前を含む音を発し、ここでは一連の所定の応答は、非雑音応答のソースを識別する。また該方法は、移動ロボットが移動する恣意的な方位および恣意的な距離に基づき、次の場所を選択するステップと、恣意的な方位の方向に移動させるステップと、障害を回避するために移動ロボットの移動方向を調整するステップと、障害を回避したとき、恣意的な方位に戻るステップと、移動ロボットが恣意的な距離を移動するまで、恣意的な方位の方向に継続して移動させるステップを含んでもよい。さらに、該方法は、光学的部屋特性認識、ソナー、RFID部屋タグ付け、IR方向性ビーコン検知、走行距離計測法、慣性誘導、推測航法、部屋マッピング、およびコンパス操縦のうちの少なくとも1つに基づき、次の場所へ移動ロボットを操縦するステップをさらに含んでもよい。また該方法は、人を検知するように構成される少なくとも1つの検知器を使用するステップを含んでもよく、少なくとも1つの検知器は、赤外線検知器、放射線検知器、音響検知器、RFID検知器、タンク回路検知器、行動検知器、および画像検知器より成るグループから選択される。さらに、該方法は、移動ロボットが位置付けられる構造のマップを作成するステップと、作成されたマップに基づき次の場所を選択するステップをさらに含み、次の場所は、少なくとも移動ロボットの現在の場所から離れた閾値距離に位置する。作成するステップは、障害を検知するステップ、または住居者から電子的にマップを受信するステップを含む。また該方法は、閉まっているドアを見つけ出すステップと、ドアを通して可聴信号を送信するステップとをさらに含んでもよい。送信するステップは、ドアにノッキングの音を伝えるステップを含む。
上記側面のさらにその他の実施形態では、管理するステップは、居住者との連絡を制御するための安全管理部を含む。安全管理部は、ロボットの存在を示すアナンシエータを構成するステップと、ロボットの存在を示すビーコンを構成するステップと、安全状態を検知するセンサを構成するステップと、安全状態が検知されると、ロボットを固定する制御器を構成するステップを含む安全手順を開始する。ロボットが移動しているときは、アナンシエータは所定の音を発する。ビーコンはストロボを備える。センサは、カメラ、光学的センサ、IRセンサ、鍵検知器、行動検知器、接触スイッチ、圧力検知器、近接センサ、ソナー検知器、レーザーを使った障害検知器、雑音検知器、およびマイクロホンのうちの少なくとも1つを含む。上記の方法は、居住者とロボットの基部との接触を制限するように、ロボットの物理的形状を構成するステップをさらに含む。上記の方法は、居住者に関する情報を遠隔端末へ送信するための、通信ユニットを構成するステップをさらに含む。情報を送信するステップは、居住者からの許可を受けるステップを含み、情報に変更が発生すると所定のスケジュールにより送信されるか、コンピュータ上でやりとりが行われる。
本発明自体と同様に、本発明の前述およびその他の目的、特徴および利点は、添付の図と共に読む際に、下記の種々の実施形態から完全に理解されるだろう。添付の図は以下の通りである。
図1Aは、本発明の一実施形態に従う自律移動ロボットの概略斜視図である。 図1Bは、図1Aの移動ロボットの点線の概略斜視図である。 図2は、本発明の別の実施形態に従う移動ロボットおよびその機能の概略斜視図である。 図3A−3Bは、本発明のその他の実施形態に従う移動ロボット、薬ディスペンサおよび基地局の、概略前面図および斜視図である。 図3A−3Bは、本発明のその他の実施形態に従う移動ロボット、薬ディスペンサおよび基地局の、概略前面図および斜視図である。 図3Cは、本発明のその他の実施形態に従う移動ロボットおよび薬ディスペンサの、概略前面図である。 図4Aは、本発明の実施形態に従う移動ロボットの概略底面図である。 図4Bは、本発明の別の実施形態に従う移動ロボットの上面、側面、および前面図である。 図5A−5Bは、図1Aの移動ロボットの概略斜視図である。 図5A−5Bは、図1Aの移動ロボットの概略斜視図である。 図5Cは、本発明の一実施形態に従う、移動ロボットで用いるプライバシーインターフェースの概略図である。 図5Dは、本発明の一実施形態に従うプライバシー装置の概略図を示す。 図6Aは、本発明の一実施形態に従う移動ロボットの部品間の内部アーキテクチャおよび関係の概略ブロック図である。 図6Bは、本発明に従う移動ロボット用の従来とは異なる電子システムの概略ブロック図である。 図6Cは、本発明の一実施形態に従う移動ロボット用の相互交流状態図である。 図6Dは、本発明の別の実施形態に従う移動ロボット用の相互交流状態図である。 図7Aは、本発明の一実施形態に従う一般的相互交流アルゴリズムを示す。 図7Bは、本発明の一実施形態に従う会話アルゴリズムを示す。 図7Cは、本発明の一実施形態に従う追突アルゴリズムを示す。 図7Dは、本発明の一実施形態に従う表示バックアップでの声によるプロンプトおよび応答の組み合わせを利用した、表示相互交流アルゴリズムを示す。 図8Aは、本発明の一実施形態に従う移動ロボット用のネットワークサーバを示す。 図8Bは、本発明の一実施形態に従うネットワークプロトコル、安全性、およびトランスポート層の概略図である。 図8Cは、本発明の一実施形態に従うNAT/ファイアウォール横断接続のための、認証およびネゴシエーションの概略図を示す。 図9Aは、本発明の一実施形態に従う移動ロボット用の報告手順アルゴリズムである。 図9Bは、本発明の一実施形態に従う移動ロボット用の通信システムである。 図10Aは、本発明の一実施形態に従うロボット画面表示用の感情表現を示す。 図10Bは、本発明の一実施形態に従うロボット用の感情の動きを示す。 図11Aは、本発明の一実施形態に従うスケジュール図を示す。 図11Bは、本発明の一実施形態に従う投与計画開始アルゴリズムを示す。 図11Cは、本発明の一実施形態に従う投与計画遵守アルゴリズムを示す。 図12は、本発明の一実施形態に従うビデオ/テレビ会議依頼アルゴリズムを示す。 図13Aは、本発明のロボットが作動する家庭環境の計画図を示す。 図13Bは、図13Aの家庭環境のロボット構築トポロジーマップを示す。 図14Aは、本発明の一実施形態に従う位置決め行動中、移動ロボットが縦横する通路の計画図を示す。 図14Bは、本発明の一実施形態に従う位置決めアルゴリズムを示す。 図15は、本発明の一実施形態に従う近接アルゴリズムを示す。 図16は、本発明の別の実施形態に従う投与計画遵守アルゴリズムを示す。 図17A−17Bは、本発明の実施形態に従う照合アルゴリズムを示す。 図17A−17Bは、本発明の実施形態に従う照合アルゴリズムを示す。 図18Aは、本発明の別の実施形態に従う投与計画遵守注意喚起アルゴリズムを示す。 図18Bは、本発明の一実施形態に従う薬剤充填アルゴリズムを示す。 図19は、本発明の実施形態に従うロボット用の複数モードナビゲーションにおける第1モードのアルゴリズムを示す。 図20は、本発明の実施形態に従うロボット用の複数モードナビゲーションにおける第2モードのアルゴリズムを示す。 図21A−21Bは、本発明の実施形態に従うマップ形成アルゴリズムを示す。 図21A−21Bは、本発明の実施形態に従うマップ形成アルゴリズムを示す。 図22A−22Cは、図19で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22A−22Cは、図19で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22A−22Cは、図19で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22D−22Fは、図20で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22D−22Fは、図20で図示したナビゲーションモード用のユーザインターフェース表示を示す。 図22D−22Fは、図20で図示したナビゲーションモード用のユーザインターフェース表示を示す。
自律移動ロボット10の一実施形態を図1Aおよび1Bに示す。ロボット10は、本体12、1つ以上の車輪14、および頭部16を有する。ロボット10の特定の部品(例えば、本体12、車輪14、および頭部16)は、互換性のある即行取り付け具および/または電気接点配置を介し、他の部品とそれぞれ容易に取り付け/取り外しされるように構成される。また、互換性のある方法において異なるバージョンを使用可能である。多数の周辺装置は、ロボット10、すなわち本体12、頭部16、またはそのほかの部位に取り付けてもよい。示される実施形態には、ユーザがロボット10と情報をやり取りし、ロボット10によって提示される質問に答え、ロボット10に命令を与えるためのタッチ画面18を含む。スピーカー20、またはそのほかの音声発生装置は、ロボット10に位置する。加えて、図1Bに示されるように、ロボット10は、種々の環境条件を感知するため、実質上ロボット10のどの場所にでも取り付けられる多数のセンサ22を利用してもよい。例えば、センサ22は崖または端検知器、振動センサ、温度センサ、視覚感知用カメラ、タグ検知器、近接感知、壁追跡あるいは電源または基地局との接続用レーザー装置、自動誘導ビーコンまたは局所環境インディシア追跡用検知器を含んでもよい。
本説明のため、ロボットは機能システムのいくつかのカテゴリを有する。各機能システムは、センサ、エフェクタ(アクチュエータ)、通信、およびコンピュータ制御のような構成部品を含む。本発明に記述されるロボットは、いくつかの応用システムを有し、応用システムはロボットにより遂行される全体の機能を達成するためのシステムである。コンパニオンロボットにとっては、強化された人間/ロボットの相互交流は主要機能であるため、人間/ロボットの相互交流には必要な重複がある。ロボットはユーザの信頼と愛着を増加させるため、一般的利益を有し、ありとあらゆるその他の応用の成功率を増加させるシステム(プライバシー保護、相互交流システム)を含んでいる。ロボットは、関連ユーザに対する健康、衛生状態、ならびに、または必要な特定の投与計画、注意喚起、伝言、および激励手法の1つまたは複数のスケジュールを保持する。
ロボットは、音声命令、画面または表面への接触、動きおよび人間の存在の検知、(その他のもの)に応答し、ならびにロボットは音声合成、身振り、イアコン、文字列、画像、動き、および「周辺」色応答を介し通信してもよい。ロボットの頭部および胴の構造は、肩をすくめたり、うなずいたり、頭を振ったり、横を向いたり(対象を変える)、その他の身振りの合図を提供するよう設計されてもよく、すなわち移動システムによって、接近および後退の動き(個人空間および会話への留意の合図)ができ、顔のマトリクスパネルによって全種類の顔の表情を作ることができる。胸パネルは、コンテンツプレーヤー/エンジンのインターフェースであってもよい。ロボットの低レベル行動では、人による中断を受け入れてもよい。一実施形態では、行動によって割り込み、または引き起こすことができるスクリプトエンジンを用いてもよく、従来と異なる実施形態では、セルフプレイ(self play)、救助依頼、身振りの合図などのような一部の行動を、並列/調停行動として実行することができるよう意図している。ロボットは、短距離の対象回避および危険要因管理行動に応答する、2輪駆動および受動的脚輪のような車輪付き移動システムを含んでもよい。車輪付き移動システムは、中距離の障害回避計画(SLAM発生マップに基づく通路計画)および長距離の目的指向計画に応答する場合もある。
頭部16は、ライザ13、柄、または首に取り付けてもよい。回転(または左右回転)軸A は、通常首と平行で首の内側にある。上下軸A は左右回転軸A に対し直角で、実質的に頭部16を2等分してもよい。表示軸は通常、上下軸および左右回転軸のいずれか、または両方に対し直角に交差していてもよく、表示部26から垂直に突出していてもよい。頭部16もまた、顔の動画用に使用される表示部26を含有し、ビデオ会議、マルチメディアアプリケーション、メニュー入力などに適応することができる。図1Bに図示するように、ロボット10の頭部16は、環境周辺でロボット10をナビゲートしたり、居住者またはその他の人を観察したり、ビデオ電話またはその他の通信装置として機能したりするなど、種々の機能を果たす、1つ以上のカメラ28を含有してもよい。アンテナ30、モデム、またはその他の無線通信装置によって、ロボット10および遠隔装置、基地局などの間で通信することができる。テレビ会議カメラ28を、ナビゲーションカメラ29とみなし、ナビゲーション、特徴抽出、および同類のものとして使用してもよく、または1つ以上の個別ナビゲーションカメラ29をそれぞれ備えてもよい(例えば、図3A−3Bに図示するように天井の象徴、端、形、または基準を観察するために天井に向けられたり、あるいは図22Fに図示するようにロボットの先頭の端または先頭部分を含み、床面または地面に向けられたりする)。
頭部16は、略球形、または適切な一定の直径であるその他の固体の形をしていてもよい(これらの形は、頭部と首接合部または胴との間で指が挟まれないほど十分に小さな間隔を伴って、首または肩の空洞内に頭部を配置または収容できる)。
頭部16を、左右回転モーターおよび位置エンコーダ314を含む左右回転接合部315、ならびに傾斜モーターおよび位置エンコーダ340を含む傾斜接合または中空枢軸302を介して連接してもよい。左右回転または傾斜接合部の片方または両方は、本明細書で論じるように、特定の利点を有するヨーク型接合部である場合がある。図4に図示する実施形態では、例えば、傾斜接合部302は、顔マトリクスパネル26を首部へ向かって回転させ(すなわち、視界から隠す)、頭部16の後部を顔マトリクスパネル26に取って代わるように回転させることができる、ヨーク型接合部である。あるいは、1つのモーターを使用する差動駆動機構を使用して、2つの軸周辺で頭部を駆動してもよい。
胴またはライザ13(ライザは一般に、センサおよび/または頭部要素を、カメラおよびセンサの視野が障害検知および遠隔操作に役立つ高さに持ち上げる)は、頭部16および左右回転接合部315を支持してもよい。ロボット10には、美観上および機能上の選択として、胴13内よりむしろ、頭部16または移動プラットフォーム12内に、大部分の部品を含む。胴13から離して部品を位置させることで、ロボットは重々しいゴミ箱のような外観になることを避けられる。機能上も、いくつかの利点がある。より重い部品は移動プラットフォーム12内に置き、重心を下げる。そこに部品を置けない場合、胴13は、より簡単に種々の上昇または伸長(胴部分を旋回/接合/折り畳みまたは伸縮させること)に対応できる。移動プラットフォーム12は胴13を支持し、通常三角形の形をしていてもよく、または一定幅の曲線の形をしていてもよい(例えば、奇数の辺を持つルーローの多角形)。任意に、ロボット10は、概ね底面に沿い延在する移動プラットフォーム12、概ね1つまたは2つの直角をなす面に沿い延在する胴13、および概ね頂点に位置する頭部16と共に、概ねピラミッド形または4面体の覆い内に収まる。この配置では、覆いの内部容量の多くが空いており、運搬用の盆または格納式遠隔操縦器(不図示)を収容し得る。さらに、頭部16の重量は、移動プラットフォーム12の中央に重心が置かれることに寄与するように、胴13を移動プラットフォーム12の1つの末端から、水平方向の中央に向かって延在するよう配置することもできる。重心に対するターゲットの高さは、床から約30cmである(頭部が高い位置にあるときには、必ずしも常にそうではない)。
特定の実施形態では、ロボット10の頭部16はいくつかの機能を果たしてもよい。頭部16は、主要制御板(例えば、多くの回路およびサブ回路を含む、図6Bに示すE20)を含んでもよい。カメラ28(電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)センサならびに互換性のある光学素子)を、立体視覚のために備え(2つが使用される場合)、熱分解(感熱性)センサ(S21)は、表示部26の方向に沿って向けてもよい(これらのうちの1つ以上を、前方、横、および後方へ向けて、胴または基地上の固定場所に置いてもよい)。カメラ28は、表示部26の近くの動画マトリクスまたはセグメント「目」304に近接(この場合4インチ未満)して置かれ得る。その結果、テレビ会議セッションの間、ロボットの頭部と目を見る人はカメラを凝視し、テレビ会議セッションを観察する遠隔ユーザは、カメラを真直ぐ見る居住者を見ることになり得る。会話中、特にロボット10がアバターとして機能し、遠隔ユーザに交信する際に、「目」を見るのは自然なことである一方、カメラを見るのは不自然であり(おそらく俳優を除いて)、テレビ会議セッションでは通常、参加者のほとんどは、カメラから目をそらすことになる。カメラを、内部ではなく、ロボットの動画化された目「304」から数インチ以内に置くことで、ビデオチャットまたはテレビ会議の際に、ロボットのユーザが基本的にカメラ28を直接見るような結果となりうる。「目」304全体を完全に動画化したり、顔のマトリクスパネル上で、異なる顔の異なる位置内に表示したりするためには、本実施形態ではカメラ28は目「304」内部にあるべきではない。
頭部16の後部は、滑らかかつ/または半透明であり得、丸またはその他の外形を有し得、インディシアや装飾を含み得、あるいは追加の情報表示パネルを組み込み得る。音声データを収集し、言葉での命令を受信するためなどに、マイクロホン32を含んでもよい。好ましくは、音源を探し、到達時間およびその他のフィルター技術を使用して、周辺雑音を取り除くことができる多数のマイクロホンを持つ、ベクトル化マイクロホン配列305を備える。表示部26は、頭部16内に収納される主印刷回路基板(PCB)に固定してもよい。PCBはロボット10の制御電子回路のほとんどを含んでもよく、第2のPCBが第1のPCBに並列に取り付けられてもよい。主PCBは、低電圧差動信号(LVDS)インターフェース要素(図6BのE10)を含んでもよく、本体12内の互換LVDSインターフェース要素E10に、多重LVDSペア線を介し接続されてもよい。図6Bに図示するように、高周波LVDS信号と互換性のあるコネクタおよびケーブルを使用し、主PCBと本体12との間にLVDS信号を送信してもよい。対象のケーブルおよびコネクタの電気抵抗は、100オームの差動対であってよい。LVDSの使用によって、システム配線を簡素化し、放射妨害波を低減してもよい。
ロボット10の本体12は、懸架システム付きまたはなしで、安定した3点接触を提供する、3つの車輪14上で支持されてもよい。3つの車輪14は、2つの差動前方駆動車輪及び後方キャスターにより構成されてもよい。なお、前後は逆であっても良い。多くの車輪によって、動輪と遊動輪とを異なる配置にすることも可能である。ハーモニックドライブ(登録商標)、ダイレクトドライブ、または従来型の歯車列を駆動モーター(図4)および車輪14の間に使用してもよい。車輪14は、約3cm高い敷居を踏み越えられる大きさであってよく、おおよそその大きさかまたはそれ以上に大きな半径を有してもよい。軸距Wの大きさ(特定の実施形態では、およそ32cm)は、必要な安定性に応じたものであり得、より低い重心またはより大きな数の車輪であれば、より短い軸距であってもよい。
あるいは、車輪はホロノームまたは全方向車輪であってもよい。かかるシステムは米国特許第3,876,255号、第4,223,753号、および第5,374,879号に開示され、それらの開示は参照することにより本明細書に組み込まれる。あるいは、ロボットは、倒立振り子の動的平衡を持つわずか2つの車輪を使用してもよい(例えば、図3A−3Bに図示する)。いくつかの配置では、ロボットは米国特許第6,535,793号、および第3,348,518号に記載の、障害を登る車輪または群車輪を使用してもよく、それらの開示は参照することにより本明細書に組み込まれる。
ロボット10と1人以上の居住者またはユーザとの間を結び付けることを容易にする、さらなる特徴および機能性を提供するその他の部品が、ロボット10に含まれてもよい。「居住者」は、ロボットと共に住居で生活する人を記述するのに使用され、本明細書で他の方法で使用されていない場合は、用語「居住者」および「ユーザ」は同じ意味で使用されてもよい。居住者は、さらなる注意または監督が必要な高齢者または子供、家族の各一員、家庭のペット、居住者により特定される家への来客などである可能性がある。ロボット10および居住者の間を結びつける可能性を増すため、ロボット10は触覚センサ34、あるいはロボットの本体12または頭部16のいずれかまたは全てを覆う「デジタルスキン」を含む。これらの触覚センサ34により、ロボット10は居住者が自分に触っていると認識する(およびかかる接触に対し適切に応答する)ことができる。触覚感知センサ34によって、物理的に居住者を援助するために手助けするよう設計されていないロボットを、居住者が使用している際に、ロボットが認識して適切に反応する(活動しなかったり、音声警告を送信したりする)ことを可能としてもよいが、ロボット10が正常に機能しない場合は、そのような目を引く機能は緊急停止として機能してもよい。
頭部16は可動式の首に取り付けるか、または首は固定または不動とし、その上を移動する頭部用の基地として機能してもよい。可動式頭部および首の両方の組み合わせもまた考えられる。可動式頭部16により、ロボット10は居住者により自然に反応できる。図1A−1B、および5A−5Bに示す一実施形態では、頭部16を中空肩支持部12aにより空洞24a内で支持する。肩支持部12a内の回転可能なヨークは、回転軸A の周りを回転することができる。ヨークによって、頭部16も上下軸A の周囲を回転できるので、表示部26をある条件下では視界から隠してもよい(図5Aおよび5B参照)。また、頭部16の動きにより、その上に位置付けられるカメラ28および表示部26は動くことができ、ロボット10に、カメラの広範な視界および表示部の広範な見やすさの両方を与える。特定の実施形態では、連結頭部/首の組み合わせにより、4つの自由度が提供される。
一実施形態では、表示部26は、顔セグメントまたはマトリクスパネルであり、くすんだ灰色のフィールド上の顔貌部分として個々に形作られる、約100から約1000の間のセグメントを含む、モノクロ、バックライト付き、またはバックライトなしの液晶表示(LCD)である。LCDは永続的パターンのセグメントを持つ、四角、長方形、八角形などで、およそ幅10−15cmである。垂直走査周波数および更新速度のいずれも、必ずしも急速でなくてもよい。セグメントの任意の部分は、任意の瞬間に作動する(すなわち、暗くなる)ことができ、セグメントは約50ミリ秒から約1秒後に状態を変化または切り替えることができる。LCDガラスは頭部16の一部とみなされ、頭部16に対し、表示部26はあまり動くべきではない。
表示部26は、音声および相互交流と同期して動画化される、目‐眉毛‐鼻‐口という対象の表示を実装し、ロボット10の変化する感情および非言語的行動を表現する。バックライトが希望より多くの電力を消費する場合は、表示部26は、居住者との相互交流の間にのみ、バックライト照射されてもよい。あるいは、表示部26は、反射パネルであってもよく、あるいは半透明の頭部16全体内でフィルターにかけられた部屋の周囲の光源によってバックライト照射されたり、1つ以上の発光ダイオード(LED)および適切な拡散器またはそれらの任意の組み合わせによって、バックライト照射されたりし得る。表示部26は、有機発光ダイオード(OLED)パネルであってもよく、表示部26はバックライトを必要としない場合もあり(使用されてもよいものもある)、暗いときにライトがつけられる顔のパターンを使用する場合は、より少ない電力消費が可能である。
ロボット10に対し、本明細書で論じられる設備が提供される場合、2つのバックライトの電力消費はいつでも、ロボット10により消費される電力の半分以上となり得、ロボットの作動時間を2時間以下に制限する可能性がある(反対に、バックライトなしで作動すれば、この時間を4−5時間に増加することができる)。
表示部26は、電気泳動、電子ボールの回転、電子インク、電子ペーパー表示、および/または混合電子インク/活性マトリクス表示のような、反射双安定(不揮発性)技術を使用して、構築してもよい。電気泳動または電子インク表示は、双安定で、電源が入っていない際に画像が残る高コントラスト、低電力技術により行われる(例えば、マサチューセッツ州ケンブリッジのE‐Ink Corporation製のE‐InkTM.高解像度マトリクス画像化フィルムまたはセグメント表示セル、またはXerox/3M製の電子インク/ジリコンシート)。この型の技術は、戯画化した顔の表情を満足に表示するのに、約0.5−1秒の切り替え時間を有する場合がある。混合電子インク/活性マトリクス表示では、鋼箔上の高分子エレクトロニクスに基づく画素駆動または従来のTFT技術を含む、薄膜トランジスタ(TFT)活性マトリクスの背面を、上記のような反射電子インクの前面(例えば、カリフォルニア州フレモントのSiPix Imaging社、またはオランダ、アイントホーフェンのPolymer Vision社製)と組み合わせる。識別される特性(反射性または透明、超低電力、双方向安定など)のうちの少なくとも一部を表示する、様々な原理で作動する表示型は、富士通の電子紙表示(日本の富士通よる、コレステリック選択反射膜の基板に基づく色表示)、またはNanoChromicsTM.表示(アイルランドのNTERAよる、ナノ構造膜電極/エレクトロクロミックビオロゲン分子表示)である。
表示部26を説明する際、用語「セグメント」パネルは、一例では、X−Yマトリクス画素よりむしろ、離散的に形作られる要素からなるパネルである。用語「マトリクス」パネルを使用するときは、一例では、X−Yマトリクスパネル画素からなるパネルを意味する。マトリクスパネルの潜在的な利点は、代わりとなる(または唯一の)情報表示として使用でき、その上に表示される顔または顔の表情を、ソフトウェア、ダウンロード、またはユーザ設計で完全に変えられることである。しかし、セグメントパネルは、より簡単でより効率的であり、作動されたセグメントに対し極めて滑らかなアウトラインを与えることができ、ユーザまたは一連の表情の共同体用プログラミングに容易に適応することができる。
本明細書の説明では、頭部16の円形パネル窓101の表面領域のほとんどを覆うことができる、八角形またはその他の辺を有する多角形パネル形を意図しているが、通常の4:3またはその他の長方形LCDパネルを、垂直または水平方向に使用してもよい。2つ以上のパネルを、円形パネル窓101内部に使用することもできる(例えば、垂直または水平方向の3つのパネルで、三角形パネルよりも円のより多くを埋めることができる)。図10Aに図示するように、口、目、眉という対象を、マトリクス表示部を使用し、非常に多数の画素から適宜形成することができ、または、セグメント表示部を使用し、多数のセグメントの設定形で形成することができる。もちろん、表示部26はセグメントおよびマトリクス部分の両方を組み込んでもよく、マトリクス画素は1種類のセグメントとみなすことができる。セグメントまたは顔マトリクスパネル(表示部)26には、従来の製造技術によって、十分な数のセグメントまたは画素が提供されてもよい。
図1Aおよび1Bのロボット10は、入力および出力それぞれに使用される、2つの画面18、26を示しているが、ロボットのその他の実施様態では、両方の機能に対し通常は両方の番号が付される(例えば、図3A−図3Bを参照すると、「18、26」)単一の画面のみを利用してもよい。例えば、単一タッチ画面を、入力および出力の両方を見るために使用してもよく、ロボットの頭部または本体のいずれかに位置付けてもよい。あるいは、ロボットとの入力相互交流は、複数のボタン、ノブ、触覚またはその他のセンサなどを介することも可能な一方で、単一表示部を出力に使用することもできる。画面上のポインタを動かすためのトラックボール装置またはその他の型の接触パッドも、利用してもよい。トラックボールまたは接触パッドを、ロボットまたはそこから離れた場所に位置付けてもよい。
例示的な単一画面移動ロボットは、図2に示される。示されるロボットR2は、ロボット2を歩行器またはガイドとして機能させる、V形またはU形の基部112を含んでもよい。ロボットR2は、ロボットR2の手助けで歩くため、従来の歩行器に非常に似た、(通常、ロボットR2の頭部116が、水平の位置にあるときに)ロボットR2の1組の取手136を握ったり、寄りかかったりするユーザを安定化させるための、少なくとも3つの車輪114を含む。ロボットR2は、1つ以上の車輪114の回転を制御し、ロボットを誘導したり、あるいはロボットR2および/またはユーザが、あまりにも速く滑ったり動いたりするのを防いだり、かつ/または、取手136を介し頭部116を回すことで、ロボットR2を誘導し得るユーザの歩行を調節してもよい。捻り、角度、位置、ひずみ、および/またはその他いずれの変位検知器が、柄124または軌道134(以下に記載)に対する頭部116のねじれを検知し、歩行中の人を手助けするために車輪114の動きを変えてもよい。
柄124は、軌道134を含み、頭部116は(図2に図示するように)これに沿って140を動かす。加えて、頭部116は回転可能でもよく、および/または旋回してもよい。軌道134は受動的でまたは電動化されていてもよい。頭部116は例えば、締め付けノブを回すことにより、軌道134に沿って特定の位置に固定されてもよく、またはモーター、ロッキングボルト、ケーブル、鎖、台、および小歯車、またはその他のいかなるシステムで特定の位置に自動的に調節および/または固定されてもよい。軌道134に沿った頭部116の動きも、例えば制御ユニットの制御下で電気モーターによって影響を受ける場合があり、種々のロボットの行動または機能性に従い、動いてもよい。
軌道134は、軌道134に沿った最上部の点で、頭部116が平らに横たわる(すなわち、重力Gに垂直で、頭部116内の加速度計、ジャイロスコープ、デジタルレベルなどによって、任意に検知される)ことができる、「上死点」位置を有してもよい。あるいは、またはさらに、頭部116を反転し、図に図示される方向と反対の方向に向けてもよい。図に図示するように、軌道134は地面に向かって全方向に進み、表示部の顔側または盆(頭部116)側上のカメラを、地面の位置に移動させ、地面の表示を提供してもよい(ナビゲーションのため、または遺失物のためにソファその他の下を見るため)。
ロボットR2は、頭部116上に表示部126を含み、上記に述べたような、タッチ画面および/または視覚出力画面のいずれかとして機能してもよい。スピーカー120を音声出力用に頭部116上に位置付けてもよく、マイクロホン132または配列132は音声入力用に利用してもよい。その上、ロボットR2は、適切なセンサ122、または指キャップ心拍監視装置などのその他の付属品のいずれかを含み、以下に記載する、遠隔介助者または医者に医学的フィードバックを提供してもよい。頭部116および/または表示部126は、盆上に置かれたアイテムの特性を検知したり、あちこちにアイテムを移動させたりする手段として、盆の適切な使用を容易にするために(例えば、高温すぎるアイテム、重すぎるアイテム、または中心から遠くに置かれたアイテムを検知するために)、1つ以上の温度、質量、重量、またはその他のセンサを含んでもよい。頭部116は、アイテム(例えば、食物または飲み物など)を運搬または保持するのに適し、食物または飲み物、および/あるいは薬剤のための、反応する、能動的な、クランプ、または受動的なホルダーあるいは容器を含んでもよい。
図2はまた、安全機能を装備した移動ロボットR2の例を図示する。スピーカー120も、ロボットR2用のアナンシエータとして機能してもよく、あるいはロボットR2は別の「雑音源(noise−maker)」(必要以上に騒々しくなるように選択されているギアまたはその他の機械を含む)を含んでもよい。スピーカー120は、ロボットR2の存在を、居住者またはその他の人々に聞こえるように注意を呼びかけるために、特定の可聴プロファイルと組み合わせて使用してもよい。スピーカー/アナンシエータ120によって発せられる存在警告は、移動ロボットR2の存在を人々に聞こえるように注意を呼びかける、断続的なビープ音、継続的な送信音、音楽の一章節、滑らかな音、またはその他の適切な通知のいずれかであってもよい。しかし、雑音は騒々しすぎたり、煩わしすぎたりするべきではない。一実施形態では、床の通常の足音と同じ音の大きさの範囲ほどで聞き取れる。加えて、回転ライトバーのような、1つ以上の可視ビーコン138により、補助的な視覚的警告を提供する。ビーコン138によって発せられた視覚信号は、移動ロボットR2の存在について人々に注意を呼びかける、点滅する光源、ストロボ、色が継続的または変化する光線、表示部126上に表示される画像表示、あるいはその他の適切な可視信号であってよい。可視信号はまた、受動的なパターン(例えば、反射器または逆反射のパターンなど)であってもよい。
図3A−3Cは、本発明の実施形態に従う、ロボットのいくつかの変形物R3−R7を示す。ロボットR3−R7のそれぞれは、RF通信を含んでもよく、ロボット基地局を使用してもよい(本明細書では、以下に説明するセットトップボックスSTBの上に位置するBSとして示される)。
ロボットR3は、倒立振り子バランス(すなわち、ジャイロスコープ感知を使用した、車輪のサーボ制御を介した能動的または動的なバランス)を使用し、2つの同軸車輪(またはボール)上で平衡を保ち、自動的に復元する。本明細書で説明されるように、ロボット表示部またはテレビ会議画面18は、ロボットの上部近くにある。組合せカメラ28、29は、ロボットの上部で天井を向き、テレビ会議機能およびナビゲーション機能を操作する。組合せカメラは、天井および/または光源固定具および/または戸、ならびに角の端、特徴、インディシアまたは基準に沿うために、天井に向けられてもよく、例えば90度で傾斜し、テレビ会議またはさらなるナビゲーションモードのために前を向いていてもよい。ロボット全体の重心を、車輪または球の軸に可能な限り近くづけるため、ロボットの重量の半分以上は、車輪近くに配置される。膝またはそれ以上の水準で、チッパー環12は、ロボットの底のどの部分よりも著しく大きいので、ロボットの車輪またはつま先の高さの部分がつまずく(trip on)可能性が低くなり得る。同様に、チッパー環は円形で、人と同じくらいの幅であり(例えば、16−24インチ、好ましくは約18インチ)、膝の高さでほとんどの食卓および椅子の脚に遭遇する。
ロボットR3は、ロボットの中間近く(3−4フィート)に、衝突を検知することができる加速度計のような内部センサを含んでもよい。ロボットの上部には、自動復元プラットフォームがある。またプラットフォームも、その上に運搬される部位が倒れたり、こぼれたりしないように、水平方向を維持するために、好ましくは動的に平衡する。さらに、対象検知および回避センサをロボットR3の上部に位置付ける。プラットフォームは薬剤ディスペンサ17を支持する。図示するように、薬剤ディスペンサは穴の円形カルーセルであり、各穴は錠剤を包含するのに適した小さな紙コップ、あるいは水の飲み下しなどに適した「Dixie」カップを保持する。ディスペンサまたは錠剤局は、固定され、手動またはモーターにより回転することがある。ディスペンサは移動式D形「ハンドバック」取手(図示せず)を含んでもよく、ロボットに取り付けられたり、またはロボットから取り外されたりすることができ、かつ/またはロボットにロックすることもできる。ディスペンサはまた、家の中の別の場所(例えば、浴室内、ネットワーク接続、およびディスペンサ充填用の錠剤カートリッジを含有する場所)に位置付けられ得る充填器に合致していてもよい。本明細書で論じる充填技術では、前充填された(現地外、薬局などにおいて)カートリッジ型充填器を使用して、ディスペンサを充填することができる。示すように、ディスペンサまたはMD17はまた、家の中の別の場所に配置してもよい。
1つ、またはそれ以上のコンポーネントは必要ない。改良型R5は基本的には同様であるが、薬剤ディスペンサ17またはコンポーネントを、より低い重心で家の周りに移動させることができるように、延在または伸縮するライザ13Aを含む(伸縮シリンダー、ジャック、ねじ、はさみ、連結または接合腕を使用)。改良型R4は表示部26、18およびディスペンサ17を欠いているが、依然ナビゲーションカメラ28および多くの残りの設備を含み、表示画面を欠くロボットR4は、居住者をビデオチャットの目的のためセットトップボックスSTBおよびテレビに誘導してもよい。すなわち、テレビ会議カメラ28を有しないロボットに対して、またはテレビ会議カメラ28を有するロボットに対してでさえ、セットトップボックスSTBは、ロボットシステムの一部を形成することがある。セットトップボックスSTBは、ロボット基地局、またはロボット基地局ネットワーク上に特権的に与えられる個別コンポーネントで統合されてもよい。述べたように、基地局(および場合によりSTB)を、広帯域の入り口(典型的にはケーブル、xDSLモデムまたは光ファイバー端末だけでなく、WAN無線ネットワーク)で、家の中に置く。示すように、セットトップボックスには、セットトップボックスSTBが最も配置される可能性のあるテレビの正面に向けられたテレビ会議カメラを含む。通常の家庭用テレビ画面は、ロボットR3−R7によって運搬されることができる画面よりも非常に大きいので、テレビ会議モード(本明細書で論じるように、スケジューリングし、居住者を投与計画遵守対象、すなわちSTBおよびテレビに連れてくることを目的とした投与計画事象として取り扱われる場合もある)の際に、ロボットは(テレビの)大画面、安定した音響(モーターおよび機械の雑音の影響を受けないSTB上のマイクロホン配列)、安定したAC電源、安定したカメラ、および優先広帯域アクセスの利点を生かすビデオ会議セッションのため、居住者をSTBおよびテレビに連れてくることができる。
2つのさらなる改良型を図3Bおよび図3Cに示す。図3BのロボットR6の移動システムでは、前方から後方まで3組の車輪を使用し(全部で6車輪)、中央の車輪組が外側の2組よりわずかに低い。これにより、滑らかな表面上での低摩擦、柔らかい表面上での粘着摩擦、およびほとんどの表面上の適切な位置で迅速に回すことが可能となる。表示部26、18は、必要に応じてロボットから離れることのできるタブレットコンピュータモードパッドの形を取るが、ロボットR6が通常通りナビゲートする際は、本明細書で論じるその他の実施形態と同様の方向を向く。表示部パッド26、18自体が、基地局BSへの個別無線接続を有することもある。テレビ会議カメラはパッド26、18上にあり得るが(それを介して、取り外したパッドを発見することができる)、ナビゲーションカメラ28は、パッド26、18上にはないことが好ましい。この場合の薬剤ディスペンサは、取り外し可能な収納箱またはキットであり、ロボット上に「吊るされ」、それに係合する場合もある。この場合の「頭部」16は、主として表示部パッド26、18および薬収納箱17を取り付けるためのものである。
図3CのロボットR7の移動システムでは、家庭用ロボット掃除機と同様の、差動駆動および前方または後方キャスターを使用する。大概は中央が空の逆円錐は、本明細書で論じるように構成されるチッパー環152に通じる。チッパー環の真ん中には、薬剤ディスペンサ17がある。この場合、薬剤ディスペンサ17は、円錐およびチッパー環152の中心以内で、基本的に吊り下がり、旋回し、自由に揺れる(基本的にほとんどは水平のまま)。薬剤ディスペンサ17もまた、水平に留まるように、アクティブに制御されることがある。改良型R7は、本明細書で論じる改良型のうち、実施費用が最も安価であることがあり、半ばランダムにナビゲートしたり(壁追跡技術およびその他の室内後半検知技術、または戸口等の限られた記憶を用いる)、本明細書で述べるように近接および存在得点を使用するがマップは使用しないことによって、居住者への近接を識別したりすることができる。この場合、R7の改良型は、その他の改良型より早く、例えば投薬計画事象前の15分から1時間早く、居住者を探そうとし始めるであろう。ロボットR7は、タグまたは灯台に基づくナビゲーションを有してもよく、赤外線によるロボットR7上でではなく、錠剤局または薬剤ディスペンサ17と通信してもよい。薬剤ディスペンサは、種々の対象を保持および運搬するための網で代替されたり、またはその下で網を有していたりしてもよい。また一方では、チッパー環152は基部より大きな直径を持つ。基地局BSは、RFに接続していてもよいが、この場合、その代わりに通常の電話線に接続していてもよく、限定的なデータサービスのみが提供される(そして、それから呼び出し側IDチャネル、ヒントおよび呼び出し音、ならびにその他電話線信号により、間接的に遠隔から通信され得る)。
述べたように、図1Bは、本体12の上部に三角形基部40、延長本体12、および頭部16を概して有する移動ロボットR1の実施形態を示す。この実施形態では、頭部16は動くことを可能にするヨーク組立て部42を含む。ロボットR1は、車輪14、センサ22、少なくとも1つのカメラ28、および1つ以上の画面18、26を含む。センサ22は、車輪14に近接して置かれる。さらに、主電源/制御コンポーネント46を、基部40内に置く。電源/制御コンポーネント46の場所は、特定の応用に対し望ましいように変更してもよい。ある種の実施形態では、電源/制御コンポーネントを、電源コンポーネントおよび制御コンポーネントに分離し、電源コンポーネントをロボット基部または本体内に置き、頭部内に制御を置いてもよい。
図4Aおよび4Bは、対象検知範囲が、区域に配置された複数の収束赤外線エミッタセンサ部品により提供される実施例を図示する。それらのセンサの中でも、いくつかは崖感知用に下を向き、いくつかは前を、いくつかは後ろを向き、およびいくつかは本明細書で説明する特別構造である。このセンサシステムは単独でも機能してもよく、またはその代わりとして、例えば代理機能性のために、1つ以上の追突スイッチとの組合せで機能してもよい。
一例示的構造に従い、ロボット10は、後退の際の障害回避のための3つの追突スイッチと共に、障害および吹き抜け回避のための6つの赤外線距離計を含む。
赤外線センサは、例えば、崖検知器と互換性のある同期反射率エミッタ/検知器組のような、同様の電子的実装を好ましくは有する。赤外線距離計に関しては、限定されない実装例のように、エミッタ/検知器組は、下記のようないくつかの異なる構成に従い配備されてもよい。収束交差エミッタ/検知器組965は、崖センサで使用されるように、交差点で特定の検知区域を提供する、エミッタ/検知器組である。拡散並列部966、962A、962Bは、かかる対象の反射率に応じて、好ましくは30度の視野(+/−15度)を提供し、(例えば)約2cmから20cmの距離間で対象を検知する、共同設置エミッタ/検知器組である。接線センサ961は、ロボット10の最前面にある陥凹面978に渡って創造される「破壊光線」トポロジーを利用してもよい。
少なくとも1つの構成に従い、限定されない例として、関連するエミッタの照射パルスの間および後、センサは同期検知を実行することができ、そこではそれぞれの読み取りセンサは、周辺反射率および照射反射率を意味する2つのスカラー値を生成する。少なくとも8ビットの動的範囲で、センサそれぞれが、1秒当たり少なくとも100の当該サンプルを生成することができる。好ましい構成では、アナログ調節/フィルタリング/統合は、デジタル領域へと移行する前に、各検知器の信号で行われる。さらにまた、検知器コンポーネントは、独立型フォトダイオードであってもよく、または配線用ハーネスを通して信号対雑音比率を改善する、トランスインピーダンス増幅器を統合していることもある。当該センサを含むロボット10の例図4Bに図示する。
好ましい構成は、7cm離れた間隔の6つの前を向いた拡散センサ(拡散並列部)966を含むロボットに関係し、対象が範囲で検知されるのに十分反射的である場合、約14cmまで離れて対象へのセンサ範囲を提供することができる。移動する方向内の車輪14それぞれの前に、3つの下向き崖センサ965を置く。ロボット移動基部12の後方斜め側面にある2つの斜めの拡散センサ962A、962Bおよび963A、963Bは、反対方向の障害検知を提供し、例えばドック上のエミッタと連動して接続過程を誘導することができる。正面の2つの角収束センサ967により、例えば壁追跡または壁位置決めのため、ロボットの突き出した覆いの外のみの画定された検知区域を提供する。対象が表面のどこかの部分に触り、それに応じて衝突検知を促し、正確に対象の位置を決める際、ロボット基部の最前部978に渡る接線ビームによって、正確な接触情報を提供する。
移動ロボット10は、家庭環境で機能するので、家庭内安全の問題を色々な特徴のうちのどれかによって解決することができる。これらの特徴の中には、とりわけ、個人接触回避、障害回避(ロボット10に関連する、考えられる高さおよび位置の広範な範囲に渡って存在する対象を検知および/または回避する能力を含む)、および例えば家、家内の対象(家具、固定器具、その他同様のもの)またはロボット自体のいずれかに対する損傷を回避および/または軽減する損傷回避がある。これらの特徴に関連して、ロボットは好ましくは障害の検知および/または回避における重複性を含む。
個人接触回避に関して、かかる接触が回避不可能、または必要とする状況がない場合、ロボット10は、好ましくは例えばユーザなどどんな人とも物理的に接触するのを避ける。しかし、限定されない例のように、とりわけ、考えられる医学的緊急事態にロボットがユーザの体温を測ることが必要とされる際、または遠隔地の委任ユーザが、ロボットに人との物理的接触を行うよう命令を出す際、医療ロボット10は接触してもよい。
少なくとも一側面に従い、ロボット10は、監視空間を保護区域に分割した物理的空間の範囲に渡り、対象の存在または不在を検知するための1つ以上のセンサを含む。図4に図示するように、例えば、ロボット10を取り囲む領域には、地面水準から地面から上に約2インチまでに及ぶ「つま先区域」Z10、地面の上約2インチから約4インチまでに及ぶ「追突区域」Z20、地面の上約1インチから約12インチまでに及ぶ「近距離区域」Z30、およびロボットの顔26の正面にある領域に一致していて顔(表示部)26を持ち上げたり低くしたり、または顔26を旋回または回転させるに従い変化する「顔区域」Z40を含む。それぞれの保護区域は、少なくとも1つのセンサ(例えば、フォトセンサまたは追突スイッチなど)で監視され、好ましくは2つ以上のセンサ間に監視区域の重複がある。結果として、重複領域を監視する1つのセンサが検知しない場合でさえ、同じ重複領域を監視する別のセンサがそれにもかかわらず障害を検知するので、障害検知の重複性を向上させ、検知されない障害の可能性を減少させる。
図4に図示するように、追突区域Z20は、接触スイッチまたは圧力センサなどの、追突センサ957によって監視される。近距離区域Z30は、好ましくは、光線エミッタL21、L22および光線エミッタL21、L22によって発せられた対象の反射された光源を検出する光検出器956を含むことがある光源カーテンにより、(例えば)光源ロボット10の全周囲の周りを監視される。地面の上から2−4インチ間の対象は、例えば、ロボット10から側面に沿って外へ1から5インチの間で検出することができる。つま先またはドアの敷居のような低い対象もまた、検知することができる。また1つ以上の崖センサは、移動プラットフォーム12周辺に位置付けられて、ロボット10の全周囲に渡り、地面の高さにおけるどんな突然または急な落下も検知することができる。
ロボット10正面の領域では、光のカーテンが、地面の上およそ1インチから12インチで、対象による侵入を検知することができる。顔26に向かい、近距離区域Z30もまた、赤外線または超音波障害センサにより監視されることがある。例えば、2フィートから20フィート以上などの遠方の範囲では、ロボット10は、カメラ304によって生成されるデータに画像加工が適用される際、近距離および遠方対象の両方を検知することができるカメラ304を含んでもよい。
ロボット10正面の人々を検知するため、熱センサ、超音波対象センサ、または音声ベクトル検知配列を使用してもよい。例えば、ロボット10は、音源の方向を決定され得るように配置された6つのマイクロホン配列(図示せず)を含んでもよく、すなわち、ロボットが音声と一致する音を「聞き」、音声ベクトル配列によって音源がロボットの正面にあると示される場合には、ロボットはそれに応じて応答することができる。加えて、ロボットに非常に近くに立っている人または接近する人々を検知し(衝突またはロボット先端部の損傷のため)、ふさわしく応答するために、ロボット10は当該「人物検知器」を、ロボット10の側面および/または背後に用いることがある。
ロボットは2つ以上のセンサからデータを受信し、センサのデータを統合し、保護区域の1つに存在する障害の可能性を予見し、存在する障害の予見される可能性が閾値を越える際には、(例えば、とりわけ、減速、行き先の変更、および/または頭部16を低くすることによって)その行動を変更することができる。その上、閾値は経験に従い適応して変更できる。例えば、障害の存在を予見するのに失敗した後、ロボットが障害と衝突する際、ロボットは閾値を下げることができ、またはロボットが予見された障害が実際には存在しないと発見する際、ロボットは閾値を引き上げることができる。
利点として、1つ以上のセンサおよび/または1つ以上の保護区域からの入力に基づき、ロボットの通路に入ってくる障害の存在を予見することによって、ロボットは主要保護区域へ障害が侵入するのを回避または軽減することができる。
図4に図示するように、例えば、ロボットの顔26には、カメラ304正面の広範な距離にわたって、対象を監視しおよび検知できる前方向カメラ304を含んでもよい。ロボット10はまた、光源L21の下方向光線を発する第1の光線源B21、および光源L22の上方向光線を発する第2の光線源B22を含んでもよい。光源L21およびL22の光線は、好ましくは領域に渡り交差し、いずれかの光線が対象に接触する際には、光源は対象に反射し、光検出器により検出される。光線源B21、B22および光検出器956によって監視される空間範囲は、概して近距離区域Z30に一致する。光源L21およびL22の異なる光線は、互いに異なる波長を有してもよく、または、例えば光検出器956によって検知される反射光源を、光線源B21またはB22のどちらが反射光源を発したかを決定するため、異なる信号でエンコードしてもよい。例えば、カメラ304が顔区域Z40の下方領域近くに横たわる、考えられる対象を検知し、また光検出器956が対象から反射する光源を検知する際には、ロボット10は近距離区域Z30での障害の可能性が高いと決定し、ロボット10が障害と衝突するのを回避するため、前方に動くのを中断することができる。
加えて、ロボット10は周辺の音または雑音のレベルを監視するマイクロホンを含んでもよい。マイクロホン入力が音声に一致する音を示す際に、例えば、ロボットは人がその付近にいる可能性があるかを決定し、それに応じて人と衝突する機会を減らすため自分の運動速度を落とすことができる。ロボット10はまた、熱検知器(例えば、赤外線光検出器)またはカメラのような、他のセンサを監視し、1つ以上のセンサに基づく行動決定を行うこともできる。例えば、実際にはロボット付近に人はいないが、テレビの電源が入っている場合、その結果ロボットのマイクロホンは音声を検知するが、熱検知器は何の熱源も示さない。かかる場合、ロボット10は代わりに人は存在しないと決定し、それに応じ自身の運動速度を落とさないことを決めることができる。
ロボット10が多くの潜在的な障害を包含する環境にいる際(例えば、雑然とした地下室内または人で一杯の部屋内)、ロボットは人や物と衝突しないように、遅い速度で作動することができる。遅い速度で作動する際、ロボットは、例えば光学カメラまたは光検出器よりも、追突センサにより依存し得る。
例えば図1Aおよび1Bの符号28に示される、ロボット上のカメラにより、ロボットは環境内にいる居住者またはその他の人を見ることができる。通常、居住者が相互交流ロボットといることが快適である場合でさえ、ロボットのネットワーク接続(以下に記述)は、居住者のプライバシーに対する懸念を引き起こすことがある。居住者は、自分たちが第三者によって「見られて」いる、または想像上の「ハッカー」が自分たちの住居を見ることができると感じることがある。したがって、ロボットは、居住者のプライバシーが漏らされていないことを表示したり、または別の方法で保証したりする機能性を装備してもよい。この機能性には、プライバシーが失われることを避ける、カメラ/頭部位置制限、可視または可聴インディシア、またはデフォルト条件を含むがそれらに限定されない。
図5Aでは、ロボットの頭部16内の作動位置にある可動カメラ28の側面概略図を示す。図5Bでは、不作動位置にある同じカメラ28を示す。ここでは、カメラ28は枢軸302およびレンズ304を有する本体300を含む(あるいは、全体カメラ28を、ボイド24aを頭部16内に完全に入れることができるシールド306の後方に置いてもよい)。電力用および視覚画像供給用のワイヤは、支持構造内に包含され、中空枢軸302を通って本体に入ってもよい。あるいは、ワイヤを支持構造外部へ置いてもよいが、頭部16の動きが妨げられないのに十分な長さである必要がある。図5Aでは、カメラ28を外部に向け、作動位置で遮るもののない前方の視覚を提供する。それゆえ、居住者はカメラ28が視覚データを録画(および潜在的に送信)できることを明確に確認することができる。しかし、図5Bの不作動位置では、中空24aを形成する不透明な表面と直面するように、カメラ28を回転、または別の方法で位置付けてもよく、それによりカメラ28の視覚全域を網羅することができる。居住者が図5Aの作動設定を認めない場合、図5Bに示す不作動位置は、代わりにカメラ28用のデフォルト位置として機能してもよい。
シールドを利用する場合、シールドは中空24a内でカメラ28が明瞭に見ることができるよう透明であってもよい。あるいは、全体に不透明であったり、カメラ28を覆う位置へ移動可能であったりして、その結果として、居住者が直接的にロボットの視覚データを見たり潜在的に送信したりする能力を制御してもよい。一実施形態では、カメラおよび/またはレンズは完全にロボット本体に引っ込められたり、またはロボット本体の隣にくるようにレンズを回されたりする。
したがって、示されているように、ロボットは自分の周囲を録画できなくされるだけでなく、レンズを遮断、ロボット本体と実質的に直面するようにレンズの向きを変更、または視野を変えるために頭部を回すことによって、当該録画ができないことを容易に確認することができる。カメラが視覚データを録画している際、カメラまたは頭部位置の視覚合図を、薄暗いまたは薄暗くない電子光源で補ってもよい。従って、第三者による潜在的監督下にはないことを、はっきり見て確認することができる。同様の機構を、ロボットのマイクロホン305またはマイクロホン配列305と共に使用することができ、プライバシーモードに入る際、ロボットはマイクロホンを不通、閉鎖、またはその他の方法で無効にしてもよい。マイクロホン305を遮断するため頭部に沿って回すか、または別の方法で動かす場合、動作不能位置のエラストマーシールによってさらに音を消してもよい。同様に、外部アンテナを不通にすることもできる。それぞれの場合には、送信媒体が居住者を監視できなくされる。
図5Cに図示するように、ロックアウト機構は、カメラ28またはマイクロホンを回す以外に他の形を取り、ローカル領域から隔離してもよい。一つのモデルにおいて、居住者またはユーザは、ローカル領域を監視する、ロボットの物理的能力に関する検証可能で完全な制御を有する。ロックアウト部材(鍵322、ドングルなどのような)を受け取ることができる鍵穴、プラグ、またはその他のコネクタ321を、ロボット10で容易にアクセス可能および見ることができるロックアウト局320に提供する。居住者がオーバーライドできない制御を有するモデルにおいてロボットを構築する場合、ロックアウト部材または鍵322の係合は、機械的に電気接触を閉ざし、カメラ28(およびマイクロホン)の作動を有効とし、プライベートな位置にある際にはカメラおよびマイクロホンを完全に無効にする。代替の配置では、可視電気ピン332を含むスライダ333のようなロックアウト部材をロックアウト局320内に配置する。重大な電気通路が開いているため、居住者はカメラおよびマイクロホンが全く動いていないことを容易に検証することができる。スライダ333が受入プラグ331に対して閉じている際、通知器は、容易に理解されるメッセージ(例えば、「オンエア中」)または信号(例えば、LRD点滅)を示し、ロボットが世界全体と接続していることについての通知を与える。この種の配置では、物理的にセンサのプラグを抜くよう構成されるプライバシー部材は、プライバシーモードが選択されている際には、居住者のカメラまたはマイクロホン監督に関し、家庭が「ハッカー防止」になっていると居住者に一定の自信を与えることができる。
代替のモデルでは、鍵穴、プラグ、またはその他のコネクタ321が電気接触を機械的に閉じることはなく、緊急状況にオーバーライドさせることができる。この場合、ロックアウト部材をコネクタ321内に差し込む際のみ、ソフトウェア送信制御ルーティンによって、カメラ28からの監督データを居住者の住居の外に送信することを可能にしうる。このモデルでは、ロボット10は通常、カメラまたはマイクロホンに接続された自身の制御部を使用し、そのセンサからの監督データを監視してもよい。居住者が送信の許可を与える場合、ロボットはセンサから(介助者へ)監督データを居住者の住居外へ送信できるよう構成された送信制御ルーティンを動かしてもよい。しかし、オーバーライドルーティンは、(i)ロボットにより検知される緊急状態で、センサから居住者の住居の外に監督データを送信できるよう構成されていてもよい。あるいは、遠隔の委任介助者が、緊急条件と共に居住者によって認められた認証を送る場合、カメラおよび/またはマイクロホンを有効にすることができ、ロボットによる居住者の住居の外への監督データの送信は、それ以外禁止される。オーバーライドモードが、センサの「プラグを再び差す」ための機構または中継を使用する場合、プライバシーモードが選択される際、この種の配置は物理的にセンサのプラグを抜くよう構成されるプライバシー部材を使用してもよい。
少なくとも一実施形態では、ロボットの周りの環境を観察または監視できるどのセンサ入力でも、図5Dに図示するようなプライバシー装置350によって、道順が決められることがある。プライバシー制御部352は、居住者によって与えられたまたは拒否された許可をたどり、カメラ28、マイクロホン32、またはその他のセンサ22のようなセンサからのデータストリームを制御し、それによって、かかる記録または送信が、居住者によって与えられた許可に準拠する場合にのみ、センサ入力がデータ記録装置356によって記録され、かつ/またはアンテナ30によって遠隔のデータ記録装置に送信される。プライバシー制御部352は、離れたハードウェアアイテムまたは別のハードウェア部分の一部として実装してもよく、あるいはプライバシー制御部352をソフトウェアルーティンとして実行してもよい。一実施形態では、例えば図5Cに図示するように、プライバシー制御部は、鍵、プラグ、ドングル、またはインストールされたときに限ってセンサを有効とするその他の物理的媒体の形を取る。
オーバーライドユニット354は、プライバシー制御部352によって、発行されるプライバシー指令、または無効とされる監視能力をオーバーライドしてもよく、それによって、プライバシー制御部352によって実行された許可にもかかわらず、センサ入力を一時的に記録および/または送信できる。ある実施形態では、所定の事象が存在し、その事象が1つ以上のセンサの出力の閾値または制御部352によって検知されるような解釈されるデータのいずれかである際、あるいは、介助者のオーバーライド命令を移動ロボットが受信する際のいずれかのとき、オーバーライドユニット354は、プライバシー制御部352をオーバーライドのみすることがある。介助者からのオーバーライド命令は、暗号化されたコードまたはその他の安全な送信の形であってよく、例えばデジタル証明書、公開鍵暗号化、所定パスワード、またはその他の適切な機構のような、適切な方法のいずれかを使用してエンコードされ、デジタル署名される。
例えば、脈拍、呼吸、医療、環境、または安全監視センサの損傷、あるいはその他の緊急状況を検知する際、オーバーライドユニット354により、一時的に監督または監視してもよい。窮状が検知される際、ロボットも介護人に居住者を調べるよう依頼し、外部への電話をかけることができる。また、移動ロボットはオーバーライド命令(例えば、介護人が作動することができる遠隔端末から)を無線で受信するための受信機を含んでもよい。加えて、安全または健康への考慮により、居住者によって与えられたか、または拒否された通常の許可を、一時的にオーバーライドすることを提案する事態があってもよい。マスタオーバーライド許可は、介助者は緊急状況において副次的な許可を一時的にオーバーライドする許可を受けることを可能にしたり、または医療監視装置またはデータ分析結果がこれらの許可をオーバーライドできるようにしたりし得る。
プライバシー制御部352のオーバーライドを必要とすることがある事態には、居住者が応答しなくなった(ひいては、意識不明となった可能性がある)という、移動ロボットによる決定、あるいは火災報知器または煙検知器がロボット上でまたはその環境内で始動したときを含んでもよい。かかる事態には、オーバーライドユニット354は、プライバシー制御部352をオーバーライドし、カメラ28、マイクロホン32、またはその他のセンサ22からの入力を、介助者、警察または消防署、あるいは救急サービスが所有する遠隔端末に送信できることがある。それゆえ、介助者はかかる緊急事態に注意を呼びかけられ、居住者の近くにいる移動ロボットからの関連するビデオ、画像、またはオーディオ情報を受信することができる。
図6A−6Dでは、本明細書で開示するように、ロボットの実施モードのソフトウェアアーキテクチャ、電子システム、およびネットワーク接続のいくつかを示す。これら全てが、本明細書で論じるロボットのいずれにも必要と言うわけではないが、説明は少なくとも一部分において、各実施形態に適用される。
図6Aは、仕事および機能の基本アーキテクチャ分布を示す。行動に基づくロボットは、大概は行動システムに基づいて機能し、この場合は反応システム6A−1として示される。短距離ナビゲーションは部屋内の障害内またはそれらの間のナビゲーションであり、巡回行動および旋回行動の組合せにより、通常行われ得る。目的行動では、的を絞り、比較的簡単な目的物、例えば充電器、仮想の壁または灯台、ビーコン、音、強い信号を受信する領域を探索または捜索する。避難行動では、ロボットの静止状態、行き詰まり、滑り落ち、またはその他身動きが取れない状況である事象においてより高位の優先権を得る。回避行動では、崖、おそらく人々などの単純な危険を回避ことができる。壁追跡行動およびその他の行動では障害を追い、ナビゲーションおよび拡散を向上させる。これら行動の全ては、アクチュエータ6A−4の制御に対し、センサ6A−5(視覚、吹き抜け部または崖、近接、車輪エンコーダ、あるいはその他の走行距離計測法)の集合または一式に基づき、仲裁および競争させられる。
より高水準の計画がいつも必要とは限らないが、行動に基づくシステムに影響を与えたり命令したりする特定の制御により、対処することができる。示すように、行動に基づくシステムは通常、計画ルーティン6A−2およびアクチュエータ6A−4の間に介入する。本明細書で論じるように、長距離ナビゲーションにより、ロボットを部屋から部屋へ移動させるか、または代替的な通路計画を使用する。マッパーにより、「直交(Cartesian)」空間マップ(本明細書で論じるルーティン、技術、および発明のほとんどは、直交または空間マップに依存しない)であってもよいが、またはそうでなくともよいマップを作ってもよい。ステレオ特徴は、目印またはラベルを識別するため、既知のルーティン(例えば、SIFTまたはSURFスケールの不変の特徴の抽出)に従い開始してもよい。必要な記録のいくつかを、サーバまたはデータベース6A−3に、遠隔保存してもよい。
図6Bでは、少なくとも1つの本発明の実施形態に従い、コンポーネント組織の一実施例を図示し、図では、通信または電力伝達関係は、種々のコンポーネントブロックを相互接続する矢印で示される。一実施例では、頭部16、首または胴13、あるいは移動基部12に概して置かれるコンポーネントを、コンポーネント群E20、E30、およびE46それぞれに組織してもよい。これらのコンポーネント群には、電源供給部、モーター制御部、および/または集積回路のような、種々の電子または電気回路を含んでもよい。好ましくは、集積回路、CPU、制御部、および通信バスのようなコンポーネントを、PCB板に統合する。すなわち、制限されない実施例として、ロボット10は、上部PCB板E20を頭部16に配置し、中間PCB板E30を胴13に配置し、および下部PCB板E46を移動基部12に配置する3つのPCB板を含んでいることがある。
図6Bの実施例では、無電力信号は、好ましくは上部、中間、および下部PCBの間を、低電圧差動シリアルチャネル(LVDS)を介して送信され、とりわけ低レベルの電磁雑音のみを生成する(および電気雑音障害に対し低感受率を持つ)という利点を提供する。あるいは、平行または伝統的なシリアルバス(RC232のような)を用いてもよく、またはPCB間に信号を送信するために、WiFiまたはBluetooth(登録商標)のような無線プロトコルでもよい。
下部PCB E46は、1つ以上の電源供給部E90、および1つの電池および/または充電器E91を含み、電源供給チャネル(プラスチック層の銅線、または移動基部12から胴13を通過し頭部16への動力伝達に適する、その他のどんなコンポーネントでもよい)は、電源供給部E90から中間PCBE30および上部PCBE20へ電力を送る。下部PCBE46はまた、左右回転モーター増幅器E401および1つ以上の駆動モーター増幅器E402を含み、これらは共に、エンコーダE403および近接センサインターフェースE404、そしてまた、2次元加速度計E406、およびマイクロコンピュータE407(限定されない実施例として、マイクロ制御部、プログラム可能な論理配列、デジタル信号プロセッサ、および/または汎用CPUを含んでもよい)を含む。下部PCBE46は、近接センサ222(近接センサインターフェースE404へのかかる通信の道順を決める)、駆動モーター/エンコーダ46と、および左右回転モーター/エンコーダ314へ通信する。
胴領域に関しては、本体表示パネル18およびスピーカーS31のような、局所からこの領域までの種々の特性が、中間PCB E30と通信する。またマイクロホンの配列を、音源の場所を決定するため、ロボット10に並べてもよい。少なくとも1つの実施形態に従い、音源位置決めシステム(本明細書では「音響マジック」と呼ぶ)に使用するためのマイクロホンは、好ましくは現在の音の方向を示す継続的な8ビットのシリアルストリームを発信する。ストリームは音響マジックPCBを内蔵するDSPにより発信され、その同期シリアルポートを経由し、非同期シリアル信号をエミュレートする。
シリアル信号は、配電盤上のHCS12によって受信され、8ビットはパケットストリームでは処理されず、CPU板へ配信されることがある。
CPU板では、処理は、信号を受信し、(限定されない実施例として)10サンプル/秒にまで縮小し、共有メモリ環状バッファ内にストリームを記憶する。当該縮小は、例えば極が3Hzで、単極IIRローパスフィルタに先行される。バッファは、好ましくは少なくとも最後の5秒の観察を記録し、これらの観察のそれぞれは、オーディオサンプルを実際に聞いた分(信号チェーンを経由する全てのバッファリングを占めている)に対する真のタイムスタンプと共に時間が刻印される。
推測される声の場所を、このベクトルを認識システムの音声検知器と組み合わせることにより生成する。音声検知器によって、好ましくは、生存する現状を示す通常のコールバックを発してもよい。これらのコールバックによって、検知された音声(真に実際の時間と一致する)が10hzの声の場所サンプルと関連があることがわかり、最近に検知された発話に対し推定された方向ベクトルを生成する。これらの発話方向ベクトルサンプルは、ユーザの場所および相互交流システムによって使用されるため、同様に共有メモリ環状バッファに記録される。かかる機能性および加工を、好ましくは中間PCB E30に配置された配列プロセッサE301によって提供する。
頭部領域では、焦電センサS21またはタッチセンサS22のような、種々のセンサが左右画像センサ(カメラなど)28、29、および顔マトリクスパネル26だけでなく、上部PCB E20と通信してもよい。傾斜モーター/エンコーダ340もまた、上部PCB E20に接続する。
上部PCB E20内では、顔マトリクスパネル26とインターフェースを取る(および/または制御する)ための顔制御部/インターフェースE210、音声コーデック/増幅器E211、および/またはEthernet(登録商標)E202、USB E203、ならびに個別のチャネルに従い通信するための赤外線(IR)E204インターフェースコンポーネントのような、頭部16内に並ぶ装置に一致するコンポーネントを、PCB板に一体化してもよい。さらに、上部PCB E20には、上部PCB E20上に種々のサブコンポーネントを協調させ、かつ/または制御するための必要な指示を提供するために、埋め込みマイクロプロセッサE230(好ましくは1時間当たり1ワット未満を消費する)と、揮発性および不揮発性区分を備えるメモリE209とを含んでもよい。
加えて、頭部16内の上部PCB E20を、CDMAモデムと共に使用するためのセルラー帯アンテナのようなアンテナE201に接続してもよく、アンテナE201にはPC板上に取り付けられる埋め込みアンテナコンポーネントを含む。利点として、かかるコンポーネントは携帯電話器用に設計され、小型で、正確に製造され、インピーダンスに整合され、かつ統合するのが簡単である。さらに、アンテナ設計には代わりに単純なワイヤーダイポールを使用し、追加として費用を削減してもよい。
好ましくは、ダイポール設計が直接頭部16の上部PCB E20上で実装される。1つの例示的セルラーモデムスロットは、800mHzの携帯電話帯、特に824−849mHzの送信帯、および869−894mHzの受信帯で作動するモジュールをサポートする。ロボットの頭部16を、これらの周波数用の半波長ダイポールを収容するのに十分大きくなるよう選択してもよく、通常は163mmの長さである。しかし、その他多くの機械および電気コンポーネントを頭部に詰める場合、代わりにアンテナは水平に取り付けてもよい。別の選択肢として、水平ダイポールで、わずかに延在し(例えば、およそ4%)、および中間で曲がっている「逆V」構造を使用してもよい。逆Vは、より均一で全方向応答パターンという追加の利点を有する。
好ましい構造によって、1つの「逆V」ダイポールを、空間多様性のため、頭部の上部および底に取り付けるように置く。各ダイポールは2つの脚を有し、好ましくはそれぞれ長さが85mm、直径が2mmである。この構成に対し計算されたVSWRは、824mHzでの1.7から、860mHzでの1.2、894mHzでの1.7までの範囲であってもよい。これらのアンテナを(例えば)CPU板の裏に置かれるプレキシグラス支持に添付される12ゲージワイヤーセグメントと共に、実装してもよく、この場合、50オーム同軸ケーブルにより、アンテナをCDMAモジュールに接続することができる。
図6Cでは、1日のロボットにおける行動レベル間の推移を示す。これらの状態全てが、本明細書で論じる全ロボットに必要というわけではない。また示すように分割が必要であるというわけでもない。大概、これらの状態は電力節約に役立つ。ロボットが自身の周囲を「聞く」ことも「観察」することもしない(例えば、カメラおよびマイクロホンが無効になり、睡眠状態をプライバシーモードとみなし得る)、最大省電力のための電力睡眠状態では、なんらかの外的または内的な刺激事象でロボットは待機状態に入ってもよい(待機状態から、ロボットは相互交流スクリプトまたはその他の活動を開始してもよい)。電池が完全に充電されている場合、ロボットは睡眠状態よりはむしろ、監視状態で休んでもよく、音、熱、あるいは観察または検知された動きを含むいずれかの事象が検知されると、待機状態に入ることがある。電池の充電状態が低い場合、または音および行動も一定期間中(例えば、10分)検知されない場合には、ロボットは監視状態から睡眠状態に移行してもよい。睡眠状態から監視状態への変化を、明白な許可なしに避けてもよい。同様に、ロボットは非活動または充電が必要な事態では、待機状態から監視状態に入ってもよい。軌道モードは、ロボットが自身の周りの領域を照射する状態である。
図6Dでは、1日のロボットにおける異なる機能間の推移を示す。これらの機能全てが、本明細書で論じる全ロボットに必要というわけではない。また示すように分割がある必要もない。睡眠機能および待機機能は図6Cに関連して論じるような状態に類似している。電池が完全に充電されている場合、ロボットは、睡眠または待機状態よりはむしろ、その他の機能に着手する準備をするグローバル(準備)機能で休んでもよく、音、熱、あるいは観察または検知された動きを含むいずれかの事象が検知されると、待機状態に入ることがある。ロボットは、グローバル機能からアバター機能へ移行してもよい。アバター機能では、テレビ会議、遠隔操作、または遠隔出席セッションを開始してもよく、または一時停止から起動してもよい。コンパニオン機能では、本明細書で論じるような会話を開始してもよく、または一時停止から起動してもよい。アプリケーション機能では、ランタイムスタックを保存することにより一時停止された状態で保存可能ないずれのアプリケーションを開始してもよく、または一時停止から起動してもよい。スピーカーフォンまたはビデオチャットモードでは、ロボットは電話をかけ始めてもよく、または起動してもよい。
図7Aでは、本発明のロボットによって使用され得る、通信を自然に流す、一般化された会話ルーティンを示す。ステップSD1により開始シーケンスを始め、ロボットは居住者と関与するように様々な会話の1つを選択することができる。シーケンスを事象の発生または時間に基づき、選択してもよい。例えば、居住者が住居に戻ってくる際、ロボットは挨拶シーケンスを開始してもよく、または居住者に食事をした後の午後の予定があるのかを尋ねてもよい。加えて、居住者との接触および結びつく機会を増加させるため、ロボットは無作為にシーケンスを生成してもよい。ロボットは居住者に接近し、およびロボットに保存されたゲームをすることに興味があるか尋ね、ゲームを選択するよう依頼するなどしてもよい。加えて会話シーケンスは、ロボットおよび居住者間で発生する必要はないが、ロボットの独り言を含んでもよい。一実施例では、ロボットが環境内で移動する間に対象に追突する場合、ロボットは驚きまたは怒りを表現するシーケンスを始めてもよい。
ステップSD2は、1つの相互交流を示し、これは、アプリケーションによって、居住者への挨拶、ロボット自身への可聴コメントなどであり得る。ステップSD3で、ロボットは「今日はどうだった?(How was your day?)」「今夜の予定は?(Got plans tonight?)」「映画の時間を確認するよう頼まれた(You asked me to check movie times for you)」などの質問または肯定発言をしてもよい。質問は具体的には特定の数の居住者からの応答のうち1つを引き出すよう設計されることがあり、あるいは居住者は制約のない質問または発言に応答することがある。応答X(予想される応答のロボットのライブラリ外)によって、エラー、混乱、またはステップSDによりロボットからその他の応答を引き起こすことがあり、ロボットは相互交流を終了するか、またはステップSD3により質問または発言を再び提示する。所定のまたは期待される応答によって、ロボットからステップSD5により対応する返答を開始することができる。これらの応答には、例えば、驚きを示す感情として、聞こえるように「わあ(Wow)」、心配を示す感情として、聞こえるように「お気の毒に(That’s too bad)」、嬉しい感情として「いいね(Sounds great)」など、照合感情応答も含む。あるいは、ロボットの応答が第2の質問であってもよい。例えば、ロボットが居住者にどの映画を見たいのかを尋ねるとしたら、ロボットはそれから居住者にロボットが居住者のためにその映画を上映している劇場を探すかどうかなどを尋ねることもできる。
SD5でのロボットの返答の後、ロボットはSD6で、多数の第2の相互交流を始めることができる。例えば、ロボットは居住者と一緒にゲームを始めるか、第2の、より特殊な質問または相互交流のセリフへ移行するか、または特定の応答を考慮し相互交流を終了させてもよい。ある種の相互交流により、その他の相互交流が導かれてもよい。これらの事態の下では、事態の要求に伴い、ロボットは長い時間の間居住者と相互交流し、話題、活動、または仕事を変えることもあり、居住者のために豊かな相互交流の経験を創造する。
これらのルーティンに従い、ロボットは人とロボットの相互交流の効果的方法を行うことができる。基本的な動作行動の大部分は、非同期(または独立)の会話である。事象に対する避難または安全反応のような行動は、会話によって影響を受けない。通信スクリプトセグメント(クエリー、選択、返答)は、ロボットにより内部データベースまたは遠隔データベースから受信され、人応答文字列(人に対し繰り返すかまたは選ぶかの選択など)だけでなく、ロボット音声プロンプト文字列(会話クエリー、返答、および確認/フィードバック応答など)を含む。ロボットは、可聴ロボット音声プロンプトを生成するために、記録を参照するか、文字列に伴う音声合成音素スクリプトを閲覧するか、またはオンザフライで文字列から音声への合成をするか(これらはそれぞれ、顔の動画を定義する視覚素タグ、強調音を定義するイアコン、またはロボットの強調動作を定義する「動画」スクリプトを同期化するスクリプトまたはタイムスタンプを含むことができる)のいずれかにより、通信スクリプトセグメントを解釈する。動画スクリプトは、通信スクリプトセグメントの間、上下軸頭部の動きまたは回転軸頭部の動きを含む頭部行動シーケンス、あるいはロボット全体の行動を含むロボット行動シーケンスの、大抵1つまたは両方の表現行動を追加することによって、所望の表現を定義する傾向がある。
ロボットは、マイクロホン配列を介した人からの記録音声、あるいは選ばれた応答の選択を押しボタンまたはタッチ画面で識別した結果のいずれかの形で入力を受信する。この会話のどの時点であっても、ロボットが行動システムからの応答が必要な事象(例えば、表現行動への移行の際、食卓またはその他の障害に追突したりする、あるいは第2の人に向かって部分的に動く)を検知する場合、ロボットは複数の行動の1つによって検知した事象に反応して会話分岐に割り込み(例えば、それらの行動によって使用されるセンサを介し)、非同期応答を実行する(ロボットを停止させるなど)。どのような非同期応答(自身の行動または姿勢の変更に関するロボットからのさらなるコメント、あるいは変更および非同期応答を引き起こしたものを発見したことを含む)の後でも、非同期応答を実行した後、ロボットは会話分岐を回復させる。ロボットは、ロボットによって検知された事象に反応して、表現行動に割り込む。事象に従ってロボットを再び位置付けるため、ロボットを停止する(またはその他の正常な行動をとる)。
図7Bでは、図7Aの一般的ルーティンを使用し構築される会話ルーティンを示す。ステップSD1’では、居住者が住居に戻ってくるときを、ロボットは居住者の1日の仕事の終結と認識し、それが引き金となり、ロボットは挨拶シーケンスを開始する。ロボットはステップSD2’で居住者を住居で出迎え、それからステップSD3’で居住者のその日について尋ねる。この場合、例えば、ロボットはSD3’の質問を、質問および潜在的応答(この場合、「最高(Great)」「まあまあ(OK)」「最悪(Terrible)」または「忙しい(I’m in a rush)」)の入力画面上の表示部と組み合わせてもよい。ロボットの返答の多くはSD5’で示され、あるいは居住者にロボットと相互交流する時間または興味がない場合、ロボットは会話を終了してもよい。ステップSD6’で、ロボットは、居住者にその日のまたは今後の仕事について尋ねたり、予定された事象を思い出させたり、夜に良い睡眠を取るよう助言したりなど、多くのその他の相互交流シーケンスを始めてもよい。示唆したように、相互交流によってその他の相互交流、質問などを導いてもよい。ロボットが最終地点に到達する、または居住者が相互交流の終結を依頼するまでなど、これらの相互交流を無制限に続けてもよい。
図7Cでは、図7Aの一般的アルゴリズムを使用し構築される、追突相互交流アルゴリズムSD10を示す。ステップSD11で、ロボットが不意に対象に追突するときが引き金となり、ロボットは、追突シーケンスを始める。ロボットはステップSD12で、ビープ音、破壊音、または対象との接触を示すその他の音のような追突音を発する。ロボットは、それから追突分析シーケンスSD13を開始し、センサ事象の頻度を測定する(この場合、対象との接触)。例えば、ロボットはステップSD13a内のように1回、またはステップSD13bおよび/またはSD13c内のように所定期間内では数回、対象に衝突してもよい。ロボットが使用する表現に関する決定SD14は、センサ事象に依存するが、必ずしも移動応答の行動応答に影響しない。言い換えれば、ロボットはどんな表現、音、感情などを出力してもよいが、これらはロボットの行動移動システム(例えば、ロボットは怒りを表現している間、必要な場合はバックアップを行う)からは独立している。可聴(ロボット自身のスピーカー)出力、または可視(自身の表示部)表現、SD14aに加え、ロボットもSD14bでその他の動画または音を利用することがあるマッピング機能を使用することで、ロボットはまた、自分が過去のあるとき、この特定の場所で対象にぶつかったのかをSD15で測定することができ、したがって移動に関し問題を経験したことのある領域を回避することを学ぶことができる。POPステップによって、ロボットは追突相互交流シーケンスから抜け出ることができる。図7Bの会話アルゴリズムと同様、この追突相互交流により、その他の相互交流が導かれてもよく、近くにいる居住者などに向けられる嘆願または質問を引き起こしてもよい。ロボットが最終地点に到達する、またはロボットに援助を申し出るなどするまで、これらの相互交流を無制限に続けてもよい。
図7Dでは、ロボットが、限られた数(5つ以下、大抵3つ)の応答であって、これらの応答は単純肯定、否定返答に限定される質問を居住者に提示するルーティンを示す。ステップ7D−10で、ロボットはスクリプトセグメントを自分自身のデータベースまたは遠隔データベースから、検索または受信する。ロボットは搭載されている全ての会話または共通の会話を伝えることができるが、その他の実施形態でもまた、アドホックに基づいて(めったに出会うことのない会話ツリーを探索)、予測に基づいて(居住者が会話中に進む速度に先行して、会話ツリーにおける可能な分岐全てまたはいくつかを検索)、あるいは予定されるまたはオンデマンド更新手順の一部として、遠隔サーバから会話を検索してもよい。上記で説明したように、ロボットはそれから可聴クエリーまたは質問(ステップ7D−12、および7D−2に示す、記録、音素、または文字列から)を「話し」、同時にロボットがスクリプト化された会話ツリー内の次に続く分岐として聞くことを期待する回答および、文字列内で一致する質問を表示する(7D−1で示すように画面を使用し、任意で発音されるごとにクエリーの文の各単語をハイライトするか、またはクエリー文全てを1度でハイライトする)。
続いて(ステップ7D−16)、ロボットは可聴応答を受信し、それを処理しようと試みる。図7Dでは、検知される応答が全くない事象(例えば、居住者は歩き去った、ある理由で居住者が全く話さない)でのロボットの行動に対する処理を示さないが、その処理はこのルーティンと一致するであろう。加えて、人が質問に回答する方法として表示される選択肢のそばにあるボタンまたはタッチ画面に手を伸ばし押す場合、図7Dの処理により、直ちに以下に述べるステップ7D−22(選ばれた選択肢の確認の繰り返し)に移行する。この場合の処理は音声認識であるが、一連の潜在的応答は画面上に示される回答に限定される(1つの例外は、より広い一連の可能性を有することができる肯定、否定応答である)。居住者は画面の応答文字列を声に出して読み選択してもよく、頻繁に使用する結果、典型的な応答を記憶していることもあり、あるいはタッチ画面またはソフトボタンを使用して入力し選択してもよい。図示するように、数を表示(および認識)してもよいが、数が話され認識されることができる根拠ごとに、ロボットが説明する必要は必ずしもないであろう。残りの仕事全ておよびロボットの作動に必要な計算と共有される、1000MIPs未満の埋め込み階級プロセッサで音声認識を行われるため、選択およびそれによって行われる処理は限定される。より多くの音声認識源が手に入る場合、それらはより万能な認識セットよりはむしろ、より高い成功率に寄与することがある。
図7Dに図示するように、分析および処理された音声を、ステップ7D−16で会話ツリー内の期待される応答の1つとして認識しない場合、ロボットは居住者にステップ7D−18、7D−20で「再試行」(1つが示される)の指定された数を提供する。再試行メッセージは話されてもよく(7D−5に示す)、質問自体、または可能な回答は、共にかまたは連続してハイライトされるか点滅し(7D−4)、または居住者の注意を再度向けさせるよう試みる。一方、ステップ7D−16で、分析および処理された音声が認識される場合、ロボットはステップ7D−22で可聴繰り返し戻しフィードバックにより(ステップ7D−7に示されている)、および/または認識された回答をハイライトまたは点滅することにより(7D−6)、これを確認してもよい。
この様式では、(データベースから)受信された通信スクリプトセグメントには、出力クエリーサブスクリプト文字列および5つ以下のサブスクリプト応答文字列候補の応答ツリー(しばしば「はい(yes)」、「いいえ(no)」、および「わからない(I don’t know)」のような選択肢、その他のときには、錠剤の型「赤のひし形」「緑」「白」「上記のどれでもない」のような一覧)が含まれる。一覧は、(1)極端な注意を回避する、(2)極端な表示画面「不動産」(すなわち、スクロールなしで、簡単に見直すのに十分大きい文字列)を回避する、および(3)音声認識に必要なリソースを制限するために、5つ以下に維持される。出力クエリー文字列(すなわち、尋ねられた質問)は、可聴出力信号(例えば、音素コード、圧縮記録オーディオ)および人に話されたクエリーのような出力に関連および付随する。出力クエリーサブスクリプト文字列および応答の制限数の両方は、ロボットの表示部に共に表示される。ロボットは、マイクロホン、あるいはベクトル化またはその他のマイクロホン配列を介し、オーディオ入力信号として人が発話した応答を受信し、表示されたもの(すなわち、質問に対し期待される応答全て)と一致するかどうかを確認/認識するために処理される。マイクロホンによって記録された信号が認識される場合、ロボットは出力信号(すなわち、声または文字列構成、ハイライトまたは点滅)を出し、認識された応答をフォードバックまたは繰り返し戻す。そうでない場合、出力信号、また声または文字列が、ハイライトまたは点滅プロンプトで、ユーザに応答の送信を再試行するよう、再び指示する。いくつかの場合、ロボットは認識した選択の正誤確認を監視することにより、居住者に確認を依頼することができる。
オーディオ再試行の効果がない場合、再試行は、ロボットの表示部上に表示されるサブスクリプト文字列をハイライトする(点滅または同様のことを含む)、または同時に表示部に付随する手動で作動される制御(例えば、ソフトボタン、タッチ画面)を介する応答選択肢を受信する形を取ることができる。応答文字列候補の2つが単純な肯定および単純な否定応答の場合であって、処理が、その後、単純な肯定応答と同等の肯定応答の多くの異なる種類、すなわちファミリ(はい(yes)、うん(yeah)、ふうん(uh−huh)、もちろん(sure)など)に対応する音声を確認するか、または単純否定応答と同等の否定応答のファミリ(いいえ(no)、いや(nope)、え−(nah)、そうは思わない(I don’t think so)、うーん(uh−uh)など)に対応するする音声を含む場合には、いくつかの利点がある。その他のメッセージは、多くのスクリプト(わからない[I don‘t know]、戻って[please go back]など)の間で共通することができ、かかる場合、ロボットは画面上に示されない限定された一連の可能な応答(戻って[please go back]、後で帰ってきて[come back later]、やめて[quit]、スケジュールを見せて[show me my schedule]など)を認識することができる。はい、およびいいえの回答もない場合、回答の一覧を3つ以下に限定し、音声認識の仕事を有意に制限してもよい。
独立型ネットワークアダプタにより、設定のためのユーザインタフェースを必要とせずに、ロボットのためのネットワークアクセスのファイアウォール迂回およびゼロ構成が提供される。これは、ロボットと独立して行われてもよく、ある実施形態では、住居で多数のロボットを潜在的に橋渡しすることができる。一実施形態では、WiFiはデフォルトおよび「ロック」により可能となる有線と同様のプライバシー/WiFi保護アクセス(WEP/WPA)を持つ、非放送型拡張サービスセット識別子(ESSID)である。ロボットおよびネットワークアダプタを、生成された固有のセキュリティ情報と共に工場で1対としてもよい。後に行われる追加の対の動作には、ロボットおよびネットワークアダプタ間の物理的近接または見通し線を必要とする(ペアリングケーブル、短距離BlueTooth(登録商標)、ZigBee、無線USBのようなRF、または短距離IRにより検証される)。
ネットワークアダプタはファイアウォールとして機能し、いずれの現存するインフラの外側へ入ってもよい。また、例えば、http://www.faqs.org/rfcs/rfc3489.htmlで定義される“Simple Traversal of User Datagram Protocol (UDP) Through Network Address Translators (NATs)”、を含み、この開示は参照することにより本明細書に含まれる。この機能性がドライブに組み込まれ、そしてネットワークアダプタがインターネットゲートウェイのように機能することを可能にし、家庭環境において認識されるロボットのインターネットアクセスを可能にし得る。例えば、既知の範囲内のMACアドレスをロボットが有することにより、ネットワークアダプタのファイアウォール迂回特性にアクセスする多くの方法がある。
権限を付与する一般的なネットワークアーキテクチャを、図8Aおよび8Bに示す。住居内のロボット10(多数のロボット、またはロボット基地局にアクセス可能なその他の埋め込み装置)それぞれは、異なるレベルのあらかじめインストールされたセキュリティおよび互換暗号鍵を介してロボット基地局にリンクされる。図8Bに図示するように、接続8B−2は通常RFプロトコルのフレームまたはパケット内に運ばれ、この中でIPスタックプロトコル(TCP、UDP、HTTP)を使用し、この中で信頼できる境界(仮想私的ネットワークVPN、または安全ソケット層SSL境界)を有するであろう。通常、ロボット10は無線で接続され、ロボット基地局は、ロボット0へまたはロボット0から送信され得るデータに十分なRF帯域幅およびプロトコルを使用するRF局である。例えば、ビデオ会議が行えるロボット10に対しては、802.11a/b/g/nのような、比較的高い処理能力のRF様式が役立つであろう。ビデオデータもオーディオデータも送信しないロボット10には、Bluetooth(登録商標)、無線USB、または専有のネットワークが使用できるであろう。基地局は、暗号をRFプロトコルに追加する(ネットワークへのアクセスを制限するため)ように、または追加せず(最も速い速度を許可するため)に構成できる。RFプロトコル自体が暗号化されていてもいなくても、最深部の信頼できる境界では、RF信号から盗聴されうるデータを暗号化および保護し、ロボットおよびその他の委任装置は、メディアアクセス制御MAC接続許可ホワイトリスト上にあり、ならびに/あるいはVPNまたはSSL接続用の適切な公開(public)および秘密(private)の暗号鍵を提供される。基地局8A−6によって、住居内のその他の装置のため一般的なRFプロトコルまたはWiFiネットワーク接続性を提供してもよく、ロボット(特に2つのトランシーバを与えられている場合)は、中継またはリピーターとして機能し、基地局8A−6の範囲を拡張してもよい。
基地局(この図では、8A−6)は、いつもモデムまたはネットワーク端末(大抵、ケーブルモデム、xDSL、または光ネットワーク端末)を介し、インターネットサービスプロバイダー(図示せず)に、それから公共のインターネット(クラウド)へ接続する。ロボット基地局は、通常ルータの機能を有しおよびルータ(例えば、DHCPサーバ、NAT、ファイアウォールなど)を提供するので、ルータを通す必要はない。それにもかかわらず、本明細書で説明するように、ロボット基地局8A−6がファイアウォールまたはNATサービスの内側にあるいくつかの場合、またはマッチメイキングのためのいくつかの技術が、本明細書にて対処される。
ロボット基地局8A−6は、定期的にまたは断続的にマッチメーカー8A−10(ウェブ、またはデータベースサーバ)に接続し、ロボット基地局8A−6の現在のIPアドレスの最新記録を保持する(ほとんどの場合、動的に割り当てられると考えられる)。照合が1度行われる(例えば、介助者局8A−4およびロボット基地局8A−6にお互いのIPアドレスを通知する)と、安全なピアツーピア接続(図8Bに図示するような、接続8B−8)を確立する。マッチメーカー8A−10は、ユビキタス固有IPアドレスを持つIPv6型においては必ずしも必須ではない。図8Bの右側に図示するように、基地局はマッチメーカーまたはスーパーノードのアドレスを知り、ロボット基地局接続8B−2に類似するプロトコル層を介し、8B−4に接続する。ただし、この場合の外側層が基地局からマッチメーカーにインターネットトラフィックを伝えるどんなメディアに対しても適切であるプロトコルである(例えば、Ethernet(登録商標)、ATM、X.25、またはその他のパケットネットワーク)場合は除く。マッチメーカー8A−10またはスーパーノードが、照合されたロボットまたはロボット10のIPアドレスを介助者の局に通知する。
さらに、マッチメーカー8A−10は、いわゆるスーパーノードに頼るネットワークの一部であり、特権クライアントの間でルーティングを提供してもよく、またはマッチメイキング機能は、データネットワーク8A−8、8A−12、8A−14へのいかなるアクセスも持たないノードおよびスーパーノードのネットワークによって処理してもよい。例えば、スーパーノードは、ファイアウォールの内側ではなく、パブリックまたは固定IPアドレスを有するノードであってもよい。ユーザ識別およびパスワード用の暗号鍵は、ログインサーバのように、マッチメーカー8A−10上に保存される。ロボット基地局または介助者局のそれぞれは、STUN(rfc3489)プロトコルおよびTURNプロトコルと類似したプロトコルを使用して、どのような種類のNATまたはファイアウォール介入かを決定してもよい。開始するには、局は、ランダムポート番号および共通ポート番号(HTTPの80またはHTTPSの443)で聴取ポートを開いてもよい(TCPまたはUDP)。それぞれの局は、スーパーノードまたはマッチメーカーのキャッシュ、ならびにそれらのIPアドレスおよび既知のランダムポートを維持してもよい。インターネットに接続されると、局はスーパーノードか、または履歴ポート番号でのマッチメーカーIPアドレスへパケット(TCPまたはUDP)を送信し、応答を待ち、その後HTTPポート、次いでHTTPSポートへ接続するように試行してもよい。スーパーノードまたはマッチメーカーへ接続された後、このマッチメーカーまたはその他のマッチメーカー、Webサーバまたはセキュリティサーバは局を認証してもよい。スーパーノードまたはマッチメーカーはまた、十分な量のパケットをやりとりし、局に、異なるマッチメーカーのIPアドレス、またはその局を認証することができる特定のログイン認証のアドレスを通知してもよい。接続の間、それぞれの局は、そのキャッシュを、スーパーノード、ノード、マッチメーカー、およびそれらの最新で既知の(ランダム)オープンポートおよびIPアドレスに追加する。任意のノード(ロボット基地局、介助者局)またはスーパーノードは、どちらか一方または両方がポート規制のあるネットワークファイアウォールまたはNATの内側にある場合、照合ロボット基地局と介助者局との間にトラフィックを回送および転送するルータとして機能することがある。これは通常、「Skype」のピアツーピア回線ネットワークと類似しており、かかるネットワークと相互運用が可能となる。本配置では、スーパーノードに負担をかける傾向がなく、通常処理機能が低い(すわなち、消費者のルータとほぼ同様の)ロボット基地局ノードの使用を回避するので、好ましくは、使用していない介助者局(通常、普通のPCの起動承認ソフトウェア、VPN、および/またはクライアントソフトウェア)は、かかる場合にはルータとして機能する。
図8Cに図示するように、これを、または修正システムを使用して、ロボットなどの承認装置、またはVOIP電話もしくはメディア局などの事前承認装置(すなわち、MACアドレス、公開鍵、署名など、ロボット基地局に知られている、暗号法もしくは固有の識別情報を有する、または直接有線接続、スキャン可能なID、直列接続、または同等物経由で局所的にこの情報を送信することができる)は、ロボット基地局によって、信頼できるネットワークの少なくとも一部に直接参加することが許可される。基地局は、認識されたノードになろうとする承認装置が、ランダムポートnn上で受信することを許可し、それによって装置がそのポートで使用可能であること(すなわち、ロボット基地局に対して指定されたIPアドレス、受信するポート、ロボットまたは事前承認装置に関連する識別性および/またはセキュリティ情報を含む)をマッチメーカーに通知する。別の場合には、基地局を介してアクセスする装置のそれぞれが、異なるランダムポートを有するので、識別情報は必要ではない。マッチメーカーおよびロボット/装置はその後、チャレンジレスポンス(セキュリティ、承認情報を含む)を実施し、マッチメーカーでロボット/装置を認証する。未承認装置が基地局の使用を試行する場合、装置は、基地局および承認サービスのリストを介して、その承認を交渉することによって認証されることになってもよい(例えば、基地局を介して、承認サーバに既に知られている署名および/または事前承認された特権コードを送信することによって登録する)。その後、装置またはロボットは、その基地局で承認されてもよい。介助者局が、スーパーノードまたはマッチメーカーに接続するように直ちに試行することを除いては、同様の処理が、介助者の局で行われる。さらに、ランダムポート戦略は、ロボット基地局または介助者局が、ファイアウォール、閉ポート、および/またはNATの内側にあるとき回送および転送する、HTTPポート、HTTPSポート、および/または介入ノードパケットを使用することによって補完される。
基地局8A−6はまた、ロボット10において有用な種々のアプリケーションを受け入れる、Webサーバまたはサーバ8A−8に接続される。Webサーバ8A−8は、コンテンツがロボット10(例えば、マルチメディアコンテンツ)によって使用されるファイルシステム8A−12へのアクセスと、さらに一般化データベースへのアクセスを有する。データベースは、居住者のためのユーザプロファイル、ロボット10が使用可能な会話、スケジュールおよび同等物を保存してもよい。極秘または機密であると見なされる任意のデータは、暗号鍵による識別またはコンテンツに関して不明瞭にすることができる。データベースの所有者(居住者ではない)が調べない、または識別性を個人データに載せないような方法で、データは、データベースによって使用または処理してもよい。接続テーブルは、ロボットまたは基地局上に保存された記録を、介助者によって保存されたデータと一致させることができるので、一方がピアツーピア8B−8を接続するオンラインでない間に、他方から収集または送信されるデータは関連付けられてもよい。ロボット上のみに、または介助者によって、もしくは介助者のネットワークによって通常保存されるデータ(極秘の病歴および記録など)は、データベース8A−14に維持してもよいが、好ましくは、介助者、ロボット、ロボット基地局または委任者(例えば、居住者の家庭用PC)によってのみ復号可能な暗号化バックアップ形式に維持される。
このようにして、ロボットシステムは、基地局8A−6およびロボット10の両方を含む。基地局は、ローカル無線プロトコル経由でTCP/IP伝送を通信できる無線トランシーバ、およびインターネットにアクセスするローカル有線Ethernet(登録商標)経由でTCP/IP伝送を通信するための有線Ethernet(登録商標)コネクタを含む。アクセスポイント回路(例えば、ロボット基地局における)は、ローカル有線Ethernet(登録商標)とローカル無線プロトコルとの間のTCP/IP伝送を転送し、またロボットに指定され、ロックされる(例えば、居住者または介助者が変更することは、承認なしでは、または全くできない)所定のIPアドレス、ロボットにロックされる所定のシェルレベル暗号化(論じたVPNおよび/またはSSLなど)、およびロボットのみに開かれるインターネットへの所定ポート(例えば、それぞれのロボットに指定されるおよび開かれる1つのランダムポート、または同じ言語下で、介入ランダムルーティングノードと組み合わせて、HTTPまたはHTTPSなどの共通ポート)に限定される。ロボット自体は、ローカルRFまたは無線プロトコル経由でTCP/IP伝送を通信することができる無線トランシーバ、およびローカル無線プロトコル経由でTCP/IP伝送を転送するためにクライアント回路(例えば、IPプロトコルスタックを有するCPUおよびOS)を含むことになる。
好ましくは、ロボット基地局は、複数のアンテナを含み(ロボットも同様に含んでもよい)、802.11nマルチプルイン、マルチプルアウトアンテナの多様性および選択を使用し、2.4GHzの無免許周波数に限定されないが、例えば、900MHzから最大約10GHzの帯域での、家庭内のマルチプルパス伝搬の問題を克服する。さらに好ましくは、ロボット基地局は、直交周波数分割多重化を使用して、無線伝送をさらにエンコードする。このような場合には、ロボット基地局は携帯式であってもよく、介助者局の部品(遠隔操作用のカメラおよびビデオ情報を中継することができる画面、およびロボットを遠隔操作するための制御器など)を組み込んでもよく、実施形態は、ロボット用のプラットフォームは、搭載される監督カメラを用いて、踏みつけられ、スリップしながら操作される、ことが企図される。可能な限り高速、マルチパス抵抗、マルチプルイン、マルチプルアウトアンテナの多様性を使用したフレームレート、直交周波数分割多重化、エラー修正をしないIPまたはIPと互換性のあるパケットプロトコル(UDPなど)、および任意に、H.264AVCまたはMPEG4などの予測ウェーブレットベースのビデオ圧縮において、ロボットから基地局へビデオを送信してもよい。
図8に示す実施形態では、ロボットは、上流サーバとやりとりするチャレンジレスポンスを介して認証する。ネットワークアダプタは、家の中の未認識ロボットのために、既知の認証サイトに小さな穴を開ける。この認証サイトは、未認識ロボットに対して課題を課す。ロボットが暗号法的に正当な応答に反応すると、認証トークンはネットワークアダプタに送信され、それはトークンを保存し、その地点からインターネットへのアクセスを可能にする。さらにその他の実施形態では、ロボットは、受信するためのランダムポート番号が与えられ、この情報はまた、マッチメイキングサービスへ転送される。
中央サービスは、ダイナミックDNSサービスと類似しているマッチメイキングを提供することがあるが、それは特定のネットワークアダプタを利用する市販のロボット用である。これらの状況下では、所有者がマッチメーカーサービスに最初に接続するときに、それぞれのロボットは、所有者を装置にマッピングする固有のパスコードとともに消費者に出荷されることになる。この場合は、マッチメーカーサービスは、ロボット用の、ウェブにより受け入れられる集中型ユーザインターフェースである。サービスは、双方ともインターネットクライアントである、ロボットとユーザ間の構成およびユーザインターフェースをプロキシする。さらに、マッチメーカーサービスは、車両管理ツール(ソフトウェアの更新用)および特定の家の中のロボット用のポータルとして作動してもよい。この中央側から、ユーザはロボットに「接続する」ことができ、それはユーザを、ロボット上で受け入れるユーザインターフェースをリダイレクトする。
図9Aは、安全上の懸念により遠隔端末へ情報の伝達が要求される状況において、移動ロボットによって実装してもよい報告ルーティンを図示する。ステップS1では、ロボットは、例えば、遠隔介助者が移動ロボットから受信したいと願う情報のリストをダウンロードすることによって、コンピュータネットワークから報告指示を検索する。かかる情報は、数ある中でも、何時にロボットが住居者の存在を最後に検知したか、居住者への薬剤の配給が成功したかどうかを含む。ステップS2では、ロボットはかかる情報を収集してもよい。ロボットはその後、現在の時間を確認し、それをステップS3でのスケジュールと比較し、ステップS4において、スケジュールが情報を送信する時間になったと決定したら、ステップ5において、ロボットはその情報を遠隔端末に送信してもよい。さもなければ、例えば、制御はステップS2に戻ってもよい。
終日にわたるスケジュールまたは事象に応えて、移動ロボットは、限定されないが、(a)薬剤遵守情報、(b)音のパターンまたは他の検知によって認識される、居住者の存在または不在、(c)状況または「異常なし」の報告、(d)来客についての報告、(e)計画されたスケジュールに関して、居住者によって入力された更新(「2時間外出するよ(I’ll be out for two hours)」)、(f)音の異常なパターン(耳障りな雑音、呼び出し雑音)または異常に大きな音についての報告、(g)介助者または他の家族から居住者への通信の要求を含む、居住者に関する更新情報を含む更新を作成する。これらの更新には、事象に応答する更新、データ変更の更新、状況更新、および定期的な更新が含まれる。
ロボットは、プッシュ更新システムを使用して、プッシュサーバに統合される、またはそれと通信するコンピュータサーバに、最新情報をアップロードする。メールデリバリエージェントに類似しているプッシュサーバは、メールユーザエージェントに類似している更新クライアントに新しく受信した更新を送信(または転送)する。ロボットおよび介助者の端末の双方とも、更新クライアントとなり得る。プッシュサーバは、ロボットまたは介助者クライアントのネットワークを監視し、介助者に対する新しい更新を発見すると、更新を検索し、それを介助者の端末に転送する。同様に、プッシュサーバがロボットに対する新しい更新を発見すると、ロボットにメッセージを転送する。更新は個別に維持し、アーカイブに保管してもよく、またはしなくてもよい。
図9Bに図示するように、インターネットIに備えられるプッシュサーバPは、ロボットからの報告および更新(クライアントロボットにより、クライアントモードで、プッシュサーバに報告される)が介助者の端末Cに転送されるような方法で、(基地局Bを介して)移動ロボットRおよび介助者の端末Cと通信する。介助者の端末Cは、電話、メッセージング装置(ブラックベリーまたは他の携帯情報端末)、もしくはコンピュータブラウザまたは他のクライアントであってもよい。このような状況では、プッシュサーバPからクライアント装置に配信される情報は、クライアント装置によってまとめられる一連の所定の要求パラメータに基づく。これは、遅延様式またはインスタントメッセージ様式であってもよい。プッシュサーバPは、介助者の端末CがプッシュサーバPから更新を記録する、またはそうでなければ要求することなく、介助者の端末Cにコンテンツを転送する。結果的に、移動ロボットRによって更新された情報は、インターネットI上のプッシュサーバPを介して介助者の端末Cに中継される。プッシュッサーバは、電子メールと同様に更新を転送してもよい。別法として、RSSなどのプル技術は、ロボットから始まるコンテンツの配信用に使用してもよい。このような場合には、介助者の端末Cは、例えば、日中に特定の間隔で、コンピュータサーバからの任意の最新情報を自動的に検索してもよい。
本発明のロボットは、ある事象に対する応答を示す視覚合図を使用して、ユーザに豊かな相互交流体験を提供する。それらの合図は、少なくも、画面のうちの1つ以上での画面表示部および反応を伝えるための頭部または他の物的移動を含む。図10Aは、移動ロボットの画面26上で表示される、典型的な種々の感情表現を示す。図10Aに示された感情画像は、ロボットの頭部16の表示部26上に示されるが、感情画像はまた、本体に取り付けられる画面上に表示することも可能である。任意に、感情画面は表示部画面の一部のみを使用し、残部を他の相互交流および/または機能のために空けておいてもよい。
表示するように、口、目、眉という対象物(図10Aに示す典型的な表現など)は、マトリクス表示部を使用し、非常に多数の画素から適宜形成することができ、または、セグメント表示部を使用し、多数のセグメントの設定形で形成することができる。もちろん、表示部はセグメントおよびマトリクス部分の両方を内蔵してもよく、マトリクス画素は1種類のセグメントとみなしてもよい。セグメントまたは顔マトリクス表示部には、従来の製造技術によって、十分な数のセグメントまたは画素を提供してもよい。
以下の論考は、適切な部分で顕著な差異を有するセグメントパネル、またはマトリクスパネルを説明する。マトリクスパネルについて論じる際は、MacromediaTMFlashTM、携帯用動画システムで動画を生成するために使用される技術が有用である。この専門用語では、「映画(movie)」は一連の場面であり得、場面は、一実施形態では、層を成して背景に入れてもよい、文字列の対象および画像の対象などの一連の対象である。映画および対象は事象に応答し、映画の外の行為を行ってもよく、同様に効果(物体の外観を変化させる動画)を適用してもよい。セグメントパネルの作動を論じる際は、物体は、順番に、または個別に作動または停止させてもよい単一のセグメントまたはセグメントのグループであってもよく、作動または停止させることにより、動きの印象または外観の変化を与えることができる。いずれにしても、「対象(object)」は動画化され、移行性動画状態に適応する。この専門用語の使用にもかかわらず、本発明は、論じた動画システムに限定されることはない。
表示部26は、ロボットの変化する感情および非言語的行動を表現する音声および相互交流と同期して動画化される、目−鼻−口の表示を実行する。表示の動画化表現は、音声と同期化される非言語的行動、音声と同期化される音素動画化、会話および感情モジュールからの基本表現、およびいくつかの専門的表現手順などの、システム内の種々の変数に従い制御される。表現の機能要素には、いくつかの基本表現、視線方向、身振りを強調するためのいくつかの眉の位置、音素動画化のためのいくつかの口の形(視覚素)が含まれる。これらの要素、すなわち、音素動画化、注視移動、および眉吊り上げの作業は独立しており(直交)、これは、悲しい(軽度)、懸案、中立(肯定的)、幸せ(満足から喜びまで少なくとも4等級付け)、驚き(肯定的な驚きまたは否定的な驚きとは異なる提示)などを含む基本表現とは関係がない。状態から状態への平滑動画化移行のための、すべてこれらの要素において、「中間(in−between)」状態(トゥイーン(「tween」))が存在する。
視線方向は、例えば、右から左への、16の異なる位置の直視を提供してもよい。2つの位置の左上方および右上方、および2つの位置の左下方および右下方をさらに提供してもよい。眼の反射表示器は省略されたり、室内照明の方向性に応じて設定されたり、または安定状態を保ったりしてもよい。少なくとも3つの眉の位置が提供され得、すなわち中立、中位に吊り上げ、高位に吊り上げ、さらに中間状態が提供され得る。眉もまた、基本表現の形成に関与する。
音素動画化は、13の視覚素のサブセット(「視覚素」は、かかる音素を形成するために使用される人間の口の動きのタイミングおよび速度に応じて、音声合成音素に対応する位置での口の一連の動画フレームであり、「イアコン」は、アイコンに相当する可聴バージョンであり、すなわち、提案、物体、または話し言葉を使用しない行為を伝える、短い、意味のある音である)、毎秒5音素の標的発話速度に合わせて中間状態にされる。舌を示す表現は、このサブセットを減少するように除去されることがある。A、B、E、F、K、O、OO、R、THなど、一連の口を閉じた形は、基本の組の音素を備える。さらに大きな組は、P、B、M;W、UW;R;F、V;TH、DH;L;S、Z、D、T、N;SH、CH、JH、ZH;Y、IY、IH、IX、AW、H、K、G、NG;EY、EH、UH;AE、AX、AH、AA、AO、ER、AY;OY;およびOWなど、無音のうちのいずれかまたは全部を含んでもよい。
特色のある表現は、ウインク、まばたき、好奇心の強い、探求心のある(横目の1つの平らな眉)、瞳孔を開く、笑う、号泣、眠い(ロボットの電池レベルが低くなる)、考える(何かをダウンロードする間に使用される、額の深いしわを含むことがある)を含んでもよい。図10Aに示す表現は、必要に応じて、種々の頭部方向を併せて利用してもよい。
図10Bは、ロボット10のための表現運動行為および位置を表す。頭部16の潜在的デフォルト位置(図1Aに示すが、図10Bには示さない)は、居住者に関するものであってもよい。
本明細書に概して示すように、ロボットの頭部および胴の構造は、肩をすくめたり、うなずいたり、頭を振ったり、横を向いたり(対象を変える)、その他の身振りの合図を提供するよう設計されてもよく、すなわち移動システムによって、接近および後退の動き(個人空間および会話への留意の合図)ができる。ロボットは、頭部、または実際にはいかなる人間または動物の特性を有する必要がないことを留意することが重要である。人の頭部、肩または同等物の動きに関与する既知の身振りの合図については、人間の身振りの合図と同じまたは類似した会話のタイミングと合図に従い配置される場合は、類似した位置にあり、および/または類似したプロファイルのロボットの部分を使用した相似性運動は、ロボットの全身を使用して誇張される。これらの一部を図10Bに示す。接近および後退の動きは、また、横を向いたりする事と、その他の身振りの合図を含んでもよい。概して、本明細書で論じたように、身振りの合図を提供する動きは、用語表現運動の中に含まれ、非同期的に、または定期的にスクリプトによって引き起こされる可能性がある。図10Bに図示するように、ロボットは、特定の文化または人のために正確な距離に接近してもよい(これは、居住者との会話が、居住者をロボットから離れさすことを継続的に引き起こすことを、ロボットが検知することができるにつれ、記録され、徐々に適合することができる。)。これは身振りの合図の例であり、その他の典型的な身振りの合図は、会話の話題が変わる一瞬に、居住者からロボット全体またはロボットの頭部を、わずかに向きを変えることになる。図10Bにさらに図示するように、居住者がある方向に移動し始めることがわかると、ロボットは、居住者の邪魔にならない場所に「丁重かつ優雅に」移動し、ロボットが、ドアの位置および/または通行経路および/または住居の障害を記録することは、道をあけておくことを容易にする。これは、ロボットの表現運動を介して、社会的相互交流をシミュレートするロボットの例である。図10Bにさらに図示するように、ロボットは、「アニモーション(animotion)」、すなわち、表現を伝えるように設計される、ロボット全体(車輪を介して)の運動スクリプトを実行してもよい(これらはまた、ロボットの他の部分の動きおよび/または音などを含んでもよい)。これらの種類の表現運動のそれぞれは、表現運動および/または本明細書で論じている非同期ロボットの動きおよび非同期事象の一部と見なされる。
本発明の実施形態によると、移動ロボットは、種々の仕事または活動の遵守を促進または保証するために、居住者との相互交流を提供してもよい。例えば、移動ロボットは、図11Aに図示するように、多数の予定された事象のために、リマインダおよび他の刺激を提供してもよい。これは、日中の適切な時間に薬剤の服用の想起が困難である高齢者または他の居住者と相互交流することは特に有用となる。薬剤投与計画の支持に加えて、ロボットは、規定食計画を支持してもよく、慢性症状を管理するための提案(ストレッチをする、水を飲む、休憩する、など)の反復を提供し、また回復療法(療法士が推奨する運動など)の指示を提供してもよい。ロボットのプロセッサに保存されたスケジュール50は、居住者によってまたは遠隔オペレータもしくは介助者によって設定されてもよい。例えば、居住者は、コンピュータまたは携帯情報端末経由か、またはロボットのインターフェース能力を直接使用して、所望の事象を入力してもよい。さらに、居住者は、ある行動が直ちに実行されることを要求してもよい。同様に、ロボットスケジュール50はまた、重要な予約、医薬投与量などを記録するために、医者のコンピュータまたは携帯情報端末に連結されてもよい。さらに、または別法として、例えば、新しい薬剤が処方された場合に、スケジュール50は薬局から指示を受信してもよい。
図11Aにおけるスケジュール50に示されるように、薬剤遵守ルーティン54は、朝の投与計画52に続いて予定されてもよく、それは、居住者の目を覚まさせるロボット、錠剤充填手順、ストレッチ計画、バイタルサインの確認などを含んでもよい。朝の行動はまた、その日の後に予定されている活動のいずれか、または後日の特定の予約に関してさえ、居住者に注意喚起するために使用してもよい。日周活動における居住者の認識および物理的関与(自分自身の日課表を計画する、および/または薬剤を充填するなど)を高めることによって、ロボットは、居住者自身の投与計画への関与、責任、および制御を高める。自分自身の介助におけるかかる関与は有益となることがある。
さらなる投与計画は、類似するリマインダスキームとともに、移動ロボットによって支持されてもよい。例えば、ロボットは、すでにスケジュール50に入れられた、社交目的の訪問56、または娯楽事象58のためのリマンダを居住者に提供してもよい。薬剤遵守ルーティン54の間に、ロボットは、相互交流の目的を居住者に注意喚起し、投与する必要がある薬剤の量に留意し、また遵守ルーティンを進める許可を要求してもよい。本実例では、移動ロボットは、ロボットが、薬剤ディスペンサ、カートリッジ、または担体を含むかどうかに応じて、(i)薬剤が保管されている部屋へ行くように住居者に指図する、(ii)水と一緒に、ロボットが運ぶ1つのコップまたは複数のコップから薬剤を差し出す、(iii)居住者が薬剤を取り出し、服用できるように、錠剤ディスペンサの適切な部分を開くことがある。それに応じて、投与計画遵守の時間が来たことを単に居住者に注意喚起することによって、投与計画遵守の確率は増加する。しかしながら、この確率をさらに増加させるために、ロボットは種々の行為を行うことができる。例えば、ロボットは、関連した薬剤貯蔵部、担体、カートリッジ、またはディスペンサを備えてもよく、さらに、担体またはディスペンサを含んでもよい。遵守ルーティン54が、時間によって、または他の事象のトリガー(例えば、食後、遠隔介助者からの指図の時点など)によって開始されるときに、ロボットは、薬剤を居住者へ持って行く、または居住者を薬剤に連れてきてもよい。
図11Bは、典型的な投与計画開始のルーティン、Iを図示し、移動ロボットは、投与計画ルーティンを始めるために追随してもよい。ステップSI1では、移動ロボットは、現在の時間を確認し(または事象の発生に留意する)、それとスケジュール50(図11A)とを比較する。ステップSI2で、ロボットが、薬剤ルーティンまたは他の投与計画ルーティンを始める時間であると決定すると、ロボットは、ステップSI3で居住者を探し始める(そうでない場合は、制御工程はステップSI1にループバックすることがある)。探しルーティンを以下に説明する。ステップSI4では、移動ロボットは、居住者に問い合わせをし、その後ステップSI5で、相互交流の許可が与えられたかどうかを決定してもよい。そうであれば、移動ロボットは、ステップSI6で相互交流の行動を実行し、そうでない場合は、ステップSI7で、ロボットは、ロボットが拒否に関して遠隔介助者に連絡してもよいかどうかを決定するために与えられた許可を確認する。別法として、投与計画が重大でない場合(例えば、社交または娯楽事象)には、ロボットは、ステップSI10に移動して、その領域から離れてもよい。ステップSI8では、ロボットとの相互交流に対する居住者の拒否を介助者に通知することが許容されることを移動ロボットが決定すると、その後ステップSI9に進み、介助者に通知を送信する。一方、許可が与えられなかった場合は、オーバーライド状態が存在しないと見なされ、ロボットはステップSI10でその領域から離れてもよい。
典型的な投与計画遵守ルーティン、Cを図11Cに示す。ロボットの表示画面またはスピーカーは、表示可能もしくは可聴な指示、または薬剤の投与もしくは他の投与計画実行方法の説明を提供してもよい。スケジュール50が、投与計画の遵守ルーティン(例えば、朝のルーティン52、薬剤遵守ルーティン54、社交目的の訪問56、娯楽事象58)が予定されていることを示す場合、ひいてはロボットは、ステップSC1に示すように、居住者が投与計画の遂行方法および理由を理解することを助けることができる。例えば、ロボットは、時間、事象、または他の要因に基づくか否かにかかわらず、人が服用する薬剤および服用するスケジュールを含む個人の薬剤投与量情報について説明してもよい。ロボットはその後、ルーティンの間の遵守を追跡するために、ステップSC2で、ステップ=0に遵守カウンターを設定し、次いでステップSC3で、投与計画を遂行するために、第1のリマインダを渡してもよい。リマインダが最初に拒否されなければ(SC4)、ロボットは要求に応じ(SC5)、錠剤を提供したり、錠剤を保存する場所に人を誘導したり、運動指示を表示したり、かつ/または言葉で表現したり、ビデオ会議接続を準備したりすることによって助力する。設定時間または事象後、ロボットは、質問か、または他の遵守確信行為(例えば、錠剤ディスペンサの内容を確認する)とともに遵守を確認し(SC6)、遵守が確認されると(SC7)、ルーティンは終了し、ロボットはスケジュール50を監視するステップに戻る(図11A)。遵守が確認されると、ロボットは1だけ、遵守カウンターを増加させ(SC7’)、その後ルーティンが重大であるかどうかを決定する(SC9)。ルーティンへの遵守がステップSC4で最初に拒否されると、遵守カウンターがステップSC8でS+1だけ増加した後、再びこのステップSC9に至る。
遵守の確率を増加させるために、投与計画が重大でないときは、ロボットは、居住者が一時的に薬剤または投与計画を遅延することを許可する「スヌーズ」機能、ステップSC9’を含んでもよい。スヌーズルーティンは、居住者、介助者、またはロボットによって、より重要ではあるが、重大ではないと見なされる特定の投与計画(例えば、薬剤遵守、治療遵守、など)のための再現に限定される。より重大ではない投与計画(例えば、社交および娯楽事象、予定された事象のない日の朝の起床、など)に関しては、スヌーズルーティンは、完全にタイムアウトし得る。スヌーズルーティンはまた、二次リマインダ(例えば、15分の遅延を許可する場合に、ロボットは、投与計画を有する遵守が間もなく要求されるというリマインダを発行してもよい)により修正可能であり、ステップSC3に戻ってもよい。遵守の事情が好ましくない場合には(例えば、テレビ会議が予定されているときに、人が食事の準備をしている、など)、スヌーズ機能ステップSC9’も同様に使用してもよい。投与計画遵守ルーティンが、必然的に居住者の制御によって中断または遅延する場合には、それは要求された遅延の後復活する。かかる遅延は、薬剤が何回およびどれくらいの期間遅延または拒否されてもよいか、介助者が遅延または拒否について通知されているか、またその通知方法に関して、指針を提供する延期規則によって管理されてもよい。
ルーティンが重大であれば、ロボットは、遵守カウンターが所定の閾値を満たすかどうか決定し(SC10)、そうでなければ、ロボットは、ステップSC3で最初のリマインダを反復する。閾値を超える場合には(居住者による持続的な拒否に起因する)、ロボットには、より断定的なリマインダが提供され(SC11)、ロボットに他の音声(「Bob、この薬剤を服用することは非常に重要ですよ(Bob,it is very important that you take this medicine)」)を使用可能にさせる。または居住者に投与計画を遵守することを納得させるように感情応答(立腹する、悲しい)を行う。増加した断定的なリマインダが拒否されると(SC12)、ロボットは、必要に応じて、ステップSC13、SC14、SC15、およびSC15’(上記のステップSC5から開始する支援サブルーティンに類似している)を含み、支援サブルーティン経由で移動する。ステップSC17で、第2の閾値に到達するまで、継続拒否SC12は、遵守カウンターを増加する。さらなる遵守ステップとして、ロボットは、アプリケーションに応じて、居住者の許可の有無にかかわらず、継続拒否を介助者に報告してもよい(SC18)。この場合も先と同様に、重大と見なされる投与計画は、居住者の許可なく介助者に報告されてもよく、より重大ではない投与計画は、居住者の許可を要求する、または全く報告されなくてもよい。さらに、介助者または居住者の分別において、介助者への報告は、例えば、介助者が居住者に投与計画を遂行するように促すためのテレビ会議電話を含み、介助者の介入を行使する機会を提供してもよい。別法として、テレビ会議システムへのアクセスのない介助者にとって、ロボットの表示部は、介助者のためのアバターとして機能してもよく、そこでは介助者から受信した音声は、居住者と通信し、遵守を納得させるために、ロボットの表示部上の視覚素(および、任意に、音素)列に変換される。
ロボットはまた、意図的、または不注意に無視される場合においても遵守の確率を増加することができるように、その他の行動を取ることができる。非遵守に対する理由は、どんな行動を取るか、またはそれらの行動はいかに取られるかについて、単純なまたは条件に依存する忘れやすさを含む。その上、指定された時間、その他の時間またはスケジュール問題によって投薬が行われないこと、病状、完全な遵守投与計画に従う必要性への理解不足、および副作用に対する嫌悪またはその他の阻害要因のため、居住者が遵守できないことは、遵守に影響を及ぼすことがある。遵守投与計画に従わない場合、または連続動作中のいずれの時点でその他の問題が存在する、または生じる場合、ロボットは、助力を提供するために介助人を呼ぶオプションを提供することがある。介助人はまた、いずれの相互交流の実行を遠隔的に割り込むまたは決定することがある。
移動ロボットのカメラおよびマイクロホンはまた、ロボットがビデオ/テレビ会議局として、動作することを可能にする。ビデオ会議局として、表示部は、相手のアバターとして機能してもよく(介助人アバターに関して上記に述べたように)、また、ロボットは、MPEG−4、H.264、またはAVCなどの高圧縮のビデオ、またはその他のビデオおよびサウンドファイルを処理できるビデオ・コプロセッサ(coprocessor)を含むことがある。図12は、本発明の一実施形態に利用されることがある一般会議要求ルーティンVを示す。外部会議、すなわち、居住者主導の会議に関して、通話開始シーケンスで外部ビデオを提供する許可を提供することがある。しかしながら、通話の着信に関しては、居住者があまり要求しない場合、発信者は居住者を見ることができないことを保証するための許可が望ましい。
移動ロボットは、ステップSV1で、会議要求を受けることがある(例えば、標準IEEE801.11、または802.15、またはBlueTooth(登録商標)、UWBまたはその他のインパルス無線などの無線ネットワークプロトコルを使用したコンピュータネットワーク上で)。ロボットは、その後、ステップSV2で、居住者を見つける、または位置を特定する。居住者の捜索、および/または位置決めに対するナビゲーションの順序を下記の詳細を示す。移動ロボットが居住者を見つける場合、ステップSV3で、例えば、「会議要求を受け入れましょうか(Shall I accept this conferencing request?)」という、可聴および/または可視クエリーを発行することがある。ステップSV4で、移動ロボットは、マイクロホン、カメラ28、および/または口頭、身振り、または居住者からのその他の応答に対するその他のセンサを監視することがある。さらに、居住者は、ロボットの画面の1つの「受領」ボタンに触れ、ロボットの表面にあるボタンを押し、または特定のセンサに触れてもよい。ステップSV5で、ロボットは、会議セッションを始めることが許可されたか否かを、上記事象のいずれの1つ以上から決定する。許可を与える場合、移動ロボットは、ステップSV6で会議セッションを始め、別法で、移動ロボットは、ステップSV7で、セッションを拒絶することがある(場合により、遠隔会議要求器に通知を送る)。
居住者に役立つコンパニオンとして機能するために、ロボットは、予測不可能な家庭環境で操縦することができる。図13Aは、典型的な住居の見取り図またはフロアプランを示すが、ロボットは、空間または設計「図」を必ずしも必要としない。実施形態では、ロボットおよび介助人または居住者は、ウェブブラウザ、またはロボット自体の画面を介して、住居において関心のあるアクセス可能な部屋を表す概念的なアイコンのみを含む、アイコンセット(マップ)を作成する。
環境のトポロジーマップを構築するには、ロボットは、住居を動き回り、部屋または環境の他の区画を観察することがあってよい。これらの区画は、空間、例えば、廊下、大きな空間の4分円またはその他の部分などの論理的な分割であってよい。ロボットは、「灯台」を介して、または視覚的識別形状(窓など)により部屋の境界での空間を識別することがあってよい。米国仮特許出願番号第60/741,442号に前記空間境界識別子が開示されており、それらの開示は、本明細書にてそれら全体を参照することによって組み込む。さらに、ロボットは、天井に突出する兆候、自己類似タグなど、部屋の基準を認識することがある。天井に突出する基準の例は、米国特許出願第11/176,048号に記載され、それらの開示は本明細書にてそれら全体を参照することによって組み込む。ロボットはまた、走行距離計測法、光学的またはRF TOF(Time Of Flight)方式または到着角度測定の角度または三角測量により提供されるような位置情報を利用することもあり、部屋を識別するために、例えば、部屋の大きさの検出、最大対角線の大きさなどの空間的推定値を使用することがある。ロボットが環境内で種々の部屋/空間を探索する場合、部屋の隣接情報を獲得し、通常操作中、本情報を維持するために、トポロジーマップを構築することがある。ユーザ/居住者のインターフェースには、本マップ情報をキャッシュに入れ、オンラインサイトで保存してもよい。ロボットはまた、人または物により、処理され、認められ、または使われた無線周波数(RF)タグを認識することにより任意に人および物(充電局、戸、窓、鍵、ペットなど)を識別することがある。さらに、ロボットは、本明細書で説明されるように、署名、熱、音声、および/または視界パターンにより人を認識することも可能である。
いったんロボットがすべてまたは一部のトポロジー(および居住者/エンティティ情報)を完成させると、またはロボットがすべてまたは一部のトポロジー(および居住者/エンティティ情報)を完成させたときに、本情報をローカルに保存したり、または既に論じたようにウェブサーバに本情報を送ったりすることがある(または内容自体を供給する)。アイコンと部屋識別性情報の組み合わせを使用するロボットナビゲーションのための方法に加えて、インターフェース、アイコンマップおよびマップとホームの間の有意の接続アイコンを構築するための方法を本明細書で論じる。ウェブクライアントは、ホームのアイコンマップを表示し、いくつかの実施形態では、実在の距離ではなく、トポロジーマップ上の距離により配列された部屋の収集として示すことがある。ウェブクライアントはまた、居住者または住宅内での他のエンティティに対する図またはその他のマーカーを画定し、表示してもよい。従って、住宅内でのいずれの特定された人または物の位置を追跡することができる。前記技術は、物または人がロボットに検出される場合、居住者または介助人が住宅内の物、人などの場所を監視することができる(タグまたは十分な認識資源を介して)。居住者またはその他のユーザは、「ここは浴室である」または「ここは寝室である」などのように、名前を変更したり、部屋を区別したりしてもよい。
それぞれの部屋およびエンティティの場所および識別性は、ロボットメモリまたはローカルまたは遠隔データベース内に保存され、例えば、ロボット表示または遠隔介助人局またはウェブクライアントに要求に応じて居住者に示される。ロボットは、部屋の基本リストおよび識別された人、物などを表示してもよいが、好ましくは本明細書で論じるように、アイコンマップに位置付ける。必要に応じて、居住者は、その部屋に行くためにロボットに命令するための画面に表示されたいずれの部屋に触れてもよい。本明細書で論じるように、プライバシーモードは、ロボットを部屋から部屋へ自律的に操縦する場合、ロボットのカメラは、遠隔介助人にアクセスできないことを必要とし、ロボットが興味のある部屋に到着すると、起動させるために居住者の一時的または信頼レベルの許可を必要としてもよい。識別された部屋に入ると(許可が適切な場合)、ロボットは、空間のビデオまたは静止画像を撮り、本データを表示するために居住者のもとに戻るか、居住者のコンピュータ、ネットワークテレビ、携帯情報端末へ遠隔的に送信するかのいずれかを行うことができる。また、ボタンまたはリモコンなどのための検索ツールとしてロボットを使用することがある。適切な認識能力(例えば、物体認識、適切な学習およびデータベースルーティンに基づくスケール不変特徴変換)を装備する場合、ロボットは、環境内で(例えば、最後に観察された場所によって)、現在追跡している人または物のリストを維持することができる。それらの項目の1つを選択することにより、居住者は、特定の人または物がある場所へ進むためにロボットを指示することができる。
図21A、21Bおよび22A−22Cは、ロボットを遠隔制御するために、操縦命令を実行するための方法を示す。本方法に従って、ローカルユーザ(居住者の住居でロボットを操作する居住者、介助人など、または設定技術者)は、部屋から部屋へのナビゲーションのために使用されるユーザホームの簡単なアイコンマップを構築することがある。本明細書に論じたようないくつかのステップは、トポロジー隣接性および/または住居を探索することを論じるが、基本的な方法は、トポロジーデータ、またはトポロジー隣接性を構築または理解するための探索を必要としない。すなわち、ロボットが、現在の部屋の固有性を識別でき、別の部屋の固有性を識別可能な部屋に移動するように命令される場合、ロボットは、トポロジーマップを厳密には必要としないが、探索する部屋を探すことができる最も近い部屋から部屋へのナビゲーションを使用して探索することができる。ユーザは、既知の部屋のトポロジー隣接性を識別することがあるが、好ましくは、ロボットがいずれかの隣接行列を構築するか、全く必要としないかのいずれかである。
図21Aに図示するように、ステップTM2で、ロボットは住居を探索する。本ステップは、不連続であり、後の工程で実施することができる。本状況では、ロボットは、単に無作為にまたは部屋から部屋への指示された道を移動してもよいが、好ましいモードは、ロボットが作動する領域へ居住者または介助人について行くように、部屋から部屋へロボットが誘導されることである。同時に、ロボットは、それぞれの部屋がどんな部屋であるかなど、座って待機するための好ましい場所を伝えられることがある。しかしながら、本方法はまた、遠隔的に実施されることがあるため、本探索は、すべてのアクセス可能な部屋のロボットをテレビ操作またはウェブ検索することを含むことがある(米国特許第6,535,793号および第6,845,297号に開示されたように)。ロボットは、その後、アクセス可能な部屋を数える(人により、または少数の部屋などに統合される過度な数などより修正されることがある)。本実施例では、廊下は、オペレータの視野から部屋とは見なされず、アイコンを割り当てられない(主として廊下に駐車したロボットは、障害となるため)。しかしながら、廊下もまた部屋として見なされる場合がある。
ステップTM4で、ロボットは、異なる部屋、ドックおよび充電器のトポロジー隣接を獲得する。ドックは、充電、および/またはデータ接続を提供することができ(例、ロボット基地局など)、充電器は、再充電することを目的とするが、データアクセスがあることもある。「獲得する」とは、人またはフロアプラン分析からのデータの入力をすることを含んでもよいが、一般に、ルーティンまたは人の助けによる、走行距離計測法またはローカライゼーションデータにしたがった、最終(トポロジー)パスおよびループを意味する。ステップTM6で、ノードは、ロボットにより割り当てられる。簡易化とは、より少ないノード、例えば一部屋あたり1つを意味する。しかしながら、ベースおよび充電器は、それぞれノードを備え、廊下は、一般に、アイコンマップに出現しようがしまいが、ノードを備える。加えて、ステップTM6に示すように、戸口および興味深い位置(例、テレビに向いている位置、椅子の後ろ、窓の近くの邪魔にならない所)はまた、ノードを割り当てられることがある。ステップTM8で、部屋数(例えば、住宅にいる場合、居住者または介助人がロボットを入れる部屋の数)は、部屋識別の数(例えば、ロボットにより発見される、または別法で、ロボットにより記録される、またはロボットに知らされる部屋数)に比較される。部屋識別性が多すぎる場合、部屋数が部屋識別性数に等しくなるまで部屋識別性を組み合わせる。
トポロジーマップおよび/または部屋数がロボットまたはシステムにあると、ユーザマップまたはアイコンマップを構築することができる。ユーザマップおよびトポロジーマップは、はっきりと識別できる。ローカルまたは遠隔クライアントまたはロボットの表示部(PC、専用、携帯電話表示)にユーザインターフェース表示を使用して、ユーザマップを構築する。部屋識別およびマーカー(またはアイコン)に関連する人の識別は、ロボットおよび人の世界観を統一する最も簡単かつ最も信頼できる方法を提供する。居住者または介助人は、トポロジーマップの内容に示されてもされなくても良く、接続性およびトポロジーマップからの隣接がユーザマップを表示する(または別々に重ねて表示する、またはユーザマップとともに表示する)ために使用されてもされなくても良い。
図21Bに図示するように、ユーザマップを構築するために、ロボット、基地局、またはウェブアプリケーションは、ステップUM2のインターフェース経由でユーザに可能なマーカーを示す。図22Aに図示するように(ユーザインターフェース画面を示す)、1つのシステムは、図像、それぞれの部屋のタイプの単純な写真を使用する。図22Aに示した図では、事務所、居間、台所、寝室(1は寝室がまだ選択されていないことを示す)および浴室アイコンおよび/または文字列は、部屋識別マーカーとして示される。また、空の家のグラフィック表示(屋根付きの家の外観)を示す。この場合は、インターフェースは、識別される、残った部屋数を示す。ステップUM4で(UM2の前に来ることがあり、ノード次第ではないが部屋識別を決定するその他の方法によることがある)、ロボットは、部屋識別を照合することから新ノードに移動する。ステップUM6で、ロボットは、ユーザマップの構成を実施する人にロボットの視野を示す。図22Aに図示するように、ロボットの視野(1つ以上のカメラ28から)は、ユーザインターフェース経由で遠隔ユーザに示されることがある。これをローカルに実施する場合、ユーザは、ロボットがいる現在の部屋を確認するが、ロボットの視野を示す必要はない。
ステップUM8で、ロボット(またはウェブサーバなど)は、ロボットの視野または現在の部屋への部屋識別マーカーの1つの割り当てを要求する(図22Aから「どの部屋にロボットがいるか、ご確認下さい。(Please confirm which room the robot is in?)」)。居住者またはマップを構成するその他は、その後、部屋識別マーカーを選択する。本情報を受け取る1つの方法は、図22Bに図示するように、アイコンの1つの選択(カーソルマウスクリック、タッチスクリーン)を受け入れることにより、1つの部屋は、その後残りの部屋数から差し引かれ、選択した部屋の文字列確認が示される。さらに、今回またはその他の場合に、ルーティンは、ホームベース(充電器、ドック、RFアクセスポイント)を含む部屋を確認することがある。ステップUM12で、部屋識別性(図22Bでは、「台所」の識別)は、台所アイコン部屋識別マーカーに関連する。ステップUM14では、割り当てられた部屋識別(「台所」)は、適切な部屋識別マーカーを備えるアイコンマップに割り当てられる。
ステップUM14は、実際は蓄積されるものであり、すなわち、それぞれの割り当てられた部屋識別性をアイコンマップに追加し、マップを完成するために、ステップUM2−UM12は、ステップUM16が処理を終えるまで、ステップUM14のそれぞれの反復に対して実施される。図22Cは、識別されるすべての部屋(5つ)がある、組立アイコンマップを示す。5つの部屋識別マーカーは、5つの割り当てられた部屋に対応し、5つの未知の部屋を説明する。完成したマップは、部屋識別性(部屋のタイプと機能)および、さらに、任意的に、部屋(1つ以上のトポロジーノードを含む)を備えるグラフィック(マーカー)の接続として保存されることがある。確認は、ユーザがアクセス可能なすべての部屋を識別するかどうかをチェックする。図22Cおよび22Dは、部屋識別マーカーの間のラインとして部屋隣接を示すが、ユーザは必ずしもこれらを見なくても良い(同時に、マーカーまたはアイコンが、部屋から部屋への移動時間の直感的感覚があるロボットを人が作動することを提供するために、隣接および/または隣接ラインにしたがって、任意に配置される)。本明細書に記載されるように、ロボットは、遠隔ユーザの部屋識別マーカーの選択を代表する第1の操縦命令として表示された部屋識別マーカーにリンクされたユーザインターフェースを経由して部屋識別マーカーの選択を受け、現在の部屋を認識し、選択した部屋識別マーカーに対応する部屋識別を有する部屋内でロボットが認識するまで、第1の操縦命令に従って、異なる部屋識別のある部屋で、あらかじめ、同時に、またはその後に作動することがある。
アイコンマップを経由する指示は、精度を下げて、マルチモード半自律ナビゲーションを提供することができる。第1に、ユーザは、部屋識別マーカーを使用して部屋を選択し、ロボットは、そこに位置するまで、部屋識別性がある部屋を検索するために部屋識別性、および/またはトポロジー情報を使用する(トポロジーマップを使用する場合、検索よりもむしろ経路を計画する)。図19は、アイコンマップを使用し、第1モードを示す。ステップIN−2で、ロボットは、部屋識別性、および/またはユーザ(多くの場合には、介助者、その他の例外に加えて、居住者が家の一部に閉じ込められている場合には、居住者からも)からのナビゲーション命令を受ける。図22Dに図示するように、オペレータは、部屋に対応するアイコンをクリックまたは選択することができる。図22Dの例示的なインターフェースはまた、アイコンマップ上の重ね合わせに加えて文字列を伴うロボット10の現在の場所および状況(台所、充電)を識別する。図22Dのインターフェースは、ロボットにより観察されたローカル場面をクリックする(または選択する)ために、すなわち、(地面の平面位置または目印の選択を介して)ロボットを位置付けたり、移動させたりするために、特定の部屋をクリックする(または別法で選択する)ために、それらの間で異なるオプションを提供する。確認ステップは示されないが、使用してもよい。
ステップIN−4では、ロボットは、現在の部屋を認識し得る。本明細書で論じるように、RF経由のローカライゼーション、基準、走行距離計測法、推測航法、物体認識、パターン認識、表面認識、または特徴認識などを含む、種々の技法が利用可能である。検出された部屋が、ロボットがいる部屋でない場合(インターフェースにより避けられた選択である可能性がある)、ロボットは、ステップIN−6で部屋を検索し始めるであろう。ロボットは、トポロジーマップを追従したり、または壁面追従したり、またはSLAMまたはこの検索を開始したりするためのほかのナビゲーションを使用し得る。検索はまた、本質的に無作為であってよい。新しい部屋に入ると、ロボットは、所定のノードにおいて、または任意に、部屋の認識を可能または容易にする位置において、停止したり、一時停止したりし得る。しかしながら、ロボットが最終的に見つけた部屋が検索された部屋識別性に対応して見つけられたときに、検索された部屋をロボットが識別することが必要である。部屋を認識する方法もまた、本明細書で論じられ、ロボットがステップIN−8で正しい部屋にいることが確認できない場合、ロボットは、別の部屋に移動する。図19は、故障モードを特定されないという意味で、単純化され、ロボットが目的の部屋を見つけない場合、多くの場合、介入を必要とするであろう。ステップIN−10で、ロボットは、ロボットが自律的に接近することを可能にするために、モードを「ウェブドライブ」に変更し、遠隔またはローカルユーザがカメラ視野で地面の位置または目印(landmark)を選択することを可能にする。
ウェブドライブモードは、2つのサブモードを有する。図22Eに図示するように、ユーザインターフェースは、室内で、ロボットのテレビ会議カメラ28またはナビゲーションカメラ29を経由して観察された特性をオペレータがクリックすることを可能にし得る。ユーザは、ロボットを「誘導」したいという要求を(図22Eにおいては、ロボットの後部のプロファイルを表現しているアイコンをクリックするか選択することによって)示したり、すなわちジョイスティック命令のストリーミングを使用してロボットに直接的に命令したり、あるいはロボットを位置付けたいという要求を(図22Eにおいては、場面の一点または目印をクリックするか選択することによって)示したり、すなわち場面内のターゲットとして解釈されたx−y地面平面の位置を使用して比較的自律的に移動させたり、あるいは「移動」させたいという要求を(図22Eにおいては、アイコンマップのミニチュア表現をクリックまたは選択することによって)示したり、すなわちアイコンマップモードに戻り、新しい部屋を選択したりする。図20に図示するように、ウェブドライブに、ロボットは、ステップWN−2での遠隔使用から床の位置、および/または目印部位(床の位置またはノードに変換されることがある)を受け取る。ステップWN−4で、ロボットは、現在の場所を認識する。現在の場所の解像度は粗い可能性がある。すなわち、部屋における認識できる別個の位置はわずかしかない。あるいは、現在の位置を認識することは、ロボットには必要ないが、その代わりに、ユーザにより場面内で行われた選択からの視差または三角測量を使用し、前進運動の量を単に推測するためにすぎず、運動が完了するのを防ぐことがあるいずれの危険物の寸前で止まるために行動対象物検知および回避に依存することにより、その位置に移動するように試行する。いずれにしても、ロボットは、ステップWN−6で、場所に近づき始め、望ましい場所すなわち、ステップWN−8で、到達した場所である位置を解釈する場合、移動を止める。
図20は、新しい位置から、継続する工程、および地面の平面点によるウェブドライブから命令ストリームモードへの直接の移動を示すが、オペレータ(遠隔またはローカル介助人または居住者またはその他のユーザ)は、図22Eに図示するように、アイコンマップモードに至るまで、または命令ストリームモードに至るまでのステップへの機会があることを示される。命令ストリームモードが選択されると、例示的なユーザインターフェースは、図22Fに図示される形を取ることも可能となる。命令ストリームモードは、オペレータからのジョイスティックなどの(トラックボール、多角度パックコントローラ、マウス)運動命令を受けて、命令ストリームに従って、方向および方位でロボットを直接移動させる。直接運動の修正は、介在対象物検知および回避を経由する行動の監視、人または物に対する減速、スプライン曲線またはその他の移動予測、推定および平滑化、ならびに命令、実行およびフィードバックの間で待ち時間を処理するためのその他の規定を含むことができる。ping期間が極度に長い場合、地面の平面点ウェブドライブモードを有効にするために、このモードを無効にすることがある。
図22Fに図示するように、命令ストリームモードは、ジョイスティックをシミュレートするために画面上の能動的矢印制御を使用することがあり、これらの矢印を使用または位置付ける操縦の選択を提供することができる(図22Eに図示する図に戻ることにより)。図22Eに図示するように、効率的に操縦するために、スケール、方向、操縦に対する基準点として場面に現れるロボットの本体または先端の一部を有することはしばしば有用である。人間オペレータによる隙間、角度および距離の推定が向上する。図22Eでは、2つの異なるカメラの視野、すなわち地面の対象物を避けるために使用される地面の平面のカメラ、およびロボットの主要またはテレビ会議カメラ28から「目の高さ」の視野を示すためのロボット視野カメラの視野が示される。ロボットの本体、操縦基準、地面の平面視野は、別のカメラまたは同一のカメラからであってよい。ステップWN−10で命令ストリームモードへの変更で、ロボットは、上記で論じられるように、ステップWN−12およびWN−14を通してジョイスティックの命令ストリームまたはコントローラ命令を受け、ロボットは、命令ストリームWN−14に従って、実質的に直接に(待ち時間を伴うが)移動される。出口信号は、WN−16で、ユーザがロボットのその他の機能に戻ることを可能にする。
本ナビゲーション能力はまた、家を留守にする居住者、または家の特定領域に限定されている居住者に遠隔的に利用可能である。このような場合には、居住者は、インターネット接続経由(または個人的デジタル装置経由)で、遠隔的にロボットインターフェースにアクセスすることがあり、居住者はステータス情報を望む部屋または物を選択することがある。例えば、居住者は、ロボットに正面玄関に鍵がかかっていることを確認させることができ、ウェブブラウザに表示されるマップの居間を選択する。まず、ロボットは、その現在の場所を識別する(例えば、寝室D)。その後、ロボットは、廊下Fを通って、正面玄関が位置する居間Bに到達するまで、寝室Dから移動する。その後、ロボットは、居住者が、ロボットに開始点に戻るまたは異なる場所に移動するとの指示を行う時点で、正面玄関の視覚画像を取り、遠隔居住者に視覚データを送信することができる。あるいは、居住者は、まず、ロボットを誘導したい部屋を選択し、その部屋内の部位またはさらに特定の場所にロボットを方向付け、異なる位置に移動するためにロボットを方向付けることができる。ロボットはまた、部屋中を移動する場合、居住者にストリーミングビデオを送信することができる。さらに、本マッピングおよび追跡の機能性は、本明細書で説明されるように、適切な許可を持つ遠隔介助者に利用可能であってよい。
人間の居住者と相互交流する過程で、ロボットおよび居住者は、環境内で別々になることがある。遵守ルーティンの開始、テレビ会議の開始、または相互交流に起因して、ロボットが居住者との接触を必要とする場合、ロボットは、居住者を探し出すために環境を誘導することができるであろう。環境400の1つのナビゲーションパスの計画図を図14Aに示す。環境400は、それぞれの部屋に相互接続する廊下402に加えて示すように、部屋1、2、3および4などの複数の部屋を含むことがある。それぞれの部屋の入口および出口は、戸404により提供され、開閉されることがある。移動ロボット10は、相互交流または居住者の存在を必要とするその他のロボットの動きを開始する前に、居住者を探し出すための位置決め行動を実施することがある。例えば、基地局または充電局406でロボット10をドックに入れ、投与計画を開始しなければならないスケジュールを決定する場合、居住者がいることを表示するためのロボットの即時環境を監視しながら、環境400内で部屋から部屋へロボット10は進むことがある。
それぞれの部屋では、ロボット10は、人の存在に応答するセンサパッケージ(音検知、運動検知、脈拍検知、呼吸検知、および/または熱検知を含む)および/または可聴または可視クエリーを使用することがある。ロボット10はまた、ロボットの既知環境400の中央領域に移動することがあり、またはそのクエリーを開始するために、現在の場所(例えば、部屋の中央点)の観察領域へ移動することがある。この第1の初期集中型位置機能は、ロボットが、まだ現在位置おり、部屋を出る居住者を検知しなかった部屋または領域において、居住者と接触した場合、有用である。ロボットはまた、1回目の既知の部屋を巡回して、大きな領域の調査が可能な位置に停止し、あらゆる応答に対するセンサを監視する。誤った結果(コンロが熱すぎて居住者がいない、犬が低すぎて居住者がいないなど)を除くためにフィルタリングを使用することができる。
代替の実施形態では、ロボットは、人を検知するためのセンサの使用の有無にかかわらず、呼び出しシステムを使用してもよい。また、ロボットがセンサまたはその他の不良状態を抱えている場合、このタイプのシステムを使用してもよい。人を呼び出す場合、ロボットは、最適な短い距離(1実施形態では、約5m未満)で居住者を呼び出すために、ロボットから居住者への直通電話がより起こり得る場所から、別の部屋または室への戸口を使用することができる。ロボットはまた、部屋の副部分(より小さい領域)または外部からの経路または部屋の間で、この呼び出しを使用してもよい。ロボットは、1つの呼び出しで2つの部屋に到達するために、ロボット自体が戸口から呼び出してもよい。
人を検知する場合、ロボットは、スピーカーおよび/または録音された音声または音、または合成された音声または音を経由して、人がいるかどうか応える可聴または可視クエリーを使用することにより、人を識別するように試行してもよい。ロボットがすべての部屋を進む場合、図14Aに図示するように、人を示す音、動き、熱源を位置付けることなく、ロボットは、第2回の巡回または部屋を通るその他の経路(現在の部屋でスタートする)を実施するが、今回は、それぞれの部屋の可聴または可視クエリーを使用して、実施してもよい。センサ故障がロボットに適切な作動をさせないようにする場合、本検索方法を使用することがある。その他の手段は、家の中で人の存在を示す場合(例えば、ロボットが居住者の個人的無線IC(RFID)タグの存在を検知するが、その他の兆候を検知しない場合)、または人の存在を確認するが、クエリーの応答がない場合(例えば、脈拍および呼吸を検知するが、クエリー応答がない)、ロボットは、矛盾を解決するための手順を実施することができる。これらの手順は、介助者の確認電話の要求を含んでもよく、ロボットは、電話を経由して同一のクエリーを行うために検索した環境に電話してもよく、または、ロボットは、緊急サービスに連絡してもよい。
移動ロボットはまた、赤外線映像を分析する、または目的の人に対応する署名熱パターンを分析する、人の音声を認識するために音響分析を実施する、人に関連するまたは人に運ばれるRFIDまたは磁気タグを検知する、特定の運動または身振りを検知する、および/または、目鼻立ちまたは人により通常着装される記憶された服装のセットを認識するためにカメラにより生成されたビデオストリームまたは静止画像フレームの画像分析を実施するなど、人の身元を確認するために二次システムを使用することもある。
検索を継続するために次の場所を選択するには、移動ロボットは、光学的部屋特性認識、ソナー、RFID部屋タグ付け、赤外線(IR)方向性ビーコン検知、走行距離計測法、慣性誘導、推測航法、部屋マッピング、および/またはコンパス操縦のうちの1つ以上を含むが、それらに限定されないいずれの適切な方法を使用してもよい。一実施形態では、ロボットは、戸口またはその他の壁の隙間に利用可能な方角(マッピングにより、戸口への方位を推測できるビーコンの受動検知により、または戸口自体の能動的センサ検知により、利用可能な方位)を使用してもよい。移動ロボットはまた、適当な時間に戸を見つけることを目的とする任意経路を選び(例えば、信号反射を使用する壁追跡)、行き来する場合、戸口を検知するまで進んでもよい。ロボットはまた、壁追跡モードの間は、走行距離計測法および方位を分析することにより、戸口を識別してもよい。連続する走行距離計測法/方位の組み合わせを識別することは、戸口を行き来することを示す場合がある。次の場所に移動する際に移動ロボットがいずれの障害に遭遇する場合、移動ロボットは、選択した次の位置の座標位置に進むために、障害を一周する、または移動経路を調整したり、あるいは、移動ロボットは、障害で単に中断し、再度、クエリーを開始したりしてもよい。ロボットが移動経路を調整する場合には、ロボットが障害を通過し、その前回の方位に遭遇すると、所定の距離に到達するまで継続してもよい。さらに、ロボットは、そのクエリーを開始する前に、別の部屋か同一の部屋のいずれかで終わる閾値距離を単に移動してもよい。
さらに、図14Aに図示するように、移動ロボットが壁および/または戸404(開閉のいずれか)に遭遇する場合、環境400の障害、幾何学的、優先、トポロジー、格子、ボロノイ、またはその他のマップを生成することがある。それ自体のマップを生成する代わりに、マップは、居住者により、あるいは、スタートアップまたは所有開始シーケンスの部分として、ロボットに送信されることがある。このような場合には、ロボットは、環境内の一時的要素の場所を識別することにより、送信したマップを補う事がある。さらに、移動ロボットは、天井の特性(例えば、天井の端または形状、天井にある、または天井に突出するインディシアのパターンなど)に基づく環境400内の姿勢および/または部屋を認識するために上方向きカメラを備えることがある。米国特許出願第11/176,048号に該システムを開示し、それらの開示は本明細書にてそれら全体を参照することによって組み込む。移動ロボットはまた、次の場所または既知の戸またはノード接続トポロジー分岐を経由して利用可能なノードを選択することにより、次の場所を選択する方法を調整することができる。いくつかの理由において、閉まっている戸により潜在的経路を閉鎖することが可能である。
移動ロボットが閉まっている戸に遭遇する場合、可聴信号を閉まっている戸に適用することにより、反対側にいる人と連絡することを試行してもよい。例えば、移動ロボットは、ドアのノッカー(ソレノイドなど)、または閉まっている戸への可聴信号または告知を送信するために閉まっている戸に適用できるスピーカーを含んでもよい。それに応じて、移動ロボットは、人がロボットにアクセスできない領域にいる場合も、人に接触を試みることができる。
また、移動ロボットは、能動的または受動的検知または環境400のマップに基づいて選択した次の場所への経路を計画することができる。または、移動ロボットは、誘導する場合、走行距離計測法、および/または慣性誘導を装備することができる。このような方法で、移動ロボットは、例えば、戸を行き来する場合を識別することができる。あるいは、移動ロボットは、例えば、赤外線ビーム検知(例、米国仮特許出願第60/741,442号に開示されるようなナビゲーションおよびビーコンシステム)、RFID部屋または戸のタグ付け、タンク回路またはアモルファス金属タグの誘導検知または共鳴検知、光学的特性検知または画像分析などのナビゲーション、マッピング、および部屋の識別に対するいずれの適切な方法を使用することがある。ロボットはまた、環境の視覚および走行距離計測法データを作成するために、機械視覚ベースの方法、計算資源、およびセンサを使用するSLAM手法(SLAM)を使用してもよい。米国仮特許出願第60/822,636号に該システムが開示され、それらの開示は本明細書にてそれら全体を参照することによって組み込まれる。
図14Bに示す位置決めルーティンは、まず、(任意の)ステップSL0で居住者に対するローカル領域の確認(例、熱分解熱センサ、および/または音声、および/または動きまたは服装の視覚認識、および/またはタグまたは居住者により使用されたその他のエミッタ、および/または確認するために使用されたいずれか1つまたは少なくともほかの1つとの組み合わせ)を含んでもよい。居住者が、高い信頼があることを感じ取る場合、ルーティンは、成功ルーティンに直接進んでもよい。しかしながら、ルーティンはまた、その検知を確認しようとしてもよい。位置決めルーティンが、まず、居住者を確認しようがまたは直接クエリーに進もうが、ステップSLlでは、当該確認または直接のクエリーは、人を検知する場所で、またはまだ確認されていない位置でSLlに示すように、「いますか(Are you there?)」と、単純クエリーを必要としてもよい。代替として、クエリーは、追求された人の名前を特定してもよく、または例えば、単純トリル音、またはその他の感情的音声、または「メアリーはここですか(Mary here?)」などの認識能力の低いレベルで暗示することを目的とするメッセージであってもよい。移動ロボットは、その後、ステップSL2でタイマーの秒読みを始め、クエリーへのいずれの音声応答に対する音声センサSL3(マイクロホンなど)を監視してもよい。移動ロボットは、音声応答をステップSL4で検知したことを決定し、移動ロボットは、その後、次の仕事に進むことができる。一方、応答を検知しない場合、または非雑音応答がロボットのライブラリの応答に対応しない場合(例、居住者以外の人からの「退去」)、移動ロボットは、ステップSL7でタイマーを確認することができる。時間切れの場合(ステップSL7で決定する場合)、移動ロボットは、その後、次の場所のSL8に移動し、工程を繰り返すことができる。別法で、移動ロボットは、ステップSL3に戻り、タイマーがサイクルを完了するまで、応答に対する音声センサを監視し続けることができる。
ロボットの音声告知は、「叫び」のような音を発てる、またはクラクションまたはその他の大きな音声を含む必要はない。それよりむしろ、アナンシエータの音声レベルは、通常、部屋または隣接の部屋で他人に不快感を与えないことである。一例として、通常の背景雑音は約35dBであり、アナンシエータは、約55dBから約65dBの通常会話の声の大きさ、または検知した背景雑音よりも少なくとも約15dB大きい音である。居住者が難聴であると見なされる場合、ロボットは、最大約75dBまたはいくつかの他の閾値に音量を増加することができ、可視信号を追加する、および/または居住者が携帯する遠隔振動器を起動することができる。アナンシエータの音量は、検知された背景雑音よりも大きい約10dBから約20dBに減少することができ、および/または高齢者または様々なタイプの難聴である人でさえ、通常は、可聴する周波数(すなわち、約500Hzから約5000Hzの範囲内)にピッチを調節することができる。
居住者の必要性に対し、さらに迅速な応答を容易にするために、またはロボットが居住者から離れる時間量を制限するために(従って、さらにつながりを深める)、居住者周辺にロボットを保持する、または部屋から部屋への居住者を追跡しやすいセンサパッケージおよび反応行動をロボットは提供することができる。単に、部屋から部屋へ居住者について行くことは、ロボットの絶え間ない存在に居住者側に不快感を与えることがあり、従って、ロボットは代わりに、居住者の近くにロボットを置くようにするが、近づき過ぎないように、行動および仕事を引き受ける。行動は、(i)ロボットが居住者に近い可能性を高める、(ii)ロボットが部屋にいる、または居住者がいるまたはいる予定の部屋の近くにいる、および/または(iii)居住者がより短い時間で見つける可能性を高めることができる。
このために、一実施形態では、ロボットは、快適得点または存在得点(または実行を別の視野から見た場合、不安得点)を維持することがあり、居住者の存在において増加する、増分する、または完全に満たすことがあり、時間が経過する、または事象が居住者を観察することなく生じる場合、ジャンプまたはステップにおいて減少する、減衰する、または縮小することがある。快適得点が閾値を過ぎて減衰する、またはある範囲または領域に入ると、ロボットは、不快として得点を出すことがあり、居住者捜し行動または居住者へのロボットの近接を向上するようなその他の行動を起動する、または変更することがある。直接クエリーを行う居住者を察知する、または居住者の存在と関連がありがちな事象(熱、音声、運動)を確認する時点で、居住者または事象の検知の特徴により、快適得点を満たす、または徐々に増分することがある。
快適または存在得点を利用する例示的な追跡ルーティン(得点が居住者に近接することに関連する場合)を図15に示す。好ましい実施形態では、得点を上げるおよび下げることは、別の工程であり、同一得点を得たとしても、別の理由を生じることがある。電池の状態、またはドック近接などのその他の要因もまた得点に影響を及ぼすことがある。初めに、ステップST2Aで、例えば、居住者が近接である場合、得点は、最大(十分に満たされる)となることがある、または居住者が近接である場合、一定量により向上または増分することがあるなど、改善条件を設定する。これらは、異なる時刻または異なるユーザ選択により異なる場合がある。存在または快適得点の改善プロセッサ閾値は、その後、ステップST3Aで起動する。ステップST2Bで、例えば、居住者を検知しない場合、得点は、その日の初めに、半分(十分に満たされる)となることがある、または一定量、定速または加速により向上または増分することがあるなど、減衰状態を設定する。これらはまた、異なる時刻または異なるユーザ選択により異なる場合がある。存在または快適得点の減衰プロセッサ閾値は、その後、ステップST3Bで起動する。例えば、ロボットは、睡眠中の居住者の存在を検知し、最大値で快適得点を維持または再度増分するが、寝室で、アイドル、充電、または睡眠状態で、開始してもよい。ロボットは、停車または待ち状態を入力すること、またはそのセンサを監視することにより、居住者に近づいてもよい(ST7)。人が退室する場合、人についていくようにロボットを誘導しない場合、快適または存在得点が制御する閾値に従って、減衰するが、部屋にとどめてもよい。ロボットは、例えば、ロボットが充電局に近いか否かを測定する安全得点を追加するなど、競合得点を維持してもよいことに留意すべきである。快適得点が閾値内である、またはその他の得点と一緒である限り、ロボットは、捜し行動の優先順位を起動する、または変更することができない。これは、充電器で、または居住者を捜すために停止した最終の位置で駐車したロボットを生じる場合がある。閾値を超える場合(ST5)、居住者を見つけるおよび居住者に近づくために部屋を退出することにより、ロボットは、居住者を見つけようとし始める(ST6)。部屋に1つ以上の出口がある場合、ロボットは、居住者(図示せず)が使用した出口を記録し、再現することができる。いくつかの点で、ロボットは、居住者が存在する部屋を見つけてもよい。居住者を見つける場合、快適得点または存在得点は、ステップST3Aの閾値に従って改善し、ステップST7では、再度、居住者に近接するロボットに近づき、停車するだろう。
ロボットは、その後、静かに、または簡単なコメントまたは雑音を伴い、居住者と同室に、通行経路を妨げない位置で自ら駐車する。廊下および浴室などの非常に小さい部屋は、立ち入り禁止である場合があり、ロボットは代わりに、近くの部屋に自ら駐車することがある。この点で、快適得点が最大に到達するとすぐに、再度サイクルを開始する。ロボットが居住者を見つけない場合、充電局の安全性またはその他の快適を生じる事象を要求する場合がある。このように、ロボットは、居住者についていかないが、居住者との距離は、通常、あまり離れていないことがあり、ロボットは、しばしば、同室にいる場合がある。ロボットはまた、居住者から応答に反応する、および/または相互交流を招くために、連絡を取ってもよい。それに応じて、ロボットは、さらに自然のエンティティとして考えられ、居住者が即時に居場所を確認できることを確実にすることに加えて、招かざる不快な追跡行動がなく、居住者との近接を維持することができ、うまく人との交流を行う可能性を増進することができる。追跡行動を使用することにより、居住者を見つける場合、または居住者がロボットを呼ぶ場合、ロボットは、居住者の近くにいることの可能性を高める。検知範囲内に駐車することは、ロボットがそれほど頻繁に捜索する必要がないが、ロボットは、検知範囲内にいる必要はなく、捜し始める時より居住者に近いところにいる必要がある。充電局が近い場合、ロボットをドックに入れ、充電する。さらに、たとえ充電器が検知範囲外にあるとしても、ロボットが追加の電源を必要とすると決定する場合、ロボットをドックに入れ、近くの充電器で充電することができる。
あるいは、または加えて、ロボットは、ロボットにより維持された得点よりもむしろ快適得点を割り当てられる部屋では、仮想フェロモンシステムに従って運転することができる。一方、居住者が特定の部屋または場所で観察されない場合、その部屋の快適得点は下がる。頻繁な使用のある部屋への入室は、快適得点を増分し、ロボットは、快適得点を増加する傾向にある部屋へ誘導しがちな場合がある。これらの特性は、時間に依存することであり、ロボットは、まず午後7時にポインタの部屋で見つけられ、就寝時間後、寝室で見つけられ、減衰率は、部屋の変更の回数(早朝の活動)または安定性(夜間余暇活動)と関連がある場合がある。従って、ロボットは、快適得点の低い場所を捜しに行く前に、快適得点が高い部屋に居住者を捜し出すことを選択することができ、従って、潜在的には人を捜す可能性および標準速度を高める。あるいは、または加えて、ロボットは、快適関連の部屋マップ、ランドマークマップ、またはトポロジーマップを形成することができ、象徴またはセルが居住者の隣接した、または居住者に使用されている可能性に従って、象徴またはセルを更新し、この場合は、それぞれのセルは、部屋、廊下、またはほぼ部屋の大きさの領域に対応する。
あるいは、または加えて、ロボットは、モーター、ドライブ、または誘導目標空間に快適得点/ベクトルをマップする力、ベクトル、またはポテンシャル場に従って運転することができる。快適得点は、快適潜在性の高いベクトルまたは領域であり、時間とともに減衰する場合がある。ポテンシャル場の居住者の快適潜在性は、居住者がいる部屋にロボットが自らを駐車する場所を決定するために、充電器、基地局、または記録された無線信号強度の領域の快適または安全性の潜在性と比較することができる。領域は、ロボットが居住者に近いところにいるが、近すぎず、また、その部屋で利用可能な無線信号強度の強い領域にいるべきであると定義することができる。
移動ロボットは、ある状況で居住者を追跡および尾行することにより居住者にうまく近接状態を維持する割合を向上することができ、例えば、居住者が退室した、および/またはある時刻の間、および/または居住者により行動のパターン後をロボットがうまく検知する時間の固定または可変の割合を向上することができる。例えば、居住者が就寝する準備を始めることをロボットが認識する場合、ロボットは、居間から寝室へついて行くことができる。さらに、または代替としては、ロボットは、居住者の日常のルーティンまたはスケジュールの記述を記録、解釈、または入力の受け入れをすることができ、居住者より前に適切な部屋を予測し、移動するための予定を使用することができる。
ロボットは、居住者が存在の有無を尋ねる、積極的な応答を受ける、または、例えば、居住者または介助人からの通信、および/または入力を経由して、居住者を対象にするロボットへの注意を向けるなどによる、いずれの適切な方法で、居住者の存在に初めに気付くことがある。ロボットは、物理センサ、または赤外線センサ、熱センサ、運動センサ、光学的センサ、マイクロホンまたはその他の音響センサ、電気特性センサ(例、静電容量)またはいずれの他の適切な物理センサなどの種々のセンサからの入力を使用して、居住者の存在を検知することができる。あるいは、居住者は、能動的または受動的RFなどのタグ、またはRFIDタグ、タンク回路、音響エミッタ、光源、変調された信号などを運ぶことができるいずれかを運ぶことができ、ロボットは、居住者を識別し、捜すために使用することができる。医療呼び出しブレスレットなどの品目とともに使用する場合は、種々の医療の状況にロボットの反応時間を増加するためにその品目がとても有用になる。別例として、ロボットが仕事を実施するために居住者を捜す場合(上述の実施形態に記載されたように)、ロボットは、その後、居住者の場所を追跡し続け、居住者が環境内を移動する場合、居住者を追跡することができる。
環境を誘導する間、ロボットは、種々の候補対象物(室温より高い、運転中、または雑音を発する対象物)に遭遇するが、追求された居住者であるかどうかは分からない。候補対象物が居住者である可能性が高いか否かを決定するために、ロボットは、居住者がいる特定のセンサ入力プロファイルを関連付け、居住者のセンサプロファイルを有するロボットの範囲内に来るあらゆる対象物と比較することができる。例えば、Annが介護を受けている居住者である場合、ロボットは、Annとともに、またはAnnのために仕事を実施する経過中、IRセンサを使用してAnnの平均体温、カメラおよび/または画像分析器を使用してAnnのおおよその大きさ、同じ方法で、Annが普段よく装着している服装の組み合わせ、マイクロホンまたは音響センサを使用してAnnの声の高さ、またはAnnの呼吸音などを記録することができる。これら、またはその他の入力に基づいて、ロボットは、Annの特徴であるセンサプロファイルを生成することができる。さらに、ロボットは、適切なモデルまたは認識モデル、例えば、ベイジアン分析、隠れマルコフモデル、これらの2つに依存する技法、またはフィルタリングおよび認識に対するその他の統計または発見的ルーティンを使用することにより、居住者の特徴センサプロファイルを分析、または引き出すことができる。
ロボットはまた、複数のエンティティのグループ化された特性を追跡し、特定のエンティティ、および/または空間(トポロジー空間またはその他の概念上の代表的空間を含む)のエンティティの場所として表示されたグループ化された特性の持続的記録を維持することができる。ロボットが居住者の特性センサプロファイルに観察された対象を比較する場合、観察された対象である、つまり、居住者を概して可能性に関連付ける比較得点を生成することができる。観察された対象の比較得点が、閾値を越える場合、ロボットは、通常、居住者に近接を維持するために対象を追跡できる、または居住者である可能性が高いことを決定されるために、2つ以上の観察された対象の比較得点を順位付けすることができる、または比較が異なる上記の閾値をもたらす場合、1つの対象から別の対象へ追跡を切り替えることができる。ロボットは、居住者から直接の身元確認を捜すことなく、可能性分析に依存することがある。ロボットは、居住者からの特定の距離または距離範囲の維持を試みることができ、遅延または距離の閾値を超えた後のみ、反応することができる。
環境内で、ロボットが電源を再充電または供給を得るために、1つ以上のドックまたは基地局(再充電ドックまたは再供給ドックなど)を配置することができる。かかる充電局のうちの1つの場所を図14Aに示す。それぞれのドックは、壁にある電源出力に接続され、再充電のためにロボットがドックとインターフェースをとることを許容する。ロボットは、電源出力の高さおよび/またはドックターミナルの高さに、充電端子を有する。ドックは、1次元または2次元のバーコード、自己類似記号、または天井またはその他のすぐ目につく表面に投影されたその他の解釈可能な記号を認識するための上方向カメラまたはセンサを使用するロボットを用いて、天測ナビゲーションを採用可能である。解釈できる記号には、部屋のドックのタイプに対して解釈できる情報(充電、投与または消耗品の再補給など)、代表的な部屋(居間、食道、台所、寝室)、隣接した部屋、戸口の数および/または戸口の位置、および/またはドックに記録された情報を含むことができる。部屋の中でのドックの存在およびドックのタイプは、ロボットが実行可能な充電を維持する可能性を高めるためにロボットの快適得点、安全得点などを増分する、または変更することができる。ロボットは、ドックの記号を光学式走査する、RFIDタグがドックに付けられる場合にRFIDタグを検知する、ドック場所の最初から組み込まれているマップを用いるなど、いずれの他の適切な方法を用いて、ドックの存在を検知することができる。
投与計画の遵守支援ルーティンを図16に示す。ステップRC−2で、ロボットは、延期規則に加えて、居住者への薬物治療の投与計画に対応する薬剤投与量の情報など、個人的な投与計画の遵守情報のデータベース(ローカルに、遠隔的に)を確認する。データベースには、一回分の錠剤の数、投薬する時間および方法、食事の前後数分間または1時間の遅延が可能であるか否か、投薬がその他との併用が可能か否かなどを含む。本ルーティンは、健康志向の投与計画(運動、治療法、瞑想など)に適用可能であり、矛盾がない場合には、薬剤投与量情報および「投与量」の議論は、あらゆる種類の投与計画に関連する活動をも含む。
ロボットは、将来のある時間に間で居住者の近くにいる必要があることを予想するのに十分な頻度で情報を確認する(例、スケジュールに変更を適応することよりも先に頻繁に確認すること、または事象よりも先に備忘録を設定することにより)。ステップRC−4で、事象がもうすぐ生じる(備忘録/リマインダにより、予想される、または知られている)場合、ロボットは、人/居住者を捜索し始める。本明細書で論じるような近接のルーティンを維持する場合に、居住者がとても近くにいる可能性は有効である。しかしながら、近接のルーティンを維持しない場合でさえ、ロボットは、住居全体を行き来するためにあらかじめ、十分な時間を持って予定を立てることのみ必要であるが、ほとんどの場合、必要ないであろう。既に記載されたように近接事象を使用するよりもむしろ、ロボットは、事象を必要とするそれぞれの日および時間に、居住者を見つける部屋を記録することによりスケジュールを学習することができ、つまり、命令は、1日の所定時間に、居住者がいる確率が最も高い部屋、2番目に高い部屋などを学習するであろう。ステップRC−8で使用した人探しルーティンは、本明細書で説明されるようなものであり、人の識別性を確認するための検証ステップを含むことができる。
居住者を位置付け、識別性を検証する場合、ロボットは、居住者の隣を位置に定める。居住者が他のことで忙しいため、ロボットは、好ましくは目立たない位置(例、壁際、すぐ近くの充電ドック、部屋の隅、居住者が座る椅子の肘掛けのそば)を取り、予定された事象を待つ。ステップRC−16で、一般化した投与計画の遵守事象がある場合、居住者は、適用を期待される投与計画活動を思い出させられる。運動に関しては、ロボットは、コーチの役目を果たすことができ、画面に運動を表示することができる。また、ロボットは、生の運動セッションにリンクし、居住者により実施される運動に自身の動作を同期化することができる(本明細書で論じるように、特定のスクリプトされた事象またはスクリプトされない刺激に一致するために、変調および制御されたその他の適切な運動表現とともに)。治療法に関しては、ロボットは画面に治療法を表示でき、特定の装置に居住者を誘導する(または同一のものを運搬する)ことができ、生の、または録音されたセラピストにリンクすることができ、居住者の状況情報の報告をすることができる(例えば、運動および治療後、心拍数、血圧、呼吸数の報告、居住者に測定させるか、搭載対話型センサの使用のいずれかにより)。
本明細書で説明されるように、ロボットは、十分な接続性、電源、ネットワークアクセス、安全性、および健康支援器具への可動性への支援を含み、カリフォルニア州レッドウッドシティーのHealth Hero Network社から入手できる「Health Buddy」の一例は、米国特許第5,307,263号に記載され、本明細書にてそれら全体を参照することによって組み込まれることに留意すべきである。典型的な装置は、小さいカラーLCD画面、ソフトボタン、医療機器、およびネットワークインターフェースを搭載する1.25ポンドの装置である。それには、USBポート、RJ−45のEthernet(登録商標)ネットワークポート、および組み込み用クラスメモリ(64MB)およびプロセッシング(ARMプロセッサ、Linux(登録商標) OS)を含んでいてもよい。装置は、通常、ACアダプタを経由して5−24VDCにより駆動する。企図されるロボットは、さらに、器具や機器のために、頑丈で長時間(毎時2400−9000ミリアンペア)の電源、オンオフサイクルの高性能制御(必要な場合のみHealth Buddyを作動する)、機器および器具に供給するための移動性および患者の探索、追加の機器、無線装置、ポケベル、電気通信への追加のネットワーク接続性、全画面表示、全面的な支援、および生の個別指導および説明、ビデオ会議、遠隔観察、統計報告、強化制御およびインターフェースを提供することができる。当該器具は、血糖測定器、ピークフロー測定器、スケール、血圧計、パルス酸素濃度計などからデータを収集するために、ネットワークインターフェースを経由して接続することができる。ロボットは、傍受、分割、転送、また別法で、同一の機器にリンクすることができる。投与計画の遵守リマインダは、独立した、またはリンクしたスケジュール、その後に続く経路収集されたデータ、インターフェース事象、伝達、および本明細書に記載される器具の支援ネットワークまたはロボットネットワークを経由して本明細書に論じられるようにすべての他のデジタル処理で伝導できる情報に従って、Health Buddyまたは同等の装置へ委託を引き渡すまたは、それらから受け取ることができる。Health Buddyは、Linux(登録商標)製の装置であり、本明細書で論じるように、接続性の限定されたサブセットおよびロボットのユーザインターフェース要素を有し、すべてのHealth Buddyの工程、ソフトウェアおよびインターフェースは、画面上に表示可能な、タッチ画面またはソフトボタンなどのユーザインターフェース要素により制御可能な、ユーザインターフェースを含み、本明細書で論じるように、ロボットにより直接起動することができる。本明細書で論じられる、投与計画遵守、スケジューリング、相互交流、報告およびすべての他の遵守および医療報告は、居住者または患者の探索、リマインダ、住居誘導、および居住者の場所認識、薬剤搭載および運搬、プライバシーおよび許可投与、および人間とロボット相互交流により支援されるように、本明細書に記載される移動ロボットにより支援、運搬、および/またはリンクされるようなHealth Buddyなどの器具のすべての使用を明確に含み、本明細書の特許請求は、明らかに、当該付属器具は、「ロボット」、「ロボットシステム」、あるいはロボットまたはロボットシステムの作用、誘導、または別の制御方法に該当するとみなす。
遵守事象が薬物摂取に関与する場合、ステップRC−12およびRC−14は、特に適用可能である。これらの特許請求の範囲に照らし、「照合」は、薬剤投与と同一時刻に同一の場所に居住者を配置することが仕事であり、人への薬剤投与または人を薬剤へ誘導することを含むことができる。移動性が作動していない故障モードでは、照合は、単なるリマインダにより置換される。ステップRC−12では、人が知覚可能な信号(記録された音声、同期化された音声、表示された画像、または表示された文字列、閃光灯または点滅する光、ポインタ、または線画、またはハイライト)は、居住者へ「送信」されたものであり、居住者に薬剤を見つける場所(実際、ロボットにより携帯されるすぐ目の前にあることがあり、またはネットワーク化されたロボットシステムの一部である薬剤ディスペンサが保管される部屋にあることがあり、本明細書で論じられるようなその他の変化に加えて、居住者のために通常保存される薬剤の場所であることがある)を示す。ステップRC−14で論じられるように、誘導することは、薬剤の場所を居住者に示すまたは導く仕事であり、ロボットに薬剤の画像を示すことができ、ポインタまたは指示器にはロボットが携帯するディスペンサに対する注意を示すことができ、または居住者が語られたメッセージ、音、または表現行動によりロボットを同伴すべきであることを表わしながら、ディスペンサが位置する浴室またはその他の部屋に向かってロボットを実際に移動することができる。
照合の1種を図17Aに示す。本ルーティンでは、投与計画の支援対象は、図3A−3Cに示すように、ロボットが携帯するディスペンサを含むことができ、該ディスペンサは、ロボットにより携帯される、またはロボットにより保存される場所に置くことができ、また、ロボットにより携帯される、またはロボットにより保存される場所にある医療機器(血圧計、グルコース、心拍数など)や治療機器を含むことができる。ロボットは、上記に記載されるように、ステップM−2で人が知覚可能な信号を送信し、投与計画の実施場所を示し、この場合には、ロボットのディスペンサ場所を示す。投与計画支援対象の外観(すなわち、絵による描写)は、対象をロボットに位置付ける場合、表示部またはその他に示す(近隣の表面に投影することもできる)。ロボットは、ステップM−4で動画を示すまたは投与計画支援対象に近い第2兆候を起動することにより、対象に居住者を誘導する。照合の第2種を図17Bに示す。本ルーティンでは、ロボットは、上記に記載されるように、人が知覚可能な信号を送信し(M6)、投与計画実施場所を示し、この場合には、薬剤を保管するまたはその他の遵守活動を実施する部屋またはその他の場所を示す。ロボットは、ステップM−8で居住者を場所に誘導する。
図18Aは、リマインダルーティンを実施し、遠隔地の介助者に介入する機会を提供するためのルーティンを示す。このルーティンは、図16のステップRC−16で行うことができる。本明細書のステップRC−16では、適切な期間後であって、本明細書で論じられる任意の方法によって実行されるリマインダの後に、ロボットは、非遵守の表示、例えば、居住者の拒否および/または失敗の記録を確認し、スケジュール投与計画事象の完了を成功させる。ロボットは、本明細書に論じる相互交流方法のいずれかを介してこれを記録してもよい。手順は、無事完了すると終了する。ステップRC−18では、ロボットはネットワーク(本明細書に論じる安全性および認証を使用して)、および好ましいチャネル(デスクトップビデオチャット、携帯電話、電子メール)を介して介助者に接続する。介助者は、ステップRC−20で介入する機会(一部の例では、介助者による投与計画遵守の介入を許可する、居住者が事前に与えた、または拒否した許可によって制御される)が得られる。介助者が介入することを選択する場合には、ロボットは、着信通信チャネル(例えば、ロボットと介助者が両方接続するネットワーク経由のチャネル)を介して、人が知覚可能な信号(電子メール、録音メッセージ、ライブチャットまたは通話、ロボットが話す文字列)の通信を受信する(RC−22)
図18Bは、ロボットが制御または監視できる薬剤ディスペンサに薬剤を充填するためのルーティンを示す。既に論じたように、かかるディスペンサは簡単であっても、または複雑であってもよい。簡単な種類は、ロボットが装置を監視しないが、居住者と単に相互交流する場合、ロボットによって運搬される標準プラスチック区画装置である。ディスペンサのさらなる特性は、区画の電子機械的開閉および区画の提示;数日分の投与量または瓶一杯の錠剤のカートリッジ化;「Dixie」の紙コップ入り錠剤または水、充填可能な使い捨て浮袋の水、または水差しを運搬する、交換需要品の通信販売または他の配達便をスケジュールするために、居住者による支払いシステムおよび/または検証に任意に接続されるカートリッジの監視;薬剤の有無のセンサ検知;個々の区画またはディスペンサ容器全体の有無のセンサ検知;シリアルインターフェース、センサーバス、汎用入出力または有線もしくはRFネットワークとともに、簡単なマイクロプロセッサを介して、ロボットまたはロボット基地局に接続される上記のいずれかを含んでもよい。
図18Bは、居住者−薬剤を必要とする人−が自分自身でディスペンサに充填するルーティンを記述する。先述のように、ディスペンサは、永続的にロボットに付随する、ロボットによって運搬される、ネットワーク化されるが浴室または同等物に設置されてもよく、さらにこれら後者2つの役割間で切り替えてもよい。ステップは機構的であり、いくらか検証する余地があるが、居住者がロボットおよびディスペンサと相互交流することに精通すると、時間を短縮できる。ロボットによる助手から大幅な利益を得ることができるほとんどの居住者は、どんな場合でも、自身の薬剤計画に対して責任があることになる。しかしながら、図18Bにおけるすべての場合で、居住者は、介助者、付き添い人、他の家族などと交代してもよい。ステップML−2では、ロボットは、ローカルまたは遠隔メモリから、その日の薬物補足物を検索し、さらに補足物、投与量規則(ディスペンサがかかる能力を含む場合には、収集、充填、または水を以後供給するかどうかを決定するために)、および同等物に関して、薬物のローカルまたは遠隔メモリ画像を検索してもよい。
ステップML−4では、居住者は、ディスペンサの充填が準備完了かどうか問われる。これは、本明細書に論じられる他の任意の遵守事象として任意に対処され、スヌーズの遅延、介助者への報告、および本明細書に詳述された同様の手順を受けることができる。ロボットが、居住者のディスペンサに使い残しの薬物があるかどうか確認する、および/または本人がすべての薬物を使用可能にしていることを期待するMSG−4に簡単な会話を示す。ステップML−6では、ロボットはそれぞれの薬物に対し、繰り返し話して進む。ロボットが薬剤のための特定の投与計画を計画し、薬剤の名前を使用し、薬剤の画像を示し、ユーザにチャンバ、区画、使い捨てコップ、または薬剤の他の入れ物に充填することを要求するための、簡単な会話をMSG−6に示される。より多くの薬剤が、同じ方法で進められる。ルーティンは、より顕著な相互交流(例えば、居住者が副作用または他の質問について尋ねたいなど)を示さないが、より応答性のある会話(本明細書に論じたように)はこれが起こることを可能にする。薬物がすべて充填されると、ロボットは居住者にその日の補足物に素早く進み、再度確認することを求める(ML−8)。介助者が薬物補足物を確認することを許可する、または指定すると(ML−10)、ロボットは介助者に通信チャネルを開き(ステップML−10、ステップRC−18およびステップRC−20の上記の論考と同じまたは類似する)、その後介助者が居住者についての質問をすることを許可する(または、計測機器が多いディスペンサは、状況を直接確認する)。ディスペンサは、ロボットのカメラに可視的であるように配置(透明またはオープンカバー付き)、また位置付けてもよく、居住者は、そのように構成されるディスペンサを、ロボットのカメラのうちの1つに向けて持ち上げてもよい。
上記で識別した機能性に加えて、買い物などの手伝いをするためにRFIDまたはバーコードセンサを備えてもよい。実例では、ロボットは、売り物が識別用および棚卸用のRFIDタグ(もしくはバーコード、または他の適切な任意の識別スキーム)を含む、小売店またはスーパーマーケットへ居住者に同行してもよい。居住者が品物を購入したいと思うと、ロボットは、指示された製品のRFID情報をスキャンし、購入の手伝いをするために店にその情報を伝える。さらに、ロボットは、冷蔵庫または食料品室にある品物のRFIDタグまたはバーコードをスキャンすることによって、住居内の食品または供給在庫の経過を追ってもよい。品物が少なくなると、ロボットは、例えば、さらなる需要品および補充を検索してもよい。かかる機能性は、食料品または店の品物に限定されないが、同様に、例えば、服、自動車部品など、適切な任意の品物に適用してもよい。
さらに、ロボットは、散乱物を監視することによって、または清掃スケジュールの経過を追うことによって、住居をきれいに保つのを手伝ってもよい。散乱物レベルは、例えば、(i)単位時間当たりまたは移動した距離単位当たり(これらは、センサデータに基づき、壁、家具、壁でない物の検知に分けることも可能である)の衝突または近接検知の数;および/または(ii)単位面積当たりの、ロボットの前の地面の平面を見るカメラによって検知される、異なるように着色したまたは異なるような質感にされた品物の数、および/または(iii)単位時間、距離、または領域当たりの、測距センサによって検知される中距離の障害の数により得点化することができる。このように、ロボットは、搭載されたカメラから得られた家の図に画像分析を適用し、家が乱雑になり過ぎているかどうか決定してもよく、または例えば、ロボットが、過程的にきれいであるべき、またはきれいである通路に沿って障害にあまりに頻繁に遭遇する場合は、散乱物が増加したかどうか決定してもよい。
ロボットは、居住者と遠隔地の介助者との間の確認リストを共有することによって、請求書の支払いを容易にしてもよい。それに応じて、請求書の支払いまたは他の住居内の仕事が済むと、ロボットは、表示画面上で仕事の確認リストを居住者に対して提示してもよい(さらに、口頭でまたは聞こえるように人に連絡してもよい)。仕事が完了していない場合には、プライバシーに関する許可と一致すれば、ロボットは介助者に通知してもよい。さらに、仕事確認リストは、例えば、居住者によってか、または遠隔地の介助者がプログラムしてもよい。ロボットのカメラはまた、写真ならびに/またはOCR請求書および通知書に使用することができる。
居住者が、住宅請負業者、販売員、または看護師もしくは看護助手などの外部第三者またはサービス提供者との対応に助力を要求する場合は、ロボットは、例えば、家にいる人々と遠隔地の介助者との間の現地テレビ会議を設けてもよい。さらに、遠隔可視的検査能力を備えているので、ロボットは、遠隔地の検査官(または介助者)に家の種々の場所を見ることを許可することによって、住居安全検査を容易にしてもよい。ロボットはまた、煙感知器、ラドンガス検知器、一酸化炭素またはCO センサ、または同等物などの安全センサを含んでもよい。
ロボットは、テレビ、VCR、DVDプレーヤ、またはステレオシステムなど、1つ以上の家庭向け娯楽装置を制御するために赤外線エミッタを使用してもよい。例えば、ロボットは、装置調整者として機能してもよく、ロボットがテレビおよびDVDプレーヤの両方をつけることができるように、同時にまたは順番に応じて備品のいくつかの部品を制御してもよい(また、例えば、居住者がDVDを見たい場合には、ステレオミキサをDVDプレーヤからの入力に切り替える)。その他の特性として、ロボットは、小さなリモコンより探しやすい場合があり、ロボットはまた、種々の製品および製造者用のリモコンコードのデータベースを含んでもよく、居住者が複数の品物のためにリモコンをプログラムする必要性から解放する。
さらに、ロボット(またはカメラおよびIR変調エミッタを有する他の器械)は、家庭向け備品上のRFID、バーコード、または銘柄商標を検知し、適切なリモコンコードを見分ける場合があるので、人からのさらなる入力を要求することがない。ロボット(リモコンまたはカメラおよびIR変調エミッタに接続される他の器械)は、遠隔操作される任意の備品(テレビ、ステレオ、ビデオ記録装置、ケーブル箱、CD/DVD/ディスクプレーヤ、ホームシアタ、アンプ、チューナー、照明、送風機、エアコン、ビデオゲームなど)の前方フェイスパネルの一部または全部を撮影してもよい。ロボットはその後、遠隔コンピュータに備品の画像を伝え、それは銘柄情報または型式情報のために画像を分析し、適切なリモコンコードをロボットに戻し伝え、従って、例えば、ロボットはローカルに画像処理能力を必ずしも必要としない。
視覚パターン認識(ViPR TM システム、Evolution Robotics of Pasadena、カリフォルニアなどのスケール不変特徴変換「SIFT」システム、または「SURF」など他の既知のスケール不変特徴変換アルゴリズムを用いてもよい)は、特性または異なる領域を識別し、OEM変数を含み、備品の銘柄および型式(または型式ファミリ)を一意に識別するために組み合わせて使用してもよい、固有の視覚パターンの1−1000の記述子を算定してもよい。この工程の任意の部分は、ロボット上または遠隔的にサーバ上で遂行することができ、大抵の場合、ロボットは、分解および差し向けられた備品の画像のデータベースとの比較のために、サーバに画像を単に送信することになる。投票による、または確率的なルーティンは、差し向けられた画像での特性を、録画画像での類似した特性を相互に関連付けるために、特性の投票を用いることができる。投票は、備品のための最も有望な識別性、または備品の異なる品物を識別するために一覧にされる。ロボットは、撮影されたすべての装置(例えば、テレビ、DVDプレーヤ、およびケーブル箱のそれぞれのためのすべてのコード)とともに使用するために、リモコンIR変調コードの適切なライブラリを選択または受信する。単一の写真またはいくつかの写真を分解または分析し、1つの場所、部屋または住居における備品のあらゆる部品を識別してもよい。
ロボットはその後、互換性ルーティンを用いて、入力および出力の互換性を調整することによって、居住者により特定される全体のタスクに応じて、装置を制御することができる(例えば、テレビを見る命令に応えて、ロボットは受信IRコード、テレビ オン、DVD オフ、ケーブルボックス オン、TVからCABLEへの入力を介して作動してもよく、DVDを見る命令に応えて、ロボットは、受信IRコード、テレビ オン、DVD オン、ケーブルボックス オフ、TVからS−VIDEOへの入力を介して作動してもよい)。このようにして、ロボットは、IRコードおよび製品の類似したデータベースを使用して、カリフォルニア州フレモントのLogitech Inc.社が販売しているHarmony TM Remote Controlsのファミリと同様に作動することになる。Harmony装置は、ユーザによりプログラムされ、1つの制御装置が他のものともはや同期化されない場合の動向に悩まされ、入力/状態同期化を回復するために、すべての装置をデフォルト状態に初期化する無障害ルーティンを用いる。その一方で、本ロボットまたはリモコンもしくはカメラおよびIR変調エミッタに接続されるもしくは他の器械は、現在の入力の状態および他の機能に基づき、装置をお互い再同期化する代わりに、状態灯、状態表示(テレビの像)、状態メッセージ(テレビの画面または装置表示部)、または無障害ルーティンを使用して回避する他のパターン認識によって、任意の装置のオン、オフ、または他のアクティブ状態(例えば、選択された誤入力、低音量)を検知するために、カメラおよび先述の視覚パターン認識を使用してもよい。ロボットまたは他の装置はまた、例えば、人から口頭によるリモコン命令を受けるために、音声認識を使用してもよい。
口頭入力および/出力に関して、ロボットが、特定の仕事に関連する口頭による入力を正確に解釈してもよいように、移動ロボットは、種々の事象および/または仕事のための口頭パターンのデータベースを含んでもよい。例えば、ロボットが薬剤関係の仕事を実行しているときは、ロボットは、医学用語を即時音声認識パターンメモリに充填してもよく、ロボットが買い物の仕事を後に行うならば、ロボットは服または食料品関係の音声パターンデータベースに切り替えてもよい。
高齢者の世話に関係する多くの実例を本明細書に掲載する。しかしながら、本発明の同じ実施形態は、子供、限定された場合には、介助者の助力を要求する大人の世話に容易に適用することができる。人に精神的な刺激を与えるために、ロボットは、自然発生的に、または居住者もしくは介助者による要請に応えるように、または所定の日程に応じて、音、音楽および/またはゲームを使用してもよい。さらに、ロボットは、タッチスクリーンを使用してゲームをする;言葉遊びをする(オーディオのみ、もしくは表示部画面を介して、または両方);オーディオブックを聴く;物語を聞かせる、またはオーディオブックを朗読する;日刊ニュース記事、天気またはスポーツスコアを再生する;参考情報(百科事典、テレビガイド)を調べる(例えば、人からの口頭入力または質問に応えて);金融情報(株価、銀行残高)を調べる;電子メールおよびインスタントメッセージを受信する;家族および友人から送られたデジタル写真を見せる;家族および友人から送られたビデオを再生する;電話で話す;ビデオ会議に参加する;電子メールで介助者に送信する、居住者がその日に行った活動を記載した日報を作成する;居住者がロボットと話をしているオーディオクリップを再生する;家にいる居住者の写真を見せる;投与量および時間を含め、薬剤に関するリマインダを渡す;身体的活動に関するリマインダ(例えば、散歩に行く、ストレッチをする)を渡す;日常の行事に関するリマインダ(例えば、テレビの番組時間、予約、誕生日)を渡す;介助者にコンピュータから居住者と話をさせ会わせる;介助者に人の家周りにロボットを操縦させ、物事の確認をさせる;プライバシー規制を含む(カメラを回す、または遠隔地の介助者に仮想訪問をさせる前に、ロボットは居住者からの許可を要求する);つまずき検知器を含む(住居者がすぐ近くにいる場合ロボットは検知し、脇に寄り、音をたて、明かりを点滅させる);介助者による管理を含む;および/または最新版を渡す(新しいゲーム、音楽、ビデオおよび写真は、インターネットによる供給を介して、または具体的には遠隔位置からの介助者または第三者によって(電子メールまたはウェブインターフェースを介して)、自動的にロボットに送信してもよい)。
種々の実施形態に関連して、本発明を詳細に説明してきた。しかしながら、これらの実施形態は単に例のためにすぎず、本発明はそれらに限定されることはない。当業者には、他の変形形態および修正形態が、添付の特許請求の範囲によって定義される、本発明の範囲内で容易に作出できることが理解されよう。

Claims (21)

  1. 移動ロボットであって、
    上面から見た外形が、三つの曲線からなる略ルーロー三角形である本体であって、該三つの曲線は、第一前方コーナー領域、第二前方コーナー領域、及び第三後方コーナー領域で接続されている、本体と、
    前記本体に搭載されたバンパであって、該バンパは、前記移動ロボットが置かれている環境内の物体と該バンパとの接触を検出するよう構成された衝突センサを有する、バンパと、
    前記本体の底面を床面上に支持し、前記ロボットを前方方向に移動させるよう駆動可能である、一組の駆動輪と、
    前記本体の側面の第一部分に配置された障害物センサであって、該第一部分は、前記前方方向を向いて前記三つの曲線のうちの第一曲線を画定し、該第一曲線は、前記第一前方コーナー領域及び前記第二前方コーナー領域においてそれぞれ前記第二曲線及び第三曲線と接続される、障害物検出センサと、
    前記本体の前記側面の第二部分に配置された第一赤外線センサであって、該第一赤外線センサは、該第一赤外線センサが発した光の反射光を受信するよう構成され、該第二部分は、少なくとも一部が前記前方方向を向き、少なくとも一部が接続曲線を画定し、該接続曲線は、前記第一前方コーナー領域において前記第一曲線及び前記第二曲線を接続する、第一赤外線センサと、
    前記本体の前記底面に沿って配置された第二赤外線センサであって、該第二赤外線センサは、該第二赤外線センサが発した光の反射光を受信するよう構成され、前記一組の駆動車輪の後方に配置される、第二赤外線センサと、
    を備える、移動ロボット。
  2. 前記第一赤外線センサ及び前記第二赤外線センサは、それぞれ、光を発するエミッタと、反射光の受信に応じて信号を生成するレシーバとを備える、請求項1に記載の移動ロボット。
  3. 前記第一赤外線センサはTOF(Time Of Flight)方式センサである、請求項1に記載の移動ロボット。
  4. 前記第一赤外線センサは、上面から見た場合に前記前方方向で突き出ている前記本体の外形より外側に検出領域を有するよう、前記側面の前記第二部分に配置される、請求項1に記載の移動ロボット。
  5. 前記第一赤外線センサは、前記ロボットの前記前方方向から離れる方向に光を発するよう構成される、請求項4に記載の移動ロボット。
  6. 前記一組の駆動輪を差動駆動するための駆動モーターを含む差動駆動機構を更に備える、請求項1に記載の移動ロボット。
  7. 第一アクチュエータ及び第二アクチュエータの制御を含む操作を行う指示を実行するよう構成された制御システムを更に備え、
    前記第一アクチュエータ及び前記第二アクチュエータの少なくとも一つは、前記一組の駆動輪を駆動するよう構成される、請求項1に記載の移動ロボット。
  8. 前記操作は、スケジュールに従って床面上を移動することを更に含む、請求項7に記載の移動ロボット。
  9. 前記第一アクチュエータ及び前記第二アクチュエータの制御は、
    前記第一アクチュエータを制御して前記一組の駆動輪を駆動することと、
    前記第二アクチュエータを制御して前記移動ロボットの一部を回転させることと、
    を含む、請求項7に記載の移動ロボット。
  10. 前記操作は、
    清掃スケジュールにアクセスすること、及び
    前記移動ロボットが通過した経路に沿ったある領域は清掃が必要であるかを判断すること、
    を含む、請求項7に記載の移動ロボット。
  11. 前記操作は、
    前記本体が床面上で進行方向に移動するよう前記一組の駆動輪を制御すること、
    床面上の障害物で反射し前記第一赤外線センサで検出された光に基づいて、前記障害物を検出すること、及び
    前記障害物の検出に応じて進行方向を調整すること、
    を含む、請求項7に記載の移動ロボット。
  12. 前記進行方向の調整は、前記移動ロボットの前記本体が前記障害物の外周に沿って移動するよう進行方向を調整することを含む、請求項11に記載の移動ロボット。
  13. 前記進行方向の調整は、前記移動ロボットの前記本体と前記障害物との間の接触を回避するよう進行方向を調整することを含む、請求項11に記載の移動ロボット。
  14. 前記進行方向の調整は、障害物によって床面上のある領域に閉じ込められていると判断すると脱出行動を実行することを含む、請求項11に記載の移動ロボット。
  15. 前記操作は、床面上の物体の検出に少なくとも部分的に基づいて、前記移動ロボットが置かれている前記環境のマップを生成することを更に含む、請求項11に記載の移動ロボット。
  16. 前記マップは、部屋マップ、ランドマークマップ、及びトポロジー隣接マップの少なくとも一つを含む、請求項15に記載の移動ロボット。
  17. 前記本体によって床面より上に支持され、前記移動ロボットから取り外し可能なように校正された搬送要素を更に含み、
    前記搬送要素は開閉式の区画を画定する、請求項1に記載の移動ロボット。
  18. 前記搬送要素が前記移動ロボットから取り外されている場合に、前記搬送要素が無いことを示す信号を生成するよう構成されるセンサを更に備える、請求項17に記載の移動ロボット。
  19. 前記本体の前記後方コーナー領域近傍の前記底面に配置され、前記本体を床面上に支持するキャスター車輪を更に含む、請求項1に記載の移動ロボット。
  20. 前記本体に内蔵された充電可能な電源と、
    前記本体に配置され、前記電源を充電するために該電源とドックとを電気的に接続する充電端子と、
    前記ドックが発する光を検出するために前記本体に配置された第三赤外線センサと、
    を含む、請求項1に記載の移動ロボット。
  21. 前記本体に内蔵された加速度計を更に含む、請求項1に記載の移動ロボット。
JP2016009370A 2005-09-30 2016-01-21 移動ロボット Pending JP2016120591A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US72293505P 2005-09-30 2005-09-30
US60/722,935 2005-09-30
US74500606P 2006-04-17 2006-04-17
US60/745,006 2006-04-17
US74649106P 2006-05-04 2006-05-04
US60/746,491 2006-05-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015245802A Division JP6329121B2 (ja) 2005-09-30 2015-12-17 移動ロボットを含むロボットシステムにより実行される方法

Publications (1)

Publication Number Publication Date
JP2016120591A true JP2016120591A (ja) 2016-07-07

Family

ID=37698321

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2008533659A Active JP5188977B2 (ja) 2005-09-30 2006-09-29 個人の相互交流のためのコンパニオンロボット
JP2011274846A Expired - Fee Related JP5203499B2 (ja) 2005-09-30 2011-12-15 個人の相互交流のためのコンパニオンロボット
JP2012223420A Pending JP2013059856A (ja) 2005-09-30 2012-10-05 個人の相互交流のためのコンパニオンロボット
JP2014040116A Active JP6215087B2 (ja) 2005-09-30 2014-03-03 移動ロボットを含むロボットシステムにより実行される方法
JP2014180028A Pending JP2015038737A (ja) 2005-09-30 2014-09-04 個人の相互交流のためのコンパニオンロボット
JP2015245802A Active JP6329121B2 (ja) 2005-09-30 2015-12-17 移動ロボットを含むロボットシステムにより実行される方法
JP2016009370A Pending JP2016120591A (ja) 2005-09-30 2016-01-21 移動ロボット

Family Applications Before (6)

Application Number Title Priority Date Filing Date
JP2008533659A Active JP5188977B2 (ja) 2005-09-30 2006-09-29 個人の相互交流のためのコンパニオンロボット
JP2011274846A Expired - Fee Related JP5203499B2 (ja) 2005-09-30 2011-12-15 個人の相互交流のためのコンパニオンロボット
JP2012223420A Pending JP2013059856A (ja) 2005-09-30 2012-10-05 個人の相互交流のためのコンパニオンロボット
JP2014040116A Active JP6215087B2 (ja) 2005-09-30 2014-03-03 移動ロボットを含むロボットシステムにより実行される方法
JP2014180028A Pending JP2015038737A (ja) 2005-09-30 2014-09-04 個人の相互交流のためのコンパニオンロボット
JP2015245802A Active JP6329121B2 (ja) 2005-09-30 2015-12-17 移動ロボットを含むロボットシステムにより実行される方法

Country Status (5)

Country Link
US (11) US8935006B2 (ja)
EP (4) EP1941411B1 (ja)
JP (7) JP5188977B2 (ja)
AT (2) ATE522330T1 (ja)
WO (1) WO2007041295A2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD823917S1 (en) * 2016-01-29 2018-07-24 Softbank Robotics Europe Robot
KR101901819B1 (ko) * 2018-04-11 2018-11-07 한국해양과학기술원 Rov 위험 경고 및 충돌방지 시스템 및 방법
JP2019123055A (ja) * 2018-01-18 2019-07-25 株式会社ユピテル 装置
JP2019145046A (ja) * 2018-02-23 2019-08-29 パナソニックIpマネジメント株式会社 移動ロボット
WO2020022371A1 (ja) * 2018-07-26 2020-01-30 Groove X株式会社 ロボットならびにその制御方法および制御プログラム
KR20200041384A (ko) * 2017-09-08 2020-04-21 나이앤틱, 인크. 충돌 검출, 추정 및 회피
JP2020069934A (ja) * 2018-10-31 2020-05-07 トヨタ自動車株式会社 車両
JP2021176505A (ja) * 2020-05-06 2021-11-11 ジーイー・プレシジョン・ヘルスケア・エルエルシー 移動式医療機器駆動プラットフォームのためのシステムおよび方法

Families Citing this family (1148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004915A1 (en) * 1998-09-25 2008-01-03 Brown Stephen J Dynamic modeling and scoring risk assessment
US20070273751A1 (en) * 2000-09-05 2007-11-29 Sachau John A System and methods for mobile videoconferencing
US20040162637A1 (en) 2002-07-25 2004-08-19 Yulun Wang Medical tele-robotic system with a master remote station with an arbitrator
US6925357B2 (en) 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
JP3875659B2 (ja) * 2003-07-25 2007-01-31 株式会社東芝 カメラ装置及びロボット装置
US20070061041A1 (en) * 2003-09-02 2007-03-15 Zweig Stephen E Mobile robot with wireless location sensing apparatus
JP2005141328A (ja) * 2003-11-04 2005-06-02 Toshiba Corp 予知ロボット装置、予知ロボットの制御方法、及び予知ロボットシステム
US7813836B2 (en) 2003-12-09 2010-10-12 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US20050204438A1 (en) 2004-02-26 2005-09-15 Yulun Wang Graphical interface for a remote presence system
WO2005098729A2 (en) * 2004-03-27 2005-10-20 Harvey Koselka Autonomous personal service robot
US7706917B1 (en) 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
US11209833B2 (en) 2004-07-07 2021-12-28 Irobot Corporation Celestial navigation system for an autonomous vehicle
US8972052B2 (en) * 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
US8077963B2 (en) 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
JP2006140966A (ja) * 2004-11-15 2006-06-01 Kyocera Mita Corp 時刻認証管理システム及び画像形成装置
JP2006239844A (ja) * 2005-03-04 2006-09-14 Sony Corp 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置
US9534899B2 (en) 2005-03-25 2017-01-03 Irobot Corporation Re-localization of a robot for slam
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
US7525440B2 (en) * 2005-06-01 2009-04-28 Bose Corporation Person monitoring
US8370639B2 (en) * 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
US9198728B2 (en) 2005-09-30 2015-12-01 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
ATE522330T1 (de) 2005-09-30 2011-09-15 Irobot Corp Robotersystem mit kabelloser kommunikation mittels tcp/ip übertragung
WO2007047514A2 (en) * 2005-10-14 2007-04-26 Aethon, Inc. Robotic retrieval and delivery system
US20070150103A1 (en) * 2005-12-08 2007-06-28 Electronics And Telecommunications Research Institute Positioning method and system for indoor moving robot
US20070146116A1 (en) * 2005-12-22 2007-06-28 Sony Ericsson Mobile Communications Ab Wireless communications device with integrated user activity module
US20070166004A1 (en) * 2006-01-10 2007-07-19 Io.Tek Co., Ltd Robot system using menu selection card having printed menu codes and pictorial symbols
KR100988736B1 (ko) * 2006-03-15 2010-10-20 삼성전자주식회사 자율주행 이동로봇의 최단 경로 이동을 위한 홈 네트워크시스템 및 그 방법
JP4915417B2 (ja) * 2006-05-16 2012-04-11 村田機械株式会社 ロボット
US8849679B2 (en) 2006-06-15 2014-09-30 Intouch Technologies, Inc. Remote controlled robot system that provides medical images
GB2439963A (en) * 2006-07-07 2008-01-16 Comtech Holdings Ltd Customer behaviour monitoring
US7693757B2 (en) * 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US8046103B2 (en) * 2006-09-29 2011-10-25 F Robotics Acquisitions Ltd. System and method for determining the location of a machine
US8983663B2 (en) * 2006-10-17 2015-03-17 General Electric Company Self-guided portable medical diagnostic system
US8095238B2 (en) * 2006-11-29 2012-01-10 Irobot Corporation Robot development platform
KR100823739B1 (ko) * 2006-12-08 2008-04-21 한국전자통신연구원 주변 환경 변화에 신속하게 적응하여 환경 지도를 작성할수 있는 이동체의 환경 지도 작성 장치 및 그 방법
TWI306051B (en) * 2006-12-14 2009-02-11 Ind Tech Res Inst Robotic apparatus with surface information displaying and interaction capability
CN101563193B (zh) * 2006-12-19 2012-02-29 皇家飞利浦电子股份有限公司 控制自治设备的方法
TW200827957A (en) * 2006-12-21 2008-07-01 Ind Tech Res Inst Method for information transmission with backbone network and a position monitoring system for multiple robotic devices
TW200833398A (en) * 2007-02-09 2008-08-16 Pixart Imaging Inc Method and system of interactive game with warning function
TW200836893A (en) * 2007-03-01 2008-09-16 Benq Corp Interactive home entertainment robot and method of controlling the same
TWI331931B (en) * 2007-03-02 2010-10-21 Univ Nat Taiwan Science Tech Board game system and robotic device
US8265793B2 (en) 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
US8112501B2 (en) 2007-03-30 2012-02-07 Yahoo! Inc. Centralized registration for distributed social content services
US8286086B2 (en) 2007-03-30 2012-10-09 Yahoo! Inc. On-widget data control
US8612051B2 (en) * 2007-04-20 2013-12-17 Innovation First, Inc. Securing communications with robots
US20080270586A1 (en) * 2007-04-30 2008-10-30 Yahoo! Inc. Association to communities
IL183006A0 (en) * 2007-05-06 2007-12-03 Wave Group Ltd A bilateral robotic omni-directional situational awarness system having a smart throw able transportaion case
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
US9160783B2 (en) * 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
US8312108B2 (en) 2007-05-22 2012-11-13 Yahoo! Inc. Hot within my communities
CN101320420A (zh) * 2007-06-08 2008-12-10 鹏智科技(深圳)有限公司 类生物系统、类生物装置及其行为执行方法
US8071933B2 (en) * 2007-06-18 2011-12-06 Gotohti.Com Inc Photochromic optically keyed dispenser
ITRM20070347A1 (it) * 2007-06-21 2008-12-22 Space Software Italia S P A Metodo e sistema per la interazione e cooperazione di sensori, attuatori e robot
EP2009868B1 (en) * 2007-06-29 2016-09-07 Alcatel Lucent Method and system for improving the appearance of a person on the RTP stream coming from a media terminal
JP2009011362A (ja) * 2007-06-29 2009-01-22 Sony Computer Entertainment Inc 情報処理システム、ロボット装置及びその制御方法
JP5037248B2 (ja) * 2007-07-17 2012-09-26 株式会社日立製作所 情報収集システムおよび情報収集ロボット
US8874261B2 (en) * 2007-07-25 2014-10-28 Deere & Company Method and system for controlling a mobile robot
TWI338588B (en) * 2007-07-31 2011-03-11 Ind Tech Res Inst Method and apparatus for robot behavior series control based on rfid technology
KR100876711B1 (ko) * 2007-08-23 2008-12-31 엘지전자 주식회사 냉장고용 부품의 서비스 시스템 및 서비스 방법
DE102007043534A1 (de) * 2007-09-12 2009-03-19 Robert Bosch Gmbh Anordnung zum Erfassen einer Umgebung
US8368348B2 (en) * 2007-09-20 2013-02-05 Semaconnect, Inc. Automated recharging system
WO2009045218A1 (en) * 2007-10-04 2009-04-09 Donovan John J A video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
DE102007048684B4 (de) * 2007-10-10 2010-09-09 Polysius Ag Laborsystem
US20090248200A1 (en) * 2007-10-22 2009-10-01 North End Technologies Method & apparatus for remotely operating a robotic device linked to a communications network
JP4857242B2 (ja) * 2007-11-05 2012-01-18 株式会社日立製作所 ロボット
KR101421144B1 (ko) * 2007-11-08 2014-07-18 삼성전자주식회사 Urc 환경에서의 음성 통화 방법 및 시스템
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
JP4328819B2 (ja) * 2007-11-30 2009-09-09 本田技研工業株式会社 移動装置およびその制御プログラム
JP4577697B2 (ja) * 2007-11-30 2010-11-10 本田技研工業株式会社 移動装置および移動装置システム
JP5035802B2 (ja) * 2007-12-04 2012-09-26 本田技研工業株式会社 ロボットおよびタスク実行システム
WO2009136969A2 (en) * 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
CN101970186A (zh) * 2008-01-28 2011-02-09 塞格瑞德公司 与机器人进行实时交互的方法
US8755936B2 (en) * 2008-01-28 2014-06-17 Seegrid Corporation Distributed multi-robot system
US8838268B2 (en) * 2008-01-28 2014-09-16 Seegrid Corporation Service robot and method of operating same
US8433442B2 (en) * 2008-01-28 2013-04-30 Seegrid Corporation Methods for repurposing temporal-spatial information collected by service robots
JP4978494B2 (ja) * 2008-02-07 2012-07-18 トヨタ自動車株式会社 自律移動体、及びその制御方法
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US8179418B2 (en) 2008-04-14 2012-05-15 Intouch Technologies, Inc. Robotic based health care system
WO2009146199A2 (en) * 2008-04-16 2009-12-03 Deka Products Limited Partnership Systems, apparatus, and methods for the management and control of remotely controlled devices
US8170241B2 (en) 2008-04-17 2012-05-01 Intouch Technologies, Inc. Mobile tele-presence system with a microphone system
US8103382B2 (en) * 2008-04-24 2012-01-24 North End Technologies Method and system for sharing information through a mobile multimedia platform
DE102008002274A1 (de) * 2008-06-06 2009-12-10 Kuka Roboter Gmbh Multidirektional bewegliches Fahrzeug und Verfahren
US8723787B2 (en) 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
US8608321B2 (en) 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US8384005B2 (en) 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8403501B2 (en) 2008-06-17 2013-03-26 The Invention Science Fund, I, LLC Motion responsive devices and systems
US8602564B2 (en) 2008-06-17 2013-12-10 The Invention Science Fund I, Llc Methods and systems for projecting in response to position
US8540381B2 (en) 2008-06-17 2013-09-24 The Invention Science Fund I, Llc Systems and methods for receiving information associated with projecting
US8733952B2 (en) * 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US8944608B2 (en) 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8308304B2 (en) 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US8267526B2 (en) 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US8936367B2 (en) 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8641203B2 (en) 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US8955984B2 (en) 2008-06-17 2015-02-17 The Invention Science Fund I, Llc Projection associated methods and systems
US8565922B2 (en) * 2008-06-27 2013-10-22 Intuitive Automata Inc. Apparatus and method for assisting in achieving desired behavior patterns
US9193065B2 (en) 2008-07-10 2015-11-24 Intouch Technologies, Inc. Docking system for a tele-presence robot
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
TWI408397B (zh) * 2008-08-15 2013-09-11 Univ Nat Chiao Tung Automatic navigation device with ultrasonic and computer vision detection and its navigation method
CN101653662A (zh) * 2008-08-21 2010-02-24 鸿富锦精密工业(深圳)有限公司 机器人
JP5141507B2 (ja) * 2008-08-25 2013-02-13 村田機械株式会社 自律移動装置
KR101538775B1 (ko) * 2008-09-12 2015-07-30 삼성전자 주식회사 전방 영상을 이용한 위치 인식 장치 및 방법
US8340819B2 (en) * 2008-09-18 2012-12-25 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8326780B2 (en) * 2008-10-14 2012-12-04 Honda Motor Co., Ltd. Smoothed sarsa: reinforcement learning for robot delivery tasks
US8996165B2 (en) 2008-10-21 2015-03-31 Intouch Technologies, Inc. Telepresence robot with a camera boom
US8041456B1 (en) * 2008-10-22 2011-10-18 Anybots, Inc. Self-balancing robot including an ultracapacitor power source
US8160747B1 (en) 2008-10-24 2012-04-17 Anybots, Inc. Remotely controlled self-balancing robot including kinematic image stabilization
US8881266B2 (en) * 2008-11-13 2014-11-04 Palo Alto Research Center Incorporated Enterprise password reset
US8463435B2 (en) 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US8442661B1 (en) 2008-11-25 2013-05-14 Anybots 2.0, Inc. Remotely controlled self-balancing robot including a stabilized laser pointer
US9138891B2 (en) 2008-11-25 2015-09-22 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
KR101178847B1 (ko) * 2008-12-08 2012-08-31 한국전자통신연구원 가상공간과 연계된 다중 로봇 제어 장치 및 방법
JP5327668B2 (ja) * 2008-12-09 2013-10-30 公立大学法人首都大学東京 ユーザ健康維持活性化支援及び見守りシステム
US8584026B2 (en) * 2008-12-29 2013-11-12 Avaya Inc. User interface for orienting new users to a three dimensional computer-generated virtual environment
KR20100081587A (ko) * 2009-01-06 2010-07-15 삼성전자주식회사 로봇의 소리 인식 장치 및 그 제어 방법
US9767351B2 (en) * 2009-01-15 2017-09-19 AvidaSports, LLC Positional locating system and method
KR101590331B1 (ko) * 2009-01-20 2016-02-01 삼성전자 주식회사 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법
KR101496910B1 (ko) * 2009-01-22 2015-02-27 삼성전자 주식회사 로봇
KR101496909B1 (ko) 2009-01-22 2015-02-27 삼성전자 주식회사 로봇
US8904177B2 (en) * 2009-01-27 2014-12-02 Sony Corporation Authentication for a multi-tier wireless home mesh network
US8849680B2 (en) 2009-01-29 2014-09-30 Intouch Technologies, Inc. Documentation through a remote presence robot
WO2010088575A2 (en) * 2009-01-30 2010-08-05 Altorr Corporation Patient-lifting-device controls
KR101633889B1 (ko) * 2009-02-18 2016-06-28 삼성전자주식회사 격자지도를 이용한 경로 생성 장치 및 방법
US7939742B2 (en) * 2009-02-19 2011-05-10 Will Glaser Musical instrument with digitally controlled virtual frets
US8528229B2 (en) * 2009-02-19 2013-09-10 Whirlpool Corporation Laundry treating appliance with imaging control
US8897920B2 (en) 2009-04-17 2014-11-25 Intouch Technologies, Inc. Tele-presence robot system with software modularity, projector and laser pointer
EP2420045A1 (en) * 2009-04-17 2012-02-22 Koninklijke Philips Electronics N.V. An ambient telephone communication system, a movement member, method, and computer readable medium therefor
FR2945724B1 (fr) * 2009-05-22 2012-11-16 Gen Electric Appareil a rayons x
KR101051349B1 (ko) * 2009-06-02 2011-07-22 한국표준과학연구원 초광대역 무선통신 기능을 갖는 촉각센서모듈 및 그 촉각센서모듈을 이용한 초광대역 무선통신방법
GB0910431D0 (en) * 2009-06-17 2009-07-29 Murphy David B A piece of street furniture which is a multifunctional communication, surveillance apparatus
US20100328443A1 (en) * 2009-06-26 2010-12-30 Lynam Donald S System for monitoring patient safety suited for determining compliance with hand hygiene guidelines
US20110007156A1 (en) * 2009-07-09 2011-01-13 Honeywell International Inc. Video based remote object activation/deactivation and configuration
JP5319433B2 (ja) * 2009-07-16 2013-10-16 エンパイア テクノロジー ディベロップメント エルエルシー 撮影システム、移動体、撮影制御方法
JP5251776B2 (ja) 2009-07-27 2013-07-31 ソニー株式会社 基地局、通信システム、移動端末および中継装置
US9020639B2 (en) 2009-08-06 2015-04-28 The Regents Of The University Of California Multimodal dynamic robotic systems
KR101604752B1 (ko) * 2009-08-06 2016-03-18 엘지전자 주식회사 이동 냉장고 및 이를 포함한 이동 냉장고 시스템
US11399153B2 (en) 2009-08-26 2022-07-26 Teladoc Health, Inc. Portable telepresence apparatus
US8384755B2 (en) 2009-08-26 2013-02-26 Intouch Technologies, Inc. Portable remote presence robot
KR20110026212A (ko) * 2009-09-07 2011-03-15 삼성전자주식회사 로봇 및 그 제어방법
US8744664B2 (en) * 2009-09-07 2014-06-03 Bae Systems Plc Path determination
CA2772679C (en) * 2009-09-09 2017-12-05 Andrew A. Goldenberg Manual instrumented medical tool system
JP5504272B2 (ja) * 2009-09-18 2014-05-28 本田技研工業株式会社 倒立振子型車両の制御装置
US8554391B2 (en) * 2009-09-18 2013-10-08 Honda Motor Co., Ltd. Control device of inverted pendulum type vehicle
KR101611504B1 (ko) * 2009-09-25 2016-04-11 삼성전자 주식회사 로봇 시스템 및 그 영상 처리 방법
US9116003B2 (en) * 2009-10-01 2015-08-25 Qualcomm Incorporated Routing graphs for buildings
US8812015B2 (en) 2009-10-01 2014-08-19 Qualcomm Incorporated Mobile device locating in conjunction with localized environments
US8880103B2 (en) 2009-10-12 2014-11-04 Qualcomm Incorporated Method and apparatus for transmitting indoor context information
ES2358139B1 (es) * 2009-10-21 2012-02-09 Thecorpora, S.L. Robot social.
JP5490911B2 (ja) * 2009-10-30 2014-05-14 ユージン ロボット シーオー., エルティーディー. 移動ロボットの位置認識のための地図生成および更新方法
RU2012122469A (ru) 2009-11-06 2013-12-20 Эволюшн Роботикс, Инк. Способы и системы для полного охвата поверхности автономным роботом
US8679260B2 (en) 2009-11-11 2014-03-25 Intellibot Robotics Llc Methods and systems for movement of an automatic cleaning device using video signal
US8423225B2 (en) * 2009-11-11 2013-04-16 Intellibot Robotics Llc Methods and systems for movement of robotic device using video signal
KR101761315B1 (ko) * 2009-11-24 2017-07-25 삼성전자주식회사 이동체 및 그 제어방법
US8378803B1 (en) * 2009-11-25 2013-02-19 Craig A. Keiser Safety system for all-terrain vehicles
TWI387862B (zh) * 2009-11-27 2013-03-01 Micro Star Int Co Ltd 移動裝置及其控制方法
WO2011064821A1 (ja) * 2009-11-27 2011-06-03 トヨタ自動車株式会社 自律移動体及びその制御方法
KR101644015B1 (ko) * 2009-11-27 2016-08-01 삼성전자주식회사 시스템과 다수 사용자 간의 대화 인터페이스 장치
KR101688655B1 (ko) * 2009-12-03 2016-12-21 엘지전자 주식회사 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법
KR101652110B1 (ko) * 2009-12-03 2016-08-29 엘지전자 주식회사 사용자의 제스쳐로 제어가능한 장치의 전력 제어 방법
JP2011129115A (ja) * 2009-12-18 2011-06-30 Korea Electronics Telecommun 異機種ロボットの協業のためのコンポーネント連動装置およびそれに伴う方法
US9047052B2 (en) 2009-12-22 2015-06-02 At&T Intellectual Property I, L.P. Simplified control input to a mobile device
TW201123031A (en) * 2009-12-24 2011-07-01 Univ Nat Taiwan Science Tech Robot and method for recognizing human faces and gestures thereof
US8284157B2 (en) 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US9389085B2 (en) 2010-01-22 2016-07-12 Qualcomm Incorporated Map handling for location based services in conjunction with localized environments
US11154981B2 (en) * 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
KR101169674B1 (ko) * 2010-03-11 2012-08-06 한국과학기술연구원 원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법
US8269447B2 (en) * 2010-03-17 2012-09-18 Disney Enterprises, Inc. Magnetic spherical balancing robot drive
JP2011201002A (ja) 2010-03-26 2011-10-13 Sony Corp ロボット装置、ロボット装置の遠隔制御方法及びプログラム
JP5581770B2 (ja) * 2010-03-26 2014-09-03 ソニー株式会社 ロボット装置及びロボット装置による情報提供方法
JP5526942B2 (ja) * 2010-03-31 2014-06-18 ソニー株式会社 ロボット装置、ロボット装置の制御方法およびプログラム
KR101369810B1 (ko) 2010-04-09 2014-03-05 이초강 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
JP5595112B2 (ja) * 2010-05-11 2014-09-24 本田技研工業株式会社 ロボット
US8306664B1 (en) * 2010-05-17 2012-11-06 Anybots 2.0, Inc. Self-balancing robot having a shaft-mounted head
US8788096B1 (en) * 2010-05-17 2014-07-22 Anybots 2.0, Inc. Self-balancing robot having a shaft-mounted head
US8918213B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US8935005B2 (en) 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
WO2011146254A2 (en) * 2010-05-20 2011-11-24 Irobot Corporation Mobile human interface robot
US8918209B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US10343283B2 (en) 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
US10808882B2 (en) 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
JP4996714B2 (ja) * 2010-05-31 2012-08-08 株式会社エナリス ロボットおよび消費電力推定システム
JP4866470B2 (ja) * 2010-05-31 2012-02-01 株式会社エナリス 電力需要管理装置および電力需要管理システム
JP5218479B2 (ja) * 2010-06-10 2013-06-26 株式会社安川電機 移動体システム
FR2962048A1 (fr) * 2010-07-02 2012-01-06 Aldebaran Robotics S A Robot humanoide joueur, methode et systeme d'utilisation dudit robot
EP2614413B1 (en) * 2010-07-02 2017-03-01 Thomson Licensing Method and apparatus for object tracking and recognition
TW201205469A (en) * 2010-07-23 2012-02-01 Hon Hai Prec Ind Co Ltd Display device and method for adjusting display orientation thereof
US8855812B2 (en) * 2010-07-23 2014-10-07 Chetan Kapoor System and method for robot safety and collision avoidance
WO2012015543A2 (en) * 2010-07-30 2012-02-02 Fawzi Shaya System, method and apparatus for performing real-time virtual medical examinations
US10629311B2 (en) 2010-07-30 2020-04-21 Fawzi Shaya System, method and apparatus for real-time access to networked radiology data
KR101251184B1 (ko) * 2010-08-05 2013-04-08 서울대학교산학협력단 구동 명령을 이용한 비젼 트래킹 시스템 및 방법
US8593488B1 (en) * 2010-08-11 2013-11-26 Apple Inc. Shape distortion
EP2622608A2 (en) * 2010-08-18 2013-08-07 Savannah River Nuclear Solutions, LLC System and method for the identification of radiation in contaminated rooms
US8717447B2 (en) * 2010-08-20 2014-05-06 Gary Stephen Shuster Remote telepresence gaze direction
US11538561B2 (en) * 2010-09-01 2022-12-27 Apixio, Inc. Systems and methods for medical information data warehouse management
US11955238B2 (en) 2010-09-01 2024-04-09 Apixio, Llc Systems and methods for determination of patient true state for personalized medicine
US11971911B2 (en) 2010-09-01 2024-04-30 Apixio, Llc Systems and methods for customized annotation of medical information
US12009093B2 (en) 2010-09-01 2024-06-11 Apixio, Llc Systems and methods for determination of patient true state for risk management
WO2012028744A1 (en) * 2010-09-03 2012-03-08 Gostai Mobile robot
US9075416B2 (en) * 2010-09-21 2015-07-07 Toyota Jidosha Kabushiki Kaisha Mobile body
US8781629B2 (en) * 2010-09-22 2014-07-15 Toyota Motor Engineering & Manufacturing North America, Inc. Human-robot interface apparatuses and methods of controlling robots
WO2012050882A1 (en) * 2010-09-28 2012-04-19 The George Washington University Medication compliance device
US8745634B2 (en) * 2010-10-15 2014-06-03 Invensys Systems, Inc. System and method for integrated workflow scaling
US8766783B1 (en) 2010-11-05 2014-07-01 Google Inc. Methods and systems for remotely controlling electronics
US8633986B1 (en) 2010-11-05 2014-01-21 Google Inc. Methods and systems for acquiring specifications for remotely controlling electronics
US8622561B2 (en) * 2010-11-06 2014-01-07 Michael Patrick Carmody Covert security camera within a lighting fixture
US9440356B2 (en) * 2012-12-21 2016-09-13 Crosswing Inc. Customizable robotic system
CA2720886A1 (en) * 2010-11-12 2012-05-12 Crosswing Inc. Customizable virtual presence system
US9264664B2 (en) 2010-12-03 2016-02-16 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
FR2969571B1 (fr) * 2010-12-23 2015-01-16 Thales Sa Systeme robotise collaborateur
US9823078B2 (en) * 2010-12-23 2017-11-21 Microsoft Technology Licensing, Llc Generating maps of private spaces using mobile computing device sensors
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
DE112011104645T5 (de) * 2010-12-30 2013-10-10 Irobot Corp. Mobiler Mensch-Schnittstellen-Roboter
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US8571781B2 (en) 2011-01-05 2013-10-29 Orbotix, Inc. Self-propelled device with actively engaged drive system
US9429940B2 (en) * 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US9341720B2 (en) * 2011-01-11 2016-05-17 Qualcomm Incorporated Camera-based position location and navigation based on image processing
US8818556B2 (en) * 2011-01-13 2014-08-26 Microsoft Corporation Multi-state model for robot and user interaction
US9160898B2 (en) * 2011-01-25 2015-10-13 Autofuss System and method for improved video motion control
US9431027B2 (en) 2011-01-26 2016-08-30 Honda Motor Co., Ltd. Synchronized gesture and speech production for humanoid robots using random numbers
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
CN104898652B (zh) * 2011-01-28 2018-03-13 英塔茨科技公司 与一个可移动的远程机器人相互交流
JP5455245B2 (ja) * 2011-01-28 2014-03-26 Necアクセステクニカ株式会社 情報端末、情報端末における省電力方法及びプログラム
US9030405B2 (en) * 2011-02-04 2015-05-12 Invensense, Inc. High fidelity remote controller device for digital living room
EP2484567B1 (en) * 2011-02-08 2017-12-27 Volvo Car Corporation An onboard perception system
JP5617939B2 (ja) * 2011-02-14 2014-11-05 村田機械株式会社 搬送台車システム及び搬送台車の走行制御方法
JP6358800B2 (ja) 2011-02-17 2018-07-18 タイト ケア リミテッド 自動の及び遠隔の訓練された人によりガイドされる医学検査を行うためのシステム及び方法
CA3049901A1 (en) 2011-02-17 2012-08-23 Tyto Care Ltd. System and method for performing an automatic and self-guided medical examination
US8957774B2 (en) 2011-02-22 2015-02-17 Vivian B. Goldblatt Concealed personal alarm and method
US20120215380A1 (en) * 2011-02-23 2012-08-23 Microsoft Corporation Semi-autonomous robot that supports multiple modes of navigation
JP5370395B2 (ja) * 2011-03-10 2013-12-18 株式会社安川電機 生産装置
US8588972B2 (en) 2011-04-17 2013-11-19 Hei Tao Fung Method for creating low-cost interactive entertainment robots
KR101850386B1 (ko) * 2011-04-19 2018-04-19 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
US10769739B2 (en) 2011-04-25 2020-09-08 Intouch Technologies, Inc. Systems and methods for management of information among medical providers and facilities
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
US8406926B1 (en) 2011-05-06 2013-03-26 Google Inc. Methods and systems for robotic analysis of environmental conditions and response thereto
US8594845B1 (en) * 2011-05-06 2013-11-26 Google Inc. Methods and systems for robotic proactive informational retrieval from ambient context
TW201245931A (en) * 2011-05-09 2012-11-16 Asustek Comp Inc Robotic device
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US20140139616A1 (en) 2012-01-27 2014-05-22 Intouch Technologies, Inc. Enhanced Diagnostics for a Telepresence Robot
DE102011111342B3 (de) * 2011-05-31 2012-12-06 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Positionsbestimmung von sich bewegenden Objekten
US8414349B2 (en) 2011-06-01 2013-04-09 Nintendo Co., Ltd. Remotely controlled mobile device control system
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
US20120316679A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Providing remote gestural and voice input to a mobile robot
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
US9069356B2 (en) * 2011-06-12 2015-06-30 Microsoft Technology Licensing, Llc Nomadic security device with patrol alerts
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
WO2012172721A1 (ja) 2011-06-14 2012-12-20 パナソニック株式会社 ロボット装置、ロボット制御方法、及びロボット制御プログラム
FR2976700B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Procede de generation d'ordres de commande de coordination d'organes de deplacement d'une plateforme animee et generateur correspondant.
US8515580B2 (en) * 2011-06-17 2013-08-20 Microsoft Corporation Docking process for recharging an autonomous mobile device
US8936366B2 (en) 2011-06-17 2015-01-20 Microsoft Corporation Illuminated skin robot display
JP5698614B2 (ja) * 2011-06-22 2015-04-08 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation コンテキスト情報処理システム及び方法
US8810649B2 (en) * 2011-06-30 2014-08-19 Qualcomm Incorporated Navigation in buildings with rectangular floor plan
FR2978266A1 (fr) 2011-07-19 2013-01-25 Gilles Ghrenassia Systeme de telepresence
JP2013022705A (ja) 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
US20130189925A1 (en) * 2011-07-29 2013-07-25 SIFTEO, Inc. Pairing Wireless Device Using Multiple Modalities
US8761933B2 (en) * 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
JP5892360B2 (ja) 2011-08-02 2016-03-23 ソニー株式会社 ロボット指示装置、ロボット指示方法、プログラム、及び通信システム
US8972055B1 (en) * 2011-08-19 2015-03-03 Google Inc. Methods and systems for selecting a velocity profile for controlling a robotic device
US11848087B2 (en) * 2021-12-14 2023-12-19 Neil S. Davey Medication delivery scheduling system
US9079315B2 (en) * 2011-08-29 2015-07-14 Neil Davey Banking automation using autonomous robot
KR101366860B1 (ko) * 2011-09-20 2014-02-21 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
US9656392B2 (en) * 2011-09-20 2017-05-23 Disney Enterprises, Inc. System for controlling robotic characters to enhance photographic results
US9124783B2 (en) * 2011-09-30 2015-09-01 Camiolog, Inc. Method and system for automated labeling at scale of motion-detected events in video surveillance
EP2575064A1 (en) * 2011-09-30 2013-04-03 General Electric Company Telecare and/or telehealth communication method and system
US8374421B1 (en) * 2011-10-18 2013-02-12 Google Inc. Methods and systems for extracting still frames from a compressed video
WO2013059513A1 (en) * 2011-10-18 2013-04-25 Reconrobotics, Inc. Robot control translation and gateway system
US20130105239A1 (en) * 2011-10-30 2013-05-02 Hei Tao Fung Telerobot for Facilitating Interaction between Users
DE102011087589B4 (de) * 2011-11-03 2016-04-21 Siemens Aktiengesellschaft Modulare Assistenzsysteme
US8836751B2 (en) 2011-11-08 2014-09-16 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
US9480910B2 (en) * 2011-11-09 2016-11-01 Marta Isabel santos Paiva Ferraz Conceicao Interactive embodied robot videogame through the use of sensors and physical objects
US20130121494A1 (en) * 2011-11-15 2013-05-16 Plantronics, Inc. Ear Coupling Status Sensor
JP2015506121A (ja) 2011-11-16 2015-02-26 ストーウェル・リンネル・エルエルシー ロボット制御のオブジェクトによる3dプロジェクション・マッピングのシステム及び方法
US9832352B2 (en) 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
KR101343398B1 (ko) * 2011-11-30 2013-12-20 학교법인 한국산업기술대학 모션캡처 기반의 휴머노이드 시스템
JP2015510285A (ja) * 2011-12-02 2015-04-02 ノー ストリングス トイズ、 エルエルシー 無線デバイス及び制御方法
US11093722B2 (en) 2011-12-05 2021-08-17 Adasa Inc. Holonomic RFID reader
US10050330B2 (en) 2011-12-05 2018-08-14 Adasa Inc. Aerial inventory antenna
US9780435B2 (en) 2011-12-05 2017-10-03 Adasa Inc. Aerial inventory antenna
US10846497B2 (en) 2011-12-05 2020-11-24 Adasa Inc. Holonomic RFID reader
US9747480B2 (en) 2011-12-05 2017-08-29 Adasa Inc. RFID and robots for multichannel shopping
US10476130B2 (en) 2011-12-05 2019-11-12 Adasa Inc. Aerial inventory antenna
JP5915148B2 (ja) * 2011-12-16 2016-05-11 セイコーエプソン株式会社 運動解析方法及び運動解析装置
US10154361B2 (en) 2011-12-22 2018-12-11 Nokia Technologies Oy Spatial audio processing apparatus
US9092021B2 (en) * 2012-01-06 2015-07-28 J. T. Labs Limited Interactive apparatus
US20130242092A1 (en) * 2012-01-09 2013-09-19 Universal Surveillance Systems, Llc Mounting of surveillance systems onto fixtures
US9519769B2 (en) * 2012-01-09 2016-12-13 Sensible Vision, Inc. System and method for disabling secure access to an electronic device using detection of a predetermined device orientation
KR101945185B1 (ko) * 2012-01-12 2019-02-07 삼성전자주식회사 로봇 및 이상 상황 판단과 대응방법
JP2013146310A (ja) * 2012-01-17 2013-08-01 Sharp Corp 自走式電子機器
SG11201400958XA (en) * 2012-01-25 2014-04-28 Adept Technology Inc Autonomous mobile robot for handling job assignments in a physical environment inhabited by stationary and non-stationary obstacles
US9381916B1 (en) 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
DK2791748T3 (da) 2012-02-08 2020-11-09 Omron Robotics And Safety Tech Inc Opgavestyringssystem for en flåde af autonome mobile robotter
US8396254B1 (en) * 2012-02-09 2013-03-12 Google Inc. Methods and systems for estimating a location of a robot
CN103251360A (zh) * 2012-02-16 2013-08-21 恩斯迈电子(深圳)有限公司 扫地机器人的控制方法
JP2013169611A (ja) * 2012-02-20 2013-09-02 Vstone Kk ロボットシステムおよびロボット
TWI474173B (zh) * 2012-02-21 2015-02-21 Hon Hai Prec Ind Co Ltd 行走輔助系統及行走輔助方法
KR20130096539A (ko) * 2012-02-22 2013-08-30 한국전자통신연구원 자율 이동장치 및 그 제어 방법
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
US8988532B2 (en) * 2012-02-29 2015-03-24 High Sec Labs Ltd. Secure video camera device
US9463574B2 (en) 2012-03-01 2016-10-11 Irobot Corporation Mobile inspection robot
US10398959B2 (en) 2012-03-02 2019-09-03 Clarence V. Hall Multi-head, multi-abdomen, multi-armed apparatus for use with a slip and counter fight simulation / workout machine or stand alone device for fight simulation
US10493346B2 (en) 2012-03-02 2019-12-03 Clarence V. Hall Multi-headed, multi-abdomen, multi-armed apparatus for use with a slip and counter fight simulation / workout machine or stand alone device for fight simulation
US9044659B2 (en) * 2012-03-02 2015-06-02 Clarence V. Hall Slip and counter fight simulation / workout machine
US9050518B2 (en) 2013-02-28 2015-06-09 Clarence V. Hall Slip and counter fight simulation / workout machine
US9821208B2 (en) 2014-03-20 2017-11-21 Clarence V. Hall Multi-headed, multi-abdomen, multi-armed apparatus for use with a slip and counter fight simulation/workout machine or stand alone device for fight simulation
WO2013131084A1 (en) * 2012-03-02 2013-09-06 Rf Code, Inc. Real-time asset tracking and event association
JP2013192414A (ja) * 2012-03-15 2013-09-26 Omron Corp 駆動制御装置
WO2013151908A1 (en) * 2012-04-01 2013-10-10 Mahesh Viswanathan Extensible networked multi-modal environment conditioning system
US9320076B2 (en) 2012-04-06 2016-04-19 Suitable Technologies, Inc. System for wireless connectivity continuity and quality
US20130265885A1 (en) * 2012-04-06 2013-10-10 Suitable Technologies, Inc. Method for wireless connectivity continuity and quality
US20130279473A1 (en) * 2012-04-06 2013-10-24 Suitable Technologies, Inc. Method for wireless connectivity continuity and quality
US9344935B2 (en) 2012-04-06 2016-05-17 Suitable Technologies, Inc. System for wireless connectivity continuity and quality
US9320074B2 (en) 2012-04-06 2016-04-19 Suitable Technologies, Inc. Method for wireless connectivity continuity and quality
US20130279479A1 (en) * 2012-04-06 2013-10-24 Suitable Technologies, Inc. Method for wireless connectivity continuity and quality
US20130279472A1 (en) 2012-04-06 2013-10-24 Suitable Technologies, Inc. System for wireless connectivity continuity and quality
US20130343344A1 (en) * 2012-04-06 2013-12-26 Suitable Technologies, Inc. Method for wireless connectivity continuity and quality
US9307568B2 (en) 2012-04-06 2016-04-05 Suitable Technologies, Inc. System for wireless connectivity continuity and quality
US20130279411A1 (en) * 2012-04-06 2013-10-24 Suitable Technologies, Inc. Method for wireless connectivity continuity and quality
US20130265958A1 (en) * 2012-04-06 2013-10-10 Suitable Technolgies, Inc. System for wireless connectivity continuity and quality
US20130279487A1 (en) * 2012-04-06 2013-10-24 Suitable Technologies, Inc. System for wireless connectivity continuity and quality
US8902278B2 (en) 2012-04-11 2014-12-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US9251313B2 (en) 2012-04-11 2016-02-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US9633186B2 (en) * 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
JP6104519B2 (ja) * 2012-05-07 2017-03-29 シャープ株式会社 自走式電子機器
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
CN104428791A (zh) 2012-05-14 2015-03-18 澳宝提克斯公司 通过检测图像中的圆形物体操作计算装置
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
WO2013176760A1 (en) * 2012-05-22 2013-11-28 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
DE202012005170U1 (de) * 2012-05-25 2012-07-11 Abb Ag Mobiler Bewegungs- und Kameramelder
CA2875128A1 (en) * 2012-05-31 2013-12-05 Atg Advanced Swiss Technology Group Ag Method for supervising a chat connection
US9188574B2 (en) * 2012-06-05 2015-11-17 International Business Machines Corporation Mobile gas detection cart with wireless transceiver
JP5987259B2 (ja) * 2012-06-19 2016-09-07 株式会社リコー 自動運転ナビゲーションシステム
US8996174B2 (en) 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
EP2685403A3 (en) 2012-07-09 2017-03-01 Technion Research & Development Foundation Limited Natural machine interface system
USD722281S1 (en) * 2012-07-09 2015-02-10 Adept Technology, Inc. Mobile robotic platform
US20140015914A1 (en) * 2012-07-12 2014-01-16 Claire Delaunay Remote robotic presence
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
CA2879110A1 (en) 2012-07-16 2014-01-23 Surgical Safety Solutions, Llc Medical procedure monitoring system
US10165654B2 (en) 2012-07-17 2018-12-25 The Procter & Gamble Company Home network of connected consumer devices
US20140022941A1 (en) * 2012-07-17 2014-01-23 The Procter & Gamble Company Systems and methods for networking consumer devices
DE102012106448B4 (de) * 2012-07-17 2016-03-31 Reis Group Holding Gmbh & Co. Kg Verfahren zur Bedienung eines Industrieroboters sowie sicheres Überwachungsgerät zur Durchführung des Verfahrens
US9125987B2 (en) * 2012-07-17 2015-09-08 Elwha Llc Unmanned device utilization methods and systems
US9798325B2 (en) 2012-07-17 2017-10-24 Elwha Llc Unmanned device interaction methods and systems
US8886785B2 (en) 2012-07-17 2014-11-11 The Procter & Gamble Company Home network of connected consumer devices
US9762437B2 (en) 2012-07-17 2017-09-12 The Procter & Gamble Company Systems and methods for networking consumer devices
WO2014022230A2 (en) * 2012-07-30 2014-02-06 Fish Robert D Electronic personal companion
US9786281B1 (en) * 2012-08-02 2017-10-10 Amazon Technologies, Inc. Household agent learning
US9796095B1 (en) * 2012-08-15 2017-10-24 Hanson Robokind And Intelligent Bots, Llc System and method for controlling intelligent animated characters
WO2014033055A1 (en) 2012-08-27 2014-03-06 Aktiebolaget Electrolux Robot positioning system
US9043025B2 (en) 2012-08-31 2015-05-26 Rethink Robotics, Inc. Systems and methods for safe robot operation
EP2895120A4 (en) 2012-09-11 2016-05-25 Erik J Shahoian SYSTEMS AND METHOD FOR HAPTIC STIMULATION
JP5898022B2 (ja) * 2012-09-18 2016-04-06 シャープ株式会社 自走式機器
US10735792B2 (en) 2012-09-19 2020-08-04 Google Llc Using OCR to detect currently playing television programs
US9866899B2 (en) 2012-09-19 2018-01-09 Google Llc Two way control of a set top box
US9832413B2 (en) 2012-09-19 2017-11-28 Google Inc. Automated channel detection with one-way control of a channel source
US9788055B2 (en) 2012-09-19 2017-10-10 Google Inc. Identification and presentation of internet-accessible content associated with currently playing television programs
CN105404298B (zh) * 2012-09-21 2018-10-16 艾罗伯特公司 移动机器人上的接近度感测
US20160164976A1 (en) * 2012-09-24 2016-06-09 Suitable Technologies, Inc. Systems and methods for remote presence
JP6070022B2 (ja) * 2012-09-28 2017-02-01 株式会社バッファロー 中継装置、無線通信システム、及び中継方法
US9654434B2 (en) * 2012-10-01 2017-05-16 Sharp Kabushiki Kaisha Message originating server, message orginating method, terminal, electric appliance control system, and electric appliance
US9678713B2 (en) * 2012-10-09 2017-06-13 At&T Intellectual Property I, L.P. Method and apparatus for processing commands directed to a media center
KR101951908B1 (ko) * 2012-10-18 2019-04-25 한국전자통신연구원 로봇 소프트웨어 컴포넌트를 위한 디바이스 공유 장치 및 방법
WO2014066690A2 (en) * 2012-10-24 2014-05-01 Robotex Inc. Infrastructure for robots in human-centric environments
US9675226B2 (en) * 2012-10-26 2017-06-13 Lg Electronics Inc. Robot cleaner system and control method of the same
JP2014092627A (ja) * 2012-11-01 2014-05-19 Nec Corp 音声認識装置、音声認識方法、及びそのためのプログラム
US9686306B2 (en) 2012-11-02 2017-06-20 University Of Washington Through Its Center For Commercialization Using supplemental encrypted signals to mitigate man-in-the-middle attacks on teleoperated systems
US8972061B2 (en) 2012-11-02 2015-03-03 Irobot Corporation Autonomous coverage robot
TWI493211B (zh) * 2012-11-02 2015-07-21 Ind Tech Res Inst 接近物體偵測方法、接近物體偵測裝置及使用其之移動平台
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
KR101428877B1 (ko) * 2012-12-05 2014-08-14 엘지전자 주식회사 로봇 청소기
TWI481980B (zh) * 2012-12-05 2015-04-21 Univ Nat Chiao Tung 電子裝置及其導航方法
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
KR101281806B1 (ko) * 2012-12-28 2013-07-04 (주) 퓨처로봇 퍼스널 로봇
US8868238B1 (en) * 2013-01-10 2014-10-21 The United States Of America As Represented By The Secretary Of The Army Apparatus and method for systematic control of robotic deployment and extraction
AU2013374347B2 (en) 2013-01-18 2016-05-19 Irobot Corporation Environmental management systems including mobile robots and methods using same
US9233472B2 (en) 2013-01-18 2016-01-12 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
US9375847B2 (en) 2013-01-18 2016-06-28 Irobot Corporation Environmental management systems including mobile robots and methods using same
US20140324216A1 (en) * 2013-01-24 2014-10-30 Sami A Beg Method, system and apparatus for managing medication delivery
JP5590164B2 (ja) * 2013-01-28 2014-09-17 株式会社安川電機 ロボットシステム
JP5572788B1 (ja) * 2013-01-31 2014-08-20 上銀科技股▲分▼有限公司 向き付け式位置制御方法
US9190013B2 (en) * 2013-02-05 2015-11-17 Qualcomm Mems Technologies, Inc. Image-dependent temporal slot determination for multi-state IMODs
KR101993243B1 (ko) * 2013-02-06 2019-09-30 한국전자통신연구원 휴먼 정보 인식 방법 및 장치
US9044863B2 (en) 2013-02-06 2015-06-02 Steelcase Inc. Polarized enhanced confidentiality in mobile camera applications
US20140222271A1 (en) * 2013-02-07 2014-08-07 MetraLabs Automation, Inc. Autonomous mobile robot inductive charging system
US10484334B1 (en) 2013-02-26 2019-11-19 Zentera Systems, Inc. Distributed firewall security system that extends across different cloud computing networks
US10348767B1 (en) * 2013-02-26 2019-07-09 Zentera Systems, Inc. Cloud over IP session layer network
US10382401B1 (en) 2013-02-26 2019-08-13 Zentera Systems, Inc. Cloud over IP for enterprise hybrid cloud network and security
JP5753865B2 (ja) * 2013-02-28 2015-07-22 東芝テック株式会社 アシストロボットおよびその制御プログラム
WO2014133977A1 (en) * 2013-03-01 2014-09-04 Robotex Inc. Low latency data link system and method
US9956687B2 (en) 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
KR101490170B1 (ko) * 2013-03-05 2015-02-05 엘지전자 주식회사 로봇 청소기
US9056396B1 (en) * 2013-03-05 2015-06-16 Autofuss Programming of a robotic arm using a motion capture system
WO2014165031A1 (en) 2013-03-13 2014-10-09 Double Robotics, Inc. Accessory robot for mobile device
US20140288704A1 (en) * 2013-03-14 2014-09-25 Hanson Robokind And Intelligent Bots, Llc System and Method for Controlling Behavior of a Robotic Character
WO2014152951A1 (en) 2013-03-14 2014-09-25 Boosted, Inc. Dynamic control for light electric vehicles
US10391636B2 (en) * 2013-03-15 2019-08-27 Sqn Venture Income Fund, L.P. Apparatus and methods for providing a persistent companion device
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US9129534B2 (en) * 2013-03-15 2015-09-08 Eric PAYNE Roping training device
US20150314454A1 (en) 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US20170206064A1 (en) * 2013-03-15 2017-07-20 JIBO, Inc. Persistent companion device configuration and deployment platform
KR101395888B1 (ko) * 2013-03-21 2014-05-27 엘지전자 주식회사 로봇 청소기 및 그 동작방법
JP2014191689A (ja) * 2013-03-28 2014-10-06 Hitachi Industrial Equipment Systems Co Ltd 移動体の走行制御手段に対して制御指令を出力する位置検出装置を取り付けた移動体及びその位置検出装置
CN105101855A (zh) 2013-04-15 2015-11-25 伊莱克斯公司 具有伸出的侧刷的机器人真空吸尘器
US10448794B2 (en) 2013-04-15 2019-10-22 Aktiebolaget Electrolux Robotic vacuum cleaner
KR102071575B1 (ko) * 2013-04-23 2020-01-30 삼성전자 주식회사 이동로봇, 사용자단말장치 및 그들의 제어방법
US9262915B2 (en) * 2013-05-09 2016-02-16 KERBspace, Inc Intelligent urban communications portal and methods
US9919420B1 (en) * 2013-05-30 2018-03-20 Daniel Theobald Mobile robot for receiving task selection(s) related to electronically presented information
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
USD732096S1 (en) 2013-06-07 2015-06-16 Irobot Corporation Mobile human interface robot
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9314924B1 (en) 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
KR20140147205A (ko) * 2013-06-18 2014-12-30 삼성전자주식회사 휴대 가능한 의료 진단 장치의 주행 경로 제공 방법 및 장치
US9557740B2 (en) * 2013-07-02 2017-01-31 David Crawley Autonomous mobile platform for service applications
JP5814308B2 (ja) * 2013-07-08 2015-11-17 隼人 渡辺 スタンドアローン型セキュリティ装置
US9393692B1 (en) * 2013-07-29 2016-07-19 Daniel Theobald Apparatus and method of assisting an unattended robot
US9310800B1 (en) * 2013-07-30 2016-04-12 The Boeing Company Robotic platform evaluation system
JP5880498B2 (ja) * 2013-08-09 2016-03-09 トヨタ自動車株式会社 自律移動体、障害物判別方法及び障害物回避方法
EP2839769B1 (en) * 2013-08-23 2016-12-21 LG Electronics Inc. Robot cleaner and method for controlling the same
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP2015082807A (ja) * 2013-10-24 2015-04-27 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9211644B1 (en) * 2013-10-25 2015-12-15 Vecna Technologies, Inc. System and method for instructing a device
US9599988B2 (en) * 2013-10-28 2017-03-21 Pixart Imaging Inc. Adapted mobile carrier and auto following system
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9984332B2 (en) * 2013-11-05 2018-05-29 Npc Robotics Corporation Bayesian-centric autonomous robotic learning
US9158304B2 (en) * 2013-11-10 2015-10-13 Google Inc. Methods and systems for alerting and aiding an emergency situation
US9412110B2 (en) 2013-11-12 2016-08-09 Globalfoundries Inc. Mobile image acquisition
CN104385273B (zh) * 2013-11-22 2016-06-22 嘉兴市德宝威微电子有限公司 机器人系统及其同时表演控制方法
US10614475B2 (en) * 2013-11-27 2020-04-07 Smarter Trash, Inc. Interactive waste receptacle
USD733203S1 (en) 2013-12-17 2015-06-30 Roambotics Inc. Personal robot
JP6750921B2 (ja) 2013-12-19 2020-09-02 アクチエボラゲット エレクトロルックス ロボット掃除機
WO2015090398A1 (en) 2013-12-19 2015-06-25 Aktiebolaget Electrolux Robotic vacuum cleaner with side brush moving in spiral pattern
KR102137857B1 (ko) 2013-12-19 2020-07-24 에이비 엘렉트로룩스 로봇 청소 장치 및 랜드마크 인식 방법
WO2015090402A1 (en) 2013-12-19 2015-06-25 Aktiebolaget Electrolux Robotic cleaning device with perimeter recording function
CN105793790B (zh) 2013-12-19 2022-03-04 伊莱克斯公司 优先化清洁区域
KR102159206B1 (ko) 2013-12-19 2020-09-23 에이비 엘렉트로룩스 회전 사이드 브러시의 적응형 속도 제어
EP3082542B1 (en) 2013-12-19 2018-11-28 Aktiebolaget Electrolux Sensing climb of obstacle of a robotic cleaning device
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
KR102116595B1 (ko) 2013-12-20 2020-06-05 에이비 엘렉트로룩스 먼지통
JP5958459B2 (ja) * 2013-12-26 2016-08-02 トヨタ自動車株式会社 状態判定システム、状態判定方法及び移動ロボット
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US20150207961A1 (en) * 2014-01-17 2015-07-23 James Albert Gavney, Jr. Automated dynamic video capturing
JP2015134079A (ja) * 2014-01-17 2015-07-27 株式会社ユニバーサルエンターテインメント ゲーミングマシン
KR102104896B1 (ko) * 2014-01-17 2020-05-29 엘지전자 주식회사 로봇청소기 및 이를 이용한 휴먼 케어방법
WO2015115954A1 (en) * 2014-02-03 2015-08-06 Husqvarna Ab Obstacle detection for a robotic working tool
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
KR102312914B1 (ko) 2014-02-07 2021-10-15 더 코카콜라 컴파니 기계화된 모바일 머천트리를 사용하여 상품 또는 서비스들을 판매하거나, 재활용 쓰레기를 수집하는 시스템 및 방법
EP3111332B1 (en) * 2014-02-24 2018-08-29 Hewlett-Packard Development Company, L.P. Privacy zone
WO2015131038A2 (en) 2014-02-28 2015-09-03 Mullen Stephen J System and method for dispensing pills
JP6287360B2 (ja) * 2014-03-06 2018-03-07 オムロン株式会社 検査装置
JP6201063B2 (ja) 2014-03-10 2017-09-20 ゴジョ・インダストリーズ・インコーポレイテッド 衛生遵守状況の追跡調査方法及びシステム
US20150273697A1 (en) * 2014-03-27 2015-10-01 Fatemah A.J.A. Abdullah Robot for medical assistance
US20160193733A1 (en) * 2014-03-27 2016-07-07 Fatemah A.J.A. Abdullah Robot for medical assistance
US10198758B2 (en) * 2014-03-28 2019-02-05 Ecovacs Robotics, Inc. Guide robot for shopping guiding system and method
US9361446B1 (en) * 2014-03-28 2016-06-07 Amazon Technologies, Inc. Token based automated agent detection
US9147068B1 (en) 2014-04-08 2015-09-29 Vysk Communications, Inc. Internal signal diversion apparatus and method for mobile communication devices
US8902318B1 (en) * 2014-04-08 2014-12-02 Vysk Communications, Inc. Internal signal diversion with camera shuttering for mobile communication devices
EP2933064A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics System, method and computer program product for handling humanoid robot interaction with human
EP2933065A1 (en) 2014-04-17 2015-10-21 Aldebaran Robotics Humanoid robot with an autonomous life capability
EP2933067B1 (en) * 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
EP2933069B1 (en) * 2014-04-17 2019-07-03 Softbank Robotics Europe Omnidirectional wheeled humanoid robot based on a linear predictive position and velocity controller
US9782648B2 (en) 2014-04-25 2017-10-10 Christopher DeCarlo Athletic training, data collection, dynamic, and personified sporting method, apparatus, system, and computer program product
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US9348337B2 (en) * 2014-05-14 2016-05-24 Swissray Asia Healthcare Co., Ltd. Environment recognition guide system for movable medical equipment and method
USD746886S1 (en) 2014-05-23 2016-01-05 JIBO, Inc. Robot
FR3021892B1 (fr) * 2014-06-05 2016-09-23 Aldebaran Robotics Cle pour actionner plusieurs mecanismes d'un robot a caractere humanoide
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
US10279470B2 (en) 2014-06-12 2019-05-07 Play-i, Inc. System and method for facilitating program sharing
SG10201809399VA (en) 2014-06-12 2018-11-29 Play I Inc System and method for reinforcing programming education through robotic feedback
US9672756B2 (en) 2014-06-12 2017-06-06 Play-i, Inc. System and method for toy visual programming
CN104122815B (zh) * 2014-06-26 2017-07-04 南京易周能源科技有限公司 一种基于arm的水文测控终端及其远程升级的方法
WO2016005012A1 (en) 2014-07-10 2016-01-14 Aktiebolaget Electrolux Method for detecting a measurement error in a robotic cleaning device
US9610491B2 (en) 2014-07-11 2017-04-04 ProSports Technologies, LLC Playbook processor
US9316502B2 (en) 2014-07-22 2016-04-19 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
US9259838B1 (en) * 2014-07-24 2016-02-16 Google Inc. Systems and methods for ground plane estimation
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
TWI561199B (en) * 2014-08-11 2016-12-11 Wistron Corp Interference system and computer system thereof for robot cleaner
US11035818B2 (en) * 2014-08-15 2021-06-15 Roche Diabetes Care, Inc. Blood glucose meter with low cost user interface having programmed graphic indicators
JP6453583B2 (ja) * 2014-08-20 2019-01-16 東芝ライフスタイル株式会社 電気掃除機
US9902061B1 (en) 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
US10754328B2 (en) * 2014-09-05 2020-08-25 Accenture Global Solutions Limited Self-adaptive device intelligence as a service enterprise infrastructure for sensor-rich environments
US10729297B2 (en) 2014-09-08 2020-08-04 Aktiebolaget Electrolux Robotic vacuum cleaner
CN106659345B (zh) 2014-09-08 2019-09-03 伊莱克斯公司 机器人真空吸尘器
US10264175B2 (en) * 2014-09-09 2019-04-16 ProSports Technologies, LLC Facial recognition for event venue cameras
CN105430255A (zh) * 2014-09-16 2016-03-23 精工爱普生株式会社 图像处理装置以及机器人系统
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US10660496B2 (en) * 2014-09-24 2020-05-26 Samsung Electronics Co., Ltd. Cleaning robot and method of controlling the cleaning robot
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9245409B1 (en) 2014-10-04 2016-01-26 Joingo, LLC. System and method for communicating a gaming machine notification to a mobile device
US10366689B2 (en) * 2014-10-29 2019-07-30 Kyocera Corporation Communication robot
US9701012B1 (en) * 2014-10-30 2017-07-11 Daniel Theobald Controlled interaction between a mobile robot and another entity
CN107111314B (zh) * 2014-11-07 2021-10-08 索尼公司 控制系统、控制方法以及存储介质
CN105629972B (zh) * 2014-11-07 2018-05-18 科沃斯机器人股份有限公司 引导式虚拟墙系统
US20200409382A1 (en) * 2014-11-10 2020-12-31 Carnegie Mellon University Intelligent cleaning robot
US9623560B1 (en) * 2014-11-26 2017-04-18 Daniel Theobald Methods of operating a mechanism and systems related therewith
US10877484B2 (en) 2014-12-10 2020-12-29 Aktiebolaget Electrolux Using laser sensor for floor type detection
US9530058B2 (en) * 2014-12-11 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Visual-assist robots
CN114668335A (zh) 2014-12-12 2022-06-28 伊莱克斯公司 侧刷和机器人吸尘器
KR102339531B1 (ko) 2014-12-16 2021-12-16 에이비 엘렉트로룩스 로봇 청소 장치를 위한 경험-기반의 로드맵
WO2016095966A1 (en) 2014-12-16 2016-06-23 Aktiebolaget Electrolux Cleaning method for a robotic cleaning device
US9704043B2 (en) 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
US9529359B1 (en) 2015-01-08 2016-12-27 Spring Communications Company L.P. Interactive behavior engagement and management in subordinate airborne robots
JP1531361S (ja) * 2015-01-15 2015-08-17
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
JP6034892B2 (ja) * 2015-01-27 2016-11-30 ファナック株式会社 ロボットの設置台の輝度が変化するロボットシステム
US10168699B1 (en) 2015-01-30 2019-01-01 Vecna Technologies, Inc. Interactions between a vehicle and a being encountered by the vehicle
FR3032346B1 (fr) * 2015-02-05 2021-10-15 Univ Pierre Et Marie Curie Paris 6 Procede d'assistance a la manipulation d'un instrument
US9310802B1 (en) * 2015-02-05 2016-04-12 Jaybridge Robotics, Inc. Multi-operator, multi-robot control system with automatic vehicle selection
US10189342B2 (en) 2015-02-09 2019-01-29 The Regents Of The University Of California Ball-balancing robot and drive assembly therefor
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9810975B2 (en) 2015-02-11 2017-11-07 University Of Denver Rear-projected life-like robotic head
US20180009118A1 (en) * 2015-02-17 2018-01-11 Nec Corporation Robot control device, robot, robot control method, and program recording medium
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
USD766644S1 (en) * 2015-03-05 2016-09-20 The Coca-Cola Company Dispenser robot
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
US10071891B2 (en) 2015-03-06 2018-09-11 Walmart Apollo, Llc Systems, devices, and methods for providing passenger transport
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9649766B2 (en) 2015-03-17 2017-05-16 Amazon Technologies, Inc. Systems and methods to facilitate human/robot interaction
US9588519B2 (en) * 2015-03-17 2017-03-07 Amazon Technologies, Inc. Systems and methods to facilitate human/robot interaction
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US9866035B2 (en) 2015-03-27 2018-01-09 Irobot Corporation Rotatable coupling
US10990888B2 (en) 2015-03-30 2021-04-27 International Business Machines Corporation Cognitive monitoring
USD765180S1 (en) * 2015-04-09 2016-08-30 The Coca-Cola Company Dispenser robot with animated facial expressions
JP1554045S (ja) * 2015-04-16 2016-07-19
US20160307561A1 (en) * 2015-04-17 2016-10-20 Lakdas Nanayakkara System for Providing Assistance to the Visually Impaired
EP3282912B1 (en) 2015-04-17 2020-06-10 Aktiebolaget Electrolux Robotic cleaning device and a method of controlling the robotic cleaning device
WO2016170808A1 (ja) 2015-04-22 2016-10-27 ソニー株式会社 移動体制御システム、制御方法、および記憶媒体
CN106094811B (zh) * 2015-04-27 2019-03-05 华中科技大学 一种基于多传感器的助行机器人人机接口的避障控制方法
KR101649665B1 (ko) * 2015-04-29 2016-08-30 엘지전자 주식회사 이동 로봇 및 그 제어방법
US9632504B1 (en) 2015-04-30 2017-04-25 X Development Llc Robotic navigation based on building surface contours
DE102015107598A1 (de) * 2015-05-13 2016-11-17 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines selbsttätig verfahrbaren Reinigungsgerätes
USD777846S1 (en) 2015-05-19 2017-01-31 Play-i, Inc. Connector accessory for toy robot
US10940079B2 (en) 2015-05-19 2021-03-09 Sparq Laboratories, Llc Male and female sexual aid with wireless capabilities
WO2016187374A1 (en) * 2015-05-20 2016-11-24 Watchrx, Inc. Medication adherence device and coordinated care platform
CN106292730A (zh) * 2015-05-29 2017-01-04 鸿富锦精密工业(深圳)有限公司 情感交互式机器人
DE102015109775B3 (de) 2015-06-18 2016-09-22 RobArt GmbH Optischer Triangulationssensor zur Entfernungsmessung
US10235129B1 (en) 2015-06-29 2019-03-19 Amazon Technologies, Inc. Joining users to communications via voice commands
US9919425B2 (en) 2015-07-01 2018-03-20 Irobot Corporation Robot navigational sensor system
US10198706B2 (en) * 2015-07-31 2019-02-05 Locus Robotics Corp. Operator identification and performance tracking
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
EP3332923A4 (en) * 2015-08-04 2019-04-10 Beijing Evolver Robotics Co., Ltd MULTIFUNCTIONAL HOUSE ROBOT
US10474987B2 (en) * 2015-08-05 2019-11-12 Whirlpool Corporation Object recognition system for an appliance and method for managing household inventory of consumables
USD769045S1 (en) * 2015-08-05 2016-10-18 The Coca-Cola Company Beverage dispenser
US9625571B1 (en) * 2015-08-06 2017-04-18 X Development Llc Disabling robot sensors
CN105141899B (zh) * 2015-08-10 2019-01-11 北京科技大学 一种养老服务机器人的交互方法及系统
US10880470B2 (en) * 2015-08-27 2020-12-29 Accel Robotics Corporation Robotic camera system
JP6736831B2 (ja) 2015-09-03 2020-08-05 アクチエボラゲット エレクトロルックス ロボット清掃デバイスのシステム、清掃デバイスを制御する方法、コンピュータプログラム及びコンピュータプログラム製品
DE102015114883A1 (de) 2015-09-04 2017-03-09 RobArt GmbH Identifizierung und Lokalisierung einer Basisstation eines autonomen mobilen Roboters
US9633546B2 (en) * 2015-09-11 2017-04-25 WashSense, Inc. Touchless compliance system
WO2017048598A1 (en) * 2015-09-16 2017-03-23 Play-i, Inc. System and method for toy visual programming
US9637233B2 (en) 2015-09-21 2017-05-02 International Business Machines Corporation Unmanned aerial vehicle for interacting with a pet
US10491823B2 (en) * 2015-09-24 2019-11-26 Sharp Kabushiki Kaisha Mobile vehicle
US10405745B2 (en) * 2015-09-27 2019-09-10 Gnana Haranth Human socializable entity for improving digital health care delivery
FR3042061B1 (fr) * 2015-10-02 2017-11-24 Kingbox Procede, robot mobile et systeme pour la gestion automatisee d’un local de self-stockage
US9682481B2 (en) * 2015-10-26 2017-06-20 X Development Llc Communication of information regarding a robot using an optical identifier
WO2017075452A1 (en) * 2015-10-29 2017-05-04 True Image Interactive, Inc Systems and methods for machine-generated avatars
DE102015119501A1 (de) 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
CN106707834A (zh) * 2015-11-13 2017-05-24 杭州摩图科技有限公司 一种基于计算机视觉技术的遥控设备
DE102015119865B4 (de) 2015-11-17 2023-12-21 RobArt GmbH Robotergestützte Bearbeitung einer Oberfläche mittels eines Roboters
US10081106B2 (en) 2015-11-24 2018-09-25 X Development Llc Safety system for integrated human/robotic environments
CN105345820B (zh) * 2015-12-01 2017-08-22 上海唐娃智能科技有限公司 儿童成长智能机器人及其控制方法
DE102015121666B3 (de) 2015-12-11 2017-05-24 RobArt GmbH Fernsteuerung eines mobilen, autonomen Roboters
US10813572B2 (en) 2015-12-11 2020-10-27 Electronic Caregiver, Inc. Intelligent system for multi-function electronic caregiving to facilitate advanced health diagnosis, health monitoring, fall and injury prediction, health maintenance and support, and emergency response
JP6693111B2 (ja) * 2015-12-14 2020-05-13 カシオ計算機株式会社 対話装置、ロボット、対話方法及びプログラム
KR102573769B1 (ko) * 2015-12-15 2023-09-04 삼성전자주식회사 전자장치 및 그 거치대
CN105466574A (zh) * 2015-12-17 2016-04-06 深圳市艾特智能科技有限公司 人体定位感应模组及其装置
US9740207B2 (en) 2015-12-23 2017-08-22 Intel Corporation Navigating semi-autonomous mobile robots
JP6707733B2 (ja) * 2015-12-25 2020-06-10 シャダイ株式会社 移動体プラットフォームシステム
KR20170077756A (ko) 2015-12-28 2017-07-06 삼성전자주식회사 청소 로봇 및 청소 로봇의 제어 방법
USD799575S1 (en) * 2015-12-30 2017-10-10 Shenzhen Nxrobo Co., Ltd Robot
EP3401750B1 (en) * 2016-01-04 2023-01-11 Zhejiang Libiao Robots Co., Ltd. Method and device for returning robots from site
US9776323B2 (en) * 2016-01-06 2017-10-03 Disney Enterprises, Inc. Trained human-intention classifier for safe and efficient robot navigation
JP6445473B2 (ja) * 2016-01-06 2018-12-26 日本電信電話株式会社 会話支援システム、会話支援装置及び会話支援プログラム
US10051839B2 (en) * 2016-01-13 2018-08-21 Petronics Inc. Animal exerciser system
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
KR102392113B1 (ko) * 2016-01-20 2022-04-29 삼성전자주식회사 전자 장치 및 전자 장치의 음성 명령 처리 방법
US10335949B2 (en) * 2016-01-20 2019-07-02 Yujin Robot Co., Ltd. System for operating mobile robot based on complex map information and operating method thereof
JP2017127595A (ja) * 2016-01-22 2017-07-27 シャープ株式会社 ロボット掃除機
US10782686B2 (en) * 2016-01-28 2020-09-22 Savioke, Inc. Systems and methods for operating robots including the handling of delivery operations that cannot be completed
US11386383B2 (en) 2016-02-02 2022-07-12 Mikko Vaananen Social drone
US10452816B2 (en) 2016-02-08 2019-10-22 Catalia Health Inc. Method and system for patient engagement
US11445152B2 (en) 2018-08-09 2022-09-13 Cobalt Robotics Inc. Security automation in a mobile robot
US11325250B2 (en) 2017-02-06 2022-05-10 Cobalt Robotics Inc. Robot with rotatable arm
US10265859B2 (en) * 2016-02-09 2019-04-23 Cobalt Robotics Inc. Mobile robot with removable fabric panels
US11772270B2 (en) 2016-02-09 2023-10-03 Cobalt Robotics Inc. Inventory management by mobile robot
FR3047682B1 (fr) * 2016-02-12 2019-11-01 Kompaï Robotics Robot mobile d'assistance comprenant au moins un systeme d'appui
DE102016102644A1 (de) 2016-02-15 2017-08-17 RobArt GmbH Verfahren zur Steuerung eines autonomen mobilen Roboters
USD872768S1 (en) 2016-02-19 2020-01-14 Sony Corporation Robot having display screen with animated graphical user interface
US10901431B1 (en) * 2017-01-19 2021-01-26 AI Incorporated System and method for guiding heading of a mobile robotic device
US11726490B1 (en) 2016-02-19 2023-08-15 AI Incorporated System and method for guiding heading of a mobile robotic device
US10386847B1 (en) * 2016-02-19 2019-08-20 AI Incorporated System and method for guiding heading of a mobile robotic device
US10496063B1 (en) 2016-03-03 2019-12-03 AI Incorporated Method for devising a schedule based on user input
US9921574B1 (en) * 2016-03-03 2018-03-20 Sprint Communications Company L.P. Dynamic interactive robot dialogue creation incorporating disparate information sources and collective feedback analysis
JP6678334B2 (ja) * 2016-03-09 2020-04-08 パナソニックIpマネジメント株式会社 生活支援システム、歩行アシストロボット及び生活支援方法
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
JP7035300B2 (ja) 2016-03-15 2022-03-15 アクチエボラゲット エレクトロルックス ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム
US9996730B2 (en) * 2016-03-18 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems adapted for inter-device communication session
US10864453B2 (en) * 2016-03-21 2020-12-15 King Mongkut's University Of Technology Thonburi Automatic mobile robot for facilitating activities to improve child development
KR102498451B1 (ko) * 2016-03-24 2023-02-13 삼성전자주식회사 전자 장치 및 전자 장치에서의 정보 제공 방법
KR102537543B1 (ko) * 2016-03-24 2023-05-26 삼성전자주식회사 지능형 전자 장치 및 그 동작 방법
WO2017169826A1 (ja) * 2016-03-28 2017-10-05 Groove X株式会社 お出迎え行動する自律行動型ロボット
JP6576871B2 (ja) * 2016-03-31 2019-09-18 シャープ株式会社 表示装置
US11030591B1 (en) * 2016-04-01 2021-06-08 Wells Fargo Bank, N.A. Money tracking robot systems and methods
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
CN105785870A (zh) * 2016-04-02 2016-07-20 深圳金康特智能科技有限公司 一种可互动的机器人及其互动实现方法
ITUA20162341A1 (it) * 2016-04-06 2017-10-06 Reaxing Srl Sistema per effettuare attività motoria
JP6402320B2 (ja) 2016-04-08 2018-10-10 Groove X株式会社 人見知りする自律行動型ロボット
CN105912120B (zh) * 2016-04-14 2018-12-21 中南大学 基于人脸识别的移动机器人人机交互控制方法
US9892632B1 (en) * 2016-04-18 2018-02-13 Google Llc Configuring universal remote control device for appliances based on correlation of received infrared signals and detected appliance events
US11007033B2 (en) 2016-04-19 2021-05-18 Intelligent Locations, LLC Methods and systems for tracking an asset in a medical environment and determining its status
USD847914S1 (en) * 2016-04-22 2019-05-07 Groove X, Inc. Robot
DE102016206980B4 (de) * 2016-04-25 2018-12-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Handhabung eines Körpers und Handhabungsvorrichtung
US20170316705A1 (en) 2016-04-27 2017-11-02 David Paul Schultz System, Apparatus and Methods for Telesurgical Mentoring Platform
JP2017196691A (ja) * 2016-04-27 2017-11-02 パナソニックIpマネジメント株式会社 ロボット
JP6653446B2 (ja) * 2016-05-06 2020-02-26 パナソニックIpマネジメント株式会社 ロボット
US10188580B2 (en) * 2016-05-09 2019-01-29 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing environment information using an unmanned vehicle
CN109068908B (zh) 2016-05-11 2021-05-11 伊莱克斯公司 机器人清洁设备
US10241514B2 (en) 2016-05-11 2019-03-26 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
CN109070364B (zh) * 2016-05-12 2022-05-13 Groove X 株式会社 具有紧急停机功能的行为自主型机器人
JP2017204231A (ja) * 2016-05-13 2017-11-16 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CN105798924B (zh) * 2016-05-16 2018-03-16 南京创集孵化器管理有限公司 一种人形机器人的背部装置
JP2017208657A (ja) * 2016-05-17 2017-11-24 富士電機株式会社 見守り装置及び見守りシステム
JP2017205324A (ja) * 2016-05-19 2017-11-24 パナソニックIpマネジメント株式会社 ロボット
CN107433569B (zh) * 2016-05-26 2022-10-28 精工爱普生株式会社 水平多关节型机器人
US10386839B2 (en) * 2016-05-26 2019-08-20 Boston Incubator Center, LLC Mobile robot that emulates pedestrian walking behavior
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US11726487B1 (en) 2016-06-06 2023-08-15 AI Incorporated Method for robotic devices to identify doorways using machine learning
US9987752B2 (en) 2016-06-10 2018-06-05 Brain Corporation Systems and methods for automatic detection of spills
JP6844124B2 (ja) * 2016-06-14 2021-03-17 富士ゼロックス株式会社 ロボット制御システム
WO2017217192A1 (ja) * 2016-06-14 2017-12-21 Groove X株式会社 涼しさを求める自律行動型ロボット
US10052764B2 (en) * 2016-06-16 2018-08-21 Toyota Motor Engineering & Manufacutring North America, Inc. Automated and adjustable platform surface
CN107511833A (zh) * 2016-06-16 2017-12-26 小船信息科技(上海)有限公司 组装机器人
US10282849B2 (en) 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
JP6354796B2 (ja) * 2016-06-23 2018-07-11 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
US10474946B2 (en) 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
WO2018005304A1 (en) * 2016-06-26 2018-01-04 De Zulueta Elizabeth Autonomous robotic aide
US10239205B2 (en) 2016-06-29 2019-03-26 International Business Machines Corporation System, method, and recording medium for corpus curation for action manifestation for cognitive robots
CN106041879B (zh) * 2016-06-30 2019-08-09 广州映博智能科技有限公司 智能避障机器人
US10016896B2 (en) 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
DE102016212077A1 (de) * 2016-07-04 2018-01-04 Siemens Healthcare Gmbh Verfahren zum Betrieb einer wenigstens teilweise autonom bewegten, mobilen medizintechnischen Einheit und mobile medizintechnische Einheit
EP3828859A1 (en) 2016-07-04 2021-06-02 Sony Corporation Robot, robot system, and storage medium
CN106054895A (zh) * 2016-07-11 2016-10-26 湖南晖龙股份有限公司 智能营业厅机器人及其室内行走偏航自动校正方法
CN109526208B (zh) * 2016-07-11 2021-02-02 Groove X 株式会社 活动量受控制的行为自主型机器人
CN109414623B (zh) 2016-07-11 2021-03-19 Groove X 株式会社 行为自主型机器人
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
JP6467674B2 (ja) 2016-07-20 2019-02-13 Groove X株式会社 スキンシップを理解する自律行動型ロボット
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
US10136058B2 (en) * 2016-07-27 2018-11-20 Shakil Hussain Virtual presence device, system, and method
CN109789550B (zh) 2016-07-27 2023-05-30 华纳兄弟娱乐公司 基于小说或表演中的先前角色描绘的社交机器人的控制
KR102577571B1 (ko) * 2016-08-03 2023-09-14 삼성전자주식회사 로봇 장치 및 로봇 장치의 감정 표현 방법
TW201805598A (zh) * 2016-08-04 2018-02-16 鴻海精密工業股份有限公司 自主移動設備及建立導航路徑的方法
USD836690S1 (en) * 2016-08-05 2018-12-25 Samsung Electronics Co., Ltd. Robot
NO341956B1 (en) * 2016-08-09 2018-03-05 No Isolation As A system for providing virtual participation in a remote environment
CN106092091B (zh) * 2016-08-10 2019-07-02 京东方科技集团股份有限公司 电子机器设备
DE102016114835A1 (de) * 2016-08-10 2018-02-15 Joanneum Research Forschungsgesellschaft Mbh Robotervorrichtung
CN106108863A (zh) * 2016-08-12 2016-11-16 李乾 一种监护机器人系统
US11000953B2 (en) * 2016-08-17 2021-05-11 Locus Robotics Corp. Robot gamification for improvement of operator performance
CN106323289A (zh) * 2016-08-23 2017-01-11 北京小米移动软件有限公司 平衡车的控制方法及装置
USD813285S1 (en) * 2016-08-24 2018-03-20 Beijing Evolver Robotics Technology Co., Ltd. Intelligent robot for commercial service
CN106217393B (zh) * 2016-08-29 2018-09-14 华南理工大学 移动式远端临场交互平台
DE102016216409A1 (de) * 2016-08-31 2018-03-01 BSH Hausgeräte GmbH Interaktive Bedienvorrichtung
DE102016216408A1 (de) * 2016-08-31 2018-03-01 BSH Hausgeräte GmbH Multimodale Zustandsanzeige
DE112017004512T5 (de) * 2016-09-08 2019-06-13 Groove X, Inc. Autonom agierender Roboter, der einen natürlichen Abstand hält
US10137567B2 (en) 2016-09-20 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Inventory robot
EP3761135B1 (en) * 2016-09-27 2022-10-26 SZ DJI Technology Co., Ltd. System and method for controlling an unmanned vehicle in presence of a live object
US10722775B2 (en) * 2016-09-27 2020-07-28 Adidas Ag Robotic training systems and methods
US10241584B2 (en) * 2016-09-28 2019-03-26 Lenovo (Singapore) Pte. Ltd. Gesture detection
JP6443419B2 (ja) 2016-10-04 2018-12-26 トヨタ自動車株式会社 音声対話装置及びその制御方法
JP6515899B2 (ja) 2016-10-04 2019-05-22 トヨタ自動車株式会社 音声対話装置及びその制御方法
US10723029B2 (en) * 2016-10-08 2020-07-28 Zhejiang Guozi Robot Technology Co., Ltd. Safety protection method of dynamic detection for mobile robots
US10571902B2 (en) * 2016-10-12 2020-02-25 Sisu Devices Llc Robotic programming and motion control
JP6544333B2 (ja) 2016-10-13 2019-07-17 トヨタ自動車株式会社 コミュニケーション装置
CN106406312B (zh) * 2016-10-14 2017-12-26 平安科技(深圳)有限公司 导览机器人及其移动区域标定方法
US10987804B2 (en) * 2016-10-19 2021-04-27 Fuji Xerox Co., Ltd. Robot device and non-transitory computer readable medium
US10279480B1 (en) 2016-10-21 2019-05-07 X Development Llc Sensor fusion
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10274325B2 (en) 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
US10001780B2 (en) 2016-11-02 2018-06-19 Brain Corporation Systems and methods for dynamic route planning in autonomous navigation
CN106648614B (zh) * 2016-11-05 2021-05-18 杭州畅动智能科技有限公司 基于模块化平台的机器人开发系统架构及其主控单元
JP6794819B2 (ja) * 2016-11-08 2020-12-02 大日本印刷株式会社 画像プリントシステム
JP7351745B2 (ja) * 2016-11-10 2023-09-27 ワーナー・ブラザース・エンターテイメント・インコーポレイテッド 環境制御機能を有する社会ロボット
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10821614B2 (en) 2016-11-11 2020-11-03 Sarcos Corp. Clutched joint modules having a quasi-passive elastic actuator for a robotic assembly
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
CA171589S (en) * 2016-11-15 2017-08-04 Crosswing Inc Security robot
US20180133900A1 (en) * 2016-11-15 2018-05-17 JIBO, Inc. Embodied dialog and embodied speech authoring tools for use with an expressive social robot
USD840453S1 (en) * 2016-11-16 2019-02-12 Lg Electronics Inc. Robot for guiding people
USD840451S1 (en) * 2016-11-16 2019-02-12 Lg Electronics Inc. Robot for guiding people
USD840452S1 (en) * 2016-11-16 2019-02-12 Lg Electronics Inc. Robot for guiding people
WO2018094272A1 (en) 2016-11-18 2018-05-24 Robert Bosch Start-Up Platform North America, LLC, Series 1 Robotic creature and method of operation
USD862551S1 (en) * 2016-11-21 2019-10-08 Ninebot (Beijing) Tech. Co., Ltd Head for mobile service robot
RU2638003C1 (ru) * 2016-11-24 2017-12-08 Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук Способ распределения задач между сервисными роботами и средствами киберфизического интеллектуального пространства при многомодальном обслуживании пользователей
US10723018B2 (en) 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
US10775880B2 (en) * 2016-11-30 2020-09-15 Universal City Studios Llc Animated character head systems and methods
CN110062683B (zh) 2016-12-12 2023-04-28 微软技术许可有限责任公司 一种机器人姿态生成的方法、装置及计算机可读介质
CL2016003302A1 (es) * 2016-12-22 2017-09-15 Univ Chile Dispositivo de radiovisión
KR102070210B1 (ko) * 2016-12-23 2020-01-28 엘지전자 주식회사 이동 로봇
EP3338962B1 (en) * 2016-12-23 2021-12-01 LG Electronics Inc. Guide robot
EP3338964B1 (en) 2016-12-23 2021-02-17 LG Electronics Inc. -1- Guide robot
KR102660834B1 (ko) * 2016-12-23 2024-04-26 엘지전자 주식회사 안내 로봇
EP3338963B1 (en) 2016-12-23 2022-02-02 LG Electronics Inc. Guide robot
CN106514671A (zh) * 2016-12-27 2017-03-22 深圳市前海小村机器人智能科技有限公司 一种智能门童机器人
KR102616403B1 (ko) * 2016-12-27 2023-12-21 삼성전자주식회사 전자 장치 및 그의 메시지 전달 방법
KR101962151B1 (ko) * 2017-01-02 2019-03-27 엘지전자 주식회사 커뮤니케이션 로봇
KR101961376B1 (ko) * 2017-01-02 2019-03-22 엘지전자 주식회사 커뮤니케이션 로봇
KR102670610B1 (ko) * 2017-01-04 2024-05-31 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
SE540436C2 (en) 2017-01-11 2018-09-18 Husqvarna Ab Improved collision detection for a robotic work tool
US10196210B2 (en) * 2017-01-16 2019-02-05 Locus Robotics Corp. Display for improved efficiency in robot assisted order-fulfillment operations
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
US20200158517A1 (en) * 2017-01-19 2020-05-21 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
WO2018134763A1 (en) * 2017-01-20 2018-07-26 Follow Inspiration, S.A. Autonomous robotic system
US10377040B2 (en) * 2017-02-02 2019-08-13 Brain Corporation Systems and methods for assisting a robotic apparatus
US10913160B2 (en) 2017-02-06 2021-02-09 Cobalt Robotics Inc. Mobile robot with arm for door interactions
US10906185B2 (en) 2017-02-06 2021-02-02 Cobalt Robotics Inc. Mobile robot with arm for access point security checks
US11724399B2 (en) 2017-02-06 2023-08-15 Cobalt Robotics Inc. Mobile robot with arm for elevator interactions
JP2018126810A (ja) * 2017-02-06 2018-08-16 川崎重工業株式会社 ロボットシステム及びロボット対話方法
US10852730B2 (en) 2017-02-08 2020-12-01 Brain Corporation Systems and methods for robotic mobile platforms
CN106799727A (zh) * 2017-02-10 2017-06-06 深圳市笨笨机器人有限公司 壳衣可拆卸机器人及其生产方法和系统
KR20180096078A (ko) * 2017-02-20 2018-08-29 엘지전자 주식회사 모듈형 가정용 로봇
US11833684B2 (en) 2017-02-25 2023-12-05 Diligent Robotics, Inc. Systems, apparatus, and methods for robotic learning and execution of skills
ES2957271T3 (es) * 2017-02-25 2024-01-16 Diligent Robotics Inc Sistemas, aparatos y métodos para el aprendizaje y la ejecución de habilidades robóticas
WO2018158248A2 (de) 2017-03-02 2018-09-07 RobArt GmbH Verfahren zur steuerung eines autonomen,mobilen roboters
JP6818280B2 (ja) * 2017-03-10 2021-01-20 日本電信電話株式会社 対話システム、対話方法、対話装置、およびプログラム
US11393352B2 (en) * 2017-03-23 2022-07-19 Hello Clover , Llc Reading and contingent response educational and entertainment method and apparatus
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
KR102348041B1 (ko) 2017-03-28 2022-01-05 엘지전자 주식회사 복수의 이동 로봇을 포함하는 로봇 시스템의 제어 방법
US11024289B2 (en) 2017-03-29 2021-06-01 International Business Machines Corporation Cognitive recommendation engine facilitating interaction between entities
US10293485B2 (en) 2017-03-30 2019-05-21 Brain Corporation Systems and methods for robotic path planning
US11289079B2 (en) 2017-03-30 2022-03-29 Sony Corporation Information processing apparatus and information processing method
CN110914914A (zh) * 2017-03-31 2020-03-24 亿祈工作有限公司 用于陪伴机器人的方法和系统
JP6891601B2 (ja) * 2017-03-31 2021-06-18 富士通株式会社 ロボットの制御プログラム、ロボット装置、及びロボットの制御方法
US10810371B2 (en) 2017-04-06 2020-10-20 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system
US10839017B2 (en) 2017-04-06 2020-11-17 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system utilizing an advanced memory graph structure
US11151992B2 (en) * 2017-04-06 2021-10-19 AIBrain Corporation Context aware interactive robot
US10929759B2 (en) 2017-04-06 2021-02-23 AIBrain Corporation Intelligent robot software platform
US10963493B1 (en) 2017-04-06 2021-03-30 AIBrain Corporation Interactive game with robot system
DE112018001944T5 (de) * 2017-04-10 2020-05-14 Groove X, Inc. Roboter, auf dem Außenhaut befestigt ist
CN110520257B (zh) * 2017-04-10 2022-10-14 Groove X 株式会社 具有柔软外皮的机器人
US10949940B2 (en) * 2017-04-19 2021-03-16 Global Tel*Link Corporation Mobile correctional facility robots
US10690466B2 (en) 2017-04-19 2020-06-23 Global Tel*Link Corporation Mobile correctional facility robots
CN110573986B (zh) 2017-04-24 2023-05-05 惠普发展公司,有限责任合伙企业 用于计算设备的麦克风模块
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
CN106945055B (zh) * 2017-04-25 2023-10-10 深圳市优必选科技有限公司 机器人走线结构及机器人
WO2018208243A1 (en) * 2017-05-10 2018-11-15 Inovent Fikri Mulkiyet Haklari Yonetim Ticaret Ve Yatirim A.S. Plurally controllable automated robotic system for children
US10127792B1 (en) * 2017-05-12 2018-11-13 The Boeing Company Safety system for operations having a working field on an opposite side of a barrier from a device
FR3066131B1 (fr) * 2017-05-15 2019-06-14 Fogale Nanotech Robot dote d'une detection capacitive
JP7000704B2 (ja) * 2017-05-16 2022-01-19 富士フイルムビジネスイノベーション株式会社 移動式サービス提供装置及びプログラム
TWD188692S (zh) * 2017-05-19 2018-02-21 隆宸星股份有限公司 robot
TWD188693S (zh) * 2017-05-19 2018-02-21 隆宸星股份有限公司 robot
CN107028727B (zh) * 2017-05-23 2022-03-11 杭州师范大学钱江学院 自动中药配药车及其配药方法
US10178294B2 (en) 2017-05-25 2019-01-08 International Business Machines Corporation Controlling a video capture device based on cognitive personal action and image identification
JP7243967B2 (ja) 2017-06-02 2023-03-22 アクチエボラゲット エレクトロルックス ロボット清掃デバイスの前方の表面のレベル差を検出する方法
US11221497B2 (en) 2017-06-05 2022-01-11 Steelcase Inc. Multiple-polarization cloaking
US11446810B1 (en) * 2017-06-05 2022-09-20 Amazon Technologies, Inc. Robotic assistant
USD818020S1 (en) * 2017-06-06 2018-05-15 The Provost, Fellows, Foundation Scholars and the other members of Board, of the College of the Holy and Undivided Trinity of Queen Elizabeth near Dublin Robot head
US10678338B2 (en) * 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
USD859485S1 (en) * 2017-06-23 2019-09-10 Crosswing Inc. Retail and security robot
USD835693S1 (en) * 2017-06-23 2018-12-11 Samsung Electronics Co., Ltd. Robotic device
US10569420B1 (en) * 2017-06-23 2020-02-25 X Development Llc Interfacing with autonomous devices
US11429918B2 (en) 2017-06-26 2022-08-30 Hewlett-Packard Development Company, L.P. Robot deliveries based on personal data
US10824870B2 (en) * 2017-06-29 2020-11-03 Accenture Global Solutions Limited Natural language eminence based robotic agent control
KR102391322B1 (ko) * 2017-06-30 2022-04-26 엘지전자 주식회사 이동 로봇
US10427306B1 (en) * 2017-07-06 2019-10-01 X Development Llc Multimodal object identification
US11037067B2 (en) 2017-07-10 2021-06-15 Infrared Integrated Systems Limited Apparatus and method for occupancy detection
JP6854719B2 (ja) * 2017-07-11 2021-04-07 パナソニック株式会社 装置、ロボット、方法及びプログラム
DE102018116065A1 (de) 2017-07-13 2019-01-17 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Servicegerätes
JP2019018277A (ja) * 2017-07-14 2019-02-07 パナソニックIpマネジメント株式会社 ロボット
DE102017115847A1 (de) * 2017-07-14 2019-01-17 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Roboters
US11220008B2 (en) * 2017-07-18 2022-01-11 Panasonic Intellectual Property Management Co., Ltd. Apparatus, method, non-transitory computer-readable recording medium storing program, and robot
JP2019021275A (ja) * 2017-07-21 2019-02-07 クラリオン株式会社 情報処理装置、コンテンツの自動再生方法
US10483007B2 (en) 2017-07-25 2019-11-19 Intouch Technologies, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
US11188095B1 (en) * 2017-07-31 2021-11-30 AI Incorporated Systems and methods for sending scheduling information to a robotic device
CN107554642B (zh) * 2017-08-03 2019-07-02 求实科技集团有限公司 一种主动引导型导航机器人
GB2565315B (en) * 2017-08-09 2022-05-04 Emotech Ltd Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers
CN107550399B (zh) * 2017-08-17 2021-05-18 北京小米移动软件有限公司 定时清扫方法及装置
JP1614638S (ja) 2017-08-18 2018-10-01
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
JP1613042S (ja) * 2017-08-28 2018-09-10
JP6936081B2 (ja) * 2017-08-30 2021-09-15 パナソニック株式会社 ロボット
WO2019050034A1 (ja) * 2017-09-11 2019-03-14 Groove X株式会社 相手を見つめる自律行動型ロボット
JP6814118B2 (ja) * 2017-09-15 2021-01-13 株式会社日立製作所 ロボット制御装置、システム、及び方法
US10898999B1 (en) * 2017-09-18 2021-01-26 X Development Llc Selective human-robot interaction
US10157535B1 (en) 2017-09-19 2018-12-18 Jimmy Martinez Door motion sensor and reminder device
KR102032284B1 (ko) * 2017-09-22 2019-10-15 엘지전자 주식회사 인공지능 이용한 이동 로봇 및 이동 로봇의 제어방법
CN111093447B (zh) 2017-09-26 2022-09-02 伊莱克斯公司 机器人清洁设备的移动控制
JP2019059004A (ja) * 2017-09-28 2019-04-18 セイコーエプソン株式会社 ロボットシステム
US11792484B2 (en) * 2017-09-29 2023-10-17 Honda Motor Co., Ltd. Information providing system, information providing method and management apparatus for information providing system for providing information obtained through a robot
WO2019065303A1 (ja) * 2017-09-29 2019-04-04 本田技研工業株式会社 サービス提供システム、サービス提供方法およびサービス提供システム用管理装置
JP1612101S (ja) * 2017-10-03 2020-08-17
US11370108B2 (en) 2017-10-10 2022-06-28 Iunu, Inc. Intelligent track and navigation for sensor carrier
EP3696811A4 (en) * 2017-10-11 2020-11-25 Sony Corporation VOICE ENTRY DEVICE, ASSOCIATED PROCESS AND PROGRAM
JP2019072787A (ja) * 2017-10-13 2019-05-16 シャープ株式会社 制御装置、ロボット、制御方法、および制御プログラム
US11586211B2 (en) * 2017-10-25 2023-02-21 Lg Electronics Inc. AI mobile robot for learning obstacle and method of controlling the same
JP6812325B2 (ja) * 2017-10-26 2021-01-13 株式会社日立ビルシステム ロボット管理システム
USD852861S1 (en) * 2017-10-27 2019-07-02 Samsung Electronics Co., Ltd. Robotic device
USD852860S1 (en) * 2017-10-27 2019-07-02 Samsung Electronics Co., Ltd. Robotic device
KR20200074114A (ko) * 2017-10-30 2020-06-24 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
EP3602272B1 (en) 2017-11-06 2023-11-22 Google LLC Methods and systems for attending to a presenting user
KR102463806B1 (ko) * 2017-11-09 2022-11-07 삼성전자주식회사 이동이 가능한 전자 장치 및 그 동작 방법
US10629190B2 (en) 2017-11-09 2020-04-21 Paypal, Inc. Hardware command device with audio privacy features
WO2019093952A1 (en) * 2017-11-13 2019-05-16 Teenage Engineering Ab User interactive electronic system and method for controlling a robotic arm
CN109831717B (zh) * 2017-11-23 2020-12-15 深圳市优必选科技有限公司 一种降噪处理方法、系统及终端设备
CN108284426A (zh) * 2017-11-24 2018-07-17 浙江国自机器人技术有限公司 一种安防机器人
US10901430B2 (en) * 2017-11-30 2021-01-26 International Business Machines Corporation Autonomous robotic avatars
US11490248B2 (en) * 2017-12-14 2022-11-01 Lutron Technology Company Llc Privacy mode for a wireless audio device
US10293489B1 (en) * 2017-12-15 2019-05-21 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and cleaning robot using the same
US10513037B2 (en) * 2017-12-15 2019-12-24 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
US10884104B2 (en) 2017-12-20 2021-01-05 Ecolink Intelligent Technology, Inc. Monitoring device having 360 degree sensing capabilities
JP1612118S (ja) * 2017-12-21 2018-08-27
JP6747423B2 (ja) * 2017-12-22 2020-08-26 カシオ計算機株式会社 ロボット、ロボット制御システム、ロボットの制御方法及びプログラム
US10775793B2 (en) * 2017-12-22 2020-09-15 The Boeing Company Systems and methods for in-flight crew assistance
FR3076053B1 (fr) * 2017-12-26 2021-01-08 Meyko Dispositif de suivi de l'observance therapeutique chez un patient, particulierement chez un patient jeune
US10923101B2 (en) 2017-12-26 2021-02-16 International Business Machines Corporation Pausing synthesized speech output from a voice-controlled device
US10657951B2 (en) * 2017-12-26 2020-05-19 International Business Machines Corporation Controlling synthesized speech output from a voice-controlled device
US10593318B2 (en) 2017-12-26 2020-03-17 International Business Machines Corporation Initiating synthesized speech outpout from a voice-controlled device
JP7052343B2 (ja) * 2017-12-26 2022-04-12 トヨタ自動車株式会社 自律移動体および情報収集システム
US10726633B2 (en) * 2017-12-29 2020-07-28 Facebook, Inc. Systems and methods for generating and displaying artificial environments based on real-world environments
WO2019133680A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for detecting physical proximity between devices
CN112074899A (zh) 2017-12-29 2020-12-11 得麦股份有限公司 基于多模态传感输入的人机对话的智能发起的系统和方法
US11024294B2 (en) 2017-12-29 2021-06-01 DMAI, Inc. System and method for dialogue management
US11504856B2 (en) 2017-12-29 2022-11-22 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
USD870788S1 (en) * 2018-01-04 2019-12-24 Lg Electronics Inc. Robot for guiding people
USD869533S1 (en) * 2018-01-04 2019-12-10 Lg Electronics Inc. Robot for guiding people
USD857074S1 (en) * 2018-01-04 2019-08-20 Lg Electronics Inc. Robot for guiding people
USD870787S1 (en) * 2018-01-04 2019-12-24 Lg Electronics Inc. Robot for guiding people
KR102500634B1 (ko) * 2018-01-05 2023-02-16 엘지전자 주식회사 안내 로봇 및 그의 동작 방법
CN111565897A (zh) * 2018-01-10 2020-08-21 索尼公司 动物形状的自主移动对象、使动物形状的自主移动对象执行动作的方法以及程序
KR102350931B1 (ko) * 2018-01-22 2022-01-12 엘지전자 주식회사 이동 로봇
US10814487B2 (en) * 2018-01-22 2020-10-27 Disney Enterprises, Inc. Communicative self-guiding automation
KR102069765B1 (ko) * 2018-01-22 2020-01-23 엘지전자 주식회사 이동 로봇
EP3514760B1 (en) * 2018-01-23 2020-06-17 Honda Research Institute Europe GmbH Method and system for privacy compliant data recording
CN108297113A (zh) * 2018-01-23 2018-07-20 弗徕威智能机器人科技(上海)有限公司 一种多模态的服务机器人
US10853524B2 (en) 2018-01-23 2020-12-01 Wipro Limited System and method for providing security for robots
US20190236976A1 (en) * 2018-01-31 2019-08-01 Rnd64 Limited Intelligent personal assistant device
KR20190094677A (ko) * 2018-02-05 2019-08-14 삼성전자주식회사 카메라 구동 방식 변경 기반의 음성 및 얼굴 인식 장치 및 방법
KR102619621B1 (ko) 2018-02-07 2023-12-29 삼성전자주식회사 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
TWI698831B (zh) * 2018-02-09 2020-07-11 義大醫療財團法人義大醫院 顯影劑衛教警示系統
WO2019161200A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for conversational agent via adaptive caching of dialogue tree
US11308312B2 (en) 2018-02-15 2022-04-19 DMAI, Inc. System and method for reconstructing unoccupied 3D space
US11331807B2 (en) 2018-02-15 2022-05-17 DMAI, Inc. System and method for dynamic program configuration
US20190258523A1 (en) * 2018-02-21 2019-08-22 Anki, Inc. Character-Driven Computing During Unengaged Time
US10832118B2 (en) * 2018-02-23 2020-11-10 International Business Machines Corporation System and method for cognitive customer interaction
CN108154830A (zh) * 2018-02-27 2018-06-12 浙江佑童智能科技有限公司 一种儿童智能机器人表情显示屏
US11106124B2 (en) 2018-02-27 2021-08-31 Steelcase Inc. Multiple-polarization cloaking for projected and writing surface view screens
US11855932B2 (en) 2018-03-02 2023-12-26 Intuition Robotics, Ltd. Method for adjusting a device behavior based on privacy classes
JP7225763B2 (ja) * 2018-03-07 2023-02-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
WO2018127880A2 (en) * 2018-03-14 2018-07-12 Logic Studio Method and apparatus for giving and receiving objects
CN108578239B (zh) * 2018-03-21 2021-08-27 青岛大学附属医院 一种具有提高服药兴趣的儿科喂药装置
WO2019190812A1 (en) * 2018-03-26 2019-10-03 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
EP3779630A4 (en) * 2018-03-27 2021-08-11 Zhongqian You ROBOT AVOIDATION CONTROL PROCEDURES AND RELATED DEVICE
JP1612145S (ja) * 2018-03-29 2019-08-19
CN108259846B (zh) * 2018-03-30 2020-06-30 宁波高新区神台德机械设备有限公司 工业巡逻机器人系统
US10672243B2 (en) * 2018-04-03 2020-06-02 Chengfu Yu Smart tracker IP camera device and method
CN108527385A (zh) * 2018-04-17 2018-09-14 郭斌 一种用于自拍的机器人
USD912114S1 (en) * 2018-04-25 2021-03-02 Airbus Defence and Space GmbH Robot
JP7051556B2 (ja) * 2018-04-25 2022-04-11 株式会社日立製作所 サービス提供システム、情報処理装置、及びサービス提供システムの制御方法
USD898761S1 (en) * 2018-04-26 2020-10-13 Lg Electronics Inc. Display screen with graphical user interface
US10617299B2 (en) 2018-04-27 2020-04-14 Intouch Technologies, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching
KR102528737B1 (ko) 2018-04-27 2023-05-08 삼성전자주식회사 외부 전자 장치를 제어하는 전자 장치 및 방법
USD897385S1 (en) * 2018-04-28 2020-09-29 Beijing Jingdong Shangke Information Tech. Co. Ltd Robot
DE102018206941A1 (de) * 2018-05-04 2019-11-07 BSH Hausgeräte GmbH Haushalts-Assistent mit Interaktionseinheit
US11373102B2 (en) * 2018-05-04 2022-06-28 The Procter & Gamble Company Sensing and activity classification for infants
US11679036B2 (en) 2019-04-12 2023-06-20 Verily Life Sciences Llc Determining diaper loading using color detection or activity state
KR20210007965A (ko) * 2018-05-15 2021-01-20 소니 주식회사 제어 장치, 제어 방법 및 프로그램
FR3081648A1 (fr) * 2018-05-23 2019-11-29 Orange Dispositif connecte a fonction de surveillance
CN108705534A (zh) * 2018-05-31 2018-10-26 芜湖星途机器人科技有限公司 带室内定位的机器人
US10946528B2 (en) * 2018-06-01 2021-03-16 Irepa International, LLC Autonomous companion mobile robot and system
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
KR102560904B1 (ko) * 2018-06-14 2023-07-27 엘지전자 주식회사 포터 모듈이 구비된 모듈형 이동 로봇
KR102566528B1 (ko) * 2018-06-14 2023-08-10 엘지전자 주식회사 모듈형 이동 로봇
CN110605722A (zh) * 2018-06-14 2019-12-24 中瑞福宁机器人(沈阳)有限公司 养老服务机器人三层级关怀系统
CN108568806B (zh) * 2018-06-14 2024-02-13 深圳埃米电子科技有限公司 一种机器人的头部结构
USD929478S1 (en) 2018-06-15 2021-08-31 Mobile Industrial Robots A/S Mobile robot having an illuminated region
KR102137164B1 (ko) * 2018-06-15 2020-07-24 엘지전자 주식회사 안내 로봇
USD907677S1 (en) * 2018-06-15 2021-01-12 Mobile Industrial Robots A/S Mobile robot
KR102137190B1 (ko) * 2018-06-15 2020-07-24 엘지전자 주식회사 안내 로봇
US11488724B2 (en) * 2018-06-18 2022-11-01 Electronic Caregiver, Inc. Systems and methods for a virtual, intelligent and customizable personal medical assistant
JP7326707B2 (ja) * 2018-06-21 2023-08-16 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
US11080881B2 (en) * 2018-06-22 2021-08-03 Infrared Integrated Systems Limited Detection and identification systems for humans or objects
KR102165352B1 (ko) * 2018-06-25 2020-10-13 엘지전자 주식회사 로봇
US11188810B2 (en) 2018-06-26 2021-11-30 At&T Intellectual Property I, L.P. Integrated assistance platform
CN108972576A (zh) * 2018-06-29 2018-12-11 张家港市泰克软件有限公司 智能陪伴机器人
US11766785B2 (en) * 2018-06-29 2023-09-26 Noiseout, Inc. Automated testing system
USD885453S1 (en) * 2018-07-06 2020-05-26 Furhat Robotics Ab Industrial robot
CN109032133B (zh) * 2018-07-12 2023-08-01 西南石油大学 基于声源定位的室内移动机器人
EP3820655B1 (en) * 2018-07-13 2023-06-14 ABB Schweiz AG Diagnosis method and apparatus
JP6800183B2 (ja) 2018-07-13 2020-12-16 本田技研工業株式会社 コミュニケーション装置
US11175147B1 (en) * 2018-07-20 2021-11-16 Digital Dream Labs, Llc Encouraging and implementing user assistance to simultaneous localization and mapping
US11357376B2 (en) * 2018-07-27 2022-06-14 Panasonic Intellectual Property Corporation Of America Information processing method, information processing apparatus and computer-readable recording medium storing information processing program
US11399682B2 (en) * 2018-07-27 2022-08-02 Panasonic Intellectual Property Corporation Of America Information processing method, information processing apparatus and computer-readable recording medium storing information processing program
IT201800007934A1 (it) * 2018-08-07 2020-02-07 Universita' Degli Studi Di Siena Metodo per generare un segnale di consapevolezza di un robot collaborativo e relativo sistema hardware
US11460849B2 (en) 2018-08-09 2022-10-04 Cobalt Robotics Inc. Automated route selection by a mobile robot
US11082667B2 (en) 2018-08-09 2021-08-03 Cobalt Robotics Inc. Contextual automated surveillance by a mobile robot
US20200053315A1 (en) * 2018-08-13 2020-02-13 Sony Corporation Method and apparatus for assisting a tv user
JP7156865B2 (ja) * 2018-08-30 2022-10-19 川崎重工業株式会社 緩衝装置及びそれを備えるロボット
USD894248S1 (en) * 2018-08-31 2020-08-25 Roborus Co., Ltd. Robot
US10800409B2 (en) * 2018-09-04 2020-10-13 Caterpillar Paving Products Inc. Systems and methods for operating a mobile machine using detected sounds
KR101992380B1 (ko) * 2018-09-12 2019-06-24 엘지전자 주식회사 커뮤니케이션 로봇
JP6724960B2 (ja) * 2018-09-14 2020-07-15 株式会社安川電機 リソース監視システム、リソース監視方法、及びプログラム
US11583997B2 (en) * 2018-09-20 2023-02-21 Sony Group Corporation Autonomous robot
US11040441B2 (en) 2018-09-20 2021-06-22 Sony Group Corporation Situation-aware robot
WO2020058334A1 (en) * 2018-09-21 2020-03-26 Starship Technologies Oü Method and system for modifying image data captured by mobile robots
JP2020049642A (ja) * 2018-09-28 2020-04-02 セイコーエプソン株式会社 制御装置、ロボットシステム、及びロボット
JP6859992B2 (ja) * 2018-09-28 2021-04-14 セイコーエプソン株式会社 制御方法、ロボット及びロボットシステム
US11188088B2 (en) * 2018-10-10 2021-11-30 Lingdong Technology (Beijing) Co. Ltd Human interacting automatic guided vehicle
US11279041B2 (en) * 2018-10-12 2022-03-22 Dream Face Technologies, Inc. Socially assistive robot
JP7044027B2 (ja) * 2018-10-15 2022-03-30 トヨタ自動車株式会社 車両
CN109844674B (zh) * 2018-10-15 2023-02-03 灵动科技(北京)有限公司 具有可操控摄像机和指示器的物流机器人和运行方法
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
CN109262626A (zh) * 2018-10-22 2019-01-25 深圳和呈睿国际技术有限公司 陪伴机器人控制方法、系统及移动终端
US10981073B2 (en) 2018-10-22 2021-04-20 Disney Enterprises, Inc. Localized and standalone semi-randomized character conversations
USD911405S1 (en) * 2018-10-22 2021-02-23 Piaggio Fast Forward, Inc. Mobile carrier
JP7067414B2 (ja) * 2018-10-24 2022-05-16 トヨタ自動車株式会社 コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム
USD906443S1 (en) * 2018-10-30 2020-12-29 II Cary Lee Christie Rolling robot
USD899475S1 (en) * 2018-10-31 2020-10-20 Hangzhou Hikrobot Technology Co., Ltd Automatic guided transport vehicle
USD916161S1 (en) * 2018-11-05 2021-04-13 DMAI, Inc. Robot
USD910729S1 (en) * 2018-11-12 2021-02-16 Samsung Electronics Co., Ltd. Personal robot
USD910728S1 (en) * 2018-11-12 2021-02-16 Samsung Electronics Co., Ltd. Personal robot
USD898790S1 (en) * 2018-11-26 2020-10-13 Nidec-Shimpo Corporation Automatic guided vehicle
US11610502B2 (en) * 2018-11-28 2023-03-21 Kyndryl, Inc. Portable computing device for learning mathematical concepts
US20210318743A1 (en) * 2018-12-03 2021-10-14 Hewlett-Packard Development Company, L.P. Sensing audio information and footsteps to control power
KR102164540B1 (ko) * 2018-12-12 2020-10-12 강한미 반응형 ai cctv 카메라
CN109333566B (zh) * 2018-12-14 2024-02-13 沈阳理工大学 一种用于高校迎新活动的机器人
KR102657884B1 (ko) * 2018-12-18 2024-04-17 삼성전자주식회사 서비스 로봇의 동작 제어 방법 및 장치
USD887467S1 (en) * 2018-12-20 2020-06-16 Samsung Electronics Co., Ltd. Artificial intelligence robot
USD893572S1 (en) * 2018-12-20 2020-08-18 Samsung Electronics Co., Ltd. Artificial intelligence robot
USD888121S1 (en) * 2018-12-20 2020-06-23 Samsung Electronics Co., Ltd. Artificial intelligence robot
USD897388S1 (en) * 2018-12-27 2020-09-29 Iei Integration Corp. Accompany robot
USD897389S1 (en) * 2018-12-27 2020-09-29 Iei Integration Corp. Accompany robot
USD897387S1 (en) * 2018-12-27 2020-09-29 Iei Integration Corp. Accompany robot
TWD200891S (zh) * 2018-12-27 2019-11-11 威強電工業電腦股份有限公&#x5 陪伴機器人
KR20200087337A (ko) * 2018-12-31 2020-07-21 삼성전자주식회사 헬스 케어 로봇 및 그 제어 방법.
US11858129B2 (en) 2019-01-02 2024-01-02 Lg Electronics Inc. Mobile robot
WO2020141625A1 (ko) 2019-01-02 2020-07-09 엘지전자 주식회사 이동 로봇
US11952052B2 (en) * 2019-01-02 2024-04-09 Lg Electronics Inc. Service module and mobile robot having the same
WO2020141627A1 (ko) 2019-01-02 2020-07-09 엘지전자 주식회사 이동 로봇
WO2020141629A1 (ko) 2019-01-02 2020-07-09 엘지전자 주식회사 이동 로봇
US11745351B2 (en) * 2019-01-03 2023-09-05 Lucomm Technologies, Inc. Robotic devices
US11439346B2 (en) * 2019-01-03 2022-09-13 Jacob T. Boyle Robotic device for assisting individuals with a mental illness
EP3697252B1 (en) 2019-01-04 2021-07-07 Lingdong Technology (Beijing) Co. Ltd Smart luggage system with camera installed in pull rod
USD905145S1 (en) * 2019-01-08 2020-12-15 Wonder Workshop, Inc. Robot
US11830274B2 (en) 2019-01-11 2023-11-28 Infrared Integrated Systems Limited Detection and identification systems for humans or objects
US11107234B2 (en) 2019-01-11 2021-08-31 Infrared Integrated Systems Limited Validation systems and methods for human or object detection
CN109839829A (zh) * 2019-01-18 2019-06-04 弗徕威智能机器人科技(上海)有限公司 一种场景和表情双向同步方法
USD909440S1 (en) * 2019-01-28 2021-02-02 Tata Consultancy Services Limited Cobot mounting platform
USD922465S1 (en) * 2019-01-30 2021-06-15 Lg Electronics Inc. Household robot
US11078019B2 (en) 2019-01-30 2021-08-03 Locus Robotics Corp. Tote induction in warehouse order fulfillment operations
US11724395B2 (en) 2019-02-01 2023-08-15 Locus Robotics Corp. Robot congestion management
US11034027B2 (en) * 2019-02-01 2021-06-15 Locus Robotics Corp. Robot assisted personnel routing
JP7120060B2 (ja) * 2019-02-06 2022-08-17 トヨタ自動車株式会社 音声対話装置、音声対話装置の制御装置及び制御プログラム
EP3920794A4 (en) * 2019-02-06 2023-01-25 University of Georgia Research Foundation, Inc. SYSTEM FOR INTERIOR OCCUPANCY ESTIMATION, PATH TRACKING, AND EVENT MONITORING AND TRACKING
CN109848991B (zh) * 2019-02-14 2024-04-19 江门市华彬科技有限公司 一种双足行走多关节机器人
JP1646432S (ja) * 2019-02-15 2019-11-25
US20200265629A1 (en) * 2019-02-20 2020-08-20 Universal City Studios Llc Systems and methods for animation on structural features using electronic ink
KR20200102295A (ko) * 2019-02-21 2020-08-31 삼성전자주식회사 멀티 태스크 관리 방법 및 이를 위한 전자 장치
JP7108964B2 (ja) * 2019-02-26 2022-07-29 トヨタ自動車株式会社 移動体及び移動システム
US10891841B2 (en) * 2019-03-04 2021-01-12 Alexander Favors Apparatus and system for capturing criminals
KR20200115696A (ko) * 2019-03-07 2020-10-08 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2020184739A1 (ko) * 2019-03-08 2020-09-17 엘지전자 주식회사 로봇
US11279042B2 (en) * 2019-03-12 2022-03-22 Bear Robotics, Inc. Robots for serving food and/or drinks
USD918281S1 (en) * 2019-03-13 2021-05-04 Shenzhen Hairou Innovation Technology Co., Ltd. Warehouse robot
KR20210127266A (ko) * 2019-03-13 2021-10-22 엘지전자 주식회사 로봇
AU2020244732A1 (en) * 2019-03-22 2021-10-07 The Toro Company Smart scheduling for autonomous machine operation
USD916940S1 (en) 2019-03-22 2021-04-20 SZ DJI Technology Co., Ltd. Robot vehicle
JP1643698S (ja) * 2019-03-22 2019-10-21
USD923678S1 (en) * 2019-04-04 2021-06-29 William Thomas Bales Battle robot
CA3132138A1 (en) 2019-04-05 2020-10-08 Michael A. LAFAUCI Systems and methods for medication management
JP1654843S (ja) * 2019-04-11 2020-03-16
US11607143B2 (en) 2019-04-12 2023-03-21 Verily Life Sciences Llc Sensing physiological parameters through an article
WO2020215085A1 (en) * 2019-04-19 2020-10-22 Tombot, Inc. Method and system for operating a robotic device
USD906391S1 (en) * 2019-04-19 2020-12-29 Nanning Fugui Precision Industrial Co., Ltd. Smart home robot
US11531343B1 (en) * 2019-04-22 2022-12-20 Amazon Technologies, Inc. System for user interactions with an autonomous mobile device
US20200338731A1 (en) * 2019-04-25 2020-10-29 Michael L. Lynders Mobile robotic camera platform
JP7283205B2 (ja) * 2019-04-25 2023-05-30 株式会社デンソーウェーブ ロボットシステム、及び操作権限設定プログラム
US11817194B2 (en) * 2019-04-30 2023-11-14 Pixart Imaging Inc. Smart control system
US11137770B2 (en) * 2019-04-30 2021-10-05 Pixart Imaging Inc. Sensor registering method and event identifying method of smart detection system
WO2020222340A1 (ko) * 2019-05-02 2020-11-05 엘지전자 주식회사 인공지능 로봇과 그의 제어 방법
US11287505B2 (en) 2019-05-13 2022-03-29 Cast Group Of Companies Inc. Electronic tracking device and related system
JP7183944B2 (ja) * 2019-05-13 2022-12-06 トヨタ自動車株式会社 自律移動体、自律移動体の制御プログラム、自律移動体の制御方法および自律移動体を遠隔地から制御するシステムサーバ
CN110175150B (zh) * 2019-05-15 2023-02-24 重庆大学 基于数据压缩的迎宾机器人数据存储监控系统
CN110164439A (zh) * 2019-05-29 2019-08-23 姚英泽 智能服务机器人
WO2020241924A1 (ko) * 2019-05-29 2020-12-03 엘지전자 주식회사 영상 학습을 바탕으로 주행경로를 설정하는 지능형 로봇 청소기 및 이의 운용방법
US11992281B2 (en) 2019-05-31 2024-05-28 Intuitive Surgical Operations, Inc. Systems and methods for bifurcated navigation control of a manipulator cart included within a computer-assisted medical system
US11883963B2 (en) 2019-06-03 2024-01-30 Cushybots Corporation Robotic platform for interactive play using a telepresence robot surrogate
CN112069863B (zh) * 2019-06-11 2022-08-19 荣耀终端有限公司 一种面部特征的有效性判定方法及电子设备
USD914779S1 (en) * 2019-06-11 2021-03-30 SMP Robotics Systems Corp. Security robot
WO2020248109A1 (en) 2019-06-11 2020-12-17 Lingdong Technology (Beijing) Co., Ltd Self-driving systems
USD894987S1 (en) * 2019-06-14 2020-09-01 Bear Robotics Korea, Inc. Robot
USD934324S1 (en) * 2019-06-17 2021-10-26 Autostore Technology AS Autonomous transport robot
US11511410B2 (en) * 2019-06-17 2022-11-29 Lg Electronics Inc. Artificial intelligence (AI) robot and control method thereof
CN110154056A (zh) * 2019-06-17 2019-08-23 常州摩本智能科技有限公司 服务机器人及其人机交互方法
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
KR20210001627A (ko) * 2019-06-28 2021-01-06 엘지전자 주식회사 로봇 시스템 및 그 제어방법
USD896291S1 (en) * 2019-07-01 2020-09-15 Ubtech Robotics Corp Ltd Robot
US10966897B2 (en) 2019-07-02 2021-04-06 Mike Bankowski Automated walker assembly
USD906392S1 (en) * 2019-07-04 2020-12-29 Agile Robots AG Robotic arm
USD902272S1 (en) * 2019-07-11 2020-11-17 Asti Mobile Robotics Sau Automatic guided vehicle
KR20190094128A (ko) * 2019-07-23 2019-08-12 엘지전자 주식회사 IoT 기기 정보 제공 방법, IoT 기기 정보 제공 장치 및 지능형 컴퓨팅 디바이스
CN110519576B (zh) * 2019-07-29 2021-06-29 苏州浩哥文化传播有限公司 一种用于酒宴策划的互动系统及其工作方法
CN110434866B (zh) * 2019-08-02 2023-06-23 吕梁学院 一种智能护理装置及其控制方法
US20210042398A1 (en) * 2019-08-08 2021-02-11 Pulsepoint, Inc. Validation of Properties of a User Device in a Network
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
KR102306394B1 (ko) * 2019-08-23 2021-09-30 엘지전자 주식회사 인공지능 로봇 청소기
WO2021039190A1 (ja) * 2019-08-27 2021-03-04 ソニー株式会社 情報処理装置、その制御方法及びプログラム
DE102019213032A1 (de) * 2019-08-29 2021-03-04 navel robotics GmbH Roboter mit einer verhaltenssteuerungseinheit und verfahren zur verhaltenssteuerung eines roboters
JP7191793B2 (ja) * 2019-08-30 2022-12-19 株式会社東芝 信号処理装置、信号処理方法、及びプログラム
USD907132S1 (en) * 2019-09-06 2021-01-05 Peiyi Lin Robot
USD915487S1 (en) * 2019-09-07 2021-04-06 Universal Robots A/S Robotic arm
USD912117S1 (en) * 2019-09-16 2021-03-02 X Development Llc Robot arm
USD912118S1 (en) * 2019-09-16 2021-03-02 X Development Llc Perception housing for a robot
USD912115S1 (en) * 2019-09-16 2021-03-02 X Development Llc Mobile robot
USD930058S1 (en) * 2019-09-20 2021-09-07 Fuzhi Technology (Shenzhen) Co., Ltd Pet robot
KR20190116190A (ko) * 2019-09-23 2019-10-14 엘지전자 주식회사 로봇
DE102019214418A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum Fernsteuern eines Roboters
US11348332B2 (en) * 2019-09-25 2022-05-31 Toyota Research Institute, Inc. Object location analysis
KR20210037430A (ko) * 2019-09-27 2021-04-06 엘지전자 주식회사 로봇과 연결되는 장치, 이의 제어 방법, 및 로봇 시스템
USD965656S1 (en) 2019-10-14 2022-10-04 Omron Corporation Mobile robot
KR20210045022A (ko) * 2019-10-16 2021-04-26 네이버 주식회사 인식된 사람과 연관된 개인 영역에 기반하여 로봇을 제어하는 방법 및 시스템
USD928858S1 (en) * 2019-10-18 2021-08-24 Samsung Electronics Co., Ltd. Personal robot
USD928859S1 (en) * 2019-10-18 2021-08-24 Samsung Electronics Co., Ltd. Personal robot
US11599257B2 (en) 2019-11-12 2023-03-07 Cast Group Of Companies Inc. Electronic tracking device and charging apparatus
US11288509B2 (en) * 2019-11-12 2022-03-29 Toyota Research Institute, Inc. Fall detection and assistance
CN110989831B (zh) * 2019-11-15 2021-04-27 歌尔股份有限公司 音频设备的控制方法、音频设备及存储介质
US11217235B1 (en) * 2019-11-18 2022-01-04 Amazon Technologies, Inc. Autonomously motile device with audio reflection detection
US11232388B2 (en) * 2019-11-22 2022-01-25 Accenture Global Solutions Limited Automated guided vehicle systems for retrieving hems
KR20210067406A (ko) * 2019-11-29 2021-06-08 엘지전자 주식회사 로봇
KR20210068745A (ko) * 2019-12-02 2021-06-10 엘지전자 주식회사 로봇
CN111012309A (zh) * 2019-12-03 2020-04-17 王洁 一种晨检自助系统
USD940101S1 (en) * 2019-12-17 2022-01-04 Lg Electronics Inc. Speaker
USD932110S1 (en) * 2019-12-17 2021-09-28 Wei Tang Automatic feeding device for pets
KR20210078060A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 사용자와의 인터랙션 중 인터럽션(제3자로부터의 개입)을 방지하는 로봇
KR20210079961A (ko) * 2019-12-20 2021-06-30 엘지전자 주식회사 이동 로봇 및 그의 작동 방법
CN111168690B (zh) * 2019-12-30 2023-02-10 大连交通大学 一种语音交互的非固定任务多人协作机器人
EP3846414B1 (en) 2020-01-03 2022-06-08 Tata Consultancy Services Limited Edge centric communication protocol for remotely maneuvering a tele-presence robot in a geographically distributed environment
USD911409S1 (en) * 2020-01-15 2021-02-23 Delta Electronics, Inc. Industrial robot
KR102301763B1 (ko) * 2020-01-15 2021-09-16 한국과학기술연구원 이동로봇을 제어하기 위한 시스템 및 방법
CN111308463B (zh) * 2020-01-20 2022-06-07 京东方科技集团股份有限公司 人体检测方法、装置、终端设备、存储介质及电子设备
JP7310620B2 (ja) 2020-01-23 2023-07-19 トヨタ自動車株式会社 移動体
US11592423B2 (en) * 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
US20210247753A1 (en) * 2020-02-07 2021-08-12 Kabushiki Kaisha Yaskawa Denki State estimation device, system, and manufacturing method
USD972047S1 (en) 2020-02-12 2022-12-06 The Provost, Fellows, Foundation Scholars, And The Other Members Of Board Of The College Of The Holy And Undivided Trinity Of Queen Elizabeth, Near Dublin Robot
US11445301B2 (en) * 2020-02-12 2022-09-13 Sonos, Inc. Portable playback devices with network operation modes
USD930726S1 (en) * 2020-02-12 2021-09-14 RN Chidakashi Technologies Private Limited Robot
JP7350671B2 (ja) 2020-02-25 2023-09-26 三菱重工業株式会社 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム
GB2592413B8 (en) * 2020-02-27 2022-08-03 Dyson Technology Ltd Robot
GB2592412B8 (en) * 2020-02-27 2022-08-03 Dyson Technology Ltd Robot
CN111412351B (zh) * 2020-03-26 2021-04-30 苏州鱼得水电气科技有限公司 一种基于智慧医疗的调节引导指示装置
CN111331615A (zh) * 2020-03-27 2020-06-26 叶东楼 一种仿真生物迎宾机器人
US11961053B2 (en) 2020-03-27 2024-04-16 Aristocrat Technologies, Inc. Gaming service automation machine with delivery services
USD1009283S1 (en) 2020-04-22 2023-12-26 Aescape, Inc. Therapy end effector
US11945123B2 (en) * 2020-04-28 2024-04-02 Altec Industries, Inc. Head mounted display for remote operation of machinery
CN111466828B (zh) * 2020-04-29 2021-07-06 重庆理工大学 一种踢脚线及墙角清扫机器人及其工作方法
USD927580S1 (en) * 2020-05-07 2021-08-10 Expper Technologies, Inc. Interactive robot
EP4149725A2 (en) * 2020-05-12 2023-03-22 Aescape, Inc. Method and system for autonomous object interaction
US11858144B2 (en) 2020-05-12 2024-01-02 Aescape, Inc. Method and system for autonomous body interaction
US11999061B2 (en) 2020-05-12 2024-06-04 Aescape, Inc. Method and system for autonomous object manipulation
CN111745659A (zh) * 2020-06-03 2020-10-09 陈曦 一种更加人性化的迎宾机器人
US11507134B2 (en) * 2020-06-20 2022-11-22 Amazon Technologies, Inc. Audiovisual device with tiltable display
CN111711763A (zh) * 2020-06-30 2020-09-25 云从科技集团股份有限公司 摄像机镜头模组遮挡控制方法、装置及摄像机
USD980864S1 (en) * 2020-07-16 2023-03-14 Lg Electronics Inc. Display screen or a portion thereof with graphical user interface
CN111872940A (zh) * 2020-08-04 2020-11-03 浙江树人学院(浙江树人大学) 一种用于智能机器人的控制系统和方法
USD942705S1 (en) * 2020-08-11 2022-02-01 Zhushi Tu Automatic feeding device for animals
USD942519S1 (en) * 2020-08-24 2022-02-01 Shenzhen Pilot Labs Technologies Co., Ltd. Mobile robotic security device
US11741564B2 (en) 2020-09-11 2023-08-29 Locus Robotics Corp. Sequence adjustment for executing functions on hems in an order
US11113894B1 (en) * 2020-09-11 2021-09-07 Microsoft Technology Licensing, Llc Systems and methods for GPS-based and sensor-based relocalization
CN112192547A (zh) * 2020-09-22 2021-01-08 江苏拓域智能装备有限公司 带有防护部件的机器人
USD1006884S1 (en) 2020-09-25 2023-12-05 Aristocrat Technologies, Inc. Gaming services robot
CN112148243B (zh) * 2020-09-29 2021-11-09 四川易数无限科技有限公司 无线点光源定位系统及方法
US11670156B2 (en) * 2020-10-30 2023-06-06 Honda Research Institute Europe Gmbh Interactive reminder companion
US11896536B2 (en) 2020-11-06 2024-02-13 Toyota Motor North America, Inc. Wheelchair systems and methods to follow a companion
US12009083B2 (en) 2020-11-16 2024-06-11 Electronic Caregiver, Inc. Remote physical therapy and assessment of patients
WO2022106007A1 (en) * 2020-11-19 2022-05-27 Abb Schweiz Ag Method of controlling mobile robot, control system and mobile robot
USD956842S1 (en) * 2020-11-23 2022-07-05 Hyundai Motor Company Robot for guiding people
USD936057S1 (en) 2020-11-24 2021-11-16 Vr Media Technology, Inc. Scanner
US20220165381A1 (en) * 2020-11-24 2022-05-26 Electronic Caregiver, Inc. Systems and methods for detecting compliance with a medication regimen
USD964446S1 (en) * 2020-11-26 2022-09-20 Samsung Electronics Co., Ltd. Service robot
US11833676B2 (en) 2020-12-07 2023-12-05 Sarcos Corp. Combining sensor output data to prevent unsafe operation of an exoskeleton
CN115427910B (zh) 2020-12-23 2024-03-15 松下知识产权经营株式会社 机器人的控制方法、机器人以及程序
WO2022138476A1 (ja) * 2020-12-23 2022-06-30 パナソニックIpマネジメント株式会社 ロボットの制御方法、ロボット、及びプログラム
US11577380B2 (en) 2021-01-12 2023-02-14 Irobot Corporation Systems and methods for privacy management in an autonomous mobile robot
US11964398B2 (en) * 2021-01-28 2024-04-23 Micropharmacy Corporation Systems and methods for autonomous robot distributed processing
CA3207607A1 (en) 2021-02-08 2022-08-11 Andrea Lockerd THOMAZ Systems, apparatuses, and methods for robotic learning and execution of skills including navigation and manipulation functions
US20220284383A1 (en) * 2021-03-04 2022-09-08 Focal Systems, Inc. On-Shelf Image Based Barcode Reader for Inventory Management System
CN112828896B (zh) * 2021-03-15 2022-02-25 苏州工艺美术职业技术学院 一种家用智能陪伴机器人及其执行控制方法
US11368651B1 (en) * 2021-03-15 2022-06-21 Amazon Technologies, Inc. Audiovisual device
US11949997B2 (en) 2021-03-15 2024-04-02 Amazon Technologies, Inc. Electronic device with shutter assembly
US12010007B1 (en) * 2021-03-16 2024-06-11 Amazon Technologies, Inc. Detecting noisy agents in network monitoring
JP2022142111A (ja) * 2021-03-16 2022-09-30 カシオ計算機株式会社 機器の電源制御装置、機器の制御方法及びプログラム
JP7314967B2 (ja) * 2021-03-16 2023-07-26 カシオ計算機株式会社 電子機器、ロボット、制御方法及びプログラム
JP7287411B2 (ja) 2021-03-16 2023-06-06 カシオ計算機株式会社 機器の制御装置、機器の制御方法及びプログラム
JP2022148264A (ja) * 2021-03-24 2022-10-06 トヨタ自動車株式会社 走行装置、制御方法及びプログラム
US20220331966A1 (en) * 2021-04-09 2022-10-20 Beyond Imagination Inc. Mobility surrogates
IT202100009071A1 (it) * 2021-04-12 2022-10-12 Silva Hotel Splendid S R L Robot umanoide, pro-attivo, espressivo, mobile, telescopico, multifunzione con sistema d’intelligenza artificiale
GB2598037B (en) 2021-04-29 2022-09-14 X Tend Robotics Inc Robotic device for distributing designated items
CN113273930A (zh) * 2021-06-04 2021-08-20 李侃 一种集成智能救援功能的扫地机器人及其控制方法
CN113515122B (zh) * 2021-06-24 2021-12-28 深圳市普渡科技有限公司 机器人、机器人迎宾路径规划方法、装置及可读存储介质
USD1015573S1 (en) 2021-07-14 2024-02-20 Pavestone, LLC Block
WO2023004165A1 (en) * 2021-07-22 2023-01-26 Tan Kar Han Autonomous mobile robot
CN113552949A (zh) * 2021-07-30 2021-10-26 北京凯华美亚科技有限公司 多功能的沉浸式影音交互方法、装置和系统
US20240050003A1 (en) * 2021-09-09 2024-02-15 GenoEmote LLC Method and system for validating the response of a user using chatbot
CN113942009B (zh) * 2021-09-13 2023-04-18 苏州大学 机器人仿生手抓取方法
KR20230046080A (ko) * 2021-09-29 2023-04-05 삼성전자주식회사 로봇 및 그 제어 방법
USD1015396S1 (en) * 2021-10-19 2024-02-20 Hai Robotics Co., Ltd. Warehouse robot
TWI792717B (zh) * 2021-11-25 2023-02-11 凌華科技股份有限公司 資料同步系統與方法及非暫態記錄媒體
CN114322990B (zh) * 2021-12-30 2024-04-19 杭州海康机器人股份有限公司 一种用于构建移动机器人地图之数据的采集方法、装置
USD1016115S1 (en) * 2022-01-12 2024-02-27 RN Chidakashi Technologies Private Limited Robot
TWI821876B (zh) * 2022-01-21 2023-11-11 在地實驗文化事業有限公司 機動式智慧型擴增實境直播裝置
JP1760341S (ja) * 2022-01-30 2023-12-26 コンパニオンロボット
US20230298568A1 (en) * 2022-03-15 2023-09-21 Drift.com, Inc. Authoring content for a conversational bot
USD1006853S1 (en) * 2022-04-15 2023-12-05 WeHome Technology Company Limited Robot for companion
CN114701583B (zh) * 2022-04-18 2023-02-24 东北大学秦皇岛分校 一种绳驱柔性双关节仿生蟹及控制方法
US20230356397A1 (en) * 2022-05-03 2023-11-09 Stmicroelectronics Ltd Cliff detection in robotic devices
JP7180810B1 (ja) * 2022-05-25 2022-11-30 三菱電機株式会社 エレベーターシステム
US11839962B1 (en) 2022-07-28 2023-12-12 Altec Industries, Inc. Rotary tool for remote power line operations
US11717969B1 (en) 2022-07-28 2023-08-08 Altec Industries, Inc. Cooperative high-capacity and high-dexterity manipulators
US11749978B1 (en) 2022-07-28 2023-09-05 Altec Industries, Inc. Cross-arm phase-lifter
US11660750B1 (en) 2022-07-28 2023-05-30 Altec Industries, Inc. Autonomous and semi-autonomous control of aerial robotic systems
US11689008B1 (en) 2022-07-28 2023-06-27 Altec Industries, Inc. Wire tensioning system
US11794359B1 (en) 2022-07-28 2023-10-24 Altec Industries, Inc. Manual operation of a remote robot assembly
US11742108B1 (en) 2022-07-28 2023-08-29 Altec Industries, Inc. Operation and insulation techniques
US11997429B2 (en) 2022-07-28 2024-05-28 Altec Industries, nc. Reducing latency in head-mounted display for the remote operation of machinery
US11697209B1 (en) 2022-07-28 2023-07-11 Altec Industries, Inc. Coordinate mapping for motion control
CN115008503A (zh) * 2022-08-08 2022-09-06 南通欧宇信息技术有限公司 一种具有耐摔警示型保护罩的智能机器人
US11826907B1 (en) 2022-08-17 2023-11-28 Sarcos Corp. Robotic joint system with length adapter
KR20240029414A (ko) * 2022-08-26 2024-03-05 삼성전자주식회사 특정 공간을 주행하는 로봇 및 이의 제어 방법
US11717956B1 (en) 2022-08-29 2023-08-08 Sarcos Corp. Robotic joint system with integrated safety
US11924023B1 (en) 2022-11-17 2024-03-05 Sarcos Corp. Systems and methods for redundant network communication in a robot
US11897132B1 (en) 2022-11-17 2024-02-13 Sarcos Corp. Systems and methods for redundant network communication in a robot
CN116352723B (zh) * 2023-05-16 2023-08-15 上海擎朗智能科技有限公司 一种机器人交互方法、机器人、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02216320A (ja) * 1989-02-14 1990-08-29 Kubota Ltd 電動式作業車の安全装置
JPH03166074A (ja) * 1989-11-27 1991-07-18 Sony Corp 自走ロボット
JPH0858501A (ja) * 1994-08-19 1996-03-05 Fujitsu General Ltd 無人走行機
JPH10228316A (ja) * 1997-02-13 1998-08-25 Honda Motor Co Ltd デッドロック防止装置付自律走行ロボット
JP2002325708A (ja) * 2001-04-18 2002-11-12 Samsung Kwangju Electronics Co Ltd ロボット掃除機とそのシステム及び制御方法
JP2004049778A (ja) * 2002-07-24 2004-02-19 Matsushita Electric Ind Co Ltd 自走式掃除機およびそのプログラム
JP2004212382A (ja) * 2002-12-31 2004-07-29 Lg Electron Inc ロボット掃除機の回転位置誤差補正方法
JP2004275716A (ja) * 2003-03-14 2004-10-07 Lg Electronics Inc ロボット清掃機の自動充電システム及びその自動充電方法
JP2005216022A (ja) * 2004-01-30 2005-08-11 Funai Electric Co Ltd 自律走行ロボットクリーナー

Family Cites Families (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337552B1 (en) * 1999-01-20 2002-01-08 Sony Corporation Robot apparatus
CA820683A (en) 1965-10-13 1969-08-19 P. Forsyth John Vehicle
US3876255A (en) 1972-11-13 1975-04-08 Ilon B E Wheels for a course stable selfpropelling vehicle movable in any desired direction on the ground or some other base
US4223753A (en) 1977-12-19 1980-09-23 Bradbury Harold M Omni-directional transport device
US4777416A (en) * 1986-05-16 1988-10-11 Denning Mobile Robotics, Inc. Recharge docking system for mobile robot
US4792731A (en) * 1987-03-16 1988-12-20 Lightolier Incorporated Multi-room controlled for individual light controls
WO1989012726A1 (fr) * 1988-06-13 1989-12-28 Ponthieu Jean P Immeuble robot a fonctions multiples
US4857912A (en) * 1988-07-27 1989-08-15 The United States Of America As Represented By The Secretary Of The Navy Intelligent security assessment system
FR2648071B1 (fr) * 1989-06-07 1995-05-19 Onet Procede et appareil autonomes de nettoyage automatique de sol par execution de missions programmees
US5084828A (en) * 1989-09-29 1992-01-28 Healthtech Services Corp. Interactive medication delivery system
JP2921936B2 (ja) * 1990-07-13 1999-07-19 株式会社東芝 画像監視装置
US5448696A (en) * 1990-11-30 1995-09-05 Hitachi, Ltd. Map information system capable of displaying layout information
US5201814A (en) 1992-01-23 1993-04-13 Conoco Inc. Breakaway coupling device
US5276618A (en) * 1992-02-26 1994-01-04 The United States Of America As Represented By The Secretary Of The Navy Doorway transit navigational referencing system
JPH0635535A (ja) * 1992-07-15 1994-02-10 Meitec Corp 屋内移動ロボット
US5374879A (en) 1992-11-04 1994-12-20 Martin Marietta Energy Systems, Inc. Omni-directional and holonomic rolling platform with decoupled rotational and translational degrees of freedom
US5307263A (en) 1992-11-17 1994-04-26 Raya Systems, Inc. Modular microprocessor-based health monitoring system
JP3369368B2 (ja) * 1995-10-11 2003-01-20 富士通株式会社 画像処理装置
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
US6208379B1 (en) * 1996-02-20 2001-03-27 Canon Kabushiki Kaisha Camera display control and monitoring system
US5732401A (en) * 1996-03-29 1998-03-24 Intellitecs International Ltd. Activity based cost tracking systems
US6529234B2 (en) * 1996-10-15 2003-03-04 Canon Kabushiki Kaisha Camera control system, camera server, camera client, control method, and storage medium
US5808663A (en) * 1997-01-21 1998-09-15 Dell Computer Corporation Multimedia carousel for video conferencing and multimedia presentation applications
US6914622B1 (en) * 1997-05-07 2005-07-05 Telbotics Inc. Teleconferencing robot with swiveling video monitor
US20120159597A1 (en) * 1997-07-01 2012-06-21 Thomas C Douglass Methods for remote monitoring and control of security devices over a computer network
JPH11149315A (ja) 1997-11-19 1999-06-02 Mitsubishi Heavy Ind Ltd ロボット制御システム
US6446030B1 (en) * 1998-01-24 2002-09-03 Quantapoint, Inc. Method and apparatus for establishing the layout of a building
KR100617525B1 (ko) * 1998-06-23 2006-09-04 소니 가부시끼 가이샤 로봇장치 및 정보처리시스템
US20020097322A1 (en) * 2000-11-29 2002-07-25 Monroe David A. Multiple video display configurations and remote control of multiple video signals transmitted to a monitoring station over a network
US7612999B2 (en) * 1998-09-18 2009-11-03 Flo Healthcare Solutions, Llc Mobile clinical workstation
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US6980956B1 (en) * 1999-01-07 2005-12-27 Sony Corporation Machine apparatus and its driving method, and recorded medium
US20030167403A1 (en) * 1999-03-02 2003-09-04 Mccurley Kevin Snow Secure user-level tunnels on the internet
US6454708B1 (en) * 1999-04-15 2002-09-24 Nexan Limited Portable remote patient telemonitoring system using a memory card or smart card
EP1112822A4 (en) * 1999-05-10 2005-07-20 Sony Corp ROBOTS AND CONTROL PROCESSES THEREOF
EP1112821A4 (en) * 1999-05-10 2005-10-12 Sony Corp TOY AND METHOD FOR CONTROLLING THEREOF
US6292713B1 (en) * 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
JP2001101144A (ja) * 1999-09-30 2001-04-13 Hitachi Ltd メモリ付き情報端末
JP2001191276A (ja) * 1999-10-29 2001-07-17 Sony Corp ロボットシステム、ロボット装置及びその外装
US6548982B1 (en) * 1999-11-19 2003-04-15 Regents Of The University Of Minnesota Miniature robotic vehicles and methods of controlling same
KR20010101883A (ko) * 1999-11-30 2001-11-15 이데이 노부유끼 로봇 장치와 그 제어 방법, 및 로봇 장치의 성격 판별 방법
JP2001188555A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2001191283A (ja) * 1999-12-31 2001-07-17 Sony Corp ロボット装置及びその制御方法
US8412377B2 (en) * 2000-01-24 2013-04-02 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US6509926B1 (en) * 2000-02-17 2003-01-21 Sensormatic Electronics Corporation Surveillance apparatus for camera surveillance system
AU2001238354A1 (en) * 2000-02-18 2001-08-27 The University Of Maryland Methods for the electronic annotation, retrieval, and use of electronic images
US6845297B2 (en) 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
WO2001084260A2 (en) 2000-05-01 2001-11-08 Irobot Corporation Method and system for remote control of mobile robot
US6539284B2 (en) * 2000-07-25 2003-03-25 Axonn Robotics, Llc Socially interactive autonomous robot
AU2001283502A1 (en) * 2000-07-26 2002-02-05 Livewave, Inc. Methods and systems for networked camera control
JP2002046088A (ja) * 2000-08-03 2002-02-12 Matsushita Electric Ind Co Ltd ロボット装置
WO2002019104A1 (fr) * 2000-08-28 2002-03-07 Sony Corporation Dispositif et procede de communication, systeme de reseau et appareil robotise
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
CN1290034C (zh) * 2000-10-13 2006-12-13 索尼公司 机器人装置及其行为控制方法
JP2002307354A (ja) * 2000-11-07 2002-10-23 Sega Toys:Kk 電子玩具
SE0004465D0 (sv) * 2000-12-04 2000-12-04 Abb Ab Robot system
US6658325B2 (en) * 2001-01-16 2003-12-02 Stephen Eliot Zweig Mobile robotic with web server and digital radio links
US20020128746A1 (en) * 2001-02-27 2002-09-12 International Business Machines Corporation Apparatus, system and method for a remotely monitored and operated avatar
US7206753B2 (en) * 2001-05-04 2007-04-17 Axxon Robotics, Llc Methods for facilitating a retail environment
US7242306B2 (en) * 2001-05-08 2007-07-10 Hill-Rom Services, Inc. Article locating and tracking apparatus and method
JP2002354551A (ja) * 2001-05-25 2002-12-06 Mitsubishi Heavy Ind Ltd ロボットサービス提供方法およびロボットサービス提供システム
JP2002355779A (ja) 2001-06-01 2002-12-10 Sharp Corp ロボット型インタフェース装置およびその制御方法
US7216173B2 (en) * 2001-06-12 2007-05-08 Varian Medical Systems Technologies, Inc. Virtual private network software system
US6604021B2 (en) 2001-06-21 2003-08-05 Advanced Telecommunications Research Institute International Communication robot
US20030037250A1 (en) * 2001-06-29 2003-02-20 Doodlebug Online, Inc. System and method for securely accessing data on content servers using dual encrypted paths from a central authorization host
JP3900870B2 (ja) * 2001-08-07 2007-04-04 オムロン株式会社 情報収集装置、情報収集方法、および情報収集システム
US6580246B2 (en) * 2001-08-13 2003-06-17 Steven Jacobs Robot touch shield
US6667592B2 (en) * 2001-08-13 2003-12-23 Intellibot, L.L.C. Mapped robot system
US6850818B2 (en) * 2001-10-22 2005-02-01 Sony Corporation Robot apparatus and control method thereof
GB0126499D0 (en) * 2001-11-03 2002-01-02 Dyson Ltd An autonomous machine
US20050101841A9 (en) * 2001-12-04 2005-05-12 Kimberly-Clark Worldwide, Inc. Healthcare networks with biosensors
US7574323B2 (en) * 2001-12-17 2009-08-11 Wireless Valley Communications, Inc. Textual and graphical demarcation of location, and interpretation of measurements
US7315821B2 (en) * 2002-01-31 2008-01-01 Sanyo Electric Co., Ltd. System and method for health care information processing based on acoustic features
US6784916B2 (en) * 2002-02-11 2004-08-31 Telbotics Inc. Video conferencing apparatus
US6732015B2 (en) * 2002-03-14 2004-05-04 Kabushiki Kaisha Toshiba Robot system
JP2003285285A (ja) 2002-03-27 2003-10-07 Nec Corp ソフトウェアエージェントを有するロボット装置及びその制御方法とプログラム
US6652164B2 (en) * 2002-03-28 2003-11-25 Pelco Retractable camera mounting mechanism
JP2003296855A (ja) * 2002-03-29 2003-10-17 Toshiba Corp 監視装置
JP3733924B2 (ja) * 2002-04-30 2006-01-11 オムロン株式会社 撮像装置、撮像システム、撮像装置の制御方法
WO2003096054A2 (en) * 2002-05-10 2003-11-20 Honda Giken Kogyo Kabushiki Kaisha Real-time target tracking of an unpredictable target amid unknown obstacles
JP2003340759A (ja) * 2002-05-20 2003-12-02 Sony Corp ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
WO2003102706A1 (fr) * 2002-05-31 2003-12-11 Fujitsu Limited Robot telecommande et procede d'identification automatique de la position de robot.
DE10224816A1 (de) * 2002-06-05 2003-12-24 Philips Intellectual Property Eine mobile Einheit und ein Verfahren zur Steuerung einer mobilen Einheit
US20040162637A1 (en) * 2002-07-25 2004-08-19 Yulun Wang Medical tele-robotic system with a master remote station with an arbitrator
US6925357B2 (en) * 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
US7593030B2 (en) * 2002-07-25 2009-09-22 Intouch Technologies, Inc. Tele-robotic videoconferencing in a corporate environment
GB0218188D0 (en) * 2002-08-06 2002-09-11 Hewlett Packard Co Methods and arrangements applicable to exhibition spaces
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
US20060064202A1 (en) * 2002-08-26 2006-03-23 Sony Corporation Environment identification device, environment identification method, and robot device
JP4258607B2 (ja) * 2002-09-20 2009-04-30 株式会社エクォス・リサーチ 車載装置
JP4072033B2 (ja) * 2002-09-24 2008-04-02 本田技研工業株式会社 受付案内ロボット装置
EP1548532A4 (en) * 2002-10-01 2007-08-08 Fujitsu Ltd ROBOT
JP4532280B2 (ja) * 2002-10-23 2010-08-25 シーメンス アクチエンゲゼルシヤフト 自由面および占有面を有する面を記述するグラフ構造を形成するための方法および装置ならびにプログラムコード手段を有するコンピュータプログラムおよびコンピュータプログラム製品
US7200427B2 (en) * 2002-11-26 2007-04-03 Ge Medical Systems Information Technologies, Inc. Computer-equipped mobility device for connecting to a network
JP3885019B2 (ja) * 2002-11-29 2007-02-21 株式会社東芝 セキュリティシステム及び移動ロボット
US20050009469A1 (en) * 2002-12-20 2005-01-13 Sakari Kotola Client software download in bluetooth device bonding
KR100506533B1 (ko) * 2003-01-11 2005-08-05 삼성전자주식회사 이동로봇 및 그에 따른 자율주행 시스템 및 방법
US7158859B2 (en) * 2003-01-15 2007-01-02 Intouch Technologies, Inc. 5 degrees of freedom mobile robot
JP3738256B2 (ja) 2003-03-05 2006-01-25 松下電器産業株式会社 生活空間用の物品移動システム、及びロボット操作装置
JP3713021B2 (ja) * 2003-02-17 2005-11-02 松下電器産業株式会社 生活空間用の物品取扱いシステム及びロボット操作装置
US7171286B2 (en) * 2003-02-24 2007-01-30 Intouch Technologies, Inc. Healthcare tele-robotic system with a robot that also functions as a remote station
US7388981B2 (en) * 2003-02-27 2008-06-17 Hewlett-Packard Development Company, L.P. Telepresence system with automatic preservation of user head size
JP4252333B2 (ja) 2003-02-28 2009-04-08 富士通株式会社 移動ロボット
US7262573B2 (en) * 2003-03-06 2007-08-28 Intouch Technologies, Inc. Medical tele-robotic system with a head worn device
US7593546B2 (en) * 2003-03-11 2009-09-22 Hewlett-Packard Development Company, L.P. Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2004337556A (ja) * 2003-05-13 2004-12-02 Yasuo Fujii 生体情報取得手段を具備し健康管理機能を備えたロボット
JPWO2004106009A1 (ja) * 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
US6888333B2 (en) * 2003-07-02 2005-05-03 Intouch Health, Inc. Holonomic platform for a robot
JP4048492B2 (ja) * 2003-07-03 2008-02-20 ソニー株式会社 音声対話装置及び方法並びにロボット装置
GB2404466B (en) * 2003-07-31 2007-07-18 Hewlett Packard Development Co Method and apparatus for providing information about a real-world space
WO2005015466A1 (ja) * 2003-08-07 2005-02-17 Matsushita Electric Industrial Co., Ltd. 生活支援システム及びその制御用プログラム
US7624438B2 (en) * 2003-08-20 2009-11-24 Eric White System and method for providing a secure connection between networked computers
KR100754704B1 (ko) * 2003-08-29 2007-09-03 삼성전자주식회사 위치에 따라 설정 변경이 가능한 이동통신 단말기 및 방법
US20070061041A1 (en) * 2003-09-02 2007-03-15 Zweig Stephen E Mobile robot with wireless location sensing apparatus
JP2005088179A (ja) * 2003-09-22 2005-04-07 Honda Motor Co Ltd 自律移動ロボットシステム
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP2005103678A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
US7813836B2 (en) * 2003-12-09 2010-10-12 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
JP2005193331A (ja) * 2004-01-06 2005-07-21 Sony Corp ロボット装置及びその情動表出方法
JP4303602B2 (ja) * 2004-01-09 2009-07-29 本田技研工業株式会社 顔面像取得システム
JP4244812B2 (ja) * 2004-01-16 2009-03-25 ソニー株式会社 行動制御システム及びロボット装置の行動制御方法
JP2005199403A (ja) * 2004-01-16 2005-07-28 Sony Corp 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置
US7332890B2 (en) * 2004-01-21 2008-02-19 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
JP2005211367A (ja) * 2004-01-30 2005-08-11 Funai Electric Co Ltd 自律走行ロボットクリーナー
JP2005211359A (ja) * 2004-01-30 2005-08-11 Funai Electric Co Ltd 自律走行ロボットクリーナーシステム
JP4257230B2 (ja) * 2004-02-26 2009-04-22 株式会社東芝 移動ロボット
JP4595436B2 (ja) 2004-03-25 2010-12-08 日本電気株式会社 ロボット、その制御方法及び制御用プログラム
WO2005098729A2 (en) * 2004-03-27 2005-10-20 Harvey Koselka Autonomous personal service robot
JP2005288646A (ja) * 2004-04-01 2005-10-20 Toshiba Corp ロボット
US7940932B2 (en) * 2004-04-08 2011-05-10 Texas Instruments Incorporated Methods, apparatus, and systems for securing SIM (subscriber identity module) personalization and other data on a first processor and secure communication of the SIM data to a second processor
JP2005324297A (ja) * 2004-05-17 2005-11-24 Matsushita Electric Ind Co Ltd ロボット
US7949616B2 (en) * 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
US7526792B2 (en) * 2004-06-09 2009-04-28 Intel Corporation Integration of policy compliance enforcement and device authentication
JP2006007368A (ja) * 2004-06-25 2006-01-12 Funai Electric Co Ltd 自走式掃除機
JP4321455B2 (ja) * 2004-06-29 2009-08-26 ソニー株式会社 状況認識装置、システム
US8065408B2 (en) * 2004-06-30 2011-11-22 Nokia, Inc. Method and system for dynamic device address management
US8972052B2 (en) * 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
US7702420B2 (en) * 2004-07-07 2010-04-20 Panasonic Corporation Method for making mobile unit accompany objective person
US7706917B1 (en) * 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
JP3992026B2 (ja) * 2004-07-09 2007-10-17 船井電機株式会社 自走ロボット
US8077963B2 (en) * 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
WO2006012524A2 (en) * 2004-07-23 2006-02-02 Vicon Industries Inc. Surveillance camera system
US20060043111A1 (en) * 2004-08-23 2006-03-02 Craig Jennings Robotic beverage server
JP2006074207A (ja) * 2004-08-31 2006-03-16 Toshiba Corp 移動型情報装置とこの移動方法、及び情報システムと位置推定方法
KR100639068B1 (ko) * 2004-09-06 2006-10-30 한국과학기술원 로봇의 감정표현장치 및 방법
JP4604612B2 (ja) * 2004-09-07 2011-01-05 日本電気株式会社 Icタグ管理装置、それを含むロボットおよびicタグ管理方法
US20060052676A1 (en) * 2004-09-07 2006-03-09 Yulun Wang Tele-presence system that allows for remote monitoring/observation and review of a patient and their medical records
US7164118B2 (en) 2004-10-29 2007-01-16 Deere & Company Method and system for obstacle detection
KR100703692B1 (ko) * 2004-11-03 2007-04-05 삼성전자주식회사 공간상에 존재하는 오브젝트들을 구별하기 위한 시스템,장치 및 방법
KR100636270B1 (ko) * 2005-02-04 2006-10-19 삼성전자주식회사 홈 네트워크 시스템 및 그 제어방법
JP4266211B2 (ja) * 2005-03-23 2009-05-20 株式会社東芝 ロボット装置、ロボット装置の移動方法、および、プログラム
US7436143B2 (en) * 2005-04-25 2008-10-14 M-Bots, Inc. Miniature surveillance robot
US20060282342A1 (en) * 2005-05-06 2006-12-14 Leigh Chapman Image-based inventory tracking and reports
US20060259193A1 (en) * 2005-05-12 2006-11-16 Yulun Wang Telerobotic system with a dual application screen presentation
JP4455417B2 (ja) * 2005-06-13 2010-04-21 株式会社東芝 移動ロボット、プログラム及びロボット制御方法
US20140122116A1 (en) * 2005-07-06 2014-05-01 Alan H. Smythe System and method for providing audio data to assist in electronic medical records management
US20070008918A1 (en) * 2005-07-08 2007-01-11 Meshnetworks, Inc. Application layer presentation of routing and link quality data adapted for use in controlling movement of moveable devices
US7456596B2 (en) * 2005-08-19 2008-11-25 Cisco Technology, Inc. Automatic radio site survey using a robot
US20070060105A1 (en) * 2005-08-31 2007-03-15 Puneet Batta System and method for optimizing a wireless connection between wireless devices
US7643051B2 (en) * 2005-09-09 2010-01-05 Roy Benjamin Sandberg Mobile video teleconferencing system and control method
ATE522330T1 (de) 2005-09-30 2011-09-15 Irobot Corp Robotersystem mit kabelloser kommunikation mittels tcp/ip übertragung
US9198728B2 (en) * 2005-09-30 2015-12-01 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
WO2007047514A2 (en) * 2005-10-14 2007-04-26 Aethon, Inc. Robotic retrieval and delivery system
JP4375320B2 (ja) * 2005-10-27 2009-12-02 株式会社日立製作所 移動ロボット
US7769492B2 (en) * 2006-02-22 2010-08-03 Intouch Technologies, Inc. Graphical interface for a remote presence system
US20090249222A1 (en) * 2008-03-25 2009-10-01 Square Products Corporation System and method for simultaneous media presentation
CA2720886A1 (en) * 2010-11-12 2012-05-12 Crosswing Inc. Customizable virtual presence system
US20130117867A1 (en) * 2011-11-06 2013-05-09 Hei Tao Fung Theft Prevention for Networked Robot

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02216320A (ja) * 1989-02-14 1990-08-29 Kubota Ltd 電動式作業車の安全装置
JPH03166074A (ja) * 1989-11-27 1991-07-18 Sony Corp 自走ロボット
JPH0858501A (ja) * 1994-08-19 1996-03-05 Fujitsu General Ltd 無人走行機
JPH10228316A (ja) * 1997-02-13 1998-08-25 Honda Motor Co Ltd デッドロック防止装置付自律走行ロボット
JP2002325708A (ja) * 2001-04-18 2002-11-12 Samsung Kwangju Electronics Co Ltd ロボット掃除機とそのシステム及び制御方法
JP2004049778A (ja) * 2002-07-24 2004-02-19 Matsushita Electric Ind Co Ltd 自走式掃除機およびそのプログラム
JP2004212382A (ja) * 2002-12-31 2004-07-29 Lg Electron Inc ロボット掃除機の回転位置誤差補正方法
JP2004275716A (ja) * 2003-03-14 2004-10-07 Lg Electronics Inc ロボット清掃機の自動充電システム及びその自動充電方法
JP2005216022A (ja) * 2004-01-30 2005-08-11 Funai Electric Co Ltd 自律走行ロボットクリーナー

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD823917S1 (en) * 2016-01-29 2018-07-24 Softbank Robotics Europe Robot
KR20200041384A (ko) * 2017-09-08 2020-04-21 나이앤틱, 인크. 충돌 검출, 추정 및 회피
KR102235003B1 (ko) * 2017-09-08 2021-04-02 나이앤틱, 인크. 충돌 검출, 추정 및 회피
JP2019123055A (ja) * 2018-01-18 2019-07-25 株式会社ユピテル 装置
JP7033720B2 (ja) 2018-02-23 2022-03-11 パナソニックIpマネジメント株式会社 移動ロボット
JP2019145046A (ja) * 2018-02-23 2019-08-29 パナソニックIpマネジメント株式会社 移動ロボット
KR101901819B1 (ko) * 2018-04-11 2018-11-07 한국해양과학기술원 Rov 위험 경고 및 충돌방지 시스템 및 방법
WO2020022371A1 (ja) * 2018-07-26 2020-01-30 Groove X株式会社 ロボットならびにその制御方法および制御プログラム
JPWO2020022371A1 (ja) * 2018-07-26 2021-08-05 Groove X株式会社 ロボットならびにその制御方法および制御プログラム
JP2020069934A (ja) * 2018-10-31 2020-05-07 トヨタ自動車株式会社 車両
JP2021176505A (ja) * 2020-05-06 2021-11-11 ジーイー・プレシジョン・ヘルスケア・エルエルシー 移動式医療機器駆動プラットフォームのためのシステムおよび方法
US11690582B2 (en) 2020-05-06 2023-07-04 GE Precision Healthcare LLC Systems and methods for a mobile medical device drive platform
JP7334208B2 (ja) 2020-05-06 2023-08-28 ジーイー・プレシジョン・ヘルスケア・エルエルシー 移動式医療機器駆動プラットフォームのためのシステムおよび方法

Also Published As

Publication number Publication date
US9878445B2 (en) 2018-01-30
US20140142757A1 (en) 2014-05-22
US20120303160A1 (en) 2012-11-29
US9446510B2 (en) 2016-09-20
JP6215087B2 (ja) 2017-10-18
US7957837B2 (en) 2011-06-07
JP2014146348A (ja) 2014-08-14
US8935006B2 (en) 2015-01-13
JP2016103277A (ja) 2016-06-02
WO2007041295A8 (en) 2007-10-11
US8583282B2 (en) 2013-11-12
ATE522330T1 (de) 2011-09-15
US20070199108A1 (en) 2007-08-23
US7720572B2 (en) 2010-05-18
US20090177323A1 (en) 2009-07-09
EP2281667A1 (en) 2011-02-09
WO2007041295A3 (en) 2007-07-12
JP5203499B2 (ja) 2013-06-05
JP6329121B2 (ja) 2018-05-23
EP2050544A1 (en) 2009-04-22
JP2012138086A (ja) 2012-07-19
US9796078B2 (en) 2017-10-24
EP2281668B1 (en) 2013-04-17
US20070192910A1 (en) 2007-08-16
ATE524784T1 (de) 2011-09-15
US8195333B2 (en) 2012-06-05
US20070198128A1 (en) 2007-08-23
JP5188977B2 (ja) 2013-04-24
US20140095007A1 (en) 2014-04-03
EP1941411A2 (en) 2008-07-09
JP2009509673A (ja) 2009-03-12
US9452525B2 (en) 2016-09-27
US20150224640A1 (en) 2015-08-13
JP2015038737A (ja) 2015-02-26
WO2007041295A2 (en) 2007-04-12
EP2281668A1 (en) 2011-02-09
US20180154514A1 (en) 2018-06-07
US20110172822A1 (en) 2011-07-14
EP1941411B1 (en) 2011-09-14
US10661433B2 (en) 2020-05-26
US20140039680A1 (en) 2014-02-06
EP2050544B1 (en) 2011-08-31
EP2281667B1 (en) 2013-04-17
JP2013059856A (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
JP6329121B2 (ja) 移動ロボットを含むロボットシステムにより実行される方法
US11892851B2 (en) System and methods for tagging accessibility features with a motorized mobile system
Hai et al. Remote healthcare for the elderly, patients by tele-presence robot

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170309

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170628

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717