JP2020528190A - マルチデバイス・ロボット制御 - Google Patents

マルチデバイス・ロボット制御 Download PDF

Info

Publication number
JP2020528190A
JP2020528190A JP2020524733A JP2020524733A JP2020528190A JP 2020528190 A JP2020528190 A JP 2020528190A JP 2020524733 A JP2020524733 A JP 2020524733A JP 2020524733 A JP2020524733 A JP 2020524733A JP 2020528190 A JP2020528190 A JP 2020528190A
Authority
JP
Japan
Prior art keywords
robot
external device
components
inputs
commands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020524733A
Other languages
English (en)
Other versions
JP7089301B2 (ja
JP2020528190A5 (ja
Inventor
クラウス、ガブリエル
フォックス、ハリー
Original Assignee
ハイパーリンク テクノロジーズ、インコーポレイテッド
ハイパーリンク テクノロジーズ、インコーポレイテッド
クラウス、ガブリエル
フォックス、ハリー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハイパーリンク テクノロジーズ、インコーポレイテッド, ハイパーリンク テクノロジーズ、インコーポレイテッド, クラウス、ガブリエル, フォックス、ハリー filed Critical ハイパーリンク テクノロジーズ、インコーポレイテッド
Publication of JP2020528190A publication Critical patent/JP2020528190A/ja
Publication of JP2020528190A5 publication Critical patent/JP2020528190A5/ja
Application granted granted Critical
Publication of JP7089301B2 publication Critical patent/JP7089301B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1632External expansion units, e.g. docking stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B15/00Identifying, scaring or incapacitating burglars, thieves or intruders, e.g. by explosives
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45103Security, surveillance applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/50Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391Robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Fuzzy Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Manipulator (AREA)
  • Telephonic Communication Services (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)

Abstract

システム、方法、及び、関連する技術が、マルチデバイス・ロボット制御のために開示される。1つの実装形態においては、入力が受け取られて、パーソナル・アシスタント、或いは、他のアプリケーション又はサービスへ提供される。応答して、外部デバイスに向けられたコマンドが、例えば、パーソナル・アシスタントから受け取られる。上記コマンドに基づいて、ロボットは、外部デバイスと関係付けられた位置に関して動かされる。ロボットから外部デバイスへの命令の送信が始まる。

Description

本出願は、2017年7月20日に出願された米国特許出願番号第62/535116及び2017年7月20日に出願された米国特許出願番号第62/535122に関し、それらの恩恵を主張するものであり、これらの出願それぞれの全体が参照により本明細書に組み込まれる。
本開示の態様及び実装形態は、例えば、監視ロボットに関連した、マルチデバイス・ロボット制御に関する。
様々のロボット・デバイスは、物理空間の全体にわたって動くことができる。そのようなロボットでは、カメラ及びマイクロホンのようなセンサを組み込むことができる。
本開示の態様及び実装形態は、以下に提示される詳細な説明から、そして、本開示の様々の態様及び実装形態の添付の図面から、より完全に理解されるであろう。しかしながら、本開示の態様及び実装形態は、特定の態様又は実装形態に制限するためのものと理解されるべきではなく、説明及び理解のみを目的とするものである。
ロボット・システムの例示的なブロック図である。 ロボット・システムが外部の通信ネットワークを介してホーム又はローカル・ネットワーク内の他のデバイス及びモバイル・デバイスにどのように接続されるかについて示す例示的なブロック図ある。 ロボットとモバイル・デバイスとの間の遠隔認証の態様の例示的な概略図である。 ロボットとモバイル・デバイスとの間の遠隔通信がどのように達成されるかについての一例を示す図である。 監視を提供する際にデバイスがどのようにロボットと相乗的に動作することができるかについての態様を示す例示的なフローチャートである。 1つの実施例に従う、ロボット制御のための方法を示す例示的なフローチャートである。 本明細書に記述されているように、IoTロボットの様々のオペレーション・モードの態様を示す例示的なフローチャートである。 タブレット・ドック上に着脱自在に載置されたデバイスを有するロボットの例を示す図である。 デバイスの平面に沿って横に摺動された第1及び第3のエッジを有するタブレット・ドックに載置されたデバイスの例を示す図である。 デバイス・ドックが様々の横方向寸法を有する複数のデバイスを収容するように適合化され得る複数の構成例を示す図である。 デバイス・ドックの主凹部及び第1の副凹部の例を示す図である。 デバイス・ドックの第1及び第2の副凹部の例を示す図である。 第2の側凹部の近傍における、第4のエッジ部材に沿う、デバイス・ドックの平面図の例であって、格納式ケーブル及び第2の側凹部がどのように組み合わされて、第4のエッジ部材に沿って異なる横方向位置にある複数のデバイス・ドック・アクセス入力ポートを許容するかについて模式的に説明する例示的な平面図である。 第2の側凹部の近傍における、第4のエッジ部材に沿う、デバイス・ドックの断面図の例であって、格納式ケーブル及び第2の側凹部がどのように組み合わされて、第2の副凹部の底部から異なる距離に位置するデバイス・ドック・アクセス入力ポートを許容するかについて模式的に説明する例示的な断面図である。 1つの実施例による、マシンで読み取り可能な媒体から命令を読み込んで、本明細書において記述された複数の手順のうちの1つ又は複数を実行することが可能なマシンの複数の構成要素を例示するブロック図である。
本開示の態様及び実装形態は、マルチデバイス・ロボット制御に向けられたものである。
ビデオカメラ及び他のセンサのようなインターネットに接続されたデバイスは、例えば、監視を提供するために、ホーム又はオフィス設定の際にインストールされ得る。これらのデバイス/カメラの欠点は、それらがインストールのために相当な労力を必要とする場合があるということである。更に、これらのデバイス/カメラは、膨大な量のデータを、例えば、離れた場所で(例えば、クラウドサービスによって)格納されるべきビデオ・フィードの形で、発生する。しかしながら、ダウンロード・レイテンシ、帯域幅制限等のために、クラウド・ストレージは制限されており、且つ、遅い。ローカル・ストレージもまた利用され得るが、大量のデータを格納する必要のためにクラウド・ストレージより高価である。このように、膨大な量の生成された監視データを維持することは多くのユーザにとっての問題である。ビデオカメラに加えて、スマート電気メータ、スマート・エアコンディショナ、スマート・ライト等のような、ネットワーク/インターネットに接続された他の多くのデバイスは、膨大な量のストレージを利用するデータを生成する場合があるが、ストレージ及びオフライン・データ保存のオプションは限られている。
インターネット接続された監視のためのビデオカメラを使用することに加えて、様々のロボット技術では、(例えば、ユーザが自宅又はオフィスにいないとき)例えば、人間であるユーザに代わって、特定の監視及び他のセキュリティ・タスクを実行することができる。しかしながら、ユーザが、視覚的、聴覚的、又は、物理的通信手段によって接近して監視ロボットと直通通信できるときには、上記のような技術は構成可能であるだけでもよい。1つの欠点は、ユーザが接近せずに遠隔的には、監視ロボットを利用して、ロボットに情報を送ること、及び、ロボットから情報を受け取ることができない場合があるということである。
加えて、現在の技術によれば、監視ロボットが単一のコントローラによって制御され得るようにすることができるだけである。しかしながら、複数のユーザが遠隔で1つ又は複数のセキュリティ関連タスクを実行するために監視ロボットに同時アクセスすることを望むときには、これは理想的ではない場合がある。更に、遠隔及び複数ユーザのロボットへのアクセスを提供することが有用であるような(監視に関連した応用以外の)他の応用も存在する。これらの応用の幾つかの例は、(例えば、患者を輸送することのような保健医療の提供を支援するためのロボットについては)病院のような設定、(例えば、重い物体を持ち上げることのような反復作業を実行するロボットについては)工業的な設定等で見つけられる。
現在の監視ロボット技術の更なる欠点は、セキュリティ・タスクを実行するために既存の監視リソースを最適に利用することができない場合があるということである。更に、そのような既存の技術は、オフラインでの監視データの記憶、オンラインの観察管理、及び、自動視認処理をユーザに提供するために中央プラットホームとして機能することができない場合がある。更になお、既存の監視ロボット技術は、タッチスクリーン又はプログラムされたコマンドによって直接制御され得るだけであって、口頭のコマンドを理解し、日常の会話からロボット・タスクを抽出することができない場合がある。
したがって、より良い解決策により上述した欠点に対処する必要がある。こうして、マルチデバイス・ロボット制御を可能にする、システム、方法、及び、マシンにより読み取り可能な媒体を含む複数の技術が、本明細書における様々の実装形態において記述されている。これらの本明細書に記述されている技術は、本明細書において詳述するように、多くの利点を提供する。
したがって、これらの本明細書に記述されている技術が、ロボット工学、マルチデバイス制御、及び、監視を含むがこれに限らない複数の技術領域における特定の技術的な課題及び長年の欠陥に向けられて、これらに対処するということが理解され得るであろう。本明細書において詳細に説明されているように、本明細書に開示されている技術は、本明細書に記載されている技術的な課題、及び、本明細書に記載されている技術分野において達成されていない要求に対して、特定の技術的な解決策を提供し、従来のアプローチを越える多くの利点及び進歩を提供する。加えて、様々の実装形態においては、本明細書において記載される、複数のハードウェア要素、複数の構成要素等のうちの1つ又は複数は、(例えば、本明細書において記述されているような仕方で)本明細書に記述されている技術を可能にし、改善し、そして/又は、強化するように動作する。
本明細書に記述されている技術の1つの実装形態は図1に示されている。図1は、ロボットを制御するシステム100を示す。システム100は、処理ユニット102、センサ・アレイ112、タッチ対応ディスプレイ・ユニット114、通信インタフェース116、メモリ110、ロボット・コントローラ120、サーボモータ122、及び、近接センサ118を含むことができる。処理ユニット102は、中央処理論理回路104、センサ・データ・インプット106、及び、ユーザ・データ・インプット108を含むことができる。
様々の実装形態において、センサ・データ・インプット106は、センサ・アレイ112からセンサ入力データを受け取るように動作可能なインタフェースであり得、ユーザ・データ・インプット108は、タッチ対応ディスプレイ・ユニット114から、そして、通信インタフェース116から、ユーザ入力データを受け取るように動作可能なインタフェースであり得る。通信インタフェース116は、他のローカル・デバイスへの、又は、インターネットへの接続のための、有線及び無線接続をサポートすることができる。センサ・アレイ112は、ローカル撮像ができるためのビデオカメラ(図示せず)、ユーザからの音及び音声コマンドを記録するためのマイクロホン、人間の存在の検出のための赤外センサ、レーザー・スキャナ、レーザー・ストリップ検出器、GPS(Grobal Positioning System),及び,短距離レーダー等を含むことができる。
図1に示されるように、処理ユニット102は、ロボット制御エンジン124を含む,又は、組み込むこともできる。ロボット制御エンジン124は、処理ユニット102及び/又は中央処理論理回路104によって実行、及び/又は、実施され、本明細書において記述されている動作及び機能を可能にする、例えば、アプリケーション、モジュール、命令等であり得る。
中央処理論理回路104は、センサ・データ・インプット106及びユーザ・データ・インプット108からの入力データを、例えば、予め定義された一組の命令、又は、コンピュータ・プログラム又はソフトウェアとして一般に知られた一組のルールに従って、処理するように動作可能である。更に、中央処理論理回路104は、論理回路を使用し、センサ・アレイ112の一部であるマイクロホンを介して受け取られた音声コマンドからロボット・タスクを抽出することができる。その後で、中央処理論理回路104は、入力データの処理からの結果に基づいてロボットの他の構成要素へ制御信号を送ることができる。
様々の実装形態において、中央処理論理回路104は、ロボット・コントローラ120との双方向通信が可能である。ロボット・コントローラ120は、機能的に関連するか又は組み込まれた近接センサ118からの近接データに加えて、中央処理論理回路104から制御信号又は命令を受け取ることができる。その後で、ロボット・コントローラ120は、様々の機械的タスク、オペレーション、又は、動作を遂行するために、サーボモータ122への制御信号を生成し、送信することができる。そのようなタスクの例としては、ロボットの誘導及び物体の移動/持ち上げを含む。ロボット・コントローラ120は、更なる処理のために、フィードバック信号を中央処理論理回路104へ送信するようにも動作可能であり得る。
本明細書において記述されているように、様々の実装形態においては、センサ・アレイ112によるローカル・イメージング及び検知能力と結びつけられたサーボモータ122によって誘導するロボット(例えば、図2に示されるロボット200)の移動能力は、ロボット200が活動場所(例えば、住宅)の全体にわたって能動的監視を提供することを可能にする。
様々の実装形態において、中央処理論理回路104は、処理又は入力されたデータの格納及び読出しをするためにメモリ110と通信することもできる。メモリ110は、例えば、コンピュータにおいて使用する情報を格納するために用いる不揮発性又は揮発性メモリであり得る。不揮発性メモリの非限定的な例は、ランダムアクセスメモリ(RAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能PROM(EPROM)、及び、電気的消去可能PROM(EEPROM)を含む。揮発性メモリの非限定的な例は、ランダムアクセスメモリ(RAM)、動的ランダムアクセスメモリ(DRAM)、及び、静的ランダムアクセスメモリ(SRAM)を含む。他の実装形態においては、メモリ110は、サーバのような外部デバイスにおいて、又は、クラウド・ストレージ・サービスのようなサービスによって実現され得る。他の実装形態においては、メモリ110は、(例えば、ブロックチェーン、及び/又は、分散コンピューティング・ストレージ技術のようなその他の技術を用いる)分散型又は非集中型システム/環境の範囲内で実現され得る。様々の実装形態において、中央処理論理回路104は、ビデオ/オーディオ、及び/又は、他の出力をユーザに表示するために、コンテンツを生成し、そして/又は、タッチ対応ディスプレイ・ユニット114へ供給することができる。中央処理論理回路104は、通信インタフェース116を介して無線で他のデバイスにデータ又は制御信号を送ることもできる。
図2に示されるような様々の実装形態においては、ロボット200は、また、ロボット・システム100の通信インタフェース116によって、ローカル・ネットワーク214を介して様々の外部デバイスと接続され得る。そのような外部デバイスの例としては、(外部監視ビデオカメラのような)1つ又は複数のセンサ216、及び、スマート・デバイス218が挙げられる。特定の実装形態においては、ローカル・ネットワーク214は、ブルートゥース接続、WiFi(登録商標)又は無線LAN(WLAN)接続、有線LAN接続、近距離無線通信(NFC:Near Field Commumcation)接続、又は、他の種類の無線又は有線接続を含むことができる。スマート・デバイス218は、無線及び/又は有線接続を有することができ、ロボット200と対話的に、又は、独立して動作することができる電子デバイスであり得る。更に、特定の実装形態においては、監視ビデオカメラ216は、物理的にロボットの外部に置かれ得、(図1に示されるように)センサ・アレイ112の一部として含まれるローカル・ビデオカメラと区別されることになることは理解されるであろう。
図2にも示されるように、ロボット200は、また、インターネット又はモバイル通信ネットワークのような広域ネットワーク202を介してアクセスされるバックエンド・サーバ204のようなデバイスを介して、様々のモバイル・デバイス208、210、及び、212に接続され得る。そのようなリモート接続は、ここに記述されているロボット・システム100が、上記のデバイス208、210、及び、212によって遠隔に制御又は設定され得るようにする。1つ又は複数の上記のデバイスが接続され得るネットワーク/インターネット接続の非限定的な例は、ダイヤルアップ、デジタル加入者線、ケーブル、無線、衛星アクセス、及び、セルラ・アクセスを含む。
開示された技術は、様々の技術的問題及び欠点に対処する複数の実施例に関して記述されている。これらの問題は、ロボットの遠隔のアクセス又は制御に関する課題を含む。問題の1つの例は、例えば、ロボットが可動性であって(それ故、様々の場所にあり)、静的ネットワーク・アドレスを有することができないという状況において、モバイル・デバイスが、インターネットを介して、ロボットの位置を特定する、又は、ロボットと通信することができることを確実にすることである。問題の他の例は、例えば、ロボットへのアクセスを正規ユーザに制限して、許可されていないアクセス/制御を防止するために、ロボットとモバイル・デバイスとの間の安全な遠隔通信をどのように提供するかということである。
本明細書において、「設定される」という用語は、その明白且つ通常の意味を含む。1つの実例において、マシンは、そのマシンの1つ又は複数のプロセッサにとってアクセス可能であるメモリに格納される、1つの方法のためのソフトウェア・コードを有することによって、その方法を実行するように設定される。1つ又は複数のプロセッサはメモリにアクセスして、方法を実行する。他の実例では、方法を実行するための命令は、プロセッサ内にハードウェアとして実装されている。更に別の実例では、一部の命令は物理的に組み込まれており、一部の命令はメモリにソフトウェア・コードとして格納される。
図3に示されるオペレーションの様々の実装形態においては、例えば、バックエンド・サーバ204を介して(又は、本明細書において記述されているような他のマシン/デバイスを介して)実装されるような、遠隔認証プロセス/方法300が存在する。そのような方法は、モバイル・デバイス208がインターネットを介してロボット200のネットワーク位置を判断し、更に前もって許可又は登録されたユーザ及びロボットを認証し得るようにすることができる。上記の方法は、ハードウェア(回路、専用論理回路等)、(本明細書において記述されているようなコンピューティング・デバイス上で実行されるような)ソフトウェア、又は、両方の組み合わせを備えることができる処理論理回路によって実行される。特定の実装形態においては、本明細書において記述されている様々のオペレーションは、様々のアプリケーション(例えば、ロボット制御エンジン124)を実行することができるサーバ204によって実行され得る。
説明を簡単にするため、複数の方法が一連の動作として描写され記述される。しかしながら、本開示による複数の動作は、様々の順序で、そして/又は、同時に並行して、更に、本明細書に提示されず記述されていない他の動作と共に、発生し得る。更に、全ての説明される動作が、開示された内容に従う方法を実行するために必要であり得るというわけではない。加えて、これらの方法は、代わりに、状態図により互いに関係する一連の状態、又は、一連のイベントとして表現され得ると、当業者は理解し認識するであろう。加えて、本明細書に開示された方法は、そのような方法をコンピューティング・デバイスへ転送及び伝達することを容易にするために製造物品に格納され得ることは理解されるに違いない。本明細書で用いられる「製造物品」という用語は、任意のコンピュータ読み取り可能なデバイス又は記憶媒体からアクセス可能なコンピュータ・プログラムを含むことを意味する。
オペレーション302では、ロボット200は、暗号化されたロボット認証要求をバックエンド・サーバ204へ送信することができる。暗号化されたロボット認証要求は、ロボットと関係付けられた固有のロボット識別子、及び、ロボット200の現在のネットワーク・アドレス(例えば、インターネット・プロトコル(IP)アドレス)を含むことができる。ロボット認証要求は、第1のロボット認証キーによって暗号化され得る。そのような要求は、サーバ204によって受け取られ得る。
オペレーション304において、例えば、固有のロボット識別子を用いるロボットのアイデンティティを識別し確認するための第2のロボット認証キーと、正当と認められたロボットのリストをそれらの対応する固有のロボット識別子及び最近のネットワーク・アドレスと共に含むことができるユーザ・データベース206とを用いて、バックエンド・サーバは、受け取ったロボット認証要求を復号するように動作可能である。更に、第1のロボット認証キー及び第2のロボット認証キーは、第1の認証キーが秘密キーで、第2の認証キーが対応する公開キーである非対称公開/秘密キーの対であってよい。
オペレーション306において、バックエンド・サーバ204は、ロボット200の固有のロボット識別子に基づいて、ユーザ・データベース206においてロボット200のネットワーク・アドレス・エントリを格納又は更新することができる。オペレーション308において、バックエンド・サーバ204は、成功した認証及び更新に応じて、成功の通知メッセージをロボットへ送ることができる。オペレーション308が終結すると、バックエンド・サーバ204は、ロボット200の最も更新されたネットワーク・アドレスを有することができる。
同様にして、オペレーション310及び316で記述されているように、ユーザ・データベース206と通信するバックエンド・サーバ204は、また、モバイル・デバイス208のネットワーク・アドレスを認証することも、更新することもできる。様々の実装形態において、モバイル・デバイス208は、オペレーション310において、暗号化されたモバイル・デバイス認証要求をバックエンド・サーバ204へ送ることができる。暗号化されたモバイル・デバイス認証要求は、モバイル・デバイスの固有の識別子、固有のメッセージ、固有のフレーズ、固有のジェスチャ、又は、任意の形式の生体データをも含むことができる。それから、バックエンド・サーバ312は、ユーザ・データベース206に照会することによって、認証要求の中に含まれるモバイル・デバイスの認証の詳細情報を復号し確認することができる。モバイル・デバイス208の成功した認証に応じて、バックエンド・サーバ204は、モバイル・デバイスの現在のネットワーク・アドレスでユーザ・データベース206において格納又は更新することができる。様々の実装形態において、単一のロボット200と関係付けられた1つ又は複数の正当と認められたモバイル・デバイス(208、210、及び、212)が存在し得る。
モバイル・デバイス208がオペレーション316で成功裏に認証された後、様々の安全な遠隔通信オペレーション、プロセス、及び/又は、プロトコル400が、図4に示されているように実行され得る。そのような安全な遠隔通信オペレーション、プロセス、及び/又は、プロトコルは、例えば、モバイル・デバイス208とロボット200との間で秘密通信を可能にすることができる。
オペレーション402で、モバイル・デバイス208は、暗号化された要求をロボット200へ送信して、特定のタスク、オペレーション、コマンド等を(例えば、監視又はセキュリティ関連タスクを)実行することができる。これらのタスクの内容は機械的及び/又は電子的なものでよい。非限定的な機械的タスクとしては、ある場所から他の場所へとロボットを誘導すること、物体を持ち上げる、又は、移動すること、ローカル・センサの位置を調整することがある。電子的タスクの非限定的な例としては、スマート・デバイス218の動作を制御するため、そして、メモリ110からデータを読み出して表示するために、制御信号を送ることを含むことができる。そのような要求は、ロボット200によって受け取られ得る。
(例えば、オペレーション402において)ロボット200へ送信された暗号化された要求はバックエンド・サーバ204によって受け取られ得る。オペレーション404において、サーバ204はデータベースに照会して、ロボットの最も更新されたネットワーク・アドレスを得ることができる。
オペレーション406において、バックエンド・サーバ204は、暗号化された要求をロボットのネットワーク・アドレスによって転送することができる。オペレーション408において、ロボット200は、暗号化された要求を受信し、復号し、処理することができる。オペレーション410において、ロボットは、上記要求に従ってタスクを実施又は実行することができる。
オペレーション412において、要求又はタスクが成功裏に実施された後、ロボット200は、例えば、暗号化された応答をバックエンド・サーバ204を介してモバイル・デバイス208へ送ることができる。オペレーション414において、バックエンド・サーバ204は、ユーザ・データベース206に照会して目的のモバイル・デバイス208のネットワーク・アドレスを得、オペレーション416において、暗号化された応答をネットワーク・アドレスを介してモバイル・デバイス208へ送達することができる。様々の実装形態において、ロボット200に対する暗号化された要求は、(例えば、もし少なくとも2つの、ロボット200と関係付けられ、正当と認められたモバイル・デバイスがある場合には)バックエンド・サーバ204が目的のモバイル・デバイス208の正しいネットワーク・アドレスを判断することを可能にするために、モバイル・デバイス208の固有の識別子を伴うことができる。
様々の実装形態において、本明細書に記述されている技術は、ロボットが、ローカル・ネットワークに接続される(監視ビデオカメラ216及びスマート・デバイス218のような)複数のデバイスに接続され得るようにし、そして、それらのデバイスを制御し得るようにすることができる。このことは更なる技術的利点を提供することができる。例えば、そのような構成は、ユーザが遠隔で単一のインタフェースを介して家庭に設置された複数のスマート電子デバイスにアクセスし得るようにするための中央ハブ又はプラットホームとしてロボットが動作し得るようにすることができる。例えば、ユーザは、(インターネット接続を介して直接アクセスできない場合がある周辺デバイスを含む)他の周辺デバイスについて様々のオペレーションを実行するために、ロボットを介して遠隔で制御信号を発することができる。一例として、ユーザは(モバイル・デバイスを介して)、インターネット接続を経由して確実にはアクセスできない場合がある他のデバイスに1つ又は複数のコマンド(例えば、スマートヒーター、エアコンディショナ、照明、又は、テレビジョンをオン又はオフにするコマンド)を与えるために、ロボットに1つのコマンドを与えることができる。この際、ロボットは、例えば、ロボットがそのようなデバイスに関して接続(例えば、Bluetooth、NFC等の接続)を確立して上記コマンドを与えられる位置まで移動することができる。
様々の実装形態において、監視ビデオカメラ216及びスマート・デバイス218は、限られた、ストレージ及びオフライン・データ保存のオプションを有することができ、1つ又は複数のそのようなカメラ/1つ又は複数のデバイスによってキャプチャされた受信データをダウンロードし、それをローカルに(例えば、メモリ110に)格納することによって、ロボット100は、メモリ110によって追加のストレージを提供することができる。加えて、更なるストレージ及び/又はストリーミング機能を有効にするために、ロボット200は、更に、ストレージ統合ソフトウェア・ソリューションを有して、様々のクラウド技術を用いる複数のスマート・デバイス218を統合することもできる。様々の実装形態においては、ロボット200は、センサ/監視ビデオカメラ216及び/又は他のデバイスによって送信された/から受信されたビデオ及び他のコンテンツのスチーミング、分析、及び、格納を支援することもできる。
本明細書に記述されている技術では、ロボットが複数のスマート・デバイス218及び監視ビデオカメラ216に接続され得るようにすることができ、それにより、更なる技術的利点を提供することができる。例えば、ロボット200は、相補的且つ相乗的にタスクを実施するために、既存のデジタル・リソース及びインフラを利用/活用することができる。
例えば、図5Aは、どのようにしてセキュリティ又は監視タスクが相乗的に実施され得るかを示す非限定的な方法500を図示する。特定の実装形態においては、そのようなタスクは、ロボット200、監視ビデオカメラ216、及び/又は、被接続スマート・デバイス218の組み合わされたオペレーション、又は、相補的なオペレーションによって実行され得る。
オペレーション502において、(無線で接続され得る)監視ビデオカメラ216は、リアルタイムのコンテンツ/ビデオ(例えば、住宅又はオフィスの中の関心領域のフィード)をキャプチャすることができる。
オペレーション504において、(例えば、オペレーション502においてキャプチャされたような)リアルタイムのビデオ/フィードは、更なる処理のためにロボット・システム100へ(例えば、リアルタイムに)(例えば、無線で)送信され得る。ロボット・システム100は、上記のビデオ/フィードを受信することができ、中央処理論理回路104は受け取ったビデオ・フィードの視覚分析を(例えば、リアルタイムに)実行することができる。この際、アノーマリ検出が、例えば、中央処理論理回路104によって実施/実行されるような画像認識又は検出技術を使用して、実行され得る。例えば、中央処理論理回路104は、画像認識又は検出プログラムを実施して、ビデオ/フィードにおける人間の存在について検出することができ、その人間の身元が知られているか(又は、その人間が侵入者であるかどうか)どうかを判断するために更に顔認識を実行することができる。
オペレーション506において、ロボットは、(例えば、504において上記人間が潜在的な侵入者として識別される場合)セキュリティ・タスクの一部として侵入者の近傍の被接続スマート・デバイス218へ制御信号を無線で送ることができる。例えば、ロボットは、制御信号を送ってスマート点灯デバイスのスイッチを入れるか、又は、潜在的な侵入者が検出された部屋のスマートアラームを発することができる。ロボット200は、更なる調査のために侵入者にズームインするために監視ビデオカメラ216へ制御信号を送ることもできる。
様々の実装形態において、ロボットは、オペレーション506において、その移動/誘導能力を利用して侵入者の付近まで移動又は操縦し、追加の監視を提供することができる。
オペレーション508において、ロボットは、潜在的な侵入者の近傍にあるときに、例えば、更なる調査のための更なるコンテンツ(例えば、広角監視ビデオ)をキャプチャすることができる。
オペレーション510において、追加の処理(例えば、視覚分析)は、ロボット200によって(例えば、中央処理論理回路104によって)実行され得る。例えば、ロボットによってキャプチャされた広角監視ビデオは、検出されたアノーマリを確証するために(例えば、潜在的侵入者が確かに未確認/無許可の誰かであることを確認するために)処理され得る。様々の実装形態において、アノーマリが確証又は確認される場合、ユーザ又は所有者は、モバイル・デバイス208へ送られるメッセージによって警戒態勢を取ることができる。
更に、上述の特徴の複数の変形及び組み合わせが結合されて、本明細書に記述されている技術の範囲内の更なる実施例を形成し得ることは理解されるに違いない。例えば、モバイル・デバイス208、210、及び、212はインターネットを介してロボットに接続されると上記実施例に記述されているが、モバイル・デバイス208、210、及び、212は更にローカル・ネットワーク214にロボットを接続することもできると理解されるべきである。このローカル・ネットワーク制御モードにおいて、バックエンド・サーバ204は、モバイル・デバイス208、210、及び、212とロボット200との間の接続を確立するために必ずしも必要でない場合がある。ローカル・ネットワーク214は、ブルートゥース接続、WiFi又は無線LAN(WLAN)接続、有線LAN接続、或いは、他の同様の種類の無線又は有線接続を含むことができる。
本明細書に記述されているロボット制御システムは、対話命令を対話型のスピーチ、テキスト、映像、及び/又は、ジェスチャの出力へ変換するように構成された対話型ロボット・コントローラを更に備えることができる。
本明細書に記述されているロボットは、更なるデバイスを一体化又はサポートするように設定され得る。例えば、それらが標準化されるときは、ロボットは追加の通信プロトコルを実施するように設定され得る。この際、ロボットは、益々数が増加するデバイスと通信し、それらのデバイスによって制御されるように、上記のようなプロトコルを使用することができる。
本明細書において述べられた様々のネットワーク又は無線ネットワーキング・プロトコルは例であると意図されている。ロボットは、任意のホーム/オフィス/モバイル/無線ネットワーキング・ソリューションに沿って動作するように構成され得る。
IPアドレスに基づいて複数のデバイス及び複数のロボットを接続する例もまた、1つの非限定的な例である。実際的には、任意のネットワークを対象にする技術は、ロボットと登録されたローカル及び/又はモバイル・デバイスとを接続するために用いることができる。
バックエンド・サーバ204及びユーザ・データベース206は、クラウドサービス内に配置され得るか、又は、物理的なエンティティとして実装され得る。
様々の実装形態においては、ユーザ・データベース206は、ロボット200上にローカルに設置され得る。そのような実装形態においては、認証オペレーション310から316は、ロボット200上で(例えば、バックエンド・サーバ204を介して実行される代わりに)ローカルに実行され得る。
特定の実装形態においては、本明細書に記述されている技術は、もののインターネット(IOT)デバイスのハブとして機能するようにロボット200を設定することができる。そのような機能は、様々のデバイスの統合、又は、パーソナル・アシスタントの機能を提供するサービスによって更に強化され得る。例えば、図2に示されるように、ロボット200は、デバイス220とのインタフェースをする、或いは、ローカルな/直接的な接続を介して、又は、インターネットを介してデバイス220と通信することができる。デバイス220は、パーソナル・アシスタント222のようなパーソナル・アシスタントを1つ又は複数含む、或いは、実装する、被接続デバイスであり得る。
パーソナル・アシスタント222は、ユーザと対話する、ユーザにコンテンツを提供する、そして/又は、ユーザに代わってオペレーションを実行するように、このデバイスを設定するアプリケーション又はモジュールであり得る。例えば、パーソナル・アシスタント222は、ユーザから通信及び/又は要求を受け取り、そのような要求に対して応答を提示/提供することができる。特定の実装形態においては、パーソナル・アシスタント222は、(例えば、ユーザの位置、又は、他のそのような状況に基づいて)ユーザに関係し得るコンテンツを識別し、そのようなコンテンツをユーザに提示することができる。パーソナル・アシスタント222は、ユーザが1つ又は複数の他のアプリケーションの開始及び/又は設定を行い得るようにすることもできる。例えば、ユーザは、コマンド/メッセージ(例えば、『ジャズの音楽を流す』)をパーソナル・アシスタント222に与えることができる。そのようなコマンドに応答して、パーソナル・アシスタント222は、ユーザによって与えられた要求を満たすアプリケーション(例えば、メディアプレーヤ・アプリケーション)を開始することができる。パーソナル・アシスタントは、例えば、本明細書において記述されているような様々の他の動作をも開始及び/又は実行することができる。特定の実装形態においては、デバイス220は、各々が様々のオペレーティングシステム、プラットホーム、ネットワーク、及び/又は、エコシステムと関係し得る複数のパーソナル・アシスタントを提供するように設定され得る。
様々の実装形態において、本明細書に記述されている技術は、図2に示されるサービス230のような様々のサービスを利用及び/又は活用する、そして/又は、そのような様々のサービスと通信することができる。そのようなサービスの1つ又は複数は、例えば、本明細書において記述されている特定のオペレーションを強化するコンテンツ、又は、そのオペレーションに関連するコンテンツの読み出しを可能にすることができるサードパーティ・サービスであり得る。加えて、特定の実装形態においては、そのようなサービスは、ユーザが通信/対話できるサービス等であり得る。
様々の構成要素(例えば、パーソナル・アシスタント222)がデバイス220上で動作すると描写及び/又は記載されているが、これは明快さ目的のためだけであることに留意するべきである。しかしながら、他の実装形態においては、上記の構成要素は、他のデバイス/マシン上で実行され得る。例えば、デバイス220においてローカルに実行することの代わりに、パーソナル・アシスタント220の態様は遠隔で(例えば、サーバデバイス上で、或いは、クラウドサービス又はフレームワークの範囲内で)実施され得る。一例として、パーソナル・アシスタント222はサービス230に関連して動作することができる。サービス230は1つ又は複数の遠隔デバイス上で実行するパーソナル・アシスタント・サービスであり得る。この際、パーソナル・アシスタント222は、例えば、パーソナル・アシスタント・サービス230に情報、通信等を要求する、又は、パーソナル・アシスタント・サービス230から情報、通信等を受信することができる。それにより、パーソナル・アシスタント222の機能を強化する。他の実装形態においては、ロボット200は、パーソナル・アシスタント222を実行するように設定され得る。例えば、(図1に示されるような)ロボット制御エンジン124は、パーソナル・アシスタント222と関係付けられた機能を統合及び/又は提供するように設定され得る。この際、ロボットは、ロボットと関係付けられた機動性、広範囲のセンサ、及び、他の能力及び利点を更に統合し/組み込むと共に、パーソナル・アシスタントと関係付けられた複数のサービスを利用することができる。したがって、上記のパーソナル・アシスタントの特徴はロボットの動作を更に強化するが、ロボットの特徴はパーソナル・アシスタントの動作を更に強化する。
図5Bは、ロボット制御のための、1つの実施例による、方法520を示すフローチャートである。この方法は、(回路、専用論理回路等の)ハードウェア、(本明細書において記述されているもののようなコンピューティング・デバイス上で実行されるような)ソフトウェア、又は、両方の組み合わせを備えることができる処理論理回路によって実行される。1つの実装形態においては、方法520は図1から図2を参照して描写され、そして/又は、記述されている1つ又は複数の要素(ロボット200、ロボット制御エンジン124、処理ユニット120、パーソナル・アシスタント222等を含むが、これに限定されるものではない)によって実行されるが、他の幾つかの実装形態においては、図5Bの1つ又は複数のブロックは1つ又は複数の他のマシンによって実行され得る。
説明を簡単にするため、複数の方法が一連の動作として描写され、記述される。しかしながら、本開示による複数の動作は、様々の順序で、そして/又は、同時に並行して、更に、本明細書に提示されず、記述されていない他の動作と共に、発生し得る。更に、全ての説明される動作は、開示された内容に従う方法を実行するために必要であり得るというわけではない。加えて、これらの方法は、代わりに、状態図により互いに関係する一連の状態、又は、一連のイベントとして表現され得ると、当業者は理解し認識するであろう。加えて、本明細書に開示された方法は、そのような方法をコンピューティング・デバイスへ転送及び伝達することを容易にするために製造物品に格納され得ることは理解されるに違いない。本明細書で用いられる「製造物品」という用語は、任意のコンピュータ読み取り可能なデバイス又は記憶媒体からアクセス可能なコンピュータ・プログラムを含むことを意味する。
オペレーション522において、1つ又は複数の入力が受け取られる。特定の実装形態においては、そのような入力(例えば、ユーザから発生した音声入力)は、本明細書において記述されているロボット、パーソナル・アシスタント等によって受け取られ得る。
特定の実装形態においては、入力の第1の組が受け取られ得る。そのような入力は、1つ又は複数の第1の入力と関係付けられた1つ又は複数の品質メトリックを計算するために(例えば、ロボットにおいて)処理され得る。例えば、キャプチャされた音声コンテンツのバックグラウンド・ノイズのレベル又は画像の鮮明度/画質が計算され得る。本明細書において記述されているように、計算された品質メトリックに基づいて様々の調整がロボットに関して開始され得る。例えば、第1のセンサがかなりの量のバックグラウンド・ノイズを有する音声コンテンツをキャプチャしたと判断すると、即座に、他のセンサが利用され得、そして/又は、ロボットは他の位置に移動してより少ないノイズを有するコンテンツをキャプチャし得る。更なる態様、及び、本明細書に記述されている複数の機能の例が、本明細書において提供されている。
オペレーション524において、(例えば、オペレーション522で受け取られるような)1つ又は複数の入力が、例えば、本明細書において記述されているパーソナル・アシスタントのような他のアプリケーション、サービス、デバイス等に与えられ得る。
オペレーション526において、1つ又は複数のコマンドが受け取られ得る。特定の実装形態においては、そのようなコマンドは、例えば、本明細書において記述されているパーソナル・アシスタントのような他のアプリケーション、サービス、デバイス等から発生し得る。加えて、特定の実装形態においては、そのようなコマンドは、外部デバイス(例えば、IoTデバイス)に向けられ得る。例えば、そのようなコマンドは、ユーザが本明細書において記述されているような被接続アプライアンス等を調整する、又は、オフにすることを望むということを示すことができる。
オペレーション528において、外部デバイスの接続性ステータスが判断され得る。例えば、本明細書において記述されているように、ユーザが被接続アプライアンスの動作を調整するようにパーソナル・アシスタントに命じることができるが、そのような被接続アプライアンスはインターネットに確実に接続されない場合がある。したがって、ユーザからそのような要求を受け取ると、即座に、被接続アプライアンスの接続性ステータスが判断され得る。
オペレーション530において、ロボットは移動され得る。特定の実装形態においては、そのようなロボットは、(例えば、被接続アプライアンスのより近くにある)外部デバイスと関係付けられた位置に関して動かされ得る。その上、特定の実装形態においては、そのようなロボットは、1つ又は複数のコマンドに基づいて移動され得る。加えて、特定の実装形態においては、ロボットは、外部デバイスの接続性ステータスに基づいて、被接続アプライアンス/デバイスの位置に関して動かされ得る。例えば、アプライアンス/デバイスが確実に接続されないと判断すると、即座に、ロボットは、アプライアンスに近接する位置まで移動し、(例えば、本明細書において記述されているように、Bluetooth、NFC等を介して)外部デバイスとの接続を確立することができる。
オペレーション532において、送信が開始され得る。特定の実装形態においては、そのような送信は、本明細書において記述されているように、ロボットから外部デバイス/アプライアンスへの1つ又は複数の命令の送信であり得る。例えば、ロボットは、命令を(Bluetooth等を介して)上記デバイスに与えることができる。
更に、特定の実装形態においては、外部デバイスから発生するコンテンツは、ロボットを介して要求され得る。例えば、遠隔監視カメラ又はセンサがビデオ又は他の入力をキャプチャしており、インターネット(又は他のネットワーク)に確実に接続されていないという状況において、ロボットは、近接位置に移動することができ、そのようなコンテンツを上記デバイスに要求することができる。それから、コンテンツは、ロボットに提供され/外部デバイスから受け取られ得、そのコンテンツはロボットに保存され得る。それから、ロボットは、そのようなコンテンツをアップロードし、本明細書において記述されているような1つ又は複数のデバイス、サービス等へリレーすることができる。
オペレーション534において、確認コンテンツが生成され得る。特定の実装形態においては、そのような確認コンテンツ(例えば、光学的な証拠)は、本明細書において記述されているような外部デバイスによって、1つ又は複数の命令が実行されたことを示すことができる。
オペレーション536において、確認コンテンツは、例えば、パーソナル・アシスタントに、又は、他のデバイス又はサービスに提供され得る。
オペレーション538において、ロボットにとってアクセス可能な1つ又は複数の構成要素が識別され得る。そのような構成要素は、例えば、ロボットの中に組み込まれた1つ又は複数のセンサ、ロボットと通信するデバイスの中に組み込まれた1つ又は複数のセンサ、又は、ロボットの外部の1つ又は複数のセンサ、及び/又は、本明細書において記述されているような他のそのようなセンサ、構成要素、デバイス等であり得る。
オペレーション540において、1つ又は複数の構成要素のうちの少なくとも1つが選択され得る。特定の実装形態においては、そのような構成要素(例えば、センサ又はデバイス)は、1つ又は複数のコマンドに基づいて/鑑みて選択され得る。例えば、ロボットを対象とするタスクが(例えば、高品質、クローズアップ等の特定の特性を有する画像をキャプチャするための)特定のパラメータを指定するという状況において、そのようなタスクのために最適であるロボットにとってアクセス可能な複数の構成要素(例えば、センサ)が、本明細書において記述されているように、(そのような構成要素の様々の設定、構成等と共に)選択され得る。
オペレーション542において、1つ又は複数の動作が、例えば、1つ又は複数の構成要素(例えば、540で選択される構成要素)のうちの少なくとも1つに対して開始され得る。例えば、そのような選択された構成要素は、本明細書において詳述されるように、様々のオペレーションを実行することができる。
記述された活動及び特徴の更なる実例として、ロボット200は、デバイス220及び/又はサービス230を介して、パーソナル・アシスタントに接続される、又は、パーソナル・アシスタントのインタフェースとなることができる。そのようなパーソナル・アシスタントは、例えば、クラウド・ベースのバーチャル音声アシスタントであり得る。この際、例えば、パーソナル・アシスタントにより提供される自然言語インタフェースを使用するロボット220と対話する、又は、そのロボット220を制御するために、ユーザはそのようなパーソナル・アシスタントを利用することができる。例えば、ユーザは、パーソナル・アシスタントに対して、「[パーソナル・アシスタント]、[ロボット]に、私の所に来るよう命令せよ。」というような音声コマンドを与えることができる。パーソナル・アシスタントは仲介者として働き、自然音声によるリモート・コマンドを容易にすることができる。
また、本明細書に記述されている技術は、様々のデバイス(例えば、被接続サーモスタット、ライト等のようなIoTデバイス)との対話、及び/又は、それらのデバイスの管理を可能にするように設定され得る。例えば、ユーザはロボット200に、(例えば、「[パーソナル・アシスタント]、リビングルームのルームサーモスタット温度を20℃(華氏68度)に設定して下さい。」)というような音声コマンドを与えることができて、そのようなコマンドは、上記のパーソナル・アシスタントによって処理され得、ロボットを介して(例えば、対応するコマンドをスマート・デバイス218に与えることによって)実行される。
更なる具体例として、本明細書に記述されているロボットは、更に様々のスマート/被接続デバイス(一貫したネットワーク接続性を有することができないものを含む)のインタフェースとなる、そして/又は、そのようなスマート/被接続デバイスを制御することができる『ハブ』として動作又は機能するように設定され得る。例えば、スマート/被接続アプライアンスがネットワーク接続性のない領域にあるという状況において、(又は、そのような接続性が中断されるという状況において、)遠隔でそのようなデバイスを制御することは困難又は不可能であり得る。しかしながら、本明細書に記述されている技術を用いると、ユーザは、例えば、そのようなアプライアンスに向けた(例えば、「ベッドルームのエアコンディショナをオフにせよ。」というような)コマンドを(例えば、パーソナル・アシスタントを介して)与えることができる。本明細書に記述されている技術を用いて、そのようなコマンドはロボット200に向けられ得、それから、ロボット200は上記の位置(「ベッドルーム」)に移動され得る。上記のアプライアンスがインターネットの接続性を失うことがあった場合であっても、ロボット200は、その近接さによって、(例えば、Bluetooth等を介して)デバイスとのローカル接続を確立することができる。ロボットは、更に上記のコマンド(例えば、アプライアンスをオフにする)を伝達することができ、そのようなオペレーションが実行されたことを(例えば、デバイスからのフィードバック、光学的又は他の証拠/文書等を介して)確認することができ、そのような確認をパーソナル・アシスタント、ユーザ等へ戻すことができる。その際に、本明細書に記述されている技術は、その能力を拡大することができ、パーソナル・アシスタント及びスマート/被接続デバイス(例えば、IoTデバイス)の機能及び信頼性を、それらが独立に動作したときにそのような技術ができたであろう能力を越えて、高めることができる。
特定の実装形態においては、ロボット200は、例えば、オフライン又はオンライン・モードで使用されるときの、パーソナル・アシスタントの能力を拡大するように設定され得る。(ロボット200が、例えば、パーソナル・アシスタント・サービスとの、一貫したネットワーク接続性を維持する)オンラインのアシスタント構成において、ロボットは拡張されたセンサ能力を提供して、パフォーマンスを高めることができる。
例えば、特定の実装形態においては、ロボット200は、モバイル・マイクロホン・ソリューションが(例えば、あらゆる部屋でIoTハブにインストールする代わりに)家の全体にわたってより大きなカバー範囲を提供することを可能にするように設定され得る。ロボットは、例えば、家の中の様々の位置/室に移動することができ、入力、コマンド等を受信するためにその1つ又は複数のセンサ(カメラ、マイクロホン等)を利用することができる。ロボットの様々の通信インタフェースを用いて、ロボットは更にコマンドを他のデバイス(例えば、被接続アプライアンス、ライト等のようなIoTデバイス)に与えることができる。この際、さもなければ、同等のカバー範囲を達成するためには幾つかの固定IoTハブを必要としたであろう複数の領域へ、単一のロボットがIoT能力を提供することができる。
更に、ロボット200の動かし易いという性質は、(例えば、部屋の中での)様々の環境の原因となるロボットの位置/場所をロボットが調整し得るようにすることができる。例えば、ロボットのマイクロホンがかなりの量のバックグラウンド・ノイズを感知しているという状況において、或いは、カメラがあまりに多くの(又は、充分でない)光を感知している場合、ロボット200は、それに応じてその位置を調整して、本明細書に記述されたオペレーションが改善された/強化されたやり方で実行され得るようにすることができる。
特定の実装形態においては、上記のロボットは、更に『オフライン』の(例えば、ネットワークに接続されていない)パーソナル・アシスタントとして動作するように設定され得る。そのような状況において、ロボット200は、さもなければパーソナル・アシスタントのクラウド・ベースのサービスを介して提供された様々の処理能力を、インターネット接続なしで、マイクロホン・アレイのフロントエンドに与えることができる。例えば、ロボット200は、(例えば、ネットワーク接続性のない領域における)1つの部屋の中のユーザから特定のコマンドを受け取るように設定され得る。それから、ロボットは、他の領域/部屋に移動してネットワーク接続を確立し、受け取った命令をパーソナル・アシスタント・サービスにリレーし、応答を受信することができる。それから、ロボット200は、ユーザ領域に戻り、受信した応答を与えることができる。
更に、特定の実装形態においては、ロボット200は、複数のモードを可能にするように設定され得る。それにより、例えば、(キーワード及び/又はウェイクワードに加えて、スピーチ及び/又はジェスチャ・パターンから判断されるような)ユーザの意図に基づいてトリガーがこれらのモードの間で切り替わることができる。また、上記のロボットは、トリガー(例えば、ロボット上に物理的に設けられたボタン又はスイッチ、関連するモバイル・アプリケーションの仮想ボタン)がモードの間で切り替わることができる複数のモードを有することもできる。特定の実装形態においては、ロボットは並行モードで動作して、例えば、所与の時刻における複数の可能な入力を容易にする。
前述のように、ロボット200は複数のネットワーキング・モードを有して設定され得る。複数のネットワーキング・モードは、(1)VPNを有する(インターネット接続した)オンラインのモード、(2)(インターネット接続なしの)LANアクティブ・モード、及び(3)ホットスポット・モードを含む。
上記のオペレーション・モード及び関係する複数のオペレーションを示すフローチャート例600が図6に示されている。図6に示されるように、特定の実装形態においては、IoT可能/被接続ロボットは、(例えば、被接続モバイル・アプリケーションへの)ホットスポット―直接WiFi接続を介して初期化され得る。(ロボットによって有効にされた上記のローカル・ホットスポットを介してロボットに接続された、スマートフォン、タブレット等のようなユーザ・デバイス上で実行することができる)そのようなアプリケーションは、利用できるLAN上のIoTロボットを登録する能力をユーザに与えることができる。
図6に示されるように、一旦ロボットがLANに登録されるならば、ロボットはオンライン接続性及びアクセス可能性のためのVPNバックエンドに登録され得る。(ロボットに接続された、スマートフォン、タブレット等のようなユーザ・デバイス上で実行することができる)モバイル・アプリケーションは、直接LANを介して(オフライン)、又は、VPNによって、ロボットに接続されることを選択することができる。ユーザは、手動でロボット接続性を異なるLANに切り替える、又は、ロボットのホットスポットを再有効化することができる。LANが利用できなくなる場合、ロボットは、図6に示されるように、ホットスポット接続性モードへ自動的に切り替えることができる。
上記IoTロボット200は、バックエンド・サーバ204に登録され、関連する複数の被接続デバイスのために、及び/又は、クラウド・ベースのストレージのための手段として、処理及びデータベースのソリューションを提供することができる。特定の実装形態においては、複数のIoTロボットが、各ロボット毎に固有の識別子(例えば、UID)を使用して、単一のバックエンド・サーバ204に登録され得る。
IoTロボットを登録することは、(例えば、アプリ、ウェブ・サービス、工場の自動一括UID登録のためのバック・エンド・サービス等による)幾つかの方法のうちの1つによって実行され得る。
ロボット200は、そのデータベース情報を被接続クラウド・ベースのストレージ・ソリューションと同期させるように設定され得る。例えば、ユーザ・データ、状態情報、マッピング・データ、及び、セキュリティ・ビデオは、安全に、そして、確実に、クラウド・ベースのストレージにバックアップされ得る。ローカル・ストレージが優先である状況において、IOTロボットは、被接続IOTデバイスのためのローカル・ストレージ・ソリューションとして機能することもできる。例えば、セキュリティ及び監視の動画素材は、ロボットに位置する安全な物理ドライブに保存され得る。オプションとして、これらのローカル・ストレージ・ソリューション上のデータは、クラウド・ベースのストレージ・ソリューションに同期され、バックアップされ得る。
更に、(ロボット200を含む)本開示の更なる態様及び実装形態は、本明細書において記述されており、デバイスを載置することへ向けられる。そのようにすることで、追加の構成要素を統合することができ、本明細書に記述されているロボットに更なる能力を組み込むことができる。
人工知能及び音声認識ソフトウェアのような技術分野の進歩につれて、ロボットは、人間のスピーチ及び感情的な状態を理解して、感情的に関係する言語をもつ人間に応答する能力を益々有するようになってきている。これらのロボットのうちの幾つかは、他のインタフェースと共にテレ通信能力を与えつつ、ロボットの主な『頭脳』として動作するCPUユニットを含む。しかしながら、そのようなコンピューティング構成要素は、それらが容易に取り除かれること、又は、置き換えられることを妨げるようにして、しばしばロボットの中に組み込まれる。その結果、そのようなロボットをアップグレードする(例えば、ロボットの能力、機能性等を元の構成を越えて向上させる)ことは困難又は不可能である場合がある。
したがって、本明細書の様々の実装形態において記述されているのは、(デバイスを載置することを可能にする、装置、方法、マシンにより読み取り可能な媒体、及び、システムを含む)技術である。本明細書に記述されている技術は、ロボットの様々の構成要素の簡単で効率的な交換、アップグレード、調整等を可能にすることを含む多数の利点を提供する。
したがって、これらの本明細書に記述されている技術が、ロボット工学、デバイスの載置、及び、モジュール的ハードウェア設計を含むがこれに限らない複数の技術領域における特定の技術的な課題及び長年の欠陥に向けられていて、これらに対処するということが理解され得るであろう。本明細書において詳細に説明されているように、本明細書に開示されている技術は、本明細書に記載されている技術的な課題、及び、本明細書に記載されている技術分野において達成されていない要求に対して、特定の技術的な解決策を提供し、従来のアプローチを越える多くの利点及び進歩を提供する。加えて、様々の実装形態においては、本明細書において記載される、複数のハードウェア要素、複数の構成要素等のうちの1つ又は複数は、(例えば、本明細書において記述されているような仕方で)本明細書に記述されている技術を可能にし、改善し、そして/又は、強化するように動作する。
図7に示されるような様々の実施例に従うものとして、ロボット・システム700がある。ロボット・システム700は、例えば、モバイル・コンピュータからの電気的コマンドのような電子信号によって駆動されるロボット702を含む。モバイル・コンピュータは、これに限定するものではないが、例えば、タブレット704のようなものである。ロボット702は、一組の命令に従って複雑な一連の動作を自動的に実行するように動作可能である電気機械的マシンであり得る。一組の命令は、例えば、デバイス704(例えば、タブレット)によって実行されるコンピュータ・プログラム又はソフトウェアによって定義されるようなものである。タブレット704は、ロボット702の外殻上の、中央領域(例えば、人体のように形作られたロボットのための胸部領域)の近傍に設置し得る(タブレット・ドック706とも称される)装置706に着脱自在に載置され得る。
装置706又はタブレット・ドック706は第1のエッジ部材708、第2のエッジ部材710、第3のエッジ部材712、及び、第4のエッジ部材714を含み得る。これらは以下のように構成される。(例えば、図7に示されるように)、第1のエッジ部材708及び第3のエッジ部材712の縦軸が第1の方向と実質的に平行で、第2のエッジ部材710及び第4のエッジ部材714の縦軸は第2の方向と実質的に平行である。幾つかの実施例においては、エッジ部材708、710、712、及び、714は、タブレット704がはめ込まれる矩形領域を囲むように配置される。
第1の方向は第2の方向に実質的に垂直又は直角でもよく、第1の方向及び第2の方向は、共に、主凹部716の内部底面に、又は、タブレット704のディスプレイ・スクリーンの平面(「第1の平面」とも称される)と実質的に平行である。
図8及び図9に示されるようにタブレット704を載置するために、4つのエッジ部材708、710、712、及び、714は第1の平面の中でそれらのそれぞれの縦軸に対して垂直な方向に沿って摺動可能に調整可能であり、タブレット704の横方向寸法に適合させることができる。一旦4つのエッジ部材708、710、712、及び、714が摺動可能にタブレット704の横方向寸法に適合するように調整されると、少なくとも2つの対向するエッジ部材を各々が相手の方へ向かうように摺動させてタブレット704をクランプすることによって、タブレット704は適所に載置される。その後、前記対向するエッジ部材は、タブレット704がタブレット・ドック706に確実に載置されることを確実にするためにその場にロックされ得る。好都合なことに、摺動可能に調整可能のエッジ部材は、タブレット・ドック706が、図9に示されるように様々の横方向寸法を有するタブレットを収容できるようにする。
図10及び図11に示されるような様々の実施例においては、タブレット704の後部又は裏面が主凹部716の底部に載るように、4つのエッジ部材708、710、712、及び、714はタブレット704を受けるための主凹部716の周辺部を定める。様々の実施例においては、第1のエッジ部材708及び第3のエッジ部材712の長さは、第2のエッジ部材710及び第4のエッジ部材714の長さより実質的に短くてもよい。
様々の実施例においては、主凹部716の深さがタブレット704の厚さに実質的に等しい場合、取り付けられたタブレット704のディスプレイ・スクリーンは、第1のエッジ部材708、第2のエッジ部材710、第3のエッジ部材712、及び、第4のエッジ部材714の上面によって実質的に面一であり得る。図8及び図9に示されるような様々の実施例においては、それぞれのタブレット704の横方向寸法が対応するエッジ部材の長さと異なる場合、2つの垂直な辺の曲がり角の近傍に隙間がある場合がある。
様々の実施例においては、タブレット・ドック706は、更に、4つのエッジ部材708、710、712、及び、714の内面に取り付けられた複数のゴム・パッド722を含み、タブレット704がタブレット・ドック706上にドック入りされる、又は、載置されるときにゴム・パッド724がタブレット704の厚さ方向に沿う表面と接触し得るようにすることもできる。これらのゴム・パッドは、クッションとして作用し、タブレット・ドック706上にドック入りされる、又は、載置されるときに、エッジ部分がタブレット704の側面、又は、タブレット704の厚さ方向に沿う表面を擦って傷をつけることを防止することができる。
図10及び図11に示されるような様々の実施例においては、タブレット・ドック706は、第1の副凹部718(図10)及び第2の副凹部728(図11)を更に含む。第1の副凹部718及び第2の副凹部728は、主凹部716から段差がつけられたものでよい。(すなわち、第1の副凹部718及び第2の副凹部728は、主凹部716から段差がつけられた凹部である。)様々の実施例においては、第1の副凹部718は、第1のエッジ部708の近傍に位置し、第1のエッジ708の下に延びるものであり得る。
様々の実施例においては、第1のエッジ部材708は、内部側壁から内向きに延びる第1の側凹部726を含むこともできる。ここで、この内部側壁は第1のエッジ部材708の厚さ方向と平行である。第1の側凹部726は、実質的に第1の副凹部718の上方に結合又は配置され得る。様々の実施例においては、第2の副凹部728は、第4のエッジ部材714の近傍に位置し、第4のエッジ714の下に延びるものであり得る。更に、第4のエッジ部材714は、内部側壁から内向きに延びる第2の側凹部730を含むこともできる。ここで、この内部側壁は第4のエッジ部材714の厚さ方向と平行である。第2の側凹部730は、実質的に第2の副凹部728の上方に結合又は配置され得る。
様々の実施例においては、第1の副凹部718及び第1の側凹部726は、第1の方向に実質的に細長く延びていてもよい。同様に、第2の副凹部728及び第2の側凹部730は、第2の方向に実質的に細長く延びていてもよい。
図10及び図11に示されるような様々の実施例においては、第1のコネクタ720及び第2のコネクタ722は、第1の副凹部718に設けられ得る。例えば、第1のコネクタ720は1つの製造業者製の電話又はデバイスを1つのUSBポートに接続するためのものであり、第2のコネクタ722は他の製造業者製の電話又はデバイスを別の1つのUSBポートに接続するためのものであってもよい。更に、第1のコネクタ720及び第2のコネクタ722は、各々が格納式ケーブル(図示せず)に連結又は接続される。このケーブルは、第1の副凹部718の第1の開口及び第2の開口を通して設けられている(図示せず)。同様に、第3のコネクタ732は第2の副凹部728に設けられ得、第3のコネクタ732もまた格納式ケーブル734に連結又は接続される。格納式ケーブル734は、(図12及び図13に示されるように)第2の副凹部728の底に位置する第3の開口736を通して設けられている。
例えば、格納式ケーブル734に連結された細長い第2の側凹部730、及び、第3のコネクタ732は、図12に示されるように、第4のエッジ部材714に沿う横方向位置の範囲内に位置するはめ込まれたタブレット704の入力ポートへのアクセスを提供するために使用可能であり得る。前述の特徴によって、モバイル・デバイスの入力ポートとの接続のための(「第1の位置」としてとしても知られている)位置に第4のエッジ部材に沿って第3のコネクタが調整可能であるようにできる。好都合なことに、これによって、入力ポートがその周辺部に沿って異なる位置にあり得る、異なる作り及び異なるモデルのタブレットにタブレット・ドック706が接続することができる。細長い第1の側凹部726は、第1のエッジ部材708に沿って横方向位置の範囲内に位置するタブレット704の入力ポートへのアクセスを提供する実質上同じ仕方で機能する。
図11に示されるような様々の実施例において、第1の副凹部718及び第2の副凹部728の両方にコネクタが設けられるであろうから、コネクタがタブレット704の短辺側及び長辺側の両方に設けられているので、タブレット704が、横長構成(図9(a)から(c))又は縦長構成(図9(d)及び(e))の何れにも載置され得る。
第1の側凹部726及び第2の側凹部730の更なる利点は、タブレット704の厚さ方向に沿った位置の範囲内に位置する入力ポートへのアクセスを提供することであり得る。図13(a)に示されるように、はめ込まれたタブレット704の入力ポートは、第2の副凹部728(又は、第1の副凹部718)の底面からより離れて位置することができる。これが発生し得る1つの状況は、タブレット704が比較的より厚いときである。この場合、第1の側凹部726又は第2の側凹部730は、図13(a)に示されるように、タブレット704のコンセントに接続されるべきコネクタのために、はめ込まれるタブレット704の厚さ方向に沿って必要な空間的な余裕を提供する。
様々の実施例においては、有線接続が必要とされない場合、第2の副凹部728によってタブレット704がコネクタの上方に載置されることもできる。第1の副凹部718は十分なスペースを同様に提供して、タブレット704が第1のコネクタ720及び/又は第2のコネクタ722の上方に載置され得る。
本明細書に記述されている技術は、現在その動作の一実施例に関して記述されている。タブレット704をタブレット・ドック706に載置する前に、ユーザは、タブレット704を横長構成にすべきか、又は、縦長構成に載置すべきかを決める。その後、ユーザは、タブレット704の入力ポートが短いエッジにあるか長いエッジにあるかに応じて、コネクタ(第1のコネクタ720、第2のコネクタ722、又は、第3のコネクタ732の何れか)を適切な副凹部(第1の副凹部718又は第2の副凹部728の何れか)から引き離すことができる。例えば、1つのデバイス製造業者からのタブレットが、典型的には、より短いエッジに沿って位置する入力ポートを有する場合がある。したがって、第1のエッジ部材708及び第3のエッジ部材712がタブレットの2つのより短いエッジに対応する横長構成に、そのようなデバイス/タブレットを取り付けるために、デバイスのコネクタ(第1のコネクタ720)は、第1の副凹部718から引き離され、タブレットの入力ポートに差し込まれ得る。その後、第1のコネクタ720に連結されたケーブルが引っ込んで、タブレット704をタブレット・ドック706の方へ引っ張ることができる。すなわち、第1のコネクタ720に連結されたケーブルが引っ込むにつれて、第1のコネクタ720の位置は調整される。
タブレット・ドック706の主凹部716内にタブレット704を載置して、格納式ケーブルが完全に引っ込むことができる前に、ユーザは、それらのそれぞれの縦軸に対して垂直に4つのエッジ部材を摺動させることにより主凹部716のサイズをタブレット704のサイズより大きくなるように調整することができる。それから、タブレット704は、タブレット・ドック706の主凹部716に受け入れられ得る。その後、少なくとも2つの対向するエッジ部材(この場合、第1のエッジ部材708及び第3のエッジ部材712)を、前記2つのエッジ部材の間にタブレット704がクランプされるように、各々が相手の方へ向かうように、摺動する、又は、摺動可能に調整することによってタブレット704が載置され得る。図8及び図9(b)に示されるような様々の実施例においては、タブレットは、第4のエッジ部材714に載ると共に、第1のエッジ部材708及び第3のエッジ部材712によってクランプされ得る。様々の実施例において、そして、タブレットのサイズ又は横方向寸法に応じて、第2のエッジ部材710及び第4のエッジ部材714は、各々が相手の方へ向けて、動かされ、又は、摺動され、又は、摺動可能に調整されて、タブレットをクランプすることができる。一旦、上記部材がタブレットをクランプするための場所に移動すると、それらはタブレットがタブレット・ドック706に確実に載置されることを確実にするためにその場にロックされ得る。タブレット704が横長構成で載置されるか又はクランプされるときに、第1のコネクタ720は、少なくとも格納式ケーブル(図示せず)及び第1の側凹部726を経由して第1のエッジ部材708に沿う位置に自動的に調整されると理解されるべきである。ここで、第1の側凹部726は、第1のコネクタ720がタブレット704の入力ポートに適切に接続されること、又は、差し込まれることを許容する。
タブレットを縦長構成に載置するために、第2の副凹部728からの第3のコネクタ732が代わりに用いられ得る。少なくとも図9(d)及び(e)に示されるように縦長構成で載置するとき、第2のエッジ部材710及び第4のエッジ部材714はタブレットをクランプするために各々の相手の方へ向けて移動又は摺動又は調整され得る。タブレットのより長い辺の長さによって、第1のエッジ部材708及び第3のエッジ部材712は図9(d)及び(e)に示されるようにタブレット704をクランプするための十分なスペースがある場合もない場合もあり得る。様々の横方向寸法を有するタブレット704が横長又は縦長構成のタブレット・ドック706に載置され得る他の実施例が図9(a)から(e)に示されている。タブレット704が縦長構成でクランプされるときに、第3のコネクタ732は、少なくとも格納式ケーブル734及び細長い第2の側凹部730を経由して第4のエッジ部材714に沿う位置に自動的に調整されると理解されるべきである。ここで、第2の側凹部730は、第3のコネクタ732が図12及び図13に示されるようにタブレット704の入力ポートに適切に接続されること、又は、差し込まれることを許容する。
様々の実施例においては、タブレット704は、コネクタの何れかへの接続が全くなくても載置され得る。この場合、4つのエッジを摺動させることによって主凹部716のサイズが調整された後、タブレット704はコネクタの上方に直接載置され得る。この場合、コネクタは対応する副凹部の底部の方へ押され、タブレット704の裏面が主凹部716の底部に平たく載っている状態で、タブレット704が適切に載置されることが許容されるであろう。
更に、上に記述された特徴の(代替又は置換ではない)変形及び組み合わせが結合されて、本明細書に記述されている技術の意図された範囲内で更なる実施例を形成し得ることは当業者によって理解されるに違いない。
例えば、様々の実施例がタブレットの状況で記述されているが、タブレット・ドック706が、スマートフォン及びラップトップのような任意のデバイスのドック入りにも使用され得ることは理解されるべきである。
タブレット・ドック706はロボット702の胸部に載置されるように設計されているが、タブレット・ドック706は(例えば、音楽を流すため、又は、電気通信のための)スタンドアローンの汎用タブレット・ドックとしても用いられ得る。現在モバイル・デバイス・ドックを組み込んでいる任意の製品も、タブレット・ドック706を用いて改善され得る。
2つの対向するエッジ部材がクランプによってタブレット704をタブレット・ドック706に載置するために用いられるので、本明細書に記述されている技術は、2つのエッジ部材だけが存在するような様々の状況において利用可能であり得ると理解されるべきである。
コネクタに連結される格納式ケーブルは、横方向位置の範囲にあり得る入力ポートにアクセスするための柔軟性を提供するが、コネクタは、異なる横方向位置にある入力ポートにアクセスするようにコネクタを横に移動することを許容する機構にも取り付けられ得ることは理解されるべきである。
様々のデバイス製造業者からのUSBコネクタとは別に、タブレット又はモバイル・デバイスに対する他の種類の非USBコネクタも用いられ得る。第1、第2、及び、第3のコネクタは、様々の種類の入力ポートに適応するために交換可能であり得る。
タブレット・ドック706は、タブレットと通信するためにBluetooth及びWi−Fiのような無線接続が用いられ得る物理タブレット・マウントとして用いられ得る。
実施例の状況にて説明したように、第1、第2、及び、第3の開口がそれぞれの副凹部に設けられるが、第1、第2、及び、第3の開口は例えば、それぞれのエッジ部材を貫通して、他の手段によって設けられてもよいことは理解されるであろう。
タブレット704がコネクタを介してロボットに接続されるとき、タブレット704内の支援ファームウェア及びソフトウェアが、ロボット制御システムの設定を自動的に調整するように設定され得る。ロボット制御システム設定の調整は、接続されているタブレットの種類に基づく。
上記の実施例は平坦で堅いディスプレイ・スクリーンを有するモバイル・デバイスの状況で記述されているが、本明細書に記述されている技術が可撓性又は曲がったスクリーン(可撓性エレクトロニクス)を有するモバイル・デバイスと共に用いられ得ることも理解されるであろう。様々の実施例において、可撓性又は曲がったスクリーンを有するモバイル・デバイスを載置するために、タブレット・ドックもまた、曲げられるか、又は、別途形成され得る。
本明細書に記述されている技術は、様々の特徴、実施例、及び、実装形態を更に含むことができ、以下の実例を含むがこれらに限らない。
実例1:
モバイル・デバイスを載置する装置であって、
第1の部材、及び、摺動可能に調整可能である第2の部材、並びに
第1の部材又は第2の部材の何れかに沿って第1の位置に調整可能なコネクタ
を備え、
モバイル・デバイスが載置されるときに、第1の位置のコネクタは、モバイル・デバイスの入力ポートに接続され、第2の部材は摺動可能に第1の部材と第2の部材との間にモバイル・デバイスをクランプするように調整される装置。
実例2:
第1の部材の縦軸は、第2の部材の縦軸と平行である、実例2に記載の装置。
実例3:
コネクタは、少なくともコネクタと第1の部材又は第2の部材の何れかの凹部とに連結される格納式ケーブルを経由して第1の位置に調整される、実例1又は2の何れか1つに記載の装置。
実例4:
第1の部材又は第2の部材の何れかの凹部は、それぞれ、第1の部材又は第2の部材の何れかの縦軸に平行な方向に延びている、実例3に記載の装置。
実例5:
第3の部材及び第4の部材を更に含み、モバイル・デバイスが載置されるときに、第3の部材及び第4の部材は摺動可能に前記第3の部材と第4の部材の間にモバイル・デバイスをクランプするように調整される、実例1から4の何れか1つに記載の装置。
実例6:
第3の部材又は第4の部材の縦軸は、第1の部材又は第2の部材の縦軸に対して垂直である、実例5に記載の装置。
実例7:
第1の部材、第2の部材、第3の部材、及び、第4の部材は各々、モバイル・デバイスをクランプするための少なくとも1つのゴム・パッドを表面上に備える、実例5又は6の何れか1つに記載の装置。
実例8:
コネクタは、異なる種類のモバイル・デバイスへの接続のための第2のコネクタに交換可能である、実例1から7の何れか1つに記載の装置。
実例9:
装置は、ロボットの外殻に取り付けられる、実例1から8の何れか1つに記載の装置。
実例10:
装置は、ロボットの外殻上の胸部領域に載置される、実例9に記載の装置。
実例11:
モバイル・デバイスに保存される命令は、コネクタが入力ポートに接続されるときに、制御設定を更新するように操作可能である、実例1から10の何れか1つに記載の装置。
実例12:
モバイル・デバイスを載置する方法であって、
コネクタをモバイル・デバイスの入力ポートに接続すること、
コネクタの位置を調整すること、及び
第1の部材と第2の部材の間にモバイル・デバイスをクランプすること
を含み、
モバイル・デバイスがクランプされるときに、コネクタは第1の部材又は第2の部材の何れかに沿う第1の位置に調整される方法。
実例13:
第1の部材の縦軸は、第2の部材の縦軸と平行である、実例12に記載の方法。
実例14:
コネクタは、少なくともコネクタと第1の部材又は第2の部材の何れかの凹部と連結される格納式ケーブルを経由して第1の位置に調整される、実例12又は13の何れか1つに記載の方法。
実例15:
第1の部材又は第2の部材の何れかにおける凹部は、それぞれ第1の部材又は第2の部材の何れかの縦軸に平行な方向に延びている、実例14に記載の方法。
実例16:
第3の部材と第4の部材の間にモバイル・デバイスをクランプすることを更に含む、実例12から15の何れか1つに記載の方法。
実例17:
第3の部材又は第4の部材の縦軸は、第1の部材又は第2の部材の縦軸に対して垂直である、実例16に記載の方法。
実例18:
第1の部材、第2の部材、第3の部材、及び、第4の部材は各々、モバイル・デバイスをクランプするための少なくとも1つのゴム・パッドを表面上に備える、実例16又は17の何れか1つに記載の方法。
実例19:
コネクタは、異なる種類のモバイル・デバイスへの接続のための第2のコネクタに交換可能である、実例12〜18の何れか1つに記載の方法。
実例20:
装置は、ロボットの外殻に載置される、実例12から19の何れか1つに記載の方法。
実例21:
装置は、ロボットの外殻の胸部領域に載置される、実例20の何れか1つに記載の方法。
実例22:
コネクタが入力ポートに接続されるときに、モバイル・デバイスにおけるソフトウェアによってロボット制御システムの設定を更新することを更に含む、実例12から21の何れか1つに記載の方法。
上記の接続並びに関連する電力及び信号方式に加えて、特定の実装形態においては、記述されているロボット・デバイス・ドッキング・システムは、複数のタブレット及びスクリーンの接続システム及び方法を有効にすることができる。ロボット・デバイス・ドッキング・システムの1つの例は、ディスプレイ又はタッチスクリーンの複数の接続を介してディスプレイ又はタッチスクリーン・デバイスを接続することを含むことができる。そのような接続オプションは、以下のものを含むことができる。Low−voltage Differential Signaling(LVDS)、High−definition Multimedia Interface(HDMI(登録商標))、Display Port(DP)、Peripheral Component Interconnect Express(PCIe)、及び、Universal Serial Bus(USB)。
ロボット・デバイス・ドッキング・システムの1つの例は、複数のネットワーク接続を介してタブレット又はモバイル・コンピュータを接続することを含むことができる。ネットワーキングのオプションとしては、以下を含むことができる。Wi−Fi、Bluetooth、Ethernet(登録商標)、USB、及び、プロプライエタリ接続。電力接続オプションは、固定電圧及び可変電圧の両方の電力接続を含むことができる。固定電圧電力接続オプションは、LVDS、HDMI(登録商標)、DP、及び、USB接続の中で利用可能な標準電力線(例えば、3V、5V、12V)を含むことができる。デュアル電圧電力接続オプションは、標準5Vの充電電圧及びより高い12Vの充電電圧の両方を有する急速充電USBプロトコルを含むことができる。様々の電力要求を有する様々の被接続デバイスに電力接続が適応することができるときには、完全に可変な電力接続が使われ得る。幾つかのデバイスは、無線ネットワーク及び配電ソリューション(例えば、無線充電)によって、何らの有線接続なしでも載置され得る。
(例えば、図7に示されるような)ロボットの頭又はロボットの顔のマウント・システムは、様々の入力及び/又は出力要求に対する複数の顔の種類のオプションを含むことができる。マウント・システムは、LEDアレイの顔及び液晶表示パネルの顔のためのオプションを含むことができる。ロボット制御システムは、接続された顔の種類に基づいて1つ又は複数のスクリーンに示されている音声/視覚の(A/V)コンテンツを変化させることができる。例えば、LEDアレイの顔が搭載されたときに、A/Vコンテンツは、Wi−Fi、Bluetooth、又は、インターネット接続を介して、任意の被接続ディスプレイに加えてインストールされた別のスクリーンに表示され得る。加えて、別の又は被接続ディスプレイは、情報、データ、又は、他の形式のデバイス・フィードバックを示すことができる。他の実例では、顔の液晶表示パネルが載置されるときに、A/Vコンテンツ、情報、データ、及び、他の形式のデバイス・フィードバックは、顔の液晶表示パネルに直接示され得る。顔の液晶表示パネルは、また、ロボットの表現(expressions)のための出力デバイスとして機能することもできる。
複数の利用できる出力デバイスのうちの1つをロボット又は人間の対話システムに搭載した後に、1つ又は複数のパラメータは、人口知能(AI)システム・コントローラへの可変的な入力として設定され得る。パラメータは、システム・ステートマシン、A/V出力、及び、対話制御を機能的に調整するために設定され得る。例えば、ステートマシン調整は、搭載したアームの存在に依存し得る。そして、オプションのアームの使用に依存する機能は、搭載したアームの利用可能性に基づいて起動又は停止することができる。場合によっては、様々の音声出力デバイスは、ロボット・スピーチ・コントローラによって作られる音声の特性、ボリューム、及び、種類を変化させることができる。対話コントローラは、利用できる出力デバイスと互換性を有する1つ又は複数のロボットの表現を表示又は出力することを選択し得る。
複数の利用できる入力デバイス又はセンサのうちの1つをロボット又は人間の対話システムに搭載した後に、1つ又は複数のパラメータが、AIシステム・コントローラへの可変入力として設定され得る。特定の実装形態において、(図1に示され、本明細書において記述されているような)ロボット制御エンジン124は、リファレンスAI機能/オペレーションを実行することができる。例えば、ロボット制御エンジン124は、本明細書に記述されているロボット・システムを構成して、電力消費、品質、速度、又は、精度を含む要因に基づいて、内部及び搭載されたデバイス・センサの間で自動的に切り替えることができる。実例は、以下の要素を含む。内部マイクロホン及びタブレット・マイク、内部カメラ及びタブレット・カメラ、内部慣性測定ユニット(IMU)及びタブレットIMU、内部及び外部の周辺光センサ、内部及びタブレット・タッチスクリーン、或いは、内部又はタブレット深度カメラ。
更なる説明として、本明細書に記述されているロボットが、カメラ、マイクロホン等のような様々のセンサを備える、又は、統合することができることは理解され得るであろう。加えて、他のデバイス(例えば、スマートフォン、タブレット、他の周辺デバイス)が上記のロボットに搭載されるという状況において、そのようなデバイス自体は、それぞれ自体のセンサ(例えば、スマートフォン内に組み込まれたカメラ、マイクロホン等)を更に組み込むことができる。特定の実装形態において、接続/搭載されたデバイス内に組み込まれた上記のセンサは、更に、(例えば、様々のプロトコルによって)ロボットにとってアクセス可能であり得る。したがって、本明細書に記述されているように、複数のセンサ(例えば、ロボット自体の中に組み込まれる1台のカメラ及びロボットに載置されるスマートフォンの中に組み込まれた他のカメラ)をロボットが利用できるという状況において、本明細書に記述されているロボット制御エンジンはどのセンサが特定のタスクに最も適していそうかを判断することができる。例えば、1台のカメラは弱光状況で優れた画質を提供することができるが、もう一方はより良好なズーム能力を有することができる。そのとき、ロボットは、識別されたセンサを特定のタスクのために利用することができる。
特定の実装形態において、本明細書に記述されている技術は、更に、パーソナル・アシスタントから発生する/に関係するロボットのオペレーションに関連して様々のセンサ(例えば、ロボットの中に組み込まれたセンサ、及び/又は、ロボットにドック入りしたデバイスの中に組み込まれたセンサ)を利用するように設定され得る。例えば、ユーザがロボットの制御動作にパーソナル・アシスタントを利用するという状況において、そのようなオペレーション/タスクの実行の際にロボットの特定のセンサを利用することが有利である場合がある。説明例として、1人のユーザがパーソナル・アシスタントを利用してロボットに関してコマンド(例えば、ロボットに「この本をジミーへ持って行け」と指示する音声コマンド)を発するという状況において、そのようなタスクの完了を実行するときに、ロボットが様々の検証オペレーションを実行することが有利である場合がある。例えば、タスクを完了する前に、ロボットは様々のセンサ(例えば、カメラ、指紋又は他のバイオメトリックセンサ等)を利用して、個人(「ジミー」)の身元を確認することができる。したがって、特定の実装形態においては、本明細書に記述されている技術では、組み込まれた/利用できるセンサ(例えば、ロボットの中に組み込まれたカメラ、ロボットのドックに入れられるスマートフォンの中に組み込まれた指紋センサ等)を更に利用して、そのような検証/確認を実行することができる。その上、多重センサが利用できるという状況において、本明細書に記述されている技術は、タスクのために最適であると判断されたセンサ(例えば、より高い解像度イメージをキャプチャするために判断された、ドックに入れられたスマートフォンの中に組み込まれたカメラを用いて)を選択するように設定され得る。
加えて、特定の実装形態においては、本明細書に記述されている技術によれば、更に、ロボット及び/又はそのドックに入れられたデバイス/周辺デバイスの、利用できるセンサ/能力に基づいて、ロボットによって実行される特定のタスクのパフォーマンスをユーザがカスタマイズし得るようにすることができる。例えば、上記(ロボットに「この本をジミーへ持って行け」と指示する音声コマンド)で示される命令を受信すると、即座に、パーソナル・アシスタントは、ユーザがタスクを完了する際に利用できる検証オプション(例えば、受取人の視覚的/光学的なアイデンティティ検証、(例えば、指紋センサを使用することのような)生物測定検証等)の何れを利用することを望むかに関して、ユーザに更に尋ねることができる。
特定の実装形態において、本明細書に記述されている技術は、ユーザに更に補助デバイス/周辺デバイスを提供することを促すことができる。例えば、そのようなセンサ以外の指紋/生体認証を使用したいというユーザ願望がロボットで利用可能でない場合、本明細書に記述されている技術では、要求されたセンサ/能力を組み込んでいるデバイス又は周辺デバイスを取り付ける、ドック入りさせる等をユーザに促すことができる。(例えば、パーソナル・アシスタントは、「すみません。ロボットは、現在、指紋センサを備えていません。この機能を有効にするために、あなたのスマートフォンをロボットのドックに入れて下さい。」と応答できる。)本明細書に記述されている状況は例として提供されていること、及び、本明細書に記述されている技術が任意の数の他の技術に対して任意の数の他の方法で設定され得ることは理解されるに違いない。
デバイスをロボット又は人間の対話システムに搭載するときに、デバイスは内部電源(例えば、リチウムイオン電池)を有することができる。したがって、本明細書に記述されている技術は、搭載されたデバイス・バッテリに充電ソリューションを提供することができる。例えば、特定の実装形態においては、本明細書に記述されている技術(例えば、ロボット制御エンジン124)は、スケジューリング及び目標バッテリ・レベルを含む、インテリジェント充電制御のための様々のステータス・フィードバック・オペレーションを可能にすることができる。特定の実装形態において、本明細書に記述されている技術は、搭載されたデバイスの中に組み込まれているバッテリをロボット/システムのための一次及び二次電源として利用することができる、このとき、ロボットは、搭載されたデバイスの中に蓄えられたエネルギーをロボットの電動操作に利用することができる。その上、特定の実装形態においては、本明細書に記述されている技術は、内外のバッテリの健全性を監視するように設定され得る。バッテリがそれらの電力を使い果たすことを防止するために、システムは、ホームベース充電ソリューション又は無線充電ソリューションを使用することができる。
加えて、本明細書に記述されているロボット・デバイス・ドッキング・システムは、(例えば、図6において描写され、本明細書に記述されているように)複数のネットワーキング・モード又は状態に対して実施され得る。特定の実装形態において、本明細書に記述されている技術が(例えば、ドックに入れられた様々のデバイスに関して)動作する仕方は、搭載されたデバイスの態様又は能力に基づいて調整又は設定され得る。例えば、ネットワーク化された複数のデバイス(例えば、スマートフォン、タブレット等)がインターネットへの接続性を確立/維持するという状況において、本明細書に記述されている技術は、様々のモード(例えば、オンライン及びオフラインのネットワーキング・モード)の間で自動的に切り替えることができる。オフライン・モードで、本明細書に記述されている技術は、キーワード・ベースのAI音声認識、ローカルに生成されたテキストを音声に変換する音声出力、ローカル処理、ローカル・データ記憶、及び、ローカル・ユーザアカウントのログイン方法を利用することができる。オンライン・モードで、本明細書に記述されている技術は、クラウド実装AI音声認識及び音声出力、クラウド及びスマート・ホームの接続性、クラウド・ベースのストレージ・ソリューション、及び/又は、ソーシャルネットワーク・ユーザアカウントのログイン技術を利用することができる。
本明細書に記述されている技術はマルチデバイス・ロボット制御に関して主に説明されているが、本明細書に記述されている技術が、更に、任意の数の追加又は代替の設定又は状況の下において、そして、任意の数の追加の目的物に向けて実施され得ることは注意すべきである。そのような実施の結果として、(本明細書において記述されており、そして/又は、記載されている技術的利点、ソリューション、及び/又は、改良を越える)更なる技術的利点、ソリューション、及び/又は、改良が可能にされ得ることは理解されるに違いない。
特定の実装形態は、本明細書において、論理回路又は多くの構成要素、モジュール、又は、機構を含むものとして記述されている。モジュールは、ソフトウェア・モジュール(例えば、マシンで読み取り可能な媒体上で具体化されるコード)又はハードウェア・モジュールの何れかを構成することができる。「ハードウェア・モジュール」は、特定のオペレーションを実行することができる有形のユニットで、特定の物理的方法で設定され得るか又は配置され得る。様々の実装形態において、1つ又は複数のコンピュータ・システム(例えば、スタンドアローン・コンピュータ・システム、クライアント・コンピュータ・システム、又は、サーバ・コンピュータ・システム)、或いは、1つコンピュータ・システムの1つ又は複数のハードウェア・モジュール(例えば、プロセッサ又はプロセッサのグループ)は、本明細書に記述されている特定のオペレーションを実行するために動作するハードウェア・モジュールとして、ソフトウェア(例えば、アプリケーション又はアプリケーション部)によって設定され得る。
幾つかの実装形態において、ハードウェア・モジュールが、機械的に、電子的に、又は、それらの任意の適切な組み合わせで実施され得る。例えば、ハードウェア・モジュールは、永久的に特定のオペレーションを実行するように設定される専用回路又は論理回路を含むことができる。例えば、ハードウェア・モジュールは、特殊目的のプロセッサ(例えば、フィールド・プログラマブル・ゲートアレイ(FPGA)又は特定用途向け集積回路(ASIC))であり得る。ハードウェア・モジュールは、一時的にソフトウェアによって特定のオペレーションを実行するように設定されるプログラマブル論理回路又は電子回路を備えることもできる。例えば、ハードウェア・モジュールは、汎用プロセッサ又は他のプログラマブル・プロセッサによって実行されるソフトウェアを備えることができる。一旦そのようなソフトウェアによって設定されると、ハードウェア・モジュールは独自に、設定された機能を実行するように変えられた特定のマシン(又は、マシンの特定の要素)になり、もはや汎用プロセッサでない。専用及び永久的に設定された回路において、又は、一時的に設定された(例えば、ソフトウェアによって設定された)回路において、ハードウェア・モジュールを機械的に実施するという判断が、コスト及び時間を考慮することにより引き起こされることは理解されるであろう。
したがって、「ハードウェア・モジュール」というフレーズは有形のエンティティを含み、特定の仕方で動作するように、又は、本明細書に記述されている特定のオペレーションを実行するように、物理的に造られた、又は、永久的に設定された(例えば、物理的に組み込まれた)、又は、一時的に設定された(例えば、プログラムされた)エンティティであると理解されるべきである。本明細書中で使用する場合、「ハードウェアを実装されたモジュール」とは、ハードウェア・モジュールを意味する。複数のハードウェア・モジュールが一時的に設定された(例えば、プログラムされた)実装形態を考えると、各ハードウェア・モジュールは、一度に1つのインスタンスで設定又はインスタンス化される必要はない。例えば、ハードウェア・モジュールが、ソフトウェアによって特殊目的のプロセッサになるように設定された汎用のプロセッサを備える場合、この汎用のプロセッサは、異なる時間には、(例えば、異なるハードウェア・モジュールを備える)それぞれ異なる特殊目的プロセッサとして設定され得る。したがって、ソフトウェアは、例えば、ある時点で特定のハードウェア・モジュールを構成し、別の時点で異なるハードウェア・モジュールを構成するように特定の1つ又は複数のプロセッサを設定する。
ハードウェア・モジュールは、他のハードウェア・モジュールに情報を与えることができて、他のハードウェア・モジュールから情報を受け取ることができる。したがって、本明細書に記述されているハードウェア・モジュールは、通信で連結されていると考えられて得る。複数のハードウェア・モジュールが同時に存在する所で、通信はハードウェア・モジュールの2つ以上間で信号送信によって(例えば、適切な回路及びバスを通じて)成し遂げられ得る。複数のハードウェア・モジュールが異なる時間に設定される、又は、インスタンス化される実装形態において、そのようなハードウェア・モジュール間の通信は、例えば、複数のハードウェア・モジュールがアクセスするメモリ構造における情報の記憶及び読出によって成し遂げられ得る。例えば、1台のハードウェア・モジュールは、オペレーションを実行し、そのオペレーションの出力を、通信で連結されているメモリ・デバイスに保存することができる。それから、別のハードウェア・モジュールが、後で、このメモリ・デバイスにアクセスし、保存された出力を読み出して処理することができる。ハードウェア・モジュールは、入力又は出力デバイスとの通信を開始して、リソース(例えば、一纏まりの情報)を操作することもできる。
本明細書に記述されている複数の方法の例の様々のオペレーションは、少なくとも部分的には、1つ又は複数のプロセッサによって実行され得る。1つ又は複数のプロセッサは、関連するオペレーションを実行するために、(例えば、ソフトウェアによって)一時的に設定されるか、又は、永久的に設定される。一時的に設定されても永久的に設定されても、そのようなプロセッサは、本明細書に記述されている1つ又は複数のオペレーション又は機能を実行するために、プロセッサ実装モジュールを構成することができる。本明細書中で使用する場合、「プロセッサ実装モジュール」とは、1つ又は複数のプロセッサを用いて実装されるハードウェア・モジュールを意味する。
同様に、本明細書に記述されている複数の方法は、少なくとも部分的には、ハードウェアの例である特定の1つ又は複数のプロセッサでプロセッサ実装され得る。例えば、1つの方法の複数のオペレーションの少なくとも幾つかは、1つ又は複数のプロセッサ又はプロセッサを実装されたモジュールによって実行され得る。更に、1つ又は複数のプロセッサは、「クラウド・コンピューティング」環境において、又は、「サービスとしてのソフトウェア」(SaaS)として、関連するオペレーションの実行をサポートするように、動作することもできる。例えば、オペレーションの少なくとも幾つかは、これらのオペレーションがネットワーク(例えば、インターネット)を介して、そして、1つ又は複数の適切なインタフェース(例えば、API)を介してアクセス可能であるようにして、(プロセッサを備えるマシンの例としての)複数のコンピュータのグループによって実行され得る。
オペレーションの幾つかの実行は複数のプロセッサに分散され得る。そして、単一のマシン内だけでなく、多くのマシンにわたって展開される。幾つかの実装形態において、複数のプロセッサ又はプロセッサ実装モジュールは、単一の地理的な位置(例えば、家庭環境、オフィス環境又はサーバファーム内)にあり得る。他の実装形態においては、複数のプロセッサ又はプロセッサ実装モジュールは、多くの地理的な位置にわたって分散され得る。
本明細書において記述されたモジュール、方法、アプリケーション等は、1つのマシン及び1つの関連するソフトウエア・アーキテクチャの状況において幾つかの実装形態で実行される。以下のセクションは、開示された実装形態における使用に適する代表的なソフトウエア・アーキテクチャ及びマシン(例えば、ハードウェア)アーキテクチャを記述する。
ソフトウエア・アーキテクチャがハードウェア・アーキテクチャと共に用いられて、特定の目的に合わせて調整されたデバイス及びマシンを構築する。例えば、特定のソフトウエア・アーキテクチャによって結合された特定のハードウェア・アーキテクチャは、例えば、携帯電話、タブレット型デバイスのような、モバイル・デバイスを構築する。僅かに異なるハードウェア及びソフトウエア・アーキテクチャが「もののインターネット」に用いられるスマート・デバイスを生み出すことができるが、他のもう1つの組み合わせは、クラウド・コンピューティング・アーキテクチャの範囲内で用いるためのサーバ・コンピュータを生み出す。当業者が本明細書に含まれる開示から様々の状況における発明の主題を実現する方法を容易に理解することができるので、そのようなソフトウェア及びハードウェア・アーキテクチャの全ての組み合わせがここで示されるというわけではない。
図14は、幾つかの実装形態によるマシン1400の構成要素を例示するブロック図である。マシン1400は、マシンで読み取り可能な媒体(例えば、マシンで読み取ることができる記憶媒体)からの命令を読み込んで、本明細書において記述された複数の方法のうちの任意の1つ又は複数を実行することが可能なものである。具体的には、図14は、コンピュータ・システムの例示的形態のマシン1400の模式的表現を示す。その中で、本明細書において記述された複数の方法のうちの任意の1つ又は複数をマシン1400に実施させるための命令1416(例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、又は、他の実行可能コード)が実行され得る。命令1416は、プログラムされていないマシンを、本明細書に記述されている仕方で本明細書に記述され例示されている機能を実行するようにプログラムされた特定のマシンに変える。他の実装形態において、マシン1400は、スタンドアローン・デバイスとして動作する、又は、他のマシンに結合される(例えば、ネットワーク化される)ことができる。ネットワーク化された配備において、マシン1400は、サーバ・クライアント・ネットワーク環境におけるサーバ・マシン又はクライアント・マシンの立場で、或いは、ピア・ツー・ピア(又は、分散型)ネットワーク環境のピア・マシンとして、動作することができる。マシン1400は、以下のものを構成し得るが、これらに限定されるものではない。サーバ・コンピュータ、クライアント・コンピュータ、PC、タブレット型コンピュータ、ラップトップ・コンピュータ、ネットブック、セットトップボックス(STB)、パーソナル携帯情報デバイス(PDA)、娯楽メディア・システム、セルラ電話、スマートフォン、モバイル・デバイス、ウェアラブル・デバイス(例えば、ウォッチ)、スマート・ホームデバイス(例えば、スマート・アプライアンス)、他のスマート・デバイス、ウェブ・デバイス、ネットワークルータ、ネットワーク交換機、ネットワーク・ブリッジ、又は、命令1416を順次又は他の仕方で実行することができる任意のマシン。命令1416は、マシン1400によって実行されるべき動作を指定する。更に、単一のマシン1400だけが例示されているが、「マシン」という用語は、また、命令1416を個々に又は共同で実行して、本明細書において記述された複数の方法のうちの任意の1つ又は複数を実施する一纏まりのマシン1400を含むものと見做されねばならない。
マシン1400は、プロセッサ1410、メモリ/ストレージ1430、及び、I/Oコンポーネント1450を含むことができる。これらは、例えば、バス1402を介して互いに通信するように構成され得る。1つの実装形態において、プロセッサ1410は、例えば、命令1416を実行することができるプロセッサ1412及びプロセッサ1414を備えることができる。プロセッサ1410は、例えば、中央処理ユニット(CPU)、縮小命令セット・コンピュータ(RISC)プロセッサ、Complex Instruction Set Computing(CISC)プロセッサ、Graphics Processing Unit(GPU)、デジタル・シグナル・プロセッサ(DSP)、ASIC、無線周波数集積回路(RFIC)、他のプロセッサ、又は、それらの任意の適当な組み合わせである。「プロセッサ」という用語は、同時に命令を実行することができる2台以上の独立プロセッサ(時々「コア」と呼ばれる)を備えることができるマルチコアプロセッサを含むことを意図する。図14は複数のプロセッサ1410を示すが、マシン1400は、単一のコアを有するシングルプロセッサ、複数のコアを有するシングルプロセッサ(例えば、マルチコアプロセッサ)、単一のコアを有する複数のプロセッサ、複数のコアを有する複数のプロセッサ、又は、それらの任意の組み合わせをも含むことができる。
メモリ/ストレージ1430は、(例えば、メイン・メモリ又は他のメモリ領域のような)メモリ1432及びストレージ・ユニット1436(両方共、例えば、バス1402を介してプロセッサ1410に対してアクセス可能)を含むことができる。ストレージ・ユニット1436及びメモリ1432は、本明細書において記述された複数の方法又は機能のうちの任意の1つ又は複数を実現する命令1416を格納する。マシン1400によるそれらの実行の間、命令1416は、完全に又は部分的に、メモリ1432内、ストレージ・ユニット1436内、プロセッサ1410のうちの少なくとも1つの中(例えば、プロセッサのキャッシュメモリ内)、又は、それらの任意の適切な組み合わせに存在し得る。したがって、メモリ1432、ストレージ・ユニット1436、及び、プロセッサ1410のメモリは、マシンで読み取り可能な媒体の例である。
本明細書において、「マシンで読み取り可能な媒体」とは、命令(例えば、命令1416)及びデータを一時的に又は永久に格納することができるデバイスであり、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、バッファ・メモリ、フラッシュメモリ、光学式媒体、磁気媒体、キャッシュメモリ、他の種類のストレージ(例えば、消去可能なプログラマブル・リードオンリー・メモリ(EEPROM))、及び/又は、それらの任意の適当な組み合わせを含むが、これらに限定されるものではない。「マシンで読み取り可能な媒体」という用語、命令1416を格納することが可能な単一の媒体又は複数の媒体(例えば、集中型又は分散型データベース、或いは、関連するキャッシュ及びサーバ)を含むと理解されるべきである。「マシンで読み取り可能な媒体」という用語任意の媒体も又は複数の媒体(マシン(例えば、マシン1400)によって実行のための命令(例えば、命令1416)を格納することができる)の組み合わせを含むにもかかって、マシン(例えば、プロセッサ1410)の1つ又は複数のプロセッサによって実行されるときに、命令はマシンに本明細書に記述されている手順の任意の1つ又は複数も実行させる。したがって、「マシンで読み取り可能な媒体」とは、複数のストレージ装置又はデバイスを備える「クラウド・ベースの」ストレージ・システム又はストレージ・ネットワークと共に、単一のストレージ装置又はデバイスのことを指す。「マシンで読み取り可能な媒体」という用語は信号自体を含まない。
I/Oコンポーネント1450は、入力を受信し、出力を供給し、出力を発生し、情報を送信し、情報を交換し、測定値を捕獲する等のための多種多様な構成要素を含み得る。特定のマシンに含まれる特定のI/Oコンポーネント1450は、マシンの種類に依る。例えば、携帯電話のようなポータブルマシンは、おそらく、タッチ入力デバイス又は他のそのような入力デバイスを備えるが、ヘッドレス・サーバ・マシンはおそらくそのようなタッチ入力デバイスを含まない。I/Oコンポーネント1450が図14に示されない他の多くの構成要素を含むことができることは理解されるであろう。単に以下の説明を単純化するためだけの目的で、I/Oコンポーネント1450は機能に従って分類されるが、グループ化は決して制限的なものではない。様々の実装形態において、I/Oコンポーネント1450は、出力コンポーネント1452及び入力コンポーネント1454を含むことができる。出力コンポーネント1452は、視覚的コンポーネント(例えば、プラズマ・ディスプレイ・パネル(PDP)、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プロジェクタ、又は、ブラウン管(CRT)のようなディスプレイ)、音響コンポーネント(例えば、スピーカ)、触覚コンポーネント(例えば、振動性モータ、抵抗メカニズム)、他の信号発生器等を含むことができる。入力コンポーネント1454は、英数字入力コンポーネント(例えば、キーボード、英数字入力を受けるように構成されたタッチスクリーン、フォト光学キーボード、又は、他の英数字入力コンポーネント)、ポイント・ベースの入力コンポーネント(例えば、マウス、タッチパッド、トラックボール、ジョイスティック、移動センサ、又は、他のポインティング器具)、触覚入力コンポーネント(例えば、物理ボタン、タッチ又はタッチ・ジェスチャの位置及び/又は力を加えるタッチスクリーン、或いは、他の触覚入力コンポーネント)、音声入力コンポーネント(例えば、マイクロホン)等を含むことができる。
更なる実装形態において、I/Oコンポーネント1450は、(他の多くのコンポーネントの中でも特に)生物測定コンポーネント1456、動きコンポーネント1458、環境コンポーネント1460、又は、位置コンポーネント1462を含むことができる。例えば、生物測定コンポーネント1456は、表現(例えば、手表現、顔の表情、声の表現、ボディ・ジェスチャ、又は、目追跡)を検出し、生体信号(例えば、血圧、心拍数、体温、発汗、又は、脳波)を測定し、人(例えば、音声識別、網膜識別、顔面の識別、指紋同定又は脳波ベースの識別)を識別するためのコンポーネント等を含むことができる。動きコンポーネント1458は、加速度センサ・コンポーネント(例えば、アクセロメータ)、重力センサ・コンポーネント、回転センサ・コンポーネント(例えば、ジャイロ)等を含むことができる。環境コンポーネント1460は、例えば、照明センサ・コンポーネント(例えば、測光器)、温度センサ・コンポーネント(例えば、周囲温度を検出する1つ又は複数の温度計)、湿度センサ・コンポーネント、圧力センサ・コンポーネント(例えば、バロメータ)、音響センサ・コンポーネント(例えば、バックグラウンド・ノイズを検出する1つ又は複数のマイクロホン)、近接センサ・コンポーネント(例えば、近傍の物体を検出する赤外センサ)、ガスセンサ(例えば、安全性のための有害ガスの集中を検出する、又は、空気の汚染物質を測定するガス検知センサ)、或いは、周囲の物理的環境に対応する表示、測定値、又は、信号を発生させることができる他のコンポーネントを含むことができる。位置コンポーネント1462は、位置センサ・コンポーネント(例えば、全地球位置把握システム(GPS)レシーバ・コンポーネント)、高度センサ・コンポーネント(例えば、そこから高度が導き出され得る空気圧を検出する高度計又はバロメータ)、方位センサ・コンポーネント(例えば、磁力計)等を含むことができる。
通信は、多種多様な技術を用いて実行され得る。I/Oコンポーネント1450は、それぞれ、カップリング1482及びカップリング1472を介してマシン1400をネットワーク1480又はデバイス1470に連結するように動作可能な通信コンポーネント1464を含むことができる。例えば、通信コンポーネント1464は、ネットワーク1480とのインタフェースを行うために、ネットワークインタフェース・コンポーネント又は他の適当なデバイスを含むことができる。更なる実例において、通信コンポーネント1464は有線通信コンポーネント、無線通信コンポーネント、セルラ方式通信コンポーネント、近距離無線通信(NFC)コンポーネント、Bluetooth(登録商標)コンポーネント(例えば、Bluetooth(登録商標)Low Energy)、Wi−Fi(登録商標)コンポーネント、及び、他の様式によって通信を提供する他の通信コンポーネントを含む。デバイス1470は、他のマシン、又は、多種多様な周辺デバイスの何れか(例えば、USBを介して結合された周辺デバイス)であり得る。
更に、通信コンポーネント1464は、識別子を検出するか、又は、識別子を検出するように動作可能なコンポーネントを含むことができる。例えば、通信コンポーネント1464は、RFID(RFID)タグ・リーダー・コンポーネント、NFCスマートタグ検出コンポーネント、光学的リーダー・コンポーネント(例えば、Universal Product Code(UPC)バー・コードのような一次元バー・コード、及び、Quick Response QR)コード、 Aztecコード、 Data Matrix、 Dataglyph、 MaxiCode、 PDF417、 Ultra Code、 UCC RSS−2Dバー・コードのような多次元バー・コード、及び、他の光学コードを検出する光センサ)、又は、音波探知コンポーネント(例えば、タグ付き音声信号を識別するマイクロホン)を含むことができる。加えて、様々の情報(例えば、インターネット・プロトコル(IP)ジオロケーションによる位置、Wi−Fi(登録商標)信号三角測量による位置、特定の位置を示すことができるNFCビーコン信号を検出することによる位置等)が通信コンポーネント1464を介して得られる。
様々の実装形態において、ネットワーク1480の1つ又は複数の部分は、アドホック・ネットワーク、イントラネット、エクストラネット、仮想専用ネットワーク(VPN)、ローカル・エリア・ネットワーク(LAN)、無線LAN(WLAN)、WAN、無線WAN(WWAN)、メトロポリタン・エリア・ネットワーク(MAN)、インターネット、インターネットの一部、Public Switched Telephone Network(PSTN)の一部、単純従来型電話サービス(POTS)ネットワーク、セルラ電話ネットワーク、無線ネットワーク、Wi−Fi(登録商標)ネットワーク、他の種類のネットワーク、又は、2つ以上のそのようなネットワークの組み合わせであり得る。例えば、ネットワーク1480又はネットワーク1480の一部は無線又はセルラ・ネットワークを含むことができ、カップリング1482は符号分割多重アクセス方式(CDMA)接続、Global System for Mobile communications(GSM)接続、或いは、他の種類のセルラ又は無線カップリングであり得る。この例では、カップリング1482は、例えば、Single Carrier Radio Transmission Technology(lxRTT)、Evolution−Data Optimized(EVDO)技術、General Packet Radio Service(GPRS)技術、Enhanced Data rates for GSM Evolution(EDGE)技術、third Generation Partnership Project(3GPP) including 3G、fourth generation wireless(4G)ネットワーク、Universal Mobile Telecommunications System(UMTS)、High Speed Packet Access(HSPA)、Worldwide Interoperability for Microwave Access(WiMAX)、Long Term Evolution (LTE)規格、様々の標準設定組織によって定義された他のデータ伝達技術、他の長距離プロトコル、又は、他のデータ転送技術のような、様々な種類のデータ伝達技術の何れかを実施することができる。
命令1416は、ネットワーク・インタフェース・デバイス(例えば、通信コンポーネント1464に含まれるネットワーク・インタフェース・コンポーネント)を介して伝送媒体を使用し、多くの既知の転送プロトコル(例えば、HTTP)の何れか1つを利用するネットワーク1480を介して送信又は受信され得る。同様に、命令1416は、デバイス1470へのカップリング1472(例えば、ピア・ツー・ピア結合)を介して伝送媒体を用いて送信又は受信され得る。「伝送媒体」という用語は、マシン1400による実行のために命令1416を保存し、コード化し、又は、担持することができ、デジタル又はアナログの通信信号又は他の無形の媒体を含み、そのようなソフトウェアの通信を容易にする、任意の無形の媒体をも含むと理解されなければならない。
本明細書の全体にわたって、単一の例として記述された構成要素、オペレーション、又は、構造は、複数の例において実施され得る。1つ又は複数の方法の個々のオペレーションが別々のオペレーションとして例示され記述されるが、個々のオペレーションの1つ又は複数は並行して実行され得、これらのオペレーションが例示された順序で実行される必要はない。複数の実装形態において別々のオペレーションとして提示された構造及び機能は、組み合わせられた構造及び機能として実施され得る。同様に、単一の構成要素として提示された構造及び機能は、別々の構成要素として実施され得る。これらの、そして、他の、変形、変更、追加、及び、改良は、本明細書の内容の範囲内にある。
発明的内容の概要が特定の実装形態を参照して記述されているが、本開示の実装形態の、より幅広い範囲を逸脱しない範囲で、様々の変更及び改変が、これらの実装形態に対して為され得る。発明的内容のそのような実装形態は、個々に又は集合的に、単に便宜のために、そして、もし、複数の発明的概念が開示されていても本出願の範囲を自発的に何れの単一の開示又は発明的概念にも限定することなく、「発明」という用語で言及され得る。
本明細書において例示された実装形態は、当業者が開示された教示を実施することができるに十分に詳細に記述されている。本明細書において例示された実装形態から、構造的及び論理的な置換及び改変がこの開示の範囲を逸脱することなく為され得るようにして、他の実装形態も使用され導出され得る。したがって、「発明を実施するための形態」は、限定的な意味にはとられるべきではなく、様々の実装形態の範囲は、そのような請求項の最大の範囲の等価物と共に、添付の特許請求の範囲だけによって定義される。
本明細書において、用語「又は」は、包括的又は排他的の何れかの意味で解釈され得る。
更に、本明細書において単一の例として記述されたリソース、動作、又は、構造に対して複数の例が提供され得る。加えて、様々のリソース、オペレーション、モジュール、エンジン、及び、データ格納の間の境界はある程度任意であり、特定の複数の例示的構成の1つの文脈で特定のオペレーションが説明されている。本開示の様々の実装形態の範囲内に含まれ得る、他の機能の割振が複数構想される。一般に、実装形態の別々のリソースとして提示された構造及び機能は、組み合わされた構造又はリソースとして実施され得る。同様に、単一のリソースとして提示された構造及び機能は、別の単一のリソースとして実装され得る。これらの、そしてまた、他の、変形、変更、追加、及び、改良は、添付の特許請求の範囲によって表現された本開示の実装形態の範囲に入る。したがって、明細書及び図面は、限定的な意味よりはむしろ例示的な意味で考慮されるべきである。

Claims (24)

  1. 処理デバイスと、
    前記処理デバイスに結合され、命令を格納するメモリと
    を備えるシステムであって、前記命令は前記処理デバイスによって実行されるときに、
    1つ又は複数の入力を受け取ることと、
    前記1つ又は複数の入力をパーソナル・アシスタントへ提供することと、
    外部デバイスに向けられた1つ又は複数のコマンドを前記パーソナル・アシスタントから受け取ることと、
    前記1つ又は複数のコマンドに基づいて、前記外部デバイスと関係付けられた位置に関してロボットを動かすことと、
    前記ロボットから前記外部デバイスへの1つ又は複数の命令の送信を開始することと
    を含むオペレーションを前記システムに実行させる、システム。
  2. 前記メモリは、前記外部デバイスの接続性ステータスを判断することを含むオペレーションを前記システムに実行させる命令を更に格納する、請求項1に記載のシステム。
  3. 前記外部デバイスと関係付けられた位置に関してロボットを動かすことが、前記外部デバイスの前記接続性ステータスに基づいて前記位置に関して前記ロボットを動かすことを含む請求項2に記載のシステム。
  4. 前記外部デバイスと関係付けられた位置に関してロボットを動かすことが、前記外部デバイスとの接続を確立することを含む請求項1に記載のシステム。
  5. 前記メモリは、確認コンテンツを生成することを含むオペレーションを前記システムに実行させる命令を更に格納する、請求項1に記載のシステム。
  6. 前記確認コンテンツは、前記1つ又は複数の命令が前記外部デバイスによって実行されたことを示す、請求項5に記載のシステム。
  7. 前記メモリは、前記確認コンテンツを前記パーソナル・アシスタントへ提供することを含むオペレーションを前記システムに実行させる命令を更に格納する、請求項5に記載のシステム。
  8. 1つ又は複数の入力を受け取ることは、
    1つ又は複数の第1の入力を受け取ることと、
    前記1つ又は複数の第1の入力を処理して、前記1つ又は複数の第1の入力と関係付けられた1つ又は複数の品質メトリックを計算することと、
    前記計算された1つ又は複数の品質メトリックに基づいて、前記ロボットに関して1つ又は複数の調整を開始することと、
    1つ又は複数の第2の入力を受け取ることと
    を含む、請求項1に記載のシステム。
  9. 1つ又は複数の命令の送信を開始することは、
    前記外部デバイスから発生するコンテンツを前記ロボットを介して要求することと、
    前記外部デバイスから前記コンテンツを受け取ることと、
    前記コンテンツを前記ロボットに保存することと、
    前記ロボットから1つ又は複数のデバイスへ前記コンテンツを中継することと
    を含む、請求項1に記載のシステム。
  10. 前記メモリは、
    前記ロボットにとってアクセス可能な1つ又は複数の構成要素を識別することと、
    前記1つ又は複数のコマンドを考慮して、前記1つ又は複数の構成要素のうちの少なくとも1つを選択することと、
    前記1つ又は複数の構成要素のうちの前記少なくとも1つに関して、1つ又は複数の動作を開始することと
    を含むオペレーションを前記システムに実行させる命令を更に格納する、請求項1に記載のシステム。
  11. 前記1つ又は複数の構成要素は、
    前記ロボットの中に組み込まれた1つ又は複数のセンサ、前記ロボットと通信しているデバイスの中に組み込まれた1つ又は複数のセンサ、又は前記ロボットの外部にある1つ又は複数のセンサのうちの少なくとも1つを含む、請求項10に記載のシステム。
  12. パーソナル・アシスタントから、外部デバイスに向けられた1つ又は複数のコマンドを受け取ることと、
    前記1つ又は複数のコマンドに基づいて、前記外部デバイスと関係付けられた位置に関してロボットを動かすことと、
    前記ロボットから前記外部デバイスへの1つ又は複数の命令の送信を開始することと
    を含む方法。
  13. 前記外部デバイスの接続性ステータスを判断することを更に含む、請求項12に記載の方法。
  14. 前記外部デバイスと関係付けられた位置に関してロボットを動かすことが、前記外部デバイスの前記接続性ステータスに基づいて、前記位置に関して前記ロボットを動かすことを含む、請求項13に記載の方法。
  15. 前記外部デバイスと関係付けられた位置に関してロボットを動かすことが、前記外部デバイスとの接続を確立することを含む、請求項12に記載の方法。
  16. 確認コンテンツを生成することを更に含む、請求項12に記載の方法。
  17. 前記確認コンテンツは、前記1つ又は複数の命令が前記外部デバイスによって実行されたことを示す、請求項16に記載の方法。
  18. 前記確認コンテンツを前記パーソナル・アシスタントへ提供することを更に含む、請求項16に記載の方法。
  19. 1つ又は複数の第1の入力を受け取ることと、
    前記1つ又は複数の第1の入力を処理して、前記1つ又は複数の第1の入力と関係付けられた1つ又は複数の品質メトリックを計算することと、
    前記計算された1つ又は複数の品質メトリックに基づいて、前記ロボットに関して1つ又は複数の調整を開始することと、
    1つ又は複数の第2の入力を受け取ることと
    を更に含む、請求項12に記載の方法。
  20. 1つ又は複数の命令の送信を開始することは、
    前記外部デバイスから発生するコンテンツを前記ロボットを介して要求することと、
    前記外部デバイスから前記コンテンツを受け取ることと、
    前記コンテンツを前記ロボットに保存することと、
    前記ロボットから1つ又は複数のデバイスへ前記コンテンツを中継することと
    を含む、請求項12に記載の方法。
  21. 前記ロボットにとってアクセス可能な1つ又は複数の構成要素を識別することと、
    前記1つ又は複数のコマンドを考慮して、前記1つ又は複数の構成要素のうちの少なくとも1つを選択することと、
    前記1つ又は複数の構成要素のうちの前記少なくとも1つに関して、1つ又は複数の動作を開始することと
    を更に含む、請求項12に記載の方法。
  22. 前記1つ又は複数の構成要素は、
    前記ロボットの中に組み込まれた1つ又は複数のセンサ、前記ロボットと通信しているデバイスの中に組み込まれた1つ又は複数のセンサ、又は、前記ロボットの外部にある1つ又は複数のセンサのうちの少なくとも1つを含む、請求項21に記載の方法。
  23. 命令を有する、非一時的なコンピュータ読み取り可能な媒体であって、前記命令が処理デバイスによって実行されるときに、
    1つ又は複数の入力を受け取ることと、
    前記1つ又は複数の入力をパーソナル・アシスタントへ提供することと、
    外部デバイスに向けられた1つ又は複数のコマンドを前記パーソナル・アシスタントから受け取ることと、
    前記1つ又は複数のコマンドに基づいて、外部デバイスと関係付けられた位置に関してロボットを動かすことと、
    前記ロボットにとってアクセス可能な1つ又は複数の構成要素を識別することと、
    前記1つ又は複数のコマンドを考慮して、前記1つ又は複数の構成要素のうちの少なくとも1つを選択することと、
    前記1つ又は複数の構成要素のうちの前記少なくとも1つに関して、1つ又は複数の動作を開始すること
    を含むオペレーションを前記処理デバイスに実行させる、非一時的なコンピュータ読み取り可能な媒体。
  24. 前記1つ又は複数の構成要素のうちの前記少なくとも1つに関して、前記1つ又は複数の動作を開始することが、前記外部デバイスに関して1つ又は複数のコマンドを、前記1つ又は複数の構成要素のうちの前記少なくとも1つによって開始することを含む、請求項23に記載の非一時的なコンピュータ読み取り可能な媒体。
JP2020524733A 2017-07-20 2018-07-20 ロボットを制御するシステム、方法及びコンピュータ読み取り可能な媒体 Active JP7089301B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762535122P 2017-07-20 2017-07-20
US201762535116P 2017-07-20 2017-07-20
US62/535,116 2017-07-20
US62/535,122 2017-07-20
PCT/US2018/043165 WO2019018810A1 (en) 2017-07-20 2018-07-20 ROBOT CONTROL WITH MULTIPLE DEVICES

Publications (3)

Publication Number Publication Date
JP2020528190A true JP2020528190A (ja) 2020-09-17
JP2020528190A5 JP2020528190A5 (ja) 2021-09-30
JP7089301B2 JP7089301B2 (ja) 2022-06-22

Family

ID=65015310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020524733A Active JP7089301B2 (ja) 2017-07-20 2018-07-20 ロボットを制御するシステム、方法及びコンピュータ読み取り可能な媒体

Country Status (7)

Country Link
US (2) US10889002B2 (ja)
EP (1) EP3655865B1 (ja)
JP (1) JP7089301B2 (ja)
KR (1) KR20200101321A (ja)
CN (1) CN111512255B (ja)
IL (2) IL283090B2 (ja)
WO (1) WO2019018810A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11411734B2 (en) 2019-10-17 2022-08-09 The Toronto-Dominion Bank Maintaining data confidentiality in communications involving voice-enabled devices in a distributed computing environment
CN111489082A (zh) * 2020-04-10 2020-08-04 北京洛必德科技有限公司 一种机器人协同工作方法及系统
CN111949027A (zh) * 2020-08-10 2020-11-17 珠海一维弦机器人有限公司 自适应的机器人导航方法和装置
CN113238502B (zh) * 2021-05-11 2022-11-29 深圳市华腾智能科技有限公司 一种基于dsp的智能酒店客房管理装置
US20230001570A1 (en) * 2021-06-30 2023-01-05 X-Tend Robotics Inc. Modular frame for an intelligent robot
USD970016S1 (en) * 2021-08-17 2022-11-15 X-Tend Robotics Inc. Intelligent telemedicine robot
CN115070789A (zh) * 2022-06-09 2022-09-20 博歌科技有限公司 一种多机器人智能控制交互平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006532A (ja) * 2001-06-27 2003-01-10 Fujitsu Ltd 移動ロボットとその獲得画像を用いたサーバ経由のサービス提供方式
JP2007221300A (ja) * 2006-02-15 2007-08-30 Fujitsu Ltd ロボット及びロボットの制御方法
JP2013250005A (ja) * 2012-05-31 2013-12-12 Sharp Corp 自走式電子機器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354139A (ja) 2001-05-23 2002-12-06 Toshiba Tec Corp ロボットの制御システム及びこのシステムに使用するロボット
US20140254896A1 (en) * 2011-07-18 2014-09-11 Tiger T G Zhou Unmanned drone, robot system for delivering mail, goods, humanoid security, crisis negotiation, mobile payments, smart humanoid mailbox and wearable personal exoskeleton heavy load flying machine
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法
KR101142564B1 (ko) * 2004-06-24 2012-05-24 아이로보트 코퍼레이션 자동 로봇 장치용의 원격 제어 스케줄러 및 방법
US20090082879A1 (en) * 2007-09-20 2009-03-26 Evolution Robotics Transferable intelligent control device
KR101604752B1 (ko) * 2009-08-06 2016-03-18 엘지전자 주식회사 이동 냉장고 및 이를 포함한 이동 냉장고 시스템
US8798834B2 (en) * 2010-02-17 2014-08-05 Lg Electronics Inc. Movable component for a network system
JP6173657B2 (ja) 2011-07-14 2017-08-02 キョーラク株式会社 樹脂成形品の成形方法
US9569976B2 (en) * 2012-10-02 2017-02-14 Gavriel Yaacov Krauss Methods circuits, devices and systems for personality interpretation and expression
JP6158517B2 (ja) * 2013-01-23 2017-07-05 ホーチキ株式会社 警報システム
KR102093318B1 (ko) * 2014-01-13 2020-03-25 한국전자통신연구원 끊임없는 통신 연결성을 제공하는 분리 가능한 모듈형 뱀 로봇 및 그 동작 방법
US9216508B2 (en) * 2014-01-14 2015-12-22 Qualcomm Incorporated Connectivity maintenance using a quality of service-based robot path planning algorithm
US9630317B2 (en) * 2014-04-03 2017-04-25 Brain Corporation Learning apparatus and methods for control of robotic devices via spoofing
US20160186291A1 (en) 2014-07-21 2016-06-30 Michael J. Mills Continuous Ore Process and Apparatus Using Plasma
DE102014113040A1 (de) * 2014-09-10 2016-03-10 Miele & Cie. Kg Verfahren zum Betrieb eines Haushaltsgerätesystems
KR101620260B1 (ko) * 2015-01-12 2016-05-12 엘지전자 주식회사 네트워크 시스템 및 그 제어방법
KR101659037B1 (ko) 2015-02-16 2016-09-23 엘지전자 주식회사 로봇 청소기, 이를 포함하는 원격 제어 시스템 및 이의 제어 방법
US9494936B2 (en) * 2015-03-12 2016-11-15 Alarm.Com Incorporated Robotic assistance in security monitoring
US10032137B2 (en) * 2015-08-31 2018-07-24 Avaya Inc. Communication systems for multi-source robot control
US9842447B2 (en) * 2015-09-30 2017-12-12 Ford Global Technologies, Llc System and method for range-boosted key fob
US20170129099A1 (en) * 2015-11-10 2017-05-11 M3N, Inc. Multipurpose Robotic System
US20170282362A1 (en) * 2016-03-31 2017-10-05 Avaya Inc. Command and control of a user-provided robot by a contact center
KR102565501B1 (ko) * 2016-08-01 2023-08-11 삼성전자주식회사 로봇 청소기, 냉장고, 용기 이송 시스템 및 로봇 청소기를 이용한 용기의 이송 및 회수 방법
US10112298B2 (en) * 2016-08-09 2018-10-30 International Business Machines Corporation Assigning tasks to a robot device for execution

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006532A (ja) * 2001-06-27 2003-01-10 Fujitsu Ltd 移動ロボットとその獲得画像を用いたサーバ経由のサービス提供方式
JP2007221300A (ja) * 2006-02-15 2007-08-30 Fujitsu Ltd ロボット及びロボットの制御方法
JP2013250005A (ja) * 2012-05-31 2013-12-12 Sharp Corp 自走式電子機器

Also Published As

Publication number Publication date
IL272122B (en) 2021-05-31
CN111512255A (zh) 2020-08-07
IL283090A (en) 2021-06-30
US10889002B2 (en) 2021-01-12
WO2019018810A1 (en) 2019-01-24
IL283090B1 (en) 2023-06-01
EP3655865A1 (en) 2020-05-27
JP7089301B2 (ja) 2022-06-22
CN111512255B (zh) 2023-08-29
KR20200101321A (ko) 2020-08-27
EP3655865A4 (en) 2021-08-25
EP3655865B1 (en) 2022-07-20
US11472038B2 (en) 2022-10-18
IL283090B2 (en) 2023-10-01
IL272122A (en) 2020-03-31
US20200147810A1 (en) 2020-05-14
US20210221006A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
JP7089301B2 (ja) ロボットを制御するシステム、方法及びコンピュータ読み取り可能な媒体
US9259842B2 (en) Interactive robot initialization
US9110469B2 (en) Self-propelled work apparatus, method, and computer-readable medium
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
US20200287739A1 (en) Vision-based object recognition device and method for controlling the same
KR20190099586A (ko) 전자 장치, 전자 장치의 제어방법 및 서버
US10038834B2 (en) Video call method and device
US20180077335A1 (en) Portable camera and controlling method thereof
WO2018214034A1 (zh) 无人机激活方法、终端、无人机以及机器可读存储介质
US11030996B2 (en) Electronic device and control method thereof
EP4040332A1 (en) Method and apparatus for upgrading an intelligent model and non-transitory computer readable storage medium
KR101632220B1 (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 제어시스템과 그 제어방법
CN108351681B (zh) 电子设备及其托架
US11363189B2 (en) Apparatus and method for recognizing voice and face on basis of change in camera driving method
US11153427B2 (en) Mobile terminal and method for controlling the same
KR102499917B1 (ko) 측위를 수행하는 전자 장치 및 전자 장치의 제어 방법
KR102251076B1 (ko) 실내 이미지를 사용하여 설계도면을 추정하는 방법
US11418950B1 (en) System for establishing a secure data connection with an autonomous mobile device
KR102627254B1 (ko) 전자 장치 및 얼굴 인식 시스템, 그리고 이의 스푸핑 방지 방법
EP4265377A1 (en) Robot and driving method therefor
KR102404421B1 (ko) 외부 전자 장치를 인식하는 방법 및 장치
KR102249116B1 (ko) 이동 단말기 및 그것의 제어 방법
KR20230072205A (ko) 가전 기기를 서버에 등록하는 장치 및 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220603

R150 Certificate of patent or registration of utility model

Ref document number: 7089301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350