JP2017061034A - 識別された投影表面に像を投影するためのプロジェクターを具備するロボット - Google Patents

識別された投影表面に像を投影するためのプロジェクターを具備するロボット Download PDF

Info

Publication number
JP2017061034A
JP2017061034A JP2016243277A JP2016243277A JP2017061034A JP 2017061034 A JP2017061034 A JP 2017061034A JP 2016243277 A JP2016243277 A JP 2016243277A JP 2016243277 A JP2016243277 A JP 2016243277A JP 2017061034 A JP2017061034 A JP 2017061034A
Authority
JP
Japan
Prior art keywords
robot
control unit
electronic control
housing
coupled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016243277A
Other languages
English (en)
Other versions
JP6420303B2 (ja
Inventor
アラン ムーア ダグラス
Alan Moore Douglas
アラン ムーア ダグラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Engineering and Manufacturing North America Inc
Original Assignee
Toyota Motor Engineering and Manufacturing North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Engineering and Manufacturing North America Inc filed Critical Toyota Motor Engineering and Manufacturing North America Inc
Publication of JP2017061034A publication Critical patent/JP2017061034A/ja
Application granted granted Critical
Publication of JP6420303B2 publication Critical patent/JP6420303B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】ロボットと通信する人が、投影された像を容易に視認し得る、像データを投影するのに適した表面を識別するプロジェクターを提供する。【解決手段】ハウジング102と、ハウジングに結合された電子制御ユニット120であって一組の機械可読指令を保存する非一時的メモリ122と機械可読指令を実行するためのプロセッサ124とを有する電子制御ユニットと、プロジェクター126と、人認識モジュール128と、投影表面識別モジュール130と、を具備するロボット100であって、プロセッサによって実行されたとき、機械可読指令が、ロボットに、人認識モジュールを用いて人を認識させ、投影表面識別モジュールを用いて投影表面を識別させ、且つ、識別された投影表面500にプロジェクターで像を投影させるロボットによる。【選択図】図1

Description

本明細書は、概してロボットに関し、より詳細には、識別された投影表面に像を投影するためのプロジェクターを具備するロボットに関する。
テレプレゼンスロボットのようなロボットは、テレプレゼンスロボットを介してロボットの物理的環境(physical environment)における人の像データ(例えば遠隔の通信相手(a remote party communicating)の像データ)を、テレプレゼンスロボットの物理的環境における相手に、例えばモニター、テレビ、スクリーン又はディスプレイ等に像データを表示することによって通信してもよい。
しかしながら、像データが投影される場合において、ロボットと通信する1又は複数の人が、容易に投影された像を視認し得るように、像データを投影する、適した表面を識別するのは困難となり得る。例えば、投影表面は、小さいかもしれず、障害物によって遮断されるかもしれず、或いは、物理的環境において、1又は複数の人の後方にあるかもしれない。
従って、識別された投影表面に像を投影するためのプロジェクターを具備した、代替的なロボットが必要とされている。
1つの実施形態において、ロボットは、ハウジングと、ハウジングに結合された電子制御ユニットと、ハウジングに結合されたプロジェクターと、ハウジングに結合された人認識モジュールと、ハウジングに結合された投影表面識別モジュールと、を有する。プロジェクター、人認識モジュール及び表面識別モジュールは、電子制御ユニットと通信可能に接続される。電子制御ユニットは、一組の機械可読指令(machine readable instructions)を保存する非一時的メモリと、機械可読指令を実行するためのプロセッサと、を有する。プロセッサによって実行されたとき、機械可読指令は、ロボットに、人認識モジュールを用いて人を認識させ、投影表面認識モジュールを用いて投影表面を識別させ、且つ、識別された投影表面にプロジェクターで像を投影させる。
別の実施形態において、ロボットは、ハウジングと、ハウジングに結合された電子制御ユニットと、ハウジングに結合されたプロジェクターと、ハウジングに結合されたカメラと、を有する。プロジェクター及びカメラは、電子制御ユニットと通信可能に接続される。電子制御ユニットは、一組の機械可読指令を保存する非一時的メモリと、機械可読指令を実行するためのプロセッサと、を具備する。プロセッサによって実行されたとき、機械可読指令は、ロボットに、カメラを用いて人を認識させ、カメラを用いて投影表面を識別させ、識別された投影表面にプロジェクターで像を投影させる。
更に別の実施形態において、ロボットは、ハウジングと、ハウジングに結合された電子制御ユニットと、ハウジングに結合されたプロジェクターと、ハウジングに結合されたマイクと、ハウジングに結合されたカメラと、を有する。プロジェクター、マイク及びカメラは、電子制御ユニットに通信可能に接続される。電子制御ユニットは、一組の機械可読指令を保存する非一時的メモリと、機械可読指令を実行するためのプロセッサと、を有する。プロセッサによって実行されたとき、機械可読指令は、ロボットに、機械的振動であってマイクによって受信され且つ電子制御ユニットへと送信される、人のスピーチを示す信号へと変換する機械的振動に基づいて人を認識させ、カメラを用いて投影表面を識別させ、且つ、識別された投影表面に像を投影させる。
ここで説明された実施形態によって提供されるこれらの付加的な特徴は、図面と共に以下の詳細な説明を考慮して、より詳細に理解される。
図中に説明される実施形態は、本質的には、概略的例示にすぎず、特許請求の範囲によって定義される主題を限定しようとするものではない。例示的実施形態の以下の詳細な説明は、同等の構造が同等の参照番号で示された以下の図面を参照して理解され得る。
ここで示され且つ説明された1又は複数の実施形態に係る、識別された表面に像を投影するためのロボットを概略的に示す。 ここで示され且つ説明された1又は複数の実施形態に係る、識別された表面に像を投影するためのロボットを概略的に示す。 ここで示され且つ説明された1又は複数の実施形態に係る、人によって視認可能な、識別された投影表面に像を投影するためのフローチャートを概略的に示す。 ここで示され且つ説明された1又は複数の実施形態に係る、人によって視認可能な識別された投影表面に像を投影するためのロボットを移動させるためのフローチャートを概略的に示す。 ここで示され且つ説明された1又は複数の実施形態に係る、人によって視認可能な表面に像を投影する車輪付きロボットの斜視図を概略的に示す。 ここで示され且つ説明された1又は複数の実施形態に係る、人によって視認可能な表面に像を投影する飛行ロボットの斜視図を概略的に示す。
ここで開示された実施形態は、識別された表面に像を投影するためのプロジェクターを備えるロボットを概して有する。概して図5を参照すると、ロボットは、ロボットの物理的環境において人を認識してもよく、像が投影され得る、人によって視認可能な投影表面を識別してもよく、識別された表面に人、顔、ロボットを表すアバター等の像のような像を投影してもよい。より詳細には、実施形態は、ハウジングと、ハウジングに結合された電子制御ユニットと、ハウジングに結合され且つハウジングと通信可能に結合されたプロジェクターと、を概して有してもよい。概して実施形態は、人を認識し、投影表面を識別し、識別された投影表面にプロジェクターで像を投影する。いくつかの実施形態は、人を認識するための人認識モジュールであってハウジングに結合され且つ電子制御ユニットと通信可能に接続された人認識モジュールと、投影表面を識別するための投影表面識別モジュールであってハウジングに結合され且つ電子制御ユニットと通信可能に接続された投影表面識別モジュールと、を有する。他の実施形態は、人を認識し且つ投影表面を識別するためのカメラであってハウジングに結合され且つ電子制御ユニットと通信可能に接続されたカメラを有する。更に他の実施形態は、人を認識するためのマイクであってハウジングに結合され且つ電子制御ユニットと通信可能に接続されたマイクと、投影表面を識別するためのカメラであってハウジングに結合され且つ電子制御ユニットと通信可能に接続されたカメラと、を有する。識別された表面に像を投影するための様々なロボットは、ここで対応する図面を詳細に参照し、より詳細に説明される。
ここで図面を参照すると、図1は、識別された表面に像を投影するためのロボット100の実施形態を概略的に示す。ロボット100は、ロボット100の様々な構成要素が結合されたハウジング102を具備する。図1に示されたロボット100は、ロボット100を移動させるために操作可能な、回転可能にハウジング102に結合された、複数の駆動車輪114を有する。しかし、当然のことながら、他の実施形態において、ロボット100は、車輪の使用以外の方法で動くように構成されてもよい。例えば、ロボット100は、限定されるものではないが、駆動トラックを備えるロボット、脚部を備えるロボット、及び、飛行ロボット(例えば航空機ロボット、ヘリコプターロボット、小型飛行船ロボット等)を含む任意の他の形式のロボットであってもよい。当然のことながら、ある実施形態において、ハウジング102は、ロボット100の構成要素のいくつか、或いは、全てを収容してもよい。他の実施形態において、少なくともいくつかのロボット100の構成要素が、ハウジング102の外側表面に結合されてもよい。
ハウジング102は、ハウジング102に結合された電子制御ユニット120を有する。電子制御ユニット120は、一組の機械可読指令を保存する電子メモリ122と、機械可読指令を実行するためのプロセッサ124と、を有する。電子メモリ122は、機械可読指令がプロセッサ124によってアクセスされ得るように機械可読指令を保存可能な、RAM、ROM、フラッシュメモリ、ハードドライブ、又は、任意のデバイスを具備してもよい。機械可読指令は、例えば、プロセッサ124によって直接的に実行される機械語、或いは、機械可読指令へとコンパイルされ又はアセンブルされることができ、且つ、電子メモリ122に保存され得る、アセンブリ言語、オブジェクト指向のプログラミング(OOP)、スクリプト言語、マイクロコード等といった、任意の世代(例えば、1GL、2GL、3GL、4GL又は5GL)の、任意のプログラム言語で書かれたロジック又は1又は複数のアルゴリズムを具備する。なお、機械可読指令は、フィールドプログラマブルゲートアレイ(FPGA)構成、或いは、アプリケーションスペシフィック集積回路(ASIC)又はこれらと同等なもので実行されるロジックのようなハードウェア記述言語(HDL)で書かれてもよい。従って、ここで説明された方法は、あらかじめプログラムされたハードウェア要素、又は、ハードウェア構成要素及びソフトウェア構成要素の組合せのような任意の公知のコンピュータプログラム言語で実現されてもよい。電子メモリ122は、1つのメモリモジュール又は複数のメモリモジュールとして実現されてもよい。
プロセッサ124は、機械可読指令を実行可能な任意のデバイスであってもよい。例えば、プロセッサ124は、集積回路、マイクロチップ、コンピュータ又は任意の他のコンピュータデバイスであってもよい。電子メモリ122及びプロセッサ124は、ロボット100の様々な構成要素とモジュールとの間に信号相互接続性を提供する通信パス104に接続される。従って、通信パス104は、分散コンピューティング環境において操作するため、任意の数のプロセッサを互いに通信可能に接続してもよく、モジュールが通信パス104に接続されることを可能としてもよい。特に、それぞれのモジュールは、データを送信及び/又は受信し得るノードとして機能してもよい。ここで用いられたような、「通信可能に接続され」という語は、例えば、導電媒体を介した電気信号、空気を介した電磁信号、光学導波管を介した光信号等ように、接続された構成部品がデータ信号を互いに交換可能であることを意味する。
従って、通信パス104は、例えば、導電ワイヤ、導電トレース又は光学導波管等といった信号送信可能な任意の媒体から形成されてもよい。更に、通信パス104は、信号送信可能な媒体の組合せから形成されてもよい。ある実施形態において、通信パス104は、プロセッサ、メモリ、センサ、入力デバイス、出力デバイス及び通信デバイスといった構成要素への電子データ信号の送信を可能とするために協働する、導電トレース、導電ワイヤ、コネクタ及びバスの組合せを具備してもよい。更に、「信号」という語は、媒体を通して伝達可能なDC、AC、正弦波、三角波、矩形波、振動等といった波形(例えば電子的、光学的、磁性的、機械的又は電磁的な波形)を意味することに留意されたい。
ここで説明された実施形態において、電子メモリ122及びプロセッサ124は、電子制御ユニット120と一体(integral)である。しかしながら、電子制御ユニット120、電子メモリ122及びプロセッサ124は、本開示の範囲から逸脱することなく、互いに通信可能に接続された個別の構成要素であってもよいことに留意されたい。
図1において概略的に示されたように、通信パス104は、電子制御ユニット120を、ロボット100の複数の他の構成要素と通信可能に接続する。例えば、図1に示されたロボット100の実施形態は、電子制御ユニット120であって、プロジェクター126、人認識モジュール128、投影表面識別モジュール130、ワイヤレス通信器132、スピーカー134、複数の駆動車輪114に結合された複数の駆動モーター140、及び、少なくとも1つの駆動車輪114に結合されたステアリング機構150に通信可能に接続された電子制御ユニット120を有する。
プロジェクター126は、データ信号を、表面に投影される像のような光学的出力に変換可能な任意のデバイスであってもよい。ある実施形態において、プロジェクター126は、1又は複数のプロセッサ及び1又は複数のメモリを有してもよい。他の実施形態において、プロジェクター126は、プロセッサ及び/又はメモリを省いてもよい。ある実施形態において、プロジェクター126は、ピコプロジェクターのようなコンパクトな低消費電力のプロジェクターであってもよい。
人認識モジュール128は、ロボット100の物理的存在における人の識別を容易にすることを可能とする任意のデバイスであってもよい。ある実施形態において、以下でより詳細に説明されるように、人認識モジュール128は、1又は複数の人の位置を識別してもよく、適した投影表面を測定(determine)するために用いられてもよい。他の実施形態において、人認識モジュール128は、電子制御ユニット120に通信可能に接続されたカメラである。こうした実施形態において、電子制御ユニット120は、カメラによって検知された像において顔認証アルゴリズムを用いることによってロボット100の物理的存在における人を認識してもよい。他の実施形態において、人認識モジュール128は、電子制御ユニット120に通信可能に接続されたマイクである。こうした実施形態において、電子制御ユニット120は、機械的振動をマイクで受信し且つ受信された機械的振動を人のスピーチを示す信号へと変換することによってロボット100の物理的存在における人を認識してもよい。ある実施形態において、以下でより詳細に示されるように、人の位置及び/又は向きは、受信された機械的振動の方向に基づいて測定されてもよい。当然のことながら、他の実施形態において、人認識モジュール128は、人の認識を容易とする、オブジェクトセンサ、熱センサ、圧力センサ、二酸化炭素センサ等といった、カメラ又はマイク以外のデバイスであってもよい。
投影表面識別モジュール130は、ロボット100がプロジェクター126で像を投影するのに適した投影表面の識別を容易とすることを可能とする任意のデバイスであってもよい。ある実施形態において、投影表面識別モジュール130は、電子制御ユニット120に通信可能に接続されたカメラである。こうした実施形態において、電子制御ユニット120は、カメラによって検知された像を処理することによって1又は複数の可能な投影表面を認識してもよい。1又は複数の可能な投影表面から、電子制御ユニット120が、像を投影する投影表面を識別してもよい。他の実施形態において、投影表面識別モジュール130は、投影表面の識別を容易にする、深さセンサ、オブジェクトセンサ、レーザーセンサ等のような、カメラ以外のデバイスであってもよい。ある実施形態において、投影表面識別モジュール130は、電子メモリ122に保存された公知のマップを参照してもよい。ある実施形態において、投影表面識別モジュール130は、複数の可能な投影表面の識別を容易としてもよく、それぞれの可能な投影表面の1又は複数の測定された特性(例えば表面色、テクスチャ、反射性、寸法、形状等)に基づいて複数の可能な投影表面のうちの最適な投影表面を識別してもよい。
ワイヤレス通信器132は、ワイヤレス通信が可能な任意のデバイスであってもよい。ワイヤレス通信器132は、任意のワイヤレス通信標準によってデータを送信及び/又は受信するための通信送受信器を有してもよい。例えば、ネットワークインターフェースハードウェア118は、例えばパーソナルエリアネットワーク、ローカルエリアネットワーク、広域ネットワーク、セルラーネットワーク、ワイヤレスフィディリティ(WiFi)、WiMaxBluetooth(登録商標)、IrDA、ワイヤレスUSB、Z−WaveZigBee等といったワイヤレスコンピュータネットワークに亘り、別のデバイス(例えばコンピュータ又はモバイルデバイス)と通信するためのチップセット(例えばアンテナ、プロセッサ、機械可読指令等)を有してもよい。ロボット100のいくつかの実施形態は、ワイヤレス通信器132を有しなくてもよい。
スピーカー134は、例えばロボット100からロボット100の物理的存在における人へと通信された情報の可聴な指示を提供するために、通信パス104において送信されたデータ信号を機械的振動へと変換可能な任意のデバイスであってもよい。ロボット100のいくつかの実施形態は、スピーカー134を有しなくてもよい。
図1に示されるように、ロボット100は、1又は複数の駆動車輪114と1又は複数の駆動モーター140とを有した移動機構を具備する。駆動車輪114は、回転可能にハウジング102に結合される。駆動モーター140は、駆動モーター140が、ロボット100を移動させるために駆動車輪114を回転させるように、駆動車輪114に結合される。ある実施形態において、駆動モーター140は、駆動車輪に回転エネルギーを付与する、バッテリーで動力付与された電気モーターである。他の実施形態において、駆動モーター140は、デバイスを前方移動させるために、複数の車輪を回転させてもよい。図1に示された実施形態は、複数の駆動車輪114を有し、そのそれぞれが、駆動モーター140に結合されているが、他の実施形態においては、1又は複数の駆動車輪114は、例えば1つの駆動モーター140が複数の駆動車輪114を駆動するとき、分離された駆動モーター140に結合されなくてもよい。更に他の実施形態において、1又は複数の駆動車輪114は、駆動モーター140に結合されなくてもよく、例えば、ロボット100の前方に配置された駆動車輪114は駆動モーター140に結合されているが、ロボット100の後方に配置された車輪は、駆動モーター140に結合されていなくてもよい。
ロボット100は、ハウジング102に結合されたステアリング機構150を具備する。ステアリング機構150は、ロボット100が移動するときにロボット100のコースを方向付ける。ステアリング機構は、1又は複数の駆動車輪114、ラックアンドピニオン、ボールナット機構、オムニホイール、メカナムホイール、又は、ロボット100が移動するときにロボット100のコースを方向付けるのに適した任意の他のデバイスを回転させるための機械的連結であってもよい。
図1に示されたロボット100は車輪付きの移動機構を有するが、他の実施形態において、ロボット100は、車輪付きの移動機構以外の移動機構を有してもよい。例えば、ある実施形態において、ロボット100は、図4に示されたように、1又は複数の駆動モーターに結合された1又は複数の回転翼320を有し得るヘリコプター移動機構を有してもよい。
ここで図2を参照すると、識別された表面に像を投影するためのロボット200の別の実施形態が概略的に示される。図2に示されたロボット200は、図2のロボット200が、図1のロボット100の人認識モジュール128及び投影表面識別モジュール130の代わりに電子制御ユニット120に通信可能に接続されたカメラ160を有するため、図1に示されたロボット100とは異なる。図2の実施形態において、ロボット200のカメラ160は、ロボット200の物理的存在における人の認識と、ロボット200がプロジェクター126で像を投影するための適した投影表面の識別と、の両方を容易とする。カメラ160は、例えばカメラ160によって検知された像において顔認証アルゴリズムを用いることによってロボット200の物理的存在における人の認識を容易(facilitate)としてもよい。カメラ160は、カメラ160から受信された像に基づいて適した投影表面の識別を容易としてもよい。1ロボット200の他の示された構成要素は、図1を参照しつつ上述され、同等に符号が付与されたロボット100の構成要素と略類似している。
ここで図3を参照すると、人によって視認可能な、識別された投影表面に像を投影するためのフローチャートが概略的に示される。人を認識し(ブロック302)、投影表面を識別し(ブロック304)、且つ、像を投影するため(ブロック306)の機械可読指令は、電子メモリ122内に保存される。人認識モジュールを具備する実施形態において(例えば図1のロボット100)、プロセッサ124によって実行されたとき、人を認識するための機械可読指令は、ブロック302において、人認識モジュール128を用いてロボットに人を認識させる。人認識モジュール128がカメラを具備する実施形態、或いは、人認識モジュール128がなく、カメラ160を有する実施形態(例えば図2のロボット200)において、ブロック302の機械可読指令は、ロボットに、人を認識させるため、カメラから入力像を受信させ、且つ、顔認証アルゴリズムを用いて入力像を処理させることによって人を認識させてもよい。ある実施形態において、人を認識するために固有顔認証アルゴリズムが用いられてもよい。他の実施形態において、主成分分析アルゴリズム、独立成分分析アルゴリズム、線形判別分析アルゴリズム等といった、固有顔アルゴリズム以外の顔認証アルゴリズムが用いられてもよい。人認識モジュール128がマイクを有する実施形態において、機械可読指令は、ユニバーサルバックグラウンドモデルに基づいたアルゴリズム又はジョイント因子分析に基づいたアルゴリズムといった音声認識アルゴリズムを用いて、マイクから受信した信号を処理することによって、ロボットに、人を認識させてもよい。
更に図3を参照すると、投影表面識別モジュール130を具備する実施形態(例えば図1のロボット100)において、プロセッサ124によって実行されたとき、投影表面を識別するための機械可読指令は、ブロック304における投影表面識別モジュール130を用いてロボットに投影表面を識別させる。投影表面識別モジュール130がカメラを具備する実施形態、或いは、投影表面識別モジュール130がなく、カメラ160を有する実施形態(例えば図2のロボット200)において、機械可読指令は、カメラから入力像を受信することによって及び投影表面識別アルゴリズムを用いて入力像を処理することによってロボットに投影表面を識別させてもよい。投影表面識別アルゴリズムは、表面色、テクスチャ、反射性、寸法、形状等に基づいて投影表面を識別してもよい。ある実施形態において、機械可読指令は、ロボットに、複数の可能な投影表面を識別させ、且つ、それぞれの可能な投影表面の1又は複数の測定された特性(例えば表面色、テクスチャ、反射性、寸法、形状等)に基づいて複数の可能な投影表面のうちの最適な投影表面を識別させてもよい。識別された表面は、限定されるものではないが、壁、窓、パーティション(cubicle)、スクリーン等を含む、像が投影され得る任意の表面であってもよい。
プロセッサ124によって実行されたとき、像を投影するための機械可読指令は、ブロック306における識別された投影表面においてロボットに像を投影させる。ある実施形態において、投影された像は、ロボット100の物理的環境において配置された受信相手と通信するためにロボット100を用いる遠隔の通信相手であってもよい。ある実施形態において、投影された像は、通信相手の本体全体を含んでもよい。他の実施形態において、投影された像は、通信相手の顔のような、通信相手の本体の一部のみを含んでもよい。更に他の実施形態において、投影された像は、例えばアバター等といった、通信相手の虚像(fictional representation)を含んでもよい。他の実施形態において、投影された像は、ロボット100の物理的環境において配置された人によって視認されるためにロボット100によって伝達される任意の他の視覚的情報であってもよい。更に他の実施形態において、投影された像は、例えばアバター等といった、ロボット100の視覚的像(visual representation)であってもよい。
図4を参照すると、人によって視認可能な識別された投影表面に像を投影するためにロボットを移動させるためのフローチャートが、概略的に示される。人の位置を識別するための機械可読指令(ブロック402)、人が像を視認可能な投影表面の投影領域の識別(ブロック404)、及び、ロボットを識別された投影領域において像が投影される配置へと移動させること(ブロック406)は、電子メモリ122に保存される。人認識モジュール128を具備する実施形態において(例えば図1のロボット100)、プロセッサによって実行されたとき、人の位置を識別するための機械可読指令は、ブロック402において人の位置を識別するための人認識モジュール128を用いてもよい。人認識モジュール128がカメラを具備する実施形態、或いは、人認識モジュール128がなく、カメラ160を有する実施形態(例えば図2のロボット200)において、機械可読指令は、電子メモリ122に保存されたグリッドシステム又は座標システムに対する人の位置を測定するため、ロボットに、カメラからの入力像を受信させてもよく、入力像を処理させてもよい。ある実施形態において、グリッドシステム又は座標システムは、ロボットが存在する(present)物理的環境に関する情報を含むマップデータに対して定義されてもよい。ある実施形態において、識別された人の向きが、カメラから受信された像データの分析によって、例えば、人の目が向かう方向を測定することにより、人の位置の識別に加えて識別されてもよい。
人認識モジュール128がマイクを有する実施形態において、ブロック402の機械可読指令は、ロボットに機械的振動を受信させてもよく、受信されたスピーチ信号に基づいて人の位置及び/又は向きを決定する電子制御ユニット120に、人のスピーチを示す信号を提供してもよい。
プロセッサによって実行されたとき、機械可読指令は、ロボットに、ブロック404において人が像を視認可能な投影表面の投影領域を識別させてもよい。投影表面識別モジュール130を具備する実施形態(例えば図1のロボット100)において、プロセッサ124によって実行されたとき、ブロック404の機械可読指令は、ロボットに、投影表面識別モジュール130を用いて人が像を視認可能な投影領域を識別させる。投影表面識別モジュール130がカメラを具備する実施形態、又は、投影表面識別モジュール130がなく、カメラ160を有する実施形態(例えば図2のロボット200)において、機械可読指令は、カメラから入力像を受信することによって、及び、投影領域識別アルゴリズムを用いて入力像を処理することによって、ロボットに投影領域を識別させてもよい。ある実施形態において、投影領域識別アルゴリズムは、人の検知された位置及び向きから、人が像を視認可能となるように、人の位置及び/又は人の向きに基づいて投影領域を識別してもよい。
プロセッサによって実行されたとき、機械可読指令は、図406において、識別された投影領域に像が投影される配置へと、ロボットを移動させてもよい。ブロック404において一度目的の投影領域が識別されると、ロボットの移動機構は、ロボットを、識別された投影領域における像が投影された配置へと、車輪付きロボットの場合におけるローリング及びステアリングによって、適した位置のために移動させてもよい。ある実施形態において、ロボットは、トポグラフィー情報(topographical information)を検出するため、任意の数のソナーセンサー、レーザーレンジファインダ及びオンボードカメラ等を用いてもよい。1つの例示において、電子メモリ122は、ロボットが存在する物理的環境を示すマップ又は座標システムを保存してもよい。次いで検出されたトポグラフィー情報は、システムの相対的配置を測定し得る電子制御ユニット120へと送信される。一度相対的配置が測定されると、移動機構は、識別された投影領域に像が投影される配置へとロボットを案内してもよい。ある実施形態において、電子メモリ122は、機械可読指令であって、プロセッサ124によって実行されたとき、ロボットに、(例えば像データのフレームを横断する(across frames)像データを分析することによって、)人の移動を検知させ、検知された移動に基づいて人の将来の位置を予測させ、且つ、予測された将来の位置から人が像を視認可能な投影表面の領域に像を投影させる機械可読指令を有してもよい。
ある実施形態において、ロボットは、ワイヤレス通信器132でデータを受信してもよい。こうした実施形態において、投影された像は、受信されたデータに基づいてもよい。例えば、ある実施形態において、投影された像は、ワイヤレス通信器132を介して受信された遠隔の通信相手の像に基づいてもよい。他の実施形態において、受信されたデータは、遠隔の通信相手によって無線で送信され且つワイヤレス通信器132によって受信された、他の情報を有してもよい。更に他の実施形態において、受信されたデータは、自動的に遠隔のコンピュータデバイスによって送信され、且つワイヤレス通信器132によって受信された情報を有してもよい。スピーカー134を有する実施形態において、スピーカーの機械的出力は、ワイヤレス通信器132によって無線で受信された情報(例えば通信相手のスピーチ)に基づいてもよい。しかしながら、当然のことながら、スピーカー134を備えた実施形態は、ワイヤレス通信器132によって受信された情報以外の情報の可聴な指示を通信してもよい。
ある実施形態において、機械可読指令であって、ロボットと投影表面との間の距離を測定し、投影表面の寸法を測定し、且つ、投影された像の全体が投影表面に表示されるように、測定された距離及び測定された寸法に基づいて投影された像をスケール調整するための機械可読指令が、電子メモリ122に保存される。
ここで図5及び図2を参照すると、像520を人400によって視認可能な表面500に投影する車輪付きロボット100の斜視図が概略的に示される。表面500に像520を投影するため、ロボット100は、上述したようにカメラ160を用いて人400を認識し、上述したようにカメラ160を用いて投影表面500を識別し、適した配置へと移動し、且つ、上述したようにプロジェクター126で識別された投影表面500に像520を投影する。
図6及び図2を参照すると、人400によって視認可能な表面500に像520を投影する飛行ロボット300の斜視図が概略的に示される。像520を表面500に投影するため、飛行ロボット300は、上述したようにカメラ160を用いて人400を認識し、上述したようにカメラ160を用いて投影表面500を識別し、適した配置へと移動し、且つ、像520を上述したようにプロジェクター126で識別された投影表面500へと投影する。
ここで実施形態は、識別された投影表面に像を投影する1つのロボットの文脈で説明されてきたが、当然のことながら、他の実施形態において、識別された投影表面に1つの像を投影するために複数のロボットが協働してもよい。ある実施形態において、複数のロボットは、集合部(collective portions)が1つの像を形成するように、投影表面に像の一部をそれぞれ投影してもよい。1つの実施形態において、第1のロボット、第2のロボット、第3のロボット、及び、第4のロボットは、識別された投影表面に像の四半部(quadrant)をそれぞれ投影してもよい。例えば、第1のロボットが像の上方左四半部を投影してもよく、第2のロボットが像の上方右四半部を投影してもよく、第3のロボットが像の下方左四半部を投影してもよく、第4のロボットが像の下方右四半部を投影してもよい。ある実施形態において、複数の車輪付きロボットは、集合部が1つの像を形成するように、投影表面に像の一部をそれぞれ投影してもよい。他の実施形態において、複数の飛行ロボットは、集合部が1つの像を形成するように投影表面に像の一部をそれぞれ投影してもよい。更に他の実施形態において、飛行ロボットと車輪付きロボットとの組合せは、集合部が1つの像を形成するように投影表面において像の一部をそれぞれ投影してもよい。
ここで説明された実施形態は、識別された投影表面に像を投影するためのプロジェクターを具備するロボットに関することにここで留意されたい。実施形態は、識別された人のために像を投影するための適した投影表面を識別可能な、柔軟且つ適応性のあるロボット投影システムを提供する。ロボットの一部として投影表面を有しない実施形態においては、比較的小さなロボットが、投影表面に大きな像を投影できるため、システムは、小さく、軽量で、パワーが効率的で、且つ、高価ではないものであってもよい。
ここで、「略」という語及び「約」という語は、任意の定量比較、値、計測値又は他の代表値(representation)による固有の不確実性の度合いを示すために使用され得ることに留意されたい。更にこれらの語は、課題における主題の基本的機能において変化を生じさせることなく、規定された参照値(stated reference)から定量的な代表値が変化し得る程度を示すためにここで使用される。
ここで特定の実施形態が図示され、説明されてきたが、当然のことながら、特許請求された主題の精神及び範囲から逸脱することなく様々な他の変化及び変更がなされてもよい。更に、特許請求された主題の様々な態様がここで説明されてきたが、こうした態様は、組合せで使用されることを必要としない。従って、添付の特許請求の範囲は、特許請求された主題の範囲内のこうした変化及び変更の全てを包含することを意図するものである。
100 ロボット
102 ハウジング
104 通信パス
114 駆動車輪
120 電子制御ユニット
122 電子メモリ
124 プロセッサ
126 プロジェクター
128 人認識モジュール
130 投影表面識別モジュール
132 ワイヤレス通信器
134 スピーカー
140 駆動モーター
150 ステアリング機構
160 カメラ
200 ロボット
300 ロボット
302 ブロック
304 ブロック
306 ブロック
320 回転翼
400 人
402 ブロック
404 ブロック
406 ブロック
500 表面
520 像

Claims (20)

  1. ハウジングと、
    該ハウジングに結合された電子制御ユニットであって一組の機械可読指令を保存する非一時的メモリと前記機械可読指令を実行するためのプロセッサとを有する電子制御ユニットと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたプロジェクターと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続された人認識モジュールと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続された投影表面識別モジュールと、を具備するロボットであって、前記プロセッサによって実行されたとき、前記機械可読指令は、当該ロボットに、
    前記人認識モジュールを用いて人を認識させ、
    前記投影表面識別モジュールを用いて投影表面を識別させ、且つ、
    識別された該投影表面に前記プロジェクターで像を投影させるロボット。
  2. 前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続された移動機構を更に具備し、前記プロセッサによって実行されたとき、前記機械可読指令が、更に当該ロボットに、
    前記人認識モジュールを用いて人の位置を識別させ、
    識別された該位置から人が前記像を視認可能な前記投影表面の投影領域を識別させ、且つ、
    前記移動機構に、当該ロボットを、識別された前記投影領域に前記像が投影される配置へと移動させる請求項1に記載のロボット。
  3. 前記移動機構が、
    回転可能に前記ハウジングに結合された駆動車輪と、
    該駆動車輪に結合され且つ前記電子制御ユニットと通信可能に接続された駆動モーターと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたステアリング機構と、を具備する請求項2に記載のロボット。
  4. 前記移動機構が、回転翼と、該回転翼に結合された駆動モーターと、を具備する請求項2に記載のロボット。
  5. 前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたワイヤレス通信器を更に具備し、前記プロセッサによって実行されたとき、前記機械可読指令が、更に当該ロボットに、
    前記ワイヤレス通信器でデータを受信させ、且つ、
    受信された該データに基づいて投影される前記像を生成させる請求項1に記載のロボット。
  6. 前記プロセッサによって実行されたとき、前記機械可読指令が、更に当該ロボットに、 当該ロボットと前記投影表面との間の距離を測定させ、
    前記投影表面の寸法を測定させ、且つ、
    投影される前記像の全体が前記投影表面に表示されるように、測定された前記距離と測定された前記寸法とに基づいて投影される前記像をスケール調整させる請求項1に記載のロボット。
  7. 前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続された移動機構を更に具備し、前記プロセッサによって実行されたとき、前記機械可読指令が、更に当該ロボットに、
    前記人認識モジュールを用いて人の位置及び向きを識別させ、
    識別された該位置及び向きから人が前記像を視認可能な前記投影表面の投影領域を識別させ、且つ、
    前記移動機構に、当該ロボットを、識別された前記投影領域に前記像が投影される配置へと移動させる請求項1に記載のロボット。
  8. 前記人認識モジュールが、前記電子制御ユニットに通信可能に接続されたカメラを具備し、人の前記認識が、前記カメラから受信された像の顔認証に基づく請求項1に記載のロボット。
  9. 前記人認識モジュールが、前記電子制御ユニットに通信可能に接続されたマイクを具備し、人の前記認識が、機械的振動であって、前記マイクから受信され、且つ、前記電子制御ユニットへと送信される、人のスピーチを示す信号へと変換される機械的振動に基づく請求項1に記載のロボット。
  10. 前記投影表面識別モジュールが、前記電子制御ユニットに通信可能に接続されたカメラを具備する請求項1に記載のロボット。
  11. 前記プロジェクターがピコプロジェクターである請求項1に記載のロボット。
  12. 投影される前記像が、人と略類似している請求項1に記載のロボット。
  13. 投影される前記像が、顔を具備する請求項1に記載のロボット。
  14. 受信された情報の可聴な指示を人に提供するためのスピーカーであって、前記電子制御ユニットと通信可能に接続されたスピーカーを更に具備する請求項1に記載のロボット。
  15. ハウジングと、
    該ハウジングに結合された電子制御ユニットであって一組の機械可読指令を保存する非一時的メモリと前記機械可読指令を実行するためのプロセッサとを有する電子制御ユニットと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたプロジェクターと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたカメラと、を具備し、前記プロセッサによって実行されたとき、前記機械可読指令が、当該ロボットに、
    前記カメラを用いて人を認識させ、
    前記カメラを用いて投影表面を識別させ、且つ
    識別された前記投影表面に前記プロジェクターで像を投影させるロボット。
  16. 回転可能に前記ハウジングに結合された駆動車輪と、
    前記駆動車輪に結合され且つ前記電子制御ユニットと通信可能に接続された駆動モーターと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたステアリング機構と、を更に具備し、前記プロセッサによって実行されたとき、前記機械可読指令が、更に当該ロボットに、
    前記カメラを用いて人の位置を識別させ、
    識別された該位置から人が前記像を視認可能な前記投影表面の投影領域を前記カメラで識別させ、且つ、
    当該ロボットを、識別された前記投影領域に前記像が投影され得る配置へと進めるため、前記駆動モーターに、前記駆動車輪と前記ステアリング機構とを回転させる請求項15に記載のロボット。
  17. 前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたワイヤレス通信器を更に具備し、前記プロセッサによって実行されたとき、前記機械可読指令が、更に当該ロボットに、
    前記ワイヤレス通信器でデータを受信させ、且つ、
    受信された該データに基づいて前記投影された像を生成させる請求項15に記載のロボット。
  18. ハウジングと、
    該ハウジングに結合された電子制御ユニットであって、一組の機械可読指令を保存する非一時的メモリと前記機械可読指令を実行するためのプロセッサとを有する電子制御ユニットと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたプロジェクターと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたマイクと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたカメラと、を具備するロボットであって、前記プロセッサによって実行されたとき、前記機械可読指令が、当該ロボットに、
    前記マイクによって受信された機械的振動に基づいて人を認識させ且つ前記機械的振動を、前記電子制御ユニットへと送信される、人のスピーチを示す信号へと変換させ、
    前記カメラを用いて投影表面を識別させ、
    識別された該投影表面に像を投影させるロボット。
  19. 前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたワイヤレス通信器を更に具備し、前記プロセッサによって実行されたとき、前記機械可読指令は、更に当該ロボットに、
    前記ワイヤレス通信器でデータを受信させ、且つ、
    受信された該データに基づいて投影された前記像を生成させる請求項18に記載のロボット。
  20. 回転可能に前記ハウジングに結合された駆動車輪と、
    前記駆動車輪に結合され且つ前記電子制御ユニットと通信可能に接続された駆動モーターと、
    前記ハウジングに結合され且つ前記電子制御ユニットと通信可能に接続されたステアリング機構と、を更に具備し、前記プロセッサによって実行されたとき、前記機械可読指令が、更に当該ロボットに、
    前記マイクを用いて人の位置を識別させ、
    識別された該位置から人が前記像を視認可能な前記投影表面の投影領域を前記カメラで識別させ、且つ、
    当該ロボットを、識別された前記投影領域に前記像が投影され得る配置へと進めるため、前記駆動モーターに、前記駆動車輪と前記ステアリング機構とを回転させる請求項18に記載のロボット。
JP2016243277A 2012-08-03 2016-12-15 識別された投影表面に像を投影するためのプロジェクターを具備するロボット Active JP6420303B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/566,219 US8983662B2 (en) 2012-08-03 2012-08-03 Robots comprising projectors for projecting images on identified projection surfaces
US13/566,219 2012-08-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013162242A Division JP2014030897A (ja) 2012-08-03 2013-08-05 識別された投影表面に像を投影するためのプロジェクターを具備するロボット

Publications (2)

Publication Number Publication Date
JP2017061034A true JP2017061034A (ja) 2017-03-30
JP6420303B2 JP6420303B2 (ja) 2018-11-07

Family

ID=48900896

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013162242A Withdrawn JP2014030897A (ja) 2012-08-03 2013-08-05 識別された投影表面に像を投影するためのプロジェクターを具備するロボット
JP2016243277A Active JP6420303B2 (ja) 2012-08-03 2016-12-15 識別された投影表面に像を投影するためのプロジェクターを具備するロボット

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013162242A Withdrawn JP2014030897A (ja) 2012-08-03 2013-08-05 識別された投影表面に像を投影するためのプロジェクターを具備するロボット

Country Status (3)

Country Link
US (2) US8983662B2 (ja)
EP (1) EP2693366B1 (ja)
JP (2) JP2014030897A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145474A1 (ko) * 2019-01-09 2020-07-16 삼성전자 주식회사 장착된 외부 전자 장치의 기능과 관련된 동작을 수행하는 전자 장치 및 방법

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201531104A (zh) * 2014-01-24 2015-08-01 Sintai Optical Shenzhen Co Ltd 電子裝置
WO2015146805A1 (ja) * 2014-03-25 2015-10-01 コニカミノルタ株式会社 投光装置、及び、投光方法
WO2016008165A1 (zh) 2014-07-18 2016-01-21 深圳市大疆创新科技有限公司 一种基于飞行器的图像投影方法、装置及飞行器
CN105278759B (zh) * 2014-07-18 2019-08-13 深圳市大疆创新科技有限公司 一种基于飞行器的图像投影方法、装置及飞行器
US9501059B2 (en) * 2014-09-12 2016-11-22 Qualcomm Incorporated Pocket robot
WO2016080321A1 (ja) * 2014-11-21 2016-05-26 シャープ株式会社 表示投影制御装置、表示投影システム、該表示投影制御装置の制御プログラム、該制御プログラムを記録したコンピュータ読み取り可能な記録媒体、および該表示投影制御装置の制御方法
WO2016125359A1 (ja) 2015-02-03 2016-08-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9409645B1 (en) 2015-03-02 2016-08-09 Google, Inc. Unmanned aerial vehicle for collaboration
US9682477B2 (en) 2015-03-24 2017-06-20 Toyota Jidosha Kabushiki Kaisha Robot communication of intent and functioning
JP6456770B2 (ja) * 2015-05-25 2019-01-23 みこらった株式会社 移動型プロジェクションシステム及び移動型プロジェクション方法
DE102015210879A1 (de) * 2015-06-15 2016-12-15 BSH Hausgeräte GmbH Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt
JP6239567B2 (ja) * 2015-10-16 2017-11-29 株式会社プロドローン 情報伝達装置
US10956739B2 (en) * 2016-06-27 2021-03-23 Autodesk, Inc. Augmented reality robotic system visualization
CN106131521A (zh) * 2016-06-28 2016-11-16 旗瀚科技股份有限公司 一种机器人投影方法和装置
EP3298874B1 (en) * 2016-09-22 2020-07-01 Honda Research Institute Europe GmbH Robotic gardening device and method for controlling the same
US10722775B2 (en) * 2016-09-27 2020-07-28 Adidas Ag Robotic training systems and methods
JP7031191B2 (ja) * 2017-06-20 2022-03-08 カシオ計算機株式会社 投影装置、投影方法及びプログラム
CN107222731B (zh) * 2017-07-07 2019-03-15 上海思依暄机器人科技股份有限公司 一种投影方法、运动装置和机器人
CN107222732A (zh) * 2017-07-11 2017-09-29 京东方科技集团股份有限公司 自动投影方法以及投影机器人
KR20190024190A (ko) * 2017-08-31 2019-03-08 (주)휴맥스 음성 인식 영상 피드백 제공 시스템 및 방법
US10456682B2 (en) * 2017-09-25 2019-10-29 Sony Interactive Entertainment Inc. Augmentation of a gaming controller via projection system of an autonomous personal companion
US11219837B2 (en) * 2017-09-29 2022-01-11 Sony Interactive Entertainment Inc. Robot utility and interface device
JP7140487B2 (ja) * 2017-10-25 2022-09-21 キヤノン株式会社 情報処理装置、表示制御方法、及び、プログラム
JP6448071B2 (ja) * 2018-02-23 2019-01-09 株式会社佐竹技研 ドローン
JP7071045B2 (ja) 2018-04-20 2022-05-18 コヴィディエン リミテッド パートナーシップ 外科用ロボットカートの配置のためのシステムおよび方法
CN109015665A (zh) * 2018-06-16 2018-12-18 佛山市豪洋电子有限公司 智能投影机器人
JP6607624B2 (ja) * 2018-12-18 2019-11-20 みこらった株式会社 移動型プロジェクションシステム及び移動型プロジェクタ装置
JP6910659B2 (ja) * 2018-12-18 2021-07-28 みこらった株式会社 移動型プロジェクションシステム及び移動型プロジェクタ装置
US11172189B1 (en) 2018-12-28 2021-11-09 Facebook, Inc. User detection for projection-based augmented reality system
US11196985B1 (en) * 2018-12-28 2021-12-07 Facebook, Inc. Surface adaptation for projection-based augmented reality system
JP6687954B2 (ja) * 2019-03-28 2020-04-28 みこらった株式会社 移動型プロジェクション装置及びプロジェクションシステム
WO2020256188A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 영상의 투사 방법 및 이를 구현하는 로봇
CN111182279A (zh) * 2019-09-23 2020-05-19 广东小天才科技有限公司 一种基于位置检测的投影显示方法及音箱
JP6872276B2 (ja) * 2020-03-27 2021-05-19 みこらった株式会社 移動型プロジェクション装置及び移動型プロジェクション装置用プログラム
CN213186348U (zh) 2020-08-27 2021-05-11 广景视睿科技(深圳)有限公司 一种投影设备
US11443518B2 (en) 2020-11-30 2022-09-13 At&T Intellectual Property I, L.P. Uncrewed aerial vehicle shared environment privacy and security
US11726475B2 (en) 2020-11-30 2023-08-15 At&T Intellectual Property I, L.P. Autonomous aerial vehicle airspace claiming and announcing
US11797896B2 (en) 2020-11-30 2023-10-24 At&T Intellectual Property I, L.P. Autonomous aerial vehicle assisted viewing location selection for event venue
CN114520902B (zh) * 2021-12-28 2023-04-25 深圳季连科技有限公司 一种基于隐私保护的智能家居投影方法与系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274098A (ja) * 1993-03-24 1994-09-30 Hitachi Denshi Ltd 映像投影装置
JPH09149296A (ja) * 1995-11-22 1997-06-06 R D S Kk ムービングプロジェクターシステム
JP2005059186A (ja) * 2003-08-19 2005-03-10 Sony Corp ロボット装置及びその制御方法
JP2005176017A (ja) * 2003-12-12 2005-06-30 Olympus Corp プロジェクタシステム
JP2005292290A (ja) * 2004-03-31 2005-10-20 Olympus Corp 移動ステージ装置及びプロジェクタ装置
JP2005313291A (ja) * 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd ロボット行動とリンクした映像表示方法とその装置
JP2005331813A (ja) * 2004-05-21 2005-12-02 Seiko Epson Corp 自走投影装置
JP2005338114A (ja) * 2004-05-24 2005-12-08 Seiko Epson Corp 自動移動型空中浮遊映像表示装置
JP2006043780A (ja) * 2004-07-30 2006-02-16 Shinshu Univ 曲面顔画像表示を用いたコミュニケーションロボット
JP2007229855A (ja) * 2006-02-28 2007-09-13 Toyota Motor Corp 自律移動型ロボット
JP2008533501A (ja) * 2005-03-21 2008-08-21 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド コンピュータ実施によるプロジェクタの姿勢を調整する方法、及び、プロジェクタの姿勢を調整する装置
JP2008260107A (ja) * 2007-04-13 2008-10-30 Yaskawa Electric Corp 移動ロボットシステム
JP2010015076A (ja) * 2008-07-07 2010-01-21 Seiko Epson Corp 表示システム、表示制御装置、および、表示制御方法
JP2010128133A (ja) * 2008-11-27 2010-06-10 Univ Of Tokyo 移動式情報重畳システム及び情報重畳方法
US20100185328A1 (en) * 2009-01-22 2010-07-22 Samsung Electronics Co., Ltd. Robot and control method thereof
JP2011137905A (ja) * 2009-12-28 2011-07-14 Fujitsu Ltd 投影システム、投影処理プログラムおよび投影システムの制御方法
JP2011194507A (ja) * 2010-03-18 2011-10-06 Fujitsu Ltd サービス提供装置、サービス提供プログラム及びサービスロボット
JP2011201001A (ja) * 2010-03-26 2011-10-13 Sony Corp ロボット装置及びロボット装置による情報提供方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US6292713B1 (en) * 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
US6346950B1 (en) * 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US6781606B2 (en) * 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
US6845297B2 (en) * 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
US7404001B2 (en) * 2002-03-27 2008-07-22 Ericsson Ab Videophone and method for a video call
US7729511B2 (en) * 2002-09-24 2010-06-01 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous area
US7119829B2 (en) * 2003-07-31 2006-10-10 Dreamworks Animation Llc Virtual conference room
JPWO2005015466A1 (ja) * 2003-08-07 2006-10-05 松下電器産業株式会社 生活支援システム及びその制御用プログラム
US7705877B2 (en) * 2004-01-28 2010-04-27 Hewlett-Packard Development Company, L.P. Method and system for display of facial features on nonplanar surfaces
US7756614B2 (en) * 2004-02-27 2010-07-13 Hewlett-Packard Development Company, L.P. Mobile device control system
US8599239B2 (en) * 2004-04-21 2013-12-03 Telepresence Technologies, Llc Telepresence systems and methods therefore
US7706917B1 (en) * 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
JP2006212717A (ja) 2005-02-01 2006-08-17 Advanced Telecommunication Research Institute International ロボット装置
JP4830438B2 (ja) * 2005-10-04 2011-12-07 トヨタ自動車株式会社 自律移動装置
AU2006304838B2 (en) * 2005-10-21 2011-07-28 Deere & Company Systems and methods for obstacle avoidance
JP4857926B2 (ja) * 2006-06-13 2012-01-18 トヨタ自動車株式会社 自律移動装置
US9084622B2 (en) * 2006-08-02 2015-07-21 Omnitek Partners Llc Automated laser-treatment system with real-time integrated 3D vision system for laser debridement and the like
JP2008136963A (ja) * 2006-12-04 2008-06-19 Nec Corp 透明保護材の製造方法及び該保護材を備える携帯端末
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
JP2009123045A (ja) 2007-11-16 2009-06-04 Toyota Motor Corp 移動ロボット及び移動ロボットの危険範囲の表示方法
US8649426B2 (en) * 2008-09-18 2014-02-11 Magor Communications Corporation Low latency high resolution video encoding
JPWO2010044204A1 (ja) * 2008-10-15 2012-03-08 パナソニック株式会社 光投射装置
US9538167B2 (en) * 2009-03-06 2017-01-03 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
US8897920B2 (en) * 2009-04-17 2014-11-25 Intouch Technologies, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
US8334889B2 (en) * 2010-03-18 2012-12-18 Tipd, Llc Auto stereoscopic 3D telepresence using integral holography
US8918213B2 (en) * 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US9014848B2 (en) * 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
WO2011149558A2 (en) * 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
US8694553B2 (en) * 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US20120056988A1 (en) * 2010-09-07 2012-03-08 David Stanhill 3-d camera
EP2625845B1 (en) * 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
CA2720886A1 (en) * 2010-11-12 2012-05-12 Crosswing Inc. Customizable virtual presence system
US9987506B2 (en) * 2010-12-15 2018-06-05 Robert Marcus UAV—or personal flying device—delivered deployable descent device
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US9578076B2 (en) * 2011-05-02 2017-02-21 Microsoft Technology Licensing, Llc Visual communication using a robotic device
US8730295B2 (en) * 2011-06-21 2014-05-20 Broadcom Corporation Audio processing for video conferencing
US20130083151A1 (en) * 2011-09-30 2013-04-04 Lg Electronics Inc. Electronic device and method for controlling electronic device
EP2776216B1 (en) * 2011-11-11 2022-08-31 iRobot Corporation Robot apparautus and control method for resuming operation following a pause.
US8977396B2 (en) * 2012-03-20 2015-03-10 Sony Corporation Mobile robotic assistant for multipurpose applications
WO2013181503A1 (en) * 2012-06-01 2013-12-05 Intuitive Surgical Operations, Inc. Manipulator arm-to-patient collision avoidance using a null-space
CN107397591B (zh) * 2012-06-01 2020-04-03 直观外科手术操作公司 用于使用零空间避免操纵器臂之间碰撞的系统和方法
US8908004B2 (en) * 2012-06-14 2014-12-09 Cisco Technology, Inc. Flattened light reflection for telepresence

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274098A (ja) * 1993-03-24 1994-09-30 Hitachi Denshi Ltd 映像投影装置
JPH09149296A (ja) * 1995-11-22 1997-06-06 R D S Kk ムービングプロジェクターシステム
JP2005059186A (ja) * 2003-08-19 2005-03-10 Sony Corp ロボット装置及びその制御方法
JP2005176017A (ja) * 2003-12-12 2005-06-30 Olympus Corp プロジェクタシステム
JP2005292290A (ja) * 2004-03-31 2005-10-20 Olympus Corp 移動ステージ装置及びプロジェクタ装置
JP2005313291A (ja) * 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd ロボット行動とリンクした映像表示方法とその装置
JP2005331813A (ja) * 2004-05-21 2005-12-02 Seiko Epson Corp 自走投影装置
JP2005338114A (ja) * 2004-05-24 2005-12-08 Seiko Epson Corp 自動移動型空中浮遊映像表示装置
JP2006043780A (ja) * 2004-07-30 2006-02-16 Shinshu Univ 曲面顔画像表示を用いたコミュニケーションロボット
JP2008533501A (ja) * 2005-03-21 2008-08-21 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド コンピュータ実施によるプロジェクタの姿勢を調整する方法、及び、プロジェクタの姿勢を調整する装置
JP2007229855A (ja) * 2006-02-28 2007-09-13 Toyota Motor Corp 自律移動型ロボット
JP2008260107A (ja) * 2007-04-13 2008-10-30 Yaskawa Electric Corp 移動ロボットシステム
JP2010015076A (ja) * 2008-07-07 2010-01-21 Seiko Epson Corp 表示システム、表示制御装置、および、表示制御方法
JP2010128133A (ja) * 2008-11-27 2010-06-10 Univ Of Tokyo 移動式情報重畳システム及び情報重畳方法
US20100185328A1 (en) * 2009-01-22 2010-07-22 Samsung Electronics Co., Ltd. Robot and control method thereof
JP2011137905A (ja) * 2009-12-28 2011-07-14 Fujitsu Ltd 投影システム、投影処理プログラムおよび投影システムの制御方法
JP2011194507A (ja) * 2010-03-18 2011-10-06 Fujitsu Ltd サービス提供装置、サービス提供プログラム及びサービスロボット
JP2011201001A (ja) * 2010-03-26 2011-10-13 Sony Corp ロボット装置及びロボット装置による情報提供方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145474A1 (ko) * 2019-01-09 2020-07-16 삼성전자 주식회사 장착된 외부 전자 장치의 기능과 관련된 동작을 수행하는 전자 장치 및 방법

Also Published As

Publication number Publication date
EP2693366A2 (en) 2014-02-05
EP2693366B1 (en) 2020-02-12
US9943965B2 (en) 2018-04-17
US8983662B2 (en) 2015-03-17
US20150148960A1 (en) 2015-05-28
US20140039677A1 (en) 2014-02-06
JP6420303B2 (ja) 2018-11-07
EP2693366A3 (en) 2016-06-15
JP2014030897A (ja) 2014-02-20

Similar Documents

Publication Publication Date Title
JP6420303B2 (ja) 識別された投影表面に像を投影するためのプロジェクターを具備するロボット
US20210166495A1 (en) Capturing and aligning three-dimensional scenes
US20200074683A1 (en) Camera calibration
US20180208311A1 (en) System and method for omni-directional obstacle avoidance in aerial systems
CN105979442B (zh) 噪声抑制方法、装置和可移动设备
EP3653989A1 (en) Imaging device and monitoring device
US20160171907A1 (en) Imaging gloves including wrist cameras and finger cameras
KR20180070932A (ko) 이동체 및 이동체의 제어 방법
EP3865968B1 (en) Systems for determining location using robots with deformable sensors
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11983006B2 (en) Autonomously motile device with remote control
US20230213944A1 (en) Robot and control method therefor
US11009887B2 (en) Systems and methods for remote visual inspection of a closed space
JP2022500763A (ja) ロボットのための死角を検出するためのシステム及び方法
US10983528B2 (en) Systems and methods for orienting a robot in a space
US11548154B2 (en) Systems and methods for dimensionally-restricted robotic teleoperation
Çelebi 3-D Ultrasonic Radar Construction Through Wireless Communication
CN116820099A (zh) 目标位置的确定方法、装置、机器人和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181011

R150 Certificate of patent or registration of utility model

Ref document number: 6420303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350