JP2023101501A - 装置、方法、及びプログラム - Google Patents

装置、方法、及びプログラム Download PDF

Info

Publication number
JP2023101501A
JP2023101501A JP2023073690A JP2023073690A JP2023101501A JP 2023101501 A JP2023101501 A JP 2023101501A JP 2023073690 A JP2023073690 A JP 2023073690A JP 2023073690 A JP2023073690 A JP 2023073690A JP 2023101501 A JP2023101501 A JP 2023101501A
Authority
JP
Japan
Prior art keywords
contact
robot
user
waiting place
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023073690A
Other languages
English (en)
Inventor
路子 笹川
Michiko Sasagawa
兼人 小川
Kaneto Ogawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Panasonic Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Holdings Corp filed Critical Panasonic Holdings Corp
Priority to JP2023073690A priority Critical patent/JP2023101501A/ja
Publication of JP2023101501A publication Critical patent/JP2023101501A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00Information sensed or collected by the things
    • G16Y20/10Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Toxicology (AREA)
  • Computing Systems (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

【課題】駆動中の音声認識の機会を減らしつつ、ユーザから接触される機会を増加させる。【解決手段】人間の音声を音声認識することによって人間と意思疎通する装置であって、装置を駆動する駆動機構と、プロセッサと、を備え、装置を駆動する駆動機構と、プロセッサと、を備え、プロセッサは、駆動機構を制御して、装置が前記人間と接触するための待機場所に向けて、装置を駆動させ、待機場所は、前記装置が前記人間と接触した際の履歴である接触情報に基づいて決定されたものである。【選択図】図1

Description

本開示は、人間の音声を音声認識することによって人間と意思疎通する装置に関するものである。
近年、周囲の人間の邪魔にならないように行動するロボットの開発が進められている。例えば、特許文献1には、ユーザの傍らに待機してユーザへ生活支援等のサービスを提供する生活支援ロボットにおいて、人の邪魔にならない待機場所を決定する方法が開示されている。具体的には、この生活支援ロボットは、ユーザの滞在時間を記憶したユーザ滞在マップから、人の現在位置に対して人がロボットに物を手渡しできる範囲内であってユーザの通行の妨げ度合が最小となる位置を算出し、その位置を待機場所として設定する。
また、特許文献2には、ユーザがロボット等の移動体に注意を向けた時以外は、移動体の存在を意識せずに済む行動制御の方法が開示されている。具体的には、ロボット等の移動体は、ユーザの位置及び方位の情報に基づき、ユーザについて排他的空間を設定する。ここで、排他的空間とは、現在のユーザの行動により、ユーザの注意が向いていると推定されるスペースと社会心理学におけるパーソナルスペースとを合わせた空間である。ロボット等の移動体は、ユーザへ通知すべき情報をもたない場合、前記排他的空間の領域外に位置するよう自己の目標位置等を設定する。
特開2007-156578号公報 特許第4682217号公報
しかしながら、特許文献1、特許文献2では、ユーザに接触されやすい場所が待機場所として決定されていないため、駆動中の音声認識の機会を減らしつつ、話しかけられるというようなユーザからの接触の機会を増加させることができないという課題がある。
本開示の目的は、駆動中の音声認識の機会を減らしつつ、ユーザからの接触の機会を増加させる装置などを提供することである。
本開示の一態様は、人間の音声を音声認識することによって前記人間と意思疎通する装置であって、
前記装置を駆動する駆動機構と、プロセッサと、を備え、
前記プロセッサは、前記駆動機構を制御して、前記装置が前記人間と接触するための待機場所に向けて、前記装置を駆動させ、
前記待機場所は、前記装置が前記人間と接触した際の履歴である接触情報に基づいて決定されたものである。
本開示によれば、駆動中の音声認識の機会を減らしつつ、ユーザからの接触の機会を増加できる。
本開示の第1の実施の形態に係るロボットの外観斜視図である。 本開示の第1の実施の形態に係るロボットの内部斜視図である。 本開示の第1の実施の形態に係るロボットの構成を示すブロック図である。 本開示の第1の実施の形態に係る地図情報が記憶する地図を示す図である。 待機場所候補に関する情報を記憶する待機場所候補テーブルの構成の一例を示す図である。 本開示の第1の実施の形態に係る接触情報データベースのデータ構成の一例を示す図である。 本開示の第1の実施の形態に係る時間帯データベースのデータ構成の一例を示す図である。 本開示の第1の実施の形態に係るロボットにおける行動制御処理の一例を示すフローチャートである。 ノイズ音確認の処理の一例を示すフローチャートである。 本開示の第1の実施の形態に係る充電場所確認の処理の一例を示すフローチャートである。 本開示の第1の実施の形態に係る接触情報更新の処理の一例を示すフローチャートである。 本開示の第2の実施の形態に係るロボットを示すブロック図である。 本開示の第2の実施の形態に係る人物情報データベースの構成の一例を示す図である。 本開示の第2の実施の形態に係る接触情報データベースのデータ構成の一例を示す図である。 第2の実施の形態に係るロボット1の行動制御処理の一例を示すフローチャートである。 第2の実施の形態に係るロボット1の行動制御処理の一例を示すフローチャートである。
(本開示に至る経緯)
本発明者は、音声認識によりユーザの発話を解釈し、ユーザと関わるロボットの開発をしている。このような音声認識を行うロボットにおいては、音声認識の精度とロボットの駆動とはトレードオフの関係がある。つまり、ロボットが駆動しながら音声認識を行う場合、ロボット自身のモータ音がノイズとなり、音声認識の精度が低下する。また、モータ音による音声認識精度の悪化を防止するために極力待機位置に留まるようにロボットを制御すると、待機位置によってはロボットはユーザからほとんど話しかけられなくなることもあり、これではユーザと関わるというロボットの本来の目的が達成できなくなる。
そのため、ユーザと関わるロボットの行動制御は、駆動中の音声認識の機会を減らしつつ、話しかけられるというようなユーザからの接触の機会を増加させる制御が必要である。一方で、ロボットが常にユーザを追従し、音声を検出した際にロボットを停止させて音声認識を行うという方法も考えられるが、これでは、ロボットがユーザに纏わりつくことになる。この場合、ユーザがロボットを邪魔に感じたり、ロボットが複数のユーザへ対応できなくなったりすることが懸念されるため、ロボットの待機場所における工夫が求められる。
特許文献1及び特許文献2では、上述のように、ユーザの邪魔にならないようにロボットの待機場所を決定する手法が提案されている。
しかしながら、家庭で利用するロボットの場合、複数のユーザが同時に同じ空間に存在することも多く、かつ、ユーザがロボットとの関わり合いを持つ行為を取りやすい時間及び場所はユーザによって異なることが想定される。
以降は、「ユーザがロボットとの関わり合いを持つ行為」を単に「接触」と呼ぶ。具体的には、接触は、呼びかける行為、対話をする行為、撫でる及び抱く等の物理的に触れる行為、アイコンタクト及び微笑み合う等の行為、並びにユーザとロボットとがクイズ、歌、及び読み聞かせ等の遊びコンテンツを実施する行為等である。
上記特許文献1では、生活支援ロボットがユーザへサービスを提供する際の待機場所として、単にユーザの滞在時間が短い場所が設定されているに過ぎないため、曜日及び時間などに応じてロボットが接触されやすい場所を待機場所として設定できない。
同様に、上記特許文献2では、ユーザがロボット等の移動体に注意を向けた時以外は、ユーザの排他的空間へ侵入しないようにロボット等の移動体の行動が制御されているに過ぎないため、曜日及び時間などに応じてロボットが接触されやすい場所を待機場所として設定できない。
したがって、上記特許文献1及び上記特許文献2は、ユーザとの接触時におけるロボットの駆動時間を短くし、駆動音による音声認識精度の低下を軽減することはできない。また、接触されやすい場所が待機場所とされていないため、待機場所によってはユーザから接触される機会が減少する。
本開示の目的は、駆動中の音声認識の機会を減らしつつ、ユーザから接触される機会を増加させる装置などを提供することである。
本開示の一態様は、人間の音声を音声認識することによって前記人間と意思疎通する装置であって、
前記装置を駆動する駆動機構と、
プロセッサと、を備え、
前記プロセッサは、前記駆動機構を制御して、前記装置が前記人間と接触するための待機場所に向けて、前記装置を駆動させ、
前記待機場所は、前記装置が前記人間と接触した際の履歴である接触情報に基づいて決定されたものである。
本構成によれば、装置が人間と接触した際の履歴である接触情報に基づいて決定された待機場所に向けて装置が駆動される。そのため、接触が取られやすい場所を待機場所として設定することができる。その結果、ユーザとの接触時における装置の駆動時間を短くし、駆動音による音声認識精度の低下を軽減できる。また、接触されやすい場所を待機場所として設定できるため、ユーザから接触される機会を増加できる。
上記態様において、前記接触情報は、前記装置が前記人間と接触した時刻、前記装置が前記人間と接触した時間帯、前記装置が前記人間と接触した日付、及び前記装置が前記人間と接触した曜日の少なくともいずれか一つを含む時間情報と、前記装置が前記人間と接触した位置、及び前記装置が前記人間と接触した際に待機していた待機場所に関する待機場所情報の少なくともいずれか一つを含む場所情報とが対応付けられたものであってもよい。
本構成によれば、接触情報は、上述の時間情報と上述の場所情報とが対応付けられているため、ユーザから接触されやすい場所を待機場所としてより確実に設定できる。
上記態様において、前記接触情報は、前記時間情報と、前記場所情報と、前記装置と接触した前記人間に関する情報とが対応づけられたものであってもよい。
本構成によれば、接触情報は、時間情報と場所情報とに加えて更に装置に接触した人間に関する情報が対応付けられているため、ユーザから接触されやすい場所を待機場所としてより確実に設定できると共に、装置に接触する可能性の高い人間を特定できる。
上記態様において、前記待機場所は、現在の時刻、現在の時間帯、現在の日付、及び現在の曜日の少なくともいずれか一つに対応する前記接触情報に含まれる前記場所情報に基づき、決定されたものであってもよい。
本構成によれば、現在の時刻、現在の時間帯、現在の日付、及び現在の曜日の少なくとも一つに対応する接触情報に含まれる場所情報に基づいて待機場所が決定されているため、現在、ユーザから接触されやすい場所を待機場所として決定できる。
上記態様において、前記接触情報に基づく前記待機場所の決定では、特定の時間帯及び特定の曜日の少なくとも一方に応じて予め定められた特定の人間に対応する前記接触情報が除外されてもよい。
人間によっては接触する時間帯又は曜日を制限した方が望ましい場合がある。例えば、幼児が夜遅くに装置と接触するというようなケースである。本態様では、接触情報に基づく待機場所の決定において、予め定められた特定の人間に対応する接触情報が除外される。そのため、過去に、特定の人間が特定の時間帯又は特定の曜日に装置と接触していたとしても、その情報が除外されて特定の時間帯又は特定の曜日における待機場所が決定される。その結果、特定の時間帯又は特定の曜日において、特定の人間が接触しやすい場所に装置が待機することを防止できる。これにより、特定の時間帯又は特定の曜日に特定の人間が装置と接触することを防止できる。
上記態様において、前記プロセッサは、更に、
前記駆動機構を制御して、前記決定された待機場所又は前記待機場所の周辺に、前記装置を待機させてもよい。
本構成によれば、接触情報に基づいて決定された待機場所又はその周辺に装置が待機されるため、駆動中の音声認識の機会を減らしつつ、ユーザから話しかけられる機会を増加できる。また、障害物等によって待機場所に装置を移動できなかったとしても、その周辺に装置を移動させることができる。
上記態様において、前記装置は、
前記装置周辺の音を取得するマイクを更に備え、
前記プロセッサは、更に、
前記装置を待機させている際に、前記マイクを制御して、前記決定された待機場所において前記装置周辺の音を取得させ、
取得された音の音量が閾値を超える場合には、前記駆動機構を制御して、前記音量が前記閾値以下になる場所に向けて前記装置を駆動してもよい。
本構成によれば、決定した待機場所の周辺の音量が閾値を超える場合、音量が閾値以下の場所に向けて装置が駆動される。そのため、当初に決定した待機場所の周辺に例えば接触対象となる人間の音声とは異なる閾値以上の音量の音が発生していたとしても、その音量が閾値以下となる場所で装置を待機させることができる。その結果、例えば、接触対象となる人間の音声とは異なる音がノイズとなって接触対象となる人間の音声認識の精度が低下することを防止できる。
上記態様において、前記装置は、
前記装置周辺の映像を取得するカメラを更に備え、
前記プロセッサは、更に、
前記装置を待機させている際に、前記駆動機構を制御して前記装置を旋回させることによって障害物と反対方向に前記カメラを向けてもよい。
本構成によれば、装置は障害物とは反対方向にカメラを向けて待機場所で待機することができるため、障害物によってカメラの視界が遮られ、接触対象となる人間をカメラが撮影できなくなる事態を防止することができる。その結果、接触対象となる人間の認識精度を高めることができる。
上記態様において、音声を出力するスピーカを更に備え、
前記プロセッサは、
前記スピーカを制御して、前記人間に対し、前記装置が充電するための充電器を第1の場所に設置するよう促す音声を出力させ、
前記第1の場所は、前記接触情報の中で、前記装置が前記人間と接触した時間が最も長い場所であってもよい。
本構成によれば、装置が人間と接触した時間が最も長い場所である第1の場所に充電器の設置を促す音声が出力される。これにより、第1の場所に充電器が設置され、待機場所を充電場所と兼用でき、装置への充電を効率良く行うことができる。
上記態様において、情報を表示するディスプレイを更に備え、
前記プロセッサは、
前記ディスプレイを制御して、前記人間に対し、前記装置を充電するための充電器を第1の場所に設置するよう促す情報を表示させ、
前記第1の場所は、前記接触情報の中で、前記装置が前記人間と接触した時間が最も長い場所であってもよい。
本構成によれば、装置が人間と接触した時間が最も長い場所である第1の場所に充電器の設置を促す情報がディスプレイに表示される。これにより、第1の場所に充電器が設置され、待機場所を充電場所と兼用でき、装置への充電を効率良く行うことができる。
上記態様において、前記プロセッサは、
前記駆動機構を制御して、前記人間に対し、前記装置を充電するための充電器を第1の場所に設置するよう促す仕草を前記装置に実行させ、
前記第1の場所は、前記接触情報の中で、前記装置が前記人間と接触した時間が最も長い場所であってもよい。
本構成によれば、装置が人間と接触した時間が最も長い場所である第1の場所に充電器の設置を促す仕草が装置に実行される。これにより、第1の場所に充電器が設置され、待機場所を充電場所にすることができ、装置への充電を効率良く行うことができる。
上記態様において、前記装置は、
前記装置周辺の音を取得するマイクを更に備え、
前記取得された音に基づいて、前記人間が肯定的な反応を示したと判断される場合に、前記接触情報が更新されてもよい。
本構成によれば、人間が、装置に対する発話によって装置に対して肯定的な反応を示した場合、人間が装置に接触したものとして接触情報を更新できる。
上記態様において、前記装置は、
前記装置が前記人間に物理的に触れられていることを検知する第1センサを更に備え、
前記第1センサの検知結果に基づいて、前記人間が肯定的な反応を示したと判断される場合に、前記接触情報が更新されてもよい。
本構成によれば、人間が、装置に対する物理的な接触によって装置に対して肯定的な反応を示した場合、人間が装置に接触したものとして接触情報を更新できる。そのため、人間が装置に対して否定的な接触をした場所が待機場所として決定されることを防止できる。
上記態様において、前記第1センサの検知結果に基づき、前記装置が前記人間に物理的に触れられていると判断された場合において、前記人間が単に前記装置を移動させるために持ち上げたと判断される場合には、前記接触情報は更新されなくてもよい。
本構成によれば、人間が装置と接触した場合であっても、その接触が単に装置を移動させるための接触であり、人間が装置と関わり合うような接触ではない場合、その情報が接触情報として追加されることが防止できる。そのため、人間が単に装置を移動させたような場所が待機場所として決定されることを防止できる。
上記態様において、前記接触情報に含まれる前記待機場所情報は、所定の空間内に予め設定された複数の待機場所候補のうちのいずれかの待機場所候補を示してもよい。
本構成によれば、所定の空間内に予め設定された複数の待機場所候補が待機場所情報として接触情報に含まれている。そのため、予め設定された待機場所候補の中から実際の待機場所を決定でき、待機場所を決定する際の処理コストを低減できる。
上記態様において、前記接触情報に含まれる前記待機場所情報は、所定の空間内に予め設定された複数の待機場所候補のうちのいずれかの待機場所候補を示し、前記待機場所候補の位置から所定範囲内に前記装置と前記人間との接触位置が位置してもよい。
本構成によれば、所定の空間内に予め設定された複数の待機場所候補の中から装置が人間と接触した位置に対して最も近接する位置が待機場所情報として接触情報に含まれている。そのため、所定の空間内のレイアウトなどを考慮して待機場所として相応しい待機場所候補の中から実際の待機場所を決定でき、待機場所を決定する際の処理コストを低減できる。
上記態様において、前記接触情報に含まれる前記待機場所情報は、所定の空間内に予め設定された複数の待機場所候補のうちのいずれかの待機場所候補を示し、
現在の時刻が属する時間帯において、前記装置と前記人間との間で最も多くの接触があった待機場所候補が、前記待機場所として決定されてもよい。
本構成によれば、現在ユーザから接触されやすい場所を待機場所として決定できる。
上記態様において、現在の時刻が属する時間帯及び現在の曜日と同じ曜日において、前記装置と前記人間との間で最も接触があった待機場所候補が、前記待機場所として決定されてもよい。
本構成によれば、現在ユーザから接触されやすい場所を待機場所として決定できる。
上記態様において、前記待機場所は、前記プロセッサによって決定されてもよい。
本構成によれば、待機場所は装置が備えるプロセッサが決定することになる。そのため、待機場所を速やかに決定できる。
上記態様において、前記装置は、外部ネットワークに接続される通信回路を更に備え、
前記待機場所は、前記外部ネットワークを介して接続された外部サーバによって決定されてもよい。
本構成によれば、待機場所は装置と外部ネットワークを介して接続された外部サーバが決定することになる。そのため、装置の処理負担を低下できる。
上記態様において、前記装置は、ロボットであってもよい。
本構成によれば、駆動中の音声認識の機会を減らしつつ、ユーザから接触される機会を増加させることができるロボットを提供できる。
本開示は、このような装置に含まれる特徴的な各構成を実行する方法及びプログラムとして実現することもできる。また、このようなプログラムを、CD-ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
以下、本発明の各実施の形態について、図面を参照しながら説明する。尚、各図面において、同じ構成要素については同じ符号を用いている。以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。全ての実施の形態において、各々の内容を組み合わせることもできる。
(第1の実施の形態)
まず、図1及び図2を参照しつつ、本開示の実施の形態に係るロボットの外観の詳細について説明する。図1は、本開示の第1の実施の形態に係るロボットの外観斜視図であり、図2は、本開示の第1の実施の形態に係るロボットの内部斜視図である。
ロボット1(装置)は、図1に示すように、球体状のメイン筐体121と、第1球冠部122及び第2球冠部123と、を備える。メイン筐体121、第1球冠部122及び第2球冠部123は全体として球体を構成する。即ち、ロボット1は、球体形状を有する。ロボット1は、所定の空間を二次元的に移動しながらユーザと接触する。第1球冠部122及び第2球冠部123はメイン筐体121に設けられたシャフト(図示せず)によって連結されている。一方、シャフトとメイン筐体121とは固定されていない。従って、シャフト周りにメイン筐体121を回転させることによって、ロボット1が前進又は後進する。
また、ロボット1は、図1に示すように、メイン筐体121にスピーカ113を備え、第1球冠部122にカメラ101とマイク103とを備える。スピーカ113は、ロボット1の音声を出力する。カメラ101は、ロボット1の周辺環境の映像を取得する。マイク103は、ロボット1の周辺環境の音声を取得する。なお、本態様では、ロボット1は、メイン筐体121にスピーカ113を備えるが、これに限らず、メイン筐体121、第1球冠部122、及び第2球冠部123のいずれかにスピーカ113を備えればよい。本態様では、ロボット1は、第1球冠部122にカメラ101を備えるが、これに限らず、第1球冠部122及び第2球冠部123の少なくともいずれか一方にカメラ101を備えればよいが、カメラ101の配置場所及び個数を調整することにより、ロボット1の周囲360度の映像を取得することが可能になる。本態様では、ロボット1は、第1球冠部122にマイク103を備えるが、これに限らず、メイン筐体121、第1球冠部122、及び第2球冠部123のいずれかにマイク103を備えればよい。
図2に示すように、ロボット1は、メイン筐体121の内部に、第1表示部111a、第2表示部111b、及び第3表示部111cを備える。第1表示部111a、第2表示部111b、及び第3表示部111cは、固定板金125に備え付けられている。固定板金125は、アーム126を介してシャフトに取り付けられている。第1表示部111a、第2表示部111b、及び第3表示部111cは、例えば、複数の発光ダイオードにより構成される。第1表示部111a、第2表示部111b、及び第3表示部111cは、ロボット1の表情を表示する。具体的には、第1表示部111a、第2表示部111b、及び第3表示部111cは、複数の発光ダイオードの点灯を個別に制御することにより、図1に示すようにロボット1の顔の一部、例えば、目や口を表示する。図1及び図2の例では、第1表示部111aが右目の画像を表示し、第2表示部111bが左目の画像を表示し、第3表示部111cが口の画像を表示している。そして、右目、左目、及び口の画像は、透明又は半透明の部材からなるメイン筐体121を通過し、外部に放射されている。
図2に示すように、ロボット1は、メイン筐体121の内部の下方に重り127を備える。このため、ロボット1の重心は、メイン筐体121の中心から下方に位置する。これにより、ロボット1の動作を安定させることができる。
次に、図3を参照しつつ、本開示の実施の形態に係るロボット1の内部回路の詳細について説明する。図3は、本開示の実施の形態に係るロボットの構成を示すブロック図である。
図3に示すように、ロボット1は、プロセッサ100、カメラ101、マイク103、センサ105、表示部111、スピーカ113、駆動機構115、及びメモリ110を備える。プロセッサ100は、例えば、CPU等で構成され、人物認識処理部102、音声認識処理部104、操作認識処理部106、主制御部107、位置情報管理部108、接触情報管理部109、表示情報出力制御部112、音声情報出力制御部114、駆動機構制御部116を備える。メモリ110は、例えば、不揮発性の半導体メモリで構成され、地図情報1101、接触情報データベース1102、及び時間帯データベース1103を備える。
カメラ101は、ロボット1の周辺環境の映像を取得する。マイク103は、ロボット1の周辺環境の音声を取得する。センサ105は、例えば、照度センサ、ジャイロセンサ、加速度センサ、地磁気センサ、感圧センサ、近接センサ、指紋認証センサ、静脈認証センサ、及びレーザレンジセンサなどにより構成される。センサ105が取得した情報は、操作認識処理部106によってロボット1に対するユーザの操作及びロボット1の周囲にある物体を認識するために用いられる。
人物認識処理部102は、カメラ101によって取得された映像から、ユーザの有無、位置、大きさ、顔の向き、視線の向き、表情の種類、姿勢(例えば、座っているか、立っているかなど)、属性情報を認識し、人物認識結果を管理する。表情の種類は、例えば、「笑った顔」及び「驚いた顔」などの肯定的表現、並びに「悲しい顔」及び「嫌がっている顔」などの否定的表現などを表す。属性情報は、例えば、人物ID、年代、性別などを表す。
音声認識処理部104は、マイク103によって取得された音声から、ユーザの音声の有無、音声の種類、属性情報を認識する音声認識処理を実行し、認識結果を管理する。音声の種類は、例えば、名前が呼ばれたことを示す情報、「好き」及び「もっと遊ぼう」などの肯定的表現、並びに「嫌い」及び「あっちに行って」などの否定的表現などである。属性情報は、例えば、人物ID、年代、及び性別などを表す。
操作認識処理部106は、センサ105によって取得された情報から、周囲にある物体までの距離(例えば、障害物までの距離、ユーザまでの距離等)、形状、操作の種類、属性情報(例えば、人物ID、年代など)を認識し、ユーザからの操作及び周辺にある物体等の認識結果を管理する。ここで、認識される操作の種類は、例えば、「触れる」、「撫でる」、「抱く」などの肯定的表現、「叩く」、「弾く」などの否定的表現、ロボット1の持ち上げなどである。
なお、ここでは、操作認識処理部106がユーザまでの距離を認識するものとして説明しているが、人物認識処理部102がユーザまでの距離を認識してもよい。
地図情報1101は、例えば、ロボット1が存在する建物内部のレイアウト図などの地図に関する情報である。図4は本開示の第1の実施の形態に係る地図情報1101が示す地図を示す図であり、上図は地図の全体図201であり、下図は全体図201の一部を拡大表示した拡大図206である。全体図201に示されるように、地図情報1101は、X軸及びY軸で示される2次元の座標軸が設定されており、この座標軸を用いて地図上の各位置を表す。また、地図情報1101は、建物に含まれる複数の部屋を仕切る壁の位置、建物内に設置された机及びソファなどの家具の位置、並びに建物内に設置されたテレビなどの電化機器の位置などを記憶する。さらに、地図情報1101は、ロボット1が設定した待機場所候補W1、W2、W3、W4の位置も記憶する。
拡大図206に示されるように、地図情報1101は、複数のブロックで区切られており、ブロック単位で障害物の有無を表現する。障害物は、上述した部屋を仕切る壁、家具、及び電化機器などである。また、地図情報1101は、網点で示す進入禁止領域を記憶しており、ロボット1は、進入禁止領域への進入が禁止されるように制御される。
位置情報管理部108は、操作認識処理部106の認識結果に基づき、ブロック毎に障害物の有無を検出することで地図情報1101の生成及び更新を行う。なお、地図情報1101の生成及び更新には、例えば、SLAM等の自己位置推定技術が利用できる。
拡大図206の待機場所候補W1に示されるように、位置情報管理部108は、例えば、地図情報1101が示す障害物の角の位置などに待機場所候補を設定する。待機場所候補とは、待機場所の決定に先立ってロボット1が予め設定した場所であり、ロボット1は待機場所候補の中から実際のロボット1の待機場所を決定する。ここでは、待機場所候補は、隣接する4つのブロックで構成された領域で表される。待機場所候補の中心位置は、待機場所候補の位置を示す。但し、これは一例であり、待機場所候補を構成するブロック数は4つに限定されず、3つ以下、5つ以上であってもよい。また、待機場所候補はブロック単位で表されなくてもよく、待機場所候補の位置又は領域で定義されてもよい。ここで、本実施の形態において4つのブロックで待機場所候補を表したのは、ロボット1のサイズを4ブロック程度と想定したためである。
ロボット1が、障害物の角に背を向けて停止すると、部屋の中の情報が得やすく、ユーザを見つけやすくする効果及び接触場所へ移動しやすくなる効果が期待できる。そこで、位置情報管理部108は、障害物に背を向けたときに直前に大きな障害物がない部屋の角のような場所を地図情報1101から検出し、その場所を待機場所候補として設定すればよい。
なお、位置情報管理部108は、ロボット1が自由行動の状態にあるときに、部屋内を自由(ランダム)に散策しながら、地図情報1101を生成すると共に待機場所候補を設定すればよい。なお、ここで、自由行動の状態とは、ロボット1がユーザと接触していない状態を指し、例えば、ユーザ又は外部機器からロボット1への処理の実行が予約されていない状態、及び予約開始までの時間が閾値以内(例えば10分以内)の状態などが該当する。ここで、処理とは、例えば、目覚まし機能、生活習慣を促す発話又は振舞い、並びにクイズ遊び、歌遊び、及び絵本の読み聞かせ等の遊びコンテンツが含まれる。
外部機器は、例えば、タブレット端末及びスマートフォン等の携帯情報端末であり、ロボット1に対するユーザからの指示を受け付けてロボット1にその指示を送信する。なお、ロボット1は発話等によって直接的にユーザから処理の実行を受け付けることも可能であり、外部機器を介して間接的にユーザから処理の実行を受け付けることも可能である。
図5は、待機場所候補に関する情報を記憶する待機場所候補テーブルT5の構成の一例を示す図である。待機場所候補テーブルT5は、地図情報1101に含まれる。待機場所候補テーブルT5は、待機場所IDの列301、待機場所候補の位置の列302、第1閾値の列303を含み、これらの列301~303に記憶されたデータを対応付けて記憶する。待機場所IDの列301は、待機場所候補の識別子を記憶する。ここでは、図4に示す待機場所候補W1~W4の識別子である「W1」~「W4」が記憶されている。
待機場所候補の位置の列302は、各待機場所候補の位置を記憶する。ここでは、図4に示す地図上に設定された待機場所候補W1~W4の位置が記憶されている。行310の例では、待機場所候補W1の位置は、X座標が「-1000」、Y座標が「6000」であるため、待機場所候補の位置の列302には、「X:-1000、Y:6000」が記憶されている。
第1閾値の列303は、実際にロボット1とユーザとが接触した接触位置がどの待機場所候補における接触とみなすかを判定する際に用いられる閾値を記憶する。例えば、待機場所候補W1の場合、ロボット1の待機場所候補の位置は「X:-1000、Y:6000」であるが、その待機場所候補の位置から150cm内に接触位置がある場合、その接触位置における接触は、待機場所候補W1での接触とみなされる。図4の拡大図206の例では、(-1000、6000)を中心とする扇状の領域が、待機場所候補W1の位置から第1閾値以内の閾値領域207とされている。この場合、接触位置PS1は閾値領域207内に位置するため、接触位置PS1での接触は待機場所候補W1での接触とみなされる。一方、接触位置PS2は閾値領域207の外部に位置するため、接触位置PS2での接触は待機場所候補W1での接触とみなされない。拡大図206の例では閾値領域207は、障害物に沿ったブロックが除外されているが、これは一例であり、単純に待機場所候補W1の位置を中心に第1閾値を半径とする円に含まれる障害物を除くブロックからなる領域が閾値領域207として設定されてもよい。なお、第1閾値は、待機場所候補の周囲にある障害物の配置及び部屋の広さなど、周囲環境に応じて待機場所候補ごとに異なる値が設定されている。
このように、地図情報1101は、図4に示す建物内のレイアウトを示す地図に関する情報と、待機場所候補W1~W4に関する情報を示す待機場所候補テーブルT5とを記憶する。なお、待機場所候補テーブルT5は、ここで説明した項目を記憶するが、本開示はこれに限定されず、地図に関する別の項目を記憶してもよい。
また、ここでは、地図情報1101はブロック単位で障害物及び待機場所候補の有無を示したが、本開示はこれに限定されない。例えば、地図情報1101は、電化機器、家具、及び待機場所候補等の位置を示すランドマークが建物内のレイアウト図上に重畳表示されたものであってもよい。また、地図情報1101は、ロボット1が生成したものではなく、ユーザにより予め登録されたものが採用されてもよい。この場合、ロボット1は、メモリ110に記憶された地図情報1101を利用してもよいし、ネットワークを介して接続された外部サーバ又は別の装置上で作成された地図情報1101を利用してもよい。さらに、地図情報1101の生成及び更新はロボット1が行わずに、ネットワークを介して接続された外部サーバ又は別の装置上で行われてもよい。
図6は、本開示の第1の実施の形態に係る接触情報データベース1102のデータ構成の一例を示す図である。接触情報データベース1102は、ロボット1とユーザとの接触履歴である接触情報を各行に記憶するデータベースである。
接触情報データベース1102は、時間帯の列401、接触日の列402、曜日の列403、接触開始時刻の列404、接触時間の列405、待機場所候補の列406、及び接触位置の列407が含まれる。時間帯の列401は、ユーザとロボット1との接触が予め定められた複数の時間帯のうちどの時間帯に発生したかを記憶する。時間帯は、図7に示す時間帯データベース1103と、列404が記憶する接触開始時刻とを照合することで決定される。図7は、本開示の第1の実施の形態に係る時間帯データベース1103のデータ構成の一例を示す図である。時間帯データベース1103は1つの行に1つの時間帯を記憶し、時間帯の列501及び該当時間の列502を備える。時間帯の列501は、1日を複数の時間帯に区切ることで得られる時間帯の識別子を記憶する。該当時間の列502は、時間帯の開始時刻から終了時刻までを記憶する。
図7の例では、一般的に想定されるユーザの生活サイクルに基づいた時間帯が設定されている。例えば、行510に記憶された時間帯T1は、起床から外出までの6時から9時までの時間帯を示す。また、行530に記憶された時間帯T3は、昼食をとる11時から13時までの時間帯を示す。なお、時間帯は、家庭毎に行われたユーザの行動推定の推定結果に基づいて設定されてもよいし、ユーザが自己の生活サイクルに合わせて任意に区切った時間帯が設定されてもよいし、単純に一定時間毎に区切った時間帯が設定されてもよい。例えば、ユーザの行動推定は、建物内に設置されたカメラ及びマイク或いはロボット1が備えるカメラ101及びマイク103などの各種センサが取得した情報からユーザがどの時間帯に何をしているかを推定する処理である。ユーザの行動推定は、ロボット1により行われてもよいし、ロボット1とネットワークを介して接続された外部サーバ等によって行われてもよい。後者の場合、ロボット1は外部サーバ等によって生成された時間帯データベース1103をネットワークを介して取得すればよい。
図6に参照を戻す。接触日の列402及び曜日の列403は、それぞれ、ロボット1とユーザとが接触した日付及び曜日を記憶する。接触開始時刻の列404は、ロボット1とユーザとが接触を開始した時刻を記憶する。接触時間の列405は、列404が記憶する接触開始時刻から接触が終了した時刻までの時間を記憶する。接触位置の列407はロボット1とユーザとの接触位置を記憶する。待機場所の列406は、列407が記憶する接触位置が属する閾値領域207に対応する待機場所候補の識別子を記憶する。
なお、接触情報データベース1102及び時間帯データベース1103は、ここで説明した項目に限定するものではなく、別の項目を記憶してもよい。なお、接触情報データベース1102及び時間帯データベース1103は、ネットワークを介して接続される別の装置又は外部サーバ上で更新される形式であってもよい。
図3に参照を戻す。位置情報管理部108は、メモリ110に記憶された地図情報1101を管理する。位置情報管理部108は、後述の主制御部107及び接触情報管理部109からの指示に応じて、該当する情報を地図情報1101から読み出し、主制御部107及び接触情報管理部109へ出力する。
具体的には、位置情報管理部108は、主制御部107を介して取得した操作認識処理部106による認識結果と、主制御部107を介して取得した駆動機構制御部116によるロボット1の駆動情報とに基づき、地図情報1101におけるロボット1の現在位置を管理する。駆動情報は、ロボット1がどの方向にどのくらい移動したかを示す情報であり、例えば、モータの回転数及びロボット1の旋回角度などである。
また、位置情報管理部108は、操作認識処理部106による認識結果と前記駆動情報とに基づき地図情報1101の作成及び更新を行う。より詳細には、位置情報管理部108は、ロボット1の駆動中に操作認識処理部106による障害物の認識結果に従い、地図情報1101に障害物の位置を設定する。また、位置情報管理部108は、接触情報管理部109からの指示に応じて、ロボット1の現在位置を出力する。
また、位置情報管理部108は、主制御部107の指示に応じて、地図情報1101に対して待機場所候補を設定する。具体的には、位置情報管理部108は、図4に示すように地図情報1101から、障害物の角となり、部屋を広く見渡せる場所を待機場所候補W1~W4として設定する。
また、位置情報管理部108は、接触情報管理部109の指示に応じて、ロボット1の現在位置が各待機場所候補のうちいずれの閾値領域207に属しているかを判定し、属すると判定した閾値領域207に対応する待機場所候補の識別子を接触情報管理部109に出力する。
また、位置情報管理部108は、ロボット1の現在位置が全ての待機場所候補の位置に対して第2閾値以上の離れている場合、地図情報1101から壁等の障害物の位置を取得し、新たな待機場所候補を設定してもよい。この処理を繰り返していくと、やがて、ロボット1が地図情報1101が示す地図内のどの位置に居ても、第2閾値以内の場所に待機場所候補が設定されるようになる。
また、位置情報管理部108は、待機場所候補の設定及び地図情報1101を生成するために、未確認の領域へロボット1を駆動させるための駆動要求を、主制御部107へ出力してもよい。また、位置情報管理部108は、主制御部107の指示に応じて、ロボット1の現在位置から主制御部107により指定された待機場所候補内に存在するか否かを出力する。なお、位置情報管理部108は、主制御部107の指示に応じて、ロボット1の現在位置或いは指定された待機場所候補の位置から充電台までの距離を算出し、算出結果を出力する。ここで、充電台の位置の一例は、図4における「X=0,Y=0」の位置である。充電台は、ロボット1に電力を供給するための充電装置である。
接触情報管理部109は、メモリ110に記憶された接触情報データベース1102を管理し、主制御部107の指示に応じて、該当する情報を接触情報データベース1102から読み出して主制御部107へ出力する。具体的には、接触情報管理部109は、主制御部107からロボット1とユーザとの接触開始に応じた接触情報の記録指示を取得すると、ロボット1とユーザとの接触履歴である接触情報を接触情報データベース1102に
記録する。このとき、接触情報管理部109は、接触が発生した接触日、曜日、及び接触開始時刻をそれぞれ接触情報データベース1102の列402、列403、及び列404に記憶する。
また、接触情報管理部109は、接触開始時刻が属している時間帯を時間帯データベース1103から決定し、接触情報データベース1102の列401に記憶する。また、接触情報管理部109は、接触時におけるロボット1の現在位置を位置情報管理部108に問い合わせ、得られた現在位置をロボット1とユーザとの接触位置として、接触情報データベース1102の列407に記憶する。
また、接触情報管理部109は、接触位置が属している待機場所候補を位置情報管理部108に問い合わせ、得られた待機場所候補の識別子を接触情報データベース1102の列406に記憶する。この場合、位置情報管理部108は、ロボット1の現在位置が属する閾値領域207に対応する待機場所候補の識別子を接触情報管理部109に出力すればよい。ここで、位置情報管理部108は、接触位置が全ての待機場所候補に対応するいずれの閾値領域207にも属していない場合、接触位置に対して最短距離に位置する待機場所候補の識別子を接触情報管理部109に出力してもよい。
また、接触情報管理部109は、主制御部107から接触の終了に応じた記録指示を取得するると、列404に記憶された接触開始時刻からの経過時間を接触時間として算出し、接触情報データベース1102の列405に記憶する。
なお、ここでは、接触情報管理部109が、ロボット1とユーザとが接触を開始した際に位置情報管理部108からロボット1の現在位置を接触位置として取得し、接触情報データベース1102に記憶したが、これは一例である。接触情報管理部109は、接触終了時に位置情報管理部108からロボット1の現在位置を接触位置として取得して接触情報データベース1102に記憶してもよい。或いは、接触情報管理部109は、接触開始時刻から接触終了時刻までのロボット1の位置情報を位置情報管理部108から収集し、接触期間中、最も長時間滞在した位置を接触位置として接触情報データベース1102に記憶してもよい。この場合、接触情報管理部109は、接触期間中に収集した位置情報を地図情報1101に設定された各ブロックに投票し、投票数が最大のブロックに対応する位置を接触位置として接触情報データベース1102に記憶すればよい。これにより、接触情報管理部109は、接触期間中にロボット1とユーザとが移動したとしても、接触位置を適切に管理することができる。
また、接触情報管理部109は、主制御部107から待機場所の問い合わせを受け付けた場合、現在の時刻において最適なロボット1の待機場所の位置を出力する。具体的には、接触情報管理部109は、主制御部107から待機場所の問い合わせを受け付けると、接触情報データベース1102を参照し、現在の時刻が属する時間帯において、ロボット1とユーザとの間で最も多くの接触があった待機場所候補を決定し、その待機場所候補の位置を最適な待機場所の位置として主制御部107へ出力する。
図6を参照して、例えば、現在の時刻が6:30であったとすると、接触情報データベースから6:30が属する時間帯T1の接触情報である、行410~行430の接触情報が抽出される。そして、これらの接触情報において待機場所候補W2を記憶する接触情報が最も多いため、待機場所候補W2の位置が最適な待機場所の位置として出力される。この場合、列405に記憶された接触時間が考慮されてもよい。例えば、行410~430において、待機場所候補W1のトータルの接触時間は30秒であり、待機場所候補W2のトータルの接触時間は700秒(=300秒+400秒)であり、待機場所候補W2のトータルの接触時間が待機場所候補W1のトータルの接触時間よりも長いため、待機場所候補W2が最適な待機場所として決定されてもよい。
なお、接触情報管理部109は、接触情報データベース1102の接触日の列402を参照することで、接触情報データベース1102から直近の一定期間(例えば1週間、2週間、1ヶ月など)の接触情報を抽出し、得られた接触情報から最適な待機場所を決定してもよい。図6を参照して、例えば、本日が10月6日、現在の時刻が6:30とすると、10月6日から過去1週間の時間帯T1の接触情報が接触情報データベース1102から抽出され、得られた接触情報から最適な待機場所が決定される。これにより、例えば、子供が長期休暇になり学校へ登校しなくなるなどのユーザの生活状況の変化に対して柔軟に対応することができる。
ここでは、接触情報管理部109は、現在の時刻が属する時間帯の接触情報から最適な待機場所を決定したが、これは一例であり、現在の時刻に加えて現在の曜日を考慮に入れて最適な待機場所を決定してもよい。例えば、現在の時刻が属する時間帯及び現在の曜日と同じ曜日において、ロボット1とユーザとの間で最も接触があった待機場所候補が、待機場所として決定されてもよい。図6を参照し、例えば、現在の時刻が6:30であり、本日の曜日が木曜であるとすると、本日の曜日と同じ木曜の接触情報であって、現在の時刻が属する時間帯T1の接触情報が接触情報データベース1102から抽出され、得られた接触情報から最適な待機場所が決定されてもよい。
図3に参照を戻す。表示部111は、例えば、複数の発光ダイオードにより構成され、ロボット1の表情の表示情報を表示する。具体的には、表示部111は、前記複数の発光ダイオードの点灯を個別に制御することにより、ロボット1の顔の一部、例えば、目及び口を表示する。
表示情報出力制御部112は、主制御部107から送信される行動制御コマンドに応じたロボット1の表情の表示情報を表示部111に出力する。そして、表示部111は、表示情報にしたがってロボット1の表情を出力する。
音声情報出力制御部114は、主制御部107から出力される行動制御コマンドに応じてロボット1の音声情報をスピーカ113に出力する。そして、スピーカ113は、ロボット1の音声情報を出力する。
駆動機構115は、例えば、複数のモータ、フレーム、複数のギア、駆動ベルト、シャフトなどにより構成され、ロボット1を動作させる。複数のモータは、例えば、図2を参照し、メイン筐体121を回転させてロボット1を走行させる第1モータと、重り127を前後方向周りに回転させてロボット1の姿勢を前後方向周りに傾斜させる第2モータと、アーム126をシャフト周りに回転させ、ロボットの目及び口を上方又は下方に傾斜させる第3モータとを含む。フレームはシャフトにぶら下げられ、複数のモータ、ギア、及び駆動ベルトを収容する。複数のギアは、駆動ベルトに掛け回され、第3モータの回転力をアーム126に伝達する。
具体的には、駆動機構115は、駆動機構制御部116からの制御信号にしたがって、第1モータ~第3モータを駆動することにより、ロボット1を走行させたり、ロボット1を旋回させたり、ロボット1の目及び口を上方又は下方に傾斜させる。なお、ロボット1は、後方から前方に見て右方向に重り127を傾斜させ、前進することで右旋回し、左方向に重りを傾斜させ、前進することで左旋回する。
駆動機構制御部116は、主制御部107から送信される行動制御コマンドに応じて、ロボット1の駆動機構115を制御するための制御信号を駆動機構115に出力する。そして、駆動機構115は、行動制御コマンドに応じた動作をロボット1に行わせる。
主制御部107は、操作認識処理部106から取得した認識結果、及び駆動機構制御部116から取得したロボット1の駆動情報を位置情報管理部108へ出力することで、位置情報管理部108に対し、ロボット1の位置情報の管理と、地図情報1101の作成及び更新とを指示する。また、主制御部107は、位置情報管理部108へ待機場所候補の有無の確認を指示する。また、主制御部107は、位置情報管理部108から待機場所候補が無い旨の出力を受け取ると、ロボット1の自由行動の状態の際に、位置情報管理部108へ待機場所候補の作成及び地図情報の生成を指示する。なお、このとき主制御部107は、位置情報管理部108から駆動要求を受け取った際は、駆動機構制御部116を制御し、ロボット1の駆動を行う。
主制御部107は、ロボット1とユーザとの接触の開始及び終了を、人物認識処理部102、音声認識処理部104、及び操作認識処理部106のそれぞれから出力される認識結果と、ロボット1がユーザに提供するコンテンツの実施状況との少なくとも一方に基づいて判断し、接触情報管理部109へ接触情報の記録を指示する。コンテンツは、例えば、クイズ、歌、読み聞かせ等のロボット1が保持するシナリオに基づいてロボット1を振舞わせるためのプログラムである。
具体的には、主制御部107は、音声認識処理部104から取得した認識結果に基づいて、ユーザからの呼びかけ又は対話をする行為の有無を判断する。また、主制御部107は、操作認識処理部106から取得した認識結果に基づいて、撫でる、抱く等のユーザが物理的に触れる行為の有無を判断する。また、主制御部107は、人物認識処理部102から取得した認識結果に基づいて、ユーザの顔の向き、視線の向き、及び微笑み等の表情を判断する。また、主制御部107は、人物認識処理部102、音声認識処理部104、及び操作認識処理部106から取得した認識結果に基づいてコンテンツの実施の有無とコンテンツの終了とを判断する。そして、主制御部107は、これらの判断結果に基づいて、ロボット1とユーザとの接触の開始及び終了を判断する。
また、主制御部107は、ロボット1が自由行動の状態にあるとき、ロボット1がユーザと接触しやすく、駆動処理が少なくなる最適な待機場所の位置を、接触情報管理部109から取得する。そして、主制御部107は、取得した最適な待機場所の位置に移動させる行動制御コマンドを駆動機構制御部116へ出力し、ロボット1を最適な待機場所に移動させる。これにより、ロボット1は、現在の時刻及び曜日等に応じて、ユーザから接触されやすい場所で待機することができる。そのため、ユーザとの接触時に、ロボット1の駆動量を少なく抑えられる可能性が高められ、ロボット1自身の駆動音により音声認識精度の低下を軽減することができる。
また、主制御部107は、位置情報管理部108と接触情報管理部109とから取得した情報を基に行動制御コマンドを生成し、表示情報出力制御部112、音声情報出力制御部114、及び駆動機構制御部116に出力する。行動制御コマンドを生成する行動制御処理の詳細は図8で後述する。
また、主制御部107は、ロボット1の動作プログラムとして組み込まれた各種行動(例えば、歌をうたったり、人を探したり、人を見つけて近づく等)又はユーザとの遊びごとを実施する際、移動を開始する処理がないかを監視し、移動を開始する処理を検知した場合、その処理を開始する前に図8で後述する行動制御処理を行う。
また、主制御部107は、ロボット1が自由行動の状態にあるとき、ユーザからロボット1が散策しているように見えるよう、ロボット1の動作プログラムとして組み込まれた
各種行動(例えば、独り言をつぶやく、鼻歌をうたう、ゆっくり駆動する、フラフラ駆動する、止まって周囲を見回す等)を行うための行動制御コマンドを生成する。この時、主制御部107は、ロボット1が散策行動を通してたどり着く目的地となる待機場所候補を設定するために、図8で後述する行動制御処理を行う。
次に、図8を参照しつつ、本開示の第1の実施の形態に係るロボット1の行動制御処理について説明する。図8は、本開示の第1の実施の形態に係るロボット1における行動制御処理の一例を示すフローチャートである。
まず、主制御部107は、メモリ110に記憶されたロボット1の内部状態を確認し、ロボット1が自由行動の状態か否かを判断する(S601)。ロボット1が自由行動の状態ではない場合(S601において「NO」)、主制御部107は、処理を何もせずにフローをS601に戻す。これは、ロボット1がユーザと接触状態にある、或いはユーザ若しくは外部機器からロボット1へ処理の実行が予約されている状態にあり、これらの状態を優先するためである。
一方、ロボット1が自由行動の状態の場合(S601において「YES」)、主制御部107は例えば図略のタイマーから現在の時刻及び現在の曜日を取得する(S602)。主制御部107は、取得した現在の時刻及び現在の曜日を指定し、接触情報管理部109へ、現在の時刻が属する時間帯(現在の時間帯)及び現在の曜日と、同じ時間帯及び曜日に接触された接触情報が接触情報データベース1102に記憶されているかを問い合わせる(S603)。
現在の時間帯及び現在の曜日と、同じ時間帯及び曜日の接触情報が接触情報データベース1102に記憶されている場合(S603において「YES」)、主制御部107は、接触情報管理部109へ、現在の時間帯及び現在の曜日において最適な待機場所を問い合わせる。そして、接触情報管理部109は、現在の時間帯及び現在の曜日と同じ時間帯及び曜日の接触情報を接触情報データベース1102から抽出し、抽出した接触情報に基づき、最適な待機場所を決定する(S604)。この場合、接触情報管理部109は、図6に示す接触情報データベース1102に記憶された接触情報のうち、時間帯の列401と曜日の列403とを参照し、現在の時間帯及び現在の曜日と同じ時間帯及び曜日の接触情報を抽出する。そして、接触情報管理部109は、抽出した接触情報において、列406に記憶された待機場所候補を参照し、最も接触されている待機場所候補を最適な待機場所として決定する。
ここで、現在の時間帯及び現在の曜日が共に一致する接触情報が接触情報データベース1102に存在しない場合、或いは接触情報データベース1102に記憶されている接触情報の数が少ない場合(例えば5以下)もある。この場合、接触情報管理部109は、現在の曜日が平日であるか休日であるかを判定する。そして、接触情報管理部109は、現在の曜日が平日の場合は、現在の時間帯と同じ時間帯の平日の接触情報を接触情報データベース1102から抽出して、最適な待機場所を決定すればよい。一方、接触情報管理部109は、現在の曜日が休日の場合は、現在の時間帯と同じ時間帯の休日の接触情報を接触情報データベース1102から抽出して、最適な待機場所を決定すればよい。なお、平日とは、例えば、月曜日から金曜日の曜日が該当し、休日とは、例えば、土曜日、日曜日、祝日が該当する。
なお、接触情報管理部109は、接触情報データベース1102から接触情報を抽出する際、列405に記憶された接触時間が所定時間以下(例えば5秒以下)の接触情報は除外してもよい。図6の例では、行470の接触情報は接触時間が5秒以下であるため、抽出対象から除外される。さらに、接触情報管理部109は、接触情報データベース110
2から接触情報を抽出する際に、上述したように、直近の一定期間(例えば1週間)の接触情報のみを抽出対象としてもよい。
一方、現在の時間帯及び現在の曜日と、同じ時間帯及び曜日の接触情報が接触情報データベース1102に記憶されていない場合(S603において「NO」)、主制御部107は、待機場所候補が未設定の状態であるかを位置情報管理部108に問い合わせる(S611)。位置情報管理部108が待機場所候補を設定済みの場合(S611において「YES」)、現在の時間帯及び現在の曜日と同じ時間帯及び曜日の接触情報が接触情報データベース1102に存在しないため、主制御部107は、ロボット1の現在位置から最短距離にある待機場所候補を接触情報管理部109から取得し、仮の待機場所として設定する(S612)。
一方、位置情報管理部108が待機場所候補を設定済みではない場合(S611において「NO」)、主制御部107は、位置情報管理部108へ待機場所候補の設定を指示する(S613)。この場合、位置情報管理部108は、待機場所候補を設定するために未確認の領域等へロボット1を駆動させるための駆動要求を主制御部107へ出力する。主制御部107は、位置情報管理部108から取得した駆動要求に従い、ロボット1を駆動させる行動制御コマンドを生成し、駆動機構制御部116へ出力する。この駆動に伴って、位置情報管理部108は、未確認の領域の地図情報1101を生成すると共に待機場所候補を設定する。
次に、主制御部107は、最適な待機場所又は仮の待機場所へ、ロボット1を移動させる行動制御コマンドを生成し、駆動機構制御部116へ出力する(S605)。
ここで、家庭内の部屋の状況はユーザによって常に変化するため、床に置かれた荷物及び床に散らかった子供のおもちゃなどの存在によって、ロボット1が、設定された待機場所へたどり着けないことも想定される。そこで、主制御部107は、設定した待機場所周辺へ移動できたか否かを確認する(S606)。
この場合、主制御部107は、駆動機構制御部116から取得したロボット1の駆動情報と、位置情報管理部108が管理するロボット1の現在位置と、目的地となる待機場所の位置とから、ロボット1が待機場所へ移動できたか否かを確認する。このとき、主制御部107は、目的地となる待機場所への走行中、操作認識処理部106から取得した障害物の情報からそれ以上の走行が困難になったと判断した場合、位置情報管理部108から取得したロボット1の現在位置が、目的地となる待機場所に対応する閾値領域207内(図4参照)にあるか否かを位置情報管理部108に問い合わせる。そして、主制御部107は、位置情報管理部108からロボット1の現在位置が閾値領域207内にあるとの判断結果を取得した場合、ロボット1が待機場所周辺へ移動できたと判断する。一方、主制御部107は、ロボット1の現在位置が閾値領域207外であるとの判断結果を取得した場合、ロボット1は待機場所周辺へ移動できなかったと判断する。
主制御部107は、ロボット1が待機場所周辺へ移動できた場合(S606において「YES」)、待機場所の周辺のノイズ音を確認するノイズ音確認の処理を行う(S607)。なお、待機場所周辺へ移動した際、主制御部107は、位置情報管理部から取得した地図情報1101に基づいて、ロボット1に対して障害物が位置する方向を位置情報管理部108に問い合わせる。そして、主制御部107は、障害物が位置する方向とは反対方向にカメラ101の光軸が向くように、ロボット1を旋回させる行動制御コマンドを駆動機構制御部116に出力すればよい。例えば、図4に示す障害物の角となる待機場所候補W1の例では、障害物に背を向けるようにロボット1は旋回する。これにより、ロボット1は、部屋の中を見渡しやすくなり、ユーザを見つけやすくなる効果及び接触場所へ移動しやすくなる効果が期待できる。
なお、ここでは、主制御部107は、待機場所において障害物に対して背を向ける方向にロボット1を旋回させたが、これは一例であり、接触情報データベース1102を参照して、ロボット1とユーザとの過去の接触位置を特定し、その接触位置にカメラ101の光軸が向くようにロボット1を旋回させてもよい。これにより、ロボット1はユーザと接触しやすい位置(例えば、リビングの広い空間等)への移動が容易になる。この場合、主制御部107は、接触情報管理部109にロボット1が障害物に背を向けて静止した場合にカメラ101の視界内においてユーザとの接触が最も多かった位置を問い合わせ、その位置にカメラ101の光軸を向ければよい。なお、接触情報管理部109は、接触情報データベース1102の列407に記憶された接触位置を地図情報1101に設定されたブロックに投票し、カメラ101の視界内において投票数が最大のブロックの位置を主制御部107に出力すればよい。
次に、S607のノイズ音確認の処理の詳細を説明する。図9は、ノイズ音確認の処理の一例を示すフローチャートである。主制御部107は、待機場所周辺のノイズ音を確認するため、音声認識処理部104へ、マイク103が取得した音の音量が音量閾値以上か否かを問い合わせる(S701)。マイク103が取得した音の音量が音量閾値以上との判断結果が得られた場合(S701において「YES」)、主制御部107は、音声認識処理部104から取得した音が音声か否かの情報と音源方向とを取得する(S702)。主制御部107は、音声認識処理部104から取得した音声か否かの情報に基づき、マイク103が取得した音にユーザの音声が含まれる可能性があるか否かを判断する(S703)。マイク103が取得した音が音声であると判断された場合(S703において「YES」)、主制御部107は、マイク103が取得した音の音源方向にカメラ101の光軸が向くよう、ロボット1を駆動するための行動制御コマンドを生成し、駆動機構制御部116へ出力する。
次に、主制御部107は、人物認識処理部102に登録済みのユーザが音源方向に居るか否かを確認する(S704)。音源方向に登録済みのユーザが存在する場合(S705において「YES」)、主制御部107は、登録済みのユーザが話している可能性があるため、マイク103が取得した音はノイズ音でないと判断し、ノイズ音確認の処理を終了する。登録済みユーザは、例えばロボット1が居る家の家族である。
一方、音源方向に登録済みのユーザが存在しない場合(S705において「NO」)、主制御部107は、マイク103が取得した音はテレビ又はラジオ等から発する音声であると判断し、音源から離れる方向にロボットを駆動させるための行動制御コマンドを生成し、駆動機構制御部116へ出力する(S706)。この場合、主制御部107は、例えば、待機場所に対応する閾値領域207内において、音源から離れる方向に所定距離移動すればよい。さらに、この場合、主制御部107は、マイク103が取得した音の音量が大きくなるにつれて所定距離を大きく設定してもよい。
主制御部107は移動完了後の場所のノイズ音を確認するために、再度、音声認識処理部104から、マイク103が取得した音の音量が音量閾値以上か否かの認識結果を取得する(S707)。マイク103が取得した音の音量が音量閾値より小さいと判断された場合(S707において「NO」)、主制御部107は、現在のロボット1の場所を待機場所とする(S708)。
一方、マイク103が取得した音の音量が音量閾値以上と判断された場合(S707において「YES」)、主制御部107は、再度、ロボット1を音源から離れる方向にロボット1を移動させる(S706)。
マイク103が取得した音が音声ではない場合(S703において「NO」)、S706の処理により音源から離れる方向にロボット1は移動される(S706)。
なお、ここで、マイク103が取得した音の音量が音量閾値以上か否かを判断する処理(S701、S707)において、一定期間(例えば7分間)の平均音量が音量閾値以上かを確認方法が採用されてもよい。これにより、瞬間的なノイズ音による待機場所の設定変更を防ぐことができる。また、ノイズ音確認の処理の実施時、主制御部107は、ノイズ音が大きい待機場所を位置情報管理部108へ通知してもよい。この場合、位置情報管理部108は、通知された待機場所を待機場所候補から外すように待機場所候補を再設定すればよい。待機場所候補の再設定は、待機場所候補の周辺のノイズ音が複数回検出された場合にのみ実行されてもよい。
なお、本実施の形態ではノイズ音確認の処理をS607のタイミングで行ったが、ノイズ音確認の処理は、本タイミングに限らず、他のタイミング(例えば、位置情報管理部108が最初に待機場所候補を設定したタイミング等)で実施しても問題ない。
図8へ参照を戻す。S608では、主制御部107は、充電場所確認の処理を実行する。図10は、本開示の第1の実施の形態に係る充電場所確認の処理の一例を示すフローチャートである。
まず、S800において、主制御部107は、全ての時間帯及び曜日において最も多く接触された待機場所候補を、接触情報管理部109から取得する(S801)。この場合、接触情報管理部109は、接触情報データベース1102に記憶された待機場所候補の中から最も多く接触された待機場所候補を決定すればよい。例えば、接触情報管理部109は、接触情報データベース1102への登録数が最大の待機場所候補を、最も多く接触された待機場所候補として決定してもよいし、待機場所候補ごとにトータルの接触時間を算出し、トータルの接触時間が最大の待機場所候補を最も多く接触された待機場所候補として決定してもよい。
次に、主制御部107は、接触情報管理部109から取得した、全ての時間帯及び曜日において最も多く接触された待機場所候補が現在の待機場所周辺に位置するか否かを位置情報管理部108から取得する。この場合、位置情報管理部108は、図4に示すように、現在の待機場所に対応する閾値領域207内に、最も多く接触された待機場所候補の位置が属しているか否かを判断すればよい。
次に、現在の待機場所周辺に、S800で取得した最も多く接触された待機場所候補の位置がある場合(S801において「YES」)、主制御部107は、最も多く接触された待機場所候補の位置と充電場所との距離の算出を接触情報管理部109へ指示する(S802)。接触情報管理部109により算出された距離が第3閾値(例えば、7m以上)の場合(S803において「YES」)、主制御部107は、充電台の移動を催促するための行動制御コマンドを生成し、表示情報出力制御部112、音声情報出力制御部114、及び駆動機構制御部116へ出力する(S804)。
この場合、主制御部107は、例えば、おねだりする表情である「~_~」の形状を再現するための表示部111の座標にある複数の発光ダイオードを点灯する行動制御コマンドを生成し、表示情報出力制御部112へ出力すればよい。さらに、主制御部107は、所定の音声(例えば、「ここに充電台があったら嬉しいな、充電台まで遠いな等」)をロボット1に発話させる行動制御コマンドを生成し、音声情報出力制御部114へ出力してもよい。さらに、主制御部107は、おねだりするようにロボット1を左右に揺らす仕草を行う行動制御コマンド、或いは落ち込んだように顔を俯かせて移動する仕草を行う行動制御コマンドを生成し、駆動機構制御部116へ出力してもよい。
一方、現在の待機場所周辺に、全ての時間帯及び曜日において最も多く接触された待機場所候補の位置がない場合(S801において「NO」)、充電場所確認の処理は、終了する。
なお、本実施の形態では充電場所確認の処理をS608のタイミングで行ったが、本開示はこれに限定されず、他のタイミング(例えば、接触情報管理部109が管理する接触情報の数が一定の量に達したタイミング等)で実施しても問題ない。
図8へ参照を戻す。S609において、主制御部107は、タイムアウト期間(例えば20分)内にロボット1とユーザとの接触があるか否かを確認する。この場合、主制御部107は、人物認識処理部102、音声認識処理部104、及び操作認識処理部106からユーザの接触を示す認識結果が取得できたか否かによって、前記接触の有無を確認すればよい。
タイムアウト期間内にユーザとの接触を示す認識結果が取得できなかった場合(S609において「NO」)、主制御部107は、接触情報管理部109から、現在の時間帯と現在の曜日と同じ時間帯及び曜日において、次に接触の多い待機場所候補を取得する(S610)。そして、主制御部107は、取得した待機場所候補を次に最適な待機場所として設定し、次に最適な待機場所の位置にロボット1を移動させる行動制御コマンドを生成し、駆動機構制御部116へ出力する(S605)。一方、タイムアウト期間内にユーザとの接触を示す認識結果が取得できた場合(S609において「YES」)、主制御部107は、接触情報更新の処理を実行する(S614)。
このように、ロボット1は、現在の時間帯及び曜日において接触される可能性が最大の待機場所に移動したものの、タイムアウト期間内にユーザから接触されなかった場合は、現在の時間帯及び曜日において次に接触される可能性の高い待機場所に移動する。これにより、ユーザから接触される機会をより増加させることができる。
図11は、本開示の第1の実施の形態に係る接触情報更新の処理の一例を示すフローチャートである。主制御部107は、ユーザがロボット1に物理的に触れる行為があったことを示す認識結果を操作認識処理部106から取得できたか否かによって、物理的に触れる行為があったか否かを判断する(S901)。
物理的に触れる行為がない場合(S901において「NO」)、主制御部107は、ユーザの音声が認識できたことを示す認識結果を音声認識処理部104から取得できたか否かにより、ユーザからの音声が入力されたか否かを判断する(S908)。ユーザからの音声が入力された場合(S908において「YES」)、主制御部107は、音声認識処理部104から取得した認識結果が肯定的表現を示すか否かによって、ユーザから肯定的な接触があったか否かを判断する(S909)。
肯定的な接触があった場合(S909において「YES」)、主制御部107は、接触の開始及び終了を判断し、接触情報管理部109へ接触情報の記録指示を出力する(S910)。これにより、接触情報管理部109は、接触情報データベース1102に新たな接触情報を記録する。
一方、ユーザからの音声がない場合(S908において「NO」)、又はユーザからの音声があったとしてもその音声が肯定的表現ではない場合(S909において「NO」)、主制御部107は、接触情報更新の処理を終了する。
一方、主制御部107が、物理的に触れる行為があったと判断した場合(S901において「YES」)、主制御部107は、操作認識処理部106から取得した認識結果に基づいて、物理的に触れる行為がユーザによるロボット1の持上げであるか否かを判断する(S902)。
例えば、操作認識処理部106は、センサ105を構成する加速度センサの波形から持ち上げか否かを判断すればよい。ここで、操作認識処理部106は、加速度センサから取得したX、Y、Z軸成分のうち少なくともZ軸成分の波形に基づいて持上げの有無を判断すればよい。X軸はロボット1の左右方向の軸であり、Y軸はロボット1の前後方向の軸であり、Z軸はロボット1の上下方向の軸である。ロボット1はユーザによって持上げられた場合、Z軸方向への大きな揺れと、X、Y軸方向の揺れとが観測される。そのため、操作認識処理部106は、加速度センサの少なくともZ軸成分の波形を観測することでロボット1の持ち上げを検出できる。
ロボット1が持上げられたと判断された場合(S902において「NO」)、主制御部107は、操作認識処理部106から取得した認識結果が示す操作の種類から、肯定的な接触であるか否かを判断する(S909)。この場合、主制御部107は、操作の種類が肯定的表現を示す場合、肯定的な接触があると判断し(S909でYES)、処理をS910に進め、操作の種類が否定的表現の場合、肯定的な接触がない(S909でNO)と判断し、処理を終了すればよい。
一方、ロボット1が持上げられたと判断された場合(S902において「YES」)、操作認識処理部106は、加速度センサの少なくともZ軸成分の波形からロボットが置かれたか否かを判断する。ロボット1が置かれたと判断された場合(S903において「YES」)、主制御部107は、タイマーの計時を開始し(S904)、X秒後(例えば10秒)の経過を待つ(S905)。S905の処理は、ユーザによるロボット1の持上げが、単にロボット1の位置を移動させるための持上げか、肯定的な接触を目的とした持上げかを判断するための待機処理である。肯定的な接触を目的とする持ち上げであれば、ロボット1が置かれてから10秒程度経過後にユーザはロボット1に対して物理的に触れる行為を行う可能性が高い。そこで、主制御部107は、ロボット1が置かれてからX秒経過した後(S905でYES)、処理をS906に進めている。
次に、主制御部107は、S901と同様、物理的に触れる行為があるか否かを再度判断する(S906)。物理的に触れる行為がある場合(S906において「YES」)、前述のとおり、主制御部107は、操作認識処理部106から取得した認識結果が示す操作の種類から、肯定的な接触があったか否かを判断する(S909)。
一方、物理的に触れる行為がない場合(S906において「NO」)、S908と同様、主制御部107は、ユーザからの音声があったか否かを再度判断する(S907)。ユーザからの音声があった場合(S907において「YES」)、主制御部107は、前述のとおり、音声認識処理部104から取得した音声認識結果が示す音声の種類から、肯定的な接触の有無を判断する(S909)。
一方、ユーザからの音声がない場合(S907において「NO」)、主制御部107は、ユーザによるロボット1の持上げが単にロボット1を移動させるための持上げと判断し(S909において「NO」)、処理を終了する。この場合、接触情報データベース1102に接触情報は記録されない。
なお、ここでは、単にロボット1を移動させるための持上げが判断された場合、接触情報は記録しない方法が説明されたが、この持上げも接触情報として接触情報データベース1102に記録されてもよい。この場合、主制御部107は、移動前の場所には近づかないようにロボット1の行動制御を行えばよい。
また、本実施の形態では、ユーザがロボット1と肯定的な接触をしたか否かを判断するために、操作認識処理部106から取得した、ユーザがロボット1に物理的に触れる行為を行ったか否を示す認識結果と、音声認識処理部104から取得した、ユーザの音声の認識結果とが用いられたが、本開示はこれに限定されない。例えば、主制御部107は、これらの認識結果に加え、人物認識処理部102から取得した、ユーザの顔の向き及び視線の向きを示す認識結果を用いて、ユーザがロボット1と肯定的な接触をしたか否かを判断してもよい。
以上のように、本実施の形態によれば、ロボット1は、現在の時間帯及び現在の曜日において、より接触されやすい待機場所を決定してロボット1を待機させることができる。そのため、ロボット1がユーザと接する際の駆動時間を低減させ、自らの駆動音による音声認識精度の低下を軽減することができる。さらに、ユーザから接触されやすい場所が待機場所として設定されるため、ユーザから接触される機会を増加できる。
(第2の実施の形態)
次に、図12を参照して第2の実施の形態について説明する。図12は、本開示の第2の実施の形態に係るロボット1を示すブロック図である。なお、図12において図3と同一の構成要素については、同一の符号を付し、説明を省略する。また、本実施の形態において、第1の実施の形態と機能が異なる構成要素には参照符号の末尾にAの符号を付している。
第2の実施の形態では第1の実施の形態に対し、メモリ110は、人物情報データベース1104をさらに備える。人物情報データベース1104は1以上のユーザのユーザ情報を各行に記憶する。人物情報データベース1104は、ロボット1とユーザとの対話を通じて或いは外部端末に対するユーザの操作を通じて接触情報管理部109Aにより管理される。
図13は、本開示の第2の実施の形態に係る人物情報データベース1104の構成の一例を示す図である。人物情報データベース1104は、ユーザを一意に識別するユーザIDを記憶する列1301と、人物の名前を記憶する列1302と、人物の身長を記憶する列1303と、ユーザの顔データの参照情報を記憶する列1304と、ユーザの属性を記憶する列1305とを備える。顔データの参照情報は、例えば、顔データを記憶するアドレスであり、顔データは、例えば、顔の画像などである。ユーザの属性は、例えば、親、子供などである。
なお、人物情報データベース1104は、ここで説明した項目に限定するものではなく、別の項目を含んでもよい。なお、人物情報データベース1104は、ネットワークを介して接続される別の装置又はサーバ上で更新される態様が採用されてもよい。
また、本実施の形態では、接触情報管理部109Aは、更に、人物情報データベース1104を管理し、接触情報データベース1102Aに、ロボット1と接触したユーザのユーザ情報と接触したユーザの接触内容とをさらに記録する。
図14は、本開示の第2の実施の形態に係る接触情報データベース1102Aのデータ構成の一例を示す図である。
列401~列407は第1の実施の形態と同じであるため、説明を省略する。本実施の形態においては、接触情報データベース1102Aは、さらに接触ユーザの列1208と、接触内容の列1209とを含む。接触ユーザの列1208は、ロボット1に接触したユーザのユーザIDを記憶する。
接触情報管理部109Aは、主制御部107からの指示に応じて、ロボット1とユーザとの接触を示す接触情報を接触情報データベース1102Aに記録する。この時、接触情報管理部109Aは、人物認識処理部102又は音声認識処理部104から出力された、ロボット1と接触しているユーザのユーザIDを主制御部107を介して取得し、接触情報データベース1102Aに記憶する。また、接触情報管理部109Aは、音声認識処理部104又は操作認識処理部106から出力された接触内容を主制御部107を介して取得して、接触情報データベース1102Aに記憶する。ここで、接触内容は、例えば、音声認識処理部104から出力される、ロボット1の名前が呼ばれたことを示す情報、音声の種類が含まれる。また、接触内容は、例えば、操作認識処理部106から出力される、「触れる」、「撫でる」、「抱く」、「叩く」等の操作の種類が含まれる。さらに、接触内容は、例えば、主制御部107により管理されるロボット1が接触時に実施しているコンテンツの種類が含まれる。なお、接触情報データベース1102Aは、ここで説明した項目に限定するものではなく、別の項目を含んでもよい。また、接触情報データベース1102Aは、ネットワークを介して接続される別の装置又はサーバ上で更新される態様が採用されてもよい。
次に、本開示の第2の実施の形態におけるロボット1の行動制御処理について説明する。図15及び図16は、第2の実施の形態に係るロボット1の行動制御処理の一例を示すフローチャートである。
図15及び図16において、S601~S603、S605~S608、S611~S613は、図8と同じ符号を付した処理と同じ処理内容であるため、説明を省略する。
S603において、現在の時間帯及び現在の曜日と同一の時間帯及び曜日の接触情報が存在する場合(S603において「YES」)、主制御部107は、接触情報管理部109Aへ、現在の時間帯及び現在の曜日において最適な待機場所に加えて、さらに接触しやすい接触候補者を問い合わせる。そして、接触情報管理部109Aは、現在の時間帯及び現在の曜日と同じ時間帯及び曜日の接触情報を接触情報データベース1102Aから抽出し、抽出した接触情報に基づき、最適な待機場所と接触候補者とを決定する(S1320)。この場合、接触情報管理部109Aは、図14に示す接触情報データベース1102Aのうち、時間帯の列401と曜日の列403とを参照し、現在の時間帯及び現在の曜日と同じ時間帯及び曜日の接触情報を抽出する。そして、接触情報管理部109Aは、図8のS604と同様に、抽出した接触情報から最も接触されている待機場所候補を最適な待機場所として決定する。さらに、このとき、接触情報管理部109Aは、抽出した接触情報のうち、列1208を参照し、ロボット1に対して最も接触している接触ユーザを接触候補者として決定する。例えば、接触情報管理部109Aは、抽出した接触情報において、接触ユーザごとに接触情報の個数を集計し、その個数が最大の接触ユーザを接触候補者として決定すればよい。
但し、これは一例であり、接触情報管理部109Aは、列1209に記憶された接触内容及び列405に記憶された接触時間を考慮に入れて、抽出した接触情報に対して重み付けを行って接触候補者を決定してもよい。
例えば、接触情報管理部109Aは、接触内容の列1209において、クイズ、歌等のコンテンツが記憶されている接触情報に対して最大の第1重み値(1以上の整数)を付与し、接触内容の列1209において、撫でる、抱く等の接触行為又は雑談が記憶された接触情報に対して第2重み値(<第1重み値、且つ1以上の整数)を付与し、残りの接触情報に対して第3の重み値(=1)を付与する。そして、接触情報管理部109Aは、抽出した接触情報のそれぞれに対して、第1~第3重み値に応じたスコアを付与し、接触ユーザごとに、接触情報のスコアを合計し、合計したスコアが最大の接触ユーザを接触候補者として決定してもよい。さらに、この場合、接触情報管理部109Aは、抽出した接触情報のそれぞれに対して、第1~第3重み値と接触時間とに応じたスコアを付与し、接触ユーザごとに、接触情報のスコアを合計し、合計したスコアが最大の接触ユーザを接触候補者として決定してもよい。また、接触情報管理部109は、該当する時間帯及び曜日において最も多く接触したと判断した接触ユーザに対応する接触場所候補を最も多く接触された接触場所候補として決定してもよい。
また、ユーザは、図示しない外部端末などを用いて、特定時間帯に特定のユーザがロボット1への接触を制限する要求を設定してもよい。
例えば、図13を参照し、ユーザID「P3」のユーザの列1305には属性「子」が記憶されている。属性が親のユーザは、図7に示す時間帯T7-T10の夜間の時間帯において、子供とロボット1との接触を制限したいと考える場合がある。この場合、親のユーザは、子供のユーザが特定の時間帯にロボット1に接触することを制限する要求を設定することができる。ここでは、時間帯に応じて制限されたが、これは一例であり、時間帯及び曜日の少なくとも一方に応じて制限されてもよい。
この制限の要求が設定されると、接触情報管理部109Aは、接触情報データベース1102Aから接触情報を抽出するに際して、列1208に特定の属性(例えば、子)が記憶され、且つ、列401に特定の時間帯(例えば、時間帯T7-T10)が記憶された接触情報は抽出対象から除外する。これにより、制限された属性を持つユーザが特定の時間帯において接触候補者として決定されることを防止できる。
次に、S606において、ロボット1が待機場所周辺へ移動できなかった場合(S606において「NO」)、主制御部107は、ロボット1の現在位置の周辺に接触候補者が存在するか否かを確認する(S1321)。この場合、主制御部107は、接触候補者を探すために、ロボット1を旋回させる行動制御コマンドを生成し、駆動機構制御部116へ出力し、旋回中に、人物認識処理部102から出力されるユーザの認識結果を確認する。
なお、主制御部107は、ロボット1が目的地となる待機場所へ向かう方向(例えば、壁に向かう方向)と反対の方向へカメラ101が向く方向から旋回が開始されるように行動制御コマンドを設定することが好ましい。これにより、ロボット1は、接触候補者が存在する可能性の高い方向から接触候補者の存在を確認できる。
また、S606において、ロボット1が待機場所周辺へ移動できた場合(S606において「YES」)も、主制御部107は、S607及びS608の処理を経て、現在位置の周辺で接触候補者の有無を確認するS1321の処理を行う。
次に、主制御部107は、人物認識処理部102から接触候補者が認識できたことを示す認識結果を取得した場合(S1322において「YES」)、主制御部107は、現在位置の周辺において、特に接触候補者を認識可能な位置にロボット1の位置を調整し、接触候補者を認識しながら待機する(S1327)。ここで、現在位置の周辺とは、現在位置から一定範囲の領域が該当し、待機場所周辺に移動できた場合においては待機場所に対
応する閾値領域207が該当する。したがって、主制御部107は、現在位置から一定範囲の領域内で、ロボット1の位置の調整をする。また、特に接触候補者を認識可能な位置とは、例えば、ロボット1の正面あるいはカメラが接触候補者に正対する位置が該当する。
なお、この時、主制御部107は、ロボット1あるいはカメラが常に接触候補者を追従しながら動くように行動制御コマンドを生成してもよいし、一定時間毎(例えば3分毎)に人物認識処理部102に対して接触候補者を確認する処理を実行させてもよい。また、主制御部107は、待機中、ロボット1に接触候補者を見続けさせる必要はなく、接触候補者を確認できる範囲でロボット1を移動させる行動制御コマンドを生成してもよいし、ロボット1に発話を行わせる行動制御コマンドを生成してもよい。
一方、主制御部107は、人物認識処理部102から接触候補者が認識されたことを示す認識結果を取得できなかった場合(S1322において「NO」)、タイムアウト期間(例えば20分)が経過するまで、地図情報1101に基づいて現在位置の周辺で壁等の障害物とは反対の方向へ旋回しながら、接触候補者の有無を確認する処理を継続する(S1323において「NO」、S1321、S1322)。
一方、タイムアウト期間が経過した場合(S1323において「YES」)、主制御部107は、接触候補者を探すために、現在位置の周辺外でロボット1を走行させる行動制御コマンドを生成し、駆動機構制御部116へ出力する(S1324)。この場合、例えば、主制御部107は、ロボット1に同一の部屋の周囲を走行させる行動制御コマンドを生成すればよい。なお、この時、主制御部107は、S1320で決定された1人の接触候補者を探すのではなく、現在の時間帯及び現在の曜日と同一の時間帯及び曜日において、ロボット1と接触した確率が一定の閾値以上(例えば3割以上)の複数のユーザを接触候補者として接触情報データベース1102Aから抽出し、抽出した複数の接触候補者のうちいずれかの接触候補者を探す態様を採用してもよい。なお、現在位置の周囲とは、ロボット1が待機場所周辺へ移動できた場合は、その待機場所に対応する閾値領域207を指し、待機場所周囲へ移動できなかった場合、現在位置に対して一定の範囲内の領域を指す。
主制御部107は、人物認識処理部102から複数の接触候補者のうちいずれかの接触候補者が認識されたことを示す認識結果を取得した場合(S1325において「YES」)、位置情報管理部108から、ロボット1の現在位置に対して最も近い待機場所候補を取得し、接触候補者の認識を継続しながら、その待機場所候補の位置にロボット1を移動させる行動制御コマンドを生成し、駆動機構制御部116へ出力し(S1332)、処理をS1327に進める。
なお、待機場所候補への移動中、接触候補者を認識できなくなる場合は、主制御部107は、位置情報管理部108より、現在位置から最短の壁側の位置を取得し、取得した位置を新たな待機場所候補として設定してもよい。そして、主制御部107は、ロボット1或いはカメラ101の向きが壁の反対側へ向くようにロボット1を旋回させる行動制御コマンドを生成し、ロボット1を待機させればよい。これにより、ロボット1は接触候補者を確認しながら、他のユーザに邪魔にならない壁側で待機することができる。なお、このとき、接触候補者の認識はカメラ101により顔を認識する方法であってもよいし、接触候補者の認識後は接触候補者の特徴点等をトラッキングする方法であってもよく、必ずしもロボット1が接触候補者に対峙していなくてもよい。
一方、主制御部107は、人物認識処理部102から接触候補者が認識されたことを示す認識結果を取得できなかった場合(S1325において「NO」)、主制御部107は、接触情報管理部109Aから、現在の時間帯及び現在の曜日において、次に接触される可能性の高い接触候補者と待機場所候補とを取得する(S1326)。この場合、接触情報管理部109Aは、上述のように現在の時間帯及び現在の曜日と同一の時間帯及び曜日の接触情報を抽出し、抽出した接触情報から、次に接触回数が多い接触ユーザを次の接触候補者として特定し、その接触候補者が最も接触した待機場所候補を次の待機場所候補として決定すればよい。
次に、主制御部107は、待機中、タイムアウト期間(例えば20分)内に、ユーザからの接触があるか否かを確認する(S1328)。ユーザからの接触がある場合(S1328において「YES」)、主制御部107は接触情報更新の処理を実行する(S1331)。なお、S1331における接触情報更新の処理は、更新対象が接触情報データベース1102Aである点以外は、実施の形態1と同じである。
一方、タイムアウト期間内にユーザからの接触がない場合(S1328において「NO」)、主制御部107は、ロボット1から非明示的に接触候補者へアプローチするための行動制御コマンドを生成する。例えば、主制御部107は、接触候補者がロボット1の方を向いたことが人物認識処理部102により検出された場合、例えば、笑顔の表情である「^ ^」の形状を再現できる座標にある表示部111の複数の発光ダイオードを点灯するコマンドの行動制御コマンドを生成し、表示情報出力制御部112へ出力する。或いは、主制御部107は、所定の音声(例えば、ロボットの鼻歌や独り言等)をロボット1に発話させる行動制御コマンドを生成し、音声情報出力制御部114へ出力してもよい。或いは、主制御部107は、ユーザの方へロボット1を近づかせる行動制御コマンドを生成し、駆動機構制御部116へ出力してもよい。
なお、主制御部107は、人物認識処理部102からユーザの姿勢が一定期間変化(例えば、座って5分経過後等)しない認識結果が得られた場合、これらの非明示的なアプローチを実施してもよい。
次に、主制御部107は、再びタイムアウト期間内にユーザからロボット1への接触を確認し(S1330)、接触があった場合(S1330において「YES」)、接触情報更新の処理を実施する(S1331)。一方、接触がなかった場合(S1330において「NO」)、主制御部107は、非明示的なアプローチを再び行う(S1329)。なお、S1329及びS1330の処理は省略されても良い。また、S1329において、非明示的なアプローチを所定回数行っても、ユーザからの接触がなかった場合、主制御部107は、処理を終了してもよい。
以上のように、本実施の形態によると、ロボット1は、時間帯及び曜日に応じて接触しやすいユーザ及び待機場所を決定し、その位置で待機することができる。そのため、ロボット1は、ユーザと接する際の駆動時間を低減させ、自らの駆動音による音声認識精度の低下を軽減できる。
さらに、ロボット1は、決定した待機場所において接触候補者を見つけることができなかった場合、次に接触する可能性の高い接触候補者と待機場所とを決定し、その待機場所で待機する。そのため、先の待機場所において接触候補者が不在であったとしても、次の待機場所において接触候補者から接触される可能性を高めることができ、ユーザからロボット1への接触の機会を増加させることができる。
さらに、ロボット1は、待機場所に移動し、接触候補者を認識できた場合、接触候補者が認識しやすい位置に待機位置を調整するため、接触候補者に対してロボット1をより気付きやすくさせることができ、接触候補者から接触される可能性を高めることができる。
さらに、ロボット1は、待機位置においてタイムアウト期間内にユーザから接触されなかった場合、接触候補者へ非明示的なアプローチをするため、接触候補者に煩わしさを与えることを抑制しつつ、接触候補者から接触される機会を増加させることができる。
本開示は下記の変形例が採用できる。
(1)上記実施の形態においては本開示に係る装置がロボット1に適用される例が示されたが、本開示はこれに限定されない。本開示に係る装置は、ロボット1以外の例えば、自動車に適用されてもよい。この場合、駆動機構115は、例えば、エンジン又は電動機で構成される。
(2)上記実施の形態においては、予め設定された待機場所候補の中から最適な待機場所が決定されたが、本開示はこれに限定されない。例えば、ロボット1は、接触情報データベース1102において現在の時間帯及び現在の曜日と同一の時間帯及び曜日において、最も接触された位置を、列407に記憶された接触位置から決定し、その位置を最適な待機場所として決定してもよい。この場合、ロボット1は、該当する接触情報の列407に記憶された接触位置を、地図情報1101の各ブロックに投票し、投票数が最大のブロックを最適な待機場所として決定してもよい。
(3)位置情報管理部108によって地図情報1101に新たな待機場所候補が追加された場合、接触情報管理部109は、接触情報データベース1102、1102Aに記憶された各接触情報に対して、接触位置から最も近い待機場所候補を見直す処理を実行してもよい。新たな待機場所候補が設定された場合、接触位置によっては接触情報に記憶された従前の待機場所候補が最短の待機場所候補ではなくなることもある。本態様では、このような見直しを行うことにより、接触位置に対して常に最短の待機場所候補が関連付けられた接触情報が得られる。
(4)ロボット1は、図3及び図12に示されるように通信回路117を備えても良い。通信回路117は、外部ネットワークを介してサーバ500と接続され、ロボット1とサーバ500(外部サーバの一例)とを相互に通信可能に接続する。この場合、待機場所を決定する処理をサーバ500に実行させ、プロセッサ100はサーバ500によって決定された待機場所にロボット1を移動させる処理のみを行ってもよい。この場合、位置情報管理部108、接触情報管理部109、109A、メモリ110はサーバ500に設けられてもよい。
本開示によれば、駆動中の音声認識の機会を減らしつつ、ユーザから接触される機会を増加させることができるため、音声認識を行いながらユーザと関わるロボットにおいて有用である。
1 ロボット
101 カメラ
102 人物認識処理部
103 マイク
104 音声認識処理部
105 センサ
106 操作認識処理部
107 主制御部
108 位置情報管理部
109 接触情報管理部
110 メモリ
111 表示部
112 表示情報出力制御部
113 スピーカ
114 音声情報出力制御部
115 駆動機構
116 駆動機構制御部
1101 地図情報
1102 接触情報データベース

Claims (3)

  1. 人間と相互作用する装置であって、
    前記装置を駆動する駆動機構と、
    プロセッサと、を備え、
    前記プロセッサは、前記駆動機構を制御して、前記装置が前記人間と接触するための待機場所に向けて、前記装置を駆動させ、
    前記待機場所は、前記装置が前記人間と接触した際の履歴である接触情報に基づいて決定されたものであり、
    前記待機場所は、現在の時刻、現在の時間帯、現在の日付、及び現在の曜日の少なくともいずれか一つに対応する前記接触情報に含まれる場所情報に基づき、決定されたものであり、
    前記プロセッサは、更に、
    前記駆動機構を制御して、前記決定された待機場所又は前記待機場所の周辺に、前記装置を待機させ、
    前記装置は、
    前記装置周辺の映像を取得するカメラを更に備え、
    前記プロセッサは、更に、
    前記装置を待機させる際に、前記駆動機構を制御して待機に適した所定の方向に前記装置を向ける、
    装置。
  2. 人間と相互作用する装置を待機させる方法であって、
    前記装置が前記人間と接触した際の履歴である接触情報に基づいて、前記装置が前記人間と接触するための待機場所を決定し、
    駆動機構を制御して、前記決定された待機場所に向けて、前記装置を駆動させ、
    前記待機場所は、現在の時刻、現在の時間帯、現在の日付、及び現在の曜日の少なくともいずれか一つに対応する前記接触情報に含まれる場所情報に基づき、決定されたものであり、
    前記駆動機構を制御して、前記決定された待機場所又は前記待機場所の周辺に、前記装置を待機させ、
    前記装置を待機させる際に、前記駆動機構を制御して待機に適した所定の方向に前記装置を向ける、
    方法。
  3. 請求項2に記載の方法をコンピュータに実行するためのプログラム。
JP2023073690A 2019-02-26 2023-04-27 装置、方法、及びプログラム Pending JP2023101501A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023073690A JP2023101501A (ja) 2019-02-26 2023-04-27 装置、方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019033141A JP7273538B2 (ja) 2019-02-26 2019-02-26 装置、方法、及びプログラム
JP2023073690A JP2023101501A (ja) 2019-02-26 2023-04-27 装置、方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019033141A Division JP7273538B2 (ja) 2019-02-26 2019-02-26 装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023101501A true JP2023101501A (ja) 2023-07-21

Family

ID=72141524

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019033141A Active JP7273538B2 (ja) 2019-02-26 2019-02-26 装置、方法、及びプログラム
JP2023073690A Pending JP2023101501A (ja) 2019-02-26 2023-04-27 装置、方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019033141A Active JP7273538B2 (ja) 2019-02-26 2019-02-26 装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US11426879B2 (ja)
JP (2) JP7273538B2 (ja)
CN (1) CN111613216A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7339124B2 (ja) * 2019-02-26 2023-09-05 株式会社Preferred Networks 制御装置、システム及び制御方法
JP7480698B2 (ja) * 2020-12-24 2024-05-10 トヨタ自動車株式会社 自律移動システム、自律移動方法及び自律移動プログラム
USD979566S1 (en) * 2021-05-13 2023-02-28 Ambit Microsystems (Shanghai) Ltd. Sensor device combined with digital assistant
USD1022901S1 (en) * 2023-05-16 2024-04-16 Gangcai Zhou Charging case with slidable cover

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156578A (ja) 2005-11-30 2007-06-21 Mitsubishi Heavy Ind Ltd ロボットの待機場所決定方法
JP4682217B2 (ja) 2007-03-07 2011-05-11 パナソニック株式会社 行動制御装置、方法、プログラム
US8996174B2 (en) * 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US9643779B2 (en) * 2014-03-31 2017-05-09 Panasonic Intellectual Property Corporation Of America Article management system and transport robot
JP6624368B2 (ja) * 2014-09-30 2019-12-25 パナソニックIpマネジメント株式会社 接客モニタリングシステム及び接客モニタリング方法
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
US10071891B2 (en) * 2015-03-06 2018-09-11 Walmart Apollo, Llc Systems, devices, and methods for providing passenger transport
WO2017169826A1 (ja) 2016-03-28 2017-10-05 Groove X株式会社 お出迎え行動する自律行動型ロボット
JP6710562B2 (ja) * 2016-03-29 2020-06-17 本田技研工業株式会社 受付システム及び受付方法
JP6653446B2 (ja) 2016-05-06 2020-02-26 パナソニックIpマネジメント株式会社 ロボット
JP6738555B2 (ja) * 2016-05-23 2020-08-12 富士ゼロックス株式会社 ロボット制御システム
WO2018052001A1 (ja) 2016-09-16 2018-03-22 Groove X株式会社 ロボットを収容して充電する充電ステーション
US11151992B2 (en) * 2017-04-06 2021-10-19 AIBrain Corporation Context aware interactive robot
US10569420B1 (en) * 2017-06-23 2020-02-25 X Development Llc Interfacing with autonomous devices
JP2019005842A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
US10898999B1 (en) * 2017-09-18 2021-01-26 X Development Llc Selective human-robot interaction
US11145294B2 (en) * 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences

Also Published As

Publication number Publication date
CN111613216A (zh) 2020-09-01
US11426879B2 (en) 2022-08-30
US20200269436A1 (en) 2020-08-27
JP2020137549A (ja) 2020-09-03
JP7273538B2 (ja) 2023-05-15

Similar Documents

Publication Publication Date Title
JP7273538B2 (ja) 装置、方法、及びプログラム
US8326456B2 (en) Behavior control apparatus, method, and program
JP4976903B2 (ja) ロボット
JP4595436B2 (ja) ロボット、その制御方法及び制御用プログラム
CN112771453A (zh) 用于使用运动姿势控制电器的系统和方法
CN111163906B (zh) 能够移动的电子设备及其操作方法
KR20140053149A (ko) 피호출자 검색 기법
JP2020194184A (ja) 音声応答装置、及び音声応答システム
CN110663021A (zh) 关注出席用户的方法和系统
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7109207B2 (ja) 相互作用装置、相互作用方法、相互作用プログラム及びロボット
CN210155626U (zh) 信息处理装置
JP2007222968A (ja) コミュニケーションロボット
US20220016757A1 (en) Information processing device, information processing method, and program
US11511410B2 (en) Artificial intelligence (AI) robot and control method thereof
US20210049352A1 (en) Information processing system, information processing method, and recording medium
KR20200101221A (ko) 사용자 입력 처리 방법 및 이를 지원하는 전자 장치
JP2023095918A (ja) ロボット、ロボットの制御方法及びプログラム
CN112717409B (zh) 虚拟车辆控制方法、装置、计算机设备及存储介质
CN111033606A (zh) 信息处理装置、信息处理方法和程序
US11936718B2 (en) Information processing device and information processing method
CN111919250B (zh) 传达非语言提示的智能助理设备
WO2019187501A1 (ja) 情報処理装置、情報処理方法、および、記録媒体
WO2022107447A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024074246A (ja) 情報処理システム、環境制御システム、プログラム、及び、活動センサ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240213