JP2017205313A - ロボット - Google Patents

ロボット Download PDF

Info

Publication number
JP2017205313A
JP2017205313A JP2016100090A JP2016100090A JP2017205313A JP 2017205313 A JP2017205313 A JP 2017205313A JP 2016100090 A JP2016100090 A JP 2016100090A JP 2016100090 A JP2016100090 A JP 2016100090A JP 2017205313 A JP2017205313 A JP 2017205313A
Authority
JP
Japan
Prior art keywords
weight
robot
frame
image
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016100090A
Other languages
English (en)
Inventor
志奇 黄
zhi-qi Huang
志奇 黄
亮太 宮崎
Ryota Miyazaki
亮太 宮崎
雅博 石井
Masahiro Ishii
雅博 石井
兼人 小川
Kaneto Ogawa
兼人 小川
勇次 國武
Yuji Kunitake
勇次 國武
聖弥 樋口
Seiya Higuchi
聖弥 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016100090A priority Critical patent/JP2017205313A/ja
Priority to CA2995555A priority patent/CA2995555A1/en
Priority to CN201780001171.8A priority patent/CN107635629A/zh
Priority to EP17799208.8A priority patent/EP3459608A4/en
Priority to PCT/JP2017/017439 priority patent/WO2017199783A1/ja
Publication of JP2017205313A publication Critical patent/JP2017205313A/ja
Priority to US15/888,177 priority patent/US20180154273A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00Other toys
    • A63H33/005Motorised rolling toys
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00Other toys
    • A63H33/26Magnetic or electric toys
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H5/00Musical or noise- producing devices for additional toy effects other than acoustical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0008Balancing devices
    • B25J19/002Balancing devices using counterweights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/026Acoustical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices

Abstract

【課題】内部処理の進行状況を前記ユーザに伝える。【解決手段】ロボットは、入力装置を介して入力したユーザの入力指示に対して所定時間以上を要する所定の処理に基づいて前記出力装置を介して応答する場合、前記所定の処理中は重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記一組の駆動輪による前進方向に直交させ、前記前進方向に直交した前記一定方向に前記重りを往復移動させる。【選択図】図12

Description

本開示は、ユーザと対話するロボットに関する。
従来から種々のロボットが提案されている。
特許文献1は、コミュニケーションロボットを開示する。特許文献1では、前記ロボットは、入力音声について音声認識部が算出した信頼度に基づいて前記入力音声に対して回答できないことを示す回答不能行動を行うか否かを判定し、前記回答不能行動を行うと判定した場合、前記コミュニケーションロボットが可能な所定の応答行動から、例えば、首をかしげるなど前記回答不能行動を選択する。これにより、独り言、未知語または音声以外の残音を音声と認識して誤って発話することを防止する(例えば、段落[0004]から[0007]、[0113])。
特許文献2は、ロボット制御装置に関する。特許文献2では、ロボットは、マイクから入力された音声を音声認識部で認識し、その音声認識が失敗したり、その信頼性が低い場合、例えば、ロボットに首をかしげたり、耳に手を当てるなどの所定の行動を行う(例えば、段落[0003]から[0005])。
特開2011−227237号公報 特開2002−116792号公報
上記の従来技術では、更なる改善が必要とされていた。
上記課題を解決するために、本開示の一態様のロボットは、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記フレームに備え付けられ、前記一組の駆動輪の駆動軸に対して垂直方向に延びるシャフトと、
前記フレームに備え付けられ、一定方向に重りを往復移動させる重り駆動機構と、
前記シャフトを中心に前記重り駆動機構を回転させる回転機構と、
前記入力装置を介して入力したユーザの入力指示に対して所定時間以上を要する所定の処理に基づいて前記出力装置を介して応答する場合、前記所定の処理中は前記重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記一組の駆動輪による前進方向に直交させ、前記前進方向に直交した前記一定方向に前記重りを往復移動させる制御回路と、を備えたものである。
上記態様により、更なる改善を実現できた。
本開示の第1の実施の形態に係るロボットの外観斜視図である。 本開示の第1の実施の形態に係るロボットの内部斜視図である。 図2のA視における、本開示の第1の実施の形態に係るロボットの内部側面図である。 図2のA視における、本開示の第1の実施の形態に係るロボットの直進動作を表す側面図である。 図2のB視における、本開示の第1の実施の形態に係るロボットの回転動作を表す平面図である。 本開示の第1の実施の形態に係るロボットの回転動作を表す斜視図である。 図3の側面図においてカウンターウェイトの駆動機構を示した図である。 カウンターウェイトを所定の直線方向に駆動する際のカウンターウェイトの駆動機構の動作を示す斜視図である。 カウンターウェイトを所定の直線方向に駆動する際のカウンターウェイトの駆動機構の動作を示す側面図である。 図3の側面図においてカウンターウェイトが所定の直線方向に往復移動する状態を示す側面図である。 スイングアームを回転させる際のカウンターウェイトの駆動機構の動作を示す斜視図である。 スイングアームを回転させる際のカウンターウェイトの駆動機構の動作を示す側面図である。 図2のB視における、本開示の第1の実施の形態に係るロボットのスイングアームが回転する状態を示す平面図である。 図2のA視における、カウンターウェイトが前方寄りに位置しているときのロボットの姿勢を示す側面図である。 図2のA視における、カウンターウェイトが後方寄りに位置しているときのロボットの姿勢を示す側面図である。 図2のC視における、カウンターウェイトが右方寄りに位置しているときのロボットの姿勢を示す正面図である。 図2のC視における、カウンターウェイトが左方寄りに位置しているときのロボットの姿勢を示す正面図である。 本開示の第1の実施の形態に係るロボットのユースケースの一例を示す図である。 本開示の第1の実施の形態に係るロボットが適用されたロボットシステムの全体構成の一例を示す図である。 本開示の第1の実施の形態に係るロボット及びロボットに接続されるクラウドサーバを示すブロック図である。 本開示の第1の実施の形態に係るロボットにおける画像認識処理を示すフローチャートである。 本開示の第1の実施の形態において、図17のS1709に示す画像認識処理の詳細を示すフローチャートである。 本開示の第1の実施の形態において、図17のS1707に示す進捗表現処理の詳細を示すフローチャートである。 カウンターウェイトの位置の模式図である。 本開示の第2の実施の形態において、図17のS1709に示す画像認識処理の詳細を示すフローチャートである。 本開示の第2の実施の形態において、図17のS1707に示す進捗表現処理の詳細を示すフローチャートである。 カウンターウェイトの位置と画像認識処理のステージ番号が示すステージとの関係を示す図である。
(本開示に係る一態様を発明するに至った経緯)
まず、本開示に係る一態様をするに至った着眼点について説明する。
特許文献1は、2足歩行の人型ロボットを開示するものである。そして、このロボットは、頭部、腕部、脚部、胴部などを備えている。そのため、前記ロボットは、入力した音声の認識結果に基づいて、頭部、腕部、脚部、胴部を動作させて、ユーザの音声に対して応答させることができる。
特許文献2は、犬型のペットロボットに関するものである。そして、前記ペットロボットは、胴体部分に、頭部、4つの脚部、尻尾などを備えている。そのため、前記ペットロボットは、入力した音声の認識結果に基づいて、頭部、4つの脚部、尻尾を動作させて、ユーザの音声に対して応答させることができる。
このように、各種のロボットは、ユーザからの問いに対して応答する機能を備えている。上記特許文献1又は2のように、音声認識を用いてユーザからの問いに対して応答する場合、ユーザの発話からロボットの応答までの時間間隔を、前記ユーザと前記ロボットとの間の会話が途切れたと前記ユーザに思わせない程度に短く設定する必要がある。そのため、音声の認識結果の信頼度が高い又は低いに関わらず、前記ユーザの発話から比較的短時間で前記ロボットは応答するように設計されていると考えられる。
これに対して、ユーザの発話からロボットの応答までの時間間隔が比較的長くなる場合がある。一例として、ユーザが持っている対象物が何であるのかをロボットに問い合わせ、前記ロボットが画像認識機能を用いて応答する場合が考えられる。
ユーザの問いに対して前記ロボットが画像認識機能を用いて応答する場合、前記対象物を撮像し、その後、例えば、前記撮像された画像を、画像認識用の機能を有する外部サーバに送信し、前記外部サーバにおいて前記画像を認識し、前記認識された認識結果を前記外部サーバから受信し、前記受信した認識結果に基づいて前記対象物が何であるかを回答させることが考えられる。この場合、前記ユーザが前記ロボットに問い合わせをしてから、前記ロボットが前記ユーザに回答するまでの時間が、例えば15秒程度要すると、前記ロボットは回答するのに前記ユーザを待たせることになる。
このように、前記ロボットが前記ユーザの問いに応答できない時間が所定秒以上続くと、前記ユーザは、前記ロボットの外観だけからは、前記ロボットが処理中なのか又は故障により動かないのか判断できないという課題がある。
また、上記特許文献1又は2とは異なり、手、足、首などを有しない球体状のロボットを想定した場合、手足を動かしたり、首をかしげたりして前記ロボットが処理中であることを前記ユーザに対して伝えることはできない。また、処理中であることを示す表示を前記球体状のロボットの表面にすることが考えられるが、手、足、首などを有しない球体状のロボットの表面にその旨の表示をすると、前記球体状のロボットの顔に、顔と要素とは異なる表示がされることになって、前記ロボットの顔としては不自然になる。
このように、手、足、首などを有しない球体状のロボットの場合、内部処理の進行状況を前記ユーザに伝えるのに制約があるという課題がある。
以上の考察により、本発明者は、以下の本開示に係る各態様を想到するに至った。
本開示の一態様のロボットは、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記フレームに備え付けられ、前記一組の駆動輪の駆動軸に対して垂直方向に延びるシャフトと、
前記フレームに備え付けられ、一定方向に重りを往復移動させる重り駆動機構と、
前記シャフトを中心に前記重り駆動機構を回転させる回転機構と、
前記入力装置を介して入力したユーザの入力指示に対して所定時間以上を要する所定の処理に基づいて前記出力装置を介して応答する場合、前記所定の処理中は前記重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記一組の駆動輪による前進方向に直交させ、前記前進方向に直交した前記一定方向に前記重りを往復移動させる制御回路と、を備えたものである。
本態様によると、前記入力装置を介して入力したユーザの入力指示に対して所定時間以上を要する所定の処理に基づいて前記出力装置を介して応答する場合、前記所定の処理中は重りの駆動機構を回転させて、前記重りの駆動機構が前記重りを往復移動させる前記一定方向を、前記一組の駆動輪による前進方向に直交させ、前記前進方向に直交した前記一定方向に前記重りを往復移動させる。
これにより、前記ロボットが前記ユーザの問いに応答するために所定時間以上を要する場合、前記ロボットは、前記前進方向を正面として左右に揺れる動作をする。この動作は、前記ロボットが悩んで身体を左右に揺すっている動作を表す。
そのため、手足を有しない球体状のロボットであって、内部処理の進行状況を前記ユーザに伝えるのに制約がある場合であっても、処理中であることを前記球体状のロボットの表面に表示することなく、前記重りの移動動作を利用して、前記ユーザとの対話中に前記ロボットが処理中であることを前記ユーザに伝えることができる。その結果、前記ユーザは、前記ロボットの外観だけを見て、前記ロボットが処理中なのか又は故障により動かないのか判断できる。
(実施の形態)
以下、本発明の各実施の形態について、図面を参照しながら説明する。尚、各図面において、同じ構成要素については同じ符号が用いられている。
(第1の実施の形態)
(全体構成)
図1は、本開示の第1の実施の形態に係るロボット1の外観斜視図である。ロボット1は、図1に示すように、球体状の筐体101を備える。筐体101は例えば、透明な部材或いは半透明の部材で構成される。
図2は、本開示の第1の実施の形態に係るロボット1の内部斜視図である。
図2において、フレーム102が筐体101の内側部に配置されている。フレーム102は、第1回転板103及び第2回転板104を備える。第1回転板103は、第2回転板104に対して上方に位置している。
図2に示すように、第1表示部105及び第2表示部106は、第1回転板103の上面に備え付けられている。また、第3表示部107は第2回転板104の上面に備え付けられている。第1表示部105、第2表示部106及び第3表示部107は、例えば、複数の発光ダイオードにより構成される。第1表示部105、第2表示部106及び第3表示部107は、ロボットの表情の表示情報を表示する。具体的には、第1表示部105、第2表示部106及び第3表示部107は、前記複数の発光ダイオードの点灯を個別に制御することにより、図1に示すように、ロボット1の顔の一部、例えば、目や口を表示する。図1の例では、第1表示部105が左目の画像を表示し、第2表示部106が右目の画像を表示し、第3表示部107が口の画像を表示している。そして、左目、右目、口の画像は、透明又は半透明の部材からなる筐体101を透過し、外部に放射されている。
カメラ108は、図2に示すように、第1回転板103の上面に備え付けられている。カメラ108は、ロボット1の周辺環境の映像を取得する。カメラ108は、図1に示すように、ロボット1の顔の一部、例えば、鼻を構成する。したがって、カメラ108の光軸はロボット1の前方に向かうことになる。これにより、カメラ108は正面に差し出された認識対象物を撮影できる。
制御回路109は、図2に示すように、第1回転板103の上面に備え付けられている。制御回路109は、ロボット1の各種動作を制御する。制御回路109の詳細は、図16を参照しながら後述する。
第1駆動輪110及び第2駆動輪111は、それぞれ、第2回転板104の下面に備え付けられており、筐体101の内周面に接している。また、第1駆動輪110は、第1駆動輪110を駆動させる第1モータ112を有する。同様に、第2駆動輪111は、第2駆動輪111を駆動させる第2モータ113を有する。即ち、第1駆動輪110及び第2駆動輪111は、それぞれ独立した個別のモータによって駆動される。第1駆動輪110及び第2駆動輪111の駆動によるロボット1の動作の詳細は後述する。第1駆動輪110及び第2駆動輪111は、一組の駆動輪を構成する。
図3は、図2のA視における、本開示の第1の実施の形態に係るロボット1の内部側面図である。図3において、カウンターウェイト114(重りの一例)は、第1回転板103と第2回転板104との間に設けられている。カウンターウェイト114は、筐体101の中心からやや下方に位置する。このため、ロボット1の重心は、筐体101の中心から下方に位置する。これにより、ロボット1の動作を安定させることができる。
図3に示すように、ロボット1は、カウンターウェイト114を駆動する機構として、カウンターウェイト114の移動方向を規定するガイドシャフト115、カウンターウェイト114の回転方向の位置を規定するスイングアーム116、スイングアーム116を回転させる回転用モータ117、スイングアーム116及び回転用モータ117の間を接続する回転シャフト118、カウンターウェイト114の駆動に用いられるベルト119(図8A及び図8B)、ベルト119に接するモータプーリ120(図8A及び図8B)、及び、モータプーリ120を回転させる、図示しない重り駆動用モータを備える。尚、本態様においては、前記駆動用モータはカウンターウェイト114に内蔵されている。カウンターウェイト114の駆動によるロボット1の動作の詳細は後述する。
回転シャフト118は、第1駆動輪110と第2駆動輪111との駆動軸に対して垂直方向に延びる。回転シャフト118は、フレーム102に備え付けられたシャフトの一例に相当する。第1駆動輪110及び第2駆動輪111は正面視において、地面に向けて距離が離れるように取り付けられている。この場合、第1駆動輪110と第2駆動輪111との駆動軸は、例えば、第1駆動輪110と第2駆動輪111との中心同士を結ぶ仮想的な軸線である。なお、第1駆動輪110と第2駆動輪111とが正面視において平行に取り付けられていれば、実際の駆動軸が第1駆動輪110と第2駆動輪111との駆動軸となる。
ロボット1は、図略の電源及びマイク217(図16)をさらに備える。ロボット1は、図略の充電器により充電される。マイク217は、ロボット1の周辺環境の音声を取得する。
次に、第1駆動輪110及び第2駆動輪111を用いたロボット1の動作を図4から図6を参照して説明する。
図4は、図2のA視における、本開示の第1の実施の形態に係るロボット1の直進動作を表す側面図である。図5は、図2のB視における、本開示の第1の実施の形態に係るロボット1の回転動作を表す平面図である。図6は、本開示の第1の実施の形態に係るロボット1の回転動作を表す斜視図である。
図4に示すように、第1駆動輪110及び第2駆動輪111を前方方向に回転させると、その動力によって筐体101は前方方向に回転する。これにより、ロボット1は前進する。逆に、第1駆動輪110及び第2駆動輪111を後方方向に回転させると、ロボット1は後進する。
また、図5及び図6に示すように、第1駆動輪110及び第2駆動輪111を互いに逆方向に回転させると、その動力によって筐体101は、その中心を通過する鉛直軸回りの回転動作を行う。即ち、ロボット1は、その場で左回り又は右回りに回転する。ロボット1は、このような前進、後進又は回転動作によって移動する。
次に、カウンターウェイト114を用いたロボット1の基本動作を図7から図9Cを参照して説明する。
図7は、図3の側面図において重り駆動機構を示した図である。図8Aは、カウンターウェイト114を所定の直線方向に駆動する際のカウンターウェイト114の駆動機構の動作を示す斜視図である。図8Bは、カウンターウェイト114を所定の直線方向に駆動する際のカウンターウェイト114の駆動機構の動作を示す側面図である。図8Cは、図3の側面図においてカウンターウェイト114が所定の直線方向に往復移動する状態を示す側面図である。図9Aは、スイングアーム116を回転させる際のカウンターウェイト114の駆動機構の動作を示す斜視図である。図9Bは、スイングアーム116を回転させる際の重り駆動機構の動作を示す側面図である。図9Cは、図2のB視における、本開示の第1の実施の形態に係るロボット1のスイングアーム116が回転する状態を示す平面図である。
図7に示すように、例えば、スイングアーム116の中央位置がカウンターウェイト114のデフォルト位置である。カウンターウェイト114がスイングアーム116の中央に位置しているとき、第1回転板103及び第2回転板104は走行面とほぼ平行になり、ロボット1の顔を構成する、例えば、目、鼻、口がデフォルト方向に向いた状態になる。
図8A及び図8Bに示すように、カウンターウェイト114に内蔵された、図示しない重り駆動用モータは、前記重り駆動用モータに連結されたモータプーリ120を回転させる。回転されたモータプーリ120がベルト119上を転がることにより、カウンターウェイト114はスイングアーム116内を移動する。モータプーリ120の回転方向、即ち、前記重り駆動用モータの駆動方向を変化させることにより、スイングアーム116内において、カウンターウェイト114は直線方向に往復移動する。
図8Cに示すように、カウンターウェイト114は、ガイドシャフト115に沿って、スイングアーム116内を直線方向に往復移動する。
図9A及び図9Bに示すように、回転用モータ117は、回転シャフト118を回転させることにより、回転シャフト118(図3)に接続されたスイングアーム116を回転させる。
図9Cに示すように、スイングアーム116は時計回り、反時計回りのいずれの方向にも回転させることができる。
さらに、カウンターウェイト114を用いたロボット1の動作の詳細を図10から図13を参照して説明する。図10は、図2のA視における、カウンターウェイト114が前方寄りに位置しているときのロボット1の姿勢を示す側面図である。図11は、図2のA視における、カウンターウェイト114が後方寄りに位置しているときのロボット1の姿勢を示す側面図である。図12は、図2のC視における、カウンターウェイト114が右方寄りに位置しているときのロボット1の姿勢を示す正面図である。図13は、図2のC視における、カウンターウェイト114が左方寄りに位置しているときのロボット1の姿勢を示す正面図である。
図10に示すように、スイングアーム116がロボット1の正面に対して垂直な状態で、カウンターウェイト114を、デフォルト位置からスイングアーム116の一端(図10では左端)、即ち、前方寄りに移動させると、ロボット1は、矢印121が示すように前方に傾く。また、図11に示すように、スイングアーム116がロボット1の正面に対して垂直な状態で、カウンターウェイト114を、デフォルト位置からスイングアーム116の他端(図11では右端)、即ち、後方寄りに移動させると、ロボット1は、矢印122が示すように後方に傾く。従って、スイングアーム116がロボット1の正面に対して垂直な状態で、カウンターウェイト114をスイングアーム116内の前記一端から前記他端まで往復動作させると、ロボット1は、矢印121が示す前方または矢印122が示す後方に傾く往復動作を行う。即ち、ロボット1は所定の角度において上下方向に回転する。
上述のように、第1表示部105、第2表示部106及び第3表示部107は、ロボット1の顔の一部、例えば、目や口を表す。従って、カウンターウェイト114を用いてロボット1に前方または後方に傾く往復動作をさせることにより、例えば、ロボット1が息切れしている状態又は眠い状態を表現することができる。この制御を、例えば、電源の電力残量が所定値以下になった場合に行えば、ロボット1は、第1表示部105、第2表示部106、及び第3表示部107に前記顔とは無関係な電力残量に関する情報を表示することなく、電源の電力残量が少なくなっていることをユーザに違和感なく伝えることができる。
図12に示すように、スイングアーム116がロボット1の正面に対して平行な状態で、カウンターウェイト114を、デフォルト位置からスイングアーム116の一端(図12の右端)、即ち、右方寄りに移動させると、ロボット1は、矢印123が示す右側に傾く。また、図13に示すように、スイングアーム116がロボット1の正面に対して平行な状態で、カウンターウェイト114を、デフォルト位置からスイングアーム116の他端(図13の左端)、即ち、左方寄りに移動させると、ロボット1は、矢印124が示す左側に傾く。従って、スイングアーム116をロボット1の正面に対して平行な状態で、カウンターウェイト114をスイングアーム116内の前記一端から前記他端まで往復動作させると、ロボット1は、矢印123が示す右側または矢印124が示す左側に傾く往復動作を行う。即ち、ロボット1は所定の角度において左右方向に回転する。
上述のように、第1表示部105、第2表示部106、及び第3表示部107は、ロボット1の顔の一部、例えば、目や口を表す。従って、カウンターウェイト114を用いてロボット1に右方または左方に傾く往復運動をさせることにより、例えば、ロボット1の機嫌がよい状態を表現し又はロボット1が考え中であることを表現できる。
図14は、本開示の第1の実施の形態に係るロボット1のユースケースの一例を示す図である。図14に示すように、ロボット1はクラウドサーバ3に接続されている。ユーザ1401は、女の子の人形1402をロボット1の正面に差し出し、「これ何?」と発話する。すると、ロボット1は、ユーザ1401の発話内容から、ユーザ1401が認識対象物の認識要求を行ったと判断し、認識対象物の画像を撮影する(ステップST1)。
次に、ロボット1は、撮影した認識対象物の画像をクラウドサーバ3に送信する(ステップST2)。次に、クラウドサーバ3は、画像認識処理を行い、送信された画像に含まれている認識対象物が人形1402であると認識する(ステップST3)。次に、クラウドサーバ3は、画像認識結果をロボット1に送信し、ロボット1は、画像認識結果を受信する(ステップST4)。次に、ロボット1は、画像認識結果が「人形」であるので、「人形」と発話する(ステップST5)。
このような画像認識処理は、画像が送信されてから認識結果が受信されるまでに15秒〜30秒程度かかるため、その間、ロボット1が何も動作を行わなければ、ユーザ1401は、ロボット1が本当に画像認識処理の要求を受け付けてくれたのか、或いは、ロボット1が故障しているのではないかと不安を感じてしまう。そこで、本開示は以下の態様を採用する。
図15は、本開示の第1の実施の形態に係るロボット1が適用されたロボットシステム1500の全体構成の一例を示す図である。ロボットシステム1500は、クラウドサーバ3、携帯端末4、及びロボット1を備える。ロボット1は例えばWifi(登録商標)の通信を介してインターネットと接続し、クラウドサーバ3と接続する。また、ロボット1は例えばWifi(登録商標)の通信を介して携帯端末4と接続する。ユーザ1501は例えば、子供であり、ユーザ1502,1503は、例えば、その子供の両親である。
携帯端末4は、例えば、ロボット1と連携するアプリケーションがインストールされている。携帯端末4は、アプリケーションを通じてロボット1に種々の指示を行ったり、図14で説明した画像認識結果を表示したりすることができる。
ロボット1は、例えば、携帯端末4からある絵本を子供に読み聞かせる要求があったとすると、その絵本の朗読を開始し、子供に読み聞かせる。ロボット1は、例えば、絵本の読み聞かせ中に子供から何らかの質問を受け付けると、その質問をクラウドサーバ3に送り、その質問に対する回答をクラウドサーバ3から受信し、回答を示す音声を発話する。
このように、ユーザ1501は、ロボット1をペットのように取り扱い、ロボット1との触れ合いを通じて、言語学習をすることができる。
次に、図16を参照しつつ、本開示の第1の実施の形態に係るロボット1の内部回路の詳細について説明する。図16は、本開示の第1の実施の形態に係るロボット1及びロボット1に接続されるクラウドサーバ3を示すブロック図である。クラウドサーバ3は外部サーバの一例に相当する。
図16に示すように、ロボット1は、制御回路109、通信部210、表示部211、回転シャフト118、筐体駆動輪212、シャフト制御部213、筐体駆動輪制御部214、重り駆動機構制御部215、スピーカ216、カメラ108、マイク217、重り駆動機構218を備える。
制御回路109は、主制御部201、音声情報出力制御部202、顔認識処理部203、音声認識処理部204、表示情報出力制御部205、及びメモリ206を備える。制御回路109は、CPU等のプロセッサを含むコンピュータで構成されている。
主制御部201は、ユーザの音声の認識結果を音声認識処理部204から取得する。主制御部201は、ユーザの顔の認識結果を顔認識処理部203から取得する。
主制御部201は、音声認識処理部204及び顔認識処理部203から取得した情報を基にコマンドを生成し、音声情報出力制御部202、表示情報出力制御部205、シャフト制御部213、筐体駆動輪制御部214、及び重り駆動機構制御部215等に送信する。前記コマンドの詳細は後述する。
音声情報出力制御部202は、主制御部201から送信されるコマンドに応じた音声をスピーカ216から出力することで、ロボット1に発話させる。
スピーカ216は、出力面が正面を向くようにフレーム102に備え付けられ、音声の電気信号を物理振動に変換する。スピーカ216は、出力装置の一例に相当する。
音声認識処理部204は、マイク217での取得音声からユーザの音声の有無を認識し、音声認識結果をメモリ206に蓄積することで、音声認識結果を管理する。音声認識処理部204は、メモリ206に格納された音声認識用データと、取得音声とを照合し、発話内容を認識する。
マイク217は、フレーム102に備え付けられ、音を電気信号に変換し、音声認識処理部204に出力する。マイク217は、例えば、第1回転板103の上面に取り付けられても良いし、第2回転板104の上面に取り付けられても良い。マイク217は、入力装置の一例に相当する。
顔認識処理部203は、カメラ108での取得映像からユーザの顔の有無、位置、及び大きさを認識し、顔認識結果をメモリ206に蓄積することで、顔認識結果を管理する。
表示情報出力制御部205は、主制御部201から送信されるコマンドに応じたロボット1の表情の表示情報を表示部211に表示する。表示部211は、図2において説明した第1表示部105、第2表示部106、及び第3表示部107により構成される。
メモリ206は、例えば、不揮発性の書き換え可能な記憶装置で構成され、ロボット1の制御プログラムなどを記憶する。
筐体駆動輪制御部214は、主制御部201から送信されるコマンドに応じて、ロボット1の筐体駆動輪212を動作させる。筐体駆動輪制御部214は、図2において説明した、第1モータ112及び第2モータ113で構成される。筐体駆動輪212は、図2において説明した第1駆動輪110及び第2駆動輪111により構成される。筐体駆動輪212は、一組の駆動輪の一例に相当する。
重り駆動機構制御部215は、主制御部201から送信されるコマンドに応じて、ロボット1の重り駆動機構218を動作させる。重り駆動機構制御部215は、カウンターウェイト114に内蔵された、図示しない重り駆動用モータで構成される。重り駆動機構218は、図3、図8A及び図8Bにおいて説明したガイドシャフト115、スイングアーム116、回転用モータ117、ベルト119、モータプーリ120、及び、図示しない重り駆動用モータにより構成される。
シャフト制御部213は、主制御部201から送信されるコマンドに応じて、図9A及び図9Bで説明した回転シャフト118を回転させる。シャフト制御部213は、図9A及び図9Bで説明した回転用モータ117により構成される。回転シャフト118及びシャフト制御部213は回転機構の一例に相当する。
通信部210は、ロボット1をクラウドサーバ3に接続させるための通信装置で構成される。通信部210としては、例えば、Wifi(登録商標)等の無線LANの通信装置が採用できるがこれは一例である。
クラウドサーバ3は、インターネット(外部ネットワークの一例)を介してロボット1と接続されている。クラウドサーバ3は、通信部301及び処理部302を備える。通信部301は、クラウドサーバ3をインターネットに接続するための通信装置で構成される。処理部302は、ロボット1からの要求に従って、種々の処理を実行し、処理結果を通信部301を介してロボット1に送信する。
次に、図17を参照しつつ、本開示の第1の実施の形態に係るロボット1における画像認識処理について説明する。図17は、本開示の第1の実施の形態に係るロボット1における画像認識処理を示すフローチャートである。ここでは、ロボット1がクラウドサーバ3に画像認識処理を依頼してから、画像認識結果を受信するまでの期間、ロボット1が左右方向に揺動し、ロボット1が考え中であることを表現する処理をする。
まず、ユーザはロボット1に発話する(S1701)。例えば、ユーザは、図14で説明したように人形1402をロボット1に差し出し、「これ何?」といった発話を行う。
次に、ロボット1の音声認識処理部204は、発話への回答に画像認識処理が必要か否かを判断する(S1703)。ここで、メモリ206には、回答に画像認識処理が必要な発話の特徴量を示す1以上の発話参照データが事前に記憶されている。したがって、音声認識処理部204は、ユーザが発話した音声の特徴量とメモリ206に記憶されたいずれかの発話参照データとの類似度が閾値以上であれば、画像認識処理が必要と判断すればよい。
例えば、画像認識処理が必要な発話としては、上述した「これ何?」といった認識対象物を問い合わせる発話や「画像認識処理を実行」といったコマンド形式の発話が採用できる。また、ユーザが人差し指と中指との2本の指を立てて、「これいくつ?」というような数の問い合わせに応えるために、「これいくつ?」が画像認識処理が必要な発話として採用されてもよい。
S1703において、回答に画像認識処理の必要があると判定された場合(S1703でYES)、処理はS1704に進められ、回答に画像認識処理の必要がないと判定された場合(S1703でNO)、処理はS1708に進められる。
次に、カメラ108は、認識対象物を含む1枚の画像を撮影する(S1702,S1704)。ここで、音声認識処理部204は、主制御部201に画像認識処理が必要である旨の通知を行い、この通知を受けた主制御部201は、顔認識処理部203に撮影コマンドを送信することで、カメラ108に認識対象物を撮影させればよい。
なお、主制御部201は、音声認識処理部204により画像認識処理が必要であると判断された場合、音声情報出力制御部202に「知りたい物をロボットの正面に向けて下さい。」といったメッセージを通知し、スピーカ216からそのメッセージを出力させてもよい。これにより、ロボット1は、ユーザに対して認識対象物をロボット1の正面に差し出させることができ、カメラ108の撮影範囲に認識対象物が含まれない事態を回避できる。
次に、主制御部201は、S1704で撮影した画像がクラウドサーバ3に対して画像認識処理を要求する必要があるか否かを判定する(S1705)。画像認識処理の要求をする必要があると主制御部201が判定した場合(S1705でYES)、通信部210は、S1704で撮影した画像をクラウドサーバ3に送信する(S1706)。一方、画像認識処理を要求する必要がないと主制御部201が判定した場合(S1705でNO)、処理はS1708に進められる。
ここで、メモリ206には、画像認識処理の要求が不必要な参照画像の特徴量である認識不要参照データが事前に記憶されている。したがって、主制御部201は、S1704で撮影した画像の特徴量と認識不要参照データとの類似度が閾値以上であれば、画像認識処理の要求が不必要であると判定し、S1704で撮影した画像の特徴量と認識不要参照データとの類似度が閾値未満であれば、画像認識処理の要求が必要と判定すればよい。
参照画像としては、例えば、ユーザの顔画像が含まれる。ユーザの顔画像としては、例えば、ロボット1を主に取り扱う子供の顔画像や、その子供の家族の顔画像が含まれていてもよい。これは、ユーザの顔を認識するというような頻度の高い処理に、いちいちクラウドサーバ3に画像認識処理の要求をしてしまうと、ユーザの待ち時間が大きくなり、ユーザのストレスが過大になる点を考慮したものである。また、参照画像としては、ユーザが1本、2本というように1本以上の指を立てた画像が採用されてもよい。
次に、ロボット1は、画像認識結果が得られるまで、進捗表現処理を行う(S1707)。進捗表現処理の詳細については後ほど説明する。
クラウドサーバ3に画像認識処理の要求が必要である場合、画像認識結果が得られるまでに所定時間以上かかってしまう。この場合、ロボット1が何も動作を行わなければ、ユーザはロボット1が故障したのではないかと判断する虞がある。そこで、本態様では、クラウドサーバ3に画像認識処理の要求が必要である場合、後述する進捗表現処理(S1707)を行う。
次に、クラウドサーバ3は、画像認識処理を行う(S1709)。画像認識処理の詳細については後ほど説明する。
画像認識結果が得られると、ロボット1は進捗表現処理を終了する。
次に、音声情報出力制御部202は、画像認識結果をスピーカ216から出力し、発話により画像認識結果の回答を行う(S1708)。この場合、音声情報出力制御部202は、例えば認識対象物の名称を示す音声をスピーカ216から出力する。例えば、図14に示すように人形1402が認識されたとすると、スピーカ216から「人形」の音声が出力される。
尚、S1703でNO、S1705でNOと判定された場合のS1708の処理は例えば下記のようになる。発話への回答に画像認識処理が必要でないと判定された場合として(S1703でNO)、例えば、ロボット1とユーザとが対話をするようなケースが該当したとする。この場合、S1708では、音声情報出力制御部202は、ユーザとの対話に応答する音声をスピーカ216から出力すればよい。
また、S1704で撮影した画像がクラウドサーバ3に対して画像認識処理を要求する必要がない場合として(S1705でNO)、ユーザの名前をロボット1に問い合わせたり、ユーザが指を立てて「これいくつ?」というような問い合わせを行うケースが該当したとする。この場合、S1708では、音声出力制御部202は、ユーザの名前や「2本です。」というような音声をスピーカ216から出力すればよい。
図18は、本開示の第1の実施の形態において、図17のS1709に示す画像認識処理の詳細を示すフローチャートである。まず、通信部301は、ロボット1から送信された画像を受信する(S1801)。
次に、処理部302は、画像認識処理を実行する(S1802)。例えば、図14に示すユースケースでは、人形1402を含む画像が画像認識処理の対象となる。処理部302は、例えば、機械学習により得られた、物体の画像の特徴量と物体の名称とが対応付けて登録された物体モデルデータベースを備えている。処理部302は、ロボット1から送信された画像から特徴量を抽出し、抽出した特徴量と物体モデルデータベースに登録された各物体の特徴量とを照合し、類似度が最も高い物体を認識対象物と判定すればよい。図14の例では、「人形」が画像認識結果となる。
次に、通信部301は、処理部302による画像認識結果をロボット1に送信する(S1803)。
図19は、本開示の第1の実施の形態において、図17のS1707に示す進捗表現処理の詳細を示すフローチャートである。図20は、カウンターウェイト114の位置の模式図である。
まず、シャフト制御部213は、図12に示すように、スイングアーム116をロボット1の正面に対して横方向に向けるコマンドを主制御部201から受け付け、スイングアーム116の姿勢を横方向に調整する(S1901)。例えば、スイングアーム116がロボット1の正面に対して垂直な状態がスイングアーム116のデフォルト回転角度であるとする。この場合、主制御部201は、スイングアーム116を時計回り又は反時計回りに90度回転させるコマンドをシャフト制御部213に出力すればよい。
これにより、重り駆動機構218がカウンターウェイト114を往復移動させる一定方向が表示部211と回転シャフト118とを結ぶ仮想線L1(図3、図5参照)を含む鉛直面に対して直交することになる。仮想線L1とは、図3を参照し、回転シャフト118或いは回転シャフト118の長手方向に延びる延長線と、表示部107の中心とを繋ぐ線である。仮想線L1を含む鉛直面とは、仮想線L1を含み、地面と直行する面である。
次に、主制御部201は、カウンターウェイト114の移動目標位置Tと、カウンターウェイト114の移動方向Fと、カウンターウェイト114の移動範囲2Rの半分の長さを規定する最大振幅Rとの3つのパラメータを準備する(S1902)。
図20を参照し、移動目標位置Tは、カウンターウェイト114の移動範囲2Rの中心が0に設定され、右端が「R」に設定され、左端が「−R」に設定されている。移動目標位置Tは、直線状に延びるスイングアーム116上でのカウンターウェイト114の位置を示すパラメータである。移動方向Fは、移動範囲2Rの中心に対して右方向にカウンターウェイト114を移動させるか、左方向に移動させるかを規定するためのパラメータである。移動方向Fは、移動範囲2Rの中心に対して右方向にカウンターウェイト114を移動させる場合、「1」の値を取り、左方向にカウンターウェイト114を移動させる場合、「−1」の値を取る。
次に、主制御部201は、T=F×Rの演算により、移動目標位置Tを設定する(S1903)。例えば、カウンターウェイト114を右方向に移動させる場合、F=1なので、移動目標位置TはT=Rとなる。この場合、移動目標位置Tは移動範囲2Rの右端に設定される。一方、カウンターウェイト114を左方向に移動させる場合、F=−1なので、移動目標位置TはT=−Rとなる。この場合、移動目標位置Tは移動範囲2Rの左端に設定される。ここでは、まず、移動方向Fは、F=1に設定されるものとするが、これは一例であり、F=−1に設定されてもよい。
次に、重り駆動機構制御部215は、移動目標位置Tを指定するコマンドを主制御部201から受け付け、カウンターウェイト114を移動目標位置Tに移動させる。ここでは、まず、移動目標位置TはT=Rに設定されるので、カウンターウェイト114はスイングアーム116の右端に向けて移動する。この移動に伴って、ロボット1は、図12に示すように矢印123が示す右側に傾いていく。
次に、主制御部201は、カウンターウェイト114が移動目標位置Tに到達すると、移動方向Fを反対方向に設定する(S1905)。ここで、主制御部201は、重り駆動機構制御部215が備えるエンコーダから、重り駆動用モータの回転数を取得し、取得した回転数が移動目標位置Tに対応する回転数になったとき、カウンターウェイト114が移動目標位置Tに到達したと判定すればよい。
次に、主制御部201は、通信部210が画像認識結果を受信していなければ(S1906でNO)、処理をS1903に戻し、S1903〜S1906の処理を行う。例えば、S1903〜S1906の2回目のループでは、移動目標位置TがT=−Rに設定されるので、カウンターウェイト114は、T=−Rの位置に移動される。この移動に伴って、ロボット1は、図13に示すように矢印124が示す左側に傾いていく。以上により、画像認識結果が受信されるまで、制御回路9は、カウンターウェイト114の往復移動させる一定方向を仮想線L1(図3参照)を含む鉛直面に対して直行させた状態で、カウンターウェイト114を往復移動させる。これにより、画像認識結果が受信されるまで、ロボット1は左右に揺動する動作を繰り返し、ユーザに画像認識処理中であることを伝えることができる。
一方、通信部210が画像認識結果を受信すると(S1906でYES))、重り駆動機構制御部215は、移動目標位置TをT=0にするコマンドを主制御部201から受け付け、カウンターウェイト114をスイングアーム116の中心に移動させる(S1907)。これにより、ロボット1は、左右の揺動を停止してデフォルトの姿勢に戻る。
次に、シャフト制御部213は、スイングアーム116を、ロボット1の正面に対して垂直にするコマンドを主制御部201から受け付け、スイングアーム116をロボット1の正面に対して垂直にさせる(S1908)。
これにより、スイングアーム116及びカウンターウェイト114がデフォルトの状態に戻り、ロボット1は、次の動作に対して迅速に対応することができる。
このように本態様によれば、ユーザの問いに応答するために所定時間以上を要する場合、ロボット1は、口、又は鼻の位置を正面にして左右に揺れる動作をする。この動作は、ロボット1が悩んで身体を左右に揺すっている動作を表す。
そのため、手足を有しない球体状のロボット1であって、ユーザに対して内部処理の進行状況をユーザに伝えるのに制約がある場合であっても、処理中であることを球体状のロボット1の表面に表示することなく、カウンターウェイト114の移動動作を利用して、ユーザとの対話中にロボット1が処理中であることをユーザに伝えることができる。その結果、ユーザは、ロボット1の外観だけを見て、ロボット1が処理中なのか又は故障により動かないのか判断できる。
また、本態様では、画像認識結果を受信した場合、カウンターウェイト114をデフォルト位置に戻し(S1907)、且つ、スイングアーム116の姿勢がデフォルトの状態に戻る(S1908)。
そのため、本態様では、画像認識処理の処理中にロボット1を左右に揺らしたために、ロボット1が左右に揺れた途中の姿で応答をする不自然さを防止できる。
(第2の実施の形態)
第2の実施の形態は、画像認識処理の進捗状況が進むにつれて、カウンターウェイト114を往復移動させる距離を短縮させることを特徴とする。なお、第2の実施の形態において第1の実施の形態と同一構成のものは同一の符号を付し、説明を省く。
第2の実施の形態では、全体的な処理は、図17と同じであるが、S1709とS1707とが相違する。
図21は、本開示の第2の実施の形態において、図17のS1709に示す画像認識処理の詳細を示すフローチャートである。S2001、S2008は図18のS1801、S1803と同じであるため、説明を省く。
S2002では、処理部302は、画像認識処理に要するステージ数Mを規定するパラメータを準備する。ここで、ステージ数Mはクラウドサーバ3が採用する画像認識処理の内容に応じて事前に定められた値が採用される。例えば、クラウドサーバ3が3つのステージ数からなる画像認識処理を採用するのであれば、M=3が設定される。
S2003では、処理部302は、ステージ番号Nを初期値「0」に設定する。ここで、ステージ番号Nは処理中のステージを特定するための番号である。
S2004では、処理部302は、ステージ番号Nを1インクリメントする。
S2005では、処理部302は、ステージ番号Nの画像認識処理を実行する。
S2006では、処理部302は、ステージ番号Nがステージ数Mに到達したか否かを判定する。ステージ番号Nがステージ数Mに到達していれば(S2006でYES)、処理部302は、画像認識結果が得られたので、処理をS2008に進める。
ステージ番号Nがステージ数Mに到達していなければ(S2006でNO)、処理部302は、通信部210を用いて、画像認識結果の一部が完了した旨の通知をロボット1に行う(S2007)。このとき、処理部302は、処理が終了したステージ番号Nとステージ数Mとをロボット1に送信する。
S2007の処理が終了すると、処理はS2004に戻される。これにより、次のステージ番号Nの画像認識処理が実行される。
次に、画像認識処理のステージについて説明する。図23は、カウンターウェイト114の位置と画像認識処理のステージ番号Nが示すステージ「N」との関係を示す図である。図23の例では、画像認識処理はステージ番号N=1,2,3で示される3つのステージ「1」,「2」,「3」で構成される。
ステージ「1」は認識対象物の色を認識するステージであり、ステージ「2」は認識対象物のブランドを認識するステージであり、ステージ「3」は認識対象物が最終的に何であるかを認識するステージである。
例えば、認識対象物が市販の清涼飲料水であるとすると、ステージ「1」では、清涼飲料水を構成する色が認識される。例えば、水の清涼飲料水であれば、認識結果は「透明」となる。処理部302は、例えば、ロボット1から送信された画像から認識対象物を抽出し、抽出した認識対象物の色を解析する処理を行うことで、認識対象物の色を認識すればよい。認識対象物が複数の色で構成される場合もある。この場合、処理部302は、一定の割合以上を占める上位数色の色を認識結果としてもよい。
ステージ「2」では、処理部302は、例えば、清涼飲料水のボトルのラベルに記載された文字を認識することで、ブランド名を認識する。清涼飲料水のボトルのラベルに商品名「XXX」と記載されていれば、認識結果は、例えば、「XXX」となる。
ステージ「3」では、処理部302は、例えば、上述の物体モデルデータベースを用いて、認識対象物が最終的に何であるかを認識する。例えば、清涼飲料水が認識されたのであれば、認識結果は「清涼飲料水」となる。ここで、清涼飲料水の種類まで認識できたのであれば、認識結果は、例えば、「清涼飲料水:水」となる。
図22は、本開示の第2の実施の形態において、図17のS1707に示す進捗表現処理の詳細を示すフローチャートである。
図22において、S2101、S2104、S2105、S2106、S2109、S2110は、図19のS1901、S1904、S1905、S1906、S1907、S1908と同じであるので、説明を省く。
S2102では、主制御部201は、移動目標位置T、移動方向F、最大振幅Rに加えて、更にカウンターウェイト114の移動幅Sを設定する。移動幅Sは、最大振幅Rを1としたとにのカウンターウェイト114の振幅の割合を示すパラメータである。移動幅Sは、「0」、「1」、「2/3」、「1」というように、「0」以上「1」以下の値を取る。
S2103では、主制御部201は、T=S×F×Rの演算により、移動目標位置Tを設定する。
S2107は、図21のS2007において、クラウドサーバ3が送信した画像認識処理の一部が完了した旨の通知をロボット1が受信する処理である。S2107では、主制御部201は、画像認識処理の一部が完了した旨の通知を通信部210がクラウドサーバ3から受信していなければ(S2107でNO)、処理をS2103に戻す。一方、主制御部201は、画像認識処理の一部が完了した旨の通知を通信部210がクラウドサーバ3から受信していれば(S2107でYES)、処理をS2108に進める。S2107では、ロボット1は、処理が終了したステージ番号Nとステージ数Mとを受信する。
S2108では、主制御部201は、S2107で受信した処理が終了したステージ番号Nとステージ数Mとを用いて、移動幅SをS=1−N/Mに設定し、移動幅Sを収縮させる。例えば、ステージ「1」が終了すると、S2107にて、ロボット1はN=1を受信するので、ステージ「2」の処理中では、回転速度Vは、V=V1×(1−1/M)に設定される。
これにより、主制御部201は、画像認識処理のステージが1段階進む毎に移動幅Sを1段階小さく設定する。
図23の例では、ステージ「1」の処理中においては、主制御部201は、移動幅Sを「1」に設定する。この場合、カウンターウェイト114は、最大振幅Rで左右に往復するので、ロボット1も最大振幅Rに相当する振れ幅で左右に揺動する。
ステージ「1」の処理が終了すると、主制御部201は、移動幅SをS=2/3(=1−1/3)に設定する。これにより、ステージ「2」の処理中においては、カウンターウェイト114は「R×2/3」の振幅で左右に往復するので、ロボット1は「R×2/3」の振幅に相当する振れ幅で左右に揺動する。
ステージ「2」の処理が終了すると、主制御部201は、移動幅SをS=1/3(=1−2/3)に設定する。これにより、ステージ「3」の処理中においては、カウンターウェイト114は「R×1/3」の振幅で左右に往復するので、ロボット1は「R×1/3」の振幅に相当する振れ幅で左右に揺動する。
このように、本態様によれば、画像認識処理のステージが進むにつれて、カウンターウェイト114の振幅が減少されるので、ロボット1の動作を通じて、画像認識処理の進捗状況をユーザに通知できる。
(変形例1)
実施の形態1、2では、画像認識処理をクラウドサーバ3に要求する場合に、ロボット1を左右に揺動させる動作を行わせた。本開示はこれに限定されず、画像認識処理以外の処理(例えば、音声認識処理)をクラウドサーバ3に要求する場合に、ロボット1を左右に揺動させる動作を行わせてもよい。画像認識処理以外の処理であっても、クラウドサーバ3に処理を要求した場合、処理結果が得られるまでに所定時間以上要することもある。この場合、処理結果が得られるまでにロボット1を左右に揺動させる動作を行わせることで、ロボット1が故障したとユーザが判断することを防止できる。
(変形例2)
実施の形態1、2では、表示部211を備えていたが、これは一例であり、表示部211は省かれても良い。表示部211はロボットの顔の一部を表示するので、表示部211が有る方が、ロボット1が考え中であることをうまく表現できる。しかし、表示部211が無くても、処理結果が得られるまでロボット1を左右に揺動させれば、ロボット1が考え中であることを十分にユーザに伝えることができる。
(変形例3)
第2の実施の形態では、画像認識処理のステージが進むにつれて、「N/M」ずつ移動幅Sが減少されたが、これは一例であり、ステージが進むにつれて移動幅Sの減少量が大きくなる或いは小さくなるように移動幅Sは減少されてもよい。
(本開示の実施の形態の概要)
本開示の一態様に係るロボットは、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記フレームに備え付けられ、前記一組の駆動輪の駆動軸に対して垂直方向に延びるシャフトと、
前記フレームに備え付けられ、一定方向に重りを往復移動させる重り駆動機構と、
前記シャフトを中心に前記重り駆動機構を回転させる回転機構と、
前記入力装置を介して入力したユーザの入力指示に対して所定時間以上を要する所定の処理に基づいて前記出力装置を介して応答する場合、前記所定の処理中は重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記一組の駆動輪による前進方向に直交させ、前記前進方向に直交した前記一定方向に前記重りを往復移動させる制御回路と、を備えたものである。
本態様によると、前記入力装置を介して入力したユーザの入力指示に対して所定時間以上を要する所定の処理に基づいて前記出力装置を介して応答する場合、前記所定の処理中は前記重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記一組の駆動輪による前進方向に直交させ、前記前進方向に直交した前記一定方向に前記重りを往復移動させる。
これにより、前記ロボットが前記ユーザの問いに応答するために所定時間以上を要する場合、前記ロボットは、前記前進方向を正面として左右に揺れる動作をする。この動作は、例えば、前記ロボットが悩んで身体を左右に揺すっている動作を表す。
そのため、手足を有しない球体状のロボットであって、内部処理の進行状況を前記ユーザに伝えるのに制約がある場合であっても、処理中であることを前記球体状のロボットの表面に表示することなく、前記重りの移動動作を利用して、前記ユーザとの対話中に前記ロボットが処理中であることを前記ユーザに伝えることができる。その結果、前記ユーザは、前記ロボットの外観だけを見て、前記ロボットが処理中なのか又は故障により動かないのか判断できる。
また、上記態様において、例えば、
前記制御回路は、
前記出力装置を介して前記応答の内容を出力させるとき、前記重りのデフォルト位置において前記重りの往復移動を停止させてもよい。
本態様によると、前記出力装置を介して前記応答の内容を出力させるとき、前記重りのデフォルト位置において前記重りの往復移動を停止させる。これによると、前記所定の処理中に前記ロボットを左右に揺らして前記ロボットが悩む姿を表現する場合でも、前記出力装置を介して前記応答の内容を出力させるとき、前記ロボットは正規の姿勢に戻って前記ユーザの問いに対して応答することになる。そのため、前記所定の処理中に前記ロボットを左右に揺らしたために、前記ロボットが左右に揺れた途中の姿で前記応答をする不自然さを防止できる。
また、上記態様において、例えば、
前記所定の処理は、2以上の工程からなり、
前記制御回路は、
前記2以上の工程の各々が終わる毎に、前記重りが前記重りのデフォルト位置から往復移動する距離を短縮させてもよい。
本態様によれば、前記所定の処理の工程が進むにつれて、重りの往復移動する距離が減少されるので、ロボットの動作を通じて、所定の処理の進捗状況をユーザに通知できる。
また、上記態様において、例えば、
前記前進方向に向けて前記フレームに備え付けられ、少なくとも前記ロボットの顔の一部を表示する表示部を更に備えてもよい。
この場合、前記表示部に表示される前記ロボットの顔の一部は、例えば、口、又は鼻を構成する。これにより、前記ロボットが前記ユーザの問いに応答するために所定時間以上を要する場合、前記ロボットは、例えば、口、又は鼻の位置を正面にして左右に揺れる動作をする。この動作は、前記ロボットが悩んで身体を左右に揺すっている動作を表す。
そのため、前記ユーザとの対話中に前記ロボットが処理中であることを前記重りの移動動作を利用して前記ユーザに伝えることができる。その結果、前記ユーザは、前記ロボットの外観だけを見て、前記ロボットが処理中なのか又は故障により動かないのか判断できる。
また、上記態様において、例えば、
前記前進方向に撮像方向が向くように前記フレームに備え付けられたカメラを更に備えていてもよい。
この場合、前記カメラは、前記ロボットの顔の一部、例えば、口、又は鼻を構成する。これにより、前記ロボットが前記ユーザの問いに応答するために所定時間以上を要する場合、前記ロボットは、例えば、口、又は鼻の位置を正面にして左右に揺れる動作をする。この動作は、前記ロボットが悩んで身体を左右に揺すっている動作を表す。
そのため、前記ユーザとの対話中に前記ロボットが処理中であることを前記重りの移動動作を利用して前記ユーザに伝えることができる。その結果、前記ユーザは、前記ロボットの外観だけを見て、前記ロボットが処理中なのか又は故障により動かないのか判断できる。
また、上記態様において、例えば、
前記前進方向に撮像方向が向くように前記フレームに備え付けられたカメラと、
前記フレームに備え付けられ、外部ネットワークに接続される通信回路とを更に備え、
前記所定の処理は、前記外部ネットワークを介して接続された外部サーバにおける画像認識処理であってもよい。
画像認識処理は処理負荷が過大なので、外部サーバで実行されることが多い。この場合、処理結果が得られるまで、所定時間以上かかってしまう。本態様では、所定の処理が外部サーバで実行される場合であっても、処理結果が得られるまで、ロボットは、左右に揺れる動作を行う。そのため、ユーザに対して内部処理が実行中であることを伝えることができる。
また、上記態様において、例えば、
前記制御回路は、前記画像認識処理に基づいて応答する場合、
前記カメラを用いて認識対象物を撮像させ、
前記通信回路を用いて前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部サーバに送信させ、
前記通信回路を用いて前記外部サーバから前記認識対象物の画像の認識結果を受信させ、
前記出力装置を介して前記受信した認識結果を出力させる、ものであってもよい。
本態様によれば、処理負荷が過大な画像認識処理が外部サーバで実行されるので、ロボットは認識対象物の撮像と、認識結果を外部サーバからの受信とを行えばよく、ロボットの処理負荷を軽減できる。
また、上記態様において、例えば、
前記入力装置は、マイクであり、
前記入力装置を介して入力したユーザの入力指示は音声の指示であってもよい。
本態様によれば、ユーザは、手入力で入力指示を入力しなくとも、入力指示の音声を発話するだけで、ロボットに所定の処理を指示できる。そのため、入力指示を入力する際のユーザの負担が軽減される。特に、幼児のように、手入力が困難なユーザにとってこの態様は有用となる。
また、上記態様において、例えば、
前記出力装置は、スピーカであってもよい。
本態様では、スピーカを通じて処理結果が出力されるので、ユーザはロボットに注視しなくても処理結果を知ることができる。
また、上記態様において、例えば、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた、少なくともロボットの顔の一部を表示する表示部と、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記フレームに備え付けられ、前記一組の駆動輪の駆動軸に対して垂直方向に延びるシャフトと、
前記フレームに備え付けられ、一定方向に重りを往復移動させる重り駆動機構と、
前記シャフトを中心に前記重り駆動機構を回転させる回転機構と、
前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて前記出力装置を介して応答する場合、前記重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させ、前記鉛直面に直交した前記一定方向に前記重りを往復移動させる制御回路と、を備えるものである。
本態様によると、前記入力装置を介して入力したユーザの入力指示に対して所定時間以上を要する所定の処理に基づいて応答する場合、前記重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させ、前記鉛直面に直交した前記一定方向に前記重りを往復移動させる。この場合、前記表示部に表示される前記ロボットの顔の一部は、例えば、口、又は鼻を構成する。
これにより、前記ロボットが前記ユーザの問いに応答するために所定時間以上を要する場合、前記ロボットは、例えば、口、又は鼻の位置を正面にして左右に揺れる動作をする。この動作は、前記ロボットが悩んで身体を左右に揺すっている動作を表す。
そのため、手足を有しない球体状のロボットであって、前記ユーザに対して内部処理の進行状況を前記ユーザに伝えるのに制約がある場合であっても、処理中であることを前記球体状のロボットの表面に表示することなく、前記重りの移動動作を利用して、前記ユーザとの対話中に前記ロボットが処理中であることを前記ユーザに伝えることができる。その結果、前記ユーザは、前記ロボットの外観だけを見て、前記ロボットが処理中なのか又は故障により動かないのか判断できる。
また、上記態様において、例えば、
前記制御回路は、
前記出力装置を介して前記応答の内容を出力させるとき、前記重りのデフォルト位置において前記重りの往復移動を停止させてもよい。
本態様によると、前記出力装置を介して前記応答の内容を出力させるとき、前記重りのデフォルト位置において前記重りの往復移動を停止させる。これによると、前記所定の処理中に前記ロボットを左右に揺らして前記ロボットが悩む姿を表現する場合でも、前記出力装置を介して前記応答の内容を出力させるとき、前記ロボットは正規の姿勢に戻って前記ユーザの問いに対して応答することになる。そのため、前記所定の処理中に前記ロボットを左右に揺らしたために、前記ロボットが左右に揺れた途中の姿で前記応答をする不自然さを防止できる。
また、上記態様において、例えば、
前記制御回路は、
前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部の中心部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させてもよい。
本態様では、前記表示部の前記中心部と前記シャフトとを結ぶ前記仮想線を含む鉛直面に対して直行する方向に前記重りを往復移動させる方向が設定されるので、ロボットの顔の一部を表す表示部を正面にして、ロボットは左右方向に揺れる動作を行うことができる。そのため、ロボットが考え中であることをユーザにより効果的に伝えることができる。
また、上記態様において、例えば、
前記所定の処理は、2以上の工程からなり、
前記制御回路は、
前記2以上の工程の各々が終わる毎に、前記重りが前記重りのデフォルト位置から往復移動する距離を短縮させてもよい。
本態様によれば、前記所定の処理の工程が進むにつれて、重りの往復移動する距離が減少されるので、ロボットの動作を通じて、所定の処理の進捗状況をユーザに通知できる。
また、上記態様において、例えば、
前記フレームに備え付けられたカメラと、前記フレームに備え付けられ外部ネットワークに接続される通信回路とを備え、
前記所定の処理は、前記外部ネットワークを介して接続された外部サーバにおける画像認識処理であってもよい。
画像認識処理は処理負荷が過大なので、外部サーバで実行されることが多い。この場合、処理結果が得られるまで、所定時間以上かかってしまう。本態様では、所定の処理が外部サーバで実行される場合であっても、処理結果が得られるまで、ロボットは、左右に揺れる動作を行う。そのため、ユーザに対して内部処理が実行中であることを伝えることができる。
また、上記態様において、例えば、
前記制御回路は、前記画像認識処理に基づいて応答する場合、
前記カメラを用いて認識対象物を撮像させ、
前記通信回路を用いて前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部サーバに送信させ、
前記通信回路を用いて前記外部サーバから前記認識対象物の画像の認識結果を受信させ、
前記出力装置を介して前記受信した認識結果を出力させてもよい。
本態様によれば、処理負荷が過大な画像認識処理が外部サーバで実行されるので、ロボットは認識対象物の撮像と、認識結果を外部サーバからの受信とを行えばよく、ロボットの処理負荷を軽減できる。
また、上記態様において、例えば、
球体状の筐体と、
前記筐体の内側部に配置されたフレームと、
前記フレームに備え付けられた、少なくともロボットの顔の一部を表示する表示部と、
前記フレームに備え付けられたカメラと、
前記フレームに備え付けられた入力装置と、
前記フレームに備え付けられた出力装置と、
前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
前記フレームに備え付けられ、前記一組の駆動輪の駆動軸に対して垂直方向に延びるシャフトと、
前記フレームに備え付けられ、一定方向に重りを往復移動させる重り駆動機構と、
前記シャフトを中心に前記重り駆動機構を回転させる回転機構と、
前記入力装置を介して入力したユーザの音声指示に対して応答するために画像認識処理が必要な場合に前記カメラを用いて認識対象物を撮像させ、前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部ネットワークを介して接続された外部サーバに送信させ、前記外部ネットワークを介して接続された外部サーバから前記認識対象物の画像の認識結果を受信させ、前記出力装置を介して前記受信した認識結果を出力させる制御回路と、を備え、
前記制御回路は、
前記外部サーバにおけるによる前記認識対象物の画像の認識結果が必要な場合、前記重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させ、前記鉛直面に直交した前記一定方向に前記重りを往復移動させる、ものである。
本態様によると、前記外部ネットワークを介して接続された外部サーバにおけるによる前記認識対象物の画像の認識結果が必要な場合、前記重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させ、前記鉛直面に直交した前記一定方向に前記重りを往復移動させる。この場合、前記表示部に表示される前記ロボットの顔の一部は、例えば、口、又は鼻を構成する。
これにより、前記ロボットが前記ユーザの問いに応答するためには画像認識処理が必要な場合、前記ロボットは、例えば、口、又は鼻の位置を正面にして左右に揺れる動作をする。この動作は、前記ロボットが悩んで身体を左右に揺すっている動作を表す。
そのため、手足を有しない球体状のロボットであって、前記ユーザに対して内部処理の進行状況を前記ユーザに伝えるのに制約がある場合であっても、処理中であることを前記球体状のロボットの表面に表示することなく、前記重りの移動動作を利用して、前記ユーザとの対話中に前記ロボットが処理中であることを前記ユーザに伝えることができる。その結果、前記ユーザは、前記ロボットの外観だけを見て、前記ロボットが処理中なのか又は故障により動かないのか判断できる。
また、上記態様において、例えば、
前記制御回路は、
前記認識対象物の画像の認識結果を受信した後、前記重りのデフォルト位置において前記重りの往復移動を停止させ、前記スピーカを介して前記受信した認識結果を出力させてもよい。
本態様によると、前記認識対象物の画像の認識結果を受信した後に前記重りの往復移動を停止させる際に、前記重りのデフォルト位置において前記重りの往復移動を停止させる。これによると、前記画像認識処理の処理中に前記ロボットを左右に揺らして前記ロボットが悩む姿を表現する場合でも、前記画像認識処理の結果を受信すると、前記ロボットは正規の姿勢に戻って前記ユーザの問いに対して応答することになる。そのため、前記画像認識処理の処理中に前記ロボットを左右に揺らしたために、前記ロボットが左右に揺れた途中の姿で前記応答をする不自然さを防止できる。
また、上記態様において、例えば、
画像認識用の参照データを格納するメモリを設け、
前記制御回路は、
前記ユーザの音声指示に対して応答するために前記外部サーバによる前記認識対象物の画像の認識結果は必要でなく、前記メモリに格納された前記画像認識用の参照データに基づく前記認識対象物の画像認識処理で前記応答が可能であると判断した場合、前記鉛直面に直交した前記一定方向に前記重りを往復移動させる制御を行うことなく、前記出力装置を介して前記参照データに基づく認識結果を出力させてもよい。
例えば、ユーザの顔認識などは、前記ロボットの内部にメモリを設けて、前記メモリに格納された画像認識用の参照データを用いて行うことが可能である。
ユーザが前記ロボットに対して、例えば、「私は誰?」と問う場合、前記外部サーバによる前記認識対象物の画像の認識結果は必要でなく、前記ロボットの内部にメモリに格納された画像認識用の参照データを参照すれば足りる。また、ユーザが人差し指と中指との2本の指を立てて「これいくつ?」と、前記ユーザが前記ロボットに対して問う場合も、前記クラウドサーバによる前記認識対象物の画像の認識結果は必要でなく、前記ロボットの内部にメモリに格納された画像認識用の参照データを参照すれば足りる。このような場合、前記ユーザを待たせることはほんどない。
そのため、このような場合には、前記仮想線に直交した前記一定方向に前記重りを往復移動させる制御を行うことなく、前記出力装置を介して前記参照データに基づく認識結果を出力させるようにした。
また、上記態様において、例えば、
前記制御回路は、
前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部の中心部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させてもよい。
本態様では、前記表示部の前記中心部と前記シャフトとを結ぶ前記仮想線を含む鉛直面に対して直行する方向に前記重りを往復移動させる方向が設定されるので、ロボットの顔の一部を表す表示部を正面にして、ロボットは左右方向に揺れる動作を行うことができる。そのため、ロボットが考え中であることをユーザにより効果的に伝えることができる。
また、上記態様において、例えば、
前記画像認識処理は、2以上の工程からなり、
前記制御回路は、
前記2以上の工程の各々が終わる毎に、前記重りが前記重りのデフォルト位置から往復移動する距離を短縮させてもよい。
本態様によれば、前記画像認識処理の工程が進むにつれて、重りの往復移動する距離が減少されるので、ロボットの動作を通じて、所定の処理の進捗状況をユーザに通知できる。
本開示の例示的な実施の形態にかかるロボットによれば、内部処理の進行状況をユーザに伝えるために有用である。
F 移動方向
L1 仮想線
M ステージ数
N ステージ番号
R 最大振幅
S 移動幅
T 移動目標位置
1 ロボット
2R 移動範囲
3 クラウドサーバ
4 携帯端末
9 制御回路
101 筐体
102 フレーム
103 第1回転板
104 第2回転板
105 第1表示部
106 第2表示部
107 第3表示部
108 カメラ
109 制御回路
110 第1駆動輪
111 第2駆動輪
112 第1モータ
113 第2モータ
114 カウンターウェイト
115 ガイドシャフト
116 スイングアーム
117 回転用モータ
118 回転シャフト
119 ベルト
120 モータプーリ
201 主制御部
202 音声情報出力制御部
203 顔認識処理部
204 音声認識処理部
205 表示情報出力制御部
206 メモリ
210 通信部
211 表示部
212 筐体駆動輪
213 シャフト制御部
214 筐体駆動輪制御部
215 重り駆動機構制御部
216 スピーカ
217 マイク
218 重り駆動機構
301 通信部
302 処理部
1500 ロボットシステム

Claims (20)

  1. 球体状の筐体と、
    前記筐体の内側部に配置されたフレームと、
    前記フレームに備え付けられた入力装置と、
    前記フレームに備え付けられた出力装置と、
    前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
    前記フレームに備え付けられ、前記一組の駆動輪の駆動軸に対して垂直方向に延びるシャフトと、
    前記フレームに備え付けられ、一定方向に重りを往復移動させる重り駆動機構と、
    前記シャフトを中心に前記重り駆動機構を回転させる回転機構と、
    前記入力装置を介して入力したユーザの入力指示に対して所定時間以上を要する所定の処理に基づいて前記出力装置を介して応答する場合、前記所定の処理中は重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記一組の駆動輪による前進方向に直交させ、前記前進方向に直交した前記一定方向に前記重りを往復移動させる制御回路と、を備えた
    ロボット。
  2. 前記制御回路は、
    前記出力装置を介して前記応答の内容を出力させるとき、前記重りのデフォルト位置において前記重りの往復移動を停止させる、
    請求項1記載のロボット。
  3. 前記所定の処理は、2以上の工程からなり、
    前記制御回路は、
    前記2以上の工程の各々が終わる毎に、前記重りが前記重りのデフォルト位置から往復移動する距離を短縮させる、
    請求項1記載のロボット。
  4. 前記前進方向に向けて前記フレームに備え付けられ、少なくとも前記ロボットの顔の一部を表示する表示部を更に備える請求項1記載のロボット。
  5. 前記前進方向に撮像方向が向くように前記フレームに備え付けられたカメラを更に備える、
    請求項1記載のロボット。
  6. 前記前進方向に撮像方向が向くように前記フレームに備え付けられたカメラと、
    前記フレームに備え付けられ、外部ネットワークに接続される通信回路とを更に備え、
    前記所定の処理は、前記外部ネットワークを介して接続された外部サーバにおける画像認識処理である、
    請求項1記載のロボット。
  7. 前記制御回路は、前記画像認識処理に基づいて応答する場合、
    前記カメラを用いて認識対象物を撮像させ、
    前記通信回路を用いて前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部サーバに送信させ、
    前記通信回路を用いて前記外部サーバから前記認識対象物の画像の認識結果を受信させ、
    前記出力装置を介して前記受信した認識結果を出力させる、
    請求項6記載のロボット。
  8. 前記入力装置は、マイクであり、
    前記入力装置を介して入力したユーザの入力指示は音声の指示である、
    請求項1から6のいずれか1項に記載のロボット。
  9. 前記出力装置は、スピーカである、
    請求項7記載のロボット。
  10. 球体状の筐体と、
    前記筐体の内側部に配置されたフレームと、
    前記フレームに備え付けられた、少なくともロボットの顔の一部を表示する表示部と、
    前記フレームに備え付けられた入力装置と、
    前記フレームに備え付けられた出力装置と、
    前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
    前記フレームに備え付けられ、前記一組の駆動輪の駆動軸に対して垂直方向に延びるシャフトと、
    前記フレームに備え付けられ、一定方向に重りを往復移動させる重り駆動機構と、
    前記シャフトを中心に前記重り駆動機構を回転させる回転機構と、
    前記入力装置を介して入力したユーザの入力指示に対して、所定時間以上を要する所定の処理に基づいて前記出力装置を介して応答する場合、前記重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させ、前記鉛直面に直交した前記一定方向に前記重りを往復移動させる制御回路と、を備えた
    ロボット。
  11. 前記制御回路は、
    前記出力装置を介して前記応答の内容を出力させるとき、前記重りのデフォルト位置において前記重りの往復移動を停止させる、
    請求項10記載のロボット。
  12. 前記制御回路は、
    前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部の中心部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させる、
    請求項10記載のロボット。
  13. 前記所定の処理は、2以上の工程からなり、
    前記制御回路は、
    前記2以上の工程の各々が終わる毎に、前記重りが前記重りのデフォルト位置から往復移動する距離を短縮させる、
    請求項10記載のロボット。
  14. 前記フレームに備え付けられたカメラと、前記フレームに備え付けられ外部ネットワークに接続される通信回路とを備え、
    前記所定の処理は、前記外部ネットワークを介して接続された外部サーバにおける画像認識処理である、
    請求項10記載のロボット。
  15. 前記制御回路は、前記画像認識処理に基づいて応答する場合、
    前記カメラを用いて認識対象物を撮像させ、
    前記通信回路を用いて前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部サーバに送信させ、
    前記通信回路を用いて前記外部サーバから前記認識対象物の画像の認識結果を受信させ、
    前記出力装置を介して前記受信した認識結果を出力させる、
    請求項14記載のロボット。
  16. 球体状の筐体と、
    前記筐体の内側部に配置されたフレームと、
    前記フレームに備え付けられた、少なくともロボットの顔の一部を表示する表示部と、
    前記フレームに備え付けられたカメラと、
    前記フレームに備え付けられた入力装置と、
    前記フレームに備え付けられた出力装置と、
    前記フレームに備え付けられ、外部ネットワークに接続される通信回路と、
    前記フレームに備え付けられ、前記筐体の内周面に接して前記筐体を回転させる一組の駆動輪と、
    前記フレームに備え付けられ、前記一組の駆動輪の駆動軸に対して垂直方向に延びるシャフトと、
    前記フレームに備え付けられ、一定方向に重りを往復移動させる重り駆動機構と、
    前記シャフトを中心に前記重り駆動機構を回転させる回転機構と、
    前記入力装置を介して入力したユーザの音声指示に対して応答するために画像認識処理が必要な場合に前記カメラを用いて認識対象物を撮像させ、前記外部ネットワークを経由して前記撮像された認識対象物の画像を前記外部ネットワークを介して接続された外部サーバに送信させ、前記外部ネットワークを介して接続された外部サーバから前記認識対象物の画像の認識結果を受信させ、前記出力装置を介して前記受信した認識結果を出力させる制御回路と、を備え、
    前記制御回路は、
    前記外部サーバにおけるによる前記認識対象物の画像の認識結果が必要な場合、前記重り駆動機構を回転させて、前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させ、前記鉛直面に直交した前記一定方向に前記重りを往復移動させる、
    ロボット。
  17. 前記制御回路は、
    前記認識対象物の画像の認識結果を受信した後、前記重りのデフォルト位置において前記重りの往復移動を停止させ、前記スピーカを介して前記受信した認識結果を出力させる、
    請求項16記載のロボット。
  18. 画像認識用の参照データを格納するメモリを設け、
    前記制御回路は、
    前記ユーザの音声指示に対して応答するために前記外部サーバによる前記認識対象物の画像の認識結果は必要でなく、前記メモリに格納された前記画像認識用の参照データに基づく前記認識対象物の画像認識処理で前記応答が可能であると判断した場合、前記鉛直面に直交した前記一定方向に前記重りを往復移動させる制御を行うことなく、前記出力装置を介して前記参照データに基づく認識結果を出力させる、
    請求項16記載のロボット。
  19. 前記制御回路は、
    前記重り駆動機構が前記重りを往復移動させる前記一定方向を、前記表示部の中心部と前記シャフトとを結ぶ仮想線を含む鉛直面に対して直交させる、
    請求項16から18のいずれか1項に記載のロボット。
  20. 前記画像認識処理は、2以上の工程からなり、
    前記制御回路は、
    前記2以上の工程の各々が終わる毎に、前記重りが前記重りのデフォルト位置から往復移動する距離を短縮させる、
    請求項16から19のいずれか1項に記載のロボット。
JP2016100090A 2016-05-19 2016-05-19 ロボット Withdrawn JP2017205313A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016100090A JP2017205313A (ja) 2016-05-19 2016-05-19 ロボット
CA2995555A CA2995555A1 (en) 2016-05-19 2017-05-09 Robot
CN201780001171.8A CN107635629A (zh) 2016-05-19 2017-05-09 机器人
EP17799208.8A EP3459608A4 (en) 2016-05-19 2017-05-09 ROBOT
PCT/JP2017/017439 WO2017199783A1 (ja) 2016-05-19 2017-05-09 ロボット
US15/888,177 US20180154273A1 (en) 2016-05-19 2018-02-05 Robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016100090A JP2017205313A (ja) 2016-05-19 2016-05-19 ロボット

Publications (1)

Publication Number Publication Date
JP2017205313A true JP2017205313A (ja) 2017-11-24

Family

ID=60325838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016100090A Withdrawn JP2017205313A (ja) 2016-05-19 2016-05-19 ロボット

Country Status (6)

Country Link
US (1) US20180154273A1 (ja)
EP (1) EP3459608A4 (ja)
JP (1) JP2017205313A (ja)
CN (1) CN107635629A (ja)
CA (1) CA2995555A1 (ja)
WO (1) WO2017199783A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739112A (zh) * 2018-12-29 2019-05-10 张卫校 一种摇摆物体控制方法与摇摆物体

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD922502S1 (en) * 2017-07-05 2021-06-15 Skip Hop, Inc. Children's toy
JP7199071B2 (ja) * 2017-07-06 2023-01-05 国立研究開発法人宇宙航空研究開発機構 移動型撮像装置
US20210103281A1 (en) * 2018-02-26 2021-04-08 Sony Corporation Information processor, information processing method, and program
JP6800183B2 (ja) * 2018-07-13 2020-12-16 本田技研工業株式会社 コミュニケーション装置
CN111090305A (zh) * 2019-11-27 2020-05-01 新华蓝海(北京)人工智能技术有限公司 一种3d智能税务服务设备
CN112548984B (zh) * 2020-12-10 2022-04-12 逻腾(杭州)科技有限公司 一种带伸缩臂的滚动越障机器人
CN113212579B (zh) * 2021-05-10 2022-06-14 北京邮电大学 一种球轮腿复合可对外操作移动机器人

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2274770A1 (fr) * 1999-06-15 2000-12-15 Serge Caron Robot-boule
JP2001188555A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
KR20020061961A (ko) * 2001-01-19 2002-07-25 사성동 지능형 애완로봇
JP2004148439A (ja) * 2002-10-30 2004-05-27 Sony Corp 球形ロボット及び球形ロボットの制御方法
US7258591B2 (en) * 2003-01-06 2007-08-21 The Chinese University Of Hong Kong Mobile roly-poly-type apparatus and method
SE0402672D0 (sv) * 2004-11-02 2004-11-02 Viktor Kaznov Ball robot
CN101229832B (zh) * 2008-02-28 2010-06-02 南京航空航天大学 全向运动球形机器人
CN201189913Y (zh) * 2008-02-28 2009-02-04 南京航空航天大学 球形机器人全方位运动简化机构
US9272743B2 (en) * 2009-04-10 2016-03-01 The United States Of America As Represented By The Secretary Of The Navy Spherical modular autonomous robotic traveler
US9429940B2 (en) * 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US20120173050A1 (en) * 2011-01-05 2012-07-05 Bernstein Ian H System and method for controlling a self-propelled device in connection with a virtual environment
US10281915B2 (en) * 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9090214B2 (en) * 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
CN102161356B (zh) * 2011-05-09 2013-01-30 北京邮电大学 三驱动球形机器人
JP2015138147A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
JPWO2016068262A1 (ja) * 2014-10-29 2017-08-10 京セラ株式会社 コミュニケーションロボット
JP2017205324A (ja) * 2016-05-19 2017-11-24 パナソニックIpマネジメント株式会社 ロボット
JP6735013B2 (ja) * 2016-05-31 2020-08-05 パナソニック株式会社 ロボット
JP6936081B2 (ja) * 2017-08-30 2021-09-15 パナソニック株式会社 ロボット

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739112A (zh) * 2018-12-29 2019-05-10 张卫校 一种摇摆物体控制方法与摇摆物体

Also Published As

Publication number Publication date
WO2017199783A1 (ja) 2017-11-23
EP3459608A4 (en) 2019-05-08
CA2995555A1 (en) 2017-11-23
EP3459608A1 (en) 2019-03-27
CN107635629A (zh) 2018-01-26
US20180154273A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
JP6735013B2 (ja) ロボット
WO2017199783A1 (ja) ロボット
WO2017199782A1 (ja) ロボット
US10341612B2 (en) Method for providing virtual space, and system for executing the method
US10453248B2 (en) Method of providing virtual space and system for executing the same
US20180286122A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
US20180165862A1 (en) Method for communication via virtual space, program for executing the method on a computer, and information processing device for executing the program
US10438394B2 (en) Information processing method, virtual space delivering system and apparatus therefor
US10921818B2 (en) Robot
US20190018479A1 (en) Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space
JP2019008510A (ja) ロボット、ロボットの制御方法及びプログラム
US20180376069A1 (en) Erroneous operation-preventable robot, robot control method, and recording medium
US10799806B2 (en) Robot
US20180190010A1 (en) Method for providing virtual space, program for executing the method on computer, and information processing apparatus for executing the program
US20180348986A1 (en) Method executed on computer for providing virtual space, program and information processing apparatus therefor
JP7102169B2 (ja) 装置、ロボット、方法、及びプログラム
JP2023095918A (ja) ロボット、ロボットの制御方法及びプログラム
WO2020129421A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6454041B1 (ja) ゲーム装置、及びゲームシステム
JP2019135655A (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置
JP2019181156A (ja) ゲーム装置、及びゲームシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181129

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20190612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190710