JP2019514136A - マルチユーザ対話方法、装置及びシャペロンロボット - Google Patents

マルチユーザ対話方法、装置及びシャペロンロボット Download PDF

Info

Publication number
JP2019514136A
JP2019514136A JP2018554473A JP2018554473A JP2019514136A JP 2019514136 A JP2019514136 A JP 2019514136A JP 2018554473 A JP2018554473 A JP 2018554473A JP 2018554473 A JP2018554473 A JP 2018554473A JP 2019514136 A JP2019514136 A JP 2019514136A
Authority
JP
Japan
Prior art keywords
user
robot
chaperon
display areas
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018554473A
Other languages
English (en)
Inventor
シュエン ジャン
シュエン ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Royole Technologies Co Ltd
Original Assignee
Shenzhen Royole Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Royole Technologies Co Ltd filed Critical Shenzhen Royole Technologies Co Ltd
Publication of JP2019514136A publication Critical patent/JP2019514136A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

【課題】マルチユーザ対話方法、マルチユーザ対話装置及びシャペロンロボットを提供する。【解決手段】本発明に係わるマルチユーザ対話方法は、シャペロンロボット50のユーザ数量及びシャペロンロボット50に対するユーザの方位を検出するステップと、ユーザ数量及び方位に基づいて、シャペロンロボット50の表示スクリーン55を複数の分割表示領域に分割するステップと、複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話するステップと、を備える。この方法を採用して、シャペロンロボット50とマルチユーザとの間の同期対話を実現し、シャペロンロボット50の消費電力と製造コストを削減し、シャペロンロボット50の全体的な性能を向上させることができる。【選択図】図1

Description

本発明は、ヒューマンコンピュータインタラクション(Human-ComputerInteraction,HCI)分野に関するものであり、特に、マルチユーザ対話方法、マルチユーザ対話装置及びシャペロンロボット(chaperone robot)に関するものである。
家庭用設備が絶えず知能化していくことに伴い、消費者の知能化サービスに対する需要も絶えず増加している。近年、ロボット応用を工業分野から家庭サービス、医療快復、教育娯楽などの分野に移行することにより、様々な形態のシャペロンロボットが市場に登場し、消費者にさらに知能的な且つさらに便利な生活体験をもたらす。シャペロンロボットとユーザとの間の一部分の情報対話は表示スクリーンによって実現することを必要として、例えば、シャペロンロボットの頭部や身体にタッチ表示スクリーンを埋め込むことにより、ユーザが入力する情報を受信し且つ対応する出力情報を表示することができ、従って情報対話を実現する。しかし、このような対話方式は同時に1つのユーザとの情報対話を実現するしかない。複数のユーザが同時に使用する場合、タッチ表示スクリーンを対応するユーザに向けるために、ロボットを駆動して全体的に回転するか又は部分的に回転することを必要とする。ロボットの回転駆動は大量の電気エネルギーを消耗し、且つ部分的に回転する方式であれば、例えば、頭部回転方式であれば、ロボットに回転機構を設置することを必要として、使用時間や回数が絶えずに増加することに伴い、回転機構に損耗が発生して、さらにロボットの故障を招く、シャペロンロボットの全体的な性能を改善することに不利になる。
先行技術に存在する上記の問題に鑑み、本発明の実施形態はマルチユーザ対話方法、マルチユーザ対話装置及びシャペロンロボットを提供し、シャペロンロボットとマルチユーザとの間の同期対話を実現し、シャペロンロボットの消費電力と製造コストを削減し、シャペロンロボットの全体的な性能を向上させる。
本発明に係わるマルチユーザ対話方法は、
シャペロンロボットのユーザ数量及びシャペロンロボットに対するユーザの方位を検出するステップと、
ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するステップと、
複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話するステップと、
を備える。
その中において、ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するステップは、
方位の数量に基づいて、第一方向で分割しようとする第一分割表示領域の数量を計算するステップと、
予め設定された可視角度に基づいて、各々の方位に対応する第一分割表示領域の位置と大きさを計算するステップと、
第一方向で表示スクリーンを方位の数量に対応する複数の第一分割表示領域に分割するステップと、
を備える。
その中において、ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するステップは、
各々の方位のユーザ数量に基づいて、第二方向で分割しようとする第二分割表示領域の数量を計算するステップと、
第二方向で方位に対応する第一分割表示領域を方位のユーザ数量に対応する複数の第二分割表示領域に分割するステップと、
をさらに備える。
その中において、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割してから、複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話する前に、この方法は、
シャペロンロボットに対するユーザの姿勢を検出するステップと、
シャペロンロボットに対するユーザの姿勢に基づいて、分割表示領域を制御して表示方向を調整するステップと、
をさらに備える。
その中において、複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話するステップは、
各々の分割表示領域によって異なるユーザの入力情報を別々に受信するステップと、
各々のユーザの入力情報に対して個別に処理するステップと、
複数の分割表示領域によって異なるユーザに出力情報を別々に表示するステップと、
を備える。
本発明に係わるマルチユーザ対話装置は、
シャペロンロボットのユーザ数量及びシャペロンロボットに対するユーザの方位を検出するために用いられる検出ユニットと、
ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するために用いられる分割ユニットと、
複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話するために用いられる対話ユニットと、
を備える。
その中において、分割ユニットは、
方位の数量に基づいて、第一方向で分割しようとする第一分割表示領域の数量を計算するために用いられる数量確定サブユニットと、
予め設定された可視角度に基づいて、各々の方位に対応する第一分割表示領域の位置と大きさを計算するために用いられる位置確定サブユニットと、
第一方向で表示スクリーンを方位の数量に対応する複数の第一分割表示領域に分割するために用いられる分割処理サブユニットと、
を備える。
その中において、数量確定サブユニットは、さらに各々の方位のユーザ数量に基づいて、第二方向で分割しようとする第二分割表示領域の数量を計算するために用いられ、
分割処理サブユニットは、さらに第二方向で方位に対応する第一分割表示領域を方位のユーザ数量に対応する複数の第二分割表示領域に分割するために用いられる。
その中において、検出ユニットは、さらにシャペロンロボットに対するユーザの姿勢を検出するために用いられ、
分割ユニットは、さらにシャペロンロボットに対するユーザの姿勢に基づいて分割表示領域を制御して表示方向を調整するために用いられる。
その中において、対話ユニットは、
各々の分割表示領域によって異なるユーザの入力情報を別々に受信するために用いられる入力サブユニットと、
各々のユーザの入力情報に対して個別に処理するために用いられる処理サブユニットと、
複数の分割表示領域によって異なるユーザに出力情報を別々に表示するために用いられる出力サブユニットと、
を備える。
本発明に係わるシャペロンロボットは本体及び頭部を備え、シャペロンロボットは、プロセッサ、メモリ、表示スクリーン及び複数のセンサーをさらに備え、表示スクリーンと複数のセンサーは本体又は頭部の周りに設置され、プロセッサは、メモリ、表示スクリーン及び複数のセンサーに電気的に接続され、プロセッサは、メモリに格納された実行可能プログラムコードを呼び出すために用いられ、且つ以下の操作を実行する:
複数のセンサーによってシャペロンロボットのユーザ数量及びシャペロンロボットに対するユーザの方位を検出し、
ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割し、
複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話する。
その中において、ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割することは、
方位の数量に基づいて、第一方向で分割しようとする第一分割表示領域の数量を計算し、
予め設定された可視角度に基づいて、各々の方位に対応する第一分割表示領域の位置と大きさを計算し、
第一方向で表示スクリーンを方位の数量に対応する複数の第一分割表示領域に分割する、
ことを備える。
その中において、ユーザの数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割することは、
各々の方位のユーザ数量に基づいて、第二方向で分割しようとする第二分割表示領域の数量を計算し、
第二方向で方位に対応する第一分割表示領域を方位のユーザ数量に対応する複数の第二分割表示領域に分割する、
ことをさらに備える。
その中において、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割してから、複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話する前に、この操作は、
センサーによってシャペロンロボットに対するユーザの姿勢を検出し、
シャペロンロボットに対するユーザの姿勢に基づいて、分割表示領域を制御して表示方向を調整する、
ことをさらに備える。
その中において、複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話することは、
各々の分割表示領域によって異なるユーザの入力情報を別々に受信し、
各々のユーザの入力情報に対して個別に処理し、
複数の分割表示領域によって異なるユーザに出力情報を別々に表示する、
ことを備える。
本発明に係わるマルチユーザ対話方法、装置及びシャペロンロボットは、シャペロンロボットのユーザ数量及びシャペロンロボットに対するユーザの方位を検出し、且つシャペロンロボットの表示スクリーンを複数の分割表示領域に分割して、複数の分割表示領域によって異なる方位に位置するユーザーと同時に対話することにより、シャペロンロボットとマルチユーザとの間の同期対話を実現し、シャペロンロボットの消費電力と製造コストを削減し、シャペロンロボットの全体的な性能を向上させることができる。
以下、本発明の実施形態に係る技術的方案をより明確に説明するために、本発明の実施形態に使用される図面について簡単に説明する。
図1は、本発明の実施形態に係わるマルチユーザ対話方法の第一フローチャートである。 図2は、本発明の実施形態に係わるマルチユーザ対話方法の第二フローチャートである。 図3は、本発明の実施形態に係わるマルチユーザ対話方法の第三フローチャートである。 図4は、本発明の実施形態に係わるマルチユーザ対話装置の構造概略図である。 図5は、本発明の実施形態に係わるシャペロンロボットの構造概略図である。 図6は、本発明の実施形態に係わるシャペロンロボットの第一使用場景を示す図である。 図7は、本発明の実施形態に係わるシャペロンロボットの第二使用場景を示す図である。 図8は、本発明の実施形態に係わるシャペロンロボットの第三使用場景を示す図である。 図9は、本発明の実施形態に係わるシャペロンロボットの第四使用場景を示す図である。
以下に、本発明の実施形態の添付の図面を参照しながら、本発明の実施形態の技術的手段を明確且つ完全に説明する。明らかに、説明される実施形態は、本発明の一部の実施形態だけのものであり、全ての実施形態ではない。本明細書に説明される実施形態から創造的な努力なしに当業者が得ることができるすべての別の実施形態は、本発明の範囲に入るものとする。
図1を参照すると、本発明の一つの実施形態において、マルチユーザ対話方法が提供され、この方法はシャペロンロボットに応用されることができ、シャペロンロボットとマルチユーザとの間の同期対話を実現し、シャペロンロボットの消費電力と製造コストを削減し、且つシャペロンロボットの全体的な性能を向上させる。
マルチユーザ対話方法は、少なくとも以下のステップを備える。
ステップS11:シャペロンロボットのユーザ数量及びシャペロンロボットに対するユーザの方位を検出する。
ステップS13:上述ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割する。
ステップS15:複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話する。
その中において、シャペロンロボットは、本体と、頭部と、本体又は頭部の周りに設置された表示スクリーン及び複数のセンサーと、を備えることができる。表示スクリーンはユーザと対話するために用いられ、本実施形態において、表示スクリーンはフレキシブルタッチ表示スクリーンであり、それはユーザの入力情報を受信し且つ対応する出力情報を表示することができる。複数のセンサーは、シャペロンロボットのユーザ数量及びシャペロンロボットに対するユーザの方位を検出するために用いられる。複数のセンサーは、予め設定された方位によって本体又は頭部の周りに等間隔で設置され且つ同じ水平面に位置することができ、従ってシャペロンロボットの異なる方位に位置するユーザ数量を検出し且つ全ての方位のユーザ数量を統計することができると理解されるべきである。
本実施形態において、センサーはイメージセンサーであることができ、各々のイメージセンサーは1つの方位に対応し、且つ隣り合う2つのイメージセンサーに対応する方位はシームレスに接続され、従って複数のイメージセンサーによってシャペロンロボット周りのパノラマ画像を獲得することができ、さらに画像処理によって各々の方位のユーザ数量及び全てのユーザ数量を獲得することができる。その中において、各々のイメージセンサーに対応する方位は、各々のイメージセンサーの最大結像角度がカバーできる方向及び範囲に対応し、例えば、1つのイメージセンサーの最大結像角度が90度であると仮定すると、シャペロンロボットの本体又は頭部に90度のピッチで4つのイメージセンサーを設置することにより、シャペロンロボットの全ての方位をカバーすることができる。
シャペロンロボットは、プロセッサとメモリをさらに備える。プロセッサは、メモリ、表示スクリーン及び複数のセンサーに電気的に接続されている。プロセッサは、複数のセンサーによって検出されたユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割し、ユーザの入力情報を処理して対応する出力情報を生成し、且つ複数の分割表示領域を制御して別々に表示するようにするために用いられる。本実施形態において、各々の分割表示領域によって異なるユーザの入力情報を別々に受信することができ、プロセッサによって各々のユーザの入力情報に対して個別に処理し、複数の分割表示領域によって異なるユーザに出力情報を別々に表示する。メモリは、システムデータ及びユーザデータを格納するために用いられ、例えば、シャペロンロボットの操作システム又は実行プログラム、ユーザが自分で定義したパラメータなどである。
図2を参照すると、ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するステップは、
S131:上述方位の数量に基づいて、第一方向で分割しようとする第一分割表示領域の数量を計算するステップと、
S133:予め設定された可視角度に基づいて、各々の方位に対応する第一分割表示領域の位置と大きさを計算するステップと、
S135:第一方向で表示スクリーンを方位の数量に対応する複数の第一分割表示領域に分割するステップと、
を備える。
本実施形態において、第一方向は水平方向である。表示スクリーンはシャペロンロボットの頭部又は本体の周りに設置されるので、表示スクリーンによってシャペロンロボット周りのユーザと対話することができる。それとともに、表示スクリーンによって異なる方位に位置するユーザに提供される視角は有限であるので、例えば、シャペロンロボットの左側に位置する表示スクリーンに表示される内容は、同様にシャペロンロボットの左側に位置するユーザだけが見ることができるので、方位の数量に基づいて、シャペロンロボットの頭部又は本体を水平に取り囲む方向で表示スクリーンを方位の数量に対応する複数の第一分割表示領域に分割することを必要として、従って複数の第一分割表示領域によって異なる方位に位置するユーザと別々に対話する。各々の方位のユーザ数量は1つ又は複数であることができると理解されるべきである。予め設定された可視角度は、各々の方位のユーザが異なる視角から分割表示領域に表示される全ての内容を明確に観察することができる角度である。
表示スクリーンをシャペロンロボットの頭部又は本体の周りに設置し、且つシャペロンロボットの異なるユーザの方位は異なることに基づいて、表示スクリーンを方位の数量に対応する複数の第一分割表示領域に分割し、複数の第一分割表示領域によって対応する方位のユーザと別々に対話を行うことにより、マルチユーザとの同期対話を実現するとともに、シャペロンロボットを駆動して回転しなくてもよく、シャペロンロボットの消費電力と製造コストを削減し、シャペロンロボットの全体的な性能を向上させるのに役立つ。
その中において、ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するステップは、
S137:各々の方位のユーザ数量に基づいて、第二方向で分割しようとする第二分割表示領域の数量を計算するステップと、
S139:第二方向で上述方位に対応する第一分割表示領域を上述方位のユーザ数量に対応する複数の第二分割表示領域に分割するステップと、
をさらに備える。
シャペロンロボットのその中の1つの方位に位置するユーザ数量が1つより大きい場合、シャペロンロボットと各々のユーザとの間の別個の対話を実現するために、この方位に対応する第一分割表示領域をさらに複数の第二分割表示領域に分割することを必要として、複数の第二分割表示領域によってこの方位に位置する複数のユーザと対話すると理解されるべきである。本実施形態において、第二方向は垂直方向である。方位に対応する各々の第一分割表示領域の大きさは「各々の方位のユーザが異なる視角から分割表示領域に表示される全ての内容を明確に観察することができる」という条件に基づいて設定され、且つ表示スクリーンの垂直方向の曲率は水平方向の曲率よりもはるかに小さく、即ちこの方位に位置する全てのユーザは垂直方向で第一分割表示領域に表示される全ての内容を皆明確に観察することができるので、方位に対応する第一分割表示領域を方位のユーザ数量に対応する複数の第二分割表示領域に分割する場合、直接に方位のユーザ数量に基づいて第一分割表示領域を対応する数量の第二分割表示領域に均等に分割することができると理解されるべきである。
図3を参照すると、本発明の1つの実施形態において、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割してから、複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話する前に、マルチユーザ対話方法は、以下のステップをさらに備える。
ステップS14:シャペロンロボットに対するユーザの姿勢を検出し、且つシャペロンロボットに対するユーザの姿勢に基づいて分割表示領域を制御して表示方向を調整する。
本実施形態において、センサーはさらに顔認識に用いられ、顔認識の結果に基づいてシャペロンロボットに対するユーザの姿勢を検出してから、プロセッサによってユーザに対応する分割表示領域を制御して表示方向を調整することにより、分割表示領域の表示方向とシャペロンロボットに対するユーザの姿勢を一致させて、ユーザ体験を改善する。その中において、シャペロンロボットに対するユーザの姿勢は立っている姿又は横になっている姿であることができ、例えば、シャペロンロボットはベッドサイドに立ってベッドに寝ているユーザと対話する場合、シャペロンロボットに対するユーザの姿は横になっている姿であり、この時、ユーザに対応する分割表示領域を制御して表示方向をユーザの視線方向と同じになるように調整することができ、従ってユーザが横になって分割表示領域の内容を見る時の快適性を高める。
図4を参照すると、本発明の実施形態において、さらにマルチユーザ対話装置40が提供され、
シャペロンロボットのユーザ数量及びシャペロンロボットに対するユーザの方位を検出するために用いられる検出ユニット41と、
ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するために用いられる分割ユニット43と、
複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話するために用いられる対話ユニット45と、
を備える。
その中において、分割ユニット43は、
方位の数量に基づいて、第一方向で分割しようとする第一分割表示領域の数量を計算するために用いられる数量確定サブユニット431と、
予め設定された可視角度に基づいて、各々の方位に対応する第一分割表示領域の位置と大きさを計算するために用いられる位置確定サブユニット433と、
第一方向で表示スクリーンを方位の数量に対応する複数の第一分割表示領域に分割するために用いられる分割処理サブユニット435と、
を備える。
その中において、数量確定サブユニット431は、さらに各々の方位のユーザ数量に基づいて、第二方向で分割しようとする第二分割表示領域の数量を計算するために用いられ、
分割処理サブユニット435は、さらに第二方向で方位に対応する第一分割表示領域を方位のユーザ数量に対応する複数の第二分割表示領域に分割するために用いられる。
その中において、検出ユニット41は、さらにシャペロンロボットに対するユーザの姿勢を検出するために用いられ、
分割ユニット43は、さらにシャペロンロボットに対するユーザの姿勢に基づいて分割表示領域を制御して表示方向を調整するために用いられる。
その中において、対話ユニット45は、
各々の分割表示領域によって異なるユーザの入力情報を別々に受信するために用いられる入力サブユニット451と、
各々のユーザの入力情報に対して個別に処理するために用いられる処理サブユニット453と、
複数の分割表示領域によって異なるユーザに出力情報を別々に表示するために用いられる出力サブユニット455と、
を備える。
本実施形態に係わるマルチユーザ対話装置40の各構成要素の機能及びその具体的な実現は、図1〜図3に示された方法の実施形態に関する説明を参照することができ、ここで詳しく説明しないと理解されるべきである。
図5を参照すると、本発明の実施形態において、さらにシャペロンロボット50が提供され、本体51と、頭部53と、本体51又は頭部53の周りに設置された表示スクリーン55と、複数のセンサー57と、を備える。表示スクリーン55は、ユーザと対話するために用いられる。本実施形態において、表示スクリーン55はフレキシブルタッチ表示スクリーンであり、それはユーザの入力情報を受信し且つ対応する出力情報を表示することができる。複数のセンサー57は、シャペロンロボット50のユーザ数量及びシャペロンロボット50に対するユーザの方位を検出するために用いられる。複数のセンサー57は、予め設定された方位によって本体51又は頭部53の周りに等間隔で設置され且つ同じ水平面に位置することができ、従ってシャペロンロボット50の異なる方位に位置するユーザ数量を検出し且つ全ての方位のユーザ数量を統計することができると理解されるべきである。本実施形態において、センサー57は、イメージセンサーであることができる。
シャペロンロボット50は、プロセッサ58とメモリ59をさらに備える。プロセッサ58は、メモリ59、表示スクリーン55及び複数のセンサー57に電気的に接続されている。プロセッサ58は、複数のセンサー57によって検出されたユーザ数量及び方位に基づいて、表示スクリーン55を複数の分割表示領域に分割し、ユーザの入力情報を処理して対応する出力情報を生成し、且つ複数の分割表示領域を制御して別々に表示するようにするために用いられる。メモリ59は、システムデータ及びユーザデータを格納するために用いられ、例えば、シャペロンロボット50の操作システム又は実行プログラム、ユーザが自分で定義したパラメータなどである。本実施形態において、メモリ59は、さらにマルチユーザ対話装置40を実現するために用られる実行可能プログラムコードを格納するために用いられ、プロセッサ58は、メモリ59に格納された実行可能プログラムコードを呼び出すために用いられ、且つ以下の操作を実行する。
複数のセンサー57によってシャペロンロボット50のユーザ数量及びシャペロンロボット50に対するユーザの方位を検出する。
ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーン55を複数の分割表示領域に分割する。
複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話する。
その中において、ユーザ数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割することは、
方位の数量に基づいて、第一方向で分割しようとする第一分割表示領域の数量を計算し、
予め設定された可視角度に基づいて、各々の方位に対応する第一分割表示領域の位置と大きさを計算し、
第一方向で表示スクリーンを方位の数量に対応する複数の第一分割表示領域に分割する、
ことを備える。
図6を参照すると、1つの使用場景において、シャペロンロボット50の周りに複数のユーザを備えることができ、例えば、ユーザAとユーザBである。その中において、ユーザAはシャペロンロボット50の第一方位に位置し、ユーザBはシャペロンロボット50の第二方位に位置し、第一方位と第二方位はお互いに対向している。センサー57によってユーザAとユーザBの方位をそれぞれ検出してから、シャペロンロボット50は表示スクリーン55を第一方位及び第二方位に対応する2つの第一分割表示領域551に分割し、その中の1つの第一分割表示領域551はユーザAと対話するために用いられ、他の1つの第一分割表示領域551はユーザBと対話するために用いられ、2つの第一分割表示領域551の間は互いに独立に表示され、即ち、2つの第一分割表示領域551に表示される内容は異なってもよい。
シャペロンロボット50は、図6に示されたように、表示スクリーン55を2つの第一分割表示領域551に分割することに限定されるものではなく、方位の数量に基づいて、表示スクリーン55を互いに独立した複数の第一分割表示領域551に分割することができ、複数の第一分割表示領域551は水平方向に沿ってシャペロンロボット50の本体51又は頭部53の周りに間隔を置いて設置されると理解されるべきである。本実施形態において、図7に示されたように、複数の第一分割表示領域551は水平方向に沿ってシャペロンロボット50の頭部53の周りに間隔を置いて設置される。
その中において、ユーザの数量及び方位に基づいて、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割することは、
各々の方位のユーザ数量に基づいて、第二方向で分割しようとする第二分割表示領域の数量を計算し、
第二方向で方位に対応する第一分割表示領域を方位のユーザ数量に対応する複数の第二分割表示領域に分割する、
ことをさらに備える。
図8に示されたように、1つの使用場景において、シャペロンロボット50の1つの方位に複数のユーザを備える場合、第二方向でこの方位に対応する第一分割表示領域551をこの方位のユーザ数量に対応する複数の第二分割表示領域553に分割することができる。本実施形態において、第二方向は垂直方向であり、シャペロンロボット50の1つの方位に2つのユーザを備え、この方位に対応する第一分割表示領域551は垂直方向で2つの第二分割表示領域553に分割されて、2つの第二分割表示領域553によってこの方位の2つのユーザと対話することができる。その中において、2つの第二分割表示領域553の大きさは同じである。
その中において、シャペロンロボットの表示スクリーンを複数の分割表示領域に分割してから、複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話する前に、その操作は、
センサー57によってシャペロンロボット50に対するユーザの姿勢を検出し、
シャペロンロボット50に対するユーザの姿勢に基づいて、分割表示領域を制御して表示方向を調整する、
ことをさらに備える。
図9を参照すると、1つの使用場景において、センサー57はさらに顔認識に用いられ、顔認識の結果に基づいて、シャペロンロボット50に対するユーザの姿勢を検出してから、プロセッサ58によってユーザに対応する分割表示領域551を制御して表示方向を調整することにより、分割表示領域551の表示方向とシャペロンロボット50に対するユーザの姿勢を一致させて、ユーザ体験を改善する。その中において、シャペロンロボット50に対するユーザの姿勢は立っている姿又は横になっている姿であることができる。センサー57によって、現在の分割表示領域551に対応する方位のユーザがシャペロンロボット50に対する姿勢は立っている姿であると検出された場合、分割表示領域551の表示方向は図9(a)に示すようになり、即ち、分割表示領域551の表示される画像の方向と立っているユーザの視線方向と一致する。センサー57によって、現在の分割表示領域551に対応する方位のユーザがシャペロンロボット50に対する姿勢は横になっている姿であると検出された場合、プロセッサ58によって分割表示領域551を制御して、図9(b)に示されたように、表示方向を横になっているユーザの視線方向と一致するまで調整する。
その中において、複数の分割表示領域によって、異なる方位に位置するユーザーと同時に対話することは、
各々の分割表示領域によって異なるユーザの入力情報を別々に受信し、
各々のユーザの入力情報に対して個別に処理し、
複数の分割表示領域によって異なるユーザに出力情報を別々に表示する、
ことを備える。
本実施形態に係わるシャペロンロボット50の各構成要素の機能及びその具体的な実現は、図1〜図3に示された方法の実施形態に関する説明を参照することができ、ここで詳しく説明しないと理解されるべきである。
マルチユーザ対話方法、装置及びシャペロンロボットは、シャペロンロボットのユーザ数量及びシャペロンロボットに対するユーザの方位を検出し、且つシャペロンロボットの表示スクリーンを複数の分割表示領域に分割して、複数の分割表示領域によって異なる方位に位置するユーザーと同時に対話することにより、シャペロンロボットとマルチユーザとの間の同期対話を実現し、シャペロンロボットの消費電力と製造コストを削減し、シャペロンロボットの全体的な性能を向上させることができる。
上述したのは本発明の好ましい実施形態であり、本発明の範囲を限定するものではない。当業者であれば、上記した実施形態を実現するプロセスの全部又は一部を理解することができ、その要旨を逸脱しない範囲内で同等の変更が行われたとしても、本発明の範囲に属するものである。

Claims (15)

  1. マルチユーザ対話方法であって、前記方法は、
    シャペロンロボットのユーザ数量及び前記シャペロンロボットに対するユーザの方位を検出するステップと、
    前記ユーザ数量及び方位に基づいて、前記シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するステップと、
    複数の前記分割表示領域によって、異なる方位に位置するユーザーと同時に対話するステップと、
    を備えることを特徴とする方法。
  2. 前記ユーザ数量及び方位に基づいて、前記シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するステップは、
    前記方位の数量に基づいて、第一方向で分割しようとする第一分割表示領域の数量を計算するステップと、
    予め設定された可視角度に基づいて、各々の前記方位に対応する第一分割表示領域の位置と大きさを計算するステップと、
    第一方向で前記表示スクリーンを前記方位の数量に対応する複数の第一分割表示領域に分割するステップと、
    を備えることを特徴とする請求項1に記載の方法。
  3. 前記ユーザ数量及び方位に基づいて、前記シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するステップは、
    各々の前記方位のユーザ数量に基づいて、第二方向で分割しようとする第二分割表示領域の数量を計算するステップと、
    第二方向で前記方位に対応する第一分割表示領域を前記方位のユーザ数量に対応する複数の第二分割表示領域に分割するステップと、
    をさらに備えることを特徴とする請求項2に記載の方法。
  4. 前記シャペロンロボットの表示スクリーンを複数の分割表示領域に分割してから、複数の前記分割表示領域によって、異なる方位に位置するユーザーと同時に対話する前に、前記方法は、
    前記シャペロンロボットに対する前記ユーザの姿勢を検出するステップと、
    前記シャペロンロボットに対する前記ユーザの姿勢に基づいて、前記分割表示領域を制御して表示方向を調整するステップと、
    をさらに備えることを特徴とする請求項1〜3のいずれか一項に記載の方法。
  5. 複数の前記分割表示領域によって、異なる方位に位置するユーザーと同時に対話するステップは、
    各々の前記分割表示領域によって異なるユーザの入力情報を別々に受信するステップと、
    各々のユーザの入力情報に対して個別に処理するステップと、
    複数の前記分割表示領域によって異なるユーザに出力情報を別々に表示するステップと、
    を備えることを特徴とする請求項1〜3のいずれか一項に記載の方法。
  6. マルチユーザ対話装置であって、前記装置は、
    シャペロンロボットのユーザ数量及び前記シャペロンロボットに対するユーザの方位を検出するために用いられる検出ユニットと、
    前記ユーザ数量及び方位に基づいて、前記シャペロンロボットの表示スクリーンを複数の分割表示領域に分割するために用いられる分割ユニットと、
    複数の前記分割表示領域によって、異なる方位に位置するユーザーと同時に対話するために用いられる対話ユニットと、
    を備えることを特徴とする装置。
  7. 前記分割ユニットは、
    前記方位の数量に基づいて、第一方向で分割しようとする第一分割表示領域の数量を計算するために用いられる数量確定サブユニットと、
    予め設定された可視角度に基づいて、各々の前記方位に対応する第一分割表示領域の位置と大きさを計算するために用いられる位置確定サブユニットと、
    第一方向で前記表示スクリーンを前記方位の数量に対応する複数の第一分割表示領域に分割するために用いられる分割処理サブユニットと、
    を備えることを特徴とする請求項6に記載の装置。
  8. 前記数量確定サブユニットは、さらに各々の前記方位のユーザ数量に基づいて、第二方向で分割しようとする第二分割表示領域の数量を計算するために用いられ、
    前記分割処理サブユニットは、さらに第二方向で前記方位に対応する第一分割表示領域を前記方位のユーザ数量に対応する複数の第二分割表示領域に分割するために用いられる、
    ことを特徴とする請求項7に記載の装置。
  9. 前記検出ユニットは、さらに前記シャペロンロボットに対する前記ユーザの姿勢を検出するために用いられ、
    前記分割ユニットは、さらに前記シャペロンロボットに対する前記ユーザの姿勢に基づいて前記分割表示領域を制御して表示方向を調整するために用いられる、
    ことを特徴とする請求項6〜8のいずれか一項に記載の装置。
  10. 前記対話ユニットは、
    各々の前記分割表示領域によって異なるユーザの入力情報を別々に受信するために用いられる入力サブユニットと、
    各々の前記ユーザの入力情報に対して個別に処理するために用いられる処理サブユニットと、
    複数の前記分割表示領域によって異なるユーザに出力情報を別々に表示するために用いられる出力サブユニットと、
    を備えることを特徴とする請求項6〜8のいずれか一項に記載の装置。
  11. 本体及び頭部を備えるシャペロンロボットであって、
    前記シャペロンロボットは、プロセッサ、メモリ、表示スクリーン及び複数のセンサーをさらに備え、前記表示スクリーンと複数の前記センサーは前記本体又は前記頭部の周りに設置され、前記プロセッサは、前記メモリ、前記表示スクリーン及び複数の前記センサーに電気的に接続され、前記プロセッサは、前記メモリに格納された実行可能プログラムコードを呼び出すために用いられ、且つ以下の操作を実行する:
    複数の前記センサーによってシャペロンロボットのユーザ数量及びシャペロンロボットに対するユーザの方位を検出し、
    前記ユーザ数量及び方位に基づいて、前記シャペロンロボットの表示スクリーンを複数の分割表示領域に分割し、
    複数の前記分割表示領域によって、異なる方位に位置するユーザーと同時に対話する、
    ことを特徴とするシャペロンロボット。
  12. 前記ユーザ数量及び方位に基づいて、前記シャペロンロボットの表示スクリーンを複数の分割表示領域に分割することは、
    前記方位の数量に基づいて、第一方向で分割しようとする第一分割表示領域の数量を計算し、
    予め設定された可視角度に基づいて、各々の前記方位に対応する第一分割表示領域の位置と大きさを計算し、
    第一方向で前記表示スクリーンを前記方位の数量に対応する複数の第一分割表示領域に分割する、
    ことを備える、ことを特徴とする請求項11に記載のシャペロンロボット。
  13. 前記ユーザの数量及び方位に基づいて、前記シャペロンロボットの表示スクリーンを複数の分割表示領域に分割することは、
    各々の前記方位のユーザ数量に基づいて、第二方向で分割しようとする第二分割表示領域の数量を計算し、
    第二方向で前記方位に対応する第一分割表示領域を前記方位のユーザ数量に対応する複数の第二分割表示領域に分割する、
    ことをさらに備える、ことを特徴とする請求項12に記載のシャペロンロボット。
  14. 前記シャペロンロボットの表示スクリーンを複数の分割表示領域に分割してから、複数の前記分割表示領域によって、同時に異なる方位に位置するユーザーと対話する前に、前記操作は、
    前記センサーによって前記シャペロンロボットに対する前記ユーザの姿勢を検出し、
    前記シャペロンロボットに対する前記ユーザの姿勢に基づいて、前記分割表示領域を制御して表示方向を調整する、
    ことをさらに備える、ことを特徴とする請求項11〜13のいずれか一項に記載のシャペロンロボット。
  15. 複数の前記分割表示領域によって、異なる方位に位置するユーザーと同時に対話することは、
    各々の前記分割表示領域によって異なるユーザの入力情報を別々に受信し、
    各々のユーザの入力情報に対して個別に処理し、
    複数の前記分割表示領域によって異なるユーザに出力情報を別々に表示する、
    ことを備える、ことを特徴とする請求項11〜13のいずれか一項に記載のシャペロンロボット。

JP2018554473A 2016-06-16 2016-06-16 マルチユーザ対話方法、装置及びシャペロンロボット Pending JP2019514136A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/086073 WO2017214947A1 (zh) 2016-06-16 2016-06-16 多用户交互方法、装置及陪护机器人

Publications (1)

Publication Number Publication Date
JP2019514136A true JP2019514136A (ja) 2019-05-30

Family

ID=60662941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018554473A Pending JP2019514136A (ja) 2016-06-16 2016-06-16 マルチユーザ対話方法、装置及びシャペロンロボット

Country Status (5)

Country Link
US (1) US11023034B2 (ja)
EP (1) EP3473388A4 (ja)
JP (1) JP2019514136A (ja)
CN (1) CN107636696B (ja)
WO (1) WO2017214947A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197818A (ja) * 2019-05-31 2020-12-10 コニカミノルタ株式会社 画像形成装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595139B (zh) * 2018-05-08 2022-09-23 歌尔科技有限公司 智能多媒体设备及其显示方法
CN112639676A (zh) * 2018-09-20 2021-04-09 深圳市柔宇科技股份有限公司 显示控制方法及显示装置
WO2020124383A1 (zh) * 2018-12-18 2020-06-25 深圳市柔宇科技有限公司 显示控制方法、电子设备及计算机可读存储介质
CN110377377A (zh) * 2019-06-06 2019-10-25 北京梧桐车联科技有限责任公司 显示方法及装置、电子设备及存储介质
CN110978005B (zh) * 2019-12-12 2021-03-19 贵州电力交易中心有限责任公司 一种电力交易大厅接待机器人联动大屏系统
CN111387710B (zh) * 2020-04-02 2022-02-25 深圳创维-Rgb电子有限公司 一种积木桌、智能积木桌设备及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157115A (ja) * 2008-12-26 2010-07-15 Fujitsu Ltd 商品販売装置
JP2015041271A (ja) * 2013-08-22 2015-03-02 ソニー株式会社 情報処理装置、記憶媒体、および制御方法
JP2016045784A (ja) * 2014-08-25 2016-04-04 東芝テック株式会社 注文登録処理装置及び注文登録処理プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1435765A (zh) 2002-01-26 2003-08-13 网乐电子科技(深圳)有限公司 宽带网络视听机及其闪记忆内存启动方法
US6925357B2 (en) * 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
JP5058335B2 (ja) * 2008-04-10 2012-10-24 パイオニア株式会社 画面表示システム及び画面表示プログラム
JP5617448B2 (ja) * 2010-08-31 2014-11-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2012144667A1 (en) * 2011-04-19 2012-10-26 Lg Electronics Inc. Method and electronic device for gesture recognition
CN102760024A (zh) * 2011-04-26 2012-10-31 鸿富锦精密工业(深圳)有限公司 屏幕图像旋转方法及系统
US9003318B2 (en) 2011-05-26 2015-04-07 Linden Research, Inc. Method and apparatus for providing graphical interfaces for declarative specifications
CN104040463B (zh) * 2012-01-13 2017-02-22 索尼公司 信息处理设备和信息处理方法、以及计算机程序
JP5957892B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
WO2013183110A1 (ja) * 2012-06-04 2013-12-12 株式会社Pfu 情報処理装置、方法およびプログラム
JP5860144B2 (ja) * 2012-06-04 2016-02-16 株式会社Pfu 情報処理装置、方法およびプログラム
WO2013183108A1 (ja) * 2012-06-04 2013-12-12 株式会社Pfu 情報処理装置、方法およびプログラム
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
CN103365620A (zh) 2013-06-03 2013-10-23 陈飞生 一种可分屏显示的智能移动终端
EP2894557B1 (en) * 2014-01-13 2018-03-07 LG Electronics Inc. Display apparatus
CN104765905B (zh) 2015-02-13 2018-08-03 上海同筑信息科技有限公司 基于bim的平面图和第一视角分屏同步显示方法和系统
CN205201537U (zh) * 2015-11-04 2016-05-04 上海拓趣信息技术有限公司 陪护机器人
US10360876B1 (en) * 2016-03-02 2019-07-23 Amazon Technologies, Inc. Displaying instances of visual content on a curved display
KR102498364B1 (ko) * 2016-03-24 2023-02-10 삼성전자주식회사 전자 장치 및 전자 장치에서의 정보 제공 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157115A (ja) * 2008-12-26 2010-07-15 Fujitsu Ltd 商品販売装置
JP2015041271A (ja) * 2013-08-22 2015-03-02 ソニー株式会社 情報処理装置、記憶媒体、および制御方法
JP2016045784A (ja) * 2014-08-25 2016-04-04 東芝テック株式会社 注文登録処理装置及び注文登録処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
森本 悠矢、大矢 晃久: "円筒型マルチタッチディスプレイを備えたロボットシステムの開発 Development of Robot System with", ロボティクス・メカトロニクス講演会 ’11 講演論文集 PROCEEDINGS OF THE 2, JPN6019036489, 26 May 2011 (2011-05-26), pages 1682 - 1685, ISSN: 0004182221 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197818A (ja) * 2019-05-31 2020-12-10 コニカミノルタ株式会社 画像形成装置

Also Published As

Publication number Publication date
EP3473388A1 (en) 2019-04-24
US20200327634A1 (en) 2020-10-15
WO2017214947A1 (zh) 2017-12-21
CN107636696A (zh) 2018-01-26
CN107636696B (zh) 2021-04-06
US11023034B2 (en) 2021-06-01
EP3473388A4 (en) 2020-01-29

Similar Documents

Publication Publication Date Title
JP2019514136A (ja) マルチユーザ対話方法、装置及びシャペロンロボット
US11747893B2 (en) Visual communications methods, systems and software
EP3379525B1 (en) Image processing device and image generation method
US10157477B2 (en) Robust head pose estimation with a depth camera
US20190121458A1 (en) Information Processing Apparatus, Information Processing Method, And Computer Program
US9479732B1 (en) Immersive video teleconferencing robot
US10755438B2 (en) Robust head pose estimation with a depth camera
CN103915041A (zh) 柔性显示屏曲面自动调节装置和方法
US20140184494A1 (en) User Centric Interface for Interaction with Visual Display that Recognizes User Intentions
US10976812B2 (en) Information processing device and information processing method
CN102387306A (zh) 摄像控制系统、控制设备和控制方法
US10694115B2 (en) Method, apparatus, and terminal for presenting panoramic visual content
CN102591451A (zh) 影像处理装置和影像显示装置
US20170078570A1 (en) Image processing device, image processing method, and image processing program
CN109460074A (zh) 一种音频设备定向显示方法、装置和音频设备
CN105335121B (zh) 一种控制方法及电子设备
CN110999307A (zh) 显示装置和服务器及其控制方法
WO2019028855A1 (zh) 一种虚拟显示装置、智能交互方法和云端服务器
US20200319704A1 (en) Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
WO2018122448A1 (en) Method and apparatus for determining and varying the panning speed of an image based on saliency
EP3062506B1 (en) Image switching method and apparatus
WO2015062251A1 (zh) 显示装置及其控制方法、和手势识别方法
KR102521557B1 (ko) 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법
KR20190021496A (ko) 차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템
CN106663412B (zh) 信息处理设备、信息处理方法及程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191211

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191224