JP2024002781A - Robot, conference system, and control method - Google Patents
Robot, conference system, and control method Download PDFInfo
- Publication number
- JP2024002781A JP2024002781A JP2022102188A JP2022102188A JP2024002781A JP 2024002781 A JP2024002781 A JP 2024002781A JP 2022102188 A JP2022102188 A JP 2022102188A JP 2022102188 A JP2022102188 A JP 2022102188A JP 2024002781 A JP2024002781 A JP 2024002781A
- Authority
- JP
- Japan
- Prior art keywords
- conference
- area
- remote
- participant
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 18
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
特許法第30条第2項適用申請有り ・ウェブサイトのアドレス https://www.itoki.jp/special/smart-campus-solution/floor3 掲載日 令和4年3月28日 公開者 株式会社イトーキApplication for application of
本発明は、会議エリアに配置されるロボットに係る技術に関する。 The present invention relates to a technology related to a robot placed in a conference area.
特許文献1には、会議エリアに配置されるロボットが記載されている。当該ロボットは、会議への遠隔参加者の画像を表示するモニタと、会議エリアの画像を遠隔参加者に供給するカメラと、ハンドおよびアームを有する。当該ロボットは、ハンドおよびアームを用いて、会議エリアにいる参加者の注意を引くための手を振るなどの動作を行う。 Patent Document 1 describes a robot placed in a conference area. The robot has a monitor that displays an image of a remote participant in the conference, a camera that provides an image of the conference area to the remote participant, and a hand and an arm. The robot uses its hands and arms to perform actions such as waving to attract the attention of participants in the conference area.
ここで、会議エリアにいる参加者と、当該会議への遠隔参加者との間では、会議エリアの部分領域(一例として、会議エリア内のホワイトボード上の領域等)を特定しながらコミュニケーションを行う場合がある。しかしながら、特許文献1に記載されたロボットは、会議エリアにいる参加者の注意を引く動作を行うが、その動作により会議エリアの部分領域を特定することはできない。このため、会議エリアにいる参加者と、当該会議への遠隔参加者とのコミュニケーションが、円滑に行えない場合がある。 Here, participants in the conference area and remote participants in the conference communicate while specifying a partial area of the conference area (for example, an area on a whiteboard in the conference area). There are cases. However, although the robot described in Patent Document 1 performs a motion that attracts the attention of participants in the conference area, it is not possible to specify a partial area of the conference area based on the motion. Therefore, communication between participants in the conference area and remote participants in the conference may not be able to occur smoothly.
本発明の一態様は、上述した課題を解決するためになされたもので、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる技術を提供することを目的とする。 One aspect of the present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a technology that allows smoother communication between remote participants and participants in a conference area. purpose.
上記の課題を解決するために、本発明の一態様に係るロボットは、現実空間において少なくとも1人の参加者を含む会議エリアに配置可能なロボットであって、会議への遠隔参加者からの情報を表示する表示部と、前記会議エリア内の部分領域を特定する動作を行う特定動作部と、前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部を制御する制御部と、を含む。上記構成によれば、遠隔参加者が会議エリアにおいて特定した部分領域を、会議エリアにいる参加者が認識することができる。これにより、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる。 In order to solve the above problems, a robot according to one aspect of the present invention is a robot that can be placed in a conference area including at least one participant in real space, and that can collect information from remote participants in the conference. a display unit that displays a partial area within the conference area, a specific operation unit that performs an operation of specifying a partial area within the conference area, and a specific operation unit that performs an operation of specifying a partial area within the conference area; and a control section that controls the specific operation section accordingly. According to the above configuration, a participant present in the conference area can recognize a partial area specified in the conference area by a remote participant. This allows for smoother communication between remote participants and participants in the conference area.
また、上記の課題を解決するために、本発明の一態様に係る会議システムは、上述したロボットと、前記遠隔端末と、前記参加者および前記遠隔参加者が参加する会議を管理する管理装置と、を備える。上記構成によれば、管理装置が管理する会議において、遠隔端末およびロボットを介して、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる。 Further, in order to solve the above problem, a conference system according to one aspect of the present invention includes the above-mentioned robot, the remote terminal, and a management device that manages a conference in which the participants and the remote participants participate. , is provided. According to the above configuration, in a conference managed by the management device, communication between remote participants and participants in the conference area can be performed more smoothly via the remote terminal and the robot.
また、上記の課題を解決するために、本発明の一態様に係る制御方法は、現実空間において少なくとも1人の参加者を含む会議エリアに配置可能な、表示部および特定動作部を含むロボットを制御する制御方法であって、会議への遠隔参加者からの情報を前記表示部に表示するステップと、前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部が前記会議エリア内の部分領域を特定する動作を行うよう制御するステップと、を含む。上記構成によれば、上記ロボットを、上記効果を奏するよう制御することができる。 Further, in order to solve the above problems, a control method according to one aspect of the present invention provides a control method that uses a robot that includes a display unit and a specific movement unit that can be placed in a conference area that includes at least one participant in real space. A control method comprising the steps of: displaying information from a remote participant in a conference on the display; The method further includes the step of controlling the specific operation section to perform an operation of specifying a partial area within the conference area in response to an operation. According to the above configuration, the robot can be controlled to achieve the above effects.
本発明の一態様によれば、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる。 According to one aspect of the present invention, communication between remote participants and participants in the conference area can be facilitated.
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
[Embodiment 1]
Hereinafter, one embodiment of the present invention will be described in detail.
(会議システム1の概略)
本実施形態に係る会議システム1の概略について、図1を参照して説明する。図1は、会議システム1の概略を示す図である。図1に示すように、会議システム1は、会議エリアSPにいる参加者Uと、遠隔参加者RUとが参加する会議を管理するシステムである。なお、会議エリアSPにいる参加者Uの人数は、図示の3人に限定されず、少なくとも1人いればよい。
(Outline of conference system 1)
An outline of a conference system 1 according to this embodiment will be described with reference to FIG. 1. FIG. 1 is a diagram schematically showing a conference system 1. As shown in FIG. As shown in FIG. 1, the conference system 1 is a system that manages a conference in which participants U in the conference area SP and remote participants RU participate. Note that the number of participants U in the conference area SP is not limited to three as shown in the figure, but may be at least one.
ここで、会議システム1が管理する会議は、複数の人が所定の目的または議題に応じてコミュニケーションするものであればよく、例えば、打合せ、ミーティング、ディスカッション、レクチャー、セミナー、講義等と呼ばれるものを含む。また、会議システム1が管理する会議は、教育機関において行われる会議であってもよい。 Here, the conference managed by the conference system 1 may be one in which a plurality of people communicate according to a predetermined purpose or topic; for example, a meeting, a meeting, a discussion, a lecture, a seminar, a lecture, etc. include. Further, the conference managed by the conference system 1 may be a conference held at an educational institution.
また、会議エリアSPは、現実空間において会議が開催される空間である。会議エリアSPは、周囲全体に壁、窓、パーティション等の仕切りがあるクローズドな空間であってもよいし、周囲の少なくとも一部に仕切りがないオープンな空間であってもよい。また、会議エリアSPは、常設の空間であってもよいし、仮設の空間であってもよい。また、会議エリアSPは、屋内の空間であってもよいし、屋外の空間であってもよい。例えば、会議エリアSPは、教育機関の敷地内に設けられてもよい。この場合、教育機関の敷地内には、複数の会議エリアSPが設けられてもよい。会議エリアSPの具体例としては、教室、講義やセミナー等が行われる空間、等が挙げられる。 Further, the conference area SP is a space where a conference is held in real space. The conference area SP may be a closed space with partitions such as walls, windows, partitions, etc. all around it, or it may be an open space with no partitions around at least part of the surrounding area. Further, the conference area SP may be a permanent space or a temporary space. Further, the conference area SP may be an indoor space or an outdoor space. For example, the conference area SP may be provided within the grounds of an educational institution. In this case, a plurality of conference areas SP may be provided within the grounds of the educational institution. Specific examples of the conference area SP include a classroom, a space where lectures, seminars, etc. are held, and the like.
会議エリアSPには、ロボット10、管理装置30、プロジェクタ40、ピンマイク50、ホワイトボードWB、および記録センサ60が配置される。ロボット10は、遠隔参加者Rが利用する後述の遠隔端末20と通信を行うことにより、遠隔参加者RUの代理として動作する。管理装置30は、参加者Uおよび遠隔参加者RUが参加する会議を統括的に管理する。プロジェクタ40は、開催中の会議のログ情報Lを、壁面BDに投影する。ピンマイク50は、当該ピンマイク50を装着している参加者Uの音声データを取得する。なお、図1では、3人の参加者がそれぞれピンマイク50を装着する例として、合計3つのピンマイク50を示しているが、会議エリアSPに配置されるピンマイク50の数は、3つに限定されない。ホワイトボードWBには、参加者Uにより情報が記入される。記録センサ60は、ホワイトボードWBへの記入内容を示す記入情報を取得する。
A
(会議システム1の構成)
会議システム1の構成について、図2を参照して説明する。図2は、会議システム1の構成を示すブロック図である。図2に示すように、会議システム1は、ロボット10と、遠隔端末20と、管理装置30と、プロジェクタ40と、ピンマイク50と、記録センサ60と、を含む。遠隔端末20は、会議エリアSPの外部に配置される。それ以外の各装置は、会議エリアSPの内部に配置される。ロボット10と、遠隔端末20と、管理装置30とは、ネットワークN1を介して通信可能に接続される。ネットワークN1は、無線LAN(Local Area Network)、有線LAN、またはこれらの組み合わせを含む。ネットワークN2は、無線LAN(Local Area Network)、有線LAN、モバイルデータ通信網、公衆回線網等のWAN(Wide Area Network)、またはこれらの一部または全部の組み合わせを含む。また、ネットワークN2は、専用線またはVPN(Virtual Private Network)を含んでいてもよい。また、プロジェクタ40、ピンマイク50、および記録センサ60のそれぞれは、近距離無線通信により管理装置30に接続される。
(Configuration of conference system 1)
The configuration of the conference system 1 will be explained with reference to FIG. 2. FIG. 2 is a block diagram showing the configuration of the conference system 1. As shown in FIG. As shown in FIG. 2, the conference system 1 includes a
(ロボット10の構成)
ロボット10は、現実空間において少なくとも1人の参加者Uを含む会議エリアSPに配置可能である。ロボット10の構成について、図2を参照して説明する。図2に示すように、ロボット10は、カメラ11と、モニタ12-1、12-2と、プロジェクタ13と、スピーカ14-1、14-2と、マイク15と、胴部16と、移動部17と、制御装置100と、を含む。制御装置100は、制御部101と、記憶部102と、通信部103とを含む。制御部101は、ロボット10の各部の動作を統括して制御する。記憶部102は、制御部101が使用する各種のデータ、およびロボット10を制御するためのプログラムを記憶する。通信部103は、ネットワークN1、N2を介して他の装置と通信を行う。
(Configuration of robot 10)
The
また、ロボット10は、当該ロボット10の各部に電源を供給する充電式電源(図示せず)を有する。充電式電源は、満充電の状態から当該ロボット10を所定時間起動可能とする。ロボット10は、充電式電源を外部の充電装置に連結するための連結部をさらに有していてもよい。この場合、連結部は、ロボット10において充電装置との連結が容易な位置に搭載される。また、充電式電源は、外部の充電装置に連結するために取り外し可能であってもよい。この場合、充電式電源は、ロボット10において取り外し容易な位置に搭載される。
The
ロボット10の具体的な構成の一例について、図3を参照して説明する。図3は、ロボット10の具体的な構成の一例を示す図である。この例では、ロボット10には正面方向d0が定められ、モニタ12-1およびカメラ11は、正面方向d0を向いている。ただし、以下に説明するように、モニタ12-1およびカメラ11が向く方向は可変となっている。
An example of a specific configuration of the
カメラ11は、周囲を撮影してロボット10の視野を示す視野画像を生成する撮影部の一例である。ここで、カメラ11の画角d3に含まれる領域を、ロボット10の視野とも記載する。視野画像は、画角d3に含まれる領域が撮影された画像である。例えば、カメラ11は、CCD(Charge Coupled Device)カメラであってもよい。カメラ11は、モニタ12-1に、画角d3の向きが可変となるよう接続される。ただし、カメラ11は、これに限らず、胴部16、または図示しない支持体等に接続されてもよい。例えば、カメラ11の画角d3は、モニタ12-1の画面が向く方向d1を含む範囲で可変である。
The
モニタ12-1、12-2は、それぞれ、遠隔参加者RUからの情報を表示する表示部の一例である。遠隔参加者RUからの情報は、換言すると、遠隔端末20から送信される情報である。例えば、遠隔参加者RUからの情報は、遠隔端末20に表示される情報の一部または全部を含んでいてもよい。また、遠隔参加者RUからの情報は、遠隔参加者RUを表す画像を含んでいてもよい。この場合、遠隔参加者RUを表す画像は、例えば、遠隔参加者RUの顔画像を含んでいてもよい。以下では、遠隔参加者RUからの情報が、遠隔参加者RUを表す画像を含む例を中心に説明する。例えば、モニタ12-1、12-2は、液晶ディスプレイ、または有機EL(Electro Luminescence)ディスプレイ等であってもよい。モニタ12-1の画面が向く方向d1は、前述のように、カメラ11の画角d3に含まれる。モニタ12-2の画面が向く方向d2は、方向d1とは異なる。具体的には、モニタ12-1、12-2は、支持体12aに背中合わせに取り付けられており、方向d1と方向d2とは反対向きとなっている。支持体12aは、胴部16の上面に対して、水平面において回転可能に接続される。
The monitors 12-1 and 12-2 are each an example of a display unit that displays information from a remote participant RU. Information from the remote participant RU is, in other words, information sent from the
このように、ロボット10の視野に含まれる領域において、モニタ12-1に表示された「遠隔参加者を表す画像」が視認可能である。また、ロボット10の視野に含まれない領域において、モニタ12-2に表示された「遠隔参加者を表す画像」が視認可能である。換言すると、モニタ12-2は、ロボット10の視野に含まれない領域において視認可能となるよう、遠隔参加者RUからの情報を表示する。
In this way, the "image representing the remote participant" displayed on the monitor 12-1 is visible in the area included in the field of view of the
プロジェクタ13は、会議エリアSP内の部分領域を特定する動作を行う特定動作部の一例である。具体的には、プロジェクタ13は、光源を含み、照射範囲d4に含まれる被投影面に、画像を投影する。例えば、投影される画像は、ポインタ、サイン等のアイコンである。これにより、プロジェクタ13は、光源からの光が照射する領域(会議エリアSP内の部分領域)を指し示す動作を行う。部分領域の具体例としては、ホワイトボードWB上の領域が挙げられる。また、部分領域の他の具体例としては、壁面BDに投影されたログ情報Lの表示領域が挙げられる。なお、ログ情報Lの表示領域は、「参加者Uおよび遠隔参加者RUの一方または両方による発信情報の表示領域またはその履歴の表示領域」の一例である。
The
また、プロジェクタ13の照射範囲d4は、カメラ11の画角d3に含まれる範囲で可変である。例えば、プロジェクタ13は、胴部16の上面に、照射範囲d4の向きが可変となるよう接続される。
Further, the irradiation range d4 of the
スピーカ14-1、14-2は、それぞれ、遠隔参加者RUの音声を出力する。スピーカ14-1は、モニタ12-1の画面が向く方向d1に音声を出力するよう配置される。スピーカ14-2は、モニタ12-2の画面が向く方向d2に音声を出力するよう配置される。これにより、ロボット10が何れの方向を向いていても、参加者Uは、遠隔参加者RUの音声を容易に認識することができる。マイク15(図3では不図示)は、参加者Uの音声を検出して音声データを生成する。胴部16は、制御装置100を内蔵する。また、胴部16の上部には、モニタ12-1、12-2を支持する支持体12a、およびプロジェクタ13が接続される。また、胴部16の下部には、移動部17が接続される。
The speakers 14-1 and 14-2 each output the voice of the remote participant RU. The speaker 14-1 is arranged so as to output sound in the direction d1 toward which the screen of the monitor 12-1 faces. The speaker 14-2 is arranged to output audio in the direction d2 toward which the screen of the monitor 12-2 faces. Thereby, the participant U can easily recognize the voice of the remote participant RU, no matter which direction the
移動部17は、ロボット10全体を移動させる。具体的には、移動部17は、複数のホイールと、当該ホイールを回転駆動する駆動部とを含む。例えば、移動部17は、ロボット10の全方向移動を可能とする。
The moving
(遠隔端末20の構成)
遠隔端末20は、遠隔参加者RUが利用する端末である。遠隔端末20は、ロボット10と通信することにより、遠隔参加者RUの会議への遠隔参加を可能とする。換言すると、遠隔参加者RUは、遠隔端末20およびロボット10を用いて、会議に遠隔参加する。遠隔端末20の構成について、図2を参照して説明する。遠隔端末20は、制御部21と、記憶部22と、通信部23と、表示部24と、入力部25と、カメラ26と、スピーカ27と、マイク28と、を含む。例えば、遠隔端末20は、スマートフォン、タブレット、ノート型パーソナルコンピュータ、等であってもよいが、これらに限られない。また、遠隔端末20は、少なくとも制御部21および記憶部22を含み、その他の各部の一部または全部は、遠隔端末20の外部に周辺装置等として接続されていてもよい。
(Configuration of remote terminal 20)
The
制御部21は、遠隔端末20の各部の動作を統括して制御する。記憶部22は、制御部21が使用する各種のデータおよびプログラムを記憶する。通信部23は、ネットワークN2を介して他の装置と通信を行う。
The
表示部24は、会議エリアSP内の画像を表示する。表示部24は、例えば、液晶ディスプレイ、タッチパネル等であるが、これらに限られない。入力部25は、ロボット10を制御するための操作を受け付ける。入力部25は、例えば、キーボード、マウス、タッチパッド、または、表示部24と一体に形成されたタッチパネル等であるが、これらに限られない。カメラ26は、周囲を撮影して遠隔参加者RUを表す画像を生成する。スピーカ27は、参加者Uの音声を出力する。マイク28は、遠隔参加者RUの音声を検出して音声データを生成する。
The
(管理装置30の構成)
管理装置30は、参加者Uおよび遠隔参加者RUが参加する会議を管理する装置である。管理装置30の構成について、図2を参照して説明する。管理装置30は、制御部31と、記憶部32と、通信部33と、表示部34と、入力部35と、を含む。例えば、管理装置30は、スマートフォン、タブレット、ノート型パーソナルコンピュータ、等であってもよいが、これに限られない。また、管理装置30は、少なくとも制御部31および記憶部32を含み、その他の各部の一部または全部は管理装置30の外部に周辺装置等として接続されていてもよい。
(Configuration of management device 30)
The
制御部31は、管理装置30の各部の動作を統括して制御する。記憶部32は、制御部31が使用する各種のデータおよびプログラムを記憶する。通信部33は、ネットワークN1、N2を介して他の装置と通信を行う。また、制御部31は、会議エリアSPにおける会議の開始および終了を管理する。また、制御部31は、参加者Uおよび遠隔参加者RUの一方または両方による発信情報を記録する。
The
(会議システム1が継続して実行する動作)
以上のように構成された会議システム1は、会議の開始から終了までの間、継続して次の動作を行う。例えば、管理装置30の制御部31は、入力部35から会議の開始を指示する情報が入力されると、会議が開始したと判断し、会議の終了を指示する情報が入力されると、会議が終了したと判断する。
(Operations continuously executed by conference system 1)
The conference system 1 configured as described above continuously performs the following operations from the start to the end of the conference. For example, the
ロボット10の制御部101は、遠隔端末20に対して、カメラ11が撮影する視野画像(会議エリアSPを示す画像)と、マイク15が取得する会議エリアSP内の音声データと、を継続的に送信する。これにより、遠隔端末20の表示部24およびスピーカ27からは、ロボット10の視野画像および会議エリアSP内の音声データがリアルタイムに出力される。
The
また、遠隔端末20の制御部21は、ロボット10に対して、カメラ26が撮影する遠隔参加者RUを表す画像と、マイク28が取得する遠隔参加者RUの音声データとを継続的に送信する。これにより、ロボット10のモニタ12-1、12-2およびスピーカ14からは、遠隔参加者RUを表す画像と、遠隔参加者RUの音声とがリアルタイムに出力される。また、遠隔端末20の制御部21は、ロボット10に対して、遠隔端末20の表示部24に表示された情報の一部または全部を継続的に送信してもよい。これにより、ロボット10のモニタ12-1、12-2には、遠隔参加者RUからの情報として、遠隔端末20の表示部24に表示された情報の一部または全部が表示される。
Furthermore, the
また、管理装置30の制御部31は、参加者Uおよび遠隔参加者RUによる発信情報、ならびにホワイトボードWBへの記入情報を記録する処理を継続して行う。具体的には、制御部31は、ピンマイク50が取得した音声データに基づいて、話者を識別する。例えば、制御部31は、音声データの取得元が複数のピンマイク50のいずれであるかに応じて、当該ピンマイク50を装着した参加者Uが話者であると識別する。例えば、制御部31は、ピンマイク50の識別情報を、話者である参加者Uの識別情報として用いてもよい。また、制御部31は、取得した音声データと、話者である参加者Uの識別情報と、当該音声を変換した文字情報とを含む発信情報を生成し、音声データの取得時刻に関連付けて記憶部12に記録する。また、管理装置30の制御部31は、記録センサ60が取得した記入情報を、取得時刻に関連付けて記憶部12に記憶する。制御部31がこれらの処理を繰り返すことにより、記憶部12には、発信情報と記入情報とを取得時刻に沿って並べたログ情報Lが記録される。
Furthermore, the
また、管理装置30の制御部31は、記録したログ情報Lを、リアルタイムにプロジェクタ40に出力する。これにより、壁面BDには、ログ情報Lがリアルタイムに更新されながら投影される。これにより、参加者Uおよび遠隔参加者RUは、会議中にログ情報Lを認識して会議の内容を振り返ることができる。また、これにより、会議の欠席者があとからログ情報Lを参照することも可能となる。
Further, the
(制御方法S1の流れ)
会議システム1が実行する制御方法S1について、図4を参照して説明する。制御方法S1は、会議エリアSPの部分領域を特定する動作を行うようロボット10を制御する方法である。図4は、制御方法S1の流れを説明するフロー図である。図4に示すように、制御方法S1は、ステップS11~S16を含む。
(Flow of control method S1)
The control method S1 executed by the conference system 1 will be explained with reference to FIG. 4. The control method S1 is a method of controlling the
ステップS11において、制御部21は、ロボット10の視野を変化させるための遠隔参加者RUによる操作を受け付ける。ロボット10の視野は、当該ロボット10を移動させることにより変化する。また、ロボット10の視野は、カメラ11の画角d3を変化させることにより変化する。例えば、遠隔参加者RUは、表示部24に表示されるロボット10の視野画像を視認しながら、ロボット10を移動させるための操作を、入力部25を用いて行う。また、遠隔参加者RUは、ロボット10の視野画像を視認しながら、カメラ11の画角d3を変化させる操作を、入力部25を用いて行う。
In step S11, the
ステップS12において、制御部21は、ステップS11で受け付けた操作に基づいて、ロボット10の視野の変化を指示する情報を、ロボット10に送信する。視野の変化を指示する情報には、移動を指示する情報と、画角d3を制御する情報とが含まれる。
In step S12, the
ステップS13において、ロボット10の制御部101は、受信した情報に基づいて、移動部17を制御して自身を移動させる。また、制御部101は、受信した情報に基づいて、カメラ11の画角d3を変化させる。これにより、遠隔参加者RUは、ロボット10の視野を変化させて、会議エリアSP内の所望の領域を視認することができる。
In step S13, the
例えば、遠隔参加者RUが、ホワイトボードWBを視認したいとする。この場合、遠隔参加者RUの操作に応じて、ロボット10は、ホワイトボードWBに向かって移動する。また、カメラ11の画角d3は、ホワイトボードWBを含むように制御される。また、これに伴い、モニタ12-1の向きd1が、ホワイトボードWBに向かう方向となるとともに、モニタ12-2の向きd2はその反対方向となる。したがって、会議エリアSPにいる参加者Uは、ロボット10がホワイトボードWBを向いていても、遠隔参加者RUを表す画像をモニタ12-2上で視認することができる。
For example, assume that a remote participant RU wants to view the whiteboard WB. In this case, the
また、遠隔参加者RUが、参加者Uを視認したいとする。この場合、遠隔参加者RUの操作に応じて、ロボット10は参加者Uに向かって移動する。また、カメラ11の画角d3は、参加者Uを含むよう制御される。この場合、会議エリアSPにいる参加者Uは、遠隔参加者RUを表す画像を、モニタ12-1上で視認することができる。
Also, assume that remote participant RU wants to visually recognize participant U. In this case, the
このように、会議エリアSPにいる参加者Uは、ロボット10が何れの方向を向いていても(遠隔参加者RUが何れの領域を視認したい場合であっても)、遠隔参加者RUを表す画像を視認できる可能性が高い。したがって、遠隔参加者RUと参加者Uとの間のコミュニケーションをより円滑に行うことができる。
In this way, the participant U in the conference area SP represents the remote participant RU, regardless of which direction the
ステップS14において、遠隔端末20の制御部21は、会議エリアSPの部分領域を特定するための遠隔参加者RUの操作を受け付ける。遠隔参加者RUは、例えば、ロボット10の視野画像を参照し、会議エリアSPにおいて指し示したい部分領域を指定する操作を行う。また、このような部分領域とは、一例として、遠隔参加者RUが参加者Uとの間のコミュニケーションを行うために参照したい領域である。このような部分領域の具体例としては、例えば、ホワイトボードWB上の領域、壁面BD上の領域、壁面BD上に投影されたログ情報Lの表示領域、などがあるが、これらに限られない。
In step S14, the
また、遠隔参加者RUは、指定した部分領域に表示させる画像を選択する操作を行ってもよい。選択肢となる画像は、ポインタ、サイン、参加者Uが保持する物体、ジェスチャー等を示すアイコンであってもよい。 Further, the remote participant RU may perform an operation to select an image to be displayed in a specified partial area. The images to be selected may be icons indicating a pointer, a sign, an object held by the participant U, a gesture, or the like.
ステップS14における遠隔端末20に対する操作の一例を、図5を参照して説明する。図5は、遠隔端末20に対する操作に応じて会議エリア内の部分領域を指し示す動作の一例を説明する模式図である。図5の上部の模式図は、遠隔端末20に対する操作の具体例を示している。図5の上部に示すように、遠隔端末20の表示部24には、ロボット10の視野画像G1と、アイコンG2、G3とが表示されている。この例では、視野画像G1は、ホワイトボードWBの一部を示している。また、アイコンG2、G3は、指定した部分領域に表示させる画像の選択肢を示している。アイコンG2、G3は、それぞれ、当該アイコンを選択する操作を受け付ける。例えば、遠隔参加者RUは、アイコンG2(ポインタ)を選択する操作、視野画像G1上の部分領域ARを指定する操作を、入力部25を用いて行う。
An example of the operation on the
ステップS15において、制御部21は、ステップS14で受け付けた操作に基づいて、指定された領域を示す情報を、ロボット10に送信する。図5に示した例では、制御部21が送信する情報には、部分領域ARを示す情報と、アイコンG2(ポインタ)を示す情報とが含まれる。
In step S15, the
ステップS16において、ロボット10の制御部101は、受信した情報(遠隔端末20に対する遠隔参加者RUの操作)に応じて、プロジェクタ13を制御する。具体的には、制御部101は、受信した情報に基づいて、指定された部分領域に向けて光を照射するためのプロジェクタ13の向きを算出する。また、制御部101は、受信した情報に基づいて、当該部分領域に表示させる画像を生成する。また、制御部101は、プロジェクタ13を制御して、指定された部分領域に、生成した画像を投影させる。これにより、ロボット10は、当該部分領域を指し示す動作を行う。このような部分領域を指し示す動作は、部分領域を特定する動作の一例である。
In step S16, the
ステップS16における指し示す動作の具体例について、図5を参照して説明する。図5の下部の模式図は、会議エリアSPの部分領域を指し示す動作の具体例を示している。図5の下部に示すように、ロボット10の制御部101は、プロジェクタ13の照射範囲d4が部分領域ARを含むように、プロジェクタ13の向きを制御する。また、制御部101は、アイコンG2(ポインタ)を示す画像を生成し、当該画像を投影するようプロジェクタ13を制御する。ロボット10は、部分領域ARにアイコンG2を投影することで、当該部分領域ARを指し示す。これにより、会議エリアSPにいる参加者Uは、遠隔参加者RUの操作によって指し示された部分領域ARを認識することができる。
A specific example of the pointing operation in step S16 will be described with reference to FIG. The schematic diagram at the bottom of FIG. 5 shows a specific example of the operation of pointing to a partial area of the conference area SP. As shown in the lower part of FIG. 5, the
なお、図5では、ホワイトボートWBの一部を部分領域ARとして指し示す動作について説明しているが、部分領域ARは、壁面BDに投影されたログ情報Lの領域であってもよいし、その他の領域であってもよい。 Note that although FIG. 5 describes the operation of pointing to a part of the whiteboard WB as a partial area AR, the partial area AR may be an area of log information L projected on a wall surface BD, or may be an area of log information L projected on a wall surface BD. It may be in the area of
(本実施形態の効果)
本実施形態に係る会議システム1では、ロボット10の制御部101は、遠隔端末20に対する遠隔参加者RUの操作に応じて、会議エリアSP内の部分領域に情報を投影するようプロジェクタ13を制御する。
(Effects of this embodiment)
In the conference system 1 according to the present embodiment, the
これにより、遠隔参加者Uは、会議エリアSP内において指し示したい部分領域がロボット10から離れている場合でも、当該部分領域に情報を投影することにより、当該部分領域を指し示す動作を行うことができる。
Thereby, even if the partial area that the remote participant U wants to point to within the conference area SP is far from the
また、これにより、遠隔参加者Uが参照する会議エリアSPの部分領域を、会議エリアSPにいる参加者Uが認識することができる。その結果、遠隔参加者RUと、会議エリアにいる参加者Uとのコミュニケーションをより円滑に行うことができる。 Moreover, thereby, the participant U in the conference area SP can recognize the partial area of the conference area SP that the remote participant U refers to. As a result, communication between remote participant RU and participant U in the conference area can be performed more smoothly.
また、ロボット10がホワイトボードWBを指し示す動作を行う場合には、遠隔参加者RUと会議エリアにいる参加者Uとの間で、ホワイトボードWBに記入された情報を参照しながら円滑にコミュニケーションを行うことができる。
In addition, when the
また、ロボット10がログ情報Lを指し示す動作を行う場合には、遠隔参加者RUと、会議エリアにいる参加者Uとの間で、発信情報の履歴を振り返りながら円滑にコミュニケーションを行うことができる。
Furthermore, when the
また、本実施形態に係る会議システム1を、例えば、学校等の教育機関に設けられた会議エリアに適用することが考えられる。この場合、教育機関における各種の会議(打合せ、ミーティング、ディスカッション、レクチャー、セミナー、講義等)において、登校している教職員または学生と、遠隔の教職員または学生とが、より円滑にコミュニケーションを行うことができる。このような効果は、例えば、国連が提唱する持続可能な開発目標(SDGs)の目標4「質の高い教育をみんなに」等の達成にも貢献するものである。 Further, it is possible to apply the conference system 1 according to the present embodiment to a conference area provided in an educational institution such as a school, for example. In this case, during various conferences (meetings, meetings, discussions, lectures, seminars, lectures, etc.) at the educational institution, it is possible to communicate more smoothly between faculty or students who are on campus and faculty or students who are remote. can. Such effects also contribute to achieving, for example, Goal 4 of the Sustainable Development Goals (SDGs) advocated by the United Nations, ``Quality education for all.''
〔変形例1〕
プロジェクタ13は、会議エリアSP内の被投影面にアイコンを投影する動作(部分領域を指し示す動作)に替えて、または加えて、被投影面にその他の情報を投影する動作を行ってもよい。例えば、その他の情報とは、遠隔端末20の表示部24に表示された一部または全部の画面情報であってもよい。これにより、遠隔参加者RUと参加者Uとの間で、遠隔端末20上の画面を共有しながら、円滑にコミュニケーションを行うことができる。
[Modification 1]
The
〔変形例2〕
ロボット10は、プロジェクタ13に替えて、または、加えて、少なくとも1つの関節を有するアームを備えてもよい。当該アームは、会議エリアSP内の部分領域を特定する動作を行う特定動作部の一例である。例えば、アームは、アーム軸(関節)周りに回転可能となっている。この場合、ロボット10の制御部101は、遠隔端末20に対する遠隔参加者RUの操作に応じて、会議エリアSP内の部分領域にアームの先端を向けるようアームを回転させる。これにより、上述と同様の効果を奏する。
[Modification 2]
The
〔変形例3〕
ロボット10は、プロジェクタ13に替えて、または、加えて、その他の光源を用いた情報表示装置を含んでいてもよい。そのような情報表示装置とは、例えば、レーザポインタ等であってもよい。
[Modification 3]
The
〔変形例4〕
ロボット10が有するモニタの個数は、2に限らず、1であってもよいし、3以上であってもよい。もし、モニタの個数が3以上である場合、各モニタの画面が向く方向は互いに異なり、かつ、何れか1つのモニタの画面が向く方向がカメラ11の画角d3に含まれることが望ましい。この場合、他の各モニタは、ロボット10の視野に含まれない領域において視認可能に、遠隔参加者RUからの情報を表示する。
[Modification 4]
The number of monitors that the
また、モニタの個数が1である場合、制御部101は、モニタの画面が向く方向を、カメラ11の画角d3に含まれる方向から、含まれない方向に向けて(カメラ11の撮影方向とは反対方向に向けて)回転するよう制御してもよい。これにより、回転制御された状態のモニタは、ロボット10の視野に含まれない領域において視認可能に、遠隔参加者RUからの情報を表示する。
Further, when the number of monitors is one, the
〔変形例5〕
ロボット10は、モニタ12-1、12-2に替えて、3次元画像を表示する表示部を有していてもよい。この場合、会議エリアSPにいる参加者Uは、ロボット10が何れの方向を向いていても(遠隔参加者RUが何れの領域を視認したい場合であっても)、遠隔参加者RUを示す三次元画像を視認することができる。換言すると、3次元画像を表示する表示部は、ロボット10の視野に含まれない領域においても視認可能に、遠隔参加者RUを示す三次元画像(遠隔参加者Rが発信する情報の一例)を表示する。
[Modification 5]
The
〔変形例6〕
ホワイトボードWBは、記録センサ60が取り付けられる代わりに、記入情報を検出して画像として記録可能な電子ホワイトボードであってもよい。この場合、管理装置30は、ホワイトボードWBから記入情報を取得する。また、会議エリアSPには、参加者Uと1対1に関連付け可能なピンマイク50が配置されることに替えて、複数の参加者Uの音声データを取得可能なマイクが配置されていてもよい。このようなマイクは、管理装置30に含まれていてもよい。当該マイクは、複数の参加者Uのいずれが発話した場合も当該参加者Uの音声データを取得する。この場合、管理装置30は、マイクから取得した音声データの話者を識別する話者識別機能を有する。例えば、話者識別機能には、公知の技術を採用可能である。また、管理装置30は、外部の話者識別システムに問い合わせることにより、音声データの話者を識別してもよい。このように変形した場合も、管理装置30は、上述と同様にログ情報Lを記録することができる。
[Modification 6]
The whiteboard WB may be an electronic whiteboard capable of detecting written information and recording it as an image instead of having the
〔その他の変形例〕
また、会議システム1は、複数のロボット10と、各ロボット10に対応付けられた遠隔端末20とを含んでもよい。この場合、会議システム1に参加する会議に、複数の遠隔参加者RUが参加することができる。また、管理装置30は、ロボット10に搭載されていてもよい。また、会議エリアSPには、ロボット10が有する充電式電源を充電する充電装置が配置されていてもよい。例えば、会議エリアSPに複数のロボット10が配置される場合は、会議エリアSPには、各ロボット10に対応する充電装置が配置されてもよい。また、そのような充電装置は、ロボット10の基地として機能してもよい。例えば、ロボット10は、会議が終了すると、自律的に基地まで移動して充電装置に連結部を連結させてもよい。
[Other variations]
Further, the conference system 1 may include a plurality of
〔ソフトウェアによる実現例〕
会議システム1を構成する各装置(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特にロボット10の制御部101に含まれる各部、遠隔端末20の制御部21、管理装置30の制御部31)としてコンピュータを機能させるためのプログラムにより実現することができる。
[Example of implementation using software]
The function of each device (hereinafter referred to as "device") that constitutes the conference system 1 is a program for making a computer function as the device. The
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。 In this case, the device includes a computer having at least one control device (for example, a processor) and at least one storage device (for example, a memory) as hardware for executing the program. By executing the above program using this control device and storage device, each function described in each of the above embodiments is realized.
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。 The above program may be recorded on one or more computer-readable recording media instead of temporary. This recording medium may or may not be included in the above device. In the latter case, the program may be supplied to the device via any transmission medium, wired or wireless.
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。 Further, part or all of the functions of each of the control blocks described above can also be realized by a logic circuit. For example, an integrated circuit in which a logic circuit functioning as each of the control blocks described above is formed is also included in the scope of the present invention. In addition to this, it is also possible to realize the functions of each of the control blocks described above using, for example, a quantum computer.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the embodiments described above, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. are also included within the technical scope of the present invention.
1 会議システム
10 ロボット
20 遠隔端末
11 カメラ
12-1、12-2 モニタ(表示部)
13 プロジェクタ(特定動作部)
30 管理装置
40 プロジェクタ
100 制御装置
101 制御部
1
13 Projector (specific operation part)
30
Claims (6)
会議への遠隔参加者からの情報を表示する表示部と、
前記会議エリア内の部分領域を特定する動作を行う特定動作部と、
前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部を制御する制御部と、
を含む、ロボット。 A robot that can be placed in a conference area containing at least one participant in real space, the robot comprising:
a display for displaying information from remote participants in the conference;
a specific operation unit that performs an operation to specify a partial area within the conference area;
a control unit that controls the specific operation unit in response to an operation by the remote participant on a remote terminal used by the remote participant to participate remotely in the conference;
including robots.
前記制御部は、前記視野画像を前記遠隔端末に送信し、
前記表示部は、前記視野に含まれない領域において視認可能となるよう、前記遠隔参加者からの情報を表示する、
請求項1または2に記載のロボット。 further comprising a photographing unit that photographs the surroundings and generates a visual field image showing the visual field of the robot,
The control unit transmits the visual field image to the remote terminal,
The display unit displays information from the remote participant so that it is visible in an area not included in the field of view.
The robot according to claim 1 or 2.
請求項1または2に記載のロボット。 The specific operation unit specifies, as the partial area, a display area for information transmitted by one or both of the participant and the remote participant, or a display area for the history thereof;
The robot according to claim 1 or 2.
前記遠隔端末と、
前記参加者および前記遠隔参加者が参加する会議を管理する管理装置と、
を備えた会議システム。 The robot according to claim 1 or 2,
the remote terminal;
a management device that manages a conference in which the participants and the remote participants participate;
A conference system equipped with
会議への遠隔参加者からの情報を前記表示部に表示するステップと、
前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部が前記会議エリア内の部分領域を特定する動作を行うよう制御するステップと、
を含む、制御方法。 A control method for controlling a robot including a display unit and a specific movement unit that can be placed in a conference area including at least one participant in real space, the method comprising:
displaying information from remote participants in the conference on the display;
controlling the specific operation unit to perform an operation for specifying a partial area within the conference area in response to an operation by the remote participant on a remote terminal used by the remote participant for remote participation in the conference; and,
including control methods.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022102188A JP2024002781A (en) | 2022-06-24 | 2022-06-24 | Robot, conference system, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022102188A JP2024002781A (en) | 2022-06-24 | 2022-06-24 | Robot, conference system, and control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024002781A true JP2024002781A (en) | 2024-01-11 |
Family
ID=89473013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022102188A Pending JP2024002781A (en) | 2022-06-24 | 2022-06-24 | Robot, conference system, and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024002781A (en) |
-
2022
- 2022-06-24 JP JP2022102188A patent/JP2024002781A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9466222B2 (en) | System and method for hybrid course instruction | |
EP1536645B1 (en) | Video conferencing system with physical cues | |
Bell et al. | From 2D to Kubi to Doubles: Designs for student telepresence in synchronous hybrid classrooms | |
Gronn et al. | Web conferencing of pre-service teachers’ practicum in remote schools | |
Zhang et al. | LightBee: A self-levitating light field display for hologrammatic telepresence | |
CN104935848A (en) | Projector capable of shooting | |
KR20090028674A (en) | 3d virtual studio teaching and conference apparatus | |
Kilburn | Methods for recording video in the classroom: Producing single and multi-camera videos for research into teaching and learning | |
US20100216107A1 (en) | System and Method of Distance Learning at Multiple Locations Using the Internet | |
TW202018649A (en) | Asymmetric video conferencing system and method thereof | |
Jaselskis et al. | Virtual construction project field trips using remote classroom technology | |
JP2024002781A (en) | Robot, conference system, and control method | |
JP3741485B2 (en) | Remote collaborative teaching system | |
JP2007221437A (en) | Remote conference system | |
Boll | Multimedia at CHI: telepresence at work for remote conference participation | |
JP2003333561A (en) | Monitor screen displaying method, terminal, and video conference system | |
Black et al. | The Note-Taker: An assistive technology that allows students who are legally blind to take notes in the classroom | |
Lindeman | Tell me about antarctica: Guidelines for in situ capture and viewing of 360-degree video highlighting antarctic science | |
JP2005278147A (en) | Image communication system | |
Ciofi et al. | Very Simple and Inexpensive System for Distance Learning with the Use of Chalkboard | |
Discuteanu et al. | Technological Infrastructure | |
Gadanac et al. | Kinect-based presenter tracking prototype for videoconferencing | |
JP2004147307A (en) | Display device, terminal equipment and bidirectional interactive system | |
JP2003284017A (en) | Terminal unit, two-way dialog type system, headset, and multi-window display method | |
JP4179082B2 (en) | Visual information recording method and recording apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20220715 |