JP2024002781A

JP2024002781A - Robot, conference system, and control method

Info

Publication number: JP2024002781A
Application number: JP2022102188A
Authority: JP
Inventors: 恵秋山; Megumi Akiyama; 豊小笠原; Yutaka Ogasawara; 浩介福島; Kosuke Fukushima
Original assignee: Itoki Corp
Current assignee: Itoki Corp
Priority date: 2022-06-24
Filing date: 2022-06-24
Publication date: 2024-01-11

Abstract

PROBLEM TO BE SOLVED: To further smoothen a communication between a remote participant and a participant in a conference area.

SOLUTION: A robot (10) comprises: display units (12-1, 12-2) which can be arranged in a conference area including at least one participant in an actual space and display information from a remote participant in a conference; an identification operation unit (13) which performs operation of identifying a partial area in a conference area (SP); and a control unit (101) which controls the identification operation unit (13) in response to operation by the remoter participant on a remote terminal (20) to be used by the remote participant to participate in the conference from remote.

SELECTED DRAWING: Figure 2

Description

特許法第３０条第２項適用申請有り・ウェブサイトのアドレスｈｔｔｐｓ：／／ｗｗｗ．ｉｔｏｋｉ．ｊｐ／ｓｐｅｃｉａｌ／ｓｍａｒｔ－ｃａｍｐｕｓ－ｓｏｌｕｔｉｏｎ／ｆｌｏｏｒ３掲載日令和４年３月２８日公開者株式会社イトーキApplication for application of Article 30, Paragraph 2 of the Patent Act has been filed ・Website address: https://www. itoki. jp/special/smart-campus-solution/floor3 Publication date: March 28, 2020 Publisher: ITOKI Co., Ltd.

本発明は、会議エリアに配置されるロボットに係る技術に関する。 The present invention relates to a technology related to a robot placed in a conference area.

特許文献１には、会議エリアに配置されるロボットが記載されている。当該ロボットは、会議への遠隔参加者の画像を表示するモニタと、会議エリアの画像を遠隔参加者に供給するカメラと、ハンドおよびアームを有する。当該ロボットは、ハンドおよびアームを用いて、会議エリアにいる参加者の注意を引くための手を振るなどの動作を行う。 Patent Document 1 describes a robot placed in a conference area. The robot has a monitor that displays an image of a remote participant in the conference, a camera that provides an image of the conference area to the remote participant, and a hand and an arm. The robot uses its hands and arms to perform actions such as waving to attract the attention of participants in the conference area.

特開２０１４－１９７４０３号公報Japanese Patent Application Publication No. 2014-197403

ここで、会議エリアにいる参加者と、当該会議への遠隔参加者との間では、会議エリアの部分領域（一例として、会議エリア内のホワイトボード上の領域等）を特定しながらコミュニケーションを行う場合がある。しかしながら、特許文献１に記載されたロボットは、会議エリアにいる参加者の注意を引く動作を行うが、その動作により会議エリアの部分領域を特定することはできない。このため、会議エリアにいる参加者と、当該会議への遠隔参加者とのコミュニケーションが、円滑に行えない場合がある。 Here, participants in the conference area and remote participants in the conference communicate while specifying a partial area of the conference area (for example, an area on a whiteboard in the conference area). There are cases. However, although the robot described in Patent Document 1 performs a motion that attracts the attention of participants in the conference area, it is not possible to specify a partial area of the conference area based on the motion. Therefore, communication between participants in the conference area and remote participants in the conference may not be able to occur smoothly.

本発明の一態様は、上述した課題を解決するためになされたもので、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる技術を提供することを目的とする。 One aspect of the present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a technology that allows smoother communication between remote participants and participants in a conference area. purpose.

上記の課題を解決するために、本発明の一態様に係るロボットは、現実空間において少なくとも１人の参加者を含む会議エリアに配置可能なロボットであって、会議への遠隔参加者からの情報を表示する表示部と、前記会議エリア内の部分領域を特定する動作を行う特定動作部と、前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部を制御する制御部と、を含む。上記構成によれば、遠隔参加者が会議エリアにおいて特定した部分領域を、会議エリアにいる参加者が認識することができる。これにより、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる。 In order to solve the above problems, a robot according to one aspect of the present invention is a robot that can be placed in a conference area including at least one participant in real space, and that can collect information from remote participants in the conference. a display unit that displays a partial area within the conference area, a specific operation unit that performs an operation of specifying a partial area within the conference area, and a specific operation unit that performs an operation of specifying a partial area within the conference area; and a control section that controls the specific operation section accordingly. According to the above configuration, a participant present in the conference area can recognize a partial area specified in the conference area by a remote participant. This allows for smoother communication between remote participants and participants in the conference area.

また、上記の課題を解決するために、本発明の一態様に係る会議システムは、上述したロボットと、前記遠隔端末と、前記参加者および前記遠隔参加者が参加する会議を管理する管理装置と、を備える。上記構成によれば、管理装置が管理する会議において、遠隔端末およびロボットを介して、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる。 Further, in order to solve the above problem, a conference system according to one aspect of the present invention includes the above-mentioned robot, the remote terminal, and a management device that manages a conference in which the participants and the remote participants participate. , is provided. According to the above configuration, in a conference managed by the management device, communication between remote participants and participants in the conference area can be performed more smoothly via the remote terminal and the robot.

また、上記の課題を解決するために、本発明の一態様に係る制御方法は、現実空間において少なくとも１人の参加者を含む会議エリアに配置可能な、表示部および特定動作部を含むロボットを制御する制御方法であって、会議への遠隔参加者からの情報を前記表示部に表示するステップと、前記遠隔参加者が前記会議への遠隔参加のために用いる遠隔端末に対する前記遠隔参加者の操作に応じて、前記特定動作部が前記会議エリア内の部分領域を特定する動作を行うよう制御するステップと、を含む。上記構成によれば、上記ロボットを、上記効果を奏するよう制御することができる。 Further, in order to solve the above problems, a control method according to one aspect of the present invention provides a control method that uses a robot that includes a display unit and a specific movement unit that can be placed in a conference area that includes at least one participant in real space. A control method comprising the steps of: displaying information from a remote participant in a conference on the display; The method further includes the step of controlling the specific operation section to perform an operation of specifying a partial area within the conference area in response to an operation. According to the above configuration, the robot can be controlled to achieve the above effects.

本発明の一態様によれば、遠隔参加者と、会議エリアにいる参加者との間のコミュニケーションをより円滑に行うことができる。 According to one aspect of the present invention, communication between remote participants and participants in the conference area can be facilitated.

本発明の実施形態１に係る会議システムの概要を説明する模式図である。1 is a schematic diagram illustrating an overview of a conference system according to Embodiment 1 of the present invention. 本発明の実施形態１に係る会議システムの構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a conference system according to Embodiment 1 of the present invention. 本発明の実施形態１に係るロボットの具体的な構成の一例を示す模式図である。FIG. 1 is a schematic diagram showing an example of a specific configuration of a robot according to Embodiment 1 of the present invention. 本発明の実施形態１に係る制御方法の流れを示すフロー図である。FIG. 2 is a flow diagram showing the flow of a control method according to Embodiment 1 of the present invention. 本発明の実施形態１においてロボットの動作により特定された領域の具体例を示す模式図である。FIG. 3 is a schematic diagram showing a specific example of an area specified by the movement of a robot in Embodiment 1 of the present invention.

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。 [Embodiment 1]
Hereinafter, one embodiment of the present invention will be described in detail.

（会議システム１の概略）
本実施形態に係る会議システム１の概略について、図１を参照して説明する。図１は、会議システム１の概略を示す図である。図１に示すように、会議システム１は、会議エリアＳＰにいる参加者Ｕと、遠隔参加者ＲＵとが参加する会議を管理するシステムである。なお、会議エリアＳＰにいる参加者Ｕの人数は、図示の３人に限定されず、少なくとも１人いればよい。 (Outline of conference system 1)
An outline of a conference system 1 according to this embodiment will be described with reference to FIG. 1. FIG. 1 is a diagram schematically showing a conference system 1. As shown in FIG. As shown in FIG. 1, the conference system 1 is a system that manages a conference in which participants U in the conference area SP and remote participants RU participate. Note that the number of participants U in the conference area SP is not limited to three as shown in the figure, but may be at least one.

ここで、会議システム１が管理する会議は、複数の人が所定の目的または議題に応じてコミュニケーションするものであればよく、例えば、打合せ、ミーティング、ディスカッション、レクチャー、セミナー、講義等と呼ばれるものを含む。また、会議システム１が管理する会議は、教育機関において行われる会議であってもよい。 Here, the conference managed by the conference system 1 may be one in which a plurality of people communicate according to a predetermined purpose or topic; for example, a meeting, a meeting, a discussion, a lecture, a seminar, a lecture, etc. include. Further, the conference managed by the conference system 1 may be a conference held at an educational institution.

また、会議エリアＳＰは、現実空間において会議が開催される空間である。会議エリアＳＰは、周囲全体に壁、窓、パーティション等の仕切りがあるクローズドな空間であってもよいし、周囲の少なくとも一部に仕切りがないオープンな空間であってもよい。また、会議エリアＳＰは、常設の空間であってもよいし、仮設の空間であってもよい。また、会議エリアＳＰは、屋内の空間であってもよいし、屋外の空間であってもよい。例えば、会議エリアＳＰは、教育機関の敷地内に設けられてもよい。この場合、教育機関の敷地内には、複数の会議エリアＳＰが設けられてもよい。会議エリアＳＰの具体例としては、教室、講義やセミナー等が行われる空間、等が挙げられる。 Further, the conference area SP is a space where a conference is held in real space. The conference area SP may be a closed space with partitions such as walls, windows, partitions, etc. all around it, or it may be an open space with no partitions around at least part of the surrounding area. Further, the conference area SP may be a permanent space or a temporary space. Further, the conference area SP may be an indoor space or an outdoor space. For example, the conference area SP may be provided within the grounds of an educational institution. In this case, a plurality of conference areas SP may be provided within the grounds of the educational institution. Specific examples of the conference area SP include a classroom, a space where lectures, seminars, etc. are held, and the like.

会議エリアＳＰには、ロボット１０、管理装置３０、プロジェクタ４０、ピンマイク５０、ホワイトボードＷＢ、および記録センサ６０が配置される。ロボット１０は、遠隔参加者Ｒが利用する後述の遠隔端末２０と通信を行うことにより、遠隔参加者ＲＵの代理として動作する。管理装置３０は、参加者Ｕおよび遠隔参加者ＲＵが参加する会議を統括的に管理する。プロジェクタ４０は、開催中の会議のログ情報Ｌを、壁面ＢＤに投影する。ピンマイク５０は、当該ピンマイク５０を装着している参加者Ｕの音声データを取得する。なお、図１では、３人の参加者がそれぞれピンマイク５０を装着する例として、合計３つのピンマイク５０を示しているが、会議エリアＳＰに配置されるピンマイク５０の数は、３つに限定されない。ホワイトボードＷＢには、参加者Ｕにより情報が記入される。記録センサ６０は、ホワイトボードＷＢへの記入内容を示す記入情報を取得する。 A robot 10, a management device 30, a projector 40, a pin microphone 50, a whiteboard WB, and a recording sensor 60 are arranged in the conference area SP. The robot 10 operates on behalf of the remote participant RU by communicating with a remote terminal 20 (described below) used by the remote participant R. The management device 30 comprehensively manages a conference in which participants U and remote participants RU participate. The projector 40 projects log information L of the meeting being held onto the wall surface BD. The pin microphone 50 acquires audio data of the participant U wearing the pin microphone 50. Although FIG. 1 shows a total of three pin microphones 50 as an example in which three participants each wear a pin microphone 50, the number of pin microphones 50 arranged in the conference area SP is not limited to three. . Information is written on the whiteboard WB by the participant U. The recording sensor 60 acquires written information indicating the contents written on the whiteboard WB.

（会議システム１の構成）
会議システム１の構成について、図２を参照して説明する。図２は、会議システム１の構成を示すブロック図である。図２に示すように、会議システム１は、ロボット１０と、遠隔端末２０と、管理装置３０と、プロジェクタ４０と、ピンマイク５０と、記録センサ６０と、を含む。遠隔端末２０は、会議エリアＳＰの外部に配置される。それ以外の各装置は、会議エリアＳＰの内部に配置される。ロボット１０と、遠隔端末２０と、管理装置３０とは、ネットワークＮ１を介して通信可能に接続される。ネットワークＮ１は、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、またはこれらの組み合わせを含む。ネットワークＮ２は、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、モバイルデータ通信網、公衆回線網等のＷＡＮ（Wide Area Network）、またはこれらの一部または全部の組み合わせを含む。また、ネットワークＮ２は、専用線またはＶＰＮ（Virtual Private Network）を含んでいてもよい。また、プロジェクタ４０、ピンマイク５０、および記録センサ６０のそれぞれは、近距離無線通信により管理装置３０に接続される。 (Configuration of conference system 1)
The configuration of the conference system 1 will be explained with reference to FIG. 2. FIG. 2 is a block diagram showing the configuration of the conference system 1. As shown in FIG. As shown in FIG. 2, the conference system 1 includes a robot 10, a remote terminal 20, a management device 30, a projector 40, a pin microphone 50, and a recording sensor 60. The remote terminal 20 is located outside the conference area SP. The other devices are arranged inside the conference area SP. The robot 10, the remote terminal 20, and the management device 30 are communicably connected via the network N1. The network N1 includes a wireless LAN (Local Area Network), a wired LAN, or a combination thereof. The network N2 includes a WAN (Wide Area Network) such as a wireless LAN (Local Area Network), a wired LAN, a mobile data communication network, a public line network, or a combination of some or all of these. Further, the network N2 may include a leased line or a VPN (Virtual Private Network). Furthermore, each of the projector 40, pin microphone 50, and recording sensor 60 is connected to the management device 30 by short-range wireless communication.

（ロボット１０の構成）
ロボット１０は、現実空間において少なくとも１人の参加者Ｕを含む会議エリアＳＰに配置可能である。ロボット１０の構成について、図２を参照して説明する。図２に示すように、ロボット１０は、カメラ１１と、モニタ１２－１、１２－２と、プロジェクタ１３と、スピーカ１４－１、１４－２と、マイク１５と、胴部１６と、移動部１７と、制御装置１００と、を含む。制御装置１００は、制御部１０１と、記憶部１０２と、通信部１０３とを含む。制御部１０１は、ロボット１０の各部の動作を統括して制御する。記憶部１０２は、制御部１０１が使用する各種のデータ、およびロボット１０を制御するためのプログラムを記憶する。通信部１０３は、ネットワークＮ１、Ｎ２を介して他の装置と通信を行う。 (Configuration of robot 10)
The robot 10 can be placed in a conference area SP that includes at least one participant U in real space. The configuration of the robot 10 will be explained with reference to FIG. 2. As shown in FIG. 2, the robot 10 includes a camera 11, monitors 12-1 and 12-2, a projector 13, speakers 14-1 and 14-2, a microphone 15, a body 16, and a moving section. 17 and a control device 100. Control device 100 includes a control section 101, a storage section 102, and a communication section 103. The control unit 101 centrally controls the operations of each part of the robot 10. The storage unit 102 stores various data used by the control unit 101 and programs for controlling the robot 10. The communication unit 103 communicates with other devices via networks N1 and N2.

また、ロボット１０は、当該ロボット１０の各部に電源を供給する充電式電源（図示せず）を有する。充電式電源は、満充電の状態から当該ロボット１０を所定時間起動可能とする。ロボット１０は、充電式電源を外部の充電装置に連結するための連結部をさらに有していてもよい。この場合、連結部は、ロボット１０において充電装置との連結が容易な位置に搭載される。また、充電式電源は、外部の充電装置に連結するために取り外し可能であってもよい。この場合、充電式電源は、ロボット１０において取り外し容易な位置に搭載される。 The robot 10 also has a rechargeable power source (not shown) that supplies power to each part of the robot 10. The rechargeable power source enables the robot 10 to be activated for a predetermined period of time from a fully charged state. The robot 10 may further include a connection portion for connecting the rechargeable power source to an external charging device. In this case, the connecting portion is mounted on the robot 10 at a position where it can be easily connected to the charging device. The rechargeable power source may also be removable for connection to an external charging device. In this case, the rechargeable power source is mounted on the robot 10 at a position where it can be easily removed.

ロボット１０の具体的な構成の一例について、図３を参照して説明する。図３は、ロボット１０の具体的な構成の一例を示す図である。この例では、ロボット１０には正面方向ｄ０が定められ、モニタ１２－１およびカメラ１１は、正面方向ｄ０を向いている。ただし、以下に説明するように、モニタ１２－１およびカメラ１１が向く方向は可変となっている。 An example of a specific configuration of the robot 10 will be described with reference to FIG. 3. FIG. 3 is a diagram showing an example of a specific configuration of the robot 10. In this example, a front direction d0 is determined for the robot 10, and the monitor 12-1 and camera 11 face the front direction d0. However, as explained below, the directions in which the monitor 12-1 and camera 11 face are variable.

カメラ１１は、周囲を撮影してロボット１０の視野を示す視野画像を生成する撮影部の一例である。ここで、カメラ１１の画角ｄ３に含まれる領域を、ロボット１０の視野とも記載する。視野画像は、画角ｄ３に含まれる領域が撮影された画像である。例えば、カメラ１１は、ＣＣＤ（Charge Coupled Device）カメラであってもよい。カメラ１１は、モニタ１２－１に、画角ｄ３の向きが可変となるよう接続される。ただし、カメラ１１は、これに限らず、胴部１６、または図示しない支持体等に接続されてもよい。例えば、カメラ１１の画角ｄ３は、モニタ１２－１の画面が向く方向ｄ１を含む範囲で可変である。 The camera 11 is an example of a photographing unit that photographs the surroundings and generates a visual field image showing the visual field of the robot 10 . Here, the area included in the angle of view d3 of the camera 11 is also referred to as the field of view of the robot 10. The visual field image is an image in which a region included in the viewing angle d3 is photographed. For example, the camera 11 may be a CCD (Charge Coupled Device) camera. The camera 11 is connected to the monitor 12-1 so that the angle of view d3 is variable. However, the camera 11 is not limited to this, and may be connected to the body 16 or a support body (not shown). For example, the angle of view d3 of the camera 11 is variable within a range that includes the direction d1 in which the screen of the monitor 12-1 faces.

モニタ１２－１、１２－２は、それぞれ、遠隔参加者ＲＵからの情報を表示する表示部の一例である。遠隔参加者ＲＵからの情報は、換言すると、遠隔端末２０から送信される情報である。例えば、遠隔参加者ＲＵからの情報は、遠隔端末２０に表示される情報の一部または全部を含んでいてもよい。また、遠隔参加者ＲＵからの情報は、遠隔参加者ＲＵを表す画像を含んでいてもよい。この場合、遠隔参加者ＲＵを表す画像は、例えば、遠隔参加者ＲＵの顔画像を含んでいてもよい。以下では、遠隔参加者ＲＵからの情報が、遠隔参加者ＲＵを表す画像を含む例を中心に説明する。例えば、モニタ１２－１、１２－２は、液晶ディスプレイ、または有機ＥＬ（Electro Luminescence）ディスプレイ等であってもよい。モニタ１２－１の画面が向く方向ｄ１は、前述のように、カメラ１１の画角ｄ３に含まれる。モニタ１２－２の画面が向く方向ｄ２は、方向ｄ１とは異なる。具体的には、モニタ１２－１、１２－２は、支持体１２ａに背中合わせに取り付けられており、方向ｄ１と方向ｄ２とは反対向きとなっている。支持体１２ａは、胴部１６の上面に対して、水平面において回転可能に接続される。 The monitors 12-1 and 12-2 are each an example of a display unit that displays information from a remote participant RU. Information from the remote participant RU is, in other words, information sent from the remote terminal 20. For example, information from remote participant RU may include some or all of the information displayed on remote terminal 20. The information from the remote participant RU may also include an image representing the remote participant RU. In this case, the image representing the remote participant RU may include, for example, a facial image of the remote participant RU. The following description focuses on an example in which information from a remote participant RU includes an image representing the remote participant RU. For example, the monitors 12-1 and 12-2 may be liquid crystal displays, organic EL (Electro Luminescence) displays, or the like. The direction d1 in which the screen of the monitor 12-1 faces is included in the angle of view d3 of the camera 11, as described above. The direction d2 in which the screen of the monitor 12-2 faces is different from the direction d1. Specifically, the monitors 12-1 and 12-2 are attached back to back to the support 12a, and the directions d1 and d2 are opposite to each other. The support body 12a is rotatably connected to the upper surface of the body 16 in a horizontal plane.

このように、ロボット１０の視野に含まれる領域において、モニタ１２－１に表示された「遠隔参加者を表す画像」が視認可能である。また、ロボット１０の視野に含まれない領域において、モニタ１２－２に表示された「遠隔参加者を表す画像」が視認可能である。換言すると、モニタ１２－２は、ロボット１０の視野に含まれない領域において視認可能となるよう、遠隔参加者ＲＵからの情報を表示する。 In this way, the "image representing the remote participant" displayed on the monitor 12-1 is visible in the area included in the field of view of the robot 10. Furthermore, in an area that is not included in the field of view of the robot 10, the "image representing the remote participant" displayed on the monitor 12-2 is visible. In other words, the monitor 12-2 displays information from the remote participant RU so that it is visible in areas that are not included in the field of view of the robot 10.

プロジェクタ１３は、会議エリアＳＰ内の部分領域を特定する動作を行う特定動作部の一例である。具体的には、プロジェクタ１３は、光源を含み、照射範囲ｄ４に含まれる被投影面に、画像を投影する。例えば、投影される画像は、ポインタ、サイン等のアイコンである。これにより、プロジェクタ１３は、光源からの光が照射する領域（会議エリアＳＰ内の部分領域）を指し示す動作を行う。部分領域の具体例としては、ホワイトボードＷＢ上の領域が挙げられる。また、部分領域の他の具体例としては、壁面ＢＤに投影されたログ情報Ｌの表示領域が挙げられる。なお、ログ情報Ｌの表示領域は、「参加者Ｕおよび遠隔参加者ＲＵの一方または両方による発信情報の表示領域またはその履歴の表示領域」の一例である。 The projector 13 is an example of a specific operation unit that performs an operation to specify a partial area within the conference area SP. Specifically, the projector 13 includes a light source and projects an image onto a projection surface included in the irradiation range d4. For example, the projected image is an icon such as a pointer or a sign. Thereby, the projector 13 performs an operation of pointing to a region (a partial region within the conference area SP) illuminated with light from the light source. A specific example of the partial area is an area on the whiteboard WB. Further, another specific example of the partial area is a display area of log information L projected on the wall surface BD. Note that the display area for the log information L is an example of "a display area for information transmitted by one or both of the participant U and the remote participant RU, or a display area for the history thereof."

また、プロジェクタ１３の照射範囲ｄ４は、カメラ１１の画角ｄ３に含まれる範囲で可変である。例えば、プロジェクタ１３は、胴部１６の上面に、照射範囲ｄ４の向きが可変となるよう接続される。 Further, the irradiation range d4 of the projector 13 is variable within the range included in the angle of view d3 of the camera 11. For example, the projector 13 is connected to the upper surface of the body 16 so that the direction of the irradiation range d4 is variable.

スピーカ１４－１、１４－２は、それぞれ、遠隔参加者ＲＵの音声を出力する。スピーカ１４－１は、モニタ１２－１の画面が向く方向ｄ１に音声を出力するよう配置される。スピーカ１４－２は、モニタ１２－２の画面が向く方向ｄ２に音声を出力するよう配置される。これにより、ロボット１０が何れの方向を向いていても、参加者Ｕは、遠隔参加者ＲＵの音声を容易に認識することができる。マイク１５（図３では不図示）は、参加者Ｕの音声を検出して音声データを生成する。胴部１６は、制御装置１００を内蔵する。また、胴部１６の上部には、モニタ１２－１、１２－２を支持する支持体１２ａ、およびプロジェクタ１３が接続される。また、胴部１６の下部には、移動部１７が接続される。 The speakers 14-1 and 14-2 each output the voice of the remote participant RU. The speaker 14-1 is arranged so as to output sound in the direction d1 toward which the screen of the monitor 12-1 faces. The speaker 14-2 is arranged to output audio in the direction d2 toward which the screen of the monitor 12-2 faces. Thereby, the participant U can easily recognize the voice of the remote participant RU, no matter which direction the robot 10 is facing. The microphone 15 (not shown in FIG. 3) detects the voice of the participant U and generates voice data. The body portion 16 includes a control device 100 therein. Furthermore, a support 12a that supports the monitors 12-1 and 12-2, and a projector 13 are connected to the upper part of the body 16. Furthermore, a moving section 17 is connected to the lower part of the body section 16 .

移動部１７は、ロボット１０全体を移動させる。具体的には、移動部１７は、複数のホイールと、当該ホイールを回転駆動する駆動部とを含む。例えば、移動部１７は、ロボット１０の全方向移動を可能とする。 The moving unit 17 moves the entire robot 10. Specifically, the moving unit 17 includes a plurality of wheels and a drive unit that rotationally drives the wheels. For example, the moving unit 17 allows the robot 10 to move in all directions.

（遠隔端末２０の構成）
遠隔端末２０は、遠隔参加者ＲＵが利用する端末である。遠隔端末２０は、ロボット１０と通信することにより、遠隔参加者ＲＵの会議への遠隔参加を可能とする。換言すると、遠隔参加者ＲＵは、遠隔端末２０およびロボット１０を用いて、会議に遠隔参加する。遠隔端末２０の構成について、図２を参照して説明する。遠隔端末２０は、制御部２１と、記憶部２２と、通信部２３と、表示部２４と、入力部２５と、カメラ２６と、スピーカ２７と、マイク２８と、を含む。例えば、遠隔端末２０は、スマートフォン、タブレット、ノート型パーソナルコンピュータ、等であってもよいが、これらに限られない。また、遠隔端末２０は、少なくとも制御部２１および記憶部２２を含み、その他の各部の一部または全部は、遠隔端末２０の外部に周辺装置等として接続されていてもよい。 (Configuration of remote terminal 20)
The remote terminal 20 is a terminal used by a remote participant RU. The remote terminal 20 enables remote participant RU to participate remotely in the conference by communicating with the robot 10 . In other words, the remote participant RU uses the remote terminal 20 and the robot 10 to remotely participate in the conference. The configuration of the remote terminal 20 will be explained with reference to FIG. 2. The remote terminal 20 includes a control section 21, a storage section 22, a communication section 23, a display section 24, an input section 25, a camera 26, a speaker 27, and a microphone 28. For example, remote terminal 20 may be, but is not limited to, a smartphone, a tablet, a notebook personal computer, or the like. Further, the remote terminal 20 includes at least a control section 21 and a storage section 22, and some or all of the other sections may be connected to the outside of the remote terminal 20 as a peripheral device or the like.

制御部２１は、遠隔端末２０の各部の動作を統括して制御する。記憶部２２は、制御部２１が使用する各種のデータおよびプログラムを記憶する。通信部２３は、ネットワークＮ２を介して他の装置と通信を行う。 The control section 21 centrally controls the operation of each section of the remote terminal 20. The storage unit 22 stores various data and programs used by the control unit 21. The communication unit 23 communicates with other devices via the network N2.

表示部２４は、会議エリアＳＰ内の画像を表示する。表示部２４は、例えば、液晶ディスプレイ、タッチパネル等であるが、これらに限られない。入力部２５は、ロボット１０を制御するための操作を受け付ける。入力部２５は、例えば、キーボード、マウス、タッチパッド、または、表示部２４と一体に形成されたタッチパネル等であるが、これらに限られない。カメラ２６は、周囲を撮影して遠隔参加者ＲＵを表す画像を生成する。スピーカ２７は、参加者Ｕの音声を出力する。マイク２８は、遠隔参加者ＲＵの音声を検出して音声データを生成する。 The display unit 24 displays images within the conference area SP. The display unit 24 is, for example, a liquid crystal display, a touch panel, etc., but is not limited to these. The input unit 25 accepts operations for controlling the robot 10. The input unit 25 is, for example, a keyboard, a mouse, a touch pad, or a touch panel formed integrally with the display unit 24, but is not limited to these. Camera 26 photographs the surroundings and generates an image representing the remote participant RU. The speaker 27 outputs the voice of the participant U. The microphone 28 detects the voice of the remote participant RU and generates voice data.

（管理装置３０の構成）
管理装置３０は、参加者Ｕおよび遠隔参加者ＲＵが参加する会議を管理する装置である。管理装置３０の構成について、図２を参照して説明する。管理装置３０は、制御部３１と、記憶部３２と、通信部３３と、表示部３４と、入力部３５と、を含む。例えば、管理装置３０は、スマートフォン、タブレット、ノート型パーソナルコンピュータ、等であってもよいが、これに限られない。また、管理装置３０は、少なくとも制御部３１および記憶部３２を含み、その他の各部の一部または全部は管理装置３０の外部に周辺装置等として接続されていてもよい。 (Configuration of management device 30)
The management device 30 is a device that manages a conference in which participants U and remote participants RU participate. The configuration of the management device 30 will be explained with reference to FIG. 2. The management device 30 includes a control section 31, a storage section 32, a communication section 33, a display section 34, and an input section 35. For example, the management device 30 may be a smartphone, a tablet, a notebook personal computer, etc., but is not limited thereto. Further, the management device 30 includes at least a control unit 31 and a storage unit 32, and some or all of the other units may be connected to the outside of the management device 30 as a peripheral device or the like.

制御部３１は、管理装置３０の各部の動作を統括して制御する。記憶部３２は、制御部３１が使用する各種のデータおよびプログラムを記憶する。通信部３３は、ネットワークＮ１、Ｎ２を介して他の装置と通信を行う。また、制御部３１は、会議エリアＳＰにおける会議の開始および終了を管理する。また、制御部３１は、参加者Ｕおよび遠隔参加者ＲＵの一方または両方による発信情報を記録する。 The control unit 31 centrally controls the operations of each unit of the management device 30. The storage unit 32 stores various data and programs used by the control unit 31. The communication unit 33 communicates with other devices via networks N1 and N2. Further, the control unit 31 manages the start and end of a conference in the conference area SP. Further, the control unit 31 records information transmitted by one or both of the participant U and the remote participant RU.

（会議システム１が継続して実行する動作）
以上のように構成された会議システム１は、会議の開始から終了までの間、継続して次の動作を行う。例えば、管理装置３０の制御部３１は、入力部３５から会議の開始を指示する情報が入力されると、会議が開始したと判断し、会議の終了を指示する情報が入力されると、会議が終了したと判断する。 (Operations continuously executed by conference system 1)
The conference system 1 configured as described above continuously performs the following operations from the start to the end of the conference. For example, the control unit 31 of the management device 30 determines that the conference has started when information instructing to start a conference is input from the input unit 35, and when information instructing to end the conference is input, the control unit 31 determines that the conference has started. is judged to have ended.

ロボット１０の制御部１０１は、遠隔端末２０に対して、カメラ１１が撮影する視野画像（会議エリアＳＰを示す画像）と、マイク１５が取得する会議エリアＳＰ内の音声データと、を継続的に送信する。これにより、遠隔端末２０の表示部２４およびスピーカ２７からは、ロボット１０の視野画像および会議エリアＳＰ内の音声データがリアルタイムに出力される。 The control unit 101 of the robot 10 continuously transmits to the remote terminal 20 the visual field image (image showing the conference area SP) taken by the camera 11 and the audio data in the conference area SP acquired by the microphone 15. Send. As a result, the display unit 24 and speaker 27 of the remote terminal 20 output the visual field image of the robot 10 and the audio data within the conference area SP in real time.

また、遠隔端末２０の制御部２１は、ロボット１０に対して、カメラ２６が撮影する遠隔参加者ＲＵを表す画像と、マイク２８が取得する遠隔参加者ＲＵの音声データとを継続的に送信する。これにより、ロボット１０のモニタ１２－１、１２－２およびスピーカ１４からは、遠隔参加者ＲＵを表す画像と、遠隔参加者ＲＵの音声とがリアルタイムに出力される。また、遠隔端末２０の制御部２１は、ロボット１０に対して、遠隔端末２０の表示部２４に表示された情報の一部または全部を継続的に送信してもよい。これにより、ロボット１０のモニタ１２－１、１２－２には、遠隔参加者ＲＵからの情報として、遠隔端末２０の表示部２４に表示された情報の一部または全部が表示される。 Furthermore, the control unit 21 of the remote terminal 20 continuously transmits to the robot 10 an image representing the remote participant RU captured by the camera 26 and audio data of the remote participant RU acquired by the microphone 28. . As a result, the monitors 12-1, 12-2 and the speaker 14 of the robot 10 output an image representing the remote participant RU and the voice of the remote participant RU in real time. Further, the control unit 21 of the remote terminal 20 may continuously transmit part or all of the information displayed on the display unit 24 of the remote terminal 20 to the robot 10. As a result, part or all of the information displayed on the display section 24 of the remote terminal 20 is displayed on the monitors 12-1 and 12-2 of the robot 10 as information from the remote participant RU.

また、管理装置３０の制御部３１は、参加者Ｕおよび遠隔参加者ＲＵによる発信情報、ならびにホワイトボードＷＢへの記入情報を記録する処理を継続して行う。具体的には、制御部３１は、ピンマイク５０が取得した音声データに基づいて、話者を識別する。例えば、制御部３１は、音声データの取得元が複数のピンマイク５０のいずれであるかに応じて、当該ピンマイク５０を装着した参加者Ｕが話者であると識別する。例えば、制御部３１は、ピンマイク５０の識別情報を、話者である参加者Ｕの識別情報として用いてもよい。また、制御部３１は、取得した音声データと、話者である参加者Ｕの識別情報と、当該音声を変換した文字情報とを含む発信情報を生成し、音声データの取得時刻に関連付けて記憶部１２に記録する。また、管理装置３０の制御部３１は、記録センサ６０が取得した記入情報を、取得時刻に関連付けて記憶部１２に記憶する。制御部３１がこれらの処理を繰り返すことにより、記憶部１２には、発信情報と記入情報とを取得時刻に沿って並べたログ情報Ｌが記録される。 Furthermore, the control unit 31 of the management device 30 continues to perform the process of recording information sent by the participant U and remote participant RU, and information written on the whiteboard WB. Specifically, the control unit 31 identifies the speaker based on the audio data acquired by the pin microphone 50. For example, the control unit 31 identifies the participant U wearing the pin microphone 50 as the speaker depending on which of the plurality of pin microphones 50 is the source of the audio data. For example, the control unit 31 may use the identification information of the pin microphone 50 as the identification information of the participant U who is the speaker. Further, the control unit 31 generates transmission information including the acquired voice data, identification information of the participant U who is the speaker, and text information obtained by converting the voice, and stores it in association with the acquisition time of the voice data. Record it in section 12. Further, the control unit 31 of the management device 30 stores the entry information acquired by the recording sensor 60 in the storage unit 12 in association with the acquisition time. As the control unit 31 repeats these processes, the storage unit 12 records log information L in which the outgoing information and the entered information are arranged in accordance with the acquisition time.

また、管理装置３０の制御部３１は、記録したログ情報Ｌを、リアルタイムにプロジェクタ４０に出力する。これにより、壁面ＢＤには、ログ情報Ｌがリアルタイムに更新されながら投影される。これにより、参加者Ｕおよび遠隔参加者ＲＵは、会議中にログ情報Ｌを認識して会議の内容を振り返ることができる。また、これにより、会議の欠席者があとからログ情報Ｌを参照することも可能となる。 Further, the control unit 31 of the management device 30 outputs the recorded log information L to the projector 40 in real time. Thereby, the log information L is projected onto the wall surface BD while being updated in real time. Thereby, the participant U and the remote participant RU can recognize the log information L during the conference and review the content of the conference. Furthermore, this also allows those who are absent from the meeting to refer to the log information L later.

（制御方法Ｓ１の流れ）
会議システム１が実行する制御方法Ｓ１について、図４を参照して説明する。制御方法Ｓ１は、会議エリアＳＰの部分領域を特定する動作を行うようロボット１０を制御する方法である。図４は、制御方法Ｓ１の流れを説明するフロー図である。図４に示すように、制御方法Ｓ１は、ステップＳ１１～Ｓ１６を含む。 (Flow of control method S1)
The control method S1 executed by the conference system 1 will be explained with reference to FIG. 4. The control method S1 is a method of controlling the robot 10 to perform an operation to specify a partial area of the conference area SP. FIG. 4 is a flow diagram illustrating the flow of the control method S1. As shown in FIG. 4, the control method S1 includes steps S11 to S16.

ステップＳ１１において、制御部２１は、ロボット１０の視野を変化させるための遠隔参加者ＲＵによる操作を受け付ける。ロボット１０の視野は、当該ロボット１０を移動させることにより変化する。また、ロボット１０の視野は、カメラ１１の画角ｄ３を変化させることにより変化する。例えば、遠隔参加者ＲＵは、表示部２４に表示されるロボット１０の視野画像を視認しながら、ロボット１０を移動させるための操作を、入力部２５を用いて行う。また、遠隔参加者ＲＵは、ロボット１０の視野画像を視認しながら、カメラ１１の画角ｄ３を変化させる操作を、入力部２５を用いて行う。 In step S11, the control unit 21 receives an operation by the remote participant RU to change the field of view of the robot 10. The field of view of the robot 10 changes by moving the robot 10. Furthermore, the field of view of the robot 10 changes by changing the viewing angle d3 of the camera 11. For example, the remote participant RU uses the input unit 25 to perform an operation for moving the robot 10 while visually checking the visual field image of the robot 10 displayed on the display unit 24 . Further, the remote participant RU uses the input unit 25 to perform an operation to change the viewing angle d3 of the camera 11 while visually checking the visual field image of the robot 10.

ステップＳ１２において、制御部２１は、ステップＳ１１で受け付けた操作に基づいて、ロボット１０の視野の変化を指示する情報を、ロボット１０に送信する。視野の変化を指示する情報には、移動を指示する情報と、画角ｄ３を制御する情報とが含まれる。 In step S12, the control unit 21 transmits to the robot 10 information instructing a change in the field of view of the robot 10 based on the operation received in step S11. The information instructing a change in the field of view includes information instructing movement and information controlling the angle of view d3.

ステップＳ１３において、ロボット１０の制御部１０１は、受信した情報に基づいて、移動部１７を制御して自身を移動させる。また、制御部１０１は、受信した情報に基づいて、カメラ１１の画角ｄ３を変化させる。これにより、遠隔参加者ＲＵは、ロボット１０の視野を変化させて、会議エリアＳＰ内の所望の領域を視認することができる。 In step S13, the control unit 101 of the robot 10 controls the moving unit 17 to move itself based on the received information. Furthermore, the control unit 101 changes the viewing angle d3 of the camera 11 based on the received information. Thereby, the remote participant RU can change the field of view of the robot 10 and visually recognize a desired area within the conference area SP.

例えば、遠隔参加者ＲＵが、ホワイトボードＷＢを視認したいとする。この場合、遠隔参加者ＲＵの操作に応じて、ロボット１０は、ホワイトボードＷＢに向かって移動する。また、カメラ１１の画角ｄ３は、ホワイトボードＷＢを含むように制御される。また、これに伴い、モニタ１２－１の向きｄ１が、ホワイトボードＷＢに向かう方向となるとともに、モニタ１２－２の向きｄ２はその反対方向となる。したがって、会議エリアＳＰにいる参加者Ｕは、ロボット１０がホワイトボードＷＢを向いていても、遠隔参加者ＲＵを表す画像をモニタ１２－２上で視認することができる。 For example, assume that a remote participant RU wants to view the whiteboard WB. In this case, the robot 10 moves toward the whiteboard WB in response to the operation of the remote participant RU. Furthermore, the viewing angle d3 of the camera 11 is controlled to include the whiteboard WB. Additionally, along with this, the orientation d1 of the monitor 12-1 becomes the direction toward the whiteboard WB, and the orientation d2 of the monitor 12-2 becomes the opposite direction. Therefore, the participant U in the conference area SP can view the image representing the remote participant RU on the monitor 12-2 even if the robot 10 is facing the whiteboard WB.

また、遠隔参加者ＲＵが、参加者Ｕを視認したいとする。この場合、遠隔参加者ＲＵの操作に応じて、ロボット１０は参加者Ｕに向かって移動する。また、カメラ１１の画角ｄ３は、参加者Ｕを含むよう制御される。この場合、会議エリアＳＰにいる参加者Ｕは、遠隔参加者ＲＵを表す画像を、モニタ１２－１上で視認することができる。 Also, assume that remote participant RU wants to visually recognize participant U. In this case, the robot 10 moves toward the participant U in response to the operation of the remote participant RU. Furthermore, the viewing angle d3 of the camera 11 is controlled to include the participant U. In this case, the participant U in the conference area SP can view an image representing the remote participant RU on the monitor 12-1.

このように、会議エリアＳＰにいる参加者Ｕは、ロボット１０が何れの方向を向いていても（遠隔参加者ＲＵが何れの領域を視認したい場合であっても）、遠隔参加者ＲＵを表す画像を視認できる可能性が高い。したがって、遠隔参加者ＲＵと参加者Ｕとの間のコミュニケーションをより円滑に行うことができる。 In this way, the participant U in the conference area SP represents the remote participant RU, regardless of which direction the robot 10 is facing (whichever area the remote participant RU wants to see). There is a high possibility that the image can be viewed. Therefore, communication between remote participant RU and participant U can be performed more smoothly.

ステップＳ１４において、遠隔端末２０の制御部２１は、会議エリアＳＰの部分領域を特定するための遠隔参加者ＲＵの操作を受け付ける。遠隔参加者ＲＵは、例えば、ロボット１０の視野画像を参照し、会議エリアＳＰにおいて指し示したい部分領域を指定する操作を行う。また、このような部分領域とは、一例として、遠隔参加者ＲＵが参加者Ｕとの間のコミュニケーションを行うために参照したい領域である。このような部分領域の具体例としては、例えば、ホワイトボードＷＢ上の領域、壁面ＢＤ上の領域、壁面ＢＤ上に投影されたログ情報Ｌの表示領域、などがあるが、これらに限られない。 In step S14, the control unit 21 of the remote terminal 20 receives an operation by the remote participant RU to specify a partial area of the conference area SP. For example, the remote participant RU refers to the visual field image of the robot 10 and performs an operation to specify a partial area to be pointed out in the conference area SP. Further, such a partial area is, for example, an area that the remote participant RU wants to refer to in order to communicate with the participant U. Specific examples of such partial areas include, but are not limited to, an area on the whiteboard WB, an area on the wall BD, a display area for the log information L projected on the wall BD, etc. .

また、遠隔参加者ＲＵは、指定した部分領域に表示させる画像を選択する操作を行ってもよい。選択肢となる画像は、ポインタ、サイン、参加者Ｕが保持する物体、ジェスチャー等を示すアイコンであってもよい。 Further, the remote participant RU may perform an operation to select an image to be displayed in a specified partial area. The images to be selected may be icons indicating a pointer, a sign, an object held by the participant U, a gesture, or the like.

ステップＳ１４における遠隔端末２０に対する操作の一例を、図５を参照して説明する。図５は、遠隔端末２０に対する操作に応じて会議エリア内の部分領域を指し示す動作の一例を説明する模式図である。図５の上部の模式図は、遠隔端末２０に対する操作の具体例を示している。図５の上部に示すように、遠隔端末２０の表示部２４には、ロボット１０の視野画像Ｇ１と、アイコンＧ２、Ｇ３とが表示されている。この例では、視野画像Ｇ１は、ホワイトボードＷＢの一部を示している。また、アイコンＧ２、Ｇ３は、指定した部分領域に表示させる画像の選択肢を示している。アイコンＧ２、Ｇ３は、それぞれ、当該アイコンを選択する操作を受け付ける。例えば、遠隔参加者ＲＵは、アイコンＧ２（ポインタ）を選択する操作、視野画像Ｇ１上の部分領域ＡＲを指定する操作を、入力部２５を用いて行う。 An example of the operation on the remote terminal 20 in step S14 will be described with reference to FIG. FIG. 5 is a schematic diagram illustrating an example of an operation of pointing to a partial area within the conference area in response to an operation on the remote terminal 20. The schematic diagram at the top of FIG. 5 shows a specific example of the operation on the remote terminal 20. As shown in the upper part of FIG. 5, the visual field image G1 of the robot 10 and icons G2 and G3 are displayed on the display unit 24 of the remote terminal 20. In this example, visual field image G1 shows a part of whiteboard WB. Further, icons G2 and G3 indicate options for images to be displayed in the specified partial area. The icons G2 and G3 each accept an operation to select the icon. For example, the remote participant RU uses the input unit 25 to select the icon G2 (pointer) and to specify the partial area AR on the visual field image G1.

ステップＳ１５において、制御部２１は、ステップＳ１４で受け付けた操作に基づいて、指定された領域を示す情報を、ロボット１０に送信する。図５に示した例では、制御部２１が送信する情報には、部分領域ＡＲを示す情報と、アイコンＧ２（ポインタ）を示す情報とが含まれる。 In step S15, the control unit 21 transmits information indicating the designated area to the robot 10 based on the operation received in step S14. In the example shown in FIG. 5, the information transmitted by the control unit 21 includes information indicating the partial area AR and information indicating the icon G2 (pointer).

ステップＳ１６において、ロボット１０の制御部１０１は、受信した情報（遠隔端末２０に対する遠隔参加者ＲＵの操作）に応じて、プロジェクタ１３を制御する。具体的には、制御部１０１は、受信した情報に基づいて、指定された部分領域に向けて光を照射するためのプロジェクタ１３の向きを算出する。また、制御部１０１は、受信した情報に基づいて、当該部分領域に表示させる画像を生成する。また、制御部１０１は、プロジェクタ１３を制御して、指定された部分領域に、生成した画像を投影させる。これにより、ロボット１０は、当該部分領域を指し示す動作を行う。このような部分領域を指し示す動作は、部分領域を特定する動作の一例である。 In step S16, the control unit 101 of the robot 10 controls the projector 13 according to the received information (the remote participant RU's operation on the remote terminal 20). Specifically, the control unit 101 calculates the direction of the projector 13 for irradiating light toward the designated partial area based on the received information. Furthermore, the control unit 101 generates an image to be displayed in the partial area based on the received information. The control unit 101 also controls the projector 13 to project the generated image onto the specified partial area. Thereby, the robot 10 performs an operation of pointing to the partial area. Such an operation of pointing to a partial area is an example of an operation of specifying a partial area.

ステップＳ１６における指し示す動作の具体例について、図５を参照して説明する。図５の下部の模式図は、会議エリアＳＰの部分領域を指し示す動作の具体例を示している。図５の下部に示すように、ロボット１０の制御部１０１は、プロジェクタ１３の照射範囲ｄ４が部分領域ＡＲを含むように、プロジェクタ１３の向きを制御する。また、制御部１０１は、アイコンＧ２（ポインタ）を示す画像を生成し、当該画像を投影するようプロジェクタ１３を制御する。ロボット１０は、部分領域ＡＲにアイコンＧ２を投影することで、当該部分領域ＡＲを指し示す。これにより、会議エリアＳＰにいる参加者Ｕは、遠隔参加者ＲＵの操作によって指し示された部分領域ＡＲを認識することができる。 A specific example of the pointing operation in step S16 will be described with reference to FIG. The schematic diagram at the bottom of FIG. 5 shows a specific example of the operation of pointing to a partial area of the conference area SP. As shown in the lower part of FIG. 5, the control unit 101 of the robot 10 controls the orientation of the projector 13 so that the irradiation range d4 of the projector 13 includes the partial area AR. Further, the control unit 101 generates an image showing the icon G2 (pointer) and controls the projector 13 to project the image. The robot 10 points to the partial area AR by projecting the icon G2 onto the partial area AR. Thereby, the participant U in the conference area SP can recognize the partial area AR pointed to by the operation of the remote participant RU.

なお、図５では、ホワイトボートＷＢの一部を部分領域ＡＲとして指し示す動作について説明しているが、部分領域ＡＲは、壁面ＢＤに投影されたログ情報Ｌの領域であってもよいし、その他の領域であってもよい。 Note that although FIG. 5 describes the operation of pointing to a part of the whiteboard WB as a partial area AR, the partial area AR may be an area of log information L projected on a wall surface BD, or may be an area of log information L projected on a wall surface BD. It may be in the area of

（本実施形態の効果）
本実施形態に係る会議システム１では、ロボット１０の制御部１０１は、遠隔端末２０に対する遠隔参加者ＲＵの操作に応じて、会議エリアＳＰ内の部分領域に情報を投影するようプロジェクタ１３を制御する。 (Effects of this embodiment)
In the conference system 1 according to the present embodiment, the control unit 101 of the robot 10 controls the projector 13 to project information onto a partial area within the conference area SP in response to the operation of the remote participant RU on the remote terminal 20. .

これにより、遠隔参加者Ｕは、会議エリアＳＰ内において指し示したい部分領域がロボット１０から離れている場合でも、当該部分領域に情報を投影することにより、当該部分領域を指し示す動作を行うことができる。 Thereby, even if the partial area that the remote participant U wants to point to within the conference area SP is far from the robot 10, the remote participant U can perform an action of pointing to the partial area by projecting information onto the partial area. .

また、これにより、遠隔参加者Ｕが参照する会議エリアＳＰの部分領域を、会議エリアＳＰにいる参加者Ｕが認識することができる。その結果、遠隔参加者ＲＵと、会議エリアにいる参加者Ｕとのコミュニケーションをより円滑に行うことができる。 Moreover, thereby, the participant U in the conference area SP can recognize the partial area of the conference area SP that the remote participant U refers to. As a result, communication between remote participant RU and participant U in the conference area can be performed more smoothly.

また、ロボット１０がホワイトボードＷＢを指し示す動作を行う場合には、遠隔参加者ＲＵと会議エリアにいる参加者Ｕとの間で、ホワイトボードＷＢに記入された情報を参照しながら円滑にコミュニケーションを行うことができる。 In addition, when the robot 10 performs an action of pointing to the whiteboard WB, smooth communication is possible between the remote participant RU and the participant U in the conference area while referring to the information written on the whiteboard WB. It can be carried out.

また、ロボット１０がログ情報Ｌを指し示す動作を行う場合には、遠隔参加者ＲＵと、会議エリアにいる参加者Ｕとの間で、発信情報の履歴を振り返りながら円滑にコミュニケーションを行うことができる。 Furthermore, when the robot 10 performs an action of pointing to the log information L, it is possible to smoothly communicate between the remote participant RU and the participant U in the conference area while looking back on the history of the transmitted information. .

また、本実施形態に係る会議システム１を、例えば、学校等の教育機関に設けられた会議エリアに適用することが考えられる。この場合、教育機関における各種の会議（打合せ、ミーティング、ディスカッション、レクチャー、セミナー、講義等）において、登校している教職員または学生と、遠隔の教職員または学生とが、より円滑にコミュニケーションを行うことができる。このような効果は、例えば、国連が提唱する持続可能な開発目標（ＳＤＧｓ）の目標４「質の高い教育をみんなに」等の達成にも貢献するものである。 Further, it is possible to apply the conference system 1 according to the present embodiment to a conference area provided in an educational institution such as a school, for example. In this case, during various conferences (meetings, meetings, discussions, lectures, seminars, lectures, etc.) at the educational institution, it is possible to communicate more smoothly between faculty or students who are on campus and faculty or students who are remote. can. Such effects also contribute to achieving, for example, Goal 4 of the Sustainable Development Goals (SDGs) advocated by the United Nations, ``Quality education for all.''

〔変形例１〕
プロジェクタ１３は、会議エリアＳＰ内の被投影面にアイコンを投影する動作（部分領域を指し示す動作）に替えて、または加えて、被投影面にその他の情報を投影する動作を行ってもよい。例えば、その他の情報とは、遠隔端末２０の表示部２４に表示された一部または全部の画面情報であってもよい。これにより、遠隔参加者ＲＵと参加者Ｕとの間で、遠隔端末２０上の画面を共有しながら、円滑にコミュニケーションを行うことができる。 [Modification 1]
The projector 13 may perform an operation of projecting other information onto the projection surface instead of or in addition to the operation of projecting the icon onto the projection surface in the conference area SP (the operation of pointing to a partial area). For example, the other information may be part or all of the screen information displayed on the display unit 24 of the remote terminal 20. Thereby, remote participant RU and participant U can communicate smoothly while sharing the screen on remote terminal 20.

〔変形例２〕
ロボット１０は、プロジェクタ１３に替えて、または、加えて、少なくとも１つの関節を有するアームを備えてもよい。当該アームは、会議エリアＳＰ内の部分領域を特定する動作を行う特定動作部の一例である。例えば、アームは、アーム軸（関節）周りに回転可能となっている。この場合、ロボット１０の制御部１０１は、遠隔端末２０に対する遠隔参加者ＲＵの操作に応じて、会議エリアＳＰ内の部分領域にアームの先端を向けるようアームを回転させる。これにより、上述と同様の効果を奏する。 [Modification 2]
The robot 10 may include an arm having at least one joint instead of or in addition to the projector 13. The arm is an example of a specific operation unit that performs an operation to specify a partial area within the conference area SP. For example, the arm is rotatable around the arm axis (joint). In this case, the control unit 101 of the robot 10 rotates the arm in response to the operation of the remote participant RU on the remote terminal 20 so as to direct the tip of the arm to a partial area within the conference area SP. This produces the same effects as described above.

〔変形例３〕
ロボット１０は、プロジェクタ１３に替えて、または、加えて、その他の光源を用いた情報表示装置を含んでいてもよい。そのような情報表示装置とは、例えば、レーザポインタ等であってもよい。 [Modification 3]
The robot 10 may include an information display device using another light source instead of or in addition to the projector 13. Such an information display device may be, for example, a laser pointer.

〔変形例４〕
ロボット１０が有するモニタの個数は、２に限らず、１であってもよいし、３以上であってもよい。もし、モニタの個数が３以上である場合、各モニタの画面が向く方向は互いに異なり、かつ、何れか１つのモニタの画面が向く方向がカメラ１１の画角ｄ３に含まれることが望ましい。この場合、他の各モニタは、ロボット１０の視野に含まれない領域において視認可能に、遠隔参加者ＲＵからの情報を表示する。 [Modification 4]
The number of monitors that the robot 10 has is not limited to two, but may be one, or may be three or more. If the number of monitors is three or more, it is desirable that the directions in which the screens of each monitor face are different from each other, and that the direction in which the screen of any one monitor faces is included in the angle of view d3 of the camera 11. In this case, each of the other monitors displays information from the remote participant RU visibly in an area that is not included in the field of view of the robot 10.

また、モニタの個数が１である場合、制御部１０１は、モニタの画面が向く方向を、カメラ１１の画角ｄ３に含まれる方向から、含まれない方向に向けて（カメラ１１の撮影方向とは反対方向に向けて）回転するよう制御してもよい。これにより、回転制御された状態のモニタは、ロボット１０の視野に含まれない領域において視認可能に、遠隔参加者ＲＵからの情報を表示する。 Further, when the number of monitors is one, the control unit 101 changes the direction in which the screen of the monitor faces from a direction included in the angle of view d3 of the camera 11 to a direction not included in the angle of view d3 of the camera 11 (the direction in which the screen of the monitor is facing) is may be controlled to rotate (in the opposite direction). Thereby, the monitor in the rotationally controlled state displays information from the remote participant RU in a manner that is visible in an area that is not included in the field of view of the robot 10.

〔変形例５〕
ロボット１０は、モニタ１２－１、１２－２に替えて、３次元画像を表示する表示部を有していてもよい。この場合、会議エリアＳＰにいる参加者Ｕは、ロボット１０が何れの方向を向いていても（遠隔参加者ＲＵが何れの領域を視認したい場合であっても）、遠隔参加者ＲＵを示す三次元画像を視認することができる。換言すると、３次元画像を表示する表示部は、ロボット１０の視野に含まれない領域においても視認可能に、遠隔参加者ＲＵを示す三次元画像（遠隔参加者Ｒが発信する情報の一例）を表示する。 [Modification 5]
The robot 10 may have a display unit that displays a three-dimensional image instead of the monitors 12-1 and 12-2. In this case, regardless of which direction the robot 10 is facing (whichever area the remote participant RU wants to see), the participant U in the conference area SP can The original image can be visually recognized. In other words, the display unit that displays the three-dimensional image displays the three-dimensional image (an example of information transmitted by the remote participant R) showing the remote participant RU so that it is visible even in an area that is not included in the field of view of the robot 10. indicate.

〔変形例６〕
ホワイトボードＷＢは、記録センサ６０が取り付けられる代わりに、記入情報を検出して画像として記録可能な電子ホワイトボードであってもよい。この場合、管理装置３０は、ホワイトボードＷＢから記入情報を取得する。また、会議エリアＳＰには、参加者Ｕと１対１に関連付け可能なピンマイク５０が配置されることに替えて、複数の参加者Ｕの音声データを取得可能なマイクが配置されていてもよい。このようなマイクは、管理装置３０に含まれていてもよい。当該マイクは、複数の参加者Ｕのいずれが発話した場合も当該参加者Ｕの音声データを取得する。この場合、管理装置３０は、マイクから取得した音声データの話者を識別する話者識別機能を有する。例えば、話者識別機能には、公知の技術を採用可能である。また、管理装置３０は、外部の話者識別システムに問い合わせることにより、音声データの話者を識別してもよい。このように変形した場合も、管理装置３０は、上述と同様にログ情報Ｌを記録することができる。 [Modification 6]
The whiteboard WB may be an electronic whiteboard capable of detecting written information and recording it as an image instead of having the recording sensor 60 attached thereto. In this case, the management device 30 acquires the entry information from the whiteboard WB. Furthermore, in place of the pin microphone 50 that can be associated with the participant U on a one-to-one basis, a microphone that can acquire voice data of a plurality of participants U may be arranged in the conference area SP. . Such a microphone may be included in the management device 30. The microphone acquires audio data of any of the plurality of participants U when the participant U speaks. In this case, the management device 30 has a speaker identification function that identifies the speaker of the audio data acquired from the microphone. For example, a known technique can be employed for the speaker identification function. The management device 30 may also identify the speaker of the audio data by inquiring an external speaker identification system. Even when modified in this way, the management device 30 can record the log information L in the same manner as described above.

〔その他の変形例〕
また、会議システム１は、複数のロボット１０と、各ロボット１０に対応付けられた遠隔端末２０とを含んでもよい。この場合、会議システム１に参加する会議に、複数の遠隔参加者ＲＵが参加することができる。また、管理装置３０は、ロボット１０に搭載されていてもよい。また、会議エリアＳＰには、ロボット１０が有する充電式電源を充電する充電装置が配置されていてもよい。例えば、会議エリアＳＰに複数のロボット１０が配置される場合は、会議エリアＳＰには、各ロボット１０に対応する充電装置が配置されてもよい。また、そのような充電装置は、ロボット１０の基地として機能してもよい。例えば、ロボット１０は、会議が終了すると、自律的に基地まで移動して充電装置に連結部を連結させてもよい。 [Other variations]
Further, the conference system 1 may include a plurality of robots 10 and a remote terminal 20 associated with each robot 10. In this case, a plurality of remote participants RU can participate in a conference that participates in the conference system 1. Further, the management device 30 may be mounted on the robot 10. Further, a charging device that charges the rechargeable power source of the robot 10 may be arranged in the conference area SP. For example, when a plurality of robots 10 are arranged in the conference area SP, a charging device corresponding to each robot 10 may be arranged in the conference area SP. Further, such a charging device may function as a base for the robot 10. For example, when the meeting ends, the robot 10 may autonomously move to the base and connect the connecting portion to the charging device.

〔ソフトウェアによる実現例〕
会議システム１を構成する各装置（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特にロボット１０の制御部１０１に含まれる各部、遠隔端末２０の制御部２１、管理装置３０の制御部３１）としてコンピュータを機能させるためのプログラムにより実現することができる。 [Example of implementation using software]
The function of each device (hereinafter referred to as "device") that constitutes the conference system 1 is a program for making a computer function as the device. The control unit 21 of the remote terminal 20 and the control unit 31 of the management device 30 can be realized by a program for causing the computer to function as each of the included units.

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。 In this case, the device includes a computer having at least one control device (for example, a processor) and at least one storage device (for example, a memory) as hardware for executing the program. By executing the above program using this control device and storage device, each function described in each of the above embodiments is realized.

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。 The above program may be recorded on one or more computer-readable recording media instead of temporary. This recording medium may or may not be included in the above device. In the latter case, the program may be supplied to the device via any transmission medium, wired or wireless.

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。 Further, part or all of the functions of each of the control blocks described above can also be realized by a logic circuit. For example, an integrated circuit in which a logic circuit functioning as each of the control blocks described above is formed is also included in the scope of the present invention. In addition to this, it is also possible to realize the functions of each of the control blocks described above using, for example, a quantum computer.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the embodiments described above, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. are also included within the technical scope of the present invention.

１会議システム
１０ロボット
２０遠隔端末
１１カメラ
１２－１、１２－２モニタ（表示部）
１３プロジェクタ（特定動作部）
３０管理装置
４０プロジェクタ
１００制御装置
１０１制御部 1 Conference system 10 Robot 20 Remote terminal 11 Cameras 12-1, 12-2 Monitor (display section)
13 Projector (specific operation part)
30 Management device 40 Projector 100 Control device 101 Control unit

Claims

A robot that can be placed in a conference area containing at least one participant in real space, the robot comprising:
a display for displaying information from remote participants in the conference;
a specific operation unit that performs an operation to specify a partial area within the conference area;
a control unit that controls the specific operation unit in response to an operation by the remote participant on a remote terminal used by the remote participant to participate remotely in the conference;
including robots.

The robot according to claim 1, wherein the specific action section includes a light source and performs an action of pointing to the partial area illuminated with light from the light source or an action of displaying information on the partial area.

further comprising a photographing unit that photographs the surroundings and generates a visual field image showing the visual field of the robot,
The control unit transmits the visual field image to the remote terminal,
The display unit displays information from the remote participant so that it is visible in an area not included in the field of view.
The robot according to claim 1 or 2.

The specific operation unit specifies, as the partial area, a display area for information transmitted by one or both of the participant and the remote participant, or a display area for the history thereof;
The robot according to claim 1 or 2.

The robot according to claim 1 or 2,
the remote terminal;
a management device that manages a conference in which the participants and the remote participants participate;
A conference system equipped with

A control method for controlling a robot including a display unit and a specific movement unit that can be placed in a conference area including at least one participant in real space, the method comprising:
displaying information from remote participants in the conference on the display;
controlling the specific operation unit to perform an operation for specifying a partial area within the conference area in response to an operation by the remote participant on a remote terminal used by the remote participant for remote participation in the conference; and,
including control methods.