JP2016162001A - Task support device and task support program - Google Patents

Task support device and task support program Download PDF

Info

Publication number
JP2016162001A
JP2016162001A JP2015037475A JP2015037475A JP2016162001A JP 2016162001 A JP2016162001 A JP 2016162001A JP 2015037475 A JP2015037475 A JP 2015037475A JP 2015037475 A JP2015037475 A JP 2015037475A JP 2016162001 A JP2016162001 A JP 2016162001A
Authority
JP
Japan
Prior art keywords
information
worker
user
recognized
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015037475A
Other languages
Japanese (ja)
Other versions
JP6444767B2 (en
Inventor
伸也 高山
Shinya Takayama
伸也 高山
茂之 酒澤
Shigeyuki Sakasawa
茂之 酒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2015037475A priority Critical patent/JP6444767B2/en
Publication of JP2016162001A publication Critical patent/JP2016162001A/en
Application granted granted Critical
Publication of JP6444767B2 publication Critical patent/JP6444767B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To perform smooth execution or communication of tasks by synthesizing the states of a plurality of users who are not present in the same space with the same virtual space, and allowing the plurality of users to share the virtual space.SOLUTION: A task support device for supporting the tasks or communication of a plurality of users includes: a state recognition part 70-1 for recognizing the behavior, situation and emotion of each user and an atmosphere around the user, and for outputting recognition information; and a state synthesis part 70-3 for synthesizing the recognized recognition information with the recognition information recognized by the other task support device to generate synthesis information; and a state display part for displaying the generated synthesis information.SELECTED DRAWING: Figure 2

Description

本発明は、複数のユーザの業務またはコミュニケーションを支援する技術に関する。   The present invention relates to a technology for supporting work or communication of a plurality of users.

従来から、利用者の端末操作によりネットワークを介して特定の人同士のコミュニケーションによる交流をコンピュータが支援する技術が知られている。例えば、特許文献1では、装置との対話等の利用者の発信した情報を、共有サーバに記録したり、関係者へ提示したりする技術が開示されている。   2. Description of the Related Art Conventionally, there is known a technique in which a computer supports an exchange through communication between specific people via a network by a user's terminal operation. For example, Patent Document 1 discloses a technique for recording information transmitted by a user, such as a dialog with an apparatus, on a shared server or presenting it to a related party.

また、特許文献2では、利用者の端末操作により、現実世界における人同士の交流を模倣するような仮想映像を生成し、人の交流を支援する技術が開示されている。   Patent Document 2 discloses a technique for generating a virtual image that imitates an exchange between people in the real world by a user's terminal operation and supporting the exchange between people.

また、特許文献3では、ネットワーク上の協調支援サーバを介し、参加者の状態または会議の雰囲気を推定する技術が開示されている。   Patent Document 3 discloses a technique for estimating a participant's state or a meeting atmosphere via a cooperation support server on a network.

特開平08−255150号公報Japanese Patent Laid-Open No. 08-255150 特許第5527751号明細書Japanese Patent No. 5527751 特開2008−306586号公報JP 2008-306586 A

しかしながら、特許文献1では、入力装置に対して情報を発信したり、表示装置から情報が提示されたりと、利用者と機械とのやり取りに過ぎず、同一空間にいない勤務者同士が協調して仕事を執り行なう際に、本システムを利用すると、人間的な意思疎通が図れず、仕事効率が低下する、または信頼関係が欠如するといった課題がある。また、利用者は、自分の状態を知らせるために、自ら情報を発信する必要があり、手間である。   However, in Patent Document 1, information is transmitted to an input device or information is presented from a display device, which is merely an exchange between a user and a machine, and workers who are not in the same space cooperate with each other. When this system is used when performing work, there is a problem that human communication cannot be achieved, work efficiency is reduced, or a trust relationship is lacking. In addition, the user needs to send information himself / herself in order to inform his / her state, which is troublesome.

また、特許文献2では、現実世界における人を模倣するような仮想映像を生成するので、同一空間にいない勤務者同士が協調して仕事を執り行なう際に、互いの勤務者の映像を生成しながら会話をすることにより、人間的な意思疎通は図れるようになるが、離席や書類作成等の勤務者の行動、繁忙や怠惰等の勤務者の状況、驚きや怒り等の勤務者の感情、監視されている感覚や緊迫している感覚等の場の雰囲気まで提示することはできない。また、対象者以外の人の映像は生成しないため、勤務者全員が同一空間に勤務する感覚を持てない。   Moreover, in patent document 2, since the virtual image which imitates the person in the real world is produced | generated, when the workers who are not in the same space cooperate and work, they produce | generate the image of each other's worker. However, it is possible to achieve human communication through conversations. It is not possible to present the atmosphere of a place such as a sense of being monitored or a sense of tension. In addition, since images of people other than the target person are not generated, all workers cannot have a sense of working in the same space.

また、特許文献3では、ネットワーク上に協調支援サーバを設置する必要がある。また、参加者の状態または会議の雰囲気をディスプレイ越しに確認するため、勤務者全員が同一空間に勤務する物理的な感覚を持つことができない。   Moreover, in patent document 3, it is necessary to install a cooperation assistance server on a network. Moreover, since the participants' conditions or the atmosphere of the meeting are confirmed through the display, all workers cannot have a physical sensation of working in the same space.

本発明は、このような事情に鑑みてなされたものであり、同一空間にいない複数の勤務者の状態を同一の仮想空間に合成させることにより、協調型の仕事に従事する在宅勤務者を支援する装置を提供する。また、本発明は、勤務者の状態を常に認識して提示することにより、サーバを介さず、勤務者全員が同一空間に勤務する物理的な感覚を持つことが可能となる。さらに、本発明において、勤務者の表情や仕草等を模倣する映像を仮想空間に合成すれば、互いの勤務者の映像を確認しながら会話をすることができ、人間的な意思疎通を図ることが可能となる。加えて、本発明において、勤務者の行動、状態、感情、場の雰囲気等を認識すれば、他の勤務者が直接視認できない離席や書類作成等の勤務者の行動、繁忙や怠惰等の勤務者の状況、驚きや怒り等の勤務者の感情、監視されている感覚や緊迫している感覚等の場の雰囲気等の情報を提示することができ、仕事効率が低下する、または信頼関係が欠如するといった課題を解消することが可能となる。また、勤務者の状態を人型ロボットが表現すれば、自分とは異なる空間にいる勤務者同士のやり取りも、ロボットを介して視認することができ、実空間においても勤務者全員が同一空間で勤務することが可能となる。   The present invention has been made in view of such circumstances, and supports telecommuters engaged in collaborative work by combining the states of a plurality of workers who are not in the same space into the same virtual space. An apparatus is provided. Further, according to the present invention, by always recognizing and presenting a worker's state, it becomes possible to have a physical feeling that all workers work in the same space without using a server. Furthermore, in the present invention, if a video imitating a worker's facial expression or gesture is synthesized in a virtual space, it is possible to have a conversation while checking each other's worker's video and to achieve human communication. Is possible. In addition, in the present invention, if the worker's behavior, state, emotion, atmosphere of the place, etc. are recognized, the worker's behavior such as leaving or document preparation that other workers cannot directly see, such as busyness and laziness, etc. It can present information such as the worker's situation, worker's emotions such as surprise and anger, the atmosphere of the place such as the sense of being monitored and tense, etc., which reduces work efficiency or trust relationship It is possible to solve the problem of lack of. In addition, if a humanoid robot expresses the worker's state, the exchanges between workers in a space different from their own can be seen through the robot, and all workers in the same space can be seen in the same space. It becomes possible to work.

(1)上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、複数のユーザの業務またはコミュニケーションを支援する業務支援装置であって、各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する状態認識部と、前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成する状態合成部と、前記生成した合成情報を表示する状態表示部と、を備えることを特徴とする。   (1) In order to achieve the above object, the present invention takes the following measures. That is, a business support device that supports business or communication of a plurality of users, recognizes each user's behavior, situation, emotion, and atmosphere around the user, and outputs a recognition information; and the recognition A state combining unit that combines the recognized information and the recognition information recognized by another business support apparatus to generate combined information, and a state display unit that displays the generated combined information.

このように、各ユーザの行動、状況、感情およびユーザの周囲の雰囲気を認識し、認識情報を出力する状態認識部と、前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成し、生成した合成情報を表示するので、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができ、複数のユーザの業務またはコミュニケーションを支援することが可能となる。さらに、サーバを介さないため、低コストでの実現が可能となる。   In this way, the state recognition unit that recognizes each user's actions, situations, emotions, and the atmosphere around the user, and outputs the recognition information, and the recognized recognition information and the recognition information recognized by another business support device are combined. Since the synthesized information is generated and the generated synthesized information is displayed, even a user who is not in the same space can share a physical feeling existing in the same space with other users in real time. A space can be provided, and it becomes possible to support the work or communication of a plurality of users. Furthermore, since no server is used, it can be realized at low cost.

(2)また、前記認識した認識情報に基づき、予めデータベースに記憶されたユーザの表情および仕草を示す情報を用いて、映像データを生成する映像生成部を備え、状態合成部は、自装置で生成した映像データおよび他の業務支援装置から取得した映像データを合成して合成情報を生成することを特徴とする。   (2) In addition, a video generation unit that generates video data using information indicating a user's facial expression and gesture stored in advance in a database based on the recognized recognition information is provided. The generated video data and the video data acquired from other business support devices are combined to generate combined information.

このように、認識した認識情報に基づき、予めデータベースに記憶されたユーザの表情および仕草を示す情報を用いて、映像データを生成し、状態合成部は、自装置で生成した映像データおよび他の業務支援装置から取得した映像データを合成して合成情報を生成するので、お互いの映像を確認しながら会話をすることができ、人間的な意思疎通を図ることが可能となる。   In this way, based on the recognized recognition information, the video data is generated using information indicating the user's facial expression and gesture stored in advance in the database, and the state synthesizer generates the video data generated by the own device and other data. Since the synthesized data is generated by synthesizing the video data acquired from the business support apparatus, it is possible to have a conversation while confirming each other's video, and it is possible to achieve human communication.

(3)また、前記生成した合成情報を、ロボットを用いて表現する状態表現部を備えることを特徴とする。   (3) In addition, a state expression unit that represents the generated composite information using a robot is provided.

このように、生成した合成情報を、ロボットを用いて表現するので、より人間的な意思疎通を図ることが可能となる。   In this way, since the generated composite information is expressed using a robot, more human communication can be achieved.

(4)また、前記状態認識部は、ユーザの動作情報、ユーザの体温情報、ユーザの血圧情報、ICチップの電波に含まれるユーザの位置情報、またはユーザの周囲の雰囲気を示す環境音圧レベルの少なくとも一つを認識することを特徴とする。   (4) In addition, the state recognizing unit may be configured such that the user's operation information, the user's body temperature information, the user's blood pressure information, the user's position information included in the radio wave of the IC chip, or the ambient sound pressure level indicating the atmosphere around the user It is characterized by recognizing at least one of the following.

このように、状態認識部は、ユーザの動作情報、ユーザの体温情報、ユーザの血圧情報、ICチップに含まれるユーザの位置情報、またはユーザの周囲の雰囲気を示す環境音圧レベルの少なくとも一つを認識するので、ユーザの移動や作業などのユーザの行動、繁忙や怠惰などのユーザの状態、驚きや怒り等のユーザの感情、他のユーザからの監視状況など、遠隔地にいるユーザが視認することができない情報を取得することが可能となる。   Thus, the state recognition unit is at least one of user operation information, user body temperature information, user blood pressure information, user position information included in the IC chip, or an ambient sound pressure level indicating an atmosphere around the user. The user's actions such as user movement and work, user status such as busyness and laziness, user emotions such as surprise and anger, monitoring status from other users, etc. It is possible to acquire information that cannot be obtained.

(5)また、本発明のプログラムは、複数のユーザの業務またはコミュニケーションを支援する業務支援プログラムであって、各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する処理と、前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成する処理と、前記生成した合成情報を表示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする。   (5) The program of the present invention is a business support program that supports the business or communication of a plurality of users, recognizes each user's behavior, situation, emotion, and atmosphere around the user, and recognizes the recognition information. A series of processes including a process of outputting, a process of generating the combined information by combining the recognized recognition information and the recognized information recognized by another business support apparatus, and a process of displaying the generated combined information The computer is executed.

このように、各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力し、認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成し、生成した合成情報を表示するので、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができる。さらに、サーバを介さないため、低コストでの実現が可能となる。   In this way, each user's actions, situations, emotions, and the atmosphere around the user are recognized, the recognition information is output, and the recognized information and the recognition information recognized by another business support device are synthesized and combined information And the generated composite information is displayed, so that even a user who is not in the same space can provide a virtual space in which the physical sensation existing in the same space as other users can be shared in real time be able to. Furthermore, since no server is used, it can be realized at low cost.

本発明によれば、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができるようになる。その結果、複数のユーザの業務またはコミュニケーションを支援することが可能となる。さらに、サーバを介さないため、低コストでの実現が可能となる。   ADVANTAGE OF THE INVENTION According to this invention, even if it is a user who is not in the same space, the virtual space which can share the physical sense which exists in the same space as another user in real time can be provided now. As a result, it becomes possible to support the work or communication of a plurality of users. Furthermore, since no server is used, it can be realized at low cost.

本実施形態に係る業務支援装置の概略構成を示す図である。It is a figure which shows schematic structure of the work assistance apparatus which concerns on this embodiment. 本実施形態に係る業務支援装置のブロック図である。It is a block diagram of the business support device concerning this embodiment. 本実施形態に係る業務支援装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the work assistance apparatus which concerns on this embodiment. 状態認識部の機能を示すブロック図である。It is a block diagram which shows the function of a state recognition part. 映像生成部の機能を示すブロック図である。It is a block diagram which shows the function of a video generation part. 状態合成部の機能を示すブロック図である。It is a block diagram which shows the function of a state synthetic | combination part. 状態表示部の機能を示すブロック図である。It is a block diagram which shows the function of a status display part. 状態表現部の機能を示すブロック図である。It is a block diagram which shows the function of a state expression part. 具体的な用途例を示した図である。It is the figure which showed the specific example of an application.

本発明者らは、同一空間にいないユーザとインターネットを介して業務またはコミュニケーションを行なう際に、相手の感情や状況を把握することできず、人間的な意思疎通が図れないことにより、やり取りの効率が低下し、信頼関係が欠如してしまう場合があることに着目し、同一空間にいない複数のユーザの状態を同一の仮想空間に合成させ、その仮想空間を複数のユーザが共有することによって、円滑な業務の遂行またはコミュニケーションを行なうことができ、やり取りの効率が向上し、お互いにより良い信頼関係を築くことができることを見出し、本発明をするに至った。   When conducting business or communication with users who are not in the same space via the Internet, the present inventors cannot grasp the emotions and situations of the other party and cannot communicate with each other. By focusing on the fact that the relationship between multiple users who are not in the same space is synthesized in the same virtual space, and sharing that virtual space, It has been found that smooth execution of business or communication can be performed, the efficiency of exchanges can be improved, and a better relationship of trust can be established with each other, and the present invention has been achieved.

すなわち、本発明の業務支援装置は、複数のユーザの業務またはコミュニケーションを支援する業務支援装置であって、各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する状態認識部と、前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成する状態合成部と、前記生成した合成情報を表示する状態表示部と、を備えることを特徴とする。   That is, the business support device of the present invention is a business support device that supports the business or communication of a plurality of users, recognizes each user's behavior, situation, emotion, and atmosphere around the user, and outputs recognition information. A state recognition unit that combines the recognized recognition information and the recognition information recognized by another business support device to generate combined information, and a state display unit that displays the generated combined information. It is characterized by providing.

これにより、本発明者らは、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができ、複数のユーザの業務またはコミュニケーションを支援することを可能とした。さらに、サーバを介さないため、低コストでの実現を可能とした。以下、本発明の実施形態について、図面を参照しながら、具体的に説明する。   As a result, the present inventors can provide a virtual space that allows users who are not in the same space to share physical sensations that exist in the same space as other users in real time, It became possible to support the work or communication of multiple users. Furthermore, since no server is used, it can be realized at low cost. Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings.

図1は、本実施形態に係る業務支援装置の概略構成を示す図である。本発明の業務支援装置は、スマートフォン等の小型情報端末70に内蔵されるICチップ10、温度センサ20、血圧センサ30、IC受信機40、カメラ50、マイクロフォン60と、ディスプレイ80、スピーカ90、人型ロボット100から構成される。そして、温度センサ20、血圧センサ30、IC受信機40、カメラ50、マイクロフォン60、ディスプレイ80、スピーカ90、人型ロボット100は、ネットワークを介して小型情報端末70と接続されている。なお、遠隔から測定できるセンサであれば、温度センサ20、血圧センサ30は、各勤務者に装着しなくても良い。また、ディスプレイ80、スピーカ90は、小型情報端末70に内蔵されているものを使用しても良い。さらに、小型情報端末、ディスプレイ、スピーカ、人型ロボットがすべて組み込まれた業務支援装置としても構成することが可能である。   FIG. 1 is a diagram illustrating a schematic configuration of a business support apparatus according to the present embodiment. The business support apparatus according to the present invention includes an IC chip 10, a temperature sensor 20, a blood pressure sensor 30, an IC receiver 40, a camera 50, a microphone 60, a display 80, a speaker 90, and a person built in a small information terminal 70 such as a smartphone. Type robot 100. The temperature sensor 20, blood pressure sensor 30, IC receiver 40, camera 50, microphone 60, display 80, speaker 90, and humanoid robot 100 are connected to the small information terminal 70 via a network. Note that the temperature sensor 20 and the blood pressure sensor 30 do not have to be attached to each worker as long as they can be measured remotely. Further, the display 80 and the speaker 90 may be those built in the small information terminal 70. Furthermore, it can also be configured as a business support apparatus in which a small information terminal, a display, a speaker, and a humanoid robot are all incorporated.

小型情報端末70は、温度センサ20、血圧センサ30、IC受信機40、カメラ50、マイクロフォン60が取得した情報に基づき、勤務者の状態または場の雰囲気を認識する。また、小型情報端末70は、認識された勤務者の状態または場の雰囲気に基づき、勤務者の表情や仕草を模倣する映像を生成すると共に、認識された同一または異なる空間にいる複数の勤務者の状態または場の雰囲気、および、生成されたそれら勤務者の映像を同一の仮想空間に合成する。さらに、ディスプレイ80、スピーカ90は、合成された複数の勤務者の状態および映像または場の雰囲気を表示する。更に、人型ロボット100を用いて、合成された複数の勤務者の状態を表現することも可能である。   The small information terminal 70 recognizes the worker's state or the atmosphere of the place based on the information acquired by the temperature sensor 20, the blood pressure sensor 30, the IC receiver 40, the camera 50, and the microphone 60. In addition, the small information terminal 70 generates a video imitating the worker's facial expression and gesture based on the recognized worker's condition or the atmosphere of the workplace, and a plurality of workers in the same or different recognized spaces. The situation or the atmosphere of the place and the generated images of the workers are synthesized in the same virtual space. Furthermore, the display 80 and the speaker 90 display the states of a plurality of workers and the atmosphere of the video or the place. Furthermore, it is possible to express the states of a plurality of workers who are synthesized using the humanoid robot 100.

図2は、本実施形態に係る業務支援装置のブロック図である。小型情報端末70の状態認識部70−1は、温度センサ20、血圧センサ30、IC受信機40、カメラ50、マイクロフォン60が取得した情報に基づいて、勤務者の作業内容、存在位置、状況、顔の向き、視線、体調、感情、勤務する同一または異なる空間における環境音圧レベルなどの、勤務者の状態または場の雰囲気を認識する。小型情報端末70の映像生成部70−2は、状態認識部70−1が認識した勤務者の感情や作業内容に基づいて、勤務者の表情や仕草を模倣する映像を生成する。小型情報端末70の状態合成部70−3は、状態認識部70−1が認識した同一または異なる空間にいる複数の勤務者の状態または場の雰囲気、および、映像生成部70−2が生成した同一または異なる空間にいる複数の勤務者の表情や仕草を模倣する映像を、同一の仮想空間に合成する。ディスプレイ80およびスピーカ90の状態表示部は、状態合成部70−3で合成された複数の勤務者の状態または場の雰囲気、および、複数の勤務者の表情や仕草を模倣する映像を表示する。人型ロボット100の状態表現部は、状態合成部70−3で合成された複数の勤務者の状態、および、複数の勤務者の表情や仕草を表現する。映像生成部70−2は、生成した映像を状態表示部または状態表現部へ直接送信しても良い。   FIG. 2 is a block diagram of the business support apparatus according to the present embodiment. The state recognition unit 70-1 of the small information terminal 70 is based on information acquired by the temperature sensor 20, the blood pressure sensor 30, the IC receiver 40, the camera 50, and the microphone 60. Recognize the worker's condition or atmosphere, such as face orientation, line of sight, physical condition, emotion, ambient sound pressure level in the same or different working space. The video generation unit 70-2 of the small information terminal 70 generates a video imitating the worker's facial expression and gesture based on the worker's emotion and work content recognized by the state recognition unit 70-1. The state synthesizing unit 70-3 of the small information terminal 70 is generated by the image generating unit 70-2 and the states or atmospheres of a plurality of workers in the same or different spaces recognized by the state recognizing unit 70-1. Video that imitates the facial expressions and gestures of multiple workers in the same or different space is synthesized in the same virtual space. The state display unit of the display 80 and the speaker 90 displays a video imitating the state or atmosphere of the plurality of workers synthesized by the state synthesis unit 70-3 and the facial expressions and gestures of the plurality of workers. The state expression unit of the humanoid robot 100 expresses the states of a plurality of workers synthesized by the state synthesis unit 70-3, and the expressions and gestures of the plurality of workers. The video generation unit 70-2 may directly transmit the generated video to the state display unit or the state expression unit.

図3は、本実施形態に係る業務支援装置の動作例を示すフローチャートである。本実施形態に係る業務支援装置を構成する各機能を示すブロック図とともに、動作例について説明する。   FIG. 3 is a flowchart illustrating an operation example of the business support apparatus according to the present embodiment. An operation example will be described together with a block diagram showing each function constituting the business support apparatus according to the present embodiment.

図4は、状態認識部70−1の機能を示すブロック図である。初めに、温度センサ20、血圧センサ30、IC受信機40、カメラ50、マイクロフォン60は、各勤務者の情報を取得し、小型情報端末70に送信する(ステップS1)。なお、本実施形態では、ICチップ、温度センサ、血圧センサ、IC受信機、カメラ、マイクロフォンを使用して情報を取得するが、本発明の技術的思想は、これらに限定されるわけではなく、他の装置を使用して情報を取得しても良い。   FIG. 4 is a block diagram illustrating functions of the state recognition unit 70-1. First, the temperature sensor 20, the blood pressure sensor 30, the IC receiver 40, the camera 50, and the microphone 60 acquire information on each worker and transmit it to the small information terminal 70 (step S1). In this embodiment, information is acquired using an IC chip, a temperature sensor, a blood pressure sensor, an IC receiver, a camera, and a microphone. However, the technical idea of the present invention is not limited to these, Information may be acquired using other devices.

各勤務者に装着された温度センサ20は、各勤務者の体温を随時計測し、小型情報端末70に送信する。各勤務者に装着された血圧センサ30は、各勤務者の最高血圧、最低血圧、心拍数を随時計測し、小型情報端末70に送信する。各勤務者の勤務席に備え付けられたIC受信機40は、各勤務者が所持している端末などに搭載されたICチップ10のうち、近接にあるICチップ10を随時計測し、近接に存在する各勤務者の位置情報を取得し、小型情報端末70に送信する。各勤務者の勤務席に備え付けられたカメラ50は、各勤務者の顔、全身、周辺の映像を随時取得し、小型情報端末70に送信する。各勤務者の勤務席に備え付けられたマイクロフォン60は、各勤務者の音声または各勤務者が勤務する空間の環境音を随時取得し、小型情報端末70に送信する。   The temperature sensor 20 attached to each worker measures the temperature of each worker at any time and transmits the temperature to the small information terminal 70. The blood pressure sensor 30 attached to each worker measures the maximum blood pressure, the minimum blood pressure, and the heart rate of each worker as needed, and transmits them to the small information terminal 70. The IC receiver 40 installed in each employee's work seat measures the IC chip 10 in the vicinity of the IC chips 10 mounted on the terminals owned by each employee, and exists in the vicinity. The position information of each worker to be acquired is acquired and transmitted to the small information terminal 70. The camera 50 provided at the work seat of each worker acquires images of each worker's face, whole body, and surroundings as needed, and transmits them to the small information terminal 70. The microphone 60 provided at the work seat of each worker acquires the sound of each worker or the environmental sound of the space where each worker works, and transmits it to the small information terminal 70.

図5は、映像生成部70−2の機能を示すブロック図である。小型情報端末70は、ステップS1で取得した情報に基づいて、各勤務者の状態または場の雰囲気を認識する(ステップS2)。なお、本実施形態では、各勤務者の作業内容、存在位置、状況、顔の向き、視線、体調、感情、環境音圧レベルを用いて、勤務者の状態または場の雰囲気を認識するが、本発明の技術的思想は、これらに限定されるわけではなく、他の状態または場の雰囲気を認識しても良い。また、以下に説明する各勤務者の状態または場の雰囲気の認識方法についても同様である。次に、各勤務者の状態または場の雰囲気の認識方法について、具体的な例を用いて説明する。   FIG. 5 is a block diagram illustrating functions of the video generation unit 70-2. The small information terminal 70 recognizes the status of each worker or the atmosphere of the place based on the information acquired in step S1 (step S2). In this embodiment, each worker's work content, location, situation, face orientation, line of sight, physical condition, emotion, environmental sound pressure level is used to recognize the worker's state or the atmosphere of the place. The technical idea of the present invention is not limited to these, and other states or atmospheres of the place may be recognized. The same applies to the method for recognizing the status of each worker or the atmosphere of the place described below. Next, a method for recognizing the status of each worker or the atmosphere of the place will be described using a specific example.

(勤務者の作業内容の認識)
・勤務者が手でキーボードを操作している映像をカメラ50が取得した場合
→ 勤務者の作業内容:PC操作中
・勤務者が手に筆記用具を所持している映像をカメラ50が取得した場合
→ 勤務者の作業内容:筆記中
・勤務者が手に電話を所持している映像をカメラ50が取得した場合
→ 勤務者の作業内容:電話対応中
・θ秒以上継続して勤務者の目蓋が閉じている映像をカメラ50が取得した場合
→ 勤務者の作業内容:睡眠中
(Recognition of work contents of workers)
・ When the camera 50 acquires a video of the worker operating the keyboard by hand → Work details of the worker: During the PC operation ・ The camera 50 acquires a video of the worker holding a writing instrument in his hand Case → Worker's work content: When writing or when the camera 50 acquires a picture of the worker holding the phone in hand → Worker's work content: During the telephone response ・ Continue to work for more than θ seconds When camera 50 obtains video with closed eye lid → Work details of worker: sleeping

(勤務者の存在位置の認識)
・勤務者Aの勤務席に備え付けられたIC受信機40が近接にあると計測したICチップ10に、勤務者Aのものが含まれる場合
→ 勤務者の存在位置:勤務者Aは在席中
・勤務者A以外(ここでは勤務者B)の勤務席に備え付けられたIC受信機40が近接にあると計測したICチップ10に、勤務者Aのものが含まれる場合
→ 勤務者の存在位置:勤務者Aは勤務者Bの席に移動中
・何れの勤務席に備え付けられたIC受信機40にも、近接にあると計測したICチップ10に、勤務者Aのものが含まれない場合
→ 勤務者の存在位置:勤務者Aは離席中
(Recognition of worker's location)
・ When the IC chip 10 measured for the IC receiver 40 installed in the working seat of the worker A includes the one of the worker A → The location of the worker: The worker A is present・ When the IC chip 10 measured that the IC receiver 40 installed in the work seat of a person other than the worker A (here worker B) is in the vicinity includes the worker's A → The position of the worker : Worker A is moving to employee B's seat ・ When IC chip 10 measured as close to IC receiver 40 installed in any employee's seat does not include employee A's → Worker's location: Worker A is away

(勤務者の状況の認識)
・θ分以上継続して勤務者の作業内容が何れかと認識された場合
→ 勤務者の状況:繁忙
・θ分以上継続して勤務者の作業内容が睡眠中と認識された、または、何れの作業内も認識されない場合
→ 勤務者の状況:怠惰
(Recognition of worker status)
・ If the worker's work content is recognized as any continuous for more than θ minutes → Worker's situation: Busy ・ Worker's work content is recognized as sleeping for more than θ minutes, or any If the work is not recognized → Workers' situation: lazy

(勤務者の顔の向きの認識)
・θ秒以上継続して勤務者の顔が右を向いている映像をカメラ50が取得した場合
→ 勤務者の顔の向き:右
・θ秒以上継続して勤務者の顔が左を向いている映像をカメラ50が取得した場合
→ 勤務者の顔の向き:左
・θ秒以上継続して勤務者の顔が下を向いている映像をカメラ50が取得した場合
→ 勤務者の顔の向き:下
・上記の何れの映像もカメラ50が取得しない場合
→ 勤務者の顔の向き:正面
(Recognition of worker's face orientation)
・ When the camera 50 captures an image with the worker's face facing right for more than θ seconds → Worker's face orientation: Right • Worker's face turns to the left for more than θ seconds → When the camera 50 acquires a video of the worker's face: When the camera 50 acquires a video of the worker's face facing down for more than left and θ seconds → The direction of the worker's face : If the camera 50 does not acquire any of the images above or below → Face orientation of the worker: Front

(勤務者の視線の認識)
・θ秒以上継続して勤務者Aの視線が勤務者Bを向いている映像をカメラ50が取得した場合
→ 勤務者の視線:勤務者Aは勤務者Bを監視中
・θ秒以上継続して勤務者Aの視線が勤務者Bに向かない映像をカメラ50が取得した場合
→ 勤務者の視線:勤務者Aは勤務者Bを放置
(Recognition of worker's line of sight)
・ When the camera 50 acquires a video where worker A's line of sight is facing worker B for more than θ seconds → Worker's line of sight: worker A is monitoring worker B ・ Continues for more than θ seconds When the camera 50 acquires an image in which worker A's line of sight is not suitable for worker B → Worker's line of sight: worker A leaves worker B unattended

(勤務者の体調の認識)
・温度センサ20が37.5℃以上を計測した場合
→ 勤務者の体調:発熱
・温度センサ20が36.8℃以上且つ37.5℃未満を計測した場合
→ 勤務者の体調:微熱
・温度センサ20が36.0℃未満を計測した場合
→ 勤務者の体調:低体温
・血圧センサ30が最高血圧140以上を計測した場合
→ 勤務者の体調:高血圧
・血圧センサ30が最低血圧100未満を計測した場合
→ 勤務者の体調:低血圧
・血圧センサ30が心拍数100以上を計測した場合
→ 勤務者の体調:動悸息切れ
・温度センサ20および血圧センサ30が上記の何れも計測しない場合
→ 勤務者の体調:正常
(Recognition of worker's physical condition)
・ When temperature sensor 20 measures 37.5 ° C or higher → Worker's physical condition: fever ・ When temperature sensor 20 measures 36.8 ° C or higher and lower than 37.5 ° C → Worker's physical condition: slight heat / temperature When sensor 20 measures less than 36.0 ° C → Worker's physical condition: hypothermia / blood pressure sensor 30 measures maximum blood pressure 140 or higher → Worker's physical condition: high blood pressure / blood pressure sensor 30 has a minimum blood pressure of less than 100 When measured → Worker's physical condition: Low blood pressure / blood pressure sensor 30 measures heart rate 100 or higher → Worker's physical condition: Palliosis / temperature sensor 20 and blood pressure sensor 30 do not measure any of the above → Work Physical condition: normal

(勤務者の感情の認識)
人間の表情形成に用いられる感情に対応する勤務者の顔画像を予め登録しておく。例えば、感情分類として、「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」の9つの感情および無感情がある。また感情分類に加え、勤務者の音声を取得し、人間の感情をより豊かに表現することも可能である。
・カメラ50で取得した映像が「喜び」の顔画像に最も近い場合
→ 勤務者の感情:喜び
・カメラ50で取得した映像が「悲しみ」の顔画像に最も近い場合
→ 勤務者の感情:悲しみ
・カメラ50で取得した映像が「怒り」の顔画像に最も近い場合
→ 勤務者の感情:怒り
・カメラ50で取得した映像が「嫌悪」の顔画像に最も近い場合
→ 勤務者の感情:嫌悪
・カメラ50で取得した映像が「恐怖」の顔画像に最も近い場合
→ 勤務者の感情:恐怖
・カメラ50で取得した映像が「罪」の顔画像に最も近い場合
→ 勤務者の感情:罪
・カメラ50で取得した映像が「恥」の顔画像に最も近い場合
→ 勤務者の感情:恥
・カメラ50で取得した映像が「興味」の顔画像に最も近い場合
→ 勤務者の感情:興味
・カメラ50で取得した映像が「驚き」の顔画像に最も近い場合
→ 勤務者の感情:驚き
・カメラ50で取得した映像が「無感情」の顔画像に最も近い場合
→ 勤務者の感情:無感情
・マイクロフォン60で取得した勤務者の音声がαdB以上の場合
→ 勤務者の感情:強度W大
・βdB未満の勤務者の音声をマイクロフォン60が取得した場合
→ 勤務者の感情:強度W小
(Recognition of workers' emotions)
The worker's face image corresponding to the emotion used for human facial expression formation is registered in advance. For example, as emotion classification, there are nine emotions of “joy”, “sadness”, “anger”, “disgust”, “fear”, “sin”, “shame”, “interest” and “surprise” and no emotion. In addition to emotion classification, it is also possible to obtain worker's voice and express human emotions more abundantly.
・ When the image acquired with the camera 50 is closest to the face image of “joy” → Worker's emotion: Joy ・ When the image acquired with the camera 50 is closest to the face image of “sadness” → Emotion of worker: sadness・ When the image acquired with the camera 50 is closest to the face image of “anger” → Worker's emotion: anger ・ When the image acquired with the camera 50 is closest to the face image of “disgust” → Emotion of the worker: disgust・ When the image acquired with the camera 50 is closest to the face image of “Fear” → Worker's emotion: Fear ・ When the image acquired with the camera 50 is closest to the face image of “Sin” → Emotion of worker: Sin・ When the video acquired by the camera 50 is closest to the face image of “shame” → Worker's emotion: Shame ・ When the image acquired by the camera 50 is closest to the face image of “interest” → Emotion of worker: interest・ Images taken with camera 50 are “surprise” → Closest face image → Worker's emotion: Surprise ・ When the image acquired by the camera 50 is closest to the face image of “No emotion” → Worker's emotion: No emotion ・ The employee's emotion acquired by the microphone 60 When the voice is α dB or higher → Worker's emotion: When the microphone 60 obtains the voice of the worker with high intensity W or less than β dB → Worker's emotion: low intensity W

(環境音圧レベルの認識)
・γdB以上の環境音を同一空間にあるN個以上のマイクロフォン60が取得した場合
→ 場の雰囲気:騒々しい
・δdB未満の環境音を同一空間にあるN個以上のマイクロフォン60が取得した場合
→ 場の雰囲気:静寂
・δdB未満の環境音を同一空間にあるN個以上のマイクロフォン60が取得し、同空間内の勤務者の何れかの感情が「怒り」または「恐怖」と認識された場合
→ 場の雰囲気:緊迫(ピリピリモード)
(Recognition of environmental sound pressure level)
・ When N or more microphones 60 in the same space acquire environmental sound of γ dB or more → Atmosphere of the place: Noisy ・ When N or more microphones 60 in the same space acquire environmental sound of less than δ dB → Atmosphere of the atmosphere: Silence / Environmental sound of less than δdB was acquired by N or more microphones 60 in the same space, and any emotion of workers in the space was recognized as “anger” or “fear” Case → Atmosphere of the venue: Tension (Pili-Pili mode)

次に、小型情報端末70において、ステップS2で認識された勤務者の作業内容、状況、顔の向き、感情に基づいて、勤務者の表情または仕草を模倣する映像を生成する(ステップS3)。   Next, the small information terminal 70 generates an image imitating the worker's facial expression or gesture based on the worker's work content, situation, face orientation, and emotion recognized in step S2 (step S3).

任意のエージェントにおけるアニメーションデータ生成の例を以下に示す。なお、本実施形態では、アニメーションデータとして、時刻tにおけるエージェントの任意のポリゴンP(p=1,2,…,n)の空間位置座標(X ,Y ,Z )が記述されている場合の例を示すが、本発明の技術的思想は、これに限定されるわけなく、予め登録した勤務者本人の映像を再生しても良い。 An example of animation data generation in an arbitrary agent is shown below. In the present embodiment, as animation data, an arbitrary polygon P agents at time t (p = 1,2, ..., n) spatial position coordinates (X p t, Y p t , Z p t) is described However, the technical idea of the present invention is not limited to this, and an image of the worker who has been registered in advance may be reproduced.

初めに、予め用意されたモデルデータベースから当該勤務者のエージェントを読み込む。ここで、予め登録された勤務者の顔画像に対して、「喜び」における無感情との差分を(ΔXp1 ,ΔYp1 ,ΔZp1 )、「悲しみ」における無感情との差分を(ΔXp2 ,ΔYp2 ,ΔZp2 )、「怒り」における無感情との差分を(ΔXp3 ,ΔYp3 ,ΔZp3 )、「嫌悪」における無感情との差分を(ΔXp4 ,ΔYp4 ,ΔZp4 )、「恐怖」における無感情との差分を(ΔXp5 ,ΔYp5 ,ΔZp5 )、「罪」における無感情との差分を(ΔXp6 ,ΔYp6 ,ΔZp6 )、「恥」における無感情との差分を(ΔXp7 ,ΔYp7 ,ΔZp7 )、「興味」における無感情との差分を(ΔXp8 ,ΔYp8 ,ΔZp8 )、「驚き」における無感情との差分を(ΔXp9 ,ΔYp9 ,ΔZp9 )、と表わす。 First, the agent of the worker is read from a model database prepared in advance. Here, with respect to the face image of the worker registered in advance, the difference from feelingless in “joy” (ΔX p1 t , ΔY p1 t , ΔZ p1 t ), and the difference from feelingless in “sadness” (ΔX p2 t , ΔY p2 t , ΔZ p2 t ), the difference from no emotion in “anger” (ΔX p3 t , ΔY p3 t , ΔZ p3 t ), and the difference from no emotion in “hate” (ΔX p4 t , ΔY p4 t , ΔZ p4 t ), the difference from the feelingless in “fear” (ΔX p5 t , ΔY p5 t , ΔZ p5 t ), the difference from the feelingless in “sin” (ΔX p6 t , ΔY p6 t , ΔZ p6 t ), the difference from feelingless in “shame” (ΔX p7 t , ΔY p7 t , ΔZ p7 t ), and the difference from feelingless in “interest” (ΔX p8 t , ΔY p8 t, ΔZ p8 t), put in "surprise" The difference between the apathetic (ΔX p9 t, ΔY p9 t , ΔZ p9 t), to represent.

(勤務者の表情を模擬する映像の生成)
Pの座標(X ,Y ,Z )を次式で更新して当該勤務者のエージェントにおけるアニメーションデータを生成することで、勤務者の感情に応じた勤務者の表情を模擬する映像を生成する。

Figure 2016162001
(Generate video that mimics workers' facial expressions)
P of coordinates (X p t, Y p t , Z p t) the updated by the following equation by generating animation data in the agent of the worker, simulates the workers of expression in accordance with the feelings of workers Video to be generated.
Figure 2016162001

(勤務者の仕草を模擬する映像の生成)
予め用意されたアニメーションデータベースから当該アニメーションデータを抽出して付与することで、勤務者の勤務者の作業内容、状況、顔の向き、視線、感情に応じた勤務者の仕草を模擬する映像を生成する。
(Generate video that mimics workers' gestures)
By extracting and assigning the animation data from the animation database prepared in advance, a video that simulates the worker's gesture according to the work contents, situation, face direction, line of sight, and emotions of the worker is generated. To do.

図6は、状態合成部70−3の機能を示すブロック図である。小型情報端末70において、ステップS2で認識された勤務者の状態または場の雰囲気、および、ステップS3で生成された同一または異なる空間にいる複数の勤務者の表情または仕草を模倣する映像を、同一の仮想空間に合成する(ステップS4)。   FIG. 6 is a block diagram illustrating functions of the state synthesis unit 70-3. In the small information terminal 70, the worker's state or the atmosphere of the place recognized in step S2 and the video imitating the expressions or gestures of a plurality of workers in the same or different space generated in step S3 are the same. To the virtual space (step S4).

まず、仮想空間上に各勤務者の勤務席を配置する。同一空間にいる勤務者については、予めフロア図等を用いて相互の位置関係を取得し、仮想空間上に勤務席を配置する。一方、異なる空間の勤務者については、各空間を並列表示する等行ない、空間同士を結合し、全ての勤務者を同一の仮想空間上に配置する。   First, a work seat for each worker is placed in a virtual space. For workers in the same space, the mutual positional relationship is acquired in advance using a floor plan or the like, and work seats are arranged in the virtual space. On the other hand, for workers in different spaces, each space is displayed in parallel, the spaces are combined, and all workers are placed in the same virtual space.

次に、ステップS2で認識された各勤務者の存在位置に該当する仮想空間上に勤務席において、ステップS2で認識された各勤務者の体調またはステップS3で生成された勤務者の表情または仕草を模倣する映像を合成する。これにより、例えば、実空間であっても相互の勤務者同士が視認しにくい体温、血圧等、体調に関する情報が視覚的かつ即時に確認でき、健康管理の効率化、過労の防止に繋がる。また、異なる空間にいる勤務者同士が会話する場合でも、同一空間で会話をしている仮想映像を提示でき、他の勤務者がその会話に気軽に加わることが可能となる。さらに、勤務者の視線を模擬する仮想映像と共に、監視中や放置等の認識された勤務者の視線情報を提示すれば、他の勤務者から見られている、他の勤務者の注目を集めていない等の情報を勤務者同士で共有でき、勤務者全員が同一空間に勤務する感覚を提供することが可能となる。さらに加えて、勤務者の状況を模擬する仮想映像と共に、繁忙や怠惰等の認識された勤務者の状況情報を提示すれば、仕事が回っていない、仕事をサボっている等の情報を勤務者同士で共有でき、仕事効率が低下する、信頼関係が欠如するといった課題を解消することが可能となる。   Next, the physical condition of each worker recognized in step S2 or the facial expression or gesture of the worker generated in step S3 in the working seat on the virtual space corresponding to the position of each worker recognized in step S2. Synthesize video that imitates. Thereby, for example, information on physical condition such as body temperature, blood pressure, etc., which are difficult for the workers to see each other even in a real space, can be visually and immediately confirmed, leading to efficient health management and prevention of overwork. Further, even when workers in different spaces have a conversation, a virtual image of a conversation in the same space can be presented, and other workers can easily participate in the conversation. Furthermore, if the worker's line-of-sight information, such as being monitored or left unattended, is presented together with a virtual image that simulates the worker's line of sight, the attention of other workers seen by other workers will be gathered. It is possible to share information such as not working between workers, and to provide a feeling that all workers work in the same space. In addition, if you present the status information of a worker who has been recognized as busy or idle, along with a virtual video that simulates the worker's situation, the worker will be informed that the job is not working or that the job is skipped. It is possible to share with each other, and it is possible to solve problems such as a reduction in work efficiency and a lack of trust.

次に、ステップS2で認識された場の雰囲気を同一の仮想空間上に合成する。ここでは、認識された場の雰囲気のテキスト情報を合成する場合を述べるが、場の雰囲気に応じて、仮想空間の配色を変える、雰囲気を示すアイコンを提示する等、空間アニメーションで合成しても良い。また、実空間によって異なる場の雰囲気が認識された場合は、勤務者の最も多い実空間における場の雰囲気を統一の仮想空間上の場の雰囲気として合成しても良いし、実空間単位で異なる場の雰囲気を仮想空間上に合成しても良い。例えば、大半の勤務者が勤務する場の雰囲気が緊迫(ピリピリモード)と認識された場合、それとは異なる実空間にいる勤務者の場の雰囲気も緊迫(ピリピリモード)と提示することにより、緊迫感を共有でき、勤務者全員が同一空間に勤務する感覚を提供することが可能となる。   Next, the atmosphere of the place recognized in step S2 is synthesized on the same virtual space. Here, we will describe the case where the text information of the recognized atmosphere of the place is synthesized, but even if it is synthesized by space animation, such as changing the color arrangement of the virtual space according to the atmosphere of the place, presenting an icon indicating the atmosphere, etc. good. In addition, when the atmosphere of a place that varies depending on the real space is recognized, the atmosphere of the place in the real space with the largest number of workers may be synthesized as the atmosphere of the place in a unified virtual space, or it may differ for each real space The atmosphere of the place may be synthesized on a virtual space. For example, if the atmosphere of the place where most workers work is recognized as tense (spirit mode), the atmosphere of the worker's place in a different real space is also presented as tense (pilipir mode). It is possible to share the feeling and provide a feeling that all workers work in the same space.

図7は、状態表示部の機能を示すブロック図である。状態表示部の機能を有するディスプレイ80およびスピーカ90において、ステップS4で合成された勤務者の状態または場の雰囲気、および、複数の勤務者の表情や仕草を模倣する映像を表示する(ステップS5)。   FIG. 7 is a block diagram illustrating functions of the status display unit. On the display 80 and the speaker 90 having the function of the state display unit, the worker's state or the atmosphere of the place synthesized in step S4 and a video imitating the expressions and gestures of a plurality of workers are displayed (step S5). .

図8は、状態表現部の機能を示すブロック図である。状態表現部の機能を有する人型ロボット100において、ステップS4で合成された複数の勤務者の状態、および、複数の勤務者の表情や仕草を表現する(ステップS6)。ステップS4で合成された複数の勤務者の状態のうち、顔の向き、視線、表情、仕草等、人型ロボット100の駆動装置で表現可能なものは、物理制御を行なって表現する。駆動装置で表現できないものについては、発話により表現することも可能である。これにより、例えば、異なる空間にいる勤務者における、PC操作中や電話対応中等の勤務者の作業内容、在席中や離席中等の勤務者の存在位置、勤務者の顔の向きや視線に加え、繁忙や怠惰等の勤務者の状況、発熱や息切れ等の勤務者の体調、怒りや驚き等の勤務者の感情、静寂や緊迫等の場の雰囲気等、人間や場の内面的な情報まで提示することが可能となる。   FIG. 8 is a block diagram illustrating functions of the state expression unit. In the humanoid robot 100 having the function of the state expression unit, the states of the plurality of workers synthesized in step S4 and the expressions and gestures of the plurality of workers are expressed (step S6). Of the states of the plurality of workers synthesized in step S4, those that can be expressed by the driving device of the humanoid robot 100, such as face orientation, line of sight, facial expression, and gesture, are expressed by performing physical control. Those that cannot be expressed by the drive device can also be expressed by utterances. As a result, for example, the work contents of a worker who is operating a PC or responding to a phone call, the location of the worker such as being in the office or away from the office, and the orientation and line of sight of the worker In addition, internal information on humans and workplaces, such as the status of workers such as busyness and laziness, the physical condition of workers such as fever and shortness of breath, emotions of workers such as anger and surprise, and the atmosphere of places such as silence and tension Can be presented.

また、本発明を用いることにより、例えば、図9に示すような在宅勤務支援の環境を提供することができる。その結果、在宅勤務者と協調作業を円滑に行なうことが可能となり、実際は異なる空間にいる隣の席の勤務者の状態に感化されて仕事が捗る等の作用が期待される。さらに、在宅勤務支援の他、遠隔地にいる家族間コミュニケーションの活性化や遠隔医療支援等にまでも用途を広げることができる。   Further, by using the present invention, for example, an environment for home work support as shown in FIG. 9 can be provided. As a result, it is possible to smoothly collaborate with the telecommuter, and it is expected that the work is actually made more sensitive to the state of the worker in the next seat in a different space. In addition to telecommuting support, the application can be extended to activation of communication between family members in remote places and remote medical support.

以上説明したように、本実施形態によれば、同一空間にいないユーザであっても、他のユーザと同一の空間に存在する物理的な感覚をリアルタイムで共有することができる仮想空間を提供することができるようになる。その結果、複数のユーザの業務またはコミュニケーションを支援することが可能となる。さらに、サーバを介さないため、低コストでの実現が可能となる。   As described above, according to the present embodiment, a virtual space is provided in which even a user who is not in the same space can share a physical feeling existing in the same space as other users in real time. Will be able to. As a result, it becomes possible to support the work or communication of a plurality of users. Furthermore, since no server is used, it can be realized at low cost.

10 ICチップ
20 温度センサ
30 血圧センサ
40 IC受信機
50 カメラ
60 マイクロフォン
70 小型情報端末
70−1 状態認識部
70−2 映像生成部
70−3 状態合成部
80 ディスプレイ
90 スピーカ
100、220、320、420 人型ロボット
200 会議室
210 勤務者
300 自宅A
310 在宅勤務者A
400 自宅B
410 在宅勤務者B
10 IC chip 20 Temperature sensor 30 Blood pressure sensor 40 IC receiver 50 Camera 60 Microphone 70 Small information terminal 70-1 State recognition unit 70-2 Video generation unit 70-3 State composition unit 80 Display 90 Speakers 100, 220, 320, 420 Humanoid robot 200 Conference room 210 Worker 300 Home A
310 Telecommuter A
400 Home B
410 Telecommuter B

Claims (5)

複数のユーザの業務またはコミュニケーションを支援する業務支援装置であって、
各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する状態認識部と、
前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成する状態合成部と、
前記生成した合成情報を表示する状態表示部と、を備えることを特徴とする業務支援装置。
A business support device that supports the business or communication of multiple users,
A state recognition unit for recognizing each user's behavior, situation, emotion and atmosphere around the user, and outputting recognition information;
A state synthesizer that synthesizes the recognized recognition information and the recognition information recognized by another business support device to generate combined information;
And a status display unit for displaying the generated composite information.
前記認識した認識情報に基づき、予めデータベースに記憶されたユーザの表情および仕草を示す情報を用いて、映像データを生成する映像生成部を備え、
前記状態合成部は、自装置で生成した映像データおよび他の業務支援装置から取得した映像データを合成して合成情報を生成することを特徴とする請求項1記載の業務支援装置。
Based on the recognized recognition information, a video generation unit that generates video data using information indicating a user's facial expression and gesture stored in a database in advance,
The business support apparatus according to claim 1, wherein the state synthesis unit generates composite information by combining video data generated by the own apparatus and video data acquired from another business support apparatus.
前記生成した合成情報を、ロボットを用いて表現する状態表現部を備えることを特徴とする請求項1または請求項2記載の業務支援装置。   The business support apparatus according to claim 1, further comprising a state expression unit that expresses the generated composite information using a robot. 前記状態認識部は、
ユーザの動作情報、ユーザの体温情報、ユーザの血圧情報、ICチップの電波に含まれるユーザの位置情報、またはユーザの周囲の雰囲気を示す環境音圧レベルの少なくとも一つを認識することを特徴とする請求項1から請求項3のいずれかに記載の業務支援装置。
The state recognition unit
Recognizing at least one of user's operation information, user's body temperature information, user's blood pressure information, user's position information included in the IC chip's radio waves, or ambient sound pressure level indicating the ambient atmosphere of the user The business support apparatus according to any one of claims 1 to 3.
複数のユーザの業務またはコミュニケーションを支援する業務支援プログラムであって、
各ユーザの行動、状況、感情および前記ユーザの周囲の雰囲気を認識し、認識情報を出力する処理と、
前記認識した認識情報および他の業務支援装置で認識した認識情報を合成して合成情報を生成する処理と、
前記生成した合成情報を表示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする業務支援プログラム。
A business support program that supports the business or communication of multiple users,
A process of recognizing each user's behavior, situation, emotion and atmosphere around the user, and outputting recognition information;
A process of generating combined information by combining the recognized recognition information and the recognition information recognized by another business support device;
A business support program that causes a computer to execute a series of processes including the process of displaying the generated composite information.
JP2015037475A 2015-02-26 2015-02-26 Business support device and business support program Active JP6444767B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015037475A JP6444767B2 (en) 2015-02-26 2015-02-26 Business support device and business support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015037475A JP6444767B2 (en) 2015-02-26 2015-02-26 Business support device and business support program

Publications (2)

Publication Number Publication Date
JP2016162001A true JP2016162001A (en) 2016-09-05
JP6444767B2 JP6444767B2 (en) 2018-12-26

Family

ID=56847030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015037475A Active JP6444767B2 (en) 2015-02-26 2015-02-26 Business support device and business support program

Country Status (1)

Country Link
JP (1) JP6444767B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020235346A1 (en) * 2019-05-20 2020-11-26
KR102421118B1 (en) * 2022-01-25 2022-07-14 주식회사 경남은행 Workplace communication support system
JP7121848B1 (en) 2021-11-12 2022-08-18 株式会社ユカリア Information processing device, information processing method, information processing program and information processing system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JPH06274596A (en) * 1993-03-19 1994-09-30 Internatl Business Mach Corp <Ibm> Terminal for virtual conference system and virtual conference system
JPH0970030A (en) * 1995-08-31 1997-03-11 Mitsubishi Electric Corp Image display method for virtual conference system and virtual conference terminal equipment
JP2000181967A (en) * 1998-10-06 2000-06-30 Canon Inc Distributed office system and management method therefor
JP2003235019A (en) * 2002-02-07 2003-08-22 Nippon Telegr & Teleph Corp <Ntt> Communication assistant apparatus
JP2004066367A (en) * 2002-08-05 2004-03-04 Mitsubishi Heavy Ind Ltd Action pattern formation device, action pattern formation method, and action pattern formation program
JP2006302047A (en) * 2005-04-21 2006-11-02 Fuji Xerox Co Ltd Meeting-supporting program, meeting-supporting device, and meeting-supporting method
JP2009232054A (en) * 2008-03-21 2009-10-08 Oki Electric Ind Co Ltd Conference support system
US20150042749A1 (en) * 2013-08-09 2015-02-12 Takeshi Homma Information processing device, information processing system, and information processing method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274596A (en) * 1993-03-19 1994-09-30 Internatl Business Mach Corp <Ibm> Terminal for virtual conference system and virtual conference system
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JPH07255044A (en) * 1993-12-17 1995-10-03 Mitsubishi Electric Corp Animated electronic conference room and video conference system and method
JPH0970030A (en) * 1995-08-31 1997-03-11 Mitsubishi Electric Corp Image display method for virtual conference system and virtual conference terminal equipment
JP2000181967A (en) * 1998-10-06 2000-06-30 Canon Inc Distributed office system and management method therefor
JP2003235019A (en) * 2002-02-07 2003-08-22 Nippon Telegr & Teleph Corp <Ntt> Communication assistant apparatus
JP2004066367A (en) * 2002-08-05 2004-03-04 Mitsubishi Heavy Ind Ltd Action pattern formation device, action pattern formation method, and action pattern formation program
JP2006302047A (en) * 2005-04-21 2006-11-02 Fuji Xerox Co Ltd Meeting-supporting program, meeting-supporting device, and meeting-supporting method
JP2009232054A (en) * 2008-03-21 2009-10-08 Oki Electric Ind Co Ltd Conference support system
US20150042749A1 (en) * 2013-08-09 2015-02-12 Takeshi Homma Information processing device, information processing system, and information processing method
JP2015035769A (en) * 2013-08-09 2015-02-19 株式会社リコー Information processing device, information processing system, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020235346A1 (en) * 2019-05-20 2020-11-26
WO2020235346A1 (en) * 2019-05-20 2020-11-26 グリー株式会社 Computer program, server device, terminal device, system, and method
JP7162737B2 (en) 2019-05-20 2022-10-28 グリー株式会社 Computer program, server device, terminal device, system and method
JP7121848B1 (en) 2021-11-12 2022-08-18 株式会社ユカリア Information processing device, information processing method, information processing program and information processing system
JP2023072378A (en) * 2021-11-12 2023-05-24 株式会社ユカリア Information processing device, information processing method, information processing program, and information processing system
KR102421118B1 (en) * 2022-01-25 2022-07-14 주식회사 경남은행 Workplace communication support system

Also Published As

Publication number Publication date
JP6444767B2 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
US20210055850A1 (en) Communicating between a Virtual Area and a Physical Space
US20120204118A1 (en) Systems and methods for conducting and replaying virtual meetings
US20120204120A1 (en) Systems and methods for conducting and replaying virtual meetings
US20190004639A1 (en) Providing living avatars within virtual meetings
WO2020204000A1 (en) Communication assistance system, communication assistance method, communication assistance program, and image control program
US20120204119A1 (en) Systems and methods for conducting and replaying virtual meetings
JP7073116B2 (en) Office virtual reality system and office virtual reality program
JP6444767B2 (en) Business support device and business support program
JPWO2019155735A1 (en) Information processing equipment, information processing methods and programs
JP7323098B2 (en) Dialogue support device, dialogue support system, and dialogue support program
JP6867971B2 (en) Conference support device and conference support system
CN114615455A (en) Teleconference processing method, teleconference processing device, teleconference system, and storage medium
JPWO2019139101A1 (en) Information processing equipment, information processing methods and programs
WO2023190344A1 (en) Information processing device, information processing method, and program
JP2013000875A (en) Remote guidance system
US11212488B2 (en) Conference system
WO2022137547A1 (en) Communication assistance system
Myodo et al. Issues and solutions to informal communication in working from home using a telepresence robot
JP6901190B1 (en) Remote dialogue system, remote dialogue method and remote dialogue program
JP6888854B1 (en) Remote work support system and remote work support method
WO2012109006A2 (en) Systems and methods for conducting and replaying virtual meetings
Kaiser et al. Multimodal interaction for future control centers: Interaction concept and implementation
JP2017163251A (en) Communication system using tele-existence
Sawyerr et al. Designing a 3D virtual world for providing social support for the elderly
JP7292765B1 (en) Communication controller and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181128

R150 Certificate of patent or registration of utility model

Ref document number: 6444767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150