JP6543891B2 - Communication aid device, communication aid system, communication aid method and program - Google Patents
Communication aid device, communication aid system, communication aid method and program Download PDFInfo
- Publication number
- JP6543891B2 JP6543891B2 JP2014101551A JP2014101551A JP6543891B2 JP 6543891 B2 JP6543891 B2 JP 6543891B2 JP 2014101551 A JP2014101551 A JP 2014101551A JP 2014101551 A JP2014101551 A JP 2014101551A JP 6543891 B2 JP6543891 B2 JP 6543891B2
- Authority
- JP
- Japan
- Prior art keywords
- base
- participant
- amount
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、通信ネットワークを介して、遠隔地間でのコミュニケーションを補助するのに好適なコミュニケーション補助装置、コミュニケーション補助システム、コミュニケーション補助方法及びプログラムに関する。 The present invention relates to a communication assistance device, a communication assistance system, a communication assistance method, and a program suitable for assisting communication between remote places via a communication network.
近年、通信ネットワーク技術が向上し、遠隔地とのコミュニケーションが手軽に行えるようになっている。例えば、遠隔地間で行われるテレビ会議では、音声と映像を送受信することにより、拠点を移動せずに会議を実施することができるため、空間的制約も少なく需要も高まっており、既に多くの場面で活用されている。
また、携帯電話のメールやチャットなど、文字を送受信することで、遠隔地間で手軽にコミュニケーションを行うことが可能となっている。
しかし、音声や映像ならびに文字を用いた遠隔コミュニケーションにおいては、参加者が実際に１つの空間を共有していない。
例えば、テレビ会議では、一つの拠点内でテレビ会議が白熱すると、異なる拠点にいる参加者の存在を忘れてしまう場合があり、一つの拠点内で会議が盛り上がってしまうといった問題が発生し易い。
例えば、テレビ会議では、一つの拠点で異なる拠点の様子を映像としてモニタに表示するが、映像には限りがあるので、充分に目視確認が可能な映像情報（非言語情報）の伝達ができていないため、このような問題が起こり易い。
In recent years, communication network technology has been improved, and communication with remote places can be easily performed. For example, in a video conference held between remote locations, by transmitting and receiving audio and video, it is possible to conduct a conference without moving the base, so there is less space restriction and demand is increasing. It is used in the scene.
In addition, by sending and receiving characters such as e-mails and chats of mobile phones, it is possible to easily communicate between remote locations.
However, in remote communication using voice, video, and text, participants do not actually share one space.
For example, in a video conference, if the video conference heats up in one base, the presence of participants in different bases may be forgotten, and a problem that the conference is heated up in one base tends to occur.
For example, in a video conference, the situation of different sites is displayed on the monitor as a video at one site, but since the video is limited, it is possible to transmit video information (non-verbal information) that allows sufficient visual confirmation. Because there is no such problem is likely to occur.
特許文献１には、映像に非言語情報を付加して会議を行う一例として、参加者が発言者に対して同調の度合いを表す情報に基づいて、次に発言しようとしている参加者の候補が選択されて各参加者に提示させる。
また、非特許文献１では、移動機能とカメラによる映像撮影機能を有するロボットによって、遠隔地にいる参加者がロボットを操縦し、自分（参加者）がどこを見ているのかを異なる拠点の参加者に提示させている。さらに見られているという意識を異なる拠点の参加者に持たせることで存在感を表現させている。
In
Also, in Non-Patent
特許文献１は、参加者が発言しようと試みた場合に対してのみ有効である。一方、参加者が発言するまでではないが、自分の存在を異なる拠点の参加者に気にして欲しい場合には無効である。つまり、自分が異なる拠点の参加者に提示したい自分の存在を表す度合いを調整できないという問題があった。
さらに、テレビ会議で資料のみをモニタに表示させた場合、参加者がモニタに表示されていないので、異なる拠点の参加者に自分の存在を気にして欲しくても気にしてもらえないといった問題があった。
また、非特許文献１は、さりげなく存在感を提示することは難しい。テレビ会議の最中にロボットが動き回った場合、参加者の感覚に与える刺激が強く、必要以上にロボットの存在感が提示される。したがって、異なる拠点の参加者に自分が提示したい存在の度合いを調整できないといった問題があった。
以上のように、従来の遠隔コミュニケーションでは、相手に自分の存在を提示する度合いを表す量を調整できず、遠隔地の参加者の存在感が低下するという問題があった。逆に、ロボットを用いた場合、遠隔地の参加者が存在感を強く提示されるという問題があった。
本発明は、上記に鑑みてなされたもので、その目的としては、相手に自分の存在を提示する度合いの調整を行うことが可能な技術を提供することにある。
Furthermore, when only the materials are displayed on the monitor in a video conference, the participants are not displayed on the monitor, and there is a problem that participants in different bases do not mind if they want them to worry about their existence. there were.
Moreover, it is difficult for Non-Patent
As described above, in the conventional remote communication, there is a problem that the amount representing the degree of presenting one's presence to the other party can not be adjusted, and the presence of the remote participant is reduced. Conversely, when using a robot, there is a problem that remote participants are strongly presented with a sense of presence.
The present invention has been made in view of the above, and its object is to provide a technique capable of adjusting the degree of presenting one's own presence to the other party.
請求項１記載の発明は、上記課題を解決するため、第１拠点に配置された第１会議端末および第２拠点に配置された第２会議端末の間でネットワークを経由したコミュニケーションを補助するコミュニケーション補助装置であって、前記第１拠点には、推定された前記第２拠点の状況を表す第２拠点状況情報を受信する受信手段と、前記第１拠点にいる第１参加者が知覚可能な感覚量の範囲を算出する感覚量範囲算出手段と、前記第２拠点状況情報が閾値以上である場合に、前記第２拠点にいる前記第２参加者の意思量を算出する意思量算出手段と、前記第２拠点にいる前記第２参加者の意思量に応じて、前記第１参加者の感覚量の範囲に応じた刺激を前記第１参加者が知覚できるように出力する刺激出力手段と、を備えることを特徴とする。
According to the first aspect of the present invention, there is provided a communication for assisting communication via a network between a first conference terminal disposed at a first site and a second conference terminal disposed at a second site, in order to solve the above-mentioned problems. It is an auxiliary device, The receiving means which receives the 2nd base situation information showing the situation of the 2nd base presumed to the 1st base, The 1st participant who is in the 1st base can perceive. and sensory quantity range calculation means for calculating the range of sensory quantity, when the second center status information is equal to or greater than the threshold, the intention amount calculating means for calculating the intention of the second participants in the second center Stimulus output means for outputting a stimulus according to the range of the first participant's sense amount according to the intention amount of the second participant at the second site so that the first participant can perceive a stimulus And characterized by
本発明によれば、第２拠点状況情報と第１参加者の感覚量の範囲に基づいて、第２拠点にいる第２参加者意思量を算出し、当該意思量に応じた刺激を第１参加者が知覚できるように出力することで、相手に自分の存在を提示する度合いの調整を行うことができる。 According to the present invention, the second participant's intention amount at the second site is calculated based on the second base situation information and the range of the first participant's sense amount, and the stimulation corresponding to the intention amount is By making the output perceivable to the participant, it is possible to adjust the degree of presenting the presence to the other party.
本発明は、遠隔地間でのコミュニケーションによる会議や会話の進行を止めることなく、さりげなく自分の存在感を相手側に提示することで、遠隔地という空間が異なることによる存在感の差を低減できるようにし、これにより通信ネットワークを介して行われるコミュニケーションの一体感を提供することを可能にする。
一般に、人間の感覚量は刺激強度と関係性を有している。例えばフェヒナーの法則では、感覚量は刺激強度の対数に比例する。
ここで、定数Ｋ、刺激量Ｒとすると、感覚量（心理量）Ｅは、Ｅ＝Ｋ・ｌｏｇ（Ｒ）と表すことができる。
従って、遠隔地の参加者に与える刺激量を調整すれば、自分の存在感の量を調整できることが期待できるため、遠隔地の参加者にさりげない存在感の提示が可能になる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
The present invention reduces the difference in presence due to the difference in the space of remote locations by presenting the presence of oneself to the other party casually without stopping the progress of the conference or conversation by communication between the remote locations. It makes it possible to provide a sense of communication that takes place via the communication network.
In general, the amount of human sense is related to the stimulus intensity. For example, in Fechner's law, the sensory amount is proportional to the logarithm of the stimulation intensity.
Here, assuming that the constant K and the stimulation amount R, the sensory amount (psychological amount) E can be expressed as E = K · log (R).
Therefore, by adjusting the amount of stimulation given to remote participants, it is possible to expect to be able to adjust the amount of their own presence, which makes it possible to present casual presence to remote participants. That is, it is possible to adjust the degree of presenting one's presence to the other party.
本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
図１は本発明の第１実施形態に係るコミュニケーション補助システムがテレビ会議システムに使用されている構成の一例について説明するための模式図である。
ここで、図１を参照して、コミュニケーション補助システムの機能構成について説明する。
図１に示すコミュニケーション補助システムは、第１拠点１１Ａ、第２拠点１１Ｂに夫々設置されたテレビ会議端末（会議端末）１０Ａ、テレビ会議端末（会議端末）１０Ｂと、これらテレビ会議端末１０Ａ、テレビ会議端末１０Ｂが接続される通信ネットワークＮで構成される。
テレビ会議端末１０Ａ、テレビ会議端末１０Ｂは、夫々撮像装置４、マイク５、スピーカ６、ディスプレイ７、処理装置８を備えている。
Embodiments of the present invention will be described with reference to the drawings.
First Embodiment
FIG. 1 is a schematic diagram for explaining an example of a configuration in which a communication assistance system according to a first embodiment of the present invention is used in a video conference system.
Here, the functional configuration of the communication assistance system will be described with reference to FIG.
The communication assistance system shown in FIG. 1 includes a video conference terminal (conference terminal) 10A and a video conference terminal (conference terminal) 10B installed in the
The
例えば、第１拠点１１Ａに設置されたテレビ会議端末１０Ａの撮像装置４で撮影された画像（静止画像又は動画像）は、撮像装置４と処理装置８との連携動作により画像データに補正処理を施し、当該テレビ会議端末１０Ａ内のディスプレイ７に画像を表示する。同時に、この補正処理を施した画像データは、通信ネットワークＮに接続された第２拠点１１Ｂに設置されている相手側のテレビ会議端末１０Ｂにも伝送されて、そのディスプレイ７に画像が表示される。
例えば、第２拠点１１Ｂに設置されているテレビ会議端末１０Ｂにおいて、操作者が操作部（図示しない）の拡大／縮小ボタンを押下すると、当該テレビ会議端末１０Ｂ内に設けられた同じく撮像装置４と処理装置８と連携動作によりデジタルズーム処理が施される。この結果、デジタルズーム画像が当該テレビ会議端末１０Ｂのディスプレイ７に表示される。同時に、通信ネットワークＮに接続された第１拠点１１Ａに設置されているテレビ会議端末１０Ａにも画像データが伝送されて、そのディスプレイ７に画像表示される。
For example, an image (still image or moving image) captured by the imaging device 4 of the
For example, in the video conference terminal 10B installed at the
図１において、第１拠点１１Ａには第１参加者１３、第３参加者１４が存在し、第２拠点１１Ｂには、第２参加者１５が存在している。さらに、第１拠点１１Ａには第２拠点１１Ｂに存在する第２参加者１５を表すアバターロボット１７が移動自在に配置される。
本発明は、３人以上で２つの異なる拠点間においてコミュニケーションを行う場合に効力を発揮するものである。以下、遠隔地に配置されているテレビ会議端末１０Ａ、１０Ｂを用いてテレビ会議を行う場合を一例にして説明する。
図１は、異なる拠点間においてコミュニケーションを行う場合の具体的な例である。
第１拠点１１Ａでの会話が白熱した状況、つまり、第１参加者１３と第３参加者１４がテレビ会議の会話が盛り上がり、第２参加者１５の存在を忘れて会話を継続している状況を想定する。
第２参加者１５は、第１参加者１３と第３参加者１４に向けて発言し、第１参加者１３と第３参加者１４との会話中に割り込むことで、第１参加者１３と第３参加者１４に第２参加者１５の存在を知らしめることも可能である。
しかし、第２参加者１５は、テレビ会議の進行を停止することは望んでおらず、発言はしたくないと思っていると仮定する。しかし、自分の存在には気付いて欲しいとは思っている。このような場合に、第１拠点１１Ａに存在する、第２参加者１５を表すアバターロボット１７がさりげなく第２参加者１５の存在を提示することで、テレビ会議の進行を妨げることなく、第２参加者１５の存在を、第１参加者１３と第３参加者１４に伝えることができる。本発明は、上記のような状況において使用する発明である。
In FIG. 1, a
The present invention is effective when three or more persons communicate between two different sites. Hereinafter, a case where a video conference is performed using the
FIG. 1 is a specific example of communication between different bases.
The situation where the conversation at the
The
However, it is assumed that the
図１において、本発明の第１実施形態に係るコミュニケーション補助システムは、第１拠点状況計測推定ユニット２０、中継ユニット３０、第２拠点状況計測推定ユニット４０、刺激量算出出力ユニット５０等のコミュニケーション補助装置を備えている。
図２は本発明の第１実施形態に係るコミュニケーション補助システムを示すブロック図である。
図２において、コミュニケーション補助システムは、第１拠点状況計測推定ユニット２０、第２拠点状況計測推定ユニット４０、刺激量算出出力ユニット５０を備えている。
第１拠点状況計測推定ユニット２０は、第１拠点状況計測部２１、第１拠点状況取込部２３、第１拠点状況推定部２５、無線通信部２７を備える。第１拠点状況計測部２１は、第１拠点１１Ａの状況を計測する。第１拠点状況取込部２３は、第１拠点状況計測部２１で計測した第１拠点１１Ａの状況を取り込む。第１拠点状況推定部２５は、第１拠点状況取込部２３で取り込まれた第１拠点１１Ａの状況から第１拠点１１Ａの状況の情報を示す第１拠点状況情報を推定する。無線通信部２７は、第１拠点状況推定部２５で推定された第１拠点状況情報を無線通信部５１に送信する。このように、第１拠点状況計測推定ユニット２０は、第１拠点１１Ａの状況を表す第１拠点状況情報を推定し、無線通信部２７から刺激量算出出力ユニット５０に設けられた無線通信部５１に第１拠点状況情報を送信する。
In FIG. 1, the communication assistance system according to the first embodiment of the present invention includes communication aids such as a first base situation measurement and estimation unit 20, a
FIG. 2 is a block diagram showing a communication assistance system according to the first embodiment of the present invention.
In FIG. 2, the communication assistance system includes a first base situation measurement estimation unit 20, a second base situation
The first base status measurement estimation unit 20 includes a first base status measurement unit 21, a first base
中継ユニット３０は、通信ネットワークＮを介して送受信される通信情報を第２拠点状況計測推定ユニット４０と刺激量算出出力ユニット５０との間で無線中継する。
第２拠点状況計測推定ユニット４０は、第２拠点状況計測部４１、第２拠点状況取込部４３、第２拠点状況推定部４５、第２拠点通信制御部４７を備える。第２拠点状況計測部４１は、第２拠点１１Ｂの状況を計測する。第２拠点状況取込部４３は、第２拠点状況計測部４１で計測した第２拠点１１Ｂの状況を取り込む。第２拠点状況推定部４５は、第２拠点状況取込部４３で取り込まれた第２拠点１１Ｂの状況から第２拠点１１Ｂの状況の情報を示す第２拠点状況情報を推定する。第２拠点通信制御部４７は、中継ユニット３０に第２拠点状況情報を送信する。このように、第２拠点状況計測推定ユニット４０は、第２拠点１１Ｂの状況を表す第２拠点状況情報を推定し、第２拠点通信制御部４７から中継ユニット３０に第２拠点状況情報を送信する。
中継ユニット３０は、第２拠点通信制御部４７から通信ネットワークＮを経由して送信された第２拠点状況情報を受信し、当該第２拠点状況情報を刺激量算出出力ユニット５０に送信する。
刺激量算出出力ユニット５０は、無線通信部５１、無線通信部５３、刺激量算出部５５、刺激出力部５７を備えている。
The
The second base status measurement and
The
The stimulation amount
無線通信部５１は、第１拠点状況計測推定ユニット２０から第１拠点状況情報を受信し、刺激量算出部５５に出力する。
無線通信部５３は、第２拠点状況計測推定ユニット４０から第２拠点状況情報を受信し、刺激量算出部５５に出力する。
刺激量算出部５５は、第１拠点１１Ａにいる第１参加者が知覚可能な感覚量の範囲を算出する感覚量範囲算出部５５ａ、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の言動に現れる会議への参加意思の程度を表す意思量を算出する意思量算出部５５ｂ、当該意思量に応じた刺激量を算出する刺激量算出部５５ｃを備えている。
刺激量算出部５５は、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａにいる参加者に向けて提示したい感覚量から刺激量を算出しているが、本発明はこれに限定されるものではない。すなわち、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の言動に現れる会議への参加意思の程度を表す意思量を意思量算出部５５ｂにより算出し、刺激出力部５７により意思量に応じた刺激を第１参加者が知覚できるように出力してもよい。
刺激出力部５７は、刺激量に応じた刺激を第１参加者が知覚できるように出力する。
なお、各ユニットに設けられた各無線通信部は、第１拠点１１Ａにおいてユニット間で無線通信を利用したデータ通信を行うためのものである。第１拠点状況計測推定ユニット２０に設けられた無線通信部２７は、刺激量算出出力ユニット５０に設けられた無線通信部５１に対向している。一方、中継ユニット３０は、刺激量算出出力ユニット５０に設けられた無線通信部５３に対向している。
The wireless communication unit 51 receives the first base status information from the first base status measurement and estimation unit 20, and outputs the first base status information to the
The
The stimulation
Although the stimulation
The stimulus output unit 57 outputs a stimulus according to the amount of stimulus so that the first participant can perceive it.
Each wireless communication unit provided in each unit is for performing data communication using wireless communication between the units at the
詳しくは、第１拠点状況計測推定ユニット２０は、図１に示す第１拠点１１Ａに存在する第１参加者１３と第３参加者１４の状況を計測し推定する。また、第１拠点状況計測推定ユニット２０は、図１に示す第１拠点１１Ａに存在する第１参加者１３と第３参加者１４とアバターロボット１７（第２参加者１５を表す）の状況を計測し推定する。
第１拠点状況計測推定ユニット２０は、内部にＲＯＭ、ＲＡＭ及びＣＰＵを有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラムを読み出し、状況データ収集処理を実行する。
第２拠点状況計測推定ユニット４０は、図１に示す第２拠点１１Ｂに存在する第３参加者１４の状況を計測し推定する。
第２拠点状況計測推定ユニット４０は、内部にＲＯＭ、ＲＡＭ及びＣＰＵを有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラムを読み出し、状況データ収集処理を実行する。
刺激量算出出力ユニット５０は、第１拠点状況計測推定ユニット２０で推定された第１拠点１１Ａの状況と、第２拠点状況計測推定ユニット４０で推定された第２拠点１１Ｂの状況と、から図１に示す第２参加者１５を表すアバターロボット１７が、第２参加者１５の存在をさりげなく提示するための刺激量を算出し出力する。
刺激量算出出力ユニット５０は、内部にＲＯＭ、ＲＡＭ及びＣＰＵを有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラムを読み出し、刺激量算出処理を実行する。
Specifically, the first base situation measurement estimation unit 20 measures and estimates the situations of the
The first site status measurement estimation unit 20 internally has a ROM, a RAM and a CPU, reads the operating system OS from the ROM, expands it on the RAM, starts the OS, and reads the program from the ROM under OS management. Execute situation data collection processing.
The second base status
The second base situation
The stimulation amount
The stimulation amount
第１拠点状況計測部２１と第２拠点状況計測部４１は、例えばマイクとカメラを用いて音声信号と映像信号を計測する。又は、マイクと加速度センサを用いて音声信号と加速度の信号を計測する。第１拠点状況計測部２１と第２拠点状況計測部４１は、同じ種類の信号を用いてもよいし、異なる種類の信号を用いてもよい。具体的には、第１拠点状況計測部２１と第２拠点状況計測部４１は、共にマイクとカメラを用いて音声信号と映像信号を計測してもよい。また、第１拠点状況計測部２１と第２拠点状況計測部４１は、共にマイクと加速度センサを用いて音声信号と加速度の信号を計測してもよい。また、第１拠点状況計測部２１はマイクとカメラを用いて音声信号と映像信号を計測してもよく、第２拠点状況計測部４１はマイクと加速度センサを用いて音声信号と加速度の信号を計測してもよい。また、第１拠点状況計測部２１はマイクと加速度センサを用いて音声信号と加速度の信号を計測してもよく、第２拠点状況計測部４１はマイクとカメラを用いて音声信号と映像信号を計測してもよい。 The first base situation measurement unit 21 and the second base situation measurement unit 41 measure an audio signal and a video signal using, for example, a microphone and a camera. Alternatively, an audio signal and an acceleration signal are measured using a microphone and an acceleration sensor. The first base situation measurement unit 21 and the second base situation measurement unit 41 may use the same type of signal or may use different types of signals. Specifically, both the first base situation measurement unit 21 and the second base situation measurement unit 41 may use a microphone and a camera to measure an audio signal and a video signal. In addition, both the first base situation measurement unit 21 and the second base situation measurement unit 41 may use a microphone and an acceleration sensor to measure an audio signal and an acceleration signal. Also, the first base situation measurement unit 21 may measure the audio signal and the video signal using the microphone and the camera, and the second base situation measurement unit 41 uses the microphone and the acceleration sensor to transmit the audio signal and the acceleration signal. It may be measured. Also, the first base situation measurement unit 21 may measure the audio signal and the acceleration signal using the microphone and the acceleration sensor, and the second base situation measurement unit 41 uses the microphone and the camera to transmit the audio signal and the video signal. It may be measured.
第１拠点状況取込部２３は、第１拠点状況計測部２１から得られたデータを取り込む。第２拠点状況取込部４３は、第２拠点状況計測部４１から得られたデータを取り込む。
第１拠点状況取込部２３と第２拠点状況取込部４３の夫々は、例えば、音声信号を参加者の発言内容や発音の有無を検出するためにノイズを除去する。また、参加者の発言内容や発音の有無を検出するために適切なサンプリング周期で信号を処理する。また、映像信号からノイズを除去し、図１に示す第１参加者１３と第２参加者１５と第３参加者１４とアバターロボット１７の姿勢や動きの信号のデータを取り込みやすくする前処理を行う。また、加速度の信号からノイズを除去し、第１参加者１３、第２参加者１５と第３参加者１４とアバターロボット１７の姿勢や動きの信号を抽出しやすくする前処理を行う。
The first base
Each of the first base
第１拠点状況推定部２５は、第１拠点状況取込部２３から得られた信号に基づいて第１拠点１１Ａの状況を推定する。第２拠点状況推定部４５は、第２拠点状況取込部４３から得られた信号に基づいて第２拠点１１Ｂの状況を推定する。
例えば、音声信号から図１に示す第１参加者１３と第２参加者１５と第３参加者１４の発言の内容や、発言している時間や、発言していない時間や、発言の音量から、第１拠点１１Ａのテレビ会議の白熱の度合いや、第１拠点１１Ａのテレビ会議の参加の状況や、第２拠点１１Ｂのテレビ会議の参加状況や、第２参加者１５の状況を推定する。
具体的には、第１拠点状況推定部２５は、例えば、映像信号から、図１に示す第１参加者１３と第２参加者１５と第３参加者１４のテレビ会議中の体の動きや、予め定められた特徴的な動作、具体的には、うなずく、みつめる、頬杖をつくなどの動作や、発言者を特定し、その発言者の視線の先を特定し、発言相手を特定することなどからテレビ会議の状況を推定する。
例えば、映像信号から、図１に示す第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７（ロボット部）との相対距離から第１拠点１１Ａの状況を推定する。例えば、加速度の信号から、第１参加者１３と第２参加者１５と第３参加者１４のテレビ会議中の体の動きや、予め定められた特徴的な動作、具体的には、うなずく、みつめる、頬杖をつくなどの動作からテレビ会議の状況を推定する。動作や音声の有無や回数のみならず、その動作の大きさについても考慮し、状況の推定に反映させる。
具体的には、第１拠点状況推定部２５では、第１拠点１１Ａの第１参加者１３と第３参加者１４が、第２参加者１５を表すアバターロボット１７や、遠隔テレビ会議を行う時、多くの場合利用される第２参加者１５の姿を投影させた映像など、に視線を向けることなく、第１拠点１１Ａの第１参加者１３と第３参加者１４のみで会話を続けたりし、第２参加者１５に向けた発言を行わないという状況を、音声信号や映像信号や、加速度の信号を用いて音と体の動きや視線から推定する。
The first base
For example, from the audio signal, the contents of the utterances of the
Specifically, for example, the first base
For example, the situation of the
Specifically, in the first base
例えば、第１拠点状況推定部２５では、第１拠点１１Ａの第１参加者１３と第３参加者１４のみで会話を続けている時間の長さや、会話の音量、動作の大きさ、から、第２拠点１１Ｂの第２参加者１５の存在を忘れてテレビ会議に白熱している度合いを推定する。また、第１拠点状況推定部２５では、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離から、後述する刺激量算出出力ユニット５０から出力する刺激量を調整する。例えば、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離が離れている場合には、第２参加者１５を表すアバターロボットが出力する刺激量を、第１拠点１１Ａの第１参加者１３と第３参加者１４が感じにくい状況と推定する。上記感じにくいと推定された場合には、第２参加者１５を表すアバターロボット１７が大きな刺激を出力する。
例えば、第１拠点状況推定部２５では、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離が近い場合には、第１拠点１１Ａの第１参加者１３と第３参加者１４が感じやすい状況と推定する。その結果、第２参加者１５を表すアバターロボット１７は小さな刺激を出力することとなる。上記感じやすいと推定された場合には、これは、同じ刺激を出力した場合に、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離に応じて、第１拠点１１Ａの第１参加者１３と第３参加者１４が感じる感覚の量が異なることに対応するためである。
For example, in the first base
For example, in the first base
第２拠点状況推定部４５では、第２拠点１１Ｂの第２参加者１５が、予め定められた時間以上発言しておらず、頬杖をついたり、うなずいたり、ため息をついたりなどの特徴的な動作（挙動、言動）を行い、第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている状況を、音声信号や映像信号や加速度の信号を用いて音と体の動きや視線から推定する。動作や音声の有無や回数のみならず、その動作の大きさについても考慮し、拠点状況情報の推定に反映させる。第２拠点１１Ｂの第２参加者１５が発言していない時間の長さや、動作の大きさ、から、第２拠点１１Ｂの第２参加者１５が自分の存在に気づいて欲しいと思っている度合いを推定する。
In the second base
刺激量算出部５５は、第１拠点状況取込部２３で推定された拠点状況情報と第２拠点状況取込部４３で推定されたと拠点状況情報から刺激量を算出する。具体的には、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている拠点状況情報であると推定された時、かつ、第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている拠点状況情報であると推定された時、第１拠点１１Ａの第１参加者１３と第３参加者１４に、第２拠点１１Ｂの第２参加者１５の存在をさりげなく提示するために、刺激量を算出する。
例えば、刺激量算出部５５は、第１拠点状況取込部２３で推定された拠点状況情報と第２拠点状況取込部４３で推定されたと拠点状況情報に基づいて刺激量を算出する。刺激量算出部５５は、出力する刺激量を、第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている度合いと、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている度合いによって調節する。例えば、第２拠点１１Ｂの第２参加者１５が自分の存在に気づいて欲しいと思っている度合いが大きい場合には、予め定められた刺激の範囲の中から大きい刺激量を算出する。第２拠点１１Ｂの第２参加者１５が自分の存在に気づいて欲しいと思っている度合いが小さい場合には、予め定められた刺激の範囲の中から小さい刺激量を算出する。第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている度合いが大きい場合には、予め定められた刺激の範囲の中から大きい刺激量を算出する。第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている度合いが小さい場合には、予め定められた刺激の範囲の中から小さい刺激量を算出する。
例えば、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離が離れている場合には第２参加者１５を表すアバターロボット１７が大きな刺激量を算出し、距離が近い場合には第２参加者１５を表すアバターロボット１７が小さな刺激量を算出する。
The stimulation
For example, the stimulation
For example, when the distance between the
刺激量算出部５５は、上記算出された刺激量から、刺激出力部５７に応じた信号への変換を行う部である。後に説明するが、例えば刺激出力部５７がモータなどの振動を利用する場合、上記算出された刺激量に応じて振幅と周波数を算出する。例えば刺激出力部５７が発光ダイオードＬＥＤなどの光を発する場合、上記算出された刺激量に応じて出力する光量や電流、電圧の値を算出する。刺激出力部５７がＬＥＤなどの色を出力する場合、算出された刺激量に応じて出力する色の濃淡、例えば濃い赤や薄い赤、や、色の変化、例えば青や赤、を出力する。刺激出力部５７は、第１参加者が目視することにより感知可能な光波信号を発生する。
刺激出力部５７がスピーカなどの音を出力する場合、上記算出された刺激量に応じて出力する音量を算出する。刺激出力部５７がスピーカなどの音を出力する場合、上記算出された刺激量に応じて出力する言語又は音声の内容やその音量を算出する。具体的には、「あーあ」「んー」等の言語又は音声を選んだり、その音声の音量を算出したりする。刺激出力部５７は、第１参加者が聴取することにより感知可能な音波信号を発生する。
刺激出力部５７は、第１拠点状況取込部２３で推定された拠点状況情報と第２拠点状況取込部４３で推定された拠点状況情報に基づいて刺激量算出部５５で算出された刺激量を出力する。例えば、図１に示す第２参加者１５を表すアバターロボット１７に、モータやＬＥＤやスピーカなどのデバイスが具備されており、上記デバイスが、第１拠点状況取込部２３で推定された拠点状況情報と第２拠点状況取込部４３で推定されたと拠点状況情報に基づいて刺激量算出部５５で算出された刺激量を出力する。
The stimulation
When the stimulation output unit 57 outputs a sound such as a speaker, the volume of sound to be output is calculated according to the calculated stimulation amount. When the stimulus output unit 57 outputs a sound from a speaker or the like, the content of the language or sound to be output according to the calculated stimulation amount or the volume thereof is calculated. Specifically, a language or voice such as "A-A" or "B-" is selected, and the volume of the voice is calculated. The stimulation output unit 57 generates a sound wave signal that can be sensed by the first participant listening.
The stimulation output unit 57 calculates the stimulation calculated by the stimulation
図３は本発明の第１実施形態に係るコミュニケーション補助システムの動作を表すフローチャートである。
まずステップＳ１００では状況入力処理を行う。図２に示す第１拠点状況計測部２１と、第１拠点状況取込部２３と、第２拠点状況計測部４１と、第２拠点状況取込部４３とを用いて、図１に示す第１拠点１１Ａと第２拠点１１Ｂの状況を計測して取り込む。ここで、状況入力処理に用いる入力は、図２に示す第１拠点状況計測部２１と第２拠点状況計測部４１と、から得られる計測データである。
ステップＳ１００では、上記得られた計測データを、ステップＳ２００で用いるデータへ変換する。
具体的には、例えば、ステップＳ１００は、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている状況かどうか、ならびに第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている状況であるかどうかを計測し取り込むステップである。例えばマイクとカメラを用いて音声信号と映像信号を入力する。又は、マイクと加速度センサを用いて音声信号と加速度の信号を入力する。ここで、音声信号を参加者の発言内容や発音の有無を検出するためにノイズを除去したり、参加者の発言内容や発音の有無を検出するために適切なサンプリング周期で信号を処理したり、映像信号からノイズを除去し、図１に示す第１参加者１３と第２参加者１５と第３参加者１４とアバターロボット１７の姿勢や動きの信号を抽出したりする。
ステップＳ１００の出力は、上記状況入力処理を行うステップＳ１００で処理されたデータである。
FIG. 3 is a flowchart showing the operation of the communication assistance system according to the first embodiment of the present invention.
First, in step S100, a situation input process is performed. Using the first base status measurement unit 21 shown in FIG. 2, the first base
In step S100, the obtained measurement data is converted into data used in step S200.
Specifically, for example, in step S100, the
The output of step S100 is the data processed in step S100 for performing the situation input process.
状況算出処理を行うステップＳ２００では、図２に示す第１拠点状況推定部２５と、第２拠点状況推定部４５を用いて、図１に示す第１拠点１１Ａと第２拠点１１Ｂの拠点状況情報を推定し算出する。
ステップＳ２００の入力は、ステップＳ１００の出力である。
ステップＳ２００の処理は、図２に示す第１拠点状況推定部２５と、第２拠点状況推定部４５を用いて、図１に示す第１拠点１１Ａと第２拠点１１Ｂの拠点状況情報を推定し算出する。
ステップＳ２００の出力は、上記推定された図１に示す第１拠点１１Ａと第２拠点１１Ｂの拠点状況情報である。
具体的には、例えば、ステップＳ２００では、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている度合いを算出する、ならびに第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し、第２拠点１１Ｂの第２参加者１５の存在を忘れている度合いを算出する。
ステップＳ２００の入力は、例えばマイクやカメラや加速度センサを用いて得られた音声信号や映像信号や加速度の信号からノイズを除去し、参加者の発言内容や発音の有無を検出するために適切なサンプリング周期で信号を処理された信号である。
In step S200 for performing the situation calculation process, the base situation information of the
The input of step S200 is the output of step S100.
In the process of step S200, the base status information of the
The output of step S200 is base status information of the
Specifically, for example, in step S200, the
The input in step S200 is suitable for removing noise from, for example, an audio signal, a video signal, or an acceleration signal obtained using a microphone, a camera, or an acceleration sensor, and detecting the content of the participant's speech and the presence or absence of pronunciation. It is a signal obtained by processing the signal in a sampling cycle.
ステップＳ２００では、例えば音声信号から図１に示す第１参加者１３と第２参加者１５と第３参加者１４の発言の内容や、発言している時間、発言していない時間や、発言の音量から、図１に示す第１拠点１１Ａのテレビ会議の白熱の度合いや、図１に示す第１拠点１１Ａのテレビ会議の参加の拠点状況情報を推定する。例えば、映像信号から、図１に示す第１参加者１３と第２参加者１５と第３参加者１４のテレビ会議中の体の動きや、予め定められた特徴的な動作、具体的にはうなずく、みつめる、頬杖をつくなどの動作や、視線の先を特定し誰に向かって会話しているのか等の情報からテレビ会議の拠点状況情報を推定する。例えば、動作や音声の有無や回数のみならず、その動作の大きさについても考慮し、拠点状況情報を推定する。
ステップＳ２００の出力は、上記推定された図１に示す第１拠点１１Ａのテレビ会議の拠点状況情報や、図１に示す第１拠点１１Ａのテレビ会議の拠点状況情報である。例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いである。例えば、図１に示す第１拠点１１Ａの第１参加者１３と第３参加者１４が第２拠点１１Ｂの第２参加者１５の存在を忘れていると推定された拠点状況情報かどうかや、第２拠点１１Ｂの参加者が自分の存在に気づいて欲しいと思っていると推定された状態かどうかである。例えば図１に示す第２参加者１５を表すアバターロボット１７と第１拠点１１Ａの第１参加者１３と第３参加者１４の距離により、第２参加者１５に気づきやすい拠点状況情報かどうかを表す値である。
In step S200, for example, the contents of the utterances of the
The output of step S200 is the above-estimated base status information of the video conference of the
刺激量算出処理を行うステップＳ３００は、図２に示す第１拠点状況推定部２５で推定された拠点状況情報と第２拠点状況推定部４５で推定されたと拠点状況情報に基づいて、刺激量算出部５７を用いて、刺激量を算出する。
ステップＳ３００の入力は、上記ステップＳ２００の出力である。ステップＳ３００は、図２に示す第１拠点状況推定部２５で推定された拠点状況情報と第２拠点状況推定部４５で推定されたと拠点状況情報に基づいて、刺激量算出部５７を用いて、刺激量を算出する。ステップＳ３００の出力は、上記処理にて算出された刺激量を表す値である。
具体的には、例えば、ステップＳ３００では、図１に示す第１拠点１１Ａのテレビ会議の拠点状況情報と図１に示す第２拠点１１Ｂのテレビ会議の拠点状況情報に応じて刺激量を算出する。
ステップＳ３００の入力は、例えば、図１に示す第１拠点１１Ａの第１参加者１３と第３参加者１４が第２拠点１１Ｂの第２参加者１５の存在を忘れていると推定された拠点状況情報かどうかや、第２拠点１１Ｂの参加者が自分の存在に気づいて欲しいと思っていると推定された状態かどうかである。例えば図１に示す第２参加者１５を表すアバターロボット１７と第１拠点１１Ａの第１参加者１３と第３参加者１４の距離により、第２参加者１５に気づきやすい拠点状況情報かどうかを表す値である。例えば、図１に示す第１拠点１１Ａのテレビ会議の拠点状況情報や、図１の第１拠点１１Ａのテレビ会議の拠点状況情報である。例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いである。
ステップＳ３００では、第２拠点状況情報、第１参加者１３の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者１５の言動に現れる会議への参加意思の程度を表す意思量を算出する。
ステップＳ３００では、例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いに応じて図１に示す第１拠点１１Ａにいる第１参加者１３と第３参加者１４に提示する刺激量を算出する。
ステップＳ３００の出力は、例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いに応じて図１に示す第１拠点１１Ａにいる第１参加者１３と第３参加者１４に提示する刺激量である。
Step S300 for performing the stimulation amount calculation process calculates the stimulation amount based on the base situation information estimated by the first base
The input of step S300 is the output of the above step S200. Step S300 uses the stimulation amount calculation unit 57 based on the base condition information estimated by the first base
Specifically, for example, in step S300, the stimulation amount is calculated according to the base status information of the video conference of the
The input in step S300 is, for example, a base estimated that the
In step S300, based on the second base situation information and the range of the sense amount of the
In step S300, for example, according to the degree of incandescence of the video conference at the
The output of step S300 is, for example, according to the degree of incandescence of the video conference at the
刺激出力処理を行うステップＳ４００では、図２に示す刺激量算出部５５で算出された刺激量を用いて刺激を出力する。
ステップＳ４００の入力は、ステップＳ３００の出力である。ステップＳ４００は、ステップＳ３００にて出力された値を算出された刺激出力部５７の入力値に変換する。
ステップＳ４００の出力は、図２に示す刺激出力部５７で算出された刺激量を用いて実際に刺激を出力するものである。
具体的には、例えば、ステップＳ４００では、上記ステップＳ３００の出力である刺激を実際に刺激の出力として使用する機器の信号へと変換し、実際に刺激を出力する。
ステップＳ４００の入力は、例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いに応じて図１に示す第１拠点１１Ａにいる第１参加者１３と第３参加者１４に提示する刺激量である。
In step S400 which performs a stimulus output process, a stimulus is output using the stimulus amount calculated by the stimulus
The input of step S400 is the output of step S300. Step S400 converts the value output in step S300 into the calculated input value of the stimulation output unit 57.
The output of step S400 is to actually output a stimulus using the stimulus amount calculated by the stimulus output unit 57 shown in FIG.
Specifically, for example, in step S400, the stimulus which is the output of step S300 is converted into a signal of a device which is actually used as an output of the stimulus, and the stimulus is actually output.
The input in step S400 is, for example, according to the degree of incandescence of the video conference at the
ステップＳ４００では、例えば、図２に示す刺激出力部５７で算出された刺激量を振動モータに出力する場合、上記入力された刺激量を振幅と周波数に変換する。振幅は固定で周波数に上記入力された刺激量を変換してもよいし、周波数は固定で振幅に上記入力された刺激量を変換してもよい。
ステップＳ４００の出力は、例えば、図２に示す刺激出力部５７で算出された刺激量を振動モータに出力する場合、上記処理にて変換された振幅と周波数にて振動モータを振動させることである。
なお、本実施形態によれば、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａにいる参加者に向けて提示したい感覚量から刺激量を算出しているが、本発明はこれに限定されるものではない。すなわち、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の言動に現れる会議への参加意思の程度を表す意思量を意思量算出部５５ｂにより算出し、刺激出力部５７により意思量に応じた刺激を第１参加者が知覚できるように出力してもよい。これにより、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
また、第１拠点状況情報、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
In step S400, for example, when the stimulation amount calculated by the stimulation output unit 57 shown in FIG. 2 is output to the vibration motor, the input stimulation amount is converted into an amplitude and a frequency. The amplitude may be fixed and convert the input stimulation amount into frequency, or the frequency may be fixed and may convert the input stimulation amount into amplitude.
The output of step S400 is to vibrate the vibration motor with the amplitude and frequency converted in the above process, for example, when the stimulation amount calculated by the stimulation output unit 57 shown in FIG. 2 is output to the vibration motor .
According to the present embodiment, although the
In addition, based on the first location status information, the second location status information, and the range of the first participant's sense amount, an intention amount indicating the degree of participation intention to the conference appearing in the behavior of the remote location participant is presented. It is possible to adjust the degree.
＜第２実施形態＞
図４は本発明の第２実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図３に示すステップＳ２００の具体的な例を示すフローチャートである。
ステップＳ２１０は第１拠点状況算出処理を行うためのサブルーチンであり、ステップＳ２５０は第２拠点状況算出処理を行うためのサブルーチンである。図３に示すステップＳ２００は、第１拠点状況算出処理Ｓ２１０と、第２拠点状況算出処理Ｓ２５０からなるステップである。
ステップＳ２１０の入力は、図２に示す第１拠点状況取込部２３により取り込まれた情報である。一方、ステップＳ２１０では、図２に示す第１拠点状況推定部２５を用いて第１拠点１１Ａの拠点状況情報を算出する。ステップＳ２１０の出力は、上記処理で算出された第１拠点１１Ａの拠点状況情報である。
具体的には、例えば、ステップＳ２１０の入力は、図１に示す第１拠点１１Ａの第１参加者１３と第３参加者１４の状況を計測した情報である。例えば、ノイズの除去や適切なサンプリング周期へ信号変換されたような、前処理を加えた音声信号や映像信号や加速度の信号のデータである。例えば、図１に示す第１参加者１３と第２参加者１５と第３参加者１４のテレビ会議中の体の動きや、予め定められた特徴的な動作、具体的にはうなずく、みつめる、頬杖をつくなどの動作や、視線の先を特定し誰に向かって会話しているのか等のデータである。
Second Embodiment
FIG. 4 is a flowchart showing the operation of the communication support system according to the second embodiment of the present invention, and in particular, a flowchart showing a specific example of step S200 shown in FIG.
Step S210 is a subroutine for performing the first base situation calculation process, and step S250 is a subroutine for performing the second base situation calculation process. Step S200 shown in FIG. 3 is a step including a first base situation calculation process S210 and a second base situation calculation process S250.
The input in step S210 is the information taken in by the first base situation taking-in
Specifically, for example, the input in step S210 is information obtained by measuring the conditions of the
ステップＳ２１０では、例えば、第１拠点１１Ａの第１参加者１３と第３参加者１４が、第２参加者１５を表すアバターロボット１７や、多くの場合遠隔テレビ会議に存在する第２参加者１５の姿を投影する映像に視線を向けることなく、第１拠点１１Ａの第１参加者１３と第３参加者１４のみで会話を続けたりし、第２参加者１５に向けた発言を行わないという拠点状況情報を、音声信号や映像信号や、加速度の信号を用いて音と体の動きや視線から推定し算出する。例えば、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離を算出する。
ステップＳ２１０の出力は、第１拠点１１Ａの第１参加者１３と第３参加者１４が第２拠点１１Ｂの第２参加者１５の存在を忘れてテレビ会議に白熱している度合いを表す値である。
ステップＳ２５０の入力は、図２に示す第２拠点状況取込部４３により取り込まれたデータである。
ステップＳ２５０では、図２に示す第２拠点状況推定部４５を用いて図１に示す第２拠点１１Ｂの拠点状況情報を推定し算出する。
In step S210, for example, the
The output of step S210 is a value representing the degree to which the
The input in step S250 is data taken in by the second base situation taking-in
In step S250, the base situation information of the
ステップＳ２５０の出力は、上記処理で算出された図１に示す第２拠点１１Ｂの拠点状況情報を表すデータある。
具体的には、例えば、ステップＳ２５０の入力は、図１に示す第２拠点１１Ｂの第２参加者１５の拠点状況情報を計測した情報である。例えば、ノイズの除去や適切なサンプリング周期へ信号変換されたような、前処理を加えた音声信号や映像信号や加速度の信号のデータである。例えば、図１に示す第２拠点１１Ｂの第２参加者１５の音声信号であったり、例えば、頬杖をついたり、うなずいたり、ため息をついたりなどの特徴的な動作の信号である。
ステップＳ２５０では、図１に示す第２拠点１１Ｂにいる第２参加者１５の拠点状況情報を算出する。例えば第２拠点１１Ｂの第２参加者１５のテレビ会議の参加が、発言を予め定められた時間以上発言しておらず、例えば、頬杖をついたり、うなずいたり、ため息をついたりなどの特徴的な動作を行い、第１拠点１１Ａの第１参加者１３と第３参加者１４に存在に気づいて欲しいと思っている拠点状況情報を、音声信号や映像信号や加速度の信号を用いて音と体の動きや視線から推定し算出する処理である。
ステップＳ２５０の出力は、例えば第２拠点１１Ｂの第２参加者１５が発言するまでではないが、第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在を気にして欲しい又は気づいて欲しいと思っている拠点状況情報の度合いを表す値である。
このように、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
The output of step S250 is data representing the base situation information of the
Specifically, for example, the input in step S250 is information obtained by measuring the base situation information of the
In step S250, base status information of the
The output of step S250 is not until, for example, the
Thus, based on the second base situation information and the range of the amount of sense of the first participant, the adjustment of the degree of presenting the amount of intention indicating the degree of willingness to participate in the conference appearing in the behavior of the remote participant It can be carried out.
＜第３実施形態＞
図５は本発明の第３実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図４に示す第１拠点状況算出処理（Ｓ２１０）の具体的な例を表すフローチャートである。
まず、図５に示すフローチャートについて概略的に説明する。
ステップＳ２１１では、第２参加者１５が予め定められた時間以上発言していないか判定する。第２参加者１５が予め定められた時間以上発言していない場合は、ステップＳ２１２に進み、変数の初期化を行う。ステップＳ２１３では、参加者の挙動に特徴的動作があるか判定する。特徴的動作がある場合はステップＳ２１４に進み、発言者の特定と視線検出の処理を行う。
ステップＳ２１５では、発言者の視線の先は第２参加者１５に相当する場所以外であるか判定する。発言者の視線の先は第２参加者１５に相当する場所以外である場合はステップＳ２１６に進み、検出された第１拠点１１Ａの特徴的動作の回数を更新する。次いで、ステップＳ２１７では、検出された第１拠点１１Ａの特徴的動作の総量を更新する。次いで、ステップＳ２１８では、ループ変数を更新する。次いで、ステップＳ２１９では、次のステップで考慮する時刻が０より小さいか判定する。
次のステップで考慮する時刻が０より小さい場合は、ステップＳ２２０に進み、検出された第１拠点１１Ａの特徴的動作の回数が予め定められた特徴的動作の回数の閾値より大きいか判定する。
第１拠点１１Ａの特徴的動作の回数が予め定められた特徴的動作の回数の閾値より大きい場合は、ステップＳ２２１に進み、第１拠点１１Ａの拠点状況情報を表すフラグを算出する。次いで、ステップＳ２２２では、算出されたデータを出力する。
Third Embodiment
FIG. 5 is a flowchart showing the operation of the communication assistance system according to the third embodiment of the present invention, and in particular, a flowchart showing a specific example of the first base situation calculation process (S210) shown in FIG.
First, the flowchart shown in FIG. 5 will be schematically described.
In step S211, it is determined whether the
In step S215, it is determined whether the line of sight of the speaker is other than the place corresponding to the
If the time to be considered in the next step is less than 0, the process proceeds to step S220, and it is determined whether the number of characteristic operations of the detected
If the number of characteristic operations of the
ここで、図５に示すフローチャートに用いる変数の定義について説明する。
Ｔｉｍｅ＿ｃｕｒｅｎｔは、現在の時刻を表す。Ｔｉｍｅ＿ｉｎｔｅｒｖａｌは、予め定められた時間の間隔を表す値で、現在の時刻からこの時間の間隔毎に特長的動作の検出を行うために使用する。Ｔｉｍｅ＿ｎｏｎＶｏｉｃｅは、予め定められた時間の長さを表す値で、第２参加者１５がこの値以上に無音区間であるかを判定するステップで使用する。Ｆｌａｇ＿１１Ａは、第１拠点１１Ａの拠点状況情報を表すフラグであり、０か１の値をとる。
１の時に、第１拠点１１Ａの拠点状況情報は第２拠点１１Ｂの拠点状況情報を忘れて議論に白熱している状態を表す。それ以外のときは０の値をとる。ｊは、ループの変数を表す。ＭｏｔｉｏｎＶａｌｕｅ＿ａｖｅｒａｇｅは、予め定められた特徴的動作の大きさの平均値を表す。ＭｏｔｉｏｎＣＴＳ＿Ｔｈｒｅｓｈｏｌｄは、予め定められた特徴的動作の回数の閾値を表す。ＭｏｔｉｏｎＶａｌｕｅ＿ｄｅｔｅｃｔｉｏｎは、検出された特徴的動作の量を表す。ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａは、検出された第１拠点１１Ａの特徴的動作の総量を表す。ＭｏｔｉｏｎＣＴＳ＿１１Ａは、検出された第１拠点１１Ａの特徴的動作の回数を表す。
Here, the definition of the variable used for the flowchart shown in FIG. 5 is demonstrated.
Time_curent represents the current time. Time_interval is a value representing a predetermined time interval, and is used to detect a characteristic operation every current time interval from the current time. Time_nonVoice is a value representing a predetermined length of time, and is used in the step of determining whether the
At the time of 1, the base status information of the
図５に示すフローチャートにおいて、第２参加者１５が予め定められた時間以上発言していないか判定するステップＳ２１１の入力は、第２拠点１１Ｂの拠点状況情報を計測したデータである。例えば、第２拠点１１Ｂの第２参加者１５のマイクにより計測された音声信号である。
第２参加者１５が予め定められた時間以上発言していないか判定するステップＳ２１１の処理は、第２参加者１５が予め定められた時間Ｔｉｍｅ＿ｎｏｎＶｏｉｃｅ以上に発言していないか判定する処理である。現在の時刻Ｔｉｍｅ＿ｃｕｒｅｎｔからＴｉｍｅ＿ｃｕｒｅｎｔ−Ｔｉｍｅ＿ｎｏｎＶｏｉｃｅまで第２参加者１５が予め定められた音量以上の音声を発していない場合、第２参加者１５が予め定められた時間以上発言していない、と判定される。第２参加者１５が予め定められた時間以上発言していないか判定するステップＳ２１１の出力は、「はい」又は「いいえ」である。「はい」である場合はＳ２１２へ、「いいえ」である場合は終了のステップへ進む。加えて、現在の時刻Ｔｉｍｅ＿ｃｕｒｅｎｔを出力する。
次いで、変数の初期化を行うステップＳ２１２の入力は、Ｓ２１１の出力である。変数の初期化を行うステップＳ２１２の処理は、変数の初期化を行う処理である。具体的には、第１拠点１１Ａの拠点状況情報を表すフラグＦｌａｇ＿１１Ａと、検出された第１拠点１１Ａの特徴的動作の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａと、検出された第１拠点１１Ａの特徴的動作の回数ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ループの変数ｊと、の値を０にすることである。変数の初期化を行うステップＳ２１２の出力は、Ｆｌａｇ＿１１ＡとＭｏｔｉｏｎＶａｌｕｅ＿１１ＡとＭｏｔｉｏｎＣＴＳ＿１１Ａとｊと、Ｓ２１１で出力されたＴｉｍｅ＿ｃｕｒｅｎｔの値である。
In the flowchart shown in FIG. 5, the input of step S211 of determining whether the
The process of step S211 of determining whether the
Then, the input of step S212 which performs initialization of a variable is an output of S211. The process of step S212 for initializing a variable is a process for initializing a variable. Specifically, a flag Flag_11A representing base status information of the
次いで、特徴的動作があるか判定するステップＳ２１３の入力は、Ｓ２１２の出力と、予め定められた正規化された特徴的動作の信号である。特徴的動作があるか判定するステップＳ２１３の処理は、時刻｛Ｔｉｍｅ＿ｃｕｒｅｎｔ − ｊ×予め定められた時間の間隔Ｔｉｍｅ＿ｉｎｔｅｒｖａｌ｝から、時刻｛Ｔｉｍｅ＿ｃｕｒｅｎｔ − （ｊ＋１）×Ｔｉｍｅ＿ｉｎｔｅｒｖａｌ｝まで、の間に予め定められた特徴的動作があるか判定する処理である。
具体的には、加速度センサの信号を用いる場合、予め定められた正規化された特徴的動作、例えば、うなずくという動作の、加速度センサのｘ、ｙ、ｚの信号を用意し、パターン認識の処理により、上記時刻の区間に、うなずくという動作の信号とマッチしている信号があるかを判定する。上記の予め定められた特徴的動作は、１つの動作に限ることなく、複数の動作を用意しておいてもよい。検出したい動作の数だけ用意する必要がある。
Next, the input of step S213 for determining whether there is a characteristic operation is the output of S212 and a signal of a predetermined normalized characteristic operation. The process of step S213 for determining whether there is a characteristic operation is predetermined between time {Time_curent − j × predetermined time interval Time_interval} and time {Time_curent − (j + 1) × Time_interval}. It is a process of determining whether there is a characteristic operation.
Specifically, in the case of using the signal of the acceleration sensor, the signal of x, y, z of the acceleration sensor of a predetermined normalized characteristic operation, for example, the operation of nodding is prepared, and the pattern recognition process is performed. Thus, it is determined whether or not there is a signal matching the signal of the operation of nodding in the time zone. The predetermined characteristic operation described above is not limited to one operation, and a plurality of operations may be prepared. It is necessary to prepare as many operations as you want to detect.
このフローチャートでは、検出したい特徴的動作が１つである場合を例に説明したものである。特徴的動作があるか判定するステップＳ２１３の出力は、「はい」、又は「いいえ」、である。上記処理にて特徴的動作が抽出された場合は「はい」、されなかった場合は「いいえ」、を出力する。「はい」である場合はステップＳ２１４へ、「いいえ」である場合はＳ２１８のステップに進む。
加えて、上記処理にて得られた特徴的動作のデータである特徴的動作情報の種類、回数、その大きさを出力する。具体的には、特徴的動作の大きさは、検出された特徴的動作の量ＭｏｔｉｏｎＶａｌｕｅ＿ｄｅｔｅｃｔｉｏｎの変数に保持する。例えば、大きくうなずいた場合、予め定められた正規化された加速度センサの信号より大きな信号となる。加速度センサの信号、具体的には波形の振幅などのデータにより、ステップＳ２１３の処理にて大きさを算出し、出力する。
加えて、ｊ、Ｆｌａｇ＿１１Ａ、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、ＭｏｔｉｏｎＣＴＳ＿１１Ａ、Ｔｉｍｅ＿ｃｕｒｅｎｔの値も出力する。これらの変数の値は、その度、出力してもよいし、データベースで管理してもよい。今後、出力や入力に関するデータについては必要に応じて省略する。
In this flowchart, the case where there is one characteristic operation to be detected is described as an example. The output of step S213 for determining whether there is a characteristic operation is “Yes” or “No”. If the characteristic motion is extracted in the above processing, “Yes” is output, and if not, “No” is output. If "yes", the process proceeds to step S214. If "no", the process proceeds to step S218.
In addition, the type, the number, and the size of the characteristic motion information that is data of the characteristic motion obtained by the above processing are output. Specifically, the magnitude of the characteristic motion is held in the variable MotionValue_detection of the amount of characteristic motion detected. For example, when the signal is greatly nodded, the signal is larger than the signal of the predetermined normalized acceleration sensor. Based on the signal of the acceleration sensor, specifically, the data such as the amplitude of the waveform, the size is calculated and output in the process of step S213.
In addition, the values of j, Flag_11A, MotionValue_11A, MotionCTS_11A, and Time_curent are also output. The values of these variables may be output each time or may be managed by a database. In the future, data on output and input will be omitted as necessary.
次いで、発言者の特定と視線検出の処理を行うステップＳ２１４の入力は、ステップＳ２１３の出力である。発言者の特定と視線検出の処理を行うステップＳ２１４の処理は、第１拠点１１Ａで発言している発言者の特定と、発言している発言者の発言相手を視線検出により特定する処理である。
具体的には、例えば、音声信号により、第１拠点１１Ａにいる第１参加者１３と第３参加者１４のうち、どちら、又は両方が会話しているのか、又はだれも会話していないのかを判定する。１人以上の発話が確認された場合、映像信号により、視線を検出し、発言相手を特定する処理を行う。発言者の特定と視線検出の処理を行うステップＳ２１４の出力は、発言者とその視線の先を表すデータである。
発言者の視線の先は第２参加者１５に相当する場所以外であるか判定するステップＳ２１５の入力は、ステップＳ２１４の出力である。
Then, the input of step S214 which performs processing of speaker specification and gaze detection is an output of step S213. The process of step S214 which performs the process of specifying the speaker and the line of sight detection is a process of specifying the speaker who is speaking at the
Specifically, for example, which one or both of the
The input of step S215 for determining whether the line of sight of the speaker is other than the place corresponding to the
発言者の視線の先は、第２参加者１５に相当する場所以外であるか判定するステップＳ２１５の処理は、ステップＳ２１４の出力である、発言者の視線の先が第２参加者１５を表すものでないかを判定する処理である。発言者の視線の先は第２参加者１５に相当する場所以外であるか判定するステップＳ２１５の出力は、「はい」又は「いいえ」である。「はい」である場合はＳ２２０へ、「いいえ」である場合は終了のステップに進む。
例えば、図１に示す第１拠点１１Ａには第２参加者１５を表すアバターロボット１７が存在しているとする。具体的には、発言者の視線の先がアバターロボット１７である場合は、発言者の視線の先は第２参加者１５を表すものであるため、判定は「いいえ」、となる。例えば、多くの遠隔テレビ会議で用いられているように、スクリーンに遠隔地参加者の様子を映す場合、発言者の視線の先がスクリーンであった場合、判定は「いいえ」となる。逆に、発言者が、自分と同じ拠点にいる参加者に向けて発言している場合、具体的には、第１拠点１１Ａの第１参加者１３が第３参加者１４に向けて発言している場合は、判定は、「はい」、になる。
The process of step S215 for determining whether the point of the speaker's line of sight is other than a place corresponding to the
For example, it is assumed that an
次いで、検出された第１拠点１１Ａの特徴的動作情報の回数を更新するステップＳ２１６の入力は、ステップＳ２１５の出力、「はい」、である。加えて、ステップＳ２１３で検出した特徴的動作情報のデータである。検出された第１拠点１１Ａの特徴的動作情報の回数を更新するステップＳ２１６の処理は、検出された第１拠点１１Ａの特徴的動作情報の回数ＭｏｔｉｏｎＣＴＳ＿１１Ａの値を更新する処理である。
具体的には、例えば、ステップＳ２１３にて検出された特徴的動作情報が１つである場合、ＭｏｔｉｏｎＣＴＳ＿１１Ａの値に１を加える。仮に、ステップＳ２１３にて検出された特徴的動作情報が１つ以上である場合には、その数に応じて値を加えてもよい。検出された第１拠点１１Ａの特徴的動作情報の回数を更新するステップＳ２１６の出力は、更新されたＭｏｔｉｏｎＣＴＳ＿１１Ａの値である。
次いで、検出された第１拠点１１Ａの特徴的動作情報の総量を更新するステップＳ２１７の入力は、ステップＳ２１３で検出した特徴的動作情報のデータである。具体的には、例えば、検出された特徴的動作情報の量Ｍｏｔｉｏｎ＿ｄｅｔｅｃｔｉｏｎである。検出された第１拠点１１Ａの特徴的動作情報の総量を更新するステップＳ２１７の処理は、ステップＳ２１７の入力データから特徴的動作情報の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａを更新する処理を行う。
Then, the input of step S216 which updates the number of times of the characteristic operation information of the detected
Specifically, for example, when there is one piece of characteristic motion information detected in step S213, 1 is added to the value of MotionCTS_11A. If there is one or more pieces of characteristic motion information detected in step S213, values may be added according to the number. The output of step S216 for updating the number of times of the characteristic operation information of the detected
Next, the input in step S217 of updating the total amount of the characteristic operation information of the detected
例えば、ステップＳ２１３にて検出された特徴的動作情報が１つである場合、具体的には、その検出された特徴的動作情報の大きさの平均値がＭｏｔｉｏｎＶａｌｕｅ＿ａｖｅｒａｇｅである場合、検出された第１拠点１１Ａの特徴的動作情報の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値は、現在のＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値に、ＭｏｔｉｏｎＶａｌｕｅ＿ｄｅｔｅｃｔｉｏｎ÷ＭｏｔｉｏｎＶａｌｕｅ＿ａｖｅｒａｇｅの値を加えたものである。
ステップＳ２１３にて検出された特徴的動作情報が大きい場合、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値は大きな値が加えられることになる。これは、議論が白熱すれば体の動きも大きくなることを反映した値である。検出された第１拠点１１Ａの特徴的動作情報の総量を更新するステップＳ２１７の出力は、上記処理にて算出され、更新された、第１拠点１１Ａの特徴的動作情報の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａである。
For example, if there is one characteristic motion information detected in step S213, specifically, if the average value of the magnitudes of the detected characteristic motion information is MotionValue_average, the detected first The value of the
When the characteristic motion information detected in step S213 is large, a large value is added to the value of MotionValue_11A. This is a value that reflects that the movement of the body also increases if the argument heats up. The output of step S217 for updating the total amount of characteristic operation information of the detected
次いで、ループ変数を更新するステップＳ２１８の入力は、現在のｊの値である。ループ変数を更新するステップＳ２１８の処理は、ｊに１を加える処理である。ループ変数を更新するステップＳ２１８の出力は、更新されたｊの値である。これは、ステップＳ２１３にて特徴的動作情報を検出する時刻の区間を更新するために行う処理である。
次のステップで考慮する時刻が０より小さいか判定するステップＳ２１９の入力は、ステップＳ２１８の出力であるｊと、Ｔｉｍｅ＿ｃｕｒｅｎｔとＴｉｍｅ＿ｉｎｔｅｒｖａｌである。次のステップで考慮する時刻が０より小さいか判定するステップＳ２１９の処理は、次のステップで行うステップＳ２１３にて特徴的動作情報を検出する時刻の区間が、０より小さいかを判定するステップである。具体的には、Ｔｉｍｅ＿ｃｕｒｅｎｔ −（ｊ＋１）×Ｔｉｍｅ＿ｉｎｔｅｒｖａｌの値が０より小さいかを判定する。０より小さい場合は、「はい」、０以上である場合は「いいえ」、となる。
次のステップで考慮する時刻が０より小さいか判定するステップＳ２１９の出力は、「はい」、又は「いいえ」である。「はい」である場合はステップＳ２２０へ、「いいえ」である場合はステップＳ２１３のステップへ進む。
次いで、検出された第１拠点１１Ａの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定するステップＳ２２０の入力は、ステップＳ２１９の「はい」、とＭｏｔｉｏｎＣＴＳ＿１００と予め定められた特徴的動作情報の回数の閾値ＭｏｔｉｏｎＣＴＳ＿Ｔｈｒｅｓｈｏｌｄの値である。
Then, the input of step S218 of updating the loop variable is the current value of j. The process of step S218 of updating the loop variable is a process of adding 1 to j. The output of step S218 of updating the loop variable is the updated value of j. This is a process performed to update a section of time at which the characteristic motion information is detected in step S213.
The input of step S219 which determines whether the time considered in the next step is less than 0 is j which is the output of step S218, Time_curent, and Time_interval. The process of step S219 of determining whether the time considered in the next step is less than 0 is a step of determining whether the section of time of detecting characteristic motion information is less than 0 in step S213 performed in the next step. is there. Specifically, it is determined whether the value of Time_curent− (j + 1) × Time_interval is smaller than zero. If it is smaller than 0, it becomes "Yes", and if it is 0 or more, it becomes "No".
The output of step S219 that determines whether the time considered in the next step is less than 0 is “Yes” or “No”. If the determination is "yes", the process proceeds to step S220. If the determination is "no", the process proceeds to step S213.
Subsequently, the input of step S220 which determines whether the number of times of the characteristic operation information of the detected
検出された第１拠点１１Ａの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定するステップＳ２２０の処理は、ステップＳ２１６にて更新されたＭｏｔｉｏｎＣＴＳ＿１００の値がＭｏｔｉｏｎＣＴＳ＿Ｔｈｒｅｓｈｏｌｄより大きいかを判定する処理を行う。
ＭｏｔｉｏｎＣＴＳ＿１００の値がＭｏｔｉｏｎＣＴＳ＿Ｔｈｒｅｓｈｏｌｄより大きい場合には「はい」、小さい場合には「いいえ」と判定する。例えば、第１拠点１１Ａにいる第１参加者１３が、かつステップＳ２１４、ステップＳ２１５で第２参加者１５を表すもの以外に視線を向けた状態で、特徴的動作情報の回数が多く検出された場合、具体的には、第２拠点１１Ｂの第２参加者１５を忘れて議論が白熱している可能性がある状態である。その回数が予め定められた回数以上である場合には、議論が白熱している状態であると判定する処理を行っている。検出された第１拠点１１Ａの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定するステップＳ２２０の出力は、上記処理にて判定された「はい」、又は「いいえ」である。
In the process of step S220 of determining whether the number of times of the characteristic operation information of the detected
If the value of MotionCTS_100 is larger than MotionCTS_Threshold, “Yes” is determined, and if smaller, “No” is determined. For example, with the
第１拠点１１Ａの拠点状況情報を表すフラグを算出するステップＳ２２１の入力は、ステップＳ２２０の出力、「はい」、である。第１拠点１１Ａの拠点状況情報を表すフラグを算出するステップＳ２２１の処理は、第１拠点１１Ａの拠点状況情報を表すフラグＦｌａｇ＿１１Ａの値を算出する処理である。Ｆｌａｇ＿１１Ａは、０か１の値をとる。Ｆｌａｇ＿１１Ａは、１の時、第１拠点１１Ａの拠点状況情報は第２拠点１１Ｂの状況を忘れて議論に白熱している状態を表す。それ以外のときは０の値をとる。具体的には、例えば、ステップＳ２２０にて、第２拠点１１Ｂの第２参加者１５を忘れて議論が白熱している状態であると判定された場合には１の値を設定する。それ以外の時には０の値を設定する処理を行う。第１拠点１１Ａの拠点状況情報を表すフラグを算出するステップＳ２２１の出力は、Ｆｌａｇ＿１１Ａの値である。
算出されたデータを出力するステップＳ２２２の入力は、Ｆｌａｇ＿１１Ａと、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値である。算出されたデータを出力するステップＳ２２２の処理は、入力データを出力することである。これまでのステップにて算出、更新されたデータの値を出力する処理を行う。算出されたデータを出力するステップＳ２２２の出力は、Ｆｌａｇ＿１１Ａと、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値である。
The input in step S221 for calculating the flag representing the base situation information of the
The inputs of step S222 for outputting the calculated data are the values of Flag_11A, MotionCTS_11A, and MotionValue_11A. The process of step S222 for outputting the calculated data is to output the input data. A process is performed to output the value of data calculated and updated in the previous steps. The outputs of step S222 for outputting the calculated data are the values of Flag_11A, MotionCTS_11A, and MotionValue_11A.
例えば、第１拠点１１Ａの状況が第２拠点１１Ｂの状況を忘れて議論に白熱している状態である場合、具体的には、Ｆｌａｇ＿１１Ａは１の値をとる。白熱している度合いが大きい場合には、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値が大きくなり、白熱している度合いが小さい場合には、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値は小さくなる。
このように、第１特徴的動作情報、発言者情報、及び対話相手情報を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
また、所定時間内における第２拠点１１Ｂの音声信号が所定音量以下である場合に、第２拠点１１Ｂの映像信号に基づいて第２特徴的動作情報を抽出するので、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を算出することができる。
For example, when the situation of the
As described above, by using the first characteristic motion information, the speaker information, and the conversation partner information as the first base situation information, the intention amount indicating the degree of the willingness to participate in the conference appearing in the behavior of the remote participant Can be adjusted to the degree of presentation.
In addition, when the audio signal of the
＜第４実施形態＞
図６は、本発明の第４実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図４に示す第２拠点状況算出処理（ステップＳ２５０）の具体的な例を説明するためのフローチャートである。
まず、図６に示すフローチャートについて概略的に説明する。
ステップＳ２５１では、第２参加者が予め定められた時間以上発言していないか判定する。ステップＳ２５２では、変数の初期化を行う。ステップＳ２５３では、特徴的動作情報があるか判定する。ステップＳ２５４では、検出された第２拠点１１Ｂの特徴的動作情報の回数を更新する。ステップＳ２５５では、検出された第２拠点１１Ｂの特徴的動作情報の総量を更新する。ステップＳ２５６では、ループ変数を更新する。ステップＳ２５７では、次のステップで考慮する時刻が０より小さいか判定する。ステップＳ２５８では、検出された第２拠点１１Ｂの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定する。ステップＳ２５９では、第２拠点１１Ｂの拠点状況情報を表すフラグを算出する。ステップＳ２６０では、算出されたデータを出力する。
Fourth Embodiment
FIG. 6 is a flowchart showing the operation of the communication support system according to the fourth embodiment of the present invention, and in particular, for explaining a specific example of the second base situation calculation process (step S250) shown in FIG. It is a flowchart.
First, the flowchart shown in FIG. 6 will be schematically described.
In step S251, it is determined whether the second participant has been speaking for a predetermined time or more. In step S252, variables are initialized. In step S253, it is determined whether there is characteristic motion information. In step S254, the number of times of the characteristic operation information of the detected
ここで、図６に示すフローチャートに用いる変数の定義について説明する。
なお、変数の定義のうち、図５を参照して説明した変数については省略する。
Ｆｌａｇ＿１１Ｂは、第２拠点１１Ｂの拠点状況情報を表すフラグ。０か１の値をとる。１の時に、第２拠点１１Ｂの拠点状況情報は第１拠点１１Ａにいる参加者に発言するまでではないが自分の存在に気づいて欲しいと思っている拠点状況情報を表す。それ以外のときは０の値をとる。ｉは、ループの変数を表す。ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂは、検出された第２拠点１１Ｂの特徴的動作情報の総量を表す。ＭｏｔｉｏｎＣＴＳ＿１１Ｂは、検出された第２拠点１１Ｂの特徴的動作情報の回数を表す。
第２参加者１５が予め定められた時間以上発言していないか判定するステップＳ２５１は、図５に示すステップＳ２１１と同じである。
変数の初期化を行うステップＳ２５２は、図４に示すステップＳ２１２と同様の内容である。ステップＳ２５２では、検出された第２拠点１１Ｂの特徴的動作情報の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂ、検出された第２拠点１１Ｂの特徴的動作情報の回数ＭｏｔｉｏｎＣＴＳ＿１１Ｂと、ループの変数ｉと、第２拠点１１Ｂの拠点状況情報を表すフラグＦｌａｇ＿１１Ｂを用いており、ＭｏｔｉｏｎＶａｌｕｅ＿１１ＢはステップＳ２１２のＭｏｔｉｏｎＶａｌｕｅ＿１１Ａに、ＭｏｔｉｏｎＣＴＳ＿１１ＢはステップＳ２１２のＭｏｔｉｏｎＣＴＳ＿１１Ａに、ｉはステップＳ２１２のｊに、Ｆｌａｇ＿１１ＢはステップＳ２１２のＦｌａｇ＿１１Ａに相当する。
Here, the definition of the variable used for the flowchart shown in FIG. 6 is demonstrated.
Among the definitions of variables, the variables described with reference to FIG. 5 will be omitted.
Flag_11B is a flag indicating the base situation information of the
Step S251 of determining whether the
Step S252 for initializing variables has the same contents as step S212 shown in FIG. In step S252, the total amount MotionValue_11B of the characteristic operation information of the
特徴的動作情報があるか判定するステップＳ２５３は、図４に示すステップＳ２１３と同様の内容である。ただし、図４に示すステップＳ２１３では、第１拠点１１Ａの第１参加者１３と第３参加者１４の、テレビ会議に白熱している様子を表す特徴的動作情報を抽出していたが、ステップＳ２５３で対象とする特徴的動作情報は、第２拠点１１Ｂの第２参加者１５が、自分の存在にきづいて欲しいと思った時にみせる特徴的動作情報である。例えば、ため息をつく動作など、テレビ会議においていかれていると思った時にみせる特徴的動作情報である。
次いで、検出された第２拠点１１Ｂの特徴的動作情報の回数を更新するステップＳ２５４は、図５のステップＳ２１６と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。
検出された第２拠点１１Ｂの特徴的動作情報の総量を更新するステップＳ２５５は、図５に示すステップＳ２１７と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。
ループ変数を更新するステップＳ２５６は、図５に示すステップＳ２１８と同様の内容である。ただし用いる変数はｉである。
次のステップで考慮する時刻が０より小さいか判定するステップＳ２５７は、図５に示すステップＳ２１９と同様の内容である。
Step S253 of determining whether there is characteristic motion information has the same contents as step S213 shown in FIG. However, in step S213 shown in FIG. 4, the characteristic motion information representing the appearance of the first and
Next, Step S254 of updating the number of times of the characteristic operation information of the detected
Step S255 for updating the total amount of the characteristic operation information of the detected
Step S256 of updating the loop variable has the same contents as step S218 shown in FIG. However, the variable used is i.
Step S257 of determining whether the time considered in the next step is smaller than 0 has the same contents as step S219 shown in FIG.
次いで、検出された第２拠点１１Ｂの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定するステップＳ２５８は、図５に示すステップＳ２２０と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。
次いで、第２拠点１１Ｂの拠点状況情報を表すフラグを算出するステップＳ２５９は、図５のステップＳ２２１と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。Ｆｌａｇ＿１１Ｂは、第２拠点１１Ｂの拠点状況情報を表すフラグである。１の時、第２拠点１１Ｂの拠点状況情報は第１拠点１１Ａにいる参加者に発言するまでではないが自分の存在に気づいて欲しいと思っている拠点状況情報を表す。それ以外のときは０の値をとる。
次いで、算出されたデータを出力するステップＳ２６０は、図５に示すステップＳ２２２と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。具体的には、例えば、第２拠点１１Ｂの第２参加者１５が、第１拠点１１Ａの第１参加者１３と第３参加者１４に、発言するほどではないが、自分の存在を提示したいと思っている度合いが大きい場合には、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値が大きくなり、発言するほどではないが、自分の存在を提示したいと思っている度合いが小さい場合には、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値は小さくなる。
このように、所定時間内における第２拠点１１Ｂの音声信号が所定音量以下である場合に、第２拠点１１Ｂの映像信号に基づいて第２特徴的動作情報を抽出するので、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を算出することができる。
Next, step S258 of determining whether the number of times of the characteristic operation information of the
Next, Step S259 of calculating a flag representing the base situation information of the
Next, step S260 for outputting the calculated data has the same contents as step S222 shown in FIG. However, the variable to be used is a variable related to the
As described above, when the audio signal of the
＜第５実施形態＞
図７は本発明の第５実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図５とは異なる図４に示す第１拠点状況算出処理（ステップＳ２１０）の具体的な例を説明したフローチャートである。
ステップＳ２２３では、第１拠点１１Ａにいる参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７を算出する処理を行う。ステップＳ２２４では、Ｆｌａｇ＿１１Ａ、ＭｏｔｉｏｎＣＴＳ＿１１Ａ、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、Ｄｉｓｔａｎｃｅ＿１７を出力する。
ここで、図７に示すフローチャートに用いる変数の定義について説明する。
なお、図５、図６で定義済みの変数については省略する。
Ｄｉｓｔａｎｃｅ＿１７は、第１拠点１１Ａにいる参加者とアバターロボット１７との距離を表す。
図７に示すフローチャートは図５に示すフローチャートとほぼ同じである。異なる点は、図５に示すフローチャートには存在しなかった、第１拠点１１Ａにいる参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７を算出する処理を行うステップＳ２２３があることである。また、図５に示すステップＳ２２２に代わって、図５に示すステップＳ２２２で出力していたデータに第１拠点１１Ａの参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７を加えて出力しているステップＳ２２４があることである。
Fifth Embodiment
FIG. 7 is a flowchart showing the operation of the communication support system according to the fifth embodiment of the present invention, and in particular, a specific example of the first base situation calculation process (step S210) shown in FIG. 4 different from FIG. It is a flowchart explained.
In step S223, processing is performed to calculate the distance Distance_17 between the participant at the
Here, definitions of variables used in the flowchart shown in FIG. 7 will be described.
The variables defined in FIGS. 5 and 6 will be omitted.
Distance_17 represents the distance between the participant at the
The flowchart shown in FIG. 7 is substantially the same as the flowchart shown in FIG. A different point is that there is a step S223 which does not exist in the flowchart shown in FIG. 5 and performs processing of calculating the distance Distance_17 between the participant at the
第１拠点１１Ａの状況を計測し、算出するステップにおいて、例えばステップＳ２１３、第１参加者１３と第３参加者１４の状況に加えて、第２参加者１５を表すアバターロボット１７の状況も計測し、後のステップにてこの拠点状況情報についても算出することで、図５に示す場合より、詳しく第１拠点１１Ａの拠点状況情報を算出することができる。
具体的には、ステップＳ２１３では、映像データから、第１拠点１１Ａの第１参加者１３と第２参加者１５を表すアバターロボット１７との距離と、第１拠点１１Ａの第３参加者１４と第２参加者１５を表すアバターロボット１７との距離と、を計測し、上記計測された距離の平均を算出し、変数Ｄｉｓｔａｎｃｅ＿１７に代入する処理を行う。
例えば、距離の平均のみならず、第２参加者１５を表すアバターロボット１７と、第１拠点１１Ａにいる参加者のうちいずれか近いほうの距離を変数Ｄｉｓｔａｎｃｅ＿１７に代入してもよいし、いずれか遠いほうの距離を変数Ｄｉｓｔａｎｃｅ＿１７に代入してもよいし、距離を予め定められた関数を用いて算出した値を代入してもよい。
In the step of measuring and calculating the situation of the
Specifically, in step S213, the distance between the
For example, not only the average of the distances but also the
第１拠点１１Ａにいる参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７は、刺激を出力するアバターロボット１７が、同程度の刺激を出力したとしても、Ｄｉｓｔａｎｃｅ＿１７の値が大きければ、つまり、第１拠点１１Ａにいる参加者とアバターロボット１７との距離が遠ければ、第１拠点１１Ａの参加者が感じる感覚量が小さくなる。
逆に、Ｄｉｓｔａｎｃｅ＿１７の値が小さければ、つまり、第１拠点１１Ａの参加者とアバターロボット１７との距離が近ければ、第１拠点１１Ａにいる参加者が感じる感覚量は大きくなる、ということに対応するために用いる値である。第１拠点１１Ａの参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７に応じて、第１拠点１１Ａの参加者に提示する刺激量を調整することを可能とするために必要なステップである。上記の例は、距離に関してだが、距離以外の値を用いてもよい。例えば、第１拠点１１Ａの参加者と第２参加者の１００２を表すアバターロボット１７が共に動いている場合、相対速度をもって上記ステップを行ってもよい。
このように、第１参加者とロボット部１７の間の距離を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
The distance Distance_17 between the participant at the
Conversely, if the value of Distance_17 is small, that is, if the distance between the participant of the
In this way, by using the distance between the first participant and the
＜第６実施形態＞
図８は、本発明の第６実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図３に示す刺激量算出処理を行うステップＳ３００の具体的な例を説明するためのフローチャートである。
まず、図８に示すフローチャートについて概略的に説明する。
ステップＳ３０１では、フラグを判定する。ステップＳ３０２では、データの取り込みを行う。ステップＳ３０３では、第１拠点１１Ａの拠点状況情報から感覚量の範囲を算出する処理を行う。ステップＳ３０４では、第２拠点１１Ｂの拠点状況情報から感覚量Ｅを算出する処理を行う。ステップＳ３０５では、刺激量Ｒの算出を行う。
ステップＳ３０６では、刺激出力部５７のための信号変換処理を行う。ステップＳ３０７では、刺激出力部５７への出力処理を行う。
Sixth Embodiment
FIG. 8 is a flowchart showing the operation of the communication assistance system according to the sixth embodiment of the present invention, and in particular, a flowchart for explaining a specific example of step S300 for performing the stimulation amount calculation process shown in FIG. is there.
First, the flowchart shown in FIG. 8 will be schematically described.
In step S301, a flag is determined. In step S302, data is fetched. In step S303, processing is performed to calculate the range of the sensation amount from the base situation information of the
In step S306, signal conversion processing for the stimulation output unit 57 is performed. In step S307, output processing to the stimulus output unit 57 is performed.
ここで、図８に示すフローチャートに用いる変数の定義について説明する。
なお、図５、図６、図７を参照して、定義済みの変数については省略する。
Ｅは、第１参加者１３の感覚量を表す。Ｅ＿ｍａｘは、感覚量の閾値の最大値を表す。Ｅ＿ｍｉｎは、感覚量の閾値の最小値を表す。Ｅ＿ｍａｘ＿ｂａｓｉｓは、予め定められた基準となる感覚量の閾値の最大値を表す。Ｅ＿ｍｉｎ＿ｂａｓｉｓは、予め定められた基準となる感覚量の閾値の最小値を表す。ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ＿ｂａｓｉｓは、予め定められた基準となる第１拠点１１Ａの拠点状況情報を表す値を表す。ＭｏｔｉｏｎＣＴＳ＿１１Ａ＿ｂａｓｉｓは、予め定められた基準となる第１拠点１１Ａの拠点状況情報を表す値を表す。Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓは、予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最大値を表す。Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓは、予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最小値を表す。Ｗ＿ｃｔｓは、重み付けの値を表す。Ｗ＿ｖａｌｕｅは、重み付けの値を表す。Ｒは、刺激量を表す。Ｋは、予め定められた定数を表す。Ｒ＿ｂａｓｉｓは、予めさだめられた刺激量の基準値を表す。
Ａは、振幅の値を表す。Ａ＿ｂａｓｉｓは、予め定められた振幅の基準値を表す。
Here, definitions of variables used in the flowchart shown in FIG. 8 will be described.
Note that, with reference to FIG. 5, FIG. 6, and FIG. 7, the predefined variables are omitted.
E represents the amount of sensation of the
A represents the value of the amplitude. A_basis represents a reference value of a predetermined amplitude.
フラグを判定するステップＳ３０１の入力は、図５に示すステップＳ２２２の出力である第１拠点１１Ａの拠点状況情報を表すフラグＦｌａｇ＿１１Ａと、図６に示すステップＳ２６０の出力である第２拠点１１Ｂの拠点状況情報を表すフラグＦｌａｇ＿１１Ｂである。フラグを判定するステップＳ３０１の処理は、Ｆｌａｇ＿１１ＡとＦｌａｇ＿１１Ｂの乗算が１であるかを判定するステップである。上記、乗算が１である場合は、第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している状況、かつ、第２拠点１１Ｂの第２参加者１５が自分の存在にきづいて欲しいと思っている状況である。フラグを判定するステップＳ３０１の出力は、「はい」、又は「いいえ」である。上記処理にて上記乗算の積が１である場合は「はい」、それ以外である場合は「いいえ」を出力する。「はい」である場合はステップＳ３０２へ、「いいえ」である場合は終了のステップへ進む。
データの取り込みを行うステップＳ３０２の入力は、図５に示すステップＳ２２２の出力と、図６に示すステップＳ２６０の出力である。仮に、Ｄｉｓｔａｎｃｅ＿１７の計測も行っている場合には、図６に示すステップＳ２６０の代わりに図７に示すステップＳ２２４の出力を用いる。データの取り込みを行うステップＳ３０２の処理は、データを取り込む処理である。具体的には、ＭｏｔｉｏｎＣＴＳ＿１１Ａ、ＭｏｔｉｏｎＣＴＳ＿１１Ｂ、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂ、場合によってはＤｉｓｔａｎｃｅ＿１７も加えた上記変数である。データの取り込みを行うステップＳ３０２の出力は、上記変数の出力である。例えば、第１拠点１１Ａの拠点状況情報を表すデータ、具体的には、第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いを表すデータと、第２拠点１１Ｂの第２参加者１５が自分の存在にきづいて欲しいと思っている度合いを表すデータを取り込むステップである。
The input of step S301 for determining the flag is flag Flag_11A representing the base situation information of the
The input of step S302 for capturing data is the output of step S222 shown in FIG. 5 and the output of step S260 shown in FIG. If the measurement of Distance_17 is also performed, the output of step S224 shown in FIG. 7 is used instead of step S260 shown in FIG. The process of step S302 for capturing data is a process for capturing data. Specifically, MotionCTS_11A, MotionCTS_11B, MotionValue_11A, MotionValue_11B, and in some cases Distance_17 are also the above-mentioned variables. The output of step S302 for capturing data is the output of the variable. For example, data representing the base situation information of the
次いで、第１拠点１１Ａの拠点状況情報から感覚量の範囲を算出する処理を行うステップＳ３０３の入力は、第１拠点１１Ａの拠点状況情報を表すデータ、例えば第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いを表すデータＭｏｔｉｏｎＶａｌｕｅ＿１１Ａと、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、感覚量の閾値の最大値Ｅ＿ｍａｘと感覚量の閾値の最小値Ｅ＿ｍｉｎの値である。
加えて、予め基準となる第１拠点１１Ａにいる参加者がテレビ会議に白熱している度合いを表すデータＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ＿ｂａｓｉｓと、ＭｏｔｉｏｎＣＴＳ＿１１Ａ＿ｂａｓｉｓと、予め、基準となる感覚量の閾値の値、Ｅ＿ｍａｘ＿ｂａｓｉｓ、Ｅ＿ｍｉｎ＿ｂａｓｉｓと、重み付けの値として、Ｗ＿ｃｔｓとＷ＿ｖａｌｕｅも入力のデータとして用意する。
第１拠点１１Ａの状況から感覚量の範囲を算出する処理を行うステップＳ３０３の処理は、第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いを表すデータに応じて、感覚量の閾値の最大値Ｅ＿ｍａｘと感覚量の閾値の最小値Ｅ＿ｍｉｎの値を算出し、更新する処理を行うステップである。例えば、以下の式（１）（２）を用いて、感覚量の閾値の最大値Ｅ＿ｍａｘと感覚量の閾値の最小値Ｅ＿ｍｉｎの値を算出し、更新する。
Then, the input of step S303 which performs processing of calculating the range of sensation amount from the base situation information of the
In addition, data MotionValue_11A_basis representing the degree to which the participant at the
The process of step S303 which performs the process of calculating the range of the sensational amount from the situation of the
Ｅ＿ｍａｘ＝｛Ｗ＿ｃｔｓ×（ＭｏｔｉｏｎＣＴＳ＿１１Ａ÷ＭｏｔｉｏｎＣＴＳ＿１１Ａ＿ｂａｓｉｓ）＋Ｗ＿ｖａｌｕｅ（ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ÷ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ＿ｂａｓｉｓ）｝×Ｅ＿ｍａｘ＿ｂａｓｉｓ （１）
Ｅ＿ｍｉｎ＝｛Ｗ＿ｃｔｓ×（ＭｏｔｉｏｎＣＴＳ＿１１Ａ÷ＭｏｔｉｏｎＣＴＳ＿１１Ａ＿ｂａｓｉｓ）＋Ｗ＿ｖａｌｕｅ（ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ÷ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ＿ｂａｓｉｓ）｝×Ｅ＿ｍｉｎ＿ｂａｓｉｓ （２）
E_max = {W_cts × (MotionCTS_11A ÷ MotionCTS_11A_basis) + W_value (MotionValue_11A ÷ MotionValue_11A_basis)} × E_max_basis (1)
E_min = {W_cts × (MotionCTS_11A ÷ MotionCTS_11A_basis) + W_value (MotionValue_11A ÷ MotionValue_11A_basis)} × E_min_basis (2)
Ｗ＿ｃｔｓとＷ＿ｖａｌｕｅは足して１になる値をとり、０から１までの値をとるとする。そうすると、感覚量の閾値に反映させる、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの割合を調整することができる。基準となる感覚量の閾値の値、Ｅ＿ｍａｘ＿ｂａｓｉｓとＥ＿ｍｉｎ＿ｂａｓｉｓは、Ｅｍａｘ＿ｂａｓｉｓ＞Ｅ＿ｍｉｎ＿ｂａｓｉｓを満たす。また、Ｅ＿ｍａｘ＿ｂａｓｉｓ、Ｅ＿ｍｉｎ＿ｂａｓｉｓは、極端に大きすぎず、かつ小さすぎる値であってはならない。
具体的には、例えば、ヒトが予め決められた条件下で、さりげないと感じる感覚量の値であって、例えば、小さい振幅で振動しているものがヒトの視野に入る位置にあった状態の時、例えば１０人中８人が振動していることを感知できる振幅の振動が与える感覚量をＥ＿ｍａｘ＿ｂａｓｉｓ、１０人中２人が振動していることを感知できる振幅の振動が与える感覚量をＥ＿ｍｉｎ＿ｂａｓｉｓとする。
Ｅ＿ｍａｘ＿ｂａｓｉｓ、Ｅ＿ｍｉｎ＿ｂａｓｉｓは、ヒトが感知できない感覚量であってはならないし、だれしもが、確実に沢山の量を感知できる感覚量であってもならない。誰もが気づく大きな振幅で振動しては、さりげない状態ではないということである。
Ｅ＿ｍａｘ＿ｂａｓｉｓ、Ｅ＿ｍｉｎ＿ｂａｓｉｓの値を基準にして算出するＥ＿ｍａｘとＥ＿ｍｉｎの値も同様である。上記式は、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値を重み付けし、加算した値を感覚量の閾値に反映させた例だが、加算のみならず、乗算でもよい。
このほかの関係式を用いて感覚量の閾値を算出してもよい。第１拠点１１Ａの拠点状況情報から感覚量の範囲を算出する処理を行うステップＳ３０３の出力は、上記処理にて算出され、更新された感覚量の閾値の最大値Ｅ＿ｍａｘと感覚量の閾値の最小値Ｅ＿ｍｉｎの値である。具体的には、第１拠点１１Ａの拠点状況情報を表すデータ、例えば第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いが高ければ、Ｅ＿ｍａｘとＥ＿ｍｉｎの値は共に増加の傾向にある。具体的には、第１拠点１１Ａの拠点状況情報を表すデータ、例えば第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いが低ければ、Ｅ＿ｍａｘとＥ＿ｍｉｎの値は小さく設定される。
It is assumed that W_cts and W_value take a value to be 1 plus 0 to 1. Then, it is possible to adjust the ratio of MotionCTS_11A and MotionValue_11A to be reflected in the threshold of the sensation amount. The threshold values of the reference sensation, E_max_basis and E_min_basis satisfy Emax_basis> E_min_basis. Also, E_max_basis and E_min_basis should not be too large and too small.
Specifically, for example, it is a value of an amount of sensation that a human feels inconspicuous under predetermined conditions, for example, a state in which one vibrating with a small amplitude is at a position where it enters the human visual field. For example, E_max_basis gives the amount of sensation given by an amplitude vibration that can sense that 8 out of 10 people are vibrating, and the amount of sensation that gives an amplitude vibration that can sense that 2 out of 10 people vibrate. E_min_basis.
E_max_basis, E_min_basis must not be a sensory quantity that humans can not sense, and it should not be a sensory quantity that anyone can surely sense a large amount. Vibrating with a large amplitude that everyone notices is that it is not a casual condition.
The values of E_max and E_min calculated based on the values of E_max_basis and E_min_basis are the same. Although the above equation is an example in which the values of MotionCTS_11A and MotionValue_11A are weighted and the added value is reflected on the threshold of the sensation amount, not only addition but multiplication may be used.
The threshold value of the sense amount may be calculated using other relational expressions. The output of step S303 which performs processing of calculating the range of sensational amount from the base situation information of the
次いで、第２拠点１１Ｂの拠点状況情報から感覚量Ｅを算出する処理を行うステップＳ３０４の入力は、具体的には、例えば、ステップＳ３０２の出力であるＥ＿ｍａｘとＥ＿ｍｉｎの値と、予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最大値Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓと予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最小値Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓと、第２拠点１１Ｂの拠点状況情報を表すＭｏｔｉｏｎＣＴＳ＿１１ＢとＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂと、重み付けの値Ｗ＿ｃｔｓとＷ＿ｖａｌｕｅである。第２拠点１１Ｂの拠点状況情報から感覚量Ｅを算出する処理を行うステップＳ３０４の処理は、上記入力データから、第１拠点１１Ａにいる参加者に提示する感覚量Ｅを算出するステップである。例えば、感覚量Ｅを下記の式にて求める処理である。
Next, specifically, the input of step S304 for performing processing of calculating the feeling amount E from the base situation information of the
Ｅ＝｛（Ｗ＿ｖａｌｕｅ×ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂ＋Ｗ＿ｃｔｓ×ＭｏｔｉｏｎＣＴＳ＿１１Ｂ）÷（Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓ＋Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓ）｝×（Ｅ＿ｍａｘ＋Ｅ＿ｍｉｎ） （３）
上記式（３）に示す（Ｗ＿ｖａｌｕｅ×ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂ＋Ｗ＿ｃｔｓ×ＭｏｔｉｏｎＣＴＳ＿１１Ｂ）の部分では、第２拠点１１Ｂの拠点状況情報、つまり第２参加者１５が自分の存在に気づいて欲しいと思っている度合いについて、回数と量を重み付け数Ｗで重み付けし、第２拠点１１Ｂの拠点状況情報を数値化する。
E = {(W_value × MotionValue_11B + W_cts × MotionCTS_11B) ÷ (Motion_max_basis + Motion_min_basis)} × (E_max + E_min) (3)
In the part of (W_value × MotionValue_11B + W_cts × MotionCTS_11B) shown in the above equation (3), the base situation information of the
上記式（３）に示す÷（Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓ＋Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓ）｝の部分では、予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最大値Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓと予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最小値Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓとの値と比較して、上記第２拠点１１Ｂの拠点状況情報を数値化した値がどの程度かを算出する。
上記式（３）に示す×（Ｅ＿ｍａｘ＋Ｅ＿ｍｉｎ）の部分では、ステップＳ３０３にて更新された感覚量の範囲の中で、上記第２拠点１１Ｂの拠点状況情報を数値化した値がどの程度かを算出した値がどの程度かを算出している。
ただし、Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓ＞Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓを満たす必要がある。簡単にいうと、予め定められたＭｏｔｉｏｎ＿ｂａｓｉｓの範囲からみて、第２拠点１１Ｂの拠点状況情報がどの程度かを算出し、その程度を感覚量の範囲へ変換する処理を行うステップである。上記の式はあくまで例であり、このほかの関係式を用いてもよい。第２拠点１１Ｂの拠点状況情報から感覚量Ｅを算出する処理を行うステップＳ３０４の出力は、感覚量Ｅの値である。
In the part of ÷ (Motion_max_basis + Motion_min_basis)} shown in the above equation (3), the maximum value Motion_max_basis of the base situation information of the
In the part of x (E_max + E_min) shown in the above equation (3), within the range of the sensation amount updated in step S303, it is calculated what value is the numerical value of the base situation information of the
However, it is necessary to satisfy Motion_max_basis> Motion_min_basis. Simply stated, this is a step of calculating the degree of the base situation information of the
刺激量Ｒの算出を行うステップＳ３０５の入力は、例えば、ステップＳ３０４で算出された感覚量Ｅの値と、予め定められた定数Ｋの値である。刺激量Ｒの算出を行うステップＳ３０５の処理は、例えば、人間の感覚量と与えられる刺激量との関係を定義したフェフィナーの法則を用いると、刺激量Ｒ＝１０＾（感覚量Ｅ／予め定められた定数Ｋ）により、感覚量Ｒを算出する処理である。
上記式（３）は、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａにいる参加者に向けて提示したい感覚量Ｅから刺激量Ｒを算出する式である。第２拠点１１Ｂの参加者が自分の存在を提示したいと思っている度合いが大きければ感覚量Ｅの値がステップＳ３０４にて大きく算出されるため、ステップＳ３０５で算出される刺激量Ｒも大きくなる。また、第１拠点１１Ａで第２参加者１５を忘れてテレビ会議が白熱している場合は、ステップＳ３０３で算出される感覚量の範囲Ｅ＿ｍａｘとＥ＿ｍｉｎの値が大きく算出されるため、ステップＳ３０４で算出される感覚量Ｅも大きくなり、ステップＳ３０５で算出される刺激量Ｒも大きくなる。刺激量Ｒが小さくなる場合はその逆である。上記は、フェフィナーの法則をもちいて感覚量Ｅから刺激量Ｒを算出したれいだが、そのほかの変換の式を用いてもよい。刺激量Ｒの算出を行うステップＳ３０５の出力は、刺激量Ｒの値である。
なお、本実施形態によれば、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａにいる参加者に向けて提示したい感覚量Ｅから刺激量Ｒを算出しているが、本発明はこれに限定されるものではない。すなわち、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の言動に現れる会議への参加意思の程度を表す意思量を意思量算出部５５ｂにより算出し、刺激出力部５７により意思量に応じた刺激を第１参加者が知覚できるように出力してもよい。これにより、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
The input in step S305 for calculating the stimulation amount R is, for example, the value of the sensation amount E calculated in step S304 and the value of a predetermined constant K. The processing of step S305 for calculating the stimulation amount R is, for example, using the Fefiner's law that defines the relationship between the human sense amount and the given stimulation amount, the stimulation amount R = 10 ^ (sensory amount E / predetermined It is the processing which calculates the amount R of sensations by the constant K).
The above equation (3) is an equation for calculating the stimulation amount R from the sensation amount E that the
Note that according to the present embodiment, the stimulation amount R is calculated from the sensation amount E that the
次いで、刺激出力部５７のための信号変換処理を行うステップＳ３０６の入力は、ステップＳ３０５の出力である刺激量Ｒの値である。刺激出力部５７のための信号変換処理を行うステップＳ３０６の処理は、例えば刺激出力部５７が振動モータである場合、刺激量Ｒを振幅と周波数へ変換する処理である。例えば刺激量Ｒを振幅へ変換する処理である。例えば、刺激量Ｒを周波数へ変換する処理である。例えば基準となる振幅Ａ＿ｂａｓｉｓがあり、基準となる刺激量Ｒ＿ｂａｓｉｓがあった場合、出力する振幅Ａは、以下の式（４）で算出される。
Ａ＝Ａ＿ｂａｓｉｓ×（Ｒ÷Ｒ＿ｂａｓｉｓ） （４）
上記の例は振幅の例だが、周波数にして当てはめてもよい。また、刺激部がＬＥＤだった場合、ＬＥＤに流す電流の量を上記の式と同様に算出し、明るさを調整してもよい。
上記の式（４）はあくまで例であり、他の関係式を用いてもよい。刺激量Ｒから刺激部への入力値として適切な値へと変換する処理を行えばよい。刺激出力部５７のための信号変換処理を行うステップＳ３０６の出力は、上記処理にて算出された刺激出力部５７へ入力できる信号のデータである。例えば、振幅の値である。例えば周波数の値である。例えば電流の値である。例えば電圧の値である。出力の値は１つであってもよいし、複数であってもよい。例えば、振幅と周波数の値であってもよい。
Next, the input of step S306 for performing signal conversion processing for the stimulation output unit 57 is the value of the stimulation amount R which is the output of step S305. The process of step S306 for performing signal conversion processing for the stimulation output unit 57 is processing for converting the stimulation amount R into an amplitude and a frequency, for example, when the stimulation output unit 57 is a vibration motor. For example, processing of converting the stimulation amount R into an amplitude. For example, it is processing to convert the stimulation amount R into a frequency. For example, if there is a reference amplitude A_basis and there is a reference stimulation amount R_basis, the output amplitude A is calculated by the following equation (4).
A = A_basis × (R ÷ R_basis) (4)
Although the above example is an example of amplitude, it may be applied to frequency. In addition, when the stimulation unit is an LED, the brightness may be adjusted by calculating the amount of current supplied to the LED in the same manner as the above equation.
The above equation (4) is merely an example, and other relational expressions may be used. A process may be performed to convert the stimulation amount R into an appropriate value as an input value to the stimulation unit. The output of step S306 for performing signal conversion processing for the stimulation output unit 57 is data of a signal that can be input to the stimulation output unit 57 calculated in the above processing. For example, it is the value of amplitude. For example, it is a value of frequency. For example, it is the value of the current. For example, it is the value of voltage. The value of the output may be one or more. For example, it may be amplitude and frequency values.
次いで、刺激出力部５７への出力処理を行うステップＳ３０７の入力は、ステップＳ３０６の出力であり、刺激出力部５７のための信号変換処理を行ったデータである。例えば、刺激出力部５７が振動モータである場合、振幅の値である。刺激出力部５７への出力処理を行うステップＳ３０７の処理は、上記入力データを刺激出力部５７へ入力し、刺激出力を実際に行う処理である。例えば、振動モータに、振幅の値の指令を入力する処理である。刺激出力部５７への出力処理を行うステップＳ３０７の出力は、刺激出力部５７が出力をしていることである。例えば、上記処理にて振動モータに入力された振幅にて振動モータが振動している状態である。上記は、振動モータについて、振幅の値を変化させる様子について具体的に説明したが、ＬＥＤなどを用いて光量や色を変化させるために電流値や抵抗値や電圧を変化させてもよい。また、スピーカを用いて音量を変化させるような出力の処理をおこなってもよい。
このように、第１参加者が感知可能な光波信号、音波信号、振動、臭気のうち、少なくとも１つを発生することで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示することができる。
Next, the input of step S307 for performing output processing to the stimulation output unit 57 is the output of step S306, and is data subjected to signal conversion processing for the stimulation output unit 57. For example, when the stimulation output unit 57 is a vibration motor, it is the value of the amplitude. The process of step S307 for performing output processing to the stimulation output unit 57 is processing for inputting the above input data to the stimulation output unit 57 and actually performing stimulation output. For example, it is a process of inputting a command of the value of the amplitude to the vibration motor. The output of step S307 for performing output processing to the stimulation output unit 57 is that the stimulation output unit 57 is outputting. For example, the vibration motor is vibrating at the amplitude input to the vibration motor in the above process. Although the above specifically describes how to change the value of the amplitude for the vibration motor, the current value, the resistance value, and the voltage may be changed in order to change the light quantity and the color using an LED or the like. Further, output processing may be performed using a speaker to change the volume.
Thus, by generating at least one of the light wave signal, the sound wave signal, the vibration, and the odor that can be sensed by the first participant, the degree of the willingness to participate in the conference that appears in the speech of the remote participant It is possible to present the amount of intention to express.
＜第７実施形態＞
図９は、本発明の第７実施形態に係るコミュニケーション補助システムに用いる、図１に示す第２参加者１５を表すアバターロボット１７の具体的な例を説明した図である。
１７は第２参加者１５を表すアバターロボット、１７ａはアバターロボットの耳に位置する刺激部、１７ｂはアバターロボットの目に位置する刺激部、１７ｃはアバターロボットの口に位置する刺激部、１７ｄはアバターロボットの手に位置する刺激部、１７ｅはアバターロボットの足に位置する刺激部、１７ｆはアバターロボットの内部に位置する刺激部である。
例えば、第２参加者１５を表すアバターロボット１７は、視覚を刺激する場合、刺激部１７ａ〜１７ｆのいずれか又は一部又はすべてが動いたり、色が変わったり、状態が時間に応じて変化するような刺激部を具備するアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、聴覚を刺激するとは、刺激部１７ａ〜１７ｆのいずれか又は一部又はすべてから出力される音が時間に応じて変化するような刺激部を具備するアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、触覚を刺激するとは、刺激部１７ａ〜１７ｆのいずれか又は一部又はすべてが動いたりし、状態が時間に応じて変化し、ロボットに触れると状態の違いを認識することができるような刺激部を具備するアバターロボットである。刺激出力部５７は、第１参加者が接触することにより感知可能な振動を発生する。
Seventh Embodiment
FIG. 9 is a view for explaining a specific example of the
17 is an avatar robot representing the
For example, when the
For example, the
For example, to stimulate the sense of touch, the
例えば、第２参加者１５を表すアバターロボット１７は、臭覚を刺激するとは、刺激部１７ａ〜１７ｆのいずれか又は一部又はすべてから時間変化に応じて匂いを発し、臭覚を用いて状態の違いを認識することができるような刺激部を具備するアバターロボットである。刺激出力部５７は、第１参加者が嗅取することにより感知可能な臭気を発生する。
例えば、第２参加者１５を表すアバターロボット１７は、アバターロボットの耳に位置する刺激部１７ａが、振動モータであるアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、アバターロボットの目に位置する刺激部１７ｂが、ＬＥＤであるアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、アバターロボットの口に位置する刺激部１７ｃがスピーカであるアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、アバターロボットの手に位置する刺激部１７ｄが振動モータであるアバターロボットである。
上記の説明はある特定の刺激部に限って説明したものだが、上記の刺激部は、図９に示す刺激部１７ａ〜１７ｆの少なくとも１つでもよい。
このように、第１参加者とロボット部１７の間の距離を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
For example, to stimulate the sense of smell, the
For example, the
For example, the
For example, the
For example, the
Although the above description is limited to a specific stimulation unit, the above-mentioned stimulation unit may be at least one of the
In this way, by using the distance between the first participant and the
＜第８実施形態＞
図１０〜図１３は、本発明の第８実施形態に係るコミュニケーション補助システムに用いる、第１拠点１１Ａのテレビ会議の白熱度合いを反映した、第１拠点１１Ａの感覚Ｅの分布について説明するためのグラフ図である。
図１０は、第１拠点１１Ａの第１参加者１３と第３参加者１４の感覚Ｅの分布のさりげない範囲を具体的に説明するためのグラフ図である。
例えば、計測された第１拠点１１Ａの会議の白熱度合いから、会議参加者毎に感覚Ｅの分布をもち、さりげないと感じる感覚の範囲Ｅ＿ｍｉｎからＥ＿ｍａｘをもっているとする。
Eighth Embodiment
10 to 13 illustrate the distribution of the sense E of the
FIG. 10 is a graph specifically illustrating the inconvenient range of the distribution of the senses E of the
For example, it is assumed that, based on the measured degree of incandescence of the
図１１（ａ）は、第１拠点１１Ａの第１参加者１３と第３参加者１４の感覚Ｅの分布から第１拠点１１Ａの感覚Ｅのさりげない範囲を具体的に説明するためのグラフ図である。
例えば、第１拠点１１Ａにいる第１参加者１３と第３参加者１４の２人ともがさりげないと感じる範囲を、第１拠点１１Ａの感覚Ｅのさりげない範囲とする。上記は参加者のＡＮＤをとった値となっているが、そのほかの方法で複数参加者の感覚Ｅの分布から第１拠点１１Ａの感覚Ｅのさりげない範囲を算出してもよい。下記の式（５）（６）で算出することもできる。
FIG. 11 (a) is a graph specifically illustrating the non-contrast range of the sense E of the
For example, a range in which both the
Ｅ＿ｍａｘ＝ｍｉｎ［Ｅ＿ｍａｘ＿１３、Ｅ＿ｍａｘ＿１４］ （５）
Ｅ＿ｍｉｎ＝ｍａｘ［Ｅ＿ｍｉｎ＿１３、Ｅ＿ｍａｘ＿１４］ （６）
E_max = min [E_max_13, E_max_14] (5)
E_min = max [E_min_13, E_max_14] (6)
図１１（ｂ）は、第１拠点１１Ａに沢山の参加がいた場合、参加者毎の感覚Ｅの分布のさりげないと感じる範囲から、第２参加者が与えたいと思っている感覚Ｅを算出する方法を説明するためのグラフ図である。
たとえば、第１拠点１１Ａに沢山参加者がいて、図１１（ｂ）のように感覚Ｅの分布のさりげないと感じる範囲が参加者毎に存在する場合を考える。例えば、第２参加者が自分の存在に気付いて欲しいと思っている度合いがとても高い場合には、すべて参加者がさりげないと思っている感覚Ｅの値を算出したりする方法が具体例の一つである。
例えば、第２参加者が自分の存在に気付いて欲しいと思っている度合いがとても低い場合には、数人がさりげないと思っており、残りのヒトはＥ＿ｍｉｎより小さい値であるような感覚Ｅの値を算出したりする方法が具体例の一つである。
FIG. 11 (b) calculates the sense E that the second participant wants to give from the range where the distribution of senses E for each participant feels unconventional when the
For example, consider a case where there are many participants at the
For example, if the second participant feels that he / she wants you to notice his / her existence very low, then some people think that they are not casual, and the remaining people have a value smaller than E_min. The method of calculating the value of is one of the specific examples.
図１２（ａ）は、第１拠点１１Ａに存在する複数参加者のさりげないと感じる感覚の最大値Ｅ＿ｍａｘの確率密度の具体例を説明するためのグラフ図である。
例えば、第１拠点１１Ａの感覚Ｅの範囲の更新は、図１２（ａ）に示すような確率密度分布を用いて更新する方法がある。例えば、第１拠点１１Ａが盛り上がっている場合には、確率密度が高くなるようなＥ＿ｍａｘの値を、第１拠点１１Ａのさりげないと感じる感覚の最大値Ｅ＿ｍａｘとして採用したりする方法がある。逆に、第１拠点１１Ａが盛り上がっていない場合には、確率密度が低くなるようなＥ＿ｍａｘの値を、第１拠点１１Ａのさりげないと感じる感覚の最大値Ｅ＿ｍａｘとして採用したりする方法がある。
図１２（ｂ）は、第１拠点１１Ａに存在する複数参加者のさりげないと感じる感覚の最小値Ｅ＿ｍｉｎの確率密度の具体例を説明した図である。
第１拠点１１Ａの感覚Ｅの範囲の更新において、さりげないと感じる感覚の最小値について説明した図である。具体的な方法は（ａ）と同様である。
FIG. 12A is a graph for explaining a specific example of the probability density of the maximum value E_max of the feeling that the plurality of participants present at the
For example, there is a method of updating the range of the sense E of the
FIG. 12B is a view for explaining a specific example of the probability density of the minimum value E_min of the sense that the plurality of participants present at the
In the update of the range of the sense E of the
図１２（ｃ）は、予め定められた第１拠点１１Ａのさりげないと感じる感覚Ｅの範囲がＥ＿ｍａｘ＿ｂａｓｉｓとＥ＿ｍｉｎ＿ｂａｓｉｓとして定められており、第１拠点１１Ａのテレビ会議の拠点状況情報に応じて、第１拠点１１Ａのさりげないと感じる感覚量の範囲Ｅ＿ｍａｘとＥ＿ｍｉｎを更新する具体的な例を説明するためのグラフ図である。
予め定められた第１拠点１１Ａのさりげないと感じる感覚Ｅの範囲がＥ＿ｍａｘ＿ｂａｓｉｓとＥ＿ｍｉｎ＿ｂａｓｉｓとして定められており、例えば第１拠点１１Ａのテレビ会議が白熱している場合には、第１拠点１１Ａのさりげないと感じる感覚量の範囲Ｅ＿ｍａｘとＥ＿ｍｉｎは大きい値へと変換、又は算出される。下記式を用いて算出される。
In FIG. 12C, the range of the sense E which feels non-convenient in the
If the range of the sense E that feels inconvenient in the
Ｅ＿ｍａｘ＝ｆ（ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、ＭｏｔｉｏｎＣｏｕｎｔ＿１１Ａ、Ｅ＿ｍａｘ＿ｂａｓｉｓ） （７）
Ｅ＿ｍｉｎ＝ｆ（ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、ＭｏｔｉｏｎＣｏｕｎｔ＿１１Ａ、Ｅ＿ｍｉｎ＿ｂａｓｉｓ） （８）
ただしｆは予めさだめられた関数である。
E_max = f (MotionValue_11A, MotionCount_11A, E_max_basis) (7)
E_min = f (MotionValue_11A, MotionCount_11A, E_min_basis) (8)
Where f is a previously stored function.
図１３は、第２拠点１１Ｂの第２参加者１５が自分の存在に気付いて欲しいと思っている度合いを反映し、第１拠点参加者に提示する感覚量Ｅを算出する具体的な例を説明するためのグラフ図である。
例えば、第２参加者１５が自分の存在に気付いて欲しいと思っている度合いは、図１３に示す範囲の中で、上記度合いによってその範囲の中で値を調整することで算出する。例えば、自分の存在に強く気付いて欲しいと思っている場合には、Ｅ＿ｍａｘに近い値をとる。自分の存在に気付いて欲しいと思っている度合いが小さい場合にはＥ＿ｍｉｎに近い値をとる。
FIG. 13 shows a specific example of calculating the sensation amount E to be presented to the first base participant, reflecting the degree to which the
For example, the degree to which the
上記これまでの実施例すべてについて、以下に記載の内容であってもよい。
例えば、第２拠点１１Ｂにいる参加者１５の自分の存在に気づいて欲しい度合いはこれまでの実施例では、第２参加者の動作をもって算出していたが、例えば、動作に現れない思いを脳波などの信号をもって計測し算出してもよい。
また、刺激Ｒの算出処理は、第２参加者１５を表すアバターロボット１７と、第１拠点１１Ａの第１参加者１３と第３参加者１４との距離、又は第２参加者１５を表すアバターロボット１７と、第１拠点１１Ａの第１参加者１３との距離、又は、第２参加者１５を表すアバターロボット１７と、第１拠点１１Ａの第３参加者１４との距離に比例する強さで算出する処理であってもよい。
また、第１拠点１１Ａの拠点状況情報を計測し、上記算出処理、判定処理を行う際の話者は、複数いてもよい。
このように、第２拠点状況情報、第１参加者の感覚量の分布に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
The contents described below may be applied to all the above-described embodiments.
For example, although the degree to which the
In addition, calculation processing of stimulus R,
In addition, there may be a plurality of speakers when measuring the base situation information of the
Thus, based on the second base situation information and the distribution of the amount of sense of the first participant, adjustment of the degree of presenting the amount of intention representing the degree of willingness to participate in the conference appearing in the behavior of the remote participant It can be carried out.
＜本発明の実施態様例と効果＞
＜第１態様＞
本態様のコミュニケーション補助装置は、第１拠点１１Ａに配置されたテレビ会議端末１０Ａおよび第２拠点１１Ｂに配置されたテレビ会議端末１０Ｂとの間で通信ネットワークＮを経由したコミュニケーションを補助するコミュニケーション補助装置であって、第１拠点１１Ａには、推定された第２拠点１１Ｂの状況を表す第２拠点状況情報を受信する無線通信部５３と、第１拠点１１Ａにいる第１参加者１３が知覚可能な感覚量の範囲を算出する感覚量範囲算出部５５ａと、第２拠点状況情報と第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の意思量を算出する意思量算出部５５ｂと、意思量に応じた刺激を第１参加者が知覚できるように出力する刺激出力部５７と、を備えることを特徴とする。
本態様によれば、第２拠点状況情報と第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
<Example of embodiment of the present invention and effect>
<First aspect>
The communication assisting apparatus of this aspect is a communication assisting apparatus for assisting communication via the communication network N between the
According to this aspect, based on the second base situation information and the range of the amount of sense of the first participant, the degree of presenting the amount of intention representing the degree of willingness to participate in the conference appearing in the behavior of the remote participant Adjustments can be made. That is, it is possible to adjust the degree of presenting one's presence to the other party.
＜第２態様＞
本態様のコミュニケーション補助装置は、第１拠点１１Ａの状況を表す第１拠点状況情報を推定する第１拠点状況推定部２５を備え、意思量算出部５５ｂは、第１拠点状況情報、第２拠点状況情報および第１参加者の感覚量の範囲に基づいて、第２参加者の意思量を算出することを特徴とする。
本態様によれば、第１拠点状況情報、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
Second Embodiment
The communication assistance device of this aspect includes a first base
According to this aspect, based on the first base situation information, the second base situation information, and the range of the first participant's sense amount, the intention indicating the degree of the participation intention to the conference appearing in the speech of the remote place participant Adjustments can be made to the degree of presenting the quantity. That is, it is possible to adjust the degree of presenting one's presence to the other party.
＜第３態様＞
本態様のコミュニケーション補助装置は、感覚量範囲算出部５５ａは、第１参加者が知覚可能な感覚量の分布を算出し、参加意思量算出部５５ｂは、第２拠点状況情報、第１参加者の感覚量の分布に基づいて、意思量を算出することを特徴とする。
本態様によれば、第２拠点状況情報、第１参加者の感覚量の分布に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
Third Embodiment
In the communication assistance device of this aspect, the sensation amount
According to this aspect, based on the second base situation information and the distribution of the amount of sense of the first participant, the degree of presenting the amount of intention representing the degree of willingness to participate in the conference appearing in the behavior of the remote participant Adjustments can be made. That is, it is possible to adjust the degree of presenting one's presence to the other party.
＜第４態様＞
本態様のコミュニケーション補助装置は、第１拠点状況推定部２５は、第１拠点１１Ａの音声信号、及び映像信号を計測する第１音声映像計測手段と、第１拠点１１Ａの映像信号に基づいて第１特徴的動作情報を抽出する第１特徴的動作抽出手段と、第１拠点１１Ａの音声信号と映像信号に基づいて発言者情報と当該発言者の対話相手情報を特定する特定手段と、対話相手情報が第２参加者を表すか否かを判定する判定手段と、を備え、第１拠点状況推定部２５は、第１特徴的動作情報、発言者情報、及び対話相手情報を第１拠点状況情報として出力することを特徴とする。
本態様によれば、第１特徴的動作情報、発言者情報、及び対話相手情報を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
<Fourth aspect>
In the communication assisting apparatus of the present embodiment, the first base
According to this aspect, by using the first characteristic motion information, the speaker information, and the conversation partner information as the first base situation information, the degree of the participation intention to the conference appearing in the behavior of the remote participant is represented. It is possible to adjust the degree of presenting the amount of intention. That is, it is possible to adjust the degree of presenting one's presence to the other party.
＜第５態様＞
本態様のコミュニケーション補助装置は、刺激出力部５７は、刺激を出力するように構成されたロボット部１７を備え、第１拠点状況推定部２５は、第１参加者とロボット部１７の間の距離を計測する測距手段を備え、距離を第１拠点状況情報として推定することを特徴とする。
本態様によれば、第１参加者とロボット部１７の間の距離を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
<Fifth aspect>
In the communication assistance device of this aspect, the stimulus output unit 57 includes the
According to this aspect, by using the distance between the first participant and the
＜第６態様＞
本態様のコミュニケーション補助装置は、刺激出力部５７は、第１参加者が目視することにより感知可能な光波信号を発生する光波発生手段、第１参加者が聴取することにより感知可能な音波信号を発生する音波発生手段、第１参加者が接触することにより感知可能な振動を発生する振動発生手段、第１参加者が嗅取することにより感知可能な臭気を発生する臭気発生手段のうち、少なくとも１つであることを特徴とする。
本態様によれば、第１参加者が感知可能な光波信号、音波信号、振動、臭気のうち、少なくとも１つを発生することで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示することができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
<Sixth aspect>
In the communication assisting apparatus of the present embodiment, the stimulation output unit 57 generates a light wave generating means that generates a light wave signal that can be sensed by the first participant visually, a sound wave signal that can be sensed by the first participant listening At least at least among a sound wave generation means to be generated, a vibration generation means to generate a sensible vibration by contact with the first participant, and an odor generation means to generate a sensible odor by sniffing by the first participant It is characterized by being one.
According to this aspect, by generating at least one of the light wave signal, the sound wave signal, the vibration, and the odor that can be sensed by the first participant, the intention to participate in the conference that appears in the behavior of the remote participant It is possible to present an intention amount that represents the degree. That is, it is possible to adjust the degree of presenting one's presence to the other party.
＜第７態様＞
本態様のコミュニケーション補助装置は、第２拠点状況推定部４５は、第２拠点１１Ｂの状況として音声信号、及び映像信号を計測する第２音声映像計測手段と、所定時間内における第２拠点１１Ｂの音声信号が所定音量以下である場合に、第２拠点１１Ｂの映像信号に基づいて第２特徴的動作情報を抽出する第２特徴的動作抽出手段と、第２特徴的動作情報を第２拠点状況情報として第１拠点１１Ａ側に送信する送信手段と、を備えることを特徴とする。
本態様によれば、所定時間内における第２拠点１１Ｂの音声信号が所定音量以下である場合に、第２拠点１１Ｂの映像信号に基づいて第２特徴的動作情報を抽出するので、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を算出することができる。
<Seventh aspect>
In the communication assisting apparatus of this aspect, the second base
According to this aspect, when the audio signal of the
＜第８態様＞
本態様のコミュニケーション補助システムは、第１乃至６態様の何れか１つに記載のコミュニケーション補助装置を刺激量算出出力ユニット５０とし、第７態様に記載のコミュニケーション補助装置を第２拠点状況推定ユニット４０として備えることを特徴とする。
本態様によれば、刺激量算出出力ユニット５０と、第２拠点状況推定ユニット４０とを用いてコミュニケーション補助システムを構成することができる。
Eighth Embodiment
The communication assistance system of this aspect uses the communication assistance device according to any one of the first to sixth aspects as a stimulation amount
According to this aspect, the communication assistance system can be configured using the stimulation amount
＜第９態様＞
本態様のコミュニケーション補助方法は、第１拠点１１Ａに配置された第１会議端末１０Ａおよび第２拠点１１Ｂに配置された第２会議端末１０Ｂの間で通信ネットワークＮを経由したコミュニケーションを補助するコミュニケーション補助方法であって、第１拠点１１Ａには、推定された第２拠点１１Ｂの状況を表す第２拠点状況情報を受信する受信ステップＳ２００と、第１拠点１１Ａにいる第１参加者１３が知覚可能な感覚量の範囲を算出する感覚量範囲算出ステップＳ３００と、第２拠点状況情報と第１参加者１３の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者１５の意思量を算出する意思量算出ステップＳ３００と、意思量に応じた刺激を第１参加者１３が知覚できるように出力する刺激出力ステップＳ４００と、を備えることを特徴とする。
本態様によれば、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
<Ninth aspect>
The communication assistance method of this aspect is a communication assistance method for assisting communication via the communication network N between the
According to this aspect, based on the second base situation information and the range of the amount of sense of the first participant, the degree of presenting the amount of intention representing the degree of willingness to participate in the conference appearing in the speech of the remote participant Adjustments can be made. That is, it is possible to adjust the degree of presenting one's presence to the other party.
＜第１０態様＞
本態様のプログラムは、第９態様の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、各ステップをＣＰＵに実行させることができるので、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
<10th aspect>
The program of this aspect is characterized by causing the processor to execute each step of the ninth aspect.
According to this aspect, since each step can be executed by the CPU, it is possible to adjust the degree of presenting the intention amount representing the degree of the willingness to participate in the conference appearing in the behavior of the remote place participant.
４…撮像装置、５…マイク、６…スピーカ、７…ディスプレイ、８…処理装置、１０…テレビ会議端末、１１Ａ…第１拠点、１１Ｂ…第２拠点、１３…第１参加者、１４…第３参加者、１５…第２参加者、１７…アバターロボット、２０…第１拠点状況計測推定ユニット、２１…第１拠点状況計測部、２３…第１拠点状況取込部、２５…第１拠点状況推定部、２７…無線通信部、３０…中継ユニット、４０…第２拠点状況計測推定ユニット、４１…第２拠点状況計測部、４３…第２拠点状況取込部、４５…第２拠点状況推定部、５０…刺激量算出出力ユニット、５５…刺激量算出部、５５ａ…感覚量範囲算出部、５５ｂ…意思量算出部、５５ｃ…刺激量算出部、５７…刺激出力部、Ｎ…通信ネットワーク
DESCRIPTION OF SYMBOLS 4 ... Imaging device, 5 ... Microphone, 6 ... Speaker, 7 ... Display, 8 ... Processing apparatus, 10 ... Video conference terminal, 11A ... 1st base, 11B ... 2nd base, 13 ... 1st participant, 14 ... 1st 3 participants, 15: second participant, 17: avatar robot, 20: first base situation measurement estimation unit, 21: first base situation measurement section, 23: first base situation capture section, 25: first base
Claims (9)
前記第１拠点には、
推定された前記第２拠点の状況を表す第２拠点状況情報を受信する受信手段と、
前記第１拠点にいる第１参加者が知覚可能な感覚量の範囲を算出する感覚量範囲算出手段と、
前記第２拠点状況情報が閾値以上である場合に、前記第２拠点にいる前記第２参加者の意思量を算出する意思量算出手段と、
前記第２拠点にいる前記第２参加者の意思量に応じて、前記第１参加者の感覚量の範囲に応じた刺激を前記第１参加者が知覚できるように出力する刺激出力手段と、を備えることを特徴とするコミュニケーション補助装置。 A communication assistance apparatus for assisting communication via a network between a first conference terminal arranged at a first location and a second conference terminal arranged at a second location, comprising:
At the first site,
A receiving unit that receives second base status information indicating the estimated second base status;
Sense amount range calculation means for calculating a range of sense amounts perceivable by a first participant at the first base;
When the second center status information is equal to or greater than the threshold, the intention amount calculating means for calculating the intention of the second participants in the second center,
Stimulus output means for outputting a stimulus according to the range of the amount of sense of the first participant according to the amount of intention of the second participant at the second base so that the first participant can perceive a stimulus; A communication assisting apparatus comprising:
前記第１拠点の音声信号、及び映像信号を計測する第１音声映像計測手段と、
前記第１拠点の映像信号に基づいて第１特徴的動作情報を抽出する第１特徴的動作抽出手段と、
前記第１拠点の音声信号と映像信号に基づいて発言者情報と当該発言者の対話相手情報を特定する特定手段と、
前記対話相手情報が前記第２参加者を表すか否かを判定する判定手段と、を備え、
前記第１推定手段は、
前記第１特徴的動作情報、前記発言者情報、及び前記対話相手情報を前記第１拠点状況情報として出力することを特徴とする請求項２記載のコミュニケーション補助装置。 The first estimation means is
First audio / video measurement means for measuring the audio signal and video signal of the first site;
First characteristic operation extraction means for extracting first characteristic operation information based on the video signal of the first base;
Specifying means for specifying the speaker information and the talk partner information of the speaker based on the audio signal and the video signal of the first base;
Determining means for determining whether the conversation partner information represents the second participant,
The first estimation means is
The communication assistance device according to claim 2, wherein the first characteristic operation information, the speaker information, and the conversation partner information are output as the first base situation information.
前記刺激を出力するように構成されたロボット部を備え、
前記第１推定手段は、
前記第１参加者と前記ロボット部の間の距離を計測する測距手段を備え、
前記距離を前記第１拠点状況情報として推定することを特徴とする請求項２記載のコミュニケーション補助装置。 The stimulus output means is
A robot unit configured to output the stimulus;
The first estimation means is
Distance measuring means for measuring a distance between the first participant and the robot unit;
The communication assistance device according to claim 2, wherein the distance is estimated as the first base situation information.
前記第１参加者が目視することにより感知可能な光波信号を発生する光波発生手段、
前記第１参加者が聴取することにより感知可能な音波信号を発生する音波発生手段、
前記第１参加者が接触することにより感知可能な振動を発生する振動発生手段、
前記第１参加者が嗅取することにより感知可能な臭気を発生する臭気発生手段のうち、少なくとも１つであることを特徴とする請求項２又は４項に記載のコミュニケーション補助装置。 The stimulus output means is
Light wave generating means for generating a light wave signal that can be sensed by the first participant viewing;
Sound wave generation means for generating a sound wave signal that can be sensed by the first participant listening;
Vibration generating means for generating a sensible vibration by contact with the first participant;
The communication assistance device according to claim 2 or 4 , wherein at least one of the odor generating means generates odor that can be sensed by the first participant sniffing.
前記第２拠点の状況を表す第２拠点状況情報を推定する第２推定手段を備え、
前記第２推定手段は、
前記第２拠点の状況として音声信号、及び映像信号を計測する第２音声映像計測手段と、
所定時間内における前記第２拠点の音声信号が所定音量以下である場合に、前記第２拠点の映像信号に基づいて第２特徴的動作情報を抽出する第２特徴的動作抽出手段と、
前記第２特徴的動作情報を前記第２拠点状況情報として前記第１拠点側に送信する送信手段と、を備えることを特徴とする請求項１記載のコミュニケーション補助装置。 At the second site,
A second estimation unit configured to estimate second location status information representing the status of the second location;
The second estimation means is
A second audio / video measurement unit configured to measure an audio signal and a video signal as the status of the second base;
Second characteristic operation extraction means for extracting second characteristic operation information based on the video signal of the second base when the audio signal of the second base within a predetermined time is equal to or lower than a predetermined volume;
The communication assistance device according to claim 1, further comprising: a transmission unit that transmits the second characteristic operation information to the first base as the second base status information.
請求項６記載のコミュニケーション補助装置を第２ユニットとして備えることを特徴とするコミュニケーション補助システム。 A communication assistance apparatus according to any one of claims 2 to 5 as a first unit,
A communication assistance system comprising the communication assistance device according to claim 6 as a second unit.
前記第１拠点には、
推定された前記第２拠点の状況を表す第２拠点状況情報を受信する受信ステップと、
前記第１拠点にいる第１参加者が知覚可能な感覚量の範囲を算出する感覚量範囲算出ステップと、
前記第２拠点状況情報が閾値以上である場合に、前記第２拠点にいる前記第２参加者の意思量を算出する意思量算出ステップと、
前記第２拠点にいる前記第２参加者の意思量に応じて、前記第１参加者の感覚量の範囲に応じた刺激を前記第１参加者が知覚できるように出力する刺激出力ステップと、を備えることを特徴とするコミュニケーション補助方法。 A communication assistance method for assisting communication via a network between a first conference terminal arranged at a first base and a second conference terminal arranged at a second base, comprising:
At the first site,
A receiving step of receiving second base status information representing the estimated second base status;
A sensory amount range calculating step of calculating a range of sensory amounts perceivable by a first participant at the first base;
When the second center status information is equal to or greater than the threshold, the intention amount calculating step of calculating the intention of the second participants in the second center,
A stimulus output step of outputting a stimulus according to the range of the amount of sense of the first participant according to the amount of intention of the second participant at the second base so that the first participant can perceive a stimulus; A communication assistance method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014101551A JP6543891B2 (en) | 2014-05-15 | 2014-05-15 | Communication aid device, communication aid system, communication aid method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014101551A JP6543891B2 (en) | 2014-05-15 | 2014-05-15 | Communication aid device, communication aid system, communication aid method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015220534A JP2015220534A (en) | 2015-12-07 |
| JP6543891B2 true JP6543891B2 (en) | 2019-07-17 |
Family
ID=54779616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014101551A Active JP6543891B2 (en) | 2014-05-15 | 2014-05-15 | Communication aid device, communication aid system, communication aid method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6543891B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6529065B2 (en) * | 2015-01-30 | 2019-06-12 | Kddi株式会社 | ROBOT CONTROL DEVICE, ROBOT CONTROL SYSTEM, AND ROBOT CONTROL PROGRAM |
| JP7371770B2 (en) | 2020-05-12 | 2023-10-31 | 富士通株式会社 | Avatar control program, avatar control method, and information processing device |
| WO2024075707A1 (en) * | 2022-10-07 | 2024-04-11 | 京セラ株式会社 | System, electronic device, method for controlling system, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7092001B2 (en) * | 2003-11-26 | 2006-08-15 | Sap Aktiengesellschaft | Video conferencing system with physical cues |
-
2014
- 2014-05-15 JP JP2014101551A patent/JP6543891B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015220534A (en) | 2015-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6992870B2 (en) | Information processing systems, control methods, and programs | |
| KR102658445B1 (en) | Voice affect modification | |
| KR20200091839A (en) | Communication device, communication robot and computer readable storage medium | |
| US20200293526A1 (en) | Information processing system, information processing method, and storage medium | |
| US9848166B2 (en) | Communication unit | |
| WO2018174088A1 (en) | Communication analysis device, measurement/feedback device used therefor, and interaction device | |
| JP2016126500A (en) | Wearable terminal device and program | |
| JP6543891B2 (en) | Communication aid device, communication aid system, communication aid method and program | |
| KR20180068975A (en) | Information processing system, and information processing method | |
| JP2016018313A (en) | Program, information processing apparatus, communication system, and communication method | |
| US9361316B2 (en) | Information processing apparatus and phrase output method for determining phrases based on an image | |
| KR101504699B1 (en) | Phonetic conversation method and device using wired and wiress communication | |
| WO2018158852A1 (en) | Telephone call system and communication system | |
| WO2016157993A1 (en) | Information processing device, information processing method, and program | |
| JP2018186326A (en) | Robot apparatus and program | |
| JP7123856B2 (en) | Presentation evaluation system, method, trained model and program, information processing device and terminal device | |
| CN109903218B (en) | Image processing method and terminal | |
| JP6550951B2 (en) | Terminal, video conference system, and program | |
| JP2006136742A (en) | Communication apparatus | |
| US20190173683A1 (en) | Information processing apparatus and information processing system | |
| CN113438303B (en) | Remote auxiliary work system and method, electronic equipment and storage medium | |
| JP6529065B2 (en) | ROBOT CONTROL DEVICE, ROBOT CONTROL SYSTEM, AND ROBOT CONTROL PROGRAM | |
| JP7123028B2 (en) | Information processing system, information processing method, and program | |
| EP4273669A1 (en) | Monitoring of facial characteristics | |
| WO2020213292A1 (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190521 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190603 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6543891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |