JP2010226542A - 通信装置、通信システム、通信制御方法、通信制御プログラム - Google Patents
通信装置、通信システム、通信制御方法、通信制御プログラム Download PDFInfo
- Publication number
- JP2010226542A JP2010226542A JP2009072980A JP2009072980A JP2010226542A JP 2010226542 A JP2010226542 A JP 2010226542A JP 2009072980 A JP2009072980 A JP 2009072980A JP 2009072980 A JP2009072980 A JP 2009072980A JP 2010226542 A JP2010226542 A JP 2010226542A
- Authority
- JP
- Japan
- Prior art keywords
- reaction operation
- image
- user
- reaction
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】属性の違いによって意思表示の動作が異なる場合でも、混乱なく自然な会話を実現できる通信装置、通信システム、通信制御方法、通信制御プログラムを提供する。
【解決手段】端末装置3には、YES、NOを意志表示する際の動作をユーザの属性情報に基づいて変換する変換テーブルが記憶されている。自拠点で検出された顔移動方向と、配信先の属性情報に基づいて変換された顔移動方向とが一致しない場合、配信先の属性情報に基づいて変換された顔移動方向に顔を振る動画を相手側に配信するので自然な会話を実現できる。
【選択図】図1
【解決手段】端末装置3には、YES、NOを意志表示する際の動作をユーザの属性情報に基づいて変換する変換テーブルが記憶されている。自拠点で検出された顔移動方向と、配信先の属性情報に基づいて変換された顔移動方向とが一致しない場合、配信先の属性情報に基づいて変換された顔移動方向に顔を振る動画を相手側に配信するので自然な会話を実現できる。
【選択図】図1
Description
本発明は、相手側の通信装置との間で、画像と音声を双方向に送受信できる通信装置、通信システム、通信装置の通信制御方法、通信制御プログラムに関する。
従来、複数の通信装置をネットワークを介して接続し、画像と音声を双方向に送受信することで、遠隔の地にある者同士の会議を実現できるテレビ会議システムが知られている。例えば、他地点のテレビ会議端末装置から送信された画像と音声を受信する受信部と、この受信部で受信された画像を表示するディスプレイ装置と、画像を撮影するカメラと、音声を集音するマイクと、前記受信部で受信された音声を出力するスピーカと、前記カメラで撮影された画像と前記マイクで集音された音声を他地点のテレビ会議端末装置に送信する送信部とを備えたテレビ会議システムが知られている(例えば、特許文献1参照)。このシステムでは、ディスプレイ装置に表示された他地点の画像を見ながら相手と会話することができる。
しかしながら、特許文献1に記載のテレビ会議システムにおいては、会話をする話者と聞き手の属性の違いによって、意思表示の際に使用する身振り等が異なる場合がある。属性とは、国や、文化圏等のように、その人の性質や特徴を表すものである。例えば、日本では首を横方向に振ると「NO」、縦方向に振ると「YES」の意味となるが、ブルガリアでは首を横方向に振ると「YES」、縦方向に振ると「NO」の意味となる。このような場合、会話に混乱を生じるという問題点があった。
本発明は、上記課題を解決するためになされたものであり、属性の違いによって意思表示の動作が異なる場合でも、混乱なく自然な会話を実現できる通信装置、通信システム、通信制御方法、通信制御プログラムを提供することを目的とする。
上記目的を達成するために、請求項1に係る発明の通信装置は、ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置であって、ユーザを識別するための情報である属性情報を取得する属性情報取得手段と、ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、当該画像取得手段によって取得された前記画像を表示する表示手段と、ユーザの反応動作を検出する反応動作検出手段と、当該反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、当該意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、当該反応動作時画像取得手段によって取得された前記反応動作時画像を他の通信装置に送信する反応動作時画像送信手段と、他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段とを備えている。
また、請求項2に係る発明の通信装置は、請求項1に記載の発明の構成に加え、前記意味内容特定手段によって特定された意味内容を、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報に基づき、前記他の通信装置から送信された前記属性情報が示す属性に対応する反応動作に変換する属性反応動作変換手段と、前記反応動作検出手段によって検出された前記反応動作と、前記属性反応動作変換手段によって変換された前記反応動作とが一致するか否かを判断する反応動作一致判断手段とを備え、前記反応動作時画像取得手段は、前記反応動作一致判断手段によって前記反応動作が一致しないと判断された場合に、前記意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得することを特徴とする。
また、請求項3に係る発明の通信装置は、請求項1又は2に記載の発明の構成に加え、前記反応動作検出手段によって前記ユーザの反応動作が検出された場合に、前記撮影手段によって撮影された前記反応動作時画像を、前記反応動作時画像記憶手段に記憶する反応動作時画像記憶処理手段を備えている。
また、請求項4に係る発明の通信装置は、請求項1乃至3の何れかに記載の発明の構成に加え、前記表示手段には、前記他の通信装置からストリーミング配信される前記画像が表示され、前記表示制御手段は、前記反応動作時画像受信手段によって前記反応動作時画像が受信された場合に、前記表示手段に表示される画像に割り込んで、前記反応動作時画像を表示させることを特徴とする。
また、請求項5に係る発明の通信装置は、請求項1乃至4の何れかに記載の発明の構成に加え、前記反応時動作は、ユーザの顔が振れる頷き動作であって、当該頷き動作の種類には、前記顔が上下方向に振れる第1頷き動作と、前記顔が左右方向に振れる第2頷き動作とが含まれ、前記属性別反応動作情報において、前記意味情報には、肯定する第1意味内容と、否定する第2意味内容とが含まれ、前記属性情報毎に、前記第1頷き動作に対して、前記第1意味内容又は前記第2意味内容が設定され、前記第2頷き動作に対して、前記第1頷き動作に設定された前記意味内容とは反対の意味内容である前記第1意味内容又は前記第2意味内容が設定されたことを特徴とする。
また、請求項6に係る発明の通信装置は、請求項1乃至5の何れかに記載の発明の構成に加え、前記属性情報は、ユーザが居住する地域を示す地域情報であることを特徴とする。
また、請求項7に係る発明の通信装置は、請求項1乃至5の何れかに記載の発明の構成に加え、前記属性情報は、ユーザが居住する国を示す国情報であることを特徴とする。
また、請求項8に係る発明の通信システムは、ネットワークを介して相互に接続された複数の通信装置とサーバとを備え、前記複数の通信装置間で画像と音声を介した通信を行う通信システムであって、前記サーバは、ユーザを識別するための属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段と、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段とを備え、前記通信装置は、ユーザの属性情報を取得する属性情報取得手段と、ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、当該画像取得手段によって取得された前記画像を表示する表示手段と、ユーザの反応動作を検出する反応動作検出手段と、前記サーバに接続して、前記反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、当該意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、当該反応動作時画像取得手段によって取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信手段と、前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段とを備えている。
また、請求項9に係る発明の通信制御方法は、ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置の通信制御方法であって、ユーザを識別するための情報である属性情報を取得する属性情報取得ステップと、ユーザを撮影する撮影手段により撮影された画像を取得する画像取得ステップと、当該画像取得ステップにおいて取得された前記画像を表示手段に表示させる表示ステップと、ユーザの反応動作を検出する反応動作検出ステップと、当該反応動作検出ステップにおいて検出された反応動作が示す意味内容を、前記属性情報取得ステップにおいて取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定ステップと、当該意味内容特定ステップによって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得ステップと、当該反応動作時画像取得ステップにおいて取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信ステップと、前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御ステップとを備えている。
また、請求項10に係る発明の通信制御プログラムは、請求項1乃至7の何れかに記載の通信装置の各種処理手段としてコンピュータを機能させることを特徴とする。
請求項1に係る発明の通信装置では、ネットワークを介して接続された他の通信装置と画像と音声を介した通信が行われる。属性情報取得手段はユーザを識別するための情報である属性情報を取得する。画像取得手段はユーザを撮影する撮影手段により撮影された画像を取得する。表示手段にはその取得された画像が表示される。属性別反応動作情報記憶手段には、属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報が記憶されている。反応動作時画像記憶手段には、ユーザの属性情報と、ユーザの反応動作時の画像である反応動作時画像とが対応付けられて記憶されている。ユーザの反応動作は反応動作検出手段によって検出される。意味内容特定手段は、反応動作検出手段によって検出された反応動作が示す意味内容を、属性情報取得手段によって取得されたユーザの属性情報において、属性別反応動作情報記憶手段に記憶された属性別反応動作情報から特定する。反応動作時画像取得手段は、意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、反応動作時画像記憶手段に記憶された反応動作時画像から取得する。反応動作時画像送信手段は、反応動作時画像取得手段によって取得された反応動作時画像を他の通信装置に送信する。表示制御手段は、他の通信装置から送信された反応動作時画像を表示手段に表示させる。つまり、他の通信装置から送信される相手側の属性情報が示す属性に対応する反応動作の反応動作時画像を取得し、相手側の他の通信装置に送信することができる。これにより、各通信装置では、その属性に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の属性が異なる場合であっても、混乱なく自然な会話を実現できる。
また、請求項2に係る発明の通信装置では、請求項1に記載の発明の効果に加え、属性反応動作変換手段は、意味内容特定手段によって特定された意味内容を、属性別反応動作情報記憶手段に記憶された属性別反応動作情報に基づき、他の通信装置から送信された属性情報が示す属性に対応する反応動作に変換する。反応動作一致判断手段が、反応動作検出手段によって検出された反応動作と、属性反応動作変換手段によって変換された反応動作とが一致するか否かを判断する。反応動作時画像取得手段は、反応動作一致判断手段によって反応動作が一致しないと判断された場合に、意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、反応動作時画像記憶手段に記憶された反応動作時画像から取得する。このように、反応動作が一致しない場合にだけ、反応動作時画像を取得するので処理を簡素化できる。つまり、反応動作が一致する場合は、反応動作時画像を取得する必要がないので、画像取得手段によって取得された画像を表示手段にそのまま表示させることができる。
また、請求項3に係る発明の通信装置では、請求項1又は2に記載の発明の効果に加え、反応動作時画像記憶処理手段は、反応動作検出手段によってユーザの反応動作が検出された場合に、撮影手段によって撮影された反応動作時画像を、反応動作時画像記憶手段に記憶する。これにより反応動作時画像を自ら演技して作成する手間が不要となる。
また、請求項4に係る発明の通信装置では、請求項1乃至3の何れかに記載の発明の効果に加え、表示手段には、他の通信装置からストリーミング配信される画像が表示される。表示制御手段は、反応動作時画像受信手段によって反応動作時画像が受信された場合に、表示手段に表示される画像に割り込んで、反応動作時画像を表示させる。これにより、表示手段に表示されている画像に割り込んで、ユーザの属性情報に対応する反応動作時画像を表示させることができる。
また、請求項5に係る発明の通信装置では、請求項1乃至4の何れかに記載の発明の効果に加え、反応時動作は、ユーザの顔が振れる頷き動作である。その頷き動作の種類には、顔が上下方向に振れる第1頷き動作と、顔が左右方向に振れる第2頷き動作とが含まれる。属性別反応動作情報において、意味情報には、肯定する第1意味内容と、否定する第2意味内容とが含まれる。属性情報毎に、第1頷き動作に対して、第1意味内容又は前記第2意味内容が設定されている。つまり、属性の違いによって、第1頷き動作の意味内容は異なる場合があるから、第1意味内容又は前記第2意味内容の何れかが設定される。一方、第2頷き動作に対しては、第1頷き動作に設定された意味内容とは反対の意味内容である第1意味内容又は第2意味内容が設定される。頷き動作は、属性の違いによって意味内容が正反対になる場合があるので、このような属性別反応動作情報を記憶することで、その属性に対応する反応動作を容易に取得できる。
また、請求項6に係る発明の通信装置では、請求項1乃至5の何れかに記載の発明の効果に加え、 ユーザが居住する地域を示す地域情報を属性情報とする。ユーザが居住する地域の違いによって、反応動作に対する意味内容が異なる場合、ユーザの反応動作を、他の通信装置から送信される相手側の地域情報が示す地域に対応する反応動作に変換し、その反応動作に対応する反応動作時画像を相手側の他の通信装置に送信することができる。これにより、各通信装置では、その地域に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の地域が異なる場合であっても、混乱なく自然な会話を実現できる。
また、請求項7に係る発明の通信装置では、請求項1乃至5の何れかに記載の発明の効果に加え、ユーザが居住する国を示す国情報を属性情報とする。ユーザが居住する国の違いによって、反応動作に対する意味内容が異なる場合、ユーザの反応動作を、他の通信装置から送信される相手側の国情報が示す国に対応する反応動作に変換し、その反応動作に対応する反応動作時画像を相手側の他の通信装置に送信することができる。これにより、各通信装置では、その地域に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の国が異なる場合であっても、混乱なく自然な会話を実現できる。
また、請求項8に係る発明の通信システムでは、ネットワークを介して相互に接続された複数の通信装置とサーバとを備え、複数の通信装置間で画像と音声を介した通信が行われる。通信装置では、属性情報取得手段はユーザを識別するための情報である属性情報を取得する。画像取得手段はユーザを撮影する撮影手段により撮影された画像を取得する。表示手段には、第1表示制御手段によって、その取得された画像が表示される。ユーザの反応動作は反応動作検出手段によって検出される。意味内容特定手段は、反応動作検出手段によって検出された反応動作が示す意味内容を、属性情報取得手段によって取得されたユーザの属性情報において、サーバが所有する属性別反応動作情報記憶手段に記憶された属性別反応動作情報から特定する。反応動作時画像取得手段は、意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、サーバが所有する反応動作時画像記憶手段に記憶された反応動作時画像から取得する。反応動作時画像送信手段は、反応動作時画像取得手段によって取得された反応動作時画像を他の通信装置に送信する。一方、反応動作時画像受信手段は、他の通信装置から送信された反応動作時画像を受信する。第2表示制御手段は、反応動作時画像受信手段によって受信された反応動作時画像を表示手段に表示させる。つまり、他の通信装置から送信される相手側の属性情報が示す属性に対応する反応動作の反応動作時画像を取得し、相手側の他の通信装置に送信することができる。これにより、各通信装置では、その属性に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の属性が異なる場合であっても、混乱なく自然な会話を実現できる。
また、請求項9に係る発明の通信制御方法では、属性情報取得ステップにおいて、ユーザを識別するための情報である属性情報を取得する。画像取得ステップにおいて、ユーザを撮影する撮影手段により撮影された画像を取得する。第1表示制御ステップにおいて、画像取得ステップにおいて取得された画像を表示手段に表示する。反応動作検出ステップにおいて、ユーザの反応動作を検出する。次いで、意味内容特定ステップにおいて、反応動作検出ステップにおいて検出された反応動作が示す意味内容を、属性情報取得ステップにおいて取得されたユーザの属性情報において、属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する。さらに、反応動作時画像取得ステップにおいて、意味内容特定ステップにおいて特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する。続いて、反応動作時画像送信ステップにおいて、反応動作時画像取得ステップにおいて取得された反応動作時画像を他の通信装置に送信する。また、反応動作時画像受信ステップにおいて、他の通信装置から送信された反応動作時画像を受信する。そして、第2表示制御ステップにおいて、反応動作時画像受信ステップにおいて受信された反応動作時画像を表示手段に表示させる。つまり、他の通信装置から送信される相手側の属性情報が示す属性に対応する反応動作の反応動作時画像を取得し、相手側の他の通信装置に送信することができる。これにより、各通信装置では、その属性に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の属性が異なる場合であっても、混乱なく自然な会話を実現できる。
また、請求項10に係る発明の通信制御プログラムでは、請求項1乃至7の何れかに記載の通信装置の各種処理手段としてコンピュータに実行させることによって、請求項1乃至7の何れかに記載の発明の効果を得ることができる。
以下、本発明の一実施形態である端末装置3について、図面を参照して説明する。はじめに、端末装置3を構成要素とするテレビ会議システム1の構成について、図1を参照して説明する。
テレビ会議システム1は、ネットワーク2を介して相互に接続され、かつ各拠点に設けられた複数の端末装置3、4、5、6とを備えている。テレビ会議システム1では、端末装置3、4、5、6間において、ネットワーク2を介して、画像、音声が互いに送受信されることで遠隔会議が実施される。本実施形態では、説明の便宜上、端末装置3は日本を拠点とし、端末装置4はアメリカを拠点とし、端末装置5はフランスを拠点とし、端末装置4を拠点とし、端末装置5はブルガリアを拠点としたシステムを想定する。
なお、本実施形態は、端末装置3〜6間における話者と聞き手の国の違いによって、「YES」「NO」の意志表示に使用される身振り等の意味が異なる場合でも、話者と聞き手の属性情報において、「YES」「NO」を表現する画像を切り替えることができる点に特徴がある。
次に、端末装置3の電気的構成について、図2を参照して説明する。なお、端末装置3〜6は全て同じ構成であるので、ここでは端末装置3の構成についてのみ説明し、他の端末装置4〜6については説明を省略する。
端末装置3には、端末装置3の制御を司るコントローラとしてのCPU20が設けられている。CPU20には、BIOS等を記憶したROM21と、各種データを一時的に記憶するRAM22と、データの受け渡しの仲介を行うI/Oインタフェイス30とが接続されている。I/Oインタフェイス30には、各種記憶エリアを有するハードディスクドライブ31(以下、HDD31)が接続されている。
I/Oインタフェイス30には、ネットワーク2と通信するための通信装置25と、マウス27と、ビデオコントローラ23と、キーコントローラ24と、カードリーダ制御部32と、ユーザを撮影するためのカメラ34と、ユーザの音声を取り込むためのマイク35と、CD−ROMドライブ26とが各々接続されている。ビデオコントローラ23には、ディスプレイ28が接続されている。キーコントローラ24には、キーボード29が接続されている。カードリーダ制御部32には、各ユーザが所有する識別カード(図示外)に記憶されたユーザを識別するためのユーザIDを読み込むためのカードリーダ33が接続されている。
なお、CD−ROMドライブ26に挿入されるCD−ROM114には、端末装置3のメインプログラムや、本発明の通信制御プログラム等が記憶されている。CD−ROM114の導入時には、これら各種プログラムが、CD−ROM114からHDD31にセットアップされて、後述するプログラム記憶エリア316(図3参照)に記憶される。
次に、HDD31の各種記憶エリアについて、図3を参照して説明する。HDD31には、開催される会議にログインしたユーザを管理するログインテーブル3111(図4参照)を記憶するログインテーブル記憶エリア311と、属性情報テーブル3121(図5参照)を記憶する属性情報テーブル記憶エリア312と、ユーザが顔を上下又は左右に振る際の動画(図6参照)を記憶する動画記憶エリア313と、変換テーブル3141(図7参照)を記憶する変換テーブル記憶エリア314と、ユーザの頷き時の波形パターンを記憶する波形パターン記憶エリア315と、各種プログラムを記憶するプログラム記憶エリア316と、その他の情報記憶エリア317と、カメラ34によって撮影されるカメラ画像を記憶するカメラ画像データ記憶エリア318とが、少なくとも設けられている。
プログラム記憶エリア316には、端末装置3のメインプログラムや、他の端末装置4、5、6との間で遠隔会議を実行するための本発明の通信制御プログラム等が記憶されている。その他の情報記憶エリア317には、端末装置3で使用されるその他の情報が記憶されている。なお、端末装置3がHDD31を備えていない専用機の場合は、ROM21に各種プログラムが記憶される。
次に、ログインテーブル3111について、図4を参照して説明する。図4は、ログインテーブル3111の概念図である。ログインテーブル3111には、会議にログインしたユーザのユーザIDが記憶されるユーザID欄51と、そのユーザIDが登録された端末装置3〜6の端末IDとが記憶される端末ID欄52とが対応付けられて設けられている。具体的には、ユーザID欄51には、カードリーダ33で読み取られた識別カード(図示外)に記憶されたユーザIDが記憶される。端末ID欄52には、そのユーザIDを送信した端末装置3〜6の端末IDが記憶される。なお、端末IDとは、端末装置のマックアドレス等である。
例えば、端末装置4のユーザであるBさんがログインする場合、Bさんは自身が所有する識別カードを端末装置4のカードリーダ33に読み取らせる。すると、ログイン信号が相手側の端末装置3,5,6に送信され、ログインしたことが相手側に通知される。この場合、その識別カードに記憶されたユーザID=「002」と、そのユーザIDを送信した端末装置4の端末ID=「0002」とが、ログインテーブル3111のユーザID欄51、端末ID欄52に各々記憶される。その他のユーザについても同様に設定される。
なお、図4に示すログインテーブル3111では、端末装置3(端末ID=0001)のAさん(ユーザID=001)、端末装置4(端末ID=002)のBさん(ユーザID=002)、端末装置5(端末ID=0003)のCさん(ユーザID=0003)、端末装置6(端末ID=004)のDさん(ユーザID=004)がそれぞれログインしている状態を示している。
次に、属性情報テーブル3121について、図5を参照して説明する。属性情報テーブル3121は、ユーザの属性情報を記憶するテーブルである。属性情報テーブル3121には、ユーザID欄53と、名前欄54と、属性情報欄55とが対応付けられて設けられている。ユーザID欄53には、ユーザIDが記憶される。名前欄54には、名前が記憶される。属性情報欄55には、ユーザが居住する国名である国情報が記憶される。
例えば、属性情報テーブル3121の1行目は、ユーザID=001のAさんの国が日本であることを示している。2行目は、ユーザID=002のBさんの国がアメリカであることを示している。3行目は、ユーザID=003のCさんの国がフランスであることを示している。4行目は、ユーザID=004のDさんの国がブルガリアであることを示している。なお、他拠点のユーザの属性情報は各端末装置から送信され、ユーザID、名前と共に、各ユーザの属性情報が属性情報テーブル3121に登録される。
次に、動画記憶エリア313に記憶される動画データついて、図6を参照して説明する。動画記憶エリア313には、その拠点におけるユーザが「YES」と「NO」を意思表示したときの動画がそれぞれ記憶される。動画記憶エリア313には、YES動画欄57と、NO動画欄58とがそれぞれ対応付けられて設けられている。YES動画欄57には、「YES」を意志表示したときの動画が記憶されている。NO動画欄58には、「NO」を意志表示したときの動画が記憶されている。
例えば、YES動画欄57には、AさんのYES動画=「aaa1.avi」が記憶されている。NO動画欄58には、AさんのNO動画=「aaa2.avi」が記憶されている。「aaa1.avi」はAさんが顔を上下に振る動画である。「aaa2.avi」はAさんが顔を左右に振る動画である。
次に、変換テーブル3141について、図7を参照して説明する。変換テーブル3141は、「YES」「NO」を意志表示する際の動作を、ユーザの属性情報に基づいて変換するためのテーブルである。変換テーブル3141には、属性情報欄61と、意味欄62と、顔移動方向欄63とが対応付けられて設けられている。属性情報欄61には、ユーザの属性である国名が記憶されている。意味欄62には、話者に対して肯定の意志表示である「YES」と、話者に対して否定の意志表示である「NO」とが記憶されている。顔移動方向欄63には、「YES」と「NO」で意志表示する際の顔の移動方向が記憶されている。つまり、「YES」「NO」の意志表示の際の顔移動方向が国別に記憶されている。
例えば、変換テーブル3141の1行目には、日本のユーザが「YES」の意志表示をする際の顔の移動方向が「上下」であることが記憶されている。2行目には、日本のユーザが「NO」の意志表示をする際の顔の移動方向が「左右」であることが記憶されている。アメリカ、フランスにおいても、顔の移動方向は日本と同じである。ところが、ブルガリアでの「YES」「NO」の意志表示の際の顔移動方向は、日本、アメリカ、フランスの顔移動方向に対して全く逆になる。即ち、変換テーブル3141の7行目には、ブルガリアのユーザが「YES」の意志表示をする際の顔の移動方向が「左右」であることが記憶されている。8行目には、ブルガリアのユーザが「NO」の意志表示をする際の顔の移動方向が「上下」であることが記憶されている。
次に、ディスプレイ28に表示される画像について、図8,図9を参照して説明する。会議中において、例えば、日本を拠点とする端末装置3のディスプレイ28には、図8に示すように、他の端末装置4、5、6の各ユーザを映し出すために、3つの分割画面281、282、283がそれぞれ表示される。例えば、分割画面281は、ディスプレイ28の略左半分に配置され、分割画面282は、ディスプレイ28の右半分の上側に配置され、分割画面283は、ディスプレイ28の右半分の下側に配置されて表示される。
分割画面281には、端末装置4のユーザの画像が映し出される。分割画面282には、端末装置5のユーザの画像が映し出される。分割画面283には、端末装置6のユーザの画像が映し出される。なお、表示態様についてはこれに限定されず、各分割画面281〜283の配置、大きさも自由に変更可能である。なお、図8では、端末装置4のユーザが顔を上下に振っている様子が分割画面281に映し出され、端末装置6のユーザが顔を上下に振っている様子が分割画面283に映し出された状態を示している。なお、端末装置6は、ブルガリアを拠点とする端末である。Dさんは「YES」を意志表示するために、実際は左右に顔を振っているのであるが、分割画面283には、Dさんが顔を上下に振っている画像が割り込まれて映し出されている。
一方、ブルガリアを拠点とする端末装置6のディスプレイ28には、図9に示すように、他の端末装置3、4、5の各ユーザが3つの分割画面281、282、283にそれぞれ表示される。つまり、分割画面281には、端末装置3のユーザの画像が映し出される。分割画面282には、端末装置4のユーザの画像が映し出される。分割画面283には、端末装置5のユーザの画像が映し出される。なお、図9では、端末装置3,4,5の各ユーザが顔を左右に振っている様子が分割画面281〜283にそれぞれ映し出された状態を示している。Aさん、Bさん、Cさんは「YES」を意志表示するために、実際は上下に顔を振っているのであるが、分割画面281〜283には、Aさん、Bさん、Cさんが顔を左右に振っている画像が割り込まれて映し出されている。これにより、国によって「YES」「NO」の表現方法が異なる場合でも、そのユーザの属性に合った映像が割り込まれて表示されるので、混乱なく自然な会話を実現できる。
次に、ユーザの頷き動作を検出する方法について、図10乃至図14を参照して説明する。「頷き動作」とは、話者が話している内容に聞き手が納得したときに、聞き手の顔が「上下方向」又は「左右方向」に所定量以上に振れる動作をいう。本実施形態では、周知の画像処理によってユーザの顔の振れを検出するのであるが、例えば、特開2007−97668号公報に記載された状態識別装置による識別方法が適用可能である。
そこで、上記識別方法を適用した頷き検出方法の具体例について説明する。まず、カメラ34から転送されたカメラ画像データが、HDD31のカメラ画像データ記憶エリア318(図3参照)に記憶される。そして、カメラ画像データ記憶エリア318に記憶されたカメラ画像から人物の画像を検出する。
次いで、検出された人物毎に顔の特徴量d,eを算出する。本実施形態では、眉間又は目の検出によって眉間の位置座標を取得し、検出された顔の輪郭から、画像に写っている顔の最下端部の位置座標と、最右端部(又は最左端部)の位置座標とを取得する。そして、眉間の位置座標と最下端部の位置座標との差分値と、眉間の位置座標と最右端部の位置座標との差分値とを各々算出する。
例えば、カメラ画像に写っている顔が正面顔の場合、図10に示すように、顎の位置座標が、顔の画像に写っている最下端部の位置座標として取得される。さらに、顔の右側の側頭部の位置座標が、顔の画像に写っている最右端部の位置座標として取得される。一方、カメラ画像に写っている顔がうつむき顔の場合、図11に示すように、鼻など、より目に近い位置の座標が、顔の画像に写っている最下端部の位置座標として取得される。図10および図11の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離dは、正面顔で最も長く、うつむき加減が大きいほど短くなる。一方、眉間から画像に写っている顔の最右端部までの距離eは、うつむき加減に関わらず変化しない。
また、カメラ画像に写っている顔が左右を向いた場合、図10および図12,図13の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離dは、変化しないが、眉間から画像に写っている顔の最右端部までの距離eは、左右に振れる角度が大きいほど短くなる。従って、距離d,eの変化量から、顔の移動方向が検出できると共に、顔の上下方向、又は左右方向における振れ加減を判定できる。なお、特徴量抽出に基づく顔の識別については種々の技術が知られており、本実施形態では、そのいずれの技術をも採用できる。
そして、算出した特徴量d,eに、カメラ画像の管理情報に含まれている撮影時刻の情報と、顔を検出して識別した際に割り当てたユーザIDとを付したカメラ画像データ40(図14参照)を生成し、カメラ画像データ記憶エリア318(図3参照)に記憶する。そして、上記処理を繰り返すことにより、カメラ画像データ記憶エリア318には、各時刻における聞き手のうつむき加減を表す複数のカメラ画像データ40が蓄積される。
さらに、直前に生成した撮影時間10秒分のカメラ画像データ40を、カメラ画像データ記憶エリア318から読み込み、ユーザIDに基づいてユーザ別に分類する。続いて、各聞き手のデータを時刻情報に基づいて時系列に並べる。この時系列に並べられたデータ群から、特徴量(距離d,e)の経時変化を表す検出波形パターン(図15,図16参照)を生成する。
そして、生成した検出波形パターンを、HDD31の波形パターン記憶エリア315(図3参照)に予め登録されている波形パターン(図17参照)と照合する。本実施形態では、顔を軽く上下方向に振る動作が行なわれたことを表す波形である1秒程度の短い第1波形パターン(図17:実線d参照)と、軽く左右方向に振る動作が行なわれたことを表す波形である1秒程度の短い第2波形パターン(図17:点線e参照)とがそれぞれが記憶されている。第1波形パターンを「第1頷きパターン」と呼ぶ。第2波形パターンを「第2頷きパターン」と呼ぶ。
つまり、図15に示すように、特徴量eの検出波形パターンがほぼ変化しない直線であって、特徴量dの検出波形パターンが第1頷きパターンに一致する場合は、顔を上下に振って頷いていると判断できる。図16に示すように、特徴量dの検出波形パターンがほぼ変化しない直線であって、特徴量eの検出波形パターンが第2頷きパターンに一致する場合は、顔を左右に振って頷いていると判断できる。なお、頷きパターンの波形は、このパターンに限らず、自由に変更可能である。
次に、上記構成からなる端末装置3のCPU20によって実行される通信制御処理について、図18,図19のフローチャートを参照して説明する。
なお、この通信制御処理は、端末装置3のみならず、他の端末装置4〜6においても同様に行われるものである。従って、ここでは端末装置3のCPU20によって実行される通信制御処理についてのみ説明する。
図18に示すように、まず、各種データが初期化される(S11)。続いて、ユーザのログインが完了したか否か判断される(S13)。自拠点におけるログインが完了するまでは(S13:NO)、S13に戻って待機状態となる。例えば、端末装置3のAさんがログインした場合、Aさんの識別カードに記憶されたユーザ情報がHDD31に記憶される。ログインテーブル3111(図4参照)のユーザID欄51に「001」が記憶され、端末ID欄52に「0001」が記憶される。そして、これと同時に、ログイン信号が相手側の端末装置4,5,6に送信される。
なお、相手側の端末装置4,5,6から送信されたログイン信号を受信した場合、端末装置3と同様に、ログインテーブル3111(図4参照)のユーザID欄51に各ユーザIDが記憶され、端末ID欄52には、そのユーザIDを送信した端末装置の端末IDが記憶される。これにより、各端末装置では、現在ログインしているユーザが誰であるか、どこの端末装置でログインしたかを把握できる。
次いで、識別カードからユーザの属性情報が読み込まれ、属性情報テーブル3121(図5参照)に記憶される(S14)。属性情報テーブル3121には、AさんのユーザIDと、Aさんの名前と、その国情報(=「日本」)とが登録される。さらに、映像通話が開始されたか否かが判断される(S15)。例えば、ネットワーク2に接続している端末数が2つ未満の場合は映像通話ができない。また、ログインしたユーザが1拠点のみしか存在しないような場合も映像通話できない。このような場合(S15:NO)、S15に戻って待機状態となる。
そして、ネットワーク2に接続している端末数が2つ以上であって、映像通話が開始されたと判断された場合(S15:YES)、属性情報テーブル3121に登録されたAさんの属性情報が相手側の端末装置4,5,6にそれぞれ送信される(S16)。端末装置4,5,6では、Aさんの属性情報が受信されて各HDD31に記憶される。
ところで、映像通話中は、他の端末装置4,5,6から各拠点の画像がストリーミング配信される。ストリーミング配信される画像の画像データはエンコードされた状態で受信される。その受信された画像データはデコードされて無圧縮化される。その無圧縮化された画像がディスプレイ28の分割画面281〜283においてバッファ再生される。なお、画像データを受信するCPU20が本発明の「画像取得手段」に相当する。
続いて、Aさんの顔移動が検出されたか否かが判断される(S17)。例えば、日本人であるAさんが話者に対して「YES」の意志表示をするために、顔を上下に振って頷いた場合、その顔移動が検出され(S17:YES)、そのときの映像が録画される(S18)。そして、その顔移動方向が上述の方法によって検出される(S19)。
次いで、Aさんの属性情報(=「日本」)と、カメラ画像から特定された顔移動方向(=「上下」)とから、その反応動作が示す意味が取得される(S20)。このとき、HDD31に記憶された変換テーブル3141(図7参照)が参照される。例えば、Aさんの属性情報=「日本」であって、顔移動方向が「上下」と特定されると、意味として「YES」が取得される。そして、HDD31の動画記憶エリア313(図6参照)のYES動画欄57に、Aさんが上下に顔を振って頷いたときの動画(=「aaa1.avi」)が記憶される(S21)。
次いで、相手側の端末装置4、5,6に向けて、自拠点の映像が配信中か否かが判断される(S23)。映像が配信中である場合(S23:YES)、配信先の端末装置4,5,6から属性情報が取得される(S24)。端末装置4,5,6から送信されたBさん、Cさん、Dさんの属性情報は、HDD31に記憶された属性情報テーブル3121(図5参照)に登録される。これにより、各端末装置3,4,5,6の各ユーザの属性情報が管理される。
次いで、配信先の各ユーザの属性情報に対応する顔移動方向が特定される(S25)。ここでは、自拠点において検出された顔移動方向の意味が、配信先ではどのような意味になるかを確認する。即ち、自拠点において検出された顔移動方向の意味から、HDD31に記憶された変換テーブル3141(図7参照)を参照して、配信先の顔移動方向が特定される。
例えば、自拠点において検出されたAさんの顔移動方向の意味が「YES」であった場合、アメリカを拠点とする端末装置4においては、Bさんの属性がアメリカであるので、顔移動方向は「上下」である。つまり、日本とアメリカでは、「YES」「NO」を意志表示する際の顔を振る方向が同じである。ところが、ブルガリアを拠点とする端末装置6においては、Dさんの属性がブルガリアであるので、顔移動方向は「左右」である。つまり、日本とブルガリアでは、「YES」「NO」を意志表示する際の顔を振る方向が全く逆になる。
そこで、自拠点で検出された顔移動方向と、変換テーブル3141で特定された配信先の顔移動方向とが比較され、互いに一致しているか否かが判断される(S26)。前者のように、配信先がアメリカを拠点とする端末装置4である場合は、顔移動方向が一致しているので(S26:YES)、カメラ34で撮像されたカメラ画像がそのままストリーミング配信される(S29)。つまり、アメリカを拠点とする端末装置4のディスプレイ28には、端末装置3のカメラ画像がそのまま表示される。
ところが、後者のように、配信先がブルガリアを拠点とする端末装置6である場合は、顔移動方向が一致していないので(S26:NO)、カメラ画像をそのまま配信してしまうと、ブルガリアでは「YES」「NO」の意志表示が反対に伝わってしまい、会話に混乱を起こしかねない。そこで、HDD31に記憶された動画記憶エリア313(図6参照)から、自拠点で検出された顔移動方向から取得された意味に相当する配信先の属性に対応する動画が取得される(S27)。
ここで、例えば、ブルガリアを拠点とする端末装置6のDさんが話者で、日本を拠点とする端末装置3のAさんが聞き手であった場合を想定する。端末装置3において、Aさんが顔を「上下」に振って頷いたときの反応動作が検出された場合、Aさんは「YES」の意志表示をしている。ところがブルガリアでは、「YES」の意志表示をする場合顔を左右に振るので、顔の移動方向が一致しない。この場合、HDD31の動画記憶エリア313のNO動画欄58に記憶された左右に顔を振る動作の動画(=「aaa2.avi」)が取得される(S27)。
そして、取得された左右に顔を振る動作の動画が、ストリーミング画像に割り込まれて配信される(S28)。なお、動画がストリーミング画像に割り込まれるタイミングは、Aさんの顔の移動が検出されたタイミングに合わせられる。そして、割り込まれて配信された動画の時間分はストリーミング配信は中断される。これにより、図9に示すように、端末装置6のディスプレイ28の分割画面281では、実際はAさんが上下に顔を振っている映像が配信されるところに、左右に顔を振っている動画が表示される。これにより、ディスプレイ28の分割画面281を見て話しをするDさんは、何の違和感もなく、会話を続けることができる。このように、ストリーミング画像に割り込まれて配信され動画をディスプレイ28に表示させる処理を実行するCPU20が本発明の「表示制御手段」に相当する。
次いで、映像通話中か否かが判断される(S30)。映像通話が終了した場合(S30:NO)、処理は終了する。まだ映像通話が続いている場合(S30:YES)、図18のS17に戻り、再度、ユーザの顔移動が検出されたか否かが判断される。なお、ここでは、HDD31の動画記憶エリア313に「YES」「NO」の動画が何れも記憶されている場合は、新たに動画記憶エリア313に動画を記憶させる必要はないので、映像配信中か否かが判断される(S23)。そして、映像が配信中である場合は、上述の処理(S24〜S29)が実行される。映像が配信中でない場合(S23:NO)、映像通話中であるか否かが判断され、(S30)、映像通話が終了した場合(S30:NO)、処理は終了する。
以上説明したように、本実施形態のテレビ会議システム1では、端末装置3〜6間における話者と聞き手の国の違いによって、「YES」「NO」の意志表示に使用される身振り等の意味が異なる場合でも、話者と聞き手の属性情報において、「YES」「NO」を表現する画像を切り替えることができる点に特徴がある。端末装置3のHDD31には、「YES」「NO」の各動画(図6参照)と、各端末装置3〜6のログインしたユーザの属性情報を記憶する属性情報テーブル3121(図5参照)と、「YES」「NO」を意志表示する際の動作をユーザの属性情報に基づいて変換するための変換テーブル3141とが記憶されている。このような構成で、自拠点のユーザの顔移動が検出される。さらに、その検出された顔移動の移動方向が特定されその意味が取得される。そして、配信先のユーザの属性情報に基づき、その取得された意味に対応する顔移動方向が変換テーブル3141を参照して取得される。ここで、自拠点で検出された顔移動方向と、配信先の属性情報に基づいて変換された顔移動方向とが一致していない場合、意思表示の動作が異なるので、会話が混乱するおそれがある。そこで、配信先の属性情報に基づいて変換された顔移動方向に顔を振る動画に変更して相手側の端末装置に配信する。これにより、動画を配信された端末装置では、自拠点の意志表示に合った動作がディスプレイ28に表示されるので、混乱することなく会話をスムーズに行うことができる。
次に、本発明の第2実施形態であるテレビ会議システム100について、図20乃至図23を参照して説明する。テレビ会議システム100は、第1実施形態のテレビ会議システム1の変形例である。図20に示すように、テレビ会議システム100では、第1実施形態の端末装置3において、HDD31に記憶していたログインテーブル3111(図4参照)、属性情報テーブル3121(図5参照)、ユーザの「YES」「NO」を意志表示する際の動画(図6参照)、変換テーブル3141等を、サーバ97に記憶させている。
テレビ会議システム100は、ネットワーク2と、該ネットワーク2を介して相互に接続され、かつ各拠点に設けられた複数の端末装置93、94、95、96と、各種テーブルを記憶するサーバ97とを備えている。
サーバ97は、図21に示すように、サーバ97の制御を司るコントローラとしてのCPU70が設けられている。CPU70には、BIOS等を記憶したROM71と、各種データを一時的に記憶するRAM72と、データの受け渡しの仲介を行うI/Oインタフェイス80とが接続されている。I/Oインタフェイス80には、各種記憶エリアを有するハードディスクドライブ83(以下、HDD83)が接続されている。
I/Oインタフェイス80には、ネットワーク2と通信するための通信装置75と、マウス77と、ビデオコントローラ73と、キーコントローラ74と、CD−ROMドライブ76とが各々接続されている。ビデオコントローラ73には、ディスプレイ78が接続されている。キーコントローラ74には、キーボード79が接続されている。
なお、CD−ROMドライブ76に挿入されるCD−ROM124には、サーバ97のメインプログラム等が記憶されている。CD−ROM124の導入時には、これら各種プログラムが、CD−ROM124からHDD83にセットアップされて、後述するプログラム記憶エリア836(図22参照)に記憶される。
次に、HDD83の各種記憶エリアについて、図22を参照して説明する。HDD83には、ネットワーク2にログインしたユーザを管理するログインテーブル3111(図4参照)を記憶するログインテーブル記憶エリア831と、属性情報テーブル3121(図5参照)を記憶する属性情報テーブル記憶エリア832と、ユーザが顔を上下又は左右に振る際の動画をユーザ毎に管理する動画テーブル8331(図23参照)を記憶する動画記憶エリア833と、変換テーブル3141(図7参照)を記憶する変換テーブル記憶エリア834と、ユーザの頷き時の波形パターンを記憶する波形パターン記憶エリア835と、各種プログラムを記憶するプログラム記憶エリア836と、その他の情報記憶エリア837と、カメラ34によって撮影されるカメラ画像を記憶するカメラ画像データ記憶エリア838とが、少なくとも設けられている。
なお、HDD83に記憶されるログインテーブル3111(図4参照)、属性情報テーブル3121(図5参照)、変換テーブル3141(図7参照)は、第1実施形態と同じものである。
次に、動画テーブル8331について、図23を参照して説明する。動画テーブル8331には、ユーザID欄156と、YES動画欄157と、NO動画欄158とが対応付けられて設けられている。ユーザID欄156には、各端末装置3〜6でログインしたユーザを識別するための識別IDが記憶される。YES動画欄157には、ユーザIDによって識別されるユーザが「YES」の意志表示をする際の動画が記憶される。NO動画欄158には、ユーザIDによって識別されるユーザが「NO」の意志表示をする際の動画が記憶される。
例えば、動画テーブル8331の1行目には、Aさん(ユーザID=「001」)のYES動画=「aaa1.avi」と、NO動画=「aaa2.avi」とが各々記憶されている。2行目には、Bさん(ユーザID=「002」)のYES動画=「bbb1.avi」と、NO動画=「bbb2.avi」とが各々記憶されている。3行目には、Cさん(ユーザID=「003」)のYES動画=「ccc1.avi」と、NO動画=「ccc2.avi」とが各々記憶されている。4行目には、Dさん(ユーザID=「004」)のYES動画=「ddd1.avi」と、NO動画=「ddd2.avi」とが各々記憶されている。このように、各ユーザ毎にYES動画とNO動画を管理しているので、所望のユーザの動画を簡単に取得できる。
次に、上記構成からなるテレビ会議システム100の端末装置93のCPUによる通信制御処理について簡単に説明する。端末装置93のCPUによる通信制御処理は、図18,図19のフローチャートとほぼ同様に実行される。つまり、初期化された後で(S11)サーバ97に接続することによって、HDD83に記憶されたログインテーブル3111(図4参照)、属性情報テーブル3121(図5参照)、変換テーブル3141(図7参照)、動画テーブル8331(図23参照)を利用することが可能となる。
そして、図18に示すS21では、録画された動画は、図23に示すように、HDD83の動画テーブル8331にユーザ毎に各々記憶される。つまり、ユーザ毎に、YES動画とNO動画とが各々記憶される。さらに、図19に示すS28では、動画テーブル8331から各拠点でログインしたユーザの該当する動画が取得される。このようにして、第1実施形態と同様の効果を得ることができる。また、各種テーブルをサーバ97に記憶させることで、第1実施形態に比べ、各端末装置93〜96の記憶容量を節約できる点に利点がある。
以上の説明において、図1に示す端末装置3〜6が本発明の「通信装置」に相当する。図8に示すディスプレイ28が本発明の「表示手段」に相当する。HDD31の変換テーブル記憶エリア314が本発明の「属性別反応動作情報記憶手段」に相当し、HDD31の動画記憶エリア313が本発明の「属性別反応動作情報記憶手段」に相当する。また、図18のS20の処理を実行するCPU20が本発明の「意味内容特定手段」に相当し、S21の処理を実行するCPU20が本発明の「反応動作時画像記憶処理手段」に相当し、図19のS25の処理を実行するCPU20が本発明の「属性反応動作変換手段」に相当し、S26の処理を実行するCPU20が本発明の「反応動作一致判断手段」に相当し、S27の処理を実行するCPU20が本発明の「反応動作時画像取得手段」に相当し、S28の処理を実行するCPU20が本発明の「反応動作時画像送信手段」に相当する。
なお、本発明は、上記の第1,第2実施形態に限定されることなく、種々の変更が可能である。例えば、第1実施形態では、ユーザの反応動作として、「頷き」を例にして説明したが、地域の違い、文化の違い、国の違い等によってユーザの意志表示のための動作が異なるものであれば、どんな動作でも適用可能である。
また、第2実施形態では、1つのサーバ97に全ての各種テーブルを記憶させたが、例えば、個人情報に関わるデータを記憶するサーバと、変換テーブルを記憶するサーバとに分けてもよい。
1 テレビ会議システム
2 ネットワーク
3〜6 端末装置
7 サーバ
28 ディスプレイ
29 キーボード
31 ハードディスクドライブ
32 カードリーダ制御部
33 カードリーダ
34 カメラ
35 マイク
93〜96 端末装置
100 テレビ会議システム
311 ログインテーブル記憶エリア
312 属性情報テーブル記憶エリア
313 動画記憶エリア
314 変換テーブル記憶エリア
2 ネットワーク
3〜6 端末装置
7 サーバ
28 ディスプレイ
29 キーボード
31 ハードディスクドライブ
32 カードリーダ制御部
33 カードリーダ
34 カメラ
35 マイク
93〜96 端末装置
100 テレビ会議システム
311 ログインテーブル記憶エリア
312 属性情報テーブル記憶エリア
313 動画記憶エリア
314 変換テーブル記憶エリア
Claims (10)
- ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置であって、
ユーザを識別するための情報である属性情報を取得する属性情報取得手段と、
ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、
当該画像取得手段によって取得された前記画像を表示する表示手段と、
ユーザの反応動作を検出する反応動作検出手段と、
当該反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、
当該意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、
当該反応動作時画像取得手段によって取得された前記反応動作時画像を他の通信装置に送信する反応動作時画像送信手段と、
他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段と
を備えたことを特徴とする通信装置。 - 前記意味内容特定手段によって特定された意味内容を、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報に基づき、前記他の通信装置から送信された前記属性情報が示す属性に対応する反応動作に変換する属性反応動作変換手段と、
前記反応動作検出手段によって検出された前記反応動作と、前記属性反応動作変換手段によって変換された前記反応動作とが一致するか否かを判断する反応動作一致判断手段と
を備え、
前記反応動作時画像取得手段は、
前記反応動作一致判断手段によって前記反応動作が一致しないと判断された場合に、前記意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得することを特徴とする請求項1に記載の通信装置。 - 前記反応動作検出手段によって前記ユーザの反応動作が検出された場合に、前記撮影手段によって撮影された前記反応動作時画像を、前記反応動作時画像記憶手段に記憶する反応動作時画像記憶処理手段を備えたことを特徴とする請求項1又は2に記載の通信装置。
- 前記表示手段には、前記他の通信装置からストリーミング配信される前記画像が表示され、
前記表示制御手段は、
前記反応動作時画像受信手段によって前記反応動作時画像が受信された場合に、前記表示手段に表示される画像に割り込んで、前記反応動作時画像を表示させることを特徴とする請求項1乃至3の何れかに記載の通信装置。 - 前記反応時動作は、ユーザの顔が振れる頷き動作であって、
当該頷き動作の種類には、
前記顔が上下方向に振れる第1頷き動作と、
前記顔が左右方向に振れる第2頷き動作と
が含まれ、
前記属性別反応動作情報において、
前記意味情報には、
肯定する第1意味内容と、
否定する第2意味内容と
が含まれ、
前記属性情報毎に、
前記第1頷き動作に対して、前記第1意味内容又は前記第2意味内容が設定され、
前記第2頷き動作に対して、前記第1頷き動作に設定された前記意味内容とは反対の意味内容である前記第1意味内容又は前記第2意味内容が設定されたことを特徴とする請求項1乃至4の何れかに記載の通信装置。 - 前記属性情報は、ユーザが居住する地域を示す地域情報であることを特徴とする請求項1乃至5の何れかに記載の通信装置。
- 前記属性情報は、ユーザが居住する国を示す国情報であることを特徴とする請求項1乃至5の何れかに記載の通信装置。
- ネットワークを介して相互に接続された複数の通信装置とサーバとを備え、前記複数の通信装置間で画像と音声を介した通信を行う通信システムであって、
前記サーバは、
ユーザを識別するための属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段と、
ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段と
を備え、
前記通信装置は、
ユーザの属性情報を取得する属性情報取得手段と、
ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、
当該画像取得手段によって取得された前記画像を表示する表示手段と、
ユーザの反応動作を検出する反応動作検出手段と、
前記サーバに接続して、前記反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、
当該意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、
当該反応動作時画像取得手段によって取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信手段と、
前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段と
を備えたことを特徴とする通信システム。 - ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置の通信制御方法であって、
ユーザを識別するための情報である属性情報を取得する属性情報取得ステップと、
ユーザを撮影する撮影手段により撮影された画像を取得する画像取得ステップと、
当該画像取得ステップにおいて取得された前記画像を表示手段に表示させる表示ステップと、
ユーザの反応動作を検出する反応動作検出ステップと、
当該反応動作検出ステップにおいて検出された反応動作が示す意味内容を、前記属性情報取得ステップにおいて取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定ステップと、
当該意味内容特定ステップによって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得ステップと、
当該反応動作時画像取得ステップにおいて取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信ステップと、
前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御ステップと
を備えたことを特徴とする通信制御方法。 - 請求項1乃至7の何れかに記載の通信装置の各種処理手段としてコンピュータを機能させるための通信制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009072980A JP2010226542A (ja) | 2009-03-25 | 2009-03-25 | 通信装置、通信システム、通信制御方法、通信制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009072980A JP2010226542A (ja) | 2009-03-25 | 2009-03-25 | 通信装置、通信システム、通信制御方法、通信制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010226542A true JP2010226542A (ja) | 2010-10-07 |
Family
ID=43043226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009072980A Pending JP2010226542A (ja) | 2009-03-25 | 2009-03-25 | 通信装置、通信システム、通信制御方法、通信制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010226542A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015035769A (ja) * | 2013-08-09 | 2015-02-19 | 株式会社リコー | 情報処理装置、情報処理システム及びプログラム |
JP2017076202A (ja) * | 2015-10-13 | 2017-04-20 | 富士通株式会社 | 反応出力システム、反応出力プログラム、反応出力方法 |
CN107885415A (zh) * | 2016-09-30 | 2018-04-06 | 中兴通讯股份有限公司 | 屏幕显示控制方法、装置及移动终端 |
CN113763192A (zh) * | 2020-06-04 | 2021-12-07 | 富士胶片商业创新有限公司 | 信息处理装置、信息处理方法和计算机可读介质 |
-
2009
- 2009-03-25 JP JP2009072980A patent/JP2010226542A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015035769A (ja) * | 2013-08-09 | 2015-02-19 | 株式会社リコー | 情報処理装置、情報処理システム及びプログラム |
JP2017076202A (ja) * | 2015-10-13 | 2017-04-20 | 富士通株式会社 | 反応出力システム、反応出力プログラム、反応出力方法 |
CN107885415A (zh) * | 2016-09-30 | 2018-04-06 | 中兴通讯股份有限公司 | 屏幕显示控制方法、装置及移动终端 |
CN113763192A (zh) * | 2020-06-04 | 2021-12-07 | 富士胶片商业创新有限公司 | 信息处理装置、信息处理方法和计算机可读介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11991441B2 (en) | Control method, electronic device, computer-readable storage medium, and chip | |
CN110213616B (zh) | 视频提供方法、获取方法、装置及设备 | |
KR102090755B1 (ko) | 기능 제어 방법 및 그 전자 장치 | |
US10031999B2 (en) | Information processing apparatus for determining registered users in a system | |
JP2019519830A (ja) | スマート端末を制御する方法、及びスマート端末 | |
US9817235B2 (en) | Method and apparatus for prompting based on smart glasses | |
US9100540B1 (en) | Multi-person video conference with focus detection | |
CN108108012B (zh) | 信息交互方法和装置 | |
JP6229314B2 (ja) | 情報処理装置、表示制御方法及びプログラム | |
US20120242840A1 (en) | Using face recognition to direct communications | |
KR20170091913A (ko) | 영상 서비스 제공 방법 및 장치 | |
US20130151603A1 (en) | Persistent customized social media environment | |
US20140192136A1 (en) | Video chatting method and system | |
US20130265448A1 (en) | Analyzing Human Gestural Commands | |
JP2013097760A (ja) | 認証システム、端末装置、認証プログラム、認証方法 | |
US20150128292A1 (en) | Method and system for displaying content including security information | |
WO2019105239A1 (zh) | 视频流发送方法、播放方法、装置、设备及存储介质 | |
EP4047495A1 (en) | Method for verifying user identity and electronic device | |
US9300914B2 (en) | Computer readable recording medium and terminal apparatus | |
WO2018094911A1 (zh) | 一种多媒体文件的分享方法及终端设备 | |
WO2022042364A1 (zh) | 投屏方法、装置及投送端 | |
JP2010226542A (ja) | 通信装置、通信システム、通信制御方法、通信制御プログラム | |
CN112423011B (zh) | 消息回复方法、装置、设备及存储介质 | |
JP2011053925A (ja) | 画像表示方法、プログラム、及び、画像表示装置 | |
JP5151970B2 (ja) | 通信端末装置、通信制御方法、通信制御プログラム |