JP2010246085A - 視覚的情報の記憶行列を提供するための身振りの解釈 - Google Patents
視覚的情報の記憶行列を提供するための身振りの解釈 Download PDFInfo
- Publication number
- JP2010246085A JP2010246085A JP2009226192A JP2009226192A JP2010246085A JP 2010246085 A JP2010246085 A JP 2010246085A JP 2009226192 A JP2009226192 A JP 2009226192A JP 2009226192 A JP2009226192 A JP 2009226192A JP 2010246085 A JP2010246085 A JP 2010246085A
- Authority
- JP
- Japan
- Prior art keywords
- gesture information
- participant
- information
- gesture
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title description 4
- 238000004891 communication Methods 0.000 claims abstract description 138
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 6
- 230000006399 behavior Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000001755 vocal effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Image Analysis (AREA)
Abstract
【課題】 会議の参加者の身振りを検出し、その解釈を提供し、この解釈された情報を他の参加者と発言中又は動作中の参加者に提供する方法を提供すること。
【解決手段】 本発明の方法は、（Ａ）通信セッションの第１参加者の画像入力を受領するステップと、前記第１参加者は、通信セッションの間、第２参加者と関係しており、（Ｂ）前記第１参加者の画像入力を身振情報を得るために解析するステップと、（Ｃ）前記身振情報を、前記通信セッションに関係している参加者に提供するステップと、を有する。
【選択図】 図１
Description
本発明は、コミュニケーション・システムに関し、特に、テレビ会議における視覚的情報の記憶行列（Visual queues)の取り出しとその利用法に関する。
異なる文化的背景を持つ人々の間でコミュニケーション・ギャップが時に存在する。特に海外とのテレビ会議の間、ある参加者は、自分の身振りや顔の表情が、他国の参加者にどのように解釈されるかを知らないことがある。この様な自覚の欠如により、ある参加者は、ある身振りが何を意味するかを認識しないで行い、自分の特定の身振りが、別の文化背景では如何に解釈されるか自覚しない。
一般的な身振りの認識の開発が行われているが、これまでの解決方法は限定的である。例えば、特許文献１では、動いている被写体によりなされた身振りを認識するシステムを開示する。このシステムは、音を検出する聴音機(sound detector)と、動いている被写体の画像を捕獲するイメージ・センサ(image sensors)と、前記イメージ・センサにより捕獲されたイメージから人間を認識するヒト認識装置（human recognizer)と、身振り認識装置(gesture recognizer)とを有する。これらは、人間の話し言葉が、前記の聴音機により認識された時に活性化され、人間の身振りを認識する。特許文献１に開示された身振り認識方法は、比較的単純であり、その身振り情報は、捕獲した後有効活用されていない。
従って、会議の参加者の身振りを検出し、その解釈を提供し、この解釈された情報を他の参加者と発言中又は動作中の参加者に提供する解決策が必要となる。特にこの情報を分配して、他の参加者が相手の身振りを適正に解釈することを助け、発言中又は動作中の参加者である本人が自分の身振りと動作の自己認識ができるメカニズムを必要とする。
上記のニーズあるいは他のニーズは、本発明の様々な実施例により解決される。本発明の一態様は、文化的なギャップ又はコミュニケーション・ギャップを橋渡しする機構を提供することである。特に、テレビ会議の間、伝えられる身振りを検出し解釈する機構を提供することである。例えば、オーストラリア人がテレビ電話で日本の上司に報告する時には、日本人は様々な顔の表情をする。その結果、その日本人の上司の顔の表情を、オーストラリア人が誤って解釈をすることがある。これは、日本人とオーストラリア人が、相手の顔の表情が意味するところを知らないからである。本発明の実施例は、この様な問題点を解決する機構を提供することである。
本発明の方法は、
（Ａ）通信セッションの第１参加者の画像入力を受領するステップと、
前記第１参加者は、通信セッションの間、第２参加者と関係しており、
（Ｂ）前記第１参加者の画像入力を身振情報を得るために解析するステップと、
（Ｃ）前記身振情報を、前記通信セッションに関係している参加者に提供するステップと、を有する。
（Ａ）通信セッションの第１参加者の画像入力を受領するステップと、
前記第１参加者は、通信セッションの間、第２参加者と関係しており、
（Ｂ）前記第１参加者の画像入力を身振情報を得るために解析するステップと、
（Ｃ）前記身振情報を、前記通信セッションに関係している参加者に提供するステップと、を有する。
身振り認識機構は時に利用できるが、身振りを認識することから得られる情報は、個人対個人の会話を向上させるためには役立たない。特に、電話、テレビ電話、インスタント・メッセージ、テキスト・メッセージ等の交換の間、コミュニケーションを向上させる身振り情報の利用は、十分に活用されているとは言い難い。テキスト通信で使用される感情により、ユーザは一般的な感情をタイプしたり、感情を表すアイコンを選択することができる。しかし、この情報は、ユーザの実際の身振りを解析することから得られたものではない。従って、本発明は、通信セッション（例、テレビ会議）の間、身振り情報を活用する解決法を提供することである。
本発明の一態様は、通信セッション（例、テレビ会議）の間、参加者の身振り情報を解析することである。
本発明の他の態様は、この様な情報を参加者に配ることである。この情報は、聴いている他の参加者及び自分の身振りが解析される発言中又は動作中の参加者（本人とも称する）の間で共有される。
本発明の他の態様は、通信セッションの参加者の間での通信、潜在的には、文化的な差（カルチャー・ギャップ）を決定することである。その結果、身振り情報が適切に解釈され、その後参加者に配られる。更に、解釈情報は、本人にフィードバック情報として提供される。これにより発言中又は動作中の参加者である本人は、自分の身振りとこの身振りが他の会議の参加者に如何に影響を及ぼすかに関して自己認識できる。
図１を参照して、本発明の一実施例の通信システム１００を説明する。同図において、通信システム１００は、１つあるいは複数の通信装置１０８を有する。この通信装置１０８は、他の通信装置１０８と通信ネットワーク１０４を介して通信する。通信装置１０８は、公知の通信機器、例えば、パソコン、ノート型パソコン、タブレット型パソコン、パーソナル・デジタル・アシスタント（ＰＤＡ)、携帯電話、通常の電話あるいはそれらの組み合わせのいずれでもよい。一般的に通信装置１０８は、他の通信装置１０８との画像、音声、テキストあるいは他のデータ通信をサポートする。
通信ネットワーク１０４は、あらゆる種類の伝送媒体を有し、エンドポイント間のメッセージを通信するあらゆる種類のプロトコルを用いることができる。通信ネットワーク１０４は、無線あるいは有線の通信媒体を含む。インターネットは、通信ネットワークの一例である。この通信ネットワークは、世界中にある他の通信機器あるいはコンピュータからなるＩＰネットワークを構成する。これらの機器は、電話システムあるいは他の手段により相互に接続される。通信ネットワーク１０４の他の例は、標準の旧型電話システム(ＰＯＴＳ)、総合デジタル通信網（ＩＳＤＮ)、公衆交換電話網（ＰＳＴＮ)、ローカルエリア・ネットワーク(ＬＡＮ)、広域ネットワーク(ＷＡＮ)、ＳＩＰネットワーク、あるいはパケット交換あるいは回路交換等の他の種類のネットワークを含む。通信ネットワーク１０４は、１つのネットワークの種類に限定されることなく、様々なネットワークから構成することができる。
通信システム１００は、カンファレンス・サーバ１１２を含む。このカンファレンス・サーバ１１２は、複数の加入者に通信セッションを提供する。例えば、カンファレンス・サーバ１１２は、複数の通信装置１０８がアクセスできるカンファレンス・ブリッジ(conference bridge：テレビ会議などの用意やお手伝いをするサービス)、又はミキサを含む。一例として、通信装置１０８のユーザは、カンファレンス・サーバ１１２のサービスを要求できる。これはこのカンファレンス・サーバ１１２がサポートしている所定の番号にダイアルすることにより行われる。必要によっては、ユーザは、パスワードあるいは参加者のコードを提供する。ユーザがカンファレンス・サーバ１１２により認証されると、ユーザは、自分の通信装置１０８を他の通信装置１０８と接続されることが許される。この他の通信装置１０８も同様に、カンファレンス・サーバ１１２が認証したものである。
カンファレンス用の一般的な構成要素に加えて、カンファレンス・サーバ１１２は、通信セッションへの参加者の身振りを解析し解釈し分配するような構成要素を含む。より具体的には、カンファレンス・サーバ１１２は、身振り監視モジュール又は挙動示唆モジュールを有する。これらのモジュールにより、カンファレンス・サーバ１１２は、通信セッションにおける様々な参加者の身振りを解析し、これらのモジュールの他のタスクを実行する。また、カンファレンス・サーバ１１２は、カンファレンス・サーバ１１２を介して通信する参加者の身振り情報を解析し解釈し分配する。
別な構成として、カンファレンス・サーバ１１２を利用しない通信セッションの参加者(例、ポイント・ツー・ポイント(２地点間)の通信セッションへの参加者、あるいは他の種類のセッションへの参加者は、必ずしもこのカンファレンス・サーバ１１２を介してルーティングすることはない)も、カンファレンス・サーバ１１２に送られる身振り情報を持つことが許される。このカンファレンス・サーバ１１２で身振り情報が解析され解釈され又は他の特定の参加者の間で分配される。この実施例においては、身振り情報を解析し解釈し又は分配する機能を具備しない通信装置は、カンファレンス・サーバ１１２を活用することができ、本発明の他の実施例の利点を享受することができる。
図２を参照して、本発明の一実施例の通信装置１０８を説明する。この通信装置１０８は、１つあるいは複数の通信アプリケーション２０４を有する。この通信アプリケーション２０４の少なくとも１つは、身振り監視モジュール２０８を有する。この身振り監視モジュール２０８は、コンピュータで読み取り可能な媒体に記憶されたインストラクションのセットを含む。これらはプロセッサで実行される。身振り監視モジュール２０８は、通信装置１０８のユーザの画像通常ビデオフレームの形態の画像を捕獲する。ユーザが他のユーザと通信の間（例えば、通信装置１０８が他の通信装置１０８と通信ネットワークを介して接続を確立した時)、身振り監視モジュール２０８は、ユーザの画像情報を解析する。画像情報を解析している間、身振り監視モジュール２０８は、身振りを解釈し、身振り情報を得る。身振り監視モジュール２０８から得られる身振り情報の種類は、一般的な感情情報（例、幸せか、悲しいか、激怒しているか、不快に感じているか、困惑しているか、楽しんでいるか等)と、特定の非言語的な会話（例、ボディー・ランゲージ又は顔の表情のメッセージで、話したりタイプしたりする以外のもの)を含む。
身振り監視モジュール２０８は、特に、通信装置１０８のユーザの文化に適合している。例えば、通信装置１０８のユーザがオーストラリア人の場合には、身振り監視モジュール２０８は、オーストラリア人を中心にした身振りに関するイメージ情報を解析するのに適している。同様に、通信装置１０８のユーザがドイツ人の場合には、身振り監視モジュール２０８は、別の身振りの組に対するイメージ情報を解析するのに適する。
身振り監視モジュール２０８が採用する身振り−認識アルゴリズムの種類は、通信装置１０８の処理能力に依存して変わる。身振り監視モジュール２０８が採用するアルゴリズムの様々な一例は、特許文献２‐６に開示されている。身振り監視モジュール２０８が採用するアルゴリズムは、ユーザの顔の動き、手の動き、身体の動きを解析するアルゴリズムを含む。この情報は、発言中又は動作中の参加者の特定の文化に関連する。
通信アプリケーション２０４は、発言中又は動作中の参加者は他の参加者の文化に一致する為に、発言中又は動作中の参加者の身振り情報を解釈／翻訳する。通信アプリケーション２０４は、挙動示唆モジュール２１６を有する。この挙動示唆モジュール２１６は、身振り情報の解釈／翻訳を行い、通信セッション（電話会議）への参加者とこの様な情報を共有する。言い換えると、身振り監視モジュール２０８は、イメージ情報を捕獲し、この様なイメージ情報から身振り情報を決定する。その後、参加者データベース２１２が、発言中又は動作中の参加者の文化からの身振り情報を、この通信セッションに参加している別の参加者の文化に変換（翻訳）する。この翻訳は、参加者データベース２１２を参照することにより行われる。この参加者データベース２１２は、発言中又は動作中の参加者に関連する文化に関する情報を保有する。参加者データベース２１２は、通信セッションへの他の参加者に関連する文化に関連している情報を含む。参加者データベース２１２に含まれる情報は、通信セッションの開始時に展開され、各参加者からあるいはその関連する通信装置から、又はこの様な情報を含む企業のデータベースから取り出される。
一例として、挙動示唆モジュール２１６は、ある文化の身振り情報の意味を、他の文化の身振り情報の意味にマッピングすることができる。これが有益なのは、発言中又は動作中の参加者とそれを見たり聞いたりしている参加者が大きく異なる文化に関連している時である。この様な時には、各参加者は、自分の身振りの意味を他の参加者に伝えていることを理解していない。本発明は、挙動示唆モジュール２１６を活用して、特定の身振りが有するような複数の意味を決定し、参加者の一部あるいは全ての者とこの様な意味を共有する。かくして、発言中又は動作中の参加者は、自分が他の参加者に送っている非言語的な会話を認識し、それを聴いたり見たりしている参加者は、この様な非言語的な会話により意図されるものが何であるかを理解できることになる。
本発明の一実施例によれば、身振り情報の解釈は、挙動示唆モジュール２１６により自動的に得られる。別の構成としてあるいはこれに加えて、挙動示唆モジュール２１６は、発言中又は動作中の参加者に問い合わせて、参加者が自分の非言語的なメッセージを理解しているか、あるいは自分がこの様なメッセージを他の参加者に伝えるか否かを決定できる。例えば、発言中又は動作中の参加者が自分の身振りが憤慨していることを意味しているような場合は、挙動示唆モジュール２１６は、これらの身振りを特定して、この身振りの可能性のある解釈を特定する。その後、挙動示唆モジュール２１６は、発言中又は動作中の参加者がこのメッセージを他の参加者に伝える意図があるか否か、あるいは発言中又は動作中の参加者が他の参加者に伝えようとする他の意味があるか否かを、発言中又は動作中の参加者に問い合わせることができる。ユーザ（発言中又は動作中の参加者）がこの様なメッセージを共有することを肯定した場合には、身振り監視モジュール２０８が最初に特定した身振り情報を他の参加者と共有する。発言中又は動作中の参加者が他の参加者と共有するメッセージを変えようとする場合には、身振り監視モジュール２０８は、他の参加者と共有している身振り情報を、発言中又は動作中の参加者の入力に応じて、変える。
通信セッションの参加者の間で身振り情報を解析し、解釈し、共有するモジュール２０８，２１８に加えて、通信アプリケーション２０４は、通信プロトコル２２０を有する。この通信プロトコル２２０を通信アプリケーション２０４が用いて、通信ネットワーク１０４を介した他の通信装置１０８との通信（コミュニケーション）を可能にする。
通信装置１０８は、更に、ユーザ入力２２４と、ユーザ出力２２８と、ネットワーク・インターフェース２３２と、オペレーティング・システム２３６と、電源２４０とを有する。オペレーティング・システム２３６は、通信アプリケーション２０４の使用を可能とするような下位のアプリケーション(lower-level application)と、通信装置１０８に依存する他のアプリケーションを含む。
電源２４０は、内部電源例えばバッテリ等に対応する。別の構成として、電源２４０は、電力線から得られたＡＣ電力を、通信装置１０８が使用できるＤＣ電力に変換する電力変換装置を含んでもよい。
ネットワーク・インターフェース２３２は、ネットワーク・インターフェース・カード(ＮＩＣ：network interface card)、モデム(modem)、有線テレフォニ・ポート(wired telephony port)、直列又は並列データポート(serial or parallel data port)、無線周波数放送トランシーバ(radio frequency broadcast transceiver)、ＵＳＢポート(USB port)、あるいは他の有線又は無線の通信ネットワーク・インターフェースを含む。
ユーザ入力２２４は、例えば、スクリーン又は他の位置エンコーダ(position encoder)と組み合わせたキーボード、テンキー、ポインティング・デバイス（例、マウス、タッチ・パッド、ローラ・ボール等)を含む。更に、このユーザ入力２２４は、ユーザの画像を捕獲する機構を含んでもよい。とりわけ、ユーザの一連のイメージを捕獲するために採用されるカメラ又は他の種類の画像捕獲装置を含んでもよい。この情報は、身振り監視モジュール２０８への入力として提供できる。
ユーザ出力装置の一例は、英数字ディスプレー(alphanumeric display)、液晶ディスプレー(ＬＣＤ：Liquid Crystal Display)、発光ダイオード(ＬＥＤ：Light-emitting Diode)、プラズマ・ディスプレー(plasma display)、ブラウン管スクリーン(Cathode-ray tube screen)、リンガー(ringer)、インジケータ・ライト(indicator lights)等を含む。本発明の一実施例においては、結合されたユーザ入力／出力装置は、例えば、タッチスクリーン装置である。
図３を参照して、本発明の一実施例のデータ構造３００を説明する。このデータ構造３００は、身振り情報を解析し解釈するのに使用される情報を記憶する複数のデータ・フィールド含む。データ構造３００は、参加者データベース２１２に、あるいは他のデータの格納先(data storage location)、例えば、企業のデータベースに保持される。データ構造３００は、通信セッション（テレビ会議）の間、あるいはそれ以上の期間保存されている。一例として、データ構造３００の一部は、通信セッション終了後も保持される。
データ構造３００に含まれるフィールドの種類は、装置識別子フィールド３０４と、ユーザ識別子フィールド３０８と、ユーザ情報フィールド３１２と、身振り披瀝フィールド３１６と、現在の身振り解釈フィールド３２０と、変換情報フィールド３２４である。装置識別子フィールド３０４とユーザ識別子フィールド３０８は、それぞれ装置のＩＤ情報とユーザのＩＤ情報を記憶するのに用いられる。装置識別子フィールド３０４に記憶される装置のＩＤ情報の一例は、ＩＰ(Internet Protocol)アドレス 、ＭＡＣ(Media Access Control)アドレス、ＵＲＩ(Uniform Resource Identifier)、電話番号又は内線番号、あるいは通信装置１０８を特定する他の機構である。同様にユーザ識別子(user idnetifier)は、通信装置１０８に関連するユーザの名前を含む。複数のユーザが通信装置１０８に関連することもできる。この例は、例えば、カンファレンス・コール（テレビ会議、電話会議）の間、１個の通信装置１０８が複数の参加者が居る部屋に置かれている場合である。
ユーザ識別子フィールド３０８内で特定される各ユーザ用に、ユーザの情報は、ユーザ情報フィールド３１２に記録される。より具体的には、ユーザが１つあるいは複数の文化に関連している場合には、その情報はユーザ情報フィールド３１２に保持される。例えば、ユーザ情報フィールド３１２は、各ユーザに対する文化情報を記録し、更に、通信セッションのユーザ間の身振り情報を変換するのに用いられる情報も含む。
身振り披瀝フィールド３１６は、通信セッションの参加者の前の身振りに関連する情報を含む。過去の身振り情報を有効活用して、特定のユーザの将来の身振り情報を特定することができる。更に、過去の身振り情報は、挙動示唆モジュール２１６により生成された問い合わせに対するユーザの応答も含む。これら全ての情報は、そのユーザの将来の身振り情報を解析しその身振り情報の解釈が必要であるか否かを決定するのに必要である。
現在の身振り解釈フィールド３２０は、ユーザの動作の現在の解析に関連する情報を含む。より具体的には、現在の身振り解釈フィールド３２０は、通信セッションの間、身振り監視モジュール２０８から得られた解析結果を記録する。
変換情報フィールド３２４は、ユーザの動作の現在の解析に関連する変換／翻訳情報を含む。より一般的には、変換情報フィールド３２４は、ある文化から他の文化への身振り情報の意味づけをマッピングするのに用いられる情報を含む。かくして、変換情報フィールド３２４は、通信セッション間、挙動示唆モジュール２１６から得られた解釈結果と、この様な変換情報を得るために挙動示唆モジュール２１６により使用される情報とを記憶する。
図４を参照して本発明の一実施例の通信方法を説明する。この通信方法は、通信ネットワーク１０４を介して互いに通信する複数の参加者の間の通信セッションで採用される。例えば、通信セッションは、電話会議、テレビ会議を含む。これらの会議においては、通信装置１０８は、通信ネットワーク１０４を介して、互いの間で、音声／データパスを確立する。他の実施例として、通信セッションは、テキストベースの通信セッション(例、E-mailベースの通信セッション、ＩＭセッション、ＳＭＳセッション等)を含む。この通信セッションにおいては、一方のユーザは、テキスト・メッセージを通信ネットワーク１０４を介して、他のユーザに送る。テキスト・メッセージの生成により、図４に示す通信方法の実行が開始される。これにより、送信側ユーザからの身振り情報の収集、解析、解釈が開始され、その後、対象とする受領者に送信される。この情報には、メッセージ内の身振り情報を含む。
通信方法は、通信セッションの間（あるいはテキストベースのメッセージを準備する間又はテキストベースの通信セッションの間)、発言中又は動作中の参加者からのイメージ情報又はオーディオ情報を捕獲することにより開始される（ステップ４０４)。捕獲されたイメージ情報又はオーディオ情報の性質と量は、会議参加者の間の文化の差に依存する。一例として、大きな文化的な差、例えば、日本人参加者とカナダ人参加者の間のような文化的な差は、より多くの身振り情報を得る必要性を増やす。その理由は、多くの解釈が必要とされるからである。一方、文化的な差が少ない場合、アメリカ人とカナダ人の間には、多くの解釈は必要とされず、多くのイメージ情報又はオーディオ情報を得る必要はない。
適宜の量と種類の情報が発言中又は動作中の参加者から得られた後、本発明の方法の次のステップは身振り監視モジュール２０８で実行される。この身振り監視モジュール２０８は、受領した情報を解析し、身振り情報を得る（ステップ４０８)。身振り監視モジュール２０８は、特定の組のデータから、複数の種類の身振り情報を得る。例えば、身振り監視モジュール２０８は、発言中又は動作中の参加者が特定のムード（例、困惑状態)と非言語的メッセージ（例、「理解できないので、もう一度言ってください。」)を伝えているかを決定できる。従って、両方の種類の身振り情報が、捕獲した情報と発言中又は動作中の参加者に関連している。
その後、身振り情報は、挙動示唆モジュール２１６に送られる。挙動示唆モジュール２１６で身振り情報が解釈される（ステップ４１２)。なされた解釈は、通信セッションの参加者の間の文化の差に依存して変わる。かくして通信セッションが３人以上の参加者を含み、各参加者が別の文化背景を有している場合には、挙動示唆モジュール２１６は、身振り情報の複数の解釈を用意する。
身振り情報の解釈及び元となる身振り情報の解釈は、他の通信セッション参加者に提供される（ステップ４１６)。この情報は他のユーザと共有される。これは、この様な情報をメッセージ内に含めることにより、あるいはこの様な情報をメッセージから分離して送信することにより行われる。この解釈情報は、その後、他の参加者にそれぞれの通信装置１０８を介して提供される。この情報は、オーディオ形式又はビデオ形式で提供される。一例として、この情報は、他の参加者に、ウィスパー・ぺージ(whisper page)あるいは他の個別の通信チャネルを介して提供される。一例として、情報は他の参加者にアイコン又はテキスト・メッセージで提供される。このアイコン又はテキスト・メッセージが身振り情報又はその解釈を表示する。
同様に、身振り情報の解釈は、発言中又は動作中の参加者に戻される（ステップ４２０)。これにより発言中又は動作中の参加者は、他の参加者と共有している解釈情報を知ることになる。更に、フィードバックにより、発言中又は動作中の参加者は、自分が望んでいる情報を非言語的に送るかあるいは自分が送ることを望んでいない情報を偶発的に送るかを決定できる。このフィードバック情報は、可聴又は視覚メッセージとして提供されるが、これは、この様な情報が他の参加者に提供さえるのと同様な方法で行われる。
この方法は、通信セッションが終了するまで継続される。当業者に明らかなように、１つの通信セッションから得られた身振り情報を記憶して次の通信セッションで使用することもできる。例えば、参加者の文化情報は、コンタクト・ログ(contact log)に保持され、その結果、身振り監視モジュール２０８又は挙動示唆モジュール２１６が、後の通信セッションの間にアクセスすることができるようになる。
用語「自動的」とは、文字通り解釈すれば、人間が介在しないプロセスを意味するが、プロセスが人による入力を必要とする場合でも、自動的と称することもある。人による入力がプロセスに影響を及ぼすような場合には自動的とは称さないが、プロセスの実行に同意するような人による入力は自動的と称する。
用語「コンピュータで読み取り可能な媒体」とは、コンピュータが実行するプロセスを記憶する媒体或いは伝送媒体を意味する。媒体とは、非揮発性媒体、揮発性媒体、伝送媒体を意味する。非揮発性の媒体とは、ＮＶＲＡＭ、磁気ディスク又は光学ディスクである。揮発性媒体とは、ＤＲＡＭ、メインメモリを意味する。このコンピュータで読み取り可能な媒体の一般的なものとしては、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気ディスク、他の磁気媒体、磁気光学媒体、ＣＤ−ＲＯＭ、パンチカード、ペーパーテープ等、更にＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、メモリカード、メモリチップ、或いはカートリッジ等がある。ｅ−ｍａｉｌ或いは他の自己保存型の情報アーカイブに付属したデジタルファイルは、記憶媒体に等価な分配型の記憶媒体であり、本発明でいう記憶媒体と見なすことができる。コンピュータで読み取り可能な媒体がデータベースとして構築された場合には、このデータベースは、あらゆる種類のデータベース、例えば関連型、階層型、オブジェクト志向型のいずれをも含む。
回路交換又はパケット交換型の通信の概念は、他のプロトコルにも適用可能である。従って本発明では、接触型の記憶媒体、分散型の記憶媒体、従来技術の記憶媒体とアクセス可能媒体も含み、その中には本発明で使用されるソフトウエアが記憶される。
用語「決定する」、「計算する」、「判定する」等は、同意で使用し、プロセスでの計算の操作等を含む。
用語「モジュール」とは、現在公知な或いはこれから開発されるハードウエア、ソフトウエア、ファームウエア、人工知能、ファジーロジック等を意味する。更に或る要素に関連する機能を実行することのできるハードウエアとソフトウエアの組合せも含む。
要素間をつなぐ様々なリンクは、有線又は無線或いはそれらの組合せ、更には又将来開発される通信データを接続された要素間で供給できる伝達要素でもよい。有線リンク又は無線リンクは、安全確保したリンクであり、暗号化された情報を通信できる。リンクとして使用される伝送媒体は、電気信号を搬送できる媒体（同軸ケーブル、銅線ワイヤ、光ファイバー）、音波或い光波を搬送できる媒体、或いは無線やインフラレッド（赤外線）の通信媒体も含む。
ここで議論したフローチャートは、特定のイベントのシーケンスを例に説明するが、本発明の操作に影響を及ぼすことなく、これ等のシーケンスの変更、追加、一部省略も可能である。本発明のシステムと方法は、特殊コンピュータ、プログラムされたマイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ、他の集積回路ＤＳＰ、ハードワイヤド電子素子、論理素子、例えばディスクリートな要素回路、プログラム可能な論理回路、ゲートアレイ、例えばＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬ、特殊目的コンピュータ或いは他の手段で実現できる。
本発明を実施するのに用いられるハードウエアは、コンピュータ、携帯用装置、電話器（携帯電話、インターネット電話、デジタル、アナログそれ等の組合せの電話）や他の公知のハードウエアである。これ等の装置のあるものは、プロセッサ（例；シングル又はマルチプルのマイクロプロセッサ）、メモリ、非揮発性記憶媒体、入力装置、出力装置等を含む。更に別の形態のソフトウエアの実行は、分散型の処理、要素／目的型の分散型処理、並列処理或いは仮想機械処理で実行される。
他の実施例に於いては、ここに開示された方法は、オブジェクト指向のソフトウエア開発環境を用いたソフトウエアと組み合わせて実現できる。このソフトウエア環境は、様々なコンピュータ又はワークステーションで使用されるポータブルなソースコードを提供する。別の構成として、開示されたシステムは、標準の論理回路又はＶＬＳＩデザインを用いて一部又は全部のハードウエアで実現できる。本発明のシステムを実行するのにハードウエア又はソフトウエアを用いるかは、システムに要求される速度と効率に依存する。特に使用される特定のソフトウエア、ハードウエアのシステム、マイクロプロセッサ又はマイクロコンピュータシステムに依存する。
他の実施例に於いては、開示された方法は、コンピュータで読み取り可能な記憶媒体に記憶されたソフトウエアで実行され、コントローラとメモリとを有するプログラムされた汎用コンピュータ、特殊目的コンピュータ、マイクロプロセッサ等で実施される。これ等の実施例に於いては、本発明のシステムと方法は、パソコンに組み込まれたプログラムで実行できる。例えばアプレット、ＪＡＶＡ（登録商標）、ＣＧＩスクプリト、サーバ或いはコンピュータ、ワークステーションに記録された資源或いは専用の測定システムに組み込まれたルーチン等で実施できる。
本発明のシステムは、本発明のシステムと方法をソフトウエア又はハードウエアのシステムに物理的に組み込むことにより実施することもできる。 本発明は、特定の標準及びプロトコルを例に説明したが、本発明はこのような標準とプロトコルに制限されるものではない。他の類似の標準とプロトコルも本発明で用いることができる。これ等の標準とプロトコルは、今後開発されるより効率的な標準とプロトコルで置換されるかも知れないが、このような置換も本発明の一態様（一実施例）と考えられる。
以上の説明は、本発明の一実施例に関するもので、この技術分野の当業者であれば、本発明の種々の変形例を考え得るが、それらはいずれも本発明の技術的範囲に包含される。特許請求の範囲の構成要素の後に記載した括弧内の番号は、図面の部品番号に対応し、発明の容易なる理解の為に付したものであり、発明を限定的に解釈するために用いてはならない。また、同一番号でも明細書と特許請求の範囲の部品名は必ずしも同一ではない。これは上記した理由による。用語「又は」に関して、例えば「Ａ又はＢ」は、「Ａのみ」、「Ｂのみ」ならず、「ＡとＢの両方」を選択することも含む。特に記載のない限り、装置又は手段の数は、単数か複数かを問わない。
用語「コンピュータで読み取り可能な媒体」とは、コンピュータが実行するプロセスを記憶する媒体或いは伝送媒体を意味する。媒体とは、非揮発性媒体、揮発性媒体、伝送媒体を意味する。非揮発性の媒体とは、ＮＶＲＡＭ、磁気ディスク又は光学ディスクである。揮発性媒体とは、ＤＲＡＭ、メインメモリを意味する。このコンピュータで読み取り可能な媒体の一般的なものとしては、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気ディスク、他の磁気媒体、磁気光学媒体、ＣＤ−ＲＯＭ、パンチカード、ペーパーテープ等、更にＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、メモリカード、メモリチップ、或いはカートリッジ等がある。ｅ−ｍａｉｌ或いは他の自己保存型の情報アーカイブに付属したデジタルファイルは、記憶媒体に等価な分配型の記憶媒体であり、本発明でいう記憶媒体と見なすことができる。コンピュータで読み取り可能な媒体がデータベースとして構築された場合には、このデータベースは、あらゆる種類のデータベース、例えば関連型、階層型、オブジェクト志向型のいずれをも含む。
回路交換又はパケット交換型の通信の概念は、他のプロトコルにも適用可能である。従って本発明では、接触型の記憶媒体、分散型の記憶媒体、従来技術の記憶媒体とアクセス可能媒体も含み、その中には本発明で使用されるソフトウエアが記憶される。
用語「決定する」、「計算する」、「判定する」等は、同意で使用し、プロセスでの計算の操作等を含む。
用語「モジュール」とは、現在公知な或いはこれから開発されるハードウエア、ソフトウエア、ファームウエア、人工知能、ファジーロジック等を意味する。更に或る要素に関連する機能を実行することのできるハードウエアとソフトウエアの組合せも含む。
要素間をつなぐ様々なリンクは、有線又は無線或いはそれらの組合せ、更には又将来開発される通信データを接続された要素間で供給できる伝達要素でもよい。有線リンク又は無線リンクは、安全確保したリンクであり、暗号化された情報を通信できる。リンクとして使用される伝送媒体は、電気信号を搬送できる媒体（同軸ケーブル、銅線ワイヤ、光ファイバー）、音波或い光波を搬送できる媒体、或いは無線やインフラレッド（赤外線）の通信媒体も含む。
ここで議論したフローチャートは、特定のイベントのシーケンスを例に説明するが、本発明の操作に影響を及ぼすことなく、これ等のシーケンスの変更、追加、一部省略も可能である。本発明のシステムと方法は、特殊コンピュータ、プログラムされたマイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ、他の集積回路ＤＳＰ、ハードワイヤド電子素子、論理素子、例えばディスクリートな要素回路、プログラム可能な論理回路、ゲートアレイ、例えばＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬ、特殊目的コンピュータ或いは他の手段で実現できる。
本発明を実施するのに用いられるハードウエアは、コンピュータ、携帯用装置、電話器（携帯電話、インターネット電話、デジタル、アナログそれ等の組合せの電話）や他の公知のハードウエアである。これ等の装置のあるものは、プロセッサ（例；シングル又はマルチプルのマイクロプロセッサ）、メモリ、非揮発性記憶媒体、入力装置、出力装置等を含む。更に別の形態のソフトウエアの実行は、分散型の処理、要素／目的型の分散型処理、並列処理或いは仮想機械処理で実行される。
他の実施例に於いては、ここに開示された方法は、オブジェクト指向のソフトウエア開発環境を用いたソフトウエアと組み合わせて実現できる。このソフトウエア環境は、様々なコンピュータ又はワークステーションで使用されるポータブルなソースコードを提供する。別の構成として、開示されたシステムは、標準の論理回路又はＶＬＳＩデザインを用いて一部又は全部のハードウエアで実現できる。本発明のシステムを実行するのにハードウエア又はソフトウエアを用いるかは、システムに要求される速度と効率に依存する。特に使用される特定のソフトウエア、ハードウエアのシステム、マイクロプロセッサ又はマイクロコンピュータシステムに依存する。
他の実施例に於いては、開示された方法は、コンピュータで読み取り可能な記憶媒体に記憶されたソフトウエアで実行され、コントローラとメモリとを有するプログラムされた汎用コンピュータ、特殊目的コンピュータ、マイクロプロセッサ等で実施される。これ等の実施例に於いては、本発明のシステムと方法は、パソコンに組み込まれたプログラムで実行できる。例えばアプレット、ＪＡＶＡ（登録商標）、ＣＧＩスクプリト、サーバ或いはコンピュータ、ワークステーションに記録された資源或いは専用の測定システムに組み込まれたルーチン等で実施できる。
本発明のシステムは、本発明のシステムと方法をソフトウエア又はハードウエアのシステムに物理的に組み込むことにより実施することもできる。 本発明は、特定の標準及びプロトコルを例に説明したが、本発明はこのような標準とプロトコルに制限されるものではない。他の類似の標準とプロトコルも本発明で用いることができる。これ等の標準とプロトコルは、今後開発されるより効率的な標準とプロトコルで置換されるかも知れないが、このような置換も本発明の一態様（一実施例）と考えられる。
以上の説明は、本発明の一実施例に関するもので、この技術分野の当業者であれば、本発明の種々の変形例を考え得るが、それらはいずれも本発明の技術的範囲に包含される。特許請求の範囲の構成要素の後に記載した括弧内の番号は、図面の部品番号に対応し、発明の容易なる理解の為に付したものであり、発明を限定的に解釈するために用いてはならない。また、同一番号でも明細書と特許請求の範囲の部品名は必ずしも同一ではない。これは上記した理由による。用語「又は」に関して、例えば「Ａ又はＢ」は、「Ａのみ」、「Ｂのみ」ならず、「ＡとＢの両方」を選択することも含む。特に記載のない限り、装置又は手段の数は、単数か複数かを問わない。
１００ 通信システム
１０４ 通信ネットワーク
１０８ 通信装置
１１２ カンファレンス・サーバ
２０４ 通信アプリケーション
２０８ 身振り監視モジュール
２１２ 参加者データベース
２１６ 挙動示唆モジュール
２２０ 通信プロトコル
２２４ ユーザ入力
２２８ ユーザ出力
２３２ ネットワーク・インターフェース
２３６ オペレーティング・システム
２４０ 電源
３００ データ構造
３０４ 装置識別子フィールド
３０８ ユーザ識別子フィールド
３１２ ユーザ情報フィールド
３１６ 身振り披瀝フィールド
３２０ 現在の身振り解釈フィールド
３２４ 変換情報フィールド
４０４：会議の参加者の画像情報又は可聴情報を受領する
４０８：受領した情報を解析し身振り情報を得る
４１２：身振り情報を解釈する
４１６：身振り情報を他の参加者に配る
４２０：身振り情報を本人に配る
１０４ 通信ネットワーク
１０８ 通信装置
１１２ カンファレンス・サーバ
２０４ 通信アプリケーション
２０８ 身振り監視モジュール
２１２ 参加者データベース
２１６ 挙動示唆モジュール
２２０ 通信プロトコル
２２４ ユーザ入力
２２８ ユーザ出力
２３２ ネットワーク・インターフェース
２３６ オペレーティング・システム
２４０ 電源
３００ データ構造
３０４ 装置識別子フィールド
３０８ ユーザ識別子フィールド
３１２ ユーザ情報フィールド
３１６ 身振り披瀝フィールド
３２０ 現在の身振り解釈フィールド
３２４ 変換情報フィールド
４０４：会議の参加者の画像情報又は可聴情報を受領する
４０８：受領した情報を解析し身振り情報を得る
４１２：身振り情報を解釈する
４１６：身振り情報を他の参加者に配る
４２０：身振り情報を本人に配る
Claims (10)
- （Ａ）通信セッションの第１参加者の画像入力を受領するステップと、
前記第１参加者は、通信セッションの間、第２参加者と関係しており、
（Ｂ）前記第１参加者の画像入力を身振情報を得るために解析するステップと、
（Ｃ）前記身振情報を、前記通信セッションに関係している参加者に提供するステップと、
を有する
ことを特徴とする方法。 - （Ｄ）前記身振情報を、前記第２参加者の既知の文化に基づいて解釈するステップと、
（Ｅ）前記身振情報の解釈を前記身振情報に関連付けるステップと、
（Ｆ）前記身振情報と前記身振情報の解釈を、前記第１参加者に提供するステップと、
を有し、
前記身振情報の解釈を、前記第１参加者に、前記第１参加者と前記第１参加者に関連するグラフィカルユーザインターフェイスとオーディオ・メカニズムの少なくとも一方を介して、提供する
ことを特徴とする請求項１記載の方法。 - 前記（Ｄ）ステップは、
（Ｄ１）前記第２参加者に関連する文化を決定するステップと、
（Ｄ２）画像入力装置から受領した身振情報を、所定の身振情報でマッピングし、前記第２参加者に関連する文化を得るステップと、
を有し、
前記身振情報の解釈は、前記マッピング情報と所定の身振情報とを含む
ことを特徴とする請求項２記載の方法。 - （Ｇ）前記身振情報の可能となる意味付けを、第１参加者の既知の文化に基づいて決定するステップと、
（Ｈ）前記身振情報の可能な意味付けを、前記身振情報と関連付けるステップと、
（Ｉ）前記身振情報と前記身振情報の可能な意味付けとを、前記第２参加者に提供するステップと
を更に有し、
前記（Ｇ）ステップは、
（Ｇ１）前記第１参加者に関連する文化を決定するステップと、
（Ｇ２）画像入力装置から受領した身振情報を、所定の身振情報でマッピングし、前記第１参加者に関連する文化を得るステップと、
を有し、
前記身振情報の解釈は、前記マッピング情報と所定の身振情報とを含む
ことを特徴とする請求項１記載の方法。 - （Ａ）ユーザ入力装置と、
前記ユーザ入力装置は、第１参加者の画像イメージを、第２参加者との通信セッションの間に捕獲し、
（Ｂ）身振監視モジュールと、
前記身振り監視モジュールは、前記第１参加者の捕獲した画像イメージを解析して身振情報を得て、前記身振情報を通信セッションの少なくとも１人の参加者に提供する
を有する
ことを特徴とする通信装置。 - （Ｃ）挙動示唆モジュールと、
前記挙動示唆モジュールは、前記身振情報を第２参加者の既知の文化に基づいて解釈し、前記身振情報の解釈を、身振情報と関連付け、
（Ｄ）ユーザ出力装置と、
前記ユーザ出力装置は、前記身振情報と前記身振情報の解釈とを、第１参加者に提供し、
を更に有し、
前記ユーザ出力装置は、グラフィカルユーザインターフェイスとオーディオ・ユーザインターフェイスの少なくとも一方を含む
ことを特徴とする請求項５記載の通信装置。 - （Ｅ）参加者のデーターベースを更に有し、
前記挙動示唆モジュールは、前記参加者のデーターベースを参照し、前記第２参加者に関連する文化を決定し、前記画像入力装置から受領した身振情報を所定の身振情報でマッピングし前記第２参加者に関連する文化を得て、前記マッピング情報と所定の身振情報とを、前記身振情報の解釈に含める
ことを特徴とする請求項６記載の通信装置。 - （Ｆ）挙動示唆モジュールを更に有し、
前記挙動示唆モジュールは、身振情報の可能な意味付けを、前記第１参加者の既知の文化に基づいて決定し、前記身振情報の可能な意味付けを前記身振情報と関連付け、前記身振情報と前記身振情報の可能な意味付けとを第２参加者に提供する
ことを特徴とする請求項５記載の通信装置。 - （Ｅ）参加者のデーターベースを更に有し、
前記挙動示唆モジュールは、前記参加者のデーターベースを参照し、前記第１参加者に関連する文化を決定し、前記画像入力装置から受領した身振情報を所定の身振情報でマッピングし前記第１参加者に関連する文化を得て、前記マッピング情報と所定の身振情報とを、前記身振情報の解釈に含める
ことを特徴とする請求項８記載の通信装置。 - 前記挙動示唆モジュールは、身振情報の可能な意味付けを決定し、
前記決定は、問い合わせを準備し、前記第１ユーザに送信してその身振りの意図した意味を得て、前記第１のユーザからの問い合わせに対する応答を受領し、その後、前記身振情報の可能な意味付けにおける応答の少なくとも一部を、身振情報の可能な意味付けに含める
ことを特徴とする請求項９記載の通信装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/416,702 | 2009-04-01 | ||
| US12/416,702 US20100257462A1 (en) | 2009-04-01 | 2009-04-01 | Interpretation of gestures to provide visual queues |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010246085A true JP2010246085A (ja) | 2010-10-28 |
| JP5548418B2 JP5548418B2 (ja) | 2014-07-16 |
Family
ID=41350498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009226192A Expired - Fee Related JP5548418B2 (ja) | 2009-04-01 | 2009-09-30 | 視覚的情報の記憶行列を提供するための身振りの解釈 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20100257462A1 (ja) |
| JP (1) | JP5548418B2 (ja) |
| CN (1) | CN101854510B (ja) |
| DE (1) | DE102009043277B4 (ja) |
| GB (1) | GB2469355B (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013089238A (ja) * | 2011-10-20 | 2013-05-13 | Fuji Xerox Co Ltd | ジェスチャ処理プログラム |
| JP2015015623A (ja) * | 2013-07-05 | 2015-01-22 | シャープ株式会社 | テレビ電話機、及び、プログラム |
| US9247206B2 (en) | 2013-08-09 | 2016-01-26 | Ricoh Company, Ltd. | Information processing device, information processing system, and information processing method |
| JP2017195629A (ja) * | 2012-08-03 | 2017-10-26 | アルカテル−ルーセント | ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置 |
| JP2018136952A (ja) * | 2015-11-10 | 2018-08-30 | 株式会社リコー | 電子会議システム |
| KR20180112848A (ko) * | 2016-03-14 | 2018-10-12 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 정보 처리 방법 및 단말 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8875019B2 (en) | 2010-03-16 | 2014-10-28 | International Business Machines Corporation | Virtual cultural attache |
| US8670018B2 (en) | 2010-05-27 | 2014-03-11 | Microsoft Corporation | Detecting reactions and providing feedback to an interaction |
| US8963987B2 (en) * | 2010-05-27 | 2015-02-24 | Microsoft Corporation | Non-linguistic signal detection and feedback |
| JP2013009073A (ja) * | 2011-06-23 | 2013-01-10 | Sony Corp | 情報処理装置、情報処理方法、プログラム、及びサーバ |
| US8976218B2 (en) * | 2011-06-27 | 2015-03-10 | Google Technology Holdings LLC | Apparatus for providing feedback on nonverbal cues of video conference participants |
| US9077848B2 (en) | 2011-07-15 | 2015-07-07 | Google Technology Holdings LLC | Side channel for employing descriptive audio commentary about a video conference |
| CN103856742B (zh) * | 2012-12-07 | 2018-05-11 | 华为技术有限公司 | 视音频信息的处理方法、装置和系统 |
| US9389765B2 (en) * | 2013-03-12 | 2016-07-12 | Google Inc. | Generating an image stream |
| DE102014018205A1 (de) | 2014-12-09 | 2016-06-09 | Unify Gmbh & Co. Kg | Konferenzsystem und Verfahren zum Steuern des Konferenzsystems |
| US10241990B2 (en) * | 2015-08-26 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture based annotations |
| US20170090582A1 (en) * | 2015-09-24 | 2017-03-30 | Intel Corporation | Facilitating dynamic and intelligent geographical interpretation of human expressions and gestures |
| EP3596656B1 (en) * | 2018-05-25 | 2021-05-05 | Kepler Vision Technologies B.V. | Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots |
| JP7543922B2 (ja) | 2021-01-14 | 2024-09-03 | 富士電機株式会社 | 飲料製造装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09307868A (ja) * | 1996-03-15 | 1997-11-28 | Toshiba Corp | コミュニケーション装置及びコミュニケーション方法 |
| US20090079816A1 (en) * | 2007-09-24 | 2009-03-26 | Fuji Xerox Co., Ltd. | Method and system for modifying non-verbal behavior for social appropriateness in video conferencing and other computer mediated communications |
Family Cites Families (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69032645T2 (de) * | 1990-04-02 | 1999-04-08 | Koninkl Philips Electronics Nv | Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten |
| US5583946A (en) * | 1993-09-30 | 1996-12-10 | Apple Computer, Inc. | Method and apparatus for recognizing gestures on a computer system |
| US5652849A (en) * | 1995-03-16 | 1997-07-29 | Regents Of The University Of Michigan | Apparatus and method for remote control using a visual information stream |
| US5757360A (en) * | 1995-05-03 | 1998-05-26 | Mitsubishi Electric Information Technology Center America, Inc. | Hand held computer control device |
| US5880731A (en) * | 1995-12-14 | 1999-03-09 | Microsoft Corporation | Use of avatars with automatic gesturing and bounded interaction in on-line chat session |
| US6069622A (en) * | 1996-03-08 | 2000-05-30 | Microsoft Corporation | Method and system for generating comic panels |
| US6072467A (en) * | 1996-05-03 | 2000-06-06 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Continuously variable control of animated on-screen characters |
| US5784061A (en) * | 1996-06-26 | 1998-07-21 | Xerox Corporation | Method and apparatus for collapsing and expanding selected regions on a work space of a computer controlled display system |
| US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| AU4307499A (en) * | 1998-05-03 | 1999-11-23 | John Karl Myers | Videophone with enhanced user defined imaging system |
| DE69936620T2 (de) * | 1998-09-28 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zum Segmentieren von Handgebärden |
| US6393136B1 (en) * | 1999-01-04 | 2002-05-21 | International Business Machines Corporation | Method and apparatus for determining eye contact |
| JP2000333151A (ja) * | 1999-05-20 | 2000-11-30 | Fujitsu General Ltd | テレビ会議システム |
| US6522333B1 (en) * | 1999-10-08 | 2003-02-18 | Electronic Arts Inc. | Remote communication through visual representations |
| US6757362B1 (en) * | 2000-03-06 | 2004-06-29 | Avaya Technology Corp. | Personal virtual assistant |
| US20010041328A1 (en) * | 2000-05-11 | 2001-11-15 | Fisher Samuel Heyward | Foreign language immersion simulation process and apparatus |
| DE10029483A1 (de) * | 2000-06-15 | 2002-01-03 | Herbert J Christ | Mobiles Kommunikationssystem für Hörbehinderte |
| US6801656B1 (en) * | 2000-11-06 | 2004-10-05 | Koninklijke Philips Electronics N.V. | Method and apparatus for determining a number of states for a hidden Markov model in a signal processing system |
| US6894714B2 (en) * | 2000-12-05 | 2005-05-17 | Koninklijke Philips Electronics N.V. | Method and apparatus for predicting events in video conferencing and other applications |
| US6804396B2 (en) * | 2001-03-28 | 2004-10-12 | Honda Giken Kogyo Kabushiki Kaisha | Gesture recognition system |
| NO315679B1 (no) * | 2001-10-19 | 2003-10-06 | Dmates As | Rik kommunikasjon over internett |
| US8460103B2 (en) * | 2004-06-18 | 2013-06-11 | Igt | Gesture controlled casino gaming system |
| US7401295B2 (en) * | 2002-08-15 | 2008-07-15 | Simulearn, Inc. | Computer-based learning system |
| US7607097B2 (en) * | 2003-09-25 | 2009-10-20 | International Business Machines Corporation | Translating emotion to braille, emoticons and other special symbols |
| US20050131744A1 (en) * | 2003-12-10 | 2005-06-16 | International Business Machines Corporation | Apparatus, system and method of automatically identifying participants at a videoconference who exhibit a particular expression |
| EP1574971A1 (en) * | 2004-03-10 | 2005-09-14 | Alcatel | A method, a hypermedia browser, a network client, a network server, and a computer software product for providing joint navigation of hypermedia documents |
| JP2006041886A (ja) * | 2004-07-27 | 2006-02-09 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| US7342587B2 (en) * | 2004-10-12 | 2008-03-11 | Imvu, Inc. | Computer-implemented system and method for home page customization and e-commerce support |
| US7995064B2 (en) * | 2004-10-12 | 2011-08-09 | Imvu, Inc. | Computer-implemented chat system having dual channel communications and self-defining product structures |
| US7725547B2 (en) * | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
| CN103442201B (zh) * | 2007-09-24 | 2018-01-02 | 高通股份有限公司 | 用于语音和视频通信的增强接口 |
| CN101335869B (zh) * | 2008-03-26 | 2011-11-09 | 北京航空航天大学 | 一种基于Soft-MCU策略的视频会议系统 |
| EP2146490A1 (en) * | 2008-07-18 | 2010-01-20 | Alcatel, Lucent | User device for gesture based exchange of information, methods for gesture based exchange of information between a plurality of user devices, and related devices and systems |
| US20100073399A1 (en) * | 2008-09-23 | 2010-03-25 | Sony Ericsson Mobile Communications Ab | Methods and devices for controlling a presentation of an object |
| KR101494388B1 (ko) * | 2008-10-08 | 2015-03-03 | 삼성전자주식회사 | 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법 |
| US20100153497A1 (en) * | 2008-12-12 | 2010-06-17 | Nortel Networks Limited | Sharing expression information among conference participants |
| US8600731B2 (en) * | 2009-02-04 | 2013-12-03 | Microsoft Corporation | Universal translator |
| US20100228825A1 (en) * | 2009-03-06 | 2010-09-09 | Microsoft Corporation | Smart meeting room |
| US8988437B2 (en) * | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
| US20100253689A1 (en) * | 2009-04-07 | 2010-10-07 | Avaya Inc. | Providing descriptions of non-verbal communications to video telephony participants who are not video-enabled |
-
2009
- 2009-04-01 US US12/416,702 patent/US20100257462A1/en not_active Abandoned
- 2009-09-29 DE DE102009043277A patent/DE102009043277B4/de not_active Expired - Fee Related
- 2009-09-29 CN CN200910211660.3A patent/CN101854510B/zh not_active Expired - Fee Related
- 2009-09-29 GB GB0917010.1A patent/GB2469355B/en not_active Expired - Fee Related
- 2009-09-30 JP JP2009226192A patent/JP5548418B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09307868A (ja) * | 1996-03-15 | 1997-11-28 | Toshiba Corp | コミュニケーション装置及びコミュニケーション方法 |
| US20090079816A1 (en) * | 2007-09-24 | 2009-03-26 | Fuji Xerox Co., Ltd. | Method and system for modifying non-verbal behavior for social appropriateness in video conferencing and other computer mediated communications |
| JP2009077380A (ja) * | 2007-09-24 | 2009-04-09 | Fuji Xerox Co Ltd | 画像修正方法、画像修正システム、及び画像修正プログラム |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013089238A (ja) * | 2011-10-20 | 2013-05-13 | Fuji Xerox Co Ltd | ジェスチャ処理プログラム |
| JP2017195629A (ja) * | 2012-08-03 | 2017-10-26 | アルカテル−ルーセント | ビデオ会議中の参加者の映像ミュートを可能にするための方法および装置 |
| JP2015015623A (ja) * | 2013-07-05 | 2015-01-22 | シャープ株式会社 | テレビ電話機、及び、プログラム |
| US9247206B2 (en) | 2013-08-09 | 2016-01-26 | Ricoh Company, Ltd. | Information processing device, information processing system, and information processing method |
| JP2018136952A (ja) * | 2015-11-10 | 2018-08-30 | 株式会社リコー | 電子会議システム |
| KR20180112848A (ko) * | 2016-03-14 | 2018-10-12 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 정보 처리 방법 및 단말 |
| JP2019504532A (ja) * | 2016-03-14 | 2019-02-14 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | 情報処理方法及び端末 |
| KR102135215B1 (ko) * | 2016-03-14 | 2020-07-17 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 정보 처리 방법 및 단말 |
| US11140436B2 (en) | 2016-03-14 | 2021-10-05 | Tencent Technology (Shenzhen) Company Limited | Information processing method and terminal |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2469355B (en) | 2013-11-27 |
| US20100257462A1 (en) | 2010-10-07 |
| CN101854510A (zh) | 2010-10-06 |
| DE102009043277A1 (de) | 2010-10-14 |
| CN101854510B (zh) | 2015-01-21 |
| DE102009043277B4 (de) | 2012-10-25 |
| GB0917010D0 (en) | 2009-11-11 |
| GB2469355A (en) | 2010-10-13 |
| JP5548418B2 (ja) | 2014-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5548418B2 (ja) | 視覚的情報の記憶行列を提供するための身振りの解釈 | |
| CN105915436B (zh) | 基于主题的即时消息隔离的系统和方法 | |
| US8817061B2 (en) | Recognition of human gestures by a mobile phone | |
| JP5303578B2 (ja) | マルチメディア会議イベントのビジュアルコンポジションを生成する技術 | |
| US8526587B2 (en) | Web guided collaborative audio | |
| US20090210491A1 (en) | Techniques to automatically identify participants for a multimedia conference event | |
| US7996540B2 (en) | Method and system for replacing media stream in a communication process of a terminal | |
| US20100315482A1 (en) | Interest Determination For Auditory Enhancement | |
| US20070050448A1 (en) | Method and system for information collaboration over an IP network via handheld wireless communication devices | |
| US20110276901A1 (en) | Family chat | |
| US20080181141A1 (en) | Enhanced voicemail processing | |
| EP2454844A2 (en) | Systems, methods, and media for identifying and associating user devices with media cues | |
| US20070130340A1 (en) | Cross-platform redirection of communications | |
| WO2004109428A2 (en) | System and method for indicating an annotation for a document | |
| WO2007149123A2 (en) | Method and apparatus for providing user profiling based on facial recognition | |
| KR20150009186A (ko) | 메신저 기반의 대화 서비스 기능 운용 방법 및 사용자 인터페이스 그리고 이를 지원하는 전자 장치 | |
| CN103973542B (zh) | 一种语音信息处理方法及装置 | |
| US20130332832A1 (en) | Interactive multimedia systems and methods | |
| WO2024174644A1 (zh) | 蓝牙第三方应用通话管理方法、电子设备及系统 | |
| JP2009253625A (ja) | 情報収集・テレビ会議実施制御装置、情報収集・テレビ会議実施制御方法、情報収集・テレビ会議実施制御プログラムおよびテレビ会議システム | |
| US11470199B2 (en) | System and method for personalizing a shared conferencing device or a shared printer/scanner | |
| TW200843470A (en) | Communication Framework and Method and System for Providing a Real-Time Audio and/or Video Signal | |
| CN113225521B (zh) | 视频会议控制方法、装置和电子设备 | |
| WO2022196769A1 (ja) | 情報処理方法、プログラム、及び情報処理装置 | |
| KR20110067435A (ko) | 컨텐츠 공유 기능을 구비하는 화상회의 시스템 및 컨텐츠 공유 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130213 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130510 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130515 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130611 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130614 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130710 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140519 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5548418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |