JP2008048030A - 情報処理装置 - Google Patents

Abstract

【課題】複数のユーザが多地点間でテレビ電話を行う場合において、通話状況に応じて表示部に表示されるユーザの画像の配置を好適に制御することができるようにする。
【解決手段】本発明に係る情報処理装置に適用可能な携帯電話機において、音声認識機能４１は、複数の携帯電話機から画像信号および音声信号をそれぞれ取得し、取得された音声信号に基づいて音声認識処理を行い、液晶ディスプレイは複数の画像信号に基づく画像を表示し、解析機能４２は、音声認識された発言に基づいて所定の解析を行い、その解析結果に基づいて、液晶ディスプレイに表示される複数の画像信号に基づく画像の配置に関する優先度を算出し、画像配置制御機能４４は、解析機能４２により算出された優先度に応じて、液晶ディスプレイに表示される複数の画像信号に基づく画像の配置を制御する。
【選択図】 図２

Description

本発明は情報処理装置に係り、特に、テレビ電話を行うことができるようにした情報処理装置に関する。

近年、大容量の画像データや音声データを、インターネットを介してユーザ同士の間でやり取りするテレビ電話システムが知られている。

例えばユーザＡとユーザＢとの間でテレビ電話システムを利用する場合、ユーザＡのコンピュータＡでは、ユーザＢのコンピュータＢから送信されてきたユーザＢの画像が表示され、音声が出力される。また、ユーザＢのコンピュータＢでは、ユーザＡのコンピュータＡから送信されてきたユーザＡの画像が表示され、音声が出力される。これにより、ユーザＡとユーザＢとの間で、画像と音声によるコミュニケーションを図ることができる。なお、このテレビ電話システムは、１対１のみならず、１対複数にも適用することが可能である。

また、画像と音声によるコミュニケーションを図る方法として、テレビ電話システム以外にも、テレビ会議システムなどが知られている。

１対複数で画像と音声によるコミュニケーションを図るテレビ会議システムにおいては、端末からのコマンドに応じて、予め蓄積された映像資料を読み出し、各端末からの映像とともに１つの映像に合成することにより、端末からの映像とともに、蓄積された資料映像や過去の映像などを所望の形態で表示利用したり、会議履歴を蓄積して所望の形態で表示し閲覧したりすることができる技術が提案されている（例えば、特許文献１参照）。

一方、携帯電話機においても、近年、基地局などを介して無線通信により携帯電話機間でテレビ電話を行う技術が提案されている。特に、携帯電話機間においては、現在、１対１のテレビ電話が実用化されている。
特開２００１−３１３９１５号公報

しかしながら、携帯電話機において１対複数のテレビ電話を行う場合（すなわち、多地点間でのテレビ電話を行う場合）、携帯電話機に設けられた表示部の大きさは限定されているため、通話の相手の顔を表示部にすべて表示しようとすると、１人当たりに割り当てられる表示面積が小さくなってしまい、通話の相手の顔を表示しても誰であるかを判別することが困難であるという課題があった。

このような課題は、特許文献１に提案されている技術によっても解決することはできない。

本発明は、このような状況に鑑みてなされてものであり、複数のユーザが多地点間でテレビ電話を行う場合において、通話状況に応じて表示部に表示されるユーザの画像の配置を好適に制御することができる情報処理装置を提供することを目的とする。

本発明の情報処理装置は、上述した課題を解決するために、複数の情報処理装置から画像信号および音声信号をそれぞれ取得し、取得された音声信号に基づいて音声認識処理を行う音声認識手段と、複数の画像信号に基づく画像を表示する表示手段と、音声認識手段により音声認識された発言に基づいて所定の解析を行い、その解析結果に基づいて、表示手段により表示される複数の画像信号に基づく画像の配置に関する優先度を算出する解析手段と、解析手段により算出された優先度に応じて、表示手段により表示される複数の画像信号に基づく画像の配置を制御する制御手段とを備えることを特徴とする。

本発明の情報処理装置においては、複数の情報処理装置から画像信号および音声信号がそれぞれ取得され、取得された音声信号に基づいて音声認識処理が行われ、複数の画像信号に基づく画像が表示され、音声認識された発言に基づいて所定の解析が行われ、その解析結果に基づいて、表示される複数の画像信号に基づく画像の配置に関する優先度が算出され、算出された優先度に応じて、表示される複数の画像信号に基づく画像の配置が制御される。

本発明によれば、複数のユーザが多地点間でテレビ電話を行う場合において、通話状況に応じて表示部に表示されるユーザの画像の配置を好適に制御することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明に係る情報処理装置として適用可能な携帯電話機１の内部の構成を表している。

図１に示されるように、携帯電話機１は、携帯電話機１の各部を統括的に制御する主制御部２１に対して、電源回路部２２、操作入力制御部２３、画像エンコーダ２４、カメラインタフェース部２５、ＬＣＤ（Liquid Crystal Display）制御部２６、多重分離部２８、変復調回路部２９、音声コーデック３０、記憶部３７、および音楽制御部３８がメインバス３１を介して互いに接続されるとともに、画像エンコーダ２４、画像デコーダ２７、多重分離部２８、変復調回路部２９、音声コーデック３０、および記録再生部３５が同期バス３２を介して互いに接続されて構成される。

電源回路部２２は、ユーザの操作により終話・電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１を動作可能な状態に起動する。

主制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部３７からＲＡＭにロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機１を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。

なお、主制御部２１には、現在の日付と時刻を計測するタイマが内蔵されている。

ここで、ＣＰＵが実行する種々のアプリケーションプログラムは、ＲＯＭや記憶部３７に予めインストールしておくことができる。また、ＣＰＵが実行する種々のアプリケーションプログラムは、図示せぬ基地局を介して通信によって携帯電話機１にダウンロードすることにより、記憶部３７にインストールすることができる。さらに、ＣＰＵが実行する種々のアプリケーションプログラムは、メモリカード３６に記録しておき、記録再生部３５によって読み出して、記憶部３７にインストールすることも可能である。

携帯電話機１は、主制御部２１の制御に基づいて、音声通話モード時にマイクロフォン１５で集音した音声信号を音声コーデック３０によってディジタル音声信号に変換、圧縮し、これを変復調回路部２９でスペクトラム拡散処理し、送受信回路部３３でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ３４を介して送信する。

また、携帯電話機１は、音声通話モード時にアンテナ３４で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部２９でスペクトラム逆拡散処理し、音声コーデック３０によって伸張し、アナログ音声信号に変換した後、変換されたアナログ音声信号をスピーカ１６を介して出力する。

携帯電話機１は、画像信号を送信しない場合には、ＣＣＤカメラ１２で撮像した画像信号をカメラインタフェース部３５及びＬＣＤ制御部３６を介して液晶ディスプレイ１３に直接表示する。

携帯電話機１は、データ通信モード時（またはテレビ電話を行う際）に画像信号を送信する場合、ＣＣＤカメラ１２で撮像された画像信号をカメラインタフェース部２５を介して画像エンコーダ２４に供給する。

画像エンコーダ２４は、ＣＣＤカメラ１２から供給された画像信号を、例えばＭＰＥＧ（Moving Picture Experts Group）４などの所定の符号化方式によって圧縮符号化することにより符号化画像信号に変換し、変換された符号化画像信号を多重分離部２８に送出する。このとき同時に携帯電話機１は、ＣＣＤカメラ１２で撮像中にマイクロフォン１５で集音した音声を音声コーデック３０を介してディジタルの音声信号として多重分離部２８送出する。

多重分離部２８は、画像エンコーダ２４から供給された符号化画像信号と音声コーデック３０から供給された音声信号とを所定の方式で多重化し、その結果得られる多重化信号を変復調回路部２９でスペクトラム拡散処理し、送受信回路部３３でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ３４を介して送信する。

また、携帯電話機２は、データ通信モード時（またはテレビ電話を行う際）に動画像ファイルのデータを受信する場合、アンテナ３４を介して基地局（図示せず）から受信した受信信号を変復調回路部２９でスペクトラム逆拡散処理し、その結果得られる多重化信号を多重分離部２８に送出する。

多重分離部２８は、多重化信号を分離することにより符号化画像信号と音声信号とに分け、同期バス３２を介して符号化画像信号を画像デコーダ２７に供給すると共に音声信号を音声コーデック３０に供給する。画像デコーダ２７は、符号化画像信号をＭＰＥＧ４などの所定の符号化方式に対応した復号化方式でデコードすることにより再生動画像信号を生成し、生成された再生動画像信号をＬＣＤ制御部３６を介して液晶ディスプレイ１３に供給する。これにより、例えば動画像ファイルに含まれる動画像データが表示される。

このとき同時に音声コーデック３０は、音声信号をアナログ音声信号に変換した後、これをスピーカ１６に供給し、これにより、例えば、動画像ファイルに含まる音声信号が再生される。

記憶部３７は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子などからなり、主制御部２１のＣＰＵにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。また、記憶部３７は、必要に応じて、ユーザの操作に応じて受信した電子メールや、受信したＷｅｂページなどにリンクされた動画像ファイルに含まれる動画像データなどを記憶する。

音楽制御部３８は、記憶部３７に記憶されているオーディオデータの再生動作および一時停止動作や、巻戻し機能、早送り機能、音量ダウン動作、音量アップ動作などの実行を制御する。

図２は、本発明に係る情報処理装置に適用可能な携帯電話機１が実行することが可能な機能的な構成を表している。

音声認識機能４１は、例えば図１の主制御部２１などにより実現され、予め設定され所定の時間（例えば、５分間など）内で、音声コーデック３０によって伸張された音声信号（ディジタル信号）を取得し、取得された伸張後の音声信号から無効な音およびノイズを除去するとともに、無効な音およびノイズが除去された後の音声信号に基づいて音声認識処理を実行する。すなわち、音声認識機能４１は、無効な音およびノイズが除去された後の音声信号から特徴量を抽出し、抽出された特徴量に基づいて所定の単語列をテレビ電話の参加者の発言（音声）として選択し、選択されたテレビ電話の参加者の発言（音声）に関するデータである発言データを解析機能４２に逐次供給する。

解析機能４２は、例えば図１の主制御部２１などにより実現され、音声認識機能４１から供給されたテレビ電話の参加者の発言データを逐次取得し、取得されたテレビ電話の参加者の発言データに基づいて、所定の解析（テレビ電話の参加者の発言回数やキーワードの発言回数などの解析）を行う。解析機能４２は、その解析結果に基づいて、テレビ電話の参加者とその参加者の発言回数などが対応付けられて登録されている発言履歴データベース４３を予め設定された所定の時間ごとに更新するとともに、更新された発言履歴データベース４３を参照して、現在の通話状況に応じた、液晶ディスプレイ１３に表示されるテレビ電話の参加者の画像の配置に関する優先度を算出し、算出された優先度に関するデータである優先度データを画像配置制御機能４４に供給する。なお、発言履歴データベース４３は、例えば図１の記憶部３７などにより実現される。

画像配置制御機能４４は、例えば図１の主制御部２１などにより実現され、解析機能４２から供給された優先度データを取得し、取得された優先度データに基づいてテレビ電話を行う際に液晶ディスプレイ１３に表示されるテレビ電話の参加者の画像の配置を制御するための画像配置制御信号を生成し、生成された画像配置制御信号をＬＣＤ制御部２６に供給する。

次に、図３のフローチャートは、図２の携帯電話機１における画像配置制御処理を示している。なお、この画像配置制御処理は、複数のユーザ（例えば、Ａさん、Ｂさん、Ｃさん、およびＤさんからなる４人のユーザ）によりテレビ電話（またはテレビ会議など）を開始するときに同時に並行して開始される。

ステップＳ１において、音声認識機能４１は、予め設定された所定の時間（例えば、５分間など）内で、音声コーデック３０によって伸張された音声信号（ディジタル信号）を逐次取得する。なお、例えばＡさん、Ｂさん、Ｃさん、およびＤさんからなる４人のユーザの間でテレビ電話を行う際に、複数の携帯電話機１（他のユーザの携帯電話機１以外にも自分の携帯電話機１も含まれる）から取得される音声信号および画像信号には、少なくとも、どの携帯電話機１からの音声信号または画像信号であるかを示す制御情報（例えば、携帯電話機１の電話番号など）が付加されており、この制御情報に基づいて、テレビ電話を行っているどの携帯電話機１からの音声信号または画像信号であるかを判別することができる。

ステップＳ２において、音声認識機能４１は、取得された伸張後の音声信号から無効な音およびノイズを除去するとともに、無効な音およびノイズが除去された後の音声信号に基づいて音声認識処理を実行する。すなわち、音声認識機能４１は、無効な音およびノイズが除去された後の音声信号から特徴量を抽出し、抽出された特徴量に基づいて所定の単語列をテレビ電話の参加者（Ａさん、Ｂさん、Ｃさん、およびＤさんのいずれか）の発言（音声）として選択する。

例えばＢさんからＡさんに「ＸＸですよね、Ａさん」という発言がなされた場合、音声認識処理が実行されることで、４人のうちいずれかのテレビ電話の参加者の発言として「ＸＸですよね、Ａさん」が選択される。

音声認識機能４１は、選択されたテレビ電話の参加者の発言（音声）に関するデータである発言データを解析機能４２に逐次供給する。この発言データには、例えば、４人のうちいずれかのテレビ電話の参加者の発言として選択された「ＸＸですよね、Ａさん」に関するデータや、どの携帯電話機１からの音声信号であるかを示す制御情報（例えば、携帯電話機１の電話番号など）が含まれる。

ステップＳ３において、解析機能４２は、音声認識機能４１から供給されたテレビ電話の参加者の発言データを逐次取得し、取得されたテレビ電話の参加者の発言データに基づいて、所定の解析（テレビ電話の参加者の発言回数やキーワードの発言回数などの解析）を行う。

具体的には、まず、解析機能４２は、取得されたテレビ電話の参加者の発言データに基づいてテレビ電話の参加者を特定する。すなわち、例えば図４に示されるように、ＢさんからＡさんに「ＸＸですよね、Ａさん」という発言がなされた場合に、その後、ＡさんからＢさんに「はい、そうです。」という発言（応答）がなされると、発言（応答）をしたテレビ電話の参加者が「Ａさん」であるということを特定することができる。同様の処理により、Ｂさん、Ｃさん、およびＤさんを特定することができる。

図４は、テレビ電話に参加しているユーザの所有する携帯電話機１の電話番号と参加者名の対応関係を表している。

図４のテーブルの第１列目乃至第２列目には、左から順に、「電話番号」および「参加者名」が記載されており、それぞれ、テレビ電話に参加している参加者（ユーザ）の所有する携帯電話機１の電話番号、および、その携帯電話機１の電話番号に対応する参加者名を示している。

図４のテーブルの第１行目は、「電話番号」が「０９０−２３４５−××××」であり、テレビ電話に参加しているユーザの所有する携帯電話機１の電話番号が「０９０−２３４５−××××」であることを示している。「参加者名」は「Ａ」であり、その携帯電話機１の電話番号（「０９０−２３４５−××××」）に対応する参加者名が「Ａ」であることを示している。

図４のテーブルの第２行目は、「電話番号」が「０９０−７５２３−××××」であり、テレビ電話に参加しているユーザの所有する携帯電話機１の電話番号が「０９０−７５２３−××××」であることを示している。「参加者名」は「Ｂ」であり、その携帯電話機１の電話番号（「０９０−７５２３−××××」）に対応する参加者名が「Ｂ」であることを示している。

なお、図４のテーブルの第３行目乃至第４行目についても同様であり、その説明は繰り返しになるので省略する。

次に、解析機能４２は、取得されたテレビ電話の参加者の発言データに含まれる制御情報（例えば、携帯電話機１の電話番号など）に基づいて、テレビ電話の参加者のうち、現在の話者を特定する。例えばテレビ電話の参加者のうち、現在の話者がＡさん（電話番号が「０９０−２３４５−××××」の携帯電話機１を所有するユーザ）である場合、テレビ電話の参加者の発言データに含まれる制御情報（「０９０−２３４５−××××」の携帯電話機１の電話番号）に基づいて、現在の話者がＡさんであると特定される。

図５は、テレビ電話に参加しているユーザの所有する携帯電話機１の電話番号、参加者名、および発言中である話者の対応関係を表している。なお、図５のテーブルの第１列目および第２列目の「電話番号」および「参加者名」は、図４のテーブルの第１列目および第２列目の「電話番号」および「参加者名」と同様であり、その説明は繰り返しになるので省略する。

図５のテーブルの第３列目には、「発言中」が記載されており、現在の発言中である話者であるか否かを示している。

図５のテーブルの第１行目の場合、「発言中」は「○」であり、参加者名「Ａ」であるユーザが現在の発言中である話者であることを示している。

図５のテーブルの第２行目の場合、「発言中」は「―」であり、参加者名「Ｂ」であるユーザが現在の発言中である話者ではないことを示している。

なお、図５のテーブルの第３行目乃至第４行目についても同様であり、その説明は繰り返しになるので省略する。

勿論、テレビ電話の参加者のうち、現在の話者が複数（例えば、２人など）存在する場合、テレビ電話の参加者の発言データに含まれる制御情報に基づいて、複数の参加者が現在の話者として特定される。

さらに、解析機能４２は、取得されたテレビ電話の参加者の発言データに基づいて、予め設定された所定の時間内での、４人の参加者Ａ乃至Ｄの発言回数、キーワードの発言回数、名前を呼ばれる回数、および返事（相槌を含む）をした回数などを解析する。これにより、話者以外であっても、例えば発言回数、キーワードの発言回数、および名前を呼ばれる回数が多ければ会話の中心人物（または会話の中心人物に近い人）と認識することができるし、また、返事をした回数が多ければ会話の中で相手役になっていると認識することができる。

なお、キーワードは、テレビ電話による会話の内容で繰り返し使用される単語をキーワードとするようにしてもよいし、ユーザの好みに応じて、予め設定するようにしてもよい。

図６は、テレビ電話に参加しているユーザの所有する携帯電話機１の電話番号、参加者名、発言中である話者、発言回数、キーワードの発言回数、名前を呼ばれる回数、および返事をした回数の対応関係を表している。なお、図６のテーブルの第１列目乃至第３列目の「電話番号」、「参加者名」、および「発言中」は、図５のテーブルの第１列目乃至第３列目の「電話番号」、「参加者名」、および「発言中」と同様であり、その説明は繰り返しになるので省略する。

図６のテーブルの第４列目乃至８列目には、左から順に、「発言回数」、「キーワードの発言回数」、「名前を呼ばれる回数」、および「返事をした回数」が記載されており、それぞれ、テレビ電話の参加者が会話中に発言した回数、テレビ電話を行う際の所定のテーマに関するキーワードを発言した回数、他の参加者から名前が呼ばれた回数、および、他の参加者に対して返事をした回数を示している。

図６のテーブルの第１行目の場合、「発言回数」は「７」であり、テレビ電話の参加者（参加者Ａ）が会話中に発言した回数が「７」であることを示している。「キーワードの発言回数」は「３」であり、テレビ電話を行う際の所定のテーマに関するキーワードを発言した回数が「３」であることを示している。「名前を呼ばれる回数」は「６」であり、他の参加者から名前（「Ａさん」という名前）が呼ばれた回数が「６」であることを示している。「返事をした回数」は「５」であり、他の参加者に対して返事をした回数が「５」であることを示している。

図６のテーブルの第２行目の場合、「発言回数」は「１」であり、テレビ電話の参加者（参加者Ｂ）が会話中に発言した回数が「１」であることを示している。「キーワードの発言回数」は「１」であり、テレビ電話を行う際の所定のテーマに関するキーワードを発言した回数が「１」であることを示している。「名前を呼ばれる回数」は「２」であり、他の参加者から名前（「Ａさん」という名前）が呼ばれた回数が「２」であることを示している。「返事をした回数」は「２」であり、他の参加者に対して返事をした回数が「２」であることを示している。

なお、図６のテーブルの第３行目乃至第４行目についても同様であり、その説明は繰り返しになるので省略する。

ステップＳ４において、解析機能４２は、予め設定された所定の時間ごとに、その解析結果に基づいて、テレビ電話の参加者と発言回数などが対応付けられて登録されている発言履歴データベース４３を更新する。

例えば、Ａ乃至Ｄの４人でテレビ電話を行った際に、図６のテーブルに示されるような解析結果に基づいて発言履歴データベース４３を更新する場合、図７に示されるように発言履歴データベース４３が更新される。

なお、例えば参加者Ａ乃至Ｄの４人でのテレビ電話が開始されると、予め設定された所定の時間ごとに画像配置制御処理が繰り返され、図７に示されるように発言履歴データベース４３が更新された後、予め設定された所定の時間が経過すると、例えば図８に示されるように発言履歴データベース４３が更新される。

図８の例の場合、参加者名「Ｄ」であるユーザが現在の発言中である話者であり、その他の「発言回数」、「キーワードの発言回数」、「名前を呼ばれる回数」、および「返事をした回数」がそれぞれ更新されている。

なお、本発明の実施形態においては、予め設定された所定の時間内に取得された音声信号に基づいて音声認識処理を行い、音声認識された発言（音声）を一括して解析し、その解析結果に基づいて、テレビ電話の参加者と発言回数などが対応付けられて登録されている発言履歴データベース４３を予め設定された所定の時間ごとに一括して更新するようにしたが、このような場合に限られず、逐次取得された音声信号に基づいて逐次音声認識処理を行い、音声認識された発言（音声）を逐次解析し、発言履歴データベース４３を逐次更新するようにしてもよい。

ステップＳ５において、解析機能４２は、更新された発言履歴データベース４３を参照して、現在の通話状況に応じた、液晶ディスプレイ１３に表示されるテレビ電話の参加者（例えばＡ乃至Ｄ）の画像の配置に関する優先度（すなわち、参加者Ａ乃至Ｄの４人でのテレビ電話において会話の頻度と重要度などが高いため、液晶ディスプレイ１３に表示画面において優先的に表示する度合い）を算出する。

具体的には、図７の例の場合、参加者Ａが現在発言中である話者であることから、例えば参加者Ａ乃至Ｄの４人のうち、参加者Ａについて最も高く優先度が算出され、残りの参加者Ｃ、Ｄ、Ｂの順で優先度が低く算出される（参加者Ｂが最も優先度が低く算出される）。この優先度の算出に際して、発言回数や返事をした回数などを単純に加算するようにしてもよいし、それぞれの回数ごとに重み付けを行った後加算するようにしてもよい。

解析機能４２は、算出された優先度に関するデータである優先度データを画像配置制御機能４４に供給する。

ステップＳ６において、画像配置制御機能４４は、解析機能４２から供給された優先度データを取得し、取得された優先度データに基づいて、テレビ電話を行う際に液晶ディスプレイ１３に表示される参加者（図７の例の場合、Ａ乃至Ｄ）の画像の配置を制御するための画像配置制御信号を生成し、生成された画像配置制御信号をＬＣＤ制御部２６に供給する。

例えば図７の例の場合、参加者Ａが現在発言中である話者であることから、参加者Ａ乃至Ｄの４人のうち、参加者Ａについて最も高く優先度が算出され、例えば図９に示されるように、参加者Ａの画像がメインＸ−１に表示される一方、他の参加者Ｂ乃至ＤがメインＸ−１の下のサブＸ−２乃至４で表示されるように参加者の画像の配置を制御するための画像配置制御信号が生成される。

ＬＣＤ制御部２６は、画像デコーダ２７から供給された複数のデコード後の画像信号を取得し、画像配置制御機能４４から供給された画像配置制御信号に基づいて、取得された複数のデコード後の画像信号に基づく参加者（例えばＡ乃至Ｄ）の画像を所望の位置に配置させて液晶ディスプレイ１３に表示させる。

ステップＳ７において、液晶ディスプレイ１３は、ＬＣＤ制御部２６の制御に従い、図９に示されるように、複数のデコード後の画像信号に基づく参加者（例えばＡ乃至Ｄ）の画像を予め設定された所定の時間ごとに更新して表示する。

これにより、ユーザは、テレビ電話において会話の中心となっているユーザ（あるいは、発言中のユーザ）の顔を容易に判別することができ、テレビ電話において会話の中心となっているユーザ（あるいは、発言中のユーザ）が誰であるかを容易に認識することができる。

なお、ステップＳ６および７において、例えば図７の例の場合、参加者Ａが現在発言中である話者であり、参加者Ａについて最も高く優先度が算出され、その次に参加者Ｃ、Ｄ、Ｂの順で高く優先度が算出されることから、例えば図１０に示されるように、参加者Ａの画像がメインＸ−１に表示され、参加者Ｃの画像がメインＸ−１の下の少し大きめのサブＸ−２に表示され、参加者Ｄの画像がメインＸ−１の下の少し大きめのサブＸ−３で表示され、そして、参加者Ｂの画像がメインＸ−１の下の少し大きめのサブＸ−４で表示されるように参加者の画像の配置を制御するための画像配置制御信号が生成されるようにしてもよい。

また、例えば１０人でテレビ電話を行う場合、参加者Ａが他の参加者から呼ばれる回数が多く、参加者Ａを中心に会話が成立していると認識されるときには、例えば図１１に示されるように、参加者Ａの画像がメインＸ−４に表示され、参加者Ａの会話の相手をしていると認識される優先度の高い他の参加者（Ｂ乃至Ｇ）の画像がサブＸ−１乃至Ｘ−３およびＸ−５乃至Ｘ−７に表示されるように参加者の画像の配置を制御するための画像配置制御信号が生成されるようにしてもよい。

その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が繰り返される。

本発明の実施形態においては、複数の携帯電話機１から取得された音声信号に基づいて音声認識処理を行うとともに、音声認識された発言に関するデータである発言データに基づいて所定の解析を行い、その解析結果に基づいて液晶ディスプレイ１３に表示されるテレビ電話の参加者の画像の配置に関する優先度を算出し、算出された優先度に基づいて、液晶ディスプレイ１３に表示される参加者の画像の配置を制御するようにしたので、複数のユーザが多地点間でテレビ電話を行う場合において、通話状況に応じて表示部（液晶ディスプレイ１３）に表示されるユーザの画像の配置を好適に制御することができる。これにより、携帯電話機１のように表示部の大きさが限られる場合であっても、ユーザは、テレビ電話において会話の中心となっているユーザ（あるいは、発言中のユーザ）の顔を容易に判別することができ、テレビ電話において会話の中心となっているユーザ（あるいは、発言中のユーザ）が誰であるかを容易に認識することができる。従って、テレビ電話を行う場合における利便性を向上させることができる。

なお、「通話状況」とは、複数のユーザにより行われるテレビ電話における種々の状況、例えば現在の発言者が誰であるのか、その発言者の発言回数はどれくらいか、会話の中心人物は誰か、会話の内容はどのような内容であるかなどに関する状況と定義する。

また、図３を参照して説明した画像配置制御処理においては、予め設定された所定の時間（例えば、５分間など）ごとに、現在の通話状況に応じて、液晶ディスプレイ１３に表示される参加者の画像の配置を制御するようにしたが、テレビ電話を行う際の内容や参加者に応じて画像配置制御処理を繰り返す所定の時間を変更するようにしてもよい。

なお、本発明は、携帯電話機１以外にも、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、その他の情報処理装置にも適用することができる。

また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。

さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明に係る情報処理装置に適用可能な携帯電話機の内部の構成を示すブロック図。 本発明に係る情報処理装置に適用可能な携帯電話機が実行することができる機能的な構成を示すブロック図。 図２の携帯電話機における画像配置制御処理を説明するフローチャート。 テレビ電話に参加しているユーザの所有する携帯電話機の電話番号、および参加者名の対応関係を示す図。 テレビ電話に参加しているユーザの所有する携帯電話機の電話番号、参加者名、および発言中である話者の対応関係を示す図。 テレビ電話に参加しているユーザの所有する携帯電話機の電話番号、参加者名、発言中である話者、発言回数、キーワードの発言回数、名前を呼ばれる回数、および返事をした回数の対応関係を示す図。 図２の発言履歴データベースの構成例を示す図。 図２の発言履歴データベースの他の構成例を示す図。 図１の液晶ディスプレイに表示される参加者の画像の配置例を示す図。 図１の液晶ディスプレイに表示される参加者の画像の他の配置例を示す図。 図１の液晶ディスプレイに表示される参加者の画像の他の配置例を示す図。

符号の説明

１…携帯電話機、１１…操作キー、１２…ＣＣＤカメラ、１３…液晶ディスプレイ、１４…サブディスプレイ、１５…マイクロフォン、１６…スピーカ、２１…主制御部、２２…電源回路、２３…操作入力制御部、２４…画像エンコーダ、２５…カメラI/F部、２６…ＬＣＤ制御部、２７…画像デコーダ、２８…多重分離部、２９…変復調回路部、３０…音声コーデック、３１…メインバス、３２…同期バス、３３…送受信回路部、３４…アンテナ、３５…記録再生部、３６…メモリカード、３７…記憶部、３８…音楽制御部、４１…音声認識機能、４２…解析機能、４３…発言履歴データベース、４４…画像配置制御機能。

Claims (4)

1. 無線通信を介して多地点間においてテレビ電話を行う情報処理装置において、
   複数の前記情報処理装置から画像信号および音声信号をそれぞれ取得し、取得された前記音声信号に基づいて音声認識処理を行う音声認識手段と、
   複数の前記画像信号に基づく画像を表示する表示手段と、
   前記音声認識手段により音声認識された発言に基づいて所定の解析を行い、その解析結果に基づいて、前記表示手段により表示される複数の前記画像信号に基づく画像の配置に関する優先度を算出する解析手段と、
   前記解析手段により算出された前記優先度に応じて、前記表示手段により表示される複数の前記画像信号に基づく画像の配置を制御する制御手段とを備えることを特徴とする情報処理装置。
2. 前記解析手段による解析結果には、発言回数、キーワードの発言回数、名前を呼ばれる回数、返事をした回数のうちの少なくともいずれかが含まれることを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記優先度が高いほど、前記表示手段により表示される複数の前記画像信号に基づく画像を拡大して配置するように制御することを特徴とする請求項１に記載の情報処理装置。
4. 前記解析手段による解析結果を記憶する記憶手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。

Images