JP2008182466A - テレビ電話機 - Google Patents

Abstract

【課題】撮像画像をそのまま送信したくないときは撮像画像が送信されることを防止でき、かつ相手に不快感を与える可能性を少なくする。
【解決手段】テレビ電話機５０は、マイク５４と、撮像部５２と、メモリ５８と、通信部６６と、ディスプレイ８８と、スピーカ６４と、制御部７０とを含む。マイク５４には、音声が入力される。撮像部５２は、撮像対象を撮像する。メモリ５８は、撮像データを撮像対象に対応付けて記憶する。通信部６６は、音声データおよび撮像データを通信する。ディスプレイ８８は映像を表示する。スピーカ６４は音声を出力する。制御部７０は、選択部７０２と、送信制御部７０４とを含む。選択部７０２は、メモリ５８が記憶した撮像データの中から撮像データを選択する。送信制御部７０４は、音声データと選択部７０２が選択した撮像データとを送信するように通信部６６を制御する。
【選択図】図１

Description

本発明は、テレビ電話機に関し、特に、双方向の通信を行い、かつ少なくとも一方から映像を送信できるテレビ電話機に関する。

特許文献１は、撮像部と、画像データ記憶部と、画像データ処理部と、画像データ符号化部と、システム制御部と、動き検出部とを備える撮像画像送信装置を開示する。撮像部は、撮像対象を撮像して撮像画像データを出力する。画像データ記憶部には、あらかじめ準備された画像データが記憶されている。画像データ処理部は、撮像画像データおよび準備された画像データを合成処理し、撮像画像データ、準備された画像データ、またはこれらの合成画像データからなる送信画像データを出力する。画像データ符号化部は、送信画像データを符号化して出力する。システム制御部は、合成処理を制御する。動き検出部は、撮像画像データから撮像対象または撮像部の第１の動きおよび第２の動きを検出する。システム制御部は、送信画像データが撮像画像データであるときに第１の動きが検出されると、合成処理を変更することによって送信画像データを準備された画像データまたは合成画像データに変更し、送信画像データが準備された画像データまたは合成画像データであるときに第２の動きが検出されると、合成処理を変更することによって送信画像データを撮像画像データに変更する。

特許文献１に開示された発明によると、撮像画像をそのまま送信したくないときに、そのままの撮像画像に換えてあらかじめ準備した画像あるいは画像処理を施した撮像画像を簡単な操作で送信できる。

特許文献２は、送信されてきた画像が当方の表示画面に表示された後、送信相手との通信の許否を切り換え可能な画像通信装置を開示する。

特許文献２に開示された発明によると、使用者の意図に即した通信を行い、通信に関する利便性の向上を図ることができる。

特許文献３は、計時部と、撮像部と、時間帯規定部と、判別部と、送信部とを有するテレビ電話装置を開示する。計時部は、現在時刻を計時する。撮像部は、画像を取り込む。時間帯規定部は、撮像部が取り込んだ画像の送信を許可する許可時間帯を規定する。判別部は、着呼の際、計時部が計時した現在時刻が示す着呼時刻が時間帯規定部の規定する許可時間帯に属するかどうかを判別する。送信部は、判別部の判別結果に基づき撮像部が取り込んだ画像を初期送信画面として選択的に送信する。

特許文献３に開示された発明によると、時間帯によって画像の送信を許可したり禁止したりできる。

特許文献４は、音声を取り込むマイクロホンと、画像を撮影するカメラと、送信部と、受信部と、スピーカと、画像表示部と、切替部と、状態表示部とを備えた通信装置を開示する。送信部は、マイクロホンおよびカメラで取り込んだ音声情報および画像情報を送信する。受信部は、送信されてきた音声情報および画像情報を受信する。スピーカは、受信した音声情報に基づく音声を出力する。画像表示部は、画像情報に基づく画像を画面に表示出力する。切替部は、カメラで撮影した自分側画像を相手側へ送信しない状態とカメラで撮影した自分側画像を相手側へ送信する状態とを切り替える。状態表示部は、切替状態がカメラで撮影した自分側画像を相手側へ送信しない状態またはカメラで撮影した自分側画像を相手側へ送信する状態のいずれの状態であるかを画面に表示する。

特許文献４に開示された発明によると、操作者の意に反して不用意に相手側に画像が表示されてしまう事態を確実に防止できる。

特許文献５は、通信部と、第１の画像表示部と、半透明鏡と、第２の画像表示部と、第１のカメラと、第２のカメラと、画像切り替えスイッチとを具備する画像通信装置を開示する。通信部は、相手側の通信端末と通信回線を介して画像信号を送受信する。第１の画像表示部は、通信端末で受信した相手側の動画または静止画の顔画像を表示する。半透明鏡は、第１の画像表示部が表示する相手側の顔画像を反射する。第２の画像表示部は、半透明鏡により反射した相手側の顔画像を表示する。第１のカメラは、半透明鏡を通して送信側の顔画像を入力する。第２のカメラは、送信画像を入力する。画像切り替えスイッチは、第１のカメラと第２のカメラとの画像を切り替える。

特許文献５に開示された発明によると、ある許容範囲内において、被写体の顔の位置や向きに左右されずに視線を捉えた最適な顔画像を表示できる。

特許文献６は、着信時において情報取得部により取得した相手先の端末情報が記憶部に登録されている内容と合致する場合のみ、自機からの映像の送信を許可するテレビ電話装置を開示する。

特許文献６に開示された発明によると、間違い電話や迷惑電話その他受信者が想定していない相手からの発呼にたいして通信を接続してしまうことにより受信者の映像などが相手側に送信されることを防止できる。
特開２００２−１１８７３３号公報 特開平９−２２４２２８号公報 特開平７−３０８７１号公報 特開２００４−２１５３０３号公報 特開平６−３０３６０１号公報 特開２００６−２１１００１号公報

しかし、特許文献１に開示された発明では、撮像画像に換えてあらかじめ準備した画像あるいは画像処理を施した撮像画像を送信していることが相手に容易に知られてしまうため、相手に不快感を与える可能性があるという問題点がある。

特許文献２〜４に開示された発明では、相手側が自分自身の映像を送信しているにも関わらずユーザは自分自身の映像を送信しないことにより、相手に不快感を与える可能性があるという問題点がある。

特許文献５および６に開示された発明では、撮像画像をそのまま送信したくないときにも撮像画像を送信してしまうという問題点がある。

本発明は上述の問題点を解決するためになされたものであって、その目的は、撮像画像をそのまま送信したくないときは撮像画像が送信されることを防止でき、かつ相手に不快感を与える可能性を少なくできるテレビ電話機を提供することにある。

上記目的を達成するために、本発明のある局面に従うと、テレビ電話機は、音声入力手段と、撮像手段と、記憶手段と、通信手段と、表示手段と、音声出力手段と、制御手段とを含む。音声入力手段は、音声が入力されたことに応じて音声データを出力する。撮像手段は、撮像対象を撮像して撮像データを出力する。記憶手段は、撮像対象の部分別の変位の組み合わせに対応付けて複数の種類の撮像データを記憶する。通信手段は、音声データおよび撮像データを送信し、かつ撮像データとは異なる映像データおよび音声入力手段が出力した音声データとは異なる音声データを受信する。表示手段は、通信手段が受信した映像データが表わす映像を表示する。音声出力手段は、通信手段が受信した音声データが表わす音声を出力する。制御手段は、通信手段を制御する。制御手段は、配置抽出手段と、変位抽出手段と、読み出し手段と、送信制御手段とを含む。配置抽出手段は、記憶手段が記憶した撮像データを通信手段が送信している間に撮像された撮像データが表わす撮像対象の部分別の配置の情報を複数回抽出する。変位抽出手段は、複数の時期に撮像された複数の種類の撮像データから配置抽出手段が抽出した配置の情報に基づいて、撮像対象の部分別の変位の組み合わせを表わす情報を通信手段が撮像データを送信している間に複数回抽出する。読み出し手段は、変位の組み合わせを表わす情報を変位抽出手段が抽出すると、変位の組み合わせに対応する撮像データを記憶手段から読み出す。送信制御手段は、音声入力手段が出力した音声データを送信し、かつ読み出し手段が撮像データを読み出すたびに読み出し手段が読み出した撮像データを送信するように、通信手段を制御する。

本発明の他の局面にしたがうと、テレビ電話機は、音声入力手段と、撮像手段と、記憶手段と、通信手段と、表示手段と、音声出力手段と、制御手段とを含む。音声入力手段は、音声が入力されたことに応じて音声データを出力する。撮像手段は、撮像対象を撮像して撮像データを出力する。記憶手段は、撮像データを撮像対象に対応付けて記憶する。通信手段は、音声データおよび撮像データを送信し、かつ撮像データとは異なる映像データおよび音声入力手段が出力した音声データとは異なる音声データを受信する。表示手段は、通信手段が受信した映像データが表わす映像を表示する。音声出力手段は、通信手段が受信した音声データが表わす音声を出力する。制御手段は、通信手段を制御する。制御手段は、選択手段と、送信制御手段とを含む。選択手段は、音声入力手段が出力した音声データおよび記憶手段が撮像データを記憶した後に撮像手段が撮像して出力した撮像データの少なくとも一方に基づいて、記憶手段が記憶した撮像データの中から音声を入力した撮像対象についての撮像データを選択する。送信制御手段は、音声入力手段が出力した音声データと選択手段が選択した撮像データとを送信するように、通信手段を制御する。

また、上述した記憶手段は、撮像対象の複数の部分の位置関係に対応付けて複数の種類の撮像データを記憶するための手段を含むことが望ましい。併せて、選択手段は、関係抽出手段と、読み出し手段とを含むことが望ましい。関係抽出手段は、撮像対象の複数の部分の位置関係に対応する情報を撮像手段が出力した撮像データから抽出する。読み出し手段は、関係抽出手段が抽出した情報に対応する撮像データを記憶手段から読み出す。併せて、送信制御手段は、音声入力手段が出力した音声データと読み出し手段が読み出した撮像データとを送信するように、通信手段を制御するための手段を含むことが望ましい。

もしくは、上述した記憶手段は、撮像対象の部分別の変位の組み合わせに対応付けて複数の種類の撮像データを記憶するための手段を含むことが望ましい。併せて、関係抽出手段は、配置抽出手段と、変位抽出手段とを含むことが望ましい。配置抽出手段は、撮像データが表わす撮像対象の部分別の配置の情報を抽出する。変位抽出手段は、複数の時期に撮像された複数の種類の撮像データから配置抽出手段が抽出した配置の情報に基づいて、撮像対象の部分別の変位の組み合わせを表わす情報を抽出する。併せて、読み出し手段は、変位の組み合わせに対応する撮像データを記憶手段から読み出すための手段を含むことが望ましい。

もしくは、上述した配置抽出手段は、記憶手段が記憶した撮像データを通信手段が送信している間に撮像された撮像データが表わす配置の情報を複数回抽出するための手段を含むことが望ましい。併せて、変位抽出手段は、通信手段が撮像データを送信している間に変位の組み合わせを表わす情報を複数回抽出するための手段を含むことが望ましい。併せて、読み出し手段は、変位の組み合わせを表わす情報を変位抽出手段が抽出すると、変位の組み合わせに対応する撮像データを読み出すための手段を含むことが望ましい。併せて、送信制御手段は、読み出し手段が撮像データを読み出すたびに読み出し手段が読み出した撮像データを送信するように、通信手段を制御するための手段を含むことが望ましい。

もしくは、上述した記憶手段は、撮像対象の複数の部分の位置関係に加え、撮像対象の音声の情報に対応付けて複数の種類の撮像データを記憶するための手段を含むことが望ましい。併せて、制御手段は、音声入力手段が出力した音声データから撮像対象に対応する音声の属性の情報を抽出するための手段をさらに含むことが望ましい。併せて、読み出し手段は、関係抽出手段が情報として抽出した位置関係に加え、音声の属性の情報に対応する撮像データを記憶手段から読み出すための手段を含むことが望ましい。

または、上述した制御手段は、音声入力手段が出力した音声データおよび通信手段が受信した音声データから、音声の属性の情報を抽出するための属性抽出手段をさらに含むことが望ましい。併せて、送信制御手段は、音声入力手段が出力した音声データから抽出した音声の属性に対応する情報と通信手段が受信した音声データから抽出した音声の属性に対応する情報との組み合わせが要件を満たす場合、選択手段が選択した撮像データを送信するように通信手段を制御するための手段を含むことが望ましい。

本発明に係るテレビ電話機は、撮像画像をそのまま送信したくないときは撮像画像が送信されることを防止でき、かつ相手に不快感を与える可能性を少なくできる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰返さない。

図１は、本実施の形態に係るテレビ電話機５０の構成を表わす図である。図２は、本実施の形態に係るテレビ電話機５０の外観図である。図１および図２を参照して、本実施の形態に係るテレビ電話機５０は、撮像部５２と、マイク５４と、エンコーダ５６と、メモリ５８と、デコーダ６０と、表示部６２と、スピーカ６４と、通信部６６と、操作部６８と、制御部７０とを含む。

撮像部５２は、撮像対象を撮像して映像データを出力する装置である。本実施の形態において、この映像データを「撮像データ」と称する。本実施の形態に場合、撮像部５２はＣＣＤ（Charge-Coupled Devices）カメラを含む。本実施の形態に場合、撮像部５２は図２に示すように設けられているので、ＣＣＤカメラの向きを変えなくてもユーザやその背景などの撮像対象を撮像することとなる。マイク５４は、音声が入力されたことに応じてその音声を電気信号に変換し出力する装置である。この電気信号が音声データを表わす。ユーザは、マイク５４を使用して音声データを入力できる。エンコーダ５６は、撮像部５２が撮像により得た電気信号を符号化する装置である。エンコーダ５６がその電気信号を符号化することにより、その電気信号が表わす映像のデータ量は圧縮される。メモリ５８は、制御部７０が情報を処理したり演算をしたりする際、データを一時的に記憶する装置である。メモリ５８は、制御部７０が実行するプログラムを記憶する装置でもある。メモリ５８は、過去に通信した電話機の電話番号の情報や、通話者を特定するための各種の情報や、通話者の間の親密度の情報や、撮像部５２が撮像した像の代わりに通信部６６が送信する映像データや、撮像部５２が予め撮像した撮像データや、後述するファイルテーブルを記憶しておく装置でもある。なお、本実施の形態の場合、ＭＰＥＧ（Moving Picture Coding Experts Group）ファイルとして撮像データは記憶されている。また、撮像部５２が撮像した像の代わりに通信部６６が送信する映像は動画であっても静止画であってもよいが、本実施の形態の場合、この映像は静止画である。通話者を特定するための各種の情報は、周波数別の音声の大きさを表わすデータの組み合わせと、画像における目と口との特徴点の座標と、通話者を識別するデータとを対応付けたデータベースとしてメモリ５８に記憶される。通話者の間の親密度の情報は、通話者を識別するデータと親密度の区分を表わすデータとを対応付けたデータベースとしてメモリ５８に記憶される。デコーダ６０は、符号を電気信号に復号する装置である。表示部６２は、映像データが表わす映像を表示する装置である。スピーカ６４は、音声データが表わす音声を出力する装置である。通信部６６は、図示しないネットワークを介して、図示しない電話機と通信する装置である。操作部６８は、ユーザの操作に応じて信号を生成する装置である。ユーザは、操作部６８を操作することにより情報を入力することができる。

表示部６２は、ディスプレイ８８と、配信ＬＥＤ（Light Emitting Diode）９０と、フォーマルＬＥＤ９２と、停止ＬＥＤ９４とを含む。

配信ＬＥＤ９０は、撮像部５２が出力した撮像データをそのまま通信部６６が送信している場合に点灯するＬＥＤである。これにより、撮像部５２が出力した撮像データがそのまま送信されていることをユーザは知る。フォーマルＬＥＤ９２は、撮像部５２が予め撮像し、かつメモリ５８に記憶された撮像データを通信部６６が送信している場合に点灯するＬＥＤである。これにより、撮像部５２が予め撮像し、かつメモリ５８に記憶された撮像データが送信されていることをユーザは知る。停止ＬＥＤ９４は、撮像部５２が撮像した像の代わりにメモリ５８に予め記憶されている映像データを通信部６６が送信している場合に点灯するＬＥＤである。これにより、メモリ５８に予め記憶されている映像データが送信されていることをユーザは知る。

操作部６８は、キー入力部９６と、リモコン受信部９８とを含む。
キー入力部９６は、ユーザのキー操作に応じて信号を生成する装置である。リモコン受信部９８は、図示しないリモートコントローラから赤外線信号を受信するとその信号に対応する電気信号を生成する装置である。そのリモートコントローラは、ユーザの操作に応じて赤外線信号をリモコン受信部９８に送信する。

制御部７０は、選択部７０２と、送信制御部７０４と、属性抽出部７０６とを含む。
選択部７０２は、マイク５４が出力した音声データおよびメモリ５８が撮像データを記憶した後に撮像部５２が撮像して出力した撮像データの少なくとも一方に基づいて、メモリ５８が記憶した撮像データの中から音声を入力した者についての撮像データを選択する。送信制御部７０４は、マイク５４が出力した音声データと選択部７０２が選択した撮像データとを送信するように、通信部６６を制御する。属性抽出部７０６は、マイク５４が出力した音声データおよび通信部６６が受信した音声データから、音声の属性の情報を抽出する。本実施の形態においては、音声の属性の情報として上述した周波数別の音声の大きさを表わすデータが抽出される。

選択部７０２は、関係抽出部７１０と、読み出し部７１２とを含む。
関係抽出部７１０は、ユーザその他の撮像対象の複数の部分の位置関係に対応する情報を抽出する。その情報は、撮像部５２が出力した撮像データから抽出される。読み出し部７１２は、関係抽出部７１０が抽出した情報に対応する撮像データをメモリ５８から読み出す。

関係抽出部７１０は、配置抽出部７２０と、変位抽出部７２２とを含む。
配置抽出部７２０は、撮像データが表わす撮像対象の部分別の配置の情報を抽出する。変位抽出部７２２は、複数の時期に撮像された複数の種類の撮像データから配置抽出部７２０が抽出した配置の情報に基づいて、撮像対象の部分別の変位の組み合わせを表わす情報を抽出する。

図３は、メモリ５８が記憶するファイルテーブルの概念図である。図３を参照して、本実施の形態に係るファイルテーブルは、数値変化の範囲を表わすデータと、ＭＰＥＧファイルの情報とを含む。

数値変化の範囲を表わすデータは、眉・目・腕についての特徴点の座標を表わすデータと、周波数別の音声の大きさを表わすデータとを含む。特徴点の座標を表わすデータは、動作前の座標のデータと動作後の座標のデータとを含む。このデータは、ＭＰＥＧファイルを選択する際に利用される。図３には、周波数別の音声の大きさを表わすデータは、音の大きさを表わす複数のデータにより成り立っているが、図３には最も音が大きい周波数のみが示されている。ＭＰＥＧファイルの情報は、送信される像のファイル名を表わす。制御部７０は、この情報を参照してＭＰＥＧファイルを読み出す。

なお、本実施の形態の場合、数値変化の範囲を表わすデータは、Ｙ座標あるいはＸ軸方向の距離を表わす。数値変化の範囲を表わすデータが、Ｘ座標やＹ軸方向の距離を表わしてもよいことは言うまでもない。本実施の形態の場合、ディスプレイ８８に表示された像における左側から右側へ向かう方向をＸ軸方向とする。その像における上から下へ向かう方向をＹ軸方向とする。その像の左上を原点とする。どのデータがＸ座標を表わしどの座標がＹ座標を表わすかは予め定められている。本実施の形態の場合、「口の幅」のみがＸ軸方向の距離を表わす。それ以外のデータは、Ｙ座標を表わす。

また、図３に示す「動作名」欄は、ＭＰＥＧファイルとしてメモリ５８に記憶されたデータがどのような動きを表わす像かを説明するために設けられた欄であって、本実施の形態においてはファイルテーブルに含まれていない。

図４〜図６を参照して、テレビ電話機５０で実行されるプログラムは、通話中の映像通信に関し、以下のような制御を実行する。

ステップＳ１１０にて、送信制御部７０４は、通信部６６が受信した図示しない電話機からの信号に応じて、通信を確立するための処理を実施する。この通信は、その電話機との通信を確立するための処理である。なお、本実施の形態の場合、その電話機との通信を確立するためには予め図示しないプロバイダのサーバとの通信が確立されていることが必要である。なお、これらの通信を確立するための処理は周知であるので、ここではその詳細な説明は繰返さない。

ステップＳ１１２にて、送信制御部７０４は、通信部６６が受信した音声信号をスピーカ６４に出力する。スピーカ６４は、その信号に対応する音声を出力する。一方、マイク５４は、ユーザが入力した音声に対応する音声信号を生成し、送信制御部７０４に出力する。送信制御部７０４は、マイク５４が出力した音声信号を通信部６６に送信させる。音声信号の通信の合間に、送信制御部７０４は、画像データを通信部６６に送信させる。この画像データは、撮像部５２が撮像した像の代わりに通信部６６が送信する映像のデータであって通話開始の際に送信することと予め定められていたデータである。

ステップＳ１１４にて、送信制御部７０４は、過去に通信した電話機の電話番号の情報を参照することにより、ステップＳ１１０にて接続が確立された電話機の電話番号が、これまでに通信したことがない電話機の電話番号か否かを判断する。ステップＳ１１０にて接続が確立された電話機の電話番号が過去に通信した電話機の電話番号の情報に含まれていない場合、ステップＳ１１０にて接続が確立された電話機の電話番号がこれまでに通信したことがない電話機の電話番号であると送信制御部７０４は判断する。これまでに通信したことがない電話機の電話番号と判断した場合（ステップＳ１１４にてＹＥＳ）、処理はステップＳ１３２へと移される。もしそうでないと（ステップＳ１１４にてＮＯ）、処理はＳ１１６へと移される。

ステップＳ１１６にて、読み出し部７１２は、音声および映像のデータを通信部６６に通信させるための制御の合間に、通信部６６が受信した通話相手の音声データとマイク５４が生成したユーザの音声データと撮像部５２の撮像により得られたユーザの映像データとに基づいて、通話中の二人を認識する。本実施の形態の場合、通話相手の映像データを通信部６６が受信しているならば、読み出し部７１２は、そのデータも加味して通話中の二人を認識する。通話相手の映像データを通信部６６が受信していないならば、そのデータは加味されなくてよい。通話中の二人を認識するため、属性抽出部７０６は、音声データから音の大きさの情報を周波数別に抽出する。読み出し部７１２は、その情報をメモリ５８に記憶されている情報と比較することで通話している者を特定する。映像データを加味する場合、配置抽出部７２０が画像データによって特定した目と口とを表わす特徴点の配置をメモリ５８に記憶されている情報と読み出し部７１２が比較することで通話している者を特定する。本実施の形態において、読み出し部７１２は、映像データを加味する場合、音声に基づく認識を終了した後に映像に基づく認識を実施する。

ステップＳ１１８にて、読み出し部７１２は、認識を開始してから５秒以上の時間が経過したか否かを判断する。５秒以上の時間が経過したと判断した場合（ステップＳ１１８にてＹＥＳ）、処理はステップＳ１２２へと移される。処理が移される前に、音声に基づく認識を終了した時点で読み出し部７１２は認識を中断する。もしそうでないと（ステップＳ１１８にてＮＯ）、処理はＳ１１６へと移される。

ステップＳ１２０にて、読み出し部７１２は、自らが認識を終了したか否かを判断する。認識を終了したと判断した場合（ステップＳ１２０にてＹＥＳ）、処理はステップＳ１２２へと移される。もしそうでないと（ステップＳ１２０にてＮＯ）、処理はＳ１１８へと移される。

ステップＳ１２２にて、読み出し部７１２は、ステップＳ１１６の認識処理と、メモリ５８に記憶された親密度の情報とに基づいて、通話中の二人が親しい間柄か否かを判断する。読み出し部７１２は、メモリ５８に記憶された親密度の情報のうち認識処理が終了した時点における認識結果に基づいて通話中の二人を特定した後、それらの二人に対応付けられたデータを参照することにより通話中の二人が親しい間柄か否かを判断する。通話中の二人が親しい間柄と判断した場合には（ステップＳ１２２にてＹＥＳ）、処理はステップＳ１２４へと移される。もしそうでないと（ステップＳ１２２にてＮＯ）、処理はステップＳ１２６へと移される。

ステップＳ１２４にて、送信制御部７０４は、配信ＬＥＤ９０を点灯させる。併せて、送信制御部７０４は、撮像部５２の撮像により得られた信号を符号化させるように、エンコーダ５６を制御する。信号が符号化されると、送信制御部７０４は、符号化により得られた映像データを送信するように通信部６６を制御する。

ステップＳ１２６にて、読み出し部７１２は、ステップＳ１１６の認識処理と、メモリ５８に記憶された親密度の情報とに基づいて、通話中の二人がフォーマルな間柄か否かを判断する。読み出し部７１２は、メモリ５８に記憶された親密度の情報のうち認識処理が終了した時点における認識結果に基づいて通話中の二人を特定した後、それらの二人に対応付けられたデータを参照することにより通話中の二人がフォーマルな間柄か否かを判断する。通話中の二人がフォーマルな間柄と判断した場合には（ステップＳ１２６にてＹＥＳ）、処理はステップＳ１２８へと移される。もしそうでないと（ステップＳ１２６にてＮＯ）、処理はステップＳ１３０へと移される。

ステップＳ１２８にて、制御部７０は、フォーマルＬＥＤ９２を点灯させる。併せて、制御部７０は、撮像部５２が予め撮像したことにより得られ、かつメモリ５８に予め記憶された撮像データを、以下の手順に従って送信するための処理を実施する。

第１の手順は、撮像部５２の撮像により得られた映像データから、特徴点の座標を特定するという手順である。配置抽出部７２０は、その映像データにおける特徴点を抽出した後、その特徴点の座標を特定する。この座標は、上述した数値変化の範囲を表わすデータが表わす座標と同一の基準に基づいて定められる。

第２の手順は、第１の手順において特定された特徴点の座標とメモリ５８に記憶された特徴点の座標とを比較することにより、ユーザの体のうち動いた部分を変位抽出部７２２が識別する手順である。数値変化の範囲を表わすデータがＸ軸方向の距離を表わす特徴点については、その距離に変化があったか否かが識別される。本実施の形態の場合、比較される特徴点ごとに閾値が定められている。比較される特徴点ごとの座標の差や距離の変化がその閾値を越えている場合、ユーザの体のうちその特徴点に対応する部分に動きがあったと変位抽出部７２２は判断する。なお、比較される特徴点ごとの座標の差を「特徴点の移動量」と称する。

第３の手順は、ファイルテーブルが表わすＭＰＥＧファイルのうち、第２の手順において識別されたユーザの体の動きに最も近い動きを表わすファイルを読み出し部７１２が選択する手順である。本実施の形態の場合、数値変化の範囲を表わすデータの「前」欄の値と「後」欄の値との差が特徴量の移動量に最も近い特徴点を読み出し部７１２はまず検索する。そのような特徴点を「近似点」と称する。ファイルテーブルが表わすすべての特徴点について近似点が検索されると、ＭＰＥＧファイルのうち最も多くの近似点に対応付けられたファイルを読み出し部７１２は検索する。この処理により検索されたファイルが、第２の手順において識別されたユーザの体の動きに最も近い動きを表わすファイルである。ファイルの選択が終了すると、第１の手順において特定された特徴点の座標はメモリ５８に記憶される。

第４の手順は、第３の手順で選択されたファイルの映像を送信する手順である。このために、第３の手順で選択されたファイルをメモリ５８から読み出し部７１２は読み出す。そのファイルが読み出されると、送信制御部７０４は、そのファイルに含まれたデータをデコードするようにデコーダ６０を制御する。そのファイルに含まれたデータがデコードされると、デコードされたデータを信号として送信するように送信制御部７０４は通信部６６を制御する。

ステップＳ１３０にて、送信制御部７０４は、停止ＬＥＤ９４を点灯させる。併せて、通信部６６は、撮像部５２が撮像した像の代わりに送信する画像のデータを送信制御部７０４の制御に従って送信する。

ステップＳ１３２にて、送信制御部７０４は、通信部６６が通信した信号に基づいて、通話が終了したか否かを判断する。通話が終了したと判断した場合には（ステップＳ１３２にてＹＥＳ）、処理はステップＳ１３４へと移される。もしそうでないと（ステップＳ１３２にてＮＯ）、処理はステップＳ１３６へと移される。

ステップＳ１３４にて、通信部６６は、送信制御部７０４の制御に従って信号の通信を停止する。また、送信制御部７０４は、配信ＬＥＤ９０、フォーマルＬＥＤ９２、および停止ＬＥＤ９４のうち点灯していたＬＥＤを消灯させる。

ステップＳ１３６にて、送信制御部７０４は、キー入力部９６のライブボタンが押されたか否かを判断する。ライブボタンが押されたと判断した場合（ステップＳ１３６にてＹＥＳ）、処理はステップＳ１３８へと移される。もしそうでないと（ステップＳ１３６にてＮＯ）、処理はステップＳ１４０へと移される。

ステップＳ１３８にて、送信制御部７０４は、配信ＬＥＤ９０を点灯させる。併せて、送信制御部７０４は、撮像部５２の撮像により得られた信号を符号化させるように、エンコーダ５６を制御する。信号が符号化されると、送信制御部７０４は、符号化により得られた映像データを送信するように通信部６６を制御する。

ステップＳ１４０にて、送信制御部７０４は、再生ボタンが押されたか否かを判断する。再生ボタンはキー入力部９６の一部である。再生ボタンが押されたと判断した場合（ステップＳ１４０にてＹＥＳ）、処理はステップＳ１４２へと移される。もしそうでないと（ステップＳ１４０にてＮＯ）、処理はステップＳ１４４へと移される。

ステップＳ１４２にて、制御部７０は、フォーマルＬＥＤ９２を点灯させる。併せて、制御部７０は、撮像部５２が予め撮像したことにより得られ、かつメモリ５８に予め記憶された映像データを、ステップＳ１２８と同じ手順に従って送信するための処理を実施する。

ステップＳ１４４にて、送信制御部７０４は、キー入力部９６の停止ボタンが押されたか否かを判断する。停止ボタンが押されたと判断した場合（ステップＳ１４４にてＹＥＳ）、処理はステップＳ１４６へと移される。もしそうでないと（ステップＳ１４４にてＮＯ）、処理はステップＳ１４８へと移される。

ステップＳ１４６にて、送信制御部７０４は、停止ＬＥＤ９４を点灯させる。併せて、通信部６６は、撮像部５２が撮像した像の代わりに送信する画像のデータを送信制御部７０４の制御に従って送信する。

ステップＳ１４８にて、送信制御部７０４は、キー入力部９６の録画ボタンが押されたか否かを判断する。録画ボタンが押されたと判断した場合（ステップＳ１４８にてＹＥＳ）、処理はステップＳ１５０へと移される。もしそうでないと（ステップＳ１４８にてＮＯ）、処理はステップＳ１２２へと移される。

ステップＳ１５０にて、送信制御部７０４は、配信ＬＥＤ９０を点灯させる。併せて、制御部７０は、撮像部５２の撮像により得られた映像データをエンコーダ５６に符号化させ、符号化によりデータ量が圧縮された映像データをメモリ５８にＭＰＥＧファイルとして記憶させる。併せて、制御部７０は、撮像部５２の撮像により得られた映像データを、以下の手順に従って送信するための処理を実施する。

第１の手順は、撮像部５２の撮像により得られた映像データから、特徴点の座標を特定するという手順である。配置抽出部７２０は、その映像データにおける特徴点を抽出した後、その特徴点の座標を特定する。この座標は、上述した数値変化の範囲を表わすデータが表わす座標と同一の基準に基づいて定められる。

第２の手順は、第１の手順において特定された特徴点の座標とメモリ５８に記憶された特徴点の座標とを比較することにより、ユーザの体のうち動きがあった部分を変位抽出部７２２が検出する手順である。本実施の形態の場合、比較される特徴点ごとに閾値が定められている。比較される特徴点ごとの座標の差や距離の変化がその閾値を越えている場合、ユーザの体のうちその特徴点に対応する部分に動きがあったと変位抽出部７２２は判断する。

第３の手順は、ファイルテーブルに情報を追加するための手順である。メモリ５８に記憶させている途中の映像データのファイル名と、第２の手順において動きがあったことを検出した部分についての特徴点の座標とをファイルテーブルの一部として読み出し部７１２はメモリ５８に記憶させる。

第４の手順は、制御部７０が、符号化によりデータ量が圧縮された映像データを送信するように、通信部６６を制御する手順である。

以上のような構造およびフローチャートに基づく、テレビ電話機５０の動作について説明する。

送信制御部７０４は、通信部６６が受信した図示しない電話機からの信号に応じて、通信を確立するための処理を実施する（ステップＳ１１０）。通信が確立されると、通信部６６は、音声信号の通信の合間に、通話開始の際に送信する映像を送信する（ステップＳ１１２）。図７は、この時点における相手方のテレビ電話機５０の外観図である。この場合、通話の相手方も本実施の形態にかかるテレビ電話機５０を使用していることとする。ただし、テレビ電話機５０が通信する装置はその他の電話機であってもよい。

映像が送信されると、ステップＳ１１０にて接続が確立された電話機の電話番号が、これまでに通信したことがない電話機の電話番号か否かを判断する（ステップＳ１１４）。この場合、これまでに通信したことがある電話機の電話番号であることとすると（ステップＳ１１４にてＮＯ）、読み出し部７１２は通話中の二人を認識する（ステップＳ１１６）。認識が開始されると、読み出し部７１２は、自らが認識を終了したか否かを判断する（ステップＳ１２０）。認識が終了していなければ、読み出し部７１２は、認識を開始してから５秒以上の時間が経過したか否かを判断する（ステップＳ１１８）。５秒以上の時間が経過していなければ（ステップＳ１１８にてＮＯ）、ステップＳ１１６の処理を経て、読み出し部７１２は、自らが認識を終了したか否かを再び判断する（ステップＳ１２０）。この場合、認識が終了したとすると（ステップＳ１２０にてＹＥＳ）、読み出し部７１２は、通話中の二人が親しい間柄か否かを判断する（ステップＳ１２２）。この場合、通話中の二人が会社の上司と部下との関係すなわちフォーマルな関係にあるとすると（ステップＳ１２２にてＮＯ）、読み出し部７１２は、通話中の二人がフォーマルな間柄か否かを判断する（ステップＳ１２６）。この場合、上述したように、通話中の二人はフォーマルな間柄なので（ステップＳ１２６にてＹＥＳ）、制御部７０は、撮像部５２が予め撮像したことにより得られ、かつメモリ５８に予め記憶された撮像データを通信部６６に送信させる（ステップＳ１２８）。図８は、この時点における送信側のテレビ電話機５０の外観を表わす図である。

撮像データが送信されると、送信制御部７０４は、通信部６６が通信した信号に基づいて、通話が終了したか否かを判断する（ステップＳ１３２）。この場合、通話がまだ終了していないとすると（ステップＳ１３２にてＮＯ）、送信制御部７０４は、キー入力部９６のライブボタンが押されたか否かを判断する（ステップＳ１３６）。この場合、ライブボタンが押されていないとすると（ステップＳ１３６にてＮＯ）、送信制御部７０４は、再生ボタンが押されたか否かを判断する（ステップＳ１４０）。この場合、再生ボタンが押されていないとすると（ステップＳ１４０にてＮＯ）、送信制御部７０４は、停止ボタンが押されたか否かを判断する（ステップＳ１４４）。この場合、再生ボタンが押されていないとすると（ステップＳ１４４にてＮＯ）、送信制御部７０４は、キー入力部９６の録画ボタンが押されたか否かを判断する（ステップＳ１４８）。この場合、録画ボタンが押されていないとすると（ステップＳ１４８にてＮＯ）、ステップＳ１２２以降の処理が繰返される。

その後、通話が終了したと送信制御部７０４が判断した場合（ステップＳ１３２にてＹＥＳ）、通信部６６は、送信制御部７０４の制御に従って信号の通信を停止する。また、送信制御部７０４は、配信ＬＥＤ９０、フォーマルＬＥＤ９２、および停止ＬＥＤ９４のうち点灯していたＬＥＤを消灯させる（ステップＳ１３４）。これにより、通話は終了する。

以上のようにして、本実施の形態に係るテレビ電話機５０は、撮像部５２が撮像した映像をフォーマルな間柄の相手に対してそのまま送信することをユーザが望まない場合、予め録画された映像の映像データを制御部７０による認識結果に基づいて選択し、選択した映像データを送信する。これにより、予め録画された映像の映像データが送信されるので、撮像画像に換えてあらかじめ準備した映像を送信していることが通話相手に知られにくくなる。そのことが相手に知られにくくなるので、相手に不快感を与える可能性が少なくなる。その結果、撮像画像をそのまま送信したくないときは撮像画像が送信されることを防止でき、かつ相手に不快感を与える可能性を少なくできるテレビ電話機を提供することができる。

また、通話中のユーザを撮像した撮像データから制御部７０が認識した結果に基づいて、送信される撮像データは選択される。これにより、通話中のユーザに応じた撮像データが送信される可能性が高くなる。その結果、通話中のユーザに対応する映像データを送信することができるテレビ電話機を提供することができる。

また、送信される撮像データは、通話中のユーザの動きに基づいて選択される。これにより、送信される撮像データにより通話相手が知覚する映像は会話の内容と概ね対応するものになる。これにより、撮像画像に換えてあらかじめ準備した映像を送信していることは分かりにくくなる。

また、送信される撮像データの選択は、通話中に複数回繰返される。これにより、通話相手が知覚する映像と会話の内容とが対応する割合は高くなる。その割合が高くなると、実際に撮像されている映像とほぼ変わらない動きの映像であって送信側のユーザが望む映像を通話相手に送信することができる。

また、送信される撮像データの選択は、映像だけでなく音声も考慮される。これにより、通話中のユーザを誤認識する可能性が減少する上に、ユーザの声の調子に応じて送信する撮像データを変えることができる。そのようなことができると、声の調子に合わせた姿を映す映像のデータを通話相手に送信できるので、通話相手が知覚する姿は現実の姿に近くなる。

また、送信される撮像データの選択は、通話中の双方の音声に基づいて考慮される。これにより、予め撮像した撮像データを送信するか否かをテレビ電話機５０が選択できる。そのような選択がなされると、誤って相手に見せたくない姿を送信する可能性が低下する。

なお、本実施の形態の第１の変形例においては、通話中の双方の音声に基づいて送信される撮像データの選択は必ずしも実施されなくともよい。

また、本実施の形態の第２の変形例においては、撮像されたユーザの姿のみに基づいて撮像データが選択されてもよいし、ユーザの声のみに基づいて撮像データが選択されてもよい。

また、本実施の形態の第３の変形例においては、撮像データを選択するための処理は何回実施されてもよい。たとえば、それは１度だけ実施されてもよい。

また、本実施の形態の第４の変形例においては、ユーザの動きではなくユーザの顔その他の形態に基づいて撮像データが選択されてもよい。

また、本実施の形態の第５の変形例においては、撮像データを選択するための条件はユーザの姿や音声に限られない。たとえば、通話の日時やユーザの性別やユーザの年齢に基づいて撮像データが選択されてもよい。ユーザの性別やユーザの年齢は撮像データに基づいて認識される。この場合、通話の日時その他の条件とユーザの姿や音声とを考慮して撮像データが選択されてもよい。

また、本実施の形態の第６の変形例においては、キー入力部９６に対する操作に応じて実施される処理はいずれもリモコン受信部９８が信号を受信したことに応じて実施されてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態に係るテレビ電話機の構成図である。 本発明の実施の形態に係るテレビ電話機の外観図である。 本発明の実施の形態に係るファイルテーブルの概念図である。 本発明の実施の形態に係る通話中の映像通信処理の制御の手順を示す第１のフローチャートである。 本発明の実施の形態に係る通話中の映像通信処理の制御の手順を示す第２のフローチャートである。 本発明の実施の形態に係る通話中の映像通信処理の制御の手順を示す第３のフローチャートである。 本発明の実施の形態に係る通話開始時の相手方のテレビ電話機の外観図である。 本発明の実施の形態に係るいったん記憶された撮像データを送信しながら通話している場合のテレビ電話機の外観図である。

符号の説明

５０ テレビ電話機、５２ 撮像部、５４ マイク、５６ エンコーダ、５８ メモリ、６０ デコーダ、６２ 表示部、６４ スピーカ、６６ 通信部、６８ 操作部、７０ 制御部、８８ ディスプレイ、９０ 配信ＬＥＤ、９２ フォーマルＬＥＤ、９４ 停止ＬＥＤ、９６ キー入力部、９８ リモコン受信部、７０２ 選択部、７０４ 送信制御部、７０６ 属性抽出部、７１０ 関係抽出部、７１２ 読み出し部、７２０ 配置抽出部、７２２ 変位抽出部。

Claims (7)

1. 音声が入力されたことに応じて音声データを出力するための音声入力手段と、
   撮像対象を撮像して撮像データを出力するための撮像手段と、
   前記撮像対象の部分別の変位の組み合わせに対応付けて複数の種類の前記撮像データを記憶するための記憶手段と、
   前記音声データおよび前記撮像データを送信し、かつ前記撮像データとは異なる映像データおよび前記音声入力手段が出力した前記音声データとは異なる音声データを受信するための通信手段と、
   前記通信手段が受信した映像データが表わす映像を表示するための表示手段と、
   前記通信手段が受信した音声データが表わす音声を出力するための音声出力手段と、
   前記通信手段を制御するための制御手段とを含み、
   前記制御手段は、
   前記記憶手段が記憶した前記撮像データを前記通信手段が送信している間に撮像された前記撮像データが表わす前記撮像対象の部分別の配置の情報を複数回抽出するための配置抽出手段と、
   複数の時期に撮像された複数の種類の前記撮像データから前記配置抽出手段が抽出した前記配置の情報に基づいて、前記撮像対象の部分別の変位の組み合わせを表わす情報を前記通信手段が前記撮像データを送信している間に複数回抽出するための変位抽出手段と、
   前記変位の組み合わせを表わす情報を前記変位抽出手段が抽出すると、前記変位の組み合わせに対応する前記撮像データを前記記憶手段から読み出すための読み出し手段と、
   前記音声入力手段が出力した音声データを送信し、かつ前記読み出し手段が前記撮像データを読み出すたびに前記読み出し手段が読み出した前記撮像データを送信するように、前記通信手段を制御するための送信制御手段とを含む、テレビ電話機。
2. 音声が入力されたことに応じて音声データを出力するための音声入力手段と、
   撮像対象を撮像して撮像データを出力するための撮像手段と、
   前記撮像データを前記撮像対象に対応付けて記憶するための記憶手段と、
   前記音声データおよび前記撮像データを送信し、かつ前記撮像データとは異なる映像データおよび前記音声入力手段が出力した前記音声データとは異なる音声データを受信するための通信手段と、
   前記通信手段が受信した映像データが表わす映像を表示するための表示手段と、
   前記通信手段が受信した音声データが表わす音声を出力するための音声出力手段と、
   前記通信手段を制御するための制御手段とを含み、
   前記制御手段は、
   前記音声入力手段が出力した音声データおよび前記記憶手段が前記撮像データを記憶した後に前記撮像手段が撮像して出力した前記撮像データの少なくとも一方に基づいて、前記記憶手段が記憶した前記撮像データの中から前記音声を入力した前記撮像対象についての前記撮像データを選択するための選択手段と、
   前記音声入力手段が出力した音声データと前記選択手段が選択した前記撮像データとを送信するように、前記通信手段を制御するための送信制御手段とを含む、テレビ電話機。
3. 前記記憶手段は、前記撮像対象の複数の部分の位置関係に対応付けて複数の種類の前記撮像データを記憶するための手段を含み、
   前記選択手段は、
   前記撮像対象の複数の部分の位置関係に対応する情報を前記撮像手段が出力した前記撮像データから抽出するための関係抽出手段と、
   前記関係抽出手段が抽出した情報に対応する前記撮像データを前記記憶手段から読み出すための読み出し手段とを含み、
   前記送信制御手段は、前記音声入力手段が出力した音声データと前記読み出し手段が読み出した前記撮像データとを送信するように、前記通信手段を制御するための手段を含む、請求項２に記載のテレビ電話機。
4. 前記記憶手段は、前記撮像対象の部分別の変位の組み合わせに対応付けて前記複数の種類の撮像データを記憶するための手段を含み、
   前記関係抽出手段は、
   前記撮像データが表わす前記撮像対象の部分別の配置の情報を抽出するための配置抽出手段と、
   複数の時期に撮像された複数の種類の前記撮像データから前記配置抽出手段が抽出した前記配置の情報に基づいて、前記撮像対象の部分別の変位の組み合わせを表わす情報を抽出するための変位抽出手段とを含み、
   前記読み出し手段は、前記変位の組み合わせに対応する前記撮像データを前記記憶手段から読み出すための手段を含む、請求項３に記載のテレビ電話機。
5. 前記配置抽出手段は、前記記憶手段が記憶した前記撮像データを前記通信手段が送信している間に撮像された前記撮像データが表わす前記配置の情報を複数回抽出するための手段を含み、
   前記変位抽出手段は、前記通信手段が前記撮像データを送信している間に前記変位の組み合わせを表わす情報を複数回抽出するための手段を含み、
   前記読み出し手段は、前記変位の組み合わせを表わす情報を前記変位抽出手段が抽出すると、前記変位の組み合わせに対応する前記撮像データを読み出すための手段を含み、
   前記送信制御手段は、前記読み出し手段が前記撮像データを読み出すたびに前記読み出し手段が読み出した前記撮像データを送信するように、前記通信手段を制御するための手段を含む、請求項４に記載のテレビ電話機。
6. 前記記憶手段は、前記撮像対象の複数の部分の位置関係に加え、前記撮像対象の音声の情報に対応付けて前記複数の種類の撮像データを記憶するための手段を含み、
   前記制御手段は、前記音声入力手段が出力した音声データから前記撮像対象に対応する音声の属性の情報を抽出するための手段をさらに含み、
   前記読み出し手段は、前記関係抽出手段が情報として抽出した位置関係に加え、前記音声の属性の情報に対応する前記撮像データを前記記憶手段から読み出すための手段を含む、請求項３に記載のテレビ電話機。
7. 前記制御手段は、前記音声入力手段が出力した音声データおよび前記通信手段が受信した音声データから、音声の属性の情報を抽出するための属性抽出手段をさらに含み、
   前記送信制御手段は、前記音声入力手段が出力した音声データから抽出した前記音声の属性に対応する情報と前記通信手段が受信した音声データから抽出した前記音声の属性に対応する情報との組み合わせが要件を満たす場合、前記選択手段が選択した前記撮像データを送信するように前記通信手段を制御するための手段を含む、請求項２に記載のテレビ電話機。

Images