JP2012138846A - 映像表示装置、その通信制御方法、及び通信制御システム - Google Patents

映像表示装置、その通信制御方法、及び通信制御システム Download PDF

Info

Publication number
JP2012138846A
JP2012138846A JP2010291133A JP2010291133A JP2012138846A JP 2012138846 A JP2012138846 A JP 2012138846A JP 2010291133 A JP2010291133 A JP 2010291133A JP 2010291133 A JP2010291133 A JP 2010291133A JP 2012138846 A JP2012138846 A JP 2012138846A
Authority
JP
Japan
Prior art keywords
information
communication
call
person
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010291133A
Other languages
English (en)
Other versions
JP5073049B2 (ja
Inventor
Ryohei Furumachi
亮平 古町
Shoichi Yokobori
祥一 横堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010291133A priority Critical patent/JP5073049B2/ja
Priority to US13/218,018 priority patent/US8615073B2/en
Priority to EP11179474A priority patent/EP2469812A1/en
Publication of JP2012138846A publication Critical patent/JP2012138846A/ja
Application granted granted Critical
Publication of JP5073049B2 publication Critical patent/JP5073049B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/66Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/663Preventing unauthorised calls to a telephone set
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】利用者の利便性を向上させる。
【解決手段】実施形態の映像表示装置は、通信手段と、取得手段と、認識手段と、判定手段と、を備える。通信手段は、ネットワークを介して接続された通信装置との間で、コミュニケーションするための情報を示した通話情報を送受信する。取得手段は、自装置の外部の環境を表した環境情報を取得する。認識手段は、環境情報から、当該環境に存在する人物を示す人物情報、又は当該環境に存在する人物の年齢を示す年齢情報を認識する。判定手段は、通信手段が通信装置から通話情報を受信した場合に、認識された人物情報、又は認識された年齢情報に基づいて、当該通話情報を送信してきた通信装置との間で、通信手段による通信情報の送受信を許可するか否かを判定する。
【選択図】図3

Description

本発明の実施形態は、映像表示装置、その通信制御方法、及び通信制御システムに関する。
従来、ネットワーク技術の向上に応じて、ネットワークを介して接続された通信機器間で、通話するための様々なアプリケーション等が提案されている。
そして、処理装置の高性能化及びソフトウエア技術の発展に伴い、デジタル機器が高機能化する傾向にある。これにより、デジタルテレビジョン表示装置も、様々な機能が搭載される傾向にある。これによりデジタルテレビジョン表示装置においても、例えばネットワークを介して接続された通信機器からテレビ番組情報を取得することが可能となった。さらには、デジタルテレビジョン表示装置に、ネットワークを介して接続された他の通信機器との間で通話する機能も提案されている。このようにデジタルテレビジョン表示装置が、他の通信機器と通話を行う際に、着信制御を行う必要がある。
一方、電話通信回線を用いた電話装置においては、着信した際に相手に応じた様々な制御する技術が提案されている。
特開平2−113761号公報
しかしながら、デジタルテレビジョン表示装置は、複数人で共通して利用しているため、従来の電話装置と同様の制御を適用することは難しい。
本発明は、上記に鑑みてなされたものであって、他の通信機器と通話を行う際に、利用者に応じた制御を可能とする映像表示装置、その通信制御方法、及び通信制御システムを提供することを目的とする。
実施形態の映像表示装置は、通信手段と、取得手段と、認識手段と、判定手段と、を備える。通信手段は、ネットワークを介して接続された通信装置との間で、コミュニケーションするための情報を示した通話情報を送受信する。取得手段は、自装置の外部の環境を表した環境情報を取得する。認識手段は、環境情報から、当該環境に存在する人物を示す人物情報、又は当該環境に存在する人物の年齢を示す年齢情報を認識する。判定手段は、通信手段が通信装置から通話情報を受信した場合に、認識された人物情報、又は認識された年齢情報に基づいて、当該通話情報を送信してきた通信装置との間で、通信手段による通信情報の送受信を許可するか否かを判定する。
図1は、第1の実施形態にかかる映像表示装置としてのテレビジョン装置の利用環境を示した図である。 図2は、第1の実施形態にかかる映像表示装置と同映像表示装置に組み込まれる通信装置の一例を示した図である。 図3は、第1の実施形態にかかる映像表示装置における、IP電話プログラムのソフトウエアとしての機能を示したブロック図である。 図4は、第1の実施形態にかかるテレビ電話データのデータ構造を示す図である。 図5は、第1の実施形態にかかる人物データベースで管理の対象となる人物データを示した図である。 図6は、第1の実施形態にかかる着信可否判断用データベースのテーブル構造を示した図である。 図7は、第1の実施形態にかかる映像表示装置が表示する、通話が許可されている場合の着信の表示画面の例である。 図8は、第1の実施形態にかかる映像表示装置が表示する、通話が許可されていない場合の着信の表示画面の例である。 図9は、第1の実施形態にかかる映像表示装置における、着信時の処理の手順を示すフローチャートである。 図10は、第1の実施形態にかかる映像表示装置における、着信可否判定制御の手順を示すフローチャートである。 図11は、第1の実施形態の変形例1にかかる人物データの構成を示した図である。 図12は、第1の実施形態の変形例2にかかる映像表示装置における、IP電話プログラムのソフトウエアとしての機能を示したブロック図である。 図13は、第1の実施形態の変形例2にかかる人物データベースが記憶する人物データのデータ構造の例を示した図である。 図14は、第1の実施形態の変形例3にかかる映像表示装置における、IP電話プログラムの機能を示したブロック図である。 図15は、第1の実施形態の変形例3にかかる人物データベースが記憶する人物データのデータ構造の例を示した図である。 図16は、第1の実施形態の変形例4にかかる人物データのデータ構造を示した図である。 図17は、第2の実施形態にかかる映像表示装置における、IP電話プログラムのソフトウエアとしての機能を示したブロック図である。 図18は、第2の実施形態にかかる着信拒否設定のデータ構造を示した図である。 図19は、第2の実施形態にかかる映像表示装置の着信可否判断用データベースを用いた判定の例を示した図である。
以下、実施形態について図面を参照して説明する。図1は、本実施形態にかかる映像表示装置100としてのデジタルテレビジョン受像装置の利用環境を示した図である。図1に示すように、本実施形態にかかる映像表示装置100は、デジタルテレビジョン受像装置として、受信した番組コンテンツを、表示画面101に表示する機能を備えている。また、映像表示装置100は、ネットワーク150を介して通信機器180と接続されている。
さらに、映像表示装置100は、ネットワーク150を介して接続された他の通信機器との間でテレビ電話等を用いて通話可能とする機能が搭載されている。これにより、通信機器180との間で、テレビ電話等を用いたコミュニケーションを取ることができる。また、リモートコントローラ120は、番組を選択する場合に限らず、通話を行う場合にも利用される。
このようなコミュニケーションを可能とするために、映像表示装置100には、通話等を行うためのIDが割り当てられている。そして、通信機器180が、映像表示装置100に対して通話を行いたい場合に、通話先として当該IDを選択すればよい。
ところで、この映像表示装置100は、複数人で共通して利用されている。図1に示す例では、第1ユーザと、第2ユーザと、第3ユーザと、が利用しているものとする。このため、通信機器180を使用している相手Aは、第3ユーザと通話したい場合に、映像表示装置100を識別するIDを選択して、電話を掛けることになる。しかしながら、映像表示装置100は、第1ユーザ、第2ユーザ、及び第3ユーザで共通して利用しているため、第3ユーザが不在の場合、相手Aから第1ユーザ又は第2ユーザに対して着信する可能性がある。そこで、本実施形態にかかる映像表示装置100は、所望するユーザが不在の場合には、着信を許可しないなどの制御を行うことで、映像表示装置100を利用しているユーザに適切な制御を可能とした。
図2は、実施形態にかかる映像表示装置と同映像表示装置に組み込まれる通信装置の一例を示した図である。なお、以下に説明する要素や構成あるいは機能は、ハードウエアで実現するものであってもよいし、マイクロコンピュータ(処理装置、CPU)等、を用いてソフトウエアで実現するものであってもよい。
図2が示す映像表示装置100は、例えばテレビジョン放送を受信して音声(オーディオ)及び映像(ビデオ)を再生するデジタルテレビジョン受像装置を含んでいる。
映像表示装置100は、少なくともデジタル放送の番組すなわちコンテンツを受信し、再生する。なお、映像表示装置100は、インターネット(ネットワーク)通信回線150を通じて供給されるコンテンツの受信を可能とする。また、映像表示装置100は、インターネット通信回線150を通じて接続される任意の接続相手先との間で、IP(Internet Protocol)を用いた音声(オーディオを含む)及び動画(ビデオ)を用いたIP電話の利用を可能とする。そして、映像表示装置100は、インターネット通信回線150を介して、IP電話サーバ280と接続されているものとする。
映像表示装置100のチューナ部211は、アンテナを介してコンテンツ(番組)を受信する。そして、分離(Demux)部212が、受信したコンテンツを、映像データと、音声(オーディオ)データと、に分離する。
映像処理ブロック221が、映像デコーダ222と、映像処理部223と、を備える。そして、映像デコーダ222が、分離部212により分離された映像データをデコードし、デジタル映像信号として出力する。
映像処理部223は、映像デコーダ222から出力された映像データを、後段のディスプレイ224で表示可能に処理する。本実施形態にかかる映像処理部223は、映像データに対して、所定の解像度及び出力方式、例えばインターレース(i)/ノンインターレース(p)等に変換する。そして、映像処理部223は、変換した後の映像データを、ディスプレイ224に供給する。なお、映像処理部223の出力先として、例えば外部モニタ装置あるいは投影装置(プロジェクタ装置)等が接続可能な、出力端225を選択しても良い。
一方、分離部212により分離された音声データは、音声処理ブロック231に入力される。音声処理ブロック231は、音声デコーダ232と、音声処理部233と、遅延部234と、D−Aコンバータ235と、を備える。
そして、音声デコーダ232は、入力された音声データをデコードし、デジタル音声信号として出力する。
音声デコーダ232によりデコードされた音声信号は、音声処理部233に入力される。そして、音声処理部233は、入力された音声信号を、音声出力装置で再生可能に処理し、遅延部234に出力する。そして、遅延部234は、入力された音声信号に対して、映像処理部223が出力する映像信号との間の時間的な整合のために、所定時間の遅延を与える(音声(オーディオ)出力を遅延させる)。そして、遅延が与えられた後の音声信号は、D−Aコンバータ235に入力される。そして、D−Aコンバータ235は、入力された音声信号から、アナログの音声(オーディオ)出力を得る。
D−Aコンバータ235から出力されたアナログの音声は、例えばスピーカ236に入力される。なお、D−Aコンバータ235から出力されたアナログの音声は、AV(Audio Visual)アンプ等が接続可能な出力端237に対して、分岐入力しても良い。
また、遅延部234により所定時間の遅延が与えられた音声(オーディオ)信号は、IP電話制御部241にも入力可能とする。IP電話制御部241は、通信セット244と接続可能とする。通信セット244は、例えば、マイクロフォン242と、イヤホン243と、カメラ246と、を含む。また、イヤホン243の代わりに、音声再生部として、低出力の音声再生向けスピーカであってもよい。カメラ246は、外部の環境に存在するユーザの顔等を撮像する。
また、IP電話制御部241は、A−Dコンバータ245と、カメラ映像処理部248と、を含み、アナログの音声出力を行うD−Aコンバータ235を音声(オーディオ)処理ブロック231と共用する。A−Dコンバータ245は、マイクロフォン242から入力されたアナログの音声を、音声(オーディオ)信号に変換する。カメラ映像処理部248は、カメラ246から入力された信号に対して処理を行い、映像データを生成する。
主制御ブロック251が、映像表示装置100の、チューナ部211、分離部212、映像処理ブロック221、音声処理ブロック231及びIP電話制御部241のそれぞれを制御し、所定の動作を実行させる。
主制御ブロック(Main Processing Unit,以下、MPUと称す)251は、CPU(Central Processing Unit)252と、ROM256と、RAM257と、GUI制御部254と、ネットワーク制御部255と、操作入力部253と、を少なくとも備える。
ROM256は、動作プログラムを保持する。RAM257は、ワークメモリとして機能する。GUI制御部254は、ディスプレイ224に表示するGUI(Graphical User Interface,グラフィカルユーザインタフェース)の表示、及びGUIからのユーザ入力を処理する。
ネットワーク制御部255は、インターネット通信回線150との間の接続、すなわちインターネット通信回線150からのさまざまな情報の取得及びインターネット通信回線150へのユーザからのアクセス等を制御する。本実施形態においては、ネットワーク制御部255は、テレビ電話システムによる他の通信機器との間で、コミュニケーションを行うためのデータを送受信する。
また、MPU251には、操作入力部253が接続されている。操作入力部253は、ユーザからの制御入力を受け付ける。また、操作入力部253は、例えばチューナ(入力)部211が選択するチャンネルを特定するチャンネルキー(ボタン)や、電源のオン/オフに用いる電源スイッチを備える。さらに、操作入力部253は、リモートコントローラ(以下、リモコンとも称す)120からの指示や制御入力を受け付ける。その上、操作入力部253は、文字や記号あるいは数字等の入力を可能とするキー操作入力部(キーボード)等が接続されてもよい。
リモコン120は、チャネルキーや、電源スイッチを備えるほか、IP電話による通話を開始するための操作キーを備える。そして、当該操作キーによる操作が行われた場合に、操作入力部253が、当該操作に基づく指示等を受け付ける。
CPU252は、ROM256に格納された動作プログラムを読み出した後、RAM257を作業領域として用いて当該動作プログラムによる制御を行う。この動作プログラムには、IP電話プログラムが含まれている。当該IP電話プログラムは、インターネット通信回線150を用いて、通信機器180等とテレビ電話等による通話を行うためのプログラムとする。IP電話プログラムは、周知のプログラムで提供される機能を含んでいてもよく、例えばSkype(登録商標)社が提供するインターネット電話「Skype」の機能を利用しても良い。
そして、CPU252で実行されたIP電話プログラムは、通信セット244のマイクロフォン242により集音されたユーザの音声を示した音声信号をパケット化し、ネットワーク(インターネット通信回線)150を介して接続された通信相手先に送信する。また、カメラ246を利用する場合、ユーザを撮像した映像データをパケット化し、音声信号とともに送信する。
また、CPU252で実行されたIP電話プログラムは、ネットワーク制御部255を介して、通信相手先から情報を受信した場合、当該情報から音声信号や映像データを分離し、復号化する。そして、復号化された音声信号は、音声処理部233に出力される。そして、音声処理部233により処理が行われた音声信号は、D−Aコンバータ235に出力される。これにより、スピーカ236又はイヤホン243から、相手からの音声が出力される。
一方、復号化された映像データは、映像処理部223に出力される。映像処理部223は、復号化された映像データである、JPEG(Joint Photographic Experts Group)に代表される静止画や、例えばMPEG(Moving Picture Experts Group)−2,MPEG−4(H.264−AVC)に代表される動画を再生できる。このように、映像処理部223は、コンテンツを再生する時の処理の他、IP電話による映像データを再生する時の処理も行う。
フラッシュメモリ261は、MPU251と接続されている。そして、フラッシュメモリ261は、MPU251からの制御に従って様々なデータを記憶する記憶手段として機能する。
次に、CPU252で実行されるIP電話プログラムについて説明する。図3は、CPU252で実行されるIP電話プログラムのソフトウエア機能を示したブロック図である。図3に示すように、IP電話プログラムが実行された場合、CPU252は、映像データ符号化部310と、音声データ符号化部311と、テレビ電話データ生成部312と、テレビ電話データ送信部313と、テレビ電話データ受信部302と、テレビ電話データ分離部303と、映像データ復号化部304と、音声データ復号化部305と、通話機能制御部306と、着信可否判定部307と、人物認識部314と、カメラ映像符号化部308と、マイク音声符号化部309と、を機能構成として実現する。
本実施形態にかかる映像表示装置100においては、上述した構成を備えることで、テレビ電話としての機能として、テレビ電話で通話する機能の他、テレビ周辺に存在するユーザの認識機能、ユーザ毎の電話発信者との間の通話可否設定の記憶機能、及び通話可否設定に応じて電話発信者との間で通話を許可するか否かの判定機能を有する。
本実施形態では、映像表示装置100と、通信機器180と、の間でテレビ電話を用いて通話している場合、映像表示装置100と通信機器180との間でテレビ電話データが送受信されている。
図4は、テレビ電話データのデータ構造を示す図である。図4に示すように、テレビ電話データ400は、映像データ401と、音声データ402と、通話制御データ403と、から構成されている。映像データ401は、カメラから入力された映像を符号化したデータを示す。音声データ402は、マイクロフォンから入力された音声を符号化したデータを示す。
通話制御データ403は、テレビ電話を行う際に制御に用いられるデータを示す。本実施形態にかかる通話制御データ403は、通話発信者者ID411と、通話発信者プロフィール情報412と、通話受信者ID413と、から構成されている。
通話発信者ID411及び通話受信者ID413は、テレビ電話システムに接続する各通信装置(映像表示装置100含む)又は各ユーザに対して、重複が無いようIP電話サーバ280から割り振られたIDとする。そして、通話発信者プロフィール情報412には、通話発信者のIPアドレス、機器固有アドレス、通話発信者の名前、及び住所等の個人情報が格納されている。
このテレビ電話データを送受信することで、映像表示装置100を含んだ複数の通信装置間で、テレビ電話による通話を行うことができる。
図3に戻り、本実施形態にかかる映像表示装置100では、テレビ電話による通話時に、カメラ246で撮像した映像データと、マイクロフォン242で集音した音声データと、を含めたテレビ電話データを、ネットワーク制御部255を介して送信する。さらに、映像表示装置100では、ネットワーク制御部255を介して受信したテレビ電話データから分離した映像データを、ディスプレイ224で表示し、受信したテレビ電話データから分離した音声データを、スピーカ236から出力する。本実施の形態にかかる映像データは、動画像データ又は静止画像データのどちらでも良いものとする。
さらに、映像表示装置100では、リモートコントローラ120から、操作入力部253を介して、ユーザの指示を受信し、テレビ機能及びテレビ電話機能を制御する。
また、本実施形態にかかる映像表示装置100が備えるフラッシュメモリ261は、IP電話プログラムが利用するものとして、人物データベースと、認識済みユーザリストと、着信可否判断用データベースと、を記憶する。
人物データベースは、当該映像表示装置100を利用するユーザ毎の人物データを記憶する。図5は、人物データベースで管理の対象となる人物データ501を示した図である。人物データ501は、顔データ502と、ユーザID503と、ユーザ名504と、で構成されている。顔データ502はカメラ246で撮像された映像データであって、ユーザ認識を行うために必要なデータとする。ユーザID503は、映像表示装置100を利用するユーザ毎に割り当てられたユニークなIDとする。ユーザ名504は、当該ユーザの名前が登録されているものとする。
認識済みユーザリストは、映像表示装置100においてユーザ認識されたユーザを識別するユーザIDを保持するリストとする。このリストにおいては、カメラ246で撮像された映像データからユーザ認識がなされた場合に、ユーザIDが追加され、当該ユーザが不在になった場合に当該ユーザIDが削除される。
着信可否判断用データベースは、映像表示装置100を利用するユーザ毎に、着信を拒否するか否かを判定するための着信拒否設定600を記憶する。図6は、着信可否判断用データベースのテーブル構造を示した図である。図6に示すように、着信拒否設定600は、ユーザID601と、着信許可設定602と、着信拒否設定603と、着信表示設定604と、を対応付けて記憶する。
着信拒否設定603は、テレビ電話データの送受信の拒否、換言すればテレビ電話の着信を拒否するための設定を格納する。本実施形態にかかる着信拒否設定603は、テレビ電話の着信を拒否する設定として、着信を拒否する対象となる発信者を識別する発信者IDを保持する。
着信許可設定602は、テレビ電話データの送受信の許可、換言すればテレビ電話の着信を許可するための設定を格納する。本実施形態にかかる着信許可設定602は、テレビ電話の着信を許可する設定として、着信の許可の対象となる発信者IDを保持する。
着信表示設定604は、テレビ電話データの送受信を拒否する場合、換言すればテレビ電話の着信を拒否した場合に、着信があったことを表示するか否かの設定を保持する。
これらのフラッシュメモリ261に格納された情報を用いて様々な処理が行われる。次に図3に戻り、各構成について説明する。
カメラ映像復号化部308は、カメラ映像処理部248で生成された映像データに対して符号化処理を行い、映像表示装置100を利用しているユーザが撮像された映像データを取得する。当該映像データは、カメラ246で撮像された映像データであり、映像表示装置100の外部の環境を表した映像データとする。本実施形態では、当該映像データを用いて、映像表示装置100の外部に存在するユーザ、換言すれば映像表示装置100を利用しているユーザの認識を行うものとする。なお、本実施形態は、ユーザ認識の一例として、映像データを利用したものであり、自装置の外部の環境を表した環境情報に基づいて、ユーザ認識を行うものであればよい。
マイク音声復号化部309は、A−Dコンバータ245により変換された音声データに対して符号化処理を行うことで、マイクで集音された音声データを取得する。
そして、音声データ及び映像データは、通話機能制御部306と、人物認識部314と、に出力される。
人物認識部314は、カメラ映像復号化部308で復号化された映像データから、人物データベースを参照し、映像表示装置100を利用しているユーザ、換言すれば映像表示装置100周辺の外部の環境に存在する人物を示すユーザIDを自動的に認識する。
本実施形態にかかる人物認識部314は、人物データベースの構築も行う。人物認識部314は、カメラ246で撮像された映像データに映っている、映像表示装置100のユーザの顔を抽出し、顔データを生成する。その後、人物認識部314は、生成した顔データと、当該顔データに対して割り当てられる、ユーザ毎にユニークなユーザIDと、当該顔データが示すユーザ名と、を対応付けた人物データを生成し、当該人物データを人物データベースに格納する。なお、ユーザ名は、操作入力部253から入力されたものとする。この登録作業は、メニュー画面等から、ユーザ自身が行うものとする。このように、映像表示装置100では、当該機能により、テレビ電話を使用するユーザ毎に、当該ユーザの顔とユーザ名との登録を受け付けることができる。
ユーザ毎の人物データが登録されている場合、人物認識部314は、カメラ246から、カメラ映像処理部248、及びカメラ映像符号化部308を介して入力された映像データから、当該映像データに映っている人物の顔から自動的に顔データを生成する。そして、人物認識部314は、人物データベースに対して検索を行い、自動生成した顔データが、人物データベースに格納されている人物データ毎の顔データに一致するか否かを判定する。そして、人物認識部314は、人物データベースに格納されている顔データと一致した場合、当該顔データと対応付けられているユーザIDを、認識済みユーザリストに追加する。この機能により、映像表示装置100の周辺に居る人物を、自動的に認識済みユーザリストに追加できる。なお、人物認識部314は、認識済みユーザリストに登録されたユーザIDと対応付けられた顔データが、検出されなくなった場合には、当該ユーザIDを、認識済みユーザリストから削除する。このように周辺にいる人物の変化に応じて、認識済みユーザリストの更新が行われる。
そして、本実施形態にかかる映像表示装置100においては、認識済みユーザリストを参照し、テレビ電話をかけて来た発信者との通話が許可されている人物を示すユーザが認識されている場合に、当該発信者との通話を許可する。
テレビ電話データ受信部302は、ネットワーク制御部255を介して、通信機器180から、コミュニケーションするための情報であるテレビ電話データを受信する。そして、テレビ電話データ受信部302が受信したテレビ電話データは、テレビ電話データ分離部303に出力される。
テレビ電話データ分離部303は、テレビ電話データ受信部302から入力されたテレビ電話データを、映像データ401と、音声データ402と、通話制御データ403と、に分離する。分離された通話制御データ403は、そのまま通話機能制御部306に入力される。
映像データ復号化部304は、分離された映像データ401に対して、復号化処理を施し、通話機能制御部306に出力する。音声データ復号化部305は、分離された音声データ402に対して、復号化処理を施し、通話機能制御部306に出力する。
通話機能制御部306は、通信機器180との間のテレビ電話による通話機能の制御を行う。例えば、通話機能制御部306は、テレビ電話データ分離部303で分離された通話制御データ403が入力された場合に、通話制御データ403に含まれている通話受信者ID413が、自装置である映像表示装置100を識別するIDと一致しているか否かを判定する。そして、通話機能制御部306が、一致していることを判定した場合に、着信可否判定部307に対して、通話制御データ403に含まれていた通話発信者ID411を出力すると共に、着信を許可するか否かの判定を要求する。
そして、通話機能制御部306は、着信可否判定部307が着信を許可してよいと判定した場合に限り、当該通話発信者ID411で識別される通信機器180との間の通話制御を開始する。なお、通話制御が開始された場合、通話機能制御部306は、映像データ復号化部304により復号化された、送信者側の映像データ401と、カメラ映像符号化部308から入力された、受信者側の映像データと、を重畳し、映像処理部223に出力する。
さらに、通話機能制御部306は、音声データ復号化部305により復号化された音声データ402に対して、ノイズキャンセリング、エコーキャンセリングなどの補正処理を実施し、音声処理部233に出力する。
これにより、映像処理部223が映像データの合成等をした後、ディスプレイ224が送信者側及び受信者側等を含んだ映像データを表示する。また、音声処理部233が音声データの合成等を行い、D−Aコンバータ235で音声に変換された後、送信者側の音声がスピーカ236から出力される。
着信可否判定部307は、ネットワーク制御部255が通信機器180からテレビ電話データを受信した場合に、映像表示装置100の周辺にいるものとして認識された人物を示すユーザIDに基づいて、当該テレビ電話データを送信してきた通信機器180との間で、ネットワーク制御部255によるテレビ電話データの送受信を許可するか否かを判定する。本実施形態にかかる着信可否判定部307では、認識済みユーザリストに格納されている各ユーザIDと、着信可否判定用データベースで対応付けられた発信許可設定及び発信不許可設定に基づいて、テレビ電話データによる通話を許可するか否かを判定する。
本実施形態にかかる着信可否判定部307は、特定の発信者と、映像表示装置100でテレビ電話機能を利用するユーザと、の間で着信を許可するか否かを示した着信許可設定602又は着信拒否設定603を、着信可否判断用データベースに登録する。これにより、映像表示装置100を用いてテレビ電話を行うユーザ毎に、特定の発信者との間の通話可否を設定しておくことができる。さらに、着信可否判定部307が、特定の発信者との間の通話を不許可とした場合に着信を表示するか否かを、着信可否判断用データベースの着信表示設定604に予め設定しておく。
これにより、着信可否判定部307は、ネットワーク制御部255によるテレビ電話データの着信を許可しないと判定した場合に、さらに、認識済みユーザリストに格納されている各ユーザIDに基づいて、テレビ電話データの着信したことを、ディスプレイ224に表示するか否かを判定する。
着信可否判定部307は、通話機能制御部306から着信可否判定の要求を受け付けた場合、人物認識部314に対して現在、映像表示装置100の周辺環境にいる人物の問い合わせを行う。この問い合わせに従って、人物認識部314は、フラッシュメモリ261に格納されている認識済みユーザリストを、着信可否判定部307に出力する。そして、着信可否判定部307は、認識済みユーザリストに含まれるユーザID毎に、着信可否判断用データベースに当該ユーザIDと対応付けられている着信許可設定602及び着信拒否設定603を取り出して、認識されているユーザIDが示すユーザと発信者との間で通話が許可されているか否かを判定する。
着信可否判定部307が、通話機能制御部306が特定した電話発信者と認識されているユーザとの間で通話が許可されていると判定した場合は、通話機能制御部306が、着信表示を、映像デコーダ222から入力されるコンテンツ等の映像データと重畳した後、映像処理部223を介してディスプレイ224に出力する。図7は、ディスプレイ224に表示される、通話が許可されている場合の着信の表示画面の例である。図7に示すように、表示画面101において、コンテンツの上に、着信通知ウィンドウ701が重畳表示される。この着信通知ウィンドウ701には、通話を開始するための通話開始ボタン702と、着信を強制的に切断するための着信切断ボタン703と、発信者のプロフィールが記載されたプロフィール情報欄704と、発信者からの要件を録音する留守番電話ボタン705と、が含まれている。そして、発信者との通話は、テレビ電話のユーザが、通話開始ボタン702を選択した場合に限り、開始される。
着信可否判定部307が、通話機能制御部306が特定した電話発信者と認識されているユーザとの間で通話が許可されていないと判定した場合は、さらに、着信したことを表示するか否かを判定する。着信したことを表示すると判定した場合、通話機能制御部306が、着信表示を、映像デコーダ222から入力されるコンテンツ等の映像データと重畳した後、映像処理部223を介してディスプレイ224に出力する。図8は、ディスプレイ224に表示される、通話が許可されていない場合の着信の表示画面の例である。図8に示すように、表示画面101において、コンテンツの上に、着信通知ウィンドウ800が重畳表示される。この着信通知ウィンドウ800には、通話開始ボタンが除かれており、着信を強制的に切断するための着信切断ボタン801、及び発信者のプロフィールが記載されたプロフィール情報欄802のみが含まれている。図8に示す着信通知ウィンドウ800が表示された場合、利用者は着信の切断のみ可能であり、通話を行うことはできない。
一方、着信可否判定部307が、発信者と認識されているユーザとの間で通話が許可されておらず、着信したことも表示しないと判定した場合、表示画面101上には、着信を知らせるウィンドウ等は何も表示されず、ユーザは、着信があったことすら認識することはない。
映像データ符号化部310は、カメラ246から通話機能制御部306に入力された映像データに対して、符号化処理を施し、テレビ電話データ生成部312に出力する。
音声データ符号化部311は、通話機能制御部306から、マイクロフォン242から通話機能制御部306に入力された音声データに対して、符号化処理を施し、テレビ電話データ生成部312に出力する。
テレビ電話データ生成部312は、音声データ符号化部311から入力された音声データ、及び映像データ符号化部310から入力された映像データと、通話機能制御部306から入力された、映像表示装置100を識別する情報を含む通話制御データと、を結合して、テレビ電話データを生成し、テレビ電話データ送信部313に出力する。
テレビ電話データ送信部313は、テレビ電話データ生成部312から入力されたテレビ電話データを、ネットワーク制御部255に出力する。そして、ネットワーク制御部255は、入力されたテレビ電話データを、ネットワーク150を介して、発信者に対して送信する。
このように本実施形態にかかる映像表示装置100は、自装置の周辺の環境にいるユーザを認識し、認識したユーザに応じて通話を可能か否かを判定することとした。これにより、映像表示装置100が複数人で利用する場合に、通話したいユーザがいない場合に、他のユーザが通話に出ることを抑止できる。
次に、本実施形態にかかる映像表示装置100における、着信時の処理について説明する。図9は、本実施形態にかかる映像表示装置100における上述した処理の手順を示すフローチャートである。なお、当該フローチャートによる処理を行う前に、テレビ電話を利用したいユーザの人物データを、人物データベースに登録する必要がある。この際に、ユーザ毎に、特定の発信者からの着信を許可するか否かの設定も予め行っておく。これらの登録は、リモートコントローラ120等から操作可能なメニューによって実現される。
まず、人物認識部314が、カメラ映像符号化部308から入力される映像データから、自動的に、映像表示装置100の周辺にいるユーザを認識し、認識済みユーザリストの更新を行っている(ステップS901)。
そして、テレビ電話データ受信部302は、特定の発信者から送られてきたテレビ電話データを受信する(ステップS902)。その後、テレビ電話データ分離部303が、受信したテレビ電話データを分離して、通話制御データを通話機能制御部306に出力する。
そして、通話機能制御部306は、入力された通話制御データから、発信者IDを抽出する(ステップS903)。これにより、発信者の特定が可能となる。その後、認識済みユーザリストと、発信者IDとに基づいて着信可能か否かの判定制御が行われる(ステップS904)。
そして、通話機能制御部306が、着信可否判定部307による判定結果に基づいて、着信可能か否かを判定する(ステップS905)。着信可能と判定した場合(ステップS905:Yes)、通話機能制御部306は、通話開始ボタンを含む着信通知ウィンドウを、ディスプレイ224に対して出力する(ステップS908)。その後、通話機能制御部306は、操作入力部253を介して、着信開始ボタンの選択を受け付けた否かを判定する(ステップS909)。その後、着信開始ボタンの選択を受け付けた場合(ステップS909:Yes)、通話機能制御部306は、テレビ電話による通話制御を開始し(ステップS910)、通話の終了後に切断する(ステップS913)。
一方、通話機能制御部306が、着信開始ボタンの選択を受け付けなかった場合、換言すれば他のボタンの選択を受け付けた場合(ステップS909:No)、留守番電話ボタンが選択されたか否かを判定する(ステップS911)。留守番電話ボタンが選択された場合(ステップS911:Yes)、メッセージの録音を行い(ステップS912)、録音の終了後に切断する(ステップS913)。また、留守番電話ボタンの選択を受け付けなかった場合(ステップS911:No)、そのまま切断して終了する(ステップS913)。
また、ステップS905において、通話機能制御部306が、着信不可能と判定した場合(ステップS905:No)、現在認識されているユーザIDと、着信可否判断用データベースで対応付けられた着信表示設定604に基づいて、着信を表示するか否かを判定する(ステップS906)。着信を表示しないと判定した場合(ステップS906:No)、そのまま切断して終了する(ステップS913)。
また、通話機能制御部306が、着信を表示すると判定した場合(ステップS906:Yes)、通話開始ボタンを含まない着信通知ウィンドウを、ディスプレイ224に対して出力する(ステップS907)。その後、通話機能制御部306は、切断して終了する(ステップS913)。
次に、本実施形態にかかる映像表示装置100における、図9のステップS904の着信可否判定制御について説明する。図10は、本実施形態にかかる映像表示装置100における上述した処理の手順を示すフローチャートである。その際、着信可否判定部307は、通話機能制御部306から着信可否判定の要求と共に、発信者を識別する発信者IDの入力を受け付ける。
まず、着信可否判定部307は、着信可否判定の要求を受け付けた場合、着信を許可するよう初期設定を行う(ステップS1001)。その後、着信可否判定部307は、人物認識部314に対して認識済みユーザリストを問い合わせる(ステップS1002)。これにより、着信可否判定部307は、認識済みユーザリストを取得する。
そして、着信可否判定部307は、今回抽出された発信者IDが、認識済みユーザリストに含まれていたユーザIDと着信可否判断用データベースで対応付けられていた着信拒否設定に含まれているか否か判定する(ステップS1003)。着信拒否設定に含まれていると判定した場合(ステップS1003:Yes)、着信不可に設定する(ステップS1004)。その後、着信可否判断用データベースで対応付けられていた着信表示設定に従って、着信表示を設定し(ステップS1005)、ステップS1008に進む。
一方、着信可否判定部307は、今回抽出された発信者IDが、認識済みユーザリストに含まれていたユーザIDと着信可否判断用データベースで対応付けられていた着信拒否設定に含まれていないと判定した場合(ステップS1003:No)、当該発信者IDが、当該ユーザIDと着信可否判断用データベースで対応付けられていた着信許可設定に含まれているか否か判定する(ステップS1006)。含まれていないと判定した場合(ステップS1006:No)、ステップS1008に進む。
一方、着信可否判定部307は、今回抽出された発信者IDが、認識済みユーザリストに含まれていたユーザIDと着信可否判断用データベースで対応付けられていた着信許可設定に含まれていると判定した場合(ステップS1006:Yes)、着信を許可する設定にして処理を終了する(ステップS1007)。
また、ステップS1008に進んだ場合、着信可否判定部307は、認識済みユーザリストに含まれる全てのユーザIDについて判定が終了したか否かを判定する(ステップS1008)。全てのユーザIDについて判定が終了していないと判定した場合(ステップS1008:No)、ステップS1003から再び処理を行う。また、全てのユーザIDについて判定が終了したと判定した場合(ステップS1008:Yes)、処理を終了する。
このように、本実施形態においては、上述した処理手順で示したように、テレビ電話の着信があった時、着信拒否設定に発信者IDが含まれていない場合、基本的に通話を許可する。そして、周辺環境にいるユーザの一人の着信拒否設定に今回の発信者を示す発信者IDを含んでいて、周辺環境にいる他のユーザの着信許可設定に当該発信者IDを含んでいない場合、通話を拒否する。また、周辺環境にいるユーザの着信許可設定に今回の発信者を示す発信者IDを含んでいる場合、他のユーザの着信拒否設定に当該発信者IDを含んでいるか否かにかかわらず、通話が許可される。
本実施形態にかかる映像表示装置100においては、ユーザ毎に、着信許可設定と着信拒否設定とを用いた詳細な着信設定を可能としている。このように映像表示装置100においては、テレビ電話用のアカウントを複数人で共有し、複数人のいずれかに対する着信があった場合に、状況に応じて着信許可の制御を可能としている。
ところで、従来技術においては、複数人から共有されているテレビ電話機能付き映像処理装置へ電話がかかってきた場合、誰でもその電話を受けることが可能であった。この場合、他人に受けて欲しくない電話を他人に受けられてしまうという問題が生じていた。これに対し、本実施形態にかかる映像表示装置100では、上述した構成を備えることで、着信可否制御用データベースに設定を行った場合、特定の発信者については、通話が許可されているユーザに限って通話するという制御が可能となった。これにより、映像表示装置100を複数人で利用する場合でも、ユーザ毎のプライバシーを保護することができる。
さらに、従来技術では、複数人から共有されているテレビ電話機能付き映像処理装置へ電話がかかって来た場合、テレビ周辺にいる人物にかかわらず着信通知がテレビ画面へ表示されていた。この従来の技術に、単純にユーザに応じた通話の許可の制御を行うと、通話が許可されていないにも拘わらず、着信通知が画面上に表示されてしまい、コンテンツの視聴の妨げになるという問題が生じることになる。そこで、本実施形態では、通話が許可されていない場合には、着信通知について表示又は非表示を、ユーザ毎に設定可能とした。これにより、特定の発信者に対して通話が許可されていないユーザがいる場合に、着信通知を表示しないよう制御を行うことで、コンテンツの視聴の妨げを抑止し、テレビ視聴の利便性を向上させることができる。
また、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形を可能とする。
(第1の実施形態の変形例1)
第1の実施形態では、映像表示装置100の周辺の環境にいるユーザを、カメラ246で撮像された映像データに基づいて認識する例について説明した。しかしながら、映像データでユーザ認識を行うものに制限するものではなく、外部の環境の情報からユーザが認識できればよい。そこで、第1の実施形態の変形例1として、映像データの代わりに、声紋データを用いて、ユーザ認識を行う例について説明する。
本変形例にかかる映像表示装置100では、フラッシュメモリ261の人物データベースの人物データの構成が、第1の実施形態と異なる。図11は、本変形例にかかる人物データの構成を示した図である。図11に示すように、人物データ1100には、声紋データ1101と、ユーザID503と、ユーザ名504と、が対応付けられている。
本変形例にかかる映像表示装置100では、人物認識部314は、マイク音声符号化部309を介して、マイクロフォン242から入力された音声データに含まれるユーザの声紋データを抽出、作成を行い、ユーザID及びユーザ名と対応付けて人物データを生成し、人物データベースに登録を行っている。このように映像表示装置100のユーザは、自分の声紋データとユーザ名を予め登録しておく。
そして、人物認識部314が、マイク音声符号化部309から入力された音声データから、声紋データを抽出すると、抽出された声紋データと、人物データベース内の人物データ内の声紋データと、を比較して、ユーザ認識を行う。そして、人物認識部314は、このユーザの認識結果に基づいて、認識済みユーザリストを更新する。これにより、当該環境にいる人物のユーザ認識を、当該人物が発した声に基づいて行うことができる。
その後、本変形例にかかる映像表示装置100は、第1の実施形態と同様に、電話をかけて来た発信者と、通話が許可されているユーザが認識されている場合に限り、当該発信者との通話を許可する。
(第1の実施形態の変形例2)
第1の実施形態及び上記変形例では、ユーザの認識方式として、顔や音声などの生体認識を行う場合について説明した。しかしながら、ユーザの認識方式を生体認識に制限するものではなく、例えば、ハードウエア認識やパスワード認識を行っても良い。そこで第1の実施形態の変形例2では、無線機器を用いたユーザ認識の例について説明する。なお、ユーザ認識以外は第1の実施形態と同様として説明を省略する。
図12は、第1の実施形態の変形例2にかかる映像表示装置1200のCPU252で実行されるIP電話プログラムのソフトウエアとしての機能を示したブロック図である。本実施形態にかかるIP電話プログラムは、上述した第1の実施形態にかかるIP電話プログラムとは、無線機器制御部1201が追加され、人物認識部314とは処理が異なる人物認識部1202に変更されている点で異なる。以下の説明では、上述した第1の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
また、人物データベースが記憶する人物データの構成も、第1の実施形態と異なる。図13は、本変形例2にかかる人物データベースが記憶する人物データ1301のデータ構造の例を示した図である。図13に示すように、人物データ1301は、無線機器固有IDリスト1302と、ユーザID503と、ユーザ名504と、を対応付けて格納する。無線機器固有IDリスト1302は、ユーザID503で識別されるユーザが利用する無線機器を識別する、複数の無線機器固有IDを格納する。本変形例では、当該無線機器固有IDで識別される無線機器が存在するか否かを判定することで、当該無線機器を利用しているユーザが存在しているか否かを判定する。なお、無線機器固有IDは、無線機器毎に割り当てられたユニークなIDであればよく、例えばMACアドレスなどを用いても良い。
これにより、映像表示装置1200でテレビ電話を利用するユーザは、自分が所有する複数の無線機器と自らのユーザ名と、を対応付けて、当該映像表示装置1200に登録しておくことができる。なお、当該登録作業は、メニューなどからユーザ自身が行うものとする。
図12に戻り、無線機器制御部1201は、無線機器のアクセスポイントの機能を有し、映像表示装置1200に無線ネットワーク1250を介してアクセスしている無線機器を識別する無線機器固有IDを取得する。さらには、無線機器制御部1201は、当該無線機器に対する制御を行うこともできる。そして、無線機器制御部1201は、取得した無線機器固有IDを、人物認識部1202に出力する。
そして、人物認識部1202は、無線機器制御部1201から入力された無線機器固有IDと、人物データ1301で対応付けられたユーザIDを抽出する。そして、人物認識部1202は、抽出されたユーザIDで識別されるユーザが映像表示装置1200の周辺環境に存在すると判定し、当該ユーザIDを、認識済みユーザリストに追加する。
その後、本変形例にかかる映像表示装置1200は、第1の実施形態と同様に、認識済みユーザリストを参照し、電話をかけて来た発信者と、通話が許可されているユーザが認識されている場合に限り、当該発信者との通話を許可する。
(第1の実施形態の変形例3)
第1の実施形態の変形例2では、機器に伴うユーザ認識手法として、無線機器を用いた例について説明した。しかしながら、無線機器に制限するものではなく他の機器を用いても良い。そこで第1の実施形態の変形例3では、有線接続機器を用いたユーザ認識の例について説明する。なお、ユーザ認識以外は第1の実施形態と同様として説明を省略する。
図14は、第1の実施形態の変形例3にかかる映像表示装置1400のCPU252で実行されるIP電話プログラムの機能を示したブロック図である。本実施形態にかかるIP電話プログラムは、上述した第1の実施形態にかかるIP電話プログラムとは、有線接続機器制御部1401が追加され、人物認識部314とは処理が異なる人物認識部1402に変更されている点で異なる。以下の説明では、上述した第1の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
図15は、本変形例3にかかる人物データベースが記憶する人物データ1501のデータ構造の例を示した図である。図15に示すように、人物データ1501は、有線接続機器固有IDリスト1502と、ユーザID503と、ユーザ名504と、を対応付けて格納する。有線接続機器固有IDリスト1502は、ユーザID503で識別されるユーザが利用する機器であって、接続ポート1450を介して有線で接続される機器を識別する、複数の有線接続機器固有IDを格納する。本変形例では、当該有線接続機器固有IDで識別される有線接続機器が存在するか否かを判定することで、当該有線接続機器を所有しているユーザが存在しているか否かを判定する。なお、有線接続機器固有IDは、機器毎に割り当てられたユニークなIDであればよい。この有線接続機器としては、例えば、USBマイクや、デジタルスチルカメラ、HDMI機器、さらにはキーボードなどの入力デバイスなどが考えられる。
これにより、映像表示装置1400でテレビ電話を利用するユーザは、自分が所有する有線接続機器と自らのユーザ名と、を対応付けて、当該映像表示装置1400に登録しておくことができる。なお、当該登録作業は、メニューなどからユーザ自身が行うものとする。これにより、USBマイク等の有線接続機器を、映像表示装置1400に接続した段階で、ユーザ認識を行うことができる。
図14に戻り、有線接続機器制御部1401は、接続ポート1450に接続された有線接続機器を識別する有線接続機器固有IDを取得する。さらには、有線接続機器制御部1401は、当該有線接続機器に対する制御を行うこともできる。そして、有線接続機器制御部1401は、取得した有線接続機器固有IDを、人物認識部1402に出力する。
そして、人物認識部1402は、有線接続機器制御部1401から入力された有線接続機器固有IDと、人物データ1501で対応付けられたユーザIDを抽出する。そして、人物認識部1402は、抽出されたユーザIDで識別されるユーザが映像表示装置1400の周辺環境に存在すると判定し、当該ユーザIDを、認識済みユーザリストに追加する。
その後、本変形例にかかる映像表示装置1400は、第1の実施形態と同様に、認識済みユーザリストを参照し、電話をかけて来た発信者と、通話が許可されているユーザが認識されている場合に限り、当該発信者との通話を許可する。
(第1の実施形態の変形例4)
上述した実施形態及び変形例では、ユーザ認識手法として、生体認識や機器を伴った認識を用いた例について説明した。しかしながら、これら認識手法に制限するものではく、例えば暗証情報を用いた認証であっても良い。そこで、第1の実施形態の変形例4では、パスワードを用いたユーザの認識手法について説明する。なお、ユーザ認識以外は第1の実施形態と同様として説明を省略する。
本変形例にかかる映像表示装置においては、人物データベースの人物データにおいて、ユーザ認証に用いるパスワードを保持する。図16は、第1の実施形態の変形例4にかかる人物データのデータ構造を示した図である。図16に示すように、人物データ1601はパスワード1602と、ユーザID503と、ユーザ名504と、を対応付けて格納する。
そして、本変形例にかかる映像表示装置でテレビ電話を利用するユーザは、自分のパスワードと自らのユーザ名と、を対応付けて、当該映像表示装置に登録しておくことができる。なお、当該登録作業は、メニューなどからユーザ自身が行うものとする。これにより、リモートコントローラ120等からパスワードとユーザ名とを入力した段階で、ユーザ認識を行うことができる。
そして、本変形例にかかる人物認識部は、操作入力部253を介して入力されたパスワード及びユーザ名が、人物データに格納されたパスワード及びユーザ名と一致するか否かでユーザ認証を行うものとする。そして一致すると判定されたユーザを示すユーザIDが、認識済みユーザリストに格納される。
その後、本変形例にかかる映像表示装置は、第1の実施形態と同様に、認識済みユーザリストを参照し、電話をかけて来た発信者と、通話が許可されているユーザが認識されている場合に限り、当該発信者との通話を許可する。
(第2の実施形態)
第1の実施形態においては、映像表示装置の周辺環境による人物に基づいて、着信を拒否するか否かを判定する例について説明した。しかしながら、着信を拒否するか否かの基準を人物のみに制限するものではない。そこで、第2の実施形態では、着信するか否かの判定基準として、人物の年齢を用いた例について説明する。
図17は、第2の実施形態にかかる映像表示装置1700のCPU252で実行されるIP電話プログラムのソフトウエアとしての機能を示したブロック図である。本実施形態にかかるIP電話プログラムは、上述した第1の実施形態にかかるIP電話プログラムとは、人物認識部314が削除され、年齢推定部1701が追加され、第1の実施形態の着信可否判定部307と処理が異なる着信可否判定部1702を備えている点で異なる。以下の説明では、上述した第1の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
本実施形態にかかる映像表示装置1700では、映像表示装置1700周辺にいる人物の年齢を顔認識により自動的に認識する機能を有し、電話をかけて来た発信者との通話が許可されている年齢の人物が認識されている場合に限り、その発信者との通話を許可する。これにより、本実施形態にかかる映像表示装置1700では、電話をかけて来た発信者との通話が許可されていない年齢の人物しか認識されていない場合は、その発信者との通話を許可しない等の制御を行う。このように、映像表示装置1700は、いわゆるペアレンタルコントロール機能を有することになり、例えば、所定の年齢未満の子供が、不審な人物と通話するのを抑止できる。
年齢推定部1701は、カメラ映像符号化部308から入力された映像データから、映像表示装置1700の周辺環境に存在する人物の年齢を、顔認識に基づいて自動的に推定する。そして、推定した年齢情報を、推定済み年齢リストに追加、更新を行う。
フラッシュメモリ261の推定済み年齢リストは、映像表示装置1700において顔認識に基づいて推定された年齢情報を保持するリストとする。このリストにおいては、カメラ246で撮像された映像データからユーザの年齢が推定された場合に、推定された年齢を示す年齢情報を追加し、当該ユーザが不在になった場合に当該年齢情報を削除する。
フラッシュメモリ261の着信可否判断用データベースは、着信拒否設定を記憶する。図18は、着信拒否設定1800のデータ構造を示した図である。図18に示すように、着信拒否設定1800は、ユーザ年齢1801と、着信許可設定602と、着信拒否設定603と、着信表示設定604と、を対応付けて記憶する。
第1の実施形態と同様に、着信拒否設定603は、着信を拒否する対象となる発信者を識別する発信者IDを保持する。着信許可設定602は、着信の許可の対象となる発信者IDを保持する。着信表示設定604は、テレビ電話データの送受信を拒否する場合、換言すればテレビ電話の着信を拒否した場合に、着信があったことを表示するか否かの設定を保持する。
着信可否判定部1702は、ネットワーク制御部255が通信機器180からテレビ電話データを受信した場合に、映像表示装置1700の周辺にいるものとして認識された人物を示す年齢情報に基づいて、当該テレビ電話データを送信してきた通信機器180との間で、ネットワーク制御部255によるテレビ電話データの送受信を許可するか否かを判定する。本実施形態にかかる着信可否判定部1702では、認識済み年齢リストに格納されている各年齢情報と、着信可否判定用データベースで対応付けられた発信許可設定及び発信不許可設定に基づいて、テレビ電話データによる通話を許可するか否かを判定する。
本実施形態にかかる着信可否判定部1702は、特定の発信者と特定のテレビ電話ユーザと間の着信を許可するか否かを示した着信許可設定602又は着信拒否設定603を、着信可否判断用データベースに登録する。これにより、年齢に応じた特定の発信者との間の通話可否を設定しておくことができる。特定の発信者との間の通話を不許可とした場合、さらに着信を表示するか否かを、着信可否判断用データベースの着信表示設定604に設定しておくことができる。
これにより、着信可否判定部1702は、ネットワーク制御部255によるテレビ電話データの着信を許可しないと判定した場合に、さらに、認識済み年齢リストに格納されている各年齢情報に基づいて、テレビ電話データを着信したことを、ディスプレイ224に表示するか否かを判定する。
着信可否判定部1702は、通話機能制御部306から着信可否判定の要求を受け付けた場合、年齢推定部1701に対して現在、映像表示装置1700の周辺環境にいる人物の年齢を問い合わせる。この問い合わせに従って、年齢推定部1701は、フラッシュメモリ261に格納されている認識済み年齢リストを、着信可否判定部1702に出力する。そして、着信可否判定部1702は、認識済み年齢リストに含まれる各年齢に対し、着信可否判断用データベースに当該年齢と対応付けられている着信許可設定602及び着信拒否設定603を取り出して、認識されている年齢で発信者との間で通話が許可されているか否かを判定する。他の処理は、着信可否判定部1702と同様として説明を省略する。
図19は、着信可否判断用データベースを用いた判定の例を示した図である。図19に示す例では、着信可否判定部1702は、認識された年齢と対応付けられている、着信拒否設定及び着信許可設定に含まれていない発信者IDからの着信があった場合には、通話を許可しないものとする。そして、図19に示す例では、映像表示装置1700においては、12歳以下のユーザしかいない場合には、発信者ID"xxxx0001"と"xxxx0002"のみ通話を許可し、その他の発信者からについては通話を許可せず、着信の表示も行わない。
一方、30歳以上のユーザがいる場合には、発信許可設定が"any"のため、着信拒否設定がされている発信者ID(例えば、xxxx0002)以外、全ての発信者からの通話を許可する。そして、30歳以上のユーザしかいない場合には、発信者ID"xxxx0002"との通話は許可されないが、12歳以下のユーザもいる場合には、発信者ID"xxxx0002"が発信許可設定に登録されているため、発信者ID"xxxx0002"との通話も許可される。
このように、本実施形態にかかる映像表示装置1700においては、所定の年齢未満以下のユーザについては、登録された発信者との通話を制限し、所定の年齢以上のユーザがいる場合には、登録されていない他の発信者と通話を可能にするなどの制御を行うことができる。さらに年齢に応じて、着信表示を“表示する”、又は“表示しない”を設定することができる。
第2の実施形態では、映像表示装置1700の周辺の環境にいるユーザを、カメラ246で撮像された映像データに基づいて年齢を認識する例について説明した。しかしながら、映像データでユーザ認識を行うものに制限するものではなく、外部の環境の情報からユーザが認識できればよい。例えば、映像データの代わりに、声紋データを用いて、ユーザの年齢を認識しても良い。声紋データの認識手法は、第1の実施形態の変形例1と同様として説明を省略する。
このように、従来技術では、複数人から共有されているテレビ電話機能付き映像処理装置へ電話がかかって来た場合、誰でもその電話を受けることできた。この場合、特定/不特定発信者からの電話を親の目が届かない所で子供が受けしまうという問題が生じていた。これに対し、第2の実施形態にかかる映像表示装置1700では、特定/不特定の発信者に対して特定の受信者(例えば親)がテレビ周辺に居る場合のみ通話を許可することや、特定の受信者(例えば子供)がテレビの周辺にいる場合は通話を許可しないよう制御することができる。これにより、映像表示装置1700でテレビ電話を利用するユーザ(例えば子供)の安全を確保することができる。
上述した実施形態及び変形例にかかる映像表示装置においては、音声データや映像データなどの環境情報に基づいて、周辺の環境に存在するユーザや当該ユーザの年齢などを認識し、ユーザや当該ユーザの年齢に従って、着信制御を行うことで、利便性の向上とプライバシーの保守とを行うことができる。
上述した実施形態及び変形例では、人物推定部と年齢推定部とのうちいずれか1つのみ備えている例について説明した。しかしながら、人物推定部と年齢推定部とのうちいずれか1つのみ備えることに制限するものではなく、人物推定部及び年齢推定部の両方備えるものであっても良い。
なお、上述した実施形態及び変形例の映像表示装置で実行されるIP電話プログラムは、ROM等に予め組み込まれて提供される。
上述した実施形態及び変形例の映像表示装置で実行されるIP電話プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、上述した実施形態及び変形例の映像表示装置で実行されるIP電話プログラムプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施形態及び変形例の映像表示装置で実行されるIP電話プログラムプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
上述した実施形態及び変形例の映像表示装置で実行されるIP電話プログラムは、上述した各部(映像データ符号化部、音声データ符号化部、テレビ電話データ生成部、テレビ電話データ送信部、テレビ電話データ受信部、テレビ電話データ分離部、映像データ復号化部、音声データ復号化部、通話機能制御部、着信可否判定部、人物認識部、年齢推定部、カメラ映像復号化部、マイク音声復号化部)を含むモジュール構成となっており、実際のハードウエアとしてはCPU(プロセッサ)が上記ROMからIP電話プログラムプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、映像データ符号化部、音声データ符号化部、テレビ電話データ生成部、テレビ電話データ送信部、テレビ電話データ受信部、テレビ電話データ分離部、映像データ復号化部、音声データ復号化部、通話機能制御部、着信可否判定部、人物認識部、年齢推定部、カメラ映像復号化部、マイク音声復号化部が主記憶装置上に生成されるようになっている。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
100,1200,1400,1700…映像表示装置、302…テレビ電話データ受信部、303…テレビ電話データ分離部、304…映像データ復号化部、305…音声データ復号化部、306…通話機能制御部、307,1702…着信可否判定部、308…カメラ映像符号化部、308…カメラ映像復号化部、309…マイク音声符号化部、309…マイク音声復号化部、310…映像データ符号化部、311…音声データ符号化部、312…テレビ電話データ生成部、313…テレビ電話データ送信部、314,1202…人物認識部、1201…無線機器制御部、1401…有線接続機器制御部、1450…接続ポート、1701…年齢推定部
実施形態の映像表示装置は、通信手段と、取得手段と、認識手段と、判定手段と、を備える。通信手段は、ネットワークを介して接続された通信装置との間で、コミュニケーションするための情報を示した通話情報を送受信する。取得手段は、自装置の外部の環境を表した環境情報を取得する。認識手段は、環境情報から、当該環境に存在する人物の年齢を示す年齢情報を認識する。判定手段は、通信手段が通信装置から通話情報を受信した場合に、認識された年齢情報に基づいて、当該通話情報を送信してきた通信装置との間で、通信手段による通信情報の送受信を許可するか否かを判定する。
実施形態の映像表示装置は、通信手段と、取得手段と、認識手段と、判定手段と、を備える。通信手段は、ネットワークを介して接続された通信装置との間で、コミュニケーションするための情報を示した通話情報を送受信する。取得手段は、自装置の外部の環境を表した環境情報を取得する。認識手段は、環境情報から、当該環境に存在する人物の年齢を示す年齢情報を複数認識する。判定手段は、通信手段が通信装置から通話情報を受信した場合に、認識された複数の年齢情報に基づいて、当該通話情報を送信してきた通信装置との間で、通信手段による通信情報の送受信を許可するか否かを判定する。
実施形態の映像表示装置は、通信手段と、取得手段と、認識手段と、記憶手段と、判定手段と、を備える。通信手段は、ネットワークを介して接続された通信装置との間で、コミュニケーションするための情報を示した通話情報を送受信する。取得手段は、自装置の外部の環境を表した環境情報を取得する。認識手段は、環境情報から、当該環境に存在する人物の年齢を示す年齢情報を認識する。記憶手段は、年齢情報と、通信情報の送受信の許可又は不許可とする通信先を識別する通信先識別情報と、を対応付けて記憶する。判定手段は、通信手段が通信装置から通話情報を受信した場合に、認識された年齢情報に記憶手段で対応付けられた通信先識別情報に基づいて、当該通話情報を送信してきた通信装置との間で、通信手段による通信情報の送受信を許可するか否かを判定する。
実施形態の映像表示装置は、通信手段と、取得手段と、認識手段と、判定手段と、を備える。通信手段は、ネットワークを介して接続された通信装置との間で、コミュニケーションするための情報を示した通話情報を送受信する。取得手段は、自装置の外部の環境を表した環境情報を取得する。認識手段は、環境情報から、当該環境に存在する人物の年齢を示す年齢情報を認識する。判定手段は、通信手段が通信装置から通話情報を受信した場合に、認識された年齢情報に基づいて、当該通話情報を送信してきた通信装置との間で、通信手段による通信情報の送受信を許可するか否かを判定し、前記通信手段による通信情報の送受信を許可しないと判定した場合に、さらに、認識された前記年齢情報に基づいて、当該通信情報を受信したことを表示手段に表示するか否かを判定する。

Claims (7)

  1. ネットワークを介して接続された通信装置との間で、コミュニケーションするための情報を示した通話情報を送受信する通信手段と、
    自装置の外部の環境を表した環境情報を取得する取得手段と、
    前記環境情報から、当該環境に存在する人物を示す人物情報、又は当該環境に存在する人物の年齢を示す年齢情報を認識する認識手段と、
    前記通信手段が前記通信装置から前記通話情報を受信した場合に、認識された前記人物情報、又は認識された前記年齢情報に基づいて、当該通話情報を送信してきた前記通信装置との間で、前記通信手段による通信情報の送受信を許可するか否かを判定する判定手段と、
    を備える映像表示装置。
  2. 前記認識手段は、前記人物情報、又は前記年齢情報を複数認識し、
    前記判定手段は、認識された複数の前記人物情報、又は認識された複数の前記年齢情報に基づいて、前記通信手段による通信情報の送受信を許可するか否かを判定する、
    請求項1に記載の映像表示装置。
  3. 前記人物情報又は前記年齢情報と、前記通話情報の送受信の許可又は不許可とする通信先を識別する通信先識別情報と、を対応付けて記憶する記憶手段を、さらに備え、
    前記判定手段は、認識された前記人物情報又は前記年齢情報に前記記憶手段で対応付けられた前記通信先識別情報に基づいて、送受信を許可するか否かを判定する、
    請求項1又は2に記載の映像表示装置。
  4. 前記判定手段は、前記通信手段による通信情報の送受信を許可しないと判定した場合に、さらに、認識された前記人物情報、又は前記年齢情報に基づいて、当該通信情報を受信したことを表示手段に表示するか否かを判定すること、
    を特徴とする請求項1乃至3のいずれか一つに記載の映像表示装置。
  5. 前記取得手段が取得する環境情報が、外部の環境を撮影した画像情報、外部の環境から収音した音声情報、自装置と無線通信で接続された無線通信機器を示す無線機器識別情報、自装置と有線で接続された有線接続機器を示す有線機器識別情報、又は人物の認識に用いる暗証情報であること、
    を特徴とする請求項1乃至4のいずれか1つに記載の映像表示装置。
  6. 映像表示装置で実行される通信制御方法であって、
    ネットワークを介して接続された通信装置との間で、コミュニケーションするための情報を示した通話情報を送受信する通信ステップと、
    前記映像表示装置の外部の環境を表した環境情報を取得する取得ステップと、
    前記環境情報から、当該環境に存在する人物を示す人物情報、又は当該環境に存在する人物の年齢を示す年齢情報を認識する認識ステップと、
    前記通信ステップが前記通信装置から前記通話情報を受信した場合に、認識された前記人物情報、又は認識された前記年齢情報に基づいて、当該通話情報を送信してきた前記通信装置との間で、前記通信ステップによる通信情報の送受信を許可するか否かを判定する判定ステップと、
    を有する通信制御方法。
  7. 映像表示装置と、撮像装置と、を備えた通信制御システムであって、
    前記撮像装置は、外部の環境を撮像し、画像情報として前記映像表示装置に出力する撮像手段を備え、
    前記映像表示装置は、
    ネットワークを介して接続された通信装置との間で、コミュニケーションするための情報を示した通話情報を送受信する通信手段と、
    前記撮像装置から、画像情報を取得する取得手段と、
    前記画像情報から、当該環境に存在する人物を示す人物情報、又は当該環境に存在する人物の年齢を示す年齢情報を認識する認識手段と、
    前記通信手段が前記通信装置から前記通話情報を受信した場合に、認識された前記人物情報、又は認識された前記年齢情報に基づいて、当該通話情報を送信してきた前記通信装置との間で、前記通信手段による通信情報の送受信を許可するか否かを判定する判定手段と、を備える、
    通信制御システム。
JP2010291133A 2010-12-27 2010-12-27 映像表示装置 Active JP5073049B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010291133A JP5073049B2 (ja) 2010-12-27 2010-12-27 映像表示装置
US13/218,018 US8615073B2 (en) 2010-12-27 2011-08-25 Image display apparatus, communications control method of the same, and communications control system
EP11179474A EP2469812A1 (en) 2010-12-27 2011-08-31 Image display apparatus, communications control method of the same, and communications control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010291133A JP5073049B2 (ja) 2010-12-27 2010-12-27 映像表示装置

Publications (2)

Publication Number Publication Date
JP2012138846A true JP2012138846A (ja) 2012-07-19
JP5073049B2 JP5073049B2 (ja) 2012-11-14

Family

ID=44677580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010291133A Active JP5073049B2 (ja) 2010-12-27 2010-12-27 映像表示装置

Country Status (3)

Country Link
US (1) US8615073B2 (ja)
EP (1) EP2469812A1 (ja)
JP (1) JP5073049B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5675089B2 (ja) * 2009-12-17 2015-02-25 キヤノン株式会社 映像情報処理装置および方法
KR101910659B1 (ko) * 2011-12-29 2018-10-24 삼성전자주식회사 디지털 영상장치 및 그 제어방법
US10872115B2 (en) 2018-03-19 2020-12-22 Motorola Mobility Llc Automatically associating an image with an audio track

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163739A (ja) * 2001-11-27 2003-06-06 Nec Corp 携帯電話装置のセキュリティ方法及びセキュリティシステム
JP2008236636A (ja) * 2007-03-23 2008-10-02 Denso Corp 車載ハンズフリー通話装置および車両用ナビゲーション装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02113761A (ja) 1988-10-24 1990-04-25 Nippon Telegr & Teleph Corp <Ntt> テレビ電話装置
US6141058A (en) 1996-12-16 2000-10-31 Thomson Licensing S.A. Television receiver having a user-editable telephone system caller-ID feature
KR20040013951A (ko) 2002-08-09 2004-02-14 (주)워치비젼 얼굴 인식에 기반한 사용자 식별장치 및 방법과 사용자식별장치를 이용한 정보 제공 제한시스템
US7564476B1 (en) * 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
US8374324B2 (en) * 2005-06-02 2013-02-12 At&T Intellectual Property I, L.P. Methods of using biometric data in a phone system and apparatuses to perform the methods
JP2008146449A (ja) 2006-12-12 2008-06-26 Konica Minolta Holdings Inc 認証システム、認証方法およびプログラム
US20080141294A1 (en) * 2006-12-12 2008-06-12 General Instrument Corporation Method and System for Managing Access to a Video Communication Device
GB2463105A (en) 2008-09-05 2010-03-10 Skype Ltd Viewer activity dependent video telephone call ringing
US9113031B2 (en) * 2010-05-28 2015-08-18 Verizon Patent And Licensing Inc. Call control for conferencing calls
CN101902602A (zh) 2010-07-14 2010-12-01 深圳市九洲电器有限公司 一种电视节目成人级别自动调整方法、装置及终端
US8340258B2 (en) * 2010-07-30 2012-12-25 Hewlett-Packard Development Company, L.P. System, method and apparatus for controlling image access in a video collaboration system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163739A (ja) * 2001-11-27 2003-06-06 Nec Corp 携帯電話装置のセキュリティ方法及びセキュリティシステム
JP2008236636A (ja) * 2007-03-23 2008-10-02 Denso Corp 車載ハンズフリー通話装置および車両用ナビゲーション装置

Also Published As

Publication number Publication date
JP5073049B2 (ja) 2012-11-14
US20120162347A1 (en) 2012-06-28
EP2469812A1 (en) 2012-06-27
US8615073B2 (en) 2013-12-24

Similar Documents

Publication Publication Date Title
JP5175948B2 (ja) 映像表示装置、ノイズ除去方法および映像表示システム
EP2892210B1 (en) Providing video telephony using broadcast receiving apparatus and SMS message
KR101413563B1 (ko) 통화대상자들이 시청중인 채널을 표시하기 위한 시청정보제공방법
JP2009516473A (ja) ユーザ特定情報を提供するための自動ユーザ検出と認識機能を有する映像電話機の使用方法
US8704872B2 (en) Method and device for switching video pictures
US9225933B2 (en) Playback device, television receiver, apparatus selection method, program and recording medium
US8953750B2 (en) Communications via a media content device
JP4331049B2 (ja) データ伝送装置およびデータ伝送方法
JP2008182463A (ja) テレビジョン受信装置
US8988484B2 (en) Video processing apparatus and control method thereof
JP5073049B2 (ja) 映像表示装置
CN108322429B (zh) 实时通信中录制控制方法、实时通信系统及通信终端
JP3143731U (ja) テレビ電話端末及びテレビ電話システム
JP4636903B2 (ja) テレビ電話装置
JP2012138772A (ja) 機器情報通信方法、映像表示装置および映像表示システム
JP5010748B1 (ja) 映像表示装置、映像処理方法および映像表示システム
JP4400598B2 (ja) テレビ電話通信をなすコールセンタシステム及び制御方法
JP2007281600A (ja) コンテンツ提供システムおよびコンテンツ切替方法
JP2010219923A (ja) 応対制御装置、映像表示方法及び映像表示処理プログラム
JP2008011405A (ja) 音声・映像通信制御装置、放送受信端末
JP5417502B2 (ja) 機器情報通信方法、映像表示装置および映像表示システム
JP5025813B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2006140596A (ja) 通信端末
WO2023101149A1 (ko) 디스플레이 장치 및 디스플레이 장치들 간 대화 지원 방법
JP2009075706A (ja) チャットシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120821

R151 Written notification of patent or utility model registration

Ref document number: 5073049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250