JP2006013856A - テレビ電話装置 - Google Patents

Abstract

【課題】通話相手や通話時間帯に応じてカメラ撮像データを加工してデータ送信することによりプライバシー保護機能を有するテレビ電話装置を提供する。
【解決手段】カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出する輪郭抽出手段１８と、背景画像だけをあらかじめ記憶しておく背景画像記憶手段１４と、カメラで撮影した動画像の背景画像を加工して送信するように指定された電話番号や通話時間帯を記憶する利用者情報記憶手段１５と、発信元の端末の電話番号が利用者情報記憶手段１５で記憶された背景画像を加工するように指定された電話番号と一致するか、あるいは、通話時間帯と一致するかを照合する背景画像加工判定手段２３と、カメラで撮影した動画像の背景画像部分を背景画像記憶手段１４で記憶されている背景画像と差し替える、あるいは、背景を部分をぼかす背景画像加工手段２４を備える。
【選択図】図２

Description

本発明は、動画像データ伝送を行うテレビ電話装置に関する。

テレビ電話装置は、音声データおよび動画像データをリアルタイムに送受信して相手と会話するものである。従来のテレビ電話装置における動画像データ伝送では、カメラで撮影した画像データを１フレーム毎に符号化し、その符号化されたデータを相手に送信している。一方、受信側では符号化されたデータを受信すると、１フレーム全体を復号し、表示装置へ表示する。

しかしながら、従来のテレビ電話装置では、カメラで撮影した画像データを加工せずにそのままデータを相手に送信していたため、部屋の中といったプライベートな空間を見せることなく人物データを送信することができず、プライバシーが十分には確保できていないといった欠点があった。

この改善策として、カメラから取り込まれたデータから人物部分を切り出して人物部分だけを符号化して伝送する方式がある（例えば、特許文献１参照。）。
特開平７−２５０３１２号公報

しかしながら、従来の方式では、通話相手によって、人物データだけ、人物＋背景データ、動画像データなしといったようなバリエーションを選択したり、また同一通話相手でも１日の時間帯によって、人物データだけ、人物＋背景データ、動画像データなしといったようなバリエーションを選択したりといった利用者の要求を実現することができないといった問題点を有している。

本発明は上記問題点を解決したテレビ電話装置を提供することを目的とする。

前記課題を解決するために本発明のテレビ電話装置は、カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出する輪郭抽出手段と、背景画像だけをあらかじめ記憶しておく背景画像記憶手段と、カメラで撮影した動画像の背景画像を加工して送信するように指定された電話番号を記憶する利用者情報記憶手段と、発信元の端末の電話番号が、利用者情報記憶手段に記憶された背景画像を加工するように指定された電話番号と一致するか照合することにより背景画像の加工のありなしを判定する背景画像加工判定手段と、背景画像加工判定手段により背景画像の加工ありと判定された場合に、カメラで撮影した動画像の背景画像部分を背景画像記憶手段に記憶されている背景画像と差し替える背景画像加工手段と、背景画像加工手段により作成された動画像データを送信するデータ送信手段とを備えたものである。

本発明のテレビ電話装置によれば、発信元の端末の電話番号に従ってカメラで取り込んだ動画像データを加工してデータを伝送することが可能となるため、利用者は煩雑な操作をすることなしにプライバシーを確保した動画像データの伝送ができるといった利点がある。

本願の第１の発明は、カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出する輪郭抽出手段と、背景画像だけをあらかじめ記憶しておく背景画像記憶手段と、カメラで撮影した動画像の背景画像を加工して送信するように指定された電話番号を記憶する利用者情報記憶手段と、発信元の端末の電話番号が、利用者情報記憶手段に記憶された背景画像を加工するように指定された電話番号と一致するか照合することにより背景画像の加工のありなしを判定する背景画像加工判定手段と、背景画像加工判定手段により背景画像の加工ありと判定された場合に、カメラで撮影した動画像の背景画像部分を背景画像記憶手段に記憶されている背景画像と差し替える背景画像加工手段と、背景画像加工手段により作成された動画像データを送信するデータ送信手段とを備えたテレビ電話装置としたものであり、発信元の端末の電話番号が背景を入れ替えるよう指定された番号である場合に、カメラで撮像した動画像のうち人物部を除いた背景領域部分を画像記憶部に記憶された画像とリアルタイムに差し替えて相手に送信することが可能となり、利用者は煩雑な操作をすることなしにプライバシーを確保した動画像データの伝送ができるといった利点がある。

本願の第２の発明は、上記第１の発明において、着呼時に発信元の端末の電話番号が背景画像をぼかすように指定された番号であるかを照合し、発信元の端末の電話番号が前記背景画像をぼかすよう指定された番号である場合に、カメラで撮像した動画像の背景画像部分の画像をぼかして送信することを特徴とするテレビ電話装置としたものであり、発信元の端末の電話番号が背景画像をぼかすよう指定された番号である場合に、カメラで撮像した動画像のうち人物部を除いた背景領域部分をぼかして相手に送信することが可能となり、利用者は煩雑な操作をすることなしにプライバシーを確保した動画像データの伝送ができるといった利点がある。

本願の第３の発明は、カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出する輪郭抽出手段と、背景画像だけをあらかじめ記憶しておく背景画像記憶手段と、カメラで撮影した動画像の背景画像を加工して送信する時間帯を記憶する利用者情報記憶手段と、着呼時刻が利用者情報記憶手段に記憶された背景画像を加工して送信する時間帯であるかを判定する背景画像加工判定手段と、背景画像加工判定手段により背景画像を加工して送信する時間帯であると判定された場合に、カメラで撮影した動画像の背景画像部分を背景画像記憶手段に記憶されている背景画像と差し替える背景画像加工手段と、背景画像加工手段により作成された動画像データを送信するデータ送信手段とを備えたテレビ電話装置としたものであり、指定された時間帯に着呼があった場合は、カメラで撮像した動画像のうち人物部を除いた背景領域部分を画像記憶部に記憶された画像とをリアルタイムに差し替えて相手に送信することが可能となり、利用者は煩雑な操作をすることなしにプライバシーを確保した動画像データの伝送ができるといった利点がある。

本願の第４の発明は、上記第３の発明において、着呼時に着呼時刻が背景画像をぼかすように指定された時間帯であるかを判定し、背景画像をぼかすように指定された時間帯である場合に、カメラで撮像した動画像の背景画像部分の画像をぼかして送信することを特徴とするテレビ電話装置としたものであり、指定された時間帯に着呼があった場合は、カメラで撮像した動画像のうち人物部を除いた背景領域部分をぼかして相手に送信することが可能となり、利用者は煩雑な操作をすることなしにプライバシーを確保した動画像データの伝送ができるといった利点がある。

以下、本発明の実施の形態について、図面を参照して説明する。

（実施の形態）
図１は本発明の実施の形態におけるテレビ電話装置の装置ブロック図、図２は同テレビ
電話装置の機能ブロック図、図３は同テレビ電話装置のフローチャートである。

本発明の実施の形態のテレビ電話装置は、図１の装置ブロック図に示すように、テレビ電話装置の制御を行う中央処理装置（ＣＰＵ）１と、受信した画像データの表示を行う液晶ディスプレイ（ＬＣＤ）２と、ＬＣＤ２に表示するピクセルデータを保持するビデオＲＡＭ（ＶＲＡＭ）３と、テレビ電話装置のプログラムおよびあらかじめ指定された電話番号からの着呼であった場合にリアルタイムに撮影している画像データの背景個所に差し替えるための背景データが記憶されているフラッシュメモリ４と、プログラム実行時にデータの記憶、読み出しに使用するＲＡＭ５と、利用者が発信・応答等の操作に使用するキー入力装置６と、テレビ電話で通信相手と会話するのに使用するマイク７およびスピーカ８と、発呼および着呼の開始時刻取得で使用するリアルタイムクロック９と、音声データおよび画像データを送受信するデータ伝送装置１０と、画像データ取り込みに使用するカメラ１１と、赤外線によって利用者が本テレビ電話装置の前に立っていることを検知するためのセンサ１２とを有する。

ＣＰＵ１は、図２の機能ブロック図に示すように、リアルタイムクロック９からのタイマー割込み、利用者によるキー入力装置６からのキー入力操作、利用者が本テレビ電話装置の前に立ったときのセンサ１２からの入力、他のテレビ電話装置から本テレビ電話装置への通話要求等のイベントを取得するイベント取得手段１３と、背景画像だけが写っている画像データをあらかじめ記憶しておく背景画像記憶手段１４と、キー入力装置６によって入力、指示された本テレビ電話装置の利用者がよく通話する相手（親戚、友人、会社等）の氏名、電話番号、背景画像を加工するか否かの指定、および、背景画像を加工して送信する時間帯を含むアドレス帳情報をフラッシュメモリ４へ保存する利用者情報記憶手段１５と、利用者が本テレビ電話装置の前にいることをセンサ１２によって検知するセンサ検知手段１６と、カメラ１１から動画像データを取り込む画像取り込み手段１７と、カメラ１１で撮影した画像から人物と背景の境界を認識して背景の領域を抽出する輪郭抽出手段１８と、輪郭抽出手段１８にて切り出された人物データから顔情報を抽出してあらかじめ本テレビ電話装置に登録されている利用者の顔情報とを比較して利用者を認証する利用者認証手段１９と、利用者認証手段１９で認証された利用者用の情報をフラッシュメモリ４から読み出す利用者情報読み出し手段２０と、本テレビ電話装置に対して着呼があった場合に発信元の端末の電話番号を取得する発信元電話番号取得手段２１と、リアルタイムクロック９からのタイマー割込みを利用して現時刻を取得する現時刻取得手段２２と、発信元電話番号取得手段２１によって取得した電話番号が利用者情報読み出し手段２０で読み出された利用者情報に登録されている電話番号と一致するか照合して電話番号と一致した場合に背景画像の加工指示のありなしを判定し、さらに背景画像の加工の時間帯が指定されているか否かを判定する背景画像加工判定手段２３と、背景画像加工判定手段２３で背景画像を加工すると判定された通話に対しては背景だけを背景画像記憶手段１４で記憶されている背景画像と差し替える、あるいは、背景だけをぼかし処理する背景画像加工手段２４と、画像取り込み手段１７によって取り込まれた動画像データまたは背景画像加工手段２４によって作成された動画像データ、および、音声データを符号化してデータ伝送装置１０から送信するデータ送信手段２５と、他のテレビ電話装置から送信された動画像データ、および、音声データを含むをデータ伝送装置１０より受信してそのデータをＲＡＭ５へ記憶するデータ受信手段２６と、受信した音声データはデータ復号後アナログデータに変換してスピーカ８へ出力し、動画像データについてもデータ復号してＶＲＡＭ３でデータを書き出し、ＬＣＤ２へ出力するデータ再生手段２７として機能する。

図３はテレビ電話装置のフラッシュメモリ４に格納されているプログラムの概略を示すフローチャートである。このフローチャートに基づいてテレビ電話装置が動画像データを送信する手順を説明する。

Ｓ１では、本テレビ電話装置に対して着呼があったか、センサ１２にて本テレビ電話装置前の温度変化を検知したか、あるいは、あらかじめ指定されている時間間隔（例えば、１ミリ秒）がたったか等のイベントをイベント取得手段１３が待っており、いずれかのイベントをイベント取得手段１３が取得した場合にはＳ２に移行する。

Ｓ２では、他のテレビ電話装置からの着呼イベントであるか否かを判断する。着呼イベントの場合はＳ３へ移行し、そうでなければＳ１６へ分岐する。

Ｓ３では、発信元電話番号取得手段２１により発信者番号を取得してＲＡＭ５へ保存する。本実施の形態では、発信者番号”０５０−ｘｘｘｘ−ｘｘｘｘ”が取得できたものとする。

Ｓ４では、画像取り込み手段１７がカメラ１１より動画像データを取り込み、ＲＡＭ５へ保存する。

Ｓ５では、利用者情報読み出し手段２０がフラッシュメモリ４に複数件登録されている利用者情報から１件分の利用者情報を読み出す。

Ｓ６では、取得した発信者番号”０５０−ｘｘｘｘ−ｘｘｘｘ”と読み出した利用者情報に登録されている電話番号との比較を行う。電話番号が一致しない場合にはＳ７へ移行する。

Ｓ７では、電話番号のチェックが全登録データ分終了したかをチェックする。フラッシュメモリ４に登録されている全てのデータとの比較が終了した場合にはＳ１３へ移行し、データの比較が終了していない場合にはＳ５へ分岐する。

Ｓ８は、Ｓ６でフラッシュメモリ４に登録されている電話番号と発信者番号とが一致した場合であり、現時刻取得手段２２が、リアルタイムクロック９で計数されたカウンタ値を読み出し現時刻を取得する。

Ｓ９では、取得した発信者番号”０５０−ｘｘｘｘ−ｘｘｘｘ”と読み出した利用者情報に登録されている電話番号が一致したものについて、利用者情報記憶手段１５のアドレス帳情報内に設定されている画像送信の時間帯制限あり情報を読み出す。

Ｓ１０では、画像送信の時間帯制限ありにチェックされており、かつ、取得した現時刻が画像送信の時間帯制限で指定した時間に含まれているか否かをチェックする。図４に示すように、画像送信の時間帯制限ありにチェックされており、かつ、取得した現時刻が画像送信の時間帯制限で指定した時間に含まれている場合にはＳ１１へ移行して、そうでない場合にはＳ１３へ分岐する。

Ｓ１１では、カメラ１１で取り込んだ動画像データから人物と背景の境界を認識して背景の領域を抽出する。

Ｓ１２では、フラッシュメモリ４に記憶されている背景画像を読み出し、抽出された人物データを合成する。

Ｓ１３では、ＲＡＭ５に保存されている動画像データ、および、音声データを符号化してデータ伝送装置１０を介して送信する。

Ｓ１４では、他のテレビ電話装置から送信された動画像データ、および、音声データを
、データ伝送装置１０を介して受信してそのデータをＲＡＭ５へ保存する。

Ｓ１５では、受信した音声データはデータ復号後アナログデータに変換してスピーカ８へ出力し、動画像データについてもデータ復号してＶＲＡＭ３でデータを書き出し、ＬＣＤ２へ出力する。

Ｓ１６では、センサ１２からのセンサ検知イベントであるか否かを判断する。センサ検知イベントであった場合はＳ１７へ移行し、センサ検知イベントでない場合はＳ２０へ分岐する。

Ｓ１７では、画像取り込み手段１７が、カメラ１１より動画像データを取り込み、ＲＡＭ５へ保存する。

Ｓ１８では、輪郭抽出手段１８が、画像取り込み手段１７により取り込んだ画像データから人物データを切り出し、その切り出された人物データから顔情報を抽出して、利用者認証手段１９が、あらかじめ本テレビ電話装置に登録されている利用者の顔情報とを比較して利用者を認証する。

なお、本実施の形態ではカメラ１１により取り込んだ動画像データから抽出された人物の顔の特徴情報を用いた利用者認証の説明をしたが、利用者認証の方法は、指紋認証、声紋認証、あるいは虹彩認証等のいずれかの方式を用いることができる。

Ｓ１９では、認証された利用者に対応したアドレス帳情報をフラッシュメモリ４よりＲＡＭ５へ読み出し、そしてＳ１へ移行してイベント待ちの状態に戻る。例えば、”はなこ”が本テレビ電話装置の前に立っていた場合にはＳ１８で利用者は”はなこ”であると認証されるので、図４に示すような利用者情報がフラッシュメモリ４からＲＡＭ５へ読み出されることになる。また、”おとうさん”が本テレビ電話装置の前に立っていた場合にはＳ１８で利用者は”おとうさん”であると認証されるので、図５に示すような利用者情報がフラッシュメモリ４からＲＡＭ５へ読み出されることになる。

Ｓ２０では、着呼イベント、センサ検知イベント以外のそれぞれのイベントに応じた処理を行い、その後、Ｓ１へ移行してイベント待ちの状態に戻る。

以上のように、本実施の形態におけるテレビ電話装置は、背景画像加工手段２４において、背景画像記憶手段１４であらかじめフラッシュメモリ４に記憶されている背景画像と輪郭抽出手段１８で動画像データから切り出した人物画像とを合成することによって、プライバシー機能を搭載したテレビ電話装置である。

また、本実施の形態におけるテレビ電話装置では、背景画像加工手段２４により、輪郭抽出手段１８で動画像データから人物画像領域を抽出し、人物画像以外の領域は画像をぼかすことによってプライバシーを確保することも可能である。

さらに、図６の装置例に示すように自光式ボタン２８を押下することによって背景画像の加工のあり／なしの切り替えが可能な構成とすることができる。この自光式ボタン２８の点灯／非点灯状態を示すことにより、通話の途中でも背景画像を表示／非表示の切り替えが容易に行えるので、この切り替え機能はテレビ電話装置の操作性向上に大いに役立つ。

また、カメラ１１から取り込んだ動画像データから切り出された人物データをあらかじめ用意されているアニメーションデータに置き換えることで、テレビ電話装置のプライバ
シー対応機能のさらなる向上を図ることができる。

本発明のテレビ電話装置は、動画像データ伝送を行うテレビ電話装置として有用である。特に、発信元の端末の電話番号に従ってカメラで取り込んだ動画像データを加工してデータを伝送することが可能であるため、利用者は煩雑な操作をすることなしにプライバシーを確保した動画像データの伝送が可能なテレビ電話装置として好適である。

本発明の実施の形態におけるテレビ電話装置の装置ブロック図 図１のテレビ電話装置の機能ブロック図 図１のテレビ電話装置のフローチャート アドレス帳登録画面の第１の例を示す図 アドレス帳登録画面の第２の例を示す図 図１のテレビ電話装置の装置例を示す斜視図

符号の説明

１ ＣＰＵ
２ ＬＣＤ
３ ＶＲＡＭ
４ フラッシュメモリ
５ ＲＡＭ
６ キー入力装置
７ マイク
８ スピーカ
９ リアルタイムクロック
１０ データ伝送装置
１１ カメラ
１２ センサ
１３ イベント取得手段
１４ 背景画像記憶手段
１５ 利用者情報記憶手段
１６ センサ検知手段
１７ 画像取り込み手段
１８ 輪郭抽出手段
１９ 利用者認証手段
２０ 利用者情報読み出し手段
２１ 発信元電話番号取得手段
２２ 現時刻取得手段
２３ 背景画像加工判定手段
２４ 背景画像加工手段
２５ データ送信手段
２６ データ受信手段
２７ データ再生手段
２８ 自光式ボタン

Claims (4)

1. カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出する輪郭抽出手段と、
   背景画像だけをあらかじめ記憶しておく背景画像記憶手段と、
   前記カメラで撮影した動画像の背景画像を加工して送信するように指定された電話番号を記憶する利用者情報記憶手段と、
   発信元の端末の電話番号が、前記利用者情報記憶手段に記憶された背景画像を加工するように指定された電話番号と一致するか照合することにより背景画像の加工のありなしを判定する背景画像加工判定手段と、
   前記背景画像加工判定手段により前記背景画像の加工ありと判定された場合に、前記カメラで撮影した動画像の背景画像部分を前記背景画像記憶手段に記憶されている背景画像と差し替える背景画像加工手段と、
   前記背景画像加工手段により作成された動画像データを送信するデータ送信手段とを備えたテレビ電話装置。
2. 着呼時に前記発信元の端末の電話番号が前記背景画像をぼかすように指定された番号であるかを照合し、前記発信元の端末の電話番号が前記背景画像をぼかすよう指定された番号である場合に、前記カメラで撮像した動画像の背景画像部分の画像をぼかして送信することを特徴とする請求項１に記載のテレビ電話装置。
3. カメラで撮影した動画像から人物と背景の境界を認識して背景の領域を抽出する輪郭抽出手段と、
   背景画像だけをあらかじめ記憶しておく背景画像記憶手段と、
   前記カメラで撮影した動画像の背景画像を加工して送信する時間帯を記憶する利用者情報記憶手段と、
   着呼時刻が前記利用者情報記憶手段に記憶された背景画像を加工して送信する時間帯であるかを判定する背景画像加工判定手段と、
   前記背景画像加工判定手段により前記背景画像を加工して送信する時間帯であると判定された場合に、前記カメラで撮影した動画像の背景画像部分を前記背景画像記憶手段に記憶されている背景画像と差し替える背景画像加工手段と、
   前記背景画像加工手段により作成された動画像データを送信するデータ送信手段とを備えたテレビ電話装置。
4. 着呼時に前記着呼時刻が前記背景画像をぼかすように指定された時間帯であるかを判定し、前記背景画像をぼかすように指定された時間帯である場合に、前記カメラで撮像した動画像の背景画像部分の画像をぼかして送信することを特徴とする請求項３に記載のテレビ電話装置。

Images