JP2005151430A - テレビ電話装置及びテレビ電話方法 - Google Patents

Abstract

【課題】 相手画像を見ながら自画像がカメラでどのように撮影されているかを確認することを可能とするテレビ電話装置を提供する。
【解決手段】 カメラより入力した画像から該画像における通話者の目の位置を検出する目位置検出手段と、目位置検出手段により検出された目の位置を示す印を通話相手の画像に重ねて画面に表示する表示手段と、を備える。カメラより入力した画像から該画像における通話者の顔の面積を検出する顔面積検出手段を更に備え、表示手段は、印の大きさを顔の面積に応じて変化させる。カメラにより入力した画像から該画像における通話者の顔の領域を検出する顔領域検出手段を更に備え、表示手段は、顔領域検出手段により検出された顔の領域を示す図形も通話相手の画像に重ねて画面に表示する。表示手段は、前記顔領域検出手段により検出された前記顔の位置を示すインジケータを前記画面に表示してもよい。
【選択図】 図１

Description

本発明は、テレビ電話装置及びテレビ電話方法に関し、特に、携帯電話、携帯情報端末又はパーソナルコンピュータ等によって実現されるテレビ電話装置及びテレビ電話方法に関する。

昨今、カメラ付き携帯電話が多く市場に出回っている。更に、ビデオ電話機能を備えた携帯電話も出ている。ビデオ電話は、相手の顔を見ながら、そして、自画像を相手に送りながら通話を楽しむことが出来る。

なお、本願発明に関連する先行技術文献としては以下のものがある。
特開２００２−０１０２２７号公報 特開２００２−０１６８９６号公報 特開２００３−０１８２７２号公報 特開平０９−２５１５３４号公報

しかし、従来の技術には以下のような問題があった。

従来のビデオ携帯電話９０１は、相手画像９５１を表示するエリアに小さい自画像９５２を重ねて表示する方法（図１）や、相手画像９５１と自画像９５２を別エリアで表示する方法（図２）を用いている。従って、
（１）自画像が小さく見にくい。

（２）相手画像に自画像が重なっている。

（３）相手画像に視線をやると、自画像が見えなくなり、自分が画面に入らなくなる場合がある。

（４）自画像に視線をやると、相手画像が見えない。
というような、問題があった。従って、ユーザは、相手画像と自画像とを交互に視線を動かす必要があった。

また、図３のように、相手画像を見るときには、視線は視線１のようになるが、自画像を見るときには、視線は視線２のように下方向に動く。これを相手から見ると下向き顔として映る。

そこで、本発明は、相手画像を見ながら自画像がカメラでどのように撮影されているかを確認することを可能とするテレビ電話装置およびテレビ電話方法を提供することを目的とする。

本発明の第１の観点によれば、カメラより入力した画像から該画像における通話者の目の位置を検出する目位置検出手段と、前記目位置検出手段により検出された目の位置を示す印を通話相手の画像に重ねて画面に表示する表示手段と、を備えることを特徴とするテレビ電話装置が提供される。

本発明の第１の観点によるテレビ電話装置は、前記カメラより入力した前記画像から該画像における前記通話者の顔の面積を検出する顔面積検出手段を更に備え、前記表示手段は、前記印の大きさを前記顔の面積に応じて変化させてもよい。

本発明の第１の観点によるテレビ電話装置は、前記カメラにより入力した前記画像から該画像における前記通話者の顔の領域を検出する顔領域検出手段を更に備え、前記表示手段は、前記顔領域検出手段により検出された前記顔の領域を示す図形も前記通話相手の画像に重ねて画面に表示してもよい。

本発明の第１の観点によるテレビ電話装置は、前記カメラにより入力した前記画像から該画像における前記通話者の顔の領域を検出する顔領域検出手段を更に備え、前記表示手段は、前記顔領域検出手段により検出された前記顔の位置を示すインジケータを前記画面に表示してもよい。

本発明の第２の観点によれば、カメラにより入力した画像から該画像における通話者の顔の領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された前記顔の領域を示す図形を通話相手の画像に重ねて画面に表示する表示手段と、を備えることを特徴とするテレビ電話装置が提供される。

本発明の第３の観点によれば、カメラにより入力した画像から該画像における通話者の顔の領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された前記顔の位置を示すインジケータ及び通話相手の画像を画面に表示する表示手段と、を備えることを特徴とするテレビ電話装置が提供される。

第１の効果は、携帯端末ユーザは、相手画像の目から視線をずらすことなくビデオ通話が可能になる。

その理由は、ユーザは本実施形態のビデオ携帯電話を使う際、相手画像の目の位置に、自分の目位置印を合わせるように携帯電話を持つことにより、相手端末に表示される自分の画像が、表示部のセンターに収まることが可能となるからである。

第２の効果は、表示部全体に相手画像を表示しながら、自画像中の顔の位置を判断することが可能である。

その理由は、自画像は目位置印だけを相手画像に合成するため、自画像表示エリアが不要な為である。

第３の効果は、自画像が相手端末の画面からはみ出たり、小さくなったりすることがなくなる。その理由は、携帯電話と顔との距離により、顔輪郭表示や、目位置印表示が変化するためである。特に、顔輪郭表示の場合には、画面の中に顔が収まるようにするのは容易である。

第４の効果は、相手画像に目位置印や顔輪郭表示を合成表示しなくても、つまり、制御部への負担をかけなくても顔位置を判断する表示をすることが可能である。

その理由は、顔位置インジケータを相手画像の周囲に表示させることが可能となるからである。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

図４において、ビデオ機能付き携帯電話（以下、携帯電話）１００を用いて、使用者が、ビデオ通話を行う際、画像入力部１０２から入力された画像（以下、自画像）から目の位置を検出し、通話相手から送られてくる画像（以下、相手画像）に、検出された目の位置を示す目位置印１１１を合成する。

なお、図４には、折畳み型の携帯電話を示すが、この他リボルバー形の携帯電話、スライド形の携帯電話にも本発明を適用することができる。

図を参照しながら本発明の第１の実施形態について説明する。

図５に示すように本発明の携帯電話は、無線部２０１、カメラ等からなる画像入力部１０２、表示部１０３、制御部２０２、キースイッチ等からなる操作部１０４及びプログラムやデータを保存するメモリ部２０３を備える。主に本発明は、制御部２０２により行われる制御により実現される。

次に、図４、５及び６を参照して本実施形態の動作について詳細に説明する。ビデオ通話を楽しむ場合、符号化された相手画像はアンテナから無線部２０１へ入力され、復号化され制御部２０２へ入る。制御部２０２は、相手画像を表示部１０３に表示させる。一方、自画像は画像入力部１０２から取り込まれ、制御部２０２へ送られる。制御部２０２はそれを符号化し、無線部２０１を通して送信する。

図６を参照すると、まず、自画像は画像入力部１０２から取り込まれる（ステップＳ６０１）。次に、特許文献４に記載の人物認証方法により顔領域を抽出する（ステップＳ６０２）。次に、抽出ができたな否かを判断し（ステップＳ６０３）、抽出できた場合には（ステップＳ６０３でＮＯ）、目位置を検出する（ステップＳ６０４）。次に、検出された両目の中間の位置を示す「印」を相手画像に合成して表示する（ステップＳ６０５）。顔領域抽出ができなかった場合は（ステップＳ６０３でＮＯ）、目位置印表示をオフにする（ステップＳ６０６）。この処理をビデオ通話中繰り返す。

目位置印表示例を図４に示す。

目位置印の形状は、○、□、＋、☆等色々選択できる。ユーザが何れかの形状を選択できるようにしても良い。

また、顔領域を抽出できなかった場合は、目位置印をオフするのではなく、目位置印の色を変化させても良い。例えば、顔領域を抽出できたときには、目位置印を緑色で表示し、顔領域を抽出できなかったときには、目位置印を赤色で表示する。

更に、目位置印の大きさを、顔位置抽出で抽出した顔の面積に比例させたり、表示部１０３の大きさに比例させても良い。こうすることにより、携帯電話と顔と間の距離もユーザが視覚的に認識することが可能となる。

次に、本発明の第２の実施形態について図７及び８を参照して説明する。第１の実施形態では、目位置の印を表示したが、その他にも、図６のように、顔位置抽出による「顔輪郭」を表示することも可能である。「顔輪郭」を表示する図形は、例えば、三角形、四角形、五角形、六角形、真円又は楕円等である。こうすることにより、ユーザは画面で自分の顔そのものを確認することはできないが、自分の顔がカメラアングルからはみ出ずに撮影され、相手に正しく送信され、相手が自分の顔の全部を見ているかどうかを確認することができる。

更に、図７のように、表示部１０３の輪郭部分の表示エリアを横棒インジータと縦棒インジケータで表すことも可能である。また、表示部の上下左右に枠の形状のインジケータを表示し、例えば、抽出された顔が右側にはみ出ている場合には、右枠のインジケータを赤色で表示し、他の枠のインジケータを緑色で表示するようにする。また、抽出された顔が右下にはみ出ている場合は、右枠のインジケータ及び下枠のインジケータを赤色で表示し、他の枠のインジケータを緑色で表示するようにする。このようにして、自分の顔がどの方向にはみ出ているかをユーザが認識できるようにしても良い。こうすることにより、ユーザは画面で自分の顔そのものを確認することはできないが、自分の顔がカメラアングルからはみ出ずに撮影され、相手に正しく送信され、相手が自分の顔の全部を見ているかを確認することができる。

また、自分の視線位置を表す目位置印と自分の顔の輪郭を示す円又は枠の両者を画面に表示するようにしても良い。こうすることにより、ユーザは、自分の視線の位置と自分の顔の位置の両者を確認することができる。

なお、上記の実施形態においては、携帯電話を用いたテレビ電話を例に取り説明したが、本発明は、カメラを備えたＰＤＡ(Personal Digital Assistant)等の携帯情報端末を用いたテレビ電話、カメラを装着したパーソナルコンピュータを用いたテレビ電話等にも適用することができる。

本発明はテレビ電話に利用することができる。

従来例による携帯電話が表示する画面を示す第１の図である。 従来例による携帯電話が表示する画面を示す第２の図である。 携帯電話のユーザの視線を説明するための図である。 本発明の実施形態による携帯電話が表示する画面を示す第１の図である。 本発明の実施形態による携帯電話の構成を示すブロック図である。 本発明の実施形態による携帯電話が行うテレビ電話方法を示すフローチャートである。 本発明の実施形態による携帯電話が表示する画面を示す第２の図である。 本発明の実施形態による携帯電話が表示する画面を示す第３の図である。

符号の説明

１０１ 携帯電話
１０２ 画像入力部
１０３ 表示部
１０４ 操作部
２０１ 無線部
２０２ 制御部
２０３ メモリ部

Claims (12)

1. カメラより入力した画像から該画像における通話者の目の位置を検出する目位置検出手段と、
   前記目位置検出手段により検出された目の位置を示す印を通話相手の画像に重ねて画面に表示する表示手段と、
   を備えることを特徴とするテレビ電話装置。
2. 請求項１に記載のテレビ電話装置において、
   前記カメラより入力した前記画像から該画像における前記通話者の顔の面積を検出する顔面積検出手段を更に備え、
   前記表示手段は、前記印の大きさを前記顔の面積に応じて変化させることを特徴とするテレビ電話装置。
3. 請求項１に記載のテレビ電話装置において、
   前記カメラにより入力した前記画像から該画像における前記通話者の顔の領域を検出する顔領域検出手段を更に備え、
   前記表示手段は、前記顔領域検出手段により検出された前記顔の領域を示す図形も前記通話相手の画像に重ねて画面に表示することを特徴とするテレビ電話装置。
4. 請求項１に記載のテレビ電話装置において、
   前記カメラにより入力した前記画像から該画像における前記通話者の顔の領域を検出する顔領域検出手段を更に備え、
   前記表示手段は、前記顔領域検出手段により検出された前記顔の位置を示すインジケータを前記画面に表示することを特徴とするテレビ電話装置。
5. カメラにより入力した画像から該画像における通話者の顔の領域を検出する顔領域検出手段と、
   前記顔領域検出手段により検出された前記顔の領域を示す図形を通話相手の画像に重ねて画面に表示する表示手段と、
   を備えることを特徴とするテレビ電話装置。
6. カメラにより入力した画像から該画像における通話者の顔の領域を検出する顔領域検出手段と、
   前記顔領域検出手段により検出された前記顔の位置を示すインジケータ及び通話相手の画像を画面に表示する表示手段と、
   を備えることを特徴とするテレビ電話装置。
7. カメラより入力した画像から該画像における通話者の目の位置を検出する目位置検出ステップと、
   前記目位置検出ステップにより検出された目の位置を示す印を通話相手の画像に重ねて画面に表示する表示ステップと、
   を備えることを特徴とするテレビ電話方法。
8. 請求項７に記載のテレビ電話方法において、
   前記カメラより入力した前記画像から該画像における前記通話者の顔の面積を検出する顔面積検出ステップを更に備え、
   前記表示ステップは、前記印の大きさを前記顔の面積に応じて変化させることを特徴とするテレビ電話方法。
9. 請求項７に記載のテレビ電話方法において、
   前記カメラにより入力した前記画像から該画像における前記通話者の顔の領域を検出する顔領域検出ステップを更に備え、
   前記表示ステップは、前記顔領域検出ステップにより検出された前記顔の領域を示す図形も前記通話相手の画像に重ねて画面に表示することを特徴とするテレビ電話方法。
10. 請求項７に記載のテレビ電話方法において、
    前記カメラにより入力した前記画像から該画像における前記通話者の顔の領域を検出する顔領域検出ステップを更に備え、
    前記表示ステップは、前記顔領域検出手段により検出された前記顔の位置を示すインジケータを前記画面に表示することを特徴とするテレビ電話方法。
11. カメラにより入力した画像から該画像における通話者の顔の領域を検出する顔領域検出ステップと、
    前記顔領域検出ステップにより検出された前記顔の領域を示す図形を通話相手の画像に重ねて画面に表示する表示ステップと、
    を備えることを特徴とするテレビ電話方法。
12. カメラにより入力した画像から該画像における通話者の顔の領域を検出する顔領域検出ステップと、
    前記顔領域検出ステップにより検出された前記顔の位置を示すインジケータ及び通話相手の画像を画面に表示する表示ステップと、
    を備えることを特徴とするテレビ電話方法。

Images