JP2008219744A - テレビ電話機能付き端末装置及びテレビ電話方法 - Google Patents

Abstract

【課題】既存のネットワークや一般に流通している通信端末装置を活用しながら、通話相手との間で視線に違和感を感じさせることなくテレビ電話機能を用いた通話を行うこと。
【解決手段】通話相手の画像データを表示する表示部２０５と、表示部２０５を挟んで当該表示部２０５の中央近傍の側方側に配設され、被写体の画像を撮像する１対のカメラ（左カメラ１０１Ｌ及び右カメラ１０１Ｒ）と、一方のカメラ（左カメラ１０１Ｌ）が撮像した画像データの一部と他方のカメラ（右カメラ１０１Ｒ）が撮像した画像データの一部とを合成した合成画像データを生成する画像合成部２０２と、上記合成画像データを通話相手に送信する送信部２０３とを具備し、画像合成部２０２は、１対のカメラが撮像した画像データにおける一定領域の明度分布に応じてマッチングを行った後に両者の画像データを合成した合成画像データを生成することを特徴とする。
【選択図】図２

Description

本発明は、テレビ電話機能付き端末装置及びテレビ電話方法に関し、特に、表示画面上で通話相手の画像を見ながら通話を可能とするテレビ電話機能付き端末装置及びテレビ電話方法に関する。

現在、携帯電話機などの移動体端末装置においては、通話相手の画像を見ながら対話を可能とするテレビ電話機能を搭載したものが普及している。このような携帯電話機において、従来、通話相手と自然に視線を合わせた対話を実現するために、左右１対のカメラを搭載し、左方側のカメラが撮影する画像と、右方側のカメラが撮影する画像とを混在させた画像を画像表示部に表示させるものが提案されている（例えば、特許文献１参照）。
特開２００４−４８６４４号公報

しかしながら、上述したような従来の携帯電話機は、両眼視差による立体視を応用したものであり、これを実際に実現するためには、左右別々の画像の伝送と、特殊な光学レンズやレンチキュラーレンズ、並びに、パララックスバリア等技術を用いた特殊な立体映像ディスプレイが必要になり、現在のネットワークや一般に流通している携帯電話機で利用することは極めて困難であるという問題がある。

本発明は、このような実情に鑑みて為されたものであり、既存のネットワークや一般に流通している通信端末装置を活用しながら、通話相手との間で視線に違和感を感じさせることなくテレビ電話機能を用いた通話を行うことができるテレビ電話機能付き端末装置及びテレビ電話方法を提供することを目的とする。

本発明のテレビ電話機能付き端末装置は、通話相手の画像データを表示する表示手段と、前記表示手段を挟んで当該表示手段の中央近傍の側方側に配設され、被写体の画像を撮像する１対の撮像手段と、一方の前記撮像手段が撮像した画像データの一部と他方の前記撮像手段が撮像した画像データの一部とを合成した合成画像データを生成する画像合成手段と、前記合成画像データを通話相手に送信する送信手段とを具備し、前記画像合成手段は、前記１対の撮像手段が撮像した画像データにおける一定領域の明度分布に応じてマッチングを行った後に両者の画像データを合成した合成画像データを生成することを特徴とする。

このテレビ電話機能付き端末装置によれば、１対の撮像手段が撮像した画像データにおける一定領域の明度分布に応じてマッチングを行った後に、一方の撮像手段が撮像した画像データの一部と他方の撮像手段が撮像した画像データの一部とを合成した合成画像データが生成され、通話相手に送信されることから、受信側の端末装置に特別な装備を必要とすることなく本テレビ電話機能付き端末装置で撮像した画像データを表示することできるので、既存のネットワークや一般に流通している通信端末装置を活用しながら、通話相手との間で視線に違和感を感じさせることなくテレビ電話機能を用いた通話を行うことが可能となる。特に、１対の撮像手段が撮像した画像データにおける一定領域の明度分布に応じてマッチングが行われるため、装置本体に極めて高い処理能力を要求することなく、画像データの合成を行うことが可能となる。

上記テレビ電話機能付き端末装置において、前記一対の撮像手段は、前記表示手段に表示される通話相手の画像データの目の高さに応じた位置に配設されることが好ましい。この場合には、表示手段に表示される通話相手と視線を合わせた状態でテレビ電話機能を用いた通話を行うことが可能となる。

また、上記テレビ電話機能付き端末装置においては、装置本体の角度を検出する角度検出手段を更に具備し、前記画像合成手段は、前記角度検出手段で検出される装置本体の角度に応じて前記１対の撮像手段が撮像した画像データ又は前記合成画像データを補正するようにしても良い。この場合には、装置本体の角度に応じて１対の撮像手段が撮像した画像データ等が補正されるので、装置本体が傾いている場合においても、通話相手に自然な画像データ等を送信することが可能となる。

特に、上記テレビ電話機能付き端末装置において、前記画像合成手段は、前記１対の撮像手段が撮像した画像データ又は前記合成画像データにおける被写体の顔面の一部の面積を縮小する補正を行うことが好ましい。この場合には、被写体の顔面の一部の面積を縮小する補正が行われるので、被写体の顔面の一部の面積が不適切に広くなるような画像データ等が通話相手に送信されるのを防止することが可能となる。

例えば、上記テレビ電話機能付き端末装置において、前記画像合成手段は、前記撮像手段が被写体の顔面を上方側から撮像した場合に当該顔面における上方側の一部の面積を縮小する補正を行う。この場合には、被写体の顔面の上方側の一部の面積が不適切に広くなるような画像データ等が通話相手に送信されるのを防止することが可能となる。

また、上記テレビ電話機能付き端末装置において、前記画像合成手段は、前記撮像手段が被写体の顔面を下方側から撮像した場合に当該顔面における下方側の一部の面積を縮小する補正を行う。この場合には、被写体の顔面の下方側の一部の面積が不適切に広くなるような画像データ等が通話相手に送信されるのを防止することが可能となる。

上記テレビ電話機能付き端末装置を携帯電話機に適用しても良い。この場合には、上述したようなテレビ電話機能付き端末装置で得られる効果を携帯電話機で得ることが可能となる。

本発明のテレビ電話方法は、通話相手の画像データを表示する表示手段と、前記表示手段を挟んで当該表示手段の中央近傍の側方側に配設され、被写体の画像を撮像する１対の撮像手段とを具備する端末装置を用いたテレビ電話方法であって、前記１対の撮像手段が撮像した画像データにおける一定領域の明度分布を計算し、当該明度分布に応じて一方の前記撮像手段が撮像した画像データと他方の前記撮像手段が撮像した画像データとのマッチングを行い、一方の前記撮像手段が撮像した画像データの一部と他方の前記撮像手段が撮像した画像データの一部とを合成した合成画像データを生成し、前記合成画像データを通話相手に送信することを特徴とする。

このテレビ電話方法によれば、１対の撮像手段が撮像した画像データにおける一定領域の明度分布に応じてマッチングを行った後に、一方の撮像手段が撮像した画像データの一部と他方の撮像手段が撮像した画像データの一部とを合成した合成画像データが生成され、通話相手に送信されることから、受信側の端末装置に特別な装備を必要とすることなく本テレビ電話機能付き端末装置で撮像した画像データを表示することできるので、既存のネットワークや一般に流通している通信端末装置を活用しながら、通話相手との間で視線に違和感を感じさせることなくテレビ電話機能を用いた通話を行うことが可能となる。特に、１対の撮像手段が撮像した画像データにおける一定領域の明度分布に応じてマッチングが行われるため、装置本体に極めて高い処理能力を要求することなく、画像データの合成を行うことが可能となる。

上記テレビ電話方法においては、前記端末装置の角度を検出し、当該端末装置の角度に応じて前記１対の撮像手段が撮像した画像データ又は前記合成画像データを補正するようにしても良い。この場合には、装置本体の角度に応じて１対の撮像手段が撮像した画像データ等が補正されるので、装置本体が傾いている場合においても、通話相手に自然な画像データ等を送信することが可能となる。

特に、上記テレビ電話方法においては、前記１対の撮像手段が撮像した画像データ又は前記合成画像データにおける被写体の顔面の一部の面積を縮小する補正を行うことが好ましい。この場合には、被写体の顔面の一部の面積を縮小する補正が行われるので、被写体の顔面の一部の面積が不適切に広くなるような画像データ等が通話相手に送信されるのを防止することが可能となる。

本発明に係るテレビ電話機能付き端末装置及びテレビ電話方法によれば、１対の撮像手段が撮像した画像データにおける一定領域の明度分布に応じてマッチングを行った後に、一方の撮像手段が撮像した画像データの一部と他方の撮像手段が撮像した画像データの一部とを合成した合成画像データが生成され、通話相手に送信されることから、受信側の端末装置に特別な装備を必要とすることなく装置本体で撮像した画像データを表示することできるので、既存のネットワークや一般に流通している携帯電話機を活用しながら、通話相手との間で視線に違和感を感じさせることなくテレビ電話機能を用いた通話を行うことが可能となる。

以下、本発明の実施の形態について添付図面を参照して詳細に説明する。
図１は、本発明の一実施の形態に係るテレビ電話機能付き端末装置が適用されるネットワークの概略構成を示す図である。図１に示すように、本実施の形態に係るテレビ電話機機能付き端末装置１０１及び１０２は、ＩＭＴ（International Mobile Telecommunication）網等の通信ネットワークで構成される移動通信網１０３に接続されている。以下においては、テレビ電話機能付き端末装置として、携帯電話機１０１及び１０２を用いて説明するが、これに限定されるものではなく、テレビ電話機機能を有する端末装置であれば、いかなる端末装置にも適用することが可能である。なお、図１は、本発明を説明するために簡素化したものであり、移動通信網１０３に含まれる交換機などの構成については省略している。

携帯電話機１０１及び１０２は、通話相手の画像を見ながら対話を可能とするテレビ電話機能を搭載している。この場合において、携帯電話機１０１及び１０２は、撮像手段としての１対のカメラを備えている。これらの１対のカメラで撮影した画像データを合成し、相手先の携帯電話機に送信する。具体的には、携帯電話機１０１は、表示画面の左方側（図１に示す右方側）に配設された左カメラ１０１Ｌと、表示画面の右方側（図１に示す左方側）に配設された右カメラ１０１Ｒとを備え、これらの左カメラ１０１Ｌ及び右カメラ１０１Ｒで撮影した画像データを合成する。同様に、携帯電話機１０２は、左カメラ１０２Ｌと、右カメラ１０２Ｒとを備え、これらの左カメラ１０２Ｌ及び右カメラ１０２Ｒで撮影した画像データを合成する。

本実施の形態において、携帯電話機１０１が備える１対のカメラ（左カメラ１０１Ｌ及び右カメラ１０１Ｒ）は、表示画面を挟んで水平に配設されている。１対のカメラ（左カメラ１０１Ｌ及び右カメラ１０１Ｒ）は、表示画面の中央近傍に配設されている。特に、テレビ電話機能を使用した場合に、表示画面上に表示される通話相手と視線が合う高さ（表示画面上に表示される通話相手の顔の目の高さ）の位置に配設されている。携帯電話機１０２が備える１対のカメラ（左カメラ１０２Ｌ及び右カメラ１０２Ｒ）も同様に、表示画面上に表示される通話相手と視線が合う高さの位置に配設されている。

図２は、本実施の形態に係る携帯電話機１０１及び１０２の構成を示すブロック図である。携帯電話機１０１及び１０２は、同一の構成を有するため、代表して携帯電話機１０１の構成について説明し、携帯電話機１０２の構成については省略する。なお、図２に示す携帯電話機１０１の構成は、本発明を説明するために簡略化したものであり、携帯電話機１０１は、音声通話可能な通常の携帯電話機に必要な処理機能を備えるものとする。

図２に示す携帯電話機１０１において、制御部２０１は、装置全体の制御を行うものであり、後述する各構成要素の制御を行う。画像合成部２０２は、画像合成手段として機能し、上述したように携帯電話機１０１が備える左カメラ１０１Ｌ及び右カメラ１０１Ｒが撮影した画像データの合成を行う。画像データを合成する際、画像合成部２０２は、合わせて画像データの補正を行う。なお、この画像合成部２０２の詳細については後述する。

送信部２０３は、送信手段として機能し、移動通信網１０３を介して他の携帯電話機１０２等に合成された画像データ等を送信する。受信部２０４は、移動通信網１０３を介して他の携帯電話機１０２等から到来する画像データ（合成された画像データを含む）を受信する。表示部２０５は、表示手段として機能し、受信部２０４で受信した画像データや、画像合成部２０２で合成された画像データを表示する。角度センサ（Ｓ）２０６は、角度検出手段として機能し、装置本体の傾きを検出し、検出した傾きに応じた角度データを、後述する画像合成部２０２の台形補正処理部に出力する。

画像合成部２０２は、画像抽出部２０２ａ、明度分布生成部２０２ｂ、シフト量演算部２０２ｃ、合成画像生成部２０２ｄ及び台形補正処理部２０２ｅを有する。画像抽出部２０２ａは、左カメラ１０１Ｌ及び右カメラ１０１Ｒが撮影した画像データの目鼻位置の近傍の一定領域の画像データをそれぞれ抽出する。明度分布生成部２０２ｂは、抽出された領域の画像データの垂直方向の画素の明度の平均値を、水平方向に並べた明度分布データを生成する。シフト量演算部２０２ｃは、それぞれ左カメラ１０１Ｌの画像データに対応する明度分布データ列と、右カメラ１０１Ｒの画像データに対応する明度分布データ列との差が最小となる、画像データのシフト量を算出する。合成画像生成部２０２ｄは、算出されたシフト量を用いて左カメラ１０１Ｌ及び右カメラ１０１Ｒが撮影した画像データ間のマッチング処理を行うと共に、両者の画像データ（画像データの一部）を合成した合成画像データを生成する。台形補正処理部２０２ｅは、角度センサ２０６から出力される角度データ、並びに、左カメラ１０１Ｌ及び右カメラ１０１Ｒが有するレンズと被写体との距離（以下、適宜「被写体間距離」という）に応じて、合成画像データに台形補正処理を行う。なお、被写体間距離は、シフト量演算部２０２ｃで算出されるシフト量から算出することができる。例えば、このシフト量が大きいほど、短い被写体間距離が算出されることとなる。

以下、このような構成を有する携帯電話機１０１でテレビ電話機能を用いた通話（以下、単に「テレビ電話」という）を行う場合の動作について説明する。図３は、本実施の形態に係る携帯電話機１０１でテレビ電話を行う場合の動作について説明するためのフロー図である。なお、ここでは、携帯電話機１０１は、携帯電話機１０２とテレビ電話を行う場合について示すものとする。

図示しない操作ボタンより、ユーザからテレビ電話の実行が指示されると、携帯電話機１０１において、左カメラ１０１Ｌ及び右カメラ１０１Ｒが起動され、被写体（携帯電話機１０１のユーザ）の画像（特に、顔画像）が撮影される（ステップ（以下、「ＳＴ」という）３０１）。左カメラ１０１Ｌ及び右カメラ１０１Ｒにより撮影された画像データは、それぞれ画像抽出部２０２ａに渡される。

図４は、本実施の形態に係る携帯電話機１０１で撮影された画像データの一例を示す図である。図４（ａ）は、左カメラ１０１Ｌが撮影した画像データを示し、図４（ｂ）は、右カメラ１０１Ｒが撮影した画像データを示している。一般に、テレビ電話は、表示部２０５に表示される通話相手の画像を見ながら行われる。この場合において、左カメラ１０１Ｌは、表示画面の左方側に配設されているため、図４（ａ）に示す画像データ４０１Ｌにおいては、ユーザの顔が僅かに左方側から撮影されている。従って、ユーザの視線は、僅かに右側に逸れた状態となっている。同様に、右カメラ１０１Ｒは、表示画面の右方側に配設されているため、図４（ｂ）に示す画像データ４０１Ｒにおいては、ユーザの顔が僅かに右方側から撮影されている。このため、ユーザの視線は、僅かに左側に逸れた状態となっている。

画像データ４０１を受け取ると、画像抽出部２０２ａは、画像データ４０１Ｌ及び４０１Ｒの目鼻位置の近傍の一定領域の画像データをそれぞれ抽出する（ＳＴ３０２）。ここでは、例えば、目鼻位置を中心とする上下幅約１０ｃｍの領域の画像データが抽出される。なお、このように一定領域の画像データを抽出するのは、後述するように、画像データのマッチング処理を行う際に使用するデータ量を低減するためである。画像抽出部２０２ａにより抽出された画像データは、それぞれ明度分布生成部２０２ｂに渡される。

図５は、本実施の形態に係る携帯電話機１０１で撮影された画像データから抽出される領域を説明するための図である。図５（ａ）は、左カメラ１０１Ｌで撮影した画像データ４０１Ｌから抽出される領域５０１Ｌを示し、図５（ｂ）は、右カメラ１０１Ｒで撮影した画像データ４０１Ｒから抽出される領域５０１Ｒを示している。図５（ａ）及び（ｂ）に示すように、本実施の形態においては、ユーザの顔における眉毛の僅かに上方側の位置から鼻の僅かに下方側の位置までの領域５０１に対応する画像データが抽出される。

抽出された画像データを受け取ると、明度分布生成部２０２ｂは、上記領域５０１Ｌ及び５０１Ｒにおける垂直方向の画素の明度の平均値を、水平方向に並べた明度分布データを生成する（ＳＴ３０３）。そして、生成した明度分布データをシフト量演算部２０２ｃに渡す。明度分布データを受け取ると、シフト量演算部２０２ｃは、それぞれの明度分布データを左右にシフトした場合に両者の間の差が最小となるシフト量（Ｓ）を算出する（ＳＴ３０４）。例えば、シフト量（Ｓ）は、２乗誤差最小法等によって算出される。シフト量演算部２０２ｃにより算出されたシフト量（Ｓ）は、合成画像生成部２０２ｄ及び台形補正処理部２０２ｅに渡される。

図６は、抽出された画像データから生成される明度分布データと、シフト量（Ｓ）との関係を説明するための図である。図６においては、領域５０１Ｌから抽出される画像データに応じた明度分布データ６０１Ｌと、領域５０１Ｒから抽出される画像データに応じた明度分布データ６０１Ｒとを示している。同一の被写体における同一の領域から生成されるものであるため、図６に示すように、明度分布データ６０１Ｌと、明度分布データ６０１Ｒとは近似するデータ列で構成される。シフト量演算部２０２ｃは、このように近似する明度分布データ６０１Ｌ及び明度分布データ６０１Ｒを左右にシフトした場合に両者の差が最小となるシフト量（Ｓ）を算出する。

算出されたシフト量（Ｓ）を受け取ると、合成画像生成部２０２ｄは、シフト量（Ｓ）を考慮しながら、左カメラ１０１Ｌで撮影した画像データ４０１Ｌの左半分と、右カメラ１０１Ｒで撮影した画像データ４０１Ｒの右半分とのマッチング処理を行うと共に、両者の画像データ４０１Ｌ及び４０１Ｒを合成した合成画像データを生成する（ＳＴ３０５）。合成画像生成部２０２ｄにより生成された合成画像データは、台形補正処理部２０２ｅに渡される。

図７は、図４（ａ）に示す画像データ４０１Ｌの左半分と、図４（ｂ）に示す画像データ４０１Ｒの右半分とが合成された合成画像データ７０１を示している。合成画像データ７０１においては、図４（ａ）に示す画像データ４０１Ｌ、並びに、図４（ｂ）に示す画像データ４０１Ｒと異なり、ユーザの視線は、通話相手の表示画面の方向に向いた状態となっている。このため、通話相手は、視線を合わせた状態でテレビ電話を行うことが可能となる。

算出されたシフト量（Ｓ）及び合成画像データ７０１を受け取ると、台形補正処理部２０２ｅは、角度センサ２０６から携帯電話機１０１の傾きを示す角度データを取得すると共に（ＳＴ３０６）、シフト量（Ｓ）から左カメラ１０１Ｌ及び右カメラ１０１Ｒが有するレンズと被写体との距離（被写体間距離）を算出する（ＳＴ３０７）。そして、これらの角度データ及び被写体間距離を考慮しながら当該合成画像データに台形補正処理を行う（ＳＴ３０８）。この台形補正処理においては、合成画像データにおける被写体の顔面の一部の面積を縮小する補正を行う。具体的には、携帯電話機１０１のカメラと被写体との位置関係に応じて、ユーザの顔面における上方側又は下方側の部分の面積が実際の顔面の面積よりも広く表示された合成画像データを、実際の顔面の面積に近づけるように補正が行われる。なお、台形補正処理部２０２ｅにおける台形補正処理は、角度データ及び被写体間距離に応じてその度合いが調整される。台形補正処理部２０２ｅにより台形補正処理が行われた合成画像データは、送信部２０３に渡される。

例えば、携帯電話機１０１のカメラが被写体よりも上方側に配置されている場合、すなわち、上方側から被写体が撮影される場合、合成顔画像データ７０１においては、ユーザの顔面の上方側の部分の面積が実際の顔面の面積よりも広くなってしまう。一方、携帯電話機１０１のカメラが被写体よりも下方側に配置されている場合、すなわち、下方側から被写体が撮影される場合、合成顔画像データ７０１においては、ユーザの顔面の下方側の部分の面積が実際の顔面の面積よりも広くなってしまう。このため、台形補正処理部２０２ｅは、このように広く表示される顔面の一部の面積を実際の顔面の面積に近づける台形補正処理を行う。

本実施の形態において、台形補正処理部２０２ｅは、被写体が上方側から撮影される場合と、下方側から撮影される場合に台形補正処理を行う。例えば、角度センサ２０６において、カメラが下方側に向いた携帯電話機１０１の傾きが検知されると、これに応じた角度データが台形補正処理部２０２ｅに出力される。この場合、台形補正処理部２０２ｅは、合成画像データにおける顔面の上方側の一部の面積を、実際の顔面の面積に近づける台形補正処理を行う。一方、角度センサ２０６において、カメラが上方側に向いた携帯電話機１０１の傾きが検知されると、これに応じた角度データが台形補正処理部２０２ｅに出力される。この場合、台形補正処理部２０２ｅは、合成画像データ７０１における顔面の下方側の面積の一部を、実際の顔面の面積に近づける台形補正処理を行う。なお、角度センサ２０６において、携帯電話機１０１の傾きが検知されない場合には、角度データが台形補正処理部２０２ｅに出力されることはない。この場合、台形補正処理部２０２ｅは、合成画像データ７０１に対して台形補正処理を行うことなく、当該合成画像データ７０１を送信部２０３に受け渡す。

携帯電話機１０１のカメラが被写体よりも上方側に配置された場合、合成画像生成部２０２ｄにより図８に示すような合成画像データ７０１ａが生成される。図８は、携帯電話機１０１のカメラが被写体よりも上方側に配置された場合の合成画像データ７０１ａを示している。図８に示す合成画像データ７０１ａにおいては、図７に示す合成画像データ７０１よりも、ユーザの顔面の上方側の部分（頭部の周辺部分）の面積が広くなっていることが分かる。台形補正処理部２０２ｅは、このような合成画像データ７０１ａにおける上方側の部分の面積を、図７に示す合成画像データ７０１の該当する部分の面積に近づける台形補正処理を行う。これにより、被写体の顔面の上方側の一部の面積が不適切に広くなるような画像データが通話相手に送信されるのが防止される。

一方、携帯電話機１０１のカメラが被写体よりも下方側に配置された場合、合成画像生成部２０２ｄにより図９に示すような合成画像データ７０１ｂが生成される。図９は、携帯電話機１０１のカメラが被写体よりも下方側に配置された場合の合成画像データ７０１ｂを示している。図９に示す合成画像データ７０１ｂにおいては、図７に示す合成画像データ７０１よりもユーザの顔面の下方側の部分（顎部の周辺部分）の面積が広くなっていることが分かる。台形補正処理部２０２ｅは、このような合成画像データ７０１ｂにおける下方側の部分の面積を、図７に示す合成画像データ７０１の該当する部分の面積に近づける台形補正処理を行う。これにより、被写体の顔面の下方側の一部の面積が不適切に広くなるような画像データが通話相手に送信されるのが防止される。

なお、ここでは、被写体が上方側から撮影された場合、並びに、下方側から撮影された場合に台形補正処理部２０２ｅによる台形補正処理が行われる場合について示している。しかしながら、台形補正処理が行われる場合については、これに限定されるものではなく、適宜変更が可能である。例えば、被写体が上方側（下方側）から撮影された場合における携帯電話機１０１の角度に応じて台形補正処理を行う程度を変更することは実施の形態として好ましい。この場合には、携帯電話機１０１のカメラの位置と被写体との位置関係に応じてより細かく合成画像データ７０１における顔面の面積を補正することが可能となる。また、ここでは、シフト量演算部２０２ｃで算出されるシフト量（Ｓ）から被写体間距離を算出する場合について示しているが、被写体間距離を取得する手法についてはこれに限定されるものではなく、適宜変更が可能である。例えば、被写体間距離を検出する距離センサを備え、当該距離センサの検出結果に応じて被写体間距離を取得するようにしても良い。

台形補正処理部２０２ｅから合成画像データ７０１を受け取ると、送信部２０３は、当該合成画像データ７０１を、移動通信網１０３を介して通話相手の携帯電話機１０２に送信する（ＳＴ３０９）。この場合、携帯電話機１０２の表示部２０５においては、図７に示す合成画像データ７０１（台形補正処理が行われた場合には、合成画像データ７０１に近似する画像データ）が表示されることとなる。

このように本実施の形態に係るテレビ電話機機能付き端末装置（携帯電話機１０１）によれば、１対のカメラ（左カメラ１０１Ｌ及び右カメラ１０１Ｒ）が撮像した画像データにおける一定領域の明度分布に応じてマッチングを行った後に、一方のカメラ（例えば、左カメラ１０１Ｌ）が撮像した画像データの一部と、他方のカメラ（例えば、右カメラ１０１Ｒ）が撮像した画像データの一部とを合成した合成画像データが生成され、通話相手に送信されることから、受信側の通信端末装置に特別な装備を必要とすることなく本テレビ電話機能付き端末装置で撮像した画像データを表示することできるので、既存のネットワークや一般に流通している通信端末装置を活用しながら、通話相手との間で視線に違和感を感じさせることなくテレビ電話機能を用いた通話を行うことが可能となる。

特に、本実施の形態に係るテレビ電話機機能付き端末装置においては、１対のカメラ（左カメラ１０１Ｌ及び右カメラ１０１Ｒ）が撮像した画像データにおける一定領域の明度分布に応じてマッチングが行われるため、装置本体に極めて高い処理能力を要求することなく、画像データの合成を行うことが可能となる。

また、本実施の形態に係るテレビ電話機機能付き端末装置においては、１対のカメラ（左カメラ１０１Ｌ及び右カメラ１０１Ｒ）を、表示画面に表示される通話相手の画像データの目の高さに応じた位置に配設させていることから、表示画面に表示される通話相手と視線を合わせた状態でテレビ電話機能を用いた通話を行うことが可能となる。

さらに、本実施の形態に係るテレビ電話機機能付き端末装置においては、角度センサ２０６が検出する装置本体の傾きに対応する角度データに応じて、合成画像データを補正するようにしたので、装置本体が傾いている場合においても、通話相手に自然な画像データ等を送信することが可能となる。なお、ここでは、角度センサ２０６から出力される角度データに応じて合成画像データを補正する場合について説明しているが、これに限定されるものではなく、１対のカメラ（左カメラ１０１Ｌ及び右カメラ１０１Ｒ）が撮像した画像データに対して補正を行うようにしても良い。この場合にも、合成画像データを補正した場合と同等の効果を得ることが可能となる。

特に、本実施の形態に係るテレビ電話機機能付き端末装置においては、合成画像データにおける被写体の顔面の一部の面積を縮小する補正を行うようにしたので、被写体の顔面の一部の面積が不適切に広くなるような画像データが通話相手に送信されるのを防止することが可能となる。

なお、本発明は、上記実施の形態に限定されず、本発明の効果を発揮する範囲内において種々変更して実施することが可能である。また、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

例えば、上記実施の形態においては、受信側の通信端末装置（携帯電話機１０２）においても、送信側の携帯電話機１０１と同様に、画像合成部２０２等の機能を有する場合について説明しているが、これに限定されるものではない。受信側の通信端末装置は、送信側の携帯電話機１０１から到来する画像データを表示しながら通話することができる、通常のテレビ電話機能を備えていれば、いかなる通信端末装置であっても良い。

また、上記実施の形態においては、合成画像データにおける被写体の顔面の一部の面積を縮小するために台形補正処理を行う場合について説明しているが、当該補正処理の内容についてはこれに限定されるものではなく、適宜変更が可能である。合成画像データにおける被写体の顔面の一部の面積を縮小することができれば、いかなる補正処理を用いても良い。

本発明の一実施の形態に係るテレビ電話機能付き端末装置が適用されるネットワークの概略構成を示す図である。 上記実施の形態に係るテレビ電話機能付き端末装置としての携帯電話機の構成を示すブロック図である。 上記実施の形態に係る携帯電話機でテレビ電話を行う場合の動作について説明するためのフロー図である。 上記実施の形態に係る携帯電話機で撮影された画像データの一例を示す図である。 上記実施の形態に係る携帯電話機で撮影された画像データから抽出される領域を説明するための図である。 図５に示す領域から抽出された画像データから生成される明度分布データと、シフト量との関係を説明するための図である。 図４（ａ）に示す画像データの左半分と、図４（ｂ）に示す画像データの右半分とが合成された合成画像データを示す図である。 上記実施の形態に係る携帯電話機のカメラが被写体よりも上方側に配置された場合の合成画像データを示す図である。 上記実施の形態に係る携帯電話機のカメラが被写体よりも下方側に配置された場合の合成画像データを示す図である。

符号の説明

１０１、１０２ 携帯電話機（テレビ電話機能付き端末装置）
１０１Ｌ、１０２Ｌ 左カメラ
１０１Ｒ、１０２Ｒ 右カメラ
１０３ 移動通信網
２０１ 制御部
２０２ 画像合成部
２０３ 送信部
２０４ 受信部
２０５表示部
２０６ 角度センサ

Claims (10)

1. 通話相手の画像データを表示する表示手段と、前記表示手段を挟んで当該表示手段の中央近傍の側方側に配設され、被写体の画像を撮像する１対の撮像手段と、一方の前記撮像手段が撮像した画像データの一部と他方の前記撮像手段が撮像した画像データの一部とを合成した合成画像データを生成する画像合成手段と、前記合成画像データを通話相手に送信する送信手段とを具備し、
   前記画像合成手段は、前記１対の撮像手段が撮像した画像データにおける一定領域の明度分布に応じてマッチングを行った後に両者の画像データを合成した合成画像データを生成することを特徴とするテレビ電話機能付き端末装置。
2. 前記一対の撮像手段は、前記表示手段に表示される通話相手の画像データの目の高さに応じた位置に配設されることを特徴とする請求項１記載のテレビ電話機能付き端末装置。
3. 装置本体の角度を検出する角度検出手段を更に具備し、前記画像合成手段は、前記角度検出手段で検出される装置本体の角度に応じて前記１対の撮像手段が撮像した画像データ又は前記合成画像データを補正することを特徴とする請求項１又は請求項２記載のテレビ電話機能付き端末装置。
4. 前記画像合成手段は、前記１対の撮像手段が撮像した画像データ又は前記合成画像データにおける被写体の顔面の一部の面積を縮小する補正を行うことを特徴とする請求項３記載のテレビ電話機能付き端末装置。
5. 前記画像合成手段は、前記撮像手段が被写体の顔面を上方側から撮像した場合に当該顔面における上方側の一部の面積を縮小する補正を行うことを特徴とする請求項４記載のテレビ電話機能付き端末装置。
6. 前記画像合成手段は、前記撮像手段が被写体の顔面を下方側から撮像した場合に当該顔面における下方側の一部の面積を縮小する補正を行うことを特徴とする請求項４記載のテレビ電話機能付き端末装置。
7. 携帯電話機であることを特徴とする請求項１から請求項６のいずれかに記載のテレビ電話機能付き端末装置。
8. 通話相手の画像データを表示する表示手段と、前記表示手段を挟んで当該表示手段の中央近傍の側方側に配設され、被写体の画像を撮像する１対の撮像手段とを具備する端末装置を用いたテレビ電話方法であって、
   前記１対の撮像手段が撮像した画像データにおける一定領域の明度分布を計算し、当該明度分布に応じて一方の前記撮像手段が撮像した画像データと他方の前記撮像手段が撮像した画像データとのマッチングを行い、一方の前記撮像手段が撮像した画像データの一部と他方の前記撮像手段が撮像した画像データの一部とを合成した合成画像データを生成し、前記合成画像データを通話相手に送信することを特徴とするテレビ電話方法。
9. 前記端末装置の角度を検出し、当該端末装置の角度に応じて前記１対の撮像手段が撮像した画像データ又は前記合成画像データを補正することを特徴とする請求項８記載のテレビ電話方法。
10. 前記１対の撮像手段が撮像した画像データ又は前記合成画像データにおける被写体の顔面の一部の面積を縮小する補正を行うことを特徴とする請求項９記載のテレビ電話方法。

Images