JP2005210191A

JP2005210191A - テレビ電話用画像作成方法／プログラム／記録媒体／テレビ電話機能付き携帯端末装置

Info

Publication number: JP2005210191A
Application number: JP2004011938A
Authority: JP
Inventors: Junichi Kadokura; 淳一門倉
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-01-20
Filing date: 2004-01-20
Publication date: 2005-08-04

Abstract

【課題】簡易な画像処理で、背後の映像を通話相手に送信することなく、映像による会話が可能なテレビ電話機能付き携帯端末装置を提供する。
【解決手段】ユーザから、ユーザの映像を収めるユーザ撮影範囲の設定と、ユーザの背後の映像と置き換えるための背景画像の登録をあらかじめ受け付けておく。そして、携帯端末装置に着信があると、ユーザの通話中の様子の撮影を開始して、撮影している映像を上記ユーザ撮影範囲とともに表示し、上記ユーザ撮影範囲にユーザの映像が収まるように、ユーザに対して、ユーザと携帯端末装置との距離の調整を促す。ユーザは、自己の映像が上記ユーザ撮影範囲にちょうど上手く収まるように、携帯端末装置との距離を調整する。そして、撮影している映像から上記ユーザ撮影範囲を切り出した画像データと、事前に登録してある背景画像から上記ユーザ撮影範囲に対応する範囲を切り抜いた画像データを合成処理して送信する。
【選択図】図２

Description

本発明は、テレビ電話機能付き携帯電話に関する。

テレビ電話は、使用シーンが多岐にわたるにも関わらず、カメラで撮影した画像がそのまま通話相手に送信されるため、ユーザのプライベートや仕事上の機密事項などの情報までも送信してしまうおそれがあった。

そこで、特開平４−５７５８２号公報（特許文献１）は、撮影した画像からユーザの輪郭抽出を行って、切り出したユーザの画像と背景画像を合成する技術を提案している。

また、特開平４−２４８７９１号公報（特許文献２）や特開平４−３１００８６号公報（特許文献３）は、ユーザの様子を撮影した２枚の画像から、データの一致している部分をユーザの背後の映像とし、これを別の背景画像と置き換える技術を提案している。

また、特開２０００−２６１６４６号公報（特許文献４）は、ユーザにユーザの画像の輪郭を入力させ、その外側の画像（ユーザの背後の映像に対応する）にぼかし処理などを施す技術を提案している。
特開平４−５７５８２号公報特開平４−２４８７９１号公報特開平４−３１００８６号公報特開２０００−２６１６４６号公報

上記従来技術は、高度な画像処理を行っている。しかしながら、サイズや消費電力の制限から搭載できるＣＰＵの能力やメモリの容量に制限がある携帯端末装置では、複雑な画像処理は困難であり、撮影の自由度が多少犠牲になっても、より簡易な画像処理を行う必要がある。

そこで本発明の目的は、極めて簡易な画像処理で、背後の映像を通話相手に送信することなく、映像による会話が可能なテレビ電話機能付き携帯端末装置を提供することにある。

上記目的を達成するために、本発明は、まず、ユーザから、ユーザの映像を収めるユーザ撮影範囲の設定と、ユーザの背後の映像と置き換えるための背景画像の登録をあらかじめ受け付けておく。そして、携帯端末装置に着信があると、ユーザの通話中の様子の撮影を開始して、撮影している映像を上記ユーザ撮影範囲とともに表示し、上記ユーザ撮影範囲にユーザの映像が収まるように、ユーザに対して、ユーザと携帯端末装置との距離の調整を促す。ユーザは、自己の映像が上記ユーザ撮影範囲にちょうど上手く収まるように、携帯端末装置との距離を調整する。そして、撮影している映像から上記ユーザ撮影範囲を切り出した画像データと、事前に登録してある背景画像から上記ユーザ撮影範囲に対応する範囲を切り抜いた画像データを合成処理して、通話相手に送信する。

以上説明したように、本発明によれば、輪郭抽出処理など、携帯端末装置に負荷のかかる画像処理ではなく、簡易な画像処理によって、プライベートや仕事上の機密事項を守りつつ、顔を見合わせた通話が可能になる。

また、テレビ電話の着信ごとに、背後の映像を送信するか否かの選択や、事前にメモリに保存した背景画像からの画像選択を行ったうえで、ユーザ画像との合成処理を行うため、通話相手に合わせた画像での通話が可能になる。

次に、本発明の実施の形態について、図面を参照して詳細に説明する。

図１を参照すると、本発明の一実施形態のテレビ電話機能付き携帯端末装置は、カメラ部１と、マイク２と、表示部３と、メモリ４と、無線制御部５と、マイク６と、レシーバ７を含む。

カメラ部１は、携帯端末装置のユーザの通話中の様子を撮影するための小型カメラモジュールであり、画像の明るさ調整や色のバランス調整など、通常のカメラが有する機能を有する。カメラ部１は、ＣＰＵ２と接続されており、ユーザの通話中の様子を撮影することにより取得した画像データ（以下、ユーザ画像データとする）をＣＰＵ２に出力する。

ＣＰＵ２は、画像データや音声データについて、アプリケーション関連の処理を行う。ＣＰＵ２は、カメラ部１、表示部３、メモリ４、無線制御部５、マイク６、レシーバ７と接続されている。

ＣＰＵ２は、カメラ部１から受け取ったユーザ画像データのうち、通話相手に送信しても差し支えない部分（以下、ユーザ撮影範囲とする）をユーザに設定させる機能を有する。設定値は、メモリ４に保存される。

ＣＰＵ２は、カメラ部１がユーザの通話中の様子を撮影中、カメラ部１から受け取ったユーザ画像データを表示部３に画像表示させるとともに、このユーザ撮影範囲（例えば、円や正方形など）を表示部３に表示させる。これにより、ＣＰＵ２は、ユーザに対して、自己の映像がユーザ撮影範囲に収まるように、自己と携帯端末装置の距離の調整を促す。

ＣＰＵ２は、カメラ部１から受け取ったユーザ画像データからユーザ撮影範囲の画像データを切り出す。また、メモリ４にあらかじめ保存されている背景画像データを読み出し、ユーザ撮影範囲に対応する部分を切り抜く。ＣＰＵ２は、この２つの画像データを合成する。ＣＰＵ２は、これを通話相手に送信するため、無線制御部５に出力する。以上により、ユーザは、背後の映像を通話相手に送信することなく、テレビ電話による通話ができる。

また、ＣＰＵ２は、マイク６から受け取ったユーザの音声データを処理し、無線制御部５に出力する。さらに、無線制御部５から受け取った通話相手の音声データをレシーバ４に出力する。

表示部３は、ＣＰＵ２と接続されており、ＣＰＵ２から受け取ったユーザ画像データを表示する。また、ユーザ撮影範囲を表示する。

メモリ４は、ＣＰＵ２と接続されており、ユーザ撮影範囲の設定値や背景画像を保存している。

無線制御部５は、ＣＰＵ２と接続されており、ＣＰＵ２から受け取った音声/画像データを通話相手に送信し、通話相手から受信した音声/画像データをＣＰＵ２に出力する。

マイク６は、ＣＰＵ２と接続されており、取得した音声データをＣＰＵ２に出力する。

レシーバ７は、ＣＰＵ２と接続されており、ＣＰＵ２から受け取った音声データを音声に変換する。

次に、本実施形態のテレビ電話機能付き携帯端末装置の動作を、図２を参照して詳細に説明する。

ステップ２０１で、ＣＰＵ２は、テレビ電話着信時に、ユーザに対して、ユーザの背後の映像も通話相手に送信するか否かの選択をさせる。ＹＥＳの場合、ＣＰＵ２は、カメラ部１から受け取ったユーザ画像データを、送信のために必要な処理を施した後、無線制御部５を介して、そのまま通話相手に送信する。

ＮＯの場合、ステップ２０２で、ＣＰＵ２は、メモリ４に保存された背景画像から、ユーザ画像と合成したい背景画像をユーザに選択させ、カメラ部１に撮影を開始させる。撮影中は、ユーザ撮影範囲が表示部３に表示されており、ユーザは、自己の映像がユーザ撮影範囲に収まるように、自己と携帯端末装置の距離を調整することになる。

ステップ２０３で、ＣＰＵ２は、カメラ部１から受け取ったユーザ画像データから、ユーザ撮影範囲の画像データを切り出す。

ステップ２０４で、ＣＰＵ２は、カメラ部１から受け取ったユーザ画像データのうち、ユーザ撮影範囲の画像データと、メモリ４から読み出した背景画像のうち、ユーザ撮影範囲に対応する範囲の外の画像データを合成する。合成された画像は、無線制御部５を介して、通話相手に送信される。

本実施形態は、以下のような機能をさらに有していてもよい。

合成画像処理に用いる背景画像は選択可能であるが、テレビ電話着信ごとに設定するのではなく、着信番号から電話張に登録された個人、グループごとなどに事前に背景とする画像を登録しておくことで、着信ごとに設定する手間を省くことが可能である。

背景画像はインターネットなどからダウンロードすることも可能であり、背景画像をカスタマイズして、自己表現や娯楽的なツールとしても使用できる。

本実施形態では、ユーザ撮影範囲の設定を変更することができるが、ユーザ撮影範囲の変更により、ユーザと携帯端末装置の間の距離を変えなければならない（例えば、ユーザ撮影範囲を小さくすると、ユーザの映像をユーザ撮影範囲に収めるために、ユーザは、携帯端末装置から離れなければならない）。ユーザと携帯端末装置の間の距離が変化することにより、通話相手にとって、ユーザの音声が大きくなりすぎたり、小さくなりすぎたりすることがありうる。また、逆に、ユーザにとって、通話相手の音声が大きくなりすぎたり、小さくなりすぎたりすることがありうる。そこで、以下のように、ユーザ撮影範囲の変更にともなって、自動的に音量を調整する機能を持たせてもよい。

図３を参照すると、ユーザ撮影範囲の変更にともなって、自動的に音量を調整する際の処理の流れを示すフローチャートが示されている。ステップ３０１で、ユーザ撮影範囲が変更されると、ステップ３０２で、ＣＰＵ２は、ユーザ撮影範囲の変更値から、距離の変化量を算出する。ステップ３０３で、ＣＰＵ２は、距離の変化量から最適な音量（レシーバ出力、送信出力）を決定する。

本発明の携帯端末装置の以上の機能は、専用のハードウェアにより実現する以外に、その機能を実現するためのプログラムを、コンピュータ読み取りが可能な記録媒体に記録して、この記録媒体に記録されたプログラムを携帯端末装置に読み込ませて実行することにより、実現するものでもよい。

本発明の一実施形態のテレビ電話機能付き携帯端末装置の構成を示した図である。本発明の一実施形態のテレビ電話機能付き携帯端末装置の動作を説明するフローチャートである。ユーザ撮影範囲の変更にともなって、自動的に音量を調整する際の処理の流れを示すフローチャートである。

符号の説明

１カメラ部
２ＣＰＵ
３表示部
４メモリ
５無線制御部
６マイク
７レシーバ
２０１〜２０４ステップ
３０１〜３０３ステップ

Claims

携帯端末装置がテレビ電話用の送信画像を作成する方法において、
ユーザから、該ユーザの映像を収めるユーザ撮影範囲の設定と、前記ユーザの背後の映像と置き換えるための背景画像の登録をあらかじめ受け付けるステップと、
前記携帯端末装置に着信があると、撮影を開始して、撮影している映像を前記ユーザ撮影範囲とともに表示し、前記ユーザ撮影範囲に前記ユーザの映像が収まるように、前記ユーザに対して、前記ユーザと前記携帯端末装置との距離の調整を促すステップと、
撮影している映像から前記ユーザ撮影範囲を切り出した画像データと、前記背景画像から前記ユーザ撮影範囲に対応する範囲を切り抜いた画像データを合成処理するステップを有することを特徴とする方法。
前記着信後、前記背景画像を登録された複数のもののなかから前記ユーザに選択させるステップをさらに有する、請求項１に記載の方法。
前記背景画像は、着信電話番号に応じて自動的に選択されるように登録されている、請求項１に記載の方法。
前記ユーザ撮影範囲の設定変更があると、該設定変更による前記ユーザと前記携帯端末装置との距離変化を見積もり、それに応じて通話音量を自動調整するステップをさらに有する、請求項１から３のいずれか１項に記載の方法。
請求項１から４のいずれか１項に記載の各ステップを、前記携帯端末装置に実行させるコンピュータプログラム。
請求項１から４のいずれか１項に記載の各ステップを、前記携帯端末装置に実行させるコンピュータプログラムを記録した、コンピュータ読み取りが可能な記録媒体。
テレビ電話機能を有する携帯端末装置において、
ユーザから、該ユーザの映像を収めるユーザ撮影範囲の設定と、前記ユーザの背後の映像と置き換えるための背景画像の登録をあらかじめ受け付ける手段と、
前記携帯端末装置に着信があると、撮影を開始して、撮影している映像を前記ユーザ撮影範囲とともに表示し、前記ユーザ撮影範囲に前記ユーザの映像が収まるように、前記ユーザに対して、前記ユーザと前記携帯端末装置との距離の調整を促す手段と、
撮影している映像から前記ユーザ撮影範囲を切り出した画像データと、前記背景画像から前記ユーザ撮影範囲に対応する範囲を切り抜いた画像データを合成処理する手段を有することを特徴とする携帯端末装置。
前記着信後、前記背景画像を登録された複数のもののなかから前記ユーザに選択させる手段をさらに有する、請求項７に記載の携帯端末装置。
前記背景画像は、着信電話番号に応じて自動的に選択されるように登録されている、請求項７に記載の携帯端末装置。
前記ユーザ撮影範囲の設定変更があると、該設定変更による前記ユーザと前記携帯端末装置との距離変化を見積もり、それに応じて通話音量を自動調整する手段をさらに有する、請求項７から９のいずれか１項に記載の携帯端末装置。