JP2005117106A - 撮像機能付携帯電話機とその制御方法及び制御プログラム - Google Patents

Abstract

【課題】自然な表情で、通話者の視線が一致した画像を提供する。
【解決手段】カメラ１０１に対して視線が一致した画像を記憶部１０２に、予め記憶しておく。画像置き換え手段１１１は、カメラ１０１が撮影する通話中の通話者の画像に、記憶部１０２に予め記憶されている視線が一致した画像を、貼り付けて、視線が補正された画像を作成する。無線部１０４は、視線が補正された画像を相手通話者に送信する。
【選択図】 図１

Description

本発明は、撮像機能を有する撮像機能付携帯電話機に関し、特に、話者の視線のズレを補正できる撮像機能付携帯電話機に関する。

従来、画像を伴った通話を行う撮像機能付通信装置は、ハーフミラーにより、通話者の視線と相手の通話者の視線とを一致させるよう構成されている（例えば、特許文献１、２、３、４）。

特許文献１では、受像装置に表示された相手会議室の画像は、撮像装置の前方に傾斜して設置されたハーフミラー上に、所定の大きさに拡大投影され、会議出席者の方向に反射表示する。会議出席者はハーフミラー上の相手会議室の画像を見ながら会議を進め、会議出席者の視線の延長上でハーフミラーの裏側に設置された撮像装置が、会議出席者をハーフミラー越しに撮影し、この画像信号を相手会議室へ送出する。これにより視線の不一致による不自然さが解消される。

特許文献２では、デイスプレイ部の画面上の一部にウインドウを作り、そのウインドウ内に通信回線から受信した相手画像を表示し、対話する際、デイスプレイ画面の前面に斜めにハーフミラーを置き、ウインドウ内を見る自画像をハーフミラーにより反射させ、さらにミラーにより反射させてカメラ部に入力させ、ウインドウ表示制御部からのウインドウ位置情報によりウインドウの位置に対しウインドウを見る人物の視線とカメラ部の光軸とを合せるようカメラ制御部でカメラ部の制御を行うよう構成されている。

特許文献３、４では、デイスプレイ部が表示する映像がハーフミラーを透過して参加者に提供されるとともに、参加者からの光がハーフミラーで反射されてビデオカメラに入射するように、デイスプレイ部とビデオカメラとハーフミラーとが配置され参加者同士の視線を一致するよう構成されている。

また、通話者の視線と相手の通話者の視線とを一致させる方法として眼球及び瞳孔を補正する方法がある（例えば、特許文献５）。

特許文献５では、眼球及び瞳孔が像平面内でセグメント化されてシフトされ，空気状態におかれた領域を眼球の色で充填することにより，画像電話における注視方向の補正するよう構成されている。

特開平０３−２８３８８９号公報 特開平０３−２７８６８６号公報 特開平１１−１７７９４９号公報 特開平０３−１１０９８７号公報 特表平０６−５０４６５４号公報

特許文献１、２、３、４に記載の、ハーフミラーを用いて視線を一致させる撮像機能付通信装置の第１の問題点は、携帯が困難な形状となることである。

その理由は、ハーフミラーが必要であること、並びに表示装置、ハーフミラー、撮影装置が立体的に配置される必要があり、形状が大きくなるためである。

第２の問題点は、高輝度の表示装置と、感度の高い撮影装置が必要になることである。

その理由は、ハーフミラーにより光量が減衰するためである。

特許文献５に記載の、眼球及び瞳孔を補正する方法の問題点は、表情が不自然になるとういことである。

その理由は、瞳孔の形状を補正しても、目の周辺の形状がそのままであると、瞳孔のみを動かして見ているような表情となるためである。また、人の目の形は多様であり、どの人でも不自然とならないような瞳孔の補正は困難であるためである。

本発明は、以上の点に鑑みなされたもので、自然な表情で視線を補正できる画像を伴った通話を行う撮像機能付携帯電話機とその制御方法を提供することにある。

本発明の撮像機能付携帯電話機は、カメラを有する撮像機能付携帯電話機であって、カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得する手段と、カメラにより予め撮影された視線一致画像を記憶する記憶手段と、カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得する手段と、通話中の通話者の顔画像から目の位置を検出し、この顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成する手段と、目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成する手段と、生成された視線が一致している顔画像を、無線で、通信相手に送信する手段を有することを特徴とする。

また、本発明の撮像機能付携帯電話機は、カメラを有する撮像機能付携帯電話機であって、カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得する手段と、カメラにより予め撮影された視線一致画像を記憶する記憶手段と、カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得する手段と、通話中の通話者の顔画像と、前記記憶手段に記憶されている視線一致画像とを比較し、両者の画像が一致していないとき、通話者の視線がズレたことを検知し、通話者の視線がずれた旨を通知する手段と、通話者の視線がずれた旨の通知を受けて、通話中の通話者の顔画像から目の位置を検出し、この顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成する手段と、目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成する手段と、生成された視線が一致している顔画像を、無線で、通信相手に送信する手段を有することを特徴とする。

さらに、本発明の撮像機能付携帯電話機の制御方法は、カメラを有する撮像機能付携帯電話機の制御方法であって、カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得するステップと、カメラにより予め撮影された視線一致画像を記憶するステップと、カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得するステップと、通話中の通話者の顔画像から目の位置を検出し、この顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成するステップと、目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成するステップと、生成された視線が一致している顔画像を、無線で、通信相手に送信するステップを有することを特徴とする。

また、本発明の撮像機能付携帯電話機の制御方法は、カメラを有する撮像機能付携帯電話機の制御方法であって、カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得するステップと、カメラにより予め撮影された視線一致画像を記憶するステップと、カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得するステップと、通話中の通話者の顔画像と、記憶されている視線一致画像とを比較し、両者の画像が一致していないとき、通話者の視線がズレたことを検知し、通話者の視線がずれた旨を通知するステップと、通話者の視線がずれた旨の通知を受けて、記憶されている通話中の通話者の顔画像から目の位置を検出し、顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成するステップと、目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成するステップと、生成された視線が一致している顔画像を、無線で、通信相手に送信するステップを有することを特徴とする。

さらに、本発明の撮像機能付携帯電話機の制御プログラムは、カメラを有する撮像機能付携帯電話機を制御する制御プログラムであって、カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得する処理と、カメラにより予め撮影された視線一致画像を記憶する処理と、カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得する処理と、通話中の通話者の顔画像から目の位置を検出し、この顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成する処理と、目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成する処理と、生成された視線が一致している顔画像を、無線で、通信相手に送信する処理をコンピュータに実行させることを特徴とする。

また、本発明の撮像機能付携帯電話機の制御プログラムは、カメラを有する撮像機能付携帯電話機を制御する制御プログラムであって、カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得する処理と、カメラにより予め撮影された視線一致画像を記憶する処理と、カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得する処理と、通話中の通話者の顔画像と、記憶されている視線一致画像とを比較し、両者の画像が一致していないとき、通話者の視線がズレたことを検知し、通話者の視線がずれた旨を通知する処理と、通話者の視線がずれた旨の通知を受けて、記憶されている通話中の通話者の顔画像から目の位置を検出し、顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成する処理と、目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成する処理と、生成された視線が一致している顔画像を、無線で、通信相手に送信する処理をコンピュータに実行させることを特徴とする。

本発明の効果として、自然な表情の視線が一致した画像が得られることにある。

その理由は、あらかじめ記憶された視線が一致した画像を、通話中の通話者の画像に貼り付けるよう構成されているためである。

本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の第１の実施形態による撮像機能付携帯電話機の構成ブロック図である。

図１を参照して、本発明の第１の実施形態による撮像機能付携帯電話機１は、制御部１００と、画像を撮影するカメラ１０１と、記憶部１０２と、画像を表示する表示部１０３と、無線で通信を行う無線部１０４と、画像編集部１０５と、撮像機能付携帯電話機１全体を制御する制御プログラムを記憶する制御プログラム記憶部１０６とを有して構成される。

記憶部１０２は、カメラ１０１が通話中の通話者の顔を撮影する画像を、一時、記憶する第１記憶部と、通話者がカメラ１０１を正視するときの通話者の目と目の周辺部を予め撮影した画像（以降、視線が一致した画像）を、記憶する第２記憶部とを有して構成される。

画像編集部１０５は、目位置検出手段１１０と、画像置き換え手段１１１とを有し、通話者の顔画像を編集する機能を有する。

目位置検出手段１１０は、第１記憶部に記憶されている通話中の通話者の顔画像から目の周辺部を検出する機能を有する。

画像置き換え手段１１１は、目位置検出手段１１０により検出された通話中の通話者の目の周辺部を、第２記憶部に記憶されている視線が一致した画像と置き換えて、通話中の通話者の顔画像を補正し、視線が一致している顔画像を生成する機能を有する。

制御部１００は、プログラム制御により撮像機能付携帯電話機１全体を制御するとともに、画像編集部１０５により補正された通話者の顔画像を、無線部１０４を介して、相手通話者に送信する制御をする。

次に、本発明の実施形態の動作について図面を参照して詳細に説明する。

図２は、本発明の実施形態の動作を示すフローチャートで、図３は、画像の補正を説明するための図である。

図１、図２、図３を参照して動作を説明する。

まず、撮像機能付携帯電話機１のカメラ１０１は、予め、カメラ１０１を正視する通話者の目の周辺部を撮影し、図３（ａ）に示されるようなカメラ１０１に対して視線が一致した画像２０１を取得する（図２のステップＳ１）。

記憶部１０２の第２記憶部は、この視線が一致した画像２０１を記憶しておく（ステップＳ２）。

次に、カメラ１０１は、通話中の通話者の顔を撮影し（ステップＳ３）、撮影された顔画像を記憶部１０２の第１記憶部に送る。このとき、顔画像は、図３（ｂ）に示されるように視線がずれた画像２０２である。

記憶部１０２の第１記憶部は、カメラ１０１からの、通話中の通話者の顔画像２０２を記憶する。

画像編集部１０５の目位置検出手段１１０は、第１記憶部に記憶されている通話中の通話者の顔画像２０２から目の位置を検出し（ステップＳ４）、次に、検出された目の位置を認識して、顔画像２０２から目の周辺の画像を切り取り（ステップＳ５）、図３（ｃ）に示すような目の周辺の画像が切り取られた顔画像２０３を第１記憶部に記憶する。

次に、画像置き換え手段１１１は、第１記憶部から目の周辺の画像が切り取られた顔画像２０３を読み出し、第２記憶部から視線が一致した画像２０１を，目の位置を認識して（ステップＳ６）読み出し、目の周辺の画像が切り取られた顔画像２０３の目の周辺に、視線が一致した画像２０１を貼付け（ステップＳ７）て、顔画像２０２を補正し、これにより視線が一致した顔画像２０４を得、この視線が一致した顔画像２０４を第１記憶部に記憶する。

制御部１００は、第１記憶部から、視線が一致するよう補正された顔画像２０４を読み出し、この顔画像２０４を無線部１０４から通話相手に送信する（ステップＳ８）。

次に、第２の実施の形態を説明する。

図４は、本発明の第２の実施形態による撮像機能付携帯電話機の構成ブロック図である。

本発明の第２の実施形態による撮像機能付携帯電話機１ａは、制御部１００と、カメラ１０１と、記憶部１０２と、表示部１０３と、無線部１０４と、画像編集部１０５ａと、制御プログラム記憶部１０６とを有して構成される。制御部１００と、カメラ１０１と、記憶部１０２と、表示部１０３と、無線部１０４と、制御プログラム記憶部１０６は、第１の実施形態の撮像機能付携帯電話機１を構成する構成要素と同等のもので、画像編集部１０５ａのみが、第１の実施形態の撮像機能付携帯電話機１の画像編集部１０５と異なる。したがって、画像編集部１０５ａについてのみ構成を説明する。

画像編集部１０５ａは、第１の実施形態の撮像機能付携帯電話機１が有する目位置検出手段１１０と画像置き換え手段１１１とに加えて、視線動き検出手段１１２を有する。

視線動き検出手段１１２は、通話者の顔画像から、通話者の視線のずれを検出し、通話者の視線がズレた旨を画像置き換え手段１１１に通知する機能を有する。

動作を説明する。

目位置検出手段１１０が、通話中の通話者の顔画像から目の周辺部を検出すると、視線動き検出手段１１２は、目位置検出手段１１０により検出された通話中の通話者の目の周辺部の画像と、第２記憶部に記憶されている視線が一致した目の周辺部の画像とを比較し、両者の画像が一致していないとき、通話者の視線がズレたことを認識し、通話者の視線がずれた旨を目位置検出手段１１０と画像置き換え手段１１１に通知する。

目位置検出手段１１０は、この通知を受けて、第１記憶部に記憶されている通話中の通話者の顔画像から、目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を第１記憶部に記憶する。また、目位置検出手段１１０は、この通知を受けないときは、第１記憶部に記憶されている通話中の通話者の顔画像には何も加工しない。

画像置き換え手段１１１は、視線動き検出手段１１２から、通話者の視線がズレた旨の通知を受けると、第１記憶部に記憶されている目の周辺の画像が切り取られた顔画像の目の周辺に、第２記憶部に記憶されている視線が一致した画像を貼付けて、顔画像を補正し、これにより視線が一致した顔画像を得、この視線が一致した顔画像を第１記憶部に記憶する。

制御部１００は、第１記憶部から、視線が一致した顔画像を読み出し、この顔画像を無線部１０４から通話相手に送信する。

本発明の第１の実施形態による撮像機能付携帯電話機の構成ブロック図である。 本発明の実施形態の動作を示すフローチャートである。 画像の補正を説明するための図である。 本発明の第２の実施形態による撮像機能付携帯電話機の構成ブロック図である。

符号の説明

１ 撮像機能付携帯電話機
１００ 制御部
１０１ カメラ
１０２ 記憶部
１０３ 表示部
１０４ 無線部
１０５ 画像編集部
１１０ 目位置検出手段
１１１ 画像置き換え手段
１１２ 視線動き検出手段
１０６ 制御プログラム記憶部

Claims (6)

1. カメラを有する撮像機能付携帯電話機であって、
   カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得する手段と、
   カメラにより予め撮影された視線一致画像を記憶する記憶手段と、
   カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得する手段と、
   通話中の通話者の顔画像から目の位置を検出し、この顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成する手段と、
   目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成する手段と、
   生成された視線が一致している顔画像を、無線で、通信相手に送信する手段を有することを特徴とする撮像機能付携帯電話機。
2. カメラを有する撮像機能付携帯電話機であって、
   カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得する手段と、
   カメラにより予め撮影された視線一致画像を記憶する記憶手段と、
   カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得する手段と、
   通話中の通話者の顔画像と、前記記憶手段に記憶されている視線一致画像とを比較し、両者の画像が一致していないとき、通話者の視線がズレたことを検知し、通話者の視線がずれた旨を通知する手段と、
   通話者の視線がずれた旨の通知を受けて、通話中の通話者の顔画像から目の位置を検出し、この顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成する手段と、
   目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成する手段と、
   生成された視線が一致している顔画像を、無線で、通信相手に送信する手段を有することを特徴とする撮像機能付携帯電話機。
3. カメラを有する撮像機能付携帯電話機の制御方法であって、
   カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得するステップと、
   カメラにより予め撮影された視線一致画像を記憶するステップと、
   カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得するステップと、
   通話中の通話者の顔画像から目の位置を検出し、この顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成するステップと、
   目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成するステップと、
   生成された視線が一致している顔画像を、無線で、通信相手に送信するステップを有することを特徴とする撮像機能付携帯電話機の制御方法。
4. カメラを有する撮像機能付携帯電話機の制御方法であって、
   カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得するステップと、
   カメラにより予め撮影された視線一致画像を記憶するステップと、
   カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得するステップと、
   通話中の通話者の顔画像と、記憶されている視線一致画像とを比較し、両者の画像が一致していないとき、通話者の視線がズレたことを検知し、通話者の視線がずれた旨を通知するステップと、
   通話者の視線がずれた旨の通知を受けて、記憶されている通話中の通話者の顔画像から目の位置を検出し、顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成するステップと、
   目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成するステップと、
   生成された視線が一致している顔画像を、無線で、通信相手に送信するステップを有することを特徴とする撮像機能付携帯電話機の制御方法。
5. カメラを有する撮像機能付携帯電話機を制御する制御プログラムであって、
   カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得する処理と、
   カメラにより予め撮影された視線一致画像を記憶する処理と、
   カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得する処理と、
   通話中の通話者の顔画像から目の位置を検出し、この顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成する処理と、
   目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成する処理と、
   生成された視線が一致している顔画像を、無線で、通信相手に送信する処理をコンピュータに実行させることを特徴とする撮像機能付携帯電話機の制御プログラム。
6. カメラを有する撮像機能付携帯電話機を制御する制御プログラムであって、
   カメラが、通話者がカメラに対して視線を向けるときの通話者の目の周辺部を、予め撮影し、カメラに対して視線が一致する視線一致画像を取得する処理と、
   カメラにより予め撮影された視線一致画像を記憶する処理と、
   カメラが通話中の通話者の顔を撮影し、通話中の通話者の顔画像を取得する処理と、
   通話中の通話者の顔画像と、記憶されている視線一致画像とを比較し、両者の画像が一致していないとき、通話者の視線がズレたことを検知し、通話者の視線がずれた旨を通知する処理と、
   通話者の視線がずれた旨の通知を受けて、記憶されている通話中の通話者の顔画像から目の位置を検出し、顔画像から目の周辺の画像を切り取り、目の周辺の画像が切り取られた顔画像を作成する処理と、
   目の周辺の画像が切り取られた顔画像の目の周辺部に、前記記憶部に記憶されている視線一致画像を貼付けて、顔画像を補正し、視線が一致している顔画像を生成する処理と、
   生成された視線が一致している顔画像を、無線で、通信相手に送信する処理をコンピュータに実行させることを特徴とする撮像機能付携帯電話機の制御プログラム。
   

Images