JP2005293335A - 携帯端末装置 - Google Patents

Abstract

【課題】 メールを媒体としたコミュニケーション環境においての利用を可能とする携帯端末装置を提供する。
【解決手段】 カメラ機能１０１とメール作成送受信機能１０５、１０７とを備えた携帯端末装置において、撮影データにおける所定の部分の画像データから、被撮影者の顔の眉、目、口唇が含まれる領域として特定して抽出する顔要素特定手段１０３と、顔の眉、目、口唇の各要素として抽出した画像データと被撮影者の顔の画像データとを関連付けて記憶する記憶手段と、送信者の顔の眉、目、口唇の各要素をメール送信先で変形させる制御パラメータを作成する制御パラメータ作成手段と、受信したメールに含まれる制御パラメータを抽出する制御パラメータ抽出手段１０８とを備え、受信し再生するメールに制御パラメータが含まれていると、メール本文と共に送信者の画像をサブウインドウに表示するとともに、メールに含まれた制御パラメータに応じてサブウインドウに表示された送信者の顔の眉、目、口唇の各要素を変形する。
【選択図】 図１

Description

本発明は、携帯端末装置であり、特に内蔵カメラを用いて人物の顔面を含む写真を撮影し、その顔面の、眉、目、口などの顔面上の顔パーツに対して表情変化を行い、そのメール等のコミュニケーションの場での利用を可能とする携帯端末装置に関する。

カメラ付き携帯端末などがどんどん普及して久しい現在においては、メールに静止画を添付したり、あるいは動画を添付したりするといったコミュニケーションが一般的になっている。また携帯端末装置本体のなかで、撮影した画像に簡単な画像処理等の加工を加えることにより、より豊かなコミュニケーションを可能にしている。

最近では携帯端末上でのリアルタイムでのテレビ電話機能など、自分と相手方の顔、すなわち感情を表すさまざまな顔の表情を交えながら、会話を行っている現状がある。携帯端末装置やパソコン上のメールでも自分を撮影した動画を添付するなどして、相手方と動きのある表情を交えたコミュニケーションを行うことが可能となっている。

特に携帯端末装置上で、そのような動きのある感情コミュニケーションを可能にするための背景技術としては、特許文献１、特許文献２などが挙げられる。これら開示の内容においては、顔画像に対する顔領域および顔パーツの抽出は、画像処理等を用いて行われる。しかしながら携帯端末装置への処理負荷は大きいものとなる。さらに、後者の開示の内容においては、顔領域に新たに埋め込まれる顔パーツは予め端末装置内の記憶領域に記憶されている顔パーツとなり。さらに新たにできた顔画像の最適なタイミングでの表示については述べられていない。
特開２００３−２０９５１３号公報 特開２００３−２９６７１３号公報

しかしながら、上記動画像のメール添付による送受信は携帯端末装置を用いて送受信するにはまだまだデータ量が大きいという問題がある。また、自分の顔が映った動画を送信メールに添付したい場合には、毎回しかも事前に撮影したい時間分だけ、撮影しなければならない。

さらにその添付の動画、静止画等のデータは、ただ単なる添付であるから、メールに添付した場合、受信者がその添付データを見るタイミングは、メール本文を読む前であるか、あるいはメール本文を全て読み終えてしまってから、というのが通常であり。読み手がメール本文を読み進めていって、その内容の展開に応じて、再生開始するといったことはできない。

パソコン上のコミュニケーション手段としてはアバター等が用いられている。これは人間をデフォルメしたキャラクター等を用い、それに身振り、手振り、顔の表情変化等によってコミュニケーションを行うものであり、コンピューターの処理を軽く、通信帯域にもそれほど負担をかけないような方式でこのシステムを実現してきた。このように、ネットワーク等を介して遠く離れた他者との画像を媒介とした視覚的なコミュニケーションを行っていくには、特にリアルタイム性を重視する際には、クライアント端末の処理負荷の軽減、通信路の負荷の軽減といったものが必要不可欠であるといった現状がある。携帯端末装置の場合においてはことさら、端末装置の処理負荷、通信路の負荷の軽減は重要な課題となる。

本発明は、メールを媒体としたコミュニケーション環境においての利用を可能とする携帯端末装置を提供することが目的である。

携帯端末装置のカメラには、被撮影者の眉、目、口唇等の領域を特定する顔面像位置フレームを備え、撮影された画像に対して眉の部分、目の部分などの画像を特定して記憶部に記憶される。感情を表す制御パラメータを含むメールを受信した場合、保存されていた送信者の画像に対し、記憶された顔の各部分は制御パラメータにより変形を加えられ喜び、悲しみ、怒りなどの表情を含んだ画像がサブウインドウに表示され、メール本文に対応した送信者の感情を伝達することができる。

さらに、制御パラメータは時間軸変数を含むことによりメール本文の流れに沿って表示される送信者の表情に変化を加えることができるため、動きのある、リアルなアニメーションによるコミュニケーションを図ることができる。

すなわち、本発明は、カメラ機能とメール作成送受信機能とを備えた携帯端末装置において、撮影データにおける所定の部分の画像データから、被撮影者の顔の眉、目、口唇が含まれる領域として特定して抽出する顔要素特定手段と、顔の眉、目、口唇の各要素として抽出した画像データと被撮影者の顔の画像データとを関連付けて記憶する記憶手段と、送信者の顔の眉、目、口唇の各要素をメール送信先で変形させる制御パラメータを作成する制御パラメータ作成手段と、受信したメールに含まれる制御パラメータを抽出する制御パラメータ抽出手段とを備え、受信し再生するメールに制御パラメータが含まれていると、メール本文と共に送信者の画像をサブウインドウに表示するとともに、メールに含まれた制御パラメータに応じてサブウインドウに表示された送信者の顔の眉、目、口唇の各要素を変形する携帯端末装置である。

また、本発明は、上記制御パラメータが感情を表す変数と表示時間を表す変数とにより構成される携帯端末装置である。

そして、本発明は、眉、目、口唇の各要素を変形させた画像からアニメーションを生成する手段を有するとともに、メール本文表示からの時間およびメール本文スクロールに依存する再生開始パラメータによってアニメーション再生開始のタイミングを設定できる携帯端末装置である。

更に、本発明は、上記制御パラメータがアニメーション再生開始タイミングを指定するデータを有する携帯端末装置である。

また、本発明は、上記制御パラメータ又は再生開始パラメータを送受信する機能を有する携帯端末装置である。

そして、本発明は、被撮影者の撮影データを送受信する機能を有する携帯端末装置である。

本発明によれば、メールを媒体としたコミュニケーション環境においての利用を可能とする携帯端末装置を提供することが可能となる。

本発明を実施するための最良の形態を説明する。
本発明の携帯端末装置の実施例について、図面を用いて説明する。図１は、実施例の携帯端末装置のシステム構成の説明図である。図２は、実施例の携帯端末装置におけるフローチャートの説明図である。図３は、実施例の携帯端末装置における顔画像位置フレームと顔要素位置の説明図である。図４は、実施例の携帯端末装置における様々な形の顔画像位置フレームの説明図である。図５は、実施例の携帯端末装置における表情パラメータと各顔パーツ（眉、目、口唇部）変化パラメータの説明図である。図６は、実施例の携帯端末装置における送信パラメータとアニメーションコマ生成順序の説明図である。図７は、実施例の携帯端末装置におけるスクロールによるアニメーション再生開始の説明図である。

実施例を説明する。図１は実施例の携帯端末装置のシステム構成を示す図である。本システムの構成は、カメラ１０１と、制御部１０２と、送信用顔画像、送信用フレームナンバー保存部１０３と、メール編集、処理部１０４と、送信部１０５と、メールサーバー１０６と、受信部１０７と、メール編集、処理部１０８と、表示部１０９と、顔画像位置フレーム、背景データ保存部１１０と、制御部１１１と、アニメーション生成部１１２と、顔画像、対応フレームナンバー保存アドレス帳１１３から構成される。

まず、実施例においては、表情アニメーション生成のための原画像を取得するため、携帯端末内蔵のカメラ１０１を用いて顔面画像を撮影する。その場合、ほしいのはあくまでも対象人物の顔面画像である。撮影対象人物の顔面画像撮影の際には、撮影者が撮影しようとする画像に対して顔面が撮影画像の特定領域に容易にセットできるための撮影モードが用意されている。このモードで顔位置が顔画像位置フレーム３０１内にぴったり収まるように撮影すれば、誰でも容易に顔面を抽出可能な画像を撮影することが出来る。さらにこの顔画像位置フレーム３０１内には、眉領域３０２、目領域３０３、口唇領域３０４といった顔要素位置も定義されている。そのうち実際に入力画像として用いるのは撮影した画像の顔画像位置フレーム３０１内である。顔画像位置フレーム内部３０５がすなわち顔面領域となる。さらに顔画像位置フレーム３０１内に定義された眉、目、口唇部の顔要素位置内部３０６がそれぞれ眉、目、口唇領域として認識される。

さらに、人によって顔の輪郭形状が異なることを考慮して、図４に示すように、この顔画像位置フレーム３０１は様々な形状のものが用意されている。それらフレームのなかから、各人の顔の輪郭形状、および顔面内部の眉、目、口唇部などの各顔要素位置に合うような顔画像位置フレーム３０１を選択して、顔が顔画像位置フレーム３０１内にぴったり収まるようにして撮影を行う。この様々な形状の顔画像位置フレーム３０１は、各端末同士に共通して用意される。よって例えば、図４のような状況で、送信側がフレーム１（図４ａ参照）と指定すれば、顔画像位置フレーム３０１そのものを他の端末に送ってやらなくとも、送信側がフレームナンバー４０１を受信側に通知するだけで、受信側端末でも共通してフレーム１（図４ｄ参照）であることが認識される。顔画像位置フレーム３０１を用いて撮影された顔面画像には、常に対応した撮影時の顔画像位置フレーム３０１がセットで存在することになり、そのフレームナンバー４０１は自動的に相手に通知される。つまり、顔画像位置フレーム３０１を用いて撮影された１つ１つの顔面画像には、いずれかの顔画像位置フレーム３０１が定義されている。上記顔画像位置フレーム３０１内に顔面がぴったり収まるように撮影するためには、被撮影者の顔の輪郭形状および眉、目、口唇の位置が合致するであろう顔画像位置フレーム３０１を選択する。そして、カメラのズーム、またカメラと人物の距離を適宜調整して、被撮影者の顔の輪郭が顔画像位置フレーム３０１内にぴったり収まり、かつ被撮影者の眉、目、口唇部が、顔画像位置フレーム３０１内に定義された各顔要素位置３０６にそれぞれ収まるように撮影を行えばよい。撮影した時点で、その顔面撮影画像４０２とそのとき撮影するのに用いた顔画像位置フレーム３０１とは、即座に関連付けられることになる。以上より、顔面撮影画像４０２とフレームナンバー４０１は、必ず対になって相手に送信される。

顔要素位置とは、眉領域３０２、目領域３０３、口唇領域３０４とする。眉領域３０２、目領域３０３、口唇領域３０４はそれぞれの顔画像位置フレーム３０１内にそれぞれ予め顔要素位置として定義されているため、ユーザーがいちいちそれら領域を手動で入力して抽出する必要も無い。撮影した顔画像の眉、目、口唇部の顔要素位置内部３０６に収まった部分がそのまま眉、目、口唇部として抽出される。

次に顔画像位置フレーム内部３０５の顔面画像を原画像とし、その眉領域３０２、目領域３０３、口唇領域３０４に着目し、パラメータを用いて、それら眉領域３０２、目領域３０３、口唇領域３０４を変化させた歪み画像を、すなわち元の顔画像位置フレーム内部３０５の顔要素位置内部３０６の領域に合成させることによって、怒り、喜び、悲しみといった様々な表情を表現することが出来る。

それら様々な表情は表情パラメータ５０１（１→怒り、２→喜び、３→悲しみ）を用いて表現され、表情パラメータ５０１を含んだメールを送信することによって、受信側で送信側が意図したアニメーションが生成される。それぞれの表情パラメータ５０１の値に対して眉領域の変化５０２、目領域の変化５０３、口唇領域の変化５０４の度合がそれぞれ図５（ｂ）〜（ｄ）のように定義され、この表情パラメータ５０１に対応した顔要素の変化の値もまた予め送信側、受信側で共通した定義づけがなされているので、表情パラメータ５０１のやり取りだけで、送信者側が意図した表情を受信者側の端末上で正確に再現できる仕組みとなっている。

例えば怒りの表情を表現するには、目じりを上げ、口角を上げればそのような表情を作り出すことが出来る、喜びの表情を表現するには、目を細め、眉尻を上げ、口角を上げると良い。

本手法で用いる表情生成の画像処理の一例としては、座標変換で、
怒り→目：目尻上げる、眉：眉尻上げる、口：への字、
喜び→目：目を細める、眉：眉尻上げる、口：口角を上げる、
悲しみ→目：目尻下げる、眉：眉尻下げる、口：そのまま、
となる処理を行う。

また、本システムにおいては、表情パラメータ５０１ではなく、直接、眉領域の変化５０２、目領域の変化５０３、口唇領域の変化５０４のパラメータそのものを送っても実現できる。表情パラメータ５０１で定義された以外の単に面白い表情といったものも直接、眉領域の変化５０２、目領域の変化５０３、口唇領域の変化５０４のパラメータを任意に設定して作り出すことが出来る。

実施例における使用時の処理の一例について、図２を用いて説明する。まず、メールを受信する（Ｓ２０１）。受信者側携帯端末のアドレス帳の各個人データには、これら顔面を撮影した送信者側の原画像が予め含まれている（Ｓ２０２）。受信者側の端末に送信者側の顔面を撮影した原画像がない場合は、前もってメールに添付して画像を送ってやることでも問題はないが、本方式を用いたメールソフトアプリケーションに組み込んで、もし、受信側で送信側の画像が無かったなら、予め送信者側で顔面表情作成用に用意しておいた画像に対し（Ｓ２０４）、受信者側がリクエストのメールを自動的に送信し（Ｓ２０３）、自動的に顔画像及び対応フレームナンバー添付のメールを送信しておくことが可能である（Ｓ２０５）。送信者側に予め送信用画像が用意されていない場合は、受信側端末内部にあるサンプルの原画像を用いて（Ｓ２０６）、表情を作り出す仕組みでも可能である。

実際のメール交換の局面では、前述のように送信者がメールのヘッダー部に連続的な複数の表情パラメータ５０１を埋め込み、受信者側携帯端末において、受信した表情パラメータ５０１に基づいて、個人データに基づいた原画像に対して処理を施し、連続的なアニメーションが作成される。もしくは連続した眉領域の変化５０２、目領域の変化５０３、口唇領域の変化５０４のパラメータでもよい。

実施例におけるアニメーションコマ生成（図２のＳ２０８）について、説明する。図６は、送信パラメータとアニメーションコマ生成順序の一例である。送信側にて、図６（ａ）、図６（ｂ）、図６（ｃ）、図６（ｄ）の順にパラメータの記述がされている場合、受信側で生成されるアニメーションのコマの順番も同様となる。図６（ａ）の表情パラメータ５０１の値は３であるから、図５よりこの表情パラメータは「悲しみ」を表し、眉領域の変化５０２、目領域の変化５０３、口唇領域の変化５０４のパラメータはそれぞれ図６（ｆ）のようになる。以降同様に、図６（ｂ）は図６（ｇ）のように解釈され、図６（ｃ）は眉領域の変化５０２、目領域の変化５０３、口唇領域の変化５０４のパラメータを直接指定していて図６（ｈ）のようになり、図６（ｄ）は図６（ｉ）のようになる。さらにアニメーションの間隔指定、再生開始条件もパラメータを用いてやり取りする。

作成されたアニメーションは、図７（ａ）のように受信者が受信したメール本文ビュー画面の左上側のアニメーション表示部７０１にて表示される。アニメーションのコマの更新間隔は、任意の秒数で送信側によって指定することが出来る。アニメーションは、最後まで再生されると、自動的にまた最初から繰り返し再生される。

再生開始条件としては、メールをあるところまで読み進んだところではじめてアニメーションが再生開始されるとよい、これはスクロールバー７０２の動作と連動させて行うのが自然である。メール本文の話の内容展開に応じて、読み進んでスクロールさせてはじめてアニメーションが再生されるというような仕掛けである。

また再生開始条件は、単純にメール本文を開いてからの秒数によっても指定可能とする。スクロールによる再生開始とメール本文を開いてからの再生開始を同時に指定することも可能である。ただしこの場合においては、例えばメール本文を開いて全くスクロールさせなかった場合には、再生開始は予め指定した秒数で開始される。逆に再生開始指定秒数より前にスクロールをさせた場合には、その時点で再生が開始される。つまりスクロールによる再生開始または時間による再生開始のどちらかの条件が先に合致すれば、アニメーションの再生が開始される（図２、Ｓ２０９）。

再生開始時間指定、スクロール再生開始指定がともに無いときは、もしくは再生開始時間の指定があるものの、メール本文がスクロールするほどの分量が無いときには、予め受信側のメールアプリケーションに初期設定してある秒数経過後、再生が開始される。

ここで、メール本文表示にあたっては、受信側メール本文の表示文字サイズの違いも注意点の一つとなる。受信者側メールアプリケーションの表示文字サイズは、送信側にはわからないからである。この場合、再生開始時間での指定においては、送信側が受信側のメールを読み進む速さを推定することによって、受信側が再生開始したい部分まで読み進むであろう時間を推定し、再生開始時間での指定を行うとよい。

しかし、前述のようにスクロールでの再生開始のタイミングをスクロール開始した時点とすると、文字サイズが大きいときには、あまり読み進まないうちに再生が開始してしまうであろうし、逆に文字サイズが小さいときには、かなり読み進んでしまってから再生が開始してしまい、開始のタイミングが一定でなく、文字の大きさに依存してしまう。

これを解消するために、スクロールでの再生開始のタイミングをさらに発展させ、単にスクロールを開始した時点ではなく、キーとなる文字を設定し、そのキーの文字がスクロールすることによって、メール本文領域７０３に出現したときに、アニメーションが再生開始される仕掛けにするとよい。例えば図７（ｂ）中の「びっくりした」というフレーズでアニメーションを再生開始したいのであれば、「びっくりした」のフレーズの一文字、例えば「び」を選択カーソル７０４によって指定してやればよい。この再生開始文字指定は変更されないものであり、選択カーソル７０４で選択された文字が本文最初から何番目の文字にあたるのかどうかで指定される。この例の場合、図７（ｄ）のように「びっくりした」というフレーズが出てくる前に「び」という文字が出てきても反応せず、再生開始しない。さらにスクロールをさせて、図７（ｅ）の「びっくりした」の「び」がメール本文領域７０３に出現して初めて、アニメーション再生が開始される。これにより、文字の大きさに依存せず、文章中のストーリーの展開に応じて、ベストなタイミングでアニメーションを開始することが可能である。

本システムにおいては、パラメータが付加されたメールを送受信するだけなので、送信データ容量もほとんど変わることなく、しかも元々は単枚の画像のみから、動きのある、さまざまな表情を表現することができ、携帯端末上でのメールコミュニケーションにおいて、感情表現の実現が可能となる。携帯端末で動画などの動きのあるものをメール添付で送ると容量がどうしても大きくなってしまうが、本システムにおいてはその心配も無い。

さらに本システムにおいては、顔画像撮影時、顔画像位置フレーム３０１によって顔領域と背景部が明確に分離されるため、アニメーション生成時には任意の画像を背景として設定できる。このとき設定する背景画像もまた、基本的な背景画像については受信者側、送信者側端末に共通して保持するものとし、アニメーションの１コマごとに背景画像のファイル名を指定し背景画像の関連付けを行うことが可能である。これにより、アニメーション１コマごとに背景画像を変えることが可能となるため、よりインパクトのあるアニメーションを生成できる。もし、あるアニメーションの１コマに対し、背景画像が関連付けられていない場合は、受信側において、そのような背景画像の指定が無い場合に備え、予め背景画像として設定してある画像を背景画像として用いることができる。

実施例の携帯端末装置のシステム構成の説明図。 実施例の携帯端末装置におけるフローチャートの説明図。 実施例の携帯端末装置における顔画像位置フレームと顔要素位置の説明図。 実施例の携帯端末装置における様々な形の顔画像位置フレームの説明図。 実施例の携帯端末装置における表情パラメータと各顔パーツ（眉、目、口唇部）変化パラメータの説明図。 実施例の携帯端末装置における送信パラメータとアニメーションコマ生成順序の説明図。 実施例の携帯端末装置におけるスクロールによるアニメーション再生開始の説明図。

符号の説明

１０１ カメラ
１０２ 制御部
１０３ 送信用顔画像、送信用フレームナンバー保存部
１０４ メール編集、処理部
１０５ 送信部
１０６ メールサーバー
１０７ 受信部
１０８ メール編集、処理部
１０９ 表示部
１１０ 顔画像位置フレーム、背景データ保存部
１１１ 制御部
１１２ アニメーション生成部
１１３ 顔画像、対応フレームナンバー保存アドレス帳
３０１ 顔画像位置フレーム
３０２ 眉領域
３０３ 目領域
３０４ 口唇領域
３０５ 顔画像位置フレーム内部
３０６ 顔要素位置内部
４０１ フレームナンバー
４０２ 顔要素
５０１ 表情パラメータ
５０２ 眉領域の変化
５０３ 目領域の変化
５０４ 口唇領域の変化
７０１ アニメーション表示部
７０２ スクロールバー
７０３ メール本文領域
７０４ 選択カーソル

Claims (6)

1. カメラ機能とメール作成送受信機能とを備えた携帯端末装置において、
   撮影データにおける所定の部分の画像データから、被撮影者の顔の眉、目、口唇が含まれる領域として特定して抽出する顔要素特定手段と、顔の眉、目、口唇の各要素として抽出した画像データと被撮影者の顔の画像データとを関連付けて記憶する記憶手段と、送信者の顔の眉、目、口唇の各要素をメール送信先で変形させる制御パラメータを作成する制御パラメータ作成手段と、受信したメールに含まれる制御パラメータを抽出する制御パラメータ抽出手段とを備え、受信し再生するメールに制御パラメータが含まれていると、メール本文と共に送信者の画像をサブウインドウに表示するとともに、メールに含まれた制御パラメータに応じてサブウインドウに表示された送信者の顔の眉、目、口唇の各要素を変形することを特徴とする携帯端末装置。
2. 請求項１記載の携帯端末装置において、
   上記制御パラメータは、感情を表す変数と表示時間を表す変数とにより構成されることを特徴とする携帯端末装置。
3. 請求項１記載の携帯端末装置において、
   眉、目、口唇の各要素を変形させた画像からアニメーションを生成する手段を有するとともに、メール本文表示からの時間およびメール本文スクロールに依存する再生開始パラメータによってアニメーション再生開始のタイミングを設定できることを特徴とする携帯端末装置。
4. 請求項３記載の携帯端末装置において、
   上記制御パラメータは、アニメーション再生開始タイミングを指定するデータを有することを特徴とする携帯端末装置。
5. 請求項１〜４のいずれか１項に記載の携帯端末装置において、
   上記制御パラメータ又は再生開始パラメータを送受信する機能を有することを特徴とする携帯端末装置。
6. 請求項１記載の携帯端末装置において、
   被撮影者の撮影データを送受信する機能を有することを特徴とする携帯端末装置。

Images