JP2003281563A

JP2003281563A - 顔表情生成装置、顔表情生成方法および顔表情生成プログラム

Info

Publication number: JP2003281563A
Application number: JP2002081611A
Authority: JP
Inventors: Shinichi Ban; 慎一伴
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2002-03-22
Filing date: 2002-03-22
Publication date: 2003-10-03

Abstract

(57)【要約】【課題】本発明は、選択された背景画像に合わせて、
元の顔表情を変化させる顔表情生成装置、顔表情生成方
法および顔表情生成プログラムに関する。【解決手段】本発明に係る顔表情生成装置は、取得手
段と顔表情変形手段と合成手段とを備えて構成される。
取得手段は、背景画像の背景画像データと、顔を含む画
像の顔画像データと、前記背景画像データに付加され、
顔の表情の変化を指示する顔表情変形パラメータとを取
得する。顔表情変形手段は、前記顔画像データから、前
記顔表情変形パラメータに応じて前記顔を変化させた変
形顔画像データを作成する。合成手段は、前記変形顔画
像データと前記背景画像データとを画像合成して合成画
像データを作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔の表情を生成す
る顔表情生成装置に関し、特に、選択された背景画像に
合わせて、元の顔表情を変化させる顔表情生成装置に関
する。そして、該装置に適用される顔表情生成方法およ
び顔表情生成プログラムに関する。

【０００２】

【従来の技術】インターネットの普及により、画像デー
タを電子メールに添付したり、画像データをサーバにア
ップロードしたりすることなどにより、画像データが交
換されている。この画像データの交換は、近年のインタ
ーネットの高速化、大容量化に伴い、ますます盛んにな
ることが予想される。そのため、この画像データの交換
の際に、どのような付加価値を付けるかによって、ディ
ジタルスチルカメラやスキャナなどの画像記録装置にお
ける商業ベースの成否がかかっていると言っても過言で
はない。

【０００３】その一つに画像合成が考えられる。例え
ば、画像データが人物画像に係るものであれば、その背
景画像を景勝地などに変えることによってその場に行っ
た気分が味わえるかもしれないし、また友人をかつぐこ
ともできるかもしれない。また例えば、画像の顔部分を
面白く、おかしく変形することができれば、楽しみが倍
増する。

【０００４】なお、表情と背景とをマッチさせる技術
は、例えば、特開平０８−３０５８３６号公報がある。
この公報に記載の技術は、福笑いのように、まず、複数
の顔パーツ画像を適宜に組合わせることによって顔画像
を作成する。次に、作成された顔画像に応じて背景画像
を選択し、両画像を合成することによって、調和のとれ
た構図の画像を得るものである。

【０００５】

【発明が解決しようとする課題】上述したように、元画
像を何かに関連付けて変形する装置やソフトウェアが提
供されれば、画像データを得る機器の販売が促進され、
また、画像をより一層楽しむことができる。

【０００６】本発明は、上記事情に鑑みなされた発明で
あり、選択された背景画像に合わせて、元画像における
顔の表情を変化させることができる顔表情生成装置を提
供することを目的とする。

【０００７】そして、この顔表情生成装置に適用される
顔表情生成方法および顔表情生成プログラムを提供する
ことを目的とする。

【０００８】

【課題を解決するための手段】本発明に係る顔表情生成
装置は、取得手段と顔表情変形手段と合成手段とを備え
て構成される。取得手段は、背景画像の背景画像データ
と、顔を含む画像の顔画像データと、前記背景画像デー
タに付加され、顔の表情の変化を指示する顔表情変形パ
ラメータとを取得する。顔表情変形手段は、前記顔表情
変形パラメータに応じて前記顔を変化させた変形顔画像
データを前記顔画像データから作成する。合成手段は、
前記変形顔画像データと前記背景画像データとを画像合
成して合成画像データを作成する。

【０００９】本発明に係る顔表情生成装置は、このよう
に各手段を備え、各手段が動作するので、背景画像に合
わせて元画像における顔の表情を変化させることができ
る。このため、種々の顔表情を楽しむことができ、元画
像を一層楽しむことができる。

【００１０】

【発明の実施の形態】以下、本発明に係る実施形態を図
面に基づいて説明する。なお、各図において同一の構成
については、同一の符合を付し、その説明を省略する。

【００１１】（実施形態の構成）図１は、本実施形態に
係る通信ネットワークの概略構成を示す図である。

【００１２】図１において、本実施形態に係る顔表情変
更システムは、サーバ１１、１個または複数の端末装置
１２およびこれらを結ぶ通信回線１５によって構成され
る。

【００１３】サーバ１１は、いわゆるホストコンピュー
タであり、画像データ、各データベース、プログラムお
よびプログラム実行中の各種データなどを記憶する記憶
装置と、キーボードやマウスなどの入力装置と、画像や
各種データなどを表示する表示装置と、プログラムの実
行など各種演算処理を行う中央処理装置（以下、「ＣＰ
Ｕ」と略記する。）と、これら記憶装置、入力装置、表
示装置、演算装置を制御する制御装置とを備え、さら
に、所定の通信規約に従って通信回線１５との間でデー
タ交換をするインターフェースを備える。

【００１４】サーバ１１のＣＰＵは、サーバ１１の各装
置を制御する各制御部のほか、インターフェースを制御
する制御部と協動して通信回線１５を介して端末装置１
２と情報のやり取りする情報送受部と、情報送受部の内
容を解析する情報解析部と、情報解析部で解析された解
析結果に基づいてログインの許否を判定するログイン判
定部と、情報解析部で解析された解析結果に基づいて対
応するデータベースに解析内容を登録・削除する登録削
除部と、情報解析部で解析された解析結果に基づいてデ
ータの内容を表示する表示部と、情報解析部で解析され
た解析結果に基づいてスライドショーの設定を行う設定
部とを備える。

【００１５】端末装置１２は、例えば、パーソナルコン
ピュータ端末（以下、「ＰＣ端末」と略記する。）１３
や表示装置付き携帯電話端末１４などであり、所定の通
信規約に従って通信回線１５との間でデータ交換する機
能と、画像データを後述のように処理することができる
演算機能と、画像を表示することができる機能とを少な
くとも備える装置であればよい。

【００１６】通信回線１５は、電話回線やディジタル通
信網などである。

【００１７】ここで、端末装置１２の一例である表示装
置付き携帯電話端末１４の構成について説明する。

【００１８】図２は、表示装置付き携帯電話端末の構成
を示すブロック図である。

【００１９】図２において、表示装置付き携帯電話端末
１４は、携帯電話アンテナ２１、送受共用部２２、受信
部２３、送信部２４、中央処理装置２５、メモリ２６、
受話器２７、表示部２８、ダイヤル部２９および送話器
３０を備えて構成される。

【００２０】携帯電話アンテナ２１は、通信回線１５に
備えられた携帯電話用の基地局との間で情報の載った電
波を送信または受信するアンテナである。

【００２１】送受共用部２２は、携帯電話アンテナ２１
で受信した受信電波を受信部２３に出力すると共に、送
信部２４から入力された送信信号を送信電波として携帯
電話アンテナ２１で出力する。

【００２２】受信部２３は、ＣＰＵ２５の制御の下に、
受信電波を復調することによって情報を取り出し、取り
出した情報をＣＰＵ２５に出力する。

【００２３】送信部２４は、ＣＰＵ２５の制御の下に、
送信すべき情報で電波を変調して送受共用部２２に出力
する。

【００２４】ＣＰＵ２５は、メモリ２６に格納されてい
るプログラムに従い、各種演算処理をしながら受信部２
３、送信部２４、受話器２７、表示部２８、ダイヤル部
２９および送話部３０を制御する。そして、ＣＰＵ２５
は、各種演算処理中に生じたデータをメモリ２６に記憶
する。

【００２５】メモリ２６は、当該携帯電話端末１４を作
動させるために必要な各種プログラム、例えば、ＯＳ
（operating system）やブラウザ（browser）などを格
納すると共に、ＣＰＵ２５の演算処理中に生じた各デー
タを記憶する。

【００２６】受話器２７は、ＣＰＵ２５から出力された
電気信号を音声に変換する。

【００２７】表示部２８は、当該携帯電話端末１４の操
作内容を示すメニューを表示したり、ＣＰＵ２５の各種
演算処理結果を表示したり、受信信号中の画像データを
表示したりする表示装置である。例えば、液晶表示装置
（ＬＣＤ）や有機ホトルミネセンス表示装置（有機ＥＬ
表示装置）などである。

【００２８】ダイヤル部２９は、当該携帯電話端末１４
を他の電話機に接続するためやインターネットにダイヤ
ルアップ接続するためにダイヤル入力したり、当該携帯
電話端末１４を操作するために命令を入力したりする入
力装置である。例えば、キーボードやジョグダイヤルな
どである。

【００２９】送話器３０は、音声を電気信号に変換して
ＣＰＵ２５に出力する。

【００３０】（画像のアップロード）図３は、サーバの
動作を示すフローチャート（その１）である。

【００３１】図４は、サーバの動作を示すフローチャー
ト（その２）であり、図３の続きである。

【００３２】ここで、サーバ１１と端末装置１２とは、
両情報送受部を用いて、交換すべきデータを所定の通信
規約に従って変換し通信回線１５を介して両者間でデー
タ交換するが、以下の説明においてこの過程の説明を省
略する。

【００３３】図３および図４において、ユーザは、端末
装置１２、例えばＰＣ端末１３にインストールされてい
るブラウザを立ち上げ、本サービスを提供する顔表情変
更サイトのＵＲＬ（Uniform Resource Locator）を入力
する。

【００３４】Ｓ１１において、端末装置１２のＣＰＵか
らアクセスを受けたサーバ１１のＣＰＵは、情報解析部
および表示部などを用いて、当該端末装置１２にデータ
を送信して、例えば、図５に示すような初期画面を表示
させ、ユーザＩＤおよびパスワードの入力か、またはユ
ーザ登録かの選択を要求する（Ｓ１２）。

【００３５】ユーザは、ユーザＩＤおよびパスワードを
取得している場合は、これらを端末装置１２におけるキ
ーボードなどの入力装置より入力し、ユーザＩＤおよび
パスワードをサーバ１１に送信する。一方、ユーザは、
ユーザＩＤおよびパスワードを取得していない場合は、
マウスやトラックパッドなどの入力装置により「ユーザ
登録」のラジオボタンをクリックして、ユーザ登録する
ことをサーバ１１に送信する。

【００３６】サーバ１１のＣＰＵは、情報解析部、ログ
イン判定部および表示部などを用いて、受信したデータ
がユーザＩＤおよびパスワードであるか否かを判断する
（Ｓ１３）。サーバ１１のＣＰＵは、端末装置１２から
ユーザＩＤおよびパスワードを受信した場合には、ユー
ザＩＤとパスワードとを対応付けて格納するユーザ管理
データベースを検索し（Ｓ１４）、正規ユーザであるか
否かを判断する（Ｓ１５）。サーバ１１のＣＰＵは、ユ
ーザ管理データベースに当該ユーザＩＤとパスワードと
が登録されている場合には正規ユーザであると判断して
ログインを許可し（Ｓ２０）、不正ユーザである場合に
は処理をＳ１２に戻して再度初期画面を端末装置１２に
表示させる。

【００３７】一方、サーバ１１のＣＰＵは、受信したデ
ータがユーザＩＤおよびパスワードではない場合には、
受信したデータがユーザ登録であるか否かを判断し（Ｓ
１６）、ユーザ登録でもない場合には、処理をＳ１２に
戻して再度初期画面を端末装置１２に表示させる。そし
て、サーバ１１のＣＰＵは、ユーザ登録であることを端
末装置１２から受信した場合には、当該端末装置１２に
データを送信して、例えば、図６に示すようなユーザ登
録画面を表示させる（Ｓ１７）。

【００３８】ユーザは、端末装置１２に表示された画面
に従って、「姓」、「名」、「電子メールアドレス（Ｅ
−ｍａｉｌ）」、「ユーザＩＤ」、「パスワード」およ
び「パスワードの確認」の各欄にキーボードなどの入力
装置を用いて入力し、「ユーザ登録」のラジオボタンを
マウスなどの入力装置でクリックすることにより、これ
ら各データをサーバ１２に送信する。電子メールアドレ
スは、後述するスライドショアプリケーションデータを
送信する送信先である。なお、登録データの内容は、こ
れらに限らず、被写体を撮像した撮像装置の名称などを
さらに求めてもよい。また、ユーザＩＤとパスワードと
はサーバ１１が自動的に作成してユーザに付与するよう
にしてもよい。

【００３９】サーバ１１のＣＰＵは、情報解析部、登録
削除部および表示部などを用いて、「姓」、「名」、
「電子メールアドレス（Ｅ−ｍａｉｌ）」、「ユーザＩ
Ｄ」、「パスワード」および「パスワードの確認」の各
欄のデータを受信すると、「パスワード」と「パスワー
ドの確認」とのデータが互いに一致することを確認した
上で（Ｓ１８）、これら各データをユーザ管理データベ
ースに登録し（Ｓ１９）、ログインを許可する（Ｓ２
０）。なお、「パスワード」と「パスワードの確認」と
のデータが互いに一致しない場合には、処理をＳ１７に
戻し、再度ユーザ登録画面を表示させる。

【００４０】（登録顔画像のダウンロード）正規ユーザ
の確認または新規ユーザの登録が完了すると、サーバ１
１のＣＰＵは、情報解析部および表示部などを用いて、
ユーザ画像データベースに登録されている、当該ユーザ
ＩＤに係る顔画像データをユーザ画像データベースから
検索し（Ｓ２１）、検索結果を、例えば、図７に示すよ
うに一覧表示させるべく、端末装置１２に一覧表示画面
を送信する（Ｓ２２）。顔画像データは、顔を含む画像
の画像データである。検索した結果、顔画像データがユ
ーザ画像データベースに登録されていない場合には、も
ちろん、顔画像データを表示する画像表示欄は、空欄と
なる。

【００４１】ユーザ画像データベースは、ユーザＩＤ、
顔画像データおよびファイル名のフィールドを備えて構
成される。

【００４２】検索結果の一覧表示画面は、図７に示すよ
うに、画像表示欄と、顔画像のファイル名と、顔画像ご
とに設けられ画像を指定するチェックボックスと、表示
される顔画像をスクロールするスクロールバーと、「ア
ップロード」、「削除」および「スライドショー設定」
を行うためのラジオボタンを備えて構成される。

【００４３】画像表示欄は、ユーザ画像データベースに
登録されているユーザに係る顔画像データの中で複数の
顔画像を表示する。「アップロード」のラジオボタン
は、アップロードを行うためのアップロード画面に遷移
させるためのボタンである。チェックボックスは、顔表
情の変形をさせる原顔画像を指定する場合またはユーザ
画像データベースから削除する顔画像データを指定する
場合などに、指定する画像に対応させてチェックを入れ
ることができるチェック欄である。「削除」のラジオボ
タンは、チェックボックスにチェックがされている画像
に対応する顔画像データをユーザ画像データベースから
削除させるためのボタンである。「スライドショー設
定」のラジオボタンは、スライドショーの設定を行うた
めのスライドショー設定画面に遷移させるためのボタン
である。

【００４４】ユーザは、所望により、チェックボック
ス、スクロールバー、「アップロード」、「削除」また
は「スライドショー設定」の何れかを端末装置１２の入
力装置で選択する。端末装置１２は、選択内容を示すデ
ータをサーバ１１に送信する。

【００４５】サーバ１１のＣＰＵは、情報解析部などを
用いて、受信したデータの内容を判断する（Ｓ２３）。
そして、情報解析部および表示部などを用いて、端末装
置１２からの指示が「アップロード」である場合には、
サーバ１１のＣＰＵは、アップロード用の画面、例え
ば、図８に示す画面を当該端末装置１２に表示させるべ
くデータを当該端末装置１２に送信する（Ｓ２４）。ア
ップロード用の画面は、アップロードしようとする顔画
像データが格納されているフォルダ（ディレクトリ）ま
でのパス（path）を入力する入力欄と、アップロードの
開始を指示する「アップロード開始」のラジオボタンと
を備えて構成される。

【００４６】ユーザは、アップロード用の画面が端末装
置１２に表示されると、アップロードしようとする顔画
像データが格納されているフォルダまでのパスと当該顔
画像データのファイル名とを入力欄に入力装置を用いて
入力する。例えば、c:\My Picture\sample.jpgと入力す
る。これは、端末装置１２のＣドライブにおける「MyPi
cture」というフォルダ内に格納されているＪＰＥＧ形
式で圧縮されたファイル名「sample.jpg」という顔画像
データである。そして、ユーザは、「アップロード開
始」のラジオボタンを入力装置を用いてクリックする。
なお、顔画像データは、非圧縮のビットマップ形式のデ
ータでも、他の圧縮形式、例えば、ＴＩＦなどで圧縮さ
れた画像データでもよく、本発明は、データの保存形式
に依らない。

【００４７】端末装置１２は、入力欄に示された顔画像
データをサーバ１１に転送する。

【００４８】サーバ１１のＣＰＵは、情報解析部、登録
削除部および表示部などを用いて、顔画像データを受信
すると（Ｓ２５）、顔画像データにユーザＩＤとファイ
ル名とを添えて、ユーザ画像データベースに登録し（Ｓ
２６）、処理をＳ２２に戻す。すなわち、当該ユーザＩ
Ｄに係る顔画像データをユーザ画像データベースから検
索し、検索結果を、例えば、図７に示すように一覧表示
する。また、端末装置１２からの指示が「削除」である
場合には、サーバ１１のＣＰＵは、当該顔画像データを
ユーザ画像データデータベースから削除し（Ｓ３２）、
処理をＳ２２に戻す。さらに、端末装置１２からの指示
が「スライドショー設定」である場合には、サーバ１１
のＣＰＵは、スライドショー設定用の画面、例えば、図
９に示す画面を当該端末装置１２に表示させるべくデー
タを当該端末装置１２に送信する（Ｓ２７）。

【００４９】スライドショー設定用の画面は、図９に示
すように、複数のスライドショウの画像と、スライドシ
ョー名と、表示装置の表示画面に表示されるスライドシ
ョーをスクロールするスクロールバーと、「配信」およ
び「戻る」を行うためのラジオボタンを備えて構成され
る。

【００５０】「配信」のラジオボタンは、スライドショ
ーの配信を行わせるためのボタンである。「戻る」のラ
ジオボタンは、表示を一覧表示画面に戻すためのボタン
である。

【００５１】ユーザは、スライドショー設定用の画面が
端末装置１２に表示されると、所望のスライドショー、
例えば、「怒り」を選択する。端末装置１２は、選択さ
れたスライドショーの枠を太線に変えて当該スライドシ
ョーが選択されたことを表示すると共に、選択されたス
ライドショーに対応するデータをサーバ１１に送信す
る。なお、本実施形態では、選択されたスライドショー
の枠を太線に変えることで当該スライドショーが選択さ
れたことを表示したが、これに限定されず、他の方法を
用いてもよい。例えば、スライドショーの画像を点滅さ
せたり、スライドショー名を反転表示させたりしてもよ
い。

【００５２】ここで、スライドショーとは、１枚または
或るテーマに沿った相互に関連する複数枚の背景画像で
ある。例えば、「夏」というタイトルのスライドショー
は、夏をテーマとしたフレームを表す背景画像を複数枚
集めた画像であり、このスライドショーが選択される
と、後述のアプリケーションプログラムにより顔画像の
顔表情が背景画像に合わせて変形され、変形された顔表
情の画像とフレームの画像とが合成される。また例え
ば、「怒り」というタイトルのスライドショーは、怒り
を表す背景画像が怒りの程度に従って複数枚集められた
画像であり、このスライドショーが選択されると、アプ
リケーションプログラムにより顔画像の顔表情が怒りを
表す背景画像に従ってかつその程度に従って変形され、
変形された顔表情の画像と背景画像とが合成される。ま
た例えば、「初めてのクッキング」というタイトルのス
ライドショーは、料理の手順ごとに料理人の画像を複数
枚集めた４コマ漫画の如きストーリー性のある画像であ
り、このスライドショーが選択されると、アプリケーシ
ョンプログラムにより顔画像の顔表情が各コマに合わせ
て変形され、変形された顔表情の画像と各背景画像とが
合成される。

【００５３】そして、ユーザが続いて「配信」のラジオ
ボタンを入力装置を用いてクリックすると、これを受信
したサーバ１１のＣＰＵは（Ｓ２８）、情報解析部、設
定部および表示部を用いて、一覧表示画面においてチェ
ックボックスにチェックがされることにより、顔画像が
指定済みか否かを判断する（Ｓ２９）。顔画像が指定さ
れていない場合には、処理をＳ２２に戻して一覧表示画
面を端末装置１２に表示させ、顔画像の指定をユーザに
求める。

【００５４】一方、サーバ１１のＣＰＵは、情報解析部
および設定部を用いて、顔画像が指定されている場合に
は、スライドショアプリケーションデータを作成する
（Ｓ３０）。スライドショアプリケーションデータは、
選択されたスライドショーの１個または複数の背景画像
データと、各背景画像データに付された背景画像データ
番号と、背景画像データ数と、各背景画像データに付さ
れた顔表情変形パラメータと、チェックボックスをチェ
ックすることで指定された顔画像データとを備えて構成
される。

【００５５】背景画像データ番号は、スライドショーの
背景画像を表示する順番を示す。背景画像データ数は、
スライドショーを構成する背景画像の画像データの個数
を示す。顔表情変形パラメータは、元の顔表情から所定
の顔表情に顔画像を変形するためのパラメータであり、
顔画像を変形する手法に依る。

【００５６】顔画像の変形は、種々の手法があるが、例
えば、特開２０００−３５７２２１号公報に、自然な顔
画像を合成する手法として、ＡＡＭ（Active Appearanc
e Model）が開示されている。このＡＡＭは、大量の２
次元顔画像の中から顔の部位ごとに定められた特徴点の
位置と濃度値等から形状情報とテキスチャ情報とを抽出
し、抽出した複数の形状情報とテキスチャ情報とにそれ
ぞれ主成分分析を行い、形状や表情の変化に対応した正
規直交座標系（画像空間）を求める。そして、求めた画
像空間のそれぞれの座標軸に沿ってパラメータを変化さ
せることにより、顔画像を変形するものである。したが
って、このＡＡＭを採用する場合には、ＡＡＭのパラメ
ータが顔表情変形パラメータとなる。

【００５７】また、ＡＡＭによれば、複数の喜びの顔を
分析することにより、喜びを表すパラメータを作成する
ことができ、元の顔表情を喜びの顔に変形するための顔
表情変形パラメータを作成することができる。同様に、
喜怒哀楽の「哀」および「楽」の顔表情変形パラメータ
をそれぞれ作成することができる。これにより、「喜
び」のスライドショー、「哀しみ」のスライドショーお
よび「楽しみ」のスライドショーを作成することができ
る。

【００５８】さらに、ＡＡＭによれば、複数の銀行員の
顔を分析することにより、銀行員に特有なパラメータを
作成することができ、元の顔表情を銀行員の顔に変形す
るための顔表情変形パラメータを作成することができ
る。同様に、プロレスラー、プロゴルファー、政治家お
よびミス日本など、様々なカテゴリのパラメータを作成
することができ、元の顔表情をこれらのカテゴリの顔に
変形するための顔表情変形パラメータをそれぞれ作成す
ることができる。

【００５９】そして、サーバ１１のＣＰＵは、設定部な
どを用いて、顔表情変更サイトのＵＲＬを添えて、前述
した電子メールアドレスへスライドショアプリケーショ
ンデータを送信する（Ｓ３１）。例えば、サーバ１１の
ＣＰＵは、メールに顔表情変更サイトのＵＲＬを書込
み、スライドショアプリケーションデータをメールに添
付して送信する。顔表情変更サイトのＵＲＬを電子メー
ルに添えることで、この電子メールを受信した端末装置
にスライドショーを再生するアプリケーションプログラ
ムがない場合でも、顔表情変更サイトよりアプリケーシ
ョンプログラムをダウンロードすることにより、スライ
ドショーを再生することができる。

【００６０】ここで、サーバ１１の以上の動作を状態遷
移図にまとめると、図１０のようになる。

【００６１】次に、端末装置１２の動作について主に説
明する。

【００６２】メールを受信した受信者は、端末装置１
２、例えば表示装置付き携帯電話端末１４を用いてメー
ルを開く。端末装置１２は、端末装置１２にスライドシ
ョアプリケーションデータを再生するアプリケーション
プログラムがない場合には、メールに添付されているＵ
ＲＬを参照して、顔表情変更サイトからアプリケーショ
ンプログラムをダウンロードする。

【００６３】ここで、端末装置１２のＣＰＵは、端末装
置１２の各部を制御する各制御部のほか、データ交換す
る機能を制御する制御部と協動して通信回線１５を介し
てサーバ１１と情報のやり取りを行う情報送受部と、情
報送受部の内容を解析する情報解析部と、情報解析部で
解析された解析結果に基づいて背景画像を選択する背景
画像選択部と、情報解析部で解析された解析結果に基づ
いて顔を変化させた変形顔画像データを顔画像データか
ら作成する顔表情変更部と、変形顔画像データと背景画
像データとを画像合成して合成画像データを作成する画
像合成部と、情報解析部で解析された解析結果に基づい
てデータを表示する表示部とを備える。

【００６４】そして、該アプリケーションプログラム
は、例えば、コントロールモジュールと、背景画像選択
モジュールと、顔表情変更モジュールと、画像合成モジ
ュールとを備えて構成される。コントロールモジュール
は、端末装置１２のＣＰＵにおける各制御部、情報送受
部および情報解析部などで実行され、入力装置を読み取
りプログラム全体の制御を行う。背景画像選択モジュー
ルは、端末装置１２のＣＰＵにおける背景画像選択部で
実行され、コントロールモジュールの命令により背景画
像を選択する。顔表情変更モジュールは、端末装置１２
のＣＰＵにおける顔表情変更部で実行され、背景画像に
付加された顔表情パラメータに基づき顔表情を変更す
る。画像合成モジュールは、端末装置１２のＣＰＵにお
ける画像合成部で実行され、顔表情変更モジュールで変
形された顔表情と背景画像とを合成する。

【００６５】受信者は、アプリケーションプログラムを
実行して、スライドショウアプリケーションデータの再
生を指示する。

【００６６】図１１は、スライドショーの各画像を模式
的に示す図である。

【００６７】図１２は、スライドショーのアプリケーシ
ョンプログラムの動作を示すフローチャートである。

【００６８】ここで、図１１（Ａ）は、スライドショー
の初期合成画像である。図１１（Ｃ）は、怒りの程度が
最高潮に達している「怒り」のスライドショーの最終合
成画像である。図１１（Ｂ）は、怒りの程度が図１１
（Ａ）と図１１（Ｃ）との間であるスライドショーの中
間合成画像である。

【００６９】図１２において、端末装置１２のＣＰＵ
は、アプリケーションプログラムが実行されると、表示
すべき背景画像データの順番を示す変数ｎを初期化する
（Ｓ４１）。変数ｎは、背景画像データ番号の振り方に
よって決まり、例えば、背景画像データ番号が０から始
まる場合には０に初期化され、１から始まる場合には１
に初期化される。本実施形態では、背景画像データ番号
は、１から始まるものとする。

【００７０】次に、端末装置１２のＣＰＵは、背景画像
データ番号が変数ｎである、すなわち、１であるスライ
ドショーの最初の背景画像と、顔画像とを合成すること
によって初期合成画像を作成する。そして、端末装置１
２のＣＰＵは、初期合成画像を表示すべく、図１１
（Ａ）に示すスライドショーの初期画面を表示装置に表
示する（Ｓ４２）。

【００７１】スライドショーの初期画面は、スライドシ
ョーを表示する表示欄と、スライドショーの各コマの進
退終了を指示するボタンとを備えて構成される。

【００７２】表示欄には、図１１（Ａ）に示すように、
スライドショーの初期合成画像が表示される。このスラ
イドショーの初期合成画像は、怒りの表情に顔画像が変
形する前の原顔画像と「怒り」の背景画像の最初の背景
画像との合成画像である。「怒り」は、例えば、図１１
（Ａ）に示すように、怒りを閃光が四方八方に飛ぶ図柄
によって示され、怒りの程度は、閃光の長さと太さおよ
び閃光の本数によって示されている。

【００７３】「進退終了」のボタンは、スライドショー
のコマを戻すことを指示する「＜」のボタンと、スライ
ドショーの終了を指示する「■」のボタンと、スライド
ショーのコマを進めることを指示する「＞」のボタンと
を備えて構成される。これらのボタンは、例えば、図１
１に示すように表示欄の下部に「＜」のボタンと「■」
のボタンと「＞」のボタンとをバー状に並べて初期画面
に配置される。ここで、入力装置には、「＜」のキーと
「■」のキーと「＞」のキーとを備えているものとす
る。なお、入力装置にこれらのキーを備えることに代え
て、例えば、画面中のこれらボタン上にカーソルを合わ
せ、マウスやジョグダイヤルなどの入力装置によってク
リックすることでこれらのキー入力としてもよい。

【００７４】次に、端末装置１２のＣＰＵは、コントロ
ールモジュールにより入力装置のキーをスキャンする
（Ｓ４３）。スキャン中に入力装置からキー入力がある
と、端末装置１２のＣＰＵは、入力されたキーを判断す
る（Ｓ４４）。

【００７５】判断の結果、「■」である場合には、端末
装置１２は、スライドショーのアプリケーションプログ
ラムを終了する。

【００７６】また、判断の結果、「＞」である場合に
は、端末装置１２のＣＰＵは、変数ｎに１を足すことに
よって変数ｎをインクリメントする（Ｓ４５）。次に、
端末装置１２のＣＰＵは、変数ｎがスライドショーの背
景画像データ数に１を足した値以上であるか否かを判断
する（Ｓ４６）。判断の結果、変数ｎがスライドショー
の背景画像データ数に１を足した値以上である場合に
は、表示欄にはスライドショーの最終合成画像が表示さ
れているので、初期合成画像に戻すべく、変数ｎを１に
する（Ｓ４７）。一方、判断の結果、変数ｎがスライド
ショーの背景画像データ数に１を足した値未満である場
合には、Ｓ５１を処理する。

【００７７】そして、判断の結果、「＜」である場合に
は、端末装置１２のＣＰＵは、変数ｎから１を引くこと
によって変数ｎをデクリメントする（Ｓ４８）。次に、
端末装置１２のＣＰＵは、変数ｎが０以下であるか否か
を判断する（Ｓ４９）。判断の結果、変数ｎが０以下で
ある場合には、表示欄にはスライドショーの初期合成画
像が表示されているので、最終合成画像に移行させるべ
く、変数ｎを背景画像データ数にする（Ｓ５０）。一
方、判断の結果、変数ｎが０より大きい場合には、Ｓ５
１を処理する。

【００７８】Ｓ５１において、端末装置１２のＣＰＵ
は、コントロールモジュールから変数ｎを通知された背
景画像選択モジュールにより、背景画像データ番号が変
数ｎである背景画像データをスライドショアプリケーシ
ョンデータより抽出する。

【００７９】次に、端末装置１２のＣＰＵは、背景画像
選択モジュールにより当該背景画像データに対応する顔
表情変形パラメータをスライドショアプリケーションデ
ータより抽出する（Ｓ５２）。

【００８０】次に、端末装置１２は、顔表情変更モジュ
ールにより顔表情変形パラメータによって顔画像をＡＡ
Ｍを用いて変形し、変形顔画像データを作成する（Ｓ５
３）。

【００８１】次に、端末装置１２のＣＰＵは、画像合成
モジュールにより、背景画像データと変形した変形顔画
像データとを所定の画像合成方法によって合成し、合成
画像データを作成する（Ｓ５４）。

【００８２】次に、端末装置１２のＣＰＵは、合成画像
データを表示欄に表示する（Ｓ５５）。

【００８３】次に、端末装置１２のＣＰＵは、合成画像
データを表示欄に表示したままの状態で、所定の時間だ
け待機（ｗａｉｔ）する（Ｓ５６）。この待機時間を調
整することで、スライドショーにおける各合成画像の表
示間隔を調整することができる。なお、この待機時間
は、ユーザがスライドショー設定の際などに指定するこ
とができるようにしてもよい。これにより、顔表情の変
化を緩慢にしたり、速くしたりすることができ、顔表情
の変化をより楽しむことができる。

【００８４】そして、次のスライドを表示させるべく、
端末装置１２のＣＰＵは、処理をＳ４３に戻す。

【００８５】受信者は、「＞」のキーを入力することに
より、「怒り」のスライドショーが展開され、スライド
ショーが進行するに従って表示欄に図１１（Ａ）、図１
１（Ｂ）、図１１（Ｃ）に示す画像が順に表示される。
「怒り」の背景画像は、図１１（Ａ）から図１１（Ｂ）
を経て図１１（Ｃ）へ進むに従って、怒りの程度が大き
くなり、これを表現するために、閃光の長さが長く、閃
光の太さが太く、また閃光の本数が多くなっていく。そ
して、顔表情は、この背景画像に合わせて目じりが徐々
に釣り上がるように変化する。

【００８６】本実施形態では、図１１（Ａ）、図１１
（Ｂ）、図１１（Ｃ）に示すように背景画像と顔表情の
変化とを一致させるように、顔表情変形パラメータを設
定したが、これに限定されるものではなく、例えば、背
景画像の変化と顔表情の変化とを不一致させるように各
背景画像の顔表情変形パラメータをそれぞれ設定し、顔
表情の変化に意外性を持たせるようにしてもよい。背景
画像の変化と顔表情の変化とをアンバランスにすること
により、より顔表情の変化を楽しむことができ、元画像
の顔の表情から想像のつかない、意外性に富んだ顔表情
を楽しむこともできる。特に、顔画像の人物における性
格に反する、一致しない顔表情へ変形させるようにする
ことにより、より一層顔表情の変化を楽しむことができ
る。また髪の毛をかつらに見立てて、背景画像を風が吹
いている背景画像とし、顔表情の変形と共にかつらを飛
ばすようにしてもよい。

【００８７】

【発明の効果】このように本発明では、顔表情を背景画
像に合わせて変形することができるので、様々な顔表情
を楽しむことができる。このため、本発明では、スチル
カメラの写真からスキャナによって作成した顔画像デー
タやディジタルスチルカメラで撮影した顔画像データを
遊び心の富んだ背景画像で変形することができるので、
これら画像データをより楽しむことができる。

【図面の簡単な説明】

【図１】本実施形態に係る通信ネットワークの概略構成
を示す図である。

【図２】表示装置付き携帯電話端末の構成を示すブロッ
ク図である。

【図３】サーバの動作を示すフローチャート（その１）
である。

【図４】サーバの動作を示すフローチャート（その２）
である。

【図５】初期画面を模式的に示す図である。

【図６】ユーザ登録画面を模式的に示す図である。

【図７】一覧表示画面を模式的に示す図である。

【図８】アップロード用の画面を模式的に示す図であ
る。

【図９】スライドショー設定用の画面を模式的に示す図
である。

【図１０】サーバの動作を示す状態遷移図である。

【図１１】スライドショーの一例を模式的に示す図であ
る。

【図１２】スライドショーのアプリケーションプログラ
ムの動作を示すフローチャートである。

【符号の説明】

１１サーバ１２端末装置１３パーソナルコンピュータ端末１４携帯電話端末２５中央処理装置２６メモリ２８表示部２９ダイヤル部

Claims

【特許請求の範囲】

【請求項１】背景画像の背景画像データと、顔を含む
画像の顔画像データと、前記背景画像データに付加さ
れ、顔の表情の変化を指示する顔表情変形パラメータと
を取得する取得手段と、前記顔表情変形パラメータに応じて前記顔を変化させた
変形顔画像データを前記顔画像データから作成する顔表
情変形手段と、前記変形顔画像データと前記背景画像データとを画像合
成して合成画像データを作成する合成手段とを備えるこ
とを特徴とする顔表情生成装置。
【請求項２】前記背景画像データは、背景画像が相互
に関連する複数の画像データであることを特徴とする請
求項１に記載の顔表情生成装置。
【請求項３】前記顔の表情の変化は、特定のカテゴリ
に属する人物に共通する表情への変化であることを特徴
とする請求項１に記載の顔表情生成装置。
【請求項４】背景画像の背景画像データと、顔を含む
画像の顔画像データと、前記背景画像データに付加さ
れ、顔の表情の変化を指示する顔表情変形パラメータと
を取得するステップと、前記顔表情変形パラメータに応じて前記顔を変化させた
変形顔画像データを前記顔画像データから作成するステ
ップと、前記変形顔画像データと前記背景画像データとを画像合
成して合成画像データを作成するステップとを備えるこ
とを特徴とする顔表情生成方法。
【請求項５】コンピュータに、背景画像の背景画像データと、顔を含む画像の顔画像デ
ータと、前記背景画像データに付加され、顔の表情の変
化を指示する顔表情変形パラメータとを取得するステッ
プと、前記顔表情変形パラメータに応じて前記顔を変化させた
変形顔画像データを前記顔画像データから作成するステ
ップと、前記変形顔画像データと前記背景画像データとを画像合
成して合成画像データを作成するステップとを実行させ
るための顔表情生成プログラム。