JP2023082808A - 生成システム、及び、生成方法 - Google Patents

Abstract

【課題】ユーザが表したい感情の変化を表情の変化として表す顔画像を生成する生成システムを提供する。【解決手段】生成システム１００は、ユーザ操作を受け付ける入力部と、入力部で受け付けたユーザ操作に基づいてコンテンツ生成処理を実行するプロセッサ１１，５１と、を備え、プロセッサは、コンテンツ生成処理において、入力部から、感情モデルにおける感情を示す値の時間的変化を入力するユーザ操作を示す第１の操作信号の入力を受け付け、第１の操作信号が示す感情を示す値の時間的変化に応じて、表情が時間的に変化する顔画像を生成する、よう構成されている。【選択図】図１

Description

特許法第３０条第２項適用申請有り 公開の事実１：令和３（２０２１）年８月１６日に研究報告ヒューマンコンピュータインタラクション（ＨＣＩ）（第１９４回ヒューマンコンピュータインタラクション研究発表会予稿集）（情報処理学会、２０２１－ＨＣＩ－１９４巻、１６号、１－７ページ）に「ラッセルの円環モデル上に描画された自由曲線に対応する顔アイコンの推薦手法の調査と提案」を掲載 公開の事実２：令和３（２０２１）年８月２４日に第１９４回ヒューマンコンピュータインタラクション研究発表会（情報処理学会）（２日目（８月２４日）、セッション５（１４：１５－１５：３０））にて「（１６）ラッセルの円環モデル上に描画された自由曲線に対応する顔アイコンの推薦 手法の調査と提案」を発表 公開の事実３：令和３（２０２１）年８月１６日に研究報告ヒューマンコンピュータインタラクション（ＨＣＩ）（第１９４回ヒューマンコンピュータインタラクション研究発表会予稿集）（情報処理学会、２０２１－ＨＣＩ－１９４巻、１７号、１－７ページ）に「Ｆａｃｅ ＡＶＡＳ：時系列を伴う感情の表現が可能な顔アイコン作成システムの提案」を掲載 公開の事実４：令和３（２０２１）年８月２４日に第１９４回ヒューマンコンピュータインタラクション研究発表会（情報処理学会）（２日目（８月２４日）、セッション５（１４：１５－１５：３０））にて「（１７）Ｆａｃｅ ＡＶＡＳ：時系列を伴う感情の表現が可能な顔アイコン作成システムの提案」を発表

本開示は、生成システム、及び、生成方法に関する。

例えば特許第６６６４７５７号公報（特許文献１）などに、人の感情を表示上で表す手法として顔アイコンが用いられる例が示されている。顔アイコンは、簡略的に表した顔画像を指す。

特許第６６６４７５７号公報

しかしながら、特許文献１に示されているような変化しない画像である顔アイコンは、時として感情の解釈を誤らせる可能性がある。このような誤解は、円滑なオンラインコミュニケーションを妨げる要因となり得る。円滑なコミュニケーションのためには、ユーザが表したい感情に応じて、顔アイコンが変化するほうが好ましい。したがって、ユーザが表したい感情の変化を、顔画像の表情の変化として表せるようにすることが望まれる。

ある実施の形態に従うと、生成システムは、ユーザ操作を受け付ける入力部と、入力部で受け付けたユーザ操作に基づいてコンテンツ生成処理を実行するプロセッサと、を備え、プロセッサは、コンテンツ生成処理において、入力部から、感情モデルにおける感情を示す値の時間的変化を入力するユーザ操作を示す第１の操作信号の入力を受け付け、第１の操作信号が示す感情を示す値の時間的変化に応じて、表情が時間的に変化する顔画像を生成する、よう構成されている。

ある実施の形態に従うと、生成方法は顔画像動画の生成方法であって、感情モデルにおける感情を示す値の時間的変化の入力を受け付け、感情を示す値の時間的変化に応じて、表情が時間的に変化する顔画像を生成する、ことを備える。この方法によって、表情が時間的に変化する顔画像が生成される。

更なる詳細は、後述の実施形態として説明される。

図１は、実施の形態に係る生成システムの概要、及び、生成システムに含まれる各装置の構成の具体例を表した概略図である。 図２は、生成システムでの、コンテンツの生成方法の流れの一例を表した図である。 図３は、入力画面の概要を表した図である。 図４は、画像生成処理及び動画生成処理を説明するための図である。 図５は、画像生成処理及び動画生成処理の他の例を説明するための図である。 図６は、格納処理を説明するための図である。 図７は、置き換え処理を説明するための図である。 図８は、推薦用データを用いた、候補画像の推薦方法の一例を説明するための図である。 図９は、置き換え処理の他の例を説明するための図である。 図１０は、生成システムでの、顔画像動画の検索方法の流れの一例を表した図である。 図１１は、検索画面の概要を表した図である。 図１２は、設定画面の概要を表した図である。 図１３は、推薦用データを用いた、候補画像の推薦方法の他の例を説明するための図である。 図１４は、候補画像の記憶方法の一例を表した図である。

＜１．生成システム、及び、生成方法の概要＞

（１）実施の形態に係る生成システムは、ユーザ操作を受け付ける入力部と、入力部で受け付けたユーザ操作に基づいてコンテンツ生成処理を実行するプロセッサと、を備え、プロセッサは、コンテンツ生成処理において、入力部から、感情モデルにおける感情を示す値の時間的変化を入力するユーザ操作を示す第１の操作信号の入力を受け付け、第１の操作信号が示す感情を示す値の時間的変化に応じて、表情が時間的に変化する顔画像を生成する、よう構成されている。

顔画像は、表情で感情を表現できる顔の画像であればよく、人や動物の顔、それらを模した顔の画像や写真などを指す。表情が時間的に変化する顔画像が生成されることによって、ユーザが表したい感情の変化が顔画像における表情の変化として表されるようになる。このため、ユーザの感情が解釈されやすくなる。その結果、オンラインコミュニケーションなど、顔画像を用いたコミュニケーションが円滑になるよう効果的に支援される。

（２）好ましくは、感情モデルは、座標系で表されるモデルである。座標系は、例えば、２次元座標系である。これにより、感情を座標値によって容易に表すことができる。

（３）好ましくは、感情モデルは、ラッセルの円環モデルである。ラッセルの円環モデルを用いることによって、「悲しい」から「嬉しい」までの感情の変化と、「覚醒」から「非覚醒」までの変化との組み合せによって感情を表すことが可能になる。

（４）好ましくは、感情を示す値の時間的変化を入力することは、複数の時点の座標値を入力することを含む。これにより、感情の変化が座標値で表される。

（５）好ましくは、感情を示す値の時間的変化を入力することは、座標系において描かれた線を入力することを含む。連続的な感情の変化を容易に入力することができる。

（６）好ましくは、表情が時間的に変化する顔画像は、顔画像の少なくとも一部の形態が、感情を示す値に応じて変化することを含む。これにより、感情の変化が表情の時間的な変化によって表されるようになる。

（７）好ましくは、顔画像の少なくとも一部は、口と眉との少なくとも一方を含む。例えば、ラッセルの円環モデルにおいて、快感、不快は口の変化で表され、覚醒度は眉の形状の変化で表される。そのため、口と眉との少なくとも一方の形状の変化によって、感情が的確に表現される。

（８）好ましくは、表情が時間的に変化する顔画像は、顔画像の表示位置が感情の示す値に応じて変化することを含む。これにより、感情の変化が表情の時間的な変化によって表されるようになる。

（９）好ましくは、プロセッサは、前記表情が時間的に変化する顔画像の少なくとも一部の顔画像を置き換えるための候補画像を提示する、よう構成されている。これにより、ユーザの示したい感情をより的確に表現する顔画像を生成することができる。

（１０）好ましくは、候補画像を提示することは、第１の操作信号が示す値の時間的変化に基づいて、記憶されている画像の中から、候補画像を選択することを含む。これにより、ユーザの感情に近い顔画像が候補画像とされる可能性が高くなる。

（１１）好ましくは、プロセッサは、入力部から、表情が時間的に変化する顔画像のいずれかを指定するユーザ操作を示す第２の操作信号の入力を受け付け、第２の操作信号によって指定される顔画像にコンテンツを対応付ける、よう構成されている。コンテンツは、表情が時間的に変化する顔画像とともに再生可能なものであればよく、例えば、テキスト、画像、音声、それらの組み合わせ、などである。これにより、ユーザの示したい感情を表情が時間的に変化する顔画像に加えてコンテンツによって表現することが可能になる。そのため、対象物のレビューのような感情の変化を的確に表現することが可能になる。

（１２）好ましくは、プロセッサは、第１の操作信号の示す感情を示す値の時間的変化と、生成した表情が時間的に変化する顔画像とを、対応付けてメモリに格納する、よう構成されている。これにより、例えば、後述する検索などに用いることができる。

（１３）好ましくは、プロセッサは、入力された感情を示す値の時間的変化に基づいて、メモリから表情が時間的に変化する顔画像を検索する、よう構成されている。これにより、感情の変化の傾向を用いて、表情が時間的に変化する顔画像を検索することができる。

（１４）実施の形態に係る生成方法は顔画像動画の生成方法であって、感情モデルにおける感情を示す値の時間的変化の入力を受け付け、感情を示す値の時間的変化に応じて、表情が時間的に変化する顔画像を生成する、ことを備える。この方法によって、表情が時間的に変化する顔画像が生成される。そのような顔画像を用いることによって、ユーザが表したい感情の変化が顔画像における表情の変化として表されるようになる。このため、ユーザの感情が解釈されやすくなる。その結果、オンラインコミュニケーションなど、顔画像を用いたコミュニケーションが円滑になるよう効果的に支援される。

＜２．生成システム、及び、生成方法の例＞

図１は、本実施の形態に係る生成システム１００の概要、及び、生成システム１００に含まれる各装置の構成の具体例を表した概略図である。生成システム１００は、表情が時間的に変化する顔画像の動画を生成する。顔画像は、表情で感情を表現できる顔の画像であればよく、人や動物の顔、それらを模した顔の画像や写真などを指す。図１を参照して、生成システム１００は、一例として、バックエンドとして機能するサーバ１と、フロントエンドとして機能する端末装置５と、を有する。

端末装置５は、例えばタブレットやパーソナルコンピュータなどであって、ユーザインタフェースとして用いられる。図１を参照して、端末装置５は、プロセッサ５１と、メモリ５２と、を有する一般的なコンピュータなどで構成される。プロセッサ５１は、例えば、ＣＰＵ（Central Processing Unit）である。

メモリ５２は、一次記憶装置であってもよいし、二次記憶装置であってもよい。メモリ５２は、プロセッサ５１によって実行されるコンピュータプログラム５２１を記憶している。プロセッサ５１は、メモリ５２に記憶されているコンピュータプログラム５２１を実行することで、コンテンツ生成処理５１０を実行する。プロセッサ５１によって実行されるコンテンツ生成処理５１０は、生成システム１００での、表情が時間的に変化する顔画像の動画を生成する処理の少なくとも一部を含む。

端末装置５は、通信装置５３を含む。通信装置５３は、一例として、通信モジュールである。通信装置５３は、インターネットなどの通信網３を介してサーバ１と通信する。通信装置５３は、プロセッサ５１の制御信号に従って指示された情報をサーバ１に送信する。また、通信装置５３は、サーバ１から受信した電気信号をプロセッサ５１に入力する。

端末装置５は、ユーザに画像を表示する表示部、及び、ユーザ操作を受け付ける入力部の一例であるタッチパネル５４を有する。タッチパネル５４は、プロセッサ５１の制御信号に従って、指示された情報に基づく表示を行う。また、タッチパネル５４は、ユーザ操作を受け付け、ユーザ操作を示す操作信号をプロセッサ５１に入力する。

プロセッサ５１の実行するコンテンツ生成処理５１０は、画像生成処理５１１を含む。画像生成処理５１１は、タッチパネル５４から入力された操作信号を用いて顔画像を生成することを含む。プロセッサ５１は感情モデル５１２を記憶しており、画像生成処理５１１において感情モデル５１２を用いる。感情モデルは、座標系で表されるモデルである。座標系は、例えば、２次元座標系である。これにより、感情を座標値によって容易に表すことができる。

プロセッサ５１は、生成した顔画像を通信装置５３に渡してサーバ１に送信させる。これにより、サーバ１において顔画像を用いてコンテンツ生成処理を行うことができる。

プロセッサ５１はコンピュータプログラム５２１を実行することによって、表示処理５１３を実行する。表示処理５１３は、サーバ１から受信したアクセス情報に従って他の装置にアクセスし、取得したデータに基づく表示をタッチパネル５４に行わせることを含む。これにより、後述する、サーバ１によって生成された動画をタッチパネル５４に表示させることができる。

図１を参照して、サーバ１は、プロセッサ１１とメモリ１２とを有するコンピュータで構成される。プロセッサ１１は、例えば、ＣＰＵである。メモリ１２は、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどを含む。または、メモリ１２は、一次記憶装置であってもよいし、二次記憶装置であってもよい。

メモリ１２は、プロセッサ１１で実行されるコンピュータプログラム１２１を記憶している。プロセッサ１１は、コンピュータプログラム１２１を実行することによってコンテンツ生成処理１１０を実行する。プロセッサ１１によって実行されるコンテンツ生成処理１１０は、生成システム１００での、表情が時間的に変化する顔画像の動画を生成する処理の少なくとも一部を含む。

メモリ１２は、コンテンツ生成処理１１０によって生成した動画を記憶する領域である、動画記憶部１２２を有する。また、メモリ１２は、推薦用データを記憶するための記憶領域である、推薦用データ記憶部１２３を有する。推薦用データについては後述する。

サーバ１は、通信装置１３を含む。通信装置１３は、一例として、通信モジュールである。通信装置１３は、通信網３を介して端末装置５と通信する。通信装置１３は、プロセッサ１１の制御信号に従って指示された情報を端末装置５に送信する。また、サーバ１は、通信装置５３から受信した電気信号をプロセッサ１１に入力する。

プロセッサ１１の実行するコンテンツ生成処理１１０は、動画生成処理１１１を含む。動画生成処理１１１は、端末装置５から送信された複数の顔画像を用いて、表情が時間的に変化する顔画像の動画を生成することを含む。

好ましくは、動画生成処理１１１は置き換え処理１１２を含む。置き換え処理１１２は、端末装置５から送信された複数の顔画像に基づいて生成される動画の少なくとも一部の顔画像を、異なる画像に置き換えることを含む。

プロセッサ１１はコンピュータプログラム１２１を実行することによって、格納処理１１３を実行する。格納処理１１３は、動画生成処理１１１によって生成した動画をメモリ１２に記憶させ、格納することを含む。また、格納処理１１３は、通信装置１３に、格納したメモリ１２へのアクセス情報を端末装置５に送信させることを含む。

好ましくは、プロセッサ１１の実行するコンテンツ生成処理１１０は、付加処理１１４を含む。付加処理１１４は、動画生成処理１１１によって生成した動画の少なくとも一部に他のコンテンツを付加することを含む。他のコンテンツは、例えば、テキストである。テキストが付加された動画はメモリ１２に記憶されてもよい。

好ましくは、プロセッサ１１はコンピュータプログラム１２１を実行することによって、検索処理１１５を実行する。検索処理１１５は、端末装置５からの信号に従って、対応する動画をメモリ１２から検索することを含む。

サーバ１のプロセッサ１１が実行するコンテンツ生成処理１１０の少なくとも一部が、端末装置５のプロセッサ５１によって行われてもよい。すなわち、動画生成処理１１１や、そのうちの置き換え処理１１２や、付加処理１１４のうちの少なくとも１つが、端末装置５のプロセッサ５１によって行われてもよい。この場合、生成されたコンテンツが端末装置５からサーバ１に渡され、サーバ１によって格納処理１１３が行われてメモリ１２に格納されもよい。コンテンツ生成処理１１０及びコンテンツ生成処理５１０は、生成システム１００でのコンテンツの生成方法の一例に過ぎない。

図２は、生成システム１００での、コンテンツの生成方法の流れの一例を表した図である。図２を参照して、生成システム１００は、初めに、端末装置５によって、感情の変化を示すユーザ操作を受け付ける（ステップＳ１）。感情の変化は、感情モデルにおける感情を示す値の時間的変化によって表される。感情モデルとしては、一例として、ラッセルの円環モデルが挙げられる。

図３は、ステップＳ１で感情の変化を示すユーザ操作を受け付けるために端末装置５に表示される画面の一例として入力画面４１の概要を表した図である。図３を参照して、入力画面４１は、座標系６０を含む。座標系６０は、ラッセルの円環モデルに従って設定されている。具体的には、座標系６０は、「悲しい」から「嬉しい」までの変化を表す第１の軸６１と、「覚醒」から「非覚醒」までの変化を表す第２の軸６２とで規定されている。一例とし、第１の軸６１を横軸、第２の軸６２を縦軸とする。ラッセルの円環モデルを用いることによって、「悲しい」から「嬉しい」までの感情の変化と、「覚醒」から「非覚醒」までの変化との組み合せによって感情を表すことが可能になる。

座標系６０上の各位置は、第１の軸６１と第２の軸６２とで規定される座標値によって表現される。座標系６０上の感情に対応した位置を指定することによって、感情を座標値で表すことができる。すなわち、感情を表す値は、一例として座標系６０における座標値である。

入力画面４１は、座標系６０に対するユーザのタッチ操作を受け付けることによって、感情を示す値の入力を受け付ける。感情の時間的な変化を入力することは、複数の時点の座標値を入力することに相当する。複数の時点の座標値を入力することは、離散的な時点における座標値の入力であってもよい。これにより、感情の変化が座標値で表される。

複数の時点の座標値を入力することは、一例として、座標系において描かれた線である感情曲線６６を入力することであってよい。これにより、連続的な感情の変化を容易に入力することができる。

感情曲線６６は、座標系６０に対するタッチ位置６５の、タッチ状態を維持したままの移動軌跡によって入力される。図３の例は、タッチ位置６５が、点Ｐ１を開始点とし、タッチ状態を維持したまま点Ｐ２，Ｐ３，Ｐ４…を経て点ＰＮまで移動し、点ＰＮでタッチ状態が解除されたことを示している。

プロセッサ５１は、タッチパネル５４から、感情曲線６６を表す操作信号（第１の操作信号）の入力を受け付ける。第１の操作信号は、タッチ位置６５がタッチ状態を維持して移動するに伴って、タッチ状態が解消されるまで連続的にプロセッサ５１に入力される。プロセッサ５１は、第１の操作信号が入力されることによって画像生成処理５１１を実行する（ステップＳ３）。プロセッサ５１は、連続的な第１の操作信号の入力が終了するまで、画像生成処理５１１を繰り返し実行する。

図４は、端末装置５のプロセッサ５１が実行する画像生成処理５１１、及び、サーバ１のプロセッサ１１の実行する動画生成処理１１１を説明するための図である。

画像生成処理５１１において、プロセッサ５１は、第１の操作信号の示す座標値に応じた顔画像を生成する。すなわち、感情曲線６６に含まれる複数の点Ｐ１，Ｐ２，Ｐ３，Ｐ４…ＰＮそれぞれを示す第１の操作信号が入力されるごとに、対応する、複数の顔画像７１，７２，７３を生成する。これにより、タッチ位置６５の移動軌跡に応じて、リアルタイムに顔画像群７０が生成される。

生成する顔画像７１，７２，７３は、少なくとも一部の形態が、感情を示す値に応じた形態のものである。これにより、感情を示す値の変化によって顔画像の少なくとも一部の形態が変化する。形態の変化は、形状、模様、色彩、大きさ、及び、それらの組み合わせのうちの少なくとも１つの変化、又は、顔の向きに伴う形態の変化、を含む。その結果、感情の変化が表情の時間的な変化によって的確に表されるようになる。

少なくとも一部は、口と眉との少なくとも一方を含み、例えば、口と眉との両方である。例えば、ラッセルの円環モデルにおいて、快感、不快は口の変化で表され、覚醒度は眉の形状の変化で表される。そのため、口と眉との少なくとも一方の形状の変化によって、感情が的確に表現される。

一例として、口の形状及び眉の形状が、感情を示す値（座標値）に応じて予め設定されている。この場合、プロセッサ５１は画像生成処理５１１において、入力された値に応じた口の形状及び眉の形状とした顔画像を、入力された値ごとに生成する。他の例として、プロセッサ５１は、感情を示す値（座標値）を変数として口の形状及び眉の形状を算出する関数を予め記憶しておき、入力された値を関数に代入することで入力された値ごとに口の形状及び眉の形状を算出して顔画像を生成してもよい。

図２を参照して、端末装置５において顔画像が生成されると、第１の操作信号に示される座標値とともに生成された顔画像が端末装置５からサーバ１に渡される（ステップＳ５）。端末装置５からサーバ１への送信は、顔画像が生成される都度行われてもよいし、短い時間間隔で行われてもよいし、所定数顔画像が生成される都度行われてもよいし、タッチ位置６５のタッチ状態が解消されたタイミングに応じて行われてもよい。

サーバ１では、動画生成処理１１１が実行される（ステップＳ７）。動画生成処理１１１は、端末装置５から顔画像が送信される都度行われてもよいし、タッチ状態が解消された後に行われてもよい。

図４を参照して、動画生成処理１１１においては、一例として、端末装置５において生成された複数の顔画像７１，７２，７３に基づく画像が生成される。動画生成処理１１１における動画の生成方法は特定の方法に限定されない、複数画像を用いた、一般的な動画の生成方法であってよい。例えば、特定の動画生成処理１１１においては、複数の顔画像７１，７２，７３の間が補完されてもよいし、補完がされなくてもよい。これにより、時間ｔに沿って、表情が感情を示す値に応じて時間的に変化する顔画像である顔画像動画８０が生成される。

顔画像動画８０が生成されることによって、ユーザが表したい感情の変化が顔画像における表情の変化として表されるようになる。このため、ユーザの感情が解釈されやすくなる。その結果、オンラインコミュニケーションなど、顔画像を用いたコミュニケーションが円滑になるよう効果的に支援される。

なお、表情が時間的に変化する顔画像は、顔画像の表示位置が感情の示す値に応じて変化するものであってもよい。顔画像の表示位置が感情の示す値に応じて変化することは、変化の速度が感情の示す値に応じて変化するものであってもよい。また、表情が時間的に変化する顔画像は、顔画像の少なくとも一部の形態と表示位置との両方が感情の示す値に応じて変化するものであってもよい。これにより、感情の変化が顔画像において表情の時間的な変化によって表されるようになる。

図５は、端末装置５のプロセッサ５１が実行する画像生成処理５１１、及び、サーバ１のプロセッサ１１の実行する動画生成処理１１１の他の例を説明するための図である。図５を参照して、他の例として画像生成処理５１１において、プロセッサ５１は、感情曲線６６に含まれる複数の点Ｐ１，Ｐ２，Ｐ３，Ｐ４…ＰＮそれぞれに対応する複数の顔画像７６，７７，７８を含む顔画像群７５を生成する。生成する顔画像７６，７７，７８は、顔画像の表示位置が、感情を示す値に応じた形態のものである。一例として、顔画像の表示位置が、感情を示す値（座標値）に応じて予め設定されている。この場合、プロセッサ５１は画像生成処理５１１において、入力された値に応じた表示位置とした顔画像を、入力された値ごとに生成する。

サーバ１のプロセッサ１１は、動画生成処理１１１において、一例として、顔画像群７５に含まれる複数の顔画像７６，７７，７８の間を補完してもよい。この場合、プロセッサ１１は、複数の顔画像７６，７７，７８の間の表示位置となる顔画像を補完する。これにより、時間ｔに沿って、表情が感情を示す値に応じて顔画像の表示位置が時間的に変化する顔画像動画８７が生成される。

図２を参照して、生成システム１００では、サーバ１において顔画像動画が生成されると、生成された顔画像動画がメモリ１２の動画記憶部１２２に格納され（ステップＳ９）、メモリ１２へのアクセス情報がサーバ１から端末装置５に渡される（ステップＳ１０）。端末装置５は、アクセス情報に従ってメモリ１２にアクセスして動画データを取得することにより、タッチパネル５４に動画を表示させることができる（ステップＳ１３）。

ステップＳ９でサーバ１のプロセッサ１１は、第１の操作信号の示す感情を示す値の時間的変化と、生成した表情が時間的に変化する顔画像動画とを対応付けて動画記憶部１２２に格納する。図６は、サーバ１での格納処理１１３を説明するための図である。図６の例では、生成された顔画像動画３２Ａ～３２Ｄそれぞれが、端末装置５から送信された第１の操作信号に示される座標値の変化、つまり、感情曲線であって、それぞれの動画を生成する際に用いた感情曲線３１Ａ～３１Ｄと対応付けて動画記憶部１２２に記憶されている。このように顔画像動画が感情曲線と対応付けてメモリ１２に格納されることによって、例えば、後述する検索処理１１５に用いることができる。

好ましくは、表情が時間的に変化する顔画像動画を生成する処理は、少なくとも一部の顔画像を置き換えることを含む。すなわち、サーバ１のプロセッサ１１は、顔表情が時間的に変化する顔画像の動画の少なくとも一部に対して置き換え処理１１２を実行する。少なくとも一部は、例えば、端末装置５が受け付けたユーザ操作に従う顔画像である。

図７は、置き換え処理１１２を説明するための図である。一例として、顔画像動画８０が生成された後、端末装置５のプロセッサ５１は、置き換える対象とする顔画像を指定する操作として、感情曲線６６上の点Ｑを指定するユーザ操作を受け付ける。このユーザ操作を受けて、端末装置５からサーバ１に対して、置き換え処理１１２を要求する信号が渡される。これにより、プロセッサ１１は置き換え処理１１２を実行し、顔画像動画８０のうちの点Ｑに対応した顔画像を他の顔画像に置き換える。

他の例として、点Ｑは、予め規定された点であってもよい。予め規定された点は、例えば、感情曲線の終点の点ＰＮや、始点のＰ１や、中間点などであってよい。

好ましくは、プロセッサ１１は、置き換え処理１１２において、顔画像動画８０に含まれる顔画像を置き換えるための候補画像８２，８３，…を端末装置５に渡し、提示させる。これにより、ユーザは、提示された候補画像からの指定した点Ｑの顔画像を置き換える他の顔画像を選択することができ、操作が容易になる。プロセッサ１１は、顔画像動画８０のうちの点Ｑに対応した顔画像を選択された顔画像を置き換えることで、ユーザの示したい感情をより的確に表現する顔画像動画を生成することができる。

置き換え処理１１２は、推薦用データ記憶部１２３を参照して候補画像８２，８３，…を決定することを含む。図８は、推薦用データ記憶部１２３に記憶されている推薦用データを用いた、候補画像の推薦方法の一例を説明するための図である。

推薦用データは、感情曲線ごとに対応する１又は複数の顔画像を示したデータである。推薦用データは、一例として、先に行った置き換え処理１１２によって、置き換えられた顔画像を、感情曲線に対応付けたデータである。

図８を参照して、例えば、推薦用データ３０Ａは、感情曲線３１Ａと、以前の置き換え処理１１２によって置き換えられた顔画像３１Ａ１との対応を表したデータである。推薦用データ３０Ｂ，３０Ｃ，…３０Ｎは、それぞれ、感情曲線３１Ｂ，３１Ｃ，…３１Ｎと、以前の置き換え処理１１２によって置き換えられた顔画像３１Ｂ１，３１Ｃ１，…３１Ｎ１との対応を表したデータである。

プロセッサ１１は、置き換え処理１１２において、顔画像動画８０の生成を指示する端末装置５に対するユーザ操作によって表された感情を表す値の時間的変化に基づいて、記憶されている顔画像の中から推薦する候補画像を選択する。詳しくは、プロセッサ１１は、推薦用データに含まれる感情曲線３１Ａ，３１Ｂ，３１Ｃ，…３１Ｎそれぞれの感情曲線６６との類似度を算出し、類似度に基づいた演算で得られる感情曲線３１Ａ，３１Ｂ，３１Ｃ，…３１Ｎのうちのいずれかの感情曲線に対応付けられた顔画像を推薦する候補画像とする。一例として、感情曲線３１Ａ，３１Ｂ，３１Ｃ，…３１Ｎの中の感情曲線６６との類似度が一定以上高いもののうちの、対応付けられた顔画像が多いものから順に推薦用データを用いて候補画像としてもよい。

図８の例において、感情曲線３１Ａ，３１Ｂ，３１Ｃ，…３１Ｎの順で、感情曲線６６に対する類似度が最も高い、つまり、感情曲線３１Ａが感情曲線６６と形状が類似しているものとする。図８の例では、感情曲線３１Ａ，３１Ｂ，３１Ｃ，…３１Ｎそれぞれに対して顔画像が１つずつ対応付けられている。そのため、プロセッサ１１は、一例として、推薦用データ３０Ａにおいて感情曲線３１Ａに対応付けられている顔画像３１Ａ１を推薦順位の第１と決定する。

他の例として、図７に示された、感情曲線６６のうちの始点Ｐ１から点Ｑまでの部分曲線６６Ａを用いて候補画像を選択してもよい。推薦用データは、図１３に表されたように、顔画像は、さらに、感情曲線のうちの置き換えに用いた点にも対応付けられていてもよい。この場合、プロセッサ１１は、感情曲線６６の部分曲線と感情曲線３１Ａ，３１Ｂ，３１Ｃ，…３１Ｎのうちの置き換えに用いた点までの部分曲線との類似度に基づいて推薦順位を決定してもよい。

プロセッサ１１は、一例として、推薦用データ記憶部１２３から複数の推薦用データ３０Ａ，３０Ｂ，３０Ｃ，……３０Ｎを読み出し、それぞれの推薦用データにおいて感情曲線に対応付けられた顔画像３１Ａ１，３１Ｂ１，３１Ｃ１，…３１Ｎ１を、決定された推薦順に従って、候補画像として端末装置５に提示させる。これにより、感情曲線６６に近い感情の変化を示す顔画像動画での置き換え処理１１２によって用いられた顔画像から順に候補画像とされるようになる。そのため、ユーザの感情に近い顔画像が候補画像とされる可能性が高くなる。

感情を表す値の時間的変化に基づいて、記憶されている顔画像の中から候補画像を選択する方法の他の例として、図１４に表されたように、推薦用データ記憶部１２３に、座標値ごとに候補画像が記憶されていてもよい。図１４は、推薦用データ記憶部１２３における候補画像の記憶方法の一例を表した図である。図１４の例では、座標系６０上に推薦用顔画像の候補画像が記憶されている。

この場合、プロセッサ１１は、置き換え処理１１２において、対応付けられた座標値と点Ｑとの間の距離に基づいて、推薦する候補画像を選択してもよい。一例として、プロセッサは、対応付けられた座標値と点Ｑとの間の距離が近い順に、候補画像を推薦する。

座標値ごとに候補画像は、一例として、予め用意されている複数の顔画像であって、複数のユーザが主観に基づいて、それぞれ座標系６０における座標値を与えた顔画像を用いて得られるものであってもよい。その場合、一例として、点Ｑの座標値に最も近い座標値を有する顔画像や、所定範囲内にある顔画像を候補画像と決定してもよい。

置き換え処理１１２は、他の例として、顔画像動画８０のうちの点Ｑに対応した顔画像を、ユーザ操作に従って変形することであってもよい。図９は、置き換え処理１１２の他の例を説明するための図である。図９を参照して、プロセッサ１１は、顔画像動画８０のうちの点Ｑに対応した顔画像８１に対して、変形を指示するユーザ操作を端末装置５から受け付けて、ユーザ操作に従って顔画像８１を変形する。

図９を参照して、変形は、一例として、顔画像８１のサイズを変化させるものであってもよい。図９の例では、プロセッサ１１が顔画像８１を拡大して顔画像８４を生成し、顔画像動画８０のうちの顔画像８１を置き換える例を表している。

変形は、他の例として、顔画像８１にマスク画像を加えるものであってもよい。マスク画像は予め記憶されていてもよいし、プロセッサ１１が他の装置にアクセスして取得してもよい。図９の例では、プロセッサ１１が顔画像８１に対してユーザ操作によって指定されたマスク画像８５を加えた顔画像８６を生成し、顔画像動画８０のうちの顔画像８１を置き換える例を表している。

生成システム１００では、生成された顔画像動画が感情曲線と対応付けてメモリ１２に記憶される。そのため、好ましくは、生成システム１００は、記憶された顔画像動画を活用する処理を行う。

顔画像動画を活用する処理は、一例として、ユーザから感情曲線の入力を受け付けて、入力された感情曲線に基づいてメモリ１２から顔画像動画を検索することを含む。入力された感情曲線に基づいてメモリ１２から顔画像動画を検索することは、入力された感情曲線に類似する感情曲線によって生成された顔画像動画を検索することであってもよいし、入力された感情曲線に対して特定の関係にある感情曲線によって生成された顔画像動画を検索することであってもよい。特定の関係は、例えば、曲線の変化が逆の関係や、所定範囲のみ類似して他の範囲が異なっている関係、などであってよい。

図１０は、生成システム１００での、顔画像動画の検索方法の流れの一例を表した図である。図１０を参照して、生成システム１００は、初めに、端末装置５によって、検索用の感情の変化を示すユーザ操作を受け付ける（ステップＳ１５）。図１１は、ステップＳ１５で検索用の感情の変化を示すユーザ操作を受け付けるために端末装置５に表示される画面の一例として検索画面４５の概要を表した図である。図１１を参照して、検索画面４５は座標系６０を含み、座標系６０に対するユーザのタッチ操作を受け付けることによって、感情を示す値の入力を受け付ける。検索用の感情の変化は、一例として、タッチ位置６５の移動軌跡で表される検索曲線６７によって入力される。

検索画面４５は、対応する顔画像動画の検索を指示するためのボタン４６を含む。図１０を参照して、検索画面４５のボタン４６がタッチされることで、入力された検索曲線６７が端末装置５からサーバ１に渡される（ステップＳ１７）。サーバ１では、検索処理１１５が実行されて、対応する顔画像動画が検索される（ステップＳ１９）。

動画記憶部１２２には、図６に示されたように、生成された顔画像動画と生成に用いた感情曲線とが対応付けて記憶されている。検索処理１１５においてプロセッサ１１は、一例として、入力された検索曲線６７に類似した感情曲線と対応付けて記憶されている顔画像動画を検索する。これにより、感情を表す値の変化の傾向が類似している顔画像動画が検索されることになる。

サーバ１において顔画像動画が検索されると、記憶されているメモリ１２へのアクセス情報がサーバ１から端末装置５に渡される（ステップＳ２１）。端末装置５は、アクセス情報に従ってメモリ１２にアクセスして動画データを取得することにより、タッチパネル５４に動画を表示させることができる（ステップＳ２３）。

このような検索が行われることによって、ユーザは、端末装置５に感情の変化の傾向を検索曲線として入力することによって対応する顔画像動画を得ることができる。そのため、容易に顔画像動画を検索することができる。

顔画像動画を活用する処理は、他の例として、生成された顔画像動画のうちの少なくとも一部の顔画像に対してコンテンツを付加することを含んでもよい。コンテンツは、顔画像動画とともに再生可能なものであればよく、例えば、テキスト、画像、音声、それらの組み合わせ、などであってよい。一例として、端末装置５に対して入力されたテキストが付加されるものとする。

図１２は、顔画像動画８０に付加するコンテンツを設定するために端末装置５に表示される画面の一例として設定画面２１の概要を表した図である。一例として、設定画面２１は、対象の顔画像動画８０のうちのテキストを付加する顔画像９１，９２，９３の指定を受け付ける。顔画像９１，９２，９３の指定は、例えば、顔画像動画８０に対するタッチ操作であってもよい。なお、顔画像９１，９２，９３は、プロセッサ１１によって自動的に設定されるものであってもよいし、自動的に設定されたものの変更を受け付けるようにしてもよい。

設定画面２１は、顔画像９１，９２，９３それぞれに対してテキストの入力を受け付ける。図１２を参照して、設定画面２１は、顔画像９１，９２，９３それぞれに付加するテキストの入力欄２２，２３，２４を含む。

顔画像動画８０へのテキストの付加は、例えば、対象物についてのレビューの作成などが想定される。詳しくは、顔画像動画８０は感情曲線６６に示されたように、時間経過に伴ってネガティブな感情からポジティブな感情への変化に応じて表示が変化するものである。そのような感情の変化が生じた対象物についてレビューを作成する際に、生成システム１００を用いて顔画像動画８０を生成し、生成した顔画像動画８０に感情の変化を表すテキストを付加することが想定される。

図１２の例では、顔画像９１，９２，９３は、それぞれ、ネガティブな感情、中間の感情、ポジティブな感情に相当している。この場合、図１２の例では、入力欄２２，２３，２４において、それぞれ、対象物（例えば商品）について、ネガティブな感想、中間の感想、ポジティブな感想を表すテキストが入力されている。

設定画面２１は、顔画像９１，９２，９３の設定、及び、テキストの付加を指示するためのボタン２５を含む。ボタン２５がタッチされることで、顔画像９１，９２，９３を指定するユーザ操作を示す操作信号（第２の操作信号）、及び、入力欄２２，２３，２４に入力されたテキストが、端末装置５からサーバ１に渡される。サーバ１では、付加処理１１４が実行されて、顔画像動画８０の顔画像９１，９２，９３それぞれに、入力されたテキストが付加される。

顔画像動画８０にテキストなどのコンテンツを付加させることによって、ユーザの示したい感情を顔画像動画に加えてコンテンツによって表現することが可能になる。そのため、対象物のレビューのような感情の変化を的確に表現することが可能になる。

顔画像動画８０に付加されたテキストは、図６に表されたように、動画記憶部１２２に顔画像動画と対応付けて記憶されてもよい。図６の例では、顔画像動画３２Ａに付加されたテキストであるコンテンツ３３Ａ，３３Ｂ，３３Ｃが、顔画像動画３２Ａに対応付けて記憶されている。これにより、対象物に対するレビューを顔画像動画で生成し、メモリ１２に記憶させることができる。

テキストなどのコンテンツが付加された顔画像動画もメモリ１２に記憶されることによって、図１０，図１１で表された検索処理１１５の対象とすることができる。これにより、例えばレビューを作成する際に、対象物に対する感情の変化を検索曲線６７として入力することによって、同様の感情の変化に基づいて生成された、コンテンツが付加された顔画像動画が容易に得られる。

＜３．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

１ ：サーバ
３ ：通信網
５ ：端末装置
１１ ：プロセッサ
１２ ：メモリ
１３ ：通信装置
２１ ：設定画面
２２ ：入力欄
２３ ：入力欄
２４ ：入力欄
２５ ：ボタン
３０Ａ ：推薦用データ
３０Ｂ ：推薦用データ
３０Ｃ ：推薦用データ
３０Ｎ ：推薦用データ
３１Ａ ：感情曲線
３１Ｂ ：感情曲線
３１Ｃ ：感情曲線
３１Ｎ ：感情曲線
３１Ａ１：顔画像
３１Ｂ１：顔画像
３１Ｃ１：顔画像
３１Ｎ１：顔画像
３２Ａ ：顔画像動画
３２Ｂ ：顔画像動画
３２Ｃ ：顔画像動画
３２Ｄ ：顔画像動画
３３Ａ ：コンテンツ
３３Ｂ ：コンテンツ
３３Ｃ ：コンテンツ
４１ ：入力画面
４５ ：検索画面
４６ ：ボタン
５１ ：プロセッサ
５２ ：メモリ
５３ ：通信装置
５４ ：タッチパネル
６０ ：座標系
６１ ：第１の軸
６２ ：第２の軸
６５ ：タッチ位置
６６ ：感情曲線
６６Ａ ：部分曲線
６７ ：検索曲線
７０ ：顔画像群
７１ ：顔画像
７２ ：顔画像
７３ ：顔画像
７５ ：顔画像群
７６ ：顔画像
７７ ：顔画像
７８ ：顔画像
８０ ：顔画像動画
８１ ：顔画像
８２ ：候補画像
８３ ：候補画像
８４ ：顔画像
８５ ：マスク画像
８６ ：顔画像
８７ ：顔画像動画
９１ ：顔画像
９２ ：顔画像
９３ ：顔画像
１００ ：生成システム
１１０ ：コンテンツ生成処理
１１１ ：動画生成処理
１１２ ：置き換え処理
１１３ ：格納処理
１１４ ：付加処理
１１５ ：検索処理
１２１ ：コンピュータプログラム
１２２ ：動画記憶部
１２３ ：推薦用データ記憶部
５１０ ：コンテンツ生成処理
５１１ ：画像生成処理
５１２ ：感情モデル
５１３ ：表示処理
５２１ ：コンピュータプログラム

Claims (14)

1. ユーザ操作を受け付ける入力部と、
   前記入力部で受け付けた前記ユーザ操作に基づいてコンテンツ生成処理を実行するプロセッサと、を備え、
   前記プロセッサは、前記コンテンツ生成処理において、
   前記入力部から、感情モデルにおける感情を示す値の時間的変化を入力する前記ユーザ操作を示す第１の操作信号の入力を受け付け、
   前記第１の操作信号が示す前記感情を示す値の時間的変化に応じて、表情が時間的に変化する顔画像を生成する、よう構成されている
   生成システム。
2. 前記感情モデルは、座標系であらわされるモデルである
   請求項１に記載の生成システム。
3. 感情モデルは、ラッセルの円環モデルである
   請求項２に記載の生成システム。
4. 前記感情を示す値の時間的変化を入力することは、複数の時点の座標値を入力することを含む
   請求項１～３のいずれか一項に記載の生成システム。
5. 前記感情を示す値の時間的変化を入力することは、座標系において描かれた線を入力することを含む
   請求項４に記載の生成システム。
6. 前記表情が時間的に変化する顔画像は、前記顔画像の少なくとも一部の形態が、前記感情を示す値に応じて変化することを含む
   請求項１～５のいずれか一項に記載の生成システム。
7. 前記顔画像の少なくとも一部は、口と眉との少なくとも一方を含む
   請求項６に記載の生成システム。
8. 前記表情が時間的に変化する顔画像は、前記顔画像の表示位置が前記感情の示す値に応じて変化することを含む
   請求項１～７のいずれか一項に記載の生成システム。
9. 前記プロセッサは、前記表情が時間的に変化する顔画像の少なくとも一部の顔画像を置き換えるための候補画像を提示する、よう構成されている
   請求項１～８のいずれか一項に記載の生成システム。
10. 前記候補画像を提示することは、前記第１の操作信号が示す前記値の時間的変化に基づいて、記憶されている画像の中から、前記候補画像を選択することを含む
    請求項９に記載の生成システム。
11. 前記プロセッサは、前記入力部から、前記表情が時間的に変化する顔画像のいずれかを指定する前記ユーザ操作を示す第２の操作信号の入力を受け付け、前記第２の操作信号によって指定される前記顔画像にコンテンツを対応付ける、よう構成されている
    請求項１～１０のいずれか一項に記載の生成システム。
12. 前記プロセッサは、前記第１の操作信号の示す前記感情を示す値の時間的変化と、生成した前記表情が時間的に変化する顔画像とを、対応付けてメモリに格納する、よう構成されている
    請求項１～１１のいずれか一項に記載の生成システム。
13. 前記プロセッサは、入力された前記感情を示す値の時間的変化に基づいて、前記メモリから前記表情が時間的に変化する顔画像を検索する、よう構成されている
    請求項１２に記載の生成システム。
14. 顔画像動画の生成方法であって、
    感情モデルにおける感情を示す値の時間的変化の入力を受け付け、
    前記感情を示す値の時間的変化に応じて、表情が時間的に変化する顔画像を生成する、ことを備える
    生成方法。

Images