JP2021182369A - 使用者のプレイングに基づいて再プログラミングされるインタラクティブコンテンツ提供方法および装置 - Google Patents

Abstract

【課題】使用者が決定し完成させたインタラクティブコンテンツの進行過程自体を反映した新コンテンツの使用者への提供。【解決手段】本発明のインタラクティブコンテンツ提供装置は、使用者入力を感知する入力インターフェース；映像を出力するディスプレイ部；所定の動作を遂行するようにする命令語を保存するメモリ；およびメモリと動作可能に連結されて命令語を実行するよう設定されたプロセッサを含み、プロセッサは映像に出力される客体を特定する客体情報と客体の動作を定義した駆動情報を含む複数のアニメーション単位が再生されるにつれて、客体が駆動情報によって動きながらプレイされるインタラクティブコンテンツを使用者に提供する動作、インタラクティブコンテンツに反映される使用者情報の入力を受ける動作、および客体情報のうち一部に使用者情報を挿入し、複数のアニメーション単位のうち一つを再生させてインタラクティブコンテンツをプレイさせる動作を遂行する。【選択図】 図２

Description

本発明は使用者のプレイングに基づいて再プログラミングされるインタラクティブコンテンツ提供方法および装置に関し、より詳しくは、使用者がインタラクティブコンテンツをプレイする過程に対する情報と使用者自身の個性を反映できる情報をインタラクティブコンテンツに反映して、使用者ならではの個性的なコンテンツを新しく生成する技術に関する。

既存の映画、ドラマ、本のようなコンテンツは、創作者が定めたストーリーのプロットに沿ってあらすじが流れていき、結末に至る。ところが、定められているプロットとは異なって、自身が所望する流れや異なる結末を所望する人々の欲求が存在するため、人々はストーリーに介入して外伝を作ったり、インターネットコミュニティに自身が想像した異なる結末に対するストーリーを叙述したりもする。

このような人々の欲求を反映して、最近コンテンツの流れと結末を使用者の決定により選択できるインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）コンテンツが脚光を浴びている。インタラクティブコンテンツは、ストーリーが進行されながら使用者の選択によってあらすじが異なって進行され得、あらすじだけでなく結論まで使用者の選択によって変わり得る。

ただし、現存するインタラクティブコンテンツの殆どは使用者の選択によってストーリーのみを異ならせることに集中しており、最近ではコンテンツのストーリーを越えて、より多様な要素に使用者の自律的介入が可能な機能が要求されている。例えば、使用者情報（顔、声、名前など）がコンテンツに移入されて使用者がコンテンツをさらに実感できる個人型コンテンツ（Ｐｅｒｓｏｎａｌｉｚｅｄ Ｃｏｎｔｅｎｔ）、実感コンテンツ（Ｒｅａｌｉｓｔｉｃ Ｃｏｎｔｅｎｔ）等が要求されている。

前述したインタラクティブコンテンツは使用者の選択によってあらすじだけでなく結論まで変わり得るため、同じ種類のコンテンツを楽しんでも使用者個人の選択によって個々人が全く異なるストーリーを誕生させることができるという結果につながる。

これに伴い、本発明の実施例で解決しようとする課題は、使用者自らが決定して完成させたインタラクティブコンテンツの進行過程自体を反映した新しいコンテンツを使用者に提供する技術を提供することである。

これに加え、本発明の実施例で解決しようとする課題は、ストーリーに影響を及ぼす自律性を越えて、インタラクティブコンテンツに登場するキャラクタ、音声などの多様な要素に使用者自身の個性を反映できる技術を提供しようとする。

このために、本文書の実施例はフレーム単位で出力される映像が定められるインタラクティブコンテンツの形式とは異なり、映像に出力される客体を特定する客体情報と客体の動作を定義した駆動情報を含むアニメーション単位で映像が再生されるようにインタラクティブコンテンツを構成して、インタラクティブコンテンツの流れに対する変更が容易であり、コンテンツをプレイする使用者情報を効果的にコンテンツに反映する技術を提供しようとする。

ただし、本発明の実施例が達成しようとする技術的課題は以上で言及した課題に制限されず、以下で説明する内容から通常の技術者に自明な範囲内で多様な技術的課題が導き出され得る。

本発明の一実施形態に係るインタラクティブコンテンツの提供方法は、映像に出力される客体を特定する客体情報と前記客体の動作を定義した駆動情報を含む複数のアニメーション単位が再生されるにつれて、前記客体が前記駆動情報によって動きながらプレイされるインタラクティブコンテンツを使用者に提供する段階；前記インタラクティブコンテンツに反映される前記使用者情報の入力を受ける段階；および、前記客体情報のうち一部に前記使用者情報を挿入し、前記複数のアニメーション単位のうち少なくとも一つを再生させて前記インタラクティブコンテンツをプレイさせる段階を含むことができる。

本発明の一実施形態に係るインタラクティブコンテンツ提供装置は、使用者入力を感知する入力インターフェース；映像を出力するディスプレイ部；所定の動作を遂行するようにする命令語を保存する一つ以上のメモリ；および前記一つ以上のメモリと動作可能なように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、前記一つ以上のプロセッサは、前記映像に出力される客体を特定する客体情報と前記客体の動作を定義した駆動情報を含む複数のアニメーション単位が再生されるにつれて、前記客体が前記駆動情報によって動きながらプレイされるインタラクティブコンテンツを使用者に提供する動作；前記インタラクティブコンテンツに反映される前記使用者情報の入力を受ける動作；および、前記客体情報のうち一部に前記使用者情報を挿入し、前記複数のアニメーション単位のうち少なくとも一つを再生させて動作を含むことができる。

本発明の実施例に係るインタラクティブコンテンツは、映像に出力される客体を特定する客体情報と客体の動作を定義した駆動情報を含むアニメーション単位で構成されて、インタラクティブコンテンツが進行されながら使用者がインタラクティブコンテンツをプレイする過程に対する情報だけでなく、使用者の顔、音声、プレイ特性などの使用者の個性をコンテンツの多様な要素に反映させることができる。

これに伴い、使用者はストーリーの流れを選択できるだけでなく、使用者自身や家族がコンテンツの登場人物となってコンテンツをプレイするように、使用者の個性を入れた独自のコンテンツを生成することができる。

これに加え、使用者はインタラクティブコンテンツのキャラクタの顔、キャラクタの音声などに自身、友達、家族の顔や声が反映されて再生される新しいコンテンツを生成して所蔵したり共有したりすることができる。
この他に、本文書を通じて直接的または間接的に把握される多様な効果が提供され得る。

図１は、本発明の一実施例に係るインタラクティブコンテンツ提供装置の機能ブロック図である。 図２は、本文書の実施例に係るアニメーション単位が含む客体情報および駆動情報を説明するための例示図である。 図３は、本文書の実施例に係るアニメーション単位が含む音声情報および字幕情報を説明するための例示図である。 図４は、第２コンテンツの生成に使われるプレイ情報を説明するための例示図である。 図５Ａは、インタラクティブコンテンツをプレイする過程で出力される字幕と第２コンテンツで出力される字幕の差を説明するための例示図である。 図５Ｂは、インタラクティブコンテンツをプレイする過程で出力される字幕と第２コンテンツで出力される字幕の差を説明するための例示図である。 図６は、インタラクティブコンテンツに使用者音声を入力する動作を説明するための例示図である。 図７は、インタラクティブコンテンツに使用者の顔イメージを代入する動作を説明するための第１例示図である。 図８は、インタラクティブコンテンツに使用者の顔イメージを代入する動作を発生させる動作を説明するための第２例示図である。 図９は、インタラクティブコンテンツは使用者の顔イメージを代入し、代入した顔イメージに表情または動きを具現する動作を説明するための例示図である。 図１０は、インタラクティブコンテンツ提供装置の使用環境により客体情報の位置を変更する動作を説明するための例示図である。 図１１は、一実施例に係る客体情報のクラスを人工知能モデルを通じて特定し、クラスに対応する駆動情報をマッピングさせる動作を説明するための例示図である。 図１２は、本発明の一実施例に係るインタラクティブコンテンツ提供方法のフローチャートである。

図１は、本発明の一実施例に係るインタラクティブコンテンツ提供装置１００の機能ブロック図である。図１を参照すると、一実施例に係るインタラクティブコンテンツ提供装置１００はメモリ１１０、プロセッサ１２０、入力インターフェース１３０、ディスプレイ部１４０、通信インターフェース１５０およびカメラ部１６０を含むことができる。

メモリ１１０はアニメーションＤＢ１１１、インタラクティブＤＢ１１３および命令語ＤＢ１１５を含んで、本文書の実施例を遂行させるための情報および命令語を保存することができる。

アニメーションＤＢ１１１は、インタラクティブコンテンツを構成するアニメーション単位に対する情報を保存することができる。アニメーション単位は、映像に含まれた客体がどのように動かなければならないかが定義されたアニメーションを区分する単位であって、アニメーション単位は連続的な映像に出力される客体を特定する客体情報およびこのような客体の動作を定義した駆動情報を含むことができる。

すなわち、客体情報は映像がプレイされる時に使用者に見られたり提供されるそれぞれの客体（ｏｂｊｅｃｔ）に対する情報であって、キャラクタ、物、背景、音声、字幕などの客体を特定する情報である。例えば、客体情報はキャラクタの顔または使用者の顔を反映する３次元使用者モデルと、使用者モデルに対する相対的距離に基づいて使用者モデルと共に表現され得る第２客体に対する情報をさらに含むことができる。

駆動情報は、それぞれの客体がどの時点でどのように動作するようにするかに対する情報、または使用者入力に対してどのように反応すべきであるかに対する情報を含むことができる。

本文書の実施例に係るインタラクティブコンテンツはこのようなアニメーション単位で構成され、アニメーション単位が動作することによってインタラクティブコンテンツが進行され、使用者がインタラクティブコンテンツをプレイする過程がアニメーション単位に含まれた情報に反映されることによって、使用者の個性を反映できる情報が客体情報または駆動情報に反映され得る。

インタラクティブＤＢ１１３はインタラクティブコンテンツに反映される使用者情報の入力を受けて保存することができる。また、インタラクティブＤＢ１１３は所定のアルゴリズムによって改善したり、修正された使用者情報を保存することができる。例えば、使用者情報は使用者の顔イメージ、使用者音声、使用者がインタラクティブコンテンツをプレイして入力される各種情報を含むことができる。

命令語ＤＢ１１５は後述するプロセッサ１２０の動作を遂行させる命令語、または後述するプロセッサ１２０の動作と対応する動作を遂行するようにするコンピュータコードを保存することができる。

プロセッサ１２０はインタラクティブコンテンツ提供装置１００が含む構成、メモリ１１０、入力インターフェース１３０、ディスプレイ部１４０および通信インターフェース１５０の全般的な動作を制御することができる。プロセッサ１２０はインタラクティブモジュール１２１、音声字幕モジュール１２３およびイメージモジュール１２５を含むことができる。プロセッサ１２０はメモリ１１０に保存された命令語を実行して、インタラクティブモジュール１２１、音声字幕モジュール１２３およびイメージモジュール１２５を駆動させることができる。インタラクティブモジュール１２１、音声字幕モジュール１２３およびイメージモジュール１２５により遂行される動作は、プロセッサ１２０によって遂行される動作と理解され得る。

インタラクティブモジュール１２１は使用者がインタラクティブコンテンツをプレイする場合、全般的なインタラクティブコンテンツの進行を制御し、使用者と関連した情報を保存して第２コンテンツを生成することができる。例えば、インタラクティブモジュール１２１は使用者入力に基づいてインタラクティブコンテンツの進行を決定することができ、使用者が入力した情報をインタラクティブコンテンツに反映することができ、使用者がインタラクティブコンテンツをプレイした記録を保存する第２コンテンツを生成することができる。

音声字幕モジュール１２３は字幕および音声に関連した全般的な動作を制御する。例えば、使用者がディスプレイ部１４０に出力される字幕に対する使用者入力を感知すると、使用者音声の入力を受けることができ、これを字幕に対応する音声情報として字幕情報にマッピングさせて保存することができる。

イメージモジュール１２５はイメージと関連した全般的な動作を制御する。例えば、使用者から顔イメージの入力を受ける場合、所定の目的に沿って顔イメージを変更または修正することができ、入力を受けたイメージが入力のための目的に符合するイメージなのかを判別し、入力を受けたイメージをインタラクティブコンテンツに反映することができる。

入力インターフェース１３０は使用者が加える物理的刺激，音声，映像などの入力を受けることができる。例えば、入力インターフェース１３０は減圧センサ、静電センサ、マイク、カメラなどのようなハードウェアモジュールを含むことができる。

ディスプレイ部１４０は使用者がインタラクティブコンテンツをプレイできるように映像を出力することができる。このために、ディスプレイ部１４０はディスプレイパネルを含んで映像を出力するハードウェア構成を具備することができるが、ディスプレイ部１４０を構成するハードウェアの種類はこのような例示に限定されるものではない。

通信インターフェース１５０は外部装置と通信して情報を送受信できるようにする。このために、通信インターフェース１５０は無線通信モジュールまたは有線通信モジュールを含むことができる。

カメラ部１６０はインタラクティブコンテンツ提供装置の周辺環境を撮影して撮影した周辺映像を生成することができる。このために、カメラ部１６０はハードウェア構成であるカメラモジュールを含むことができる。

以下、図２および図３を参照して、本文書の実施例に係るインタラクティブコンテンツ提供装置１００が提供するインタラクティブコンテンツの特性について先に説明し、本文書が提示する課題を達成するためにプロセッサ１２０が遂行する動作の全体的な流れを説明した後、図４〜図７と共に使用者情報をインタラクティブコンテンツに反映する具体的な実施例を説明することにする。

まず、本文書の実施例に係るインタラクティブコンテンツを構成するアニメーション単位をより詳細に説明する。

図２は本文書の実施例に係るアニメーション単位が含む客体情報および駆動情報を説明するための例示図であり、図３は本文書の実施例に係るアニメーション単位が含む音声情報および字幕情報を説明するための例示図である。

一実施例に係るインタラクティブコンテンツは複数のアニメーション単位で構成されている。アニメーション単位は客体情報、駆動情報、字幕情報および音声情報を含むことができる。客体情報は映像に出力される客体を特定する情報である。駆動情報は客体の動作を定義した情報である。字幕情報は映像が出力される間、該当映像のストーリーについての説明またはキャラクタの台詞として映像に共に出力されるテキストに対する情報である。音声情報は字幕に対応するテキストを声で読む音声に対する情報である。これに伴い、使用者がインタラクティブコンテンツのプレイを開始すれば、インタラクティブモジュール１２１はインタラクティブコンテンツに含まれたアニメーション単位を再生して、アニメーション単位に含まれた客体情報が駆動情報によって動くようにしてインタラクティブコンテンツを進行させることができ、進行と共に字幕情報による字幕と、音声情報による音声が出力され得る。

インタラクティブモジュール１２１は各駆動情報が駆動されるべき順序または時点を、既定義された順序および時点に沿って駆動されるように制御することができる。

また、本文書の実施例に係るインタラクティブコンテンツは、複数のアニメーション単位とは別個にインタラクティブコンテンツがプレイされる途中で特定客体に対する入力が感知される場合、該当客体に発生する動作自体を既定義した客体反応アニメーション情報をさらに含むことができる。インタラクティブモジュール１２１はディスプレイ部１４０に出力される客体情報に対する使用者入力に基づいて、特定客体が客体反応アニメーション情報によって動くように制御することができる。例えば、インタラクティブコンテンツは客体情報のうち「時計」という客体が存在する場合、いかなるアニメーション単位が再生される途中でも、ディスプレイ部１４０に「時計」が出力される途中で「時計」に対する使用者の対する入力（ｅｘ．客体である時計部分をタッチ）が感知されると、時計が動くように動作させたり、現在何時であるかの音声を出力するなどの動作を定義しておいた客体反応アニメーション情報を保存することができる。

図３は一つのアニメーション単位に含まれた音声情報および字幕情報が図示された例示であって、音声情報および字幕情報は一つの駆動情報とマッピングされて保存され得る。音声字幕モジュール１２３は特定駆動情報が実行されると、字幕情報と音声情報が該当駆動情報の実行と共に出力され得る。

次に、それぞれのアニメーション単位が進行される方式の実施例を説明する。

インタラクティブモジュール１２１は、インタラクティブコンテンツが含む複数のアニメーション単位が再生される順序を多様な実施例によって決定することができる。例えば、一実施例に係るアニメーション再生方式はアニメーション単位が再生される方式は複数のアニメーション単位が既設定された順序で再生されるアニメーション方式を含むことができる。

また、一実施例に係るアニメーション再生方式は、複数のアニメーション単位のうちいずれか一つを再生する選択を受ける複数の選択項目に対する使用者の第１入力、または所定のアニメーション単位の再生中に出力される客体情報に対する使用者の第２入力により、それぞれの第１入力または第２入力に基づいて定められる次のアニメーション単位を再生するようにする分岐アニメーション方式を含むことができる。分岐アニメーション方式に該当するアニメーション単位が再生される場合、インタラクティブモジュール１２１はディスプレイに複数の選択項目（ｅｘ．ストーリーの流れに沿った主人公の選択事項）を出力して使用者から特定の選択項目に対する第１入力を感知したり、特定の客体情報に対する使用者の第２入力を感知して、使用者入力に対応して再生されるように定められたアニメーション単位を再生させることができる。

インタラクティブコンテンツ提供装置１００は、アニメーション単位を構成する客体情報および駆動情報自体を使用者（ｅｘ．プレイヤー、管理者、開発者など）が直接編集できるように提供することができる。このために、使用者が編集を要請する場合、インタラクティブモジュール１２１は各アニメーション単位を構成する客体情報および駆動情報を使用者に提供して、客体情報、駆動情報またはアニメーション単位の再生順序に対する使用者の編集情報の入力を受けることができる。これに伴い、インタラクティブモジュール１２１は入力された編集情報が反映されたアニメーション単位に対する情報を含むインタラクティブコンテンツをプレイさせることによって、使用者の好みに応じて客体情報または駆動情報が修正されて他の客体が現れたり、使用者の所望する動きが反映されたコンテンツをプレイさせることができる。また、アニメーション単位の再生順序も使用者の編集に基づいて再生されるように制御され得る。

次に、一実施例に係るインタラクティブコンテンツ提供装置１００が動作する全体的な過程を説明する。

まず、プロセッサ１２０は前述した本文書の実施例に係るインタラクティブコンテンツを使用者に提供し、使用者からインタラクティブコンテンツをプレイする前またはプレイの途中でインタラクティブコンテンツに反映される使用者情報の入力を受けて保存することができる。これに伴い、プロセッサ１２０はインタラクティブコンテンツに含まれた客体情報のうち一部に入力を受けた使用者情報を挿入し、複数のアニメーション単位のうち少なくとも一つを再生させてインタラクティブコンテンツをプレイさせることができる。その後、使用者のプレイが終了すると、プロセッサ１２０は使用者がインタラクティブコンテンツをプレイしながら使用者が入力した情報によってアニメーション単位が再生される第２コンテンツを生成することができる。

一実施例に係る第２コンテンツは、使用者がインタラクティブコンテンツをプレイしながらストーリーを進行した入力に対応する順序に沿ってアニメーション単位が進行される映像であって、使用者がプレイしたストーリーを再現した映像であり、これに加えて使用者が入力したすべての情報（プレイ中に特定客体を押した情報、プレイ時間、顔イメージ、音声など）が反映された映像である。このために、本発明の一実施例は図４のようにプレイ情報を生成する。

図４は、第２コンテンツの生成に使われるプレイ情報を説明するための例示図である。図４を参照すると、インタラクティブモジュール１２１は、インタラクティブコンテンツをプレイする使用者が入力した入力情報に対するイベントの種類、入力時間および入力値に対する情報を特定して、特定された情報をマッピングしたプレイ情報を生成することができる。イベントの種類は、使用者が発生させたイベントの種類を特定するものであって、例えば「次のページ」、「客体タッチ」、「前ページ」、「三つの選択事項のうち１番を選択」等、使用者が入力して発生させたイベントの種類を意味する。入力時間とは、使用者が該当イベントを発生させた時点または時間を意味する。入力値とは、使用者がイベントを発生させるために入力した地点の座標、入力した音声情報、または入力したイメージなど、使用者入力によって発生または受信した情報を意味し得る。

これに伴い、インタラクティブモジュール１２１はインタラクティブコンテンツのプレイが終了した後、プレイ情報が含むイベントの種類、入力時間および入力値の情報によってインタラクティブコンテンツが再生される映像である第２コンテンツを生成することができる。例えば、プレイ情報が含む入力値が入力した地点の座標である場合、インタラクティブモジュール１２１はプレイ情報が含む入力時間に該当地点が入力されるように制御してコンテンツを再生させることができる。また、プレイ情報が含む入力値が音声情報である場合、インタラクティブモジュール１２１はプレイ情報が含むイベントの種類（ｅｘ．字幕に対する音声録音）に入力値に含まれた音声情報が再生されるようにすることができる。これに加え、プレイ情報が含む入力値が顔イメージである場合、インタラクティブモジュール１２１はプレイ情報が含むイベントの種類（ｅｘ．キャラクタの顔にイメージ代入）に入力値に含まれた顔イメージが代入されて再生されるようにすることができる。

次に、インタラクティブコンテンツおよび第２コンテンツの差を説明する。

一実施例に係る第２コンテンツは、使用者がインタラクティブコンテンツをプレイしながらストーリーを進行した入力に対応する順序に沿ってアニメーション単位が進行される映像であって、使用者がプレイしたストーリーを記録した映像であり、これに加えて使用者が入力したすべての情報（ｅｘ．プレイ中に特定客体を押した情報、プレイ時間、顔イメージ、音声など）が反映された映像である。

図５Ａおよび図５Ｂはインタラクティブコンテンツをプレイする過程で出力される字幕Ａと第２コンテンツで出力される字幕Ｂの差を説明するための例示図である。

図５Ａおよび図５Ｂを参照すると、Ａのようにインタラクティブコンテンツをプレイする途中には絵本のような感じを演出するために、音声字幕モジュール１２３は複数個の字幕情報を一度に駆動して一つの画面で複数行の字幕を出力させ、出力された複数の字幕情報に対応する音声情報が出力されるようにして、あたかも字幕を読んであげる絵本の感じを使用者に与えることができる。これとは異なり、Ｂのように第２コンテンツは漫画または映画のような感じを演出するために、再生する音声情報と対応する字幕情報のみを出力させることができる。

ただし、このように再生される音声情報と対応する字幕情報のみを出力して音声情報と字幕情報のシンクが合うようにする方法に対して、映像がフレーム単位で再生されるように構成されている場合であれば、既存の技術のように特定の音声が再生されるフレーム時間に合わせて字幕を再生させればよいが、本文書の実施例はフレーム単位の再生ではなく、使用者の選択によるアニメーション単位の再生であるため、字幕が出力される時間自体を特定し難いという問題がある。

このために、音声情報は既設定された時間以下の再生時間を有する音声ファイルを含むことができ、音声字幕モジュール１２３は第２コンテンツで音声情報が再生される場合、再生される音声情報に対応する字幕情報のみを前記再生時間の間のみ第２コンテンツに出力することができる。すなわち、それぞれの音声情報が有する再生時間を基準として対応する字幕情報を該当再生時間の間出力させることによって、アニメーション単位の構成でも再生される音声情報と対応する字幕情報のシンクを合わせて、漫画または映画のような感じを具現することができる。

次に、多様な使用者情報の入力を受けてインタラクティブコンテンツと第２コンテンツに反映する実施例を説明する。

図６は、インタラクティブコンテンツに使用者音声を入力する動作を説明するための例示図である。

インタラクティブコンテンツのプレイ途中、映像で出力される字幕に対する使用者入力が感知されると、音声字幕モジュール１２３は字幕情報に対応する使用者音声の入力を受けることができる。例えば、図６のような入力インターフェースウィンドウがディスプレイ部１４０に出力されて使用者音声入力をガイドすることができる。これに伴い、使用者が発話する音声が入力インターフェース１３０を通じて入力されると、音声字幕モジュール１２３は字幕情報に対応する音声情報に使用者音声を挿入し、インタラクティブコンテンツのプレイが終了すると使用者音声が挿入された音声情報が字幕情報に対応して出力されるアニメーション単位が再生される第２コンテンツを生成することができる。

この時、入力インターフェース１３０ウィンドウには、使用者が録音しようとする字幕情報の前に出力される字幕を探索する第１ボタン、および使用者が録音しようとする字幕情報の後に出力される字幕を探索する第２ボタンが出力され得、音声字幕モジュール１２３は第１ボタンまたは第２ボタンに対する使用者入力に基づいて、前の字幕または次の字幕を出力することができる。また、音声字幕モジュール１２３は第１ボタンまたは第２ボタンに対する使用者入力に基づいて出力される字幕情報に対応する使用者音声の入力を受けて、インタラクティブコンテンツのプレイが終了すると使用者音声が挿入された音声情報が字幕情報に対応して出力されるアニメーション単位が再生される第２コンテンツを生成することができる。

一方、使用者音声の入力を受ける前述した実施例において、使用者音声を既設定された時間以上に入力を受ける場合、または多様なキャラクタに対して声の入力を受ける場合、時間またはキャラクタの数に比例して使用者に課金を賦課することができる。

図７はインタラクティブコンテンツに使用者の顔イメージを代入する動作を説明するための第１例示図であり、図８はインタラクティブコンテンツに使用者の顔イメージを代入する動作を発生させる動作を説明するための第２例示図である。

図７を参照すると、イメージモジュール１２５はインタラクティブコンテンツのプレイの前またはプレイの途中で使用者情報の入力を受けることができ、使用者情報のうち所定のイメージが入力される場合、該当イメージが顔イメージを含むイメージであれば、イメージモジュール１２５は顔イメージが特定の地点を眺めるように標準化させて、客体情報のうちキャラクタの顔に該当する客体情報に標準化された顔イメージを代入することができる。

前記標準化を遂行する一実施例によると、イメージモジュール１２５は使用者から顔イメージが入力される場合、顔イメージが所定の角度、形態、または表情を形成するように変形されたイメージを出力するように学習された多様な人工知能モデルを利用して、前記顔イメージが所定の角度、形態、または表情を形成するように標準化することができる。その後、イメージモジュール１２５は特徴点を導き出す多様なアルゴリズムによって顔イメージの特徴点を導き出し、導き出された特徴点を頂点（ｖｅｒｔｅｘ）に特定することができる。その後、イメージモジュール１２５は頂点を互いに連結して、頂点、角面からなる多角形の集合であるメッシュ（ｍｅｓｈ）構造で構成された３次元モデルを生成することができる。

これに伴い、イメージモジュール１２５は頂点の位置を制御して３次元モデルが所定角度および形態に向かうように標準化して、顔イメージが特定の地点を眺めるように標準化することができ、客体情報のうちキャラクタの顔に該当する客体情報に３次元モデルを代入することができる。この時、使用者の顔イメージに既保存されたキャラクタの前頭部イメージ、後頭部イメージを合成して、より自然に使用者の顔イメージをキャラクタの顔イメージに代入することができる。例えば、前頭部イメージ、後頭部イメージ、顔イメージの３種類がある場合、イメージモジュール１２５は各イメージのレイヤーの配置順序を後頭部イメージが最後に、顔イメージを中間に、前頭部イメージが最も前にくる順序で配置した後に合成して、キャラクタの顔に使用者の顔を自然に代入することができる。

また、イメージモジュール１２５は３次元モデルを構成する頂点を駆動情報によって移動するように制御して顔イメージの動きまたは表情を具現することができる。この時、客体情報のうち基本キャラクタに加えて追加的にキャラクタに顔イメージの代入を選択しようとする場合、イメージモジュール１２５は入力した顔イメージを代入しようとするキャラクタ数に比例して使用者に課金を賦課することができる。

これに伴い、図８を参照すると、使用者が入力した顔イメージ、標準化された顔イメージ、３次元モデリングイメージに基づいて、本来の客体情報に３次元モデリングが完了したイメージを代入することができ、３次元モデリングが完了したイメージに動きを具現することができる。動きを具現する動作は図９の実施例を含むことができる。

図９は、インタラクティブコンテンツは使用者の顔イメージを代入し、代入した顔イメージに表情または動きを具現する動作を説明するための例示図である。

まず、イメージモジュール１２５は３次元モデルを構成する頂点のうち動きが開始される第１頂点と動きが終結される第２頂点を特定することができる。第１頂点または第２頂点はそれぞれ１個以上の頂点を含むことができる。第１頂点および第２頂点がいずれも複数個の頂点を含む場合、第１頂点は互いに異なる少なくとも一つの頂点と連結されていてもよく、第２頂点は前記複数個と同一個数の頂点を含むことができる。

例えば、３次元モデルが顔の形状である場合、目が閉じられる動きを具現する場合、イメージモジュール１２５は眼球の上端の皮膚に位置する頂点を第１頂点、眼球の下端の皮膚に位置する頂点を第２頂点と特定することができる。以下、本文書の実施例はまぶたの動きを例にして説明するが、本文書の実施例に係る技術はこのような例示に限定されるものではない。

第１頂点と第２頂点が特定された後、イメージモジュール１２５は第１頂点と第２頂点の間に第１頂点と第２頂点を連結する頂点、角または面を判別することができる。例えば、イメージモジュール１２５は第１頂点から第２頂点までを最短距離で連結する頂点、角、または面を判別することができる。

また、第１頂点または第２頂点が複数個の頂点を含む場合、イメージモジュール１２５は複数の第１頂点それぞれの動きの終結地点として特定された複数の第２頂点それぞれに達する所定の線に沿って、ｎ個（ｎは１以上の自然数）の地点を特定することができる。イメージモジュール１２５は第１頂点と第２頂点間の所定の線に沿ってｎ個の地点を特定する動作は下記の多様な実施例を通じて具現され得、本文書に説明された実施例は例示に過ぎず、このような説明に限定されるものではない。

一実施例によるとイメージモジュール１２５は第１頂点と第２頂点を最短距離で連結する角を構成する頂点を、それぞれｎ個の地点のうち一つとして特定することができる。例えば、まぶたが眼球によって閉じられる動きを具現する場合、第１頂点と第２頂点を連結する角が４個であれば、各角を連結するそれぞれの３個の頂点をｎ＝０地点、ｎ＝１地点、ｎ＝２地点として特定することができる。

また、第１頂点または第２頂点が複数個の頂点を含む場合、イメージモジュール１２５は複数の第１頂点それぞれの動きに対する終結地点Ｌとして特定された複数の第２頂点それぞれに達するまで連結された面上で、第１頂点から第２頂点までを連結する最短距離の仮想の線をｎ＋１等分した地点を前記ｎ個の地点として特定することができる。例えば、図８を参照する時、まぶたが眼球によって閉じられる動きを具現する場合、第１頂点から第２頂点に至るまで面（ｆａｃｅｓ）にそって第１頂点と第２頂点を連結する最短距離の仮想の線を４等分する３個の地点をｎ＝０地点、ｎ＝１地点、ｎ＝２地点として特定することができる。

ｎ個の地点が特定された後、イメージモジュール１２５は動きを具現するために、第１頂点がｎ個の地点を経て第２頂点に向かって移動するように第１頂点の位置データを制御することができる。また、イメージモジュール１２５は第１頂点から所定範囲内に位置する第１頂点以外の他の頂点が第１頂点にしたがって動くように制御することができ、これは多様な特徴点のアルゴリズムを通じて具現され得、特定の方法に限定されない。

イメージモジュール１２５は、第１頂点がｎ＝０地点、ｎ＝１地点、ｎ＝２地点をそれぞれ経て最終的に第２頂点に達するように制御して自然な動きを具現することができる。この時、イメージモジュール１２５は下記の数学式１のように、第１頂点がｎ個の地点のうちいずれか一つに向かって移動するまで、第１頂点が動く速度を反映する速度関数を決定することができる。これに伴い、第１頂点が動く速度が実際の動きを反映できる特徴に基づいて決定されるため、３次元モデルの動きをより自然なように駆使することができる。

これに加えて、イメージモジュール１２５はキャラクタの顔または使用者の顔を反映する使用者モデルに第２客体を配置することができる。例えば、使用者モデルが複数の頂点からなる３次元モデルである場合、３次元モデルが含む一つ以上の頂点と第２客体との相対的距離が一定に維持されるように設定して、仮想の空間で第２客体とともに表現される使用者モデルを生成することができる。この場合、駆動情報によって使用者モデルの表情や形態が変形されても、第２客体は使用者モデルと一定の距離を維持したまま共に表現され得る。これに伴い、インタラクティブコンテンツがプレイされて使用者モデルが駆動情報によって動く場合、第２客体は使用者モデルと相対的距離が一定に維持されるように動きが表現され得る。

また、イメージモジュール１２５は使用者から顔イメージの入力を受ける場合、ＡＩ顔認識装置のような多様な人工知能アルゴリズムに基づいて入力された顔イメージを分析して顔イメージの属性を示す第１タグ情報（ｅｘ．顔イメージの年齢、性別、人種、アクセサリー、ヘアスタイル、髪の色、瞳の色など）を抽出することができる。その後、キャラクタの顔に該当する客体情報にマッピングされている第２タグ情報（ｅｘ．キャラクタの年齢、性別、人種、アクセサリー、ヘアスタイル、髪の色、瞳の色など）と第１タグ情報とを比較して、第１タグ情報と対応する第２タグ情報が最も多いキャラクタに入力された顔イメージを代入することができる。この時、第２タグ情報はキャラクタの顔に該当する客体情報にマッピングされて既保存されている。またはイメージモジュール１２５が現存するＡＩ顔認識装置のように、多様な人工知能アルゴリズムに基づいてキャラクタのイメージを分析してキャラクタの属性を示す第２タグ情報を抽出することができる。

また、イメージモジュール１２５は使用者から顔イメージの入力を受ける場合、入力を受けた顔イメージのトーンを調整したり写真フィルタを介して顔イメージを補正することができる。例えば、イメージモジュール１２５は使用者の顔イメージの入力を受けた場合、既存の写真補正アルゴリズムに基づいて顔トーンを補正することができ、既存の写真フィルタリング技術を通じて、顔イメージを所定の規則に沿って変形させるフィルタを適用して、可愛い顔、幼くなった顔、老いた顔などを適用してキャラクタの顔に代入することができる。

また、イメージモジュール１２５は使用者からイメージの入力を受ける場合、入力を受けたイメージがキャラクタの顔に適合するかを判別することができる。例えば、イメージモジュール１２５は使用者のイメージの入力を受けた場合、ＡＩ顔認識装置のような多様な人工知能アルゴリズムに基づいて既設定された顔情報の規格から外れる場合（ｅｘ．顔が遮られていたり、目を閉じていたり、正面の顔が９０％以上含まれていない場合等）、他の顔イメージを入力することを要請することができる。

前述した実施例に係るインタラクティブコンテンツは、映像に出力される客体を特定する客体情報と客体の動作を定義した駆動情報を含むアニメーション単位で構成されて、インタラクティブコンテンツが進行されながら使用者がインタラクティブコンテンツをプレイする過程に対する情報だけでなく、使用者の顔、音声、プレイ特性などの使用者の個性をコンテンツの多様な要素に反映させることができる。これに伴い、使用者はストーリーの流れを選択できるだけでなく、使用者自身や家族がコンテンツの登場人物となってコンテンツをプレイするように、使用者の個性を入れた独自のコンテンツを生成することができる。これに加え、使用者はインタラクティブコンテンツのキャラクタの顔、キャラクタの音声などに、自身、友達、家族の顔や声が反映されて再生される新しいコンテンツを生成して所蔵したり共有したりすることができる。

図１０は、インタラクティブコンテンツ提供装置の使用環境に応じて客体情報の位置を変更する動作を説明するための例示図である。

図１０を参照すると、インタラクティブモジュール１２１は使用者がインタラクティブコンテンツをプレイする環境に応じて使用環境に応じてディスプレイ部１４０に出力される客体情報の位置を制御することができる。

例えば、インタラクティブモジュール１２１は、図１０の原本のコンテンツ規格（ｅｘ．横：縦＝２．５：１サイズ）から図書形態のコンテンツ規格（ｅｘ．横：縦＝５：１サイズ）への変更の入力を受けた場合、客体情報が出力されるべき位置が異なる規格別に既設定されている座標情報に基づいて、使用者の規格選択によって前記客体情報を規格に対応する座標情報によって出力して、一つのアニメーション単位で客体が出力される位置を制御することができる。また、インタラクティブモジュール１２１はコンテンツの規格別に客体が移動すべき程度を定義した関数に基本座標情報を代入して出力された結果座標情報に基づいて、客体が出力される位置を移動させることができる。

また、インタラクティブモジュール１２１は拡張現実（ＡＲ）技術を利用して、周辺環境を出力する映像のレイヤー上に客体情報のイメージを出力することができる。例えば、インタラクティブモジュール１２１はカメラ部１６０を駆動して周辺環境を撮影した周辺映像の入力を受け、ディスプレイ部１４０内で客体情報が出力されるべき位置が既設定されている座標情報に基づいて客体情報を周辺映像のレイヤーの上部に配置してディスプレイ部１４０に出力することができる。

またはインタラクティブモジュール１２１はカメラ部１６０を駆動して周辺環境を撮影した周辺映像の入力を受け、客体情報が前記周辺映像の位置のうち一地点にマッピングされるように設計された関数に基づいて客体情報を周辺映像のレイヤーの上部に配置してディスプレイ部に出力させることができる。この場合、客体情報は周辺映像の一地点にマッピングされているため、使用者がカメラを回して他の所を撮影しても客体はマッピングされた一地点から動かずに配置され得る。

前述した実施例で客体情報の駆動情報が互いに既マッピングされているものとして説明したが、図１１の実施例によると、人工知能技術を通じてマッピングさせることができる。

図１１は一実施例に係る客体情報のクラスを人工知能モデルを通じて特定し、クラスに対応する駆動情報をマッピングさせる動作を説明するための例示図である。

図１１を参照すると、インタラクティブモジュール１２１は所定の人工知能モデルに入力された客体情報のクラス（ｅｘ．キャラクタ、電灯、木、自動車、鳥、時計などの客体を特定する情報）を判別し、判別されたクラスに対応する駆動情報をマッピングさせるように学習された人工知能モデルを利用することができる。インタラクティブモジュール１２１は、人工知能モデルにインタラクティブコンテンツに含まれた客体のうち第１客体情報を入力し、人工知能モデルが判別した第１駆動情報をマッピングさせてアニメーションＤＢ１１１に保存することができる。

この時、人工知能モデルは入力された客体情報のクラス、およびクラスにマッピングされる駆動情報の種類（ｅｘ．振動する動き、明るさ調節、灯りを消す、位置動きの種類など、動きに対する定義）を共に判別してもよい。判別されたクラスに対応する駆動情報をマッピングさせるように学習された人工知能モデルを利用することができる。インタラクティブモジュール１２１は人工知能モデルにインタラクティブコンテンツに含まれた客体のうち第１客体情報を入力し、人工知能モデルが判別した第１駆動情報をマッピングさせることができる。インタラクティブモジュール１２１は人工知能モデルにインタラクティブコンテンツに含まれた客体のうち第１客体情報を入力し、人工知能モデルに出力されたクラスおよび駆動情報をマッピングさせてアニメーションＤＢ１１１に保存することができる。

これに伴い、インタラクティブモジュール１２１は第１客体情報に対する使用者入力を感知すると、第１駆動情報による動きを具現することができる。

本文書の実施例に含まれた人工知能アルゴリズム、または人工知能モデルはマシンラーニングアルゴリズムを使うことができる。マシンラーニング（機械学習、Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）は人工知能分野で扱う多様な問題を定義し、それを解決する方法論を研究する分野を意味する。マシンラーニングは何らかの作業に対して、弛まない経験を通じてその作業に対する性能を高めるアルゴリズムと定義したりもする。

人工ニューラルネットワーク（ＡＮＮ：Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）はマシンラーニングで使われるモデルであって、シナプスの結合でネットワークを形成した人工ニューロン（ノード）で構成される、問題解決能力を有するモデル全般を意味し得る。人工ニューラルネットワークは他のレイヤーのニューロン間の連結パターン、モデルパラメータを更新する学習過程、出力値を生成する活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）等によって定義され得る。

人工ニューラルネットワークは入力層（Ｉｎｐｕｔ Ｌａｙｅｒ）、出力層（Ｏｕｔｐｕｔ Ｌａｙｅｒ）、そして選択的に一つ以上の隠れ層（Ｈｉｄｄｅｎ Ｌａｙｅｒ）を含むことができる。各層は一つ以上のニューロンを含み、人工ニューラルネットワークはニューロンとニューロンを連結するシナプスを含むことができる。人工ニューラルネットワークで各ニューロンはシナプスを通じて入力される入力信号、重み、バイアスに対する活性関数の関数値を出力することができる。

モデルパラメータは学習を通じて決定されるパラメータを意味し、シナプス連結の重みとニューロンのバイアスなどが含まれる。そして、ハイパーパラメータはマシンラーニングアルゴリズムで学習前に設定されなければならないパラメータを意味し、学習率（Ｌｅａｒｎｉｎｇ Ｒａｔｅ）、繰り返し回数、ミニバッチの大きさ、初期化関数などが含まれる。

人工ニューラルネットワークの学習目的は、損失関数を最小化するモデルパラメータを決定するものと見ることができる。損失関数は人工ニューラルネットワークの学習過程で最適なモデルパラメータを決定するための指標として利用され得る。

マシンラーニングは学習方式により教師あり学習（Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）、教師なし学習（Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）に分類することができる。

教師あり学習は学習データに対するラベル（ｌａｂｅｌ）が与えられた状態で人工ニューラルネットワークを学習させる方法を意味し、ラベルとは、学習データが人工ニューラルネットワークに入力される場合、人工ニューラルネットワークが推論して出さなければならない正解（または結果値）を意味し得る。教師なし学習は学習データに対するラベルが与えられない状態で人工ニューラルネットワークを学習させる方法を意味し得る。強化学習はある環境の中で定義されたエージェントが各状態で累積補償を最大化する行動あるいは行動順序を選択するように学習させる学習方法を意味し得る。

人工ニューラルネットワークの中で複数の隠れ層を含む深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で具現されるマシンラーニングをディープラーニング（深層学習、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）とも呼び、ディープラーニングはマシンラーニングの一部である。以下で、マシンラーニングはディープラーニングを含む意味で使われ得る。

一方、ディープラーニングアルゴリズムの他に、ｄｅｃｉｓｉｏｎ ｔｒｅｅ（ＤＴ）、ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ（ＫＮＮ）、ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ（ＬＲ）、ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ（ＭＬＰ）、ｒａｎｄｏｍ ｆｏｒｅｓｔ（ＲＦ）、ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＶＭ）およびｌａｓｓｏなど、使うパラメータの種類や数に応じて適合なアルゴリズムを選択して使うことができる。

図１２は、本発明の一実施例に係るインタラクティブコンテンツ提供方法のフローチャートである。図１２によるインタラクティブコンテンツ提供方法の各段階は、図１を通じて説明されたインタラクティブコンテンツ提供装置１００により遂行され得、各段階を説明すると次の通りである。

前記装置１００は映像に出力される客体を特定する客体情報と、客体の動作を定義した駆動情報を含む複数のアニメーション単位が再生されるにつれて、客体が駆動情報によって動きながらプレイされるインタラクティブコンテンツを使用者に提供することができる（Ｓ１２１０）。

前記装置１００はインタラクティブコンテンツに反映される前記使用者情報の入力を受けることができる（Ｓ１２２０）。

前記装置１００は客体情報のうち一部に使用者情報を挿入し、前記複数のアニメーション単位のうち少なくとも一つを再生させてインタラクティブコンテンツをプレイさせることができる（Ｓ１２３０）。

一方、前述した各段階を実施するための過程は図１〜図１１と共に説明したため、重複した説明は省略する。

前述した本発明の実施例は多様な手段を通じて具現され得る。例えば、本発明の実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの結合などによって具現され得る。

ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つまたはそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロ・プロセッサなどによって具現され得る。

ファームウェアやソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上で説明された機能または動作を遂行するモジュール、手続きまたは関数などの形態で具現され得る。ソフトウェアコードなどが記録されたコンピュータプログラムは、コンピュータ可読記録媒体またはメモリユニットに保存されてプロセッサによって駆動され得る。メモリユニットはプロセッサの内部または外部に位置して、すでに公知とされている多様な手段によってプロセッサとデータをやり取りすることができる。

また、本発明に添付されたブロック図の各ブロックとフローチャートの各段階の組み合わせは、コンピュータプログラムインストラクションによって遂行されてもよい。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコードプロセッサに搭載され得るため、コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコードプロセッサを通じて遂行されるそのインストラクションが、ブロック図の各ブロックまたはフローチャートの各段階で説明された機能を遂行する手段を生成するようになる。これらコンピュータプログラムインストラクションは、特定の方法で機能を具現するために、コンピュータまたはその他のプログラム可能なデータプロセシング装備を目指すことができるコンピュータ利用可能またはコンピュータ読み出し可能メモリに保存されることも可能であるため、そのコンピュータ利用可能またはコンピュータ読み出し可能メモリに保存されたインストラクションは、ブロック図の各ブロックまたはフローチャートの各段階で説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載されることも可能であるため、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作段階が遂行されてコンピュータで実行されるプロセスを生成してコンピュータまたはその他のプログラム可能なデータプロセシング装備を遂行するインストラクションは、ブロック図の各ブロックおよびフローチャートの各段階で説明された機能を遂行するための段階を提供することも可能である。

併せて、各ブロックまたは各段階は、特定された論理的機能を遂行するための一つ以上の遂行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつかの代替実施例では、ブロックまたは段階で言及された機能が順序から外れて発生することも可能であることを注目しなければならない。例えば、続けて図示されている二つのブロックまたは段階は、実は実質的に同時に遂行されることも可能であり、またはそのブロックまたは段階が時々該当する機能により逆順で遂行されることも可能である。

このように、本発明が属する技術分野の当業者は、本発明がその技術的思想や必須の特徴を変更することなく他の具体的な形態に実施できることが理解できるはずである。したがって、以上で記述した実施例は、すべての面において例示的なものであり、限定的なものではないと理解されるべきである。本発明の範囲は詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲、そしてその等価概念から導き出されるすべての変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。

１００：インタラクティブコンテンツ提供装置
１１０：メモリ
１１１：アニメーションＤＢ
１１３：インタラクティブＤＢ
１１５：命令語ＤＢ
１２０：プロセッサ
１２１：インタラクティブモジュール
１２３：音声字幕モジュール
１２５：イメージモジュール
１３０：入力インターフェース
１４０：ディスプレイ部
１５０：通信インターフェース
１６０：カメラ部

Claims (25)

1. インタラクティブコンテンツ提供装置が遂行するインタラクティブコンテンツ提供方法において、
   映像に出力される客体を特定する客体情報と前記客体の動作を定義した駆動情報を含む複数のアニメーション単位が再生されるにつれて、前記客体が前記駆動情報によって動きながらプレイされるインタラクティブコンテンツを使用者に提供する段階；
   前記インタラクティブコンテンツに反映される前記使用者情報の入力を受ける段階；および
   前記客体情報のうち一部に前記使用者情報を挿入し、前記複数のアニメーション単位のうち少なくとも一つを再生させて前記インタラクティブコンテンツをプレイさせる段階を含む、インタラクティブコンテンツ提供方法。
2. 前記複数のアニメーション単位は、
   既設定された順序で再生されるアニメーション方式；または前記複数のアニメーション単位のうちいずれか一つを再生する選択を受ける複数の選択項目に対する前記使用者の第１入力または所定のアニメーション単位の再生中に出力される客体情報に対する使用者の第２入力により、それぞれの入力に基づいて次のアニメーション単位を再生するように定められた分岐アニメーション方式；で再生され、
   前記方法は、
   前記分岐アニメーション方式に該当するアニメーション単位が再生される場合、前記複数の選択項目の出力に対する第１入力を感知したり、または前記再生中に出力される客体情報に対する第２入力を感知する段階；および
   前記第１入力または前記第２入力に対応するアニメーション単位を再生させる段階をさらに含む、請求項１に記載のインタラクティブコンテンツ提供方法。
3. 前記方法は、
   前記インタラクティブコンテンツのプレイ中に前記使用者入力を保存する段階；および
   前記プレイが終了すると前記入力に対応する順序および前記使用者情報によってアニメーション単位が再生される第２コンテンツを生成する段階をさらに含む、請求項２に記載のインタラクティブコンテンツ提供方法。
4. 前記インタラクティブコンテンツは、
   前記複数のアニメーション単位とは別個に前記インタラクティブコンテンツがプレイされる途中で前記客体に対する入力が感知される場合、前記客体に発生する動作を定義した客体反応アニメーション情報をさらに含む、請求項１に記載のインタラクティブコンテンツ提供方法。
5. 前記方法は、
   前記使用者が入力した入力情報に対するイベントの種類、入力時間および入力値に対する情報を特定して、前記特定された情報をマッピングしたプレイ情報を生成する段階；および
   前記プレイ情報が含むイベントの種類、入力時間および入力値の情報によって前記インタラクティブコンテンツが再生される映像である第２コンテンツを生成する段階をさらに含む、請求項１に記載のインタラクティブコンテンツ提供方法。
6. 前記方法は、
   前記アニメーション単位を構成する前記客体情報および前記駆動情報を使用者に提供して、前記客体情報、前記駆動情報または前記アニメーション単位の再生順序に対する使用者の編集情報の入力を受ける段階をさらに含み、
   前記インタラクティブコンテンツをプレイさせる段階は、
   前記入力された編集情報が反映されたアニメーション単位に対する情報を含むインタラクティブコンテンツをプレイさせる段階を含む、請求項１に記載のインタラクティブコンテンツ提供方法。
7. 前記アニメーション単位は、
   前記映像で出力される音声情報および前記映像で前記音声情報に対応して出力される字幕情報をさらに含み、
   前記音声情報は、
   既設定された時間以下の再生時間を有する音声ファイルを含み、
   前記方法は、
   前記映像で前記音声情報が再生される場合、前記再生時間の間前記音声情報に対応する字幕情報を前記映像に出力する段階をさらに含む、請求項１に記載のインタラクティブコンテンツ提供方法。
8. 前記方法は、
   前記映像で出力される字幕に対する入力が感知されると、前記字幕情報に対応する前記使用者音声の入力を受ける段階；
   前記感知された字幕情報に対応する音声情報に前記使用者音声を挿入する段階；および
   前記プレイが終了すると前記使用者音声が挿入された音声情報が前記字幕情報に対応して出力されるアニメーション単位が再生される第２コンテンツを生成する段階をさらに含む、請求項７に記載のインタラクティブコンテンツ提供方法。
9. 前記映像で出力される字幕に対する入力が感知されると、前記字幕情報に対応する前記使用者音声の入力を受ける段階は、
   前記字幕情報の前に出力される字幕を探索する第１ボタン、および前記字幕情報の後に出力される字幕を探索する第２ボタンを出力する段階；
   前記第１ボタンまたは前記第２ボタンに対する使用者入力に基づいて前の字幕または次の字幕を出力する段階；および
   前記第１ボタンまたは前記第２ボタンに対する使用者入力に基づいて出力される字幕情報に対応する前記使用者音声の入力を受ける段階を含む、請求項８に記載のインタラクティブコンテンツ提供方法。
10. 前記映像で出力される字幕に対する入力が感知されると、前記字幕情報に対応する前記使用者音声の入力を受ける段階は、
    既設定された時間以上に前記使用者音声の入力を受ける場合、前記使用者に課金を賦課する段階を含む、請求項９に記載のインタラクティブコンテンツ提供方法。
11. 前記方法は、
    前記使用者情報が前記使用者の顔イメージを含む場合、前記顔イメージを標準化させて前記客体情報のうちキャラクタの顔に該当する客体情報に前記標準化された顔イメージを代入する段階をさらに含む、請求項１に記載のインタラクティブコンテンツ提供方法。
12. 前記代入する段階は、
    前記使用者から顔イメージが入力される場合、顔イメージが所定の角度、形態、または表情を形成するように変形されたイメージを出力するように学習された所定の人工知能モデルを利用して、前記顔イメージが所定の角度、形態、または表情を形成するように標準化する段階；および
    前記標準化された顔イメージの特徴点を頂点（ｖｅｒｔｅｘ）として特定する段階；
    前記頂点を連結して構成されたメッシュ（ｍｅｓｈ）構造で構成された３次元モデルを形成する段階；
    前記客体情報のうちキャラクタの顔に該当する客体情報に前記３次元モデルを代入する段階を含む、請求項１１に記載のインタラクティブコンテンツ提供方法。
13. 前記インタラクティブコンテンツをプレイさせる段階は、
    前記３次元モデルを構成する頂点を前記駆動情報によって移動して動きまたは表情を具現する段階を含む、請求項１２に記載のインタラクティブコンテンツ提供方法。
14. 前記動きまたは表情を具現する段階は、
    前記３次元モデルを構成する頂点のうち動きが開始される第１頂点と前記動きが終結する第２頂点を特定する段階；および
    前記３次元モデルを構成する頂点が前記駆動情報に基づいて移動して動きや表情を実装するように、前記第１頂点が前記第２頂点に向かって移動するように制御する段階を含む、請求項１３に記載のインタラクティブコンテンツ提供方法。
15. 前記動きまたは表情を具現する段階は、
    前記３次元モデルを構成する頂点のうち動きが開始される第１頂点と前記動きが終結する第２頂点を特定する段階、前記第１頂点は複数個の頂点を含み、前記複数個の頂点は互いに異なる少なくとも一つの頂点と連結されており、前記第２頂点は前記複数個と同一個数の頂点を含む；
    前記３次元モデルを構成する面（ｆａｃｅ）のうち前記複数の第１頂点それぞれの動きの終結地点として特定された前記複数の第２頂点それぞれに達するまでを最短距離で連結する面を判別する段階；
    前記面に基づいて前記第１頂点から前記第２頂点に達する所定の線に沿ってｎ個（ｎは１以上の自然数）の地点を特定する段階；および
    前記動きを具現する場合、前記第１頂点が前記ｎ個の地点を経て前記第２頂点に向かって移動するように制御する段階を含む、請求項１３に記載のインタラクティブコンテンツ提供方法。
16. 前記客体情報のうちキャラクタの顔に該当する客体情報に前記標準化された顔イメージを代入する段階は、
    前記客体情報のうち基本キャラクタに加えて追加のキャラクタに顔イメージを代入する選択を受ける場合、前記使用者に課金を賦課する段階を含む、請求項１１に記載のインタラクティブコンテンツ提供方法。
17. 前記方法は、
    前記使用者情報が前記使用者の顔イメージを含む場合、所定の人工知能アルゴリズムに基づいて前記顔イメージを分析して前記顔イメージの属性を示す第１タグ情報を抽出する段階；および
    キャラクタの顔に該当する客体情報にマッピングされている第２タグ情報と前記第１タグ情報とを比較して、対応する前記第１および第２タグ情報が最も多いキャラクタに前記顔イメージを代入する段階をさらに含み、
    前記第２タグ情報は、
    前記キャラクタの顔に該当する客体情報にマッピングされて既保存されているか、または所定の人工知能アルゴリズムに基づいて前記キャラクタのイメージから抽出された属性情報である、請求項１１に記載のインタラクティブコンテンツ提供方法。
18. 前記方法は、
    前記使用者情報が前記使用者の顔イメージを含む場合、前記顔イメージのトーンを補正する段階；および
    前記顔イメージを所定の規則に沿って変形させる顔フィルタを適用する段階をさらに含む、請求項１１に記載のインタラクティブコンテンツ提供方法。
19. 前記方法は、
    前記使用者情報が前記使用者の顔イメージを含む場合、所定の人工知能アルゴリズムに基づいて既設定された顔情報の規格から外れる場合、他の顔イメージを入力することを要請する段階をさらに含む、請求項１１に記載のインタラクティブコンテンツ提供方法。
20. 前記方法は、
    前記客体情報が出力されるべき位置が異なる規格別に既設定されている座標情報に基づいて、使用者の前記規格の選択によって前記客体情報を前記規格に対応する座標情報によって出力する段階をさらに含む、請求項１に記載のインタラクティブコンテンツ提供方法。
21. 前記方法は、
    前記インタラクティブコンテンツ提供装置のカメラ部を駆動して周辺環境を撮影した周辺映像の入力を受ける段階；
    前記インタラクティブコンテンツ提供装置のディスプレイ部内で前記客体情報が出力されるべき位置が既設定されている座標情報に基づいて、前記客体情報を前記周辺映像のレイヤーの上部に配置して前記ディスプレイ部に出力したり、または前記客体情報が前記周辺映像の位置のうち一地点にマッピングされるように設計された関数に基づいて、前記客体情報を前記周辺映像のレイヤーの上部に配置して前記ディスプレイ部に出力する段階をさらに含む、請求項１に記載のインタラクティブコンテンツ提供方法。
22. 前記方法は、
    入力された客体情報のクラスを判別して前記クラスに対応する駆動情報をマッピングさせるように学習された所定の人工知能モデルを利用して、前記人工知能モデルに第１客体情報を入力し、前記人工知能モデルが判別した第１駆動情報をマッピングさせる段階；および
    前記第１客体情報に対応する客体に対する前記使用者入力を感知すると、第１駆動情報を駆動させる段階を含む、請求項１に記載のインタラクティブコンテンツ提供方法。
23. 前記客体情報は、
    キャラクタの顔または使用者の顔を反映する使用者モデルおよび前記使用者モデルに対する相対的距離に基づいて前記使用者モデルと共に表現され得る第２客体に対する情報をさらに含み、
    前記インタラクティブコンテンツをプレイさせる段階は、
    前記駆動情報によって前記使用者モデルが動く場合、前記使用者モデルに含まれた一つ以上の頂点と前記第２客体との相対的距離が一定に維持されるように設定して前記インタラクティブコンテンツをプレイさせる段階を含む、請求項１に記載のインタラクティブコンテンツ提供方法。
24. インタラクティブコンテンツ提供装置において、
    使用者入力を感知する入力インターフェース；映像を出力するディスプレイ部；所定の動作を遂行するようにする命令語を保存する一つ以上のメモリ；および前記一つ以上のメモリと動作可能なように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、
    前記一つ以上のプロセッサは、
    前記映像に出力される客体を特定する客体情報と前記客体の動作を定義した駆動情報を含む複数のアニメーション単位が再生されるにつれて、前記客体が前記駆動情報によって動きながらプレイされるインタラクティブコンテンツを使用者に提供する動作；
    前記インタラクティブコンテンツに反映される前記使用者情報の入力を受ける動作；および
    前記客体情報のうち一部に前記使用者情報を挿入し、前記複数のアニメーション単位のうち少なくとも一つを再生させて前記インタラクティブコンテンツをプレイさせる動作を遂行する、インタラクティブコンテンツ提供装置。
25. 請求項１に記載された方法をプロセッサが遂行するようにする命令語を含むコンピュータプログラムが記録された、コンピュータ読み取り可能記録媒体。

Images