JP2020513123A - イメージに動的エフェクトを適用する方法および装置 - Google Patents

Abstract

イメージに含まれるオブジェクトの形状に関する情報およびイメージに含まれるオブジェクトの間の相対的位置に関する情報を含む所定のパターン情報に基づいてターゲットイメージから奥行き情報を取得し、取得された奥行き情報に基づいてターゲットイメージに動的エフェクトを適用する、イメージ処理方法が提供される。

Description

本開示は、イメージに動的エフェクトを適用する方法および装置に関し、より詳細には、イメージの少なくとも１つの部分の奥行き情報を取得し、取得された奥行き情報に基づいてイメージにモーションエフェクトのような動的エフェクトを適用する方法および装置に関する。

イメージ（画像）は、２次元の事物を表現するものであるため、動画のような躍動感や臨場感を表現することができない。これに対し、動画の場合は、イメージに比べて容量が極めて大きい上に、制作に多くの時間がかかるという短所がある。

複数のイメージを撮影した後、これらの複数のイメージを合成することにより、動画のように認識することのできるコンテンツ（イメージ）を生成する方法も存在する。しかしながら、複数のイメージを撮影するのは極めて面倒である上に、複数のイメージを合成して生成したコンテンツの容量は、複数のイメージの容量を合わせたものであるため、単一イメージに比べて容量が大きくなり、効率的でない。

したがって、動画ではなく、イメージを基盤として生成されたコンテンツで躍動感や臨場感を表現することができるとともに、既存のイメージと比べて容量を著しく増加させないコンテンツを生成するためのイメージ処理方法および装置が求められている。

特許文献１は、２次元イメージデータに含まれる複数のオブジェクトから選択された第１オブジェクトを分離し、背景の第１位置および第２位置に第１オブジェクトの配置に関するデータを生成することにより、２次元イメージを３次元イメージで表示する方法を記載している。

上述した情報は、理解を助けるためのものに過ぎず、従来技術の一部を形成しない内容を含むこともあるし、従来技術が当業者に提示することができる内容を含まないこともある。

韓国登録特許第１０−１５１３９９９号公報

一実施形態は、イメージに含まれるオブジェクトの形状に関する情報およびイメージに含まれるオブジェクトの間の相対的位置に関する情報を含む所定のパターン情報に基づいてターゲットイメージの奥行き情報を取得し、取得された奥行き情報に基づいてターゲットイメージに動的エフェクトを適用するイメージ処理方法を提供することを目的とする。

一側面において、イメージに含まれるオブジェクトの形状に関する第１情報および前記イメージに含まれる少なくとも２つのオブジェクトの間の相対的位置に関する第２情報を含む所定のパターン情報に基づいて、ターゲットイメージに含まれるオブジェクトの少なくとも第１部分および前記ターゲットイメージから前記ターゲットイメージに含まれるオブジェクトを除いた領域のうちの少なくとも第２部分のうちの少なくとも１つの奥行き情報を取得する段階、および前記の取得された奥行き情報に基づいて、前記第１部分および前記第２部分のうちの少なくとも１つに動的エフェクトを適用する段階を含む、イメージ処理方法を提供する。

前記奥行き情報を取得する段階は、前記ターゲットイメージの複数のポイントそれぞれの奥行き情報を取得してよい。

前記ポイントそれぞれは、前記第１部分または前記第２部分に対応してよい。

前記動的エフェクトを適用する段階は、前記複数のポイントから取得された奥行き情報が示す奥行き値に基づいて、前記ポイントのうちの少なくとも２つのポイントそれぞれに互いに異なる動的エフェクトを適用してよい。

前記動的エフェクトを適用する段階は、前記ポイントのうち、奥行き値が所定の値以上であるポイントに第１動的エフェクトを適用する段階、および前記ポイントのうち、奥行き値が前記所定の値未満であるポイントに第２動的エフェクトを適用する段階を含んでよい。

前記第１動的エフェクトおよび前記第２動的エフェクトは、適用されるポイントと連関するオブジェクトまたは前記連関するオブジェクトに含まれる要素にモーションエフェクトが発生されるようにしてよい。

前記第１動的エフェクトが適用されるときは、前記第２動的エフェクトが適用されるときよりも、前記連関するオブジェクトまたは前記連関するオブジェクトに含まれる要素に大きなモーションエフェクトを発生させてよい。

前記ターゲットイメージに含まれるオブジェクトは、背景、前記背景を構成する事物、または前記ターゲットイメージから前記背景を除いた事物であってよい。

前記奥行き情報は、前記ターゲットイメージに含まれるオブジェクトまたは前記含まれるオブジェクトに含まれる一要素を基準とした相対的な奥行き値を示してよい。

前記動的エフェクトは、適用される前記ターゲットイメージの部分に、モーションエフェクト、色変更エフェクト、および形状変更エフェクトのうちの少なくとも１つが発生されるようにしてよい。

前記モーションエフェクトは、適用される前記ターゲットイメージの部分に、振動エフェクト、回転エフェクト、または傾きエフェクトが発生されるようにしてよい。

前記第１情報は、前記ターゲットイメージに含まれる特定のオブジェクトの影を識別するための情報または前記特定のオブジェクトの輪郭を識別するための情報を含んでよい。

前記第２情報は、前記影の方向、大きさ、および形状のうちの少なくとも１つ、または、前記輪郭と他のオブジェクトの輪郭との関係に基づいて、前記ターゲットイメージに含まれる前記特定のオブジェクトと他のオブジェクトとの間の相対的位置を前記奥行き情報として決定するための情報を含んでよい。

前記動的エフェクトを適用する段階は、所定の動的エフェクトパターン情報に基づいて、前記第１部分および前記第２部分のうちの少なくとも１つに適用される動的エフェクトを決定する段階、および前記の決定された動的エフェクトを前記第１部分および前記第２部分のうちの少なくとも１つに適用する段階を含んでよい。

前記動的エフェクトを適用する段階は、前記第１情報および第２情報に基づいて識別された前記ターゲットイメージに含まれるオブジェクトおよび前記オブジェクトを除いた領域のうちの少なくとも１つに関する情報に基づいて、前記所定の動的エフェクトパターン情報を決定する段階をさらに含んでよい。

前記第１情報は、前記ターゲットイメージに含まれる特定のオブジェクトを識別し、前記特定のオブジェクトに含まれる少なくとも１つの要素の形状を識別するための情報を含んでよい。

前記特定のオブジェクトは、人間の顔であってよい。

前記特定のオブジェクトに含まれる少なくとも１つの要素は、前記顔に含まれる部位であり、目、鼻、口、または耳であってよい。

前記動的エフェクトを適用する段階は、前記顔に適用される動的エフェクトに対応する第１表情パターン情報を決定する段階、および前記の決定された第１表情パターン情報に基づいて、前記顔または前記顔に含まれる部位にモーションエフェクトを適用する段階を含んでよい。

前記動的エフェクトを適用する段階は、前記ターゲットイメージから前記顔を除いた部分または前記ターゲットイメージ全体に適用される動的エフェクトに対応する第２表情パターン情報を決定する段階、および前記の決定された第２表情パターン情報に基づいて、前記顔を除いた部分または前記ターゲットイメージ全体にモーションエフェクトを適用する段階を含んでよい。

他の一側面において、イメージに含まれるオブジェクトの形状に関する第１情報および前記イメージに含まれる少なくとも２つのオブジェクトの間の相対的位置に関する第２情報を含む所定のパターン情報に基づいて、ターゲットイメージに含まれるオブジェクトの少なくとも第１部分および前記ターゲットイメージから前記ターゲットイメージに含まれるオブジェクトを除いた領域のうちの少なくとも第２部分のうちの少なくとも１つの奥行き情報を取得する奥行き情報取得部、および前記の取得された奥行き情報に基づいて、前記第１部分および前記第２部分のうちの少なくとも１つに動的エフェクトを適用する動的エフェクト適用部を備える、イメージ処理装置を提供する。

前記イメージ処理装置は、前記パターン情報を記録している第１データベースをさらに備えてよい。

前記奥行き情報取得部は、前記第１データベースから前記パターン情報を取得してよい。

前記動的エフェクト適用部は、所定の動的エフェクトパターン情報に基づいて、前記第１部分および前記第２部分のうちの少なくとも１つに適用される動的エフェクトを決定し、前記の決定された動的エフェクトを、前記第１部分および前記第２部分のうちの少なくとも１つに適用してよい。

前記イメージ処理装置は、前記動的エフェクトパターン情報を記録している第２データベースをさらに備えてよい。

前記動的エフェクト適用部は、前記第２データベースから前記動的エフェクトパターン情報を取得してよい。

所定のパターン情報に基づいてターゲットイメージの奥行き情報を取得し、取得された奥行き情報に基づいてターゲットイメージに動的エフェクトを適用して所期のコンテンツを生成することにより、ユーザが動画と同じような動的なコンテンツとして認識できるコンテンツを生成することができる。

一実施形態における、ターゲットイメージの奥行き情報を取得し、取得された奥行き情報に基づいてターゲットイメージに動的エフェクトを適用する方法を示した図である。 一実施形態における、ターゲットイメージに動的エフェクトを適用する装置を示した図である。 一実施形態における、ターゲットイメージの奥行き情報を取得し、取得された奥行き情報に基づいてターゲットイメージに動的エフェクトを適用する方法を示したフローチャートである。 一実施形態における、動的エフェクトパターン情報を決定し、動的エフェクトパターン情報によって決定された動的エフェクトをターゲットイメージに適用する方法を示したフローチャートである。 一実施形態における、ターゲットイメージの顔／その他の表情パターン情報を決定し、決定された表情パターン情報によって決定されたモーションエフェクトをターゲットイメージの顔／その他の領域に適用する方法を示したフローチャートである。 一実施形態における、イメージに含まれるオブジェクトにおいて、オブジェクトの輪郭および／または影を使用して該当のオブジェクトの奥行き情報を取得する方法を示したフローチャートである。 一実施形態における、イメージに含まれる顔を識別し、顔に含まれる部位の奥行き情報を取得し、顔に動的エフェクトを適用する方法を示した図である。 一実施形態における、イメージに含まれるオブジェクトである背景に動的エフェクトを適用する方法を示した図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。

以下の詳細な説明では、動的エフェクトの適用対象となる「ターゲットイメージ」において、動的エフェクトが適用されていない「ターゲットイメージ」と動的エフェクトが適用された「ターゲットイメージ」との両方に、便宜上、同じように参照番号１００を付与した。

図１は、一実施形態における、ターゲットイメージの奥行き情報を取得し、取得された奥行き情報に基づいてターゲットイメージに動的エフェクトを適用する方法を示した図である。

図１は、ターゲットイメージ１００において、イメージに含まれる少なくとも１つのオブジェクトおよび／または該当のオブジェクトに含まれる少なくとも１つの要素の奥行き情報を取得し、取得された奥行き情報に基づいてオブジェクトおよび／または要素に動的エフェクトを適用する方法を示している。

ターゲットイメージ１００に含まれるオブジェクトとは、イメージに含まれる事物もしくは背景、または、事物もしくは背景に含まれる要素を意味してよい。すなわち、ターゲットイメージに含まれるオブジェクトは、背景、背景を構成する事物、またはターゲットイメージから背景を除いた事物であってよい。「事物」とは、物品はもちろん、人間の身体や身体に含まれる部位を含む個体すべてを包括したものであってよい。例えば、図に示すように、背景１１０、人間１２０、および直方体の物体１４０それぞれは、ターゲットイメージ１００に含まれるオブジェクトであってよい。また、人間１２０に含まれる顔１３０も、ターゲットイメージ１００に含まれるオブジェクトであってよい。ターゲットイメージ１００は、例えば、ユーザ端末などによって撮影された写真であってよい。

オブジェクトやオブジェクトに含まれる要素の奥行き情報は、該当のオブジェクトやオブジェクトに含まれる要素の特定の基準位置に対する、ｚ軸方向への相対的な奥行き値を含んでよい。例えば、図に示す例において、ターゲットイメージ１００に含まれる人間１２０は、背景１１０と比べてｚ_１の奥行き値を有し、物体１４０は、背景１１０に対してｚ_２の奥行き値を有してよい。

図２〜８を参照しながら詳しく説明されるイメージ処理装置は、所定のパターン情報を使用し、背景１１０、人間１２０、顔１３０、および物体１４０のうちの少なくとも１つの奥行き情報を取得してよく、取得された奥行き情報に基づいて、背景１１０、人間１２０、顔１３０、および物体１４０のうちの少なくとも１つに動的エフェクトを適用してよい。例えば、イメージ処理装置は、ターゲットイメージ１００に対して所定のパターン情報を使用し、背景１１０が最も後ろにあり、人間１２０および物体１４０がその前方にあることを判定してよい。これにより、イメージ処理装置は、背景１１０だけに動的エフェクトを適用したり、人間１２０および物体１４０と背景１１０とにそれぞれ異なる動的エフェクトを適用したりすることが可能となる。

ターゲットイメージ１００の奥行き情報を取得するために使用されるパターン情報は、イメージに含まれるオブジェクトの形状に関する情報（オブジェクトに含まれる要素の形状に関する情報を含む）およびイメージに含まれる少なくとも２つのオブジェクトの間の相対的位置に関する情報（オブジェクトに含まれる要素の間の相対的位置に関する情報を含む）を含んでよい。パターン情報は、予め定義された情報としてデータベースに記録されてよい。

ターゲットイメージ１００に適用される動的エフェクトは、適用されるターゲットイメージ１００の部分に、モーションエフェクト、色変更エフェクト（陰影変更エフェクトを含む）、および形状変更エフェクトのうちの少なくとも１つが発生されるようにするものであってよい。

ターゲットイメージ１００から取得された奥行き情報に基づいて動的エフェクトがターゲットイメージ１００に適用されることにより、ターゲットイメージ１００に立体感が付与されるようになり、ユーザは、ターゲットイメージ１００を動画と同じような動的なコンテンツ（または、３次元として認識される動的なコンテンツ）として認識することが可能となる。

パターン情報に基づいてターゲットイメージ１００の奥行き情報を取得する具体的な実施形態とターゲットイメージ１００に動的エフェクトを適用する具体的な実施形態とについては、図２〜８を参照しながらさらに詳しく説明する。

図２は、一実施形態における、ターゲットイメージに動的エフェクトを適用する装置を示した図である。

図２を参照しながら、ターゲットイメージ１００の奥行き情報を取得して動的エフェクトを適用するイメージ処理装置２００（以下、電子装置２００と称する）について説明する。

電子装置２００は、ターゲットイメージ１００の奥行き情報を取得して動的エフェクトを適用するための動作を実行する装置であって、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、ラップトップコンピュータ、タブレット、ＩｏＴ（Ｉｎｔｅｒｎｅｔ Ｏｆ Ｔｈｉｎｇｓ）機器、またはウェアラブルコンピュータなどのようにユーザが使用する端末であってよい。

また、電子装置２００は、ユーザが撮影したか、ユーザが所有しているか、またはユーザが要求したターゲットイメージ１００の奥行き情報を取得して動的エフェクトを適用する装置であって、ユーザ端末から離れた遠隔地に存在するサーバまたはその他のコンピュータ装置であってよい。

装置２００は、通信部２１０および制御部２２０を備えてよい。

通信部２１０は、電子装置２００が他のサーバやユーザ端末と通信するための装置であってよい。すなわち、通信部２１０は、他のサーバやユーザ端末との間でデータおよび／または情報を送信／受信する、電子装置２００のネットワークインタフェースカード、ネットワークインタフェースチップ、およびネットワーキングインタフェースポートなどのようなハードウェアモジュール、または、ネットワークデバイスドライバもしくはネットワーキングプログラムのようなソフトウェアモジュールであってよい。

制御部２２０は、電子装置２００の構成要素を管理してよく、電子装置２００が使用するプログラムまたはアプリケーションを実行してよい。例えば、制御部２２０は、ターゲットイメージ１００の奥行き情報を取得して動的エフェクトを適用するために実行されるプログラムまたはアプリケーションを実行してよく、他のサーバおよびユーザ端末から受信したデータを処理するように構成されてよい。また、制御部２２０は、プログラムまたはアプリケーションの実行およびデータの処理などに必要な演算を処理してよい。制御部２２０は、電子装置２００の少なくとも１つのプロセッサまたはプロセッサ内の少なくとも１つのコアであってよい。

制御部２２０は、ターゲットイメージ１００の奥行き情報を取得する奥行き情報取得部２２２、およびターゲットイメージ１００に動的エフェクトを適用する動的エフェクト適用部２２４を含んでよい。

奥行き情報取得部２２２は、所定のパターン情報に基づいて、ターゲットイメージ１００に含まれるオブジェクトの少なくとも第１部分およびターゲットイメージ１００からターゲットイメージ１００に含まれるオブジェクトを除いた領域のうちの少なくとも第２部分のうちの少なくとも１つの奥行き情報を取得してよい。所定のパターン情報は、イメージに含まれるオブジェクトの形状に関する第１情報およびイメージに含まれる少なくとも２つのオブジェクトの間の相対的位置に関する第２情報を含んでよい。

所定のパターン情報は、電子装置２００の記録部（図示せず）またはデータベースに予め記録されている情報、または、電子装置２００の外部のサーバまたはデータベースから取得される情報であってよい。

例えば、電子装置２００は、パターン情報を記録しているパターン情報データベース２３２を含んでよい。奥行き情報取得部２２２は、パターン情報データベース２３２からパターン情報を取得してよい。

動的エフェクト適用部２２４は、取得された奥行き情報に基づいて、第１部分および第２部分のうちの少なくとも１つに動的エフェクトを適用してよい。動的エフェクト適用部２２４は、所定の動的エフェクトパターン情報に基づいて、第１部分および第２部分のうちの少なくとも１つに適用される動的エフェクトを決定してよく、決定された動的エフェクトを、第１部分および第２部分のうちの少なくとも１つに適用してよい。

所定の動的エフェクトパターン情報は、電子装置２００の記録部（図示せず）またはデータベースに予め記録されている情報、または、電子装置２００の外部のサーバまたはデータベースから取得される情報であってよい。

例えば、電子装置２００は、動的エフェクトパターン情報を記録している動的エフェクトパターン情報データベース２３４を含んでよい。動的エフェクト適用部２２４は、動的エフェクトパターン情報データベース２３４から動的エフェクトパターン情報を取得してよい。

パターン情報データベース２３２および動的エフェクトパターン情報データベース２３４は、それぞれ異なる装置（またはサーバ）に含まれてもよいし、１つのデータベース２３０によって構築されてもよい。

制御部２２０の構成２２２および２２４のさらに具体的な機能および動作については、図３〜８を参照しながらさらに詳しく説明する。上述した制御部２２０の構成２２２および２２４は、少なくとも１つのプロセッサ内で実現されてよいため、構成２２２および２２４の機能および動作は、少なくとも１つのプロセッサによって実行されてよい。

一方、図に示されてはいないが、電子装置２００は、ユーザが入力したデータを出力したり、動的エフェクトが適用された（または適用されていない）ターゲットイメージ１００を表示したりするための表示部をさらに備えてよい。例えば、表示部は、タッチスクリーンを含んでよく、この場合、表示部は、ユーザからの設定および要求の入力を受けるための入力部の機能を備えるように構成されてよい。

図１を参照しながら説明した技術的特徴についての説明は、図２にもそのまま適用可能であるため、重複する説明を省略する。

図３は、一実施形態における、ターゲットイメージの奥行き情報を取得し、取得された奥行き情報に基づいてターゲットイメージに動的エフェクトを適用する方法を示したフローチャートである。

図３を参照しながら、上述した電子装置２００が実行するターゲットイメージ１００の奥行き情報取得方法および動的エフェクト適用方法についてさらに詳しく説明する。

段階３１０において、奥行き情報取得部２２２は、所定のパターン情報に基づいて、ターゲットイメージ１００の少なくとも一部の奥行き情報を取得してよい。すなわち、奥行き情報取得部２２２は、所定のパターン情報に基づいて、ターゲットイメージ１００に含まれるオブジェクトの少なくとも第１部分およびターゲットイメージ１００からターゲットイメージ１００に含まれるオブジェクトを除いた領域のうちの少なくとも第２部分のうちの少なくとも１つの奥行き情報を取得してよい。

所定のパターン情報は、イメージに含まれるオブジェクトの形状に関する第１情報およびイメージに含まれる少なくとも２つのオブジェクトの間の相対的位置に関する第２情報を含んでよい。

第１情報は、ターゲットイメージ１００に含まれるオブジェクトおよび／またはオブジェクトに含まれる要素を識別するために使用される情報を含んでよい。例えば、第１情報は、オブジェクトやオブジェクトに含まれる要素に該当する特定の事物（身体の部位を包括する）の形状に関する情報を含んでよい。第２情報は、ターゲットイメージ１００に含まれるオブジェクトの間の相対的位置、オブジェクトに含まれる要素の間の相対的位置、およびオブジェクトに含まれる要素と他のオブジェクトとの間の相対的位置のうちの少なくとも１つを決定するために使用される情報を含んでよい。相対的位置とは、奥行き値の比較を基盤とした情報であって、特定のオブジェクト（または要素）が他のオブジェクト（または要素）よりも前にあるか後ろにあるか、実質的に並んでいるかなどを示す情報であってよい。例えば、第２情報は、特定の事物（身体の部位）との関係において、該当の事物（部位）との間の通常的な相対的位置に関する情報を含んでよい。

所定のパターン情報に基づいて取得される奥行き情報は、ターゲットイメージ１００に含まれるオブジェクトまたはターゲットイメージ１００含まれるオブジェクトに含まれる一要素を基準とした奥行き値を示してよい。奥行き値は、相対的な値であってよい。例えば、奥行き値は、オブジェクト（または要素）が他のオブジェクト（または要素）よりも前にあるか後ろにあるか、実質的に並んでいるかなどを比較できる程度の精密度を有する値であってよい。すなわち、奥行き情報は、ターゲットイメージ１００に含まれるオブジェクト（または要素）の間の正確な奥行き値の差に関する情報を含まなくてよい。

例えば、奥行き情報取得部２２２は、所定のパターン情報の第１情報を使用してターゲットイメージ１００に含まれる背景１１０（例えば、後面の壁、山、空、または海）と背景ではないオブジェクト（例えば、人間１２０および物体１４０）とを認識してよく、認識された背景１１０と人間１２０および物体１４０とに対して第２情報を使用することにより、背景１１０が人間１２０および物体１４０よりも後ろにあることを識別し、これを奥行き情報として取得してよい。

奥行き情報取得部２２２は、所定のパターン情報を使用することにより、ターゲットイメージ１００の複数のポイントそれぞれの奥行き情報を取得してよい。ここで、それぞれのポイントは、上述した第１部分または第２部分に対応してよい。言い換えれば、奥行き情報取得部２２２は、ターゲットイメージ２２０の複数の部分から相対的なｚ軸の値情報を取得してよい。

段階３２０において、動的エフェクト適用部２２４は、段階３１０において取得された奥行き情報に基づいて、ターゲットイメージ１００の少なくとも一部に動的エフェクトを適用してよい。すなわち、動的エフェクト適用部２２４は、取得された奥行き情報に基づいて、上述した第１部分および上述した第２部分のうちの少なくとも１つに動的エフェクトを適用してよい。

動的エフェクトは、適用されるターゲットイメージ１００の部分に、例えば、モーションエフェクト、色変更エフェクト、および形状変更エフェクトのうちの少なくとも１つが発生されるようにするものであってよい。モーションエフェクトは、一例として、適用されるターゲットイメージ１００の部分に、振動エフェクト、回転エフェクト、または傾きエフェクトが発生されるようにするものであってよい。

モーションエフェクトの適用は、例えば、ターゲットイメージ１００の特定の部分を、ｘ軸、ｙ軸、およびｚ軸のうちの少なくとも１つの軸を基準として回転させる回転動作、および／または、特定の部分を、上、下、左、および右のうちのいずれか１つの方向にシフトさせるシフト動作を、ターゲットイメージ１００の特定の部分に適用させるものであってよい。

ターゲットイメージ１００の複数のポイントそれぞれの奥行き情報を取得する場合における、ターゲットイメージ１００に動的エフェクトを適用する方法については、段階３２２および３２４において詳細に説明する。図に示すように、段階３２２および３２４は、段階３２０に含まれてよい。

段階３２２において、動的エフェクト適用部２２４は、段階３１０において取得された奥行き値に基づいて、ターゲットイメージ１００の第１一部に第１動的エフェクトを適用してよい。例えば、動的エフェクト適用部２２４は、複数のポイントのうち、測定された奥行き値が所定の値以上であるポイントに第１動的エフェクトを適用してよい。所定の値とは、相対的位置に対応する相対的な値であり、基準となるオブジェクトまたはオブジェクトに含まれる要素の相対的位置に対応する値を示してよい。

段階３２４において、動的エフェクト適用部２２４は、段階３１０において取得された奥行き値に基づいて、ターゲットイメージ１００の第１一部とは異なる一部（第２一部）に第２動的エフェクトを適用してよい。例えば、動的エフェクト適用部２２４は、複数のポイントのうち、測定された奥行き値が所定の値未満であるポイントに第２動的エフェクトを適用してよい。

すなわち、ターゲットイメージ１００の複数のポイントから取得された奥行き情報が示す奥行き値に基づいて、ターゲットイメージ１００の複数のポイントのうちの少なくとも２つのポイントそれぞれに互いに異なる動的エフェクトを適用してよい。

第１動的エフェクトおよび第２動的エフェクトは、ターゲットイメージ１００の適用されるポイントと連関するオブジェクトまたは連関するオブジェクトに含まれる要素にモーションエフェクトが発生されるようにしてよい。第１動的エフェクトが適用されるときは、第２動的エフェクトが適用されるときよりも、連関するオブジェクトまたは連関するオブジェクトに含まれる要素に大きなモーションエフェクトが発生されるようになる。

例えば、動的エフェクト適用部２２４は、測定された奥行き値が所定の値以上であるポイントには、より大きな振動を発生させるモーションエフェクトを適用してよく、測定された奥行き値が所定の値未満であるポイントには、より小さな振動を発生させるモーションエフェクトを適用してよい。これにより、動的エフェクトが付加されたターゲットイメージ１００においては、前に位置するオブジェクトの振動を小さくし、後ろに位置するオブジェクトの振動を大きくする、立体的エフェクトを示すことが可能となる。

また、第１動的エフェクトは、背景１１０に適用されるものであって、ｘ軸、ｙ軸、およびｚ軸のうちの少なくとも１つを基準とした背景１１０の回転または背景１１０のシフトであってよく、第２動的エフェクトは、背景１１０ではなく、事物１２０および１４０に適用されるものであって、フィルタエフェクトまたは強調エフェクト（内部および／または輪郭線の強調）であってもよい。

段階３３０において、動的エフェクト適用部２２４は、動的エフェクトが適用されたターゲットイメージ１００を所期のコンテンツとして生成してよい。例えば、動的エフェクト適用部２２４は、動的エフェクトが適用されていないターゲットイメージ１００と動的エフェクトが適用されたターゲットイメージ１００（または、ターゲットイメージ１００の動的エフェクトが適用された部分）とを合成することによって所期のコンテンツを生成してよい。

ターゲットイメージ１００の奥行き情報取得方法および動的エフェクト適用方法に関するより具体的な実施形態については、図４〜８を参照しながらさらに詳しく説明する。

図１および図２を参照しながら説明した技術的特徴についての説明は、図３にもそのまま適用可能であるため、重複する説明を省略する。

図４は、一実施形態における、動的エフェクトパターン情報を決定し、動的エフェクトパターン情報によって決定された動的エフェクトをターゲットイメージに適用する方法を示したフローチャートである。

図３を参照しながら説明した段階３１０において、制御部２２０（または、奥行き情報取得部２２２もしくは動的エフェクト適用部２２４）は、パターン情報に基づいてターゲットイメージ１００に含まれるオブジェクト（オブジェクトに含まれる要素を含む）および／または該当のオブジェクトを除いた領域に関する情報を取得してよい（段階４１０）。例えば、制御部２２０は、パターン情報に基づいてターゲットイメージ１００に含まれるオブジェクトが何であるかを識別してよい。

以下で説明する段階４２０〜４４０により、識別されたオブジェクトやターゲットイメージ１００から該当のオブジェクトを除いた領域に適した動的エフェクトが決定されて適用されてよい。

段階４２０において、動的エフェクト適用部２２４は、段階４１０において取得された情報に基づいて、ターゲットイメージ１００に適用される動的エフェクトを決定するための所定の動的エフェクトパターン情報を決定してよい。すなわち、動的エフェクト適用部２２４は、上述した（奥行き情報を取得するための）パターン情報に含まれる第１情報および第２情報に基づいて識別されたターゲットイメージ１００に含まれるオブジェクトおよび該当のオブジェクトを除いた領域のうちの少なくとも１つに関する情報に基づいて、所定の動的エフェクトパターン情報を決定してよい。所定の動的エフェクトパターン情報の決定は、ユーザによる入力または選択をさらに基盤としてよい。例えば、識別されたターゲットイメージ１００のオブジェクトと関連し、該当のオブジェクトに適用可能な複数の動的エフェクトそれぞれ（またはいくつか）が動的エフェクトパターン情報に対応する場合、動的エフェクト適用部２２４は、複数の動的エフェクトに対応する動的エフェクトパターン情報を識別してよく、ユーザの選択にしたがい、ユーザが選択した動的エフェクトに対応する動的エフェクトパターン情報を決定してよい。

動的エフェクトパターン情報は、段階４１０において識別されたターゲットイメージ１００に含まれるオブジェクトが何であるかにより、該当のオブジェクトへの適用に合った動的エフェクトに関する情報を含んでよい。例えば、段階４１０において識別されたターゲットイメージ１００に含まれるオブジェクトが背景１１０（例えば、空、壁、山、または海）である場合、背景１１０への適用に合った動的エフェクトに関する情報を含む動的エフェクトパターン情報が決定されてよい。また、識別されたターゲットイメージ１００に含まれるオブジェクトが顔１３０である場合、顔の複数の表情に対応する動的エフェクトを顔１３０に適用するための、複数の表情に対応する動的エフェクトパターン情報が決定されてよい。この場合、ユーザによって１つの表情に対応する動的エフェクトパターン情報が選択されてよい。

段階４３０において、動的エフェクト適用部２２４は、段階４２０において決定された所定の動的エフェクトパターン情報に基づいて、段階３２０を参照しながら説明した、ターゲットイメージ１００の第１部分および第２部分のうちの少なくとも１つに適用される動的エフェクトを決定してよい。

段階４４０において、動的エフェクト適用部２２４は、段階４３０において決定された動的エフェクトを、ターゲットイメージ１００の第１部分および第２部分のうちの少なくとも１つに適用してよい。例えば、動的エフェクトパターン情報が、背景に対しては左右振動の動的エフェクトを適用することを示し、背景ではない残りのオブジェクトに対しては上下振動のエフェクトを適用することを示す場合、動的エフェクト適用部２２４は、ターゲットイメージ１００の背景１１０およびオブジェクト１２０〜１４０に、決定された動的エフェクトパターン情報が示す動的エフェクトを適用してよい。

一方、ターゲットイメージ１００に含まれる顔１３０に、段階４２０〜４４０において説明した動的エフェクト適用方法を適用する実施形態については、図５を参照しながらさらに詳しく説明する。

図１〜３を参照しながら説明した技術的特徴についての説明は、図４にもそのまま適用可能であるため、重複する説明を省略する。

図５は、一実施形態における、ターゲットイメージの顔／その他の領域に対して表情パターン情報を決定し、決定された表情パターン情報によって決定されたモーションエフェクトをターゲットイメージの顔／その他の領域に適用する方法を示したフローチャートである。

以下で説明する段階４２０’〜４４０’それぞれは、図４を参照しながら説明した段階４２０〜４４０のそれぞれに対応してよい。段階４２０〜４４０において説明した動的エフェクトパターン情報は、以下で説明する表情パターン情報に対応してよい。

図３を参照しながら説明したように、奥行き情報を取得するためのパターン情報の第１情報は、ターゲットイメージ１００に含まれる特定のオブジェクトを識別し、特定のオブジェクトに含まれる少なくとも１つの要素の形状を識別するための情報を含んでよい。また、パターン情報の第２情報は、特定のオブジェクトに含まれる少なくとも２つの要素の間の相対的位置を決定するための情報を含んでよい。

図５では、特定のオブジェクトが人間の顔であり、特定のオブジェクトに含まれる少なくとも１つの要素が、顔に含まれる部位として、目、鼻、口、または耳を示す場合の例について説明する。

上述した段階４１０において、パターン情報に基づいて、ターゲットイメージ１００に含まれる顔１３０および顔の部位が識別された。

段階４２０’において、動的エフェクト適用部２２４は、ターゲットイメージ１００の顔１３０／その他の領域に適用される第１／第２表情パターン情報を決定してよい。動的エフェクト適用部２２４は、顔１３０に適用される動的エフェクトに対応する第１表情パターン情報を決定してよい。その他の領域は、ターゲットイメージ１００から顔１３０を除いた部分またはターゲットイメージ１３０の全体領域を示してよい。動的エフェクト適用部２２４は、その他の領域に適用される動的エフェクトに対応する第２表情パターン情報を決定してよい。

段階４３０’において、動的エフェクト適用部２２４は、決定された第１／第２表情パターン情報に基づいて、該当の領域に適用されるモーションエフェクトを決定してよい。

段階４４０’において、動的エフェクト決定部２２４は、段階４３０’において決定されたモーションエフェクトを、該当のターゲットイメージ１００の領域に適用してよい。

すなわち、動的エフェクト適用部２２４は、決定された第１表情パターン情報に基づいて顔１３０または顔１３０に含まれる部位の部位に適用されるモーションエフェクトを決定して適用してよく、決定された第２表情パターン情報に基づいてその他の領域に適用されるモーションエフェクトを決定して適用してよい。

第１表情パターン情報は、段階４１０において識別された顔１３０に適用可能な、事前に定義された表情に関する情報であってよい。例えば、第１表情パターン情報は、例えば、笑った表情パターン、怒った表情パターン、茫然とする表情パターン、悲しい表情パターン、または泣いた表情パターンであってよい。動的エフェクト決定部２２４は、このような表情パターンをユーザに提示してよく、ユーザの選択によって選択された表情パターンを、顔１３０に適用されるモーションエフェクトに対応する第１表情パターン情報として決定してよい。

動的エフェクト決定部２２４は、決定された第１表情パターン情報に基づいて顔１３０の目、鼻、口、および耳のうちの少なくとも１つの大きさ、形状、および色を変更することにより、顔１３０にモーションエフェクトを適用してよい。

第２表情パターン情報は、段階４１０において識別された顔１３０を除いた部分またはターゲットイメージ１００の全体（すなわち、上述したその他の領域）に適用可能な、予め定義された動的エフェクトに関する情報であってよい。例えば、第２表情パターン情報は、例えば、笑った表情パターン、怒った表情パターン、茫然とする表情パターン、悲しい表情パターン、または泣いた表情パターンであってよい。動的エフェクト決定部２２４は、このような表情パターンをユーザに提示してよく、ユーザの選択によって選択された表情パターンを、その他の領域に適用されるモーションエフェクトに対応する第２表情パターン情報として決定してよい。また、ユーザによる第１表情パターンは選択によって決定され、第２表情パターン情報は自動で決定されてもよい。

第２表情パターン情報によるモーションエフェクトの適用は、例えば、所定の時間中に、ターゲットイメージ１００の基準位置に対してその他の領域を回転またはシフトさせるものであってよい。一例として、笑った表情パターンは、その他の領域に上下（ｙ軸）または左右（ｘ軸）方向への傾きエフェクトまたは回転エフェクトを発生させることを示してよく、怒った表情パターンは、ターゲットイメージ１００の全体に上下または左右方向への振動エフェクトを発生させることを示してよい。茫然とする表情パターンは、その他の領域に、上、下、左、右方向に交互に傾きエフェクトまたは回転エフェクトを発生させることを示してよい。

図１〜４を参照しながら説明した技術的特徴についての説明は、図５にもそのまま適用可能であるため、重複する説明を省略する。

図６は、一実施形態における、イメージに含まれるオブジェクトにおいて、オブジェクトの輪郭および／または影を使用して該当のオブジェクトの奥行き情報を取得する方法を示したフローチャートである。

図６を参照しながら、図３を参照しながら説明した、段階３１０のパターン情報に基づいてターゲットイメージ１００の奥行き情報を取得する方法についてさらに詳しく説明する。

奥行き情報を取得するために使用されるパターン情報が含む、上述した第１情報は、ターゲットイメージ１００に含まれる特定のオブジェクトの影を識別するための情報または特定のオブジェクトの輪郭を識別するための情報を含んでよい。また、パターン情報が含む、上述した第２情報は、影の方向、形状、および大きさのうちの少なくとも１つ、または、特定のオブジェクトの輪郭と他のオブジェクトの輪郭との関係に基づいて、ターゲットイメージ１００に含まれる特定のオブジェクトと他のオブジェクトとの間の相対的位置を奥行き情報として決定するための情報を含んでよい。

１−１．先ず、パターン情報の第１情報を使用してターゲットイメージ１００に含まれる特定のオブジェクトの影を識別し、パターン情報の第２情報を使用して特定のオブジェクトと他のオブジェクトとの相対的位置を決定することによって特定のオブジェクトの奥行き情報を取得する方法について説明する。

奥行き情報取得部２２２は、パターン情報の第１情報を使用し、第１物体１４０の第１影６１０−１と第２物体１５０の第２影６１０−２とを識別してよい。奥行き情報取得部２２２は、パターン情報の第２情報を使用し、識別された第１影６１０−１および第２影６１０−２の形状および／または大きさを比較することにより、第１物体１４０と第２物体１５０との間の相対的位置を決定してよい。例えば、１）奥行き情報取得部２２２は、第１影６１０−１および第２影６１０−２のうち、大きい影に対応する物体をより前にある物体として識別してよい。また、２）奥行き情報取得部２２２は、第１影６１０−１および第２影６１０−２の形状を比較し、影の一部が後側壁面１１０−４と重なる形状を有する影に対応する物体を、より後ろにある物体として識別してよい。また、奥行き情報取得部２２２は、１）および２）を組み合わせて物体間の相対的位置を決定してもよい。図に示す例では、第１物体１４０が第２物体１５０よりも前にあると決定された（すなわち、後側壁面１１０−４を基準とした奥行き値ｚ’の値がｚ’’よりも大きいと判定される）。

１−２．次に、パターン情報の第１情報を使用してターゲットイメージ１００に含まれる特定のオブジェクトの影を識別し、パターン情報の第２情報を使用して特定のオブジェクトと他のオブジェクトとの相対的位置を決定することによって特定のオブジェクトの奥行き情報を取得する他の方法について説明する。

奥行き情報取得部２２２は、識別された第１影６１０−１とターゲットイメージ１００の基準線（例えば、水平線）とがなす角度（ｋ２）および第２影６１０−２とターゲットイメージ１００の基準線とがなす角度（ｋ１）を決定してよく、ｋ１およびｋ２の大きさを比較してよい。奥行き情報取得部２２２は、（パターン情報に含まれる第２情報を使用して）大きい角度に該当する影に対応するオブジェクト（図に示す例では物体１５０）が、より後ろにある物体であると決定してよい。すなわち、図に示す例では、壁面１１０−４を基準とした奥行き値ｚ’の値がｚ’’’よりも大きいと判定されてよい。

１−１および１−２の方法において、奥行き情報取得部２２２は、物体の奥行き情報を取得するのに先立ち、光源６００の方向（光源６００が位置する方向）または位置を先に決定してよい。光源の位置は、識別された第１影６１０−１および第２影６１０−２の方向によって決定されてよい。例えば、奥行き情報取得部２２２は、影６１０−１または６１０−２とターゲットイメージ１００の基準線（例えば、水平線）とがなす角度（ｋ１またはｋ２）に基づいて、角度（ｋ１またはｋ２）を形成する基準線ではなく、直線が延びる方向を光源６００が位置する方向として決定してよい。また、奥行き情報取得部２２２は、角度（ｋ１）を形成する基準線ではなく、直線と角度（ｋ２）を形成する基準線でもなく、直線が交わる位置を光源６００の位置として決定してよい。光源６００は、ターゲットイメージ１００内に含まれてもよいし、含まれなくてもよい。

決定された光源６００の方向または位置により、奥行き情報取得部２２２は、物体１４０および１５０の奥行きを異なる方式で判断してよい。例えば、光源６００が、図に示す場合とは異なり、光源が後側壁面１１０−４の右側下端に位置すると決定された場合には、奥行き情報取得部２２２は、１−１の方法により、影が大きい物体を後ろに位置するものと決定してよい。また、奥行き情報取得部２２２は、１−２の方法により、基準線と影とがなす角度が大きい物体を前に位置するものと決定してよい。

すなわち、奥行き情報取得部２２２は、決定された光源６００の位置または方向による影の形状、大きさ、および方向の変化を総合的に考慮することで、ターゲットイメージ１００に含まれるオブジェクトの奥行き情報を取得してよい。

奥行き情報取得部２２２が影の形状および大きさを識別する方法については、イメージで影を認識することができるすべての技術が適用可能であるため、詳しい説明を省略する。例えば、奥行き情報取得部２２２は、ターゲットイメージ１００で一定の方向に延びている黒色の領域を識別することにより、ターゲットイメージ１００に含まれるオブジェクトの影を識別してよい。

２．次に、パターン情報の第１情報を使用してターゲットイメージ１００に含まれる特定のオブジェクトの輪郭と他のオブジェクトの輪郭とを識別し、パターン情報の第２情報を使用して特定のオブジェクトと他のオブジェクトとの間の相対的位置を決定することによって特定のオブジェクトの奥行き情報を取得する方法について説明する。

奥行き情報取得部２２２は、パターン情報の第１情報を使用し、第１物体１４０の輪郭６２０および第３物体１６０の輪郭を識別してよい。オブジェクトの輪郭とは、オブジェクトのエッジおよび周囲を含む外側境界部を意味してよい。

例えば、奥行き情報取得部２２２は、第１物体１４０の輪郭６２０および第３物体１６０の輪郭を把握することにより、第１物体１４０および第３物体１６０の形状を識別してよい。奥行き情報取得部２２２は、パターン情報の第２情報を使用し、球形状であると把握された第３物体１６０の輪郭の少なくとも一部が第１物体１４０によって隠れていることを識別してよく、第３物体１６０を第１物体１４０の後ろに位置すると決定してよい（すなわち、後側壁面１１０−４を基準とした奥行き値ｚ’の値がｚ’’’よりも大きいと判定される）。

奥行き情報取得部２２２がオブジェクトの輪郭を識別する方法については、イメージ内のオブジェクトを識別することができるすべての技術が適用可能であるため、詳しい説明を省略する。

奥行き情報取得部２２２は、上述した１−１または１−２、および２を組み合わせて物体１４０〜１６０の間の相対的位置を決定してもよい。

一方、奥行き情報取得部２２２は、背景１１０を構成する要素（天井１１０−１、左側壁１１０−２、右側壁１１０−３、後側壁１１０−４、および床１１０−５）を識別してよく、このうち後側壁１１０−４を、ターゲットイメージ１００に含まれるオブジェクトのうちの最も後ろにあるものと決定してよい。

動的エフェクト適用部２２４は、上述した方法によって取得されたターゲットイメージ１００の奥行き情報に基づいてターゲットイメージ１００に動的エフェクトを適用してよい。

図１〜５を参照しながら説明した技術的特徴についての説明は、図６にもそのまま適用可能であるため、重複する説明を省略する。

図７は、一実施形態における、イメージに含まれる顔を識別し、顔に含まれる部位の奥行き情報を取得し、顔に動的エフェクトを適用する方法を示した図である。

図７を参照しながら、図５において説明した顔への動的エフェクト適用方法についてさらに詳しく説明する。

奥行き情報取得部２２２は、パターン情報を使用し、身体１２０および顔１３０が背景１１０よりも前に位置することを示す奥行き情報（ｚ＊＊に対応）を取得してよい。また、奥行き情報取得部２２２は、パターン情報を使用し、顔１３０に含まれる要素１３０−１〜１３０−４を識別してよく、特定の要素１３０−１を基準とした他の要素の奥行き情報（ｚ＊に対応）を取得してよい。

例えば、図に示すように、奥行き情報取得部２２２は、パターン情報の第１情報および第２情報を使用して目１３０−２、鼻１３０−１、口１３０−３、および耳１３０−４を識別してよく、顔１３０が正面を向いていることを識別してよい。このとき、鼻１３０−１が最も前に位置するようになることを把握してよい。奥行き情報取得部２２２は、鼻１３０−１を基準に、残りの要素１３０−２〜１３０−４が後ろにあると決定してよい。

動的エフェクト適用部２２４は、上述した方法によって取得された顔１３０の要素１３０−１〜１３０−４に基づいて、顔に適用されなければならない動的エフェクトに対応する動的エフェクトパターン情報を決定してよい。動的エフェクト適用部２２４は、顔に適用されなければならない動的エフェクトに対応する動的エフェクトパターン情報として、複数の表情（表情パターン情報）をユーザに提示してよく、ユーザの選択によって選択された表情パターン情報に該当する動的エフェクトを、顔１３０を含むターゲットイメージ１００に適用してよい。

例えば、怒った表情の表情パターン情報がユーザによって選択されると、動的エフェクト適用部２２４は、目１３０−２の形状を鋭く変更したり、色を赤色系統に変更したりしてよく、顔１３０を除いたターゲットイメージ１００の部分またはターゲットイメージ１００の全体部分に振動エフェクトを適用してよい。

上述したような動的エフェクトの適用により、ユーザは、ターゲットイメージ１００を動画と同じような動的なコンテンツとして認識することが可能となる。

図１〜６を参照しながら説明した技術的特徴についての説明は、図７にもそのまま適用可能であるため、重複する説明を省略する。

図８は、一実施形態における、イメージに含まれるオブジェクトとしての背景に動的エフェクトを適用する方法を示した図である。

図８を参照しながら、ターゲットイメージ１００に動的エフェクトを適用する方法の例について説明する。

動的エフェクト適用部２２４は、図に示すような動的エフェクトが適用されたターゲットイメージ８１０−１〜８１０−４を合成することにより、ユーザに動画と同じように認識されることのできる所期のコンテンツを生成してよい。

すなわち、動的エフェクト適用部２２４は、図に示した第１〜４ターゲットイメージ８１０−１〜８１０−４のように、背景に該当する部分に背景を変更する動的エフェクト（傾き、回転、またはシフト）を適用し、第１〜４ターゲットイメージ８１０−１〜８１０−４を合成することにより、適用された動的エフェクトが繰り返し再生されるように構成される所期のコンテンツを生成してよい。例えば、第１〜４ターゲットイメージ８１０−１〜８１０−４は、それぞれのフレームとして処理されてよい。

このような例では、背景に該当する部分だけに動的エフェクトが適用される場合について説明したが、上述したように、背景ではない部分にも同じように動的エフェクトを適用することが可能である。

上述の実施形態によれば、所定のパターン情報に基づいてターゲットイメージの奥行き情報を取得し、取得された奥行き情報に基づいてターゲットイメージに動的エフェクトを適用して所期のコンテンツを生成することにより、ユーザが動画と同じような動的なコンテンツとして認識できるコンテンツを生成することができる。

また、いくつかの実施形態によれば、ターゲットイメージから取得された複数の奥行き情報に基づいて、取得された奥行き情報に基づいて異なる動的エフェクトをターゲットイメージに適用することにより、既存のイメージと比べて臨場感および躍動感が向上した、動的なコンテンツを生成することができる。

また、いくつかの実施形態によれば、所定のパターン情報に基づいてターゲットイメージに含まれる特定のオブジェクトと他のオブジェクトとの間の相対的位置を奥行き情報として取得し、所定の動的エフェクトパターン情報に基づいてターゲットイメージに適用される動的エフェクトを決定することにより、臨場感および躍動感が向上した、動的なコンテンツを簡単に生成することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態において説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (20)

1. イメージに含まれるオブジェクトの形状に関する第１情報および前記イメージに含まれる少なくとも２つのオブジェクトの間の相対的位置に関する第２情報を含む所定のパターン情報に基づいて、ターゲットイメージに含まれるオブジェクトの少なくとも第１部分および前記ターゲットイメージから前記ターゲットイメージに含まれるオブジェクトを除いた領域のうちの少なくとも第２部分のうちの少なくとも１つの奥行き情報を取得する段階、および
   前記の取得された奥行き情報に基づいて、前記第１部分および前記第２部分のうちの少なくとも１つに動的エフェクトを適用する段階
   を含む、イメージ処理方法。
2. 前記奥行き情報を取得する段階は、
   前記ターゲットイメージの複数のポイントそれぞれの奥行き情報を取得し、前記ポイントそれぞれは、前記第１部分または前記第２部分に対応し、
   前記動的エフェクトを適用する段階は、
   前記複数のポイントから取得された奥行き情報が示す奥行き値に基づいて、前記ポイントのうちの少なくとも２つのポイントそれぞれに互いに異なる動的エフェクトを適用する、
   請求項１に記載のイメージ処理方法。
3. 前記動的エフェクトを適用する段階は、
   前記ポイントのうち、奥行き値が所定の値以上であるポイントに第１動的エフェクトを適用する段階、および
   前記ポイントのうち、奥行き値が前記所定の値未満であるポイントに第２動的エフェクトを適用する段階
   を含む、
   請求項２に記載のイメージ処理方法。
4. 前記第１動的エフェクトおよび前記第２動的エフェクトは、適用されるポイントと連関するオブジェクトまたは前記連関するオブジェクトに含まれる要素にモーションエフェクトが発生されるようにし、
   前記第１動的エフェクトが適用されるときは、前記第２動的エフェクトが適用されるときよりも、前記連関するオブジェクトまたは前記連関するオブジェクトに含まれる要素に大きなモーションエフェクトを発生させる、
   請求項３に記載のイメージ処理方法。
5. 前記ターゲットイメージに含まれるオブジェクトは、背景、前記背景を構成する事物、または前記ターゲットイメージから前記背景を除いた事物である、
   請求項１に記載のイメージ処理方法。
6. 前記奥行き情報は、前記ターゲットイメージに含まれるオブジェクトまたは前記含まれるオブジェクトに含まれる一要素を基準とした相対的な奥行き値を示す、
   請求項１に記載のイメージ処理方法。
7. 前記動的エフェクトは、適用される前記ターゲットイメージの部分に、モーションエフェクト、色変更エフェクト、および形状変更エフェクトのうちの少なくとも１つが発生されるようにする、
   請求項１に記載のイメージ処理方法。
8. 前記モーションエフェクトは、適用される前記ターゲットイメージの部分に、振動エフェクト、回転エフェクト、または傾きエフェクトが発生されるようにする、
   請求項７に記載のイメージ処理方法。
9. 前記第１情報は、前記ターゲットイメージに含まれる特定のオブジェクトの影を識別するための情報または前記特定のオブジェクトの輪郭を識別するための情報を含み、
   前記第２情報は、前記影の方向、形状、および大きさのうちの少なくとも１つ、または、前記輪郭と他のオブジェクトの輪郭との関係に基づいて、前記ターゲットイメージに含まれる前記特定のオブジェクトと他のオブジェクトとの間の相対的位置を前記奥行き情報として決定するための情報を含む、
   請求項１に記載のイメージ処理方法。
10. 前記動的エフェクトを適用する段階は、
    所定の動的エフェクトパターン情報に基づいて、前記第１部分および前記第２部分のうちの少なくとも１つに適用される動的エフェクトを決定する段階、および
    前記の決定された動的エフェクトを、前記第１部分および前記第２部分のうちの少なくとも１つに適用する段階
    を含む、請求項１に記載のイメージ処理方法。
11. 前記動的エフェクトを適用する段階は、
    前記第１情報および第２情報に基づいて識別された前記ターゲットイメージに含まれるオブジェクトおよび前記オブジェクトを除いた領域のうちの少なくとも１つに関する情報に基づいて、前記所定の動的エフェクトパターン情報を決定する段階
    をさらに含む、請求項１０に記載のイメージ処理方法。
12. 前記第１情報は、前記ターゲットイメージに含まれる特定のオブジェクトを識別し、前記特定のオブジェクトに含まれる少なくとも１つの要素の形状を識別するための情報を含む、
    請求項１に記載のイメージ処理方法。
13. 前記特定のオブジェクトは人間の顔であり、
    前記特定のオブジェクトに含まれる少なくとも１つの要素は、前記顔に含まれる部位であり、目、鼻、口、または耳である、
    請求項１２に記載のイメージ処理方法。
14. 前記動的エフェクトを適用する段階は、
    前記顔に適用される動的エフェクトに対応する第１表情パターン情報を決定する段階、および
    前記の決定された第１表情パターン情報に基づいて、前記顔または前記顔に含まれる部位にモーションエフェクトを適用する段階
    を含む、請求項１３に記載のイメージ処理方法。
15. 前記動的エフェクトを適用する段階は、
    前記ターゲットイメージから前記顔を除いた部分または前記ターゲットイメージ全体に適用される動的エフェクトに対応する第２表情パターン情報を決定する段階、および
    前記の決定された第２表情パターン情報に基づいて、前記顔を除いた部分または前記ターゲットイメージ全体にモーションエフェクトを適用する段階
    を含む、請求項１３に記載のイメージ処理方法。
16. 請求項１〜１５のうちのいずれか一項に記載のイメージ処理方法をコンピュータに実行させるプログラム。
17. イメージに含まれるオブジェクトの形状に関する第１情報および前記イメージに含まれる少なくとも２つのオブジェクトの間の相対的位置に関する第２情報を含む所定のパターン情報に基づいて、ターゲットイメージに含まれるオブジェクトの少なくとも第１部分および前記ターゲットイメージから前記ターゲットイメージに含まれるオブジェクトを除いた領域のうちの少なくとも第２部分のうちの少なくとも１つの奥行き情報を取得する奥行き情報取得部、および
    前記の取得された奥行き情報に基づいて、前記第１部分および前記第２部分のうちの少なくとも１つに動的エフェクトを適用する動的エフェクト適用部
    を備える、イメージ処理装置。
18. 前記パターン情報を記録している第１データベース
    をさらに備え、
    前記奥行き情報取得部は、前記第１データベースから前記パターン情報を取得する、
    請求項１７に記載のイメージ処理装置。
19. 前記動的エフェクト適用部は、所定の動的エフェクトパターン情報に基づいて、前記第１部分および前記第２部分のうちの少なくとも１つに適用される動的エフェクトを決定し、前記の決定された動的エフェクトを、前記第１部分および前記第２部分のうちの少なくとも１つに適用する、
    請求項１７に記載のイメージ処理装置。
20. 前記動的エフェクトパターン情報を記録している第２データベース
    をさらに備え、
    前記動的エフェクト適用部は、前記第２データベースから前記動的エフェクトパターン情報を取得する、
    請求項１９に記載のイメージ処理装置。

Images