JP2012519333A - 画像変換システムおよび方法 - Google Patents
画像変換システムおよび方法 Download PDFInfo
- Publication number
- JP2012519333A JP2012519333A JP2011552227A JP2011552227A JP2012519333A JP 2012519333 A JP2012519333 A JP 2012519333A JP 2011552227 A JP2011552227 A JP 2011552227A JP 2011552227 A JP2011552227 A JP 2011552227A JP 2012519333 A JP2012519333 A JP 2012519333A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- motion
- readable medium
- displacement map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
2次元画像を3次元に見せて、さらに動的または動画化された画像を生成するシステム、方法、装置、およびコンピュータ読み取り可能な媒体が提供されている。このシステム、方法、装置、およびコンピュータ読み取り可能な媒体は、他のソフトウェアの中でも顔特徴認識ソフトウェアと共に複数の新しい方法で変位マップを構築し、顔の領域を認識して、ユーザが認識したこれらの領域をカスタマイズできるようにする。さらに、生成された変位マップを利用して、動いている画像の全ての動的効果を生成することができる。
【選択図】図5C
【選択図】図5C
Description
本願は、2009年3月1日出願の米国仮特許出願61/156,537号の権利を主張する米国特許出願第12/714,518号の権利を主張しており、その双方は全ての目的のため、そのすべてが参照により本書に組み込まれている。
本発明は一般に画像変換に関し、より具体的には、排他的ではないが、2次元の静止画像を、幾つかの実施形態では3次元画像の動画を含む3次元画像に変換するシステムおよび方法に関するものである。
2次元画像上の特徴を特定し、2次元画像上の特徴を特性化する顔特徴認識ソフトウェアを実行し、任意に顔特徴以外の潜在的に移動する要素を識別し、これらの特徴および移動要素のキャラクタリゼーションに基づいて変位マップを生成し、変位マップに基づいてモーションシステムを生成し、モーションシステムに基づいて2次元画像を動画化させることによって、2次元画像を3次元画像に変換するためのシステムおよび方法が開示されている。好適な実施形態では、コンピュータベースのシステムが画像変換を実行する。
変位マッピングは、バンプマッピング、正規マッピング、および視差マッピングとは異なる代替のコンピュータグラフィック技術であり、(手順における)テクスチャまたは高さマップを利用して、表面上の各点においてテクスチャ機能が評価した数値に応じ、多くの場合は局所表面の垂線に沿って、テクスチャ表面上の点の実際の幾何学的位置がどこに配置されるかに影響を与える。これにより、特に自己遮蔽、自己投影および輪郭において、表面に優れた深度および細部の感覚を与えることが可能となる。
本発明の非限定的かつ非包括的な実施形態を以下の図面を参照して記載している。これらの図面では、特に明記されていない限り、様々な図面を通して同様の参照番号が同様の部分を示している。
一般に好適な実施形態をさらに理解するため、以下の詳述について説明がなされており、これは添付の図面に関連して解釈される。
画像変換のシステムおよび方法の一般に好適な実施形態が、その一部を構成する添付の図面を参照して以下により完全に記載されており、実施例として例示的な実施形態を示している。しかしながら、本発明は多くの異なる形態に組み込むことができ、本書に説明する実施形態に限定されると解釈すべきではない。むしろ、開示された実施形態は、本開示が綿密且つ包括的であり、本発明の範囲を当該技術分野における当業者に完全に伝達するよう提供されている。とりわけ、本発明は、複数の方法またはデバイスまたはそれらの組み合わせとして具体化することができる。従って、本発明は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をなすことができる。従って、以下の詳述は限定的な意味で捉えるべきではない。
明細書および特許請求の範囲を通して、文脈が明確に指示していない限り、以下の用語は明確に本書に関連している意味をなす。本書に用いられる「一実施形態では」という表現は必ずしも同一の実施形態を指す必要はないが、そうであってもよい。さらに、本書で用いられる「他の実施形態では」という表現は、必ずしも異なる実施形態を指す必要はないが、そうであってもよい。従って、下記のように、本発明の様々な実施形態は、本発明の範囲または概念を逸脱することなく、容易に組み合わせることができる。
さらに、本書で使用するような用語「または」は、包含的論理和(inclusive or operator)であり、文脈に明確に指示されていない限り、用語「および/または」と同等である。用語「に基づく」は排他的ではなく、文脈に明確に指示されていない限り、記載されていない更なる要因に基づくことも可能である。さらに、明細書を通して、「単数形の表現」や「前記」の意味は、複数の指示内容を含む。用語「において(in)」の意味は、「に関して」および「について」を含む。用語「接続された」とは、要素が直接的に接続されてもよい、あるいは1以上の干渉要素を介して接続されてもよいことを示唆している。
簡潔には、開示された実施形態は、2次元画像を任意に動画の3次元画像に変換することを実行するソフトウェアを含む、システム、方法、装置およびコンピュータ読み取り可能な媒体に関するものである。
例示的な動作環境
図1は、幾つかの実施形態を実施しうるネットワーク化されたコンピュータ環境の一実施形態の構成要素を示している。図示された構成要素のすべてが必須であるとは限らず、本発明の概念または範囲から逸脱することなく、構成要素の構成および種類を変更してもよい。図示のように、図1のシステム100は、画像管理サービス(IMS)106とのローカルエリアネットワーク(「LAN」)/ワイドエリアネットワーク(「WAN」)、およびクライアントデバイスを含む。
図1は、幾つかの実施形態を実施しうるネットワーク化されたコンピュータ環境の一実施形態の構成要素を示している。図示された構成要素のすべてが必須であるとは限らず、本発明の概念または範囲から逸脱することなく、構成要素の構成および種類を変更してもよい。図示のように、図1のシステム100は、画像管理サービス(IMS)106とのローカルエリアネットワーク(「LAN」)/ワイドエリアネットワーク(「WAN」)、およびクライアントデバイスを含む。
クライアントデバイス102−104の一実施形態が図3と共に以下により詳しく記載されている。しかしながら、一般に、クライアントデバイス102−104は、ネットワーク105またはその種のようなネットワークを通してデータを受信および送信できる任意のデバイスを具えることができる。さらに、クライアントデバイスは、ソフトウェアがロードまたはインストールされて実行されうるデバイス102−104を有してもよい。従って、クライアントデバイス102−104は、別のコンピュータデバイスに接続し、情報を受信可能な任意のコンピュータデバイスを含みうる。このようなデバイスは、コンピュータディスプレイを組み込んだデジタル写真フレーム、カメラ、携帯電話、スマートフォン、ディスプレイポケットベル、無線周波数(RF)デバイス、赤外線(IR)デバイス、携帯情報端末(PDA)、手持ち型コンピュータ、ラップトップ型コンピュータ、着用型コンピュータ、タブレット型コンピュータ、前記デバイスの1以上を組み合わせた一体型コンピュータ、およびその種のものといった、携帯型デバイスを含む。クライアントデバイス102−104は通常、機能や特徴の面で広い範囲にわたっている。例えば、携帯電話は、数字入力キーボードおよび限定的なLCDディスプレイを有しうる。他の例では、ウェブ可能なクライアントデバイスは、タッチセンサ式スクリーン、タッチペン、およびグラフィックを表示できるカラーLCD画面を有しうる。他の例では、クライアントデバイスは、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ネットワークPC、ウェブベースのテレビ装置またはその種のものといった有線または無線の通信媒体を用いて、一般にネットワークに接続するデバイスを含みうる。他の実施形態では、クライアントデバイスは、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ネットワークPCまたはその種のものといった、ソフトウェアを記憶および実行できるデバイスを含みうる。他の実施形態では、クライアントデバイスは本書に記載されたシステムおよび方法を実行するソフトウェアを有するデジタル写真フレームであってもよく、このソフトは任意に、フレームに予めロードされる、付属のコンピュータ読み取り可能な媒体に提供される、あるいはネットワークを通してダウンロードできるようにされる。
ウェブ可能なクライアントデバイスは、ウェブページ、ウェブベースのメッセージ、およびその種のものを受信したり送信するよう構成されたブラウザアプリケーションを含みうる。このブラウザアプリケーションは、限定ではないが、無線アプリケーションプロトコルメッセージ(WAP)、およびその種のものを含むウェブベースの言語を実質的に利用するグラフィックス、テキスト、マルチメディアおよびその種のものを受信および表示するよう構成されうる。一実施形態では、ブラウザアプリケーションは、携帯端末マークアップ言語(HDML)、ワイヤレスマークアップ言語(WML)、WMLScript、JavaScript、標準一般化マークアップ言語(SMGL)、ハイパーテキストマークアップ言語(HTML)、拡張可能なマークアップ言語(XML)、並びに他のおよび将来的な言語やその種のものを用いることができる。
クライアントデバイス102−104はさらに、別のコンピュータデバイスからコンテンツを受信するよう構成された、少なくとも1の他のクライアントアプリケーションを含みうる。このクライアントアプリケーションは、テキストコンテンツ、マルチメディア情報、およびその種のものを提供したり受信する機能を有しうる。クライアントアプリケーションはさらに、種類、機能、名称、およびその種のものを含む、それ自体を識別する情報を規定することもできる。
一実施形態では、クライアントデバイス102−104は、ネットワーク105を通してユーザ間の通信を可能にするよう構成されうる。クライアントデバイス101−104は、ファイルシステム、データストア、IMS106、またはその種のものなどからマルチメディア/画像情報を受信、入手、検索あるいは復旧するよう構成されうる。デバイス102−104はさらに、ユーザ間の通信やその種のものを送信するのと同時に、マルチメディア情報に注釈を付ける、および/またはマルチメディア情報を共有するよう構成されうる。クライアントデバイス102−104は、図4に図示された実施例のプロセス400の操作の少なくとも一部を実行することができる。
ネットワーク105は、IMS106およびその構成要素をクライアントデバイス102−104を含む他のコンピュータデバイスと接続するよう構成されている。ネットワーク105は、ある電子デバイスから他の電子デバイスに情報を通信する任意のコンピュータ読み取り可能な媒体の形態を利用することが可能である。さらに、ネットワーク105は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インフィニバンドによって接続されたシステムエリアネットワーク(SAN)、ユニバーサルシリアルバス(USB)ポートを介するような直接的な接続、コンピュータ読み取り可能な媒体の他の形態、プロセッサ間の接続、またはそれらの組み合わせに加えて、インターネットを含みうる。異なるアーキテクチャやプロトコルに基づくものを含む相互接続された一連のLANでは、ルーターはLAN間のリンクとして機能し、一方から他方へメッセージを送信することが可能となる。さらに、LAN内の通信リンクは通常はツイストペア線または同軸ケーブルを含むが、ネットワーク間の通信リンクはアナログ電話線、T1、T2、T3、およびT4を含む全面的または部分的な専用デジタル回線、総合デジタル通信網(ISDN)、デジタル加入者回線(DSL)、衛星リンクを含む無線リンク、または当該技術分野における当業者に知られているか技術の進歩によって開発される他の通信リンクを利用することもできる。さらに、リモートコンピュータおよび他の関連する電子デバイスは、最新且つ暫定的な電話線を介してLANまたはWANの何れかに遠隔的に接続することができる。基本的に、ネットワーク105は任意の通信方法を含んでおり、この方法によって情報がIMS106、クライアントデバイス102−104および他のコンピュータデバイスの間を移動することができる。
さらに、通信媒体は通常、コンピュータ読み取り可能な指示、データ構造、プログラムモジュール、または搬送波などの変調データ信号、データ信号、または他の搬送機構における他のデータを組み込んでおり、任意の情報送達媒体を含む。用語「変調データ信号」および「搬送波信号」は、信号内の情報、指示、データ、およびその種のものを符号化するように設定または変更された1以上の特性を有する信号を含む。例として、通信媒体は、ツイストペア、同軸ケーブル、光ファイバ、導波管などの有線媒体および他の有線媒体、および音響、RF、赤外線などの無線媒体および他の無線媒体を含む。
IMS106の一実施形態が図4と共に以下により詳細に記載されている。しかしながら、簡単に言えば、IMS106はネットワーク105に接続できる任意のコンピュータデバイスを含み、HTTPを利用する、画像を受信する、画像情報を送信する、ソフトウェアコードおよび論理プロセスまたはその種のものを実行するなどして、ネットワーク105を通して選択した複数の画像を受信することを可能にしうる。IMS106はさらに、様々な他のソースから画像および他のマルチメディア情報を受信することもできる。IMS106は、クライアントデバイス102−104のユーザが利用する、受信した情報の少なくとも一部を記憶することができる。IMS106は、図4に図示する実施例のプロセス400の操作の少なくとも一部を実行することができる。
IMS106として動作しうるデバイスは、デスクトップ型パーソナルコンピュータ(PC)、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ネットワークPC、サーバ、およびその種のものを含む。
図1は1つのコンピュータデバイスとしてIMS106を図示しているが、本発明の実施形態はこのように限定されない。例えば、本発明の実施形態の範囲または概念から逸脱することなく、1以上の別個のコンピュータデバイスにわたってIMS106の1以上の機能を分散させてもよいということは、本発明の実施形態の範囲内であると考えられる。
例示的なクライアントデバイス環境
図2は、本発明の実施形態を実行するシステムを含みうるクライアントデバイス200の一実施形態を示している。クライアントデバイス200は、図2に示すよりも多いまたは少ない構成要素を有していてもよい。しかしながら、図示した構成要素は、例示的な実施形態を開示するには十分である。クライアントデバイス200は、図1のクライアントデバイス102−104などを表してもよい。
図2は、本発明の実施形態を実行するシステムを含みうるクライアントデバイス200の一実施形態を示している。クライアントデバイス200は、図2に示すよりも多いまたは少ない構成要素を有していてもよい。しかしながら、図示した構成要素は、例示的な実施形態を開示するには十分である。クライアントデバイス200は、図1のクライアントデバイス102−104などを表してもよい。
図2に示すように、クライアントデバイス200は、バス224を介して大容量記憶装置230と通信している処理ユニット(CPU)222を有する。クライアントデバイス200はさらに、動力供給装置226と、1以上のネットワークインタフェース250と、音声インタフェース252と、ビデオインタフェース258と、ディスプレイ254と、キーパッド256と、入力/出力インタフェース260とを有している。動力供給装置226は、動力をクライアントデバイス200に供給する。充電式または非充電式の電池を用いて動力を供給することもできる。この動力は、ACアダプタまたは電池を追加および/または充電する動力格納台などの外部電源によって供給することもできる。
ネットワークインタフェース250はクライアントデバイス200を1以上のネットワークに接続する電気回路を有しており、限定ではないが、携帯通信用国際システム(GSM)、符号分割多重アクセス方式(CDMA)、時分割多重アクセス方式(TDMA)、ユーザデータグラムプロトコル(UDP)、通信制御プロトコル/インターネットプロトコル(TCP/IP)、SMS、汎用パケット無線システム(GPRS)、WAP、超広帯域(UWB)、無線ローカルエリアネットワーク(WLAN)コンピュータ通信を実行するIEEE802.11の標準規格群およびマイクロ波アクセスの世界標準(WiMax)のIEEE802.16標準規格、SIP/RTP、または様々な他の無線通信および有線通信プロトコルを含む1以上の通信プロトコルおよび技術に使用するため構成されている。ネットワークインタフェース250は、受信器、受信デバイス、またはネットワークインタフェースカード(NIC)として知られていることもある。
音声インタフェース252は、人の声音などの音声信号を生成したり受信するよう構成されている。例えば、音声インタフェース252はスピーカーやマイク(図示せず)に接続され、幾つかの動作の音声確認を生成することができる。ディスプレイ254は、液晶ディスプレイ(LCD)、気体プラズマ、発光ダイオード(LED)、またはコンピュータデバイスに使用される他の種類のディスプレイであってもよい。ディスプレイ254はさらに、タッチペン等の物体または人の手の指からの入力を受信するよう構成されたタッチセンサ式スクリーンを有しうる。
ビデオインタフェース258は、静止写真、ビデオセグメント、赤外線ビデオ、またはその種のものといったビデオ画像をキャプチャするよう構成されている。例えば、ビデオインタフェース258は、デジタルビデオカメラ、ウェブカメラ、またはその種のものに接続することができる。ビデオインタフェース258は、レンズと、画像センサと、他の電子装置とを具えうる。画像センサは、回路に組み込まれた相補型金属酸化膜半導体(CMOS)、電荷結合素子(CCD)、または光を検知する他の集積回路を含みうる。
キーパッド256は、ユーザの入力を受信するよう構成された入力デバイスを具えうる。キーパッドとして記載されてはいるが、キーパッドは本発明の実施形態に必須ではなく、単純にメニューを駆動する押しボタン、トラックホイールまたは他のデバイスの選択肢も含みうると考えられる。さらに、グラフィックユーザインタフェース(GUI)を有し、このようなインタフェースがキーパッド、マウス、押しボタン、タッチスクリーンまたは既知または予想される他の選択した機構を介して選択してもよい。音声制御入力も考えられる。キーパッド256はさらに、画像の選択および送信に関連するコマンドボタンを有しうる。
クライアントデバイス200はさらに、図2に図示されていない補助ディスプレイあるいは他の入力または出力デバイスのような外部デバイスと通信する入力/出力インタフェース260を具えている。入力/出力インタフェース260は、USB、赤外線、Bluetooth(登録商標)、InfiniBand(登録商標)またはその種ものといった1以上の通信技術を利用することができる。
大容量記憶装置230は、RAM232と、ROM234と、他の記憶手段とを含む。大容量記憶装置230は、コンピュータ読み取り可能な指示、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶する、コンピュータ記憶媒体の他の例を図示している。大容量記憶装置230はさらに、クライアントデバイス200の一部の低レベル動作を制御するベーシック入力/出力システム(「BIOS」)240も記憶している。この大容量記憶装置はさらに、クライアントデバイス200の動作を制御するオペレーティングシステム241を記憶している。この構成要素は、UNIX、LINUX(登録商標)、またはWindows(登録商標)の一種などの汎用のオペレーティングシステム、またはWindowsMobile(登録商標)、またはSymbian(登録商標)オペレーティングシステムなどの特殊なクライアント通信オペレーティングシステム、またはクライアントデバイス200と共に作動するかクライアントデバイスと共に作動するよう開発される他のオペレーティングシステムを含みうると理解されたい。このオペレーティングシステムは、ハードウェア要素の制御および/またはJavaアプリケーションプログラムを介するオペレーティングシステムの動作を可能にするJava仮想マシンモジュールを含む、あるいはインタフェース接続することができる。
記憶装置230はさらにクライアントデバイス200によって利用することができる1以上のデータ記憶装置244を具え、他のものの中から、アプリケーション242および/または他のデータを記憶する。例えば、データ記憶装置244を利用して、クライアントデバイス200の様々な機能を記載した情報を記憶することもできる。通信中にヘッダーの一部として送信する、要求によって送信する、またはその種のことを含む様々なイベントに基づいて、この情報は他のデバイスに提供されうる。さらに、データ記憶装置244を利用して、マルチメディア情報またはその種のものを記憶することもできる。マルチメディア情報の少なくとも一部は、クライアントデバイス200内のディスクドライブまたは他の記憶媒体(図示せず)に記憶することもできる。
アプリケーション242は、クライアントデバイス200によって実行された場合に、マルチメディア情報、ソフトウェア、データまたはその種のものを変換、転送、受信および/または処理する、コンピュータで実行可能な指示を含みうる。アプリケーション242はさらに、制御アプリケーション245と、通信アプリケーション243を含みうる。
通信アプリケーション243は、ネットワークインタフェース250を通して通信を管理する構成要素を有している。通信アプリケーション243は、メッセージを転送、受信、および/または処理する、このようなメッセージを記憶する、ある種類のメッセージを他の種類に翻訳する、またはその種のことをするよう構成されうる。通信アプリケーション243は、会話画面、ビデオ表示、またはその種のものといったユーザインタフェースを提供することができる。
制御アプリケーション245は、画像、フレームパターン、種類、またはその種のものの受信、構成、および/または選択を管理するよう構成された要素を含んでいる。この制御アプリケーション245は、制御、アプレット、またはその種のものとして(ウェブ)ブラウザに組み込むことができる。この制御アプリケーション245は、XML、JASON、AJAX、またはその種のものを利用して、ネットワークインタフェース250を通してサーバと通信することができる。この制御アプリケーション245の動作は、図4のプロセス400によって実行することができる。
例示的なネットワークデバイス
図3は、図1に示す実施例のIMS106のように動作しうる例示的なネットワークデバイス300を示している。ネットワークデバイス300の全ての構成要素は図示されておらず、ネットワークデバイス300は図3に示すよりも多いまたは少ない構成要素を有しうると理解されたい。
図3は、図1に示す実施例のIMS106のように動作しうる例示的なネットワークデバイス300を示している。ネットワークデバイス300の全ての構成要素は図示されておらず、ネットワークデバイス300は図3に示すよりも多いまたは少ない構成要素を有しうると理解されたい。
図3に示すように、ネットワークデバイス300は、中央処理ユニット(CPU)302と、大容量記憶装置と、バス304を介して接続されたネットワークインタフェースユニット312とを具えている。ネットワークインタフェースユニット312はネットワークデバイス300を図1のネットワーク105を含む様々なネットワークに接続するために必要な電子回路を有しており、TCP/IPおよびUDP/IPプロトコルを含む様々な通信プロトコルで使用するよう構成されている。ネットワークインタフェースユニット312は、有線および/または無線通信媒体を通してメッセージやデータを転送する電子回路および構成要素を含む、あるいはインタフェース接続してもよい。ネットワークインタフェースユニット312は、受信機、ネットワークインタフェースカード(NIC)、またはその種のものと称されることもある。
コンピュータ記憶媒体は、コンピュータ読取可能な指示、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶する方法または技術に実装される、揮発性および不揮発性の読取可能および読取不可能な媒体を含みうる。コンピュータ記憶媒体の例は、RAM306、ROM314、EEPROM、フラッシュメモリおよび/または他の記憶アーキテクチャ、CD−ROM、デジタル多用途ディスク(DVD)および/または他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置および/または他の磁気記憶装置、および/またはコンピュータデバイスによってアクセスできる情報を記憶できる他の媒体を含む。
ネットワークデバイス300はさらに、外部のデバイスまたはユーザと通信する入力/出力インタフェース(図示せず)を具えることもできる。
ネットワークデバイス300はさらに1以上の「ブレード(blade)」として実装することもでき、用語「ブレード」はバックプレーンを有するハードウェアの筐体に挿入される複数の電子回路基板またはカードの1つを指している。例示的なブレードは、1以上のプロセッサと、ブレードへの情報およびブレードからの情報を通信するのに適した揮発性および非揮発性のインタフェースと、1以上のアプリケーションの動作を可能にする他の構成要素とを有しうる。このブレードはさらに、バックプレーン用の特殊なインタフェースと、USBポート、FIREWIREポート、シリアルポート、RFインタフェース、IRインタフェース、イーサネットインタフェース、IDEコントローラ、InfiniBand(登録商標)インタフェース、およびその種のものといった他のインタフェースを有しうる。ブレード上で起動するアプリケーションはこれらのインタフェースの何れかを利用し、当該ブレードまたは他のブレードおよび/または当該ブレードのサーバに接続されたデバイス上で局所的に起動している他のアプリケーションに情報を通信することもできる。ネットワークデバイス300はさらに、ブレードと筐体の更なる構成要素の組み合わせとして実装することもできる。
大容量記憶装置は一般に、ランダムアクセスメモリ(「RAM」)306と、読み取り専用メモリ(「ROM」)314と、ハードディスクドライブ308などの1以上の永久大容量記憶装置とを有する。幾つかの実施形態では、大容量記憶装置は、ネットワークデバイス300の動作を制御するオペレーティングシステム316を記憶する。このオペレーティングシステム316は、UNIX、LINUX(登録商標)、Windows(登録商標)、または任意の固有のシステムなどのオペレーティングシステム、または他のオペレーティングシステムまたはその種のものを含みうる。一実施形態では、大容量記憶装置は、画像修正マネージャ(IMM)320を実行するプログラムコードとデータを記憶しうる。
IMM320は、HTTPを通して画像の修正を管理するよう構成された構成要素を有している。IMM320は、ディスクドライブ308などのデータ記憶装置に画像を記憶したり、低解像度の画像またはその種のものを生成することもできる。IMM320は、(例えば、オペレーティングシステム316によって提供される)HTTPサーバと通信し、ネットワークインタフェース312を通して低解像度の画像をウェブ制御に与えることができる。IMM320は、他のものの中から選択した複数の画像の寸法、フレームの種類、フレームのパターン、艶消しの種類、パターン、色、またはその種のものを受信しうる。
例示的な動作
一般に好適な実施形態は、様々な方法で3次元画像変換を実行する新規の変位マッピング技術を用いる。さらに、一般に好適な実施形態は、ユーザにユーザ自身の写真画像を2次元の静止画像から3次元の動画画像に変換する新規のシステム、方法および装置を提供している。これらの実施形態は写真の中の人を画像変換することに制限されず、限定ではないが、動物、景観の特徴、乗物、道具、機械、装置および他の対象物を含む運動しうる何でも動画化することに同等に適用できる。
一般に好適な実施形態は、様々な方法で3次元画像変換を実行する新規の変位マッピング技術を用いる。さらに、一般に好適な実施形態は、ユーザにユーザ自身の写真画像を2次元の静止画像から3次元の動画画像に変換する新規のシステム、方法および装置を提供している。これらの実施形態は写真の中の人を画像変換することに制限されず、限定ではないが、動物、景観の特徴、乗物、道具、機械、装置および他の対象物を含む運動しうる何でも動画化することに同等に適用できる。
一般に、変位マッピングは、バンプマッピング、正規マッピング、および視差マッピングとは異なる代替のコンピュータグラフィックス技術であり、(手順における)テクスチャまたは高さマップを利用して、表面上の各点においてテクスチャ機能が評価した数値に応じ、多くの場合は局所表面の垂線に沿って、テクスチャ表面上の点の実際の幾何学的位置がどこに配置されるかに影響を与える。これにより、特に自己遮蔽、自己投影および輪郭において、表面に優れた深度および細部の感覚を与えることが可能となる。一般に好適な実施形態は、2次元画像を3次元の体裁に変換するだけではなく、動的または動画の画像も生成する。変位マップは、他のソフトウェアの中でも、顔、身体および/または他の特徴の領域を認識し、認識されたそれらの領域をユーザがカスタマイズできるようにする顔特徴認識ソフトウェアと共に多くの新しい方法に用いられる。顔特徴認識ソフトウェアは、FaceCake Marketing Technologies社、または本発明の実施形態を使用する第3者によって作られうる。さらに、生成された変位マップを利用して、動いている画像の全ての動的効果を生成する。
図4Aは、2次元の静止画像から3次元の動画画像を生成する論理流れ図を示している。動画は多くの場合、非現実的な画像、すなわち漫画と併せて特徴付けられるが、本書に記載の動画または動画化とは、動いている画像または物体を意味する。さらに、本書では画像として記載されているが、この実施形態はこの範囲に限定することを意味するものではなく、本書に記載されているような任意のマルチメディア情報が考えられる。さらに、この実施形態における変位マップは色分けされて記載されているが、これは変位マップに制限を設けることを意味するものではなく、本書では他の変形物も考えられる。図4Aのプロセス400は、例えば図1のサーバ106、またはローカル装置のCPUによって実行されうる。
プロセス400は、開始ブロック後のブロック402で開始する。一実施形態では、方法400は、ユーザが写真402をアップロードあるいは復旧することで開始する。このような写真を図4Bに図示している。図4Cに示すように、ユーザは、要素を生成する、背景を生成する、画像を動画化する、または物体か境界線を生成するなど、ユーザが画像を如何にするかについて幾つかの異なる選択肢を与えられる場合がある。これについては、以下に詳しく記載する。この写真は、人や動物が真っ直ぐを見ているように撮られることが好ましい。このような好適な配置は本発明の実施形態および本書に記載する新規の方法の利用に制限を設けるものではなく、横向きまたは前方を向いていない画像を操作することができ、本書に記載の方法によって身体的特徴を書き込むか挿入することができ、これにより現実的な3次元画像が生成される。ユーザが顔の画像を動画化することを選択した場合は、図4Dのようにユーザにはオプションが提示され、そのオプションによって動画を生成する。402で画像がアップロードされた後、404においてユーザは画像上の様々な特徴の位置、すなわち眼、口、鼻、髪、腕、脚などの付属器官、およびアクセサリーを識別して定義する。代替的に、これらの特徴は、顔特徴認識または他の対象認識ソフトウェアを利用して自動的に特定される、あるいはソフトウェアによって検出されてユーザによって調整または精緻化することもできる。一旦404で顔特徴が特定されると、406において顔特徴認識ソフトウェアまたは他の手段を利用して、眼の形状、唇の形状、および鼻の形状といった特徴の形状を検出する。図4E−図4Gはこのようなプロセスを示している。潜在的に移動する部分それぞれの位置を識別すると、この移動部分が検出される。この移動部分はさらに、図4G−Iに示すような、形状、色または他の視覚的側面について修正することができる。幾つかの実施形態では、図4Kに示すような衣類または他の付属物の位置を識別できることが望ましい。この検出から、408で変位マップが生成される。変位マップを生成する方法の一実施形態は、図5Aと共に以下に記載する。生成された変位マップにより、ユーザは様々な特徴と相互作用することが可能となり、ユーザが現実的なモーションを生成することが可能となる。このような動作は、図4Lなどに示されており、予め検出された眼、眉毛、口および衣服が修正されて動作する。
一実施形態では、410で変位マップは色分けされ、各色が特定の動作、すなわち上、下、左、右に関係付けられる。次いで、412において、特徴のモーションを制御するために、各特徴がその上に色を重ね合わせた1以上の変異マップを有するようにする。例えば、画像内の頭部の周囲に円が位置している。この円には色が与えられ、この例では紫である。紫が下方モーションと結びつけて指定されている場合、この円は頭部の点が下がることを示している。同様に、緑色が同一の形状に適用された場合、緑は上方モーションに関連づけられ、点を上方に上げる。この画像は、色の強度または実際の色自体の何れかが変化した場合に動作する。例えば、ユーザが口を上下に移動すると円の色が変化し、画面上のユーザの画像を操作する。複数の色を組み合わせると、画像が現実的な動作をするように表すことが可能となる。変位マップの他の実施形態は、ベクトル、数値表示、および記号を含むが、これらに限定はされない。
414において、動く部分を複数の方法で生成することができる。例えば、ユーザは、ユーザ自身のモーションを生成して画像上またはデバイスの記憶装置内に読み込むことができる、あるいはユーザは無作為またはオプションから生成されうるプリセットモーションを単に選択することができる、あるいはユーザは既存のプリセットモーションを修正することができる。
一実施形態では、プリセットモーションは姿勢に起因しており、例えば、悲しみは俯いていることを含む全体的に厳粛な外見となり、幸せは上向きに微笑している等である。
モーションが設定された後、この画像は読み込まれて見ることができるようになる。3次元に動画化された画像は、音声ビデオインターリーブファイルであってもよい。これらの動作は、進行中に画面キャプチャをするソフトウェアを用いて記録される。これらの画像は共に圧縮される。デジタル画像を見ると、画面は変位マップから生成された連続する画像をキャプチャする。好適な実施形態では、画面は1秒間に15フレームをキャプチャする。このキャプチャ速度が好適な速度ではあるが、画面のキャプチャ速度に制限を設けることを意図するものではなく、より多くまたは少ないフレームをキャプチャしてもよい。
一般に好適な実施形態は、特定の動的な変位マップを利用することで、2次元の現実世界の物体の現実的な3次元効果を生成する方法を提供している。一実施形態では、2次元表示はデジタル写真の画像であり、他の実施形態では、写真画像はデバイスの記憶装置内に走査される。一実施形態では、3次元効果は、ユーザによって制御または動的に生成された様々な特徴を有する変位マップである。
図5Aは、500に、2次元表示の要素の動作および方向に関連する、新しい色分けされた変位マップを生成する例示的な方法の実施形態を示している。この方法は、502でモーションを色に関連付けることにより開始する。一実施例では、これらの動作は、紫−下、緑−上、ピンク−左、青−右というように色分けされる。これらの色分けは実施形態を制限することを意図するものではなく、代替的かつ更なるモーションや色分けも可能である。この方法では、モーション効果を生成すべく色分けが操作される。例えば、ある期間にわたって、点滅を模倣するために緑を消したり付けたりすると、モーションを滑らかにすることができ、更に内外を薄く色分けすることで、滑らかな動作を生成するように操作することができる。モーションが色に相互に関連づけられた後、504において、再現するのが望ましい動作または行動が識別される。このような動作は、左右のモーション、見上げるまたは俯く、跳ねる、および手を振ることを含むが、これらに限定はされない。このような動作や行動が識別された後、506において動作が色分けされる。例えば、変位マップでは、紫は下方への動作または下方モーションに関連付けることができる。紫がこのようなモーションに関連している場合、例えば、瞼は常に下にまばたきをするため、2次元画像のその部分は変位マップ上で紫に表示される。動作が色分けされた後、508において、変位マップおよびパラメータのグループを利用して感情の状態を生成する。現実的な3次元の動作を生成するため、様々な部分が共にグループ化される。例えば、顔の表情が、限定ではないが幸せ、悲しみ、失望および怒りを含む感情を与えている場合、眼、口、および顔の他の部分は多くの場合に関連した様子で挙動する。同様の方法は他の符号化システムにも利用することができ、例示的な方法が以下に記載されている。この実施形態の変位マップは色分けされると記載されているが、これは変位マップの生成を限定することを意味するものではなく、本書では他の変形物も考えられる。このような実施形態は、本書にさらに記載されているようなステップを利用して実行することができる。
他の実施形態では、ベクトル表示を利用して変位マップを符号化する。この実施形態では、ベクトルが画像から離れている第3の次元に投影されて、変位を表す。この変位の程度はベクトルの大きさや方向によって測定され、XまたはYの何れも、正または負軸に向いたベクトルによって表すことができる。
図5Bに示すように、このプロセスは2次元画像から開始する。画像が平坦な2D表示から回転し、図5Cに示すようにベクトルが回転した画像へと適宜投影されたときに、このベクトル表示をもっともよく表すことができる。
さらに他の実施形態では、変位は異なる形状または記号を利用することで作られ、異なる種類の変位を表す。矢印が指すような形状の向き、動画化されたハイライト、または他のマーカは、変位の際にどの方向に移動するかを示す。様々な形状は、例えば歪みの大きさを示すべく伸展させることができ、限定ではないが長方形または三角形を含む異なる形状を利用して、異なる変位の形式を表すこともできる。
図5Dに示すように、このプロセスは2次元画像から始まる。任意のN辺の形状を用いることができ、図5Eに示すように、ある方向を描写すべく通常は一軸に引き延ばされる。この実施形態はN辺の形状に関して記載しているが、代替的な実施形態では楕円のような形状を利用することを意図している。
他の方法では、様々な変位が特定の幾何学領域を包含する数字によって表される。数字を回転させたり、この数字の物理的なサイズを調整すると、様々な投影を偏らせる。回転並びにサイズの両方を数値に加えることにより、図5Fに示すような容易な変換以上に、様々な回転の種類および他の投影を含む変位形式に関する更なる情報を追加することができる。
グループ化した後、510で主な領域が座標系に関係付けられる。座標系は、動作することが望ましい全ての領域または要素に対して生じる。例えば、座標系は眼または唇に対して生じ、同様の方法で、雲または葉に対して座標系が生じうる。この座標系における全てではないが殆どの点は、変位マップが適用される2次元形状の外形を表している。しかしながらこれは座標系を制限するものではなく、座標系が制御点を表し、ある特徴の位置または境界線を示しうるということは、本発明の実施形態の範囲内であると考えられる。座標系の生成する非制限的な例が、図6A及び図6Bに示すような顔の実施形態に描写されている。図6Aに示すように、ユーザは、眼の周りの円といった望ましい領域に形状を配置するか、顔特徴認識ソフトウェアのプログラムが特定の領域を検出できるようにすることができる。一旦領域が識別されると、図6Bに示すように所望の適合性を得るため、このような領域は形状のサイズ変更または位置変更をすることにより更に精緻化することができる。
感情を表す顔の表情を利用すると、様々な民族グループに対する構成を設定をすることができる。顔特徴の動作は幾つかの民族の間で異なっており、一部の民族は幸福を表すのに眼を多く動作させ、他の民族は口を多く動作させる。民族性の構成は、世界の様々な地域における地方化を促進するのを助ける。
形状が配置された後、または形状が配置されているとき、512において特定の領域に対する変位マップの座標が生成される。その結果として、任意の形状または領域に対するXY座標が、ユーザの画像に対して特有の固有のパターンに記憶される。
一旦座標系が生じると、514において適切なモーションレベルが評価され、判定される。それぞれのモーションは制約がある通常の動作に対して適切なレベルを有し、動作が確実に現実的となるようにする。非限定的な例は、特定の回数下がる瞼、眼の範囲内を移動する眼球、首を基準としてのみ曲がる頭部を含むが、これらに限定はされない。方法500は、516において、このような変位および他の最大変位に対するパラメータを設定することができる。任意に、ユーザは、システムの最大設定よりも低いように、最大限に調整することができる。代替的な実施形態では、現実的な動作が不要な場合、ユーザは最大限度を超えて変位を調整し、特殊効果(すなわち、回転する頭部)を生成してもよい。それぞれのモーションレベルは特定のXY座標に対応する。所定の風景または状況では、XY座標は状況の論理に基づいて変化しうる。例えば、湖の波は、決して海の波ほど高く移動しない。結果として、パラメータは所定のモーションの状況にプリセットされる。代替的な実施形態では、モーションの状況はユーザによるプリセットから精緻化することができ、あるいは任意に、ユーザによって設定されて特殊な効果を可能にすることができる。
現実的なモーションの生成と併せて、受動的な逆モーションも実行することができる。受動的な逆モーションは、モーションの激しさや方向を調整することによって、より自然な動作を生成する。適用されるアルファから100%までのモーションの量は、何もないか激しいかの何れかとなりうる。これは、設定および選択された物体の相互作用に対してプリセットされる。一実施形態では、モーション動作は、どんなに方向が移動しても全く動かない場合に0%アルファが割り当てられる。すなわち、運動Xが運動Yを誘起しない場合、Yモーションが全く起こらない場合がある。逆モーションもまた、現実的にするために異なるモーションの方向に割り当てられることがある。例えば、特定のモーションにはプリセットの境界線がある場合があり、これにより、非現実的な動作がなくなる。このような境界線は、動作を完全に停止させず、単に制限するという点では受動的である。単純な例では、上方および下方方向への運動の連続は0乃至10のスケールに基づいており、5は全く動いていない(または、画像の本来の位置にあり、任意に中間位置であってもよい)。顔が、例えばスケールの5から8まで上方モーションで上向きになると、頭の頂部にプリセットされた境界線は僅かな割合で押し返し始め、これにより、頭部をまだ更に上げることができるにも関わらず、頭部自体に対してまたは後方に頭部が逆さになり始めないようにする。スケール上で最大9まで方向が移動すると下方に押し返す割合が増加し、最大の10のレベルで、顔はできる限り上を向いている。このような制限はプリセットすることができるが、一実施形態では、特殊効果のために、ユーザは設定限界を無効にすることができる。
座標系を作成した後、518で様々な変位マップが1つの画像に適用される、すなわち、同時に複数のモーションができるよう共に機能するように顔特徴が調整される。規定された領域に対する調整およびモーションレベルに対する調整は全て、同一の入力ストリームからの数値を用いる。全ての一連の調整はマップされている各写真について特有である。マッピングは、ユーザの1つの画像に複数の動作または行動を同時にさせることができるようにデザインされる。例えば、あるデータストリームを利用して、赤子が人の膝の上で上下し、左を見てまばたきをしながら、微笑することができる。確実に現実的な動作をさせるため、特定の態様では構築したXY座標系に依拠する。例えば、眼球の動作は、適切な角度およびモーションを反映するXY座標によって決定される。眼球のモーションは変位マップによってではなく入力ストリームのXY座標によってのみ決定されるが、眼自体は変位マップに影響される。例えば、人が左を見ているとき、あるべき状態で眼窩は顔に追従する。しかしながら、眼球は変位マップの影響を受ける領域内に自身のモーション範囲を有している。この例では、ユーザは、マウスを用いて眼球のモーションを指示し、眼球が何処を見ているかを決定することができる。
同時の複数のモーションに加えて、方法500は、520において、変位マップを規定して、1枚の写真内の複数の設定可能な領域に作用する。1以上の設定可能な領域が1枚の写真にある場合、ユーザは各領域に対して変位マップを生成することができる。さらに、ユーザは人または動物の変位マップを生成することに限定はされず、変位マップは、樹、車、またはモーションが望ましい他の種類の物体に対して生成することもできる。さらに、変位マップは衣服またはアクセサリーに対して生成することができ、これにより、これらは人または動物と共に適宜移動する。更なる制御作用がさらに複数の設定可能な領域に提供され、例えば、1以上の人が写真に写っている場合には、まばたきの速度は初期設定で代替的なモーション頻度にすることができ、これにより、画像内の各人が一斉にまばたきをすることはない。しかしながら、このような初期設定モードは、必要に応じて、ユーザにより調整または無効にすることができる。複数の設定可能な領域を可能にした結果、写真はより本来の現実的なものとなる。
一実施形態では、1枚の写真の複数の領域は互いに動的に相互に干渉するる、すなわち画像内の人々は互いに見つめ合って前後に居ることができる、あるいは1つの領域のモーションは第2の領域のモーションと相互に干渉する、すなわち人の上下している膝とその膝の上で上下している赤子は干渉することができる。さらに、1枚の写真内の複数の領域は全て固有データのパラメータを有することができ、モーションの動作は写真内の他のモーションから独立するか、相互に干渉することもできる。
一実施形態では、変位マップは、モーションセンサやカメラなど、リアルタイムの外部の刺激に対する反応を設定することができる。これにより、人々を見ているかのように、写真に人々を「追従」させることができる。
一実施形態では、変位マップは、光、風船または他の物体など、リアルタイムのデジタルの刺激に対する反応を設定することができる。これにより、写真に動画風景内の視覚的な人工物を「追従」させることができる。例えば、顔が落下している雪片を見ているように動画化することができる。
本書の方法に記載したように、本発明の実施形態は、2次元画像、好適には写真画像から現実的な3次元の動画表示を生成する論理およびプロセスを提供している。これらのプロセスは、まばたき、ウインク、欠伸および笑顔などの動画を生成することで、動的な実際のリアルタイム画像を生成する。このような動作の結果、画像が動いているように表して、写真をより現実的に見せる感情を表現する。例えば、本書に記載のプロセスを利用して、呼吸モーションを生成することができる。呼吸は、この形式において重要な現実感をもたらす構成要素である。確実に画像を現実的にするため、子供に対しては多く、成人に対しては少なく、犬については異なっているといった、異なる呼吸速度を提供する。この速度は初期設定を利用して自動的に設定することができる、あるいはユーザが定義してもよい。例えば、写真がレース終盤のゴールの写真の場合、ユーザは初期設定の速度よりも早い呼吸速度を設定することができる。この新規の変位マッピング技術により、胸部、口、頬などを調整する方法で領域を選択およびマップし、現実的な呼吸を生成することが可能である。さらに、1つの領域を複数の異なる動作に対して調整し、マップすることもできる。
本発明の実施形態はさらに、例えば、顔の特徴の適合および生成するため、例えば、人工的な眼(またはユーザの目の色に適合させる機能)歯、瞼、および他の顔の要素、または髪などの身体的特徴を生成する、顔特徴の適合および作成をして、以下のように動画化されたときに2次元の写真をより現実的に表現する。生成された特徴は3次元画像の現実感を向上させ、さらに相互作用性を増加させてモーションの選択項目を提供する。
本発明の実施形態はさらに、傷んだまたは悪い写真を撮ってしまったユーザに、例えば、半眼を広げる、あるいはだらしがないか風に吹かれた髪を修正するおよび/または写真内の修正を要する他の物体など、外観を改善するか変化させる手段を提供し、その体裁を改善または変更する。更に、複数の実施形態は、眼または髪の色を変更するといった、特徴の形状を変更するか特徴の色を修正するなど、特徴を精緻化させる。更なる例は、誰かの視線を望ましい方向に動かしたり、あるいは幸せな場面の写真で、笑っていないパーティの参加者に笑顔を加える機能を含む。
3次元の動画画像はさらに修正および精緻化されて、より現実的な描写を生成することができる。一実施形態では、このような現実感は、眼が動いてまばたきをするように眼を動画化することによって生成される。この種のモーションは、変位マップと顔特徴の認識を組み合わせるだけでなく、身体の生理機能の理解も必要とする。さらに、本書に記載の新規の方法は、特徴を別の特徴または修正した特徴に交換することを提供している。例えば、目の色を変化させることである。眼に中には、虹彩、瞳孔、ハイライトがある。そこで眼球のほぼ2倍の大きさの境界線が描かれる。眼のモーションをまねるように、その周りに四角形がドラッグされうる。例えば、画像が左すぎるように見える場合、現実に湾曲しているように、眼の右側に湾曲部があるように見える。この実施形態では、画像の眼は、変位マップで移動することができる眼と交換される。その結果、交換した眼は、形状、サイズ、及び色などが画像内の眼と非常に似ているように見える。代替的に、ユーザは、画像内の眼とは異なって見える眼を生成するよう選択することができる。
さらに、本発明の実施形態は、眼がまばたきをする動作を提供する。最初に眼がまばたきをする画像を生成するため、瞼の皮膚の色合いを判定せねばならない。瞼の皮膚の色合いは、顔の皮膚の色合いに対応させられる。この対応は自動的にすることができる、あるいはユーザが皮膚の色合いを選択してもよい。自動的に色合いが選択され、ユーザがこのような色合いは適切ではないと判断した場合は、ユーザは色合いを調整するか新たな色合いを選択することができる。まばたきを真似るため、睫毛も画像に追加せねばならない。睫毛は上側と下側に追加される。睫毛は既存のセットから選択することで適用することができ、睫毛は瞼の位置、湾曲および長さに合わせて動的にサイズ調整される。睫毛は、女性は長い睫毛を有し、男性は短く、小型犬の睫毛は長い等といった異なる人口統計に対して異なっていてもよく、ユーザはこのようにカスタマイズすることができる。このプロセスは写真内の各人に対して繰り返されうる。皮膚の色合い、目の色および睫毛が選択された後、画像の眼の形状に基づいて瞼が生成される。変位マッピングを用いて瞼が生成される。この新たな瞼を生成する技術もまたユーザの調整による。瞼は眼の形状と一致している必要があり、さらに瞼は目の位置よりも下側にまばたきをすることはできず、さもなければモーションが非現実的となるため、ユーザが調整する機能は非常に重要である。まばたきは平面ではなく曲面すなわち眼球の上で起こるように見えねばならないため、変位マッピングを利用することにより、眼がまばたきをするモーションは現実的となる。同様の技術を利用して、画像内に笑顔がない場合には、歯を含む笑顔を生成することができる。このように生成するためには、唇だけではなく頬を上げるなど、顔自体を調整しなければならない。
眼球に対して、瞼に用いたパラメータと同一のパラメータを利用してもよい。さらに、勾配マップを利用して質感および陰影を改善し、これにより眼球の球形状をより正確に再現することもできる。
虹彩および瞳孔は様々な方法で生成することができる。例えば、顔特徴の認識または自身で選択したユーザ配置を用いて、ユーザの虹彩を検出することができる。次いで、自動の色適合プロセスを実行する、あるいはユーザが目の色を選択することができる。一旦これらのステップが終了すると、虹彩や瞳孔は新たに生成されたものと交換される。
他の実施形態では、虹彩や瞳孔は、虹彩を検出し次いで素早く動かす、あるいは、有効な下部から上部まで、またはその逆を再現することで生成される。
交換または追加されうる特徴の他の例は歯である。歯は眼と同様に構成される。口が顔特徴認識ソフトウェアまたはユーザによって最初に規定され、高さや幅を含む口のサイズから適切にフィットする歯が動的に生成される。歯はさらに、幼児や高齢の男性などといった人口統計によって適合させることもできる。
この方法は更に、背景やシナリオに対する変動要素を選択するようにする。この方法は任意に、ユーザが全体的な画像の背景を変化させる、あるいは画像に追加できるようにして、例えば曇った日ならばユーザは雨を加えることができる。一実施形態では、異なる背景、景色およびシナリオに対して所定の変動要素が提供される。この方法は更に、背景に画像の動作を生じさせ、確実により現実的な3次元描写をするようにする。例えば、晴れた日の背景が選択される、あるいは既に画像に示されている場合、星明かりの夜の場面とは異なる(早い)眼のまばたき速度が設定される。上述のように、ユーザは画像をカスタマイズすることができ、例えば、ユーザは必要に応じてモーションの変動要素を変化し、プリセットまたは予め選択した速度に従わないでもよい。さらに、ユーザはプリセット速度またはユーザ自身で速度を選択することで画像内の全ての動作について一貫した速度を設定することができる、あるいはユーザは画像内の全ての人が同じ速度でまばたきをすることができる、または各人が異なる速度でまばたきをすることができるなど、速度をそれぞれ設定することもできる。
上記のように、この方法のモーション設定は無作為であってもよく、プリセットまたはユーザによる選択であってもよい。不作為なモーションが選択される場合、ユーザはカスタマイズされた全ての変動要素およびモーションで写真を単に操作するが、動作はソフトウェアによって不作為に決定される。
モーション設定と同様の方法で、感情を生成する動作も設定することができる。例えば、ユーザが幸福な感情を選択した場合、画像は興奮で上がった眉毛、大きく高頻度の笑顔を有し、全てが不作為パターンであってもよいが、僅かに多くの変動要素のプリセットがある場合では、各感情を形成するために何れも必要である。
フレーム内の全ての物体のモーション設定は、物体間で強さが異なっている場合がある。ユーザは、動作の速度および範囲の両方において、モーションの強さを単独に増加または減少させることができる。
本書に記載する感情、動作および他の効果は、状態を変化させる物理的またはソフトウェアのいずれかのボタンを押すことで修正できる。例えば、ボタンをフレームに追加して、デバイス自体またはソフトウェア上の何れかで幸福な顔の表情から悲しい表情に変化させることもできる。これは、例えば秋から冬、夏に移行するといった、背景や効果の変更をすることができる。同様に、追加する音声効果は、1つのボタンを押すことで変更することができる。
様々な構成、感情の状態、および音声効果は、本発明の実施形態における設定可能なプリセットとして全て記憶され、前述した1つのボタンで容易に状態を変化させるようにできる。
円滑なモーション移行は、本発明の実施形態においても提供されている。円滑なモーション移行は、一連の法則に従って、一組のデジタル描写基準から別の描写へと移行させる。このようなプロセスを実行することで、モーションの劣化または現実感を損失をすることなく、ユーザはあるモーションから次のモーションへと移行することができる。例えば、ユーザが幸福から悲しみに移行する場合、悲しげな顔の最後の重要フレームは、幸福な顔の最初の重要フレームと関連している。円滑な移行を生成するため、この方法は幸福な顔の最後が通常の顔と近くなり、これにより次の顔の最初も途切れずに見えるように動画を生成する。具体的には、例えば、前のモーションのフレーム「n」は、後のモーションのフレーム1と等しいように設定される。その結果、この動作はスキップまたは急に変化することがない。同様に、背景が移行している場合、例えば、雲の後ろから太陽が出てき始める前の最後の雪片が落ちるまで待つことによって、降雪が次第になくなって快晴の日となる。このような移行は、途切れることなく一連のイベントから別のイベントに進行する動画を提供する効果を生成する。
この方法は更に、反応動作を提供しうる。反応動作は、動的な3次元画像および動画化された状態に反応する因果関係の動作を発生させる。あるモーションを選択すると、他の動的な動作を発生させることができる。例えば、風が人の衣類または髪を横切って吹くように、ユーザが写真内に風があることを選択する、または写真内に風を生成することを選択した場合、髪が動いて人の衣類にしわを形成する。他の非制限的な例では、物体を持って手を動かしている画像の場合、物体の種類(堅い、柔らかい、柔軟等)に応じて、物体も手と一緒に動いて揺れる。この連続したモーションは、ソフトウェア論理またはユーザによって決定されうる。風のモーションが右から左に「吹いている」場合、写真内またはデジタルフレームの物体は適切な順序で作用される。風の強度が増した場合には、物体が影響を受ける速度が増加した速度で上昇する。最大速度では、全ての物体が同時に影響を受けるか吹かれているように見える。
反応モーションもまた、画像の環境の結果となりうる。例えば、太陽が画像内に輝いている場合、または明るい光が画像内にある場合、このような光は自動的に検出されうる、あるいはユーザは、画像が屋外の画像であって、上述のようにまばたきの速度が早いということを選択することができ、日向ではまばたきを早くまたは高頻度でするのが自然である。さらに、上述したように、まばたきは画像内のすべての人に応じて調整されうる。しかしながら、このような初期設定は、本発明の実施形態に制限を設けることを意図するものではなく、ユーザはまばたきをする速度、またはまばたきのタイミング、あるいは好適には不作為なモーションと考えられるものから区別された異なるもののタイミングを生成することができる。
他の実施形態では、2次元画像の3次元動画は、画像内の対象を外部の要因に反応させることによって生成される。例えば、デジタルフレームまたはコンピュータは、内部に組み込まれたカメラかモーションセンサを有している。カメラまたはモーションセンサは近傍の刺激を検出して、画像内の対象の挙動を変化させる、すなわち頭を回すあるいは眼を動かす変位マップの色を自動的に調整するプロセッサにフィードバックを送信する。
一連のモードおよび状態は、後でレンダリングするため、挙動ファイルのフォーマットに記憶することができる。
更なる非限定的なアプリケーションは以下のものを含む。
リアルタイムで現実世界の刺激を反映する3次元表示
本書の開示および教示を利用して、ユーザは、モーションセンサおよびカメラを用いて現実世界の動作や挙動を再現し、画面を誘導することができる。この実施形態では、モーションセンサおよびカメラによって捕捉された向き、外形および動作がマップされる。一旦マップされると、このシステムは動画エンジンに誘導し、プログラムされた変位マップの頭部、眼、口および他の要素を動かして現実世界の動作を再現する。
本書の開示および教示を利用して、ユーザは、モーションセンサおよびカメラを用いて現実世界の動作や挙動を再現し、画面を誘導することができる。この実施形態では、モーションセンサおよびカメラによって捕捉された向き、外形および動作がマップされる。一旦マップされると、このシステムは動画エンジンに誘導し、プログラムされた変位マップの頭部、眼、口および他の要素を動かして現実世界の動作を再現する。
仮想世界およびソーシャルネットワーク内のアバター表示
ユーザは、指示したようにマウスポインタに追従し、画面上の対象の点に焦点を合わせたり、挙動に対する反応をするよう構成されうるアバターを自身の写真から作ることができる。例えば、新しい電子メールを送信者から受信したときに、電子メールメッセージの送信者の画像を表示することができる。送信者の画像は、メッセージを開いたときに受信者側で、笑うまたはウインクをすることができる。更なる実施形態では、更なる表情や感情を用いて、内容の緊急性や重要度を伝達し、低いまたは不審な評価(迷惑メールコンテンツ)または状態を有する人に話しかけることの不満、さらにはより好意的に見られる項目や人に対して反応する肯定的なフィードバックや笑顔を含む、ユーザの行動に対する肯定的または否定的なフィードバックを示す更なる状態を加えることができる。
ユーザは、指示したようにマウスポインタに追従し、画面上の対象の点に焦点を合わせたり、挙動に対する反応をするよう構成されうるアバターを自身の写真から作ることができる。例えば、新しい電子メールを送信者から受信したときに、電子メールメッセージの送信者の画像を表示することができる。送信者の画像は、メッセージを開いたときに受信者側で、笑うまたはウインクをすることができる。更なる実施形態では、更なる表情や感情を用いて、内容の緊急性や重要度を伝達し、低いまたは不審な評価(迷惑メールコンテンツ)または状態を有する人に話しかけることの不満、さらにはより好意的に見られる項目や人に対して反応する肯定的なフィードバックや笑顔を含む、ユーザの行動に対する肯定的または否定的なフィードバックを示す更なる状態を加えることができる。
携帯の通知および電話の発呼および終了に対する3次元表示
本発明の実施形態は、ユーザが、ユーザの電話を携帯の通話を開始および終了することに対する感情的コンテンツを含む個別の動画を生成、送信および受信するよう構成できるようにする。例えば、送信者が電話をしている人の笑顔または悲しげな顔を見ている状態で通話を開始し、設定可能な感情状態を示すことができ、それらは通話の一部として送信される。電話を受けた人は、送信者の写真表示を見て、幸福な顔、悲しげな顔または怒った表情に応じて反応することができる。場合によっては局所的な天気を判定し、送信者または受信者の画像に適用する機能を含む、更なる状態の情報や表情をプログラムすることもできる。
本発明の実施形態は、ユーザが、ユーザの電話を携帯の通話を開始および終了することに対する感情的コンテンツを含む個別の動画を生成、送信および受信するよう構成できるようにする。例えば、送信者が電話をしている人の笑顔または悲しげな顔を見ている状態で通話を開始し、設定可能な感情状態を示すことができ、それらは通話の一部として送信される。電話を受けた人は、送信者の写真表示を見て、幸福な顔、悲しげな顔または怒った表情に応じて反応することができる。場合によっては局所的な天気を判定し、送信者または受信者の画像に適用する機能を含む、更なる状態の情報や表情をプログラムすることもできる。
電話会議システムでの3次元表示
低帯域幅のテレビ電話会議に使用するべく、ユーザは自身の画像を生成し、パラメータを写真に適用することができる。この実施形態では、視覚的なプログラムデータのストリームが、音声データと平行にネットワークを介して伝達され、写真の変位情報を受信端末に提供し、口の動作、頭の動作、および他の表情を伝達する。このモーションは、送信機の一部にあるカメラおよびモーションセンサからの合図を含む、ユーザのプログラムによって設定することができる。
低帯域幅のテレビ電話会議に使用するべく、ユーザは自身の画像を生成し、パラメータを写真に適用することができる。この実施形態では、視覚的なプログラムデータのストリームが、音声データと平行にネットワークを介して伝達され、写真の変位情報を受信端末に提供し、口の動作、頭の動作、および他の表情を伝達する。このモーションは、送信機の一部にあるカメラおよびモーションセンサからの合図を含む、ユーザのプログラムによって設定することができる。
小売店またはキオスクシステムの3次元表示
一実施形態では、キャプチャされた写真、および限定ではないが、帽子、イヤリング、および衣類などを含む現実世界の物品の表示を用いて、仮想店頭が設置される。さらに、本書に記載した方法を利用して、背景が家具、装飾および異国の仕向地を含むように生成することができる。ユーザは、パネルのボタン、ポインタデバイス(マウスまたはトラックボール)またはタッチスクリーンの何れかを用いて興味がある項目を決定し、選択項目を設定または交換することができる。最初の写真を提供することに加えて、カメラが定期的にユーザのスナップ写真を撮る位置に設置され、場合によって、まばたき、笑顔、または頷きに基づいてユーザの満足感を推定しようとすることができる。ユーザが設定した項目に対して肯定的な感情のフィードバックを与えていると理解されると、「直ぐに購入する」割引に加えて、華やかな音楽および/または動画を再生して、購買決定を促進させてもよい。逆に、反応がない、または否定的な反応では、代替の製品または異なる色か選択肢を提案する表示を促すこともできる。
一実施形態では、キャプチャされた写真、および限定ではないが、帽子、イヤリング、および衣類などを含む現実世界の物品の表示を用いて、仮想店頭が設置される。さらに、本書に記載した方法を利用して、背景が家具、装飾および異国の仕向地を含むように生成することができる。ユーザは、パネルのボタン、ポインタデバイス(マウスまたはトラックボール)またはタッチスクリーンの何れかを用いて興味がある項目を決定し、選択項目を設定または交換することができる。最初の写真を提供することに加えて、カメラが定期的にユーザのスナップ写真を撮る位置に設置され、場合によって、まばたき、笑顔、または頷きに基づいてユーザの満足感を推定しようとすることができる。ユーザが設定した項目に対して肯定的な感情のフィードバックを与えていると理解されると、「直ぐに購入する」割引に加えて、華やかな音楽および/または動画を再生して、購買決定を促進させてもよい。逆に、反応がない、または否定的な反応では、代替の製品または異なる色か選択肢を提案する表示を促すこともできる。
顧客サービスにおける3次元表示
他の実施形態では、オンラインサポートの利用を勧め、さらに経験に対するユーザの不満を減少させるため、顧客サービス表示が魅力的な画像や動画をユーザに提供して、経験をより満足したものにさせる効果がある。さらに、顧客サービスの3次元画像表示はチャット画面にも表示されうる。表示された画像は、経験を顧客にとって魅力的なものにするべく、実際の顧客サービス表示、代替的には人口学的情報に基づく画像であり、この画像は適宜調整することができる、あるいはユーザは「話したい」相手の顧客サービス画像表示を選択することができる。顧客サポートインシデントが処理されると、この表示は状態をビジネスに対する満足と感謝、並びに一部のシステム応答に対する理解と待ち時間を交互に入れ替えることができ、より思いやりがある顧客サービス経験を提供することで、共感を与えて顧客の全体的な満足度を高める。
他の実施形態では、オンラインサポートの利用を勧め、さらに経験に対するユーザの不満を減少させるため、顧客サービス表示が魅力的な画像や動画をユーザに提供して、経験をより満足したものにさせる効果がある。さらに、顧客サービスの3次元画像表示はチャット画面にも表示されうる。表示された画像は、経験を顧客にとって魅力的なものにするべく、実際の顧客サービス表示、代替的には人口学的情報に基づく画像であり、この画像は適宜調整することができる、あるいはユーザは「話したい」相手の顧客サービス画像表示を選択することができる。顧客サポートインシデントが処理されると、この表示は状態をビジネスに対する満足と感謝、並びに一部のシステム応答に対する理解と待ち時間を交互に入れ替えることができ、より思いやりがある顧客サービス経験を提供することで、共感を与えて顧客の全体的な満足度を高める。
3次元の動画壁紙
他の実施形態では、3次元の動画画像が、スマートフォン、コンピュータ画面またはその種の壁紙に使用するため適用される。本書に記載の方法は、ハードウェア製造業者のソフトウェアフォーマットを利用してユーザが2次元画像をカスタマイズし、壁紙を作ることができるようにする。他の実施形態では、スマートフォンは電話をかけてきた人の3次元の動画画像を表示する。この画像は任意に通話の間中続いてもよい。
他の実施形態では、3次元の動画画像が、スマートフォン、コンピュータ画面またはその種の壁紙に使用するため適用される。本書に記載の方法は、ハードウェア製造業者のソフトウェアフォーマットを利用してユーザが2次元画像をカスタマイズし、壁紙を作ることができるようにする。他の実施形態では、スマートフォンは電話をかけてきた人の3次元の動画画像を表示する。この画像は任意に通話の間中続いてもよい。
化粧シミュレーション
本発明の実施形態はさらに、化粧品による変身をシミュレートするために利用することもできる。例えば、化粧品を特に顔に適用する場合、皮膚が青白いほど、デジタル方式でより多くの化粧を施す必要がある。対称的に、皮膚の色合いが暗くなるほど、より明るく適用する必要がある。従って、ユーザは化粧品の適用をシミュレートすることで皮膚の色合いを選び、画像をカスタマイズすることができ、これにより、ユーザは化粧品カウンタでサンプルをテストする必要なく製品を選択することができる。ユーザが様々な製品を試供できることに加えて、このような実施形態は、適切な色の選定を決定しようとするときに、ユーザが汚れたサンプルを使用するリスクを冒すのを防ぐ。ユーザが選択するコントローラの代わりにプリセット制御が選択されて化粧を施し、色を選択した場合には、化粧用途を指示するように実施形態を利用することもできる。動画化した変身の更なる利点は、このような実施形態では、例えば、アイシャドウがユーザの瞼でどのように見えるかを見せる機能を含むことである。
本発明の実施形態はさらに、化粧品による変身をシミュレートするために利用することもできる。例えば、化粧品を特に顔に適用する場合、皮膚が青白いほど、デジタル方式でより多くの化粧を施す必要がある。対称的に、皮膚の色合いが暗くなるほど、より明るく適用する必要がある。従って、ユーザは化粧品の適用をシミュレートすることで皮膚の色合いを選び、画像をカスタマイズすることができ、これにより、ユーザは化粧品カウンタでサンプルをテストする必要なく製品を選択することができる。ユーザが様々な製品を試供できることに加えて、このような実施形態は、適切な色の選定を決定しようとするときに、ユーザが汚れたサンプルを使用するリスクを冒すのを防ぐ。ユーザが選択するコントローラの代わりにプリセット制御が選択されて化粧を施し、色を選択した場合には、化粧用途を指示するように実施形態を利用することもできる。動画化した変身の更なる利点は、このような実施形態では、例えば、アイシャドウがユーザの瞼でどのように見えるかを見せる機能を含むことである。
他の実施形態では、ソフトウェアが予めロードされたデジタル写真フレームが提供されており、画像変換はデジタルフレーム画面上で実行される。他の実施形態では、画像変換ソフトウェアはコンピュータにインストールされ、フレームはコンピュータに接続されて画像はフレーム上にダウンロードされる。画像変換ソフトウェアはコンピュータ読み取り可能な媒体に提供されうる、あるいはクライアントデバイスにインストールするためにネットワークを通してダウンロードすることができる。
本書に記載の方法は編集された画像に見える画像を生成するが、本来の2次元画像は変更しない。新規の方法は、ユーザまたはオブザーバに呈示されるアセットの層を作成し、その結果として、本来の画像自体は必ずしも変える必要はないが、層状のアセットの表示は変更される。例えば、初期設定で10ピクセルの幅の格子縞のフレーム境界がユーザに選択された場合、ユーザはフレームに5ピクセル移動、または20ピクセルドラッグすることができ、フレームは画面上で変化したように見える。選択されたパラメータは、画像に表される層上で変化する。層のパラメータは保存されるが、表示される修正された画像は保存されず、逆に、閲覧者は全てを組み合わせた層の表示を見る。
他の実施形態では、背景およびフレームまたは他の視覚的人工物を画像部に加えてもよい。例えば、画像が海、または建物の横で撮られたように見せるため、画像を修正することができる。この実施形態はさらに、旅行マーケティングのために使用することもできる。一実施形態では、新たな背景は動的だが、画像は静的な状態である。他の実施形態では、背景と画像の双方が動的である。例えば、画像は、背景に落下する雪、本物の雪および本物の山があり、追加された風が髪を吹いている効果があるように修正することができる。他の実施形態では、動的に変更した風景が与えられる。例えば、木の横にいる人の写真には、雨が降り始めたように動画化される。雨の落下は、木および画像に変化をもたらす。
他の実施形態では、現実的な効果とは逆のアニメーション効果が追加される。例えば、昔風の雪片の落下などである。
更なる実施形態では、線の描写または他の効果を2次元画像に追加することができる。
他の実施形態では、艶消しが画像に追加される。物理的であり画像を囲んでいる従来の艶消しとは対称的に、デジタルマップが追加される。有意に、デジタルの艶消しは各デジタル写真それぞれについてカスタマイズすることができる。例えば、デジタルフレーム上に表示された30の画像がある場合、それぞれのデジタル画像は画像に追加された異なる艶消し、画像に追加された同一の艶消し、または同様および似ていない艶消しの組み合わせを有しうる。この艶消しは画像と重なるようにデザインされてもよく、代替的に、艶消しが画像を切り取る場合もある。艶消しは、色、質感、サイズ、厚さ、テキストなどによってカスタマイズすることができ、これにより、デジタルの艶消しは現実的に見せ、空間の時機または様式に対して個別化される。
この実施形態では、既存の写真の要素を利用して艶消しを自動的に生じさせることができる。もとの写真または他の写真から色彩設計、パターン、記号、および画像の質感の一部を利用して、艶消しを生じさせることができる。例えば、縁に兎が付いたピンクと白のベビー毛布の写真が表示され、兎と色彩設計を含め艶消しを生じさせてもよい。あるいは、任意の写真または写真として利用する走査された対象から、所望の色、色の組み合わせまたは色彩設計を選択し、好みまたは補色の艶消しを生成することで、自動的に艶消しが生じうる。
本書に記載の方法は、ユーザがネットワークを通してアクセス可能なウェブベースのプログラムなどの自動システムを介してソフトウェアにアクセスする、遠隔サーバからクライアントコンピュータにソフトウェアをダウンロードする、あるいはディスク、CD、DVD、または他の記憶媒体からソフトウェアをインストールすることによって実装することができる。例えば、ユーザは各ステップを通して3次元動画を作成するようにユーザを誘導するウェブベースのプログラムにアクセスできる、あるいは、ユーザはローカルコンピュータにソフトウェアをダウンロードまたはインストールすることができる。さらに、ウェブベースまたはローカルベースのソフトウェアはユーザの好みを記憶し、このような好みを将来的な動画に自動的に適用することができる。代替的に、ユーザは、例えばソフトウェアが予めインストールされているデジタルフレームなどのハードウェアを利用して、ソフトウェアにアクセスすることもできる。
前述のように、特定の実施形態の記述は、例示および説明する目的で示されている。それらは包括的、また本発明を開示された厳密な形態に限定することを意図するものではなく、上記の教示を考慮すると、均等物を含む多くの改変および変更は明らかに可能である。これらの実施形態は、本発明の原理およびその実質的な利用法について説明するために選択および記載されており、その結果、当該技術分野における当業者は、本発明および想定される特定の利用法に適するような様々な実施形態を利用することが可能となる。
Claims (20)
- コンピュータデバイスによって実行された場合に、以下のステップを含む方法によって2次元の静止画像を3次元動画の体裁を有する画像に変換する指示を有しているコンピュータ読み取り可能な媒体であって、前記方法が:
前記2次元画像上の顔特徴を特定するステップと:
顔特徴認識ソフトウェアを用いて、前記2次元画像上の前記特定した顔特徴のキャラクタリゼーションを生成するステップと;
動画化する前記2次元画像上の顔特徴以外の要素の識別をするステップと;
前記特定した顔特徴のキャラクタリゼーションおよび動画化する顔特徴以外の前記要素の識別に基づいて変位マップを生成するステップと;
前記変位マップに基づいて符号化されたモーションシステムを生成するステップと;
前記符号化されたモーションシステムに基づいて前記2次元画像を動画化するステップとを含むことを特徴とするコンピュータ読み取り可能な媒体。 - 請求項1に記載のコンピュータ読み取り可能な媒体において、前記2次元画像上の前記顔特徴を特定するステップが、手作業で実行されることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項1に記載のコンピュータ読み取り可能な媒体において、前記2次元画像上の前記顔特徴を特定するステップが、物体認識ソフトウェアを用いてなされることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項3に記載のコンピュータ読み取り可能な媒体において、前記2次元画像上の前記顔特徴を特定した後、その位置がさらにユーザによって調整されることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項1に記載のコンピュータ読み取り可能な媒体において、前記符号化されたモーションシステムが、色分けされたモーションシステムであることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項5に記載のコンピュータ読み取り可能な媒体において、前記色分けされたモーションシステムのそれぞれの色が、特定のモーションに対応していることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項1に記載のコンピュータ読み取り可能な媒体において、前記2次元画像が、デジタルの写真画像であることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項1に記載のコンピュータ読み取り可能な媒体において、前記2次元画像が、スキャンした写真画像であることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項5に記載のコンピュータ読み取り可能な媒体において、前記色分けされたモーションシステムの生成が:
モーションを色に関連付けるステップと;
再現する動作を識別するステップと;
前記関連付けたモーションに基づいて前記動作を色分けするステップと;
関連する動作を共にグループ化するステップとを含むことを特徴とするコンピュータ読み取り可能な媒体。 - 請求項9に記載のコンピュータ読み取り可能な媒体において、前記モーションが制限され、これにより前記動作が現実的になることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項1に記載のコンピュータ読み取り可能な媒体において、前記変位マップが、刺激に反応するよう設定されることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項11に記載のコンピュータ読み取り可能な媒体において、前記刺激が外部であることを特徴とするコンピュータ読み取り可能な媒体。
- 請求項1に記載のコンピュータ読み取り可能な媒体がさらに、前記2次元画像用の背景を生成するステップを含むことを特徴とするコンピュータ読み取り可能な媒体。
- 2次元の静止画像を3次元の動画画像に変換する画像表示デバイスにおいて:
少なくとも1の2次元の写真画像をアップロードまたは取り込みできる少なくとも1のクライアントデバイスと;
前記少なくとも1の2次元の写真画像上の顔特徴を特定する物体認識ソフトウェアと;
前記少なくとも1の2次元の写真画像上の前記顔特徴の形状を検出する顔特徴認識ソフトウェアと;
前記顔特徴のキャラクタリゼーションに基づいて変位マップを生成するソフトウェアモジュールと;
前記生成された変位マップに基づいて前記少なくとも1の2次元画像を動画化させるソフトウェアモジュールとを具えることを特徴とする画像表示デバイス。 - 請求項14に記載の画像表示デバイスがさらに:
前記少なくとも1の2次元の写真画像上の他の要素を特定する物体認識ソフトウェアと;
前記少なくとも1の2次元の写真画像上の前記他の要素の形状を検出する特徴認識ソフトウェアと;
前記他の要素のキャラクタリゼーションに基づいて変位マップを生成するソフトウェアモジュールと;
前記変位マップに基づいて前記少なくとも1の2次元画像を動画化させるソフトウェアモジュールとを具えることを特徴とする画像表示デバイス。 - 請求項14に記載の画像表示デバイスにおいて、前記少なくとも1のクライアントデバイスがネットワークを通して画像管理サービスと通信しており、当該画像管理サービスが:
前記物体認識ソフトウェアと;
前記顔特徴認識ソフトウェアと;
変位マップを生成する前記ソフトウェアモジュールと;
前記少なくとも1の2次元画像を動画化させる前記ソフトウェアモジュールとを具えることを特徴とする画像表示デバイス。 - 請求項14に記載の画像表示デバイスにおいて、前記変位マップが色分けされており、それぞれの色が特定のモーションに関連付けられていることを特徴とする画像表示デバイス。
- 請求項14に記載の画像表示デバイスがさらに、ユーザの入力を受信するよう構成された入力デバイスを具え、前記少なくとも1の2次元の写真画像上の前記顔特徴の位置及び形状を精緻化することを特徴とする画像表示デバイス。
- 2次元の静止画像を3次元動画の体裁を有する画像に変換する画像処理システムにおいて:
動画化する少なくとも1の特定された顔特徴を有する2次元の静止画像と;
前記2次元の静止画像上の前記少なくとも1の特定された顔特徴をキャラクタライズする顔認識ソフトウェアと;
前記少なくとも1の特定された顔特徴のキャラクタリゼーションに基づいて生成された変位マップと;
前記変位マップに基づく少なくとも1の符号化されたモーションシステムと;
前記少なくとも1の符号化されたモーションシステムに基づいて前記2次元の静止画像を動画化させる動画化モジュールとを具えることを特徴とする画像処理システム。 - 請求項19に記載の画像処理システムがさらに:
前記2次元の静止画像内の動画化される少なくとも1の他の要素と;
前記少なくとも1の他の要素をキャラクタライズする動作認識ソフトウェアと;
前記少なくとも1の他の要素のキャラクタリゼーションに基づいて生成された変位マップとを具えることを特徴とする画像処理システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15653709P | 2009-03-01 | 2009-03-01 | |
US61/156,537 | 2009-03-01 | ||
US12/714,518 | 2010-02-28 | ||
US12/714,518 US9064344B2 (en) | 2009-03-01 | 2010-02-28 | Image transformation systems and methods |
PCT/US2010/025814 WO2010101850A1 (en) | 2009-03-01 | 2010-03-01 | Image transformation systems and methods |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012519333A true JP2012519333A (ja) | 2012-08-23 |
Family
ID=42709968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011552227A Pending JP2012519333A (ja) | 2009-03-01 | 2010-03-01 | 画像変換システムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9064344B2 (ja) |
EP (1) | EP2404284A4 (ja) |
JP (1) | JP2012519333A (ja) |
IL (1) | IL214908A0 (ja) |
WO (1) | WO2010101850A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015079426A (ja) * | 2013-10-18 | 2015-04-23 | 楽天株式会社 | 動画生成装置、動画生成方法及び動画生成プログラム |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9146884B2 (en) * | 2009-12-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Push pull adaptive capture |
EP2336978B1 (en) * | 2009-12-17 | 2019-07-24 | Dassault Systèmes | Method apparatus and program for displaying an object on a computer screen |
US20120200676A1 (en) * | 2011-02-08 | 2012-08-09 | Microsoft Corporation | Three-Dimensional Display with Motion Parallax |
US9111144B2 (en) * | 2011-09-15 | 2015-08-18 | Identigene, L.L.C. | Eye color paternity test |
KR20140064969A (ko) | 2011-09-23 | 2014-05-28 | 디지맥 코포레이션 | 콘텍스트―기반 스마트폰 센서 로직 |
US8908904B2 (en) * | 2011-12-28 | 2014-12-09 | Samsung Electrônica da Amazônia Ltda. | Method and system for make-up simulation on portable devices having digital cameras |
US20130282444A1 (en) * | 2012-04-23 | 2013-10-24 | Xerox Corporation | Method and apparatus for using a customizable game-environment to extract business information to recommend a marketing campaign |
US8693768B1 (en) | 2012-07-10 | 2014-04-08 | Lisa LaForgia | Cosmetic base matching system |
US9311640B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods and arrangements for smartphone payments and transactions |
WO2014144275A2 (en) | 2013-03-15 | 2014-09-18 | Skin Republic, Inc. | Systems and methods for specifying and formulating customized topical agents |
KR20170027589A (ko) * | 2015-09-02 | 2017-03-10 | 삼성전자주식회사 | 기능 제어 방법 및 그 방법을 처리하는 전자 장치 |
US10007332B2 (en) | 2015-09-28 | 2018-06-26 | Interblock D.D. | Electronic gaming machine in communicative control with avatar display from motion-capture system |
US10506221B2 (en) | 2016-08-03 | 2019-12-10 | Adobe Inc. | Field of view rendering control of digital content |
US20180047200A1 (en) * | 2016-08-11 | 2018-02-15 | Jibjab Media Inc. | Combining user images and computer-generated illustrations to produce personalized animated digital avatars |
US11461820B2 (en) | 2016-08-16 | 2022-10-04 | Adobe Inc. | Navigation and rewards involving physical goods and services |
US10198846B2 (en) * | 2016-08-22 | 2019-02-05 | Adobe Inc. | Digital Image Animation |
US10068378B2 (en) | 2016-09-12 | 2018-09-04 | Adobe Systems Incorporated | Digital content interaction and navigation in virtual and augmented reality |
DK179978B1 (en) | 2016-09-23 | 2019-11-27 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
US10430559B2 (en) | 2016-10-18 | 2019-10-01 | Adobe Inc. | Digital rights management in virtual and augmented reality |
US10322343B2 (en) * | 2016-10-31 | 2019-06-18 | Zynga Inc. | G.P.U.-assisted character animation |
KR102228919B1 (ko) | 2017-03-30 | 2021-03-18 | 스노우 주식회사 | 이미지에 동적 효과를 적용하는 방법 및 장치 |
DK179867B1 (en) * | 2017-05-16 | 2019-08-06 | Apple Inc. | RECORDING AND SENDING EMOJI |
DK180007B1 (en) | 2017-05-16 | 2020-01-16 | Apple Inc. | RECORDING AND SENDING EMOJI |
EP3652701A4 (en) | 2017-07-13 | 2021-11-03 | Shiseido Company, Limited | VIRTUAL FACE MAKEUP REMOVAL, FAST FACE RECOGNITION AND LANDMARK TRACKING |
US10275856B2 (en) * | 2017-08-03 | 2019-04-30 | Facebook, Inc. | Composited animation |
US11254152B2 (en) * | 2017-09-15 | 2022-02-22 | Kamran Deljou | Printed frame image on artwork |
US11403159B2 (en) | 2018-01-31 | 2022-08-02 | Hewlett Packard Enterprise Development Lp | Device carrier assemblies |
US11132042B2 (en) * | 2018-01-31 | 2021-09-28 | Hewlett Packard Enterprise Development Lp | Drive carrier assemblies |
DK180078B1 (en) | 2018-05-07 | 2020-03-31 | Apple Inc. | USER INTERFACE FOR AVATAR CREATION |
DK201870378A1 (en) | 2018-05-07 | 2020-01-13 | Apple Inc. | DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES |
JP7453956B2 (ja) | 2018-07-13 | 2024-03-21 | 株式会社 資生堂 | カスタム外用薬を調整するためのシステムおよび方法 |
US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
US11182963B2 (en) * | 2019-04-03 | 2021-11-23 | Posnap, Inc. | Computerized system and method for providing a mobile augmented reality item display and selection experience |
DK201970531A1 (en) | 2019-05-06 | 2021-07-09 | Apple Inc | Avatar integration with multiple applications |
US11348319B1 (en) * | 2020-01-22 | 2022-05-31 | Facebook Technologies, Llc. | 3D reconstruction of a moving object |
AU2021290132C1 (en) | 2020-06-08 | 2024-04-18 | Apple Inc. | Presenting avatars in three-dimensional environments |
CN112019769A (zh) * | 2020-07-29 | 2020-12-01 | 上海推乐信息技术服务有限公司 | 一种动态化的图片创建方法及系统 |
EP3970818A1 (en) * | 2020-09-18 | 2022-03-23 | XRSpace CO., LTD. | Method for adjusting skin tone of avatar and avatar skin tone adjusting system |
CN113114841B (zh) * | 2021-03-26 | 2023-05-12 | 维沃移动通信有限公司 | 动态壁纸获取方法、装置 |
KR102535404B1 (ko) * | 2021-04-20 | 2023-05-26 | 한국전자통신연구원 | 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007156945A (ja) * | 2005-12-07 | 2007-06-21 | Sony Corp | 画像処理装置および画像処理方法、プログラム、並びにデータ構造 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001041648A1 (en) * | 1999-12-07 | 2001-06-14 | Koninklijke Philips Electronics N.V. | Ultrasonic image processing method and system for displaying a composite image sequence of an artery segment |
US6873327B1 (en) * | 2000-02-11 | 2005-03-29 | Sony Corporation | Method and system for automatically adding effects to still images |
US6807290B2 (en) * | 2000-03-09 | 2004-10-19 | Microsoft Corporation | Rapid computer modeling of faces for animation |
WO2001099048A2 (en) * | 2000-06-22 | 2001-12-27 | Lifef/X Networks, Inc. | Non-linear morphing of faces and their dynamics |
US7091976B1 (en) * | 2000-11-03 | 2006-08-15 | At&T Corp. | System and method of customizing animated entities for use in a multi-media communication application |
US20030046160A1 (en) * | 2001-09-06 | 2003-03-06 | Paz-Pujalt Gustavo R. | Animated electronic message and method of producing |
JP2004147288A (ja) * | 2002-10-25 | 2004-05-20 | Reallusion Inc | 顔画像の補正方法 |
WO2005116932A1 (en) * | 2004-05-26 | 2005-12-08 | Gameware Europe Limited | Animation systems |
US7209577B2 (en) * | 2005-07-14 | 2007-04-24 | Logitech Europe S.A. | Facial feature-localized and global real-time video morphing |
US8284202B2 (en) * | 2006-06-30 | 2012-10-09 | Two Pic Mc Llc | Methods and apparatus for capturing and rendering dynamic surface deformations in human motion |
US20090132371A1 (en) * | 2007-11-20 | 2009-05-21 | Big Stage Entertainment, Inc. | Systems and methods for interactive advertising using personalized head models |
-
2010
- 2010-02-28 US US12/714,518 patent/US9064344B2/en active Active
- 2010-03-01 WO PCT/US2010/025814 patent/WO2010101850A1/en active Application Filing
- 2010-03-01 JP JP2011552227A patent/JP2012519333A/ja active Pending
- 2010-03-01 EP EP10749162.3A patent/EP2404284A4/en not_active Withdrawn
-
2011
- 2011-08-31 IL IL214908A patent/IL214908A0/en unknown
-
2015
- 2015-05-21 US US14/719,174 patent/US9639974B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007156945A (ja) * | 2005-12-07 | 2007-06-21 | Sony Corp | 画像処理装置および画像処理方法、プログラム、並びにデータ構造 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015079426A (ja) * | 2013-10-18 | 2015-04-23 | 楽天株式会社 | 動画生成装置、動画生成方法及び動画生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
US9064344B2 (en) | 2015-06-23 |
AU2010221494A1 (en) | 2011-10-27 |
US20150254892A1 (en) | 2015-09-10 |
EP2404284A1 (en) | 2012-01-11 |
WO2010101850A1 (en) | 2010-09-10 |
US20100271365A1 (en) | 2010-10-28 |
EP2404284A4 (en) | 2017-07-26 |
US9639974B2 (en) | 2017-05-02 |
IL214908A0 (en) | 2011-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9639974B2 (en) | Image transformation systems and methods | |
US12026817B2 (en) | Entertaining mobile application for animating a single image of a human body and applying effects | |
CN107154069B (zh) | 一种基于虚拟角色的数据处理方法及系统 | |
US11908243B2 (en) | Menu hierarchy navigation on electronic mirroring devices | |
CN108876877B (zh) | 表情符号人偶化 | |
CN106170083B (zh) | 用于头戴式显示器设备的图像处理 | |
EP3047884B1 (en) | Program, information-processing device, information-processing system, and avatar generating method | |
US11763481B2 (en) | Mirror-based augmented reality experience | |
KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
CN108874114B (zh) | 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质 | |
KR20230098244A (ko) | 적응형 골격 관절 원활화 | |
CN113766168A (zh) | 一种互动处理方法、装置、终端及介质 | |
JP6563580B1 (ja) | コミュニケーションシステム及びプログラム | |
KR101996973B1 (ko) | 비디오 생성 시스템 및 방법 | |
US20240062500A1 (en) | Generating ground truths for machine learning | |
US11562548B2 (en) | True size eyewear in real time | |
AU2010221494B2 (en) | Image transformation systems and methods | |
JP6935531B1 (ja) | 情報処理プログラムおよび情報処理システム | |
US20240161242A1 (en) | Real-time try-on using body landmarks | |
US20240070950A1 (en) | Avatar call on an eyewear device | |
US20160071329A1 (en) | Customized Video Creation System | |
WO2024107634A1 (en) | Real-time try-on using body landmarks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140617 |