JP2011515726A - アニメーションキャラクターを用いる電子機器及び方法 - Google Patents
アニメーションキャラクターを用いる電子機器及び方法 Download PDFInfo
- Publication number
- JP2011515726A JP2011515726A JP2010545566A JP2010545566A JP2011515726A JP 2011515726 A JP2011515726 A JP 2011515726A JP 2010545566 A JP2010545566 A JP 2010545566A JP 2010545566 A JP2010545566 A JP 2010545566A JP 2011515726 A JP2011515726 A JP 2011515726A
- Authority
- JP
- Japan
- Prior art keywords
- user
- character
- electronic device
- animation
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Telephone Function (AREA)
Abstract
電子機器(10)はアニメーションキャラクタ(24)をディスプレイ(14)に表示することができ、キャラクタは、ユーザの存在が検出されるとユーザに反応するために現れることができる。キャラクターは人物、動物、又は他の物体の表現であってよい。テレビ電話に用いるカメラのような撮像装置(18)によって生成される映像データストリームを解析することにより、ユーザがディスプレイを見ていることを解明する。
Description
ここに開示する技術は概して電子機器に関し、特には、キャラクターをディスプレイに表示する電子機器であって、ユーザの存在が検出された場合にはそのキャラクターをアニメーション表示(animate)する電子機器に関する。
モバイル電子機器はますます普及してきている。例えば、携帯電話機、ポータブルメディアプレーヤ、及びポータブルゲーム機器は非常に広く用いられている。さらに、ある種の電子機器に付随する機能は、ますます多様化している。いくつか例を挙げると、多くの電子機器が、カメラ、テキストメッセージ機能、インターネット閲覧機能、電子メール機能、ビデオ再生機能、音楽再生機能、画像表示機能およびハンズフリーヘッドホンインタフェースを有している。
多くの携帯電子機器は様々な機能を有するが、それら機器のユーザインタフェースはかなり味気ない(dull)ものである。ユーザは、ディスプレイの背景の壁紙を選択したり、メニューのカラースキームを選択したりすることで、ユーザインタフェースの一部の外見をカスタマイズ可能かもしれない。しかし、ポータブル電子機器を用いてユーザインタラクションを拡張するための現状のカスタマイズ技術は、依然として改善の余地がある。
ポータブル電子機器を用いたユーザエクスペリエンスを拡張するため、本開示は、ディスプレイ上にキャラクターを表示する電子機器であって、ユーザの存在が検出されると、そのキャラクターをアニメーション表示する電子機器を説明する。キャラクターは人物、動物、又は他の物体の表現であってよい。キャラクターは例えば漫画の形態(例えば、手書きやコンピュータで生成したグラフィック)や、本物の人物の映像の形態であってよい。一実施形態において、キャラクターがユーザの知っている人物を表すように、動画像データにその人物の写真がデジタル的に合成されてもよい。後で説明するように、キャラクターを別の方法で実現することもできる。キャラクターのアニメーション表示は、ユーザがディスプレイを見ている際に実行されてよい。テレビ電話に用いるカメラのような撮像機器によって生成される映像データストリームに、顔検出及び/又は顔認識を適用することにより、ユーザがディスプレイを見ていることを検出することができる。
本開示の一態様による電子機器は、自身の視野に対応する画像データを生成する撮像装置を有する電子機器であって、ディスプレイと、ユーザが前記撮像装置の前記視野に存在するかどうかを判定するために前記画像データを解析し、もし存在すれば、アニメーションキャラクターを表示するように前記ディスプレイを制御する制御回路とを有することを特徴とする。
前記電子機器の一実施形態によれば、前記解析は顔検出を用いてユーザの存在を判定する。
前記電子機器の一実施形態によれば、前記アニメーションキャラクターはユーザが選択したテーマに関連付けられる。
前記電子機器の一実施形態によれば、前記アニメーションキャラクターはユーザが選択した外観特性に関連付けられる。
前記電子機器の一実施形態によれば、前記アニメーションキャラクターの外観は、ユーザが選択した人物のデジタル画像に基づく。
前記電子機器の一実施形態によれば、前記ユーザが前記視野に存在することが検出されない場合、前記キャラクターはアイドルモードで表示される。
前記電子機器の一実施形態によれば、前記キャラクターのアニメーション表示は、前記ユーザと前記電子機器との相対的な移動によって前記視野に現れ始めている前記ユーザへの反応をシミュレートする。
前記電子機器の一実施形態によれば、前記画像データの前記解析は、前記ユーザの動き及び表情を特定し、前記キャラクターのアニメーション表示は、前記動き又は表情への反応をシミュレートする。
本開示の他の態様による方法は、電子機器のユーザインタフェースをアニメーション表示する方法であって、前記電子機器の撮像装置の視野にユーザが存在するかどうかを判定するために、前記撮像装置によって生成される画像データを解析し、ユーザの存在が検出されれば、アニメーションキャラクターを表示するように前記電子機器のディスプレイを制御することを特徴とする。
前記方法の一実施形態によれば、前記解析は顔検出を用いてユーザの存在を判定する。
前記方法の一実施形態によれば、前記アニメーションキャラクターはユーザが選択したテーマに関連付けられる。
前記方法の一実施形態によれば、前記アニメーションキャラクターはユーザが選択した外観特性に関連付けられる。
前記方法の一実施形態によれば、前記アニメーションキャラクターの外観は、ユーザが選択した人物のデジタル画像に基づく。
前記方法の一実施形態によれば、前記ユーザが前記視野に存在することが検出されない場合、前記キャラクターはアイドルモードで表示される。
前記方法の一実施形態によれば、前記キャラクターのアニメーション表示は、前記ユーザと前記電子機器との相対的な移動によって前記視野に現れ始めている前記ユーザへの反応をシミュレートする。
前記方法の一実施形態によれば、前記画像データの前記解析は、前記ユーザの動き及び表情を特定し、前記キャラクターのアニメーション表示は、前記動き又は表情への反応をシミュレートする。
本開示の他の形態によれば、プログラムが、装置が読み取り可能な媒体に格納される。前記プログラムは、電子機器のユーザインタフェースのアニメーション表示を制御するとともに、前記電子機器の撮像装置の視野にユーザが存在するかどうかを判定するために、前記撮像装置によって生成される画像データを解析し、ユーザの存在が検出されれば、アニメーションキャラクターを表示するように前記電子機器のディスプレイを制御するための実行可能なロジックを含むことを特徴とする。
前記プログラムの一実施形態によれば、前記ユーザが前記視野に存在することが検出されない場合、前記キャラクターはアイドルモードで表示される。
前記プログラムの一実施形態によれば、前記キャラクターのアニメーション表示は、前記ユーザと前記電子機器との相対的な移動によって前記視野に現れ始めている前記ユーザへの反応をシミュレートする。
前記プログラムの一実施形態によれば、前記画像データの前記解析は、前記ユーザの動き及び表情を特定し、前記キャラクターのアニメーション表示は、前記動き又は表情への反応をシミュレートする。
これらの特徴および他の特徴は、以下の説明及び添付図面に関連して明らかになるであろう。説明及び図面においては、本発明の原理を用いることができるいくつかの方法を示すものとして、本発明の特定の実施形態を詳細に説明するが、本発明がそのような実施形態に対応する範囲に限定されないことが理解される。むしろ、本発明は、添付した特許請求の範囲に含まれる全ての変更物、修正物及び等価物を含む。
1つの実施形態に関して説明及び/又は図示された機能は、同一又は類似の方法によって1つ又は複数の他の実施形態において、及び/又は他の実施形態の機能と組み合わせて、もしくは機能に代えて用いてもよい。
以下、図面を参照して本発明の実施形態を説明する。なお、複数の図面を通じ、同様の参照数字は同様の構成要素を参照するために用いられている。なお、図面は必ずしも正確に縮尺されていないことが理解されよう。
本明細書においては、携帯電話機に関して実施形態を説明する。しかし、携帯電話機の例示的な文脈は、開示するシステム及び方法の態様を用いることのできる唯一の動作環境ではないことが理解されよう。従って、本明細書において記載される技術は、例えば携帯電話機、メディアプレーヤ、ゲーム機器、コンピュータ、ページャ、コミュニケータ、電子手帳、パーソナルデジタルアシスタント(PDA)、スマートフォン、携帯通信装置などを含む、任意の形式の適切な電子機器に適用することができる。
まず図1及び図2を参照すると、電子機器10が図示されている。電子機器10は、電子機器10のユーザと相互動作するために、表示されたキャラクターをアニメーション表示するように構成されたインタラクティブキャラクター機能12を含んでいる。インタラクティブキャラクター機能12は、電子機器10に存在し、電子機器10によって実行可能なコードとして実施することができる。一実施形態において、インタラクティブキャラクター機能12はコンピュータ又は装置が読み取り可能な媒体に格納されたプログラムであってよい。インタラクティブキャラクター機能12は、スタンドアロンのソフトウェアアプリケーションであってもよいし、電子機器10に関する付加タスクを実行するソフトウェアアプリケーションの一部を形成してもよい。
電子機器10はディスプレイ14を含むことができる。ディスプレイ14は、動作状態、時間、電話番号、連絡先情報、様々なメニューなどのような、ユーザが電子機器10の様々な機能を利用することを可能にする情報をユーザに表示する。ディスプレイ14はさらに、電子機器10が受信したり、電子機器10のメモリ16(図2)から読み出したり、またその両方により取得したコンテンツを視覚的に表示するためにも利用可能である。ディスプレイ14は、写真、モバイルTVコンテンツ及びゲームに付随する映像のような画像、映像及び他のグラフィックスをユーザに提示するために利用されてもよい。
さらに、また以下に詳細に説明するように、ディスプレイ14はインタラクティブなアニメーションキャラクターを表示してもよい。折に触れて、キャラクターは、電子機器10のユーザに応じて動いたり応答している外観を与えるようにアニメーション表示されてよい。キャラクターをいつアニメーション表示するか、また場合によってはキャラクターをどのようにアニメーション表示するか、を判定するためにユーザの存在を検出するため、電子機器10は撮像装置18のようなセンサーを含むことができる。撮像装置10は、映像信号を生成するように所定のフレームレートで画像データを出力することができる。図示する実施形態において、撮像装置18は、ユーザがディスプレイ14の前に位置する際にユーザの方向を向くテレビ電話用カメラである。この構成において、撮像装置18からの映像信号は、テレビ通話とも呼ばれるテレビ電話の実行に用いられてもよい。ユーザを検出するために、他の種類のセンサや撮像装置を用いることができることが理解されよう。
図3をも参照すると、表示されたキャラクターをインタラクティブにアニメーション表示する例示的な方法を実施するための論理動作が示されている。この例示的な方法は、例えば、インタラクティブキャラクター機能12の実施形態を実行することによって実施することができる。そのため、図3のフローチャートは、電子機器10によって実行される方法のステップを表すものと考えることができる。図3は複数の機能的な論理ブロックを実施する特定の順序を示しているが、方法は図示された実施形態から変更されてもよい。
インタラクティブキャラクター機能12のための論理フローはブロック20において開始されてよく、ブロック20では、ユーザがディスプレイ14を見ているかどうかの判定を行うことができる。一実施形態において、この判定は、撮像装置18からの画像データを解析することによってなされてもよい。解析は連続的又は周期的に実行することができる。また、解析は電子機器10が特定の動作モードにある間のみ実行されてもよい。画像データの解析は顔検出の実行を含むことができる。一実施形態において、もし顔が検出されれば、ユーザがディスプレイ14を見ている比較的高い確率により、ユーザがディスプレイ14の前に位置していると結論づけることができる。ブロック20において、顔が検出されれば肯定判定が、顔が検出されなければ否定判定がなされてよい。いくつかの実施形態においては、ブロック20における判定が、検出されたユーザの身元判定を試行するために顔認識の実行を含んでもよい。ブロック20で否定判定がなされた場合、論理フローはユーザが検出されるまで待機してもよい。
さらに図4を参照すると、キャラクター24をディスプレイ14に表示することができる。キャラクター24は人物、動物(例えば犬や猫)、又は物体(例えば車、ボート、月、太陽など)の表現であってよい。一実施形態において、複数のキャラクターが存在してもよい。キャラクター24は、ディスプレイ14上で提示するためにデジタル化された手描きのキャラクター及び/又はコンピュータによって生成されたグラフィカルキャラクターのような、漫画(cartoon)キャラクターの形態であってよい。他の実施形態において、キャラクター24は実際の人物、動物又は物体の形態であってよく、その場合には表示されるキャラクター24を生成するために、俳優、動物又は物体の静止画及び/又は映像クリップが用いられてもよい。別の実施形態において、キャラクター24を生成するために、デジタル画像が、過去に生成された画像及び/又は映像データに合成(merge)されてもよい。例えば、キャラクター24が擬人化(personalize)されるように、画像及び/又は映像データに顔のデジタル画像がはめ込み(stitch)されてもよい。キャラクター24が、家族の一員、友人、有名人などのようなユーザの選択する人物を表すことができるよう、画像がユーザによって選択されてもよい。
キャラクター、特に人物や漫画の登場人物を表すキャラクターについては、テーマに関連付けられてよい。一部の実施形態において、テーマはユーザによって選択されてもよい。人物又は他の人物に似たキャラクターのための例示的かつ非限定的なテーマは、かわいい赤ちゃん、恐ろしい人物又は怪物(例えばホラー映画からの悪役)、魅力的な男性、魅力的な女性、民族的又は歴史的キャラクター(例えば、バイキング、ネイティブアメリカン、古代ローマ人又は古代エジプト人)、有名人、スポーツ選手などを含む。キャラクターの人種、キャラクターの性別、キャラクターの年齢、キャラクターの体型(例えば太っている/痩せている)、キャラクターの顔の表情、キャラクターの髪型及び/又は色など、キャラクター24の外観に関するさらなる特性は、ユーザによって選択されてもよい。他の実施形態において、キャラクター24は初期設定に基づいてもよいし、時間と共にユーザが複数のキャラクターを見られるように自動的に変更されてもよい。
時々、キャラクター24を動かすようにしてもよい。キャラクター24が動いているように見せるため、キャラクター24は映像ファイルのデータベースに関連付けされてもよい。各映像ファイルは異なる行動に関連付けることができる。例えば、キャラクターが人物を表す場合、行動は、手を振る(waving)、隠れる振りをする(例えば、ディスプレイ14の脇からユーザを見つめてから、視界からいなくなる)、飛び回る、踊る、戦う、鼓舞する、ばたばたする(flirting)、ウインクする、ユーザを無視する振りをする(例えば、ユーザから顔をそむける)、指し示す(pointing)、話す、歌う、笑う、及び、人物が行いうる他の任意の行動を含むことができる。映像ファイルは、映像クリップを撮影する、アニメーションを生成する、及び/又はコンピュータグラフィックスを用いる(例えば、映画用の視覚効果を生成する際に用いられる自動化された処理)など、様々な方法で生成することができる。
図4において、キャラクター24はアイドルモードの状態である。アイドルモードは、ブロック20でユーザが検出されておらず、電子機器10が肯定判定を行うために待機している際に用いることができる。アイドルモードにおいて、キャラクター24は、キャラクターがデジタル写真や絵画の中でポーズを取っているかのように静止した状態に見えてよい。あるいは、アイドルモードでキャラクター24は動いてもよい。例えば、こつこつと足をならしながら歩いたり立ったりするといったように、キャラクター24は落ち着きがないように見えてもよい。別の例として、キャラクター24が寝ているように見えてもよい。
図3のフローチャートを引き続き参照すると共に図5を新たに参照すると、ブロック20で肯定判定がなされた場合、論理フローはブロック22へ進むことができる。ブロック22において、キャラクター24がユーザとインタラクションしている外観を与えるため、キャラクター24を動かす(例えば、アニメーション表示する)ことができる。例えば、ブロック20でユーザが検出されると、図5に例示されるようにキャラクター24がユーザに手を振ってもよい動きは映像ファイルのデータベースからの映像ファイルに基づくことができる。キャラクター24がテーマに関連付けられている場合、キャラクターのアニメーションの行動はテーマと協調されてもよい。キャラクター24について複数のアニメーションを行いうる実施形態において、アニメーションは1つ以上のファクタに基づいて選択されても、ランダムに選択されても、予め定められた順序に基づいて選択されてもよい。アニメーションを選択するためのファクタは例えば、電子機器10の動作モード、直近のユーザ検出からの経過時間、各アニメーションが用いられる頻度、ユーザの身元(判別された場合)、時刻、曜日、季節、気象通報サービスから得られる天気、電子機器10の存在位置、ブロック20における複数の顔の検出などを含むことができる。アニメーションは、撮像装置18からの映像信号から抽出された、ユーザに関する情報に基づいて選択されてもよい。例えば、ユーザが動いていれば(例えば、頷いている、頭を振っている、手を振っている、話している、など)、ユーザの動きに関連してアニメーションを選択することができる。さらに、洗練された顔検出又は顔認識処理を用いることで、ユーザの表情を検出することができれば、検出された表情に基づいてアニメーションを選択してもよい。
一実施形態において、音声が、キャラクター24に関連付けられたり、及び/又はアニメーションの一部に組み込まれたりしてもよい。例えば、キャラクター24が、対応する音声コンポーネントとともに現れなり、話したり、歌ったりしてよい。さらに、キャラクターのアニメーションとともにBGMが再生されてもよい。一実施形態において、音声はアニメーションに関連付けられたスクリプトに従ってよく、カスタムワードがスクリプトに挿入されてもよい。このように、音声は例えばユーザの名前の利用を含むことができる。さらに、アニメーション及び/又はスクリプトは、住所録及び/又はカレンダーに保存された情報に基づいて駆動されてもよい。この情報を用い、キャラクター24は、1年の適切な日にユーザの誕生日を祝ったり、会議を知らせたり、ユーザに大事な行事(例えば誰かの誕生日や記念日など)を思い出させたり、通話やメッセージの到着を知らせたりするためにアニメーションされてもよい。
一実施形態において、キャラクター24に関連付けられる映像データ及び/又は音声は、集中型サーバによって生成及び/又は維持されてよい。このように、様々なキャラクターテーマについての比較的大きなデータベースが維持されてもよい。また、ユーザが選択した特定のキャラクターについてのアニメーションを生成するための処理は、電子機器10の処理リソースを節約するためにサーバーで実行されてもよい。特定のアニメーションの表示を高速に行うため、電子機器10によって表示される特定のキャラクターに対応する特定のアニメーション、映像データ及び/又は音声データは、サーバから電子機器10のメモリ16のようなローカルストレージへ転送されてもよい。
アニメーションの少なくともいくつかは、ユーザがディスプレイ14の前の位置に来たことをキャラクター24が監視しており、ユーザがその位置に来るとキャラクター24が歓迎する反応をするかのようにユーザが感じるように構成されてよい。ユーザの顔を検出することによって開始されてよいこの種のアニメーションは、電子機器10を用いるユーザにインタラクションな体感を与えるであろう。その結果、電子機器10はそのユーザにパーソナライズされ、及び/又はユーザがキャラクター24と「フレンドリーなつながり」(例えば関係)を有するかのような感じを抱くであろう。
図1及び図2を再度参照して、電子機器10が携帯電話機として実施される際のさらなる見地を説明する。電子機器10は、「レンガ」又は「ブロック」フォームファクタ筐体を有するものとして図示されているが、「フリップオープン」フォームファクタ(例えば「クラムシェル」筐体)、スライドタイプフォームファクタ(「スライダー型」筐体)及び/又は旋回軸フォームファクタのような、他の筐体タイプが用いられてもよいことが理解されよう。
キーパッド26は、様々なユーザ入力操作を提供する。例えば、キーパッド26は、電話番号、電話帳、連絡先情報、メモ、テキスト等の英数字情報を入力できるよう、英数字キーを含むことができる。さらに、キーパッド26は、発呼又は着呼に応答するための「発呼(call send)」キー、及び、呼を終了又は「切断(hang up)」するための「呼終了(call end)」キーを含むことができる。特殊機能キーは、ディスプレイ14に表示されるメニューを通じてナビゲーションを容易にするためのメニューナビゲーション及び選択キーを含んでもよい。例えば、ポインティングデバイス及び/又は複数のナビゲーションキーが、ユーザからの方向入力を受け付けるために存在していてもよい。特殊機能キーは、再生を開始、停止及び一時停止したり、トラックをスキップしたりリピートしたりなどのためのオーディオビジュアルコンテンツ再生キーを含んでもよい。携帯電話機に付随する他のキーは、ボリュームキー、オーディオミュートキー、電源オン/オフキー、ウェブブラウザ起動キー、カメラキーなどを含んでもよい。キーやキーに似た機能は、ディスプレイ14に付随するタッチスクリーンとして実現されてもよい。さらに、ディスプレイ14及びキーパッド26は、ソフトキー機能を実施するために組み合わせて用いられてもよい。
電子機器10は、通常は別の携帯電話機又は固定電話機であろう被呼/発呼装置と携帯電話機10が呼の確立及び/又は信号を交換することを可能とする呼回路を含んでいる。しかし、被呼/発呼装置は、別の電話機である必要はなく、インターネットウェブブラウザ、コンテンツ提供サーバなど、他の装置であってもよい。呼は任意の好適な携帯を取りうる。例えば、呼は、セルラ回線交換型ネットワーク条で確立される従前の典型的な呼や、セルラネットワークのパケット交換機能や、WiFiに基づく代替パケット交換ネットワーク(例えば、IEEE 802.11規格に基づくネットワーク)や、WiMax (例えば、IEEE 802.16規格)などに基づくボイスオーバインターネットプロトコル(VoIP)呼であってよい。他の例は、セルラ又は代替ネットワーク上で確立されるテレビ通話(video enabled call)を含む。
電子機器10は、テキストメッセージ、電子メールメッセージ、マルチメディアメッセージ、画像ファイル、映像ファイル、音声ファイル、呼び出し音、ストリーミングオーディオ、ストリーミングビデオ、データフィード(ポッドキャスト及びRSS(really simple syndication)データフィードを含む)などのデータを送信、受信及び/又は処理するために送信するように構成されてよい。なお、テキストメッセージは、一般的に「SMS」と呼ばれており、SMSはシンプルメッセージサービスの略である。SMSはテキストメッセージを交換するための典型的な標準技術である。同様に、マルチメディアメッセージは通常、マルチメディアメッセージサービスの略である「MMS」のように呼ばれる。MMSはマルチメディアメッセージを交換するための典型的な標準技術である。データの処理は、メモリ16へのデータ保存、ユーザがデータとインタラクションすることを可能にするためのアプリケーションの実行、データに付随する映像及び/又は画像コンテンツの表示、データに付随する可聴音声の出力などを含んでよい。
電子機器10は、電子機器10の機能及び動作の全体的な制御を実行するように構成された主制御回路28を含んでよい。制御回路28は、中央処理装置(CPU)、マイクロコントローラ又はマイクロプロセッサのような処理デバイス30を含んでよい。処理デバイス30は、電子機器10の動作を実行するため、制御回路28内のメモリ(図示せず)、あるいはメモリ16のような別個のメモリに保存されたコードを実行する。処理デバイス30は、インタラクティブキャラクター機能12を実施するコードを実施してもよい。コンピュータプログラミング分野、特には携帯電話機や他の電子機器のためのアプリケーションプログラミング分野に属する当業者には、インタラクティブキャラクター機能12に関する論理機能を操作ならびに実行するために電子機器10をどのようにプログラミングしたらよいかは明らかであろう。従って、特定のプログラムコードに関する詳細は、簡潔さのために省かれている。また、ある実施形態によれば、インタラクティブキャラクター機能12が処理デバイス30で実行されるが、そのような機能は専用ハードウェアやファームウェア、あるいはハードウェア、ファームウェア及び/又はソフトウェアの組み合わせを通じて実施されてもよい。
メモリ16は例えば、バッファ、フラッシュメモリ(登録商標)、ハードディスクドライブ、リムーバブルメディア、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ(RAM)、又は他の好適なデバイスの1つ又は複数であってよい。典型的な構成において、メモリ16は、長期データストレージのための不揮発性メモリ(例えばNAND又はNOR型フラッシュメモリ)及び、制御回路28のためのシステムメモリとして機能する揮発メモリを含むことができる。揮発性メモリは、例えば同期型ダイナミックランダムアクセスメモリ(SDRAM)を用いて実現されるRAMであってよい。メモリ16はデータバス上で制御回路28とデータを交換することができる。メモリ16と制御回路28との間に付随する制御線及びアドレスバスも存在してよい。
図1及び図2を引き続き参照すると、電子機器10は無線回路34に接続されたアンテナ32を含んでいる。無線回路34は、アンテナ32を通じて信号を送信ならびに受信するための無線周波数送信機及び受信機を含んでいる。無線回路34は移動体通信システム内で動作するように、またデータ及び/又はオーディオビジュアルコンテンツの送信及び受信に用いられるように構成されてよい。移動体無線ネットワーク及び/又は放送ネットワークと相互作用するための受信機タイプは、GSM (global system for mobile communications)、CDMA (符号分割多元アクセス)、広帯域CDMA (WCDMA)、汎用パケット無線サービス (GPRS)、WiFi、WiMAX、DVB-H (digital video broadcasting-handheld)、ISDB (integrated services digital broadcasting)等および、これら規格の改良バージョンを含むが、これらに限定されない。アンテナ32及び無線回路34は、1つ以上の無線送受信機を表しうることが理解されよう。
電子機器10はさらに、無線回路34によって送受信される音声信号を処理するための音声信号処理回路36を含んでいる。音声処理回路36には、電子機器10を通じてユーザが聴いたり話したりすることを可能にするためにスピーカ38及びマイク40が接続されている。全体の動作を実行するために、無線回路34及び音声処理回路36はそれぞれ制御回路28に接続される。音声データは、ユーザに再生するため、制御回路28から音声信号処理回路36に渡されてよい。音声データは例えば、メモリ16によって保存され、制御回路28内によって読み出された音声ファイル、又は移動無線サービスからの、ストリーミングオーディオデータの形式で受信された音声データを含むことができる。音声処理回路36は、しかるべきバッファ、デコーダ、増幅器などを含んでよい。
ディスプレイ14は、映像データをディスプレイ14の駆動に用いられる映像信号に変換する映像処理回路42によって制御回路28に接続されてよい。映像処理回路42は、しかるべきバッファ、デコーダ、映像データプロセッサなどを含んでよい。映像データは、制御回路28によって生成されても、メモリ16に保存された映像ファイルから読み出されても、無線回路34によって受信された入来映像データストリームから得られても、他の好適な方法によって得られてもよい。
電子機器10はさらに、1つ以上の入力/出力(I/O)インタフェース44を含んでよい。I/Oインタフェース44は典型的な携帯電話機I/Oインタフェースの形式であってもよいし、1つ以上の電気的なコネクタを含んでもよい。よくあるように、I/Oインタフェース44は、電子機器10内の電源ユニット(PSU)46の電池を充電するため、電子機器10をバッテリ充電器に接続するために用いられてよい。さらに/あるいは、I/Oインタフェース44は、電子機器10を電子機器10との有線インタフェースを有するヘッドセットアセンブリ(例えばパーソナルハンズフリー(PHF)機器)と接続する役目を果たしてもよい。さらに、I/Oインタフェース44は、電子機器10を、データ交換用のデータケーブルを介してパーソナルコンピュータ又は他の機器と接続する役目を果たしてもよい。電子機器10は、車載電源アダプタ又はAC電源アダプタに接続された際には、I/Oインタフェース44を介して動作電源を受信することができる。PSU46は外部電源が無い場合に電子機器10を動作させるための電力を供給してもよい。
電子機器10はさらに、制御回路28及びメモリ16のような、電子機器10の様々な構成要素にクロックを供給するためのシステムクロック48を含むことができる。
撮像装置18に加え、電子機器10はデジタル写真及び/又は動画を撮影するためのカメラ50を含むことができる。写真及び/又は動画に対応する画像及び/又はビデオファイルは、メモリ16に保存されてよい。
電子機器10はさらに、全地球測位システム(GPS)受信器や、ガリレオ衛星システム(Galileo Satellite System)受信器などの位置データ受信器52を含んでもよい。位置データ受信器52は、電子機器10の位置の判別に用いることができる。
電子機器10はさらに、アクセサリ、他の移動無線端末、コンピュータ又は他の機器との通信を確立するために、赤外線送受信機及び/又はRFインタフェース(例えばブルートゥース(登録商標)インタフェース)のような局所無線インタフェース54を含むことができる。例えば、局所無線インタフェース54は、ヘッドセットアセンブリ(例えばPHF機器)が対応する無線インタフェースを有する一実施形態において、電子機器10をヘッドセットアセンブリに動作可能に接続することができる。
図6をさらに参照すると、電子機器10は通信システム56の一部として動作するように構成されてよい。システム56は、電子機器10からの呼および電子機器10への呼を管理し、電子機器10へデータを送信し、他のサポート機能を実行する1つ以上のサーバ60を有する通信ネットワーク58を含んでよい。サーバ60は伝送媒体を介して電子機器10と通信する。伝送媒体は例えば、通信塔(例えばセルタワー)、他の携帯電話機、無線アクセスポイント、衛星、等を含む、任意の適切な装置又はアセンブリであってよい。ネットワークの一部には無線伝送経路を含んでよい。ネットワーク58は、複数の電子機器10の通信アクティビティ並びに他のタイプのエンドユーザ機器をサポートすることができる。理解されるであろうが、サーバ60はサーバ機能を実行するために用いられる一般的なコンピュータシステムとして構成されてよく、またサーバ60の機能を実施する論理命令を含んだソフトウェアを実行するように構成されたプロセッサと、そのようなソフトウェアを格納するためのメモリとを含むことができる。
特定の実施形態を図示及び説明してきたが、本明細書を読んで理解することにより、本技術分野に属する当業者が、添付した請求項の範囲に含まれる等価物や変更物を想起しうることはいうまでもない。
さらに、また以下に詳細に説明するように、ディスプレイ14はインタラクティブなアニメーションキャラクターを表示してもよい。折に触れて、キャラクターは、電子機器10のユーザに応じて動いたり応答している外観を与えるようにアニメーション表示されてよい。キャラクターをいつアニメーション表示するか、また場合によってはキャラクターをどのようにアニメーション表示するか、を判定するためにユーザの存在を検出するため、電子機器10は撮像装置18のようなセンサーを含むことができる。撮像装置18は、映像信号を生成するように所定のフレームレートで画像データを出力することができる。図示する実施形態において、撮像装置18は、ユーザがディスプレイ14の前に位置する際にユーザの方向を向くテレビ電話用カメラである。この構成において、撮像装置18からの映像信号は、テレビ通話とも呼ばれるテレビ電話の実行に用いられてもよい。ユーザを検出するために、他の種類のセンサや撮像装置を用いることができることが理解されよう。
Claims (20)
- 電子機器(10)であって、
視野に対応する画像データを生成する撮像装置(18)と、
ディスプレイ(14)と、
前記撮像装置の前記視野にユーザが存在するかどうかを判別するために前記画像データを解析し、もし存在すると判別されればアニメーションキャラクター(24)を表示するように前記ディスプレイを制御する制御回路(28)とを有することを特徴とする電子機器。 - 前記解析は顔検出を用いてユーザの存在を判定することを特徴とする請求項1記載の電子機器。
- 前記アニメーションキャラクターはユーザが選択したテーマに関連付けられることを特徴とする請求項1又は2に記載の電子機器。
- 前記アニメーションキャラクターはユーザが選択した外観特性に関連付けられることを特徴とする請求項1又は2に記載の電子機器。
- 前記アニメーションキャラクターの外観は、ユーザが選択した人物のデジタル画像に基づくことを特徴とする請求項1又は2に記載の電子機器。
- 前記ユーザが前記視野に存在することが検出されない場合、前記キャラクターはアイドルモードで表示されることを特徴とする請求項1乃至5のいずれか1項に記載の電子機器。
- 前記キャラクターのアニメーションは、前記ユーザと前記電子機器との相対的な移動によって前記視野に現れ始めている前記ユーザへの反応をシミュレートすることを特徴とする請求項1乃至6のいずれか1項に記載の電子機器。
- 前記画像データの前記解析は、前記ユーザの動き及び表情を特定し、前記キャラクターのアニメーションは、前記動き又は表情への反応をシミュレートすることを特徴とする請求項1乃至7のいずれか1項に記載の電子機器。
- 電子機器(10)のユーザインタフェースをアニメーション表示する方法であって、
前記電子機器の撮像装置(18)の視野にユーザが存在するかどうかを判定するために、前記撮像装置によって生成される画像データを解析し、
ユーザの存在が検出されれば、アニメーションキャラクター(24)を表示するように前記電子機器のディスプレイ(14)を制御することを特徴とする方法。 - 前記解析は顔検出を用いてユーザの存在を判定することを特徴とする請求項9記載の方法。
- 前記アニメーションキャラクターはユーザが選択したテーマに関連付けられることを特徴とする請求項9又は10に記載の方法。
- 前記アニメーションキャラクターはユーザが選択した外観特性に関連付けられることを特徴とする請求項9又は10に記載の方法。
- 前記アニメーションキャラクターの外観は、ユーザが選択した人物のデジタル画像に基づくことを特徴とする請求項9又は10に記載の方法。
- 前記ユーザが前記視野に存在することが検出されない場合、前記キャラクターはアイドルモードで表示されることを特徴とする請求項9乃至13のいずれか1項に記載の方法。
- 前記キャラクターのアニメーションは、前記ユーザと前記電子機器との相対的な移動によって前記視野に現れ始めている前記ユーザへの反応をシミュレートすることを特徴とする請求項9乃至14のいずれか1項に記載の方法。
- 前記画像データの前記解析は、前記ユーザの動き及び表情を特定し、前記キャラクターのアニメーションは、前記動き又は表情への反応をシミュレートすることを特徴とする請求項9乃至15のいずれか1項に記載の方法。
- 装置が読み取り可能な媒体(16)に格納されたプログラム(12)であって、前記プログラムは電子機器(10)のユーザインタフェースをアニメーション表示するためのものであり、
前記電子機器の撮像装置(18)の視野にユーザが存在するかどうかを判定するために、前記撮像装置によって生成される画像データを解析し、
ユーザの存在が検出されれば、アニメーションキャラクター(24)を表示するように前記電子機器のディスプレイ(14)を制御する、ための実行可能なロジックを有することを特徴とするプログラム。 - 前記ユーザが前記視野に存在することが検出されない場合、前記キャラクターはアイドルモードで表示されることを特徴とする請求項17記載のプログラム。
- 前記キャラクターのアニメーションは、前記ユーザと前記電子機器との相対的な移動によって前記視野に現れ始めている前記ユーザへの反応をシミュレートすることを特徴とする請求項17又は18記載のプログラム。
- 前記画像データの前記解析は、前記ユーザの動き及び表情を特定し、前記キャラクターのアニメーションは、前記動き又は表情への反応をシミュレートすることを特徴とする請求項17又は19記載のプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/027,305 US20090201297A1 (en) | 2008-02-07 | 2008-02-07 | Electronic device with animated character and method |
US12/027,305 | 2008-02-07 | ||
PCT/IB2008/002079 WO2009098539A1 (en) | 2008-02-07 | 2008-08-07 | Electronic device with animated character and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011515726A true JP2011515726A (ja) | 2011-05-19 |
Family
ID=40019308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010545566A Pending JP2011515726A (ja) | 2008-02-07 | 2008-08-07 | アニメーションキャラクターを用いる電子機器及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20090201297A1 (ja) |
EP (1) | EP2245599A1 (ja) |
JP (1) | JP2011515726A (ja) |
WO (1) | WO2009098539A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015173967A1 (ja) * | 2014-05-16 | 2015-11-19 | セガサミークリエイション株式会社 | ゲーム画像生成装置およびプログラム |
JP2020190736A (ja) * | 2020-07-16 | 2020-11-26 | 米澤 朋子 | 親近アンビエントエージェントシステムおよびプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100113266A (ko) * | 2009-04-13 | 2010-10-21 | 삼성전자주식회사 | 휴대용 단말기에서 3차원 영상 메시지 제작 방법 및 장치 |
KR20110116524A (ko) * | 2010-04-19 | 2011-10-26 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
WO2013097160A1 (en) * | 2011-12-30 | 2013-07-04 | Intel Corporation | Interactive media systems |
KR102109054B1 (ko) * | 2013-04-26 | 2020-05-28 | 삼성전자주식회사 | 애니메이션 효과를 제공하는 사용자 단말 장치 및 그 디스플레이 방법 |
US9922439B2 (en) * | 2014-07-25 | 2018-03-20 | Samsung Electronics Co., Ltd. | Displaying method, animation image generating method, and electronic device configured to execute the same |
WO2016013893A1 (en) | 2014-07-25 | 2016-01-28 | Samsung Electronics Co., Ltd. | Displaying method, animation image generating method, and electronic device configured to execute the same |
US20160217496A1 (en) * | 2015-01-23 | 2016-07-28 | Disney Enterprises, Inc. | System and Method for a Personalized Venue Experience |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1173289A (ja) * | 1997-08-29 | 1999-03-16 | Sanyo Electric Co Ltd | 情報処理装置 |
JP2005196645A (ja) * | 2004-01-09 | 2005-07-21 | Nippon Hoso Kyokai <Nhk> | 情報提示システム、情報提示装置、及び情報提示プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
US6894686B2 (en) * | 2000-05-16 | 2005-05-17 | Nintendo Co., Ltd. | System and method for automatically editing captured images for inclusion into 3D video game play |
US6654018B1 (en) * | 2001-03-29 | 2003-11-25 | At&T Corp. | Audio-visual selection process for the synthesis of photo-realistic talking-head animations |
JP3848101B2 (ja) * | 2001-05-17 | 2006-11-22 | シャープ株式会社 | 画像処理装置および画像処理方法ならびに画像処理プログラム |
US6879709B2 (en) * | 2002-01-17 | 2005-04-12 | International Business Machines Corporation | System and method for automatically detecting neutral expressionless faces in digital images |
US7027054B1 (en) * | 2002-08-14 | 2006-04-11 | Avaworks, Incorporated | Do-it-yourself photo realistic talking head creation system and method |
WO2004027685A2 (en) * | 2002-09-19 | 2004-04-01 | The Penn State Research Foundation | Prosody based audio/visual co-analysis for co-verbal gesture recognition |
US20040095389A1 (en) * | 2002-11-15 | 2004-05-20 | Sidner Candace L. | System and method for managing engagements between human users and interactive embodied agents |
JP3950802B2 (ja) * | 2003-01-31 | 2007-08-01 | 株式会社エヌ・ティ・ティ・ドコモ | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 |
-
2008
- 2008-02-07 US US12/027,305 patent/US20090201297A1/en not_active Abandoned
- 2008-08-07 JP JP2010545566A patent/JP2011515726A/ja active Pending
- 2008-08-07 WO PCT/IB2008/002079 patent/WO2009098539A1/en active Application Filing
- 2008-08-17 EP EP08789029A patent/EP2245599A1/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1173289A (ja) * | 1997-08-29 | 1999-03-16 | Sanyo Electric Co Ltd | 情報処理装置 |
JP2005196645A (ja) * | 2004-01-09 | 2005-07-21 | Nippon Hoso Kyokai <Nhk> | 情報提示システム、情報提示装置、及び情報提示プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015173967A1 (ja) * | 2014-05-16 | 2015-11-19 | セガサミークリエイション株式会社 | ゲーム画像生成装置およびプログラム |
JPWO2015173967A1 (ja) * | 2014-05-16 | 2017-05-25 | セガサミークリエイション株式会社 | ゲーム画像生成装置およびプログラム |
US10099132B2 (en) | 2014-05-16 | 2018-10-16 | Sega Sammy Creation Inc. | Game image generation device and program |
JP2020190736A (ja) * | 2020-07-16 | 2020-11-26 | 米澤 朋子 | 親近アンビエントエージェントシステムおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2009098539A1 (en) | 2009-08-13 |
US20090201297A1 (en) | 2009-08-13 |
EP2245599A1 (en) | 2010-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011515726A (ja) | アニメーションキャラクターを用いる電子機器及び方法 | |
US11178358B2 (en) | Method and apparatus for generating video file, and storage medium | |
CN106791893B (zh) | 视频直播方法及装置 | |
KR101899548B1 (ko) | 휴대단말에서 피드 정보 수집 방법 및 장치 | |
US10027793B2 (en) | Notification of mobile device events | |
US8769571B2 (en) | System and method for generating a visual summary of previously viewed multimedia content | |
WO2016177296A1 (zh) | 一种生成视频的方法和装置 | |
US8306576B2 (en) | Mobile terminal capable of providing haptic effect and method of controlling the mobile terminal | |
CN110213504B (zh) | 一种视频处理方法、信息发送方法及相关设备 | |
US20130002532A1 (en) | Method, apparatus, and computer program product for shared synchronous viewing of content | |
EP4315332A1 (en) | Synchronizing visual content to an audio track | |
KR20150068509A (ko) | 메신저 프로그램에서의 이미지를 이용한 커뮤니케이션 방법, 이를 위한 장치 및 시스템 | |
AU2014202423B2 (en) | Notification of mobile device events | |
US20130002708A1 (en) | Method, apparatus, and computer program product for presenting interactive dynamic content in front of static content | |
CN109151186A (zh) | 主题切换方法和装置、电子设备、计算机可读存储介质 | |
TW201312971A (zh) | 接收訊息的方法 | |
JP3641631B2 (ja) | 携帯電話装置、携帯電話装置の制御方法、携帯電話装置の制御プログラム、および携帯電話装置の制御プログラムを記録したコンピュータ読取可能な記録媒体 | |
KR20120019709A (ko) | Tv 및 이동 단말기에서 방송 채널 동기화를 통한 채팅방법 | |
CN106027364B (zh) | 用于反馈消息的方法、装置及终端 | |
CN109889662A (zh) | 信息转发方法、装置、电子设备及计算机可读存储介质 | |
CN105554277B (zh) | 组合信息获取方法、装置和系统 | |
WO2019056367A1 (zh) | 相机水印的编辑方法和装置 | |
WO2022212127A1 (en) | Synchronizing visual content to an audio track | |
KR20150105025A (ko) | 메신저 서비스 시스템, 그 시스템에서의 프레즌스 정보를 반영한 채팅 환경을 제공하기 위한 메신저 서비스 방법 및 장치 | |
WO2023239664A1 (en) | User interface extendibility over wireless protocol |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120604 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121225 |