JP2021516836A - アプリケーションシーンにおけるインタラクティブ方法並びにその方法を実行するモバイル端末及びコンピュータプログラム - Google Patents

Abstract

アプリケーションシーンにおけるインタラクティブ方法およびモバイル端末ならびに記憶媒体であって、モバイル端末における没入型インタラクティブを実現する。本願の実施例は、モバイル端末は、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、それぞれ撮影された前後隣接する２フレームの画像である第１フレーム画像および第２フレーム画像を取得すること（２０１）と、モバイル端末は、前記第１フレーム画像と前記第２フレーム画像とを比較することにより、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得すること（２０２）と、モバイル端末は、前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、シミュレーション対象およびインタラクティブ可能な物体が表示されているインタラクティブ型アプリケーションシーンにおける前記シミュレーション対象の制御指令を生成すること（２０３）と、モバイル端末は、前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおいて前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御すること（２０４）と、を含むアプリケーションシーンにおけるインタラクティブ方法を提供する。

Description

本願は、２０１８年０８月２８日にて中国特許庁へ出願した、出願番号が２０１８１０９８９３７１．５で、発明の名称が「アプリケーションシーンにおけるインタラクティブ方法および端末ならびに記憶媒体」である中国特許出願に基づく優先権を主張し、その内容を全て参照により本願に組み込むものとする。

本願の実施例は、コンピュータの技術分野に関し、特に、アプリケーションシーンにおけるインタラクティブ方法およびモバイル端末ならびに記憶媒体に関する。

仮想世界を構築し、ユーザに仮想世界を体験させることを可能にするコンピュータシミュレーションシステムは、コンピュータを用いて、マルチ・ソース情報の融合によるインタラクティブ型の３次元動的シーンおよびエンティティ行動のシステムシミュレーションであるシミュレーション環境を生成し、ユーザを該環境に没入させる。

現在、その重要なアプリケーションはモバイル端末ゲームであり、プレイヤーがゲーム内でインタラクティブ操作を行うことを可能にすることが該ゲームの特徴であり、それゆえ、プレイヤーは、指を介して端末のタッチ画面とインタラクティブをする必要がある。従来のモバイル端末ゲームにおいて、ユーザは、依然として指を介してタッチ画面とゲームのインタラクティブをする必要があり、例えば、タッチ画面を指でタップしたり、ハンドルやボタンを指で操作したり、タッチ画面を指でスライドしたりする等の操作によって完成する。

本願の実施例は、モバイル端末における没入型インタラクティブ実現を実現するために、アプリケーションシーンにおけるインタラクティブ方法およびモバイル端末ならびに記憶媒体を提供する。

本願の実施例は、以下の技術案を提供する。

一態様によれば、本願の実施例は、
モバイル端末が実行するアプリケーションシーンのインタラクティブ方法であって、
カメラを介して目標の顔をリアルタイムで撮影することにより、それぞれ撮影された前後隣接する２フレームの画像である第１フレーム画像および第２フレーム画像を取得するステップと、
前記第１フレーム画像と前記第２フレーム画像とを比較することにより、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得するステップと、
前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、シミュレーション対象およびインタラクティブ可能な物体が表示されているインタラクティブ型アプリケーションシーンにおける前記シミュレーション対象の制御指令を生成するステップと、
前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおける前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御するステップと、を含むアプリケーションシーンにおけるインタラクティブ方法を提供する。

他の態様によれば、本願の実施例は、コンピュータで実行されると、コンピュータに上述した方法を実行させる指令を含むコンピュータ読取可能な記憶媒体をさらに提供する。

他の態様によれば、本願の実施例は、１つ又は複数のプロセッサと、プログラムユニットを記憶する１つ又は複数のメモリと、を備え、プログラムユニットは、プロセッサによって実行され、該プログラムユニットは、
カメラを介して目標の顔をリアルタイムで撮影することにより、それぞれ撮影することにより取得した前後隣接する２フレームの画像である第１フレーム画像および第２フレーム画像を取得する撮影モジュールと、
前記第１フレーム画像と前記第２フレーム画像とを比較することにより、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得する比較モジュールと、
前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、シミュレーション対象およびインタラクティブ可能な物体が表示されているインタラクティブ型アプリケーションシーンにおける前記シミュレーション対象の制御指令を生成する指令生成モジュールと、
前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおいて前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御するインタラクティブモジュールと、を含む、モバイル端末をさらに提供する。

上述した態様では、モバイル端末の構成モジュールは、上述した一態様および様々な実現可能な実現形態で説明されたステップをさらに実行することができ、詳しくは、上述した一態様および様々な実現可能な実現形態での記載を参照されたい。

他の態様によれば、本願の実施例は、指令を記憶するプロセッサと、メモリにおける指令を実行することで、モバイル端末に上述した一態様におけるいずれかの方法を実行させるメモリと、を備えるモバイル端末をさらに提供する。

本願の実施例では、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を得て、第１フレーム画像および第２フレーム画像は、それぞれ撮影された前後隣接する２フレームの画像であり、第１フレーム画像と第２フレーム画像とを比較することにより、目標の顔の動作および対応する幅を得て、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されており、そして、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクティブをするようにシミュレーション対象を制御する。本願の実施例によれば、カメラがリアルタイムで撮影した複数フレームの画像の比較結果に基づいて顔の動作および幅を取得することができ、さらに、シミュレーション対象の制御指令を生成することができ、該制御指令によって、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブを実現する。本願の実施例では、指令をユーザの指で送信する代わりに、ユーザの顔の表情に頼るシーンインタラクティブをすることができるので、モバイル端末における没入型インタラクティブを実現することができる。

本願の実施例の技術案をより明確に説明するために、以下、実際例の説明に使用される必要のある図面を簡単に紹介するが、明らかなように、以下の図面は、あくまでも本願の若干の実施例であり、当業者であれば、これらの図面に基づいてさらに他の図面を取得することができる。
本願の実施例におけるユーザとモバイル端末間のインタラクティブシーン模式図である。 本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法の概略的なフローブロック図である。 本願の実施例で提供される他のアプリケーションシーンにおけるインタラクティブ方法の概略的なフローブロック図である。 本願の実施例で提供される磁気吸引効果の模式図である。 本願の実施例で提供される減衰効果の模式図である。 本願の実施例で提供されるゲームシーンでのインタラクティブ検出フローの模式図である。 本願の実施例で提供されるゲームシーンでのインタラクティブ検出模式図である。 本願の実施例で提供される他のゲームシーンでのインタラクティブ検出模式図である。 本願の実施例で提供される更なるゲームシーンでのインタラクティブ検出模式図である。 本願の実施例で提供されるモバイル端末の構成模式図である。 本願の実施例で提供される比較モジュールの構成模式図である。 本願の実施例で提供される他のモバイル端末の構成模式図である。 本願の実施例で提供される更なるモバイル端末の構成模式図である。 本願の実施例で提供されるインタラクティブモジュールの構成模式図である。 本願の実施例で提供される更なるモバイル端末の構成模式図である。 本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法が端末に適用される構成模式図である。

本願の実施例は、モバイル端末における没入型インタラクティブを実現するために、アプリケーションシーンにおけるインタラクティブ方法および端末ならびに記憶媒体を提供する。

本願の実施例の発明の目的、特徴及びメリットをより明確で分かりやすくするために、以下、本願の実施例中の図面を結合して、本願の実施例の技術案を明瞭かつ完全に説明する。以下で説明される実施例は本願の実施例の一部に過ぎず、全部ではないことは、言うまでもないことである。当業者が本願の実施例に基づいて創造的な労働無しに得られた他の実施例も、全て本願の保護範囲内に含まれる。

本願の明細書及び特許請求の範囲並びに上記図面における用語である「含む」、「有する」及びそれらの如何なる変形は、排他的にならずに含まれたものをカバーすることがその意図であり、これにより、一連のユニットを含めたプロセス、方法、システム、製品又は機器は、これらのユニットに限定される必要がなく、明確に示していなかったりこれらのプロセス、方法、製品又は機器に対して固有であったりする他のユニットを含み取得する。

図１には、本願の実施例で提供されるユーザとモバイル端末間のインタラクティブシーン模式図が示されている。モバイル端末（単に「端末」という）とユーザとがインタラクティブをすることができ、端末は、携帯電話、タブレットコンピュータ、電子書籍リーダー、ムービング・ピクチャー・エクスパーツ・グループ圧縮規格オーディオレイヤー３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ＭＰ３）プレーヤー、ムービング・ピクチャー・エクスパーツ・グループ圧縮規格オーディオレイヤー４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、ＭＰ４）プレーヤー、ラップトップ型携帯コンピュータ及びデスクトップ型コンピュータなどであり取得する。

端末にカメラが備えられ、該カメラは、具体的には、フロントカメラであり取得する。カメラはユーザの顔画像を取得することができる。該端末は、本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法を実行し、既存のモバイル端末の入力によるインタラクティブ方式に対応していると同時に、カメラによってユーザの顔画像を１フレームずつキャプチャし、前後フレームの顔データの比較により、ユーザによる動作および対応する幅を算出し、異なるインタラクティブ型アプリケーションシーンにおける制御指令に対応させ、そして、該制御指令に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象とインタラクティブ可能な物体とのインタラクティブを実現することができる。関連技術に比べると、顔制御の精度および滑らかさを大幅に向上させ、指操作を一切必要としない新しいインタラクティブ方式が可能になっている。該インタラクティブ方式は、没入感の重要視に適用され、画面を指でタッチすることでインタラクティブをする操作は一切必要がなく、インタラクティブ操作を全く顔の表情認識に頼って行うため、ユーザの感情移入を大幅に向上させることができる。

以下、モバイル端末の視点から詳しく説明する。本願によるアプリケーションシーンにおけるインタラクティブ方法の一実施例は、具体的には、顔画像に基づくインタラクティブ検出処理に適用されることができる。図２は、本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法の概略的なフローブロック図である。図２に示されるように、本願の一実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法は、以下のステップ２０１〜ステップ２０４を含み取得する。

２０１：モバイル端末は、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を取得する。第１フレーム画像および第２フレーム画像は、それぞれ撮影されたた前後隣接する２フレームの画像である。

本願の実施例では、端末にカメラが備えられており、まず、モバイル端末のカメラを初期化し、初期化が完了した後、カメラを起動してカメラの視野に現れた物体画像を取得し、該物体画像がユーザの顔画像と認識された場合、該ユーザの顔を目標の顔としてリアルタイムで撮影し、異なるフレームタイミングで撮影した画像を生成する。本願の実施例では、端末に装着されたカメラは、リアカメラ又はフロントカメラであってもよい。端末は、まず、処理すべき第１フレーム画像および第２フレーム画像を取得し、各フレームの画像は、ユーザの顔をカメラによって撮影した後に生成された顔画像であってもよい。本願の実施例では、顔画像は、フェース画像又は頭部画像などと呼ばれてもよい。

本願の実施例では、カメラは、異なるフレームタイミングでの画像を取得する際に、複数のフレームタイミングでの画像を取得することができる。上記複数のフレームタイミングでの画像を区別するために、カメラが第１フレームタイミングで撮影した画像を第１フレーム画像として定義し、カメラが第２フレームタイミングで撮影した画像を第２フレーム画像として定義し、第１フレーム画像および第２フレーム画像は、カメラが異なるフレームタイミングで撮影した画像を区別するためのものにすぎない。

本願の実施例では、第１フレームタイミングで撮影した第１フレーム画像の特徴点の検出・計算により第１フレーム画像の特徴点を取得することができ、第２フレームタイミングで撮影した第２フレーム画像の特徴点の検出・計算により第２フレーム画像の特徴点を取得することができる。画像の特徴点は、特徴点に基づく画像マッチングアルゴリズムにおいて非常に重要な役割を果たし、画像の特徴点は、画像の本質的な特徴を反映可能であり、画像中の対象物体を識別することができ、特徴点のマッチングにより画像のマッチングを達成することができる。本願の実施例における画像の特徴点は、局所画像特徴点であり取得する。第１フレーム画像および第２フレーム画像の特徴点の抽出は、様々な形態で実現可能であり、例えば、ＯＲＢ（英語表記：ＯＲｉｅｎｔｅｄ Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）特徴点の抽出であってもよく、また、加速ロバスト特徴（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ、ＳＵＲＦ）の抽出であってもよく、さらにスケール不変特徴変換（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）に基づく抽出などであってもよい。このため、本願の実施例では、局所画像特徴点は、ＯＲＢ特徴点、ＳＵＲＦ特徴点、ＳＩＦＴ特徴点であり取得する。特徴点の検出により各フレームの画像での顔を認識することができ、例えば、特徴点の検出により顔の五官を認識することができ、これらの五官を顔の位置決め点とすることができる。

本願のいくつかの実施例では、ステップ２０１では、モバイル端末は、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影する前に、本願の実施例で提供される方法は、
モバイル端末は、モバイル端末のタッチ画面にタッチ入力が生じたか否かを検出するステップと、
タッチ画面にタッチ入力が生じていなければ、モバイル端末は、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影するステップを実行するようにトリガーするステップと、をさらに含む。

ユーザとモバイル端末間の完全な非接触制御を実現するために、まず、タッチ画面にタッチ入力が生じたか否かを判断し、タッチ画面にタッチ入力が生じていないと判定されていれば、ユーザがモバイル端末の画面を指でタッチしたことがないことが示唆され、この場合、モバイル端末のカメラを起動してユーザの画像を取得させる。

２０２：モバイル端末は、第１フレーム画像と第２フレーム画像とを比較することにより、目標の顔の動作および対応する幅を取得する。

本願の実施例では、端末は、前後フレームの顔画像を取得した後、顔画像の前後フレームにおける位置変化によって、目標の顔の動作および該動作に対応する幅を特定することができる。目標の顔の動作とは、端末のカメラで撮影されたユーザ動作を指し、例えば、動作は、顔の上下左右移動であり取得する。幅は、顔動作の移動方向および距離を指す。

例を挙げて説明すると、本願の実施例では、前後フレームの画像の比較により、目標の顔の動作が顔を左右に回転させることであると認識でき、画面における顔の左右移動に対応し、回転幅が画面における移動距離に対応する。また、例えば、前後フレームの画像の比較により、顔の動作が頭を上げたり下げたりすることであると認識でき、画面における顔の上下移動に対応し、移動幅が画面における移動距離に対応する。

本願のいくつかの実施例では、ステップ２０２では、モバイル端末は、第１フレーム画像と第２フレーム画像とを比較することにより、目標の顔の動作および対応する幅を取得する前記ステップは、
顔位置決め点が第１フレーム画像に現れる第１画素位置、および、顔位置決め点が第２フレーム画像に現れる第２画素位置を特定するステップと、
第１画素位置と第２画素位置とを比較することにより、第１画素位置と第２画素位置との相対変位を取得するステップと、
第１画素位置和第２画素位置との相対変位に基づいて、目標の顔の動作および対応する幅を特定するステップと、を含む。

本願の実施例では、上述したステップを通じて目標の顔を撮影した複数フレームの画像の顔検出を行った後、画像中の顔位置を出力することができ、カメラで撮影した画像における顔位置は、画素単位である。次に、該顔位置から顔位置決め点を検出し、該顔位置決め点の位置決め点特徴は、予め統計して分類することにより特定されることができ、これにより、顔位置にて予め設定された位置決め点特徴を満たす画素位置が存在するか否かを検出する。顔位置にて該位置決め点特徴を満たす画素位置が存在すれば、顔位置に存在する該位置決め点特徴を満たす画素位置は、顔位置決め点の顔位置における位置決め点位置であると判定される。本願の実施例で使用される顔位置決め点とは、対象オブジェクトの顔位置において、顔位置が回転したか否かを位置きめるための位置きめ基準点である。実際の応用において、顔位置決め点の選択は、顔位置における実現可能な五官特徴に基づいて行われることができる。なお、顔位置決め点は、顔位置におけるある器官が存在する画素位置であってもよいし、複数の器官が存在する画素位置であってもよい。ここでは制限しない。

各フレームの画像ごとに、同一の顔位置決め点が存在する画素位置を検出し、例えば、顔位置決め点が第１フレーム画像に存在する画素位置は第１画素位置と呼ばれ、顔位置決め点が第２フレーム画像に存在する画素位置は第２画素位置と呼ばれる。２フレームの画像における該２つの画素位置を比較することにより、相対変位を特定し、該相対変位に基づいて目標の顔の動作および幅を算出する。例を挙げて以下の通り説明する。顔の上下移動を例として、現在の顔の眉中心座標を前回の眉中心座標データと比較することにより、Ｙ座標が大きくなっていれば、頭を上げることを意味し、Ｙ座標が小さくなっていれば、頭を下げることを意味する。また、顔の左右移動を例として、現在の顔の鼻先座標を前回の鼻先座標データと比較することにより、Ｘ座標が大きくなっていれば、左に回転することを意味し、Ｘ座標が小さくなっていれば、右に回転することを意味する。さらに、顔の前後移動を例として、現在の顔の左眼の目尻から右眼の目尻までの距離を前回の同一の距離データと比較して大きくなっていれば、顔が前に移動したことを示唆し、該データの比較の結果、小さくなっていれば、顔が後に移動したことを示唆する。また、ユーザのタップを例として、現在の顔の中心点座標を前回の中心点座標データと比較することにより、一定の座標範囲内で一定の時間保っていれば、顔にタップ操作が発生したと判定される。

２０３：モバイル端末は、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されている。

本願の実施例では、インタラクティブ型アプリケーションシーンは、具体的には、ゲームシーンであってもよいし、アプリケーションプログラムのインタラクティブシーンであってもよい。例を挙げて説明すると、本願の実施例で提供されるインタラクティブ型アプリケーションシーンの処理方法は、ゲームキャラクターのために構築されたシーンに適用されることができれば、ソフトウェアアプリケーションシステムにおいてユーザのために構築されたたシーンに適用されることもできる。本願の実施例で説明したインタラクティブ型アプリケーションシーンにはシミュレーション対象が表示されており、該シミュレーション対象は、ゲームシーンにおけるゲームキャラクターであってもよいし、ゲームシーンにおけるヒーローや兵士であってもよく、例えば、シミュレーション対象は、ストラテジーゲームにおけるユーザが制御している人又はものであり取得するが、ここでは制限しない。インタラクティブ型アプリケーションシーンにシミュレーション対象が表示されるほか、インタラクティブ型アプリケーションシーンにはインタラクティブ可能な物体も表示されており、該インタラクティブ可能な物体とは、インタラクティブ型アプリケーションシーンにおいてシミュレーション対象とインタラクティブ可能な物体を指し、この物体物体は、異なるインタラクティブ型シーンで様々なものであり取得する。例えば、ゲームシーンにおける道具であり取得する。

本願の実施例では、端末は、目標の顔の動作および対応する幅を取得した後、該動作および対応する幅を、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令にマッピングすることができ、該制御指令は「インタラクティブ指令」と呼ばれてもよい。すなわち、ユーザは自分の顔を介して動作し、該動作のタイプおよび幅に応じてシミュレーション対象の制御指令を生成することができ、該制御指令によってシミュレーション対象を制御可能である。

本願のいくつかの実施例では、次に、本願の実施例でインタラクティブ可能な物体のロック方法について説明する。ステップ２０３では、モバイル端末は、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成した後、本願の実施例で提供される方法は、
モバイル端末は、制御指令に従い、焦点がインタラクティブ可能な物体の範囲内で安定して維持される時間が予め設定された時間に達したか否かを判定し、焦点は、目標の顔がインタラクティブ型アプリケーションシーンにマッピングされる基準点であるステップと、
シミュレーション対象がインタラクティブ可能な物体の範囲内で安定して維持される時間が予め設定された時間に達していれば、モバイル端末は、インタラクティブ可能な物体の範囲内からインタラクティブ可能な物体をロックするステップと、をさらに含む。

目標の顔は、インタラクティブ型アプリケーションシーンにおいて１つの焦点がマッピングされており、該焦点は、ユーザの顔がインタラクティブ型アプリケーションシーンにマッピングされる基準点である。まず、該制御指令によって、該焦点がインタラクティブ可能な物体の範囲内であるか否かを判定し、インタラクティブ可能な物体の範囲とは、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体が存在する一定の領域の範囲を指す。焦点が該インタラクティブ可能な物体の範囲内に入った場合にのみ、シミュレーション対象はインタラクティブ可能な物体とインタラクティブをすることができ、焦点が該インタラクティブ可能な物体の範囲内に入っていなければ、シミュレーション対象はインタラクティブ可能な物体とインタラクティブをすることができない。該シミュレーション対象が該インタラクティブ可能な物体の範囲内で安定して維持される時間が予め設定された時間に達したか否かを判定し、予め設定された時間はｘ秒で表され、一定範囲内で固定点をｘ秒間維持すると、対応画面におけるインタラクティブ可能な物体を特定し、焦点ロックを行い、対応操作を実現する。インタラクティブ型アプリケーションシーンにおいて、インタラクティブ可能な物体のロックは、デフォルトで設定されることができれば、インタラクティブ可能な物体が複数ある場合、焦点とインタラクティブ可能な物体の範囲との距離によってインタラクティブ可能な物体をロックすることもできると分かる。ロックされたインタラクティブ可能な物体は、シミュレーション対象がインタラクティブをするべき物体物体である。

２０４：モバイル端末は、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクティブをするようにシミュレーション対象を制御する。

本願の実施例では、端末が制御指令を生成した後、端末は、該制御指令に応じて、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブ方式を制御することができる。本願の実施例では、インタラクティブ型アプリケーションシーンの設定が異なると、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブ動作は様々なものが存在し取得する。例を挙げて以下の通り説明する。インタラクティブ型アプリケーションシーンが魚を食べるゲームであることを例として、インタラクティブ可能な物体は、ゲームシーンに設定された魚道具であり、上述した実施例で生成された制御指令が口開けであれば、口を開けて魚を食べ始めるようにゲームキャラクター（例えば、口）を制御することができ、これにより、ゲームキャラクターとインタラクティブ可能な物体とのインタラクティブを実現する。本願の実施例では、シミュレーション対象の制御指令は、画像検出により生成され、全過程で非タッチの形で、一人称視点でゲームへの感情移入を強め、ユニークなゲーム体験をもたらす。

本願のいくつかの実施例では、ステップ２０４では、モバイル端末は、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクティブをするようにシミュレーション対象を制御する前記ステップは、
焦点とインタラクティブ可能な物体との距離をリアルタイムで算出し、焦点は、目標の顔がインタラクティブ型アプリケーションシーンにマッピングされる基準点であるステップと、
リアルタイムで算出された距離に基づいて、焦点がインタラクティブ可能な物体の範囲内であるか否かを判定するステップと、
焦点がインタラクティブ可能な物体の範囲内であれば、リアルタイムで算出された距離に基づいて、焦点に対応する変位速度を更新するステップと、
更新後の変位速度に基づいて制御指令を更新し、更新後の制御指令を用いて、インタラクティブ可能な物体とインタラクティブをするようにシミュレーション対象を制御するステップと、を含む。

インタラクティブ可能な物体とインタラクティブをするようにシミュレーション対象を制御する際に、端末は、シミュレーション対象とインタラクティブ可能な物体との距離をリアルタイムで算出することができ、該距離によって、焦点がインタラクティブ可能な物体の範囲内であるか否かを判断することができ、焦点がインタラクティブ可能な物体の範囲内である場合にのみ、後続のインタラクティブフローを実行することができ、焦点がインタラクティブ可能な物体の範囲内でなければ、インタラクティブをすることができない。焦点がインタラクティブ可能な物体の範囲内である場合に、リアルタイムで算出された距離に基づいて、焦点に対応する変位速度を更新し、すなわち、該距離のリアルタイムの変化に基づいて、焦点に対応する変位速度をリアルタイムで更新することができ、継続的に更新される変位速度に従い制御指令を更新することができるため、該制御指令は、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブを制御するために使用されることができる。例えば、焦点に対応する変位速度が変化した場合、シミュレーション対象は、制御指令に従いリアルタイムで移動することができ、アプリケーションシーンが異なると、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブ方式は、具体的なシーンと結合して決定されることができる。

あるいはまた、本願のいくつかの実施例では、焦点とインタラクティブ可能な物体との距離をリアルタイムで算出した後、該距離のリアルタイムの変化状況に応じて、焦点に対応する変位速度を更新してもよい。これにより、変位速度のリアルタイムの更新を実現し、磁気吸引効果および減衰効果を実現可能である。具体的には、リアルタイムで算出された距離に基づいて、焦点に対応する変位速度を更新することは、
焦点とインタラクティブ可能な物体との距離が小さくなると、焦点の移動方向に変位速度を減少させてから変位速度を増加させること、或いは、
焦点とインタラクティブ可能な物体との距離が大きくなると、まず焦点の移動方向に変位速度を減少させ、その後、移動方向の反対方向に変位速度を増加させること、を含む。

端末は、磁気吸引合焦方式を採用することができ、すなわち、シミュレーション対象とインタラクティブ可能な物体との距離をリアルタイムで算出することができる。焦点がインタラクティブ可能な物体にある状態下で、焦点とインタラクティブ可能な物体との距離が小さくなると、焦点の移動方向に変位速度を減少させてから変位速度を増大させ、これにより、焦点がインタラクティブ可能な物体から離れる移動抵抗が増大し、焦点に対応する変位速度の動的な調整を実現し、その増大後の移動抵抗に基づいて制御指令を更新することで、該制御指令はインタラクティブポイントへの吸引力作用が発生することができるので、物体インタラクティブ操作を行う難しさが低下し、精度が向上する。

図４は、本願の実施例で提供される磁気吸引効果の模式図である。シミュレーション対象が制御指令の制御下で生じる速度は、以下の式から算出される。

速度＝（初期速度×初期方向−目標速度×目標方向）×（現在時間／合計時間）×磁気吸引定数。

インタラクティブ可能な物体外とは、顔が機器にマッピングされる焦点がインタラクティブ可能な物体の範囲外であることを意味し、インタラクティブ可能な物体内とは、顔が機器にマッピングされる焦点がインタラクティブ可能な物体の範囲内であることを意味する。初期速度、初期方向、目標速度、目標方向は、いずれも顔の移動が画面上に反映される移動データであり、磁気吸引定数は実際のシーンに応じて調整されることができ、磁気吸引定数は、顔の回転速度から焦点の移動速度への体験を拡張するために使用され、例えば、磁気吸引定数の取りうる値は１．３２である。例を挙げて以下の通り説明する。インタラクティブ可能な物体に対して、顔操作カーソルが近づくと、移動抵抗が大きくなり、すなわち、物体から離れるためにより大きい動作幅が必要となる。本願の実施例では、磁気吸引合焦により、顔制御の精度および滑らかさを大幅に向上させ、インタラクティブを全く顔の表情認識に頼って行うゲームが可能になっている。

本願の他の実施例では、インタラクティブ可能な物体とインタラクティブをするようにシミュレーション対象を制御する際に、端末は、減衰効果方式を採用することができ、リアルタイムで算出されたシミュレーション対象とインタラクティブ可能な物体との距離に基づいて、焦点とインタラクティブ可能な物体との距離が大きくなると、まず焦点の移動方向に変位速度を減少させ、その後、移動方向の反対方向に変位速度を増加させる。該焦点に対応する変位速度が閾値を超えたか否かを判断し、変位速度が該閾値を超えると、顔操作が速すぎて、往復双方向に高速変位が発生したことが分かり、このとき、同方向にまず焦点に対応する変位速度を減少させ、その後、反対方向に変位速度を増加させることができ、これにより、減衰効果が発生し、操作の不確かさを低減する。

図５は、本願の実施例で提供される減衰効果の模式図である。シミュレーション対象が制御指令の制御下で生じる速度は、以下の式から算出される。

速度＝ｃｏｓ（初期速度×方向／目標速度×方向）×（現在時間／合計時間）×減衰定数。

初期速度、初期方向、目標速度、目標方向は、いずれも顔の移動が画面上に反映される移動データであり、減衰定数は実際のシーンに応じて調整されることができ、減衰定数は、顔の向きが焦点の向きにマッピングされる加減速の体験を強化するために使用され、例えば、減衰定数の取りうる値は０．５３である。本願の実施例では、焦点に対応する変位速度を減らし、減衰効果を発生させ、操作の不確かさを低減することができるため、顔制御の精度および滑らかさを大幅に向上させ、インタラクティブを全く顔の表情認識に頼って行うゲームが可能になっている。

以上、インタラクティブ型アプリケーションシーンにおいて顔をマッピングさせた焦点に基づくインタラクティブ検出過程について説明した。図３は、本願の実施例で提供される他のアプリケーションシーンにおけるインタラクティブ方法の概略的なフローブロック図である。次に、図３を参照しながら、デフォーカス判定過程について詳しく説明する。本願のいくつかの実施例では、本願の実施例で提供される方法は、ステップ３０１〜ステップ３０３をさらに含む。

３０１：モバイル端末は、リアルタイムで取得した各フレームの画像での複数の顔キーポイントのピクセル座標を特定する。

各フレームの画像において、端末は、カメラによって複数の顔キーポイントのピクセル座標をキャプチャすることができ、顔キーポイントの数は９０とされてもよい。

３０２：モバイル端末は、複数の顔キーポイントのピクセル座標に基づいて、目標の顔が焦点を失ったか否かを判断する。

端末は、これらの顔キーポイントのピクセル座標に基づいて、目標の顔が焦点を失ったか否かを判定し、例えば、カメラでキャプチャした９０個の顔キーポイントのピクセル座標に基づく分析を行い、これらのキーポイントを９０個まで取得できないか、或いは、頭を上げたり下げたりする動作が一定の幅（例えば、４５度）を超えていれば、デフォーカスであると判断する。

３０３：目標の顔が焦点を失った場合、目標の顔の合焦補正を行う。

本願の実施例では、顔が認識できないか、或いは、カメラから離れていると判定されていれば、ユーザの顔データをリアルタイムで算出することで、ユーザが焦点を失ったか否かを判定し、合焦補正を付与する。ステップ３０１〜ステップ３０３では、顔がマッピングされた焦点に対してリアルタイムのデフォーカス判定を行うことにより、合焦補正をすぐに完成できるので、焦点に基づく磁気吸引合焦および減衰効果をすぐに完成できる。

以上の実施例を用いて本願の実施例に関して説明したように、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を得て、第１フレーム画像および第２フレーム画像は、それぞれ撮影された前後隣接する２フレームの画像であり、第１フレーム画像と第２フレーム画像とを比較することにより、目標の顔の動作および対応する幅を得て、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されており、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクティブをするようにシミュレーション対象を制御する。本願の実施例によれば、カメラがリアルタイムで撮影した複数フレームの画像の比較結果に基づいて、顔の動作および幅を取得することができ、さらに、シミュレーション対象の制御指令を生成することができ、該制御指令によって、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブを実現する。本願の実施例では、指令をユーザの指で送信する代わりに、ユーザの顔の表情に頼るシーンインタラクティブをすることができるので、モバイル端末における没入型インタラクティブを実現することができる。

本願の実施例の上記技術案をよりよく理解し実施するために、以下、例を挙げて対応するアプリケーションシーンについて具体的に説明する。

本願の実施例では、既存の入力によるインタラクティブ方式に対応していると同時に、カメラによってユーザの顔特徴を１フレームずつキャプチャし、前後フレームの顔データの比較により、ユーザによる動作および対応する幅を算出し、異なるゲーム入力に対応させ、指操作を一切必要としない新しいインタラクティブ方式を実現する。顔制御の精度および滑らかさを大幅に向上させ、インタラクティブを全く顔の表情認識に頼って行うゲームが可能になっている。

本願の実施例では、端末に求められるハードウェアは、カメラを備える携帯電話でもパソコンでもよい。図６は、本願の実施例で提供されるゲームシーンでのインタラクティブ検出フローの模式図である。主な実現論理は以下のような過程を含み取得する。

Ｓ０１：ユーザが入力する。

ユーザは、端末のカメラを介して顔画像を取得することができれば、タッチパネルを指で操作することもできる。

Ｓ０２：指によるデータ入力であるか否かを判断する。

端末は、タッチパネル上にユーザが指で入力したデータがあるか否かを検出することができる。

Ｓ０３：指で画面をタップしてスライドする。

指によるデータ入力があると検出された場合、ユーザは、画面をタップしてスライドすることができる。

Ｓ０４：カメラを介した顔データ入力であるか否かを判断する。

指によるデータが検出されていなければ、端末は、カメラに顔データが入力されたか否かを判断することができる。

Ｓ０５：入力データが誤っているか否かを判断する。

ステップＳ０４の後に、端末は、入力されたデータが誤っているか否か、すなわち、完全たる顔画像を検出できるか否かを判断する。

Ｓ０６：ユーザに知らせる。

データが誤って入力できない場合、再入力するようにユーザを促すか、或いは、入力が失敗したことをユーザに知らせる。

Ｓ０７：比較データがあるか否かを判断する。

端末は、連続する複数フレームの顔画像を取得した場合、前後に連続する複数フレームの画像を比較する。

Ｓ０８：データ比較を行う。

データ比較段階では、端末は、前後の２フレームの顔画像を比較することができる。具体的な比較過程について、上述の実施例の説明を詳しく参照されたい。ここではその詳細を繰り返さない。

なお、１回目の入力時に比較データがなければ、データ記憶にジャンプし、２回目のデータ比較時に、その前に記憶されたデータを現在のデータと比較する。

Ｓ０９：データ比較により、ユーザの異なる顔動作および幅を判断する。

データ比較が終わった後、端末は、ユーザの現在の動作および対応する幅を判断することができる。

例を挙げて以下の通り説明する。顔の上下移動を例として、現在の顔の眉中心座標を前回の眉中心座標データと比較することにより、Ｙ座標が大きくなっていれば、頭を上げることを意味し、Ｙ座標が小さくなっていれば、頭を下げることを意味する。また、顔の左右移動を例として、現在の顔の鼻先座標を前回の鼻先座標データと比較することにより、Ｘ座標が大きくなっていれば、左に回転することを意味し、Ｘ座標が小さくなっていれば、右に回転することを意味する。さらに、顔の前後移動を例として、現在の顔の左眼の目尻から右眼の目尻までの距離を前回の同一の距離データと比較して大きくなっていれば、顔が前に移動したことを示唆し、該データ比較の結果、小さくなっていれば、顔が後に移動したことを示唆する。また、ユーザのタップを例として、現在の顔の中心点座標を前回の中心点座標データと比較することにより、一定の座標範囲内で一定時間保っていれば、顔にタップ操作が発生したと判定される。

例を挙げて以下の通り説明する。表１は、基本的機能と実現メカニズムとの対応関係を示す表である。

また、表２は、特殊機能と実現メカニズムとの対応関係を示す表である。

Ｓ１０：制御指令を生成する（例えば、上下左右前後移動、タップ）。

上記表１および表２において、顔を左右に回転させることは、画面の左右移動に対応し、回転幅は画面の移動距離に対応する。頭を上げたり下げたりすることは、画面の上下移動に対応し、幅は画面の移動距離に対応する。口を開けたり閉じたりすることは、画面の関連操作、例えば、噛み合って魚を食べる操作に対応する。一定の範囲内で固定点をｘ秒間維持し、固定点は、具体的な視線を維持する焦点であり、範囲内で安定して維持され、画面におけるインタラクティブ可能な物体に対応する。そして、焦点ロックを行い、対応操作を実現する。

次に、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブ方式について説明する。

磁気吸引合焦：顔が機器にマッピングされるシミュレーション対象とインタラクティブ可能な物体との距離をリアルタイムで算出することにより、インタラクティブ可能な物体にある状態下であれば、顔が機器にマッピングされる焦点に対応する変位速度を動的に調整し、インタラクティブポイントの吸引力作用が発生するため、物体のインタラクティブ操作の難しさが低下し、精度が向上する。

デフォーカス判定：ユーザの顔データをリアルタイムの算出により取得し、ユーザが焦点を失ったか否かを判定し、デフォーカス補正を付与する。例えば、カメラがキャプチャした顔キーポイント（９０個）の座標に基づいて分析し、ポイントが欠けているか、或いは、頭を上げたり下げたりする動作が一定の幅（４５度）を超えていれば、デフォーカスであると判断される。

減衰効果：顔操作が速すぎて、往復双方向に高速変位が発生した時、減衰効果が発生し、操作の不確かさを低減する。

Ｓ１１：対応するゲーム表現をドライブする。

端末は、上記ステップで生成された制御指令に基づいてゲーム表現をドライブすることができる。次に、様々なゲームシーンについて例を挙げて説明する。

顔認識に基づいて正確な制御操作を行うゲームを例として、ゲームシーンにおいて、ユーザは、ゲーム全過程で顔に基づく制御操作によりゲームプレイする。携帯電話のカメラを介して、それぞれの異なるステージのゲームプレイに基づいて、一人称視点でゲーム中のキャラクターを制御して、異なる操作、例えば、移動、ロック、噛み合い、つつきなどを行う。従来のゲームのタッチ操作とは異なり、本願の実施例では、ゲーム全過程で非タッチの形で、一人称視点でゲームへの感情移入を強化し、ユニークなゲーム体験をもたらす。

主な特徴は以下の通りである。

ゲーム全過程で非タッチであり、ゲーム全過程ですべて非タッチ操作であり、顔認識だけによってすべてのゲーム行動を完了させる。

インタラクティブを正確に制御し、磁気吸引合焦、デフォーカス補正、減衰効果などの製品技術ソリューションにより、もともとぼけて不正確な顔制御を実用でかつより正確なものにする。顔制御の難しさを低減し、より正確な制御が可能である。

没入型感情移入、一人称視点、完全かつ包括的な顔マッチングによるゲームプレイは、身に染みた体験をもたらし、ゲームのインパクトを高める。

図７は、本願の実施例で提供されるゲームシーンでのインタラクティブ検出模式図である。図７に示されるように、ゲームシーンの１つのバージョンのサンプル図面において、ゲームプレイステージのゲームシーンを例として、プレイヤーが制御しているシミュレーション対象は、酔っぱらいというキャラクターであり、ゲームプレイステージのゲームシーンにおいてインタラクティブ可能な物体は障害物である。モバイル端末のカメラがプレイヤーの顔をリアルタイムで撮影し、撮影された前後隣接する２フレームの画像を比較することで、プレイヤーの動作および対応する幅を取得する。プレイヤーの動作および幅に基づいて、酔っぱらいへの制御指令を生成することができ、例えば、左へ移動するように該酔っぱらいを制御し、酔っぱらいが左へ移動すると、該酔っぱらいが障害物に衝突する。また、例えば、右へ移動するように該酔っぱらいを制御し、酔っぱらいが右へ移動すると、該酔っぱらいが障害物をうまく回避する。図７に示されるシーンを例にして、本願の実施例では、酔っぱらいの移動を顔によって制御して障害物を回避することができ、これにより、酔っぱらいと障害物とのインタラクティブを実現する。

図８は、本願の実施例で提供される他のゲームシーンでのインタラクティブ検出模式図である。図８に示されるように、ゲームシーンの他のバージョンのサンプル図面において、海底ゲームプレイステージのゲームシーンを例として、プレイヤーが制御しているシミュレーション対象は、魚というキャラクターであり、海底ゲームプレイステージのゲームシーンにおいて、インタラクティブ可能な物体は口である。モバイル端末のカメラがプレイヤーの顔をリアルタイムで撮影し、撮影された前後隣接する２フレームの画像を比較することで、プレイヤーの動作および対応する幅を取得する。プレイヤーの動作および幅に基づいて、魚への制御指令を生成することができ、例えば、左へ移動ように該魚を制御し、魚が左へ移動すると、その口が１つの魚を食べる。また、例えば、右へ移動するように該魚を制御し、魚が右へ移動すると、魚は口のキャプチャからうまく逃げる。図８に示されるシーンを例にして、本願の実施例では、魚の泳ぎ、および、狩猟のために口が噛み合う（魚を食べる）動作を顔によって制御することができ、これにより、魚と口とのインタラクティブを実現する。

図９は、本願の実施例で提供される更なるゲームシーンでのインタラクティブ検出模式図である。図９に示されるように、ゲームシーンの他のバージョンのサンプル図面において、顔認識時にカメラから外れた場合、ゲームでは、ユーザインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＵＩ）におけるインタラクティブをデフォーカス補正の形で行い、すなわち、ユーザは、画面に現れたＵＩ輪郭の提示に従い顔位置を調整し、リフォーカスの目的を実現する。デフォーカス補正の詳細について、この前で例を挙げて説明したものを参照されたい。

Ｓ１２：データを記憶する。

１フレームの顔画像を取得するごとにデータを記憶し、これにより、次のフレームとのデータ比較時に前のフレームの顔画像を呼び出すことができる。

本願の実施例で提供される技術案によれば、インタラクティブを全く顔の表情認識に頼って行うゲームを実現し、モバイル端末における没入感ゲームへの感情移入を大幅に向上させる。また、画面タッチに頼らないインタラクティブ方式は、一部の特殊シーン下でのゲームプレイ時のバリアフリーを向上させる。そして、該技術案によれば、手が不自由な特殊グループ向けのゲームを開発することもできるので、ユーザが指を使うのが不便な場合、又は、モバイル端末にタッチパネルが装着されていない場合、インタラクティブをやり遂げる。

なお、上述の各方法実施例について、説明の簡略化のために、一連の動作の組合せとして記述しているが、しかし、当業者であれば分かるように、本願の実施例は、説明された動作の順番に制限されず、本願の実施例によれば、一部のステップを他の順番で行うか或いは同時に行うこともできるのがその理由である。次に、明細書に記述された実施例はいずれも好適な実施例であり、言及された動作及びモジュールは、必ずしも本願の実施例に必須なものとは限らないことも、当業者であれば分かっている。

本願の実施例は、コンピュータ読取可能な記憶媒体をさらに提供する。あるいはまた、本実施例では、上記コンピュータ読取可能な記憶媒体は、コンピュータで実行されると、コンピュータに上述した方法を実行させる指令を含んでもよい。

あるいはまた、本実施例では、コンピュータ読取可能な記憶媒体に含まれる指令は、コンピュータで実行されると、
Ｓ１１：前記モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、それぞれ撮影された前後隣接する２フレームの画像である第１フレーム画像および第２フレーム画像を取得するステップと、
Ｓ１２：前記第１フレーム画像と前記第２フレーム画像とを比較して、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得するステップと、
Ｓ１３：前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、シミュレーション対象およびインタラクティブ可能な物体が表示されているインタラクティブ型アプリケーションシーンにおける前記シミュレーション対象の制御指令を生成するステップと、
Ｓ１４：前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおいて前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御するステップと、
をコンピュータに実行させてもよい。

あるいはまた、本実施例の具体例について、上述した実施例で説明された例を参照してもよい。本実施例ではここでその詳細を繰り返さない。

本願の実施例の上記技術案をよりよく実施するために、以下、上記技術案を実施するための関連装置をさらに提供する。

図１０−ａは、本願の実施例で提供されるモバイル端末の構成模式図である。図１０−ａに示されるように、本願の実施例で提供されるモバイル端末１０００は、１つ又は複数のプロセッサと、プログラムユニットを記憶する１つ又は複数のメモリとを備え、プログラムユニットはプロセッサによって実行され、該プログラムユニットは、撮影モジュール１００１、比較モジュール１００２、指令生成モジュール１００３、インタラクティブモジュール１００４を含む。

撮影モジュール１００１は、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、それぞれ撮影された前後隣接する２フレームの画像である第１フレーム画像および第２フレーム画像を取得する。

比較モジュール１００２は、前記第１フレーム画像と前記第２フレーム画像とを比較して、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得する。

指令生成モジュール１００３は、前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、シミュレーション対象およびインタラクティブ可能な物体が表示されているインタラクティブ型アプリケーションシーンにおける前記シミュレーション対象の制御指令を生成する。

インタラクティブモジュール１００４は、前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおいて前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御する。

図１０−ｂは、本願の実施例で提供される比較モジュールの構成模式図である。本願のいくつかの実施例では、図１０−ｂに示されるように、前記比較モジュール１００２は、
顔位置決め点が前記第１フレーム画像に現れる第１画素位置、および、前記顔位置決め点が前記第２フレーム画像に現れる第２画素位置を特定する画素位置特定ユニット１００２１と、
前記第１画素位置と前記第２画素位置とを比較して、前記第１画素位置と前記第２画素位置との相対変位を取得する変位特定ユニット１００２２と、
前記第１画素位置と前記第２画素位置との相対変位に基づいて、前記目標の顔の動作および前記目標の顔の動作に対応する幅を特定する動作特定ユニット１００２３と、を含む。

図１０−ｃは、本願の実施例で提供される他のモバイル端末の構成模式図である。本願のいくつかの実施例では、図１０−ｃに示されるように、図１０−ａに示されるものに対して、前記プログラムユニットは、
前記撮影モジュール１００１がモバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影する前に、モバイル端末のタッチ画面にタッチ入力が生じたか否かを検出し、前記タッチ画面にタッチ入力が生じていなければ、前記撮影モジュールの実行をトリガーするタッチ検出モジュール１００５をさらに含む。

図１０−ｄは、本願の実施例で提供される更なるモバイル端末の構成模式図である。本願のいくつかの実施例では、図１０−ｄに示されるように、図１０−ａに示されるものに対して、前記プログラムユニットは、
前記指令生成モジュール１００３が前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成した後、前記制御指令に基づいて、前記目標の顔が前記インタラクティブ型アプリケーションシーンにマッピングされる基準点である焦点がインタラクティブ可能な物体の範囲内で安定して維持される時間が、予め設定された時間に達したか否かを検出する焦点検出モジュール１００６と、
前記焦点が前記インタラクティブ可能な物体の範囲内で安定して維持される時間が予め設定された時間に達していれば、前記インタラクティブ可能な物体の範囲内からインタラクティブ可能な物体をロックする物体ロックモジュール１００７と、をさらに含む。

図１０−ｅは、本願の実施例で提供されるインタラクティブモジュールの構成模式図である。本願のいくつかの実施例では、図１０−ｅに示されるように、前記インタラクティブモジュール１００４は、
前記目標の顔が前記インタラクティブ型アプリケーションシーンにマッピングされる基準点である焦点と前記インタラクティブ可能な物体との距離をリアルタイムで算出する距離算出ユニット１００４１と、
リアルタイムで算出された前記距離に基づいて、前記焦点がインタラクティブ可能な物体の範囲内であるか否かを判定する範囲判定ユニット１００４２と、
前記焦点が前記インタラクティブ可能な物体の範囲内であれば、リアルタイムで算出された前記距離に基づいて、前記焦点に対応する変位速度を更新する速度更新ユニット１００４３と、
更新後の前記変位速度に基づいて前記制御指令を更新し、更新後の制御指令を用いて、前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御するインタラクティブユニット１００４４と、を含む。

本願のいくつかの実施例では、速度更新ユニット１００４３は、具体的には、前記焦点と前記インタラクティブ可能な物体との距離が小さくなると、前記焦点の移動方向に前記変位速度を減少させてから前記変位速度を増加させるか、或いは、前記焦点と前記インタラクティブ可能な物体との距離が大きくなると、まず前記焦点の移動方向に前記変位速度を減少させ、その後、前記移動方向の反対方向に前記変位速度を増加させる。

図１０−ｆは、本願の実施例で提供される更なるモバイル端末の構成模式図である。本願のいくつかの実施例では、図１０−ｆに示されるように、図１０−ａに示されるものに対して、前記プログラムユニットは、
リアルタイムで取得した各フレームの画像での複数の顔キーポイントのピクセル座標を特定するキーポイント取得モジュール１００８と、
前記複数の顔キーポイントのピクセル座標に基づいて、前記目標の顔が焦点を失ったか否かを判断するデフォーカス判定モジュール１００９と、
前記目標の顔が焦点を失っていれば、前記目標の顔の合焦補正を行う合焦モジュール１０１０と、をさらに含む。

以上で本願の実施例について説明したように、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を得て、第１フレーム画像および第２フレーム画像は、それぞれ撮影された前後隣接する２フレームの画像であり、第１フレーム画像と第２フレーム画像とを比較して、目標の顔の動作および対応する幅を得て、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されており、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクティブをするようにシミュレーション対象を制御する。本願の実施例では、カメラがリアルタイムで撮影した複数フレームの画像の比較結果に基づいて、顔の動作および幅を取得することができ、さらに、シミュレーション対象の制御指令を生成することができ、該制御指令によって、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブを実現する。本願の実施例では、指令をユーザの指で送信する代わりに、ユーザの顔の表情に頼るシーンインタラクティブをすることができるので、モバイル端末における没入型インタラクティブを実現することができる。

本願の実施例は、他の端末をさらに提供する。図１１は、本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法が端末に適用される構成模式図である。図１１に示されるように、説明の便宜上、本願の実施例に関連する部分のみを示しており、具体的な技術の詳細が開示されていないものについては、本願の実施例の方法部分を参照されたい。該端末は、携帯電話、タブレットコンピュータ、パーソナルデジタルアシススタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ポイント・オブ・セールス（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ、ＰＯＳ）、車載コンピュータなど、任意の端末機器であり取得する。端末が携帯電話であることを例とする。

図１１は、本願の実施例で提供される端末に関連する携帯電話の一部の構造のブロック図を示している。図１１を参照し、携帯電話は、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）回路１０１０、メモリ１０２０、入力ユニット１０３０、表示ユニット１０４０、センサ１０５０、オーディオ回路１０６０、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、ＷｉＦｉ）モジュール１０７０、プロセッサ１０８０、および電源１０９０などの部材を備える。図１１に示される携帯電話の構造は、携帯電話を限定するものではなく、示されるものよりも多い又は少ない部材を含むか、或いは、いくつかの部材を組み合わせるか、或いは、異なる部材配置を有することが可能であることは、当業者が理解するであろう。

以下、図１１を用いて携帯電話の各構成要素を具体的に紹介する。

ＲＦ回路１０１０は、情報の送受信、又は通話中の信号の送受信を行うように構成されてもよい。特に、基地局の下り情報を受信した後、プロセッサ１０８０に処理させ、また、上りのためのデータを基地局に送信する。通常、ＲＦ回路１０１０は、アンテナ、少なくとも１つの増幅器、トランシーバ、カプラー、低雑音増幅器（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ、ＬＮＡ）、デュプレクサなどを含むが、これらに限られない。また、ＲＦ回路１０１０は、無線通信を介してネットワーク及び他の機器と通信することもできる。上記無線通信は、任意の通信規格またはプロトコルを使用することができ、グローバルモバイル通信システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ）、汎用パケット無線サービス（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、 ＷＣＤＭＡ）、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、電子メール、ショートメッセージサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ、ＳＭＳ）などを含むが、これらに限られない。

メモリ１０２０は、ソフトウェアプログラム及びモジュールを記憶するように構成されてもよい。プロセッサ１０８０は、メモリ１０２０に記憶されるソフトウェアプログラム及びモジュールを実行することで、携帯電話の様々な機能アプリケーションおよびデータ処理を実行する。メモリ１０２０は、主にプログラム格納領域およびデータ格納領域を含み、プログラム格納領域には、オペレーティングシステム、少なくとも１つの機能（例えば、音声再生機能、画像再生機能など）に必要なアプリケーションプログラムなどが格納されることができる。データ格納領域には、携帯電話の使用に応じて作成されたデータ（音声データ、電話帳など）が格納されることができる。また、メモリ１０２０は、高速ランダムアクセスメモリを含むことができれば、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の揮発性固体記憶デバイスなどの不揮発性メモリを含むこともできる。

入力ユニット１０３０は、入力された数字や文字情報を受信し、携帯電話のユーザ設定や機能制御に関するキー信号入力を生成するように構成されてもよい。具体的には、入力ユニット１０３０は、タッチパネル１０３１及び他の入力デバイス１０３２を含んでもよい。タッチパネル１０３１は、タッチスクリーンとも呼ばれ、その上またはその近くでのユーザーのタッチ操作（例えば、ユーザーが指、スタイラスなど、如何なる適切なオブジェクトまたはアクセサリを用いて、タッチパネル１０３１上またはタッチパネル１０３１の近くで動作する）を収集し、予め設定されたプログラムに従って対応する接続装置を駆動することができる。あるいはまた、タッチパネル１０３１は、タッチ検出装置およびタッチコントローラという２つの部分を含んでもよい。タッチ検出装置は、ユーザのタッチ位置を検出し、タッチ操作によって生じる信号を検出し、信号をタッチコントローラに送信する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、接触点座標に変換してプロセッサ１０８０に送信するとともに、プロセッサ１０８０から送信された指令を受信して実行可能である。また、タッチパネル１０３１は、抵抗式、静電容量式、赤外線、表面弾性波など、様々なタイプのもので実現できる。入力ユニット１０３０は、タッチパネル１０３１に加えて、他の入力デバイス１０３２を含んでもよい。具体的には、他の入力デバイス１０３２は、物理キーボード、機能キー（音量制御キー、スイッチキーなど）、トラックボール、マウス、ジョイスティックなどの１つまたは複数を含み取得するが、これらに限定されない。

表示ユニット１０４０は、ユーザが入力した情報またはユーザに提供された情報や携帯電話の各種メニューを表示するように構成されてもよい。表示ユニット１０４０は、表示パネル１０４１を含み取得する。あるいはまた、表示パネル１０４１は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、 ＯＬＥＤ）などの形態で構成されていてもよい。さらに、タッチパネル１０３１は表示パネル１０４１を覆うことができ、タッチパネル１０３１は、その上またはその近くでのタッチ操作を検出すると、タッチイベントのタイプを決定するためにプロセッサ１０８０に転送し、その後、プロセッサ１０８０は、タッチイベントのタイプに応じて、表示パネル１０４１に対して対応する視覚出力を提供する。図１１では、タッチパネル１０３１と表示パネル１０４１とは、２つの独立した部材として携帯電話の入力および入力機能を実現するが、しかし、いくつかの実施例では、タッチパネル１０３１と表示パネル１０４１とを統合して携帯電話の入力および出力機能を実現可能である。

携帯電話は、光センサー、動きセンサ、および他のセンサーなど、少なくとも１種類のセンサ１０５０をさらに含んでもよい。具体的には、光センサは、環境光センサ及び近接センサを含むことができ、環境光センサは、環境光の明暗に応じて表示パネル１０４１の明るさを調整することができ、近接センサは、携帯電話が耳に当てられると、表示パネル１０４１および／またはバックライトをオフにすることができる。動きセンサの一種として、加速度センサは、各方向（一般、３軸である）における加速度の大きさを検出することができ、静止時に重力の大きさや方向を検出することができ、携帯電話の姿勢を認識するアプリケーション（例えば、縦表示と横表示の切り替え、関連ゲーム、磁力計の姿勢校正）、振動認識関連機能（例えば、歩数計、叩き）を備えるものなどとされてもよい。携帯電話にさらに備えられるジャイロ、気圧計、湿度計、温度計、赤外線センサなどの他のセンサについて、ここではその詳細を繰り返さない。

オーディオ回路１０６０、スピーカ１０６１、マイクロフォン１０６２は、ユーザと携帯電話間のオーディオインターフェースを提供することができる。オーディオ回路１０６０は、受信した音声データから変換された電気信号をスピーカ１０６１に伝送することができ、スピーカ１０６１はこれを音声信号に変換して出力する。一方、マイクロフォン１０６２は、収集した音声信号を電気信号に変換し、オーディオ回路１０６０はこれを受信後、音声データに変換し、音声データをプロセッサ１０８０に出力して処理させた後、ＲＦ回路１０１０によって携帯電話に送信されるか、或いは、音声データを更なる処理のためにメモリ１０２０に出力される。

ＷｉＦｉは、短距離無線伝送技術である。携帯電話は、ＷｉＦｉモジュール１０７０を介して、ユーザによる電子メールの送受信、ウェブページの閲覧、ストリーミングメディアへのアクセスなどを支援することができ、ユーザに無線を介したブロードバンドインターネットアクセスを提供する。図１１にＷｉＦｉモジュール１０７０が示されているが、しかし、これは携帯電話に必須な構成要素ではなく、本発明の本質を変えることなく必要に応じて省略してもよいことは理解できる。

プロセッサ１０８０は、携帯電話の制御センターであり、携帯電話全体の各部を種々のインターフェースおよび回線で接続し、メモリ１０２０に格納されたソフトウェアプログラム及び／又はモジュールを実行し、メモリ１０２０に格納されたデータを呼び出すことで、携帯電話の様々な機能およびデータ処理を実行し、これにより、携帯電話全体を監視する。あるいはまた、プロセッサ１０８０は、１つ又は複数の処理ユニットを含んでもよい。好ましくは、プロセッサ１０８０は、アプリケーションプロセッサおよびモデムプロセッサを統合することができ、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインターフェース、およびアプリケーションプログラムなどを扱い、モデムプロセッサは主に無線通信を扱う。上記モデムプロセッサはプロセッサ１０８０に統合されなくてもよいことは理解できる。

携帯電話は、各部材に電力を供給する電源１０９０（例えば、電池）をさらに含む。好ましくは、電源は、電源管理システムを介してプロセッサ１０８０と論理的に接続されることができ、これにより、電源管理システムを介して充電、放電、および電力消費管理などの機能を実現する。

携帯電話は、カメラ１０１１をさらに含んでもよい。該カメラ１０１１は、携帯電話のフロントカメラであり取得する。カメラ１０１１が複数フレームの顔画像を取得した後、プロセッサ１０８０は、複数フレームの顔画像を処理する。本願の実施例では、該端末に備えられるプロセッサ１０８０は、さらに、端末によって実行される上記アプリケーションシーンにおけるインタラクティブ方法のフローの実行を制御する。

なお、また、以上で説明した装置実施例は、概略的なものにすぎない。上記分離した部材として説明したユニットは、物理的に分離したものであってもよいし、物理的に分離したものでなくてもよく、ユニットとして示した部材は、物理的ユニットであってもよいし、物理的ユニットでなくてもよく、つまり、同一場所に配置されてもよいし、複数のネットワークユニットに分布されてもよい。実際のニーズに応じて、その一部又は全てのモジュールにより本実施例の目的を達成することができる。また、本願の実施例で提供される装置実施例の図面において、モジュール同士の接続関係は、それらが通信接続されることを意味し、具体的には、１本又は複数本の通信バス又は信号線として実現されてもよい。当業者は、創造的な労働無しに理解し実施することができる。

以上の実施形態の記載から、本願の実施例をソフトウェアおよび必須な汎用ハードウェアの形で実現することができ、もちろん、専用集積回路、専用ＣＰＵ、専用メモリ、専用部品などを含む専用ハードウェアで実現することもできるのは、当業者にとって明らかである。一般、コンピュータプログラムによって完成される機能はいずれも対応するハードウェアによって容易に実現可能であり、また、同一機能を実現するための具体的なハードウェア構造は様々であり、例えば、アナログ回路、デジタル回路又は専用回路などである。しかし、本願の実施例は、殆どの場合、ソフトウェアプログラムによって実現されるのがより望ましい。このように理解すれば、本願の実施例の技術案は、本質的に、又は従来技術に貢献する部分をソフトウェア製品の形で体現することができ、該コンピュータソフトウェア製品は、コンピュータデバイス（パソコン、サーバまたはネットワークデバイス等であってもよい）に本願の各実施例に記載の方法を実行させるための若干の指令を含む読取可能な記憶媒体、例えば、コンピュータのフロッピーディスク、ＵＳＢフラッシュディスク、リムーバブルハードディスク、リードオンリーメモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒ、ＲＡＭ）、磁気ディスク又は光ディスク等に記憶されている。

上述のように、以上の実施例は、本願の実施例の技術案を説明するためのものに過ぎず、それを制限するものではない。上記実施例を参照して本願の実施例を詳しく説明したが、上記実施例に記載された技術案を修正するか、或いは一部の技術的特徴に対して均等な置き換えが可能であることは、当業者が理解するであろう。これらの修正又は置き換えによって、対応する技術案の主旨が本願の実施例の技術案の思想や範囲から逸脱することはない。

本願の実施例では、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を得て、第１フレーム画像および第２フレーム画像は、それぞれ撮影された前後隣接する２フレームの画像であり、第１フレーム画像と第２フレーム画像とを比較して、目標の顔の動作および対応する幅を得て、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されており、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクティブをするようにシミュレーション対象を制御する。本願の実施例によれば、カメラがリアルタイムで撮影した複数フレームの画像の比較結果に基づいて、顔の動作および幅を取得することができ、さらに、シミュレーション対象の制御指令を生成することができ、該制御指令によって、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブを実現する。本願の実施例では、指令をユーザの指で送信する代わりに、ユーザの顔の表情に頼るシーンインタラクティブをすることができるので、モバイル端末における没入型インタラクティブを実現することができる。

本願は、２０１８年０８月２８日にて中国特許庁へ出願した、出願番号が２０１８１０９８９３７１．５で、発明の名称が「アプリケーションシーンにおけるインタラクティブ方法および端末ならびに記憶媒体」である中国特許出願に基づく優先権を主張し、その内容を全て参照により本願に組み込むものとする。

本願の実施例は、コンピュータの技術分野に関し、特に、アプリケーションシーンにおけるインタラクティブ方法およびモバイル端末ならびに記憶媒体に関する。

仮想世界を構築し、ユーザに仮想世界を体験させることを可能にするコンピュータシミュレーションシステムは、コンピュータを用いて、マルチ・ソース情報の融合によるインタラクティブ型の３次元動的シーンおよびエンティティ行動のシステムシミュレーションであるシミュレーション環境を生成し、ユーザを該環境に没入させる。

現在、その重要なアプリケーションはモバイル端末ゲームであり、プレイヤーがゲーム内でインタラクティブ操作を行うことを可能にすることが該ゲームの特徴であり、それゆえ、プレイヤーは、指を介して端末のタッチ画面とインタラクトする必要がある。従来のモバイル端末ゲームにおいて、ユーザは、依然として指を介してタッチ画面とゲームのインタラクティブな動作をする必要があり、例えば、タッチ画面を指でタップしたり、ハンドルやボタンを指で操作したり、タッチ画面を指でスライドしたりする等の操作によって完成する。

本願の実施例は、モバイル端末における没入型インタラクティブを実現するために、アプリケーションシーンにおけるインタラクティブ方法およびモバイル端末ならびに記憶媒体を提供する。

本願の実施例は、以下の技術案を提供する。

一態様によれば、本願の実施例は、
モバイル端末が実行するアプリケーションシーンのインタラクティブ方法であって、
カメラを介して目標の顔をリアルタイムで撮影することにより、それぞれ撮影された前後隣接する２フレームの画像である第１フレーム画像および第２フレーム画像を取得するステップと、
前記第１フレーム画像と前記第２フレーム画像とを比較することにより、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得するステップと、
前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、シミュレーション対象およびインタラクティブ可能な物体が表示されているインタラクティブ型アプリケーションシーンにおける前記シミュレーション対象の制御指令を生成するステップと、
前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおける前記インタラクティブ可能な物体とインタラクトするように前記シミュレーション対象を制御するステップと、を含むアプリケーションシーンにおけるインタラクティブ方法を提供する。

他の態様によれば、本願の実施例は、コンピュータで実行されると、コンピュータに上述した方法を実行させる指令を含むコンピュータ読取可能な記憶媒体をさらに提供する。

他の態様によれば、本願の実施例は、１つ又は複数のプロセッサと、プログラムユニットを記憶する１つ又は複数のメモリと、を備え、プログラムユニットは、プロセッサによって実行され、該プログラムユニットは、
カメラを介して目標の顔をリアルタイムで撮影することにより、それぞれ撮影することにより取得した前後隣接する２フレームの画像である第１フレーム画像および第２フレーム画像を取得する撮影モジュールと、
前記第１フレーム画像と前記第２フレーム画像とを比較することにより、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得する比較モジュールと、
前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、シミュレーション対象およびインタラクティブ可能な物体が表示されているインタラクティブ型アプリケーションシーンにおける前記シミュレーション対象の制御指令を生成する指令生成モジュールと、
前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおいて前記インタラクティブ可能な物体とインタラクトするように前記シミュレーション対象を制御するインタラクティブモジュールと、を含む、モバイル端末をさらに提供する。

上述した態様では、モバイル端末の構成モジュールは、上述した一態様および様々な実現可能な実現形態で説明されたステップをさらに実行することができ、詳しくは、上述した一態様および様々な実現可能な実現形態での記載を参照されたい。

他の態様によれば、本願の実施例は、指令を記憶するプロセッサと、メモリにおける指令を実行することで、モバイル端末に上述した一態様におけるいずれかの方法を実行させるメモリと、を備えるモバイル端末をさらに提供する。

本願の実施例では、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を得て、第１フレーム画像および第２フレーム画像は、それぞれ撮影された前後隣接する２フレームの画像であり、第１フレーム画像と第２フレーム画像とを比較することにより、目標の顔の動作および対応する幅を得て、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されており、そして、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクトするようにシミュレーション対象を制御する。本願の実施例によれば、カメラがリアルタイムで撮影した複数フレームの画像の比較結果に基づいて顔の動作および幅を取得することができ、さらに、シミュレーション対象の制御指令を生成することができ、該制御指令によって、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブを実現する。本願の実施例では、指令をユーザの指操作で送信する代わりに、ユーザの顔の表情に頼るシーンインタラクティブな動作をすることができるので、モバイル端末における没入型インタラクティブを実現することができる。

本願の実施例の技術案をより明確に説明するために、以下、実際例の説明に使用される必要のある図面を簡単に紹介するが、明らかなように、以下の図面は、あくまでも本願の若干の実施例であり、当業者であれば、これらの図面に基づいてさらに他の図面を取得することができる。
本願の実施例におけるユーザとモバイル端末間のインタラクティブシーン模式図である。 本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法の概略的なフローブロック図である。 本願の実施例で提供される他のアプリケーションシーンにおけるインタラクティブ方法の概略的なフローブロック図である。 本願の実施例で提供される磁気吸引効果の模式図である。 本願の実施例で提供される減衰効果の模式図である。 本願の実施例で提供されるゲームシーンでのインタラクティブ検出フローの模式図である。 本願の実施例で提供されるゲームシーンでのインタラクティブ検出模式図である。 本願の実施例で提供される他のゲームシーンでのインタラクティブ検出模式図である。 本願の実施例で提供される更なるゲームシーンでのインタラクティブ検出模式図である。 本願の実施例で提供されるモバイル端末の構成模式図である。 本願の実施例で提供される比較モジュールの構成模式図である。 本願の実施例で提供される他のモバイル端末の構成模式図である。 本願の実施例で提供される更なるモバイル端末の構成模式図である。 本願の実施例で提供されるインタラクティブモジュールの構成模式図である。 本願の実施例で提供される更なるモバイル端末の構成模式図である。 本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法が端末に適用される構成模式図である。

本願の実施例は、モバイル端末における没入型インタラクティブを実現するために、アプリケーションシーンにおけるインタラクティブ方法および端末ならびに記憶媒体を提供する。

本願の実施例の発明の目的、特徴及びメリットをより明確で分かりやすくするために、以下、本願の実施例中の図面を結合して、本願の実施例の技術案を明瞭かつ完全に説明する。以下で説明される実施例は本願の実施例の一部に過ぎず、全部ではないことは、言うまでもないことである。当業者が本願の実施例に基づいて創造的な労働無しに得られた他の実施例も、全て本願の保護範囲内に含まれる。

本願の明細書及び特許請求の範囲並びに上記図面における用語である「含む」、「有する」及びそれらの如何なる変形は、排他的にならずに含まれたものをカバーすることがその意図であり、これにより、一連のユニットを含めたプロセス、方法、システム、製品又は機器は、これらのユニットに限定される必要がなく、明確には示していないがこれらのプロセス、方法、製品又は機器に対して自明であったり固有であったりする他のユニットを含む可能性がある。

図１には、本願の実施例で提供されるユーザとモバイル端末間のインタラクティブシーン模式図が示されている。モバイル端末（単に「端末」という）とユーザとがインタラクトすることができ、端末は、携帯電話、タブレットコンピュータ、電子書籍リーダー、ムービング・ピクチャー・エクスパーツ・グループ圧縮規格オーディオレイヤー３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ＭＰ３）プレーヤー、ムービング・ピクチャー・エクスパーツ・グループ圧縮規格オーディオレイヤー４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、ＭＰ４）プレーヤー、ラップトップ型携帯コンピュータ及びデスクトップ型コンピュータなどであり得る。

端末にカメラが備えられ、該カメラは、具体的には、フロントカメラであり得る。カメラはユーザの顔画像を取得することができる。該端末は、本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法を実行し、既存のモバイル端末の入力によるインタラクティブ方式に対応していると同時に、カメラによってユーザの顔画像を１フレームずつキャプチャし、前後フレームの顔データの比較により、ユーザによる動作および対応する幅を算出し、異なるインタラクティブ型アプリケーションシーンにおける制御指令に対応させ、そして、該制御指令に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象とインタラクティブ可能な物体とのインタラクティブを実現することができる。関連技術に比べると、顔制御の精度および滑らかさを大幅に向上させ、指操作を一切必要としない新しいインタラクティブ方式が可能になっている。該インタラクティブ方式は、没入感が重要視される状況に適用され、画面を指でタッチすることによるインタラクティブな操作は一切必要がなく、インタラクティブ操作を全く顔の表情認識に頼って行うため、ユーザの感情移入を大幅に向上させることができる。

以下、モバイル端末の視点から詳しく説明する。本願によるアプリケーションシーンにおけるインタラクティブ方法の一実施例は、具体的には、顔画像に基づくインタラクティブ検出処理に適用されることができる。図２は、本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法の概略的なフローブロック図である。図２に示されるように、本願の一実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法は、以下のステップ２０１〜ステップ２０４を含み取得する。

２０１：モバイル端末は、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を取得する。第１フレーム画像および第２フレーム画像は、それぞれ撮影された前後隣接する２フレームの画像である。

本願の実施例では、端末にカメラが備えられており、まず、モバイル端末のカメラを初期化し、初期化が完了した後、カメラを起動してカメラの視野に現れた物体画像を取得し、該物体画像がユーザの顔画像と認識された場合、該ユーザの顔を目標の顔としてリアルタイムで撮影し、異なるフレームタイミングで撮影した画像を生成する。本願の実施例では、端末に装着されたカメラは、リアカメラ又はフロントカメラであってもよい。端末は、まず、処理すべき第１フレーム画像および第２フレーム画像を取得し、各フレームの画像は、ユーザの顔をカメラによって撮影した後に生成された顔画像であってもよい。本願の実施例では、顔画像は、フェース画像又は頭部画像などと呼ばれてもよい。

本願の実施例では、カメラは、異なるフレームタイミングでの画像を取得する際に、複数のフレームタイミングでの画像を取得することができる。上記複数のフレームタイミングでの画像を区別するために、カメラが第１フレームタイミングで撮影した画像を第１フレーム画像として定義し、カメラが第２フレームタイミングで撮影した画像を第２フレーム画像として定義し、第１フレーム画像および第２フレーム画像は、カメラが異なるフレームタイミングで撮影した画像を区別するためのものにすぎない。

本願の実施例では、第１フレームタイミングで撮影した第１フレーム画像の特徴点の検出・計算により第１フレーム画像の特徴点を取得することができ、第２フレームタイミングで撮影した第２フレーム画像の特徴点の検出・計算により第２フレーム画像の特徴点を取得することができる。画像の特徴点は、特徴点に基づく画像マッチングアルゴリズムにおいて非常に重要な役割を果たし、画像の特徴点は、画像の本質的な特徴を反映可能であり、画像中の対象物体を識別することができ、特徴点のマッチングにより画像のマッチングを達成することができる。本願の実施例における画像の特徴点は、局所画像特徴点であり得る。第１フレーム画像および第２フレーム画像の特徴点の抽出は、様々な形態で実現可能であり、例えば、ＯＲＢ（ＯＲｉｅｎｔｅｄ Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）特徴点の抽出であってもよく、また、加速ロバスト特徴（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ、ＳＵＲＦ）の抽出であってもよく、さらにスケール不変特徴変換（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）に基づく抽出などであってもよい。このため、本願の実施例では、局所画像特徴点は、ＯＲＢ特徴点、ＳＵＲＦ特徴点、ＳＩＦＴ特徴点であり得る。特徴点の検出により各フレームの画像での顔を認識することができ、例えば、特徴点の検出により顔の五官を認識することができ、これらの五官を顔の位置決め点とすることができる。

本願のいくつかの実施例では、ステップ２０１では、モバイル端末は、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影する前に、本願の実施例で提供される方法は、
モバイル端末は、モバイル端末のタッチ画面にタッチ入力が生じたか否かを検出するステップと、
タッチ画面にタッチ入力が生じていなければ、モバイル端末は、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影するステップを実行するようにトリガーするステップと、をさらに含む。

ユーザとモバイル端末間の完全な非接触制御を実現するために、まず、タッチ画面にタッチ入力が生じたか否かを判断し、タッチ画面にタッチ入力が生じていないと判定されていれば、ユーザがモバイル端末の画面を指でタッチしたことがないことが示唆され、この場合、モバイル端末のカメラを起動してユーザの画像を取得させる。

２０２：モバイル端末は、第１フレーム画像と第２フレーム画像とを比較することにより、目標の顔の動作および対応する幅を取得する。

本願の実施例では、端末は、前後フレームの顔画像を取得した後、顔画像の前後フレームにおける位置変化によって、目標の顔の動作および該動作に対応する幅を特定することができる。目標の顔の動作とは、端末のカメラで撮影されたユーザ動作を指し、例えば、動作は、顔の上下左右移動であり得る。幅は、顔動作の移動方向および距離を指す。

例を挙げて説明すると、本願の実施例では、前後フレームの画像の比較により、目標の顔の動作が顔を左右に回転させることであると認識でき、画面における顔の左右移動に対応し、回転幅が画面における移動距離に対応する。また、例えば、前後フレームの画像の比較により、顔の動作が頭を上げたり下げたりすることであると認識でき、画面における顔の上下移動に対応し、移動幅が画面における移動距離に対応する。

本願のいくつかの実施例では、ステップ２０２では、モバイル端末は、第１フレーム画像と第２フレーム画像とを比較することにより、目標の顔の動作および対応する幅を取得する前記ステップは、
顔位置決め点が第１フレーム画像に現れる第１画素位置、および、顔位置決め点が第２フレーム画像に現れる第２画素位置を特定するステップと、
第１画素位置と第２画素位置とを比較することにより、第１画素位置と第２画素位置との相対変位を取得するステップと、
第１画素位置と第２画素位置との相対変位に基づいて、目標の顔の動作および対応する幅を特定するステップと、を含む。

本願の実施例では、上述したステップを通じて目標の顔を撮影した複数フレームの画像の顔検出を行った後、画像中の顔位置を出力することができ、カメラで撮影した画像における顔位置は、画素単位である。次に、該顔位置から顔位置決め点を検出し、該顔位置決め点の位置決め点特徴は、予め統計して分類することにより特定されることができ、これにより、顔位置にて予め設定された位置決め点特徴を満たす画素位置が存在するか否かを検出する。顔位置にて該位置決め点特徴を満たす画素位置が存在すれば、顔位置に存在する該位置決め点特徴を満たす画素位置は、顔位置決め点の顔位置における位置決め点位置であると判定される。本願の実施例で使用される顔位置決め点とは、対象オブジェクトの顔位置において、顔位置が回転したか否かを位置きめるための位置きめ基準点である。実際の応用において、顔位置決め点の選択は、顔位置における実現可能な五官特徴に基づいて行われることができる。なお、顔位置決め点は、顔位置におけるある器官が存在する画素位置であってもよいし、複数の器官が存在する画素位置であってもよい。ここでは制限しない。

各フレームの画像ごとに、同一の顔位置決め点が存在する画素位置を検出し、例えば、顔位置決め点が第１フレーム画像に存在する画素位置は第１画素位置と呼ばれ、顔位置決め点が第２フレーム画像に存在する画素位置は第２画素位置と呼ばれる。２フレームの画像における該２つの画素位置を比較することにより、相対変位を特定し、該相対変位に基づいて目標の顔の動作および幅を算出する。例を挙げて以下の通り説明する。顔の上下移動を例として、現在の顔の眉中心座標を前回の眉中心座標データと比較することにより、Ｙ座標が大きくなっていれば、頭を上げることを意味し、Ｙ座標が小さくなっていれば、頭を下げることを意味する。また、顔の左右移動を例として、現在の顔の鼻先座標を前回の鼻先座標データと比較することにより、Ｘ座標が大きくなっていれば、左に回転することを意味し、Ｘ座標が小さくなっていれば、右に回転することを意味する。さらに、顔の前後移動を例として、現在の顔の左眼の目尻から右眼の目尻までの距離を前回の同一の距離データと比較して大きくなっていれば、顔が前に移動したことを示唆し、該データの比較の結果、小さくなっていれば、顔が後に移動したことを示唆する。また、ユーザのタップを例として、現在の顔の中心点座標を前回の中心点座標データと比較することにより、一定の座標範囲内で一定の時間保っていれば、顔にタップ操作が発生したと判定される。

２０３：モバイル端末は、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されている。

本願の実施例では、インタラクティブ型アプリケーションシーンは、具体的には、ゲームシーンであってもよいし、アプリケーションプログラムのインタラクティブシーンであってもよい。例を挙げて説明すると、本願の実施例で提供されるインタラクティブ型アプリケーションシーンの処理方法は、ゲームキャラクターのために構築されたシーンに適用されることができれば、ソフトウェアアプリケーションシステムにおいてユーザのために構築された他シーンに適用されることもできる。本願の実施例で説明したインタラクティブ型アプリケーションシーンにはシミュレーション対象が表示されており、該シミュレーション対象は、ゲームシーンにおけるゲームキャラクターであってもよいし、ゲームシーンにおけるヒーローや兵士であってもよく、例えば、シミュレーション対象は、ストラテジーゲームにおけるユーザが制御している人又はものであり得るが、ここでは制限しない。インタラクティブ型アプリケーションシーンにシミュレーション対象が表示されるほか、インタラクティブ型アプリケーションシーンにはインタラクティブ可能な物体も表示されており、該インタラクティブ可能な物体とは、インタラクティブ型アプリケーションシーンにおいてシミュレーション対象とインタラクティブ可能な物体を指し、この物体は、異なるインタラクティブ型シーンで様々なものであり得る。例えば、ゲームシーンにおける道具であり得る。

本願の実施例では、端末は、目標の顔の動作および対応する幅を取得した後、該動作および対応する幅を、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令にマッピングすることができ、該制御指令は「インタラクティブ指令」と呼ばれてもよい。すなわち、ユーザは自分の顔を介して動作し、該動作のタイプおよび幅に応じてシミュレーション対象の制御指令を生成することができ、該制御指令によってシミュレーション対象を制御可能である。

本願のいくつかの実施例では、次に、本願の実施例でインタラクティブ可能な物体のロック方法について説明する。ステップ２０３では、モバイル端末は、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成した後、本願の実施例で提供される方法は、
モバイル端末は、制御指令に従い、焦点がインタラクティブ可能な物体の範囲内で安定して維持される時間が予め設定された時間に達したか否かを判定し、焦点は、目標の顔がインタラクティブ型アプリケーションシーンにマッピングされる基準点であるステップと、
シミュレーション対象がインタラクティブ可能な物体の範囲内で安定して維持される時間が予め設定された時間に達していれば、モバイル端末は、インタラクティブ可能な物体の範囲内からインタラクティブ可能な物体をロックするステップと、をさらに含む。

目標の顔は、インタラクティブ型アプリケーションシーンにおいて１つの焦点がマッピングされており、該焦点は、ユーザの顔がインタラクティブ型アプリケーションシーンにマッピングされる基準点である。まず、該制御指令によって、該焦点がインタラクティブ可能な物体の範囲内であるか否かを判定し、インタラクティブ可能な物体の範囲とは、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体が存在する一定の領域の範囲を指す。焦点が該インタラクティブ可能な物体の範囲内に入った場合にのみ、シミュレーション対象はインタラクティブ可能な物体とインタラクトすることができ、焦点が該インタラクティブ可能な物体の範囲内に入っていなければ、シミュレーション対象はインタラクティブ可能な物体とインタラクトすることができない。該シミュレーション対象が該インタラクティブ可能な物体の範囲内で安定して維持される時間が予め設定された時間に達したか否かを判定し、予め設定された時間はｘ秒で表され、一定範囲内で固定点をｘ秒間維持すると、対応画面におけるインタラクティブ可能な物体を特定し、焦点ロックを行い、対応操作を実現する。インタラクティブ型アプリケーションシーンにおいて、インタラクティブ可能な物体のロックは、デフォルトで設定されることができれば、インタラクティブ可能な物体が複数ある場合、焦点とインタラクティブ可能な物体の範囲との距離によってインタラクティブ可能な物体をロックすることもできると分かる。ロックされたインタラクティブ可能な物体は、シミュレーション対象がインタラクトするべき物体である。

２０４：モバイル端末は、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクトするようにシミュレーション対象を制御する。

本願の実施例では、端末が制御指令を生成した後、端末は、該制御指令に応じて、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブ方式を制御することができる。本願の実施例では、インタラクティブ型アプリケーションシーンの設定が異なると、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブ動作は様々なものが存在し取得する。例を挙げて以下の通り説明する。インタラクティブ型アプリケーションシーンが魚を食べるゲームであることを例として、インタラクティブ可能な物体は、ゲームシーンに設定された魚道具であり、上述した実施例で生成された制御指令が口開けであれば、口を開けて魚を食べ始めるようにゲームキャラクター（例えば、口）を制御することができ、これにより、ゲームキャラクターとインタラクティブ可能な物体とのインタラクトを実現する。本願の実施例では、シミュレーション対象の制御指令は、画像検出により生成され、全過程で非タッチの形で、一人称視点でゲームへの感情移入を強め、ユニークなゲーム体験をもたらす。

本願のいくつかの実施例では、ステップ２０４では、モバイル端末は、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクトするようにシミュレーション対象を制御する前記ステップは、
焦点とインタラクティブ可能な物体との距離をリアルタイムで算出し、焦点は、目標の顔がインタラクティブ型アプリケーションシーンにマッピングされる基準点であるステップと、
リアルタイムで算出された距離に基づいて、焦点がインタラクティブ可能な物体の範囲内であるか否かを判定するステップと、
焦点がインタラクティブ可能な物体の範囲内であれば、リアルタイムで算出された距離に基づいて、焦点に対応する変位速度を更新するステップと、
更新後の変位速度に基づいて制御指令を更新し、更新後の制御指令を用いて、インタラクティブ可能な物体とインタラクトするようにシミュレーション対象を制御するステップと、を含む。

インタラクティブ可能な物体とインタラクトするようにシミュレーション対象を制御する際に、端末は、シミュレーション対象とインタラクティブ可能な物体との距離をリアルタイムで算出することができ、該距離によって、焦点がインタラクティブ可能な物体の範囲内であるか否かを判断することができ、焦点がインタラクティブ可能な物体の範囲内である場合にのみ、後続のインタラクティブフローを実行することができ、焦点がインタラクティブ可能な物体の範囲内でなければ、インタラクトすることができない。焦点がインタラクティブ可能な物体の範囲内である場合に、リアルタイムで算出された距離に基づいて、焦点に対応する変位速度を更新し、すなわち、該距離のリアルタイムの変化に基づいて、焦点に対応する変位速度をリアルタイムで更新することができ、継続的に更新される変位速度に従い制御指令を更新することができるため、該制御指令は、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブを制御するために使用されることができる。例えば、焦点に対応する変位速度が変化した場合、シミュレーション対象は、制御指令に従いリアルタイムで移動することができ、アプリケーションシーンが異なると、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブ方式は、具体的なシーンと結合して決定されることができる。

あるいはまた、本願のいくつかの実施例では、焦点とインタラクティブ可能な物体との距離をリアルタイムで算出した後、該距離のリアルタイムの変化状況に応じて、焦点に対応する変位速度を更新してもよい。これにより、変位速度のリアルタイムの更新を実現し、磁気吸引効果および減衰効果を実現可能である。具体的には、リアルタイムで算出された距離に基づいて、焦点に対応する変位速度を更新することは、
焦点とインタラクティブ可能な物体との距離が小さくなると、焦点の移動方向に変位速度を減少させてから変位速度を増加させること、或いは、
焦点とインタラクティブ可能な物体との距離が大きくなると、まず焦点の移動方向に変位速度を減少させ、その後、移動方向の反対方向に変位速度を増加させること、を含む。

端末は、磁気吸引合焦方式を採用することができ、すなわち、シミュレーション対象とインタラクティブ可能な物体との距離をリアルタイムで算出することができる。焦点がインタラクティブ可能な物体にある状態下で、焦点とインタラクティブ可能な物体との距離が小さくなると、焦点の移動方向に変位速度を減少させてから変位速度を増大させ、これにより、焦点がインタラクティブ可能な物体から離れる移動抵抗が増大し、焦点に対応する変位速度の動的な調整を実現し、その増大後の移動抵抗に基づいて制御指令を更新することで、該制御指令はインタラクティブポイントへの吸引力作用が発生することができるので、物体インタラクティブ操作を行う難しさが低下し、精度が向上する。

図４は、本願の実施例で提供される磁気吸引効果の模式図である。シミュレーション対象が制御指令の制御下で生じる速度は、以下の式から算出される。

速度＝（初期速度×初期方向−目標速度×目標方向）×（現在時間／合計時間）×磁気吸引定数。

インタラクティブ可能な物体外とは、顔が機器にマッピングされる焦点がインタラクティブ可能な物体の範囲外であることを意味し、インタラクティブ可能な物体内とは、顔が機器にマッピングされる焦点がインタラクティブ可能な物体の範囲内であることを意味する。初期速度、初期方向、目標速度、目標方向は、いずれも顔の移動が画面上に反映される移動データであり、磁気吸引定数は実際のシーンに応じて調整されることができ、磁気吸引定数は、顔の回転速度から焦点の移動速度への体験を拡張するために使用され、例えば、磁気吸引定数の取りうる値は１．３２である。例を挙げて以下の通り説明する。インタラクティブ可能な物体に対して、顔操作カーソルが近づくと、移動抵抗が大きくなり、すなわち、物体から離れるためにより大きい動作幅が必要となる。本願の実施例では、磁気吸引合焦により、顔制御の精度および滑らかさを大幅に向上させ、インタラクティブを全く顔の表情認識に頼って行うゲームが可能になっている。

本願の他の実施例では、インタラクティブ可能な物体とインタラクトするようにシミュレーション対象を制御する際に、端末は、減衰効果方式を採用することができ、リアルタイムで算出されたシミュレーション対象とインタラクティブ可能な物体との距離に基づいて、焦点とインタラクティブ可能な物体との距離が大きくなると、まず焦点の移動方向に変位速度を減少させ、その後、移動方向の反対方向に変位速度を増加させる。該焦点に対応する変位速度が閾値を超えたか否かを判断し、変位速度が該閾値を超えると、顔操作が速すぎて、往復双方向に高速変位が発生したことが分かり、このとき、同方向にまず焦点に対応する変位速度を減少させ、その後、反対方向に変位速度を増加させることができ、これにより、減衰効果が発生し、操作の不確かさを低減する。

図５は、本願の実施例で提供される減衰効果の模式図である。シミュレーション対象が制御指令の制御下で生じる速度は、以下の式から算出される。

速度＝ｃｏｓ（初期速度×方向／目標速度×方向）×（現在時間／合計時間）×減衰定数。

初期速度、初期方向、目標速度、目標方向は、いずれも顔の移動が画面上に反映される移動データであり、減衰定数は実際のシーンに応じて調整されることができ、減衰定数は、顔の向きが焦点の向きにマッピングされる加減速の体験を強化するために使用され、例えば、減衰定数の取りうる値は０．５３である。本願の実施例では、焦点に対応する変位速度を減らし、減衰効果を発生させ、操作の不確かさを低減することができるため、顔制御の精度および滑らかさを大幅に向上させ、インタラクティブを全く顔の表情認識に頼って行うゲームが可能になっている。

以上、インタラクティブ型アプリケーションシーンにおいて顔をマッピングさせた焦点に基づくインタラクティブ検出過程について説明した。図３は、本願の実施例で提供される他のアプリケーションシーンにおけるインタラクティブ方法の概略的なフローブロック図である。次に、図３を参照しながら、デフォーカス判定過程について詳しく説明する。本願のいくつかの実施例では、本願の実施例で提供される方法は、ステップ３０１〜ステップ３０３をさらに含む。

３０１：モバイル端末は、リアルタイムで取得した各フレームの画像での複数の顔キーポイントのピクセル座標を特定する。

各フレームの画像において、端末は、カメラによって複数の顔キーポイントのピクセル座標をキャプチャすることができ、顔キーポイントの数は９０とされてもよい。

３０２：モバイル端末は、複数の顔キーポイントのピクセル座標に基づいて、目標の顔が焦点を失ったか否かを判断する。

端末は、これらの顔キーポイントのピクセル座標に基づいて、目標の顔が焦点を失ったか否かを判定し、例えば、カメラでキャプチャした９０個の顔キーポイントのピクセル座標に基づく分析を行い、これらのキーポイントを９０個まで取得できないか、或いは、頭を上げたり下げたりする動作が一定の幅（例えば、４５度）を超えていれば、デフォーカスであると判断する。

３０３：目標の顔が焦点を失った場合、目標の顔の合焦補正を行う。

本願の実施例では、顔が認識できないか、或いは、カメラから離れていると判定されていれば、ユーザの顔データをリアルタイムで算出することで、ユーザが焦点を失ったか否かを判定し、合焦補正を付与する。ステップ３０１〜ステップ３０３では、顔がマッピングされた焦点に対してリアルタイムのデフォーカス判定を行うことにより、合焦補正をすぐに完成できるので、焦点に基づく磁気吸引合焦および減衰効果をすぐに完成できる。

以上の実施例を用いて本願の実施例に関して説明したように、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を得て、第１フレーム画像および第２フレーム画像は、それぞれ撮影された前後隣接する２フレームの画像であり、第１フレーム画像と第２フレーム画像とを比較することにより、目標の顔の動作および対応する幅を得て、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されており、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクトするようにシミュレーション対象を制御する。本願の実施例によれば、カメラがリアルタイムで撮影した複数フレームの画像の比較結果に基づいて、顔の動作および幅を取得することができ、さらに、シミュレーション対象の制御指令を生成することができ、該制御指令によって、シミュレーション対象とインタラクティブ可能な物体とのインタラクトを実現する。本願の実施例では、指令をユーザの指で送信する代わりに、ユーザの顔の表情に頼るシーンインタラクティブな動作をすることができるので、モバイル端末における没入型インタラクティブを実現することができる。

本願の実施例の上記技術案をよりよく理解し実施するために、以下、例を挙げて対応するアプリケーションシーンについて具体的に説明する。

本願の実施例では、既存の入力によるインタラクティブ方式に対応していると同時に、カメラによってユーザの顔特徴を１フレームずつキャプチャし、前後フレームの顔データの比較により、ユーザによる動作および対応する幅を算出し、異なるゲーム入力に対応させ、指操作を一切必要としない新しいインタラクティブ方式を実現する。顔制御の精度および滑らかさを大幅に向上させ、インタラクティブを全く顔の表情認識に頼って行うゲームが可能になっている。

本願の実施例では、端末に求められるハードウェアは、カメラを備える携帯電話でもパソコンでもよい。図６は、本願の実施例で提供されるゲームシーンでのインタラクティブ検出フローの模式図である。主な実現論理は以下のような過程を含み取得する。

Ｓ０１：ユーザが入力する。

ユーザは、端末のカメラを介して顔画像を取得することができれば、タッチパネルを指で操作することもできる。

Ｓ０２：指によるデータ入力であるか否かを判断する。

端末は、タッチパネル上にユーザが指で入力したデータがあるか否かを検出することができる。

Ｓ０３：指で画面をタップしてスライドする。

指によるデータ入力があると検出された場合、ユーザは、画面をタップしてスライドすることができる。

Ｓ０４：カメラを介した顔データ入力であるか否かを判断する。

指によるデータが検出されていなければ、端末は、カメラに顔データが入力されたか否かを判断することができる。

Ｓ０５：入力データが誤っているか否かを判断する。

ステップＳ０４の後に、端末は、入力されたデータが誤っているか否か、すなわち、完全たる顔画像を検出できるか否かを判断する。

Ｓ０６：ユーザに知らせる。

データが誤って入力できない場合、再入力するようにユーザを促すか、或いは、入力が失敗したことをユーザに知らせる。

Ｓ０７：比較データがあるか否かを判断する。

端末は、連続する複数フレームの顔画像を取得した場合、前後に連続する複数フレームの画像を比較する。

Ｓ０８：データ比較を行う。

データ比較段階では、端末は、前後の２フレームの顔画像を比較することができる。具体的な比較過程について、上述の実施例の説明を詳しく参照されたい。ここではその詳細を繰り返さない。

なお、１回目の入力時に比較データがなければ、データ記憶にジャンプし、２回目のデータ比較時に、その前に記憶されたデータを現在のデータと比較する。

Ｓ０９：データ比較により、ユーザの異なる顔動作および幅を判断する。

データ比較が終わった後、端末は、ユーザの現在の動作および対応する幅を判断することができる。

例を挙げて以下の通り説明する。顔の上下移動を例として、現在の顔の眉中心座標を前回の眉中心座標データと比較することにより、Ｙ座標が大きくなっていれば、頭を上げることを意味し、Ｙ座標が小さくなっていれば、頭を下げることを意味する。また、顔の左右移動を例として、現在の顔の鼻先座標を前回の鼻先座標データと比較することにより、Ｘ座標が大きくなっていれば、左に回転することを意味し、Ｘ座標が小さくなっていれば、右に回転することを意味する。さらに、顔の前後移動を例として、現在の顔の左眼の目尻から右眼の目尻までの距離を前回の同一の距離データと比較して大きくなっていれば、顔が前に移動したことを示唆し、該データ比較の結果、小さくなっていれば、顔が後に移動したことを示唆する。また、ユーザのタップを例として、現在の顔の中心点座標を前回の中心点座標データと比較することにより、一定の座標範囲内で一定時間保っていれば、顔にタップ操作が発生したと判定される。

例を挙げて以下の通り説明する。表１は、基本的機能と実現メカニズムとの対応関係を示す表である。

また、表２は、特殊機能と実現メカニズムとの対応関係を示す表である。

Ｓ１０：制御指令を生成する（例えば、上下左右前後移動、タップ）。

上記表１および表２において、顔を左右に回転させることは、画面の左右移動に対応し、回転幅は画面の移動距離に対応する。頭を上げたり下げたりすることは、画面の上下移動に対応し、幅は画面の移動距離に対応する。口を開けたり閉じたりすることは、画面の関連操作、例えば、噛み合って魚を食べる操作に対応する。一定の範囲内で固定点をｘ秒間維持し、固定点は、具体的な視線を維持する焦点であり、範囲内で安定して維持され、画面におけるインタラクティブ可能な物体に対応する。そして、焦点ロックを行い、対応操作を実現する。

次に、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブ方式について説明する。

磁気吸引合焦：顔が機器にマッピングされるシミュレーション対象とインタラクティブ可能な物体との距離をリアルタイムで算出することにより、インタラクティブ可能な物体にある状態下であれば、顔が機器にマッピングされる焦点に対応する変位速度を動的に調整し、インタラクティブポイントの吸引力作用が発生するため、物体のインタラクティブ操作の難しさが低下し、精度が向上する。

デフォーカス判定：ユーザの顔データをリアルタイムの算出により取得し、ユーザが焦点を失ったか否かを判定し、デフォーカス補正を付与する。例えば、カメラがキャプチャした顔キーポイント（９０個）の座標に基づいて分析し、ポイントが欠けているか、或いは、頭を上げたり下げたりする動作が一定の幅（４５度）を超えていれば、デフォーカスであると判断される。

減衰効果：顔操作が速すぎて、往復双方向に高速変位が発生した時、減衰効果が発生し、操作の不確かさを低減する。

Ｓ１１：対応するゲーム表現をドライブする。

端末は、上記ステップで生成された制御指令に基づいてゲーム表現をドライブすることができる。次に、様々なゲームシーンについて例を挙げて説明する。

顔認識に基づいて正確な制御操作を行うゲームを例として、ゲームシーンにおいて、ユーザは、ゲーム全過程で顔に基づく制御操作によりゲームプレイする。携帯電話のカメラを介して、それぞれの異なるステージのゲームプレイに基づいて、一人称視点でゲーム中のキャラクターを制御して、異なる操作、例えば、移動、ロック、噛み合い、つつきなどを行う。従来のゲームのタッチ操作とは異なり、本願の実施例では、ゲーム全過程で非タッチの形で、一人称視点でゲームへの感情移入を強化し、ユニークなゲーム体験をもたらす。

主な特徴は以下の通りである。

ゲーム全過程で非タッチであり、ゲーム全過程ですべて非タッチ操作であり、顔認識だけによってすべてのゲーム行動を完了させる。

インタラクティブを正確に制御し、磁気吸引合焦、デフォーカス補正、減衰効果などの製品技術ソリューションにより、もともとぼけて不正確な顔制御を実用でかつより正確なものにする。顔制御の難しさを低減し、より正確な制御が可能である。

没入型感情移入、一人称視点、完全かつ包括的な顔マッチングによるゲームプレイは、身に染みた体験をもたらし、ゲームのインパクトを高める。

図７は、本願の実施例で提供されるゲームシーンでのインタラクティブ検出模式図である。図７に示されるように、ゲームシーンの１つのバージョンのサンプル図面において、ゲームプレイステージのゲームシーンを例として、プレイヤーが制御しているシミュレーション対象は、酔っぱらいというキャラクターであり、ゲームプレイステージのゲームシーンにおいてインタラクティブ可能な物体は障害物である。モバイル端末のカメラがプレイヤーの顔をリアルタイムで撮影し、撮影された前後隣接する２フレームの画像を比較することで、プレイヤーの動作および対応する幅を取得する。プレイヤーの動作および幅に基づいて、酔っぱらいへの制御指令を生成することができ、例えば、左へ移動するように該酔っぱらいを制御し、酔っぱらいが左へ移動すると、該酔っぱらいが障害物に衝突する。また、例えば、右へ移動するように該酔っぱらいを制御し、酔っぱらいが右へ移動すると、該酔っぱらいが障害物をうまく回避する。図７に示されるシーンを例にして、本願の実施例では、酔っぱらいの移動を顔によって制御して障害物を回避することができ、これにより、酔っぱらいと障害物とのインタラクティブな動作を実現する。

図８は、本願の実施例で提供される他のゲームシーンでのインタラクティブ検出模式図である。図８に示されるように、ゲームシーンの他のバージョンのサンプル図面において、海底ゲームプレイステージのゲームシーンを例として、プレイヤーが制御しているシミュレーション対象は、魚というキャラクターであり、海底ゲームプレイステージのゲームシーンにおいて、インタラクティブ可能な物体は口である。モバイル端末のカメラがプレイヤーの顔をリアルタイムで撮影し、撮影された前後隣接する２フレームの画像を比較することで、プレイヤーの動作および対応する幅を取得する。プレイヤーの動作および幅に基づいて、魚への制御指令を生成することができ、例えば、左へ移動ように該魚を制御し、魚が左へ移動すると、その口が１つの魚を食べる。また、例えば、右へ移動するように該魚を制御し、魚が右へ移動すると、魚は口のキャプチャからうまく逃げる。図８に示されるシーンを例にして、本願の実施例では、魚の泳ぎ方、および、狩猟のために口が噛み合う（魚を食べる）動作を顔によって制御することができ、これにより、魚と口とのインタラクティブな動作を実現する。

図９は、本願の実施例で提供される更なるゲームシーンでのインタラクティブ検出模式図である。図９に示されるように、ゲームシーンの他のバージョンのサンプル図面において、顔認識時にカメラから外れた場合、ゲームでは、ユーザインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＵＩ）におけるインタラクティブをデフォーカス補正の形で行い、すなわち、ユーザは、画面に現れたＵＩ輪郭の提示に従い顔位置を調整し、リフォーカスの目的を実現する。デフォーカス補正の詳細について、この前で例を挙げて説明したものを参照されたい。

Ｓ１２：データを記憶する。

１フレームの顔画像を取得するごとにデータを記憶し、これにより、次のフレームとのデータ比較時に前のフレームの顔画像を呼び出すことができる。

本願の実施例で提供される技術案によれば、インタラクティブを全く顔の表情認識に頼って行うゲームを実現し、モバイル端末における没入感ゲームへの感情移入を大幅に向上させる。また、画面タッチに頼らないインタラクティブ方式は、一部の特殊シーン下でのゲームプレイ時のバリアフリーを向上させる。そして、該技術案によれば、手が不自由なユーザ向けのゲームを開発することもできるので、ユーザが指を使うのが不便な場合、又は、モバイル端末にタッチパネルが装着されていない等の場合であっても、インタラクティブな動作をやり遂げることができる。

なお、上述の各方法実施例について、説明の簡略化のために、一連の動作の組合せとして記述しているが、しかし、当業者であれば分かるように、本願の実施例は、説明された動作の順番に制限されず、本願の実施例によれば、一部のステップを他の順番で行うか或いは同時に行うこともできるのがその理由である。次に、明細書に記述された実施例はいずれも好適な実施例であり、言及された動作及びモジュールは、必ずしも本願の実施例に必須なものとは限らないことも、当業者であれば分かっている。

本願の実施例は、コンピュータ読取可能な記憶媒体をさらに提供する。あるいはまた、本実施例では、上記コンピュータ読取可能な記憶媒体は、コンピュータで実行されると、コンピュータに上述した方法を実行させる指令を含んでもよい。

あるいはまた、本実施例では、コンピュータ読取可能な記憶媒体に含まれる指令は、コンピュータで実行されると、
Ｓ１１：前記モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、それぞれ撮影された前後隣接する２フレームの画像である第１フレーム画像および第２フレーム画像を取得するステップと、
Ｓ１２：前記第１フレーム画像と前記第２フレーム画像とを比較して、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得するステップと、
Ｓ１３：前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、シミュレーション対象およびインタラクティブ可能な物体が表示されているインタラクティブ型アプリケーションシーンにおける前記シミュレーション対象の制御指令を生成するステップと、
Ｓ１４：前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおいて前記インタラクティブ可能な物体とインタラクトするように前記シミュレーション対象を制御するステップと、
をコンピュータに実行させてもよい。

あるいはまた、本実施例の具体例について、上述した実施例で説明された例を参照してもよい。本実施例ではここでその詳細を繰り返さない。

本願の実施例の上記技術案をよりよく実施するために、以下、上記技術案を実施するための関連装置をさらに提供する。

図１０−ａは、本願の実施例で提供されるモバイル端末の構成模式図である。図１０−ａに示されるように、本願の実施例で提供されるモバイル端末１０００は、１つ又は複数のプロセッサと、プログラムユニットを記憶する１つ又は複数のメモリとを備え、プログラムユニットはプロセッサによって実行され、該プログラムユニットは、撮影モジュール１００１、比較モジュール１００２、指令生成モジュール１００３、インタラクティブモジュール１００４を含む。

撮影モジュール１００１は、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、それぞれ撮影された前後隣接する２フレームの画像である第１フレーム画像および第２フレーム画像を取得する。

比較モジュール１００２は、前記第１フレーム画像と前記第２フレーム画像とを比較して、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得する。

指令生成モジュール１００３は、前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、シミュレーション対象およびインタラクティブ可能な物体が表示されているインタラクティブ型アプリケーションシーンにおける前記シミュレーション対象の制御指令を生成する。

インタラクティブモジュール１００４は、前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおいて前記インタラクティブ可能な物体とインタラクトするように前記シミュレーション対象を制御する。

図１０−ｂは、本願の実施例で提供される比較モジュールの構成模式図である。本願のいくつかの実施例では、図１０−ｂに示されるように、前記比較モジュール１００２は、
顔位置決め点が前記第１フレーム画像に現れる第１画素位置、および、前記顔位置決め点が前記第２フレーム画像に現れる第２画素位置を特定する画素位置特定ユニット１００２１と、
前記第１画素位置と前記第２画素位置とを比較して、前記第１画素位置と前記第２画素位置との相対変位を取得する変位特定ユニット１００２２と、
前記第１画素位置と前記第２画素位置との相対変位に基づいて、前記目標の顔の動作および前記目標の顔の動作に対応する幅を特定する動作特定ユニット１００２３と、を含む。

図１０−ｃは、本願の実施例で提供される他のモバイル端末の構成模式図である。本願のいくつかの実施例では、図１０−ｃに示されるように、図１０−ａに示されるものに対して、前記プログラムユニットは、
前記撮影モジュール１００１がモバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影する前に、モバイル端末のタッチ画面にタッチ入力が生じたか否かを検出し、前記タッチ画面にタッチ入力が生じていなければ、前記撮影モジュールの実行をトリガーするタッチ検出モジュール１００５をさらに含む。

図１０−ｄは、本願の実施例で提供される更なるモバイル端末の構成模式図である。本願のいくつかの実施例では、図１０−ｄに示されるように、図１０−ａに示されるものに対して、前記プログラムユニットは、
前記指令生成モジュール１００３が前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成した後、前記制御指令に基づいて、前記目標の顔が前記インタラクティブ型アプリケーションシーンにマッピングされる基準点である焦点がインタラクティブ可能な物体の範囲内で安定して維持される時間が、予め設定された時間に達したか否かを検出する焦点検出モジュール１００６と、
前記焦点が前記インタラクティブ可能な物体の範囲内で安定して維持される時間が予め設定された時間に達していれば、前記インタラクティブ可能な物体の範囲内からインタラクティブ可能な物体をロックする物体ロックモジュール１００７と、をさらに含む。

図１０−ｅは、本願の実施例で提供されるインタラクティブモジュールの構成模式図である。本願のいくつかの実施例では、図１０−ｅに示されるように、前記インタラクティブモジュール１００４は、
前記目標の顔が前記インタラクティブ型アプリケーションシーンにマッピングされる基準点である焦点と前記インタラクティブ可能な物体との距離をリアルタイムで算出する距離算出ユニット１００４１と、
リアルタイムで算出された前記距離に基づいて、前記焦点がインタラクティブ可能な物体の範囲内であるか否かを判定する範囲判定ユニット１００４２と、
前記焦点が前記インタラクティブ可能な物体の範囲内であれば、リアルタイムで算出された前記距離に基づいて、前記焦点に対応する変位速度を更新する速度更新ユニット１００４３と、
更新後の前記変位速度に基づいて前記制御指令を更新し、更新後の制御指令を用いて、前記インタラクティブ可能な物体とインタラクトするように前記シミュレーション対象を制御するインタラクティブユニット１００４４と、を含む。

本願のいくつかの実施例では、速度更新ユニット１００４３は、具体的には、前記焦点と前記インタラクティブ可能な物体との距離が小さくなると、前記焦点の移動方向に前記変位速度を減少させてから前記変位速度を増加させるか、或いは、前記焦点と前記インタラクティブ可能な物体との距離が大きくなると、まず前記焦点の移動方向に前記変位速度を減少させ、その後、前記移動方向の反対方向に前記変位速度を増加させる。

図１０−ｆは、本願の実施例で提供される更なるモバイル端末の構成模式図である。本願のいくつかの実施例では、図１０−ｆに示されるように、図１０−ａに示されるものに対して、前記プログラムユニットは、
リアルタイムで取得した各フレームの画像での複数の顔キーポイントのピクセル座標を特定するキーポイント取得モジュール１００８と、
前記複数の顔キーポイントのピクセル座標に基づいて、前記目標の顔が焦点を失ったか否かを判断するデフォーカス判定モジュール１００９と、
前記目標の顔が焦点を失っていれば、前記目標の顔の合焦補正を行う合焦モジュール１０１０と、をさらに含む。

以上で本願の実施例について説明したように、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を得て、第１フレーム画像および第２フレーム画像は、それぞれ撮影された前後隣接する２フレームの画像であり、第１フレーム画像と第２フレーム画像とを比較して、目標の顔の動作および対応する幅を得て、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されており、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクトするようにシミュレーション対象を制御する。本願の実施例では、カメラがリアルタイムで撮影した複数フレームの画像の比較結果に基づいて、顔の動作および幅を取得することができ、さらに、シミュレーション対象の制御指令を生成することができ、該制御指令によって、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブを実現する。本願の実施例では、指令をユーザの指で送信する代わりに、ユーザの顔の表情に頼るシーンインタラクティブな動作をすることができるので、モバイル端末における没入型インタラクティブを実現することができる。

本願の実施例は、他の端末をさらに提供する。図１１は、本願の実施例で提供されるアプリケーションシーンにおけるインタラクティブ方法が端末に適用される構成模式図である。図１１に示されるように、説明の便宜上、本願の実施例に関連する部分のみを示しており、具体的な技術の詳細が開示されていないものについては、本願の実施例の方法部分を参照されたい。該端末は、携帯電話、タブレットコンピュータ、パーソナルデジタルアシススタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ポイント・オブ・セールス（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ、ＰＯＳ）、車載コンピュータなど、任意の端末機器であり得る。端末が携帯電話であることを例とする。

図１１は、本願の実施例で提供される端末に関連する携帯電話の一部の構造のブロック図を示している。図１１を参照し、携帯電話は、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）回路１０１０、メモリ１０２０、入力ユニット１０３０、表示ユニット１０４０、センサ１０５０、オーディオ回路１０６０、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、ＷｉＦｉ）モジュール１０７０、プロセッサ１０８０、および電源１０９０などの部材を備える。図１１に示される携帯電話の構造は、携帯電話を限定するものではなく、示されるものよりも多い又は少ない部材を含むか、或いは、いくつかの部材を組み合わせるか、或いは、異なる部材配置を有することが可能であることは、当業者が理解するであろう。

以下、図１１を用いて携帯電話の各構成要素を具体的に紹介する。

ＲＦ回路１０１０は、情報の送受信、又は通話中の信号の送受信を行うように構成されてもよい。特に、基地局の下り情報を受信した後、プロセッサ１０８０に処理させ、また、上りのためのデータを基地局に送信する。通常、ＲＦ回路１０１０は、アンテナ、少なくとも１つの増幅器、トランシーバ、カプラー、低雑音増幅器（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ、ＬＮＡ）、デュプレクサなどを含むが、これらに限られない。また、ＲＦ回路１０１０は、無線通信を介してネットワーク及び他の機器と通信することもできる。上記無線通信は、任意の通信規格またはプロトコルを使用することができ、グローバルモバイル通信システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ）、汎用パケット無線サービス（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、 ＷＣＤＭＡ）、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、電子メール、ショートメッセージサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ、ＳＭＳ）などを含むが、これらに限られない。

メモリ１０２０は、ソフトウェアプログラム及びモジュールを記憶するように構成されてもよい。プロセッサ１０８０は、メモリ１０２０に記憶されるソフトウェアプログラム及びモジュールを実行することで、携帯電話の様々な機能アプリケーションおよびデータ処理を実行する。メモリ１０２０は、主にプログラム格納領域およびデータ格納領域を含み、プログラム格納領域には、オペレーティングシステム、少なくとも１つの機能（例えば、音声再生機能、画像再生機能など）に必要なアプリケーションプログラムなどが格納されることができる。データ格納領域には、携帯電話の使用に応じて作成されたデータ（音声データ、電話帳など）が格納されることができる。また、メモリ１０２０は、高速ランダムアクセスメモリを含むことができれば、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の揮発性固体記憶デバイスなどの不揮発性メモリを含むこともできる。

入力ユニット１０３０は、入力された数字や文字情報を受信し、携帯電話のユーザ設定や機能制御に関するキー信号入力を生成するように構成されてもよい。具体的には、入力ユニット１０３０は、タッチパネル１０３１及び他の入力デバイス１０３２を含んでもよい。タッチパネル１０３１は、タッチスクリーンとも呼ばれ、その上またはその近くでのユーザーのタッチ操作（例えば、ユーザーが指、スタイラスなど、如何なる適切なオブジェクトまたはアクセサリを用いて、タッチパネル１０３１上またはタッチパネル１０３１の近くで動作する）を収集し、予め設定されたプログラムに従って対応する接続装置を駆動することができる。あるいはまた、タッチパネル１０３１は、タッチ検出装置およびタッチコントローラという２つの部分を含んでもよい。タッチ検出装置は、ユーザのタッチ位置を検出し、タッチ操作によって生じる信号を検出し、信号をタッチコントローラに送信する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、接触点座標に変換してプロセッサ１０８０に送信するとともに、プロセッサ１０８０から送信された指令を受信して実行可能である。また、タッチパネル１０３１は、抵抗式、静電容量式、赤外線、表面弾性波など、様々なタイプのもので実現できる。入力ユニット１０３０は、タッチパネル１０３１に加えて、他の入力デバイス１０３２を含んでもよい。具体的には、他の入力デバイス１０３２は、物理キーボード、機能キー（音量制御キー、スイッチキーなど）、トラックボール、マウス、ジョイスティックなどの１つまたは複数を含み取得するが、これらに限定されない。

表示ユニット１０４０は、ユーザが入力した情報またはユーザに提供された情報や携帯電話の各種メニューを表示するように構成されてもよい。表示ユニット１０４０は、表示パネル１０４１を含み取得する。あるいはまた、表示パネル１０４１は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、 ＯＬＥＤ）などの形態で構成されていてもよい。さらに、タッチパネル１０３１は表示パネル１０４１を覆うことができ、タッチパネル１０３１は、その上またはその近くでのタッチ操作を検出すると、タッチイベントのタイプを決定するためにプロセッサ１０８０に転送し、その後、プロセッサ１０８０は、タッチイベントのタイプに応じて、表示パネル１０４１に対して対応する視覚出力を提供する。図１１では、タッチパネル１０３１と表示パネル１０４１とは、２つの独立した部材として携帯電話の入力および入力機能を実現するが、しかし、いくつかの実施例では、タッチパネル１０３１と表示パネル１０４１とを統合して携帯電話の入力および出力機能を実現可能である。

携帯電話は、光センサー、動きセンサ、および他のセンサーなど、少なくとも１種類のセンサ１０５０をさらに含んでもよい。具体的には、光センサは、環境光センサ及び近接センサを含むことができ、環境光センサは、環境光の明暗に応じて表示パネル１０４１の明るさを調整することができ、近接センサは、携帯電話が耳に当てられると、表示パネル１０４１および／またはバックライトをオフにすることができる。動きセンサの一種として、加速度センサは、各方向（一般、３軸である）における加速度の大きさを検出することができ、静止時に重力の大きさや方向を検出することができ、携帯電話の姿勢を認識するアプリケーション（例えば、縦表示と横表示の切り替え、関連ゲーム、磁力計の姿勢校正）、振動認識関連機能（例えば、歩数計、叩き）を備えるものなどとされてもよい。携帯電話にさらに備えられるジャイロ、気圧計、湿度計、温度計、赤外線センサなどの他のセンサについて、ここではその詳細を繰り返さない。

オーディオ回路１０６０、スピーカ１０６１、マイクロフォン１０６２は、ユーザと携帯電話間のオーディオインターフェースを提供することができる。オーディオ回路１０６０は、受信した音声データから変換された電気信号をスピーカ１０６１に伝送することができ、スピーカ１０６１はこれを音声信号に変換して出力する。一方、マイクロフォン１０６２は、収集した音声信号を電気信号に変換し、オーディオ回路１０６０はこれを受信後、音声データに変換し、音声データをプロセッサ１０８０に出力して処理させた後、ＲＦ回路１０１０によって携帯電話に送信されるか、或いは、音声データを更なる処理のためにメモリ１０２０に出力される。

ＷｉＦｉは、短距離無線伝送技術である。携帯電話は、ＷｉＦｉモジュール１０７０を介して、ユーザによる電子メールの送受信、ウェブページの閲覧、ストリーミングメディアへのアクセスなどを支援することができ、ユーザに無線を介したブロードバンドインターネットアクセスを提供する。図１１にＷｉＦｉモジュール１０７０が示されているが、しかし、これは携帯電話に必須な構成要素ではなく、本発明の本質を変えることなく必要に応じて省略してもよいことは理解できる。

プロセッサ１０８０は、携帯電話の制御センターであり、携帯電話全体の各部を種々のインターフェースおよび回線で接続し、メモリ１０２０に格納されたソフトウェアプログラム及び／又はモジュールを実行し、メモリ１０２０に格納されたデータを呼び出すことで、携帯電話の様々な機能およびデータ処理を実行し、これにより、携帯電話全体を監視する。あるいはまた、プロセッサ１０８０は、１つ又は複数の処理ユニットを含んでもよい。好ましくは、プロセッサ１０８０は、アプリケーションプロセッサおよびモデムプロセッサを統合することができ、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインターフェース、およびアプリケーションプログラムなどを扱い、モデムプロセッサは主に無線通信を扱う。上記モデムプロセッサはプロセッサ１０８０に統合されなくてもよいことは理解できる。

携帯電話は、各部材に電力を供給する電源１０９０（例えば、電池）をさらに含む。好ましくは、電源は、電源管理システムを介してプロセッサ１０８０と論理的に接続されることができ、これにより、電源管理システムを介して充電、放電、および電力消費管理などの機能を実現する。

携帯電話は、カメラ１０１１をさらに含んでもよい。該カメラ１０１１は、携帯電話のフロントカメラであり得る。カメラ１０１１が複数フレームの顔画像を取得した後、プロセッサ１０８０は、複数フレームの顔画像を処理する。本願の実施例では、該端末に備えられるプロセッサ１０８０は、さらに、端末によって実行される上記アプリケーションシーンにおけるインタラクティブ方法のフローの実行を制御する。

なお、また、以上で説明した装置実施例は、概略的なものにすぎない。上記分離した部材として説明したユニットは、物理的に分離したものであってもよいし、物理的に分離したものでなくてもよく、ユニットとして示した部材は、物理的ユニットであってもよいし、物理的ユニットでなくてもよく、つまり、同一場所に配置されてもよいし、複数のネットワークユニットに分布されてもよい。実際のニーズに応じて、その一部又は全てのモジュールにより本実施例の目的を達成することができる。また、本願の実施例で提供される装置実施例の図面において、モジュール同士の接続関係は、それらが通信接続されることを意味し、具体的には、１本又は複数本の通信バス又は信号線として実現されてもよい。当業者は、創造的な労働無しに理解し実施することができる。

以上の実施形態の記載から、本願の実施例をソフトウェアおよび必須な汎用ハードウェアの形で実現することができ、もちろん、専用集積回路、専用ＣＰＵ、専用メモリ、専用部品などを含む専用ハードウェアで実現することもできるのは、当業者にとって明らかである。一般、コンピュータプログラムによって完成される機能はいずれも対応するハードウェアによって容易に実現可能であり、また、同一機能を実現するための具体的なハードウェア構造は様々であり、例えば、アナログ回路、デジタル回路又は専用回路などである。しかし、本願の実施例は、殆どの場合、ソフトウェアプログラムによって実現されるのがより望ましい。このように理解すれば、本願の実施例の技術案は、本質的に、又は従来技術に貢献する部分をソフトウェア製品の形で体現することができ、該コンピュータソフトウェア製品は、コンピュータデバイス（パソコン、サーバまたはネットワークデバイス等であってもよい）に本願の各実施例に記載の方法を実行させるための若干の指令を含む読取可能な記憶媒体、例えば、コンピュータのフロッピーディスク、ＵＳＢフラッシュディスク、リムーバブルハードディスク、リードオンリーメモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒ、ＲＡＭ）、磁気ディスク又は光ディスク等に記憶されている。

上述のように、以上の実施例は、本願の実施例の技術案を説明するためのものに過ぎず、それを制限するものではない。上記実施例を参照して本願の実施例を詳しく説明したが、上記実施例に記載された技術案を修正するか、或いは一部の技術的特徴に対して均等な置き換えが可能であることは、当業者が理解するであろう。これらの修正又は置き換えによって、対応する技術案の主旨が本願の実施例の技術案の思想や範囲から逸脱することはない。

本願の実施例では、モバイル端末に備えられるカメラを介して目標の顔をリアルタイムで撮影し、第１フレーム画像および第２フレーム画像を得て、第１フレーム画像および第２フレーム画像は、それぞれ撮影された前後隣接する２フレームの画像であり、第１フレーム画像と第２フレーム画像とを比較して、目標の顔の動作および対応する幅を得て、目標の顔の動作および対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成し、インタラクティブ型アプリケーションシーンにシミュレーション対象およびインタラクティブ可能な物体が表示されており、制御指令に従い、インタラクティブ型アプリケーションシーンにおいてインタラクティブ可能な物体とインタラクトするようにシミュレーション対象を制御する。本願の実施例によれば、カメラがリアルタイムで撮影した複数フレームの画像の比較結果に基づいて、顔の動作および幅を取得することができ、さらに、シミュレーション対象の制御指令を生成することができ、該制御指令によって、シミュレーション対象とインタラクティブ可能な物体とのインタラクティブを実現する。本願の実施例では、指令をユーザの指で送信する代わりに、ユーザの顔の表情に頼るシーンインタラクティブな動作をすることができるので、モバイル端末における没入型インタラクティブを実現することができる。

Claims (16)

1. モバイル端末が実行するアプリケーションシーンのインタラクティブ方法であって、
   カメラを介して目標の顔をリアルタイムで撮影することにより、第１フレーム画像および第２フレーム画像を取得するステップであって、前記第１フレーム画像および前記第２フレーム画像がそれぞれ撮影することにより取得した前後隣接する２フレームの画像である、ステップと、
   前記第１フレーム画像と前記第２フレーム画像とを比較することにより、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得するステップと、
   前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成するステップであって、前記インタラクティブ型アプリケーションシーンに前記シミュレーション対象およびインタラクティブ可能な物体が含まれる、ステップと、
   前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおける前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御するステップと、
   を含むアプリケーションシーンにおけるインタラクティブ方法。
2. 前記第１フレーム画像と前記第２フレーム画像とを比較することにより、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得前記ステップは、
   顔位置決め点が前記第１フレーム画像に現れる第１画素位置、および、前記顔位置決め点が前記第２フレーム画像に現れる第２画素位置を特定するステップと、
   前記第１画素位置と前記第２画素位置とを比較することにより、前記第１画素位置と前記第２画素位置との相対変位を取得するステップと、
   前記第１画素位置と前記第２画素位置との相対変位に基づいて、前記目標の顔の動作および前記目標の顔の動作に対応する幅を特定するステップと、を含む、請求項１に記載の方法。
3. 前記カメラを介して目標の顔をリアルタイムで撮影する前に、
   前記モバイル端末のタッチ画面にタッチ入力が生じたか否かを検出するステップと、
   前記タッチ画面にタッチ入力が生じていなければ、前記カメラを介して目標の顔をリアルタイムで撮影するステップを実行するようにトリガーするステップと、をさらに含む、請求項１に記載の方法。
4. 前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成した後、
   前記制御指令に基づいて、焦点がインタラクティブ可能な物体の範囲内で安定して維持される時間が、予め設定された時間に達したか否かを判定するステップであって、前記焦点は前記目標の顔が前記インタラクティブ型アプリケーションシーンにマッピングされる基準点である、ステップと、
   前記焦点が前記インタラクティブ可能な物体の範囲内で安定して維持される時間が、予め設定された時間に達していれば、前記インタラクティブ可能な物体の範囲内からインタラクティブ可能な物体をロックするステップと、をさらに含む、請求項１に記載の方法。
5. 前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおいて前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御する前記ステップは、
   前記目標の顔が前記インタラクティブ型アプリケーションシーンにマッピングされる基準点である焦点と、前記インタラクティブ可能な物体との距離をリアルタイムで算出するステップと、
   リアルタイムで算出された前記距離に基づいて、前記焦点がインタラクティブ可能な物体の範囲内であるか否かを判定するステップと、
   前記焦点が前記インタラクティブ可能な物体の範囲内であれば、リアルタイムで算出された前記距離に基づいて、前記焦点に対応する変位速度を更新するステップと、
   更新後の前記変位速度に基づいて前記制御指令を更新し、更新後の制御指令を用いて、前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御するステップと、を含む、請求項１に記載の方法。
6. 前記リアルタイムで算出された前記距離に基づいて、前記焦点に対応する変位速度を更新する前記ステップは、
   前記焦点と前記インタラクティブ可能な物体との距離が小さくなると、前記焦点の移動方向に前記変位速度を減少させてから前記変位速度を増加させるステップ、或いは、
   前記焦点と前記インタラクティブ可能な物体との距離が大きくなると、前記焦点の移動方向に前記変位速度を減少させてから、前記移動方向の反対方向に前記変位速度を増加させるステップ、を含む、請求項５に記載の方法。
7. リアルタイムで取得した各フレームの画像での複数の顔キーポイントのピクセル座標を特定するステップと、
   前記複数の顔キーポイントのピクセル座標に基づいて、前記目標の顔が焦点を失ったか否かを判断するステップと、
   前記目標の顔が焦点を失った場合、前記目標の顔の合焦補正を行うステップと、をさらに含む、
   請求項４乃至６の何れか一項に記載の方法。
8. １つ又は複数のプロセッサと、プログラムユニットを記憶する１つ又は複数のメモリとを備え、前記プログラムユニットは、前記プロセッサによって実行され、前記プログラムユニットは、
   カメラを介して目標の顔をリアルタイムで撮影することにより、第１フレーム画像および第２フレーム画像を取得する撮影モジュールであって、前記第１フレーム画像および前記第２フレーム画像がそれぞれ撮影することにより取得した前後隣接する２フレームの画像である、撮影モジュールと、
   前記第１フレーム画像と前記第２フレーム画像とを比較することにより、前記目標の顔の動作および前記目標の顔の動作に対応する幅を取得する比較モジュールと、
   前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成する指令生成モジュールであって、前記インタラクティブ型アプリケーションシーンに前記シミュレーション対象およびインタラクティブ可能な物体が含まれる、指令生成モジュールと、
   前記制御指令に従い、前記インタラクティブ型アプリケーションシーンにおける前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御するインタラクティブモジュールと、を含む、モバイル端末。
9. 前記比較モジュールは、
   顔位置決め点が前記第１フレーム画像に現れる第１画素位置、および、前記顔位置決め点が前記第２フレーム画像に現れる第２画素位置を特定する画素位置特定ユニットと、
   前記第１画素位置と前記第２画素位置とを比較することにより、前記第１画素位置と前記第２画素位置との相対変位を取得する変位特定ユニットと、
   前記第１画素位置と前記第２画素位置との相対変位に基づいて、前記目標の顔の動作および前記目標の顔の動作に対応する幅を特定する動作特定ユニットと、を含む、請求項８に記載のモバイル端末。
10. 前記プログラムユニットは、
    前記撮影モジュールが前記カメラを介して目標の顔をリアルタイムで撮影する前に、前記モバイル端末のタッチ画面にタッチ入力が生じたか否かを検出し、前記タッチ画面にタッチ入力が生じていなければ、前記撮影モジュールの実行をトリガーするタッチ検出モジュールをさらに含む、請求項８に記載のモバイル端末。
11. 前記プログラムユニットは、
    前記指令生成モジュールが前記目標の顔の動作および前記目標の顔の動作に対応する幅に基づいて、インタラクティブ型アプリケーションシーンにおけるシミュレーション対象の制御指令を生成した後、前記制御指令に基づいて、前記目標の顔が前記インタラクティブ型アプリケーションシーンにマッピングされる基準点である焦点がインタラクティブ可能な物体の範囲内で安定して維持される時間が、予め設定された時間に達したか否かを判定する焦点検出モジュールと、
    前記焦点が前記インタラクティブ可能な物体の範囲内で安定して維持される時間が、予め設定された時間に達していれば、前記インタラクティブ可能な物体の範囲内からインタラクティブ可能な物体をロックする物体ロックモジュールと、をさらに含む、請求項８に記載のモバイル端末。
12. 前記インタラクティブモジュールは、
    前記目標の顔が前記インタラクティブ型アプリケーションシーンにマッピングされる基準点である焦点と、前記インタラクティブ可能な物体との距離をリアルタイムで算出する距離算出ユニットと、
    リアルタイムで算出された前記距離に基づいて、前記焦点がインタラクティブ可能な物体の範囲内であるか否かを判定する範囲判定ユニットと、
    前記焦点が前記インタラクティブ可能な物体の範囲内であれば、リアルタイムで算出された前記距離に基づいて、前記焦点に対応する変位速度を更新する速度更新ユニットと、
    更新後の前記変位速度に基づいて前記制御指令を更新し、更新後の制御指令を用いて、前記インタラクティブ可能な物体とインタラクティブをするように前記シミュレーション対象を制御するインタラクティブユニットと、を含む、請求項８に記載のモバイル端末。
13. 前記速度更新ユニットは、具体的には、前記焦点と前記インタラクティブ可能な物体との距離が小さくなると、前記焦点の移動方向に前記変位速度を減少させてから前記変位速度を増加させるか、或いは、前記焦点と前記インタラクティブ可能な物体との距離が大きくなると、まず前記焦点の移動方向に前記変位速度を減少させ、その後、前記移動方向の反対方向に前記変位速度を増加させる、請求項１２に記載のモバイル端末。
14. 前記プログラムユニットは、
    リアルタイムで取得した各フレームの画像での複数の顔キーポイントのピクセル座標を特定するキーポイント取得モジュールと、
    前記複数の顔キーポイントのピクセル座標に基づいて、前記目標の顔が焦点を失ったか否かを判断するデフォーカス判定モジュールと、
    前記目標の顔が焦点を失った場合、前記目標の顔の合焦補正を行う合焦モジュールと、をさらに含む、請求項１１乃至１３の何れか一項に記載のモバイル端末。
15. コンピュータで実行されると、コンピュータに請求項１乃至７の何れか一項に記載の方法を実行させるプログラム。
16. 指令を記憶するメモリと、
    前記メモリにおける前記指令を実行して、請求項１乃至７の何れか一項に記載の方法を実行するプロセッサと、
    を備えるモバイル端末。
    

Images