JP2022519150A - 状態認識方法、装置、電子デバイス、及び記録媒体 - Google Patents

Abstract

本発明は、状態認識方法、装置、電子デバイス、及び記録媒体を提供する。１例として、当該方法は、複数の展示エリアでそれぞれ収集したビデオ画面を取得することと、ビデオ画面内で出現される目標ユーザの、目標ユーザのそれぞれ各展示エリアにおける滞在状態、注目状態、および、感情状態の中の少なくとも２つを含む状態を、認識することと、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御することと、を含む。【選択図】図１

Description

＜関連出願の互いに引用＞
本発明は、出願日が２０１９年１２月３１日であり、出願番号が２０１９１１４１６３４１６である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み入れられる。
本発明は、コンピュータ技術の分野に関し、具体的には、状態認識方法、装置、電子デバイス、及び記録媒体に関する。

スーパーマーケットやショッピング店舗、展示館などの展示会所では、通常、ユーザが購入または参観するようにするために、各展示エリアに様々な物品を展示している。ユーザの各展示エリアの物品に対する関心の程度は、多くの店舗または展示会が注目している問題の１つである。しかしながら、店舗または展示会の人物の流れの特徴は、密集した群衆や不規則な状態でのユーザ活動の軌跡にほとんど反映されるため、ユーザの各展示エリアの物品に対する関心の程度を分析することはより困難になる。

これに鑑みて、本発明は、少なくとも状態認識の解決策を提供する。

第１態様によると、本発明は、状態認識方法を提供し、
複数の展示エリアでそれぞれ収集した複数のビデオ画面を取得することと、
前記ビデオ画面内に出現した目標ユーザの、前記目標ユーザのそれぞれ各前記展示エリアにおける滞在状態、注目状態、および、感情状態の中の少なくとも２つを含む状態を、認識することと、
端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御することと、を含む。

上記の方法において、収集したビデオ画面に対して認識を実行することによって、目標ユーザの状態データを得、目標ユーザの少なくとも２つ状態データに基づいて、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御することができる。目標ユーザの各エリアにおける状態が表示された表示インターフェースは、目標ユーザの展示エリアに展示された物体に対する関心の程度を直感的に反映することができ、さらに、より正確なユーザ行為情報を参考として使用して展示エリアに対応する展示計画を作成することができる。

可能な１実施形態において、前記滞在状態は、滞在持続時間および／または滞在回数を含み、前記ビデオ画面内に出現した目標ユーザの状態を認識することは、各前記展示エリアに対して、前記展示エリアに対応する複数のビデオ画面の中の前記目標ユーザが出現された目標ビデオ画面の収集時点を取得することと、前記目標ビデオ画面の収集時点に基づいて、前記目標ユーザが前記展示エリアに毎回入るときの開始時間を確定することと、前記目標ユーザが前記展示エリアに毎回入るときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける滞在回数および／または滞在持続時間を確定することと、を含む。

上記の方法において、目標ユーザが展示エリアに毎回入るときの開始時間に基づいて、目標ユーザの展示エリアにおける滞在回数および／または滞在持続時間を確定して、滞在状態を得ることによって、目標ユーザの展示エリアに展示された物体に対する関心の程度を確定するためのデータサポートを提供した。

可能な１実施形態において、前記目標ユーザが前記展示エリアに毎回入るときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける滞在回数および／または滞在持続時間を確定することは、前記目標ユーザが前記展示エリアに２回連続して入るときの開始時間同士の間の間隔が第１時間を超える場合、前記目標ユーザが前記展示エリアに１回滞在したと確定し、および／または、前記間隔を前記目標ユーザが前記展示エリアに１回滞在した滞在持続時間として確定することを含む。

上記の方式によると、目標ユーザが展示エリアに効果的に滞在していなかった状況を排除することができて、得られた滞在状態がより正確になり、目標ユーザの展示エリアに展示された物体に対する関心の程度をより正確に反映することができる。

可能な１実施形態において、前記注目状態は、注目持続時間および／または注目回数を含み、前記ビデオ画面内に出現した目標ユーザの状態を認識することは、各前記展示エリアに対して、前記展示エリアに対応する複数のビデオ画面の中の前記目標ユーザが出現された目標ビデオ画面の収集時点、および、前記目標ビデオ画面内での前記目標ユーザの顔向きデータを取得することと、前記顔向きデータが、前記目標ユーザが前記展示エリアの展示物体を注目したことを示すことが検出された場合、前記目標ビデオ画面に対応する収集時点を前記目標ユーザが前記展示物体を観覧するときの開始時間として確定することと、確定された前記目標ユーザが前記展示物体を複数回観覧するときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける注目回数および／または注目持続時間を確定することと、を含む。

上記の方法において、目標ユーザが展示エリアに毎回入るときの開始時間に基づいて、目標ユーザの展示エリアにおける注目回数および／または注目持続時間を確定し、注目状態を得ることによって、目標ユーザの展示エリアに展示された物体に対する関心の程度を確定するためのデータサポートを提供した。

可能な１実施形態において、前記確定された前記目標ユーザが前記展示物体を複数回観覧するときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける注目回数および／または注目持続時間を確定することは、前記目標ユーザが前記展示物体を２回連続して観覧するときの開始時間同士の間の間隔が第２時間を超えた場合、前記目標ユーザが前記展示エリアを１回注目したと確定し、および／または、前記間隔を前記ユーザが前記展示エリアを１回注目した注目持続時間として確定することを含む。

上記の方式によると、目標ユーザが展示物体を観覧した時間がより短い状況を排除することによって（目標ユーザが展示物体を観覧した時間がより短いと、当該目標ユーザが展示物体を注目しなかったとして見なす）、得られた注目状態がより正確になり、目標ユーザの展示エリアに展示された物体に対する関心の程度をより正確に反映することができる。

可能な１実施形態において、前記顔向きデータは、顔のピッチ角とヨー角とを含み、前記ピッチ角が第１角度範囲内にあり、かつ、前記ヨー角が第２角度範囲内にある場合、前記顔向きデータが、前記目標ユーザが前記展示エリアの展示物体を注目したことを示すと確定する。

上記の方式によると、目標ユーザが展示エリアの展示物体を注目したか否かを確定することによって、目標ユーザが展示エリア範囲内に出現して滞在したが展示物体を観覧しなかった状況を効果的な排除することができ、認識率を向上させた。

可能な１実施形態において、前記目標ユーザの各前記展示エリア内での感情状態は、前記目標ユーザの前記展示エリアに滞在した総滞在持続時間内で出現されたことが一番多い表情ラベル、前記目標ユーザの前記展示エリアを注目した総注目持続時間内で出現されたことが一番多い表情ラベル、および、前記展示エリアに対応する現在ビデオ画面内での前記目標ユーザの表情ラベルの中の少なくとも１つを含む。

上記の方法において、目標ユーザの対応する展示エリアにおける表情ラベルを確定し、感情状態の中の表情ラベルに基づいてユーザの展示エリアに展示された物体に対する関心の程度を確定することができる。たとえば、表情ラベルがハッピーであると、関心の程度がより高く、表情ラベルが穏やかであると、関心の程度がより低い。感情状態を参照することによって、目標ユーザの展示エリアに展示された物体に対する関心の程度をより正確に確定することができる。

可能な１実施形態において、端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御することは、前記目標ユーザの各前記展示エリアにおける滞在状態および感情状態に基づいて、前記端末デバイスが各前記展示エリアにそれぞれ対応する異なる表示状態を有する表示エリアを表示するように制御すること、または、前記目標ユーザの各前記展示エリアにおける注目状態および感情状態に基づいて、前記端末デバイスが各前記展示エリアにそれぞれ対応する異なる表示状態を有する表示エリアを表示するように制御することを含む。

可能な１実施形態において、各表示エリアは、特定の図形で表示され、前記展示エリアに対応する前記特定の図形の表示サイズは、前記注目持続時間または前記注目回数に比率し、前記展示エリアに対応する前記特定の図形の色は、前記感情状態とマッチングされ、または、前記滞在状態は、前記目標ユーザの前記展示エリアにおける滞在持続時間または滞在回数を示し、前記展示エリアに対応する前記特定の図形の表示サイズは、前記滞在持続時間または滞在回数に比率し、前記展示エリアに対応する前記特定の図形の色は、前記感情状態とマッチングされる。

上記の方法において、対応する表示エリアを示す特定の図形のサイズおよび対応する表示エリアを示す特定の図形の色を確定して、異なるサイズおよび／または異なる色の特定の図形を利用して異なる表示エリアを表示すること実現することによって、端末デバイスが対応する異なる表示状態を有する表示エリアを表示するときに、より直感的で、柔軟性があり、対照的である。

可能な１実施形態において、前記端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御する前に、前記表示インターフェースをトリガするためのトリガ操作を取得することをさらに含む。

可能な１実施形態において、前記表示インターフェースをトリガするためのトリガ操作を取得することは、前記端末デバイスの表示インターフェースが姿態記述内容を含む姿態プロンプトフレームを表示するように制御することと、目標ユーザが展示したユーザ姿態を取得して認識する；前記ユーザ姿態が前記姿態記述内容に記録された姿態を満たす場合、前記表示インターフェースをトリガするためのトリガ操作を取得したと確認することと、を含む。

上記の方法において、目標ユーザが展示したユーザ姿態が姿態記述内容に記録された姿態を満たすことが検出された場合、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態の表示インターフェースを表示するように制御することによって、ユーザとデバイスとの間の対話を増加して、表示の柔軟性を向上させた。

可能な１実施形態において、複数の展示エリアでそれぞれ収集したビデオ画面を取得した後に、各前記展示エリアに対して、前記展示エリアに対応する複数のビデオ画面の中の前記目標ユーザが出現された目標ビデオ画面の収集時点を取得することと、各展示エリアに対応する前記収集時点に基づいて、前記目標ユーザの各前記展示エリアにおける移動軌跡データを確定することと、前記移動軌跡データに基づいて、前記端末デバイスが前記目標ユーザの各前記展示エリアにおける移動軌跡経路を表示するように制御することと、さらに含む。

上記の実施形態において、得られた目標ユーザの移動軌跡経路を参照して、目標ユーザの展示エリアに展示された物体に対する関心の程度をより正確に確定することができ、たとえば、移動軌跡経路中で目標ユーザが展示エリア１に複数回移動した場合、目標ユーザが展示エリア１に展示された物体に対する関心の程度がより高いとして確認することができる。

第２態様によると、本発明は、状態認識装置を提供し、当該装置は、
複数の展示エリアでそれぞれ収集した複数のビデオ画面を取得するためのビデオ画面取得モジュールと、
状態認識モジュールは、前記ビデオ画面内に出現した目標ユーザの、前記目標ユーザのそれぞれ各前記展示エリアにおける滞在状態、注目状態、および、感情状態の中の少なくとも２つを含む状態を、認識することと、
端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御するための制御モジュールと、を備える。

第３態様によると、本発明は、電子デバイスを提供し、当該電子デバイスは、プロセッサとメモリとを備え、前記メモリには、前記プロセッサによって実行可能な機械可読命令が格納されており、前記機械可読命令が前記プロセッサによって実行されると、前記プロセッサが、上記の第１態様または任意の実施形態に記載の状態認識方法を実行するようにする。

第４態様によると、本発明は、コンピュータプログラムが格納されているコンピュータ可読記録媒体を提供し、当該コンピュータプログラムがプロセッサによって運行されると、前記プロセッサが、上記の第１態様または任意の実施形態に記載の状態認識方法を実行するようにする。

以下、本発明の上記の目的、特徴、および、利点をより明確かつ理解可能にするために、好ましい実施例を挙げて、図面を参照しながら、以下のように詳細に説明する。

以下、本発明の実施例の術解決策をより明確に説明するために、実施例に必要な図面を簡単に紹介する。本明細書の図面は、本明細書に組み込まれて本明細書の一部を構成し、これら図面本発明の実施例を示し、本明細書と一緒に、本発明の実施例の技術的解決策を説明するために使用される。以下の図面は、本発明の特定の実施例を示すだけであり、したがって、範囲を限定するもとと見なされるべきではないことを理解すべきである、当業者にとって、創造的な作業なしで、これら図面に基づいての他の関連する図面を得ることができる。
本発明の実施例によって提供される状態認識方法のフローを示す模式図である。 本発明の実施例によって提供される状態認識方法においてビデオ画面内で出現される目標ユーザの状態を認識する方法のフローを示す模式図である。 本発明の実施例によって提供される状態認識方法においてビデオ画面内で出現される目標ユーザの状態を認識する方法のフローを示す模式図である。 本発明の実施例によって提供される状態認識方法において表示インターフェースをトリガするためのトリガ操作を取得する方法のフローを示す模式図である。 本発明の実施例によって提供される姿態プロンプトフレームのインターフェースを示す模式図である。 本発明の実施例によって提供される端末表示インターフェースを制御するインターフェースを示す模式図である。 本発明の実施例によって提供される状態認識装置の構成を示す模式図である。 本発明の実施例によって提供される電子デバイスの構成を示す模式図である。

以下、本発明の実施例の目的、技術的解決策、および、利点をより明確にするために、図面を参照しながら、本発明の実施例を明確かつ完全に記述する。当然ながら、記述される実施例は、本発明のいくつかの実施例に過ぎず、すべての実施例ではない。一般的に、本明細書の図面に記述および示されている本発明の実施例の構成要素は、異なる構成で配置および設計することができる。したがって、図面に提供される本発明の実施例の以下の詳細な記述は、請求された本発明の範囲を限定することを意図するものではなく、単に本発明の選定された実施例を表す。本発明の実施例に基づいて、当業者在創造的な作業なしに得られたすべてのその他の実施例、本発明の保護範囲に含まれるものとする。

本発明の実施例に対する理解を容易にするために、まず、本発明の実施例の状態認識方法を詳細に紹介する。

本発明の実施例によって提供される状態認識方法は、サーバまたは表示機能をサポートする端末デバイスに適用され得る。サーバは、ローカルサーバまたはクラウドサーバであり得、端末デバイスは、スマートフォン、タブレットコンピュータ、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、スマートテレビなどであり得、本発明はこれに対して限定しない。

本発明の実施例がサーバに適用される場合、本発明中のデータは、端末デバイスおよび／または撮影デバイスから取得したされたものであり得、表示インターフェースの表示状態を制御することは、端末デバイスに制御命令を発行することによって、端末デバイスの表示インターフェースの表示状態に対する制御を実現することであり得る。

図１は、本発明の実施例によって提供される状態認識方法のフローを示す模式図であり、ここで、当該方法は、以下の幾つかのステップを含む。

Ｓ１０１において、複数の展示エリアでそれぞれ収集したビデオ画面を取得する。

Ｓ１０２において、ビデオ画面内で出現される目標ユーザの、目標ユーザのそれぞれ各展示エリアにおける滞在状態、注目状態、および、感情状態の中の少なくとも２つを含む状態を、認識する。

Ｓ１０３において、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御する。

上記のステップに基づいて、収集したビデオ画面に対して認識を実行することによって、目標ユーザの状態データを得、目標ユーザの少なくとも２つ状態データに基づいて、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御する。目標ユーザの各エリアにおける状態が表示された表示インターフェースは、出目標ユーザの展示エリアに展示された物体に対する関心の程度を直感的に反映することができ、さらに、より正確なユーザ行為情報を参考として使用して展示エリアに対応する展示計画を作成することができる。

以下、ステップＳ１０１～Ｓ１０３をそれぞれ説明する。

ステップＳ１０１の場合、本発明の実施例において、各展示エリア内に、少なくとも１つの撮影デバイスを配置して、各展示エリアに配置された少なくとも１つの撮影デバイスによって収集されたビデオ画面を取得することができる。ここで、サーバまたは端末デバイスは、撮影デバイスによって収集されたビデオ画面をリアルタイムで取得してもよいし、ローカルに記憶されたビデオデータから撮影デバイスによって収集されたビデオ画面を取得してもよいし、クラウドに記憶されたビデオデータから撮影デバイスによって収集されたビデオ画面を取得してもよい。

ここで、当該展示エリアは、展示場所に設定された展示物体のエリアであり得、たとえば、会場または展示館の展示ホールまたは展示場などでありえ、または、当該展示エリアは、オフラインショッピング店舗で異なる種類の物体を展示する販売エリアなどであり得る。

ステップＳ１０２の場合、本発明の実施例において、収集したビデオ画面に基づいて、画像認識技術を利用してビデオ画面内に出現した目標ユーザの状態を認識することができる。滞在状態とは、目標ユーザが対応する展示エリアに滞在している状態を示し、たとえば、滞在状態は、滞在持続時間、滞在回数などを含む。注目状態とは、目標ユーザが対応する展示エリアを注目している状態を示し、たとえば、注目状態は、注目持続時間、注目回数などを含む。感情状態とは、目標ユーザが対応する展示エリアにいるときの感情の状態を示し、たとえば、感情状態は、ハッピー、穏やかなどの表情ラベルを含む。

当該発明の実施例において、目標ユーザは、各ビデオ画面内に出現されるユーザであってもよいし、ユーザの情報に基づいて確定した目標ユーザであってもよく、たとえば、目標ユーザは、所定の時間帯内で展示場所または実店舗に出入りした頻度がより高いユーザであってもよい。または、目標ユーザは、ＶＩＰユーザなどの、ユーザレベルが要件を満たすユーザであってもよいし、設定された条件に基づいて複数のユーザから１人のユーザを目標ユーザとして選択してもよく、たとえば、設定された条件は、性別が女であり、年齢がｘｘ-ｘｘであり、身長がｘｘｃｍである。ここで、目標ユーザの選択は、実際のアプリケーションシナリオによって決定され得る。

可能な１実施形態において、滞在状態は、滞在持続時間および／または滞在回数を含む。

図２に示したように、ビデオ画面内で出現される目標ユーザの状態を認識することは、ステップＳ２０１～Ｓ２０３を含み得る。

Ｓ２０１において、各展示エリアに対して、展示エリアに対応する複数のビデオ画面の中の目標ユーザが出現された目標ビデオ画面の収集時点を取得する。

Ｓ２０２において、目標ビデオ画面の収集時点に基づいて、目標ユーザが展示エリアに毎回入るときの開始時間を確定する。

Ｓ２０３において、目標ユーザが展示エリアに毎回入るときの開始時間に基づいて、目標ユーザの展示エリアにおける滞在回数および／または滞在持続時間を確定する。

例示的に、収集時点は、目標ユーザが目標ビデオ画面に出現されたときに対応する時間であり、たとえば、目標ユーザが目標ビデオ画面に出現されたときの時間情報が１１:３０:００、１１:３０:２０、および、１１:３２:３０であると、収集時点は、１１:３０:００（すなわち１１時３０分００秒）、１１:３０:２０、および、１１:３２:３０である。具体的に、目標ユーザが目標ビデオ画面に出現された収集時点を、目標ユーザが展示エリアに毎回入るときの開始時間として使用することができ、たとえば、開始時間は、１１:３０:００、１１:３０:２０、および、１１:３２:３０であり得る。

さらに、間隔時間閾値を設定することができ、次の１つの収集時点（以下、目標収集時点と呼ぶ）と隣接する前の１つの収集時点との間の間隔の時間値が設定された間隔時間閾値以下であることが検出されると、目標収集時点を開始時間として使用できないと確定する。目標収集時点と隣接する前の１つの収集時点との間の間隔の時間値が設定された間隔時間閾値よりも大きいことが検出されると、目標収集時点を開始時間として使用することができる。たとえば、設定された間隔時間閾値が３０秒であると、収集時点１１:３０:２０と収集時点１１:３０:００との間の時間の間隔が３０秒未満であると検出され、収集時点１１:３０:２０を目標ユーザが展示エリアに入るときの開始時間として使用できない。収集時点１１:３２:３０と収集時点１１:３０:２０との間の時間の間隔が３０秒よりも大きいことが検出され、収集時点１１:３２:３０を目標ユーザが展示エリアに入るときの開始時間として使用することができる。ここで、間隔時間閾値は、展示エリアの面積、目標ユーザの歩行速度などの情報に基づいて確定することができる。

可能な１実施形態において、目標ユーザの展示エリアにおける滞在回数および／または滞在持続時間を確定するときに、以下の方式を採用することができ、すなわち、目標ユーザが展示エリアに２回連続して入るときの開始時間同士の間の間隔が第１時間を超える場合、目標ユーザが展示エリアに１回滞在したとして確定し、および／または、展示エリアに２回連続して入るときの開始時間同士の間の間隔を目標ユーザが展示エリアに１回滞在した滞在持続時間として確定する。

例示的に、目標ユーザが展示エリアに複数回進入したときの開始時間が１１:３０:００、１１:４５:００、および、１１:５０:００であり、第１時間を１０分に設定する。展示エリアに１番目に入るときの開始時間と展示エリアに２番目に入るときの開始時間との間の間隔が１５分であり、第１時間よりも大きく、目標ユーザが展示エリアに１回滞在したとして確定し、対応する滞在持続時間は、１５分である。展示エリアに２番目に入るときの開始時間と展示エリアに３番目に入るときの開始時間との間の間隔が５分であり、第１時間未満であり、目標ユーザが展示エリアにより長い時間滞在しなかったとして確定する。

上記の実施形態によって、目標ユーザが展示エリアに効果的に滞在していなかった状況を排除することができて、得られた滞在状態がより正確になり、さらに、確定された目標ユーザの展示エリアに展示された物体に対する関心の程度もより正確になる。

可能な１実施形態において、注目状態は、注目持続時間および／または注目回数を含む。

図３に示したように、収集したビデオ画面に基づいて、ビデオ画面内で出現される目標ユーザの状態を認識することは、ステップＳ３０１～Ｓ３０３を含み得る。

Ｓ３０１において、各展示エリアに対して、展示エリアに対応する複数のビデオ画面の中の目標ユーザが出現された目標ビデオ画面の収集時点、および、目標ビデオ画面内の目標ユーザの顔向きデータを取得する。

Ｓ３０２において、顔向きデータが、目標ユーザが展示エリアの展示物体を注目していることを示すことが検出された場合、目標ビデオ画面に対応する収集時点を目標ユーザが展示物体を観覧した開始時間として確定する。

Ｓ３０３において、確定された目標ユーザが展示物体を複数回観覧した開始時間に基づいて、目標ユーザの展示エリアにおける注目回数および／または注目持続時間を確定する。

本発明の実施例において、顔向きデータは、目標ユーザの収集時点での観覧方向を示し、たとえば、顔向きデータが目標ユーザの観覧方向が東であることを示すと、目標ユーザが東方向に位置する展示エリアに展示された物体を観覧していることを表す。

顔向きデータが、目標ユーザが展示エリアの展示物体を注目していないことが検出されると、目標ビデオ画面に対応する収集時点を目標ユーザが展示物体を観覧した開始時間として確定しない。

上記の実施形態によって、目標ユーザが展示エリアに滞在すていない状況を排除し、得られた滞在状態がより正確になり、目標ユーザの展示エリアに展示された物体に対する関心の程度をより正確に反映することができる。

可能な１実施形態において、確定された目標ユーザが展示物体を複数回観覧した開始時間に基づいて、目標ユーザの展示エリアにおける注目回数および／または注目持続時間を確定することは、目標ユーザが展示物体を２回連続して観覧するときの開始時間同士の間の間隔が第２時間を超えた場合、目標ユーザが展示エリアを１回注目したとして確定し、および／または、展示エリアを２回連続して観覧したときの開始時間同士の間の間隔をユーザ注目展示エリア１回の注目持続時間として確定することを含む。

例示的に、目標ユーザが展示物体を複数回観覧したときの開始時間が１２:１０:００、１２:２５:００、および、１２:３０:００であり、第２時間を１０分に設定する。展示物体を１番目に観覧したときの開始時間と展示物体を２番目に観覧したときの開始時間との間の間隔が５分であり、第２時間よりも大きく、目標ユーザが展示エリアを１回注目したとして確定し、対応する注目持続時間は１５分である。展示物体を２番目に観覧したときの開始時間と展示物体を３番目に観覧したときの開始時間との間の間隔が５分であり、第２時間未満であり、目標ユーザが展示エリアを注目しなかったとして確定する。

上記の実施形態によって、展示物体を２回観覧したときの開始時間同士の間の間隔が第２時間未満である状況を排除することができ、すなわち、目標ユーザが展示物体を観覧した時間がより短い状況を排除することによって（目標ユーザが展示物体を観覧した時間がより短いと、当該目標ユーザが展示物体を注目しなかったとして見なす）、得られた注目状態がより正確になり、目標ユーザの展示エリアの展示物体に対する関心の程度をより正確に反映することができる。

可能な１実施形態において、顔向きデータは、顔のピッチ角とヨー角とを含む。顔向きデータが、目標ユーザが展示エリアの展示物体を注目していることを示すことが検出されたことは、ピッチ角が第１角度範囲内にあり、かつ、ヨー角が第２角度範囲内にある場合、顔向きデータが、目標ユーザが展示エリアの展示物体を注目していることを示すことが検出されたとして確定することを含む。

本発明の実施例において、ピッチ角が第１角度範囲内にいないし、および／または、ヨー角が第２角度範囲内にいないと、顔向きデータが、目標ユーザが展示エリアの展示物体を注目していないことを示すとして確定する。

ここで、展示物体の体積、展示エリアの大きさなどに基づいて、第１角度範囲および第２角度範囲を確定することができる。

上記の実施形態によって、目標ユーザが展示エリアの展示物体を注目したか否かを確定することによって、目標ユーザが展示エリア範囲内に出現して滞在したが展示物体を観覧しなかった状況を効果的な排除することができ、目標ユーザの展示エリア内の展示物体に対する関心の認識率を向上させることができる。

可能な１実施形態において、目標ユーザの各展示エリア内での感情状態は、目標ユーザの展示エリアに滞在した総滞在持続時間内で出現されたことが一番多い表情ラベル、目標ユーザの展示エリアを注目した総注目持続時間内で出現されたことが一番多い表情ラベル、および、展示エリアに対応する現在ビデオ画面内の目標ユーザの表情ラベルの中の少なくとも１つを含む。

本発明の実施例において、表情ラベルは、ハッピー、穏やか、心苦しさなどを含み得る。例示的に、トレーニングされたニューラルネットワークモデルを利用して目標ユーザを含む目標ビデオ画面に対して認識を実行することによって、目標ビデオ画面内の目標ユーザに対応する表情ラベルを得ることができる。

例示的に、目標ユーザの対応する展示エリアにおける表情ラベルを確定し、表情ラベルに基づいてユーザの展示エリアの展示物体に対する関心の程度を確定することができ、たとえば、表情ラベルがハッピーであると、関心の程度がより高く、表情ラベルが穏やかであると、関心の程度がより低い。感情状態を参照して、目標ユーザの展示エリア内の展示物体に対する関心の程度をより正確に確定することができる。

ステップＳ１０３の場合、本発明の実施例において、サーバにより、目標ユーザの状態データに基づいて、端末デバイスが、目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御し、または、端末デバイスに設けられたプロセッサにより、端末デバイスが、目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御する。

可能な１実施形態において、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御することは、目標ユーザの各展示エリアにおける滞在状態および感情状態に基づいて、端末デバイスが、各展示エリアにそれぞれ対応する異なる表示状態を有する表示エリアを表示するように制御すること、または、目標ユーザの各展示エリアにおける注目状態および感情状態に基づいて、端末デバイスが各展示エリアにそれぞれ対応する異なる表示状態を有する表示エリアを表示するように制御することを含む。

本発明の実施例において、目標ユーザの各展示エリアにおける滞在状態および感情状態、または、目標ユーザの各展示エリアにおける注目状態および感情状態に基づいて、端末デバイスが各展示エリアにそれぞれ対応する異なる表示状態を有する表示エリアを表示するように制御することができる。

可能な１実施形態において、各表示エリアを特定の図形で表示することができ、注目状態は、目標ユーザが展示エリアを注目した注目持続時間または注目回数を示し、展示エリアに対応する特定の図形の表示サイズは、前記注目持続時間または注目回数に比率し、展示エリアに対応する特定の図形の色は、感情状態にマッチングされ、または、滞在状態は、目標ユーザの展示エリアにおける滞在持続時間または滞在回数を示し、展示エリアに対応する特定の図形の表示サイズは、滞在持続時間または滞在回数に比率し、展示エリアに対応する特定の図形の色は、感情状態にマッチングされる。

本発明の実施例において、目標ユーザの注目持続時間がより長い展示エリアまたは注目回数がより多い展示エリアに対して、対応する特定の図形のサイズをより大きく設定し、目標ユーザが注目持続時間がより短い展示エリアまたは注目回数がより少ない展示エリアに対して、対応する特定の図形のサイズをより小さく設定することができる。同時に、さらに、異なる表情ラベルに基づいて、特定の図形に対して異なる色を設定することができる。たとえば、表情ラベルがハッピーであることに対応する特定の図形を赤色に設定し、表情ラベルが穏やかであることに対応する特定の図形を青色に設定することができる。さらに、ある展示エリアに対して、目標ユーザの注目持続時間または注目回数、および、目標ユーザが当該展示エリアを観覧するときの表情ラベルに基づいて、当該展示エリアに対応する表示エリアを確定することができる。ここで、滞在状態に基づいて展示エリアに対応する特定の図形のサイズを確定することは、上記の過程を参照することができ、ここでは繰り返して説明しない。

本発明の実施例において、各表情ラベルに対して対応する画像を設定することによって、展示エリアに対応する特定の図形に設定された画像が表情ラベルとマッチングされるようにすることができる。たとえば、表情ラベルがハッピーであると、特定の図形に対応する画像は、笑っている顔であり、表情ラベルが心苦しさであると、特定の図形に対応する画像は、泣いている顔である。本発明の実施例において、さらに、定期的に確定された目標ユーザの状態データに基づいて、状態データに対応する特定の図形の表示状態を更新することができ、たとえば、特定の図形のサイズまたは特定の図形の色などを更新する。

なお、本発明の実施例において、特定の図形に関する表示状態は、サイズおよび色などに限定されなく、特定の図形の形状をさらに含んでもよいし、特定の画像に特殊効果などを重ね合わせてもよい。

上記の方法において、対応する表示エリアを示す特定の図形のサイズおよび対応する表示エリアを示す特定の図形の色を確定して、異なるサイズおよび／または異なる色の特定の図形を利用して異なる表示エリアを表示すること実現することによって、端末デバイスが対応する異なる表示状態の表示エリアを表示するときに、より直感的で、柔軟性があり、対照的である。

可能な１実施形態において、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御することは、表示インターフェースをトリガするためのトリガ操作を取得することをさらに含む。

本発明の実施例において、目標ユーザが表示インターフェースをトリガしたトリガ操作を取得した後に、当該トリガ操作に応答して、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御する。

可能な１実施形態において、図４に示したように、表示インターフェースをトリガするためのトリガ操作を取得することは、ステップＳ４０１～Ｓ４０３を含み得る。

Ｓ４０１において、端末デバイスの表示インターフェースが姿態プロンプトフレームを表示するように制御し、姿態プロンプトフレームは姿態記述内容を含む。

Ｓ４０２において、目標ユーザが展示したユーザ姿態を取得して認識する。

Ｓ４０３において、ユーザ姿態が姿態記述内容に記録された姿態を満たす場合、表示インターフェースをトリガするためのトリガ操作を取得したとして確認する。

例示的に、姿態プロンプトフレーム内には、姿態記述内容が含まれており、目標ユーザが姿態プロンプトフレーム内の姿態記述内容に基づいて、姿態展示を完成するようにすることができる。たとえば、姿態記述内容が挙手確認であると、目標ユーザは、姿態プロンプトフレーム内に表示された挙手確認の内容に基づいて、挙手の操作を行うことができる。

本発明の実施例において、目標ユーザが姿態展示を完成した後に、撮影デバイスが、目標ユーザが展示したユーザ姿態を取得して認識するように制御し、ユーザ姿態が姿態記述内容に記録された姿態を満たす場合、表示インターフェースをトリガするためのトリガ操作を取得したとして確認する。ユーザ姿態が姿態記述内容に記録された姿態を満たさない場合、姿態プロンプトフレーム内にプロンプト情報を表示して、目標ユーザがプロンプト情報に基づいて展示するユーザ姿態を変更するようにすることができる。たとえば、プロンプト情報は、「姿態が正しくありません、姿態を変更してください」であり得る。具体的に、更改後のユーザ姿態が姿態記述内容に記録された姿態を満たすと、表示インターフェースをトリガするためのトリガ操作を取得したとして確認することができる。

本発明の実施例において、姿態プロンプトフレームに対して表示時間閾値を設定し、表示時間閾値を超えない時間内で、目標ユーザが展示したユーザ姿態が姿態記述内容に記録された姿態を満たさないと、表示インターフェースをトリガするためのトリガ操作を取得できなかったとして確認し、端末デバイスの表示インターフェースが姿態プロンプトフレームを閉じるように制御することができる。たとえば、表示時間閾値が６０秒であり得、６１秒のときに、目標ユーザが展示したユーザ姿態が姿態記述内容に記録された姿態を満たさないと、表示インターフェースをトリガするためのトリガ操作を取得できなかったとして確認し、端末デバイスの表示インターフェースが姿態プロンプトフレームを閉じるように制御することができる。

本発明の実施例において、姿態記述内容に記録された姿態は、１人のうなずき、頭振り、挙手、拍手などの動作であってもよいし、ハイタッチ、手の握り合いなどの、複数人のインタラクティブアクションの動作であってもよい。および／または、表情に基づいて、表示インターフェースをトリガするトリガ操作を確定することができ、たとえば、端末デバイスの表示インターフェースが表情プロンプトフレームを表示するように制御し、表情プロンプトフレーム内には、表情記述内容が含まれている。撮影デバイスによって収集されたビデオ画面内のユーザ表情を取得して認識し、ユーザ表情が表情記述内容に記録された表情を満たす場合、表示インターフェースをトリガするためのトリガ操作を取得したとして確認することができる。ここで、姿態記述内容に記録される姿態および表情記述内容に記録される表情は、実際の必要に基づいて設定することができる。

本発明の実施例において、さらに、表示ボタンを設定することができ、表示ボタンがトリガされたことが検出されると、表示インターフェースをトリガするためのトリガ操作を取得され、たとえば、表示ボタンがクリックされると、目標ユーザが表示インターフェースをトリガしたトリガ操作が取得される。

または、さらに、音声の方式によって、目標ユーザが表示インターフェースをトリガするトリガ操作が取得されたか否かを確定することができる。たとえば、所定のトリガ音声データが「こんにちは、展示してください」であると、端末デバイスによって「こんにちは、展示してください」というオーディオデータが検出された場合、前記表示インターフェースをトリガするためのトリガ操作を取得したとして確定する。

図５は、姿態プロンプトフレームのインターフェースを示す模式図であり、当該姿態プロンプトフレームは、上から下への順で、タイトル情報、姿態表示エリア、および、姿態記述内容であり、図面から分かるように、当該図面中のタイトル情報は、「挙手確認」であり、姿態記述内容は、「正面をファインダー枠に入って、手を上げて確認してください」である。

本発明の実施例において、収集したビデオ画面内のユーザ姿態が姿態記述内容に記録された姿態を満たすことが検出されると、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態の表示インターフェースを表示するように制御することによって、目標ユーザとデバイスとの間の対話を増加して、表示の柔軟性を向上させた。

可能な１実施形態において、複数の展示エリアでそれぞれ収集したビデオ画面を取得した後に、各展示エリアに対して、展示エリアに対応する複数のビデオ画面の中の目標ユーザが出現された目標ビデオ画面の収集時点を取得することと、各展示エリアに対応する収集時点に基づいて、目標ユーザの各展示エリアにおける移動軌跡データを確定することと、移動軌跡データに基づいて、端末デバイスが目標ユーザの各展示エリアにおける移動軌跡経路を表示するように制御することと、をさらに含む。

本発明の実施例において、各展示エリアに対応する収集時点に基づいて、目標ユーザの各展示エリアにおける移動順序（すなわち移動軌跡データ）を確定することができ、移動順序に基づいて、端末デバイスが目標ユーザの各展示エリアにおける移動軌跡経路を表示するように制御することができる。たとえば、展示エリアが展示エリア１、展示エリア２、および、展示エリア３を含むと、展示エリア１に対応する収集時点が１３：１０：００であり、展示エリア２に対応する収集時点が１４：００：００であり、展示エリア３に対応する収集時点が１３：３０：００であると確定し、これからわかるように、移動軌跡データは、ユーザが、エリア１からエリア３に移動し、エリア３からエリア２に移動したことであり、さらに、移動軌跡データに基づいて、端末デバイスが目標ユーザの各展示エリアにおける移動軌跡経路を表示するように制御することができる。

本発明の実施例において、さらに、得られた目標ユーザの移動軌跡経路を参照して、目標ユーザの展示エリア内の展示物体に対する関心の程度をより正確に確定することができ、たとえば、移動軌跡経路中で目標ユーザが展示エリア１に複数回移動した場合、目標ユーザの展示エリア１の展示物体に対する関心の程度がより高いとして確認する。

図６は、端末表示インターフェースを制御するインターフェースを示す模式図であり、当該図面で、左から右への順に、第１エリアおよび第２エリアであり、第１エリアには目標ユーザの移動軌跡経路が表示されており、第２エリアには、上から下への順に目標ユーザ画像分析エリア、および、状態データ展示エリアである。第１エリア内の破線は、目標ユーザの移動軌跡経路を表す。第２エリアの目標ユーザ画像分析エリア内には、左から右への順に目標ユーザ画像エリア（正方形フレーム内のエリア）、および、目標ユーザ情報展示エリアであり、目標ユーザ情報は、年齢、魅力値、性別、滞在持続時間、表情、注目持続時間などであり得る。目標ユーザ情報は、さらに、目標ユーザの画像に基づいて、設定された少なくとも１つの形容詞からマッチングした目標形容詞であり得、たとえば、「穏やかで寛大」、「ファッショナブルで美しい」などである。目標ユーザ画像エリアに表示する目標ユーザ画像は、目標ビデオ画面内から確定した画像品質が要件を満たす目標ユーザの画像であり得、たとえば、画像品質要件は、顔が全面的に表示されたこと、画像が鮮明であることなどを含み得、目標ユーザ画像は、さらに、目標ユーザがアップロードした画像であり得る。第２エリア内の状態データ展示エリア内には、目標ユーザが注目した少なくとも１つの展示エリアが含まれ、状態データ展示エリア内に表示する表示エリアの数は、実際の必要によって決定することができる。ここで、円で各表示エリアを表示することができ、円の表示サイズが大きいほど、対応する目標ユーザが展示エリアを注目した注目持続時間が長いかまたは注目回数が多い。例示的に、状態データ展示エリア内の表示エリアを、サイズの降順で、順に、第１表示エリア６０１、第２表示エリア６０２、第３表示エリア６０３、第４表示エリア６０４、第５表示エリア６０５に配列することができ、円の輪郭の異なる色は、異なる表情ラベルを示し、すなわち、第１表示エリアと第３表示エリアとの表情ラベルが同一であり、第２表示エリアと第４表示エリアとの表情ラベルが同一である。

例示的に、当該方法を実店舗に適用するシナリオを説明する。たとえば、当該方法を電子製品の実店舗に適用するシナリオにおいて、第１表示エリアは、コンピュータであり、第２展示エリアは、タブレットであり、第３展示エリアは、携帯電話であり、第４展示エリアは、電子製品に対応する電子付属品であり、第５展示エリアは、電子製品に対応する装飾品であると、本発明によって提供される方法によって、電子製品の実店舗に進入した目標ユーザの関心物体およびに対応する関心の程度を分析することができる。具体的に、それぞれ複数の展示エリアに配置されている撮影デバイスによって収集されたビデオ画面を取得し（展示エリアの面積がより大きいと、各展示エリアのところに１つの撮影デバイスを配置することができ、展示エリアがより小さいと、複数の展示エリアのところに１つの撮影デバイスを配置することができる）、ビデオ画面内で出現される目標ユーザの状態を認識し、ここで、状態は、滞在状態および感情状態、または、注目状態および感情状態を含み得る。そして、端末デバイスが目標ユーザのそれぞれ各展示エリアにおける状態を記述するための表示インターフェースを表示するように制御する。このようにして、販売者または展示者が表示された表示インターフェースに基づいて目標ユーザの関心物体および関心の程度を便利に確定することができ、たとえば、関心の程度が一番高い物体（たとえば携帯電話）を目標ユーザの関心物体として確定する。

当業者は、具体的な実施形態の上記の方法において、各ステップの説明順序は、厳密な実行順序を意味して実施過程に対する制限を構成するのではなく、各ステップの具体的な実行順序は、その機能および可能の内部ロジックによって決定されるべきであることを理解できる。

本発明の実施例は、同じ概念に基づいて、状態認識装置をさらに提供し、図７は、本発明の実施例によって提供される状態認識装置の構成を示す模式図である。当該装置は、ビデオ画面取得モジュール７０１と、状態認識モジュール７０２と、制御モジュール７０３と、を備え得る。

ビデオ画面取得モジュール７０１は、複数の展示エリアでそれぞれ収集した複数のビデオ画面を取得する。

状態認識モジュール７０２は、前記ビデオ画面内に出現した目標ユーザの、前記目標ユーザのそれぞれ各前記展示エリアにおける滞在状態、注目状態、および、感情状態の中の少なくとも２つを含む状態を、認識する。

制御モジュール７０３は、端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御する。

可能な１実施形態において、前記滞在状態は、滞在持続時間および／または滞在回数を含み、前記状態認識モジュール７０２は、前記ビデオ画面内に出現した目標ユーザの状態を認識するときに、
各前記展示エリアに対して、前記展示エリアに対応する複数のビデオ画面の中の前記目標ユーザが出現された目標ビデオ画面の収集時点を取得し、前記目標ビデオ画面の収集時点に基づいて、前記目標ユーザが前記展示エリアに毎回入るときの開始時間を確定し、前記目標ユーザが前記展示エリアに毎回入るときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける滞在回数および／または滞在持続時間を確定する。

可能な１実施形態において、前記状態認識モジュール７０２は、前記目標ユーザが前記展示エリアに毎回入るときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける滞在回数および／または滞在持続時間を確定するときに、
前記目標ユーザが前記展示エリアに２回連続して入るときの開始時間同士の間の間隔が第１時間を超える場合、前記目標ユーザが前記展示エリアに１回滞在したと確定し、および／または、前記間隔を前記目標ユーザが前記展示エリアに１回滞在した滞在持続時間として確定する。

可能な１実施形態において、前記注目状態は、注目持続時間および／または注目回数を含み、前記状態認識モジュール７０２は、前記ビデオ画面内に出現した目標ユーザの状態を認識するときに、
各前記展示エリアに対して、前記展示エリアに対応する複数のビデオ画面の中の前記目標ユーザが出現された目標ビデオ画面の収集時点、および、前記目標ビデオ画面内での前記目標ユーザの顔向きデータを取得し、
前記顔向きデータが、前記目標ユーザが前記展示エリアの展示物体を注目したことを示すことが検出された場合、前記目標ビデオ画面に対応する収集時点を前記目標ユーザが前記展示物体を観覧するときの開始時間として確定し、確定された前記目標ユーザが前記展示物体を複数回観覧するときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける注目回数および／または注目持続時間を確定する。

可能な１実施形態において、前記状態認識モジュール７０２は、確定された前記目標ユーザが前記展示物体を複数回観覧するときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける注目回数および／または注目持続時間を確定するときに、
前記目標ユーザが前記展示物体を２回連続して観覧するときの開始時間同士の間の間隔が第２時間を超えた場合、前記目標ユーザが前記展示エリアを１回注目したと確定し、および／または、前記間隔を前記ユーザが前記展示エリアを１回注目した注目持続時間として確定する。

可能な１実施形態において、前記顔向きデータは、顔のピッチ角とヨー角とを含み、前記状態認識モジュール７０２は、
前記ピッチ角が第１角度範囲内にあり、かつ、前記ヨー角が第２角度範囲内にある場合、前記顔向きデータが、前記目標ユーザが前記展示エリアの展示物体を注目したことを示すことが検出されたとして確定する。

可能な１実施形態において、前記目標ユーザの各前記展示エリア内での感情状態は、前記目標ユーザの前記展示エリアに滞在した総滞在持続時間内で出現されたことが一番多い表情ラベル、前記目標ユーザの前記展示エリアを注目した総注目持続時間内で出現されたことが一番多い表情ラベル、前記展示エリアに対応する現在ビデオ画面内での前記目標ユーザの表情ラベルの中の少なくとも１つを含む。

可能な１実施形態において、前記制御モジュール７０３は、端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御するときに、
前記目標ユーザの各前記展示エリアにおける滞在状態および感情状態に基づいて、前記端末デバイスが各前記展示エリアにそれぞれ対応する異なる表示状態を有する表示エリアを表示するように制御し、または、前記目標ユーザの各前記展示エリアにおける注目状態および感情状態に基づいて、前記端末デバイスが各前記展示エリアにそれぞれ対応する異なる表示状態を有する表示エリアを表示するように制御する。

可能な１実施形態において、各表示エリアは、特定の図形で表示され、前記注目状態は、前記目標ユーザが前記展示エリアを注目した注目持続時間または注目回数を示し、前記展示エリアに対応する前記特定の図形の表示サイズは、前記注目持続時間または前記注目回数に比率し、前記展示エリアに対応する前記特定の図形の色は、前記感情状態とマッチングされ、または、前記滞在状態は、前記目標ユーザの前記展示エリアにおける滞在持続時間または滞在回数を示し、前記展示エリアに対応する前記特定の図形の表示サイズは、滞在持続時間または滞在回数に比率し、前記展示エリアに対応する前記特定の図形の色は、前記感情状態とマッチングされる。

可能な１実施形態において、前記装置は、前記表示インターフェースをトリガするためのトリガ操作を取得するためのトリガ操作取得モジュールをさらに備える。

可能な１実施形態において、前記トリガ操作取得モジュールは、前記表示インターフェースをトリガするためのトリガ操作を取得するときに、前記端末デバイスの表示インターフェースが姿態記述内容を含む姿態プロンプトフレームを表示するように制御し、前記目標ユーザが展示したユーザ姿態を取得して認識し、前記ユーザ姿態が前記姿態記述内容に記録された姿態を満たす場合、前記表示インターフェースをトリガするためのトリガ操作を取得したと確認する。

可能な１実施形態において、前記装置は、収集時点確定モジュールと、移動軌跡データ確定モジュールと、経路表示モジュールと、をさらに備える。

収集時点確定モジュールは、各前記展示エリアに対して、前記展示エリアに対応する複数のビデオ画面の中の前記目標ユーザが出現された目標ビデオ画面の収集時点を取得する。

移動軌跡データ確定モジュールは、各展示エリアに対応する前記収集時点に基づいて、前記目標ユーザの各前記展示エリアにおける移動軌跡データを確定する。

経路表示モジュールは、前記移動軌跡データに基づいて、前記端末デバイスが前記目標ユーザの各前記展示エリアにおける移動軌跡経路を表示するように制御する。

いくつかの実施例において、本発明の実施例によって提供される装置に含まれる機能またはテンプレートを使用して、上記の方法の実施例に記述された方法を実行することができ、その具体的な実装は上記の方法の実施例の記述を参照することができる。

本発明の実施例は、同じ技術的概念に基づいて、電子デバイスをさらに提供する。図８は、本発明の実施例によって提供される電子デバイスの構成を示す模式図である。当該電子デバイスは、プロセッサ８０１と、メモリ８０２と、バス８０３と、を備える。ここで、メモリ８０２は、内部メモリ８０２１と外部メモリ８０２２とを含む。ここでの内部メモリ８０２１は、メモリとも呼ばれ、プロセッサ８０１中の計算データおよびハードディスクなどの外部メモリ８０２２と交換するデータを一時的に格納する。プロセッサ８０１は、内部メモリ８０２１を利用して外部メモリ８０２２とデータ交換を実行する。電子デバイス８００が運行されると、プロセッサ８０１とメモリ８０２との間がバス８０３を介して通信することによって、プロセッサ８０１が以下の命令を実行するようにし、当該命令は、複数の展示エリアでそれぞれ収集したビデオ画面を取得することと、前記ビデオ画面内に出現した目標ユーザの、前記目標ユーザのそれぞれ各前記展示エリアにおける滞在状態、注目状態、および、感情状態の中の少なくとも２つを含む状態を、認識することと、端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御することと、を含む。

なお、本発明の実施例は、コンピュータプログラムが格納されているコンピュータ可読記録媒体をさらに提供し、当該コンピュータプログラムがプロセッサによって運行されると、上記の方法の実施例に記載の状態認識方法のステップが実行される。

本発明の実施例によって提供される状態認識方法のコンピュータプログラム製品は、プログラムコードが格納されたコンピュータ可読記録媒体を含み、前記プログラムコードに含まれた命令は、上記の方法の実施例に記載の状態認識方法のステップを実行するために使用される。

当業者は、上記のシステムおよび装置の具体的な作業過程は、方法の実施例での過程を参考することができ、記述の便宜及び簡潔化のために、ここでは繰り返して説明しないことを明確に理解することができる。本発明によって提供される実施例で開示されるシステム、装置、および、方法は、その他の方式によって実現できることを理解すべきである。上記の装置の実施例は、単に模式的なものである。たとえば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実装では、他の分割方法があり得、また、たとえば、複数のユニットまたは構成要素は、組み合わされたり、別のシステムに統合されたり、一部の特徴が忽略されたり実行されなかったりする場合がある。さらに、表示または議論された互いに結合または直接結合または通信接続は、いくつかの通信インターフェース、デバイスまたはユニットの間接結合または通信接続を介することができ、電気的、機械的または他の形態であり得る。

前記の分離部品として説明されたユニットは、物理的に分離されている場合と物理的に分離されていない場合があり、ユニットとして表示される部品は、物理ユニットである場合とそうでない場合がある。1つの場所に配置されることも、複数のネットワークユニットに分散させることもできる。ユニットのいくつかまたはすべては、本開示の実施例の解決策の目的を達成するための実際の必要性に従って選択され得る。

また、本発明の各実施例での各機能ユニットは、１つの処理ユニットに統合され得るか、または各ユニットが物理的に単独で存在し得るか、または２つ以上のユニットが１つのユニットに統合され得る。

前記機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売または使用される場合、１つのプロセッサによって実行可能な不揮発性のコンピュータ可読取記録媒体に格納されることができる。このような理解に基づいて、本発明の実施例は、本質的にソフトウェア製品の形態で具体化されるか、または、先行技術に寄与する部分または実施形態の一部がソフトウェア製品の形態で具体化されることができる。当該コンピュータソフトウェア製品は、記録媒体に格納され、パーソナルコンピュータ、サーバ、またはネットワークデバイスなどのコンピュータデバイスに、以下の様々な実施形態に記載された方法のステップのすべてのまたは一部を実行させるためのいくつかの命令を含む。前述した記録媒体は、Ｕディスク、移動ハードディスク、読み取り専用メモリ（Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクまたは光学ディスクなどの、プログラムコードを格納できる様々な媒体を含む。

上記は本発明のいくつかの実施形態にすぎないし、本発明の保護範囲はそれに限定されない。本開示に基づいて当業者が容易に想像することができる変更または置換は、本開示の範囲内に含まれるものとする。したがって、本開示の範囲は、特許請求の範囲によって決定される。

Claims (15)

1. 状態認識方法であって、
   複数の展示エリアでそれぞれ収集した複数のビデオ画面を取得することと、
   前記ビデオ画面内に出現した目標ユーザの、前記目標ユーザのそれぞれ各前記展示エリアにおける滞在状態、注目状態、および、感情状態の中の少なくとも２つを含む状態を、認識することと、
   端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御することと、を含む
   ことを特徴とする状態認識方法。
2. 前記滞在状態は、滞在持続時間および／または滞在回数を含み、
   前記ビデオ画面内に出現した目標ユーザの状態を認識することは、
   各前記展示エリアに対して、前記展示エリアに対応する複数のビデオ画面の中の前記目標ユーザが出現された目標ビデオ画面の収集時点を取得することと、
   前記目標ビデオ画面の収集時点に基づいて、前記目標ユーザが前記展示エリアに毎回入るときの開始時間を確定することと、
   前記目標ユーザが前記展示エリアに毎回入るときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける滞在回数および／または滞在持続時間を確定することと、を含む
   ことを特徴とする請求項１に記載の状態認識方法。
3. 前記目標ユーザが前記展示エリアに毎回入るときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける滞在回数および／または滞在持続時間を確定することは、
   前記目標ユーザが前記展示エリアに２回連続して入るときの開始時間同士の間の間隔が第１時間を超える場合、前記目標ユーザが前記展示エリアに１回滞在したと確定し、および／または、前記間隔を前記目標ユーザが前記展示エリアに１回滞在した滞在持続時間として確定することを含む
   ことを特徴とする請求項２に記載の状態認識方法。
4. 前記注目状態は、注目持続時間および／または注目回数を含み、
   前記ビデオ画面内に出現した目標ユーザの状態を認識することは、
   各前記展示エリアに対して、前記展示エリアに対応する複数のビデオ画面の中の前記目標ユーザが出現された目標ビデオ画面の収集時点、および、前記目標ビデオ画面内での前記目標ユーザの顔向きデータを取得することと、
   前記顔向きデータが、前記目標ユーザが前記展示エリアの展示物体を注目したことを示すことが検出された場合、前記目標ビデオ画面に対応する収集時点を前記目標ユーザが前記展示物体を観覧するときの開始時間として確定することと、
   確定された前記目標ユーザが前記展示物体を複数回観覧するときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける注目回数および／または注目持続時間を確定することと、を含む
   ことを特徴とする請求項１に記載の状態認識方法。
5. 前記確定された前記目標ユーザが前記展示物体を複数回観覧するときの開始時間に基づいて、前記目標ユーザの前記展示エリアにおける注目回数および／または注目持続時間を確定することは、
   前記目標ユーザが前記展示物体を２回連続して観覧するときの開始時間同士の間の間隔が第２時間を超えた場合、前記目標ユーザが前記展示エリアを１回注目したと確定し、および／または、前記間隔を前記ユーザが前記展示エリアを１回注目した注目持続時間として確定することを含む
   ことを特徴とする請求項４に記載の状態認識方法。
6. 前記顔向きデータは、顔のピッチ角とヨー角とを含み、
   前記ピッチ角が第１角度範囲内にあり、かつ、前記ヨー角が第２角度範囲内にある場合、前記顔向きデータが、前記目標ユーザが前記展示エリアの展示物体を注目したことを示すと確定する
   ことを特徴とする請求項４または５に記載の状態認識方法。
7. 前記目標ユーザの各前記展示エリア内での感情状態は、前記目標ユーザの前記展示エリアに滞在した総滞在持続時間内で出現されたことが一番多い表情ラベル、前記目標ユーザの前記展示エリアを注目した総注目持続時間内で出現されたことが一番多い表情ラベル、および、前記展示エリアに対応する現在ビデオ画面内での前記目標ユーザの表情ラベルの中の少なくとも１つを含む
   ことを特徴とする請求項１乃至６の中のいずれか１項に記載の状態認識方法。
8. 前記端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御することは、
   前記目標ユーザの各前記展示エリアにおける滞在状態および感情状態に基づいて、前記端末デバイスが各前記展示エリアにそれぞれ対応する異なる表示状態を有する表示エリアを表示するように制御すること、または、
   前記目標ユーザの各前記展示エリアにおける注目状態および感情状態に基づいて、前記端末デバイスが各前記展示エリアにそれぞれ対応する異なる表示状態を有する表示エリアを表示するように制御することを含む
   ことを特徴とする請求項１乃至７の中のいずれか１項に記載の状態認識方法。
9. 各前記表示エリアは、特定の図形で表示され、
   前記注目状態は、前記目標ユーザが前記展示エリアを注目した注目持続時間または注目回数を示し、前記展示エリアに対応する前記特定の図形の表示サイズは、前記注目持続時間または前記注目回数に比率し、前記展示エリアに対応する前記特定の図形の色は、前記感情状態とマッチングされ、または、
   前記滞在状態は、前記目標ユーザの前記展示エリアにおける滞在持続時間または滞在回数を示し、前記展示エリアに対応する前記特定の図形の表示サイズは、前記滞在持続時間または滞在回数に比率し、前記展示エリアに対応する前記特定の図形の色は、前記感情状態とマッチングされる
   ことを特徴とする請求項８に記載の状態認識方法。
10. 前記端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御する前に、前記表示インターフェースをトリガするためのトリガ操作を取得することをさらに含む
    ことを特徴とする請求項１に記載の状態認識方法。
11. 前記表示インターフェースをトリガするためのトリガ操作を取得することは、
    前記端末デバイスの表示インターフェースが姿態記述内容を含む姿態プロンプトフレームを表示するように制御することと、
    前記目標ユーザが展示したユーザ姿態を取得して認識することと、
    前記ユーザ姿態が前記姿態記述内容に記録された姿態を満たす場合、前記表示インターフェースをトリガするためのトリガ操作を取得したと確認することと、を含む
    ことを特徴とする請求項１０に記載の状態認識方法。
12. 複数の展示エリアでそれぞれ収集したビデオ画面を取得した後に、各前記展示エリアに対して、前記展示エリアに対応する複数のビデオ画面の中の前記目標ユーザが出現された目標ビデオ画面の収集時点を取得することと、
    各展示エリアに対応する前記収集時点に基づいて、前記目標ユーザの各前記展示エリアにおける移動軌跡データを確定することと、
    前記移動軌跡データに基づいて、前記端末デバイスが前記目標ユーザの各前記展示エリアにおける移動軌跡経路を表示するように制御することと、さらに含む
    ことを特徴とする請求項１に記載の状態認識方法。
13. 状態認識装置であって、
    複数の展示エリアでそれぞれ収集した複数のビデオ画面を取得するためのビデオ画面取得モジュールと、
    前記ビデオ画面内に出現した目標ユーザの、前記目標ユーザのそれぞれ各前記展示エリアにおける滞在状態、注目状態、および、感情状態の中の少なくとも２つを含む状態を、認識するための状態認識モジュールと、
    端末デバイスが前記目標ユーザのそれぞれ各前記展示エリアにおける状態を記述するための表示インターフェースを表示するように、前記端末デバイスを制御するための制御モジュールと、を備える
    ことを特徴とする状態認識装置。
14. 電子デバイスであって、
    プロセッサとメモリとを備え、
    前記メモリには、前記プロセッサによって実行可能な機械可読命令が格納されており、
    前記機械可読命令が前記プロセッサによって実行されると、前記プロセッサが、請求項１乃至１２の中のいずれか１項に記載の状態認識方法を実行するようにする
    ことを特徴とする電子デバイス。
15. コンピュータプログラムが記録されているコンピュータ可読記録媒体であって、
    当該コンピュータプログラムがプロセッサによって運行されると、前記プロセッサが、請求項１乃至１２の中のいずれか１項に記載の状態認識方法を実行するようにする
    ことを特徴とするコンピュータ可読記録媒体。

Images