CN111178294A - 状态识别方法、装置、设备及存储介质 - Google Patents

状态识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111178294A
CN111178294A CN201911416341.6A CN201911416341A CN111178294A CN 111178294 A CN111178294 A CN 111178294A CN 201911416341 A CN201911416341 A CN 201911416341A CN 111178294 A CN111178294 A CN 111178294A
Authority
CN
China
Prior art keywords
target user
display area
display
state
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911416341.6A
Other languages
English (en)
Inventor
孙贺然
李佳宁
程玉文
任小兵
贾存迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911416341.6A priority Critical patent/CN111178294A/zh
Publication of CN111178294A publication Critical patent/CN111178294A/zh
Priority to JP2021529267A priority patent/JP2022519150A/ja
Priority to KR1020217015863A priority patent/KR20210088601A/ko
Priority to PCT/CN2020/105294 priority patent/WO2021135197A1/zh
Priority to TW109129387A priority patent/TWI779343B/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种状态识别方法、装置、电子设备及存储介质，该方法包括：获取分别部署在多个展示区域的摄像设备采集的视频画面；基于采集的视频画面，识别出现在视频画面中的目标用户的状态数据；状态数据包括目标用户分别在各个展示区域的停留状态、关注状态以及情绪状态中的至少两种；基于目标用户的状态数据，控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面。

Description

状态识别方法、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域，具体而言，涉及状态识别方法、装置、设备及存储介质。
背景技术
在诸如超市等购物门店、展览馆等展会场所中，通常会在各个展示区域展示各式各样的物品，以供用户购买或者参观。用户对各展示区域中物品的感兴趣程度，是很多门店或展会所关注的问题之一。然而，由于门店或展会的人流特点多体现在人群密集且用户活动轨迹处于无规律状态，这使得对用户对各展示区域中物品的感兴趣程度的分析更加困难。
发明内容
有鉴于此，本公开至少提供一种状态识别方案。
第一方面，本公开提供了一种状态识别方法，包括：
获取分别部署在多个展示区域的摄像设备采集的视频画面；
基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据；所述状态数据包括所述目标用户分别在各个所述展示区域的停留状态、关注状态以及情绪状态中的至少两种；
基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面。
上述方法中，可以通过对采集的视频画面进行识别，得到目标用户的状态数据，基于目标用户的至少两种状态数据，控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面，显示的目标用户的各个目标区域的状态数据的显示画面，可以直观反映出目标用户对展示区域展示的物品的感兴趣程度，进而能够以较为精准的用户行为信息作为参考来制定展示区域对应的展示方案。
一种可能的实施方式中，所述停留状态包括停留时长和/或停留次数；
所述基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据，包括：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点；
基于所述目标视频画面的采集时间点，确定所述目标用户每次进入所述展示区域的开始时间；
基于所述目标用户每次进入所述展示区域的开始时间，确定所述目标用户在所述展示区域的停留次数和/或停留时长。
上述方法中，通过基于目标用户每次进入展示区域的开始时间，确定目标用户在展示区域的停留次数和/或停留时长，得到状态数据中的停留状态，为确定目标用户对展示区域展示的物品的感兴趣程度提供了数据支持。
一种可能的实施方式中，所述基于所述目标用户每次进入所述展示区域的开始时间，确定所述目标用户在所述展示区域的停留次数和/或停留时长，包括：
在所述目标用户两次进入所述展示区域的开始时间之间间隔的时长超过第一时长的情况下，确定所述目标用户在所述展示区域停留一次，和/或，将所述两次进入所述展示区域的开始时间之间间隔的时长作为所述目标用户在所述展示区域停留一次的停留时长。
通过上述方式可以将目标用户在展示区域未停留的情况筛除，使得得到的停留状态较为准确，以便较准确的反映目标用户对展示区域展示的物品的感兴趣程度。
一种可能的实施方式中，所述关注状态包括关注时长和/或关注次数；
所述基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据，包括：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点，以及，所述目标视频画面中所述目标用户的人脸朝向数据；
在检测到所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体的情况下，将所述目标视频画面对应的采集时间点确定为所述目标用户观看所述展示物体的开始时间；
基于确定的所述目标用户多次观看所述展示物体的开始时间，确定所述目标用户在所述展示区域的关注次数和/或关注时长。
上述方法中，通过基于目标用户每次进入展示区域的开始时间，确定目标用户在展示区域的关注次数和/或关注时长，得到状态数据中的关注状态，为确定目标用户对展示区域展示的物品的感兴趣程度提供了数据支持。
一种可能的实施方式中，所述基于确定的所述目标用户多次观看所述展示物体的开始时间，确定所述目标用户在所述展示区域的关注次数和/或关注时长，包括：
在所述目标用户两次观看所述展示物体的开始时间之间间隔的时长超过第二时长的情况下，确定所述目标用户关注所述展示区域一次，和/或，将所述两次观看所述展示区域的开始时间之间间隔的时长作为所述用户关注所述展示区域一次的关注时长。
通过上述方式将目标用户观看展示物体时长较短(在目标用户观看展示物体时长较短时，认为该目标用户未关注展示物体)的情况筛除，使得得到的关注状态较为准确，以便较准确的反映目标用户对展示区域展示的物品的感兴趣程度。
一种可能的实施方式中，所述人脸朝向数据包括人脸的俯仰角和偏航角；
所述检测到所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体，包括：
在所述俯仰角处于第一角度范围内、且所述偏航角处于第二角度范围内的情况下，确定所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体。
通过上述方式，确定目标用户是否关注展示区域的展示物体，可以有效排除目标用户出现在展示区域范围内停留，但是未观看展示物体的情况，提高识别率。
一种可能的实施方式中，所述目标用户在任一所述展示区域中的情绪状态包括以下状态中的至少一种：所述目标用户停留在所述展示区域的总停留时长内出现最多的表情标签；所述目标用户关注所述展示区域的总关注时长内出现最多的表情标签；所述展示区域对应的当前视频画面中所述目标用户的表情标签。
上述方法中，确定目标用户在对应的展示区域中的表情标签，可以基于状态数据中的表情标签确定用户对展示区域展示的物品的感兴趣程度，例如，若表情标签为开心时，则感兴趣程度较高，若表情标签为平静时，则感兴趣程度较低，进而使得结合情绪状态，确定目标用户对展示区域展示的物品的感兴趣程度较准确。
一种可能的实施方式中，所述基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面，包括：
基于所述目标用户在各个所述展示区域的停留状态和情绪状态，控制所述终端设备显示与各个所述展示区域分别对应的不同显示状态的显示区域；或者，
基于所述目标用户在各个所述展示区域的关注状态和情绪状态，控制所述终端设备显示与各个所述展示区域分别对应的不同显示状态的显示区域。
一种可能的实施方式中，每个显示区域用特定图形表示；
所述关注状态表示所述目标用户关注所述展示区域的关注时长或关注次数，与所述展示区域对应的所述特定图形的显示尺寸呈正比、所述展示区域对应的所述特定图形的颜色与所述表情标签相匹配；或者，
所述停留状态表示所述目标用户在所述展示区域的停留时长或停留次数，与所述展示区域对应的所述特定图形的显示尺寸呈正比、所述展示区域对应的所述特定图形的颜色与所述表情标签相匹配。
上述方法中，通过确定表征对应显示区域的特定图形的尺寸以及表征对应显示区域的特定图像的颜色，实现用不同尺寸和/或不同颜色的特定图形，表示不同的显示区域，使得终端设备显示对应的不同显示状态的显示区域时，较为直观及灵活，具有对比性。
一种可能的实施方式中，在控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面之前，还包括：
获取到用于触发所述显示界面的触发操作。
一种可能的实施方式中，所述获取到用于触发所述显示界面的触发操作，包括：
控制所述终端设备的显示界面显示姿态提示框，所述姿态提示框中包括姿态描述内容；
获取并识别所述摄像设备采集的视频画面中的用户姿态；
在所述用户姿态与所述姿态描述内容所记录的姿态一致的情况下，确认获取到用于触发所述显示界面的触发操作。
上述方法中，可以在检测到采集的视频画面中的用户姿态与姿态描述内容所记录的姿态一致时，控制终端设备显示目标用户分别在各个展示区域的状态数据的显示画面，增加了用户与设备之间的交互，提高了显示的灵活性。
一种可能的实施方式中，在获取分别部署在多个展示区域的摄像设备采集的视频画面之后，还包括：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点；
基于各个展示区域对应的所述采集时间点，确定所述目标用户在各个所述展示区域的移动轨迹数据；
基于所述移动轨迹数据，控制所述终端设备显示所述目标用户在各个所述展示区域的移动轨迹路线。
上述实施方式中，可以结合得到的目标用户的移动轨迹路线，较准确的确定目标用户对展示区域展示的物品的感兴趣程度，例如，若移动轨迹路线中，目标用户多次移动至展示区域一，则确认目标用户对展示区域一展示的物品的感兴趣程度较高。
第二方面，本公开提供了一种状态识别装置，包括：
视频画面获取模块，用于获取分别部署在多个展示区域的摄像设备采集的视频画面；
状态数据识别模块，用于基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据；所述状态数据包括所述目标用户分别在各个所述展示区域的停留状态、关注状态以及情绪状态中的至少两种；
控制模块，用于基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面。
一种可能的实施方式中，所述停留状态包括停留时长和/或停留次数；
所述状态数据识别模块，在基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据时，用于：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点；
基于所述目标视频画面的采集时间点，确定所述目标用户每次进入所述展示区域的开始时间；
基于所述目标用户每次进入所述展示区域的开始时间，确定所述目标用户在所述展示区域的停留次数和/或停留时长。
一种可能的实施方式中，所述状态数据识别模块，在基于所述目标用户每次进入所述展示区域的开始时间，确定所述目标用户在所述展示区域的停留次数和/或停留时长时，用于：
在所述目标用户两次进入所述展示区域的开始时间之间间隔的时长超过第一时长的情况下，确定所述目标用户在所述展示区域停留一次，和/或，将所述两次进入所述展示区域的开始时间之间间隔的时长作为所述目标用户在所述展示区域停留一次的停留时长。
一种可能的实施方式中，所述关注状态包括关注时长和/或关注次数；
所述状态数据识别模块，在基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据时，用于：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点，以及，所述目标视频画面中所述目标用户的人脸朝向数据；
在检测到所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体的情况下，将所述目标视频画面对应的采集时间点确定为所述目标用户观看所述展示物体的开始时间；
基于确定的所述目标用户多次观看所述展示物体的开始时间，确定所述目标用户在所述展示区域的关注次数和/或关注时长。
一种可能的实施方式中，所述状态数据识别模块，在基于确定的所述目标用户多次观看所述展示物体的开始时间，确定所述目标用户在所述展示区域的关注次数和/或关注时长时，用于：
在所述目标用户两次观看所述展示物体的开始时间之间间隔的时长超过第二时长的情况下，确定所述目标用户关注所述展示区域一次，和/或，将所述两次观看所述展示区域的开始时间之间间隔的时长作为所述用户关注所述展示区域一次的关注时长。
一种可能的实施方式中，所述人脸朝向数据包括人脸的俯仰角和偏航角；
所述状态数据识别模块，在检测到所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体时，用于：
在所述俯仰角处于第一角度范围内、且所述偏航角处于第二角度范围内的情况下，确定所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体。
一种可能的实施方式中，所述目标用户在任一所述展示区域中的情绪状态包括以下状态中的至少一种：所述目标用户停留在所述展示区域的总停留时长内出现最多的表情标签；所述目标用户关注所述展示区域的总关注时长内出现最多的表情标签；所述展示区域对应的当前视频画面中所述目标用户的表情标签。
一种可能的实施方式中，所述控制模块，在基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面时，用于：
基于所述目标用户在各个所述展示区域的停留状态和情绪状态，控制所述终端设备显示与各个所述展示区域分别对应的不同显示状态的显示区域；或者，
基于所述目标用户在各个所述展示区域的关注状态和情绪状态，控制所述终端设备显示与各个所述展示区域分别对应的不同显示状态的显示区域。
一种可能的实施方式中，每个显示区域用特定图形表示；
所述关注状态表示所述目标用户关注所述展示区域的关注时长或关注次数，与所述展示区域对应的所述特定图形的显示尺寸呈正比、所述展示区域对应的所述特定图形的颜色与所述表情标签相匹配；或者，
所述停留状态表示所述目标用户在所述展示区域的停留时长或停留次数，与所述展示区域对应的所述特定图形的显示尺寸呈正比、所述展示区域对应的所述特定图形的颜色与所述表情标签相匹配。
一种可能的实施方式中，所述装置，还包括：
触发操作获取模块，用于获取到用于触发所述显示界面的触发操作。
一种可能的实施方式中，所述触发操作获取模块，在获取到用于触发所述显示界面的触发操作时，包括：
控制所述终端设备的显示界面显示姿态提示框，所述姿态提示框中包括姿态描述内容；
获取并识别所述摄像设备采集的视频画面中的用户姿态；
在所述用户姿态与所述姿态描述内容所记录的姿态一致的情况下，确认获取到用于触发所述显示界面的触发操作。
一种可能的实施方式中，所述装置，还包括：
采集时间点确定模块，用于针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点；
移动轨迹数据确定模块，用于基于各个展示区域对应的所述采集时间点，确定所述目标用户在各个所述展示区域的移动轨迹数据；
路线显示模块，用于基于所述移动轨迹数据，控制所述终端设备显示所述目标用户在各个所述展示区域的移动轨迹路线。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的状态识别方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的状态识别方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种状态识别方法的流程示意图；
图2示出了本公开实施例所提供的一种状态识别方法中，识别出现在视频画面中的目标用户的状态数据的方法的流程示意图；
图3示出了本公开实施例所提供的一种状态识别方法中，识别出现在视频画面中的目标用户的状态数据的方法的流程示意图；
图4示出了本公开实施例所提供的一种状态识别方法中，获取到用于触发显示界面的触发操作的方法的流程示意图；
图5示出了本公开实施例所提供的一种姿态提示框的界面示意图；
图6示出了本公开实施例所提供的一种控制终端显示界面的界面示意图；
图7示出了本公开实施例所提供的一种状态识别装置的架构示意图；
图8示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种状态识别方法进行详细介绍。
本公开实施例提供的状态识别方法可应用于服务器，或者应用于支持显示功能的终端设备。服务器可以是本地服务器也可以是云端服务器等，终端设备可以是智能手机、平板电脑、个人数字处理(Personal Digital Assistant，PDA)、智能电视等，本公开对此并不限定。
在本公开实施例应用于服务器时，本公开中的数据可以是从终端设备和/或摄像设备中获取的，控制显示画面的显示状态，可以是通过向终端设备下发控制指令，来实现对终端设备的显示画面的显示状态的控制。
参见图1所示，为本公开实施例所提供的一种状态识别方法的流程示意图，其中，该方法包括以下几个步骤：
S101，获取分别部署在多个展示区域的摄像设备采集的视频画面；
S102，基于采集的视频画面，识别出现在视频画面中的目标用户的状态数据；状态数据包括目标用户分别在各个展示区域的停留状态、关注状态以及情绪状态中的至少两种；
S103，基于目标用户的状态数据，控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面。
基于上述步骤，通过对采集的视频画面进行识别，得到目标用户的状态数据，基于目标用户的至少两种状态数据，控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面，显示的目标用户的各个目标区域的状态数据的显示画面，可以直观反映出目标用户对展示区域展示的物品的感兴趣程度，进而能够以较为精准的用户行为信息作为参考来制定展示区域对应的展示方案。
以下对S101～S103分别进行说明。
针对S101：
本公开实施例中，可以在每个展示区域中部署至少一个摄像设备，获取每个展示区域部署的至少一个摄像设备采集的视频画面。其中，服务器或终端设备可以实时获取摄像设备采集的视频画面，也可以从本地存储的视频数据中获取摄像设备采集的视频画面，还可以从云端存储的视频数据中获取摄像设备采集的视频画面。
其中，该展示区域可以为展示场所中设置的展示物品的区域，比如会场或展览馆的展厅或展区等，或者，该展示区域还可以为线下购物门店中展示不同种类物品的售卖区域等。
针对S102：
本公开实施例中，基于采集的视频画面，可以通过图像识别技术识别出现在视频画面中的目标用户的状态数据。状态数据中的停留状态是指目标用户停留在对应的展示区域的状态，比如停留状态包括停留时长、停留次数等；关注状态是指目标用户关注对应的展示区域的状态，比如关注状态包括关注市场、关注次数等；情绪状态是指目标用户在对应的展示区域时的情绪的状态，比如情绪状态包括开心、平静等。
本公开实施例中，目标用户可以为任一出现在视频画面中的用户；也可以为根据用户的信息确定的目标用户，例如，目标用户可以为预设时间段内出入展示场所或实体店的频次较高的用户，或者，目标用户还可以为用户等级满足要求的用户，比如VIP用户等；还可以为根据设置的条件从多个用户中选择一用户作为目标用户，例如，设置的条件可以为性别：女，年龄：xx-xx；身高：xx厘米等。其中，目标用户的选择可以根据实际应用场景进行确定，本公开实施例对此不进行具体限定。
一种可能的实施方式中，停留状态包括停留时长和/或停留次数；
参见图2所示，基于采集的视频画面，识别出现在视频画面中的目标用户的状态数据，包括：
S201，针对任一展示区域，识别展示区域对应的多个视频画面中出现目标用户的目标视频画面的采集时间点；
S202，基于目标视频画面的采集时间点，确定目标用户每次进入展示区域的开始时间；
S203，基于目标用户每次进入展示区域的开始时间，确定目标用户在展示区域的停留次数和/或停留时长。
示例性的，采集时间点为目标用户出现在目标视频画面时对应的时间，例如，目标用户出现在目标视频画面时的时间信息为11:30:00、11:30:20、11:32:30，则采集时间点可以为11:30:00(11点30分00秒)、11:30:20、11:32:30。具体的，可以将目标用户出现在目标视频画面的采集时间点，作为目标用户每次进入展示区域的开始时间，比如开始时间可以为11:30:00、11:30:20、11:32:30。
还可以设置间隔时间阈值，并在检测到下一个采集时间点(目标采集时间点)与相邻的前一个采集时间点之间间隔的时间值小于等于设置的间隔时间阈值时，则确定目标采集时间点不能作为开始时间；在检测到目标采集时间点与相邻的前一个采集时间点之间间隔的时间值大于设置的间隔时间阈值时，则目标采集时间点能够作为开始时间。例如，设置的间隔时间阈值为30秒，则检测到采集时间点11:30:20与采集时间点11:30:00之间的时间间隔小于30秒，则将采集时间点11:30:20不能作为目标用户每次进入展示区域的开始时间；检测到采集时间点11:32:30与采集时间点11:30:20之间的时间间隔大于30秒，则将采集时间点11:32:30能够作为目标用户每次进入展示区域的开始时间。其中，间隔时间阈值可以基于展示区域的面积、目标用户的行走速度等信息进行确定。
在一种可能的实施方式中，在确定目标用户在展示区域的停留次数和/或停留时长时，可以采用如下方式：在目标用户两次进入展示区域的开始时间之间间隔的时长超过第一时长的情况下，确定目标用户在展示区域停留一次，和/或，将两次进入展示区域的开始时间之间间隔的时长作为目标用户在展示区域停留一次的停留时长。
示例性的，若目标用户多次进入展示区域的开始时间为：11:30:00、11:45:00、11:50:00，第一时长为10分钟，则第一次进入展示区域的开始时间与第二次进入展示区域的开始时间之间间隔的时长为15分钟，大于第一时长，则确定目标用户在展示区域停留一次，对应的停留时长为15分钟；第二次进入展示区域的开始时间与第三次进入展示区域的开始时间之间间隔的时长为5分钟，小于第一时长，则确定目标用户在展示区域未停留。
通过上述实施方式可以将目标用户在展示区域未停留的情况筛除，使得得到的停留状态较为准确，进而确定的目标用户对展示区域展示的物品的感兴趣程度也较为准确。
一种可能的实施方式中，关注状态包括关注时长和/或关注次数；
参见图3所示，基于采集的视频画面，识别出现在视频画面中的目标用户的状态数据，包括：
S301，针对任一展示区域，识别展示区域对应的多个视频画面中出现目标用户的目标视频画面的采集时间点，以及，目标视频画面中目标用户的人脸朝向数据；
S302，在检测到人脸朝向数据指示目标用户关注展示区域的展示物体的情况下，将目标视频画面对应的采集时间点确定为目标用户观看展示物体的开始时间；
S303，基于确定的目标用户多次观看展示物体的开始时间，确定目标用户在展示区域的关注次数和/或关注时长。
本公开实施例中，人脸朝向数据为表征目标用户在采集时间点的观看方向，例如，若人脸朝向数据表征目标用户的观看方向为东，则表示目标用户在观看位于东方向的展示区域展示的物体。
若在检测到人脸朝向数据指示目标用户未关注展示区域的展示物体，则不将目标视频画面对应的采集时间点确定为目标用户观看展示物体的开始时间。
通过上述实施方式可以将目标用户在展示区域未停留的情况筛除，使得得到的停留状态较为准确，以便较准确的反映目标用户对展示区域展示的物品的感兴趣程度。
一种可能的实施方式中，基于确定的目标用户多次观看展示物体的开始时间，确定目标用户在展示区域的关注次数和/或关注时长，包括：
在目标用户两次观看展示物体的开始时间之间间隔的时长超过第二时长的情况下，确定目标用户关注展示区域一次，和/或，将两次观看展示区域的开始时间之间间隔的时长作为用户关注展示区域一次的关注时长。
示例性的，若目标用户多次观看展示物体的开始时间为：12:10:00、12:25:00、12:30:00，第二时长为10分钟，则第一次观看展示物体的开始时间与第二次观看展示物体的开始时间之间间隔的时长为15分钟，大于第二时长，则确定目标用户关注展示区域一次，对应的关注时长为15分钟；第二次观看展示物体的开始时间与第三次观看展示物体的开始时间之间间隔的时长为5分钟，小于第一时长，则确定目标用户未关注展示区域。
基于以上实施方式，可以将两次观看展示物体的开始时间之间间隔的时长小于第二时长的情况筛除，即将目标用户观看展示物体时长较短(在目标用户观看展示物体时长较短时，认为该目标用户未关注展示物体)的情况筛除，使得得到的关注状态较为准确，以便较准确的反映目标用户对展示区域展示的物品的感兴趣程度。
一种可能的实施方式中，人脸朝向数据包括人脸的俯仰角和偏航角；
检测到人脸朝向数据指示目标用户关注展示区域的展示物体，包括：
在俯仰角处于第一角度范围内、且偏航角处于第二角度范围内的情况下，确定人脸朝向数据指示目标用户关注展示区域的展示物体。
本公开实施例中，在俯仰角不处于第一角度范围内，和/或，偏航角不处于第二角度范围内的情况下，则确定人脸朝向数据指示目标用户未关注展示区域的展示物体。
其中，可以根据展示物体的体积、展示区域的大小等确定第一角度范围与第二角度范围。
通过上述实施方式来确定目标用户是否关注展示区域的展示物体，可以有效排除目标用户出现在展示区域范围内停留，但是未观看展示物体的情况，提高识别率。
一种可能的实施方式中，目标用户在任一展示区域中的情绪状态包括以下状态中的至少一种：目标用户停留在展示区域的总停留时长内出现最多的表情标签；目标用户关注展示区域的总关注时长内出现最多的表情标签；展示区域对应的当前视频画面中目标用户的表情标签。
本公开实施例中，表情标签可以包括开心、平静、难过等。示例性的，可以通过训练好的神经网络模型对包括目标用户的目标视频画面进行识别，得到目标视频画面中目标用户对应的表情标签。
示例性的，确定目标用户在对应的展示区域中的表情标签，可以基于状态数据中的表情标签确定用户对展示区域展示的物品的感兴趣程度，例如，若表情标签为开心时，则感兴趣程度较高，若表情标签为平静时，则感兴趣程度较低，进而使得结合情绪状态，确定目标用户对展示区域展示的物品的感兴趣程度较准确。
针对S103：
本公开实施例中，可以为服务器基于目标用户的状态数据，控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面；或者，也可以为终端设备上设置的处理器控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面。
一种可能的实施方式中，基于目标用户的状态数据，控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面，包括：
基于目标用户在各个展示区域的停留状态和情绪状态，控制终端设备显示与各个展示区域分别对应的不同显示状态的显示区域；或者，
基于目标用户在各个展示区域的关注状态和情绪状态，控制终端设备显示与各个展示区域分别对应的不同显示状态的显示区域。
本公开实施例中，可以基于目标用户在各个展示区域的停留状态和情绪状态，或者，基于目标用户在各个展示区域的关注状态和情绪状态，控制终端设备显示与各个展示区域分别对应的不同显示状态的显示区域。
一种可能的实施方式中，每个显示区域可以用特定图形表示；
关注状态表示目标用户关注展示区域的关注时长或关注次数，与展示区域对应的特定图形的显示尺寸呈正比、展示区域对应的特定图形的颜色与表情标签相匹配；或者，
停留状态表示目标用户在展示区域的停留时长或停留次数，与展示区域对应的特定图形的显示尺寸呈正比、展示区域对应的特定图形的颜色与表情标签相匹配。
本公开实施例中，可以将目标用户关注时长较长或关注次数较多的展示区域，对应的特定图形的尺寸设置的较大；将目标用户关注时长较短或关注次数较少的展示区域，对应的特定图形的尺寸设置的较小；同时，还可以为基于不同的表情标签，为特定图形设置不同的颜色，比如将表情标签为开心对应的特定图形设置为红色，将表情标签为平静对应的特定图形设置为蓝色等。进一步的，针对某一展示区域，根据目标用户的关注时长或关注次数，以及目标用户观看该展示区域的表情标签，确定了该展示区域对应的显示区域。其中，基于停留状态，确定展示区域对应的特定图形的尺寸可参照上述过程，在此不再赘述。
本公开实施例中，还可以为每个表情标签设置对应的图像，使得展示区域对应的特定图形上设置的图像与表情标签相匹配。例如，若表情标签为开心，则特定图形上对应的图像可以为笑脸，若表情标签为悲伤，则特定图形上对应的图像可以为哭泣脸等。本公开实施例中，还可以基于周期性确定出的目标用户的状态数据，来更新与状态数据对应的特定图形的显示状态，比如，更新特定图形的尺寸，或者更新特定图形的颜色等。
此外，本公开实施例中关于特定图形的显示状态并不限定于尺寸和颜色等，还可以包括特定图形的形状，在特定图像上叠加特效等。
上述方法中，通过确定表征对应显示区域的特定图形的尺寸以及表征对应显示区域的特定图像的颜色，实现用不同尺寸和/或不同颜色的特定图形，表示不同的显示区域，使得终端设备显示对应的不同显示状态的显示区域时，较为直观及灵活，具有对比性。
一种可能的实施方式中，在控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面之前，还包括：
获取到用于触发显示界面的触发操作。
本公开实施例中，在获取到目标用户触发显示界面的触发操作后，响应该触发操作，控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面。
一种可能的实施方式中，参见图4所示，获取到用于触发显示界面的触发操作，包括：
S401，控制终端设备的显示界面显示姿态提示框，姿态提示框中包括姿态描述内容；
S402，获取并识别摄像设备采集的视频画面中的用户姿态；
S403，在用户姿态与姿态描述内容所记录的姿态一致的情况下，确认获取到用于触发显示界面的触发操作。
示例性的，姿态提示框中包括姿态描述内容，使得目标用户可以基于姿态提示框中的姿态描述内容，完成姿态展示，例如姿态描述内容可以为举手确认等，则目标用户可以按照姿态提示框中显示的举手确认的内容，完成举手操作。
本公开实施例中，在目标用户完成姿态展示后，控制摄像设备获取并识别目标用户展示的用户姿态，在用户姿态与姿态描述内容所记录的姿态一致的情况下，确认获取到用于触发显示界面的触发操作。在用户姿态与姿态描述内容所记录的姿态不一致的情况下，可以在姿态提示框中显示提示信息，使得目标用户基于提示信息更改展示的用户姿态。例如，提示信息可以为“姿态不正确，请更改姿态”。具体的，若更改后的用户姿态与姿态描述内容所记录的姿态一致，则确认获取到用于触发显示界面的触发操作。
本公开实施例中，还可以为姿态提示框设置显示时间阈值，若在超过显示时间阈值的时间内，目标用户展示的用户姿态与姿态描述内容所记录的姿态依然不一致，则确认未获取到用于触发显示界面的触发操作，并控制终端设备的显示界面关闭姿态提示框。例如，显示时间阈值可以为60秒，若在第61秒时，目标用户展示的用户姿态与姿态描述内容所记录的姿态依然不一致时，则确认未获取到用于触发显示界面的触发操作，并控制终端设备的显示界面关闭姿态提示框。
本公开实施例中，姿态描述内容所记录的姿态可以为单人的点头、摇头、举手、鼓掌等动作；还可以为多人的交互动作，例如，击掌、手拉手等动作。和/或，还可以基于表情，确定触发显示界面的触发操作，比如，控制终端设备的显示界面显示表情提示框，表情提示框中包括表情描述内容；获取并识别摄像设备采集的视频画面中的用户表情；在用户表情与表情描述内容所记录的表情一致的情况下，确认获取到用于触发显示界面的触发操作。其中，姿态描述内容所记录的姿态和表情描述内容所记录的表情，可以根据实际需要进行设置。
本公开实施例中，还可以设置显示按钮，在检测到显示按钮被触发时，则获取到用于触发显示界面的触发操作，例如，在显示按钮被点击时，则获取到目标用户触发显示界面的触发操作。
或者，还可以通过语音的方式，确定是否获取到目标用户触发显示界面的触发操作。例如，若预设的触发语音数据可以为“你好，请展示”，则在终端设备检测到“你好，请展示”的音频数据时，确定获取到用于触发所述显示界面的触发操作。
如图5所示，图中示出的是一种姿态提示框的界面示意图，该姿态提示框从上至下依次为标题信息、姿态显示区域、姿态描述内容，由图可知，该图中的标题信息为：举手确认，姿态描述内容为：请您正面位于取景框内，举手确认。
本公开实施例中，可以在检测到采集的视频画面中的用户姿态与姿态描述内容所记录的姿态一致时，控制终端设备显示目标用户分别在各个展示区域的状态数据的显示画面，增加了目标用户与设备之间的交互，提高了显示的灵活性。
一种可能的实施方式中，在获取分别部署在多个展示区域的摄像设备采集的视频画面之后，还包括：
针对任一展示区域，识别展示区域对应的多个视频画面中出现目标用户的目标视频画面的采集时间点；
基于各个展示区域对应的采集时间点，确定目标用户在各个展示区域的移动轨迹数据；
基于移动轨迹数据，控制终端设备显示目标用户在各个展示区域的移动轨迹路线。
本公开实施例中，针对基于各个展示区域对应的采集时间点，可以确定目标用户在各个展示区域的移动顺序(即移动轨迹数据)；基于移动顺序，控制终端设备显示目标用户在各个展示区域的移动轨迹路线。例如，若展示区域包括展示区域一、展示区域二、展示区域三，确定展示区域一对应的采集时间点为13：10：00，展示区域二对应的采集时间点为14：00：00，展示区域三对应的采集时间点为13：30：00，可知，移动轨迹数据为用户从区域一移动至区域三，从区域三移动至区域二，进而可基于移动轨迹数据，控制终端设备显示目标用户在各个展示区域的移动轨迹路线。
本公开实施例中，还可以结合得到的目标用户的移动轨迹路线，较准确的确定目标用户对展示区域展示的物品的感兴趣程度，例如，若移动轨迹路线中，目标用户多次移动至展示区域一，则确认目标用户对展示区域一展示的物品的感兴趣程度较高。
参见图6所示，图中示出的是一种控制终端显示界面的界面示意图，该图中从左至右依次为第一区域以及第二区域，第一区域中显示有目标用户的移动轨迹路线，第二区域中从上至下依次为目标用户画像分析区域、状态数据展示区域。第一区域中虚线代表目标用户的移动轨迹路线。在第二区域的目标用户画像分析区域中，从左至右依次为目标用户图像区域(正方形框内的区域)、目标用户信息展示区域，目标用户信息可以为年龄、魅力值、性别、停留时长、表情、关注时长等，目标用户信息还可以为基于目标用户的图像，从设置的至少一个形容词中，匹配到的目标形容词，比如，温柔大方、时尚美丽等。目标用户图像区域显示的目标用户图像可以为从目标视频画面中确定的图像质量符合要求的目标用户的图像，比如，图像质量符合要求可以包括人脸显示全面、图像清晰等，目标用户图像也可以为目标用户上传的图像。第二区域中的状态数据展示区域中包括目标用户关注的至少一个展示区域，状态数据展示区域中显示的显示区域的数量可以根据实际需要进行确定。其中，可以用圆形表示每个显示区域，圆形的显示尺寸越大，则对应的目标用户关注展示区域的关注时长越长或关注次数越多。示例性的，可以将状态数据展示区域中的显示区域按照尺寸从大到小排列依次为：第一显示区域601、第二显示区域602、第三显示区域603、第四显示区域604、第五显示区域605；圆形的轮廓的颜色不同，则代表表情标签不同，即第一显示区域与第三显示区域的表情标签相同，第二显示区域与第四显示区域的表情标签相同。
示例性的，以该方法应用于实体店的场景中进行说明，比如若该方法应用于电子产品实体店场景中，第一显示区域可以电脑，第二展示区域可以为平板，第三展示区域可以为手机，第四展示区域可以为电子产品对应的电子配件，第五展示区域可以为电子产品对应的装饰品，则通过本公开提供的方法，可以对进入电子产品实体店内的目标用户的感兴趣物品以及对应的感兴趣程度进行分析。具体的，获取分别部署在多个展示区域的摄像设备采集的视频画面(若展示区域的面积较大，可以在每个展示区域处部署一摄像设备，若展示区域较小，可以在多个展示区域处部署一个摄像设备)；基于采集的视频画面，识别出现在视频画面中的目标用户的状态数据；状态数据可以为停留状态和情绪状态，或者可以为关注状态和情绪状态；基于目标用户的状态数据，控制终端设备显示用于描述目标用户分别在各个展示区域的状态数据的显示画面。由此可以便于商家或者展示方通过显示的显示画面确定目标用户的感兴趣物品以及感兴趣程度，例如可以将感兴趣程度最高的物品(比如手机)，确定为目标用户的感兴趣物品。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种状态识别装置，参见图7所示，为本公开实施例所提供的一种状态识别装置的架构示意图，包括视频画面获取模块701、状态数据识别模块702、控制模块703，具体的：
视频画面获取模块701，用于获取分别部署在多个展示区域的摄像设备采集的视频画面；
状态数据识别模块702，用于基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据；所述状态数据包括所述目标用户分别在各个所述展示区域的停留状态、关注状态以及情绪状态中的至少两种；
控制模块703，用于基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面。
一种可能的实施方式中，所述停留状态包括停留时长和/或停留次数；
所述状态数据识别模块702，在基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据时，用于：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点；
基于所述目标视频画面的采集时间点，确定所述目标用户每次进入所述展示区域的开始时间；
基于所述目标用户每次进入所述展示区域的开始时间，确定所述目标用户在所述展示区域的停留次数和/或停留时长。
一种可能的实施方式中，所述状态数据识别模块702，在基于所述目标用户每次进入所述展示区域的开始时间，确定所述目标用户在所述展示区域的停留次数和/或停留时长时，用于：
在所述目标用户两次进入所述展示区域的开始时间之间间隔的时长超过第一时长的情况下，确定所述目标用户在所述展示区域停留一次，和/或，将所述两次进入所述展示区域的开始时间之间间隔的时长作为所述目标用户在所述展示区域停留一次的停留时长。
一种可能的实施方式中，所述关注状态包括关注时长和/或关注次数；
所述状态数据识别模块702，在基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据时，用于：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点，以及，所述目标视频画面中所述目标用户的人脸朝向数据；
在检测到所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体的情况下，将所述目标视频画面对应的采集时间点确定为所述目标用户观看所述展示物体的开始时间；
基于确定的所述目标用户多次观看所述展示物体的开始时间，确定所述目标用户在所述展示区域的关注次数和/或关注时长。
一种可能的实施方式中，所述状态数据识别模块702，在基于确定的所述目标用户多次观看所述展示物体的开始时间，确定所述目标用户在所述展示区域的关注次数和/或关注时长时，用于：
在所述目标用户两次观看所述展示物体的开始时间之间间隔的时长超过第二时长的情况下，确定所述目标用户关注所述展示区域一次，和/或，将所述两次观看所述展示区域的开始时间之间间隔的时长作为所述用户关注所述展示区域一次的关注时长。
一种可能的实施方式中，所述人脸朝向数据包括人脸的俯仰角和偏航角；
所述状态数据识别模块702，在检测到所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体时，用于：
在所述俯仰角处于第一角度范围内、且所述偏航角处于第二角度范围内的情况下，确定所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体。
一种可能的实施方式中，所述目标用户在任一所述展示区域中的情绪状态包括以下状态中的至少一种：所述目标用户停留在所述展示区域的总停留时长内出现最多的表情标签；所述目标用户关注所述展示区域的总关注时长内出现最多的表情标签；所述展示区域对应的当前视频画面中所述目标用户的表情标签。
一种可能的实施方式中，所述控制模块703，在基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面时，用于：
基于所述目标用户在各个所述展示区域的停留状态和情绪状态，控制所述终端设备显示与各个所述展示区域分别对应的不同显示状态的显示区域；或者，
基于所述目标用户在各个所述展示区域的关注状态和情绪状态，控制所述终端设备显示与各个所述展示区域分别对应的不同显示状态的显示区域。
一种可能的实施方式中，每个显示区域用特定图形表示；
所述关注状态表示所述目标用户关注所述展示区域的关注时长或关注次数，与所述展示区域对应的所述特定图形的显示尺寸呈正比、所述展示区域对应的所述特定图形的颜色与所述表情标签相匹配；或者，
所述停留状态表示所述目标用户在所述展示区域的停留时长或停留次数，与所述展示区域对应的所述特定图形的显示尺寸呈正比、所述展示区域对应的所述特定图形的颜色与所述表情标签相匹配。
一种可能的实施方式中，所述装置，还包括：
触发操作获取模块，用于获取到用于触发所述显示界面的触发操作。
一种可能的实施方式中，所述触发操作获取模块，在获取到用于触发所述显示界面的触发操作时，包括：
控制所述终端设备的显示界面显示姿态提示框，所述姿态提示框中包括姿态描述内容；
获取并识别所述摄像设备采集的视频画面中的用户姿态；
在所述用户姿态与所述姿态描述内容所记录的姿态一致的情况下，确认获取到用于触发所述显示界面的触发操作。
一种可能的实施方式中，所述装置，还包括：
采集时间点确定模块，用于针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点；
移动轨迹数据确定模块，用于基于各个展示区域对应的所述采集时间点，确定所述目标用户在各个所述展示区域的移动轨迹数据；
路线显示模块，用于基于所述移动轨迹数据，控制所述终端设备显示所述目标用户在各个所述展示区域的移动轨迹路线。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图8所示，为本公开实施例提供的电子设备的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801在执行以下指令：
获取分别部署在多个展示区域的摄像设备采集的视频画面；
基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据；所述状态数据包括所述目标用户分别在各个所述展示区域的停留状态、关注状态以及情绪状态中的至少两种；
基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的状态识别方法的步骤。
本公开实施例所提供的状态识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的状态识别方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种状态识别方法，其特征在于，包括：
获取分别部署在多个展示区域的摄像设备采集的视频画面；
基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据；所述状态数据包括所述目标用户分别在各个所述展示区域的停留状态、关注状态以及情绪状态中的至少两种；
基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面。
2.根据权利要求1所述的方法，其特征在于，所述停留状态包括停留时长和/或停留次数；
所述基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据，包括：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点；
基于所述目标视频画面的采集时间点，确定所述目标用户每次进入所述展示区域的开始时间；
基于所述目标用户每次进入所述展示区域的开始时间，确定所述目标用户在所述展示区域的停留次数和/或停留时长。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标用户每次进入所述展示区域的开始时间，确定所述目标用户在所述展示区域的停留次数和/或停留时长，包括：
在所述目标用户两次进入所述展示区域的开始时间之间间隔的时长超过第一时长的情况下，确定所述目标用户在所述展示区域停留一次，和/或，将所述两次进入所述展示区域的开始时间之间间隔的时长作为所述目标用户在所述展示区域停留一次的停留时长。
4.根据权利要求1所述的方法，其特征在于，所述关注状态包括关注时长和/或关注次数；
所述基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据，包括：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点，以及，所述目标视频画面中所述目标用户的人脸朝向数据；
在检测到所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体的情况下，将所述目标视频画面对应的采集时间点确定为所述目标用户观看所述展示物体的开始时间；
基于确定的所述目标用户多次观看所述展示物体的开始时间，确定所述目标用户在所述展示区域的关注次数和/或关注时长。
5.根据权利要求4所述的方法，其特征在于，所述基于确定的所述目标用户多次观看所述展示物体的开始时间，确定所述目标用户在所述展示区域的关注次数和/或关注时长，包括：
在所述目标用户两次观看所述展示物体的开始时间之间间隔的时长超过第二时长的情况下，确定所述目标用户关注所述展示区域一次，和/或，将所述两次观看所述展示区域的开始时间之间间隔的时长作为所述用户关注所述展示区域一次的关注时长。
6.根据权利要求4或5所述的方法，其特征在于，所述人脸朝向数据包括人脸的俯仰角和偏航角；
所述检测到所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体，包括：
在所述俯仰角处于第一角度范围内、且所述偏航角处于第二角度范围内的情况下，确定所述人脸朝向数据指示所述目标用户关注所述展示区域的展示物体。
7.根据权利要求1至6任一所述的方法，其特征在于，所述目标用户在任一所述展示区域中的情绪状态包括以下状态中的至少一种：所述目标用户停留在所述展示区域的总停留时长内出现最多的表情标签；所述目标用户关注所述展示区域的总关注时长内出现最多的表情标签；所述展示区域对应的当前视频画面中所述目标用户的表情标签。
8.根据权利要求1至7任一所述的方法，其特征在于，所述基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面，包括：
基于所述目标用户在各个所述展示区域的停留状态和情绪状态，控制所述终端设备显示与各个所述展示区域分别对应的不同显示状态的显示区域；或者，
基于所述目标用户在各个所述展示区域的关注状态和情绪状态，控制所述终端设备显示与各个所述展示区域分别对应的不同显示状态的显示区域。
9.根据权利要求8所述的方法，其特征在于，每个显示区域用特定图形表示；
所述关注状态表示所述目标用户关注所述展示区域的关注时长或关注次数，与所述展示区域对应的所述特定图形的显示尺寸呈正比、所述展示区域对应的所述特定图形的颜色与所述表情标签相匹配；或者，
所述停留状态表示所述目标用户在所述展示区域的停留时长或停留次数，与所述展示区域对应的所述特定图形的显示尺寸呈正比、所述展示区域对应的所述特定图形的颜色与所述表情标签相匹配。
10.根据权利要求1所述的方法，其特征在于，在控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面之前，还包括：
获取到用于触发所述显示界面的触发操作。
11.根据权利要求10所述的方法，其特征在于，所述获取到用于触发所述显示界面的触发操作，包括：
控制所述终端设备的显示界面显示姿态提示框，所述姿态提示框中包括姿态描述内容；
获取并识别所述摄像设备采集的视频画面中的用户姿态；
在所述用户姿态与所述姿态描述内容所记录的姿态一致的情况下，确认获取到用于触发所述显示界面的触发操作。
12.根据权利要求1所述的方法，其特征在于，在获取分别部署在多个展示区域的摄像设备采集的视频画面之后，还包括：
针对任一所述展示区域，识别所述展示区域对应的多个视频画面中出现所述目标用户的目标视频画面的采集时间点；
基于各个展示区域对应的所述采集时间点，确定所述目标用户在各个所述展示区域的移动轨迹数据；
基于所述移动轨迹数据，控制所述终端设备显示所述目标用户在各个所述展示区域的移动轨迹路线。
13.一种状态识别装置，其特征在于，包括：
视频画面获取模块，用于获取分别部署在多个展示区域的摄像设备采集的视频画面；
状态数据识别模块，用于基于所述采集的视频画面，识别出现在所述视频画面中的目标用户的状态数据；所述状态数据包括所述目标用户分别在各个所述展示区域的停留状态、关注状态以及情绪状态中的至少两种；
控制模块，用于基于所述目标用户的状态数据，控制终端设备显示用于描述所述目标用户分别在各个所述展示区域的状态数据的显示画面。
14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的状态识别方法的步骤。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的状态识别方法的步骤。
CN201911416341.6A 2019-12-31 2019-12-31 状态识别方法、装置、设备及存储介质 Withdrawn CN111178294A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911416341.6A CN111178294A (zh) 2019-12-31 2019-12-31 状态识别方法、装置、设备及存储介质
JP2021529267A JP2022519150A (ja) 2019-12-31 2020-07-28 状態認識方法、装置、電子デバイス、及び記録媒体
KR1020217015863A KR20210088601A (ko) 2019-12-31 2020-07-28 상태 인식 방법, 장치, 전자 디바이스 및 기록 매체
PCT/CN2020/105294 WO2021135197A1 (zh) 2019-12-31 2020-07-28 状态识别方法、装置、电子设备及存储介质
TW109129387A TWI779343B (zh) 2019-12-31 2020-08-27 狀態識別方法、裝置、電子設備及電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911416341.6A CN111178294A (zh) 2019-12-31 2019-12-31 状态识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111178294A true CN111178294A (zh) 2020-05-19

Family

ID=70646578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911416341.6A Withdrawn CN111178294A (zh) 2019-12-31 2019-12-31 状态识别方法、装置、设备及存储介质

Country Status (5)

Country Link
JP (1) JP2022519150A (zh)
KR (1) KR20210088601A (zh)
CN (1) CN111178294A (zh)
TW (1) TWI779343B (zh)
WO (1) WO2021135197A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798457A (zh) * 2020-06-10 2020-10-20 上海众言网络科技有限公司 图像视觉重量确定方法、装置和图像评价方法
WO2021135197A1 (zh) * 2019-12-31 2021-07-08 北京市商汤科技开发有限公司 状态识别方法、装置、电子设备及存储介质
WO2021135196A1 (zh) * 2019-12-31 2021-07-08 北京市商汤科技开发有限公司 展示区域的状态识别方法、装置、电子设备及存储介质
CN113709552A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 视频生成方法、装置及电子设备
CN114511336A (zh) * 2020-10-28 2022-05-17 中移(上海)信息通信科技有限公司 用户标签确定的方法、装置、设备及存储介质
CN115553780A (zh) * 2022-12-06 2023-01-03 深圳市心流科技有限公司 注意力评估方法、设备及存储介质
CN115581457A (zh) * 2022-12-13 2023-01-10 深圳市心流科技有限公司 注意力评估方法、装置、设备及存储介质
CN116030411A (zh) * 2022-12-28 2023-04-28 宁波星巡智能科技有限公司 基于姿态识别的人形隐私遮挡方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229239A (zh) * 2016-12-09 2018-06-29 武汉斗鱼网络科技有限公司 一种图像处理的方法及装置
CN108711086A (zh) * 2018-05-09 2018-10-26 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置以及存储介质
CN108897589A (zh) * 2018-05-31 2018-11-27 刘国华 显示设备中人机交互方法、装置、计算机设备和存储介质
CN108985218A (zh) * 2018-07-10 2018-12-11 上海小蚁科技有限公司 人流量统计方法及装置、存储介质、计算设备
CN109828681A (zh) * 2017-11-20 2019-05-31 深圳市Tcl高新技术开发有限公司 激光笔光流轨迹跟踪方法、投影设备及计算机可读存储介质
CN110118976A (zh) * 2019-04-18 2019-08-13 广州斯沃德科技有限公司 一种行驶轨迹绘制方法、装置、终端设备及可读存储介质
CN110298245A (zh) * 2019-05-22 2019-10-01 平安科技（深圳）有限公司 兴趣收集方法、装置、计算机设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587835B1 (en) * 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
JP4125634B2 (ja) * 2003-05-26 2008-07-30 Ｎｅｃソフト株式会社 顧客情報収集管理方法及びそのシステム
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
WO2015040661A1 (ja) * 2013-09-19 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報端末にマーチャンダイジング情報を表示させる制御方法
RU2720947C2 (ru) * 2015-08-04 2020-05-15 Джеймс КАРЕЙ Аналитическая система распознавания и видеоидентификации
WO2017122258A1 (ja) * 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム
US10726465B2 (en) * 2016-03-24 2020-07-28 International Business Machines Corporation System, method and computer program product providing eye tracking based cognitive filtering and product recommendations
JP6256885B2 (ja) * 2016-03-31 2018-01-10 パナソニックＩｐマネジメント株式会社 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
JP7057077B2 (ja) * 2017-08-09 2022-04-19 Ｓｂクリエイティブ株式会社 購買支援システム
JP6597838B1 (ja) * 2018-06-01 2019-10-30 日本電気株式会社 動線分析装置、動線分析方法、および動線分析システム
CN109508638A (zh) * 2018-10-11 2019-03-22 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN110147729A (zh) * 2019-04-16 2019-08-20 深圳壹账通智能科技有限公司 用户情绪识别方法、装置、计算机设备及存储介质
CN110321477B (zh) * 2019-05-24 2022-09-09 平安科技（深圳）有限公司 信息推荐方法、装置、终端及存储介质
CN111178294A (zh) * 2019-12-31 2020-05-19 北京市商汤科技开发有限公司 状态识别方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229239A (zh) * 2016-12-09 2018-06-29 武汉斗鱼网络科技有限公司 一种图像处理的方法及装置
CN109828681A (zh) * 2017-11-20 2019-05-31 深圳市Tcl高新技术开发有限公司 激光笔光流轨迹跟踪方法、投影设备及计算机可读存储介质
CN108711086A (zh) * 2018-05-09 2018-10-26 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置以及存储介质
CN108897589A (zh) * 2018-05-31 2018-11-27 刘国华 显示设备中人机交互方法、装置、计算机设备和存储介质
CN108985218A (zh) * 2018-07-10 2018-12-11 上海小蚁科技有限公司 人流量统计方法及装置、存储介质、计算设备
CN110118976A (zh) * 2019-04-18 2019-08-13 广州斯沃德科技有限公司 一种行驶轨迹绘制方法、装置、终端设备及可读存储介质
CN110298245A (zh) * 2019-05-22 2019-10-01 平安科技（深圳）有限公司 兴趣收集方法、装置、计算机设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135197A1 (zh) * 2019-12-31 2021-07-08 北京市商汤科技开发有限公司 状态识别方法、装置、电子设备及存储介质
WO2021135196A1 (zh) * 2019-12-31 2021-07-08 北京市商汤科技开发有限公司 展示区域的状态识别方法、装置、电子设备及存储介质
JP2022519150A (ja) * 2019-12-31 2022-03-22 北京市商▲湯▼科技▲開▼▲發▼有限公司 状態認識方法、装置、電子デバイス、及び記録媒体
CN111798457A (zh) * 2020-06-10 2020-10-20 上海众言网络科技有限公司 图像视觉重量确定方法、装置和图像评价方法
CN114511336A (zh) * 2020-10-28 2022-05-17 中移(上海)信息通信科技有限公司 用户标签确定的方法、装置、设备及存储介质
CN113709552A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 视频生成方法、装置及电子设备
CN115553780A (zh) * 2022-12-06 2023-01-03 深圳市心流科技有限公司 注意力评估方法、设备及存储介质
CN115581457A (zh) * 2022-12-13 2023-01-10 深圳市心流科技有限公司 注意力评估方法、装置、设备及存储介质
CN116030411A (zh) * 2022-12-28 2023-04-28 宁波星巡智能科技有限公司 基于姿态识别的人形隐私遮挡方法、装置及设备
CN116030411B (zh) * 2022-12-28 2023-08-18 宁波星巡智能科技有限公司 基于姿态识别的人形隐私遮挡方法、装置及设备

Also Published As

Publication number Publication date
KR20210088601A (ko) 2021-07-14
TW202127319A (zh) 2021-07-16
JP2022519150A (ja) 2022-03-22
TWI779343B (zh) 2022-10-01
WO2021135197A1 (zh) 2021-07-08

Similar Documents

Publication Publication Date Title
CN111178294A (zh) 状态识别方法、装置、设备及存储介质
CN105791692B (zh) 一种信息处理方法、终端及存储介质
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
CN107818180B (zh) 视频关联方法、视频显示方法、装置及存储介质
JP6424357B2 (ja) 視認対象効果度測定装置
JP2022519149A (ja) 展示エリア状態認識方法、装置、電子デバイス、及び記録媒体
US11706485B2 (en) Display device and content recommendation method
US20140223474A1 (en) Interactive media systems
TWI758837B (zh) 展示對象的控制方法與裝置、電子設備及記錄媒體
JP5707561B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
CN111738537A (zh) 货架陈列方法、装置及存储介质
JP2013157984A (ja) Ｕｉ提供方法およびそれを適用した映像受信装置
CN110716634A (zh) 交互方法、装置、设备以及显示设备
JP6852293B2 (ja) 画像処理システム、情報処理装置、情報端末、プログラム
JP2014026350A (ja) 関心度計測システム、関心度計測装置及び関心度計測プログラム
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
JP6048475B2 (ja) コンテンツ出力装置及びプログラム
CN114358822A (zh) 一种广告展示方法、装置、介质及设备
JP2006215842A (ja) 人物動線追跡システム及び広告表示制御システム
CN112511743A (zh) 视频拍摄方法和装置
JP2014178909A (ja) 商取引システム
CN117010965A (zh) 基于信息流广告的互动方法、装置、设备及介质
JP6304348B2 (ja) コンテンツ出力装置及びプログラム
US11436826B2 (en) Augmented reality experience for shopping
CN113095836A (zh) 自助购物方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020089

Country of ref document: HK

WW01 Invention patent application withdrawn after publication

Application publication date: 20200519

WW01 Invention patent application withdrawn after publication