CN113762156A - 观影数据处理方法、装置及存储介质 - Google Patents
观影数据处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113762156A CN113762156A CN202111048728.8A CN202111048728A CN113762156A CN 113762156 A CN113762156 A CN 113762156A CN 202111048728 A CN202111048728 A CN 202111048728A CN 113762156 A CN113762156 A CN 113762156A
- Authority
- CN
- China
- Prior art keywords
- video
- user
- image frame
- viewing
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 77
- 230000000694 effects Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 32
- 230000033764 rhythmic process Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 8
- 230000008451 emotion Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种观影数据处理方法、装置及存储介质，其中，观影数据处理方法包括：获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；在至少一个观影视频中提取出待识别图像帧；基于面部识别模型对待识别图像帧进行面部识别得到面部识别结果；基于动作识别模型对待识别图像帧进行动作识别得到动作识别结果；根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，观影状态数据用于指示至少一个用户观看视频或现场活动的面部状态和动作。因为综合面部识别结果和动作识别结果得到的观影状态数据，能够从动作和面部两方面更加全面和准确地表示用户的观影状态，分析更加准确。
Description
技术领域
本申请实施例涉及电子信息技术领域，尤其涉及一种观影数据处理方法、装置及存储介质。
背景技术
在许多领域，视频越来越多的成为信息传播的主要载体，为了提高视频播放效果和视频的播放量，通常，在视频创作阶段，例如，影视剧、综艺节目、短视频等视频作品，需要提前洞悉用户对节目的客观感受。相关技术中，在播放视频的过程中，检测观众情绪进行分析，以便在以后的视频创作中根据观众情绪进行调整。但是，情绪并不能非常准确和完整地体现观众对一个视频的感受，导致分析不够准确。
发明内容
有鉴于此，本申请实施例提供一种观影数据处理方法、装置及存储介质，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种观影数据处理方法，包括：获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；在至少一个观影视频中提取出待识别图像帧；基于面部识别模型对待识别图像帧进行面部识别得到面部识别结果；基于动作识别模型对待识别图像帧进行动作识别得到动作识别结果；根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，观影状态数据用于指示至少一个用户观看视频或现场活动的面部状态和动作。
根据本申请实施例的第二方面，提供了一种观影数据处理装置，包括：获取模块，用于获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；预处理模块，用于在至少一个观影视频中提取出待识别图像帧；面部识别模块，用于基于面部识别模型对待识别图像帧进行面部识别得到面部识别结果；动作识别模块，用于基于动作识别模型对待识别图像帧进行动作识别得到动作识别结果；分析模块，用于根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，观影状态数据用于指示至少一个用户观看视频或现场活动的面部状态和动作。
根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行如第一方面的观影数据处理方法对应的操作。
根据本申请实施例的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如第一方面的观影数据处理方法。
本申请实施例提供的观影数据处理方法、装置及存储介质，获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；在至少一个观影视频中提取出待识别图像帧；基于面部识别模型对待识别图像帧进行面部识别得到面部识别结果；基于动作识别模型对待识别图像帧进行动作识别得到动作识别结果；根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，观影状态数据用于指示至少一个用户观看视频或现场活动的面部状态和动作。因为对待识别图像帧不仅进行了面部识别，还进行了动作识别，综合面部识别结果和动作识别结果得到的观影状态数据，能够从动作和面部两方面更加全面和准确地表示用户的观影状态，分析更加准确。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种观影数据处理方法的场景示意图；
图2为本申请实施例一提供的一种观影数据处理方法的流程图；
图3为本申请实施例一提供的一种线上场景示意图；
图4为本申请实施例一提供的一种线下场景示意图；
图5为本申请实施例一提供的一种场景示意图；
图6为本申请实施例二提供的一种观影数据处理装置的结构图；
图7为本申请实施例三提供的一种电子设备的结构图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一
本申请实施例一提供一种观影数据处理方法，应用于电子设备，为了便于理解，对本申请实施例一所提供的观影数据处理方法的应用场景进行说明，参照图1所示，图1为本申请实施例一提供的一种观影数据处理方法的场景示意图。图1所示的场景中包括电子设备101和拍摄装置102，电子设备101可以是执行本申请实施例一提供的观影数据处理方法的设备。
拍摄装置102可以是如摄像头等带有摄像功能的设备，拍摄装置可以对观看视频或现场活动的用户进行拍摄得到观影视频，将观影视频传输至电子设备101，电子设备101对观影视频进行处理得到观影状态数据，此处只是以一种具体的应用场景进行示例性说明，并不代表本申请局限于此。
电子设备101和拍摄装置102可以通信连接，示例性地，可以通过网络通信连接，并进行数据交互；电子设备101可以是服务端的设备。本申请中，网络包括局域网(英文：LocalArea Network，LAN)、广域网(英文：Wide Area Network，WAN)、移动通信网络；如万维网(英文：World Wide Web，WWW)、长期演进(英文：Long Term Evolution，LTE)网络、2G网络(英文：2th Generation Mobile Network)、3G网络(英文：3th Generation Mobile Network)，5G网络(英文：5th Generation Mobile Network)等。服务端可以包括通过网络连接的各种设备，例如，服务器、中继设备、端到端(英文：Device-to-Device，D2D)设备等。此处只是示例性说明，并不代表本申请局限于此。
结合图1所示的场景，详细说明本申请实施例一提供的观影数据处理方法，需要说明的是，图1只是本申请实施例一提供的观影数据处理方法的一种应用场景，并不代表该观影数据处理方法必须应用于图1所示的场景，具体可以应用于电子设备，参照图2所示，图2为本申请实施例一提供的一种观影数据处理方法的流程图，该方法包括以下步骤：
步骤201、获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频。
需要说明的是，示例性地，视频可以包括电影，电视剧，综艺节目等，现场活动可以包括演唱会、话剧演出、综艺节目录制(如现场采访、娱乐节目)等现场观看的活动。观影视频是对观看视频或现场活动的用户进行拍摄得到的视频。在本申请中，至少一个用户观看的是同一个视频或现场活动，用户可以在线上观看或者线下观看。例如，用户通过手机、电脑等终端设备在线上观看视频或现场活动，如图3所示；又如，用户在电影院或者会议室等线下观看视频或现场活动，如图4所示。此处只是列举两种场景进行示例性说明，凡是观看视频或现场活动的用户都可以对其进行拍摄得到观影视频，一个观影视频可以包含一个或多个用户的影像，观影视频的数量可以是一个或多个。
可选地，在一种具体的实现方式中，获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频，包括：
获取对线下观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；和/或，获取对线上观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频。获取对线上和线下观看视频或现场活动的用户进行拍摄得到的观影视频，获取的观影视频包含了多种场景下不同用户的影像，能够更加全面准确地反映用户的观影状态。
步骤202、在至少一个观影视频中提取出待识别图像帧。
每一个观影视频可以包含多个图像帧，在每个观影视频中都可以选择一部分图像帧作为待识别图像帧。可选地，在一种具体的实现方式中，在至少一个观影视频中提取出待识别图像帧，包括：对观影视频中包含的至少一个图像帧进行预处理，基于预处理后的至少一个图像帧得到待识别图像帧。对图像帧进行预处理可以包括剪裁处理、筛选处理、图像增强处理中的至少一项，这几项处理可以任意组合，也可以单独存在。此处，列举三个具体示例分别进行具体说明。
可选地，在第一个示例中，对观影视频中包含的至少一个图像帧进行预处理，包括：将包含多个用户图像的待剪裁图像帧进行分区域进行剪裁，将一个待剪裁图像帧剪裁为多个图像帧，使得一个图像帧包含一个用户的图像。每个图像帧只包含一个用户的图像，可以在后续识别过程中提高识别的准确度。还可以将待剪裁图像帧按照预设大小和预设形状进行剪裁。
可选地，在第二个示例中，对观影视频中包含的至少一个图像帧进行预处理，包括：对图像帧进行边缘检测，根据边缘检测的结果在每一个周期的多个图像帧中筛选出边缘最清晰的图像帧。此处，一个周期可以是1秒、5秒或30秒等，本申请对此不作限制。通过边缘检测筛选出每一个周期边缘最清晰的图像，不仅可以减少后续进行图像识别的运算量，还可以提高识别准确性。
可选地，在第三个示例中，对观影视频中包含的至少一个图像帧进行预处理，包括：对于亮度低于预设亮度的图像帧进行图像增强处理。因为亮度太暗的图像帧识别准确率较低，因此提高图像帧的亮度可以提高识别精度。需要说明的是，预设亮度可以根据具体场景自行设定，例如，预设亮度可以是最大亮度乘以预设系数得到，预设系数是大于0且小于1的数字，例如，可以以是0.4、0.5、0.6等。
步骤203、基于面部识别模型对待识别图像帧进行面部识别得到面部识别结果。
面部识别模型可以是预先训练好的用于识别人脸面部状态的神经网络模型。面部识别结果可以指示用户的面部状态，面部状态可以包括高兴、难过、厌恶、困倦等面部表情，还可以包括人脸位置。需要说明的是，面部识别模型可以包括表情识别模型和人物检测模型，通过表情识别模型可以确定用户的表情或者情绪，通过人物检测模型可以确定人脸位置，统计人脸数量即可得到观看视频或现场活动的用户数量。
步骤204、基于动作识别模型对待识别图像帧进行动作识别得到动作识别结果。
动作识别模型可以是预先训练好的用于识别用户动作的神经网络模型。动作识别结果可以指示用户的动作，用户的动作可以包括面部动作，例如，闭眼、撇嘴、交谈等，还可以包括肢体动作，例如跳跃、挥手、摇摆等。
需要说明的是，步骤203和步骤204没有先后顺序，可以一前一后执行，也可以同步执行。在步骤203和步骤204之后，还包括：
步骤205、根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据。
其中，观影状态数据用于指示至少一个用户观看视频或现场活动的面部状态和动作。可选地，在一种示例中，观影状态数据还用于指示至少一个用户观看视频或现场活动的关注度、律动值中的至少一项。其中，关注度用于指示在观看视频或现场活动的所有用户中，视频或现场活动受关注的程度；律动值用于指示观看视频或现场活动的用户的动作幅度。此处，列举两个具体示例分别说明关注度和律动值的计算方法。
可选地，第一个示例中，观影状态数据用于指示关注度，根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，包括：
根据动作识别结果确定待识别图像帧中用户的头部姿态；根据连续的至少两个待识别图像帧对屏幕进行位置估计，确定屏幕位置；根据头部姿态和屏幕位置确定待识别图像帧对应的用户是否关注，统计至少一个用户的关注度，并生成观影状态数据，关注度用于指示至少一个用户中关注待识别图像帧的用户数量。具体地，如果根据头部姿态和屏幕位置确定用户在注视屏幕，则确定用户关注屏幕，统计所有观看视频或现场活动的用户中，关注屏幕的用户占比/数量，作为关注度。进一步可选地，可以在多个时间点统计关注度，例如，每一秒都可以统计用户的关注度，可以得到随时间变化，用户的关注度变化曲线。通过关注度计算，可以了解用户关注度高的片段，以及用户对整个视频或现场活动的关注情况。还可以利用人物检测模型对待识别图像帧中的人脸位置进行检测，还可以检测待识别图像帧中的人脸数量，根据检测结果统计总的用户数量。
可选地，第二个示例中，观影状态数据用于指示律动值，根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，包括：
对于相邻的两个待识别图像帧，计算对应位置的像素差的绝对值的平均值，并作为律动值，律动值用于指示至少一个用户观看视频或现场活动的动作幅度；根据律动值生成观影状态数据。需要说明的是，待识别图像帧按照时间先后顺序依次排序，可以参照公式一将当前的待识别图像帧，与一个待识别图像帧进行计算得到律动值：
score＝mean(abs(binary-pre_frame))，公式一
其中，score表示律动值，mean()表示计算平均值，abs()表示计算绝对值，binary表示当前的待识别图像帧的像素值，pre_frame表示上一个待识别图像帧的像素值。
在第二个示例中，进一步可选地，根据律动值生成观影状态数据，包括：将待识别图像帧进行灰度处理，并根据灰度处理后的待识别图像帧中各像素的像素值计算置信度；根据律动值以及对应的置信度生成观影状态数据。置信度可以表示待识别图像的可靠程度，对于置信度低的待识别图像可以舍弃不用，以此保证数据的准确性。可选地，可以参考公式二计算置信度：
其中，confidence表示置信度，th为常数，th可以是200，mean(gray)表示当前的待识别图像帧中各像素的灰度值的平均值。
结合第二个示例中的说明，在一种具体实现方式中，可以将当前的待识别图像帧转化为灰度图，并计算置信度，然后将两个相邻的转化为灰度图的待识别图像帧进行二值化，利用二值化之后的相邻的两个待识别图像帧计算律动值。对待识别图像帧进行二值化，可以提高计算律动值的准确度。
基于步骤205，还需要说明的是，在一种可选地实现方式中，可以根据用户进行分类统计，示例性地，该方法还包括：对待识别图像帧进行用户信息识别得到至少一个用户的用户信息，用户信息用于指示用户的年龄、性别中的至少一种属性；按照用户信息对观影状态数据进行分类，并得到观影状态数据在每一个分类中的统计数据。按照用户信息对观影状态数据进行分类，可以了解不同分类的用户对于视频或现场活动的观影状态，可以更加精准得进行分析。需要说明的是，不同的用户信息可以利用不同的模型进行识别，例如，利用年龄识别模型确定用户年龄，利用性别识别模型确定性别，当然，此处只是示例性说明。
结合上述步骤201-205所描述的观影数据处理方法，在一种具体的应用场景中，如图5所示，电子设备获取至少一个观影视频，然后对观影视频进行预处理，预处理可以包括剪裁、基于边缘检测进行筛选、图像增强等；通过预处理，在观影视频中提取出至少一个待识别图像帧；然后对待识别图像帧进行视频解构，视频解构包括对待识别图像帧进行面部识别、动作识别、屏幕位置估计，还可以包括对用户信息的识别，例如性别识别、年龄识别，即确定性别、年龄等信息，面部识别可以包括人物检测和表情识别，人物检测可以检测人脸位置，表情识别可以确定用户情绪。根据视频解构的结果可以确定用户的面部状况、动作和用户信息，面部状况可以包括人脸位置、用户表情等；动作可以包括是否关注屏幕、律动值、是否睡觉、是否交谈等，用户信息可以包括用户年龄、用户性别。通过视频结构的结果可以计算关注度和律动值，还可以根据用户信息进行各种指标的统计分析，例如，分群体关注度、分群体情绪、睡眠率曲线、分群体动作统计、律动值、交谈率曲线等。
本申请实施例提供的观影数据处理方法，获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；在至少一个观影视频中提取出待识别图像帧；基于面部识别模型对待识别图像帧进行面部识别得到面部识别结果；基于动作识别模型对待识别图像帧进行动作识别得到动作识别结果；根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，观影状态数据用于指示至少一个用户观看视频或现场活动的面部状态和动作。因为对待识别图像帧不仅进行了面部识别，还进行了动作识别，综合面部识别结果和动作识别结果得到的观影状态数据，能够从动作和面部两方面更加全面和准确地表示用户的观影状态，分析更加准确。
实施例二
基于上述实施例一所描述的方法，本申请实施例二提供一种观影数据处理装置，用于执行上述实施例一所描述的方法，参照图6所示，观影数据处理装置60，包括：
获取模块601，用于获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；
预处理模块602，用于在至少一个观影视频中提取出待识别图像帧；
面部识别模块603，用于基于面部识别模型对待识别图像帧进行面部识别得到面部识别结果；
动作识别模块604，用于基于动作识别模型对待识别图像帧进行动作识别得到动作识别结果；
分析模块605，用于根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，观影状态数据用于指示至少一个用户观看视频或现场活动的面部状态和动作。
可选地，在一种具体示例中，面部状态包括表情、人脸位置中的至少一项；观影状态数据还用于指示至少一个用户观看视频或现场活动的关注度、律动值中的至少一项。
可选地，在一种具体示例中，观影状态数据用于指示关注度，分析模块605，用于根据动作识别结果确定待识别图像帧中用户的头部姿态；根据连续的至少两个待识别图像帧对屏幕进行位置估计，确定屏幕位置；根据头部姿态和屏幕位置确定待识别图像帧对应的用户是否关注，统计至少一个用户的关注度，并生成观影状态数据，关注度用于指示至少一个用户中关注待识别图像帧的用户数量。
可选地，在一种具体示例中，观影状态数据用于指示律动值，分析模块605，用于对于相邻的两个待识别图像帧，计算对应位置的像素差的绝对值的平均值，并作为律动值，律动值用于指示至少一个用户观看视频或现场活动的动作幅度；根据律动值生成观影状态数据。
可选地，在一种具体示例中，分析模块605，用于将待识别图像帧进行灰度处理，并根据灰度处理后的待识别图像帧中各像素的像素值计算置信度；根据律动值以及对应的置信度生成观影状态数据。
可选地，在一种具体示例中，分析模块605，还用于对待识别图像帧进行用户信息识别得到至少一个用户的用户信息，用户信息用于指示用户的年龄、性别中的至少一种属性；按照用户信息对观影状态数据进行分类，并得到观影状态数据在每一个分类中的统计数据。
可选地，在一种具体示例中，获取模块601，用于获取对线下观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；和/或，获取对线上观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频。
可选地，在一种具体示例中，预处理模块602，用于对观影视频中包含的至少一个图像帧进行预处理，基于预处理后的至少一个图像帧得到待识别图像帧。
本申请实施例提供的观影数据处理装置，获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；在至少一个观影视频中提取出待识别图像帧；基于面部识别模型对待识别图像帧进行面部识别得到面部识别结果；基于动作识别模型对待识别图像帧进行动作识别得到动作识别结果；根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，观影状态数据用于指示至少一个用户观看视频或现场活动的面部状态和动作。因为对待识别图像帧不仅进行了面部识别，还进行了动作识别，综合面部识别结果和动作识别结果得到的观影状态数据，能够从动作和面部两方面更加全面和准确地表示用户的观影状态，分析更加准确。
实施例三
基于上述实施例一所描述的方法，本申请实施例三提供一种电子设备，用于执行上述实施例一所描述的方法，参照图7，示出了根据本申请实施例四的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图7所示，该电子设备70可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中：
处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。
通信接口704，用于与其它电子设备或服务器进行通信。
处理器702，用于执行程序710，具体可以执行上述实施例一中任一观影数据处理方法中的相关步骤。
具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。
处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以实现实施例一中所描述的观影数据处理方法。程序710中各步骤的具体实现可以参见上述观影数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例提供的电子设备，获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；在至少一个观影视频中提取出待识别图像帧；基于面部识别模型对待识别图像帧进行面部识别得到面部识别结果；基于动作识别模型对待识别图像帧进行动作识别得到动作识别结果；根据面部识别结果和动作识别结果获取至少一个用户观看视频或现场活动的观影状态数据，观影状态数据用于指示至少一个用户观看视频或现场活动的面部状态和动作。因为对待识别图像帧不仅进行了面部识别，还进行了动作识别，综合面部识别结果和动作识别结果得到的观影状态数据，能够从动作和面部两方面更加全面和准确地表示用户的观影状态，分析更加准确。
实施例四
基于上述实施例一所描述的方法，本申请实施例四提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所描述的方法。
实施例五
基于上述实施例一所描述的方法，本申请实施例五提供一种计算机程序产品，该计算机程序产品被处理器执行时实现如实施例一所描述的方法。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的导航方法。此外，当通用计算机访问用于实现在此示出的导航方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的导航方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。
Claims (11)
1.一种观影数据处理方法，包括：
获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；
在所述至少一个观影视频中提取出待识别图像帧；
基于面部识别模型对所述待识别图像帧进行面部识别得到面部识别结果；
基于动作识别模型对所述待识别图像帧进行动作识别得到动作识别结果；
根据所述面部识别结果和所述动作识别结果获取所述至少一个用户观看所述视频或现场活动的观影状态数据，所述观影状态数据用于指示所述至少一个用户观看所述视频或现场活动的面部状态和动作。
2.根据权利要求1所述的方法，其中，
所述面部状态包括表情、人脸位置中的至少一项；
所述观影状态数据还用于指示所述至少一个用户观看所述视频或现场活动的关注度、律动值中的至少一项。
3.根据权利要求2所述的方法，其中，所述观影状态数据用于指示关注度，所述根据所述面部识别结果和所述动作识别结果获取所述至少一个用户观看所述视频或现场活动的观影状态数据，包括：
根据所述动作识别结果确定所述待识别图像帧中用户的头部姿态；
根据连续的至少两个待识别图像帧对屏幕进行位置估计，确定屏幕位置；
根据头部姿态和屏幕位置确定所述待识别图像帧对应的用户是否关注，统计所述至少一个用户的关注度，并生成所述观影状态数据，所述关注度用于指示所述至少一个用户中关注所述待识别图像帧的用户数量。
4.根据权利要求2所述的方法，其中，所述观影状态数据用于指示律动值，所述根据所述面部识别结果和所述动作识别结果获取所述至少一个用户观看所述视频或现场活动的观影状态数据，包括：
对于相邻的两个待识别图像帧，计算对应位置的像素差的绝对值的平均值，并作为所述律动值，所述律动值用于指示所述至少一个用户观看所述视频或现场活动的动作幅度；
根据所述律动值生成所述观影状态数据。
5.根据权利要求4所述的方法，其中，所述根据所述律动值生成所述观影状态数据，包括：
将所述待识别图像帧进行灰度处理，并根据灰度处理后的所述待识别图像帧中各像素的像素值计算置信度；
根据所述律动值以及对应的置信度生成所述观影状态数据。
6.根据权利要求2所述的方法，其中，所述方法还包括：
对所述待识别图像帧进行用户信息识别得到所述至少一个用户的用户信息，所述用户信息用于指示用户的年龄、性别中的至少一种属性；
按照所述用户信息对所述观影状态数据进行分类，并得到所述观影状态数据在每一个分类中的统计数据。
7.根据权利要求1所述的方法，其中，获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频，包括：
获取对线下观看所述视频或现场活动的至少一个用户进行拍摄得到的所述至少一个观影视频；和/或，
获取对线上观看所述视频或现场活动的至少一个用户进行拍摄得到的所述至少一个观影视频。
8.根据权利要求1-7任一项所述的方法，其中，所述在所述至少一个观影视频中提取出待识别图像帧，包括：
对所述观影视频中包含的至少一个图像帧进行预处理，基于预处理后的所述至少一个图像帧得到所述待识别图像帧。
9.一种观影数据处理装置，包括：
获取模块，用于获取对观看视频或现场活动的至少一个用户进行拍摄得到的至少一个观影视频；
预处理模块，用于在所述至少一个观影视频中提取出待识别图像帧；
面部识别模块，用于基于面部识别模型对所述待识别图像帧进行面部识别得到面部识别结果；
动作识别模块，用于基于动作识别模型对所述待识别图像帧进行动作识别得到动作识别结果；
分析模块，用于根据所述面部识别结果和所述动作识别结果获取所述至少一个用户观看所述视频或现场活动的观影状态数据，所述观影状态数据用于指示所述至少一个用户观看所述视频或现场活动的情绪和动作。
10.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的观影数据处理方法对应的操作。
11.一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-8中任一所述的观影数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111048728.8A CN113762156B (zh) | 2021-09-08 | 2021-09-08 | 观影数据处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111048728.8A CN113762156B (zh) | 2021-09-08 | 2021-09-08 | 观影数据处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762156A true CN113762156A (zh) | 2021-12-07 |
| CN113762156B CN113762156B (zh) | 2023-10-24 |
Family
ID=78793761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111048728.8A Active CN113762156B (zh) | 2021-09-08 | 2021-09-08 | 观影数据处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762156B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107948743A (zh) * | 2017-11-29 | 2018-04-20 | 腾讯科技（深圳）有限公司 | 视频推送方法及其装置、存储介质 |
| CN109086971A (zh) * | 2018-07-09 | 2018-12-25 | 河南深实科技有限公司 | 一种基于实体店内顾客行为识别的店员派遣系统 |
| CN109740466A (zh) * | 2018-12-24 | 2019-05-10 | 中国科学院苏州纳米技术与纳米仿生研究所 | 广告投放策略的获取方法、计算机可读存储介质 |
| CN109815873A (zh) * | 2019-01-17 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于图像识别的商品展示方法、装置、设备及介质 |
| CN109858958A (zh) * | 2019-01-17 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于微表情的目标客户定位方法、装置、设备及存储介质 |
| CN110113639A (zh) * | 2019-05-14 | 2019-08-09 | 北京儒博科技有限公司 | 视频播放控制方法、装置、终端、服务器及存储介质 |
| CN110363084A (zh) * | 2019-06-10 | 2019-10-22 | 北京大米科技有限公司 | 一种上课状态检测方法、装置、存储介质及电子 |
| CN110796005A (zh) * | 2019-09-27 | 2020-02-14 | 北京大米科技有限公司 | 在线教学监控的方法、装置、电子设备及介质 |
| CN110874570A (zh) * | 2019-10-12 | 2020-03-10 | 深圳壹账通智能科技有限公司 | 面部识别方法、装置、设备及计算机可读存储介质 |
| CN111783620A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 表情识别方法、装置、设备及存储介质 |
| CN113157174A (zh) * | 2020-01-23 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
| WO2021164466A1 (zh) * | 2020-02-20 | 2021-08-26 | 深圳壹账通智能科技有限公司 | 用户信息分析方法及系统 |
-
2021
- 2021-09-08 CN CN202111048728.8A patent/CN113762156B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107948743A (zh) * | 2017-11-29 | 2018-04-20 | 腾讯科技（深圳）有限公司 | 视频推送方法及其装置、存储介质 |
| CN109086971A (zh) * | 2018-07-09 | 2018-12-25 | 河南深实科技有限公司 | 一种基于实体店内顾客行为识别的店员派遣系统 |
| CN109740466A (zh) * | 2018-12-24 | 2019-05-10 | 中国科学院苏州纳米技术与纳米仿生研究所 | 广告投放策略的获取方法、计算机可读存储介质 |
| CN109815873A (zh) * | 2019-01-17 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于图像识别的商品展示方法、装置、设备及介质 |
| CN109858958A (zh) * | 2019-01-17 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于微表情的目标客户定位方法、装置、设备及存储介质 |
| CN110113639A (zh) * | 2019-05-14 | 2019-08-09 | 北京儒博科技有限公司 | 视频播放控制方法、装置、终端、服务器及存储介质 |
| CN110363084A (zh) * | 2019-06-10 | 2019-10-22 | 北京大米科技有限公司 | 一种上课状态检测方法、装置、存储介质及电子 |
| CN110796005A (zh) * | 2019-09-27 | 2020-02-14 | 北京大米科技有限公司 | 在线教学监控的方法、装置、电子设备及介质 |
| CN110874570A (zh) * | 2019-10-12 | 2020-03-10 | 深圳壹账通智能科技有限公司 | 面部识别方法、装置、设备及计算机可读存储介质 |
| CN113157174A (zh) * | 2020-01-23 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
| WO2021164466A1 (zh) * | 2020-02-20 | 2021-08-26 | 深圳壹账通智能科技有限公司 | 用户信息分析方法及系统 |
| CN111783620A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 表情识别方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 王娅姝等: "神经电影学视野下的电影音乐接受效果研究", 《电影艺术》, no. 4, pages 99 - 108 * |
| 蔡晓岑: "基于Dojo的Web即时通信消息推送方法的研究", 《中国优秀硕士学位论文全文数据库》, pages 138 - 3074 * |
| 谢超等: "全自动车门锁电控模块的故障模式与危害度分析", 《机械制造》, vol. 54, no. 1, pages 54 - 57 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762156B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522815B (zh) | 一种专注度评估方法、装置及电子设备 | |
| CN109325933B (zh) | 一种翻拍图像识别方法及装置 | |
| CN110232369B (zh) | 一种人脸识别方法和电子设备 | |
| CN108805047B (zh) | 一种活体检测方法、装置、电子设备和计算机可读介质 | |
| JP4616702B2 (ja) | 画像処理 | |
| US11042725B2 (en) | Method for selecting frames used in face processing | |
| CN110889334A (zh) | 人员闯入识别方法及装置 | |
| CN109858375A (zh) | 活体人脸检测方法、终端及计算机可读存储介质 | |
| CN111914811B (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN115396705B (zh) | 投屏操作验证方法、平台及系统 | |
| CN110599129A (zh) | 一种基于图像追踪校园考勤方法、装置、识别终端及系统 | |
| CN113192164A (zh) | 虚拟形象随动控制方法、装置、电子设备和可读存储介质 | |
| CN110516572B (zh) | 一种识别体育赛事视频片段的方法、电子设备及存储介质 | |
| CN111860057A (zh) | 人脸图像模糊和活体检测方法、装置、存储介质及设备 | |
| CN113259734B (zh) | 针对交互场景的智能导播方法、装置、终端和存储介质 | |
| CN110569707A (zh) | 一种身份识别方法和电子设备 | |
| CN113762156B (zh) | 观影数据处理方法、装置及存储介质 | |
| CN107563362B (zh) | 进行评价操作的方法、客户端及系统 | |
| CN111768729A (zh) | 一种vr场景自动解说方法、系统和存储介质 | |
| CN111353330A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN116152908A (zh) | 动作识别、活体检测和模型训练方法及装置、电子设备 | |
| CN111242189B (zh) | 特征提取方法、装置及终端设备 | |
| JP2014229092A (ja) | 画像処理装置、画像処理方法、および、そのプログラム | |
| CN112381055A (zh) | 第一人称视角图像识别方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |