CN111639702A - 一种多媒体数据分析方法、设备、服务器及可读存储介质 - Google Patents

一种多媒体数据分析方法、设备、服务器及可读存储介质 Download PDF

Info

Publication number
CN111639702A
CN111639702A CN202010471445.3A CN202010471445A CN111639702A CN 111639702 A CN111639702 A CN 111639702A CN 202010471445 A CN202010471445 A CN 202010471445A CN 111639702 A CN111639702 A CN 111639702A
Authority
CN
China
Prior art keywords
eyeball
face
information
pixel gray
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010471445.3A
Other languages
English (en)
Inventor
刘微微
赵之砚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010471445.3A priority Critical patent/CN111639702A/zh
Publication of CN111639702A publication Critical patent/CN111639702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明实施例公开了一种多媒体数据分析方法、设备、服务器及可读存储介质，其中，该方法包括：获取训练图像集合；对训练图像集合中的图像进行图像识别，得到训练图像集合中各个图像的人脸信息；根据人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型；将待识别的目标图像输入引入人脸信息的眼球跟踪模型，以确定目标图像中人脸的眼球视线在数据分析设备上的注视点；获取在预设时间范围内数据分析设备上各个区域的注视点数量，并确定注视点数量最多的目标区域为视线效果最好的区域。通过这种实施方式，实现了通过普通拍摄装置采集的数据识别眼球视线的注视点，降低了设备成本，提高了识别眼球视线的效率。

Description

一种多媒体数据分析方法、设备、服务器及可读存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种多媒体数据分析方法、设备、服务器及可读存储介质。
背景技术
随着互联网的发展，通过文字传递信息的方式已经被文字、图像、声音、视频等多媒体的方式所取代。对于人类来讲，视觉传递的信息占到了绝大多数，图像已成为这个时代重要的信息载体，通过什么样的多媒体的方式更吸引用户是非常重要的问题。
目前，对像广告等多媒体数据的分析方式，主要是通过红外摄像头采集数据进行分析，设备成本较高，在日常场景中难以普及，对多媒体数据的分析效果较差。因此，如何更有效地对多媒体数据进行分析成为亟待解决的问题。
发明内容
本发明实施例提供了一种多媒体数据分析方法、设备、服务器及可读存储介质，可以通过普通拍摄装置采集的数据识别出眼球视线的注视点，降低了设备成本，提高了识别眼球视线的效率。
第一方面，本发明实施例提供了一种多媒体数据分析方法，包括：
获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像；
对所述训练图像集合中的图像进行图像识别，得到所述训练图像集合中各个图像的人脸信息，所述人脸信息包括所述各个图像中人脸的像素灰度；
根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，所述眼球跟踪模型用于识别所述人脸信息中眼球信息；
将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点；
获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，并确定所述注视点数量最多的目标区域为视线效果最好的区域。
进一步地，所述将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点，包括：
将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，得到所述目标图像中的人脸信息；
根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息，所述眼球信息包括眼球区域对应的像素灰度；
根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点。
进一步地，所述根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息，包括：
根据所述目标图像中的人脸信息，确定所述目标图像中人脸上的所有像素灰度；
基于所述目标图像中人脸上的所有像素灰度从所述目标图像的人脸上确定与预设的眼球像素灰度对应的眼球区域，并获取所述眼球区域对应的眼球信息。
进一步地，所述眼球区域包括眼白区域和眼仁区域；所述基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域，包括：
从所述眼球区域中提取与所述预设的眼白像素灰度对应的第一像素灰度区域，并确定所述第一像素灰度区域为眼白区域；以及，
从所述眼球区域中提取与所述预设的眼仁像素灰度对应的第二像素灰度区域，并确定所述第二像素灰度区域为眼仁区域。
进一步地，所述眼球区域还包括瞳孔中心；所述基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域，包括：
获取所述眼白区域的像素灰度和所述眼仁区域的像素灰度；
根据所述眼白区域的像素灰度和所述眼仁区域的像素灰度，从所述眼白区域和所述眼仁区域中确定最大像素灰度对应的区域为瞳孔中心。
进一步地，所述根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点，包括：
获取连续两帧目标图像的瞳孔中心，并确定所述连续两帧目标图像的瞳孔中心所处的位置信息；
将所述连续两帧目标图像的瞳孔中心所处的位置信息进行对比，以确定出所述连续两帧目标图像的瞳孔中心的相对位移方向；
根据所述相对位移方向确定所述眼球视线的移动方向，并根据所述眼球视线移动方向确定所述眼球视线在所述数据分析设备上的注视点。
进一步地，所述根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，包括：
对所述人脸信息中眼球信息添加标注；
建立眼球信息与眼球视线的注视点的映射关系；
将所述添加标注的人脸信息作为训练集输入所述眼球跟踪模型，以根据所述眼球跟踪模型识别出的眼球信息和所述建立的眼球信息与眼球视线的注视点的映射关系对所述眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型。
第二方面，本发明实施例提供了一种数据分析设备，该数据分析设备包括用于执行上述第一方面的多媒体数据分析方法的单元。
第三方面，本发明实施例提供了一种服务器，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持数据分析设备执行上述方法的计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
本发明实施例，数据分析设备可以获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像，并基于图像识别模型对训练图像集合中的图像进行识别，得到训练图像集合中各个图像的人脸信息，以及根据人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，将待识别的目标图像输入引入人脸信息的眼球跟踪模型，以确定目标图像中人脸的眼球视线在数据分析设备上的注视点，通过获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，确定所述注视点数量最多的目标区域为视线效果最好的区域。通过这种实施方式，可以通过普通拍摄装置采集的数据识别眼球视线的注视点，降低了设备成本，提高了识别眼球视线的效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多媒体数据分析方法的示意流程图；
图2是本发明实施例提供的一种数据分析设备的示意框图；
图3是本发明实施例提供的一种服务器的示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的多媒体数据分析方法可以由一种数据分析设备执行，其中，所述数据分析设备可以设置在服务器上。在某些实施例中，所述数据分析设备可以安装在服务器上；在某些实施例中，所述数据分析设备可以在空间上独立于所述服务器；在某些实施例中，所述数据分析设备可以是所述服务器的部件，即所述服务器包括数据分析设备。
本发明实施例中，数据分析设备可以获取通过所述数据分析设备上的拍摄装置采集到的训练图像集合，所述训练图像集合中包括多张图像，并基于图像识别模型对训练图像集合中的图像进行识别，得到训练图像集合中各个图像的人脸信息，以及根据人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，将待识别的目标图像输入引入人脸信息的眼球跟踪模型，以确定目标图像中人脸的眼球视线在数据分析设备上的注视点，通过获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，确定所述注视点数量最多的目标区域为视线效果最好的区域。通过这种实施方式，可以通过普通拍摄装置采集的数据识别眼球视线的注视点，降低了设备成本，提高了识别眼球视线的效率。
本发明实施例可以应用于广告投放效果评估的应用场景，在这种应用场景中，数据分析设备可以对应于大屏广告机，所述大屏广告机的系统上集成了眼动识别的软件开发工具包(Software Development Kit，SDK)和拍摄装置，其中，所述拍摄装置可以为普通的摄像头。在某些实施例中，所述SDK用于构建引入人脸信息的眼球跟踪模型。
本发明实施例通过大屏广告机的摄像头采集待识别的目标图像，大屏广告机将获取到的目标图像传输给所述大屏广告机基于SDK构建的引入人脸信息的眼球跟踪模型进行识别，以确定出目标图像中人脸的眼球视线在大屏广告机上的注视点，从而可以根据在预设时间范围内大屏广告机上各个区域的注视点数量，确定注视点数量最多的目标区域为大屏广告机上视线效果最好的区域。在某些实施例中，所述预设范围区域可以所述大屏广告机上的拍摄装置可以拍摄到的任意区域。
在一个实施例中，在构建引入人脸的眼球模型时，需要通过大屏广告机上的摄像头采集多张图像作为训练图像集合，并根据图像识别模型对训练图像集合中的图像进行识别，得到训练图像集合中各个图像的人脸信息，以及根据各图像的人脸信息对眼球跟踪模型进行训练，从而得到引入人脸信息的眼球跟踪模型。在某些实施例中，所述图像识别模型是预先设置在大屏广告机上的图像识别模型；在某些实施例中，所述眼球跟踪模型包括但不限于深度卷积神经网络模型。
下面结合附图对本发明实施例的多媒体数据分析方法进行示意性说明。
请参见图1，图1是本发明实施例提供的一种多媒体数据分析方法的示意流程图，如图1所示，该方法可以由数据分析设备执行，所述数据分析设备的具体解释如前所述，此处不再赘述。具体地，本发明实施例的所述方法包括如下步骤。
S101：获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像。
本发明实施例中，数据分析设备可以获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像。在某些实施例中，所述拍摄装置可以是设置在所述数据分析设备上摄像头、图像传感器等；在其他实施例中，所述拍摄装置还可以与所述数据分析设备有线或无线连接。
例如，在利用大屏广告机评估广告投放效果的应用场景中，可以通过拍摄装置采集多张图像，并确定由采集的多张图像组成的训练图像集合作为训练样本集。
S102：对所述训练图像集合中的图像进行图像识别，得到所述训练图像集合中各个图像的人脸信息。
本发明实施例中，数据分析设备可以对所述训练图像集合中的图像进行识别，得到所述训练图像集合中各个图像的人脸信息，所述人脸信息包括所述各个图像中人脸的像素灰度。在某些实施例中，数据分析设备可以基于图像识别模型对所述训练图像集合中的图像进行识别，得到所述训练图像集合中各个图像的人脸信息，所述图像识别模型用于识别图像中的人脸信息。在某些实施例中，所述图像识别模型可以是预设的神经网络模型。
在一个实施例中，数据分析设备在利用图像识别模型对所述训练图像集合中的图像进行识别时，如果识别结果为图像中不存在人脸信息，则确定所述图像为无效图像，可以丢弃所述图像。
S103：根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型。
本发明实施例中，数据分析设备可以根据从所述训练图像集合的各个图像中识别出的人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，在某些实施例中，所述眼球跟踪模型用于识别所述人脸信息中眼球信息。在某些实施例中，所述眼球跟踪模型可以基于神经网络通过回归建模、空间建模等技术构建的模型，所述神经网络包括但不限于深度卷积神经网络。
在一个实施例中，数据分析设备在根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型时，可以对所述人脸信息中眼球信息添加标注，并建立眼球信息与眼球视线的注视点的映射关系，从而将所述添加标注的人脸信息作为训练集输入所述眼球跟踪模型，以根据所述眼球跟踪模型识别出的眼球信息和所述建立的眼球信息与眼球视线的注视点的映射关系对所述眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型。在某些实施例中，所述眼球信息与眼球视线的注视点的映射关系可以是预先建立。
S104：将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点。
本发明实施例中，数据分析设备可以将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点。
在某些实施例中，所述待识别的目标图像可以是所述数据分析设备上的拍摄装置采集到的目标图像；在其他实施例中，所述待识别的目标图像还可以是与所述数据分析设备连接的拍摄装置采集到的目标图像。
在一个实施例中，数据分析设备在将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点时，可以将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，得到所述目标图像中人脸信息对应的眼球信息，并根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点。
在一个实施例中，数据分析设备在将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，得到所述目标图像中人脸信息对应的眼球信息时，可以将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，得到所述目标图像中的人脸信息，并根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息。在某些实施例中，所述人脸信息包括但不限于所述目标图像中人脸上的像素点的像素灰度。
可见，本发明实施例，通过对引入人脸信息的眼球跟踪模型可以对普通拍摄装置采集的目标图像进行识别，得到目标图像中人脸的眼球信息，摆脱了传统眼球跟踪技术中通过红外拍摄装置识别出眼球信息，对红外拍摄装置中瞳孔角膜反射技术的依赖，不仅降低了设备成本，也提高了眼球识别的效率。
在一个实施例中，数据分析设备在根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息时，可以根据所述目标图像中的人脸信息，确定所述目标图像中人脸上的所有像素灰度，并基于所述目标图像中人脸上的所有像素灰度从所述目标图像的人脸上确定与预设的眼球像素灰度对应的眼球区域，并获取所述眼球区域对应的眼球信息。在某些实施例中，本发明实施例对获取像素灰度的方式不做具体限定。在某些实施例中，所述像素灰度可以用灰度值表示。
可见，本发明实施例通过对目标图像中人脸的所有像素灰度进行分析，可以确定出目标图像中人脸的眼球区域，从而有助于基于眼球区域的像素灰度进一步确定出眼白区域和眼仁区域。
在一个实施例中，所述眼球区域包括眼白区域和眼仁区域；数据分析设备在基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域时，可以从所述眼球区域中提取与所述预设的眼白像素灰度对应的第一像素灰度区域，并确定所述第一像素灰度区域为眼白区域；以及，从所述眼球区域中提取与所述预设的眼仁像素灰度对应的第二像素灰度区域，并确定所述第二像素灰度区域为眼仁区域。
例如，假设预设的眼白像素灰度为[240，255]，预设的眼仁像素灰度为[0，20]，则数据分析设备可以从所述眼球区域中提取与所述预设的眼白像素灰度[240，255]对应的第一像素灰度区域[250，255]，并确定所述第一像素灰度区域[250，255]为眼白区域；以及，从所述眼球区域中提取与所述预设的眼仁像素灰度[0，20]对应的第二像素灰度区域[0，10]，并确定所述第二像素灰度区域[0，10]为眼仁区域。
可见，本发明实施例通过对目标图像中人脸的眼球区域的像素灰度进行分析，确定出目标图像中人脸的眼球区域中的眼白区域和眼仁区域，有助于进一步根据眼白区域的像素灰度和眼仁区域的像素灰度确定出瞳孔中心的位置。
在一个实施例中，所述眼球区域还包括瞳孔中心；数据分析设备在基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域时，还可以获取所述眼白区域的像素灰度和所述眼仁区域的像素灰度，并根据所述眼白区域的像素灰度和所述眼仁区域的像素灰度，从所述眼白区域和所述眼仁区域中确定最大像素灰度对应的区域为瞳孔中心。
例如，假设数据分析设备从所述眼球区域中提取与所述预设的眼白像素灰度[240，255]对应的眼白区域的像素灰度为[250，255]，以及，从所述眼球区域中提取与所述预设的眼仁像素灰度[0，20]对应的眼仁区域的像素灰度为[0，10]，则可以确定最大像素灰度为255，因此确定所述眼球区域中最大像素灰度255对应的区域为瞳孔中心。
可见，本发明实施例通过对目标图像中人脸的所有像素灰度进行分析，确定出目标图像中人脸的眼球区域中的瞳孔中心，从而有助于根据瞳孔中心的位置确定出眼球视线的注视点。
在一个实施例中，数据分析设备在根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点时，可以获取连续两帧目标图像的瞳孔中心，并确定所述连续两帧目标图像的瞳孔中心所处的位置信息，并将所述连续两帧目标图像的瞳孔中心所处的位置信息进行对比，以确定出所述连续两帧目标图像的瞳孔中心的相对位移方向，以及根据所述相对位移方向确定所述眼球视线的移动方向，并根据所述眼球视线移动方向确定所述眼球视线在所述数据分析设备上的注视点。在某些实施例中，所述移动方向可以为任意方向，如以某一个位置坐标的原点为中心的圆的任意方向。
例如，假设数据分析设备获取的连续两帧图像中，第一帧图像的瞳孔中心所处的位置信息为(x1，y1)，第二帧图像的瞳孔中心所处的位置信息为(x2，y2)，则数据分析设备可以将连续的第一帧图像的瞳孔中心所处的位置信息(x1，y1)与第二帧图像的瞳孔中心所处的位置信息(x2，y2)进行对比，如果x2大于x1，y2大于y1，则可以确定出第一帧图像与第二帧图像的瞳孔中心的相对位移的位置信息为(x2-x1，y2-y1)，从而可以根据所述相对位移的位置信息(x2-x1，y2-y1)确定所述对象的眼睛的移动方向，并根据所述眼睛的移动方向确定所述对象的眼睛的视线在所述数据分析设备上的注视点。
在一个实施例中，数据分析设备还可以获取连续多帧目标图像的瞳孔中心，其中，所述多帧目标图像是指两帧以上的目标图像，并确定所述连续多帧目标图像的瞳孔中心所处的位置信息，并将所述连续多帧目标图像的瞳孔中心所处的位置信息进行对比，以确定出所述连续多帧目标图像的瞳孔中心的相对位移方向，以及根据所述相对位移方向确定所述眼球视线的移动方向，并根据所述眼球视线移动方向确定所述眼球视线在所述数据分析设备上的注视点。
可见，通过眼球中瞳孔中心的位置信息和瞳孔中心的相对位移方向可以实现对眼球视线的追踪，从而达到监测目标图像中人脸的眼球视线的移动方向和注视点的目的。
S105：获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，并确定所述注视点数量最多的目标区域为视线效果最好的区域。
本发明实施例中，数据分析设备可以获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，并确定所述注视点数量最多的目标区域为视线效果最好的区域。通过统计数据分析设备上各个区域的注视点数量，有助于对多媒体数据进行分析。
在一个实施例中，在大屏广告机的应用场景中，数据分析设备可以设置在所述大屏广告机上，数据分析设备可以根据广告机上的注视点确定在拍摄装置拍摄到的预设范围区域内的目标图像的人脸的眼球视线此时是否看向大屏广告机上的广告，以及看的是广告的第几秒画面，以及看的是画面上的哪一个区域等信息。
在一个实施例中，在一段广告的播放时长内，数据分析设备可以计算出第N秒时，在拍摄装置拍摄到的预设范围区域内的目标图像中的人脸的眼球视线在大屏广告机上的注视点为该广告所在的位置区域，且在第N秒该广告所在的位置区域中的注视点的数量最多，因此，可以确定出第N秒时，广告机上该广告所在的位置区域被看的次数最多。
例如，假设大屏广告机播放15s的广告，总观看量为2000次即大屏广告机上15s内注视点的总数量为2000，如果第5秒在大屏广告机的右上角区域的注视点最多，则可以确定在第5秒时广告机的右上角区域的广告最受关注。
在一个实施例中，数据分析设备还可以计算出M秒内拍摄装置拍摄到的预设范围区域内的目标图像中的人脸的眼球视线在大屏广告机上的注视点，并根据各个注视点所对应的位置区域，确定出注视点的数量最多目标区域，从而可以确定出在M秒这个时间段内，广告机上注视点最多的目标区域播放的广告为被看的次数最多广告，即该目标区域播放的广告在这M秒内的关注度最高。可见，通过对一段时间范围内的注视点的数量进行分析，可以确定在一段时间范围内被关注最多的广告，也即效果最好的广告，从而可以有效地对广告的效果进行评估。
在一个实施例中，数据分析设备可以根据获取到的各个区域的注视点数量以及视线数据生成眼动热力图，以便于数据分析人员可以根据眼动热力图直观的观察多媒体数据的被关注度，以及根据热力图对广告进行优化改进，以达到更好的效果。
在一个实施例中，用户通过将鼠标悬停在数据分析设备上的某一区域，便可以了解该区域的具体数据(如浏览次数、平均注视时间)，用户也可选择导出所有区域的眼动数据，进行更加深入的细节分析。
在一个实施例中，数据分析设备可以根据广告不同位置的浏览次数与平均注视时间确定不同的受关注度，并对受关注度不同的区域分别进行着色，其中，不同的颜色代表不同的热度。在一个示例中，红色可以是“最热门”(用户关注度最高)的区域，而绿色则是“最冷门”(用户关注度最低)的区域。
在一个实施例中，数据分析设备还可以将注视点同步到广告机自动投放平台，并在广告机自动投放平台进行可视化，从而有助于用户监控广告实际的被观看量，并根据各个广告的被观看量来分析用户最感兴趣的广告，以及调整广告的位置等。
本发明实施例中，数据分析设备可以获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像，并基于图像识别模型对训练图像集合中的图像进行识别，得到训练图像集合中各个图像的人脸信息，以及根据人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，将待识别的目标图像输入引入人脸信息的眼球跟踪模型，以确定目标图像中人脸的眼球视线在数据分析设备上的注视点，通过获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，确定所述注视点数量最多的目标区域为视线效果最好的区域。通过这种实施方式，可以通过普通拍摄装置采集的数据识别眼球视线的注视点，降低了设备成本，提高了识别眼球视线的效率。
本发明实施例还提供了一种数据分析设备，该数据分析设备用于执行前述任一项所述的方法的单元。具体地，参见图2，图2是本发明实施例提供的一种数据分析设备的示意框图。本实施例的数据分析设备包括：获取单元201、识别单元202、训练单元203、第一确定单元204以及第二确定单元205。
获取单元201，用于获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像；
识别单元202，用于对所述训练图像集合中的图像进行图像识别，得到所述训练图像集合中各个图像的人脸信息，所述人脸信息包括所述各个图像中人脸的像素灰度；
训练单元203，用于根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，所述眼球跟踪模型用于识别所述人脸信息中眼球信息；
第一确定单元204，用于将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点；
第二确定单元205，用于获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，并确定所述注视点数量最多的目标区域为视线效果最好的区域。
进一步地，所述第一确定单元204将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点时，具体用于：
将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，得到所述目标图像中的人脸信息；
根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息，所述眼球信息包括眼球区域对应的像素灰度；
根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点。
进一步地，所述第一确定单元204根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息时，具体用于：
根据所述目标图像中的人脸信息，确定所述目标图像中人脸上的所有像素灰度；
基于所述目标图像中人脸上的所有像素灰度从所述目标图像的人脸上确定与预设的眼球像素灰度对应的眼球区域，并获取所述眼球区域对应的眼球信息。
进一步地，所述眼球区域包括眼白区域和眼仁区域；所述第一确定单元204基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域时，具体用于：
从所述眼球区域中提取与所述预设的眼白像素灰度对应的第一像素灰度区域，并确定所述第一像素灰度区域为眼白区域；以及，
从所述眼球区域中提取与所述预设的眼仁像素灰度对应的第二像素灰度区域，并确定所述第二像素灰度区域为眼仁区域。
进一步地，所述眼球区域还包括瞳孔中心；所述第一确定单元204基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域时，具体用于：
获取所述眼白区域的像素灰度和所述眼仁区域的像素灰度；
根据所述眼白区域的像素灰度和所述眼仁区域的像素灰度，从所述眼白区域和所述眼仁区域中确定最大像素灰度对应的区域为瞳孔中心。
进一步地，所述第一确定单元204根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点时，具体用于：
获取连续两帧目标图像的瞳孔中心，并确定所述连续两帧目标图像的瞳孔中心所处的位置信息；
将所述连续两帧目标图像的瞳孔中心所处的位置信息进行对比，以确定出所述连续两帧目标图像的瞳孔中心的相对位移方向；
根据所述相对位移方向确定所述眼球视线的移动方向，并根据所述眼球视线移动方向确定所述眼球视线在所述数据分析设备上的注视点。
进一步地，所述训练单元203在根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型时，具体用于：
对所述人脸信息中眼球信息添加标注；
建立眼球信息与眼球视线的注视点的映射关系；
将所述添加标注的人脸信息作为训练集输入所述眼球跟踪模型，以根据所述眼球跟踪模型识别出的眼球信息和所述建立的眼球信息与眼球视线的注视点的映射关系对所述眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型。
本发明实施例中，数据分析设备可以获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像，并基于图像识别模型对训练图像集合中的图像进行识别，得到训练图像集合中各个图像的人脸信息，以及根据人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，将待识别的目标图像输入引入人脸信息的眼球跟踪模型，以确定目标图像中人脸的眼球视线在数据分析设备上的注视点，通过获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，确定所述注视点数量最多的目标区域为视线效果最好的区域。通过这种实施方式，可以通过普通拍摄装置采集的数据识别眼球视线的注视点，降低了设备成本，提高了识别眼球视线的效率。
参见图3，图3是本发明实施例提供的一种服务器的示意框图。如图所示的本实施例中的服务器可以包括：一个或多个处理器301；一个或多个输入设备302，一个或多个输出设备303和存储器304。上述处理器301、输入设备302、输出设备303和存储器304通过总线305连接。存储器304用于存储计算机程序，所述计算机程序包括程序，处理器301用于执行存储器304存储的程序。其中，处理器301被配置用于调用所述程序执行：
获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像；
对所述训练图像集合中的图像进行图像识别，得到所述训练图像集合中各个图像的人脸信息，所述人脸信息包括所述各个图像中人脸的像素灰度；
根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，所述眼球跟踪模型用于识别所述人脸信息中眼球信息；
将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点；
获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，并确定所述注视点数量最多的目标区域为视线效果最好的区域。
进一步地，所述处理器301将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点时，具体用于：
将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，得到所述目标图像中的人脸信息；
根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息，所述眼球信息包括眼球区域对应的像素灰度；
根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点。
进一步地，所述处理器301根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息时，具体用于：
根据所述目标图像中的人脸信息，确定所述目标图像中人脸上的所有像素灰度；
基于所述目标图像中人脸上的所有像素灰度从所述目标图像的人脸上确定与预设的眼球像素灰度对应的眼球区域，并获取所述眼球区域对应的眼球信息。
进一步地，所述眼球区域包括眼白区域和眼仁区域；所述处理器301基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域时，具体用于：
从所述眼球区域中提取与所述预设的眼白像素灰度对应的第一像素灰度区域，并确定所述第一像素灰度区域为眼白区域；以及，
从所述眼球区域中提取与所述预设的眼仁像素灰度对应的第二像素灰度区域，并确定所述第二像素灰度区域为眼仁区域。
进一步地，所述眼球区域还包括瞳孔中心；所述处理器301基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域时，具体用于：
获取所述眼白区域的像素灰度和所述眼仁区域的像素灰度；
根据所述眼白区域的像素灰度和所述眼仁区域的像素灰度，从所述眼白区域和所述眼仁区域中确定最大像素灰度对应的区域为瞳孔中心。
进一步地，所述处理器301根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点时，具体用于：
获取连续两帧目标图像的瞳孔中心，并确定所述连续两帧目标图像的瞳孔中心所处的位置信息；
将所述连续两帧目标图像的瞳孔中心所处的位置信息进行对比，以确定出所述连续两帧目标图像的瞳孔中心的相对位移方向；
根据所述相对位移方向确定所述眼球视线的移动方向，并根据所述眼球视线移动方向确定所述眼球视线在所述数据分析设备上的注视点。
进一步地，所述处理器301根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型时，具体用于：
对所述人脸信息中眼球信息添加标注；
建立眼球信息与眼球视线的注视点的映射关系；
将所述添加标注的人脸信息作为训练集输入所述眼球跟踪模型，以根据所述眼球跟踪模型识别出的眼球信息和所述建立的眼球信息与眼球视线的注视点的映射关系对所述眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型。
本发明实施例中，服务器可以获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像，并基于图像识别模型对训练图像集合中的图像进行识别，得到训练图像集合中各个图像的人脸信息，以及根据人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，将待识别的目标图像输入引入人脸信息的眼球跟踪模型，以确定目标图像中人脸的眼球视线在数据分析设备上的注视点，通过获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，确定所述注视点数量最多的目标区域为视线效果最好的区域。通过这种实施方式，可以通过普通拍摄装置采集的数据识别眼球视线的注视点，降低了设备成本，提高了识别眼球视线的效率。
应当理解，在本发明实施例中，所称处理器301可以是中央处理单元(CenSralProcessing UniS，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigiSalSignal Processor，DSP)、专用集成电路(ApplicaSion Specific InSegraSed CircuiS，ASIC)、现成可编程门阵列(Field-Programmable GaSe Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备302可以包括触控板、麦克风等，输出设备303可以包括显示器(LCD等)、扬声器等。
该存储器304可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。存储器304的一部分还可以包括非易失性随机存取存储器。例如，存储器304还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器301、输入设备302、输出设备303可执行本发明实施例提供的图1所述的方法实施例中所描述的实现方式，也可执行本发明实施例图2所描述的数据分析设备的实现方式，在此不再赘述。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现图1所对应实施例中描述的多媒体数据分析方法，也可实现本发明图2所对应实施例的数据分析设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的数据分析设备的内部存储单元，例如数据分析设备的硬盘或内存。所述计算机可读存储介质也可以是所述数据分析设备的外部存储设备，例如所述数据分析设备上配备的插接式硬盘，智能存储卡(SmarSMedia Card,SMC)，安全数字(Secure DigiSal,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述数据分析设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述数据分析设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种多媒体数据分析方法，其特征在于，包括：
获取训练图像集合，所述训练图像集合中包括数据分析设备上的拍摄装置采集到的多张图像；
对所述训练图像集合中的图像进行图像识别，得到所述训练图像集合中各个图像的人脸信息，所述人脸信息包括所述各个图像中人脸的像素灰度；
根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，所述眼球跟踪模型用于识别所述人脸信息中眼球信息；
将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点；
获取在预设时间范围内所述数据分析设备上各个区域的注视点数量，并确定所述注视点数量最多的目标区域为视线效果最好的区域。
2.根据权利要求1所述的方法，其特征在于，所述将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，以确定所述目标图像中人脸的眼球视线在所述数据分析设备上的注视点，包括：
将待识别的目标图像输入所述引入人脸信息的眼球跟踪模型，得到所述目标图像中的人脸信息；
根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息，所述眼球信息包括眼球区域对应的像素灰度；
根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标图像中的人脸信息，确定所述目标图像中人脸信息对应的眼球信息，包括：
根据所述目标图像中的人脸信息，确定所述目标图像中人脸上的所有像素灰度；
基于所述目标图像中人脸上的所有像素灰度从所述目标图像的人脸上确定与预设的眼球像素灰度对应的眼球区域，并获取所述眼球区域对应的眼球信息。
4.根据权利要求3所述的方法，其特征在于，所述眼球区域包括眼白区域和眼仁区域；所述基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域，包括：
从所述眼球区域中提取与所述预设的眼白像素灰度对应的第一像素灰度区域，并确定所述第一像素灰度区域为眼白区域；以及，
从所述眼球区域中提取与所述预设的眼仁像素灰度对应的第二像素灰度区域，并确定所述第二像素灰度区域为眼仁区域。
5.根据权利要求4所述的方法，其特征在于，所述眼球区域还包括瞳孔中心；所述基于所述目标图像中人脸上的所有像素灰度从所述人脸上确定与预设的眼球像素灰度对应的眼球区域，包括：
获取所述眼白区域的像素灰度和所述眼仁区域的像素灰度；
根据所述眼白区域的像素灰度和所述眼仁区域的像素灰度，从所述眼白区域和所述眼仁区域中确定最大像素灰度对应的区域为瞳孔中心。
6.根据权利要求5所述的方法，其特征在于，所述根据所述眼球信息对所述目标图像中人脸的眼球视线进行定位处理，以确定所述眼球视线在所述数据分析设备上的注视点，包括：
获取连续两帧目标图像的瞳孔中心，并确定所述连续两帧目标图像的瞳孔中心所处的位置信息；
将所述连续两帧目标图像的瞳孔中心所处的位置信息进行对比，以确定出所述连续两帧目标图像的瞳孔中心的相对位移方向；
根据所述相对位移方向确定所述眼球视线的移动方向，并根据所述眼球视线移动方向确定所述眼球视线在所述数据分析设备上的注视点。
7.根据权利要求1所述的方法，其特征在于，所述根据所述人脸信息对眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型，包括：
对所述人脸信息中眼球信息添加标注；
建立眼球信息与眼球视线的注视点的映射关系；
将所述添加标注的人脸信息作为训练集输入所述眼球跟踪模型，以根据所述眼球跟踪模型识别出的眼球信息和所述建立的眼球信息与眼球视线的注视点的映射关系对所述眼球跟踪模型进行训练，得到引入人脸信息的眼球跟踪模型。
8.一种数据分析设备，其特征在于，包括用于执行如权利要求1-7任一项权利要求所述的方法的单元。
9.一种服务器，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-7任一项所述的方法。
CN202010471445.3A 2020-05-29 2020-05-29 一种多媒体数据分析方法、设备、服务器及可读存储介质 Pending CN111639702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010471445.3A CN111639702A (zh) 2020-05-29 2020-05-29 一种多媒体数据分析方法、设备、服务器及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010471445.3A CN111639702A (zh) 2020-05-29 2020-05-29 一种多媒体数据分析方法、设备、服务器及可读存储介质

Publications (1)

Publication Number Publication Date
CN111639702A true CN111639702A (zh) 2020-09-08

Family

ID=72332355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010471445.3A Pending CN111639702A (zh) 2020-05-29 2020-05-29 一种多媒体数据分析方法、设备、服务器及可读存储介质

Country Status (1)

Country Link
CN (1) CN111639702A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712392A (zh) * 2020-12-31 2021-04-27 京东数字科技控股股份有限公司 消息推送方法、装置、电子设备及存储介质
CN113115086A (zh) * 2021-04-16 2021-07-13 安乐 基于视频视线识别对电梯媒体收视信息进行采集的方法
CN113269044A (zh) * 2021-04-27 2021-08-17 青岛小鸟看看科技有限公司 头戴式显示设备的显示控制方法、装置及头戴式显示设备
CN113743254A (zh) * 2021-08-18 2021-12-03 北京格灵深瞳信息技术股份有限公司 视线估计方法、装置、电子设备及存储介质
CN115240263A (zh) * 2022-09-15 2022-10-25 深圳市企鹅网络科技有限公司 一种线上学习有效性判断方法、系统及介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712392A (zh) * 2020-12-31 2021-04-27 京东数字科技控股股份有限公司 消息推送方法、装置、电子设备及存储介质
CN113115086A (zh) * 2021-04-16 2021-07-13 安乐 基于视频视线识别对电梯媒体收视信息进行采集的方法
CN113115086B (zh) * 2021-04-16 2023-09-19 浙江闪链科技有限公司 基于视频视线识别对电梯媒体收视信息进行采集的方法
CN113269044A (zh) * 2021-04-27 2021-08-17 青岛小鸟看看科技有限公司 头戴式显示设备的显示控制方法、装置及头戴式显示设备
CN113743254A (zh) * 2021-08-18 2021-12-03 北京格灵深瞳信息技术股份有限公司 视线估计方法、装置、电子设备及存储介质
CN113743254B (zh) * 2021-08-18 2024-04-09 北京格灵深瞳信息技术股份有限公司 视线估计方法、装置、电子设备及存储介质
CN115240263A (zh) * 2022-09-15 2022-10-25 深圳市企鹅网络科技有限公司 一种线上学习有效性判断方法、系统及介质

Similar Documents

Publication Publication Date Title
CN111639702A (zh) 一种多媒体数据分析方法、设备、服务器及可读存储介质
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
US11056225B2 (en) Analytics for livestreaming based on image analysis within a shared digital environment
US11074436B1 (en) Method and apparatus for face recognition
US20180308114A1 (en) Method, device and system for evaluating product recommendation degree
CN108234591B (zh) 基于身份验证装置的内容数据推荐方法、装置和存储介质
JP6267861B2 (ja) 対話型広告のための使用測定技法およびシステム
US20160191995A1 (en) Image analysis for attendance query evaluation
US20150206000A1 (en) Background analysis of mental state expressions
KR20190020779A (ko) 인게이지먼트값 처리 시스템 및 인게이지먼트값 처리 장치
US20150186912A1 (en) Analysis in response to mental state expression requests
JP2010113313A (ja) 電子広告装置、電子広告方法及びプログラム
CN110738116B (zh) 活体检测方法及装置和电子设备
CN111008542A (zh) 对象专注度分析方法、装置、电子终端及存储介质
CN114066534A (zh) 基于人工智能的电梯广告投送方法、装置、设备及介质
CN113850627A (zh) 电梯广告展示方法、装置和电子设备
CN114100103B (zh) 一种基于关键点识别的跳绳计数检测系统及方法
CN109194952B (zh) 头戴式眼动追踪设备及其眼动追踪方法
CN111860057A (zh) 人脸图像模糊和活体检测方法、装置、存储介质及设备
WO2022041182A1 (zh) 音乐推荐方法和装置
Metsiritrakul et al. UP2U: program for raising awareness of phubbing problem with stimulating social interaction in public using augmented reality and computer vision
KR20140095254A (ko) 디지털 사이니지 광고효과 분석 시스템 및 방법
CN110543813B (zh) 一种基于场景的人脸画像、目光计数方法及系统
CN111028014A (zh) 一种评估资源投放效果的方法及装置
US10755088B2 (en) Augmented reality predictions using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination