CN108966013A - 一种基于全景视频的观众反应评估方法及系统 - Google Patents
一种基于全景视频的观众反应评估方法及系统 Download PDFInfo
- Publication number
- CN108966013A CN108966013A CN201810837747.0A CN201810837747A CN108966013A CN 108966013 A CN108966013 A CN 108966013A CN 201810837747 A CN201810837747 A CN 201810837747A CN 108966013 A CN108966013 A CN 108966013A
- Authority
- CN
- China
- Prior art keywords
- response data
- response
- spectators
- data structure
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供的一种基于全景视频的观众反应评估方法及系统，分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间；将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构；对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；按照时间顺序将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示，有利于根据同步展示的内容分析观众对目标视频的观看体验，进而有利于根据分析结果改进全景视频播放方式，为观众提供更好的观赏体验。
Description
技术领域
本发明涉及数字媒体技术领域，更具体地，涉及一种基于全景视频的观众反应评估方法及系统。
背景技术
随着数字媒体技术的发展，人们的观看表演的方式已经不再限制于现场表演、电视电影或者网络视频。虚拟现实头戴式显示设备以及全景视频拍摄等技术给人们带来了全新的观看体验。全景视频可以将360°的角色、场景、声光效果等表演环境中的所有视觉和听觉信息客观记录并通过头戴式显示设备再现给观众，使得即便是没有机会到现场的观众，也可以获得亲临现场的沉浸式体验。
目前利用全景视频技术和头戴式显示设备录制并回放表演内容的应用逐渐普及，这种方式也开始成为新的表演观赏形式。在这样的观看条件下，需要一种系统性的测量与分析的方法可以用于测量观众反应和观看体验。
媒体观众反应的测量和分析存在不少已有的方法和系统，例如，Latulipe等首先提出了现场表演环境下观众反应测量的方法，结合传统心理学方法和观众流电皮肤反应(GSR)进行测量，研究了GSR与表演内容的相关性；埃姆申塞公司提出了多项对媒体内容的观众反应进行采集和分析的方法与系统。可以看出，现有的观众反应测量与分析方法和系统大多针对于传统播放设备和传统视频，而头戴式显示设备具有远远超过传统视频播放设备的沉浸感和交互性，因此现有的观众反应测量与分析方法和系统并不适用于使用头戴式显示设备观看全景视频的观众。
发明内容
本发明为了克服现有的观众反应测量与分析方法和系统并不适用于使用头戴式显示设备观看全景视频的观众，导致难以对观看全景视频的观众观看体验进行评估的问题，提供一种基于全景视频的观众反应评估方法及系统。
一方面，本发明提供一种基于全景视频的观众反应评估方法，包括：
分别采集目标观众的各个反应数据，并记录每个所述反应数据的采集时间，所述反应数据至少包括生理心理信号数据和动作捕捉数据；
将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；
对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；
按照所有所述反应数据结构对应的采集时间的先后顺序，将所有所述反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示；
其中，所述观众情感反应值包括参与度、唤起度、效价和优势度；所述观众动作反应值包括头部动作、眼部动作和身体动作。
优选地，所述根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，具体为：
利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值；
根据该反应数据结构中的动作捕捉数据获得该反应数据结构对应的观众动作反应值。
优选地，所述分别采集目标观众的各个反应数据，之前还包括：
预先设置多个不同类型的传感器，用于采集所述目标观众的各个反应数据，所述传感器至少包括生理心理信号测量传感器和动作捕捉传感器。
优选地，所述分别采集目标观众的各个反应数据，之后还包括：
对每个所述反应数据进行降噪处理；
对应地，所述将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，具体为：
将同一时间采集的所有降噪处理后的反应数据和对应的采集时间组合成一个反应数据结构。
优选地，所述利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值，之前还包括：
获取多个反应数据结构样本，并对每个所述反应数据结构样本对应的观众情感反应值进行标注，获得多个带标记的训练样本；
利用所述带标记的训练样本对所述预设分类器进行训练。
优选地，所述根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，之后还包括：
将该反应数据结构与该反应数据结构对应的观众情感反应值和观众动作反应值关联存储在观众反应数据库中。
优选地，所述将所有所述反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示，具体为：
将所有所述反应数据结构对应的观众情感反应值和观众动作反应值分别进行可视化，获得至少两条变化曲线；
将所有所述反应数据结构对应的视频内容进行顺序排列，获得视频图像序列；
将所有所述变化曲线和所述视频图像序列进行同步展示。
一方面，本发明提供一种基于全景视频的观众反应评估系统，包括：
数据采集模块，用于分别采集目标观众的各个反应数据，并记录每个所述反应数据的采集时间，所述反应数据至少包括生理心理信号数据和动作捕捉数据；
数据组合模块，用于将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；
反应评估模块，用于对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；
同步展示模块，用于按照所有所述反应数据结构对应的采集时间的先后顺序，将所有所述反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示；
其中，所述观众情感反应值包括参与度、唤起度、效价和优势度；所述观众动作反应值包括头部动作、眼部动作和身体动作。
一方面，本发明提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述任一所述的方法。
一方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一所述的方法。
本发明提供的一种基于全景视频的观众反应评估方法及系统，分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间，反应数据至少包括生理心理信号数据和动作捕捉数据；将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；按照所有反应数据结构对应的采集时间的先后顺序，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示，有利于根据同步展示的内容分析观众对目标视频的观看体验，进而有利于根据分析结果改进全景视频播放方式，增强全景视频表演和观众的交互，同时加强全景视频观看引导，增强观众的关注度，为观众提供更好的观赏体验。
附图说明
图1为本发明实施例的一种基于全景视频的观众反应评估方法的整体流程示意图；
图2为本发明实施例的一种基于全景视频的观众反应评估系统的整体结构示意图；
图3为本发明实施例的一种电子设备的结构框架示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例的一种基于全景视频的观众反应评估方法的整体流程示意图，如图1所示，本发明提供一种基于全景视频的观众反应评估方法，包括：
S1，分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间，反应数据至少包括生理心理信号数据和动作捕捉数据；
具体地，针对通过头戴式显示设备观看全景视频的目标观众，在目标观众观看全景视频的过程中，利用不同类型的采集设备分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间。其中反应数据至少包括生理心理信号数据和动作捕捉数据，其中生理心理信号数据包括脑电信号数据、心电数据、皮电数据和肌电数据等，动作捕捉数据包括头部动作数据、眼部动作数据和身体动作数据等。本实施例中，可以通过脑电测量传感器、心电传感器、皮电传感器和肌电传感器分别采集目标观众的脑电信号数据、心电数据、皮电数据和肌电数据；同时可以通过动作捕捉传感器采集目标观众的头部动作数据、眼部动作数据和身体动作数据。此外，也可以通过其他类型的采集设备采集目标观众的其他反应数据，比如，可以通过拾音器、加速度计、压力传感器和温度传感器等分别采集目标观众的声音数据、加速度数据、压力数据和温度数据等，可以根据实际需求进行设置，此处不做具体限定。
S2，将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；
具体地，在获得目标观众的多个反应数据和对应的采集时间之后，按照各反应数据的采集时间，将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构。由此，针对所有反应数据则可得到对应的多个反应数据结构。在实际应用中，可以按照各反应数据的采集时间，将采集时间相同的所有反应数据组成一个反应数据组合，再将每个反应数据组合与对应的采集时间组合成一个反应数据结构，即可得到多个反应数据结构。
S3，对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；
具体地，在获得多个反应数据结构之后，对于任意一个反应数据结构，由于该反应数据结构中包含了反应数据和采集时间，在此基础上，获取该反应数据结构中的所有反应数据，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值。其中，观众情感反应值包括但不限于参与度、唤起度、效价和优势度，可以根据实际需求进行设置，此处不做具体限定。观众动作反应值包括但不限于头部动作、眼部动作和身体动作，可以根据实际需求进行设置，此处不做具体限定。此外，获取该反应结构对应的采集时间，根据该反应数据结构对应的采集时间在目标视频中提取目标视频在该采集时间对应播放的内容，作为该反应数据结构对应的视频内容。
需要说明的是，参与度为目标观众在某个时刻观看视频的投入程度的量化值；唤起度表示的是情感的激发程度，是从平静到兴奋的区间；效价表示的是目标观众在观看视频时的正负面情感，包括正面观感(如高兴和愉悦等)和负面观感(如愤怒、恐惧和悲伤等)；优势度是指情感属性从支配到顺从，表明受控制的程度。
S4，按照所有反应数据结构对应的采集时间的先后顺序，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示。
具体地，按照上述方法步骤获得所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容之后，按照所有反应数据结构对应的采集时间的先后顺序，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示。即，将所有反应数据结构对应的采集时间进行先后排序，对于排序后的任意一个采集时间，将该采集时间对应的观众情感反应值、观众动作反应值和视频内容进行同步展示。由此，通过同步展示的内容可以直观地看出目标观众在观看目标视频的过程中对于每段视频内容对应的观众情感反应值和观众动作反应值。
其中，观众情感反应值即反映了观众的参与度、唤起度、效价和优势度等；观众动作反应值反映了观众的头部动作、眼部动作和身体动作，且通过观众的头部动作、眼部动作和身体动作可以确定观众对于每段全景视频内容的关注视角。例如，若某个时刻观众的头部动作、眼部动作和身体动作都是向左偏，则可以确定观众对该时刻播放的全景视频内容的左边部分更感兴趣，即关注视角为全景视频内容的左边部分。由此，可以根据同步展示的内容分析观众对目标视频的观看体验，有利于根据分析结果改进全景视频播放方式，增强全景视频表演和观众的交互，同时加强全景视频观看引导，增强观众的关注度，为观众提供更好的观赏体验。
本发明提供的一种基于全景视频的观众反应评估方法，分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间，反应数据至少包括生理心理信号数据和动作捕捉数据；将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；按照所有反应数据结构对应的采集时间的先后顺序，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示，有利于根据同步展示的内容分析观众对目标视频的观看体验，进而有利于根据分析结果改进全景视频播放方式，增强全景视频表演和观众的交互，同时加强全景视频观看引导，增强观众的关注度，为观众提供更好的观赏体验。
基于上述任一实施例，提供一种基于全景视频的观众反应评估方法，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，具体为：利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值；根据该反应数据结构中的动作捕捉数据获得该反应数据结构对应的观众动作反应值。
具体地，一般情况下，观众情感反应值不但可以通过生理心理信息信号数据进行体现，还可以通过动作捕捉数据和其他反应数据(如声音数据等)进行体现，比如，观众兴奋的时候通常会欢呼跳跃。可以看出，观众情感反应值与所有反应数据都存在一定的关联。有鉴于此，本实施例中，对于任意一个反应数据结构，利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值。其中，预设分类器是预先训练好的，预设分类器能够对该反应数据结构中的所有反应数据进行分类，获得该反应数据结构对应的观众情感反应值，观众情感反应值包括但不限于参与度、唤起度、效价和优势度，可以根据实际需求进行设置，此处不做具体限定。
同时，对于任意一个反应数据结构，获取该反应数据结构中的动作捕捉数据，根据动作捕捉数据即可确定观众动作反应值。由于动作捕捉数据中包括头部动作数据、眼部动作数据和身体动作数据等，根据头部动作数据、眼部动作数据和身体动作数据可分别确定观众的头部偏向、眼部偏向和身体偏向，进而可确定观众的关注视角。
本发明提供的一种基于全景视频的观众反应评估方法，利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值；根据该反应数据结构中的动作捕捉数据获得该反应数据结构对应的观众动作反应值，有利于将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示。不仅可以直观地看出目标观众在观看目标视频的过程中对于每段视频内容对应的情感反应，还可以直观地看出目标观众在观看目标视频的过程中对于每段视频内容对应的关注视角。
基于上述任一实施例，提供一种基于全景视频的观众反应评估方法，分别采集目标观众的各个反应数据，之前还包括：预先设置多个不同类型的传感器，用于采集目标观众的各个反应数据，传感器至少包括生理心理信号测量传感器和动作捕捉传感器。
具体地，本实施例中，在分别采集目标观众的各个反应数据之前，需预先设置多个不同类型的传感器，用于采集目标观众的各个反应数据，传感器至少包括生理心理信号测量传感器和动作捕捉传感器。例如，可以在目标观众的头戴式显示设备上安装脑电测量传感器和动作捕捉传感器，由此，可通过脑电测量传感器和动作捕捉传感器分别采集目标观众的脑电信号数据和头部动作数据，其中脑电信号数据属于生理心理信号数据，头部动作数据属于动作捕捉数据。此外，还可以在目标观众的座椅上安装压力传感器和温度传感器，以通过压力传感器和温度传感器分别采集目标观众对应的压力数据和温度数据；同时，还可以在目标观众的手腕上佩戴手环，以通过手环采集目标观众的心跳、体温、皮电、肌电、加速度等反应数据。在实际应用中，可以预先确定反应数据的类型，再根据反应数据的类型布置对应的采集设备，可以根据实际需求进行设置，此处不做具体限定。
本发明提供的一种基于全景视频的观众反应评估方法，在分别采集目标观众的各个反应数据之前，预先设置多个不同类型的传感器，传感器至少包括生理心理信号测量传感器和动作捕捉传感器，有利于通过多个不同类型的传感器采集目标观众的各个反应数据。
基于上述任一实施例，提供一种基于全景视频的观众反应评估方法，分别采集目标观众的各个反应数据，之后还包括：对每个反应数据进行降噪处理；对应地，将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，具体为：将同一时间采集的所有降噪处理后的反应数据和对应的采集时间组合成一个反应数据结构。
具体地，由于采集设备在采集目标观众的反应数据的过程中，容易受到其他电子设备、电磁和目标观众的身体等干扰因素的干扰作用。因此，本实施例中，在利用不同的采集设备分别采集目标观众的各个反应数据之后，需对每个反应数据进行降噪处理。例如，针对脑电信号数据，需要排除由于眼球运动、眨眼和肌电等引起的噪声；针对头部动作数据，需要排除由于加速度计陀螺仪漂移而导致的噪声。此外，对于其他类型的反应数据，可以依据对应的规则对其他反应数据进行降噪处理，可以根据实际需求进行设置，此处不做具体限定。
在对每个反应数据进行降噪处理之后，即可获得每个反应数据对应的降噪处理后的反应数据。在此基础上，再根据每个降噪处理后的反应数据对应的采集时间，将同一时间采集的所有降噪处理后的反应数据和对应的采集时间组合成一个反应数据结构，即可获得多个反应数据结构。
本发明提供的一种基于全景视频的观众反应评估方法，在分别采集目标观众的各个反应数据之后，对每个反应数据进行降噪处理，再将同一时间采集的所有降噪处理后的反应数据和对应的采集时间组合成一个反应数据结构。该方法通过对每个反应数据进行降噪处理，有利于排除其他干扰因素对反应数据的干扰，确保了反应数据的准确性。
基于上述任一实施例，提供一种基于全景视频的观众反应评估方法，利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值，之前还包括：获取多个反应数据结构样本，并对每个反应数据结构样本对应的观众情感反应值进行标注，获得多个带标记的训练样本；利用带标记的训练样本对预设分类器进行训练。
具体地，在利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值之前，还需对预设分类器进行训练。具体实现过程如下：
首先选取一批观众，利用各类采集设备采集每个观众的反应数据，其中反应数据至少包括生理心理信号数据和动作捕捉数据。将同一时间采集的同一观众的所有反应数据和对应的采集时间作为一个反应数据结构样本，由此，可获得多个反应数据结构样本。在此基础上，对每个反应数据结构样本对应的观众情感反应值进行标注，可以采用人工进行手工标注，也可以采用其他标注方式，可以根据实际需求进行设置，此处不做具体限定。将标注后的每个反应数据结构样本作为一个带标记的训练样本，即可获得多个带标记的训练样本。最终，利用所有带标记的训练样本对预设分类器进行训练，在训练的过程中，可以预先设置一个目标误差，使得预设分类器在训练的过程中将实际误差朝着目标误差的方向进行收敛，若预设分类器的输出结果与实际结果之间的实际误差不大于目标误差时，则完成对预设分类器的训练。
本发明提供的一种基于全景视频的观众反应评估方法，利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值之前，还需获取多个反应数据结构样本，并对每个反应数据结构样本对应的观众情感反应值进行标注，获得多个带标记的训练样本，利用带标记的训练样本对预设分类器进行训练。该方法利用机器学习的方法预先训练预设分类器，有利于直接利用预设分类器确定各反应数据结构对应的观众情感反应值，有效提高了观众反应评估结果的准确性。
基于上述任一实施例，提供一种基于全景视频的观众反应评估方法，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，之后还包括：将该反应数据结构与该反应数据结构对应的观众情感反应值和观众动作反应值关联存储在观众反应数据库中。
具体地，在根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值之后，将该反应数据结构与该反应数据结构对应的观众情感反应值和观众动作反应值关联存储在观众反应数据库中。由此，后续在对其他目标观众的观众反应进行评估时，在获得目标观众对应的反应数据结构之后，可以先从观众反应数据库中查询是否存在相同的反应数据结构，若存在相同的反应数据结构，则可直接从观众反应数据库中获取该反应数据结构对应的观众情感反应值和观众动作反应值，无需重新进行计算。
本发明提供的一种基于全景视频的观众反应评估方法，在根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值之后，将该反应数据结构与该反应数据结构对应的观众情感反应值和观众动作反应值关联存储在观众反应数据库中。有利于在后续对其他目标观众的反应进行评估时，可以直接从观众反应数据库中查询反应数据结构对应的观众情感反应值和观众动作反应值，无需重新进行计算，在有效减少观众反应评估过程中的计算工作的同时，还能够确保评估结果的准确性。
基于上述任一实施例，提供一种基于全景视频的观众反应评估方法，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示，具体为：将所有反应数据结构对应的观众情感反应值和观众动作反应值分别进行可视化，获得至少两条变化曲线；将所有反应数据结构对应的视频内容进行顺序排列，获得视频图像序列；将所有变化曲线和视频图像序列进行同步展示。
具体地，本实施例中，在获得所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容之后，可以以时间轴为横坐标，以观众情感反应值为纵坐标，建立目标坐标系，再按照所有反应数据结构对应的采集时间将所有反应数据结构对应的观众情感反应值映射到目标坐标系中，即可将所有反应数据结构对应的观众情感反应值转换成目标坐标系中的各可视化点。在此基础上，将目标坐标系中的各可视化点进行连接，即可获得体现观众情感反应值变化情况的变化曲线。同理，还可获得体现观众动作反应值变化情况的变化曲线。其中，观众情感反应值包括参与度、唤起度、效价和优势度等，观众动作反应值包括头部动作、眼部动作和身体动作等。本实施例中，针对每种类型的观众情感反应值和观众动作反应值均可获得对应的变化曲线，因此总共可获得至少两条变化曲线。
同时，按照时间顺序将所有反应数据结构对应的视频内容进行顺序排列，获得视频图像序列。最终，将获得的所有变化曲线和视频图像序列进行同步展示，即可实现将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示。
本发明提供的一种基于全景视频的观众反应评估方法，将所有反应数据结构对应的观众情感反应值和观众动作反应值分别进行可视化，获得至少两条变化曲线；将所有反应数据结构对应的视频内容进行顺序排列，获得视频图像序列；将所有变化曲线和视频图像序列进行同步展示。该方法有利于根据同步展示的内容分析观众对目标视频的观看体验，进而有利于根据分析结果改进全景视频播放方式，增强全景视频表演和观众的交互，同时加强全景视频观看引导，增强观众的关注度，为观众提供更好的观赏体验。
图2为本发明实施例的一种基于全景视频的观众反应评估系统的整体结构示意图，如图2所示，基于上述任一实施例，提供一种基于全景视频的观众反应评估系统，包括：
数据采集模块1，用于分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间，反应数据至少包括生理心理信号数据和动作捕捉数据；
数据组合模块2，用于将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；
反应评估模块3，用于对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；
同步展示模块4，用于按照所有反应数据结构对应的采集时间的先后顺序，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示。
具体地，本发明提供一种基于全景视频的观众反应评估系统，包括数据采集模块1、数据组合模块2、反应评估模块3和同步展示模块4，通过各模块之间的配合实现上述任一方法实施例中的方法，具体实现请参见上述方法实施例，此处不再赘述。
本发明提供的一种基于全景视频的观众反应评估系统，分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间，反应数据至少包括生理心理信号数据和动作捕捉数据；将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；按照所有反应数据结构对应的采集时间的先后顺序，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示，有利于根据同步展示的内容分析观众对目标视频的观看体验，进而有利于根据分析结果改进全景视频播放方式，增强全景视频表演和观众的交互，同时加强全景视频观看引导，增强观众的关注度，为观众提供更好的观赏体验。
图3示出本发明实施例的一种电子设备的结构框图。参照图3，所述电子设备，包括：处理器(processor)31、存储器(memory)32和总线33；其中，所述处理器31和存储器32通过所述总线33完成相互间的通信；所述处理器31用于调用所述存储器32中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间，反应数据至少包括生理心理信号数据和动作捕捉数据；将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；按照所有反应数据结构对应的采集时间的先后顺序，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间，反应数据至少包括生理心理信号数据和动作捕捉数据；将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；按照所有反应数据结构对应的采集时间的先后顺序，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：分别采集目标观众的各个反应数据，并记录每个反应数据的采集时间，反应数据至少包括生理心理信号数据和动作捕捉数据；将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；按照所有反应数据结构对应的采集时间的先后顺序，将所有反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于全景视频的观众反应评估方法，其特征在于，包括：
分别采集目标观众的各个反应数据，并记录每个所述反应数据的采集时间，所述反应数据至少包括生理心理信号数据和动作捕捉数据；
将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；
对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；
按照所有所述反应数据结构对应的采集时间的先后顺序，将所有所述反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示；
其中，所述观众情感反应值包括参与度、唤起度、效价和优势度；所述观众动作反应值包括头部动作、眼部动作和身体动作。
2.根据权利要求1所述的方法，其特征在于，所述根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，具体为：
利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值；
根据该反应数据结构中的动作捕捉数据获得该反应数据结构对应的观众动作反应值。
3.根据权利要求1所述的方法，其特征在于，所述分别采集目标观众的各个反应数据，之前还包括：
预先设置多个不同类型的传感器，用于采集所述目标观众的各个反应数据，所述传感器至少包括生理心理信号测量传感器和动作捕捉传感器。
4.根据权利要求1所述的方法，其特征在于，所述分别采集目标观众的各个反应数据，之后还包括：
对每个所述反应数据进行降噪处理；
对应地，所述将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，具体为：
将同一时间采集的所有降噪处理后的反应数据和对应的采集时间组合成一个反应数据结构。
5.根据权利要求2所述的方法，其特征在于，所述利用预设分类器根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值，之前还包括：
获取多个反应数据结构样本，并对每个所述反应数据结构样本对应的观众情感反应值进行标注，获得多个带标记的训练样本；
利用所述带标记的训练样本对所述预设分类器进行训练。
6.根据权利要求1所述的方法，其特征在于，所述根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，之后还包括：
将该反应数据结构与该反应数据结构对应的观众情感反应值和观众动作反应值关联存储在观众反应数据库中。
7.根据权利要求1所述的方法，其特征在于，所述将所有所述反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示，具体为：
将所有所述反应数据结构对应的观众情感反应值和观众动作反应值分别进行可视化，获得至少两条变化曲线；
将所有所述反应数据结构对应的视频内容进行顺序排列，获得视频图像序列；
将所有所述变化曲线和所述视频图像序列进行同步展示。
8.一种基于全景视频的观众反应评估系统，其特征在于，包括：
数据采集模块，用于分别采集目标观众的各个反应数据，并记录每个所述反应数据的采集时间，所述反应数据至少包括生理心理信号数据和动作捕捉数据；
数据组合模块，用于将同一时间采集的所有反应数据和对应的采集时间组合成一个反应数据结构，得到多个反应数据结构；
反应评估模块，用于对于任意一个反应数据结构，根据该反应数据结构中的所有反应数据获得该反应数据结构对应的观众情感反应值和观众动作反应值，并根据该反应数据结构对应的采集时间在目标视频中提取该反应数据结构对应的视频内容；
同步展示模块，用于按照所有所述反应数据结构对应的采集时间的先后顺序，将所有所述反应数据结构对应的观众情感反应值、观众动作反应值和视频内容进行同步展示；
其中，所述观众情感反应值包括参与度、唤起度、效价和优势度；所述观众动作反应值包括头部动作、眼部动作和身体动作。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810837747.0A CN108966013A (zh) | 2018-07-26 | 2018-07-26 | 一种基于全景视频的观众反应评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810837747.0A CN108966013A (zh) | 2018-07-26 | 2018-07-26 | 一种基于全景视频的观众反应评估方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108966013A true CN108966013A (zh) | 2018-12-07 |
Family
ID=64463996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810837747.0A Pending CN108966013A (zh) | 2018-07-26 | 2018-07-26 | 一种基于全景视频的观众反应评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108966013A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977789A (zh) * | 2019-03-04 | 2019-07-05 | 深圳市鸿彩展示器材有限公司 | 路演效果评估方法、装置、计算机设备及其存储介质 |
| CN110008874A (zh) * | 2019-03-25 | 2019-07-12 | 联想(北京)有限公司 | 数据处理方法及其装置、计算机系统及可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1478239A (zh) * | 2000-06-27 | 2004-02-25 | �ʼҷ����ֵ�������˾ | 用于调整呈现给观众的信息内容的方法和装置 |
| CN1586078A (zh) * | 2001-11-13 | 2005-02-23 | 皇家飞利浦电子股份有限公司 | 情感电视监视和控制 |
| CN103169485A (zh) * | 2013-02-01 | 2013-06-26 | 广东平成广告有限公司 | 一种基于视频的认知曲线生成系统和生成方法 |
| US20140157294A1 (en) * | 2012-12-05 | 2014-06-05 | Samsung Electronics Co., Ltd. | Content providing apparatus, content providing method, image displaying apparatus, and computer-readable recording medium |
| CN107609334A (zh) * | 2017-09-20 | 2018-01-19 | 北京理工大学 | 一种现场观众反应分析系统及方法 |
-
2018
- 2018-07-26 CN CN201810837747.0A patent/CN108966013A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1478239A (zh) * | 2000-06-27 | 2004-02-25 | �ʼҷ����ֵ�������˾ | 用于调整呈现给观众的信息内容的方法和装置 |
| CN1586078A (zh) * | 2001-11-13 | 2005-02-23 | 皇家飞利浦电子股份有限公司 | 情感电视监视和控制 |
| US20140157294A1 (en) * | 2012-12-05 | 2014-06-05 | Samsung Electronics Co., Ltd. | Content providing apparatus, content providing method, image displaying apparatus, and computer-readable recording medium |
| CN103169485A (zh) * | 2013-02-01 | 2013-06-26 | 广东平成广告有限公司 | 一种基于视频的认知曲线生成系统和生成方法 |
| CN107609334A (zh) * | 2017-09-20 | 2018-01-19 | 北京理工大学 | 一种现场观众反应分析系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977789A (zh) * | 2019-03-04 | 2019-07-05 | 深圳市鸿彩展示器材有限公司 | 路演效果评估方法、装置、计算机设备及其存储介质 |
| CN109977789B (zh) * | 2019-03-04 | 2023-07-07 | 深圳市鸿彩展示器材有限公司 | 路演效果评估方法、装置、计算机设备及其存储介质 |
| CN110008874A (zh) * | 2019-03-25 | 2019-07-12 | 联想(北京)有限公司 | 数据处理方法及其装置、计算机系统及可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109298779B (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
| JP4063532B2 (ja) | 眼球追跡データを分析するシステムおよび方法およびコンピュータ読み取り可能な情報記憶媒体 | |
| JP7427611B2 (ja) | ユーザの注意力を決定するコンピュータ実装システム及び方法 | |
| CN108542404B (zh) | 注意力评估装置、vr设备及可读存储介质 | |
| EP3998596A1 (en) | Augmented reality simulator for professional and educational training | |
| US20100211966A1 (en) | View quality judging device, view quality judging method, view quality judging program, and recording medium | |
| CN109842453A (zh) | 通过观众反馈的广告选择 | |
| US20180060757A1 (en) | Data annotation method and apparatus for enhanced machine learning | |
| CN114209324B (zh) | 基于图像视觉认知的心理测评数据获取方法及vr系统 | |
| Westlund et al. | Motion Tracker: Camera-based monitoring of bodily movements using motion silhouettes | |
| Sundstedt et al. | Visual attention and gaze behavior in games: An object-based approach | |
| CN107609334A (zh) | 一种现场观众反应分析系统及方法 | |
| WO2019086856A1 (en) | Systems and methods for combining and analysing human states | |
| JP6830829B2 (ja) | プログラム、表示装置、表示方法、放送システム及び放送方法 | |
| KR102466438B1 (ko) | 인지 기능 평가 시스템 및 인지 기능 평가 방법 | |
| Jensenius | Methods for studying music-related body motion | |
| US20210249032A1 (en) | Processing Audio Information | |
| Angelini et al. | Towards an emotionally augmented metaverse: a framework for recording and analysing physiological data and user behaviour | |
| CN108966013A (zh) | 一种基于全景视频的观众反应评估方法及系统 | |
| JP2008046801A (ja) | 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム | |
| US10902829B2 (en) | Method and system for automatically creating a soundtrack to a user-generated video | |
| Steptoe et al. | Multimodal data capture and analysis of interaction in immersive collaborative virtual environments | |
| WO2020085581A1 (ko) | 영상평가시스템 및 영상평가방법 | |
| JP2005044150A (ja) | データ収集装置 | |
| Cruz et al. | Monitoring physiology and behavior using Android in phobias |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |
|
| RJ01 | Rejection of invention patent application after publication |