CN114298921A - 一种基于客观内容驱动的评估观众视觉注意效果的方法 - Google Patents
一种基于客观内容驱动的评估观众视觉注意效果的方法 Download PDFInfo
- Publication number
- CN114298921A CN114298921A CN202111503407.2A CN202111503407A CN114298921A CN 114298921 A CN114298921 A CN 114298921A CN 202111503407 A CN202111503407 A CN 202111503407A CN 114298921 A CN114298921 A CN 114298921A
- Authority
- CN
- China
- Prior art keywords
- interest
- region
- visual attention
- fixation
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000000694 effects Effects 0.000 title claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 63
- 238000010586 diagram Methods 0.000 claims abstract description 34
- 238000010219 correlation analysis Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000013461 design Methods 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 11
- 230000003631 expected effect Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 abstract description 19
- 238000004458 analytical method Methods 0.000 abstract description 15
- 230000003935 attention Effects 0.000 description 111
- 230000007246 mechanism Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 5
- 230000004424 eye movement Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000000977 primary visual cortex Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种基于客观内容驱动的评估观众视觉注意效果的方法，包括：a.确定全局对比度S(Pk)，确定局部对比度S(h)以及与局部对比度S(h)相适应的图像显著图，b.确定注视比例K，确定注视过程比例L，基于视线在兴趣区内的注视时长Si，d(t)与视线在总兴趣区的注视时长T1的比值确定兴趣区的感兴趣程度V，基于视线首次进入兴趣区时长t0与视线总注视时长t的比值确定兴趣区域的凸显程度R，基于视觉追踪设备、显示载体及处理单元确定感兴趣区域的热力图；c.确定视觉注意数值，基于视觉注意数值完成对局部对比度S(h)与观众视觉注意的相关性分析及全局对比度S(Pk)与观众视觉注意的相关性分析。本发明功能强大，具有极高的商业价值。
Description
技术领域
本发明涉及基于图像的观众行为分析领域，具体地，涉及一种基于客观内容驱动的评估观众视觉注意效果的方法。
背景技术
在纷扰复杂的外界场景中，人类视觉总能快速定位重要的目标区域并进行细致的分析，而对其他区域仅仅进行粗略分析甚至忽略，这种主动选择性的心理活动被称为视觉关注机制。自底向上的视觉注意机制在初级视觉皮层自动生成，不需要任务或者目标的先验知识指导，通过数据驱动，完全依赖于视觉刺激，人眼对于图像中的特殊区域更为关注，尤其是颜色，方向，亮度等初级视觉特征。
早期的研究说明了在人类的视觉选择性注意中，像亮度，颜色，边缘方向以及动作这些因素发挥了重要的决定作用。具有高亮度对比，鲜亮的颜色，规则的边缘或者特别的动作的那些区域总是能够比其他普通区域得到了更多的关注。基本的视觉特征能够决定眼睛的“迷恋区域”。
自下而上的引导主要来自于图像中数据本身的显著性，这种显著性进一步分为自显著性和相对显著性，图像中区域/物体在预注意阶段通过自身数据的协同合作形成自显著性，通过与周围区域/物体的竟争形成相对显著性，然后“跳出”图像。
数据驱动的注意机制对输入的图像首先提取一些低级的视觉特征，例如颜色，亮度，方向，针对每一类的特征构造生成相关的显著图，整合显著图得到最终的显著图就是引起人类注意的目标。
如何评估基于客观内容驱动的自底向上观众视觉注意效果，如何基于所述观众视觉注意数值完成对局部对比度与观众视觉注意的相关性分析以及全局对比度与观众视觉注意的相关性分析，如何基于评估结果对观众视觉注意效果是否达到预期进行判断，如何基于评估结果对面向观众的展示屏中局部或全局图像进行调整成为了目前亟待解决的技术问题，而目前，市场上并没有一种能够有效解决上述问题的具体办法，尤其涉及一种基于客观内容驱动的评估观众视觉注意效果的方法。
发明内容
针对现有技术存在的技术缺陷，本发明的目的是提供了一种基于客观内容驱动的评估观众视觉注意效果的方法，其用于对观众观感行为进行量化和测评，为场馆体验提供技术解决方案，包括如下步骤：
a.基于LC算法确定全局对比度S(Pk)，基于AC算法确定局部对比度S(h)以及与所述局部对比度S(h)相适应的图像显著图，其中，所述Pk表示图像W中某一像素，所述h表示Q1、Q2的中心，所述Q1为感知单元，所述Q2为其邻域，
b.基于兴趣区内的注视点数ET与总注视点数EP的比值确定注视比例K，基于兴趣区内的注视过程点数ZT与总注视过程点数ZP的比值确定注视过程比例L，基于视线在兴趣区内的注视时长Si，d(t)与视线在总兴趣区的注视时长T1的比值确定兴趣区的感兴趣程度V，基于视线首次进入兴趣区时长t0与视线总注视时长t的比值确定兴趣区域的凸显程度R，基于视觉追踪设备、显示载体及处理单元确定感兴趣区域的热力图，其中，所述兴趣区为注视时间超过3秒的注视区域；
c.基于SPSS软件对注视比例K、注视过程比例L、兴趣区的感兴趣程度V以及兴趣区域的凸显程度R进行计算分析并确定观众视觉注意数值，基于所述观众视觉注意数值完成对局部对比度S(h)与观众视觉注意的相关性分析以及全局对比度S(Pk)与观众视觉注意的相关性分析，其中，若局部对比度S(h)与观众视觉注意的相关性强于全局对比度S(Pk)与观众视觉注意的相关性，将侧重于局部对比度图片设计方向指导，若局部对比度S(h)与观众视觉注意的相关性弱于全局对比度S(Pk)与观众视觉注意的相关性，将侧重于全局对比度图片设计方向指导，
d.利用SSIM算法，从亮度、对比度、结构三个维度分析所述图像显著图与所述感兴趣区域的热力图的相似度M(x，y)，其中，
基于评估结果对观众视觉注意效果是否达到预期进行判断，
若0≤M(x，y)＜0.6，即观众视觉注意效果差，展览展示没有达到预期的效果；
若0.6≤M(x，y)＜0.8，即观众视觉注意效果一般，基本达到展览展示预期的效果；
若0.8≤M(x，y)≤1，即观众视觉注意效果好，已达到展览展示预期的效果。
优选地，在所述步骤a之前，还包括步骤：实时获取观众在场馆内观看图像时的视觉注意信息，所述视觉注意信息至少包括注视点时间戳、注视过程点时间、注视点横纵坐标、注视过程点横纵坐标。
优选地，在所述步骤a中，所述全局对比度S(Pk)通过如下公式确定：
所述局部对比度S(h)通过如下公式确定：
其中，所述h表示Q1、Q2的中心，所述Q1为感知单元，所述Q2为其邻域，将Q1、Q2所包含的所有像素的特征值的平均值分别作为Q1、Q2的特征值，其中d为欧氏距离，M1、M2分别是Q1、Q2中的像素个数，Vk是k这个位置的特征值或特征向量，
其中，基于多个Q2取值作为尺度标准的Q1所对应的特征显著图确定与所述局部对比度S(h)相适应的图像显著图。
优选地，在所述步骤b中，所述兴趣区内的注视点数ET、所述总注视点数EP、所述兴趣区内的注视过程点数ZT以及所述总注视过程点数ZP的计算公式如下：
优选地，在所述步骤b中，视线在单个兴趣区内的注视时长Si，d(t)、视线在总兴趣区的注视时长T1的计算公式如下：
Si，d(t)＝t1-t0，
其中，单个感兴趣区域S(x，y)的计算公式为：
t1为离开兴趣区的时刻，t0为视线首次进入兴趣区的时刻，mt为注视点数，w、h为视觉中心的宽与高。
优选地，在所述步骤b中，基于注视比例K、注视过程比例L、兴趣区的感兴趣程度V以及兴趣区域的凸显程度R进行评估并确定感兴趣区域的热力图P2。
优选地，在所述步骤c中，通过数据的归一化处理并基于SPSS软件对注视比例K、注视过程比例L、兴趣区的感兴趣程度V以及兴趣区域的凸显程度R进行计算分析并确定观众视觉注意数值，其中，所述数据的归一化处理包括：
y＝(x-min(x))/(max(x)-min(x))，其中，x为原始数据，y为与x对应的归一化后的数值。
优选地，所述步骤d包括如下步骤：
d1：确定所述显著图P1与感兴趣区域的热力图P2的亮度对比函数T(x，y)；
d2：确定所述显著图P1与感兴趣区域的热力图P2的对比度函数S(x，y)；
d3：确定所述显著图P1与感兴趣区域的热力图P2的结构对比函数U(x，y)；
d4：确定所述显著图P1与感兴趣区域的热力图P2的相似度函数M(x，y)。
优选地，在所述步骤d1中，所述亮度对比函数T(x，y)通过如下公式确定：
其中，μx为显著图P1的平均灰度值，μy为感兴趣区域的热力图P2的平均灰度值，C1取值0.01。
优选地，在所述步骤d2中，所述对比度函数S(x，y)通过如下公式确定：
其中，δx为显著图P1的灰度标准差，δy为感兴趣区域的热力图P2的灰度标准差，C2取值0.03。
优选地，在所述步骤d3中，所述结构对比函数U(x，y)通过如下公式确定：
其中，δx为显著图P1的灰度标准差，δy为感兴趣区域的热力图P2的灰度标准差，C3取值0.015。
优选地，在所述步骤d4中，所述相似度函数M(x，y)通过如下公式确定：
μx为显著图P1的平均灰度值，μy为感兴趣区域的热力图P2的平均灰度值，C1取值0.01，δx为显著图P1的灰度标准差，δy为感兴趣区域的热力图P2的灰度标准差，C2取值0.03。
本发明基于视觉显著性产生机制构建了客观内容驱动的自底向上视觉显著性模型，一方面可获得图像的视觉显著度，另一方面可获得基于图像本身显著特性的显著图。同时基于视觉注意机制，构建了观众视觉注意评估模型，一方面可获得观众的注意力集中度以及关注度，进而获得观众视觉注意，另一方面可获得观众视觉注意的热力图(感兴趣区域)。
本发明旨在建立客观内容驱动的自底向上视觉显著性与观众视觉注意的关系，分析内在的相关性。具体为分析观众视觉注意分别与全局对比度、局部对比度的相关性，并通过对比图像本身显著特性的显著图与观众视觉注意的热力图(感兴趣区域)，评估之间的相关系数，得出相似程度。通过模型的内在相关性分析及显著图与观众视觉注意的热力图(感兴趣区域)的相似程度，综合评估分析观众视觉注意效果。本发明旨在对文化体验行为进行量化和测评，为各类大型场馆体验闭环提供技术解决方案、技术优化处理以及后期基于评估结果的图像改善，形成观众感知与文化传播的生态闭环以及新媒体艺术开发生态闭环，有效促进文化传播，形成从文化传播领域设计方向、参与体验、测评反馈的新媒体艺术开发生态闭环，助力可持续的创新文化设计及数字文创发展，推动文化科技融合与传播。本申请旨在通过将观众与图像交互时的行为数据化具体化后进行计算分析，将所述显著图P1与所述感兴趣区域的热力图P2进行相似度评判，基于评估结果对观众视觉注意效果是否达到预期进行判断，所述M(x，y)的数值越大，则相似程度越高，本申请结构简单，使用方便，具有极高的商业价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出了本发明的具体实施方式的，一种基于客观内容驱动的评估观众视觉注意效果的方法的具体流程示意图；
图2示出了本发明的第一实施例的，利用SSIM算法，从亮度、对比度、结构三个维度分析所述图像显著图与所述感兴趣区域的热力图的相似度M(x，y)的具体流程示意图；
图3示出了本发明的第二实施例的，一种基于客观内容驱动的评估观众视觉注意效果的使用场景图；以及
图4示出了本发明的第三实施例的，一种基于客观内容驱动的评估观众视觉注意效果的眼动数据获取及分析流程图。
具体实施方式
为了更好的使本发明的技术方案清晰的表示出来，下面结合附图对本发明作进一步说明。
图1示出了本发明的具体实施方式的，一种基于客观内容驱动的评估观众视觉注意效果的方法的具体流程示意图，本发明提供了一种基于客观内容驱动的评估观众视觉注意效果的方法，其用于对文化体验行为进行量化和测评，为场馆体验闭环提供技术解决方案，在执行步骤S101之前，优选地实时获取观众在场馆内观看图像时的视觉注意信息，所述视觉注意信息至少包括注视点时间戳、注视过程点时间、注视点横纵坐标、注视过程点横纵坐标，结合图3、图4，图3示出了本发明的第二实施例的，一种基于客观内容驱动的评估观众视觉注意效果的使用场景图，图4示出了本发明的第三实施例的，一种基于客观内容驱动的评估观众视觉注意效果的眼动数据获取及分析流程图。
在这样的实施例中，观察者距离视觉追踪设备40cm至70cm，观察者距离显示载体4m左右，观察者观看所述显示载体，视觉追踪设备获取所述观察者在场馆内注视图像信息的眼动数据，并通过数据连接传递给处理单元。
具体地，包括如下步骤：
首先，进入步骤S101，基于LC算法确定全局对比度S(Pk)，基于AC算法确定局部对比度S(h)以及与所述局部对比度S(h)相适应的图像显著图，其中，所述Pk表示图像W中某一像素，所述h表示Q1、Q2的中心，所述Q1为感知单元，所述Q2为其邻域，进一步地，在所述步骤S101中，所述全局对比度S(Pk)通过如下公式确定：
所述局部对比度S(h)通过如下公式确定：
其中，所述h表示Q1、Q2的中心，所述Q1为感知单元，所述Q2为其邻域，将Q1、Q2所包含的所有像素的特征值的平均值分别作为Q1、Q2的特征值，其中d为欧氏距离，M1、M2分别是Q1、Q2中的像素个数，Vk是k这个位置的特征值或特征向量，
其中，基于多个Q2取值作为尺度标准的Q1所对应的特征显著图确定与所述局部对比度S(h)相适应的图像显著图，采用AC算法，基于局部对比度的计算，通过多个尺度的特征显著图直接相加得到完整的显著图，在一个优选地的实施例中，Q1感知单元即为图像中某一位置，Q2是Q1的邻域，Q2的半径可更改，将Q2分别设定为h/8，h/4，h/2的正方形区域，这样针对每一个点都有对应的h/8，h/4，h/2的正方形区域邻域。然后分别取得Q1点附近h/8，h/4，h/2邻域lab空间的均值，进而取得Q1点附近h/8，h/4，h/2三个邻域对应的显著图，然后将这三个邻域的显著图相加，就得到了最终的显著图。
本领域技术人员理解，所述LC算法属于目前现有技术，在此不予赘述。
然后，进入步骤S102，基于兴趣区内的注视点数ET与总注视点数EP的比值确定注视比例K，基于兴趣区内的注视过程点数ZT与总注视过程点数ZP的比值确定注视过程比例L，基于视线在兴趣区内的注视时长Si，d(t)与视线在总兴趣区的注视时长T1的比值确定兴趣区的感兴趣程度V，基于视线首次进入兴趣区时长t0与视线总注视时长t的比值确定兴趣区域的凸显程度R，基于视觉追踪设备，显示载体，处理单元，以及对感兴趣区域的定义来确定感兴趣区域热力图，其中，所述兴趣区为注视时间超过3秒的注视区域，在这样的实施例中，如文字所描述，
进一步地，注视点数指观众在某段时间内注视点的总个数，兴趣区内注视点数指观众在某段时间内落在兴趣区内的注视点的总个数，注视过程点数指观众在某段时间内注视过程点的总个数，兴趣区内注视过程点数指观众在某段时间内落在兴趣区内的注视过程点的总个数。注视比例即兴趣区内的注视点数与总注视点数的比值，表示观众在对兴趣区的查看次数占总查看次数的比例，注视过程比例即兴趣区内的注视过程点数与总注视过程点数的比值，表示观众对兴趣区的思考次数占总思考次数的比例。
注视比例＝兴趣区内注视点数/注视点数；
注视过程比例＝兴趣区内注视过程点数/注视过程点数；
具体计算过程如下：
眼动仪采集到的注视点数据集合P以及注视过程点数据集合T表示为：
其中t为时间戳，x，y为该点的横纵坐标，m，n分别是注视点总数以及注视过程点总数。
数据采集以秒为单位，t时刻下的注视点集合Pt以及注视过程点集合Tt计算公式如下：
动态感兴趣区域It的计算公式如下：
It＝Oi，t(x，y，w，h)，
Oi，t代表t时刻下的第i个视觉中心，x，y为该视觉中心的横、纵坐标，w，h为该视觉中心的宽与高。动态兴趣区包含的视觉中心相应的矩形区域计算公式为：
minXi，t，maxXi，t表示t时刻下第i个视觉中心转化而来的矩形区域横坐标的最小值以及最大值。minYi，t，maxYi，t表示t时刻下第i个视觉中心转化而来的矩形区域纵坐标的最小值以及最大值。
视线在兴趣区内的注视时长指观众在单个兴趣区内的注视时长，视线在总兴趣区的注视时长指观众在所有兴趣区内的注视时长总和。视线首次进入兴趣区时长指观众首次进入单个兴趣区的时长，视线总注视时长指单次实验观众注视的总时长。
对兴趣区的感兴趣程度＝视线在兴趣区内的注视时长/视线在总兴趣区的注视时长。
兴趣区域的凸显程度＝视线首次进入兴趣区时长/视线总注视时长。
在所述步骤S102中，所述兴趣区内的注视点数ET、所述总注视点数EP、所述兴趣区内的注视过程点数ZT以及所述总注视过程点数ZP的计算公式如下：
在所述步骤S102中，视线在兴趣区内的注视时长Si，d(t)、视线在总兴趣区的注视时长T1的计算公式如下：
Si，d(t)＝t1-t0，
其中，单个感兴趣区域S(x，y)的计算公式为：
进一步地，基于注视比例K、注视过程比例L、兴趣区的感兴趣程度V以及兴趣区域的凸显程度R进行评估并确定感兴趣区域的热力图P2，在一个优选地实施例中，本申请所述的P2是基于对感兴趣区域而定义的，其定义为：将注视时间大约等于3秒的注视区域定义为感兴趣区域，再将所定义的这些区域框出来即为P2。
紧接着，进入步骤S103，基于SPSS软件对注视比例K、注视过程比例L、兴趣区的感兴趣程度V以及兴趣区域的凸显程度R进行计算分析并确定观众视觉注意数值，基于所述观众视觉注意数值完成对局部对比度S(h)与观众视觉注意的相关性分析以及全局对比度S(Pk)与观众视觉注意的相关性分析。
进一步地，在所述步骤S103中，通过数据的归一化处理并基于SPSS软件对注视比例K、注视过程比例L、兴趣区的感兴趣程度V以及兴趣区域的凸显程度R进行计算分析并确定观众视觉注意数值，其中，所述数据的归一化处理包括：
y＝(x-min(x))/(max(x)-min(x))，其中，x为原始数据，y为与x对应的归一化后的数值，利用SPSS软件对视觉注意样本数据进行KMO统计及bartlett球形检验，判断数据有效性，具体地，利用SPSS软件对视觉注意样本数据进行主成分分析，得出视觉注意的模型及数值。
进一步地，基于所述视觉注意数值完成对局部对比度S(h)与观众视觉注意的相关性分析以及全局对比度S(Pk)与观众视觉注意的相关性分析，若局部对比度S(h)与观众视觉注意的相关性强于全局对比度S(Pk)与观众视觉注意的相关性，将侧重于局部对比度图片设计方向指导，若局部对比度S(h)与观众视觉注意的相关性弱于全局对比度S(Pk)与观众视觉注意的相关性，将侧重于全局对比度图片设计方向指导，根据视觉显著性产生机制及视觉注意机制，人眼对于图像中的特殊区域更为关注，尤其是颜色，方向，亮度等初级视觉特征。基本的视觉特征能够决定眼睛的“迷恋区域”。所以理论上局部对比度/全部对比度与观众视觉注意是成正向的高度相关性，其次从数值角度看一方面是验证视觉显著性产生机制及视觉注意机制，另一方面相关性的强弱可从数值中直观看出。具体为：如果局部对比度与观众视觉注意的相关性强于全局对比度与观众视觉注意的相关性，那么对于图片设计方向指导更应该侧重局部对比度，反之则应侧重全局对比度，若相关性强弱一样数值，这说明图片的设计方向应两者都兼顾。
最后，进入步骤S104，利用SSIM算法，从亮度、对比度、结构三个维度分析所述图像显著图与所述感兴趣区域的热力图的相似度M(x，y)，在所述步骤S104之后，还包括步骤：
基于评估结果对观众视觉注意效果是否达到预期进行判断，
若0≤M(x，y)＜0.6，即观众视觉注意效果差，展览展示没有达到预期的效果；
若0.6≤M(x，y)＜0.8，即观众视觉注意效果一般，基本达到展览展示预期的效果；
若0.8≤M(x，y)≤1，即观众视觉注意效果好，已达到展览展示预期的效果，本申请通过这样的验证模式提供了一种基于观众视觉注意效果如何去改善图片进而提高观众视觉注意效果的技术方案，可具体分析亮度、对比度、结构三个维度的相似度函数数值，进而有针对性的进行图片设计方向的改善，提高观众视觉注意效果。
图2示出了本发明的第一实施例的，利用SSIM算法，从亮度、对比度、结构三个维度分析所述图像显著图与所述感兴趣区域的热力图的相似度M(x，y)的具体流程示意图，所述步骤S 104包括如下步骤：
首先，进入步骤S1041：确定所述显著图P1与感兴趣区域的热力图P2的亮度对比函数T(x，y)，具体地，在所述步骤S1041中，所述亮度对比函数T(x，y)通过如下公式确定：
C1＝(K1*L)2，
其中，μx为显著图P1的平均灰度值，μy为感兴趣区域的热力图P2的平均灰度值，C1取值0.01。
然后，进入步骤S1042，确定所述显著图P1与感兴趣区域的热力图P2的对比度函数S(x，y)，具体地，在所述步骤S1042中，所述对比度函数S(x，y)通过如下公式确定：
C2＝(K2*L)2，
其中，δx为显著图P1的灰度标准差，δy为感兴趣区域的热力图P2的灰度标准差，C2取值0.03。
紧接着，进入步骤S1043，确定所述显著图P1与感兴趣区域的热力图P2的结构对比函数U(x，y)，具体地，在所述步骤S1043中，所述结构对比函数U(x，y)通过如下公式确定：
其中，δx为显著图P1的灰度标准差，δy为感兴趣区域的热力图P2的灰度标准差，C3取值0.015。
在执行完步骤S1043后，进入步骤S1044：确定所述显著图P1与感兴趣区域的热力图P2的相似度函数M(x，y)，具体地，在所述步骤S1044中，所述相似度函数M(x，y)通过如下公式确定：
M(x，y)＝f[T(x，y)]α[S(x，y)]β[U(x，y)]γ
α、β、γ取值为1，则
μx为显著图P1的平均灰度值，μy为感兴趣区域的热力图P2的平均灰度值，C1取值0.01，δx为显著图P1的灰度标准差，δy为感兴趣区域的热力图P2的灰度标准差，C2取值0.03。
最后，进入步骤S1045，将所述显著图P1与所述感兴趣区域的热力图P2进行相似度评判，所述M(x，y)的数值越大，则相似程度越高，所述步骤S1045可以参考前述步骤S104，在此不予赘述。
进一步地，本申请包括客观内容驱动的自底向上视觉显著性模型生成，观众视觉注意评估模型生成；客观内容驱动的自底向上视觉关注与观众视觉注意的内在相关性分析；显著图与观众视觉注意的热力图(感兴趣区域)的相似程度分析。基于视觉显著性产生机制，借助对比度、形状、位置三个维度对影响视觉关注的图像特性进行分析，对图像的视觉显著性进行度量，具体分为全局对比度及局部对比度。然后基于AC算法以及局部对比度的计算，通过多个尺度的特征显著图直接相加得到完整的显著图。
进一步地，基于视觉注意机制以及基于时间、空间相结合的注意捕获范式，从时间维度、空间维度、量级维度对观众的视觉注意进行捕获。从注意力集中度评估及关注度评估两个方面对观众视觉注意进行评估，得到观众视觉注意，进而得到观众视觉注意的热力图(感兴趣区域)。
本申请主要涵盖四个部分，其中，部分一：基于视觉显著性产生机制和影响视觉关注的图像特征分析，建立：客观内容驱动的自底向上视觉显著性模型。其中图像的视觉显著性评估包含图像的视觉显著性度量和显著图，这里显著图是指通过AC算法算出的图像本身的显著图。步骤四的亮度、对比度、结构三个维度是分析图像本身的显著图与观众观看图像后形成的感兴趣区域(热力图)之间的相似程度。图像的视觉显著性度量包含全局对比度和局部对比度。全局对比度采用LC算法计算，局部对比度采用AC算法计算，显著图采用AC算法生成。
部分二：基于视觉注意机制建立观众视觉注意评估模型。观众视觉注意评估包含注意力集中度和关注度两个维度以及热力图(感兴趣区域)。其中注意力集中度包含注视比例和注视过程比例两个维度，关注度包含对兴趣区的感兴趣程度和兴趣区域的凸显程度两个维度。热力图(感兴趣区域)基于视觉追踪设备，显示载体，处理单元，以及对感兴趣区域的定义(注视时间超过3秒的注视区域)来确定感兴趣区域热力图。眼动数据的获取基于时间、空间相结合的注意捕获范式利用视觉追踪设备，显示载体，处理单元及数据连接进行捕获。
部分三：客观内容驱动的自底向上视觉显著性模型与观众视觉注意模型的内在相关性分析具体为：1.观众视觉注意的计算：采用SPSS软件进行主成分分析，得出观众视觉注意模型的模型及数值；2.相关性分析：分为局部对比度与观众视觉注意的相关性分析以及全局对比度与观众视觉注意的相关性分析，采用SPSS软件进行回归分析，得出相关性的正负关系及强弱程度(强弱程度是数值化的)。
部分四：显著图与观众视觉注意的热力图(感兴趣区域)的相似程度分析。利用SSIM算法，从亮度、对比度、结构三个维度综合分析显著图与观众视觉注意的热力图(感兴趣区域)的相似度，一方面，所述SSIM算法非常适于分析此场景，SSIM算法本身是基于这三个维度的；另一方面，在部分三中从数值角度分析了图像局部对比度与观众视觉注意的相关性分析以及全局对比度与观众视觉注意的相关性分析，进而在所述部分四中从与所述部分三相似的维度去分析图像显著图与观众视觉注意的热力图(感兴趣区域)的相似程度，从相似程度更直观的说明观众视觉注意的效果，而部分三则只是探讨相关性强弱，作为铺垫，并不能直接用于说明观众视觉注意效果的好与坏，所述相似度是数值化的。
需要说明的是，上述各装置实施例的具体实施方式与前述对应方法实施例的具体实施方式相同，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实施例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
此外，本领域技术人员理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域技术人员理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (12)
1.一种基于客观内容驱动的评估观众视觉注意效果的方法，其用于对观众观感行为进行量化和测评，为场馆体验提供技术解决方案，其特征在于，包括如下步骤：
a.基于LC算法确定全局对比度S(Pk)，基于AC算法确定局部对比度S(h)以及与所述局部对比度S(h)相适应的图像显著图，其中，所述Pk表示图像W中某一像素，所述h表示Q1、Q2的中心，所述Q1为感知单元，所述Q2为其邻域，
b.基于兴趣区内的注视点数ET与总注视点数EP的比值确定注视比例K，基于兴趣区内的注视过程点数ZT与总注视过程点数ZP的比值确定注视过程比例L，基于视线在兴趣区内的注视时长Si，d(t)与视线在总兴趣区的注视时长T1的比值确定兴趣区的感兴趣程度V，基于视线首次进入兴趣区时长t0与视线总注视时长t的比值确定兴趣区域的凸显程度R，基于视觉追踪设备、显示载体及处理单元确定感兴趣区域的热力图，其中，所述兴趣区为注视时间超过3秒的注视区域；
c.基于SPSS软件对注视比例K、注视过程比例L、兴趣区的感兴趣程度V以及兴趣区域的凸显程度R进行计算分析并确定视觉注意数值，基于所述视觉注意数值完成对局部对比度S(h)与观众视觉注意的相关性分析以及全局对比度S(Pk)与观众视觉注意的相关性分析，其中，若局部对比度S(h)与观众视觉注意的相关性强于全局对比度S(Pk)与观众视觉注意的相关性，将侧重于局部对比度图片设计方向指导，若局部对比度S(h)与观众视觉注意的相关性弱于全局对比度S(Pk)与观众视觉注意的相关性，将侧重于全局对比度图片设计方向指导，
d.利用SSIM算法，从亮度、对比度、结构三个维度分析所述图像显著图与所述感兴趣区域的热力图的相似度M(x，y)，其中，
基于评估结果对观众视觉注意效果是否达到预期进行判断，
若0≤M(x，y)＜0.6，即观众视觉注意效果差，展览展示没有达到预期的效果；
若0.6≤M(x，y)＜0.8，即观众视觉注意效果一般，基本达到展览展示预期的效果；
若0.8≤M(x，y)≤l，即观众视觉注意效果好，已达到展览展示预期的效果。
2.根据权利要求1所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤a之前，还包括步骤：实时获取观众在场馆内观看图像时的视觉注意信息，所述视觉注意信息至少包括注视点时间戳、注视过程点时间、注视点横纵坐标、注视过程点横纵坐标。
3.根据权利要求1所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤a中，所述全局对比度S(Pk)通过如下公式确定：
所述局部对比度S(h)通过如下公式确定：
其中，所述h表示Q1、Q2的中心，所述Q1为感知单元，所述Q2为其邻域，将Q1、Q2所包含的所有像素的特征值的平均值分别作为Q1、Q2的特征值，其中d为欧氏距离，M1、M2分别是Q1、Q2中的像素个数，Vk是k这个位置的特征值或特征向量，
其中，基于多个Q2取值作为尺度标准的Q1所对应的特征显著图确定与所述局部对比度S(h)相适应的图像显著图。
4.根据权利要求1所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤b中，所述兴趣区内的注视点数ET、所述总注视点数EP、所述兴趣区内的注视过程点数ZT以及所述总注视过程点数ZP的计算公式如下：
5.根据权利要求1所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤b中，视线在单个兴趣区内的注视时长Si，d(t)、视线在总兴趣区的注视时长T1的计算公式如下：
Si，d(t)＝t1-t0，
其中，单个感兴趣区域S(x，y)的计算公式为：
t1为离开兴趣区的时刻，t0为视线首次进入兴趣区的时刻，mt为注视点数，w、h为视觉中心的宽与高。
6.根据权利要求1所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤b中，基于注视比例K、注视过程比例L、兴趣区的感兴趣程度V以及兴趣区域的凸显程度R进行评估并确定感兴趣区域的热力图P2。
7.根据权利要求1所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤c中，通过数据的归一化处理并基于SPSS软件对注视比例K、注视过程比例L、兴趣区的感兴趣程度V以及兴趣区域的凸显程度R进行计算分析并确定观众视觉注意数值，其中，所述数据的归一化处理包括：
y＝(x-min(x))/(max(x)-min(x))，其中，x为原始数据，y为与x对应的归一化后的数值。
8.根据权利要求1所述的评估观众视觉注意效果的方法，其特征在于，所述步骤d包括如下步骤：
d1：确定所述显著图P1与感兴趣区域的热力图P2的亮度对比函数T(x，y)；
d2：确定所述显著图P1与感兴趣区域的热力图P2的对比度函数S(x，y)；
d3：确定所述显著图P1与感兴趣区域的热力图P2的结构对比函数U(x，y)；
d4：确定所述显著图P1与感兴趣区域的热力图P2的相似度函数M(x，y)。
9.根据权利要求8所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤d1中，所述亮度对比函数T(x，y)通过如下公式确定：
其中，μx为显著图P1的平均灰度值，μy为感兴趣区域的热力图P2的平均灰度值，C1取值0.01。
10.根据权利要求8所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤d2中，所述对比度函数S(x，y)通过如下公式确定：
其中，δx为显著图P1的灰度标准差，δy为感兴趣区域的热力图P2的灰度标准差，C2取值0.03。
11.根据权利要求8所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤d3中，所述结构对比函数U(x，y)通过如下公式确定：
其中，δx为显著图P1的灰度标准差，δy为感兴趣区域的热力图P2的灰度标准差，C3取值0.015。
12.根据权利要求8所述的评估观众视觉注意效果的方法，其特征在于，在所述步骤d4中，所述相似度函数M(x，y)通过如下公式确定：
μx为显著图P1的平均灰度值，μy为感兴趣区域的热力图P2的平均灰度值，C1取值0.01，δx为显著图P1的灰度标准差，δy为感兴趣区域的热力图P2的灰度标准差，C2取值0.03。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111503407.2A CN114298921B (zh) | 2021-12-10 | 2021-12-10 | 一种基于客观内容驱动的评估观众视觉注意效果的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111503407.2A CN114298921B (zh) | 2021-12-10 | 2021-12-10 | 一种基于客观内容驱动的评估观众视觉注意效果的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114298921A true CN114298921A (zh) | 2022-04-08 |
| CN114298921B CN114298921B (zh) | 2024-06-21 |
Family
ID=80967807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111503407.2A Active CN114298921B (zh) | 2021-12-10 | 2021-12-10 | 一种基于客观内容驱动的评估观众视觉注意效果的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114298921B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661447A (zh) * | 2022-11-23 | 2023-01-31 | 成都信息工程大学 | 一种基于大数据的产品图像调整方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130091515A1 (en) * | 2011-02-04 | 2013-04-11 | Kotaro Sakata | Degree of interest estimating device and degree of interest estimating method |
| US20140337477A1 (en) * | 2013-05-07 | 2014-11-13 | Kba2, Inc. | System and method of portraying the shifting level of interest in an object or location |
| US20180268552A1 (en) * | 2017-03-03 | 2018-09-20 | National Institutes Of Health | Eye Tracking Applications in Computer Aided Diagnosis and Image Processing in Radiology |
| US20200234432A1 (en) * | 2017-02-17 | 2020-07-23 | The Schepens Eye Research Institute, Inc. | Treatment of ocular disorders using a content guide for viewing images |
-
2021
- 2021-12-10 CN CN202111503407.2A patent/CN114298921B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130091515A1 (en) * | 2011-02-04 | 2013-04-11 | Kotaro Sakata | Degree of interest estimating device and degree of interest estimating method |
| US20140337477A1 (en) * | 2013-05-07 | 2014-11-13 | Kba2, Inc. | System and method of portraying the shifting level of interest in an object or location |
| US20200234432A1 (en) * | 2017-02-17 | 2020-07-23 | The Schepens Eye Research Institute, Inc. | Treatment of ocular disorders using a content guide for viewing images |
| US20180268552A1 (en) * | 2017-03-03 | 2018-09-20 | National Institutes Of Health | Eye Tracking Applications in Computer Aided Diagnosis and Image Processing in Radiology |
Non-Patent Citations (1)
| Title |
|---|
| 张立保;李浩;: "基于自适应半径搜索的图像感兴趣区域检测", 中国激光, no. 07, 10 July 2013 (2013-07-10) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661447A (zh) * | 2022-11-23 | 2023-01-31 | 成都信息工程大学 | 一种基于大数据的产品图像调整方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114298921B (zh) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Marius't Hart et al. | Gaze allocation in natural stimuli: Comparing free exploration to head-fixed viewing conditions | |
| Sugano et al. | Calibration-free gaze sensing using saliency maps | |
| Henderson et al. | Visual saliency does not account for eye movements during visual search in real-world scenes | |
| CN101959018B (zh) | 图像处理设备和图像处理方法 | |
| Foulsham et al. | The where, what and when of gaze allocation in the lab and the natural environment | |
| US8343067B2 (en) | System and method for quantifying and mapping visual salience | |
| Peacock et al. | The role of meaning in attentional guidance during free viewing of real-world scenes | |
| CN102917232A (zh) | 基于人脸识别的3d显示自适应调节方法和装置 | |
| US20120180084A1 (en) | Method and Apparatus for Video Insertion | |
| CN102084397B (zh) | 图像处理设备、方法 | |
| CN106650682A (zh) | 一种人脸追踪的方法及装置 | |
| CN105763829A (zh) | 一种图像处理方法及电子设备 | |
| CN111563449A (zh) | 一种实时课堂注意力检测方法及系统 | |
| CN107292223A (zh) | 一种实时手势检测的在线验证方法及系统 | |
| CN114298921B (zh) | 一种基于客观内容驱动的评估观众视觉注意效果的方法 | |
| CN107862713A (zh) | 针对轮询会场的摄像机偏转实时检测预警方法及模块 | |
| Perrin et al. | EyeTrackUAV2: A large-scale binocular eye-tracking dataset for UAV videos | |
| Akamine et al. | Video quality assessment using visual attention computational models | |
| CN115209193B (zh) | 一种显示处理设备及方法、显示系统 | |
| CN113259650A (zh) | 一种基于人眼追踪立体影像显示方法、装置、介质及系统 | |
| TWI478099B (zh) | 具學習力之視覺注意預測系統及其方法 | |
| CN114463776A (zh) | 跌倒识别方法、装置、设备及存储介质 | |
| CN109740409A (zh) | 信息处理装置及方法、摄像装置、照相机系统和存储介质 | |
| Mehrubeoglu et al. | Capturing reading patterns through a real-time smart camera iris tracking system | |
| CN114881889A (zh) | 视频图像噪声评估方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |