CN103927670A - 量化对象的区域关注度的方法 - Google Patents

量化对象的区域关注度的方法 Download PDF

Info

Publication number
CN103927670A
CN103927670A CN201310008634.7A CN201310008634A CN103927670A CN 103927670 A CN103927670 A CN 103927670A CN 201310008634 A CN201310008634 A CN 201310008634A CN 103927670 A CN103927670 A CN 103927670A
Authority
CN
China
Prior art keywords
human eye
attention rate
region
center
oculopupillary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310008634.7A
Other languages
English (en)
Other versions
CN103927670B (zh
Inventor
盛晶晶
胡雪芬
林树楠
高建远
杨怡蓓
王鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC General Motors Corp Ltd
Pan Asia Technical Automotive Center Co Ltd
Original Assignee
Pan Asia Technical Automotive Center Co Ltd
Shanghai General Motors Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pan Asia Technical Automotive Center Co Ltd, Shanghai General Motors Co Ltd filed Critical Pan Asia Technical Automotive Center Co Ltd
Priority to CN201310008634.7A priority Critical patent/CN103927670B/zh
Publication of CN103927670A publication Critical patent/CN103927670A/zh
Application granted granted Critical
Publication of CN103927670B publication Critical patent/CN103927670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种量化对象的区域关注度的方法,包括:获取人眼视线方向;记录所述视线方向在所述对象的各个区域的停留时间;以及将停留时间长的区域赋予高关注度权重,将停留时间短的区域赋予低关注度权重。通过使用本发明,可以更准确地量化对象的区域关注度。

Description

量化对象的区域关注度的方法
技术领域
本发明总体上涉及一种数字视频追踪方法,尤其涉及使用该技术来量化对象的区域关注度的方法。
背景技术
汽车外观的关注度分析,即整车外观评价体系中的权重分析,是模糊综合评价中的一个重要的因素。它不仅体现了评价者对评价指标体系中单项指标重要性程度的认识,也体现了评价指标体系中单项指标评价能力的大小。一款优秀的设计是在诸多制约的最优组合,了解这一点对产品质量的理解十分重要,因此如何获得科学准确的汽车不同区域外观关注度成为客户调研成败的关键。
目前汽车外观顾客关注度调查是通过冗长复杂的调研问卷和后期数据统计分析的模式,其主要问题有以下三方面:
第一,因为区别于普通消费品,汽车是具有一定空间尺寸的大型消费品,在尺寸比例上远大于使用者本身,其外观评价比普通消费品外观评价过程要复杂很多。从远距离第一眼看到汽车整体外观到近距离触摸实车,从汽车前端的造型到尾部大灯的制造工艺,从外饰零件的匹配质量到内饰的材质,在评价过程的时间上和空间上都要远大于普通商品,可以说是“左看成岭侧成峰,远近高低各不同”。经过半个小时甚至一个小时的评估后,要客户十分准确的表达出整个体验过程中哪些区域是高关注的,多大程度地影响到整体评价是非常困难的。在必须完成问卷的情况下客户就会偏向于某一选择中间值,以此进行统计分析获得的关注度权重并不是客户的真实情况体现。
第二,客户对关注度的直接评分忽略了他潜意识和不自觉的因素,因此会出现客户的关注度评分很高,但是针对该区域却几乎没有任何问题或抱怨。例如客户在评判是否关注后备箱区域外观重要性时打分很高,表示出高关注,但在评估过程中客户很多时候都只是扫了一眼后备箱,而且在开放性问题中也没有任何问题是针对后备箱的。
第三,问卷中问题的描述表达方式干扰客户的评分,甚至直接影响评分结果,不同的问题描述方式获得的调研结果也会大相径庭。比如问卷上提到你是否关注前后风挡上的黑边,客户通常表示出低关注度,而如果问题是问你是否关注前后风挡上的黑边过宽,数据就会显示出高关注度。
第四,问卷式的调研方式会将客户的信息局限在问卷设计好的问题层面以内,问卷提到的区域有信息,问卷上不涉及的区域就完全没有信息,无法确定是客户不关注还是未被调研到。例如前舱区域的外观设计,因为在外观调研问卷中从未出现这一问题所以通常会认为客户不关注此区域,但其实在很多调研现场客户都会询问是否能打开前舱。可见关注度调研应该是一种开放式的调研方式。
因此,需要一种新的技术来更准确地量化对象的区域关注度。
发明内容
为了至少解决上述问题的一个方面,本发明提出了一种量化对象的区域关注度的方法,包括:获取人眼视线方向;记录所述视线方向在所述对象的各个区域的停留时间;以及将停留时间长的区域赋予高关注度权重,将停留时间短的区域赋予低关注度权重。
所述量化对象的区域关注度的方法,其中所述获取人眼视线方向的步骤包括:通过至少两台照相机获取人眼眼球的2个圆锥面,从所述人眼眼球的2个圆锥面的交集得到所述人眼眼球的实际位置;通过至少两台照相机获取人眼瞳孔的2条中心线,从所述人眼瞳孔的2条中心线的交集得到所述人眼瞳孔的中心的实际位置;以及连线所述人眼眼球的中心和所述人眼瞳孔的中心从而确定所述人眼视线方向。
所述量化对象的区域关注度的方法,还包括在所述对象的上方的屋顶天花板或横梁位置布置所述至少两台照相机。
所述量化对象的区域关注度的方法,其中所述对象是汽车的外观。
所述量化对象的区域关注度的方法,还包括用图像显示所述对象,并在所述图像上以深色表示具有高关注度权重,以浅色表示具有低关注度权重。
所述量化对象的区域关注度的方法,还包括在所述汽车的车内布置所述至少两台照相机。
所述量化对象的区域关注度的方法,其中所述圆锥面以照相机的位置为顶点,并且穿过眼球投影位置。
本发明提出了一种获取人眼视线方向的方法,包括:通过至少两台照相机获取人眼眼球的2个圆锥面,从所述人眼眼球的2个圆锥面的交集得到所述人眼眼球的实际位置;通过至少两台照相机获取人眼瞳孔的2条中心线,从所述人眼瞳孔的2条中心线的交集得到所述人眼瞳孔的中心的实际位置;以及连线所述人眼眼球的中心和所述人眼瞳孔的中心从而确定所述人眼视线方向。
所述获取人眼视线方向的方法,其中所述至少两台照相机被布置在人眼上方的屋顶天花板或横梁位置。
本发明提出了一种量化对象的区域关注度的装置,包括:视线获取设备,用于获取人眼视线方向;关注时间记录设备,记录所述视线方向在所述对象的各个区域的停留时间;以及关注度量化设备,用于将停留时间长的区域赋予高关注度权重,将停留时间短的区域赋予低关注度权重。
通过使用本发明,可以更准确地量化对象的区域关注度。
附图说明
为便于理解,下面参照附图通过非限定性例子来描述本发明的实施例。图中: 
图1是照相机布置的侧视图;
图2是照相机布置的俯视图;
图3是眼球三维数模形成示意图;
图4是瞳孔三维数模形成示意图;
图5是视线确定方式示意图。
具体实施方式
除非另加具体说明,正如从以下论述中也可以认识到的那样,在本说明书的通篇中,利用诸如“处理”、“计算”、“确定”之类术语的论述表示使用诸如计算机或类似电子计算装置之类的特定设备的动作或过程。在本说明书的上下文中,计算机或者类似电子计算装置能够操纵或变换信号。这些信号在计算机或类似电子计算装置的存储器、寄存器或者其它信息存储装置、传输装置或者显示装置中通常表示为物理电子或磁量。例如,电子计算装置可以包括执行一个或更多的特定功能的一个或更多的处理器。
图1和图2所示,根据本发明的一个实施例,数码相机组合(1-8)和评审样车(9)被布置在评估室(10)指定位置。照相机组的布置需要根据照相机的视角和车型尺寸而确定。通常,需要布置足够数量的照相机以保证客户在任何评估位置,无论是在车外还是车内评估时,都有两台以上照相机可以拍摄到评估者的人眼照片。照相机可以被布置在,比如屋顶天花板或横梁相应位置,以保证在整个调研过程中都可以拍摄客户鉴赏汽车时的数字视频。除了在车体以外,也可以在车体以内布置照相机。
图3至图5示出了双照相机空间位姿关系定向原理,其说明了通过图像在三维数模中找到人眼视线方向和观测区域的具体计算方法。首先如图3所示,在三维数模中将不少于2个有效人眼图像导入数模中,通过识别软件找到每张图像中的眼球投影位置,然后以眼球投影位置相对应的拍摄照相机位置为顶点,穿过图像眼球投影位置做一个空间圆锥面。由于照相机组保证被调研者在不同观测位置至少有2台照相机能够采集到人眼照片,因此可以找到至少2个以上经过人眼眼球的空间圆锥面。这组空间圆锥面组也必将相交于空间一圆球,即实际人眼的三维空间位置。
图4示出了确定瞳孔位置的方式。和上述确定眼球位置的方式相似,在三维数模中将不少于2个有效瞳孔图像导入数模中,通过识别软件找到每张图像中的瞳孔投影位置,然后以瞳孔投影位置相对应的拍摄照相机位置为顶点,穿过图像瞳孔投影位置做一条延长线。由于照相机组保证被调研者在不同观测位置至少有2台照相机能够采集到人眼(瞳孔)照片,因此可以找到至少2个以上经过瞳孔的延长线。这组延长线也必将相交于空间一点,即实际人眼的瞳孔中心的三维空间位置。
最后如图5所示,将眼球中心点和瞳孔中心点连线即可确定视线方向。将左右眼视线方向投影在整车数模中,即可获得被调研者的注视区域。在该步骤之前,可以先将汽车表面划分为若干个区域,为每个区域设置一个计时器。当确定视线方向对准某个区域时,启动该区域的计时器进行计时。
人眼视线跟踪的实现方法是运用双照相机空间位姿关系定向原理进行数字视频分析,通过在数字成像、图像处理与识别以及采用类似于经纬仪系统的空间交汇构建模型来实现的。照相机可以采用高性能数字成像器件如MegaPlus6.3i数字摄像机作为传感元件,其具有3000*2000像素和10 bit的信号动态范围。根据所记录的视频数据中每帧客户的观测区域,进行累加得到汽车不同区域的被观测时间,就可以完成客户的整车关注度评价。其中被观测时间越长的区域,关注度越高,模糊评价体系中的权重也就越大,相反被观测时间短的区域获得的权重相应较低。
为了更为直观地显示量化数据的结果,可以用关注度量化数据的效果图显示关注度评价结果。效果图中颜色越深的区域表示客户视线在该区域停留的时间越长,即该区域的关注度越高。相反,颜色越浅表示客户视线在该区域停留的时间越短,即该区域的关注度越低。
当所拍摄的照片在分辨率足够的情况下,计算得到的眼球视线方向与实测视线方向误差很小,但是视线和眼球光轴存在个体差异,因此需要通过评估前的视线校准进行个体补偿;也可以添加人体温度感应自动调节照相机拍摄角度以减少照相机使用数量;或者运用基于瞳孔-角膜反射技术的视线追踪方法通过亮瞳暗瞳计算方式找到视线方向。这些附加技术的使用视具体情况而定。
本发明将外观视觉,感知质量和喜好等不能够简单通过语言表达的研究内容转化为可分析的量化数据,减少因对语言理解的差异,调研问题的干扰,客户无意识不自觉的影响等因素造成的数据上的偏差。基于数字视频分析视线计算客户对汽车外观关注度的技术实现被调研者在最自然放松的情况下进行调研分析,客户随意走动不要求保持固定的姿势,不要求与调研者有任何形式的接触,使用者的视线完全通过后期处理数字视频的方法而得到,对于使用者来说是舒适的,没有干扰的。整个过程可以在没有任何形式的调研问卷和工作人员干扰的情况下完成,甚至可以在被调研者预先不知晓的情况下完成数据收集,所以这样的关注度评价方式更真实高效。虽然上述方法是以对汽车为对象的区域关注度的量化方法,应当理解,本发明也同样可以适用到其他任何物体,特别是具有和汽车相似或者更大的体积的物体的区域关注度的量化过程中。 
这里所述的方法可按照特定特征或示例至少部分根据应用通过各种方式来实现。例如,这种方法可通过硬件、固件、软件或者它们的任何组合来实现。在硬件实现中,例如,装置可在一个或更多的专用集成电路(ASICs)、数字信号处理器(DSPs)、数字信号处理装置(DSPDs)、可编程逻辑器件(PLDs)、现场可编程门阵列(FPGAs)、处理器、控制器、微控制器、微处理器、电子装置或者设计成执行诸如这里所述的功能的其它装置单元或者它们的任何组合中实现。
同样,在一些实施例中,方法可采用执行这里所述功能或者它们的任何组合的模块来实现。例如,有形地具体化指令的任何机器可读介质可在实现这类方法中使用。在一实施例中,例如,软件或代码可存储在存储器中并且由处理单元来运行。存储器可在处理单元中和/或处理单元外部来实现。这里所使用的术语“存储器”表示任何类型的长期、短期、易失性、非易失性或者其它存储器,并且并不局限于存储器的任何特定类型或者存储器的数量或者存储介质的类型。
存储介质可包括可由计算机、计算平台、计算装置等等来访问的任何可用介质。作为举例而不是限制,计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或者其它磁存储装置,或者可用于携带或存储采取指令或数据结构形式的期望的程序代码并且可由计算机、计算平台或计算装置来访问的其它任何介质。
虽然上文已经示出了当前被认为是示例特征的内容,但是本领域的技术人员将会理解,在不背离要求保护的主题的情况下,可以对本发明中所描述的具体实施例进行各种修改。因此,要求保护的主题并不局限于所公开的特定示例,相反,其包括了落入所附权利要求的范围之内的所有内容。

Claims (10)

1.一种量化对象的区域关注度的方法,包括:
获取人眼视线方向;
记录所述视线方向在所述对象的各个区域的停留时间;以及
将停留时间长的区域赋予高关注度权重,将停留时间短的区域赋予低关注度权重。
2. 如权利要求2的量化对象的区域关注度的方法,其中所述获取人眼视线方向的步骤包括:
通过至少两台照相机获取人眼眼球的2个圆锥面,从所述人眼眼球的2个圆锥面的交集得到所述人眼眼球的实际位置;
通过至少两台照相机获取人眼瞳孔的2条中心线,从所述人眼瞳孔的2条中心线的交集得到所述人眼瞳孔的中心的实际位置;以及
连线所述人眼眼球的中心和所述人眼瞳孔的中心从而确定所述人眼视线方向。
3. 如权利要求2所述的量化对象的区域关注度的方法,还包括在所述对象的上方的屋顶天花板或横梁位置布置所述至少两台照相机。
4. 如权利要求1或2所述的量化对象的区域关注度的方法,其中所述对象是汽车的外观。
5. 如权利要求1或2所述的量化对象的区域关注度的方法,还包括用图像显示所述对象,并在所述图像上以深色表示具有高关注度权重,以浅色表示具有低关注度权重。
6. 如权利要求4所述的量化对象的区域关注度的方法,还包括在所述汽车的车内布置所述至少两台照相机。
7. 如权利要求2所述的量化对象的区域关注度的方法,其中所述圆锥面以照相机的位置为顶点,并且穿过眼球投影位置。
8. 一种获取人眼视线方向的方法,包括:
通过至少两台照相机获取人眼眼球的2个圆锥面,从所述人眼眼球的2个圆锥面的交集得到所述人眼眼球的实际位置;
通过至少两台照相机获取人眼瞳孔的2条中心线,从所述人眼瞳孔的2条中心线的交集得到所述人眼瞳孔的中心的实际位置;以及
连线所述人眼眼球的中心和所述人眼瞳孔的中心从而确定所述人眼视线方向。
9. 如权利要求8所述的获取人眼视线方向的方法,其中所述至少两台照相机被布置在人眼上方的屋顶天花板或横梁位置。
10. 一种量化对象的区域关注度的装置,包括:
视线获取设备,用于获取人眼视线方向;
关注时间记录设备,记录所述视线方向在所述对象的各个区域的停留时间;以及
关注度量化设备,用于将停留时间长的区域赋予高关注度权重,将停留时间短的区域赋予低关注度权重。
CN201310008634.7A 2013-01-10 2013-01-10 量化对象的区域关注度的方法 Active CN103927670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310008634.7A CN103927670B (zh) 2013-01-10 2013-01-10 量化对象的区域关注度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310008634.7A CN103927670B (zh) 2013-01-10 2013-01-10 量化对象的区域关注度的方法

Publications (2)

Publication Number Publication Date
CN103927670A true CN103927670A (zh) 2014-07-16
CN103927670B CN103927670B (zh) 2017-11-28

Family

ID=51145884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310008634.7A Active CN103927670B (zh) 2013-01-10 2013-01-10 量化对象的区域关注度的方法

Country Status (1)

Country Link
CN (1) CN103927670B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247759A (zh) * 2017-05-31 2017-10-13 深圳正品创想科技有限公司 一种商品推荐方法及装置
CN108615296A (zh) * 2018-04-26 2018-10-02 合肥美的智能科技有限公司 无人售货方法和无人售货机
CN109002956A (zh) * 2018-06-07 2018-12-14 北京汽车股份有限公司 汽车dts精致工艺的评价方法及装置
CN110045834A (zh) * 2019-05-21 2019-07-23 广东工业大学 用于视线锁定的检测方法、装置、系统、设备和存储介质
CN112016153A (zh) * 2019-05-13 2020-12-01 广州汽车集团股份有限公司 车辆外观的量化结果确定方法、装置和计算机设备
WO2021027540A1 (zh) * 2019-08-13 2021-02-18 深圳壹账通智能科技有限公司 走失人员信息匹配方法、装置、计算机设备和存储介质
CN113592237A (zh) * 2021-07-01 2021-11-02 中国联合网络通信集团有限公司 一种教学质量评估方法及电子设备
CN114671311A (zh) * 2020-12-24 2022-06-28 三菱电机株式会社 电梯的显示控制装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128311A1 (en) * 2005-12-12 2009-05-21 Matsushita Electric Industrial Co., Ltd. Safety-drive assistance device
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN102789719A (zh) * 2012-07-09 2012-11-21 柳州桂通科技有限公司 道路驾驶技能考试过程驾驶人视线识别仪及实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128311A1 (en) * 2005-12-12 2009-05-21 Matsushita Electric Industrial Co., Ltd. Safety-drive assistance device
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN102789719A (zh) * 2012-07-09 2012-11-21 柳州桂通科技有限公司 道路驾驶技能考试过程驾驶人视线识别仪及实现方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247759A (zh) * 2017-05-31 2017-10-13 深圳正品创想科技有限公司 一种商品推荐方法及装置
CN108615296A (zh) * 2018-04-26 2018-10-02 合肥美的智能科技有限公司 无人售货方法和无人售货机
CN109002956A (zh) * 2018-06-07 2018-12-14 北京汽车股份有限公司 汽车dts精致工艺的评价方法及装置
CN109002956B (zh) * 2018-06-07 2021-05-25 北京汽车股份有限公司 汽车dts精致工艺的评价方法及装置
CN112016153A (zh) * 2019-05-13 2020-12-01 广州汽车集团股份有限公司 车辆外观的量化结果确定方法、装置和计算机设备
CN110045834A (zh) * 2019-05-21 2019-07-23 广东工业大学 用于视线锁定的检测方法、装置、系统、设备和存储介质
WO2021027540A1 (zh) * 2019-08-13 2021-02-18 深圳壹账通智能科技有限公司 走失人员信息匹配方法、装置、计算机设备和存储介质
CN114671311A (zh) * 2020-12-24 2022-06-28 三菱电机株式会社 电梯的显示控制装置
CN114671311B (zh) * 2020-12-24 2023-12-26 三菱电机株式会社 电梯的显示控制装置
CN113592237A (zh) * 2021-07-01 2021-11-02 中国联合网络通信集团有限公司 一种教学质量评估方法及电子设备
CN113592237B (zh) * 2021-07-01 2023-06-09 中国联合网络通信集团有限公司 一种教学质量评估方法及电子设备

Also Published As

Publication number Publication date
CN103927670B (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
CN103927670A (zh) 量化对象的区域关注度的方法
US9963153B2 (en) Method and device for detecting safe driving state of driver
Yang et al. A dual-cameras-based driver gaze mapping system with an application on non-driving activities monitoring
CN113392693A (zh) 不同照明条件下的对象检测
US9771083B2 (en) Cognitive displays
CN109803583A (zh) 驾驶状态监控方法、装置和电子设备
CN105528577A (zh) 基于智能眼镜的识别方法
US20140002629A1 (en) Enhanced peripheral vision eyewear and methods using the same
CN108171673A (zh) 图像处理方法、装置、车载抬头显示系统及车辆
CN107018323B (zh) 控制方法、控制装置和电子装置
JP2019528217A (ja) 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法
CN102197418A (zh) 车辆周围监测装置
CN102789640A (zh) 一种将可见光全色图像与红外遥感图像进行融合的方法
KR20170091677A (ko) 체온이 증가한 개체를 식별하기 위한 방법 및 시스템
US20210041945A1 (en) Machine learning based gaze estimation with confidence
CN105989174B (zh) 关注区域提取装置以及关注区域提取方法
CN108875839A (zh) 一种车辆内遗落物品提醒方法、系统及设备和存储介质
US11282180B1 (en) Object detection with position, pose, and shape estimation
CN107380063A (zh) 车内化妆镜系统
CN104185020A (zh) 一种检测立体视觉疲劳度的系统及方法
CN105210009A (zh) 显示控制装置、显示控制方法和记录介质
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
CN106537217A (zh) 宽视野深度成像
KR102654156B1 (ko) 광 기반 분도기 및 광 기반 분도기를 물리적 코팅과 연관된 색상을 검출하는 데 사용하기 위한 용도
DE112018004348T5 (de) Verfahren, einrichtungen und systeme zum überwachen von vorrichtungen

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant