CN113111745A - 基于openpose的产品关注度的眼动识别的方法 - Google Patents

基于openpose的产品关注度的眼动识别的方法 Download PDF

Info

Publication number
CN113111745A
CN113111745A CN202110340341.3A CN202110340341A CN113111745A CN 113111745 A CN113111745 A CN 113111745A CN 202110340341 A CN202110340341 A CN 202110340341A CN 113111745 A CN113111745 A CN 113111745A
Authority
CN
China
Prior art keywords
eye movement
eye
data
product
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110340341.3A
Other languages
English (en)
Other versions
CN113111745B (zh
Inventor
周晋
李晶晶
侯科宇
鲁倩
谭润香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Shoe Leather Industry Research Institute
Sichuan University
Original Assignee
Wenzhou Shoe Leather Industry Research Institute
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Shoe Leather Industry Research Institute, Sichuan University filed Critical Wenzhou Shoe Leather Industry Research Institute
Priority to CN202110340341.3A priority Critical patent/CN113111745B/zh
Publication of CN113111745A publication Critical patent/CN113111745A/zh
Application granted granted Critical
Publication of CN113111745B publication Critical patent/CN113111745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • A47F5/0043—Show shelves
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • A47F5/0081—Show stands or display racks with movable parts
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F7/00—Show stands, hangers, or shelves, adapted for particular articles or materials
    • A47F7/08—Show stands, hangers, or shelves, adapted for particular articles or materials for shoes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F7/00—Show stands, hangers, or shelves, adapted for particular articles or materials
    • A47F7/19—Show stands, hangers, or shelves, adapted for particular articles or materials for garments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于openpose的产品关注度的眼动识别的方法，步骤如下：在产品货架安装摄像头；将消费者实时监控视频输入openpose系统中，提取有效数据；将眼动仪安装在产品区域，获取待测图像；再通过眼动跟踪软件对待测图像进行预处理，提取待测图像中人物的参数信息；通过眼动数据的分类算法对图像眼动轨迹进行眼动特征提取；通过眼动特征数据与OPENPOSE的五官转向数据提取有效数据进行比对匹配；根据消费者的眼动注视和五官转向的热点区域，对主要区域中的产品进行关注度排序；根据眼睛注视的方向预测聚焦点，结合聚焦点在货架的位置可以确定消费者关注的范围。用于检测鞋服类进店顾客的眼动，得到识别数据结果，预测消费者对产品的选择行为，完善该消费者的画像与产品偏好信息。

Description

基于openpose的产品关注度的眼动识别的方法
技术领域
本发明涉及一种基于openpose的产品关注度的眼动识别的方法。
背景技术
眼动追踪是测量眼睛运行的过程。眼动技术通过从眼动轨迹的记录提取注视时间、注视轨迹和注视次数等数据，进一步研究个体的内在认知过程。更准确来说是通过仪器设备进行图像处理技术，定位瞳孔位置，获取坐标，并通过一定的算法，计算眼睛注视或者凝视的点，让计算机知道你正在看哪里，何时看的。眼动相关技术是计算机视觉与人机交互领域的热门研究方向，眼动数据分类被广泛地应用于市场调查等领域。在市场营销研究中，眼睛运动类型追踪是一种能够客观的反映消费者对营销信息的注意及自发反馈的关键手段。消费者的眼动数据有助于营销人员研究消费者的购买意向。
消费者的眼动数据判别在现实生活中应用广泛，并部分已得到验证。比如,在实际的购物市场中，可以通过消费者进入市场的真实购物流程，了解消费者注意力主要集中在什么商品上通过分析真实的购物案例，发现消费者的注意力主要集中在中间货架区域，进而可调整商品摆放位置。然而目前眼动设备有采样测试的数据丢失和眼动数据因人而异等问题。且通过单一的眼动数据分析结论准确性较低，常常将无用数据收集识别，产生无效信息。
发明内容
本发明所要解决的技术问题是提供一种基于openpose的产品关注度的眼动识别的方法，该方法用于检测鞋服类进店顾客的眼动，结合openpose对五官的转向定位角度识别进行眼动数据的补充，得到识别数据结果，预测消费者对产品的选择行为，完善该消费者的画像与产品偏好信息，并评价分析顾客对产品的关注度。
为此，本发明提供的一种基于openpose的产品关注度的眼动识别的方法，其特征：步骤如下，
(1)在产品货架安装摄像头；
(2)将消费者实时监控视频输入openpose系统中，通过openpose系统识别五官转向定位角度，提取有效数据；
(3)将眼动仪安装在产品区域，通过眼动仪的相机设备检测区域内消费者眼动运动及面部转向，获取待测图像；
(4)再通过眼动跟踪软件对待测图像进行预处理，提取待测图像中人物的眼部特征、眼动方向、眼动特征和运动轨迹的参数信；
(5)通过眼动数据的分类算法对图像眼动轨迹进行眼动特征提取，转换数据后编码压缩便于存储传输，所述眼动特征参数信息包括注视时间、注视和回视次数、回视方式、注视顺序和瞳孔直径变化指标。
(6)通过眼动特征数据与OPENPOSE的五官转向数据提取有效数据进行比对匹配，将匹配到合适数据输出数据结果；
(7)根据眼睛注视的方向预测聚焦点，结合聚焦点在货架的位置可以确定消费者关注的范围，根据消费者的眼动注视和五官转向的热点区域，对主要区域中的产品进行关注度排序。
上述步骤4中，根据待测图像计算受试者眼部关注的坐标位置，并将传递回控制刺激信号的计算机，通过眼动跟踪软件，使用图像处理算法来识别眼睛跟踪相机发送的每个图像上的两个关键位置—瞳孔中心和角膜反射中心，根据角膜与瞳孔反射光线之间的角度变化可以计算出眼动的方向及其运动变化。
上述步骤2中，运行openpose系统进行五官转向检测，停留时间小于3s记为无效数据，停留时间不小于3s记为有效数据。
上述步骤6中，根据五官转向特征中有效数据去匹配合适的眼动特征数据，所述五官转向特征没有匹配到合适的眼动特征，视为无效信息，不在继续识别，最后，将识别到的眼动特征的图像和参数信息记次和记录，输出数据结果。
上述步骤6中，根据消费者的眼动注视和五官转向的热点区域，判断消费者喜好的产品，根据注视时长和瞳孔直径变化判断喜好程度，当注视时长超过6秒，且瞳孔直径放大20％以上，计算机输出系统通过WIFI控制产品展示装置，将识别出的对应产品推送至消费者对应位置，消费者眼动方向离开对应产品的时长超过15秒以上，计算机输出系统控制鞋服展示装置，将对应产品归回原位。
所述产品展示装置为鞋类展示装置，所述鞋类展示装置包括展示支撑架和鞋托，所述展示支撑架包括支撑板和多个并排安装在支撑板前侧的支撑杆，多个眼动仪分布于支撑杆上，所述鞋托通过伸缩杆套接在支撑杆上，所述伸缩杆沿和支撑杆上下移动，所述伸缩杆包括座体、第一外套管和第二外套管，所述底座套接在支撑杆上，所述第一外套管一端设于座体上，所述第二外套管套接在第一外套管内并沿第一外套管内壁横向移动，所述第二外套管外端部与鞋托连接，所述每个支撑杆设置一个鞋托，相邻鞋托交错设置。
所述支撑杆的底座设置电子伸缩装置，所述电子伸缩装置包括电动机、减速机和第一无线接收模块，所述第一无线接收模块输出端与电动机连接，所述减速机中设置传动轴，所述传动轴上设置传动螺杆，所述第一外套管套接在传动螺杆和传动轴外部，所述第一外套管底部与底座固定，所述第二外套管内腔具有螺纹套管，所述螺纹套管与传动螺杆适配并活动设置与传动螺杆上，所述螺纹套管内壁具有与传动螺杆适配的螺纹，所述螺纹套管顶部具有限位凸块，所述第二外套管内腔顶部具有限位槽，限位凸块置于限位槽内并可在限位槽内转动，所述第二外套管外端部固定鞋托。
所述支撑杆具有条形槽，所述座体底部具有与条形槽适配的滑块，所述支撑杆设置有升降装置，所述升降装置控制伸缩杆上下移动，所述升降装置包括驱动电机、驱动螺杆和至少一个升降螺杆，所述驱动电机设置与支撑杆底部，驱动螺杆置于条形槽内且底端与驱动电机的动力输出端连接，所述升降螺杆与驱动螺杆同轴设置且螺纹配合，升降螺杆沿驱动螺杆上下移动，所述升降螺杆顶端部具有连接头，连接头下端端面具有与升降螺杆顶端部适配的凹槽，所述升降螺杆顶端部卡于凹槽内并可在凹槽内转动，所述伸缩杆的滑块与连接头连接，所述驱动电机上设置有第二无线模块，第二无线模块输出端与驱动电机连接，所述计算机通过WIFI控制升降装置上下移动。
所述产品展示装置为服装展示装置，所述服装展示装置包括支撑架、可伸缩杆和挂钩，所述挂钩设置与可伸缩杆外端面，可伸缩杆内端面与支撑架内的升降装置连接，所述升降装置控制挂钩上下移动，所述伸缩杆控制挂钩前后移动，所述升降装置和伸缩装置均具有无限接收系统，计算机通过WIFI控制升降装置和伸缩装置移动。
本发明中，通过眼动仪检测鞋服类进店顾客的眼动的各种参数信息，结合openpose对五官的转向定位角度识别进行眼动数据的补充，得到识别数据结果。通过openpose和眼动仪匹配到的数据，在变动的环境下更加准确的识别顾客的对产品的动作转向。同时，结合该区域的产品的类型，可以进一步得到消费者关注的产品风格等信息。这些数据输送至消费者大数据平台后，可以进一步完善消费者画像和偏好等信息。预测消费者对产品的选择行为，完善该消费者的画像与产品偏好信息。还可以评价分析顾客对产品的关注度，再根据关注度结果给出相应的预测管理策略。
计算机输出端与货架连接，所述货架设置有升降装置和伸缩装置，通过升降装置和伸缩装置控制产品的位置。通过眼动仪和openpose识别匹配后，分析顾客对具体产品的喜好，将该产品通过升降装置和伸缩装置传送至顾客放便拿取位置，提高顾客的体验感，提升店铺档次。
附图说明
图1为本发明实施例一提供的一种基于openpose的产品关注度的眼动识别的方法中openpose识别人体关键点图的示意图；
图2为本发明实施例一提供的一种基于openpose的产品关注度的眼动识别的方法中openpose识别人体图和模拟人头部转向的示意图；
图3为本发明实施例一提供一种基于openpose的产品关注度的眼动识别的方法中眼动识别示意图；
图4为本发明实施例二提供的一种基于openpose的产品关注度的眼动识别的方法中鞋类展示装置的结构示意图；
图5为本发明实施例二提供的一种基于openpose的产品关注度的眼动识别的方法中鞋类展示装置中伸缩杆剖面分解的结构示意图；
图6为本发明实施例二提供的一种基于openpose的产品关注度的眼动识别的方法中鞋类展示装置中伸缩杆剖面的结构示意图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-3所示，本发明实施例一提供的一种基于openpose的产品关注度的眼动识别的方法，步骤如下：
(1)在产品货架安装摄像头1，录制消费者实时监控视频。
(2)将消费者实时监控视频输入openpose系统中，通过openpose系统识别五官转向定位角度。获取消费者在货架前驻留时的关注方向。运行openpose系统进行五官转向检测时，停留时间小于3s记为无效数据，停留时间不小于3s记为有效数据，提取有效数据；
(3)将眼动仪安装在产品区域，通过眼动仪的相机设备2检测区域内消费者眼动运动及面部转向，通过相机的图像传感器，获取待测图像。眼动仪可选用屏幕式眼动仪，屏幕式眼动仪的屏幕区域划分为主要多个区域，调试设备光圈的大小，匹配阈值等。
(4)根据待测图像计算受试者眼部关注的坐标位置，并将传递回控制刺激信号的计算机，通过眼动跟踪软件对步骤3中获取的待测图像进行预处理，提取待测图像中人物的眼部特征、眼动方向、眼动特征和运动轨迹的参数信息。通过眼动跟踪软件，使用图像处理算法来识别眼睛跟踪相机发送的每个图像上的两个关键位置—瞳孔中心和角膜反射中心。
(5)通过眼动数据的分类算法，根据角膜与瞳孔反射光线之间的角度变化可以计算出眼动的方向及其运动变化，对图像眼动轨迹进行眼动特征提取，转换数据后编码压缩便于存储传输。所述眼动特征参数信息包括注视时间、注视和回视次数、回视方式、注视顺序和瞳孔直径变化指标。
(6)通过眼动特征数据与OPENPOSE的五官转向数据提取有效数据进行比对匹配，将匹配到合适数据输出数据结果。根据五官转向特征中有效数据去匹配合适的眼动特征数据，所述五官转向特征没有匹配到合适的眼动特征，视为无效信息，不在继续识别。最后，通过WIFI将识别到的眼动特征的图像和参数信息记次和记录，输出数据结果。
(7)对输出数据通过结果表格进行统计，能够将眼动的数据和openpose的数据进行比对后，根据眼睛注视的方向预测聚焦点，结合聚焦点在货架的位置可以确定消费者关注的范围，根据消费者的眼动注视和五官转向的热点区域，对主要区域中的产品进行关注度排序。
输出数据结果表格如下：
Figure BDA0002998957800000071
其中，眼动仪基本原理步骤为：(1)使用红外线照射眼睛；(2)使用摄像机采集从角膜和视网膜上反射的红外光线；(3)由于眼球的生理结构和物理性质，在光源和头部相对位置不变的前提下，角膜反射形成的光斑不会移动而(4)视网膜上反射的光线方向标示了瞳孔的朝向，光源光线从瞳孔射入，视网膜反射光线从瞳孔射出；(5)根据角膜与瞳孔反射光线之间的角度可以计算出眼动的方向。
所述眼动数据分类算法跟包括以下几种算法：
1、基于阈值的眼动数据算法：有I-VVT(Velocity and Velocity ThresholdIdentification)及I-VDT9(Velocity and Dispersion Threshold Identification)，其中I-VVT算法首先利用速度阈值分离出眼跳点，然后再次利用速度阈值判断注视和平滑尾随类型，该算法在高帧率的眼动数据上表现性能较差；I-VDT首先利用速度阈值判断出眼跳点，然后利用距离阈值区分注视和平滑尾随点。
2、基于概率的眼动数据分类算法：大致包括马尔可夫模型算法、贝叶斯理论算法、卡尔曼滤波算法。马尔可夫模型算法作为代表性算法，得益于其良好的状态预测效果及概率特征。
3、混合的眼动数据分类算法：I-BBM，I-DFCM算法，该算法首先使用距离阈值判别出眼跳点，然后基于FCM利用眼动跟踪数据形成的形状特征判别注视和平滑尾随点。
4、其他：
基于卷积神经网络的眼动数据分类算法，首先利用傅里叶变换对数据进行特征提取，然后将特征作为神经网络的输入。
基于SVM+2D CNN网络对图片记性特征提取，然后利用SVM对提取的特征与注视点轨迹特征进行二分类{注视点类、平滑与噪声点类}。
基于深度学习的1D CNN-BLSTM网络模型算法，首先对10维特征进一步提取深入特征，接着使用BLSTM(Long Short-Term Memory)对特征进行分类。
通过这些算法对图像进行特征提取，转换数据后编码压缩便于存储传输。
本发明中，通过眼动仪检测鞋服类进店顾客的眼动的各种参数信息，结合openpose对五官的转向定位角度识别进行眼动数据的补充，识别获得的消费者对产品关注及轨迹的数据。通过openpose和眼动仪匹配到的数据，在变动的环境下更加准确的识别顾客的对产品的动作转向。同时，结合该区域的产品的类型，可以进一步得到消费者关注的产品风格等信息。这些数据输送至消费者大数据平台后，可以进一步完善消费者画像和偏好等信息。预测消费者对产品的选择行为，完善该消费者的画像与产品偏好信息。还可以评价分析顾客对产品的关注度，再根据关注度结果给出相应的预测管理策略。
对消费者店内认知加工过程进行动态测量，完善线下消费决策黑箱机制的研究，如消费者对产品关注的次数时间和最终成交率的关系等研究。在个性化需求极大发展的销售市场背景下，实现商家更好的了解产品对消费者的品类吸引程度，从而在店内完善陈列，店外指导更精准的产品设计生产到推荐全过程。同时顺应采用神经科学工具预测消费者行为的未来研究重要趋势。
实现了对认知加工过程中各指标的同时测量。它通过注视时间、注视和回视次数及回视方式、注视顺序、瞳孔直径变化等指标，来说明每一时刻被试是如何进行信息加工的。具体来说，通过眼动记录，我们可以清楚地说明被试在材料的某个区域上注视时间是多少，注视点个数是多少；什么区域的信息加工在注视之后立即发生，而什么区域是注视完再回过头来进行加工的；什么区域被多次注视，什么区域没有被注视；不同年龄的被试对材料的加工有何差异，都是采用什么方式进行加工的。
Figure BDA0002998957800000101
通过openpose识别面部五官关键点，面部五官五个关键点位包括0鼻子、15右眼、16左眼、17右耳、18左耳。通过搜索现有openpose识别人体图和模拟人头部转向进行标点连线后，如下发现:
1、当人正面朝向镜头时，不论朝上或朝下看，在条件良好的情况下openpose能检测到头部的5个点(即0、15、16、17、18点位)。
2、当头部轻微朝向左侧或右侧时，只能观测到4个点(背侧的耳朵点位消失)。
3、当头部朝向左侧或右侧超过四分之三时，只能观测到3个点(背侧眼睛和耳朵消失)
4、当头部处于纯侧位置时，只有2个点(一眼一耳)。
表-模拟人头五官点位在六个区域(左中右)的示意:
Figure BDA0002998957800000111
通过识别到的点数和点位置坐标可以区别中间和两侧区域；区别左边和右边则是通过识别0点位与15、16分别的坐标即可。
假设从左至右的坐标识别出来的三个点为x1y1、x2y2、x3y3，那么只要丨x3-x1丨＞丨x2-x1丨，则为左侧；丨x1-x2丨＞丨x2-x3丨，则为右侧。通过前面的规则区分开左右侧后，通过y2的大小来区分上下。y2＜y1和y3是朝下，y2＞y1和y3则是朝上。四个点位同理，只要计算出最长的一段距离偏向哪一侧则表示该头就不是转向这一侧。结合openpos识别的个数及坐标比例判定，判断人头部的转向。可以对眼动识别得到的数据进行互相验证和补充。
参照图4-6所示，本发明实施例二提供的一种基于openpose的产品关注度的眼动识别的方法，与实施例一基本相同，区别在于：根据消费者的眼动注视和五官转向的热点区域，判断消费者喜好的产品，根据注视时长和瞳孔直径变化判断喜好程度。当注视时长超过6秒，且瞳孔直径放大20％以上，计算机输出系统通过WIFI控制产品展示装置，将识别出的对应产品推送至消费者对应位置。当消费者眼动方向离开对应产品的时长超过15秒以上，计算机输出系统控制鞋服展示装置，将对应产品归回原位。所述产品展示装置可以为鞋类展示装置或服装展示装置或其他产品的展示装置。
当所述产品展示装置为鞋类展示装置时，所述鞋类展示装置包括展示支撑架和鞋托3，所述展示支撑架包括支撑板4和多个并排安装在支撑板前侧的支撑杆5，所述鞋托3通过伸缩杆6套接在支撑杆5上，多个眼动仪2分布于支撑杆5上，或设于鞋托底部。所述伸缩杆6的底座设置电子伸缩装置，通过电子伸缩装置，伸缩杆6根据指令向外延伸或向内缩回。所述支撑杆5设置有升降装置，所述升降装置控制伸缩杆6沿和支撑杆上下移动。所述当openpose结合眼动仪计算数据，根据预设规则，识别出顾客喜好产品，通过计算机控制伸缩装置和升降装置，将产品传送至顾客放便拿取位置，提高顾客的体验感，提升店铺档次。
所述伸缩杆6包括座体7、第一外套管8和第二外套管9。所述底座7套接在支撑杆5上，所述第一外套管8一端设于座体7上，所述第二外套管9套接在第一外套管8内并沿第一外套管8内壁横向移动。所述第二外套管9外端部与鞋托3连接，所述每个支撑杆5设置一个鞋托3，相邻鞋托3交错设置。
所述电子伸缩装置包括电动机10、减速机和第一无线接收模块，所述第一无线接收模块输出端与电动机10连接，第一无线接收模块通过wifi接收计算机指令，控制电动机开启或关闭，从而控制电子伸缩装置的收缩。所述减速机中设置传动轴11，所述传动轴11上设置传动螺杆12，所述第一外套管8套接在传动螺杆12和传动轴11外部，所述第一外套管8底部与底座7固定。所述第二外套管9内腔具有螺纹套管13，所述螺纹套管13与传动螺杆12适配并活动设置与传动螺杆上，所述螺纹套管13内壁具有与传动螺杆12适配的螺纹。所述电动机10控制传动螺杆12转动，螺纹套管13沿传动螺杆12移动，从而第二外套管9并沿第一外套管8内壁横向向内或向外移动，所述第二外套管9外端部固定鞋托3。所述螺纹套管13顶部具有限位凸块14，所述第二外套管9内腔顶部具有限位槽15，限位凸块14置于限位槽内并可在限位槽15内转动。
所述支撑杆5具有条形槽16，所述座体底部具有与条形槽16适配的滑块17，所述滑块17套接在条形槽16内。所述支撑杆5设置有升降装置，所述升降装置控制伸缩杆5上下移动。所述升降装置包括驱动电机18、驱动螺杆19和至少一个升降螺杆20。所述驱动电机18设置与支撑杆5底部，驱动螺杆19置于条形槽16内且底端与驱动电机18的动力输出端连接。所述升降螺杆20与驱动螺杆19同轴设置且螺纹配合，升降螺杆20沿驱动螺杆19上下移动。所述滑块17具有连接头21，连接头下端端面具有与升降螺杆顶端部适配的凹槽22，所述升降螺杆20顶端部卡于凹槽22内并可在凹槽22内转动。所述伸缩杆的滑块与连接头连接，通过驱动螺杆19与升降螺杆20的升降配合，从而控制伸缩杆6的上下移动。所述驱动电机上设置有第二无线模块，第二无线模块输出端与驱动电机18连接，所述计算机通过WIFI控制升降装置上下移动。
通过眼动仪和openpose识别匹配后，分析顾客对具体产品的喜好，计算机输出端通过WIFI传送指令至对应产品的升降装置和伸缩装置，第一无线模块和第二无线模块收到指令同时工作，伸缩杆上第二外套管向外延伸，同时升降装置控制伸缩杆向上或向下移动，通过升降装置和伸缩装置控制产品的位置。在伸缩杆6上下移动的过程中，向外延伸的第二外套管9能够防止移动中的鞋托触碰到其他鞋托。将该产品通过升降装置和伸缩装置传送至顾客放便拿取位置，提高顾客的体验感，提升店铺档次。计算机输出端与货架连接，所述货架设置有升降装置和伸缩装置，通过升降装置和伸缩装置控制产品的位置。
所述产品展示装置为服装展示装置，所述服装展示装置包括支撑架、可伸缩杆和挂钩，所述挂钩设置与可伸缩杆外端面，可伸缩杆设置伸缩装置，伸缩装置控制可伸缩杆的收缩。可伸缩杆内端面与支撑架内的升降装置连接，升降装置控制挂钩上下移动，所述伸缩杆控制挂钩前后移动，所述升降装置和伸缩装置均具有无限接收系统，计算机通过WIFI控制升降装置和伸缩装置移动。所述升降装置与伸缩装置结构与鞋类展示装置中结构相同。其他产品的展示装置可参考服装展示装置和鞋类展示装置的构造。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发。明的保护范围。

Claims (9)

1.一种基于openpose的产品关注度的眼动识别的方法，其特征：步骤如下，(1)在产品货架安装摄像头；
(2)将消费者实时监控视频输入openpose系统中，通过openpose系统识别五官转向定位角度，提取有效数据；
(3)将眼动仪安装在产品区域，通过眼动仪的相机设备检测区域内消费者眼动运动及面部转向，获取待测图像；
(4)再通过眼动跟踪软件对待测图像进行预处理，提取待测图像中人物的眼部特征、眼动方向、眼动特征和运动轨迹的参数信息；
(5)通过眼动数据的分类算法对图像眼动轨迹进行眼动特征提取，转换数据后编码压缩便于存储传输，所述眼动特征参数信息包括注视时间、注视和回视次数、回视方式、注视顺序和瞳孔直径变化指标；
(6)通过眼动特征数据与OPENPOSE的五官转向数据提取有效数据进行比对匹配，将匹配到合适数据输出数据结果；
(7)根据眼睛注视的方向预测聚焦点，结合聚焦点在货架的位置确定消费者关注的范围，根据消费者的眼动注视和五官转向的热点区域，对主要区域中的产品进行关注度排序。
2.根据权利要求1所述的基于openpose的产品关注度的眼动识别的方法，其特征：上述步骤4中，根据待测图像计算受试者眼部关注的坐标位置，并将传递回控制刺激信号的计算机，通过眼动跟踪软件，使用图像处理算法来识别眼睛跟踪相机发送的每个图像上的两个关键位置—瞳孔中心和角膜反射中心，根据角膜与瞳孔反射光线之间的角度变化可以计算出眼动的方向及其运动变化。
3.根据权利要求1所述的基于openpose的产品关注度的眼动识别的方法，其特征：上述步骤2中，运行openpose系统进行五官转向检测，停留时间小于3s记为无效数据，停留时间不小于3s记为有效数据。
4.根据权利要求3所述的基于openpose的产品关注度的眼动识别的方法，其特征：上述步骤6中，根据五官转向特征中有效数据去匹配合适的眼动特征数据，所述五官转向特征没有匹配到合适的眼动特征，视为无效信息，不在继续识别，最后，将识别到的眼动特征的图像和参数信息记次和记录，输出数据结果。
5.根据权利要求3所述的基于openpose的产品关注度的眼动识别的方法，其特征：步骤6中，根据消费者的眼动注视和五官转向的热点区域，判断消费者喜好的产品，根据注视时长和瞳孔直径变化判断喜好程度，当注视时长超过6秒，且瞳孔直径放大20％以上，计算机输出系统通过WIFI控制产品展示装置，将识别出的对应产品推送至消费者对应位置，消费者眼动方向离开对应产品的时长超过15秒以上，计算机输出系统控制鞋服展示装置，将对应产品归回原位。
6.根据权利要求5所述的基于openpose的产品关注度的眼动识别的方法，其特征：所述产品展示装置为鞋类展示装置，所述鞋类展示装置包括展示支撑架和鞋托，所述展示支撑架包括支撑板和多个并排安装在支撑板前侧的支撑杆，多个眼动仪分布于支撑杆上，所述鞋托通过伸缩杆套接在支撑杆上，所述伸缩杆沿和支撑杆上下移动，所述伸缩杆包括座体、第一外套管和第二外套管，所述底座套接在支撑杆上，所述第一外套管一端设于座体上，所述第二外套管套接在第一外套管内并沿第一外套管内壁横向移动，所述第二外套管外端部与鞋托连接，所述每个支撑杆设置一个鞋托，相邻鞋托交错设置。
7.根据权利要求6所述的基于openpose的产品关注度的眼动识别的方法，其特征：所述伸缩杆的底座设置电子伸缩装置，所述电子伸缩装置包括电动机、减速机和第一无线接收模块，所述第一无线接收模块输出端与电动机连接，所述减速机中设置传动轴，所述传动轴上设置传动螺杆，所述第一外套管套接在传动螺杆和传动轴外部，所述第一外套管底部与底座固定，所述第二外套管内腔具有螺纹套管，所述螺纹套管与传动螺杆适配并活动设置与传动螺杆上，所述螺纹套管内壁具有与传动螺杆适配的螺纹，所述螺纹套管顶部具有限位凸块，所述第二外套管内腔顶部具有限位槽，限位凸块置于限位槽内并可在限位槽内转动，所述第二外套管外端部固定鞋托。
8.根据权利要求6或7所述的基于openpose的产品关注度的眼动识别的方法，其特征：所述支撑杆具有条形槽，所述座体底部具有与条形槽适配的滑块，所述支撑杆设置有升降装置，所述升降装置控制伸缩杆上下移动，所述升降装置包括驱动电机、驱动螺杆和至少一个升降螺杆，所述驱动电机设置与支撑杆底部，驱动螺杆置于条形槽内且底端与驱动电机的动力输出端连接，所述升降螺杆与驱动螺杆同轴设置且螺纹配合，升降螺杆沿驱动螺杆上下移动，所述升降螺杆顶端部具有连接头，连接头下端端面具有与升降螺杆顶端部适配的凹槽，所述升降螺杆顶端部卡于凹槽内并可在凹槽内转动，所述伸缩杆的滑块与连接头连接，所述驱动电机上设置有第二无线模块，第二无线模块输出端与驱动电机连接，所述计算机通过WIFI控制升降装置上下移动。
9.根据权利要求5所述的基于openpose的产品关注度的眼动识别的方法，其特征：所述产品展示装置为服装展示装置，所述服装展示装置包括支撑架、可伸缩杆和挂钩，所述挂钩设置与可伸缩杆外端面，可伸缩杆内端面与支撑架内的升降装置连接，所述升降装置控制挂钩上下移动，所述伸缩杆控制挂钩前后移动，所述升降装置和伸缩装置均具有无限接收系统，计算机通过WIFI控制升降装置和伸缩装置移动。
CN202110340341.3A 2021-03-30 2021-03-30 基于openpose的产品关注度的眼动识别的方法 Active CN113111745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110340341.3A CN113111745B (zh) 2021-03-30 2021-03-30 基于openpose的产品关注度的眼动识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110340341.3A CN113111745B (zh) 2021-03-30 2021-03-30 基于openpose的产品关注度的眼动识别的方法

Publications (2)

Publication Number Publication Date
CN113111745A true CN113111745A (zh) 2021-07-13
CN113111745B CN113111745B (zh) 2023-04-07

Family

ID=76712666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110340341.3A Active CN113111745B (zh) 2021-03-30 2021-03-30 基于openpose的产品关注度的眼动识别的方法

Country Status (1)

Country Link
CN (1) CN113111745B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114371781A (zh) * 2021-12-31 2022-04-19 金地（集团）股份有限公司 房产营销中的用户画像生成方法和系统
CN115439921A (zh) * 2022-09-22 2022-12-06 徐州华讯科技有限公司 一种基于眼动图推理的图像偏好预测方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318223A (zh) * 2014-11-18 2015-01-28 新开普电子股份有限公司 一种人脸显著特征位置标定方法及系统
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
CN107097227A (zh) * 2017-04-17 2017-08-29 北京航空航天大学 一种人机协作机器人系统
US20170285736A1 (en) * 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
CN107773248A (zh) * 2017-09-30 2018-03-09 优视眼动科技（北京）有限公司 眼动仪及图像处理方法
CN108255299A (zh) * 2018-01-10 2018-07-06 京东方科技集团股份有限公司 一种图像处理方法及装置
CN109690553A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 执行眼睛注视跟踪的系统和方法
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置
CN110532925A (zh) * 2019-08-22 2019-12-03 西安电子科技大学 基于时空图卷积网络的驾驶员疲劳检测方法
CN111310705A (zh) * 2020-02-28 2020-06-19 深圳壹账通智能科技有限公司 图像识别方法、装置、计算机设备及存储介质
CN111767820A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 对象被关注的识别方法、装置、设备及存储介质
CN111882365A (zh) * 2020-08-06 2020-11-03 中国农业大学 一种高效自助售货机商品智能推荐系统及方法
CN112162627A (zh) * 2020-08-28 2021-01-01 深圳市修远文化创意有限公司 一种结合头部运动检测的眼球追踪方法及相关装置
CN112257499A (zh) * 2020-09-15 2021-01-22 福建天泉教育科技有限公司 眼部状态检测方法及计算机可读存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318223A (zh) * 2014-11-18 2015-01-28 新开普电子股份有限公司 一种人脸显著特征位置标定方法及系统
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
US20170285736A1 (en) * 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
CN109690553A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 执行眼睛注视跟踪的系统和方法
CN107097227A (zh) * 2017-04-17 2017-08-29 北京航空航天大学 一种人机协作机器人系统
CN107773248A (zh) * 2017-09-30 2018-03-09 优视眼动科技（北京）有限公司 眼动仪及图像处理方法
CN108255299A (zh) * 2018-01-10 2018-07-06 京东方科技集团股份有限公司 一种图像处理方法及装置
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置
CN110532925A (zh) * 2019-08-22 2019-12-03 西安电子科技大学 基于时空图卷积网络的驾驶员疲劳检测方法
CN111310705A (zh) * 2020-02-28 2020-06-19 深圳壹账通智能科技有限公司 图像识别方法、装置、计算机设备及存储介质
CN111767820A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 对象被关注的识别方法、装置、设备及存储介质
CN111882365A (zh) * 2020-08-06 2020-11-03 中国农业大学 一种高效自助售货机商品智能推荐系统及方法
CN112162627A (zh) * 2020-08-28 2021-01-01 深圳市修远文化创意有限公司 一种结合头部运动检测的眼球追踪方法及相关装置
CN112257499A (zh) * 2020-09-15 2021-01-22 福建天泉教育科技有限公司 眼部状态检测方法及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CALLEMEIN T等: "Automated analysis of eye-tracker-based human-human interaction studies", 《INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND APPLICATIONS. SPRINGER, SINGAPORE》 *
刘驰等: "Openpose算法在步态分析中的可靠性研究", 《皮革科学与工程》 *
聂向荣: "基于头动信息和眼动信息的视线跟踪技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114371781A (zh) * 2021-12-31 2022-04-19 金地（集团）股份有限公司 房产营销中的用户画像生成方法和系统
CN115439921A (zh) * 2022-09-22 2022-12-06 徐州华讯科技有限公司 一种基于眼动图推理的图像偏好预测方法

Also Published As

Publication number Publication date
CN113111745B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US20200074380A1 (en) Work support device, work support method, and work support program
JP6929366B2 (ja) ドライバ監視及び応答システム
Li et al. Learning to predict gaze in egocentric video
Majaranta et al. Eye tracking and eye-based human–computer interaction
JP6125670B2 (ja) 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム
US20160029883A1 (en) Eye tracking calibration
Kurylyak et al. Detection of the eye blinks for human's fatigue monitoring
CN113111745B (zh) 基于openpose的产品关注度的眼动识别的方法
JP5225870B2 (ja) 情動分析装置
Sharma et al. Eye gaze techniques for human computer interaction: A research survey
Jingchao et al. Recognition of classroom student state features based on deep learning algorithms and machine learning
Oyekoya et al. Eye tracking as a new interface for image retrieval
Pandey et al. Temporal and spatial feature based approaches in drowsiness detection using deep learning technique
Zhao et al. Eye moving behaviors identification for gaze tracking interaction
CN103870814A (zh) 基于智能相机的非接触式实时眼动识别方法
KR101539923B1 (ko) 이중 기계학습 구조를 이용한 생체신호 기반의 안구이동추적 시스템 및 이를 이용한 안구이동추적 방법
CN111281403B (zh) 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备
US20220327704A1 (en) Method for determining location of target of body
Piratla et al. A neural network based real-time gaze tracker
Sun et al. Reading line classification using eye-trackers
CN115444422A (zh) 一种基于眼动数据的真实环境心理负荷评估方法和系统
CN115429271A (zh) 基于眼动和面部表情的孤独症谱系障碍筛查系统及方法
Oyekoya Eye tracking: A perceptual interface for content based image retrieval
CN112433664A (zh) 用于书本阅读过程中的人机交互方法、装置及电子设备
KR101583774B1 (ko) 공포 심리 분석 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant