CN109800706B - 一种眼动视频数据的特征提取方法及系统 - Google Patents
一种眼动视频数据的特征提取方法及系统 Download PDFInfo
- Publication number
- CN109800706B CN109800706B CN201910044047.0A CN201910044047A CN109800706B CN 109800706 B CN109800706 B CN 109800706B CN 201910044047 A CN201910044047 A CN 201910044047A CN 109800706 B CN109800706 B CN 109800706B
- Authority
- CN
- China
- Prior art keywords
- image
- eye
- video frame
- video
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 77
- 230000004424 eye movement Effects 0.000 title claims abstract description 44
- 238000012795 verification Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000001186 cumulative effect Effects 0.000 claims description 24
- 238000013459 approach Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 2
- 239000012491 analyte Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种眼动视频数据的特征提取方法，属于视频数据处理技术领域，针对现有方法从眼动仪获取视频数据背景单一的问题，基于眼动仪本身存储的视频文件和文本文件，视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标，采用技术方案是：对视频帧图像和视频帧值进行匹配查找，提取时间信息；对视频帧图像进行预处理，得到前景图像，针对前景图像中眼睛图标和分心物图标的特点，提取眼睛坐标、分心物坐标，并计算眼睛和分心物两点间的距离；将提取信息叠加到相应的视频帧图像中进行验证，验证成功后导出提取信息并存储。本提取方法提取的信息具有完整度高和准确度高的优点。本发明还提供一种眼动视频数据的特征提取方法系统。
Description
技术领域
本发明涉及视频数据处理技术领域，具体地说是一种眼动视频数据的特征提取方法及系统。
背景技术
眼动仪能够记录诸多眼动特征，包括注视时间、注视次数，眼动轨迹等。随着现代眼动仪的发展，眼部运动在诸如阅读、视觉搜索、情景感知等任务研究中有了广泛的应用。眼部运动特征的提取可以为视觉过程和认知过程提供一个合理的研究方法。
从SMI眼动仪中获取的眼动视频的色彩少，噪声小，有比较好的视觉效果，方便于视频特征提取。但是其视频数据背景单一，不适用于帧差法、背景剪除法等一些主流的基于视频的运动物体数据提取方法。由于题材特殊，眼动视频数据样本较少，几乎没有相关的特征提取方法。
发明内容
本发明的技术任务是解决现有技术的不足，针对现有方法从眼动仪中获取视频数据背景单一的问题，提供一种眼动视频数据的特征提取方法及系统，对眼动视频中不同数据特征进行多样性提取。
首先，本发明公开一种眼动视频数据的特征提取方法，解决上述技术问题采用的技术方案如下：
一种眼动视频数据的特征提取方法，该方法基于眼动仪本身的存储文件夹，该存储文件夹包含同步导出的视频文件和文本文件，视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标，文本文件的文本数据按照时间顺序记录视频帧值，视频帧值即是视频帧图像的顺序值。该方法的实现过程为：
S100：获取眼动仪的视频文件和文本文件，在文本文件中查找与视频文件中视频帧图像排序相对应的视频帧值，完成时间信息的提取；
S200：对视频帧图像进行预处理，得到视频帧图像中眼睛和/或分心物的前景图像；
S300：提取前景图像的眼睛坐标和/或分心物坐标，并由同一张视频帧图像的眼睛坐标和分心物坐标计算眼睛和分心物的距离；
S400：将提取的眼睛坐标和/或分心物坐标叠加到视频帧图像中进行验证；
S500：验证成功后，将视频文件的所有视频帧图像的视频帧值、时间、眼睛坐标、分心物坐标、眼睛和分心物的距离作为有效数据导出，并进行存储。
进一步的，所涉及提取时间信息的具体操作包括：
S110：导出眼动仪的存储文件夹，获取存储文件夹中的视频文件和文本文件；
S120：获取视频文件的名称，通过视频文件的名称，获取与之相对应的文本文件名称；
S130：打开视频文件，读取视频数据，按照顺序获取视频帧图像；
S140：打开文本文件，读取文本数据，文本数据包含眼动仪的记载时间、与记载时间相对应的视频帧值；
S150：根据视频数据中视频帧图像的排序，在文本数据中查找与之相匹配的视频帧值，并提取该视频帧值对应的时间。
进一步的，所涉及眼动仪的存储文件夹中，包含多个人的眼动数据，多个人的眼动数据按照录制先后进行命名；同一个人的眼动数据包括一个文本文件和多个视频文件，文本文件的文本数据除了包含眼动仪的记载时间、与记载时间相对应的视频帧值，还包含视频文件的名称。在提取时间信息的过程中，应当首先获取视频文件的名称，然后找到与之相对应的文本文件，打开文本文件和视频文件，读取文本数据，查找与视频文件名称相对应的信息，读取视频数据，根据视频帧图像的排序，在文本数据中找到相对应的视频帧值，提取该视频帧值相对应的时间。
进一步的，所涉及眼动仪的视频文件中，用空心圆标示眼睛，对视频帧图像进行颜色阈值化处理、高斯滤波，得到视频帧图像中眼睛的前景图像。
进一步的，所涉及通过霍夫圆目标检测算法，找到前景图像中的眼睛坐标，其具体操作为：
1)建立图像坐标系：眼睛坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)对输入图像进行边缘检测，得到输入图像的边缘图像，令(xi，yi)(i＝1，2，3...n)为图像中满足圆周特性的边缘点集合；
3)对边缘图像上的(xi，yi)计算x方向导数和y方向的导数，从而得到梯度：设图像空间中的边缘点映射到参数空间中的像素点为(a，b)，r为半径，通过公式(x-a)2+(y-b)2＝r2，将图像空间中的边缘点映射到参数空间中；
4)获取参数空间中的像素点(a，b)：在参数空间建立一个累加器，通过公式(a-xi)2+(b-yi)2＝r2，从边缘点(xi，yi)沿着梯度和梯度的反方向，在累加器中累加圆半径区间范围内的每一个像素点(a，b)，并保存像素点；
5)从累加器的点中选择候选中心，候选中心大于给定的阈值(Amax)和其相邻的四个邻域点的累加值；
6)获取眼睛坐标：对所有候选中心按照累加值降序排序，以便于找到累加数值最大的参数空间像素点的中心，此中心即为眼睛坐标；
7)获取目标圆半径：将参数空间像素点(a，b)与其中心的距离排序，从眼睛坐标的最小距离算起，选择参数空间像素点累加数值最大的一条半径，即目标圆半径。
进一步的，所涉及眼动仪的视频文件中，用十字架形状标示分心物；对视频帧图像进行灰度处理、阈值化处理后转换成二值图像，得到分心物的前景图像。
进一步的，所涉及通过多边形逼近算法，结合分心物的大小区间，定位分心物的坐标数据，其具体操作包括：
1)建立图像坐标系：分心物坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)寻找图像中分心物的轮廓，得到分心物的轮廓点；
3)选择图像中两个最远的轮廓点作为初始特征点，将其连成线段；
4)查找轮廓上到线段最远的特征点添加到新的轮廓中，保存特征点；
5)设定最小精度，即逼近多边形的最小阈值；重复4)，不断将新的特征点添加到结果中，逐渐逼近分心物形状，直到大于最小阈值，得到的结果近似分心物形状，保存特征点集；
6)通过特征点集，画出多边形，寻找最小面积的包围圆，对其进行定位：设定包围圆半径最小值，如果定位到的多边形大于包围圆半径最小值，那么包围圆圆心坐标即是分心物坐标。
其次，本发明还提供一种眼动视频数据的特征提取系统，该系统基于眼动仪本身的存储文件夹，该存储文件夹包含同步导出的视频文件和文本文件，视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标，文本文件的文本数据按照时间顺序记录视频帧值，视频帧值即是视频帧图像的顺序值。该系统包括：
获取查找模块，用于获取眼动仪的视频文件和文本文件，并在文本文件中查找与视频文件中视频帧图像排序相对应的视频帧值；
匹配提取模块，用于匹配视频文件中视频帧图像和文本文件中视频帧值，并在匹配成功时提取文本文件中该视频帧值所对应的时间信息；
预处理模块一，用于对视频帧图像进行预处理，进而得到视频帧图像中眼睛的前景图像；
预处理模块二，用于对视频帧图像进行预处理，进而得到视频帧图像中分心物的前景图像；
提取模块一，用于提取眼睛前景图像的眼睛坐标；
提取模块二，用于提取分心物前景图像的分心物坐标；
计算模块，基于两点间距离的计算公式，计算得到眼睛和分心物两点间的距离；
验证模块，用于将提取的眼睛坐标和分心物坐标叠加到相应的视频帧图像中进行验证；
导出存储模块，在验证模块验证成功时，将视频帧值、时间信息、眼睛坐标、分心物坐标、眼睛和分心物两点间的距离作为有效信息导出并存储。
可选的，所涉及眼动仪的视频文件中，用空心圆标示眼睛，预处理模块一对视频帧图像进行颜色阈值化处理、高斯滤波处理后，得到视频帧图像中眼睛的前景图像，随后，提取模块一通过霍夫圆目标检测算法，找到前景图像中的眼睛坐标；找到眼睛坐标的具体操作为：
1)建立图像坐标系：眼睛坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)对输入图像进行边缘检测，得到输入图像的边缘图像，令(xi，yi)(i＝1，2，3...n)为图像中满足圆周特性的边缘点集合；
3)对边缘图像上的(xi，yi)计算x方向导数和y方向的导数，从而得到梯度：设图像空间中的边缘点映射到参数空间中的像素点为(a，b)，r为半径，通过公式(x-a)2+(y-b)2＝r2，将图像空间中的边缘点映射到参数空间中；
4)获取参数空间中的像素点(a，b)：在参数空间建立一个累加器，通过公式(a-xi)2+(b-yi)2＝r2，从边缘点(xi，yi)沿着梯度和梯度的反方向，在累加器中累加圆半径区间范围内的每一个像素点(a，b)，并保存像素点；
5)从累加器的点中选择候选中心，候选中心大于给定的阈值(Amax)和其相邻的四个邻域点的累加值；
6)获取眼睛坐标：对所有候选中心按照累加值降序排序，以便于找到累加数值最大的参数空间像素点的中心，此中心即为眼睛坐标；
7)获取目标圆半径：将参数空间像素点(a，b)与其中心的距离排序，从眼睛坐标的最小距离算起，选择参数空间像素点累加数值最大的一条半径，即目标圆半径。
可选的，所涉及眼动仪的视频文件中，用十字架形状标示分心物，预处理模块二对视频帧图像进行灰度处理、阈值化处理后转换成二值图像，得到分心物的前景图像，随后，提取模块二通过多边形逼近算法，结合分心物的大小区间，定位分心物的坐标数据。
提取分心物坐标的具体操作包括：
1)建立图像坐标系：分心物坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)寻找图像中分心物的轮廓，得到分心物的轮廓点；
3)选择图像中两个最远的轮廓点作为初始特征点，将其连成线段；
4)查找轮廓上到线段最远的特征点添加到新的轮廓中，保存特征点；
5)设定最小精度，即逼近多边形的最小阈值；重复4)，不断将新的特征点添加到结果中，逐渐逼近分心物形状，直到大于最小阈值，得到的结果近似分心物形状，保存特征点集；
6)通过特征点集，画出多边形，寻找最小面积的包围圆，对其进行定位：设定包围圆半径最小值，如果定位到的多边形大于包围圆半径最小值，那么包围圆圆心坐标即是分心物坐标。
本发明的一种眼动视频数据的特征提取方法及系统，与现有技术相比所产生的有益效果是：
1)本发明的提取方法基于眼动仪本身的存储文件夹，存储文件夹包含同步导出的视频文件和文本文件，视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标，文本文件的文本数据按照时间顺序记录视频帧值，视频帧值即是视频帧图像的顺序值，该提取方法在获取视频文件和文本文件后，根据视频文件名称和文本文件名称完成初步查找，随后，读取视频文件和文本文件，找到两个文件中相匹配的视频帧图像完成时间信息的提取，再随后，对提取的视频帧图像进行预处理，得到前景图像，针对前景图像中眼睛图标和分心物图标的特点，选择与图标特点相一致的算法进行眼睛坐标、分心物坐标的提取，并进一步根据提取的眼睛坐标和分心物坐标计算眼睛和分心物两点间的距离，最后，将提取的眼睛坐标和分心物坐标叠加到相应的视频帧图像中进行验证，将验证成功的所有视频帧图像的视频帧值、时间、眼睛坐标、分心物坐标、眼睛和分心物的距离作为有效数据导出并存储；本提取方法提取的信息具有完整度高和准确度高的优点，尤其对单个提取信息来讲，还具有提取质量高的优点，本提取方法提取的信息可以为实验提供数据样本，实验可以包括：眼部运动特征对抑郁症的影响、眼球感知图像检索和眼球识别等一系列与眼动仪相关的实验；
2)本发明的提取系统同样基于眼动仪本身的存储文件夹信息，利用获取查找模块获取眼动仪的视频文件和文本文件、进而查找视频文件和文本文件中可能匹配的视频帧图像，利用匹配提取模块匹配视频文件和文本文件的视频帧图像、并在匹配成功时提取文本文件中该视频帧值所对应的时间信息，利用不同的预处理模块对视频帧图像进行预处理、进而得到眼睛前景图像和分心物前景图像，基于眼睛图标和分心物图标的特点，利用不同的提取模块完成眼睛坐标和分心物坐标的提取，随后利用计算模块计算得到眼睛和分心物两点间的距离，最后利用验证模块将提取的眼睛坐标和分心物坐标叠加到相应的视频帧图像中进行验证，并在验证模块验证成功时，利用导出存储模块将视频帧值、时间信息、眼睛坐标、分心物坐标、眼睛和分心物两点间的距离作为有效信息导出并存储；本提取系统与上述提取方法相结合，实现对视频帧图像中时间信息、眼睛坐标、分心物坐标的多样性提取，提高了提取特征的完整度和准确度。
附图说明
附图1是本发明中霍夫圆目标检测算法的原理图；
附图2是本发明中多边形逼近算法的原理图；
附图3是本发明所导出的有效数据局部截图；
附图4是本发明实施例二的连接框图。
附图4中各标号表示：
10、获取查找模块，20、匹配提取模块，30、预处理模块一，
40、预处理模块二，50、提取模块一，60、提取模块二，
70、计算模块，80、验证模块，90、导出存储模块。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。
实施例一：
本实施例的一种眼动视频数据的特征提取方法，该方法基于眼动仪本身的存储文件夹，该存储文件夹包含同步导出的视频文件和文本文件，视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标，文本文件的文本数据按照时间顺序记录视频帧值，视频帧值即是视频帧图像的顺序值。
本实施例的一种眼动视频数据的特征提取方法，其实现过程为：
S100：获取眼动仪的视频文件和文本文件，在文本文件中查找与视频文件中视频帧图像排序相对应的视频帧值，完成时间信息的提取；
S200：对视频帧图像进行预处理，得到视频帧图像中眼睛和/或分心物的前景图像；
S300：提取前景图像的眼睛坐标和/或分心物坐标，并由同一张视频帧图像的眼睛坐标和分心物坐标计算眼睛和分心物的距离；
S400：将提取的眼睛坐标和/或分心物坐标叠加到视频帧图像中进行验证；
S500：验证成功后，将视频文件的所有视频帧图像的视频帧值、时间、眼睛坐标、分心物坐标、眼睛和分心物的距离作为有效数据导出，并进行存储。参考附图3，有效数据通过CSV格式导出，其中，Frame表示视频帧值，Time表示时间，Eye_x、Eye_y表示眼睛坐标，Aim_x、Aim_y表示分心物坐标，Distance表示眼睛和分心物的距离，此距离由两点间的距离公式计算得出。
由附图3可知，本实施例视频文件的所有视频帧图像中，有十张视频帧图像中出现了分心物，也就是说，所获取视频文件中分心物出现了两次，单位换算后，分析物出现的时长不超过6秒。
所涉及提取时间信息的具体操作包括：
S110：导出眼动仪的存储文件夹，获取存储文件夹中的视频文件和文本文件；
S120：获取视频文件的名称，通过视频文件的名称，获取与之相对应的文本文件名称；
S130：打开视频文件，读取视频数据，按照顺序获取视频帧图像；
S140：打开文本文件，读取文本数据，文本数据包含眼动仪的记载时间、与记载时间相对应的视频帧值；
S150：根据视频数据中视频帧图像的排序，在文本数据中查找与之相匹配的视频帧值，并提取该视频帧值对应的时间。
在本实施例中，所涉及眼动仪的存储文件夹中，包含多个人的眼动数据，多个人的眼动数据按照录制先后进行命名。同一个人的眼动数据包括一个文本文件和三个视频文件。如下图，同一个框内文件为同一个人的眼动数据：
如果需要提取编号为0001的眼动数据，我们会同时获取数据0001-scrrec.avi，0001-scrrec1.avi，0001-scrrec2.avi，0001-protocol.txt。
其中：
0001-scrrec.avi，0001-scrrec1.avi，0001-scrrec2.avi，三者为视频文件；
0001-protocol.txt为以上三个视频文件的文本文件。
文本文件的文本数据除了包含眼动仪的记载时间、与记载时间相对应的视频帧值，还包含视频文件的名称。如下图：
在提取时间信息的过程中，应当首先获取视频文件的名称，然后找到与之相对应的文本文件，打开文本文件和视频文件，读取文本数据，查找与视频文件名称相对应的信息，读取视频数据，根据视频帧图像的排序，在文本数据中找到相对应的视频帧值，提取该视频帧值相对应的时间，如下图：
所涉及眼动仪的视频文件中，用空心圆标示眼睛，对视频帧图像进行颜色阈值化处理、高斯滤波，得到视频帧图像中眼睛的前景图像。
参考附图1，所涉及通过霍夫圆目标检测算法，找到前景图像中的眼睛坐标，其具体操作为：
1)建立图像坐标系：眼睛坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)对输入图像进行边缘检测，得到输入图像的边缘图像，令(xi，yi)(i＝1，2，3...n)为图像中满足圆周特性的边缘点集合；
3)对边缘图像上的(xi，yi)计算x方向导数和y方向的导数，从而得到梯度：设图像空间中的边缘点映射到参数空间中的像素点为(a，b)，r为半径，通过公式(x-a)2+(y-b)2＝r2，将图像空间中的边缘点映射到参数空间中；
4)获取参数空间中的像素点(a，b)：在参数空间建立一个累加器，通过公式(a-xi)2+(b-yi)2＝r2，从边缘点(xi，yi)沿着梯度和梯度的反方向，在累加器中累加圆半径区间范围内的每一个像素点(a，b)，并保存像素点；
5)从累加器的点中选择候选中心，候选中心大于给定的阈值(Amax)和其相邻的四个邻域点的累加值；
6)获取眼睛坐标：对所有候选中心按照累加值降序排序，以便于找到累加数值最大的参数空间像素点的中心，此中心即为眼睛坐标；
7)获取目标圆半径：将参数空间像素点(a，b)与其中心的距离排序，从眼睛坐标的最小距离算起，选择参数空间像素点累加数值最大的一条半径，即目标圆半径。
在实验中，HoughCircles()是基于霍夫圆目标检测算法的函数实现。根据图像像素(可能的圆周边缘)的梯度、边缘点、边缘方向信息进行圆心定位，然后结合圆周信息和半径大小最终确定圆的位置。对高斯滤波后的视频帧图像(redMat)进行边缘检测，计算图形的梯度。确定圆心之间的最小距离(minDist)，小于该值的两个圆心被认为是同一个圆；确定圆心累加器的最大阈值(Amax)，当霍夫空间内累加值大于该阈值，则认为该值对应圆心。通过设定圆半径的区间范围，即圆半径的最小值(minRadius)和最大值(maxRadius)，进行最终圆位置的确定，提高运行效率。circles为输出圆向量，每个向量包括圆心横坐标，圆心纵坐标和圆半径三个元素。
眼睛坐标提取算法伪代码：
眼睛坐标提取算法是基于霍夫圆目标检测算法，主要步骤如下：
其中，输入：src：原始视频帧图像；redMat：高斯滤波后的视频帧图像；minDist：圆心之间的最小距离；Amax：圆心累加器的最大阈值；minRadius：圆半径的最小值；maxRadius：圆半径的最大值；
输出：circles：输出圆向量；
步骤(1)是通过HoughCircles()函数来检测图像中的目标圆，计算所求目标圆的圆向量。
步骤(2)至步骤(7)是将检测到的圆心坐标进行验证，通过circle()函数在原始视频帧图像(src)中画出检测到的目标圆圆心(center)与半径(radius)，对其进行验证，输出圆向量，得到眼睛的坐标数据。
进一步的，所涉及眼动仪的视频文件中，用十字架形状标示分心物；对视频帧图像进行灰度处理、阈值化处理后转换成二值图像，得到分心物的前景图像。
进一步的，参考附图2，所涉及通过多边形逼近算法，结合分心物的大小区间，定位分心物的坐标数据，其具体操作包括：
1)建立图像坐标系：分心物坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)寻找图像中分心物的轮廓，得到分心物的轮廓点；
3)选择图像中两个最远的轮廓点作为初始特征点，将其连成线段；
4)查找轮廓上到线段最远的特征点添加到新的轮廓中，保存特征点；
5)设定最小精度，即逼近多边形的最小阈值；重复4)，不断将新的特征点添加到结果中，逐渐逼近分心物形状，直到大于最小阈值，得到的结果近似分心物形状，保存特征点集；
6)通过特征点集，画出多边形，寻找最小面积的包围圆，对其进行定位：设定包围圆半径最小值，如果定位到的多边形大于包围圆半径最小值，那么包围圆圆心坐标即是分心物坐标。
分心物坐标提取算法伪代码：
所述分心物坐标提取算法是基于多边形逼近算法，主要步骤如下：
其中，输入：src:原始视频帧图像；binary_output:二值图像；epsilon：最小精度；r:包围圆半径最小值
输出：distract:分心物的坐标数据
步骤(1)是通过findContours()函数来寻找图像中分心物的轮廓，得到分心物的轮廓点，存放于contours。
步骤(2)至步骤(4)是初始化多边形(contours_poly)，并获得其包围圆的圆心(ccs)和半径(radius)。
步骤(5)至步骤(8)是使用approxPolyDP()函数对图像轮廓点进行多边形拟合，通过上述DP思想原理，逼近分心物形状，输出能最小包容图像轮廓点的特征点集(contours_poly),并迭代寻找最小面积的包围圆，对其进行定位。
步骤(9)至步骤(14)是对定位到的多边形进行判断输出；
如果定位到的多边形大于包围圆半径最小值，那么在原始视频帧图像(src)中画出定位到的多边形最小包围圆，对其进行验证，存储分心物的坐标数据。
步骤(15)，返回分心物的坐标数据。
在本实施例中，需要补充说明的一点是：
眼动仪中的时间是以毫秒为单位记录的，通过眼动仪导出的眼动视频中显示的时间是以时分秒的状态显示，换算后显示的时间没有眼动仪记录的时间精度高，因此，所提取的时间信息是眼动仪的时间，这样就可以避免单位换算时产生较大的误差。
在本实施例中，还需要补充说明的一点是：
用空心圆标示眼睛，用十字架形状标示分心物，是为了明显区分眼睛和分心物的位置，避免两者混淆。另外，基于用空心圆标示眼睛，用十字架形状标示分心物，我们才选用霍夫圆目标检测算法提取眼睛坐标，选用多边形逼近算法提取分心物坐标。
本实施例可以提取视频帧图像的视频帧值、时间、眼睛坐标、分心物坐标，并计算得到眼睛和分心物的距离，所提取的信息具有完整度高和准确度高的优点，尤其对单个提取信息来讲，还具有提取质量高的优点，本实施例提取的信息可以为实验提供数据样本，
本实施例基于眼动仪本身的存储文件夹，存储文件夹包含同步导出的视频文件和文本文件，视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标，该提取方法在获取视频文件和文本文件后，根据视频文件名称和文本文件名称完成初步查找，随后，读取视频文件和文本文件，找到两个文件中相匹配的视频帧图像完成时间信息的提取，再随后，对提取的视频帧图像进行预处理，得到前景图像，针对前景图像中眼睛图标和分心物图标的特点，选择与图标特点相一致的算法进行眼睛坐标、分心物坐标的提取，并进一步根据提取的眼睛坐标和分心物坐标计算眼睛和分心物两点间的距离，最后，将提取的眼睛坐标和分心物坐标叠加到相应的视频帧图像中进行验证，将验证成功的所有视频帧图像的视频帧值、时间、眼睛坐标、分心物坐标、眼睛和分心物的距离作为有效数据导出并存储；本提取方法提取的信息具有完整度高和准确度高的优点，尤其对单个提取信息来讲，还具有提取质量高的优点，本提取方法提取的信息可以为实验提供数据样本，实验可以包括：眼部运动特征对抑郁症的影响、眼球感知图像检索和眼球识别等一系列与眼动仪相关的实验。
实施例二：
本实施例的一种眼动视频数据的特征提取系统，该系统基于眼动仪本身的存储文件夹，该存储文件夹包含同步导出的视频文件和文本文件，视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标，文本文件的文本数据按照时间顺序记录视频帧值，视频帧值即是视频帧图像的顺序值。
结合附图4，本实施例的一种眼动视频数据的特征提取系统，其包括：
获取查找模块10，用于获取眼动仪的视频文件和文本文件，并在文本文件中查找与视频文件中视频帧图像排序相对应的视频帧值；
匹配提取模块20，用于匹配视频文件中视频帧图像和文本文件中视频帧值，并在匹配成功时提取文本文件中该视频帧值所对应的时间信息；
预处理模块一30，用于对视频帧图像进行预处理，进而得到视频帧图像中眼睛的前景图像；
预处理模块二40，用于对视频帧图像进行预处理，进而得到视频帧图像中分心物的前景图像；
提取模块一50，用于提取眼睛前景图像的眼睛坐标；
提取模块二60，用于提取分心物前景图像的分心物坐标；
计算模块70，基于两点间距离的计算公式，计算得到眼睛和分心物两点间的距离；
验证模块80，用于将提取的眼睛坐标和分心物坐标叠加到相应的视频帧图像中进行验证；
导出存储模块90，在验证模块验证成功时，将视频帧值、时间信息、眼睛坐标、分心物坐标、眼睛和分心物两点间的距离作为有效信息导出并存储。
可选的，所涉及眼动仪的视频文件中，用空心圆标示眼睛，预处理模块一30对视频帧图像进行颜色阈值化处理、高斯滤波处理后，得到视频帧图像中眼睛的前景图像，随后，提取模块一通过霍夫圆目标检测算法，找到前景图像中的眼睛坐标。
参考附图1，找到眼睛坐标的具体操作为：
1)建立图像坐标系：眼睛坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)对输入图像进行边缘检测，得到输入图像的边缘图像，令(xi，yi)(i＝1，2，3…n)为图像中满足圆周特性的边缘点集合；
3)对边缘图像上的(xi，yi)计算x方向导数和y方向的导数，从而得到梯度：设图像空间中的边缘点映射到参数空间中的像素点为(a，b)，r为半径，通过公式(x-a)2+(y-b)2＝r2，将图像空间中的边缘点映射到参数空间中；
4)获取参数空间中的像素点(a，b)：在参数空间建立一个累加器，通过公式(a-xi)2+(b-yi)2＝r2，从边缘点(xi，yi)沿着梯度和梯度的反方向，在累加器中累加圆半径区间范围内的每一个像素点(a，b)，并保存像素点；
5)从累加器的点中选择候选中心，候选中心大于给定的阈值(Amax)和其相邻的四个邻域点的累加值；
6)获取眼睛坐标：对所有候选中心按照累加值降序排序，以便于找到累加数值最大的参数空间像素点的中心，此中心即为眼睛坐标；
7)获取目标圆半径：将参数空间像素点(a，b)与其中心的距离排序，从眼睛坐标的最小距离算起，选择参数空间像素点累加数值最大的一条半径，即目标圆半径。
眼睛坐标提取算法伪代码：
眼睛坐标提取算法是基于霍夫圆目标检测算法，主要步骤如下：
其中，输入：src:原始视频帧图像；redMat:高斯滤波后的视频帧图像；minDist:圆心之间的最小距离；Amax:圆心累加器的最大阈值；minRadius:圆半径的最小值；maxRadius:圆半径的最大值；
输出：circles:输出圆向量；
步骤(1)是通过HoughCircles()函数来检测图像中的目标圆，计算所求目标圆的圆向量。
步骤(2)至步骤(7)是将检测到的圆心坐标进行验证，通过circle()函数在原始视频帧图像(src)中画出检测到的目标圆圆心(center)与半径(radius)，对其进行验证，输出圆向量，得到眼睛的坐标数据。
所涉及眼动仪的视频文件中，用十字架形状标示分心物，预处理模块二40对视频帧图像进行灰度处理、阈值化处理后转换成二值图像，得到分心物的前景图像，随后，提取模块二通过多边形逼近算法，结合分心物的大小区间，定位分心物的坐标数据。
参考附图2，提取分心物坐标的具体操作包括：
1)建立图像坐标系：分心物坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)寻找图像中分心物的轮廓，得到分心物的轮廓点；
3)选择图像中两个最远的轮廓点作为初始特征点，将其连成线段；
4)查找轮廓上到线段最远的特征点添加到新的轮廓中，保存特征点；
5)设定最小精度，即逼近多边形的最小阈值；重复4)，不断将新的特征点添加到结果中，逐渐逼近分心物形状，直到大于最小阈值，得到的结果近似分心物形状，保存特征点集；
6)通过特征点集，画出多边形，寻找最小面积的包围圆，对其进行定位：设定包围圆半径最小值，如果定位到的多边形大于包围圆半径最小值，那么包围圆圆心坐标即是分心物坐标。
分心物坐标提取算法伪代码：
所述分心物坐标提取算法是基于多边形逼近算法，主要步骤如下：
其中，输入：src:原始视频帧图像；binary_output:二值图像；epsilon：最小精度；r:包围圆半径最小值
输出：distract:分心物的坐标数据
步骤(1)是通过findContours()函数来寻找图像中分心物的轮廓，得到分心物的轮廓点，存放于contours。
步骤(2)至步骤(4)是初始化多边形(contours_poly)，并获得其包围圆的圆心(ccs)和半径(radius)。
步骤(5)至步骤(8)是使用approxPolyDP()函数对图像轮廓点进行多边形拟合，通过上述DP思想原理，逼近分心物形状，输出能最小包容图像轮廓点的特征点集(contours_poly),并迭代寻找最小面积的包围圆，对其进行定位。
步骤(9)至步骤(14)是对定位到的多边形进行判断输出；
如果定位到的多边形大于包围圆半径最小值，那么在原始视频帧图像(src)中画出定位到的多边形最小包围圆，对其进行验证，存储分心物的坐标数据。
步骤(15)，返回分心物的坐标数据。
本实施例可以提取视频帧图像的视频帧值、时间信息、眼睛坐标、分心物坐标，并计算得到眼睛和分心物两点间的距离，与实施例一的提取方法相结合，可以实现对视频帧图像中时间信息、眼睛坐标、分心物坐标的多样性提取，提高了提取特征的完整度和准确度。
本领域普通技术人员可以理解：实现实施例一所述方法的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括实施例一所述方法的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。
Claims (10)
1.一种眼动视频数据的特征提取方法，其特征在于，该方法基于眼动仪本身的存储文件夹，该存储文件夹包含同步导出的视频文件和文本文件，视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标，文本文件的文本数据按照时间顺序记录视频帧值，视频帧值即是视频帧图像的顺序值；该方法的实现过程为：
S100：获取眼动仪的视频文件和文本文件，在文本文件中查找与视频文件中视频帧图像排序相对应的视频帧值，完成时间信息的提取；
S200：对视频帧图像进行预处理，得到视频帧图像中眼睛和/或分心物的前景图像；
S300：提取前景图像的眼睛坐标和/或分心物坐标，并由同一张视频帧图像的眼睛坐标和分心物坐标计算眼睛和分心物的距离；
S400：将提取的眼睛坐标和/或分心物坐标叠加到视频帧图像中进行验证；
S500：验证成功后，将视频文件的所有视频帧图像的视频帧值、时间、眼睛坐标、分心物坐标、眼睛和分心物的距离作为有效数据导出，并进行存储。
2.根据权利要求1所述的一种眼动视频数据的特征提取方法，其特征在于,提取时间信息的具体操作包括：
S110：导出眼动仪的存储文件夹，获取存储文件夹中的视频文件和文本文件；
S120：获取视频文件的名称，通过视频文件的名称，获取与之相对应的文本文件名称；
S130：打开视频文件，读取视频数据，按照顺序获取视频帧图像；
S140：打开文本文件，读取文本数据，文本数据包含眼动仪的记载时间、与记载时间相对应的视频帧值；
S150：根据视频数据中视频帧图像的排序，在文本数据中查找与之相匹配的视频帧值，并提取该视频帧值对应的时间。
3.根据权利要求2所述的一种眼动视频数据的特征提取方法，其特征在于,在眼动仪的存储文件夹中，包含多个人的眼动数据，多个人的眼动数据按照录制先后进行命名；同一个人的眼动数据包括一个文本文件和多个视频文件，文本文件的文本数据除了包含眼动仪的记载时间、与记载时间相对应的视频帧值，还包含视频文件的名称；
在提取时间信息的过程中，应当首先获取视频文件的名称，然后找到与之相对应的文本文件，打开文本文件和视频文件，读取文本数据，查找与视频文件名称相对应的信息，读取视频数据，根据视频帧图像的排序，在文本数据中找到相对应的视频帧值，提取该视频帧值相对应的时间。
4.根据权利要求1所述的一种眼动视频数据的特征提取方法，其特征在于,眼动仪的视频文件中，用空心圆标示眼睛，对视频帧图像进行颜色阈值化处理、高斯滤波，得到视频帧图像中眼睛的前景图像。
5.根据权利要求4所述的一种眼动视频数据的特征提取方法，其特征在于,通过霍夫圆目标检测算法，找到前景图像中的眼睛坐标，其具体操作为：
1)建立图像坐标系：眼睛坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)对输入图像进行边缘检测，得到输入图像的边缘图像，令(xi，yi)(i＝1，2，3...n)为图像中满足圆周特性的边缘点集合；
3)对边缘图像上的(xi，yi)计算x方向导数和y方向的导数，从而得到梯度：设图像空间中的边缘点映射到参数空间中的像素点为(a，b)，r为半径，通过公式(x-a)2+(y-b)2＝r2，将图像空间中的边缘点映射到参数空间中；
4)获取参数空间中的像素点(a，b)：在参数空间建立一个累加器，通过公式(a-xi)2+(b-yi)2＝r2，从边缘点(xi，yi)沿着梯度和梯度的反方向，在累加器中累加圆半径区间范围内的每一个像素点(a，b)，并保存像素点；
5)从累加器的点中选择候选中心，候选中心大于给定的阈值(Amax)和其相邻的四个邻域点的累加值；
6)获取眼睛坐标：对所有候选中心按照累加值降序排序，以便于找到累加数值最大的参数空间像素点的中心，此中心即为眼睛坐标；
7)获取目标圆半径：将参数空间像素点(a，b)与其中心的距离排序，从眼睛坐标的最小距离算起，选择参数空间像素点累加数值最大的一条半径，即目标圆半径。
6.根据权利要求1所述的一种眼动视频数据的特征提取方法，其特征在于,眼动仪的视频文件中，用十字架形状标示分心物；对视频帧图像进行灰度处理、阈值化处理后转换成二值图像，得到分心物的前景图像。
7.根据权利要求6所述的一种眼动视频数据的特征提取方法，其特征在于,通过多边形逼近算法，结合分心物的大小区间，定位分心物的坐标数据，其具体操作包括：
1)建立图像坐标系：分心物坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)寻找图像中分心物的轮廓，得到分心物的轮廓点；
3)选择图像中两个最远的轮廓点作为初始特征点，将其连成线段；
4)查找轮廓上到线段最远的特征点添加到新的轮廓中，保存特征点；
5)设定最小精度，即逼近多边形的最小阈值；重复4)，不断将新的特征点添加到结果中，逐渐逼近分心物形状，直到大于最小阈值，得到的结果近似分心物形状，保存特征点集；
6)通过特征点集，画出多边形，寻找最小面积的包围圆，对其进行定位：设定包围圆半径最小值，如果定位到的多边形大于包围圆半径最小值，那么包围圆圆心坐标即是分心物坐标。
8.一种眼动视频数据的特征提取系统，其特征在于,该系统基于眼动仪本身的存储文件夹，该存储文件夹包含同步导出的视频文件和文本文件，视频文件的视频数据始终显示标示眼睛的图标并间断显示标示分心物的图标，文本文件的文本数据按照时间顺序记录视频帧值，视频帧值即是视频帧图像的顺序值，该系统包括：
获取查找模块，用于获取眼动仪的视频文件和文本文件，并在文本文件中查找与视频文件中视频帧图像排序相对应的视频帧值；
匹配提取模块，用于匹配视频文件中视频帧图像和文本文件中视频帧值，并在匹配成功时提取文本文件中该视频帧值所对应的时间信息；
预处理模块一，用于对视频帧图像进行预处理，进而得到视频帧图像中眼睛的前景图像；
预处理模块二，用于对视频帧图像进行预处理，进而得到视频帧图像中分心物的前景图像；
提取模块一，用于提取眼睛前景图像的眼睛坐标；
提取模块二，用于提取分心物前景图像的分心物坐标；
计算模块，基于两点间距离的计算公式，计算得到眼睛和分心物两点间的距离；
验证模块，用于将提取的眼睛坐标和分心物坐标叠加到相应的视频帧图像中进行验证；
导出存储模块，在验证模块验证成功时，将视频帧值、时间信息、眼睛坐标、分心物坐标、眼睛和分心物两点间的距离作为有效信息导出并存储。
9.根据权利要求8所述的一种眼动视频数据的特征提取系统，其特征在于,眼动仪的视频文件中，用空心圆标示眼睛，预处理模块一对视频帧图像进行颜色阈值化处理、高斯滤波处理后，得到视频帧图像中眼睛的前景图像，随后，通过霍夫圆目标检测算法，找到前景图像中的眼睛坐标；
找到眼睛坐标的具体操作为：
1)建立图像坐标系：眼睛坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)对输入图像进行边缘检测，得到输入图像的边缘图像，令(xi，yi)(i＝1,2,3...n)为图像中满足圆周特性的边缘点集合；
3)对边缘图像上的(xi，yi)计算x方向导数和y方向的导数，从而得到梯度：设图像空间中的边缘点映射到参数空间中的像素点为(a，b)，r为半径，通过公式(x-a)2+(y-b)2＝r2，将图像空间中的边缘点映射到参数空间中；
4)获取参数空间中的像素点(a，b)：在参数空间建立一个累加器，通过公式(a-xi)2+(b-yi)2＝r2，从边缘点(xi，yi)沿着梯度和梯度的反方向，在累加器中累加圆半径区间范围内的每一个像素点(a，b)，并保存像素点；
5)从累加器的点中选择候选中心，候选中心大于给定的阈值(Amax)和其相邻的四个邻域点的累加值；
6)获取眼睛坐标：对所有候选中心按照累加值降序排序，以便于找到累加数值最大的参数空间像素点的中心，此中心即为眼睛坐标；
7)获取目标圆半径：将参数空间像素点(a，b)与其中心的距离排序，从眼睛坐标的最小距离算起，选择参数空间像素点累加数值最大的一条半径，即目标圆半径。
10.根据权利要求8所述的一种眼动视频数据的特征提取系统，其特征在于,眼动仪的视频文件中，用十字架形状标示分心物，预处理模块二对视频帧图像进行灰度处理、阈值化处理后转换成二值图像，得到分心物的前景图像，随后，提取模块二通过多边形逼近算法，结合分心物的大小区间，定位分心物的坐标数据；
提取分心物坐标的具体操作包括：
1)建立图像坐标系：分心物坐标是以图像左上角为原点建立以像素为单位的直接坐标系u-v，其中，像素的横坐标u对应x，像素的纵坐标v对应y，分别是在其图像数组中所在的列数和行数建立以像素为单位的图像坐标系x-y；
2)寻找图像中分心物的轮廓，得到分心物的轮廓点；
3)选择图像中两个最远的轮廓点作为初始特征点，将其连成线段；
4)查找轮廓上到线段最远的特征点添加到新的轮廓中，保存特征点；
5)设定最小精度，即逼近多边形的最小阈值；重复4)，不断将新的特征点添加到结果中，逐渐逼近分心物形状，直到大于最小阈值，得到的结果近似分心物形状，保存特征点集；
6)通过特征点集，画出多边形，寻找最小面积的包围圆，对其进行定位：设定包围圆半径最小值，如果定位到的多边形大于包围圆半径最小值，那么包围圆圆心坐标即是分心物坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910044047.0A CN109800706B (zh) | 2019-01-17 | 2019-01-17 | 一种眼动视频数据的特征提取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910044047.0A CN109800706B (zh) | 2019-01-17 | 2019-01-17 | 一种眼动视频数据的特征提取方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109800706A CN109800706A (zh) | 2019-05-24 |
| CN109800706B true CN109800706B (zh) | 2022-11-29 |
Family
ID=66559620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910044047.0A Active CN109800706B (zh) | 2019-01-17 | 2019-01-17 | 一种眼动视频数据的特征提取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109800706B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115111964A (zh) * | 2022-06-02 | 2022-09-27 | 中国人民解放军东部战区总医院 | 一种用于单兵训练的mr全息智能头盔 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101201695A (zh) * | 2006-12-26 | 2008-06-18 | 谢振华 | 一种基于眼部区域运动特征提取与跟踪的鼠标系统 |
| CN104504404B (zh) * | 2015-01-23 | 2018-01-12 | 北京工业大学 | 一种基于视觉行为的网上用户类型识别方法及系统 |
| CN105577886A (zh) * | 2015-12-16 | 2016-05-11 | 努比亚技术有限公司 | 移动终端解锁装置及方法 |
| CN106127145B (zh) * | 2016-06-21 | 2019-05-14 | 重庆理工大学 | 瞳孔定位及跟踪方法 |
-
2019
- 2019-01-17 CN CN201910044047.0A patent/CN109800706B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109800706A (zh) | 2019-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8879847B2 (en) | Image processing device, method of controlling image processing device, and program for enabling computer to execute same method | |
| Jabnoun et al. | Object detection and identification for blind people in video scene | |
| CN103745104A (zh) | 一种基于增强现实技术的评卷方法 | |
| CN104281839A (zh) | 一种人体姿势识别方法和装置 | |
| CA3032983A1 (en) | Systems and methods for keypoint detection | |
| CN107292869A (zh) | 基于各向异性高斯核和梯度搜索的图像斑点检测方法 | |
| CN104298995A (zh) | 基于三维点云的三维人脸识别装置及方法 | |
| US20190205693A1 (en) | Scale-Invariant Feature Point Extraction in Edge Map | |
| CN110334645A (zh) | 一种基于深度学习的月球撞击坑识别方法 | |
| CN108876776B (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
| CN104463240A (zh) | 一种控制列表界面的方法及装置 | |
| US10657672B2 (en) | Image processing device, image processing method and storage medium | |
| CN109800706B (zh) | 一种眼动视频数据的特征提取方法及系统 | |
| CN106525027A (zh) | 一种基于局部二值模式的星敏感器星点提取方法 | |
| KR101582467B1 (ko) | 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치 | |
| CN109191489B (zh) | 一种飞行器着陆标志的检测跟踪方法与系统 | |
| US11699303B2 (en) | System and method of acquiring coordinates of pupil center point | |
| CN107145820B (zh) | 基于hog特征和fast算法的双眼定位方法 | |
| Ramisa et al. | Evaluation of the sift object recognition method in mobile robots | |
| Dong et al. | Superpixel-based local features for image matching | |
| Rizal et al. | Canny edge and hough circle transformation for detecting computer answer sheets | |
| CN113657378B (zh) | 车辆跟踪方法、车辆跟踪系统和计算设备 | |
| CN117079272A (zh) | 一种结合手工特征和学习特征的弹底窝痕特征识别方法 | |
| CN116245872A (zh) | 一种基于卷积神经网络的飞机结构裂纹检测方法 | |
| CN116958031A (zh) | 一种缺陷检测方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190524 Assignee: Jinan Hualang Electronic Technology Co.,Ltd. Assignor: Qilu University of Technology Contract record no.: X2023980048591 Denomination of invention: A Feature Extraction Method and System for Eye Movement Video Data Granted publication date: 20221129 License type: Common License Record date: 20231205 |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 250300 No. 3501 University Road, Changqing District, Jinan City, Shandong Province Patentee after: Qilu University of Technology (Shandong Academy of Sciences) Country or region after: China Address before: 250300 No. 3501 University Road, Changqing District, Jinan City, Shandong Province Patentee before: Qilu University of Technology Country or region before: China |