CN103810472A - 基于运动相关性的瞳孔位置滤波方法 - Google Patents
基于运动相关性的瞳孔位置滤波方法 Download PDFInfo
- Publication number
- CN103810472A CN103810472A CN201310627291.2A CN201310627291A CN103810472A CN 103810472 A CN103810472 A CN 103810472A CN 201310627291 A CN201310627291 A CN 201310627291A CN 103810472 A CN103810472 A CN 103810472A
- Authority
- CN
- China
- Prior art keywords
- pupil
- value
- template matches
- detection
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001914 filtration Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种基于运动相关性的瞳孔位置滤波方法,包括人脸检测部分,人眼检测部分以及瞳孔位置检测部分三个流程;其中人脸检测部分包括(1)采集每帧视频图像并提取候选区域;(2)基于候选区域的人脸检测;人眼检测位置检测:在检测出人脸的区域内,进行人眼检测;随后进行瞳孔位置检测;瞳孔位置检测部分包括(1)基于模板匹配的宏块跟踪;(2)基于候选区域的瞳孔检测;(3)基于运动相关性的瞳孔位置滤波;将基于模板匹配的运动估计和瞳孔定位算法相结合,实时计算两组数据的相关性,当两者相关性较好时,瞳孔检测准确,将其值作为输出值输出。以得到当前的瞳孔检测准确值作为输出值输出。可有效地克服随机干扰,提高系统的准确性和鲁棒性。
Description
技术领域
本发明涉及计算机视觉处理技术领域,特别是有关于一种基于运动相关性的瞳孔位置滤波方法。
背景技术
在许多应用中都有涉及瞳孔定位,比如视线追踪、视线瞄准、无辅助立体显示等。以其在无辅助立体显示中的应用为例,在该系统中,需要实时精确地定位观看者的瞳孔位置,利用特殊的光学引擎将指向光束精准地投射到用户的瞳孔位置,在这个过程中,对瞳孔定位模块的性能要求非常高。在定位过程中有时会因受到干扰而产生跳变,从而引起光学设备的误动作,使得观看者观察到闪烁、串影等不良显示效果,影响观看体验。
在现行瞳孔定位技术中,基本关注于提高定位的精准度方面,对稳定性方面的关注较少。在提高稳定性方面的研究中,涉及的方法大多过于复杂,无法应用于有很高实时性要求的场合中。基于运动相关性的瞳孔位置滤波从人体运动的特点出发,结合精确的瞳孔定位技术,能有效地克服随机干扰,计算量小,性能可靠。
发明内容
本发明的目的是为了克服现有技术存在的缺陷,提供一种改进的瞳孔位置滤波方法,基于人体运动平滑性的假设,将基于模板匹配的运动估计和人眼定位算法相结合,该方法能有效地克服噪声干扰,提高稳定性。
本发明的基本原理:
一种基于运动相关性的瞳孔位置滤波方法,包括人脸检测部分,人眼检测部分以及瞳孔检测部分三个部分,如图1所示。具体包括:1、采集每帧视频图像并提取候选区域:通过摄像头采集视频,为减小计算复杂度,对每帧图像进行候选区域选取。2、基于候选区域的人脸检测:在通过上述步骤后提取出的候选区域内进行人脸检测。3、人眼检测位置检测:在检测出人脸的区域内,进行人眼检测。4、随后进行瞳孔位置的检测。
瞳孔检测部分包括以下步骤,其流程如图2所示:
1、基于模板匹配的宏块跟踪;
在已经检测出人脸的范围内,选择一定区域作为模板匹配的初始化区域,将此时的模板中心位置存入内存中,在后续的每一帧人脸区域中,利用一定的搜索策略,寻找与初始化模板匹配程度最高的区域,并将区域的中心位置存入内存,以得到模板匹配值序列。
2、基于候选区域的瞳孔检测;
在已经检测出人眼的区域内进行瞳孔检测,并将每帧视频中检测出的人眼瞳孔位置坐标放入相应的内存区域中,以得到瞳孔检测值序列。
3、基于运动相关性的瞳孔位置滤波;
对于已经存入内存区的模板匹配值序列和瞳孔检测值序列,对于每帧数据,考查两者之间的相关性是否变差,相关性变差的判定方法有多种,现在列举如下:
(x-u)2+(y-v)2>γ.
(1)
其中:x、y是当前瞳孔检测值的横、纵坐标,u、v是当前模板匹配值的横、纵坐标,γ是阈值。上述表达式体现的是,如果与当前瞳孔检测值与模板匹配值坐标位置相关的距离函数小于阈值,则认为此时瞳孔检测准确,并将瞳孔检测值作为最终的输出值输出;如果与当前的瞳孔检测值与模板匹配值坐标位置相关的距离函数大于阈值,则认为两者相关性降低,此时瞳孔检测受到干扰,检测不准。
如果出现相关性降低,瞳孔检测受到干扰,需要进行下面的滤波处理,其滤波方法有多种,现在列举如下:
xt=xt-1+ut-ut-1.
yt=yt-1+vt-vt-1
(2)
其中:xt-1、yt-1是上一帧瞳孔检测值的横、纵坐标,ut-ut-1、vt-vt-1是当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标,即当前帧与上一帧之间的运动偏移量,用该偏移量与上一帧准确检测的瞳孔坐标相加,得到当前的瞳孔检测准确值作为输出值输出。
本发明相对于现有技术具有如下有益效果:
本发明基于运动的平滑性和相关性等特点,将基于模板匹配的运动估计算法与瞳孔定位技术相结合,提出基于运动相关性的瞳孔位置滤波方法,可有效地克服随机干扰,提高系统的准确性和鲁棒性。
附图说明
图1为人脸检测,人眼检测以及瞳孔检测流程图
图2为基于运动相关性的瞳孔位置滤波方法
具体实施方式
下面结合附图,对本发明应用在瞳孔检测上举例作进一步详细说明。
本实施例的方法是基于人体运动平滑性的假设,这是一个较强的假设,因为在正常情况下,相对于每秒25帧的视频流,人体的运动速度是比较慢的,同时还假设用户在观看立体显示器的时候不会做出剧烈的动作,这个假设也是成立的。
1、采集每帧视频图像并提取候选区域;
通过摄像头采集视频,为减小计算复杂度,对每帧图像进行候选区域选取,可以在近红外光照射环境下采集脸部视频,利用人眼的亮瞳效应进行候选区域的选取;
2、基于候选区域的人脸检测;
在通过上述步骤后提取出的候选区域内进行人脸检测;
人眼检测部分包括以下步骤:
在检测出人脸的区域内,进行人眼检测;
瞳孔检测部分包括以下步骤:
1、基于模板匹配的宏块跟踪;
在已经检测出人脸的范围内,选择一定区域作为模板匹配的初始化区域,将此时的模板中心位置存入内存中,在后续的每一帧人脸区域中,利用一定的搜索策略,寻找与初始化模板匹配程度最高的区域,并将区域的中心位置存入内存,以得到模板匹配值序列。这里可以将跟踪区域设定为一个包含人眼的矩形区域,初始化模板以瞳孔为中心,大小为人脸大小的1/4,在后续每帧中采用三步法作为搜索策略,搜索模板的最佳匹配位置。
2、基于候选区域的瞳孔检测;
在已经检测出人眼的区域内进行瞳孔检测,并将每帧视频中检测出的人眼瞳孔位置坐标放入相应的内存区域中,以得到瞳孔检测值序列。
3、基于运动相关性的瞳孔位置滤波;
对于已经存入内存区的模板匹配值序列和瞳孔检测值序列,对于每帧数据,考查两者之间的相关性是否变差,相关性变差的判定方法有多种,现在列举如下:
法一:
(x-u)2+(y-v)2>γ. (3)
其中:x、y是当前瞳孔检测值的横、纵坐标,u、v是当前模板匹配值的横、纵坐标,γ是阈值。上述表达式体现的是,如果与当前瞳孔检测值与模板匹配值坐标位置相关的距离函数小于阈值,则认为此时瞳孔检测准确,并将瞳孔检测值作为最终的输出值输出;如果与当前的瞳孔检测值与模板匹配值坐标位置相关的距离函数大于阈值,则认为两者相关性降低,此时瞳孔检测受到干扰,检测不准。
法二:
□x=xk-xk-1
□y=yk-yk-1
□u=uk-uk-1. (4)
□v=vk-vk-1
(□x-□u)2+(□y-□v)2>γ
其中:□x、□y是当前帧与上一帧瞳孔检测值的横、纵坐标之差,即当前帧与上一帧瞳孔检测值的运动偏移量,□u、□v是当前帧与上一帧模板匹配值的横、纵坐标之差,即当前帧与上一帧模板匹配值的运动偏移量,γ是阈值。上述表达式体现的是,如果与瞳孔检测值的运动偏移量与模板匹配值的运动偏移量相关的距离函数小于阈值,则认为此时瞳孔检测准确,并将瞳孔检测值作为最终的输出值输出;如果与瞳孔检测值的运动偏移量与模板匹配值的运动偏移量相关的距离函数大于阈值,则认为两者相关性降低,此时瞳孔检测受到干扰,检测不准。
其中:□xk、□yk是第k帧与上一帧瞳孔检测值的横、纵坐标之差,即第k帧与上一帧瞳孔检测值的运动偏移量,□uk、□vk是第k帧与上一帧模板匹配值的横、纵坐标之差,即第k帧与上一帧模板匹配值的运动偏移量,γ是阈值。上述表达式反应的是,从当前帧到此前k帧为止,如果与瞳孔检测值的运动偏移量和模板匹配值的运动偏移量相关的累积距离函数小于阈值,则认为此时瞳孔检测准确,并将瞳孔检测值作为最终的输出值输出;如果与瞳孔检测值的运动偏移量和模板匹配值的运动偏移量相关的累积距离函数大于阈值,则认为两者相关性降低,此时瞳孔检测受到干扰,检测不准。
如果出现相关性降低,瞳孔检测受到干扰,需要进行下面的滤波处理,其滤波方法有多种,现在列举如下:
法一:
xt=xt-1+ut-ut-1. (5)
yt=yt-1+vt-vt-1
其中:xt-1、yt-1是上一帧瞳孔检测值的横、纵坐标,ut-ut-1、vt-vt-1是当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标,即当前帧与上一帧之间的运动偏移量,用该偏移量与上一帧准确检测的瞳孔坐标相加,得到当前的瞳孔检测准确值作为输出值输出。
法二:
其中:α、β分别与瞳孔检测值和模板匹配值的置信度有关,xt-1、yt-1是上一帧瞳孔检测值的横、纵坐标,ut-ut-1、vt-vt-1是当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标,即当前帧与上一帧之间的运动偏移量,用该偏移量与上一帧准确检测的瞳孔坐标进行加权相加,得到当前的瞳孔检测准确值作为输出值输出。
本发明相对于现有技术具有如下有益效果:
本发明基于运动的平滑性和相关性等特点,将基于模板匹配的运动估计算法与瞳孔定位技术相结合,提出基于运动相关性的瞳孔位置滤波方法,可有效地克服随机干扰,提高系统的准确性和鲁棒性。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。
Claims (4)
1.一种基于运动相关性的瞳孔位置滤波方法,其特征在于,包括人脸检测部分,人眼检测部分以及瞳孔位置检测部分三个流程;其中人脸检测部分包括(1)采集每帧视频图像并提取候选区域;(2)基于候选区域的人脸检测;人眼检测位置检测:在检测出人脸的区域内,进行人眼检测;随后进行瞳孔位置检测;
瞳孔位置检测部分包括(1)基于模板匹配的宏块跟踪;(2)基于候选区域的瞳孔检测;(3)基于运动相关性的瞳孔位置滤波;
将基于模板匹配的运动估计和位置定位算法相结合,实时计算两组数据的相关性;用当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标,得到当前帧与上一帧之间的运动偏移量,用该偏移量与上一帧准确检测的瞳孔坐标相加,得到当前的瞳孔检测准确值作为输出值输出。
2.根据权利要求1所述基于运动相关性的瞳孔位置滤波方法,其特征在于:
1)基于模板匹配的宏块跟踪:在已经检测出人脸的范围内,选择一定区域作为模板匹配的初始化区域,将此时的模板中心位置存入内存中,在后续的每一帧人脸区域中,利用一定的搜索策略,寻找与初始化模板匹配程度最高的区域,并将区域的中心位置存入内存,以得到模板匹配值序列;
2)基于候选区域的瞳孔检测:在已经检测出人眼的区域内进行瞳孔检测,并将每帧视频中检测出的人眼瞳孔位置坐标放入相应的内存区域中,以得到瞳孔检测值序列;
3)基于运动相关性的瞳孔位置滤波:
3-1)对于已经存入内存区的模板匹配值序列和瞳孔检测值序列,对于每帧数据,考查两者之间的相关性是否变差,相关性变差的判定方法有多种,现在列举如下:
(x-u)2+(y-v)2>γ (1)
其中:x、y是当前瞳孔检测值的横、纵坐标,u、v是当前模板匹配值的横、纵坐标,γ是阈值;上式表示,如果与当前瞳孔检测值与模板匹配值坐标位置相关的距离函数小于阈值,则认为此时瞳孔检测准确,并将瞳孔检测值作为最终的输出值输出;如果与当前的瞳孔检测值与模板匹配值坐标位置相关的距离函数大于阈值,则认为两者相关性降低,此时瞳孔检测受到干扰,检测不准;
3-2)如果出现相关性降低,瞳孔检测受到干扰,需要进行下面的滤波处理,其滤波方法有多种,现在列举如下:
xt=xt-1+ut-ut-1
.
yt=yt-1+vt-vt-1
(2)
其中:xt-1、yt-1是上一帧瞳孔检测值的横、纵坐标,ut-ut-1、vt-vt-1是当前帧模板匹配值的横、纵坐标减去上一帧模板匹配值的横、纵坐标,即当前帧与上一帧之间的运动偏移量,用该偏移量与上一帧准确检测的瞳孔坐标相加,得到当前的瞳孔检测准确值作为输出值输出。
3.根据权利要求1所述基于运动相关性的瞳孔位置滤波方法,其特征在于:
采集每帧视频图像并提取候选区域;通过摄像头采集视频,为减小计算复杂度,对每帧图像进行候选区域选取,在近红外光照射环境下采集脸部视频,利用人眼的亮瞳效应进行候选区域的选取。
4.根据权利要求2所述基于运动相关性的瞳孔位置滤波方法,其特征在于:在后续的每一帧人脸区域中,利用搜索策略,寻找与初始化模板匹配程度最高的区域,并将区域的中心位置存入内存,以得到模板匹配值序列;这里将跟踪区域设定为一个包含人眼的矩形区域,初始化模板以瞳孔为中心,大小为人脸大小的1/4,在后续每帧中采用三步法作为搜索策略,搜索模板的最佳匹配位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310627291.2A CN103810472B (zh) | 2013-11-29 | 2013-11-29 | 基于运动相关性的瞳孔位置滤波方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310627291.2A CN103810472B (zh) | 2013-11-29 | 2013-11-29 | 基于运动相关性的瞳孔位置滤波方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103810472A true CN103810472A (zh) | 2014-05-21 |
CN103810472B CN103810472B (zh) | 2017-02-08 |
Family
ID=50707214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310627291.2A Active CN103810472B (zh) | 2013-11-29 | 2013-11-29 | 基于运动相关性的瞳孔位置滤波方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103810472B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682588A (zh) * | 2016-12-06 | 2017-05-17 | 张家港全智电子科技有限公司 | 一种实时瞳孔检测与跟踪方法 |
CN109376637A (zh) * | 2018-10-15 | 2019-02-22 | 齐鲁工业大学 | 基于视频监控图像处理的人数统计系统 |
CN112686927A (zh) * | 2020-12-31 | 2021-04-20 | 上海易维视科技有限公司 | 人眼位置回归计算方法 |
CN113366491A (zh) * | 2021-04-26 | 2021-09-07 | 华为技术有限公司 | 眼球追踪方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8351663B2 (en) * | 2005-11-25 | 2013-01-08 | Quantum Signal, Llc | Dot templates for object detection in images |
CN102902967A (zh) * | 2012-10-16 | 2013-01-30 | 第三眼(天津)生物识别科技有限公司 | 基于人眼结构分类的虹膜和瞳孔的定位方法 |
CN103106397A (zh) * | 2013-01-19 | 2013-05-15 | 华南理工大学 | 基于亮瞳效应的人脸活体检测方法 |
-
2013
- 2013-11-29 CN CN201310627291.2A patent/CN103810472B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8351663B2 (en) * | 2005-11-25 | 2013-01-08 | Quantum Signal, Llc | Dot templates for object detection in images |
CN102902967A (zh) * | 2012-10-16 | 2013-01-30 | 第三眼(天津)生物识别科技有限公司 | 基于人眼结构分类的虹膜和瞳孔的定位方法 |
CN103106397A (zh) * | 2013-01-19 | 2013-05-15 | 华南理工大学 | 基于亮瞳效应的人脸活体检测方法 |
Non-Patent Citations (1)
Title |
---|
严超等: "基于AdaBoost和Kalman算法的人眼检测与跟踪", 《南京大学学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682588A (zh) * | 2016-12-06 | 2017-05-17 | 张家港全智电子科技有限公司 | 一种实时瞳孔检测与跟踪方法 |
CN109376637A (zh) * | 2018-10-15 | 2019-02-22 | 齐鲁工业大学 | 基于视频监控图像处理的人数统计系统 |
CN112686927A (zh) * | 2020-12-31 | 2021-04-20 | 上海易维视科技有限公司 | 人眼位置回归计算方法 |
CN112686927B (zh) * | 2020-12-31 | 2023-05-12 | 上海易维视科技有限公司 | 人眼位置回归计算方法 |
CN113366491A (zh) * | 2021-04-26 | 2021-09-07 | 华为技术有限公司 | 眼球追踪方法、装置及存储介质 |
WO2022226747A1 (zh) * | 2021-04-26 | 2022-11-03 | 华为技术有限公司 | 眼球追踪方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103810472B (zh) | 2017-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109919974B (zh) | 基于r-fcn框架多候选关联的在线多目标跟踪方法 | |
CN103870796B (zh) | 一种人眼视线估计的方法与装置 | |
CN107741231A (zh) | 一种基于机器视觉的多运动目标快速测距方法 | |
CN104732191B (zh) | 利用交比不变性实现虚拟显示屏视线追踪的装置及其方法 | |
JP2015506516A5 (zh) | ||
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
CN106375706A (zh) | 利用双摄像头进行运动物体测速的方法、装置及移动终端 | |
CN102629329B (zh) | 基于自适应sift算法的人员室内定位方法 | |
CN102591533A (zh) | 基于计算机视觉技术的多点触摸屏系统实现方法与装置 | |
CN104331901A (zh) | 一种基于tld的多视角目标跟踪装置及方法 | |
CN103593679A (zh) | 一种基于在线机器学习的视觉人手跟踪方法 | |
CN111178161A (zh) | 一种基于fcos的车辆追踪方法及系统 | |
CN103810472A (zh) | 基于运动相关性的瞳孔位置滤波方法 | |
CN105354863A (zh) | 基于特征滤波和快速运动检测模板预测的自适应尺度图像序列目标跟踪方法 | |
CN103279188A (zh) | 一种基于Kinect无接触性操作控制PPT的方法 | |
CN105825520A (zh) | 一种可创建大规模地图的单眼slam方法 | |
CN103295221A (zh) | 模拟复眼视觉机制和偏振成像的水面目标运动检测方法 | |
Bei et al. | Sitting posture detection using adaptively fused 3D features | |
CN112347817A (zh) | 一种视频目标检测与跟踪方法及装置 | |
CN105741326A (zh) | 一种基于聚类融合的视频序列的目标跟踪方法 | |
CN110555867A (zh) | 一种融合物体捕获识别技术的多目标物体跟踪方法 | |
CN112432653B (zh) | 基于点线特征的单目视觉惯性里程计方法 | |
CN112560620B (zh) | 一种基于目标检测和特征融合的目标跟踪方法及系统 | |
CN107358621A (zh) | 对象跟踪方法及装置 | |
CN117315547A (zh) | 一种解决动态物体大占比的视觉slam方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |