CN109788219B - 一种用于人眼视线追踪的高速cmos图像传感器读出方法 - Google Patents

一种用于人眼视线追踪的高速cmos图像传感器读出方法 Download PDF

Info

Publication number
CN109788219B
CN109788219B CN201910048124.XA CN201910048124A CN109788219B CN 109788219 B CN109788219 B CN 109788219B CN 201910048124 A CN201910048124 A CN 201910048124A CN 109788219 B CN109788219 B CN 109788219B
Authority
CN
China
Prior art keywords
pupil
parallel processing
sum
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910048124.XA
Other languages
English (en)
Other versions
CN109788219A (zh
Inventor
高静
衡佳伟
徐江涛
聂凯明
史再峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910048124.XA priority Critical patent/CN109788219B/zh
Publication of CN109788219A publication Critical patent/CN109788219A/zh
Application granted granted Critical
Publication of CN109788219B publication Critical patent/CN109788219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种用于人眼视线追踪的高速CMOS图像传感器读出方案，包括以下步骤：通过列并行处理单元对像素阵列每一列中所有像素输出电平信号按顺序分别进行Y向上的累加后，再通过累加器进行X向上的累加，得到瞳孔所对应的像素个数S以及瞳孔所对应像素的横坐标值之和SX与纵坐标值之和SY，分别通过横坐标值之和SX，与纵坐标值之和SY与像素个数S比值计算出瞳孔的中心坐标，从而根据该中心坐标确定视线方向。本发明具有以高帧频追踪视线的能力，并能在很小的延迟内产生视线计算结果，以进行实时的视线跟踪。

Description

一种用于人眼视线追踪的高速CMOS图像传感器读出方法
技术领域
本发明涉及视线追踪技术领域，特别是涉及一种用于人眼视线追踪的高速 CMOS图像传感器读出方案。
背景技术
视线追踪就是追踪眼睛的活动，通过检测眼球运动了解视觉注意方向的技术。人眼视线追踪被期望成为一种新型的人机交互方式，例如代替鼠标键盘进行计算机操作，另外视线追踪广泛应用于辅助驾驶、心理研究、虚拟现实和军事等多个领域。
据报道眼球运动速度可达700度/秒，因此需要很高的帧频才能捕获，这对用于视线追踪的图像传感器提出了很高的要求。然而对于传统的图像传感器，其图像扫描采集有较大的延迟且图像处理耗时长，难以实现对人眼的实时追踪。在传统的基于图像传感器的视线追踪系统中，有两个因素限制了速度的提高，即读取图像的速度和计算处理图像的速度。在大多数的视线追踪系统中，帧频大约为60帧每秒，这意味着，虽然可以确定眼球在高速的运动，但却无法实时追踪眼球的运动。有一些系统采用专用摄像头以240帧每秒的速度记录眼球运动过程和视线信息，然后利用计算机软件完成图像处理，这样处理图像采集到的视线信息耗时很长，输出延迟过高导致系统无法实时捕捉跟踪视线的运动。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种用于人眼视线追踪的高速CMOS图像传感器读出方案。
为实现本发明的目的所采用的技术方案是：
一种用于人眼视线追踪的高速CMOS图像传感器读出方案，包括以下步骤：
通过列并行处理单元对对采用列并行处理结构的像素阵列每一列中所有像素输出电平信号按顺序分别进行Y向上的累加后，再通过累加器进行X向上的累加，得到瞳孔所对应的像素个数S以及瞳孔所对应像素的横坐标值之和SX与纵坐标值之和SY，分别通过横坐标值之和SX、纵坐标值之和SY与像素个数S比值计算出瞳孔的中心坐标，从而根据该中心坐标确定视线方向；
所述像素输出电平信号是由比较器产生的高低电平信号，对应的像素在瞳孔区域内时输出高电平信号，反之输出低电平信号。
所述列并行处理单元为多个，每个所述的列并行处理单元分别对应处理所述像素阵列中一列像素，多个所述列并行处理单元顺序连接，最后一列并行处理单元与累加器连接。
多个所述列并行处理单元均与列选择器连接。
与现有技术相比，本发明的有益效果是：
本发明的用于人眼视线追踪的高速CMOS图像传感器读出方案，该图像传感器采用列并行处理结构，具有以高帧频追踪视线的能力，并能在很小的延迟内产生视线计算结果，以进行实时的视线跟踪。
附图说明
图1是列并行的CMOS图像传感器结构；
图2是一列并行处理单元PE的结构示意图；
图3是图像传感器的工作时序示意图；
图4是人眼瞳孔的原始图像；
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的用于人眼视线追踪的高速CMOS图像传感器读出方案包括步骤：
通过列并行处理单元对对采用列并行处理结构的像素阵列每一列中所有像素输出电平信号按顺序分别进行Y向上的累加后，再通过累加器进行X向上的累加，得到瞳孔所对应的像素个数S以及瞳孔所对应像素的横坐标值之和SX与纵坐标值之和SY，分别通过横坐标值之和SX、纵坐标值之和SY与像素个数S比值计算出瞳孔的中心坐标，从而根据该中心坐标确定视线方向；
所述像素输出电平信号是由比较器产生的高低电平信号，对应的像素在瞳孔区域内时输出高电平信号，反之输出低电平信号。
人眼视线追踪是通过计算确认眼球中黑色瞳孔的位置来完成的，对于不同的人眼区域，像素曝光后积分得到的电压值是不同的，利用比较器就能得到表示高低电平的信号P，以区分眼球不同区域。若将对应瞳孔区域的像素输出设为“1”，其余区域设为“0”。为了确定视线方向，定义瞳孔中心的坐标为
Figure BDA0001949873240000031
则：
Figure BDA0001949873240000032
其中,P是由比较器产生的电平信号，表示像素阵列中某个像素单元是否对应瞳孔区域，即：
Figure BDA0001949873240000033
∑x表示x方向像素单元输出信号的依次累加，∑y表示y方向像素单元输出信号的依次累加，∑x∑y表示对像素阵列中每一个像素输出信号的依次累加。 S＝∑x∑y·P表示所有像素输出信号经比较器转换成“0”或“1”信号后在累加电路中依次累加，得到的结果表示瞳孔所对应的像素单元个数。
SX＝∑x∑y(x·P)表示在对所有的“0”或“1”信号累加时，考虑了信号对应像素的横坐标x，需要用“0”或“1”乘以对应像素横坐标x，之后进行累加。
同理，SY＝∑x∑y(y·P)表示在对所有的“0”或“1”信号累加时，考虑了信号对应像素的纵坐标y，需要用“0”或“1”乘以对应像素横坐标y，之后进行累加。这样，
Figure BDA0001949873240000041
的值就表示了瞳孔中心的横坐标
Figure BDA0001949873240000042
Figure BDA0001949873240000043
的值就表示了瞳孔中心的纵坐标
Figure BDA0001949873240000044
举例说明，假如只有坐标为(i，j)和(i+1，j)两个像素单元对应瞳孔区域，其余像素均对应眼白区域，则只有这两个像素经比较器产生的信号为“1”，其余均为“0”，经累加电路累加后S＝2，SX＝1×i+1×(i+1)＝2i+1，SY＝1×j+1×j＝2j，计算得出
Figure BDA0001949873240000045
即瞳孔中心坐标为
Figure BDA0001949873240000046
这样瞳孔中心位置可通过 S、SX和SY的值计算得到，且每一帧只需计算一次
Figure BDA0001949873240000047
和
Figure BDA0001949873240000048
的值。
图1是用于人眼视线追踪的列并行CMOS图像传感器结构，该CMOS图像传感器结构由像素阵列和累加电路组成。像素阵列采用APS结构，累加电路的是为了确定瞳孔中心的位置，它由位于每一列的列并行处理单元PE和额外的x方向累加器组成，每个列并行处理单PE按顺序依次处理一列中所有像素的信号，执行S、SX和SY在y方向上的累加，之后通过列并行处理单PE右侧额外的累加器进行x方向的累加。
图2为一列并行处理单元PE的结构示意图。列并行处理单元PE通过比较器生成的二值化信号P依次进行y方向S、SX和SY的累加，SX和SY的累加还需要结合地址译码器提供的像素地址信息。S累加计算由加法器完成，SX和SY的累加需要结合加法器和乘法器共同完成，其计算结果用二进制表示，例如S的计算结果为N位的二进制数(S0，S1，…，SN-1)。在完成所有像素的访问后，还需要进行x方向的信号累加，通过图1中连接列并行处理单元PE的外部累加器进行S、 SX和SY在x方向的累加，得到S、SX、SY的最终结果。
图像传感器的工作时序如图3所示，采用列并行处理结构，同一列像素依次完成积分(I)、读出(R)和累加(A)操作，同一行中的像素被同时读出然后并行处理，加快了读出速度。y方向累加完成后，进行x方向的累加操作，这些操作是在单个帧内完成的。在每一帧的末尾可以得到(1)式的计算结果，求得瞳孔中心坐标，确定视线方向。
本发明是利用比较器、加法器和乘法器确定瞳孔中心位置，进而确定人眼视线方向，结构简单并能有效降低信号处理时间，提高传感器帧频。为了实时追踪人眼视线方向，所设计的CMOS图像传感器的帧频需要达到300fps以上。图4为人眼原始图像，其中瞳孔中心通过公式(1)可求出其位置，瞳孔的大小 (即外切于瞳孔圆形的方框)，可通过像素面积和电路的累加结果S估计瞳孔的大小。
除了瞳孔以外还有其他的黑色区域如睫毛和眼皮，这些因素会影响传感器的精度，相对于瞳孔，睫毛的面积很小较容易区分；对于眼皮的影响，通过测量之前的装置校准和后期的图像处理，可以在很大程度降低其影响。
本发明提出的图像传感器读出方案不需要额外的图像处理技术，只需要输出像素的电压值，利用比较器将电压转换成“0”或“1”，然后用加法器和乘法器进行“0”和“1”的累加，结构较为简单。该方案能在像素信号输出很短时间内完成信号的累加，得到S、SX和Sy的累加结果，进而得到瞳孔中心的坐标，这就实现了总的高帧频，从而可以实现实时的视觉追踪。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种用于人眼视线追踪的高速CMOS图像传感器读出方法，其特征在于，包括以下步骤：
通过列并行处理单元对采用列并行处理结构的像素阵列每一列中所有像素输出电平信号按顺序分别进行Y方向的累加后，再通过累加器进行X方向的累加，得到瞳孔所对应的像素个数S以及瞳孔所对应像素的横坐标值之和SX与纵坐标值之和SY，分别通过横坐标值之和SX、纵坐标值之和SY与像素个数S比值计算出瞳孔的中心坐标，从而根据该中心坐标确定视线方向；其中，Y方向为纵坐标方向，X方向为横坐标方向；
所述像素输出电平信号是由比较器产生的高低电平信号，对应的像素在瞳孔区域内时输出高电平信号，反之输出低电平信号。
2.如权利要求1所述用于人眼视线追踪的高速CMOS图像传感器读出方法，其特征在于，所述列并行处理单元为多个，每个所述的列并行处理单元分别对应处理所述像素阵列中一列像素，多个所述列并行处理单元顺序连接，最后一列并行处理单元与累加器连接。
3.如权利要求2所述用于人眼视线追踪的高速CMOS图像传感器读出方法，其特征在于，多个所述列并行处理单元均与列选择器连接。
CN201910048124.XA 2019-01-18 2019-01-18 一种用于人眼视线追踪的高速cmos图像传感器读出方法 Active CN109788219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910048124.XA CN109788219B (zh) 2019-01-18 2019-01-18 一种用于人眼视线追踪的高速cmos图像传感器读出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910048124.XA CN109788219B (zh) 2019-01-18 2019-01-18 一种用于人眼视线追踪的高速cmos图像传感器读出方法

Publications (2)

Publication Number Publication Date
CN109788219A CN109788219A (zh) 2019-05-21
CN109788219B true CN109788219B (zh) 2021-01-15

Family

ID=66500878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910048124.XA Active CN109788219B (zh) 2019-01-18 2019-01-18 一种用于人眼视线追踪的高速cmos图像传感器读出方法

Country Status (1)

Country Link
CN (1) CN109788219B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007011092A1 (en) * 2005-07-15 2007-01-25 Miru Enterprise, Inc. Eyeball sensor
CN101813976A (zh) * 2010-03-09 2010-08-25 华南理工大学 基于soc的视线跟踪人机交互方法及装置
CN102930278A (zh) * 2012-10-16 2013-02-13 天津大学 一种人眼视线估计方法及其装置
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
CN104905765A (zh) * 2015-06-08 2015-09-16 四川大学华西医院 眼动跟踪中基于CamShift算法的FPGA实现方法
CN107808397A (zh) * 2017-11-10 2018-03-16 京东方科技集团股份有限公司 瞳孔定位装置、瞳孔定位方法和视线追踪设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10594974B2 (en) * 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007011092A1 (en) * 2005-07-15 2007-01-25 Miru Enterprise, Inc. Eyeball sensor
CN101813976A (zh) * 2010-03-09 2010-08-25 华南理工大学 基于soc的视线跟踪人机交互方法及装置
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
CN102930278A (zh) * 2012-10-16 2013-02-13 天津大学 一种人眼视线估计方法及其装置
CN104905765A (zh) * 2015-06-08 2015-09-16 四川大学华西医院 眼动跟踪中基于CamShift算法的FPGA实现方法
CN107808397A (zh) * 2017-11-10 2018-03-16 京东方科技集团股份有限公司 瞳孔定位装置、瞳孔定位方法和视线追踪设备

Also Published As

Publication number Publication date
CN109788219A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
Baldwin et al. Time-ordered recent event (tore) volumes for event cameras
US9041834B2 (en) Systems and methods for reducing noise in video streams
Zheng et al. Deep learning for event-based vision: A comprehensive survey and benchmarks
CN107808397B (zh) 瞳孔定位装置、瞳孔定位方法和视线追踪设备
CN103279952A (zh) 一种目标跟踪方法和装置
WO2022257120A1 (zh) 瞳孔位置的确定方法、装置及系统
CN113688741A (zh) 一种基于事件相机和视觉相机协同的运动训练评估系统及方法
US20240112605A1 (en) Systems and methods for adding persistence to single photon avalanche diode imagery
CN109344801A (zh) 一种物体检测方法及装置
CN116486250A (zh) 一种基于嵌入式的多路图像采集与处理方法及系统
CN114885144A (zh) 基于数据融合的高帧率3d视频生成方法及装置
CN114885112A (zh) 基于数据融合的高帧率视频生成方法及装置
US12113954B2 (en) Processing of signals using a recurrent state estimator
CN112399032A (zh) 一种基于检测器的脉冲式图像传感器的光流获取方法
CN108521594B (zh) 一种基于体感相机手势识别的自由视点视频播放方法
CN103841340A (zh) 图像传感器及其运作方法
CN109788219B (zh) 一种用于人眼视线追踪的高速cmos图像传感器读出方法
CN115984124A (zh) 一种神经形态脉冲信号去噪和超分辨方法及装置
CN115220574A (zh) 位姿确定方法及装置、计算机可读存储介质和电子设备
CN114299610A (zh) 一种红外视频中的动作识别方法及系统
CN115083016A (zh) 一种基于单目摄像机的面向小目标手部隔空交互方法与装置
US11270412B2 (en) Image signal processor, method, and system for environmental mapping
Wang et al. Multi-Object Tracking in the Dark
CN100371861C (zh) 一种基于计算机图像和纯色物体的互动输入控制方法
CN112396632A (zh) 基于矩阵差异度的机器视觉目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant