CN108681403A - 一种采用视线跟踪的小车控制方法 - Google Patents
一种采用视线跟踪的小车控制方法 Download PDFInfo
- Publication number
- CN108681403A CN108681403A CN201810477146.3A CN201810477146A CN108681403A CN 108681403 A CN108681403 A CN 108681403A CN 201810477146 A CN201810477146 A CN 201810477146A CN 108681403 A CN108681403 A CN 108681403A
- Authority
- CN
- China
- Prior art keywords
- image
- trolley
- coordinate
- scene
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 52
- 210000001747 pupil Anatomy 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000009790 rate-determining step (RDS) Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000004424 eye movement Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于机器视觉领域，涉及一种基于视线跟踪的小车控制系统。包括步骤为：第一步为标定步骤：(1)依次注视电脑给定的12个标定点，分别计算标定点在场景图像中的坐标和该标定点对应的眼部图像的P‑CR向量；(2)采用最小二乘法，计算眼部图像的P‑CR向量和场景图像中的坐标的对应关系式；第二步为控制步骤：(1)注视地面上的物体，场景摄像头获取场景图像和眼部摄像头获取眼部图像，对场景图像做处理，计算小车中心和朝向；(2)计算注视点在场景图像中的坐标，通过蓝牙控制小车运动到所注视的物体附近。本发明将视线跟踪技术和智能小车的控制进行了有效的结合；无需任何辅助手段，通过大脑－眼睛－小车的一致性假设实现对小车的控制。
Description
技术领域
本发明属于机器视觉领域，涉及一种基于视线跟踪的小车控制系统。
背景技术
机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。其属于计算机视觉的一个分支，它的组成可以分为：图像的获取、图像分析与处理还有输出显示控制三个部分组成。机器视觉技术的出现至今才不到四十年的时间，图像的处理、理解与识别很多理论和技术仍非常不成熟，同时图像采集系统也存在相当多的局限性，因此机器视觉技术还处于新生的阶段，还有很大的发展空间。
视线跟踪，即通过对人眼注视点的追踪和定位来进行视觉注意力分配测试，是一种对人眼运动特性的检测和识别，可以有效地探索人脑对外部信息的加工和控制机制。其在研究心理学、广告评估、人机交互、军事等均具有重要的研究价值。
较为常用的视线跟踪方法通常是从视频图像中提取眼动信息，进而用眼动信息估计视线方向，来达到视线跟踪的目的。其中，眼动信息可用来分析执行特定任务(如阅读、驾驶、查找等)时个体视觉注意力的模式。眼球运动往往是根据注视和扫视进行分析。因此，基于大脑－眼睛一致性假设，我们只要跟踪人的视线，即可判断出其此时的行为或者想法，进而能够通过分析视觉信息实现智能的人机控制等智能行为。
目前，控制小车运动的技术局限于采用外界辅助手段来实现对其控制，例如：采用手柄遥控或小车寻迹轨道去到达既定目的地。本发明无需任何外界手段，只需带上本设备通过注视点的追踪去控制小车运动。
发明内容
本发明所要解决的技术问题是：实现眼睛无缺陷的人可以通过视线去控制小车到达注视点附近的功能，提供了一种基于机器视觉跟踪视线和定位智能小车的方法。
为解决上述技术问题，本发明是采用如下技术方案实现的，结合附图说明如下：
一种采用视线跟踪的小车控制方法，包括两大步骤：
第一步为标定步骤，所述标定步骤包括以下两个小步骤：
(1)依次注视电脑给定的12个标定点，分别计算标定点在场景图像中的坐标和该标定点对应的眼部图像的P-CR向量；眼部图像的P-CR向量为瞳孔中心坐标与普尔钦光斑中心坐标相减形成的向量；
(2)采用最小二乘法，计算眼部图像的P-CR向量和场景图像中的坐标的对应关系式；
第二步为控制步骤，所述控制步骤包括以下两个小步骤：
(1)注视地面上的物体，场景摄像头获取场景图像和眼部摄像头获取眼部图像，对场景图像做处理，计算小车中心和朝向；
(2)计算注视点在场景图像中的坐标，通过蓝牙控制小车运动到所注视的物体附近。
技术方案中所述标定点设置12个，每个标定点是直径为30个像素的黑色的实心圆，12个标定点在PC界面以4*3形式排列，每个相邻的标定点均相隔200像素值，并按顺序显示。
技术方案中所述计算标定点在场景图像中的坐标，包括以下步骤：
(1)使用者注视电脑给出的标定点，场景摄像头获取正前方的场景图像；
(2)对场景图像进行预处理，进行高斯平滑和灰度化，并采用最大类间方差OSTU算法求最佳阈值，进而将图像进行二值化；
(3)提取场景图像中所有的轮廓，求每个轮廓的面积，去除面积大于600和小于200像素点的轮廓；
(4)计算步骤(3)获得的轮廓的最大外接椭圆，用质心法计算椭圆的中心；
(5)重复(1)至(4)步，直到找到标定点在场景图像中的位置。
技术方案中所述计算和该标定点对应的眼部图像的P-CR向量，包括以下步骤：
(1)使用者注视场景，眼部摄像头获取眼部图像；
(2)对眼部图像进行预处理，进行中值滤波和灰度化，对整幅眼部图像的每个像素点都加上180像素值，并采用圆形卷积核的开运算平滑轮廓，消除小的突出物；利用Canny边缘检测算法检测边缘并提取眼部图像中所有轮廓；
(3)计算所有轮廓的面积，以便于去除面积大于500像素点和小于200点像素的轮廓，得到瞳孔轮廓；用最小二乘法实现对瞳孔轮廓做椭圆拟合，获得近似瞳孔椭圆；
(4)采用质心法求该椭圆的中心，从而获得瞳孔中心；
(5)在眼部图像中截取瞳孔中心周围边长为80个像素点的正方形的图像，选定阈值为200像素值，将该正方形的图像进行二值化，用质心法求取普尔钦光斑中心；
(6)用瞳孔中心坐标减去普尔钦光斑中心坐标得到眼部图像的P-CR向量。
技术方案中所述计算眼部图像的P-CR向量和场景图像中的坐标的对应关系式，包括以下步骤：
(1)获得标定点在场景图像中的坐标以及与其相对应的眼部图像的P-CR向量；
(2)将获得的标定点场景图像中的坐标与眼部图像的P-CR向量对之后，利用二次多项式拟合，采用下面的6参数二次多项式来拟合获得的标定点与眼部图像的P-CR向量的映射关系；将12个标定点在场景图像中的坐标以及对应的眼部图像中的P-CR向量带入式：
其中，(xg，yg)表示标定点在场景图像中的坐标，(xe，ye)表示眼部图像中的P-CR向量，a＝[a0,a1,a2,a3,a4,a5]和b＝[b0,b1,b2,b3,b4,b5]表示二次多项式的参数；
(3)采用最小二乘法拟合最优参数：
a＝[a0,a1,a2,a3,a4,a5]和b＝[b0,b1,b2,b3,b4,b5]，得到眼部图像的P-CR向量与场景图像中的坐标对应关系式。
技术方案中所述计算小车中心和朝向，包括以下步骤：
(1)将场景图像分解为R，G和B三个通道灰度图，将B通道灰度图减去R通道灰度图得到B-R灰度图；
(2)对B-R灰度图采用圆形卷积核的开运算平滑轮廓，消除小的突出物；利用Canny边缘检测算法去检测边缘；
(3)提取B-R灰度图的轮廓，计算轮廓面积并去除面积大于1000像素和小于400像素的轮廓，得到小车轮廓；
(4)用质心法求小车轮廓中心坐标，得到小车中心坐标；
(5)在场景图像中截取小车轮廓大小的的小车图像，并将小车图像分解为R，G和B三个通道灰度图；用R通道灰度图减去B通道灰度图得到R-B灰度图；采用质心法计算红色条形指向标的中心坐标；
(6)将红色条形指向标的中心坐标与小车中心坐标相减，得到朝向向量，并计算该朝向向量的角度。
技术方案中所述控制小车运动到所注视的物体附近，具体包括以下步骤：
(1)将场景图像的注视点坐标与小车中心坐标相减，得到走向向量；计算走向向量的角度和模值；
(2)若朝向向量的角度比走向向量的角度小，则向蓝牙发送G控制小车左转；否则发送C控制小车右转，直到两角度相差不到5度，发送Z控制小车停止；
(3)校准角度后，若模值大于20个像素点，则向蓝牙发送A控制小车前进；否则发送Z，控制小车停止。
与现有技术相比本发明的有益效果是：
与现有技术相比，本发明的有益效果是：将视线跟踪技术和智能小车的控制进行了有效的结合。无需任何辅助手段，通过大脑－眼睛－小车的一致性假设实现对小车的控制。另外，本发明指出，利用视线跟踪技术可以实现对其他可控制运动物体的驱动，例如：轮椅，婴儿车等。
附图说明
下面结合附图对本发明作进一步的说明：
图1为本发明的结构组成示意框图；
图2为本发明的功能实现步骤流程图；
图3为本发明的计算标定点在场景图像中的坐标流程图；
图4为本发明的计算眼部图像的P-CR向量流程图；
图5为本发明的计算眼部图像的P-CR向量与场景图像中的坐标对应关系流程图；
图6为本发明的计算小车中心和朝向流程图；
图7为本发明的控制小车运动到所注视的物体附近流程图；
图8为本发明的整体设计框图；
图中：
1为头盔；2为场景摄像头；3为眼部摄像头；4为红色条形指向标；5为蓝色贴纸。
具体实施方式
下面结合附图对本发明作详细的描述：
参见图1，本发明的实现需要两个摄像头，一个型号为Hero5的gopro头盔，一个平衡小车，一台笔记本电脑。
所述的两个摄像头，一个为场景摄像头采用的型号为RER-USB500W05G-FV100并安装在头盔的正前方的帽檐上，一个为眼部摄像头装载了850nm的高透红外滤光片的WX051摄像头并装载在眼睛的正前方。在眼部摄像头的周围需要安装一个850nm的红外发射管。
所述的平衡小车型号为MiniBalanceV5.0并在该小车表面贴了一层30X20cm蓝色的贴纸，在蓝色贴纸上半部分中间贴了一个8X13cm的红色条形指向标。
所述的Win10电脑具有内置的蓝牙并通过串口与两摄像头通信和通过蓝牙给小车发送控制指令。
参见图2，本发明的功能实现步骤共分为两大步：
第一步为标定步骤，其中标定步骤又分为两个小步骤：1)使用者需要依次注视电脑给定的标定点，并分别计算标定点在场景图像中的坐标和该标定点所对应的眼部图像的P-CR向量(瞳孔中心坐标与普尔钦光斑中心坐标相减形成的向量)。2)采用最小二乘法，去计算眼部图像中的坐标和场景图像中的坐标的对应关系式。
第二步为控制步骤，其中控制步骤又分为两个小步骤：1)使用者注视地面上的物体，场景摄像头获取场景图像和眼部摄像头获取眼部图像，并对场景图像做处理，从而计算出小车中心和朝向。2)计算注视点在场景图像中的坐标，并通过蓝牙控制小车运动到该物体附近。
参见图3，给定12个标定点，每个标定点是直径为30个像素的黑色的实心圆，其在PC界面以4*3形式排列(每个相邻点都相隔200像素值)，且按顺序显示。计算标定点在场景图像位置，实现步骤如下：
(1)使用者注视电脑给出的标定点，场景摄像头获取正前方的场景图像。
(2)对图像进行预处理(高斯平滑和灰度化)，并采用最大类间方差OSTU算法求最佳阈值，进而将场景图像进行二值化。
(1)提取场景图像中所有的轮廓，并求每个轮廓的面积。去除面积大于600和小于200像素点的轮廓。
(2)获得的轮廓，计算它的最大外接椭圆。质心法去计算椭圆的中心。
(3)重复(1)～(4)直到找到12个标定点在场景图像中的位置。
参见图4，计算眼部图像P-CR向量的实现步骤如下：
(1)使用者注视场景，眼部摄像头获取眼部图像。
(2)对眼部图像进行预处理(中值滤波和灰度化)，对整幅眼部图像的每个像素点都加上180像素值，并采用圆形卷积核的开运算平滑轮廓，消除小的突出物。利用Canny边缘检测算法检测边缘并提取眼部图像中所有轮廓。
(3)计算所有轮廓的面积，以便于去除面积大于500像素点和小于200点像素的轮廓，得到瞳孔轮廓。用最小二乘法实现对瞳孔轮廓做椭圆拟合，获得近似瞳孔椭圆。
(4)采用质心法求该椭圆的中心，从而获得瞳孔中心。
(5)在眼部图像中截取瞳孔中心周围边长为80个像素点的正方形的图像，选定阈值为200像素值，将该正方形的图像进行二值化，用质心法去求普尔钦光斑中心。
(6)用瞳孔中心坐标减去普尔钦光斑中心坐标得到P-CR向量。
参见图5，计算眼部图像坐标与场景图像坐标对应关系实现步骤如下：
(1)获得12个标定点在场景图像中的坐标以及与其相对应的眼部图像的P-CR向量。
(2)将获得的标定点坐标与P-CR向量对之后，利用二次多项式拟合，我们采用下面的6参数二次多项式来拟合获得的标定点与P-CR向量的映射关系。将12对坐标带入式：
其中，(xg，yg)表示标定点在场景图像中的坐标，(xe，ye)表示眼部图像中的P-CR向量，a＝[a0,a1,a2,a3,a4,a5]和b＝[b0,b1,b2,b3,b4,b5]表示二次多项式的参数。
(3)采用最小二乘法拟合最优参数
a＝[a0,a1,a2,a3,a4,a5]和b＝[b0,b1,b2,b3,b4,b5]。得到眼部图像坐标与场景图像坐标对应关系式。
参见图6，计算小车在场景图像的位置和朝向设计方法实现步骤如下：
(1)场景摄像头获取场景图像，且将场景图像分解为R，G和B三个通道灰度图。将B通道灰度图减去R通道灰度图得到B-R灰度图。
(2)对B-R灰度图采用圆形卷积核的开运算平滑轮廓，消除小的突出物。利用Canny边缘检测算法去检测边缘。
(3)提取B-R灰度图的轮廓，计算轮廓面积并去除面积大于1000像素和小于400像素的轮廓，得到小车轮廓。
(4)用质心法求小车轮廓中心坐标，得到小车中心坐标。
(5)在场景图像中截取小车轮廓大小的的小车图像，并将小车图像分解为R，G和B三个通道灰度图。用R通道灰度图减去B通道灰度图得到R-B灰度图。并采用质心法计算红色条形指向标的中心坐标。
(6)将红色条形指向标的中心坐标与小车中心坐标相减得到朝向向量，并计算该朝向向量的角度。
参见图7，向小车蓝牙发送A、E、G、C和Z分别控制小车直行、后退、左转、右转和停止。控制小车走到注视点附近的实现步骤如下：
(1)将场景图像的注视点坐标与小车中心坐标相减得到走向向量。计算走向向量的角度和模值。
(2)若朝向向量的角度比走向向量的角度小，则向蓝牙发送G控制小车左转；否则发送C控制小车右转，直到两角度相差不到5度，发送Z控制小车停止。
(3)校准角度后，若模值大于20个像素点，则向蓝牙发送A控制小车前进；否则发送Z，控制小车停止。
参见图8，本发明的整体设计框图说明如下：
(1)任务启动后，电脑屏幕每隔3秒依次显示12个标定点，使用者需要依次注视这12个标定点。场景摄像头获取当前标定点的场景图像和眼部摄像头获取当前的眼部图像并进行预处理。计算当前场景图像的标定点中心在场景图像里的坐标与其对应的眼部图像中的P-CR向量。
(2)重复计算第一步，直到系统获得12个标定点中心坐标和与其对应的12个P-CR向量。使系统能够计算眼部图像坐标系和场景图像坐标系的对应关系式。
(3)完成两坐标系的标定后，使用者需注视路面上的需要注视的物体的中心以便于场景摄像头获得场景图像和眼部摄像头获取眼部图像并进行预处理。计算当前场景图像中的小车中心和朝向和当前眼部图像的P-CR向量并使用上面得到的对应关系式计算当前场景图像中注视点坐标。
(4)电脑通过蓝牙发送一系列指令去控制小车的行走路径，直到小车行走至该物体附近时任务结束。否则返回执行第三步。
Claims (7)
1.一种采用视线跟踪的小车控制方法，其特征在于，包括两大步骤：
第一步为标定步骤，所述标定步骤包括以下两个小步骤：
(1)依次注视电脑给定的12个标定点，分别计算标定点在场景图像中的坐标和该标定点对应的眼部图像的P-CR向量；
(2)采用最小二乘法，计算眼部图像的P-CR向量和场景图像中的坐标的对应关系式；
第二步为控制步骤，所述控制步骤包括以下两个小步骤：
(1)注视地面上的物体，场景摄像头获取场景图像和眼部摄像头获取眼部图像，对场景图像做处理，计算小车中心和朝向；
(2)计算注视点在场景图像中的坐标，通过蓝牙控制小车运动到所注视的物体附近。
2.根据权利要求1所述的一种采用视线跟踪的小车控制方法，其特征在于：
所述标定点设置12个，每个标定点是直径为30个像素的黑色的实心圆，12个标定点在PC界面以4*3形式排列，每个相邻的标定点均相隔200像素值，并按顺序显示。
3.根据权利要求1所述的一种采用视线跟踪的小车控制方法，其特征在于：
所述计算标定点在场景图像中的坐标，包括以下步骤：
(1)使用者注视电脑给出的标定点，场景摄像头获取正前方的场景图像；
(2)对场景图像进行预处理，进行高斯平滑和灰度化，并采用最大类间方差OSTU算法求最佳阈值，进而将图像进行二值化；
(3)提取场景图像中所有的轮廓，求每个轮廓的面积，去除面积大于600和小于200像素点的轮廓；
(4)计算步骤(3)获得的轮廓的最大外接椭圆，用质心法计算椭圆的中心；
(5)重复(1)至(4)步，直到找到标定点在场景图像中的位置。
4.根据权利要求1所述的一种采用视线跟踪的小车控制方法，其特征在于：
所述计算和该标定点对应的眼部图像的P-CR向量，包括以下步骤：
(1)使用者注视场景，眼部摄像头获取眼部图像；
(2)对眼部图像进行预处理，进行中值滤波和灰度化，对整幅眼部图像的每个像素点都加上180像素值，并采用圆形卷积核的开运算平滑轮廓，消除小的突出物；利用Canny边缘检测算法检测边缘并提取眼部图像中所有轮廓；
(3)计算所有轮廓的面积，以便于去除面积大于500像素点和小于200点像素的轮廓，得到瞳孔轮廓；用最小二乘法实现对瞳孔轮廓做椭圆拟合，获得近似瞳孔椭圆；
(4)采用质心法求该椭圆的中心，从而获得瞳孔中心；
(5)在眼部图像中截取瞳孔中心周围边长为80个像素点的正方形的图像，选定阈值为200像素值，将该正方形的图像进行二值化，用质心法求取普尔钦光斑中心；
(6)用瞳孔中心坐标减去普尔钦光斑中心坐标得到眼部图像的P-CR向量。
5.根据权利要求1所述的一种采用视线跟踪的小车控制方法，其特征在于：
所述计算眼部图像的P-CR向量和场景图像中的坐标的对应关系式，包括以下步骤：
(1)获得标定点在场景图像中的坐标以及与其相对应的眼部图像的P-CR向量；
(2)将获得的标定点场景图像中的坐标与眼部图像的P-CR向量对之后，利用二次多项式拟合，采用下面的6参数二次多项式来拟合获得的标定点与眼部图像的P-CR向量的映射关系；将12个标定点在场景图像中的坐标以及对应的眼部图像中的P-CR向量带入式：
其中，(xg，yg)表示标定点在场景图像中的坐标，(xe，ye)表示眼部图像中的P-CR向量，a＝[a0,a1,a2,a3,a4,a5]和b＝[b0,b1,b2,b3,b4,b5]表示二次多项式的参数；
(3)采用最小二乘法拟合最优参数：
a＝[a0,a1,a2,a3,a4,a5]和b＝[b0,b1,b2,b3,b4,b5]，得到眼部图像的P-CR向量与场景图像中的坐标对应关系式。
6.根据权利要求1所述的一种采用视线跟踪的小车控制方法，其特征在于：
所述计算小车中心和朝向，包括以下步骤：
(1)将场景图像分解为R，G和B三个通道灰度图，将B通道灰度图减去R通道灰度图得到B-R灰度图；
(2)对B-R灰度图采用圆形卷积核的开运算平滑轮廓，消除小的突出物；利用Canny边缘检测算法去检测边缘；
(3)提取B-R灰度图的轮廓，计算轮廓面积并去除面积大于1000像素和小于400像素的轮廓，得到小车轮廓；
(4)用质心法求小车轮廓中心坐标，得到小车中心坐标；
(5)在场景图像中截取小车轮廓大小的的小车图像，并将小车图像分解为R，G和B三个通道灰度图；用R通道灰度图减去B通道灰度图得到R-B灰度图；采用质心法计算红色条形指向标的中心坐标；
(6)将红色条形指向标的中心坐标与小车中心坐标相减，得到朝向向量，并计算该朝向向量的角度。
7.根据权利要求1所述的一种采用视线跟踪的小车控制方法，其特征在于，
所述控制小车运动到所注视的物体附近，具体包括以下步骤：
(1)将场景图像的注视点坐标与小车中心坐标相减，得到走向向量；计算走向向量的角度和模值；
(2)若朝向向量的角度比走向向量的角度小，则向蓝牙发送G控制小车左转；否则发送C控制小车右转，直到两角度相差不到5度，发送Z控制小车停止；
(3)校准角度后，若模值大于20个像素点，则向蓝牙发送A控制小车前进；否则发送Z，控制小车停止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810477146.3A CN108681403A (zh) | 2018-05-18 | 2018-05-18 | 一种采用视线跟踪的小车控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810477146.3A CN108681403A (zh) | 2018-05-18 | 2018-05-18 | 一种采用视线跟踪的小车控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108681403A true CN108681403A (zh) | 2018-10-19 |
Family
ID=63806779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810477146.3A Pending CN108681403A (zh) | 2018-05-18 | 2018-05-18 | 一种采用视线跟踪的小车控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108681403A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933200A (zh) * | 2019-03-15 | 2019-06-25 | 北京环境特性研究所 | 基于近红外眼部图像的计算机视觉控制方法 |
| CN110147166A (zh) * | 2019-06-11 | 2019-08-20 | 大连民族大学 | 一种基于眼球体感信号的智能控制系统 |
| CN110345815A (zh) * | 2019-07-16 | 2019-10-18 | 吉林大学 | 一种基于视线追踪的履带车枪械瞄准方法 |
| CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及系统 |
| CN113778070A (zh) * | 2020-07-17 | 2021-12-10 | 北京京东振世信息技术有限公司 | 机器人的控制方法和装置 |
| CN114939272A (zh) * | 2022-06-15 | 2022-08-26 | 广州汽车集团股份有限公司 | 一种基于hud的车载互动游戏方法与系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930252A (zh) * | 2012-10-26 | 2013-02-13 | 广东百泰科技有限公司 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
| CN103838378A (zh) * | 2014-03-13 | 2014-06-04 | 广东石油化工学院 | 一种基于瞳孔识别定位的头戴式眼睛操控系统 |
| CN104699247A (zh) * | 2015-03-18 | 2015-06-10 | 北京七鑫易维信息技术有限公司 | 一种基于机器视觉的虚拟现实交互系统及方法 |
| CN104834381A (zh) * | 2015-05-15 | 2015-08-12 | 中国科学院深圳先进技术研究院 | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 |
| CN105138965A (zh) * | 2015-07-31 | 2015-12-09 | 东南大学 | 一种近眼式视线跟踪方法及其系统 |
| CN105159460A (zh) * | 2015-09-10 | 2015-12-16 | 哈尔滨理工大学 | 基于眼动跟踪的智能家居控制器及其控制方法 |
| KR20170090888A (ko) * | 2016-01-29 | 2017-08-08 | 한국전자통신연구원 | Hmd를 이용한 무인기 조종 장치 |
| US20180074582A1 (en) * | 2015-12-01 | 2018-03-15 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays as wireless controllers |
-
2018
- 2018-05-18 CN CN201810477146.3A patent/CN108681403A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930252A (zh) * | 2012-10-26 | 2013-02-13 | 广东百泰科技有限公司 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
| CN103838378A (zh) * | 2014-03-13 | 2014-06-04 | 广东石油化工学院 | 一种基于瞳孔识别定位的头戴式眼睛操控系统 |
| CN104699247A (zh) * | 2015-03-18 | 2015-06-10 | 北京七鑫易维信息技术有限公司 | 一种基于机器视觉的虚拟现实交互系统及方法 |
| CN104834381A (zh) * | 2015-05-15 | 2015-08-12 | 中国科学院深圳先进技术研究院 | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 |
| CN105138965A (zh) * | 2015-07-31 | 2015-12-09 | 东南大学 | 一种近眼式视线跟踪方法及其系统 |
| CN105159460A (zh) * | 2015-09-10 | 2015-12-16 | 哈尔滨理工大学 | 基于眼动跟踪的智能家居控制器及其控制方法 |
| US20180074582A1 (en) * | 2015-12-01 | 2018-03-15 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays as wireless controllers |
| KR20170090888A (ko) * | 2016-01-29 | 2017-08-08 | 한국전자통신연구원 | Hmd를 이용한 무인기 조종 장치 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933200A (zh) * | 2019-03-15 | 2019-06-25 | 北京环境特性研究所 | 基于近红外眼部图像的计算机视觉控制方法 |
| CN110147166A (zh) * | 2019-06-11 | 2019-08-20 | 大连民族大学 | 一种基于眼球体感信号的智能控制系统 |
| CN110345815A (zh) * | 2019-07-16 | 2019-10-18 | 吉林大学 | 一种基于视线追踪的履带车枪械瞄准方法 |
| CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及系统 |
| CN113778070A (zh) * | 2020-07-17 | 2021-12-10 | 北京京东振世信息技术有限公司 | 机器人的控制方法和装置 |
| CN113778070B (zh) * | 2020-07-17 | 2024-04-19 | 北京京东振世信息技术有限公司 | 机器人的控制方法和装置 |
| CN114939272A (zh) * | 2022-06-15 | 2022-08-26 | 广州汽车集团股份有限公司 | 一种基于hud的车载互动游戏方法与系统 |
| CN114939272B (zh) * | 2022-06-15 | 2023-08-04 | 广州汽车集团股份有限公司 | 一种基于hud的车载互动游戏方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108681403A (zh) | 一种采用视线跟踪的小车控制方法 | |
| CN107193383B (zh) | 一种基于人脸朝向约束的二级视线追踪方法 | |
| US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
| CN109271914B (zh) | 检测视线落点的方法、装置、存储介质和终端设备 | |
| CN107909061B (zh) | 一种基于不完备特征的头部姿态跟踪装置及方法 | |
| CN109758355B (zh) | 一种基于人体穴位二维图像处理和三维立体定位方法 | |
| CN104083258B (zh) | 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法 | |
| CN105760826B (zh) | 一种人脸跟踪方法、装置和智能终端 | |
| CN110197169B (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
| CN102830793B (zh) | 视线跟踪方法和设备 | |
| CN106291278B (zh) | 一种基于多视觉系统的开关柜局部放电自动检测方法 | |
| CN105138965A (zh) | 一种近眼式视线跟踪方法及其系统 | |
| CN105868574B (zh) | 一种摄像头跟踪人脸的优化方法及基于视频的智慧健康监视系统 | |
| CN104809424B (zh) | 一种基于虹膜特征实现视线追踪的方法 | |
| CN103558910A (zh) | 一种自动跟踪头部姿态的智能显示器系统 | |
| WO2019067903A1 (en) | HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION | |
| JP2008102902A (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
| CN108089695B (zh) | 一种控制可移动设备的方法和装置 | |
| CN106843278A (zh) | 一种飞行器跟踪方法、装置及飞行器 | |
| CN111696140A (zh) | 基于单目的三维手势追踪方法 | |
| CN106650628B (zh) | 一种基于三维k曲率的指尖检测方法 | |
| CN106599873A (zh) | 基于三维姿态信息的人物身份识别方法 | |
| US20210035326A1 (en) | Human pose estimation system | |
| CN110716578A (zh) | 一种基于混合型脑机接口的飞行器控制系统及其控制方法 | |
| JP3459950B2 (ja) | 顔検出及び顔追跡方法並びにその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181019 |
|
| WD01 | Invention patent application deemed withdrawn after publication |