CN107833238B - 最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置 - Google Patents

最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置 Download PDF

Info

Publication number
CN107833238B
CN107833238B CN201711127992.4A CN201711127992A CN107833238B CN 107833238 B CN107833238 B CN 107833238B CN 201711127992 A CN201711127992 A CN 201711127992A CN 107833238 B CN107833238 B CN 107833238B
Authority
CN
China
Prior art keywords
pixels
row
connected domain
marking
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711127992.4A
Other languages
English (en)
Other versions
CN107833238A (zh
Inventor
宋振坤
杨全
薛鸿臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201711127992.4A priority Critical patent/CN107833238B/zh
Priority to US15/925,497 priority patent/US10825184B2/en
Publication of CN107833238A publication Critical patent/CN107833238A/zh
Application granted granted Critical
Publication of CN107833238B publication Critical patent/CN107833238B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的实施例提供一种最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置，涉及图像处理技术领域，可得到最大连通域。一种最大连通域标记方法，包括：对二值图像的像素进行连通域标记并记录等价关系，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域，将所有像素的最终标记结果存入存储器，并统计每个连通域中像素的数量；依据统计的每个连通域中像素的数量，判断得到最大连通域的连通域标号；依次读取所述存储器中存储的所述连通域标号，同时产生行计数和列计数，并记录所述最大连通域中第一行和最后一行所有像素的坐标以及中间行左右两个边界点的坐标；其中，所述坐标包括对应像素的行计数和列计数。

Description

最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实 装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种最大连通域标记方法、目标跟踪方法、AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)装置。
背景技术
连通域标记是机器视觉、目标识别与跟踪应用中的重要步骤。连通域标记的目的是找到二值图像中的连通区域并为每个连通域分配不同的标号。
目前，对连通域标记只能得到所有连通域的质心位置，或者只对所有连通域进行标记。
发明内容
本发明的实施例提供一种最大连通域标记方法、目标跟踪的方法、增强现实/虚拟现实装置，可得到最大连通域。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供一种最大连通域标记方法，包括：对二值图像的像素进行连通域标记并记录等价关系，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域，将所有像素的最终标记结果存入存储器，并统计每个连通域中像素的数量；依据统计的每个连通域中像素的数量，判断得到最大连通域的连通域标号；依次读取所述存储器中存储的所述连通域标号，同时产生行计数和列计数，并记录所述最大连通域中第一行和最后一行所有像素的坐标以及中间行左右两个边界点的坐标；其中，所述坐标包括对应像素的行计数和列计数。
优选的，对所述二值图像的像素进行连通域标记并记录等价关系，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域，将所有像素的最终标记结果存入存储器，并统计每个连通域中像素的数量，包括：逐行遍历所述二值图像的像素，标记每个所述像素的连通域标号并记录等价关系，其中，所述等价关系包括行内等价关系和行间等价关系；在对第i行像素进行连通域标记并记录等价关系时，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号；在对第i+1行像素连通域标记并记录等价关系之前，依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号；将第i-1行像素的标记结果存入所述存储器，并根据连通域标号统计所述存储器中每个连通域包括的像素数量；直至第N行像素的最终标记结果存入所述存储器，得到所有连通域包括的像素数量；其中，i的值从2开始一直取到N，N为所述二值图像的像素总行数。
优选的，所述二值图像采用自适应阈值二值化方法对灰度图像进行二值化处理得到。
采用自适应阈值二值化方法对灰度图像进行二值化处理，包括：统计经过二值化处理后的上一帧图像中白色像素的数量；若所述白色像素的数量大于白色像素最大数量，使用(上一帧阈值-a)作为当前帧阈值对本帧的灰度图像进行二值化处理；若所述白色像素的数量小于白色像素最小数量，使用(上一帧阈值+a)作为当前帧阈值对本帧的灰度图像进行二值化处理；否则，将上一帧阈值赋予所述当前帧值，并对本帧的灰度图像进行二值化处理；其中，上一帧阈值为对上一帧灰度图像进行二值化处理时使用的阈值；a为阈值调整步长。
优选的，标记所述像素的连通域标号，包括：判断所述像素的灰度值是否为零；若为零，则所述像素的连通域标号标记为零；若所述像素的灰度值不为零，则获取所述像素的四邻域像素中最小且非零的连通域标号，作为该像素的连通域标号；否则赋予该像素一个大于任何一个已存在的连通域标号的连通域标号；其中，坐标为(x，y)的像素的四邻域像素分别为坐标是(x-1,y-1)、(x-1,y)、(x-1,y+1)、(x,y-1)的像素；x为所述像素在二值图像的行数，y为所述像素在二值图像的列数。
进一步优选的，记录等价关系，包括：坐标为(x，y)的像素的连通域标号非零时，分别判断坐标为(x,y-1)、(x-1,y+1)的像素的连通域标号是否为零；若不为零，且对应像素与坐标为(x,y)的像素的连通域标号不相等时，记录该两个连通域标号的等价关系；其中，若存在等价关系的两个连通域标号位于同一行内，则为行内等价关系；若存在等价关系的两个连通域标号位于相邻行内，则为行间等价关系。
进一步优选的，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号，包括：依据第i-1行像素与第i行像素之间存在的行间等价关系，将第i-1行像素中较大的连通域标号改为与其等价的较小的连通域标号；依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号，包括：依据第i行像素中存在的行内等价关系，将第i行像素中较大的连通域标号改为与其等价的较小的连通域标号。
优选的，在对第i行像素进行连通域标记并记录等价关系时，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号，包括：在对第i行像素进行连通域标记并记录等价关系时，将第i-1行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号。
在对第i+1行像素连通域标记并记录等价关系之前，依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号，包括：在对第i+1行像素连通域标记并记录等价关系之前，将第i行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号。
进一步优选的，对所述二值图像的像素进行连通域标记并记录等价关系，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域，将所有像素的最终标记结果存入存储器，并统计每个连通域中像素的数量，包括：
S1：在第1行像素的扫描阶段，从左到右逐个遍历第1行像素，标记每个所述像素的连通域标号并记录等价关系，将初始标记结果依次输入到第一移位寄存器中。
S2：在第2行像素的扫描阶段，从左到右逐个遍历第2行像素，标记每个所述像素的连通域标号并记录等价关系，将标记结果依次输入到所述第一移位寄存器中，同时，所述第一移位寄存器的输出端依次输出第1行像素的初始标记结果，依据第1行与第2行像素之间存在的行间等价关系，更新第1行像素的连通域标号得到最终标记结果并依次输入到第二移位寄存器中。
S3：在相邻行扫描的过渡阶段，将所述第一移位寄存器写入零数据，同时，所述第一移位寄存器的输出端依次输出第2行像素的初始标记结果，依据第2行像素中存在的行内等价关系，更新第2行像素的连通域标号得到中间标记结果并依次输入到所述第二移位寄存器中；所述第二移位寄存器的输出端依次输出第1行像素的最终标记结果，存入所述存储器中，根据连通域标号统计所述存储器中每个连通域包括的像素数量。
S4：在第3行像素的扫描阶段，从左到右逐个遍历第3行像素，标记每个所述像素的连通域标号并记录等价关系，将初始标记结果依次输入到所述第二移位寄存器中，同时，所述第二移位寄存器的输出端依次输出第2行像素的中间标记结果，依据第2行像素与第3行像素中存在的行间等价关系，更新第2行像素的连通域标号得到最终标记结果并依次输入到所述第一移位寄存器中。
S5：在相邻行扫描的过渡阶段，将所述第二移位寄存器写入零数据，同时，所述第二移位寄存器的输出端依次输出第3行像素的初始标记结果，依据第3行像素中存在的行内等价关系，更新第3行像素的连通域标号得到中间标记结果并依次输入到所述第一移位寄存器中；所述第一移位寄存器的输出端依次输出第2行像素的最终标记结果并存入所述存储器中，统计所述存储器中每个连通域包括的像素数量。
对之后的每行像素均执行S4-S5，其中，在遍历第M行像素时，第M行像素的初始标记结果依次输入到非零的移位寄存器中，4≤M≤N；直至最后一行像素的最终标记结果存入所述存储器中，得到所有连通域包括的像素数量。
优选的，对灰度图像进行二值化处理得到所述二值图像之前，所述标记方法还包括：对所述灰度图像进行裁剪、降噪处理。
优选的，对二值图像的像素进行连通域标记并记录等价关系之前，所述标记方法还包括：对所述二值图像进行腐蚀和膨胀处理。
第二方面，提供一种目标跟踪的方法，包括：根据第一方面所述的方法得到的最大连通域及其所有边界点坐标，计算目标中心的位置坐标。
可选的，二值图像通过对眼部的灰度图像进行二值化处理后得到；所述灰度图像为图像传感器获取的眼部图像；或者，所述灰度图像为图像传感器获取的眼部图像经过转换后的图像。
在对所述灰度图像进行二值化处理时，对于灰度值大于阈值的像素，将其灰度值设置为0；对于灰度值小于阈值的像素，将其灰度值设置为1。
第三方面，提供一种计算机设备，包括存储单元和处理单元；所述存储单元中存储可在所述处理单元上运行的计算机程序并存储标记结果；所述处理单元执行所述计算机程序时实现如第一方面或第二方面所述的方法。
第四方面，提供一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第二方面所述的方法。
第五方面，提供一种增强现实/虚拟现实装置，包括增强现实/虚拟现实本体，还包括设置于所述增强现实/虚拟现实本体内侧的摄像头、设置于所述增强现实/虚拟现实本体上的存储单元和处理单元；所述摄像头用于拍摄眼部图像；所述存储单元中存储可在所述处理器上运行的计算机程序；所述处理单元执行所述计算机程序时实现如第二方面所述的方法。
优选的，所述处理单元包括现场可编程门阵列。
本发明的实施例提供一种最大连通域标记方法、目标跟踪的方法、增强现实/虚拟现实装置，通过在对像素进行连通域标记的过程中记录等价关系，并在存入存储器之前，依据等价关系合并等价连通域，去除冲突标号，使处于同一个连通域中的像素的连通域标号一致，保证最大连通域识别的准确性；在此基础上，通过依次读取存储器中存储的所述连通域标号，并同时产生行计数和列计数，便可获取最大连通域的所有边界点坐标，从而获取图像中的最大连通域图像。其中，由于可以根据最大连通域的所有边界点坐标，计算出眼球瞳孔中心的位置坐标，因而可应用于增强现实/虚拟现实装置中实现瞳孔跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种最大连通域标记方法的流程示意图一；
图2为本发明提供的一种自适应阈值二值化的处理流程示意图；
图3为本发明提供的一种标记像素的连通域标号的流程示意图；
图4为本发明提供的一种四邻域像素的位置示意图；
图5为本发明提供的一种最大连通域标记方法的流程示意图二；
图6为本发明提供的一种移位寄存器的示意图；
图7为本发明提供的一种计算机设备的示意图；
图8为本发明提供的一种增强现实/虚拟现实装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种最大连通域标记方法，如图1所示，包括：
S11、对二值图像的像素进行连通域标记并记录等价关系，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域，将所有像素的最终标记结果存入存储器，并统计每个连通域中像素的数量。
S12、依据统计的每个连通域中像素的数量，判断得到最大连通域的连通域标号。
S13、依次读取所述存储器中存储的所述连通域标号，同时产生行计数和列计数，并记录所述最大连通域中第一行和最后一行所有像素的坐标以及中间行左右两个边界点的坐标；其中，所述坐标包括对应像素的行计数和列计数。
可以理解的是，为保证读取的最大连通域的边界点坐标的准确性，在向存储器存入各像素的连通域标号时，应按一定的顺序，这样在读取时，可按存入的顺序依次进行读取，从而保证读取的最大连通域的边界点坐标，就是对应的二值图像中最大连通域的边界像素的坐标。
示例的，向存储器存入各像素的连通域标号的顺序，可以按照从左到右，从上到下的顺序，即，从第1行开始，依次向存储器存入第1列、第2列、第3列…最后一列的像素的连通域标号，之后，从第二行开始，依次向存储器存入第1列、第2列、第3列…最后一列的像素的连通域标号，以此类推，直到最后一行的最后一列像素的连通域标号存入存储器。
所述存储器可以为RAM(Random Access Memory，随机存取存储器)。
这样，在读取所述存储器中存储的所述连通域标号时，按存入的顺序产生行计数和列计数，即读取的第一个连通域标号，其行计数和列计数为第1行第1列，读取的第二个连通域标号，其行计数和列计数为第1行第2列…读取的第K个连通域标号，其行计数和列计数为第1行第K列，若K等于二值图像中像素的列数，则读取的第K+1个连通域标号，其行计数会加1，列计数置1，从而使其行计数和列计数为第2行第1列，之后，只要读到第K的整数倍个连通域标号后，再读下一个时，其行计数就会累加1，列计数置1。其中，若读取到某个连通域标号等于最大连通域标号，此时的行计数和列计数值就是对应的最大连通域中像素点的坐标，则开始记录最大连通域中第一行和最后一行所有像素点的坐标以及中间行左右两个边界点的坐标。
需要说明的是，由于同一个连通域内可能会出现连通域标号冲突的问题，即，同一个连通域内的像素的连通域标号不完全一致，因此，在对像素进行连通域标记的同时，需要记录其与相邻的像素是否存在等价关系，这样，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域后，可使同一个连通域内的像素的连通域标号完全一致。其中，等价关系包括行内等价关系和行间等价关系。
本发明实施例提供一种最大连通域标记方法，通过在对像素进行连通域标记的过程中记录等价关系，并在存入存储器之前，依据等价关系合并等价连通域，去除冲突标号，使处于同一个连通域中的像素的连通域标号一致，保证最大连通域识别的准确性；在此基础上，通过依次读取存储器中存储的所述连通域标号，并同时产生行计数和列计数，便可获取最大连通域的所有边界点坐标，从而获取图像中的最大连通域图像。其中，由于可以根据最大连通域的所有边界点坐标，计算出眼球瞳孔中心的位置坐标，因而可应用于增强现实/虚拟现实装置中实现瞳孔跟踪。
优选的，所述二值图像采用自适应阈值二值化方法对灰度图像进行二值化处理得到。
采用自适应阈值二值化方法对灰度图像进行二值化处理，包括：统计经过二值化处理后的上一帧图像中白色像素的数量；若所述白色像素的数量大于白色像素最大数量，使用(上一帧阈值-a)作为当前帧阈值对本帧的灰度图像进行二值化处理；若所述白色像素的数量小于白色像素最小数量，使用(上一帧阈值+a)作为当前帧阈值对本帧的灰度图像进行二值化处理；否则，将上一帧阈值赋予所述当前帧阈值，并对本帧的灰度图像进行二值化处理；其中，上一帧阈值为对上一帧灰度图像进行二值化处理时使用的阈值；a为阈值调整步长。
可以理解的是，对本帧的灰度图像进行二值化处理，都是以本帧的前一帧灰度图像二值化处理时，采用的上一帧阈值为基础，并依据上一帧图像中白色像素的数量与预设的白色像素最大数量和白色像素最小数量的关系，决定是加a，减a，或者不加不减。
其中，在图像传感器与目标例如瞳孔的距离一定的情况下，通过采集多帧的灰度图像，得到每帧图像的白色像素的数量，以此来得到所述白色像素最大数量和所述白色像素最小数量的值。
若图像传感器与目标的距离一直在发生变化，则无法准确的获得白色像素最大数量和白色像素最小数量，因此，白色像素最大数量和白色像素最小数量需在图像传感器与目标的距离确定后来获取。在此基础上，采用自适应阈值二值化方法对灰度图像进行二值化处理时，可准确的获取二值图像。
具体的，自适应阈值二值化的处理流程，如图2所示，包括
S21、采用Th的阈值对灰度图像进行二值化处理。
S22、统计二值图像中白色像素的数量。
S23、判断白色像素的数量是否大于白色像素最大数量，若是，则将Th-a赋予Th，对下一帧灰度图像进行处理；否则，执行S24。
S24、判断白色像素的数量是否小于白色像素最小数量，若是，将Th+a赋予Th，对下一帧灰度图像进行处理；否则，采用Th对下一帧灰度图像进行处理。
本发明实施例通过自动调整阈值能够保证在准确获取二值图像的基础上降低了噪声以及反射等因素对连通域标记的影响。
优选的，对所述二值图像的像素进行连通域标记并记录等价关系，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域，将所有像素的最终标记结果存入存储器，并统计每个连通域中像素的数量，包括：逐行遍历所述二值图像的像素，标记每个所述像素的连通域标号并记录等价关系，其中，所述等价关系包括行内等价关系和行间等价关系；在对第i行像素进行连通域标记并记录等价关系时，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号；在对第i+1行像素连通域标记并记录等价关系之前，依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号；将第i-1行像素的标记结果存入所述存储器，并根据连通域标号统计所述存储器中每个连通域包括的像素数量；直至第N行像素的最终标记结果存入所述存储器，得到所有连通域包括的像素数量。
其中，i的值从2开始一直取到N，N为所述二值图像的像素总行数。
具体的，在对第2行像素进行连通域标记并记录等价关系时，依据第1行像素与第2行像素之间存在的行间等价关系，更新第1行像素的连通域标号；在对第3行像素连通域标记并记录等价关系之前，依据第2行像素中存在的行内等价关系，更新第2行像素的连通域标号；存储第1行像素的连通域标号，并根据连通域标号统计第1行像素中每个连通域包括的像素数量；在对第3行像素进行连通域标记并记录等价关系时，依据第2行像素与第3行像素之间存在的行间等价关系，更新第2行像素的连通域标号；在对第4行像素连通域标记并记录等价关系之前，依据第3行像素中存在的行内等价关系，更新第3行像素的连通域标号；存储第2行像素的连通域标号，并统计存储器中第1行和第2行中每个连通域包括的像素数量，其中，对于第二行和第一行中具有相同连通域标号的像素，在第一行统计的该连通域包括的像素个数基础上，加上第二行的属于同一连通域的像素个数；在对第4行像素进行连通域标记并记录等价关系时，依据第3行像素与第4行像素之间存在的行间等价关系，更新第3行像素的连通域标号；在对第5行像素连通域标记并记录等价关系之前，依据第4行像素中存在的行内等价关系，更新第4行像素的连通域标号；存储第3行像素的连通域标号，并统计存储器中第1行、第2行和第3行中每个连通域包括的像素数量；以此类推，直到第N行像素行内等价关系和行间等价关系完成，存入存储器，统计每个连通域中像素的数量。
需要说明的是，对于第一行像素而言，根据其标记顺序，可使其不存在行内等价关系，而只可能存在与第二行的行间等价关系。
本发明实施例可采用流水线的并行处理方式，因而可提高处理速度。
进一步优选的，如图3所示，标记所述像素的连通域标号，包括：
S31、判断所述像素的灰度值是否为零；若为零，则将所述像素的连通域标号标记为零；若所述像素的灰度值不为零，则执行S32。
S32、判断所述像素的四邻域像素中是否存在最小且非零的连通域标号，若存在，则将所述像素的四邻域像素中最小且非零的连通域标号作为该像素的连通域标号；否则，执行S33。
S33、赋予该像素一个大于任何一个已存在的连通域标号的连通域标号。
其中，坐标为(x,y)的像素的四邻域像素分别为坐标是(x-1,y-1)、(x-1,y)、(x-1,y+1)、(x,y-1)的像素；x为所述像素在二值图像的行数，y为所述像素在二值图像的列数。
示例的，如图4所示，将坐标是(x-1,y-1)的像素的连通域标号记为label1，将坐标是(x-1,y)的像素的连通域标号记为label2，将坐标是(x-1,y+1)的像素的连通域标号记为label3，将坐标是(x,y-1)的像素的连通域标号记为label4，在标记坐标为(x,y)的待标记像素的连通域标号labelx时，首先应判断该像素的灰度值是否为零，若为零，则将所述像素的连通域标号标记为零，若不为零，则判断label1、label2、label3和label4中是否有最小且非零的连通域标号，若存在将该最小且非零的连通域标号作为该像素的连通域标号，否则赋予该像素一个大于任何一个已存在的连通域标号的连通域标号。
需要说明的是，由于行号和列号都是从1开始计数的，因此，若x-1小于1，实则相应的像素是不存在的，同理，若y-1小于1，相应的像素也不存在。实际在标记过程中，在二值图像的边缘区域，各像素的灰度值基本都是零，因此，对于灰度值不为零的像素，其周围一般都存在四邻域像素。
通过上述方法对各像素的连通域标记后，对于第一行像素而言，便不存在行内等价关系。
进一步优选的，记录等价关系，包括：坐标为(x，y)的像素的连通域标号非零时，分别判断坐标为(x,y-1)、(x-1,y+1)的像素的连通域标号是否为零；若不为零，且对应像素与坐标为(x,y)的所述像素的连通域标号不相等时，记录该两个连通域标号的等价关系。
其中，若存在等价关系的两个连通域标号位于同一行内，则为行内等价关系；若存在等价关系的两个连通域标号位于相邻行内，则为行间等价关系。
可以理解的是，上述的对应像素指的是坐标为(x,y-1)、(x-1,y+1)的像素中连通域不为零的像素。
此外，存在等价关系的两个连通域标号位于同一行内，即该两个连通域标号对应的像素位于同一行内；存在等价关系的两个连通域标号位于相邻行内，即该两个连通域标号对应的像素位于相邻行内。
示例的，如下表1所示为两行,例如第4行和第5行像素的连通域标号。其中，表中对于每行像素而言仅示意出其中的12列(即从第1列到第12列)，且表中没有标出的像素的连通域标号为零。
表1
1 2 3 4 5 6 7 8 9 10 11 12
第3行
第4行 1 1 1 2 2 2
第5行 3 3 1 1 1 1 1
如表1所示，当在标记第5行第4列的像素时，其四邻域像素即坐标为(5,3)、(4,5)、(4,4)、(4,3)的像素中最小且非零的连通域标号为1，则标记当前像素的连通域标号为“1”；再判断坐标为(5,3)、(4,5)的像素的连通域标号，其中坐标为(5,3)、(4,5)的像素的连通域标号分别为3、1，坐标为(5,3)像素的连通域标号不为零且与当前像素，即坐标为(5,4)的像素的连通域标号不相等，因此，记录“3”与“1”的等价关系。其中，由于二者位于同一行，因此为行内等价关系。
当在标记第5行第8列的像素时，其四邻域像素即坐标为(5,7)、(4,7)、(4,8)、(4,9)的像素中最小且非零的连通域标号为1，则标记当前像素的连通域标号为“1”；再判断坐标为(5,7)、(4,9)的像素的连通域标号，其中坐标为(5,7)、(4,9)的像素的连通域标号分别为1、2，坐标为(4,9)像素的连通域标号不为零且与当前像素，即坐标为(5,8)的像素的连通域标号不相等，因此，记录“2”与“1”的等价关系。其中，由于二者位于不同行，因此为行间等价关系。
进一步的，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号，包括：依据第i-1行像素与第i行像素之间存在的行间等价关系，将第i-1行像素中较大的连通域标号改为与其等价的较小的连通域标号。
依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号，包括：依据第i行像素中存在的行内等价关系，将第i行像素中较大的连通域标号改为与其等价的较小的连通域标号。
示例的，仍以上述表1的两行像素为例，由于第4行像素和第五行像素中存在“2”与“1”为行间等价关系，因此，依据第4行像素与第5行像素之间存在的行间等价关系，更新第4行像素的连通域标号时，将第4行中较大的连通域标号“2”改为与其等价的较小的连通域标号“1”，更改后见下表2。
由于第5行像素存在“3”与“1”为行内等价关系，因此，依据第5行像素中存在的行内等价关系，更新第5行像素的连通域标号时，将第5行中较大的连通域标号“3”改为与其等价的较小的连通域标号“1”，更改后见下表2。
表2
1 2 3 4 5 6 7 8 9 10 11 12
第3行
第4行 1 1 1 1 1 1
第5行 1 1 1 1 1 1 1
优选的，在对第i行像素进行连通域标记并记录等价关系时，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号，包括：在对第i行像素进行连通域标记并记录等价关系时，将第i-1行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号。
在对第i+1行像素连通域标记并记录等价关系之前，依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号，包括：在对第i+1行像素连通域标记并记录等价关系之前，将第i行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号。
具体的，在对第2行像素进行连通域标记并记录等价关系时，将第1行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第1行像素与第2行像素之间存在的行间等价关系，更新第1行像素的连通域标号；在对第3行像素连通域标记并记录等价关系之前，将第2行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第2行像素中存在的行内等价关系，更新第2行像素的连通域标号；在对第3行像素进行连通域标记并记录等价关系时，将第2行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第2行像素与第3行像素之间存在的行间等价关系，更新第2行像素的连通域标号；在对第4行像素连通域标记并记录等价关系之前，将第3行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第3行像素中存在的行内等价关系，更新第3行像素的连通域标号；在对第4行像素进行连通域标记并记录等价关系时，将第3行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第3行像素与第4行像素之间存在的行间等价关系，更新第3行像素的连通域标号；在对第5行像素连通域标记并记录等价关系之前，将第4行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第4行像素中存在的行内等价关系，更新第4行像素的连通域标号；以此类推，直到第N行像素行内等价关系和行间等价关系完成。
即，只需两个移位寄存器便可完成对所有行的连通域标记的更新，因而，只需要较少的存储资源就可以得到图像中的最大连通域及其所有边界点坐标。
基于此，一种最大连通域标记方法，如图5所示，具体包括
S1：在第1行像素的扫描阶段，从左到右逐个遍历第1行像素，标记每个像素的连通域标号并记录等价关系，将初始标记结果依次输入到第一移位寄存器中。
S2：在第2行像素的扫描阶段，从左到右逐个遍历第2行像素，标记每个像素的连通域标号并记录等价关系，将标记结果依次输入到第一移位寄存器中，同时，第一移位寄存器的输出端依次输出第1行像素的初始标记结果，依据第1行与第2行像素之间存在的行间等价关系，更新第1行像素的连通域标号得到最终标记结果并依次输入到第二移位寄存器中。
此处，对于第一移位寄存器而言，其一端为输入端，另一端为输出端(如图6所示)，第2行像素的标记结果输入一个，从其输出端就会输出一个第1行像素的初始标记结果。
同理，第二移位寄存器与第一移位寄存器的工作原理相同。
S3：在相邻行扫描的过渡阶段，将第一移位寄存器写入零数据，同时，第一移位寄存器的输出端依次输出第2行像素的初始标记结果，依据第2行像素中存在的行内等价关系，更新第2行像素的连通域标号得到中间标记结果并依次输入到第二移位寄存器中；第二移位寄存器的输出端依次输出第1行像素的最终标记结果，存入所述存储器中，根据连通域标号统计所述存储器中每个连通域包括的像素数量。
S4：在第3行像素的扫描阶段，从左到右逐个遍历第3行像素，标记每个像素的连通域标号并记录等价关系，将初始标记结果依次输入到第二移位寄存器中，同时，第二移位寄存器的输出端依次输出第2行像素的中间标记结果，依据第2行像素与第3行像素中存在的行间等价关系，更新第2行像素的连通域标号得到最终标记结果并依次输入到第一移位寄存器中。
S5：在相邻行扫描的过渡阶段，将第二移位寄存器写入零数据，同时，第二移位寄存器的输出端依次输出第3行像素的初始标记结果，依据第3行像素中存在的行内等价关系，更新第3行像素的连通域标号得到中间标记结果并依次输入到第一移位寄存器中；第一移位寄存器的输出端依次输出第2行像素的最终标记结果并存入存储器中，统计所述存储器中每个连通域包括的像素数量。
S6：对之后的每行像素均执行S4-S5，其中，在遍历第M行像素时，第M行像素的初始标记结果依次输入到非零的移位寄存器中，4≤M≤N；直至最后一行像素的最终标记结果存入所述存储器中，得到所有连通域包括的像素数量。
S7、依据统计的每个连通域中像素的数量，判断得到最大连通域的连通域标号。
S8、依次读取所述存储器中存储的所述连通域标号，同时产生行计数和列计数，并记录所述最大连通域中第一行和最后一行所有像素的坐标以及中间行左右两个边界点的坐标；其中，所述坐标包括对应像素的行计数和列计数。
需要说明的是，从第4行开始对之后的每行像素均执行S4-S5，可以理解的是，由于S4-S5具体是第3行像素的扫描阶段和相邻行扫描的过渡阶段，因此，在从第4行像素开始，依照S4-S5执行时，相应为第M行像素的扫描阶段以及相邻行扫描的过渡阶段，具体到相应步骤中，具体的行号应随M的变化而发生变化。
此外，在遍历第M行像素时，第M行像素的初始标记结果依次输入到非零的移位寄存器中，相应的，该非零的移位寄存器会依次输出第M-1行像素的中间标记结果。其中，由于在遍历第M行像素之前，在相邻行扫描的过渡阶段对第一移位寄存器和第二移位寄存器中的其中一个进行了写入零数据操作，因此，非零的移位寄存器则为第一移位寄存器和第二移位寄存器中未被写入零数据的移位寄存器。
例如当M＝4时，依照S4执行时，具体是：在第4行像素的扫描阶段，从左到右逐个遍历第4行像素，标记每个像素的连通域标号并记录等价关系，将初始标记结果依次输入到第一移位寄存器中，同时，第一移位寄存器的输出端依次输出第3行像素的中间标记结果，依据第3行像素与第4行像素中存在的行间等价关系，更新第3行像素的连通域标号得到最终标记结果并依次输入到第二移位寄存器中。
依照S5执行时，具体是：在相邻行扫描的过渡阶段，将第一移位寄存器写入零数据，同时，第一移位寄存器的输出端依次输出第4行像素的初始标记结果，依据第4行像素中存在的行内等价关系，更新第4行像素的连通域标号得到中间标记结果并依次输入到第二移位寄存器中；第二移位寄存器的输出端依次输出第3行像素的最终标记结果并存入存储器中，统计所述存储器中每个连通域包括的像素数量。
例如当M＝5时，依照S4执行时，具体是：在第5行像素的扫描阶段，从左到右逐个遍历第5行像素，标记每个像素的连通域标号并记录等价关系，将初始标记结果依次输入到第二移位寄存器中，同时，第二移位寄存器的输出端依次输出第4行像素的中间标记结果，依据第4行像素与第5行像素中存在的行间等价关系，更新第4行像素的连通域标号得到最终标记结果并依次输入到第一移位寄存器中。
依照S5执行时，具体是：在相邻行扫描的过渡阶段，将第二移位寄存器写入零数据，同时，第二移位寄存器的输出端依次输出第5行像素的初始标记结果，依据第5行像素中存在的行内等价关系，更新第5行像素的连通域标号得到中间标记结果并依次输入到第一移位寄存器中；第一移位寄存器的输出端依次输出第4行像素的最终标记结果并存入存储器中，统计所述存储器中每个连通域包括的像素数量。
例如当M＝6时，依照S4执行时，具体是：在第6行像素的扫描阶段，从左到右逐个遍历第6行像素，标记每个像素的连通域标号并记录等价关系，将初始标记结果依次输入到第一移位寄存器中，同时，第一移位寄存器的输出端依次输出第5行像素的中间标记结果，依据第5行像素与第6行像素中存在的行间等价关系，更新第5行像素的连通域标号得到最终标记结果并依次输入到第二移位寄存器中。
依照S5执行时，具体是：在相邻行扫描的过渡阶段，将第一移位寄存器写入零数据，同时，第一移位寄存器的输出端依次输出第6行像素的初始标记结果，依据第6行像素中存在的行内等价关系，更新第6行像素的连通域标号得到中间标记结果并依次输入到第二移位寄存器中；第二移位寄存器的输出端依次输出第5行像素的最终标记结果并存入存储器中，统计所述存储器中每个连通域包括的像素数量。
此外，若第i-1行像素与第i行像素之间不存在行间等价关系，则无需更新第i-1行像素的连通域标号。同理，若任一行像素中不存在行内等价关系，则无需更新该行的连通域标号。
其中，可以理解的是，不管是依据行间等价关系更新某一行的连通域标记，还是依据行内等价关系更新某一行的连通域标记，只是更新相应行中记录等价关系的像素的连通域标号，其余未记录等价关系的像素的连通域标号不更新。
基于上述，优选的，对灰度图像进行二值化处理得到二值图像之前，所述标记方法还包括：对灰度图像进行裁剪、降噪处理。
其中，对灰度图像进行裁剪的目的是将目标区域裁剪出来。
以所述最大连通域标记方法应用于增强现实/虚拟现实装置中实现瞳孔跟踪为例，由于摄像头拍摄的眼部图像范围比较大，而我们需要的仅仅是瞳孔的图像，因此，可以先进行裁剪得到目标区域，即将眼部图像的边缘去除掉，以减少后续处理的数据量，之后可采用例滤波算法进行降噪处理。
优选的，对二值图像的像素进行连通域标记并记录等价关系之前，所述标记方法还包括：对所述二值图像进行腐蚀和膨胀处理。
即，在对灰度图像进行二值化处理之后，对二值图像的像素进行连通域标记并记录等价关系之前，对所述二值图像进行腐蚀和膨胀处理。
以所述最大连通域标记方法应用于增强现实/虚拟现实装置中实现瞳孔跟踪为例，通过腐蚀操作可去掉二值图像中由于噪声等产生的较小区域白色像素点，对于瞳孔区域中由于红外灯反射而造成的黑色区域，可以通过膨胀操作加以填充，降低后续连通域标记的复杂度。
本发明实施例还提供一种目标跟踪的方法，包括：根据上述方法得到的最大连通域及其所有边界点坐标，计算目标中心的位置坐标。
示例的，目标可以为瞳孔。
当进行瞳孔跟踪时，需要获取眼部的灰度图像，而所述灰度图像可以是图像传感器获取的眼部图像，也可以是图像传感器获取拍摄的眼部图像经过转换后的图像。二值图像通过对眼部的灰度图像进行二值化处理后得到。
其中，图像传感器可以是摄像头。
在此基础上，在对所述眼部灰度图像进行二值化处理时，对于灰度值大于阈值的像素，应将其灰度值设置为0；对于灰度值小于阈值的像素，将其灰度值设置为1。
瞳孔跟踪的主流技术通过图像处理方法实现，为了能够准确计算出瞳孔中心的位置，需要瞳孔区域的边界点坐标(在头戴式增强现实/虚拟现实装置中，考虑到实际装置的结构以及图像传感器位置，认为瞳孔所成的像是二值图像中的最大连通域)，而通过上述的最大连通域标记方法可获取瞳孔区域的边界点坐标。
本发明实施例还提供一种计算机设备，如图7所示，存储单元10、处理单元20；所述存储单元10中存储可在所述处理单元20上运行的计算机程序并存储标记结果；所述处理单元20执行所述计算机程序时实现如上所述的最大连通域标记方法或者所述瞳孔跟踪的方法。
需要说明的是，上述处理单元可以包括FPGA(Field Programmable Gate Array，即现场可编程门阵列)。在此情况下，存储在存储单元的计算机程序可以为硬件描述语言(Very-High-Speed Integrated Circuit Hardware，VHDL或Verilog)。而FPGA运行上述计算机程序是指，FPGA根据通过VHDL生成的数字逻辑电路，对该FPGA自身的内部逻辑门电路进行选择和连接编辑，并实现程序预定的功能。其中，FPGA中包括移位寄存器资源，用于实现非最终结果的转移操作(输入和/或输出)。
本发明实施例还提供一种计算机可读介质，其存储有计算机程序，其中，该计算机程序被处理器执行时实现如上所述的最大连通域标记方法或者所述瞳孔跟踪的方法。
本发明实施例还提供一种增强现实/虚拟现实装置，如图8所示，包括增强现实/虚拟现实本体30，还包括设置于所述增强现实/虚拟现实本体30内侧的图像传感器40、设置于所述增强现实/虚拟现实本体30上的存储单元10和处理单元20；所述图像传感器40用于拍摄眼部图像；所述存储单元10中存储可在所述处理器上运行的计算机程序；所述处理单元20执行所述计算机程序时实现如上所述瞳孔跟踪的方法。
其中，处理单元可以包括FPGA。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种最大连通域标记方法，其特征在于，包括：
逐行遍历二值图像的像素，标记每个所述像素的连通域标号并记录等价关系，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域，将所有像素的最终标记结果存入存储器，并统计每个连通域中像素的数量；
依据统计的每个连通域中像素的数量，判断得到最大连通域的连通域标号；
依次读取所述存储器中存储的所述连通域标号，同时产生行计数和列计数，并记录所述最大连通域中第一行和最后一行所有像素的坐标以及中间行左右两个边界点的坐标；其中，所述坐标包括对应像素的行计数和列计数；
其中，所述标记每个所述像素的连通域标号，包括：
判断所述像素的灰度值是否为零；
若为零，则所述像素的连通域标号标记为零；
若所述像素的灰度值不为零，则获取所述像素的四邻域像素中最小且非零的连通域标号，作为该像素的连通域标号；否则赋予所述像素一个大于任何一个已存在的连通域标号的连通域标号；
坐标为(x,y)的像素的四邻域像素分别为坐标是(x-1,y-1)、(x-1,y)、(x-1,y+1)、(x,y-1)的像素；x为所述像素在二值图像的行数，y为所述像素在二值图像的列数；
其中，所述记录等价关系，包括：
坐标为(x，y)的像素的连通域标号非零时，分别判断坐标为(x,y-1)、(x-1,y+1)的像素的连通域标号是否为零；
若不为零，且对应像素与坐标为(x,y)的像素的连通域标号不相等时，记录两个连通域标号的等价关系；
其中，所述等价关系包括行内等价关系和行间等价关系；若存在等价关系的两个连通域标号位于同一行内，则为行内等价关系；若存在等价关系的两个连通域标号位于相邻行内，则为行间等价关系。
2.根据权利要求1所述的标记方法，其特征在于，逐行遍历所述二值图像的像素，标记每个所述像素的连通域标号并记录等价关系，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域，将所有像素的最终标记结果存入存储器，并统计每个连通域中像素的数量，包括：
在对第i行像素进行连通域标记并记录等价关系时，依据第i-1行像素与第i行像素之间存在的行间等价关系，将第i-1行像素中较大的连通域标号改为与其等价的较小的连通域标号；
在对第i+1行像素连通域标记并记录等价关系之前，依据第i行像素中存在的行内等价关系，将第i行像素中较大的连通域标号改为与其等价的较小的连通域标号；
将第i-1行像素的标记结果存入所述存储器，并根据连通域标号统计所述存储器中每个连通域包括的像素数量；
直至第N行像素的最终标记结果存入所述存储器，得到所有连通域包括的像素数量；
其中，i的值从2开始一直取到N，N为所述二值图像的像素总行数。
3.根据权利要求1或2所述的标记方法，其特征在于，所述二值图像采用自适应阈值二值化方法对灰度图像进行二值化处理得到；
采用自适应阈值二值化方法对灰度图像进行二值化处理，包括：
统计经过二值化处理后的上一帧图像中白色像素的数量；
若所述白色像素的数量大于白色像素最大数量，使用(上一帧阈值-a)作为当前帧阈值对本帧的灰度图像进行二值化处理；所述白色像素最大数量是在图像传感器与目标的距离确定后，通过采集多帧的灰度图像，得到每帧图像的白色像素的数量，从而得到的所述白色像素最大数量；
若所述白色像素的数量小于白色像素最小数量，使用(上一帧阈值+a)作为当前帧阈值对本帧的灰度图像进行二值化处理；
否则将上一帧阈值赋予所述当前帧阈值，并对本帧的灰度图像进行二值化处理；
其中，上一帧阈值为对上一帧灰度图像进行二值化处理时使用的阈值；a为阈值调整步长。
4.根据权利要求2所述的标记方法，其特征在于，在对第i行像素进行连通域标记并记录等价关系时，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号，包括：在对第i行像素进行连通域标记并记录等价关系时，将第i-1行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第i-1行像素与第i行像素之间存在的行间等价关系，更新第i-1行像素的连通域标号；
在对第i+1行像素连通域标记并记录等价关系之前，依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号，包括：在对第i+1行像素连通域标记并记录等价关系之前，将第i行像素的连通域标号在两个移位寄存器间进行一次转移，在转移过程中，依据第i行像素中存在的行内等价关系，更新第i行像素的连通域标号。
5.根据权利要求4所述的标记方法，其特征在于，对二值图像的像素进行连通域标记并记录等价关系，对于标记结果存在等价关系的像素，依据所述等价关系合并等价连通域，将所有像素的最终标记结果存入存储器，并统计每个连通域中像素的数量，包括：
S1：在第1行像素的扫描阶段，从左到右逐个遍历第1行像素，标记每个所述像素的连通域标号并记录等价关系，将初始标记结果依次输入到第一移位寄存器中；
S2：在第2行像素的扫描阶段，从左到右逐个遍历第2行像素，标记每个所述像素的连通域标号并记录等价关系，将标记结果依次输入到所述第一移位寄存器中，同时，所述第一移位寄存器的输出端依次输出第1行像素的初始标记结果，依据第1行与第2行像素之间存在的行间等价关系，更新第1行像素的连通域标号得到最终标记结果并依次输入到第二移位寄存器中；
S3：在相邻行扫描的过渡阶段，将所述第一移位寄存器写入零数据，同时，所述第一移位寄存器的输出端依次输出第2行像素的初始标记结果，依据第2行像素中存在的行内等价关系，更新第2行像素的连通域标号得到中间标记结果并依次输入到所述第二移位寄存器中；所述第二移位寄存器的输出端依次输出第1行像素的最终标记结果，存入所述存储器中，根据连通域标号统计所述存储器中每个连通域包括的像素数量；
S4：在第3行像素的扫描阶段，从左到右逐个遍历第3行像素，标记每个所述像素的连通域标号并记录等价关系，将初始标记结果依次输入到所述第二移位寄存器中，同时，所述第二移位寄存器的输出端依次输出第2行像素的中间标记结果，依据第2行像素与第3行像素中存在的行间等价关系，更新第2行像素的连通域标号得到最终标记结果并依次输入到所述第一移位寄存器中；
S5：在相邻行扫描的过渡阶段，将所述第二移位寄存器写入零数据，同时，所述第二移位寄存器的输出端依次输出第3行像素的初始标记结果，依据第3行像素中存在的行内等价关系，更新第3行像素的连通域标号得到中间标记结果并依次输入到所述第一移位寄存器中；所述第一移位寄存器的输出端依次输出第2行像素的最终标记结果并存入所述存储器中，统计所述存储器中每个连通域包括的像素数量；
对之后的每行像素均执行S4-S5，其中，在遍历第M行像素时，第M行像素的初始标记结果依次输入到非零的移位寄存器中，4≤M≤N；直至最后一行像素的最终标记结果存入所述存储器中，得到所有连通域包括的像素数量。
6.根据权利要求1所述的标记方法，其特征在于，对灰度图像进行二值化处理得到所述二值图像之前，所述标记方法还包括：
对所述灰度图像进行裁剪、降噪处理。
7.根据权利要求1所述的标记方法，其特征在于，对所述二值图像的像素进行连通域标记并记录等价关系之前，所述标记方法还包括：
对所述二值图像进行腐蚀和膨胀处理。
8.一种目标跟踪方法，其特征在于，包括：
根据权利要求1-7任一项所述的方法得到的最大连通域及其所有边界点坐标，计算目标中心的位置坐标。
9.根据权利要求8所述的目标跟踪方法，其特征在于，
二值图像通过对眼部的灰度图像进行二值化处理后得到；所述灰度图像为图像传感器获取的眼部图像；或者，所述灰度图像为图像传感器获取的眼部图像经过转换后的图像；
在对所述灰度图像进行二值化处理时，对于灰度值大于阈值的像素，将其灰度值设置为0；对于灰度值小于阈值的像素，将其灰度值设置为1。
10.一种计算机设备，其特征在于，包括存储单元和处理单元；所述存储单元中存储可在所述处理单元上运行的计算机程序并存储标记结果；所述处理单元执行所述计算机程序时实现如权利要求1-7任一项或者如权利要求8-9任一项所述的方法。
11.一种计算机可读介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项或者如权利要求8-9任一项所述的方法。
12.一种增强现实/虚拟现实装置，包括增强现实/虚拟现实本体，其特征在于，还包括设置于所述增强现实/虚拟现实本体内侧的图像传感器、设置于所述增强现实/虚拟现实本体上的存储单元和处理单元；
所述图像传感器用于拍摄眼部图像；
所述存储单元中存储可在处理器上运行的计算机程序；
所述处理单元执行所述计算机程序时实现如权利要求8所述的方法。
13.根据权利要求12所述的增强现实/虚拟现实装置，其特征在于，所述处理单元包括现场可编程门阵列。
CN201711127992.4A 2017-11-14 2017-11-14 最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置 Expired - Fee Related CN107833238B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711127992.4A CN107833238B (zh) 2017-11-14 2017-11-14 最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置
US15/925,497 US10825184B2 (en) 2017-11-14 2018-03-19 Maximum connected domain marking method, target tracking method, and augmented reality/virtual reality apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711127992.4A CN107833238B (zh) 2017-11-14 2017-11-14 最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置

Publications (2)

Publication Number Publication Date
CN107833238A CN107833238A (zh) 2018-03-23
CN107833238B true CN107833238B (zh) 2020-05-01

Family

ID=61654452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711127992.4A Expired - Fee Related CN107833238B (zh) 2017-11-14 2017-11-14 最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置

Country Status (2)

Country Link
US (1) US10825184B2 (zh)
CN (1) CN107833238B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087314B (zh) * 2018-08-16 2021-08-31 杭州电子科技大学 基于fpga的线阵图像连通域面积快速标记统计方法
CN109461182A (zh) * 2018-09-05 2019-03-12 华北电力大学扬中智能电气研究中心 一种基于图像传感器通信的led阵列快速检测方法及装置
CN109545003B (zh) * 2018-12-24 2022-05-03 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质
CN111754570B (zh) * 2019-03-26 2024-11-05 广东虚拟现实科技有限公司 标记物及识别标记物的方法
WO2020198997A1 (zh) * 2019-03-29 2020-10-08 深圳市大疆创新科技有限公司 连通域处理方法、数据处理设备及计算机可读存储介质
CN111833398B (zh) * 2019-04-16 2023-09-08 杭州海康威视数字技术股份有限公司 一种图像中的像素点标记方法及装置
CN110517282A (zh) * 2019-08-07 2019-11-29 哈尔滨工业大学 一种二值图像连通域标记方法
WO2021072592A1 (zh) * 2019-10-14 2021-04-22 深圳市大疆创新科技有限公司 连通域分析方法、数据处理设备及计算机可读存储介质
CN110853150B (zh) * 2019-11-18 2023-04-18 山东师范大学 适用于虚拟漫游系统的实际与虚拟空间的映射方法及系统
CN111127410B (zh) * 2019-12-13 2023-04-25 南京工程学院 一种汽车仪表盘印刷瑕疵的自动检测方法
CN111950569B (zh) * 2020-08-24 2024-05-03 清华大学 基于忆阻器阵列实现图像连通区域标记的方法、电子装置
CN112017218B (zh) * 2020-09-09 2024-08-02 杭州海康威视数字技术股份有限公司 一种图像配准方法、装置、电子设备及存储介质
CN112509002A (zh) * 2020-11-27 2021-03-16 山东航天电子技术研究所 一种基于连通域标记的目标检测跟踪方法
CN112837337B (zh) * 2021-02-04 2022-08-12 成都国翼电子技术有限公司 一种基于fpga的海量像素分块的连通区域识别方法及装置
CN115564790A (zh) * 2021-07-01 2023-01-03 富泰华工业（深圳）有限公司 目标对象检测方法、电子设备及存储介质
CN113505766B (zh) * 2021-09-09 2022-01-04 北京智源人工智能研究院 图像目标检测方法、装置、电子设备及存储介质
CN114419342A (zh) * 2022-01-29 2022-04-29 中国科学院国家空间科学中心 一种基于fpga的高分辨率图像多目标多特征实时提取方法
CN115294167B (zh) * 2022-10-08 2022-12-20 维柏思特衬布（南通）有限公司 基于数据处理的蚕茧数目识别方法
CN115880129B (zh) * 2022-12-12 2024-06-04 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) 基于fpga的高帧率二值图像连通域自动标记方法及系统
CN118194894A (zh) * 2024-04-23 2024-06-14 广东兴颂科技有限公司 一种工业二维码识别定位方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499169A (zh) * 2009-02-13 2009-08-05 北京中星微电子有限公司 一种扫描合并图像中的连通区域的方法和装置
CN101630414A (zh) * 2009-08-20 2010-01-20 上海交通大学 实时图像连通域质心确定方法
CN104992451A (zh) * 2015-06-25 2015-10-21 河海大学 一种改进的目标跟踪方法
CN105261049A (zh) * 2015-09-15 2016-01-20 重庆飞洲光电技术研究院 一种图像连通区域快速检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4197858B2 (ja) * 2001-08-27 2008-12-17 富士通株式会社 画像処理プログラム
FR2884636B1 (fr) * 2005-04-15 2007-07-06 Earth Resource Man Services Er Pr0cede de determination hierarchique d'evenements coherents dans une image
US8687888B2 (en) * 2010-11-18 2014-04-01 Casio Computer Co., Ltd. Region specification method, region specification apparatus, recording medium, server, and system
CN104346801B (zh) * 2013-08-02 2018-07-20 佳能株式会社 图像构图评估装置、信息处理装置及其方法
US9307249B2 (en) * 2014-06-20 2016-04-05 Freescale Semiconductor, Inc. Processing device and method of compressing images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499169A (zh) * 2009-02-13 2009-08-05 北京中星微电子有限公司 一种扫描合并图像中的连通区域的方法和装置
CN101630414A (zh) * 2009-08-20 2010-01-20 上海交通大学 实时图像连通域质心确定方法
CN104992451A (zh) * 2015-06-25 2015-10-21 河海大学 一种改进的目标跟踪方法
CN105261049A (zh) * 2015-09-15 2016-01-20 重庆飞洲光电技术研究院 一种图像连通区域快速检测方法

Also Published As

Publication number Publication date
US20190147597A1 (en) 2019-05-16
US10825184B2 (en) 2020-11-03
CN107833238A (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
CN107833238B (zh) 最大连通域标记方法、目标跟踪方法、增强现实/虚拟现实装置
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
EP3296953A1 (en) Method and device for processing depth images
CN110969046B (zh) 人脸识别方法、设备及计算机可读存储介质
CN112308805B (zh) 深度图连通域检测去噪方法、电子设备及存储介质
CN111598076B (zh) 一种标签图像中日期检测处理方法及装置
CN114494174A (zh) 一种芯片焊接线缺陷检测方法及装置
CN113962877B (zh) 一种像素畸变的校正方法、校正装置及终端
CN111738045A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN112927144A (zh) 图像增强方法、图像增强装置、介质和电子设备
CN108898148A (zh) 一种数字图像角点检测方法、系统及计算机可读存储介质
CN113362238A (zh) 测试图像处理方法、装置、电子设备及存储介质
CN111507340A (zh) 一种基于三维点云数据的目标点云数据提取方法
CN109359542B (zh) 基于神经网络的车辆损伤级别的确定方法及终端设备
CN113744280B (zh) 图像处理方法、装置、设备及介质
CN111126402B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN108510636B (zh) 图像分割方法、图像分割装置及终端设备
CN111178111A (zh) 二维码检测方法、电子设备、存储介质及系统
CN114418064B (zh) 一种目标检测方法、终端设备及存储介质
CN113420579B (zh) 标识码位置定位模型的训练及定位方法、装置、电子设备
CN110264488B (zh) 一种二值图像边缘提取装置
US10832076B2 (en) Method and image processing entity for applying a convolutional neural network to an image
CN111768384B (zh) 基于三维扫描成像的细胞计数方法及系统
CN114693919A (zh) 一种目标检测方法、终端设备及存储介质
CN114550062A (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200501