CN110415256A - 基于视觉的快速多目标识别方法及系统 - Google Patents
基于视觉的快速多目标识别方法及系统 Download PDFInfo
- Publication number
- CN110415256A CN110415256A CN201910620506.5A CN201910620506A CN110415256A CN 110415256 A CN110415256 A CN 110415256A CN 201910620506 A CN201910620506 A CN 201910620506A CN 110415256 A CN110415256 A CN 110415256A
- Authority
- CN
- China
- Prior art keywords
- green
- white
- score
- interested
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003647 oxidation Effects 0.000 claims abstract description 14
- 238000007254 oxidation reaction Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 9
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于视觉的快速多目标识别方法及系统,该方法包括:采集原始YUV格式图像;根据设定好的Y、U、V通道的阈值,分别形成白色二值图像和绿色二值图像;继而形成白色积分图和绿色积分图;针对目标物,分别构造形态学类Haar特征滤波器,对白色积分图和绿色积分图进行滤波,得到目标物的候选得分热图;并根据候选区数量设置,选择候选得分热图分数最高的几个点并计算对应位置的目标物尺寸,得到“感兴趣”区域位置和尺寸,再从机器人采集的原始YUV图像相应位置提取相应尺寸的图块作为“感兴趣”区域;基于感兴趣区域进行目标物识别。本发明能够实现准确、快速地识别目标物。
Description
技术领域
本发明属于机器人视觉识别领域,特别涉及仿人足球机器人快速准确识别球场目标物的方法及其系统。
背景技术
仿人足球机器人是仿照人类身体结构和功能设计的足球运动机器人。该机器人的用途是与人组成球队完成足球比赛、帮助足球爱好者或专业足球运动员实现人员不足情况下的比赛或训练。仿人机器人快速准确识别足球场上的目标物,是其执行足球比赛的先决条件。
常规的基于视觉的目标物识别方法有两大类:一是采用传统的图像处理方法,利用目标物与球场主体颜色差别作为边缘检测依据,勾画出目标物的边界,并认为边界包围区域是目标物。这种方法受光线影响严重,边界常常不准确,导致机器人不能正确识别目标物;二是采用近年流行的基于卷积神经网络的深度学习方法,构建卷积神经网络模型、采集大量带有目标物的图像作为样本,并人工在这些样本上框选和标记出目标物。将原始样本集和对应的人工标记目标物的样本集分别作为卷积神经网络的输入和输出信息,令神经网络进行自学习训练,调整卷积神经网络内部参数。达到一定的训练精度后,再采用另一批样本进行测试。测试精度合格,即可保存卷积神经网络的结构和参数,加载到在线识别系统,用于系统在线识别目标物。这种方法识别目标物的准确率较高,受光线变化影响较小。但缺点是卷积计算量大导致的计算耗时较长、在线识别速度慢,无法适应机器人和目标物位置变化频繁的足球运动;处理样本的过程中,由于样本数量巨大造成人工框选和标记工作量巨大,且极容易产生不确定偏差,影响仿人机器人对目标物的位置判断。
发明内容
本发明的目的在于克服现有技术的不足,提出一种用于仿人足球机器人的快速多目标识别方法及相关系统,避免了传统的图像处理方法识别目标物不准确和受光线变化影响较大的问题,以及深度学习方法计算量过大导致目标识别速度慢、人工标记样本上的目标物的巨大工作量和标记偏差问题。具体而言,本发明提供了以下的技术方案:
一方面,本发明提供了一种基于视觉的快速多目标识别方法,所述方法包括:
S1、采集原始YUV格式图像;
S2、依据预设Y、U、V通道的阈值,形成白色二值图像与绿色二值图像;
S3、基于所述白色二值图像、绿色二值图像,分别获得白色积分图、绿色积分图;
S4、针对不同目标物,分别构造形态学类Haar特征滤波器,对所述白色积分图、绿色基本图进行滤波,得到目标物的候选得分热图;选择的粉土分数最高的若干个点,并计算对应位置的目标物尺寸,得到“感兴趣”区域位置和尺寸,再基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois;
S5、基于所述“感兴趣”区域Rois,识别目标物。
优选地,当所述目标物为球形时,所述S4进一步包括:设所述原始YUV格式图像中某一点为球心O点,其对应的候选区域,即附图2的ABCD为与O点同心、为边长为2R的正方形,求得球心O点的候选得分SO:
其中,wW和wG分别为白色权重和绿色权重。SW和SG分别为白色得分和绿色得分,其中SW是类Haar特征;R=k·r,k为候选区尺寸系数,r为原始YUV格式图像采集点处观察到的球形的半径;
将所述球心O点遍历积分图像,计算每个像素点的候选得分SO,选择得分最高的n个候选区,基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois。N为大于等于1的自然数,可以依据识别精度等要求进行设置。
优选地,当所述目标物为圆柱时,所述S4进一步包括:设所述原始YUV格式图像中某一点O’为圆柱与绿色草坪的接触线的中心,其对应的候选区域,即附图3的A’B’C’D’为与O’点同心、边长为2R的正方形,O’点的候选得分SO,为:
其中,Uco和Fco分别为顶部系数和侧方系数,Uco=A’D’/D’F’;Fco=a’b’/A’B’,a’b’c’d’为原始YUV格式图像中圆柱位于草坪水平线之上的矩形区域;S1234为由1,2,3,4,1四点围成的区域得分;
将O’点遍历积分图像,计算每个像素点的候选得分值SO’,选择得分最高的n个候选区,基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois。
优选地,当所述目标物为罚球点时,所述S4进一步包括:设所述原始YUV格式图像中某一点O”为罚球点的中心,其对应的候选区域,即附图4的A”B”C”D”为与O”点同心、边长为2R的正方形,O”点的候选得分SO”为:
其中,w′W和w′G分别为白色权重和绿色权重;S′W和S′G分别为基于形态学类Haar特征的白色得分和绿色得分;
将O”点遍历积分图像,计算每个像素点的候选得分值SO”,选择得分最高的n个候选区,基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois。
优选地,所述SW类Haar特征计算方法如下:
SW=(Wabcd+Wdcfe)+(Wabcd-Whgba)-WABCD
其中,W****为白色区域像素和,下标A、B、C、D为附图2的候选区域为边长为2R的正方形的四个顶点,a、b、f、e为球形外接正方形的四个顶点,c、d分别为bf和ae的中点。
优选地,所述绿色得分SG计算方法如下:
SG=GABCD-Gabfe
其中,G****为绿色区域像素和。
优选地,所述S1234的计算方式为:
其中,IG*为绿色积分图在*点的数值,Iw*为白色积分图在*点的数值。
优选地,所述S′W和S′G的计算方式为:
S′W=(Wa″b″c″d″-WA″E″G″D″)+(Wa″b″c″d″-WE″B″C″G″)+(Wa″b″c″d″-WA″B″F″H″)+(Wa″b″c″d″-WH″F″C″D″)S′G=(GA″E″G″D″-GA″B″C″D″)+(GE″B″C″G″-WA″B″C″D″)+(WA″B″F″H″-WA″B″C″D″)+(WH″F″C″D″-WA″B″C″D″)
其中,W****为白色区域像素和,G****为绿色区域像素和。下标A”、B”、C”、D”为附图4的候选区域为边长为2R的正方形的四个顶点,a”、b”、c”、d”为罚球点十字图案外接正方形的四个顶点,F”、H”分别为B”C”和A”D”的中点。
优选地,所述S5进一步包括:采用卷积神经网络,识别目标物。
此外,本发明还提供了一种基于视觉的快速多目标识别系统,所述系统包括:
图像采集模块,用于采集原始YUV格式图像;
图像处理模块,依据预设Y、U、V通道的阈值,形成白色二值图像与绿色二值图像;基于所述白色二值图像、绿色二值图像,分别获得白色积分图、绿色积分图;
区域划分模块,用于针对不同目标物,分别构造形态学类Haar特征滤波器,对所述白色积分图、绿色基本图进行滤波,得到目标物的候选得分热图;选择候选得分热图分数最高的若干个点,并计算对应位置的目标物尺寸,得到“感兴趣”区域位置和尺寸,再基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois;
识别模块,基于所述“感兴趣”区域Rois,识别目标物。
本发明具有以下有益效果及优点:
1.能够保证仿人足球机器人即准确又快速地识别赛场上的目标物,包括足球、球门柱和罚球点;
2.针对目标物足球、球门柱和罚球点,自动标记“感兴趣”区域(Rois),既用于在线识别目标物,又可保存成样本库,供领域专家点选“目标物”和“非目标物”,形成正、负样本集,用于离线训练卷积神经网络模型。避免了人工在海量原始图片上框选目标物的巨大工作量和由此带来的不确定因素;
3.基于形态学类Haar特征构造滤波器,确保自动标记的“感兴趣”区域(Rois)包含真正的目标物的准确位置,有利于仿人机器人对于目标物的定位;
4.针对目标物足球、球门柱和罚球点的“感兴趣”区域,构造轻量级卷积神经网络,用于辨识对应的“感兴趣”区域(Rois)是否为目标物。由于“感兴趣”区域的尺寸远远小于机器人采集的原始图像,因此所构造的轻量级卷积神经网络的卷积计算量远小于利用原始图像进行计算所需的卷积神经网络,从而大大提高了卷积神经网络辨识目标物的速度;
5.本发明设计的仿人足球机器人快速多目标识别方法受光线变化影响较小,保证仿人机器人适用于实际比赛。
附图说明
图1为本发明实施例的算法流程图;
图2为本发明实施例的目标足球的形态学类Haar特征滤波模板;
图3为本发明实施例的目标物球门柱的形态学类Haar特征滤波模板;
图4为本发明实施例的目标物罚球点的形态学类Haar特征滤波模板;
图5a为本发明实施例的仿人机器人采集的原始图像;
图5b为本发明实施例的形成的白色二值图像和绿色二值图像;
图5c为本发明实施例的经过目标物足球的形态学类Haar特征滤波模板滤波生成的热图;
图5d为本发明实施例的为“感兴趣”区域;
图6为本发明实施例的足球、球门柱和罚球点三种目标物同时识别的效果图。
具体实施例
下面将结合本发明实施例中的图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的在于克服现有技术的不足,提出一种用于机器人的快速多目标识别方法,避免了传统的图像处理方法识别目标物不准确和受光线变化影响较大的问题,以及深度学习方法计算量过大导致目标识别速度慢、人工标记样本上的目标物的巨大工作量和标记偏差问题。
在一个具体的实例中,以仿人足球机器人为例进行说明。需要指出的是,本发明的技术方案同样可以应用于其他需要快速、准确进行目标识别的机器人应用场景之中,不应以足球机器人为限定而理解本发明的实施例。在仿人足球机器人应用场景中,该基于视觉的快速多目标识别方法包括以下步骤:
1)机器人采集原始YUV格式图像;
2)根据设定好的Y、U、V通道的阈值,分别形成白色二值图像和绿色二值图像;
3)利用白色二值图像和绿色二值图像形成白色积分图和绿色积分图;
4)针对目标物足球、球门柱和罚球点,分别构造形态学类Haar特征滤波器,对白色积分图和绿色积分图进行滤波,得到目标物的候选得分热图。并根据候选区数量设置,选择候选得分热图分数最高的几个点并计算对应位置的目标物尺寸,得到感兴趣区域位置和尺寸,再从机器人采集的原始YUV图像相应位置提取相应尺寸的图块作为“感兴趣”区域(Rois)。具体实现过程如下:
①足球Rois自动标记
附图2为假定机器人采集图片上的某一点O为足球的球心。由于机器人本体和相机位置角度均为已知,相机参数固定、足球实际尺寸固定,则该点处的球半径r为已知。球的外接正方形为abfe。该点对应的候选区为边长为2R的正方形ABCD。R=k·r,k为候选区尺寸系数。通常1≤k≤2。则O点的候选得分SO如式(1)所示:
其中,wW和wG分别为白色权重和绿色权重。SW和SG分别为白色得分和绿色得分。SW类Haar特征计算方法如式(2)所示:
SW=(Wabcd+Wdcfe)+(Wabcd-Whgba)-WABCD (2)
其中,W****为白色区域像素和,计算公式如式(3)所示:
W1234=(IW1+IW3-IW2-IW4)/A1234 (3)
其中,A1234为由1,2,3,4,1四点围成的区域面积;IW*为白色积分图在*点的数值。
(1)式中的绿色得分SG计算方法如式(4)所示:
SG=GABCD-Gabfe (4)
其中,G****为绿色区域像素和,计算公式如式(5)所示:
G1234=(IG1+IG3-IG2-IG4)/A1234 (5)
其中,IG*为绿色积分图在*点的数值。
将O点遍历积分图像,计算每个像素点的候选得分值SO,根据设定候选区的个数n,选择得分值最高的n个候选区,并在机器人采集原始YUV格式图像的对应位置和尺寸提取出小图块,即“感兴趣”区域(Rois),输出到足球识别卷积神经网络模型进行辨识。
如果比赛场地采用无影灯,则球的白色得分SW可以直接用WABCD计算。但实际场地光线可视为自上而下的平行光。球的距离稍远时,就会产生“上明下暗”现象。因此,用Wabfe计算的结果往往使球的计算中心偏高,影响球的定位。本技术方案构造的(2)式,第一项将上半部分与下半部分白色得分相加,得到完整圆形得分,但此时圆形中心会偏高;第二项是去掉球的上方部分白色,去除远处场地边界以外的白色影响;第三项在减除Rois区域的白色得分过程中,对于实际足球目标,偏上部分的分数要高于偏下部分,因此从形态学角度能够在一定程度上修正第一项产生的偏差,得到更为合理的球心位置。
②球门柱Rois自动标记
附图3为假定机器人采集图片上的某一点O’为球门柱与绿色草坪的接触线的中心。D’C’线为草坪的边界线。综合考虑球门柱形状特征和与草坪的颜色差异,O’点的候选得分So’如式(6)所示:
其中,Uco和Fco分别为顶部系数和侧方系数。Uco=A’D’/D’F’;Fco=a’b’/A’B’;S1234为由1,2,3,4,1四点围成的区域得分,计算方法如式(7)所示:
与标记足球的方式相同,将O’点遍历积分图像,计算每个像素点的候选得分值SO’,根据设定格式选择得分值最高的几个Rois,输出到球门柱识别卷积神经网络模型进行辨识。
③罚球点Rois自动标记
图4为假定机器人采集图片上的某一点O”为罚球点的中心。O”点的候选得分SO”如式(8)所示:
其中,w′W和w′G分别为白色权重和绿色权重。S′W和S′G分别为白色得分和绿色得分,基于形态学类Haar特征的计算方法分别如式(9)、(10)所示:
将O”点遍历积分图像,计算每个像素点的候选得分值SO”,根据设定个数选择得分值最高的几个Rois,输出到罚球点识别卷积神经网络模型进行辨识。
5)在一个优选的实施方式中,可分别为目标物足球、球门柱和罚球点的“感兴趣”区域构造轻量级卷积神经网络,对输入的“感兴趣”区域进行辨识,判断出这些Rois“是目标物”或“非目标物”。
因为“感兴趣”区域的尺寸远小于机器人采集的原始图片尺寸,因此构造的轻量级卷积神经网络计算量显著降低,大大加快卷积计算的速度。这也是本专利的快速识别的主要体现。
6)机器人在线产生的“感兴趣”区域可以存储于目标物样本库,由领域专家离线分选出“正”、“负”样本集。只需要轻松点选即可,避免了人工从海量样本中框选目标物的巨大工作量和由此造成的不确定因素。
7)领域专领域专家分选出的“正”、“负”样本集用于离线训练轻量级卷积神经网络模型,使其达到足够的辨识“目标物”和“非目标物”的精度,并保存神经网络的结构和参数,加载于仿人机器人,用于实际比赛识别目标物。
在又一个具体的实施方式中,本发明还可以以搭载在机器人上的识别系统的方式来实现,该系统在一个优选的实施方式中,可以包括如下结构:
图像采集模块,用于采集原始YUV格式图像;
图像处理模块,依据预设Y、U、V通道的阈值,形成白色二值图像与绿色二值图像;基于所述白色二值图像、绿色二值图像,分别获得白色积分图、绿色积分图;
区域划分模块,用于针对不同目标物,分别构造形态学类Haar特征滤波器,对所述白色积分图、绿色基本图进行滤波,得到目标物的候选得分热图;选择的粉土分数最高的若干个点,并计算对应位置的目标物尺寸,得到感兴趣区域位置和尺寸,再基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois;
识别模块,基于所述“感兴趣”区域Rois,识别目标物。
该系统,可以执行如上提及的基于视觉的快速多目标识别方法。当然,该系统的结构,可以以其他硬件或者硬件与软件相配合的方式来实现本发明技术方案中所提及的具体方法,而上述的基于本发明技术方案而进行的系统结构的常规调整,均应当视为落入本发明的保护范围之内。
在一个具体的实施场景中,结合图5、6,说明本发明技术方案的实施效果。目标物足球的识别过程如附图5所示,附图5(a)为仿人机器人采集的原始图像;附图5(b)为步骤2)形成的白色二值图像和绿色二值图像;附图5(c)为经过目标物足球的形态学类Haar特征滤波模板滤波生成的热图;附图5(d)为“感兴趣”区域,其中绿色框的“感兴趣”区域为经过足球“感兴趣”区域轻量级神经网络辨识到的目标物。
足球、球门柱和罚球点三种目标物同时识别的效果如附图6所示。
本发明的快速多目标识别方法在仿人机器人的CPU内核的主机硬件平台运行,能够在0.03秒内对目标物足球、球门柱和罚球点的识别率分别达到95.8%、96.2%和96.0%。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (10)
1.基于视觉的快速多目标识别方法,其特征在于,所述方法包括:
S1、采集原始YUV格式图像;
S2、依据预设Y、U、V通道的阈值,形成白色二值图像与绿色二值图像;
S3、基于所述白色二值图像、绿色二值图像,分别获得白色积分图、绿色积分图;
S4、针对不同目标物,分别构造形态学类Haar特征滤波器,对所述白色积分图、绿色基本图进行滤波,得到目标物的候选得分热图;选择的粉土分数最高的若干个点,并计算对应位置的目标物尺寸,得到“感兴趣”区域位置和尺寸,再基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois;
S5、基于所述“感兴趣”区域Rois,识别目标物。
2.根据权利要求1所述的方法,其特征在于,当所述目标物为球形时,所述S4进一步包括:设所述原始YUV格式图像中某一点为球心O点,其对应的候选区域ABCD为与O点同心、边长为2R的正方形,求得球心O点的候选得分SO:
其中,wW和wG分别为白色权重和绿色权重。SW和SG分别为白色得分和绿色得分,其中SW是类Haar特征;R=k·r,k为候选区尺寸系数,r为原始YUV格式图像采集点处观察到的球形的半径;
将所述球心O点遍历积分图像,计算每个像素点的候选得分SO,选择得分最高的n个候选区,基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois。
3.根据权利要求1所述的方法,其特征在于,当所述目标物为圆柱时,所述S4进一步包括:设所述原始YUV格式图像中某一点O’为圆柱与绿色草坪的接触线的中心,其对应的候选区域A’B’C’D’为与O’点同心、边长为2R的正方形,O’点的候选得分SO’为:
其中,Uco和Fco分别为顶部系数和侧方系数,Uco=A’D’/D’F’;Fco=a’b’/A’B’,a’b’c’d’为原始YUV格式图像中圆柱位于草坪水平线之上的矩形区域;S1234为由1,2,3,4,1四点围成的区域得分;R=k·r,k为候选区尺寸系数,r为原始YUV格式图像采集点处观察到的球星的半径;
将O’点遍历积分图像,计算每个像素点的候选得分值SO’,选择得分最高的n个候选区,基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois。
4.根据权利要求1所述的方法,其特征在于,当所述目标物为罚球点时,所述S4进一步包括:设所述原始YUV格式图像中某一点O”为罚球点的中心,其对应的候选区域A”B”C”D”为与O”点同心、边长为2R的正方形,O”点的候选得分SO”为:
其中,w′W和w′G分别为白色权重和绿色权重;S′W和S′G分别为基于形态学类Haar特征的白色得分和绿色得分;R=k·r,k为候选区尺寸系数,r为原始YUV格式图像采集点处观察到的球星的半径;
将O”点遍历积分图像,计算每个像素点的候选得分值SO”,选择得分最高的n个候选区,基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois。
5.根据权利要求2所述的方法,其特征在于,所述SW类Haar特征计算方法如下:
SW=(Wabcd+Wdcfe)+(Wabcd-Whgba)-WABCD
其中,W****为白色区域像素和,下标A、B、C、D为候选区域为边长为2R的正方形的四个顶点,a、b、f、e为球形外接正方形的四个顶点,c、d分别为bf和ae的中点。
6.根据权利要求2所述的方法,其特征在于,所述绿色得分SG计算方法如下:
SG=GABCD-Gabfe
其中,G****为绿色区域像素和。
7.根据权利要求3所述的方法,其特征在于,所述S1234的计算方式为:
其中,为绿色积分图在*点的数值,为白色积分图在*点的数值。
8.根据权利要求4所述的方法,其特征在于,所述S′W和S′G的计算方式为:
S'W=(Wa"b"c"d"-WA"E"G"D")+(Wa"b"c"d"-WE"B"C"G")+(Wa"b"c"d"-WA"B"F"H")+(Wa"b"c"d"-WH"F"C"D")
S'G=(GA"E"G"D"-GA"B"C"D")+(GE"B"C"G"-WA"B"C"D")+(WA"B"F"H"-WA"B"C"D")+(WH"F"C"D"-WA"B"C"D")
其中,W****为白色区域像素和,G****为绿色区域像素和;下标A”、B”、C”、D”为候选区域正方形的四个顶点,a”、b”、c”、d”为罚球点十字图案外接正方形的四个顶点,F”、H”分别为B”C”和A”D”的中点。
9.根据权利要求1所述的方法,其特征在于,所述S5进一步包括:采用卷积神经网络,识别目标物。
10.基于视觉的快速多目标识别系统,其特征在于,所述系统包括:
图像采集模块,用于采集原始YUV格式图像;
图像处理模块,依据预设Y、U、V通道的阈值,形成白色二值图像与绿色二值图像;基于所述白色二值图像、绿色二值图像,分别获得白色积分图、绿色积分图;
区域划分模块,用于针对不同目标物,分别构造形态学类Haar特征滤波器,对所述白色积分图、绿色基本图进行滤波,得到目标物的候选得分热图;选择候选得分热图分数最高的若干个点,并计算对应位置的目标物尺寸,得到感兴趣区域位置和尺寸,再基于所述原始YUV格式图像,提取所述“感兴趣”区域位置和尺寸的图块,作为“感兴趣”区域Rois;
识别模块,基于所述“感兴趣”区域Rois,识别目标物。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910620506.5A CN110415256B (zh) | 2019-07-10 | 2019-07-10 | 基于视觉的快速多目标识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910620506.5A CN110415256B (zh) | 2019-07-10 | 2019-07-10 | 基于视觉的快速多目标识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110415256A true CN110415256A (zh) | 2019-11-05 |
CN110415256B CN110415256B (zh) | 2022-10-11 |
Family
ID=68360953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910620506.5A Active CN110415256B (zh) | 2019-07-10 | 2019-07-10 | 基于视觉的快速多目标识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110415256B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111913435A (zh) * | 2020-07-30 | 2020-11-10 | 浙江科技学院 | 一种基于堆积沙漏网络的单/多目标关键点定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998044333A1 (en) * | 1997-03-28 | 1998-10-08 | Chromavision Medical Systems, Inc. | System and method for cellular specimen grading |
CN106971187A (zh) * | 2017-04-12 | 2017-07-21 | 华中科技大学 | 一种基于车辆特征点的车辆部件检测方法和系统 |
-
2019
- 2019-07-10 CN CN201910620506.5A patent/CN110415256B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998044333A1 (en) * | 1997-03-28 | 1998-10-08 | Chromavision Medical Systems, Inc. | System and method for cellular specimen grading |
CN106971187A (zh) * | 2017-04-12 | 2017-07-21 | 华中科技大学 | 一种基于车辆特征点的车辆部件检测方法和系统 |
Non-Patent Citations (1)
Title |
---|
李晓瑜等: "足球机器人视觉图像分割算法", 《吉林大学学报(工学版)》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111913435A (zh) * | 2020-07-30 | 2020-11-10 | 浙江科技学院 | 一种基于堆积沙漏网络的单/多目标关键点定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110415256B (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106709909B (zh) | 一种基于深度学习的柔性机器人视觉识别与定位系统 | |
CN109635875A (zh) | 一种基于深度学习的端到端网口检测方法 | |
CN103413120B (zh) | 基于物体整体性和局部性识别的跟踪方法 | |
KR101199804B1 (ko) | 화상 처리 장치 및 방법 | |
CN107229930A (zh) | 一种指针式仪表数值智能识别方法及装置 | |
CN107644418B (zh) | 基于卷积神经网络的视盘检测方法及系统 | |
CN108447091A (zh) | 目标定位方法、装置、电子设备及存储介质 | |
CN105046206B (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
CN108304820A (zh) | 一种人脸检测方法、装置及终端设备 | |
CN113012150A (zh) | 一种特征融合的高密度稻田无人机图像稻穗计数方法 | |
CN104794449B (zh) | 基于人体hog特征的步态能量图获取及身份识别方法 | |
CN110472575A (zh) | 一种基于深度学习和计算机视觉的串番茄成熟度检测方法 | |
CN104517101A (zh) | 一种基于像素平方差匹配的游戏扑克牌识别方法 | |
CN109886155A (zh) | 基于深度学习的单株水稻检测定位方法、系统、设备及介质 | |
CN109117753A (zh) | 部位识别方法、装置、终端及存储介质 | |
CN109242787A (zh) | 一种中小学艺术测评中绘画录入方法 | |
CN115908774B (zh) | 一种基于机器视觉的变形物资的品质检测方法和装置 | |
CN110516707A (zh) | 一种图像标注方法及其装置、存储介质 | |
CN116682106A (zh) | 一种基于深度学习的柑橘木虱智能检测方法及装置 | |
CN110415256A (zh) | 基于视觉的快速多目标识别方法及系统 | |
CN110433471A (zh) | 一种羽毛球运动轨迹监测分析系统及方法 | |
CN114187664A (zh) | 一种基于人工智能的跳绳计数系统 | |
CN112733622B (zh) | 一种禾本科植物分蘖数量计数方法 | |
CN102542276A (zh) | 应用Photoshop和Matlab快速提取森林郁闭度的方法 | |
CN110751085B (zh) | 一种小鼠行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |