发明内容
为了解决现有的镜面场景中虚假目标识别时对镜面的反射率估计的准确度要求高、计算量大,且仅局限于人脸检测范围的问题,本发明提供一种虚假目标识别方法、装置及计算机设备,其应用在具有镜像场景的图像目标识别中,通过特征点匹配实现真实目标和虚假目标的匹配关联,在实际应用中具有更好的鲁棒特性;且整个方法不涉及对镜面的反射率估计过程,整个方法计算量小,不仅适于对人的识别,也适于对物的识别,通用性强。
本发明通过以下技术方案实现:
第一方面,本发明提供了一种虚假目标识别方法,包括以下步骤:
获取至少一张图像,所述至少一张图像中每张图像包括至少一个待识别目标;
在所述至少一个待识别目标的数量大于1时,提取各待识别目标的特征点并进行特征点匹配;
根据特征点匹配情况从所述待识别目标中确定出真实目标和虚假目标组,其中,所述真实目标和虚假目标组包括一真实目标和对应的虚假目标。
基于上述发明内容,提供一种不需要估计镜面反射率、计算量小且可同时对人或物进行虚假目标检测的方案,其可应用在具有镜像场景的环境中,通过采集镜像场景的图像信息,对图像中目标进行特征点提取和特征点匹配,识别出图像中的真实目标和虚假目标组,从而可实现虚假目标的识别。识别出图像中的目标,若图像中目标个数为1,则判定其为真实目标;在目标个数大于1个时,对目标进行特征点提取和特征点匹配从而筛选出真实目标和虚假目标组。整个方法不涉及对镜面的反射率估计过程,整个方法计算量小,不仅适于对人的识别,也适于对物的识别,通用性强。
在一个可能的设计中,在所述至少一个待识别目标的数量大于1时,提取各目标的特征点并进行特征点匹配,包括:
计算所述至少一个待识别目标中各待识别目标的清晰度,得到至少一个清晰度;
根据所述至少一个清晰度,从所述至少一个待识别目标中确定出清晰度大于预设清晰度的待识别目标;
在清晰度大于所述预设清晰度的待识别目标的数量大于1时,提取清晰度大于所述预设清晰度的待识别目标中各待识别目标的特征点并进行特征点匹配。
基于上述可能设计,通过在特征点提取操作前,对特征点提取的待识别目标集进行初次筛选,减小特征点提取、匹配的目标数量,减小运算量,提高识别速度和识别准确度。初次筛选识别基于清晰度,清晰度小于等于一预设清晰度的待识别目标直接判定为虚假目标,即经过镜面反射得到的二次成像的虚假目标清晰度才会低于一定阈值。若清晰度高于该预设清晰度的待识别目标个数为1时,则判定该待识别目标为真实目标,则可结束识别过程;若清晰度高于该预设清晰度的待识别目标个数大于等于2时,将清晰度高于该阈值的待识别目标作为后续目标特征点提取的待识别目标集进行特征点提取、特征点匹配操作。整个方法通过对待识别目标的多次识别判断,每次识别判断可对部分真实目标和虚假目标进行识别,减小后续特征点提取、特征点匹配的待识别目标量,进而减小识别过程的计算量,提高识别速度。
在一个可能的设计中,所述图像中的待识别目标的识别包括:
将图像输入至已训练完成的卷积神经网络中识别出待识别目标。
卷积神经网络具有深度学习能力,是一种包含卷积计算且具有深度结构的前馈神经网络,训练集的样本数量越多,其识别精度越高,即采用卷积神经网络对目标进行识别,可提高目标识别的准确度,进而提高虚假目标识别的精度。
在一个可能的设计中,所述预设清晰度为用于训练卷积神经网络的训练集中虚假目标的清晰度均值VS_blur。在镜像场景中,虚假目标其为镜面反射二次成像得到,根据镜面情况,其成像清晰度不同,但是,在同一场景下,虚假目标的成像清晰度整体上小于等于真实目标的成像清晰度。本步骤通过清晰度筛选出真实目标和部分虚假目标,预设清晰度的设定相当关键,其不能高于虚假目标的最大清晰度,也不能太低,太低会导致筛选出的虚假目标过多,增大后续步骤的计算量。基于前述可能设计,将预设清晰度设定为卷积神经网络训练集中虚假目标的清晰度均值,在保证筛选的目标为真实目标的前提下,可大大减小特征点提取中待识别目标中虚假目标的数量,减小后续判断的计算量,提高识别速度。
在一个可能的设计中,根据特征点匹配情况从所述待识别目标中确定出真实目标和虚假目标组,包括:
从待识别目标中筛选出特征点匹配成功的待识别目标对,所述待识别目标对包括一待识别目标及与该待识别目标有特征点匹配成功的待识别目标;
统计待识别目标对特征点匹配成功的数量a、待识别目标对的各待识别目标的特征点数量;
计算a与b的比值,其中,b为待识别目标对的各待识别目标的特征点数量中最大的值;
若该比值大于第一阈值且b大于第二阈值,则判定该待识别目标对为一真实目标和虚假目标组。
前述可能设计中基于特征点匹配对真实目标和虚假目标进行识别,通过计算a与b的比值,即将匹配成功比作为真实目标和虚假目标组的判定标准之一,并将真实目标特征点作为另一判定标准,提高真实目标和虚假目标组的判别的准确性,提高判别的可操作性。
在一个可能的设计中,所述方法还包括:
统计真实目标和虚假目标组中各待识别目标的特征点数量,分别将每个真实目标和虚假目标组中特征点数量最少的待识别目标确定为虚假目标。
基于上述可能设计,可识别真实目标和虚假目标组中虚假目标,即通过对各待识别目标的特征点数量的计算比较,实现虚假目标判断,该方法简单有效,可提高判断速度,且准确性高。
在一个可能的设计中,所述方法还包括:
确定图像源相对于镜面的位置关系,所述位置关系包括图像源置于镜面的左端、图像源置于镜面的右端,其中,所述图像源为所述图像的采集设备,所述镜面为所述图像源视野范围内会产生镜面反射的设备;
获取真实目标和虚假目标组中各待识别目标在图像中的横坐标;
若位置关系为图像源置于镜面的左端,则将每个真实目标和虚假目标组中横坐标最小的待识别目标确定为虚假目标;
若位置关系为图像源置于镜面的右端,则将每个真实目标和虚假目标组中横坐标最大的待识别目标确定为虚假目标。
基于上述可能设计,可识别真实目标和虚假目标组中虚假目标,即通过图像采样位置、图像中真实目标和虚假目标在横轴上的相对位置实现真假目标的判断,识别方法简单,准确性高。
在一个可能的设计中,所述方法还包括:
提取除真实目标和虚假目标组之外的各待识别目标的颜色矩特征,将颜色矩特征输入已训练完成的分类器中识别虚假目标。
基于上述可能设计,可对除真实目标和虚假目标组之外的各待识别目标进行真实目标和虚假目标的识别,即通过提取除真实目标和虚假目标组之外的各待识别目标的颜色矩特征,结合分类器实现虚假目标判别,识别方法简单,准确性高。
第二方面,本发明提供了一种镜像场景中虚假目标识别装置,包括包括依次通信连接的图像获取模块、判别模块;
所述图像获取模块,用以获取至少一张图像,所述至少一张图像中每张图像包括至少一个待识别目标;
所述判别模块,用以提取各待识别目标的特征点并进行特征点匹配,根据特征点匹配情况识别待识别目标中的真实目标和虚假目标组,所述真实目标和虚假目标组包括一真实目标和对应的虚假目标。
在一个可能的设计中,所述判别模块依次通信连接的第一判别单元和第二判别单元;
所述第一判别单元,用以计算所述至少一个待识别目标中各待识别目标的清晰度,得到至少一个清晰度,根据所述至少一个清晰度,从所述至少一个待识别目标中确定出清晰度大于预设清晰度的待识别目标;
所述第二判别单元,用以在清晰度大于预设清晰度的待识别目标的数量大于1时,提取清晰度大于所述预设清晰度的待识别目标中各待识别目标的特征点并进行特征点匹配。
第三方面,本发明提供了一种计算机设备,包括通信相连的存储器和处理器,其中,所述存储器用于存储计算机程序,所述处理器用于读取所述计算机程序,执行如上第一方面或第一方面中任意一种可能设计的虚假目标识别方法。
第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如如上第一方面或第一方面中任意一种可能设计的虚假目标识别方法。
本发明与现有技术相比,至少具有以下优点和有益效果:
1、本方案的虚假目标识别通过特征点匹配实现真实目标和虚假目标的匹配关联,从而可实现虚假目标的识别,在实际用于中具有较好的鲁棒特性。
2、本方法通过对目标通过特征点匹配实现真实目标和虚假目标的匹配关联,识别出真实目标和虚假目标组,整个方法不涉及对镜面的反射率估计过程,整个方法计算量小,不仅适于对人的识别,也适于对物的识别,通用性强。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是,对于这些实施例方式的说明虽然是用于帮助理解本发明,但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而,可用很多备选的形式来体现本发明,并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解,尽管本文可能使用术语第一、第二等等来描述各种单元,但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元,同时不脱离本发明的示例实施例的范围。
应当理解,对于本文中可能出现的术语“和/或”,其仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,单独存在B,同时存在A和B三种情况;对于本文中可能出现的术语“/和”,其是描述另一种关联对象关系,表示可以存在两种关系,例如,A/和B,可以表示:单独存在A,单独存在A和B两种情况;另外,对于本文中可能出现的字符“/”,一般表示前后关联对象是一种“或”关系。
应当理解,在本文中若将单元称作与另一个单元“连接”、“相连”或“耦合”时,它可以与另一个单元直相连接或耦合,或中间单元可以存在。相対地,在本文中若将单元称作与另一个单元“直接相连”或“直接耦合”时,表示不存在中间单元。另外,应当以类似方式来解释用于描述单元之间的关系的其他单词(例如,“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。
应当理解,本文使用的术语仅用于描述特定实施例,并不意在限制本发明的示例实施例。若本文所使用的,单数形式“一”、“一个”以及“该”意在包括复数形式,除非上下文明确指示相反意思。还应当理解,若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
应当理解,还应当注意到在一些备选可能设计中,所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。
应当理解,在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统,以避免用不必要的细节来使得示例不清楚。在其他实例中,可以不以非必要的细节来示出众所周知的过程、结构和技术,以避免使得示例实施例不清楚。
本实施例第一方面提供一种虚假目标识别方法,该方法可以由一识别装置来执行,识别装置可以为软件,或者为软件和硬件的组合,识别装置可以集成设置在服务器、终端设备等中。具体的,如图1所示,该虚假目标识别方法包括以下步骤S101~步骤S105。
S101、获取至少一张图像,每张图像包括至少一个待识别目标。检测图像中的待识别目标,所述待识别目标包括人和/或物。
在本方案中,该图像由图像源采集所得,图像源可以是摄像机、摄像头或相机等设备。图像源安装场景可以是公园、电梯内、高速服务区开放式洗漱处等,即该图像可以是公园某个位置监控图像,可以是电梯内监控图像,也可以是高速服务区开放式洗漱处监控图像或其他具有反射面譬如镜面的公共场合的图像。图像可以是实时采集的图像,也可以是本地存储的图像,也可以是云服务器调取的图像。图像中可能只有人像目标、只有物体目标或者两者均有。在一个典型的应用中,该场景为电梯内,电梯壁具有镜面反射效果,电梯内监控摄像头拍摄采集电梯内实时图像,由于电梯壁的反射,采集的图像中存在真实目标和虚假目标。
图像中待识别目标的检测可通过已训练完成的卷积神经网络完成,将图像输入至已训练完成的卷积神经网络中,即可输出待识别目标检测结果,检测出的待识别目标可以是人或物,具体可以是人、动物、箱子、购物车、包等等。在步骤S101中,用于检测待识别目标的卷积神经网络可选用LeNet网络、AlexNet网络、VGGNet网络、NiN网络、GooLeNet网络、ResNet网络或DenseNet网络。具体且优选的,采用YOLO模型。YOLO模型用于待识别目标检测时,具有检测速度快、背景误检率低、通用性强的优势,可大大提高人物目标检测的准确度和效率。
上述的卷积神经网络的训练过程具体为:采集若干组不同镜像场景中的图像,图像中具有不同的待识别目标,目标涉及不同的人、不同的物体等。对每组图像进行编号,每组2张,包含真实目标和对应的虚假目标图像。标注每组图像中真实目标和对应的虚假目标图像,并对标注后的目标进行编号,例如A1表示真实目标,A2表示对应的虚假目标,当然也可采用其他标注方式。将标注后的图像作为训练集用于训练卷积神经网络,训练针对镜像场景中卷积神经网络对目标的检测识别能力。训练过程中,尽量保证训练集的数量足够大,以保证卷积神经网络的检测准确度。训练完成后的卷积神经网络即可应用于本方法中用于图像待识别目标检测,以为后续虚假目标判断提供基础信息。
S102、图像中待识别目标检测完成后,统计待识别识别出的目标数量,目标数量为1时,直接判定该待识别目标为真实目标,不存在虚假目标,结束识别过程;待识别目标数量大于1时,提取各待识别目标的特征点并进行特征点匹配后继续进行识别。
步骤S102中的特征点可以是角点Corner Point,也可以是关键点key point。优选的,提取各候选目标的角点,角点检测算法的基本思想是使用一个固定窗口,取某个像素的一个邻域窗口,在图像上进行任意方向上的滑动,比较滑动前与滑动后两种情况,窗口中的像素灰度变化程度,如果存在任意方向上的滑动,都有着较大灰度变化,那么我们可以认为该窗口中存在角点。具体的,角点可以是尺度不变特征变换角点(Scale-invariantfeature transform,SIFT),也可是Harris角点、KLT角点、SUSAN角点,KLT即Kanade-Lucas-Tomasi Tracking,SUSAN即Small univalue segment assimilating nucleus。优选采用SIFT角点,SIFT算法在图像的尺度、旋转、亮度方面均有强大的稳定性,将其应用在镜像场景图片目标识别中,可提高角点识别、匹配的准确度。角点提取后,采用FLANN匹配方法或Brute-Force匹配方法实现候选目标间的角点特征匹配,其中,FLANN即Fast Library forApproximate Nearest Neighbors。
S103、特征点匹配完成后,根据特征点匹配情况识别待识别目标中的真实目标和虚假目标组并将其余的待识别目标作为候选目标。
在步骤S103中主要是实现真实目标和虚假目标组的识别,真实目标和虚假目标组包括一真实目标和对应的虚假目标。在上述步骤S103中,对真实目标和虚假目标组的识别可采用多种方法实现。
作为步骤S103的第一种可行方式:筛选出特征点匹配成功的待识别目标,将其作为真实目标和虚假目标组,即真实目标和虚假目标组包括一待识别目标及与该待识别目标有特征点匹配成功的待识别目标;将没有特征点匹配成功的待识别目标作为候选目标。
譬如,若图像中检测出待识别目标包括待识别目标A1、待识别目标B1、待识别目标C1、待识别目标D1、待识别目标E1、待识别目标F1、待识别目标G1、待识别目标H1共8个待识别目标,经特征点提取、特征点匹配后其匹配结果是待识别目标A1与待识别目标B1具有匹配成功的特征点,待识别目标D1与待识别目标E1具有匹配成功的特征点,则将待识别目标A1与待识别目标B1、待识别目标D1与待识别目标E1作为真实目标和虚假目标组,将待识别目标C1、待识别目标F1、待识别目标G1、待识别目标H1作为候选目标。
作为步骤S103的第二种可行方式,具体包括步骤S1031-步骤S1032。
S1031、对每一组有特征点匹配成功的待识别目标对进行筛选,待识别目标对包括一待识别目标及与该待识别目标有特征点匹配成功的待识别目标;统计待识别目标对中目标特征点匹配成功的数量a、待识别目标对的各目标的特征点数量。待识别目标对中特征点匹配成功的数量可能仅有1个、两个或者多个,但是,不是所有具有特征点匹配成功的待识别目标对均是真实目标及其对应的虚假目标,譬如,特征点匹配成功的数量为1个时,两个目标可能不是真、假对应关系,即不是真实目标和虚假目标组。
S1032、计算a与b的比值,其中,b为待识别目标对的各目标的特征点数量中最大的值,一般情况下,其为真实目标的特征点数量;若该比值大于第一阈值且b大于第二阈值,则判定该待识别目标对为一真实目标和虚假目标组。
譬如,若图像中检测出待识别目标包括待识别目标A2、待识别目标B2、待识别目标C2、待识别目标D2、待识别目标E2、待识别目标F2、待识别目标G2、待识别目标H2共8个待识别目标,经特征点提取、特征点匹配后其匹配结果是待识别目标A2与待识别目标B2具有匹配成功的特征点,待识别目标D2与待识别目标E2具有匹配成功的特征点,待识别目标G2与待识别目标H2具有匹配成功的特征点,将待识别目标A2与待识别目标B2、待识别目标D2与待识别目标E2、待识别目标G2与待识别目标H2筛选为待识别目标对。
针对待识别目标A2与待识别目标B2,待识别目标A2的特征点数量为15、待识别目标B2的特征点数量为12,待识别目标A2与待识别目标B2匹配成功的特征点数量为11,则待识别目标对中a与b的比值为11/15。
针对待识别目标D2与待识别目标E2,待识别目标D2的特征点数量为14、待识别目标E2的特征点数量为10,待识别目标D2与待识别目标E2匹配成功的特征点数量为4,则待识别目标对中a与b的比值为4/14。
针对待识别目标G2与待识别目标H2,待识别目标G2的特征点数量为20、待识别目标H2的特征点数量为8,待识别目标G2与待识别目标H2匹配成功的特征点数量为4,则待识别目标对中a与b的比值为4/20。
若第一阈值的设定为0.7,第二阈值设定为12,则可将待识别目标A2与待识别目标B2作为真实目标和虚假目标组,待识别目标C2、待识别目标D2、待识别目标E2、待识别目标F2、待识别目标G2、待识别目标H2作为候选目标。
其中,在步骤S1032中第一阈值、第二阈值也是一可调值,优选的,第一阈值优选为基于步骤S101中训练集采用步骤S102中特征点提取、特征点匹配方法后得到的特征点匹配成功比,该特征点匹配成功比为特征点匹配成功的特征点数量与对应真实目标角点特征数量的比值。第二阈值优选为训练集中真实目标特征点数量的平均值。
基于上述步骤S103,可筛选出部分有特征点匹配成功的候选目标,其为真实目标和虚假目标组,一组真实目标和虚假目标组包含一真实目标和对应的虚假目标;将未筛选出的待识别目标作为候选目标。
根据第二种真实目标和虚假目标组筛选出的真实目标及其对应的虚假目标,其准确度更高,有利于提高虚假目标识别准确度。
根据真实目标和虚假目标组、候选目标分别进行不同的判断步骤,具体的,若是真实目标和虚假目标组,则进入步骤S104;若是候选目标,则进入步骤S105。
S104、对真实目标和虚假目标组中的虚假目标进行识别。
在上述步骤S104中,对真实目标和虚假目标组中虚假目标的识别具有多种方法。
作为步骤S104的第一种可行方式:分别统计真实目标和虚假目标组中真实目标和虚假目标的特征点数量,将特征点数量较多的目标作为真实目标,将特征点数量较少的目标作为虚假目标。由于二次成像中虚假目标的清晰度相对较低,相应的特征点也相对较少,采用该方法,简单直接且准确性高。
作为步骤S104的第二种可行方式:根据图像采样位置、真实目标和虚假目标组中目标在横轴上的相对位置进行真实目标和虚假目标的判断。具体的,确定图像源相对于镜面的位置关系,位置关系包括图像源置于镜面的左端、图像源置于镜面的右端,所述图像源为步骤S101中图像的采集设备,所述镜面为所述图像源视野范围内会产生镜面反射的设备;获取真实目标和虚假目标组中各待识别目标在图像中的坐标;若位置关系为图像源置于镜面的左端,则将每个真实目标和虚假目标组中横坐标最小的待识别目标确定为虚假目标;若位置关系为图像源置于镜面的右端,则将每个真实目标和虚假目标组中横坐标最大的待识别目标确定为虚假目标。
以电梯这一个典型的应用为例对上述第二种可行方式进行说明,如图3所示,以人站在电梯外面向电梯方向为准,镜面包括人左、右两面电梯壁,即包括镜面A 21和镜面B22,若图像源1即电梯监控摄像头安装在人手左侧且远离电梯门的位置,仅镜面B 22在监控摄像头的视野范围内,镜面A 21在监控摄像头的视野范围外,此时,图像源相对于镜面B的位置关系为图像源置于镜面B的右端,获取真实目标和虚假目标组中各待识别目标在图像中的横坐标,以图像横向坐标为标准,横向坐标向右其坐标值越大。在识别时,将每个真实目标和虚假目标组中横向坐标值较小的目标判定为虚假目标,横向坐标值较大的目标判定为真实目标。如图4所示,若电梯监控摄像头安装在电梯右侧且远离电梯门的位置,仅镜面B在监控摄像头的视野范围内,镜面A在监控摄像头的视野范围外,此时,图像源1相对于镜面B的位置关系为图像源置于镜面B的左端,在识别时,将每个真实目标和虚假目标组中横向坐标值较大的目标判定为虚假目标,横向坐标值较小的目标判定为真实目标。
S105、对候选目标中虚假目标的识别,此处的候选目标即除真实目标和虚假目标组之外的待识别目标。具体的,将各待识别目标图像转换成六角锥体模型(Hue SaturationValue,HSV),并均匀分成3*3块,在每块图像区域中其均包括三个通道,三个通道分别是Hue、Saturation、Value,其中,Hue即H通道,包含色调、色相信息;Saturation即S通道,包含饱和度、色彩纯净度信息;Value即V通道,包含明度信息。分别计算其在三个分量上的颜色距特征,将颜色矩特征输入已训练完成的分类器中进行虚假目标识别。
步骤S105中的分类器为提前训练完成的分类器,分类器可以是支持向量机(Support Vector Machine,SVM)、线性回归分类器(Logistic Regression Classifier,LRC)、神经网络分类器(Artificial Neural Network,ANN),优选的,采用支持向量机。支持向量机SVM为一个二值分类器,将其用于真假目标识别,其所需样本少,具有良好的学习能力,准确度高。该中分类器的训练方法为:
提取训练集中真实目标和虚假目标,将其图像区域转换成六角锥体模型HSV,再对目标图像进行分割,均分为3*3块,在每块图像区域中,分别计算其在H、S、V三个通道的颜色矩特征,每个颜色矩特征为3位特征向量,三个通道串联后,每个图像块形成9维特征向量,每张目标图像构成一个9*9共81维度的颜色矩特征向量。将真实目标的颜色矩特征和虚假目标的颜色矩特征作为分类器训练集,用分类器训练集训练分类器。每个子块在一个通道i上颜色矩特征Fi=[ui,σi,si]的定义为:
其中N表示区域内像素点的个数,pi,j表示像素点在i通道上在j位置上的取值。
由此通过上述步骤S101~步骤S105所详细描述的虚假目标识别方法,其通过目标数量、特征点匹配、颜色矩特征对目标进行真实目标和虚假目标的多方式识别判断,其准确度高;整个识别过程不需要估计镜面的反射率,通过训练卷积神经网络和分类器,实现快速识别判断;其通用性强,不仅适于对人的识别,也适于对物的识别。
本实施例第二方面提供一种虚假目标识别方法,该方法同样可以由一识别装置来执行,识别装置可以为软件,或者为软件和硬件的组合,识别装置可以集成设置在服务器、终端设备等中。具体的,如图2所示,该镜像场景中虚假目标识别方法包括以下步骤S201~步骤S207。
S201、至少一张图像,所述至少一张图像中每张图像包括至少一个待识别目标;识别图像中的待识别目标。该步骤与第一方面中步骤S101的实施方式可相同,在此不再赘述。
S202、图像中待识别目标识别完成后,统计待识别目标数量,目标数量为1时,直接判定该待识别目标为真实目标,不存在虚假目标,结束识别过程。目标数量大于1时,判定为可能存在虚假目标,计算各待识别目标的清晰度后继续进行识别。
清晰度是衡量目标图像质量优劣的重要指标,清晰度越低表明图像越模糊,反之,图像越清晰。在步骤S202中,清晰度的计算可基于多种方式实现,譬如:Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数、灰度方差函数、灰度方差乘积函数、方差函数、能量梯度函数、Vollath函数、熵函数、EAV点锐度算法函数、Reblur二次模糊、NRSS梯度结构相似度等。具体的,清晰度计算可基于上述任一梯度函数进行计算,计算每个待识别目标的清晰度为一个数值,范围为[0,1],数值越大表明该待识别目标越清晰。
S203、根据计算出的清晰度对待识别目标进行判定筛选,将清晰度小于一预设清晰度的待识别目标判定为虚假目标并计算清晰度大于等于该预设清晰度的目标个数。清晰度大于等于该预设清晰度的目标个数为1时,直接判定该待识别目标为真实目标,结束识别过程;反之,则将所有清晰度大于等于该预设清晰度的待识别目标作为后续特征点提取的目标集。
在步骤S203中,该预设清晰度为可调值,优选的,该预设清晰度的设定可根据第一方面卷积神经网络的训练集中虚假目标的清晰度均值VS_blur来设定,即将预设清晰度设定为训练集中虚假目标的清晰度均值VS_blur。通过预设清晰度的合理设置,在保证筛选的待识别目标为真实目标的前提下,避免真实目标被误筛,减小特征点提取的目标集中虚假目标的数量,减小后续判断的计算量,提高识别速度。
S204、提取所有清晰度大于等于预设清晰度的待识别目标的特征点并进行特征点匹配。该步骤中特征点提取、匹配的方法与第一方面中步骤S102的实施方式可相同,在此不再赘述。
S205、特征点匹配完成后,根据特征点匹配情况识别待识别目标中的真实目标和虚假目标组并将其余的目标作为候选目标。该步骤中方法与第一方面中步骤S103的实施方式可相同,在此不再赘述。
S206、对真实目标和虚假目标组中的虚假目标进行识别。该步骤中方法与第一方面中步骤S104的实施方式可相同,在此不再赘述。
S207、对候选目标中虚假目标的识别。该步骤中方法与第一方面中步骤S105的实施方式可相同,在此不再赘述。
由此通过上述步骤S201~步骤S207所详细描述的镜像场景中虚假目标识别方法,其通过目标数量、清晰度、特征点匹配、颜色矩特征对目标进行真实目标和虚假目标的多次、多方式识别判断,其准确度高;通过加入清晰度对特征点提取的目标集进场筛选,即可提高虚假目标的识别准确度,也减小特征点提取、匹配的目标数据,提高识别速度。
如图5所示,本实施例第三方面提供一种实现实施例第一方面或第二方面中识别方法的硬件装置,该装置包括通信连接的图像获取模块、判别模块。
图像获取模块用以获取具有镜像场景的图像,图像获取模块可以是数据接收模块,包括蓝牙模块、4G模块、5G模块等;也可以是外部设备信号连接接口模块,包括USB接口、AUX接口等。
判别模块,用以提取各待识别目标的特征点并进行特征点匹配,根据特征点匹配情况识别待识别目标中的真实目标和虚假目标组,所述真实目标和虚假目标组包括一真实目标和对应的虚假目标。
在一种可能的设计中,判别模块包括依次通信连接的第一判别单元和第二判别单元。
所述第一判别单元,用以计算所述至少一个待识别目标中各待识别目标的清晰度,得到至少一个清晰度,根据所述至少一个清晰度,从所述至少一个待识别目标中确定出清晰度大于预设清晰度的待识别目标,将所述至少一个待识别目标中清晰度小于等于预设清晰度的待识别目标确定为虚假目标。
所述第二判别单元,用以在清晰度大于预设清晰度的待识别目标的数量大于1时,提取清晰度大于所述预设清晰度的待识别目标中各待识别目标的特征点并进行特征点匹配,识别出待识别目标中的真实目标和虚假目标组。
在一种可能的设计中,该装置还包括一目标识别模块,所述目标识别模块信号连接在图像获取模块、判别模块之间,用以检测图像中的待识别目标。该目标识别模块可以是卷积神经网络模块。
在一种可能的设计中,判别模块还包括与第二判别单元通信连接的第三判别单元,该第三判别单元用以确定出真实目标和虚假目标组中的虚假目标。该第三判别单元可采用第一方面中步骤S104中的方法实现真实目标和虚假目标组中的虚假目标的判断。
在一种可能的设计中,判别模块还包括与第二判别单元通信连接的第四判别单元,该第四判别单元用以确定出除真实目标和虚假目标组之外的待识别目标,该第四判别单元包括通信连接的颜色距特征提取器、分类器。颜色距特征提取器提取各待识别目标的颜色距特征;分类器以颜色距特征为输入,输出各待识别目标的属性,该属性包括真实目标、虚假目标。
在一种可能的设计中,该装置还包括存储器,用于存储卷积神经网络和分类器的训练集、待识别的图像等信息。
本实施例第三方面提供的前述装置的工作过程、工作细节和技术效果,可以参见第一方面中任意一种可能设计所涉及的所述识别方法,于此不再赘述。
本实施例第四方面提供一种执行上述第一种方法的计算机设备,如图6所示,包括通信相连的存储器和处理器,其中,所述存储器用于存储计算机程序,所述处理器用于读取所述计算机程序,执行如上述第一方面或第二方面中任一种的虚假目标识别方法。具体举例的,所述存储器可以但不限于包括随机存取存储器(Random-Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存(Flash Memory)、先进先出存储器(First InputFirst Output,FIFO)和/或先进后出存储器(First Input Last Output,FILO)等等;所述处理器可以不限于采用型号为STM32F105系列的微处理器。此外,所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
在一种可能的设计中,该计算机设备还可包括图像获取单元,该图像获取单元用于获取待识别的图像,该图像获取单元可以是数据接收模块,包括蓝牙模块、4G模块、5G模块等;也可以是外部设备信号连接接口模块,包括USB接口、AUX接口等。
本实施例第三方面提供的前述装置的工作过程、工作细节和技术效果,可以参见第一方面中任意一种可能设计所涉及的所述识别方法,于此不再赘述。
本实施例第五方面提供一种存储上述第一种识别方法的指令的计算机可读存储介质,即所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面或第二方面中任一种所述的虚假目标识别方法。其中,所述计算机可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(MemoryStick)等,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第五方面提供的前述装置的工作过程、工作细节和技术效果,可以参见第一方面中任意一种可能设计所涉及的所述识别方法,于此不再赘述。
以上所描述的实施例仅仅是示意性的,若涉及到作为分离部件说明的单元,其可以是或者也可以不是物理上分开的;若涉及到作为单元显示的部件,其可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
最后应说明的是,本发明不局限于上述可选的实施方式,任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制,本发明的保护范围应当以权利要求书中界定的为准,并且说明书可以用于解释权利要求书。