一种检测方法、装置、设备及介质
技术领域
本发明涉及深度学习领域,特别是涉及一种检测方法、装置、设备及介质。
背景技术
随着深度学习在图像方面取得的巨大突破,该技术进而也被广泛应用于生产方面的检测操作中。
以利用深度学习技术对水果进行检测为例,通常需要以水果的表皮是否平整、是否有光泽以及是否具有坏点等因素作为判定条件来判定水果的等级,并以此对水果的级别进行划分。当前所采用的方法是将待测水果的单张样本图像输入至预设的网络模型进行训练,并将训练结果与表征平整、光泽、是否有坏点的一系列标准结果进行比对,以此判定待测水果的等级,但是在当前对水果进行检测的场景中,水果的表皮可能存在一些对检测造成干扰的因素,如脐橙的脐部为闭口时,脐部的外形往往为黑点,其特征与脐橙表面的坏点一致性较高,因此极容易造成网络模型的判断失误。可见,基于当前的检测方法,当待测物体上具有与检测目标外形相近的干扰对象时,极易出现对干扰对象的判定失误,进而降低检测结果的准确性。
由此可见,提供一种检测方法,以当待测物体上具有与检测目标外形相近的干扰对象时,相对避免对干扰对象的误判,进而确保检测结果的准确性,是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种检测方法、装置、设备及介质,以当待测物体上具有与检测目标外形相近的干扰对象时,相对避免对干扰对象的误判,进而确保检测结果的准确性。
为解决上述技术问题,本发明提供一种检测方法,包括:
接收待测对象的样本图像,将样本图像输入第一网络模型进行训练并生成第一特征结果;
接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入第二网络模型进行训练并生成第二特征结果;其中,其它样本图像与样本图像之间具有相重合的内容,并存在差异;
将第一特征结果与第二特征结果进行信息融合,生成综合特征结果,并通过预设算法对综合特征结果进行解析生成检测结果。
优选的,接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入第二网络模型进行训练并生成第二特征结果,包括:
接收待测对象的多个其它样本图像,一并将多个其它样本图像输入第二网络模型进行训练并生成相应的第二特征结果;其中,各其它样本图像之间互不相同,且各其它样本图像与样本图像之间具有相重合的内容,并存在差异;
相应的,将第一特征结果与各第二特征结果进行信息融合,生成综合特征结果,并通过预设算法对综合特征结果进行解析生成检测结果,包括:
将第一特征结果与各第二特征结果进行信息融合,生成综合特征结果,并通过预设算法对综合特征结果进行解析生成检测结果。
优选的,其它样本图像为基于样本图像的拍摄角度进行预设角度的调整,并对待测对象拍摄产生的。
优选的,待测对象具体为脐橙。
优选的,第一网络模型为DSOD网络模型。
优选的,预设算法具体为非极大抑制算法。
此外,本发明还提供一种检测装置,包括:
第一训练模块,用于接收待测对象的样本图像,将样本图像输入第一网络模型进行训练并生成第一特征结果;
第二训练模块,用于接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入第二网络模型进行训练并生成第二特征结果;其中,其它样本图像与样本图像之间具有相重合的内容,并存在差异;
融合检测模块,用于将第一特征结果与第二特征结果进行信息融合,生成综合特征结果,并通过预设算法对综合特征结果进行解析生成检测结果。
此外,本发明还提供一种检测设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述的检测方法的步骤。
此外,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的检测方法的步骤。
本发明所提供的检测方法,首先接收待测对象的样本图像,并将样本图像输入第一网络模型进行训练并生成第一特征结果,同时接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入至第二网络模型进行训练并生成第二特征结果,其中,其它样本图像与样本图像之间具有相重合的内容,并存在差异,进而将第一特征结果与第二特征结果进行信息融合,生成综合特征结果,进而通过预设算法对综合特征结果进行解析,生成相应的检测结果。由于本方法是在将待测对象的样本图像输入第一网络模型中进行训练以此提取样本图像的个性特征,将待测对象的其它样本图像与样本图像一并输入第二网络模型进行训练以提取样本图像与其它样本图像之间的共性特征,并将两个网络模型训练生成的特征结果进行信息融合,因此相比于现有技术中仅将待测对象单一的样本图像输入网络模型进行训练而言,本方法分别通过网络模型对待测对象的样本图像以及其它样本图像进行训练,并将训练结果进行信息融合,以此在样本图像特有的特征结果基础上进一步融入其它样本图像与样本图像共有的特征结果,能够使最终生成的综合特征结果具有更加详细的特征细节,进而当待测物体上具有与检测目标外形相近的干扰对象时,能够相对避免对干扰对象的误判,进而能够相对确保检测结果的准确性。此外,本发明还提供一种检测装置、设备及介质,有益效果同上所述。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种检测方法的流程图;
图2为本发明实施例提供的一种检测装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本发明保护范围。
本发明的核心是提供一种检测方法,以当待测物体上具有与检测目标外形相近的干扰对象时,相对避免对干扰对象的误判,进而确保检测结果的准确性。本发明的另一核心是提供一种检测装置、设备及介质。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
实施例一
图1为本发明实施例提供的一种检测方法的流程图。请参考图1,检测方法的具体步骤包括:
步骤S10:接收待测对象的样本图像,将样本图像输入第一网络模型进行训练并生成第一特征结果。
需要说明的是,本步骤接收的是待测对象的样本图像,也就是在待测对象的采样图像,在接收样本图像后将样本图像输入第一网络模型进行训练,训练的目的在于提取样本图像中所具有的特征,进而生成相应的feature map,也就是本步骤中的第一特征结果,在第一特征结果中记录有样本图像中所具有的一系列特征。
步骤S11:接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入第二网络模型进行训练并生成第二特征结果。
其中,其它样本图像与样本图像之间具有相重合的内容,并存在差异。
本步骤是接收待测对象的其它样本图像,并将其它样本图像输入至第二网络模型中进行训练,目的是提取出其它样本图像具有的一系列特征。需要说明的是,本步骤中的其它样本图像与步骤S10中的样本图像为相同待测对象的不同图像,也就是说,样本图像与其它样本图像所具有的特征是不同的,因此其它样本图像能够提供样本图像以外的特征,即本步骤中的第二特征结果,且样本图像的第一特征结果与其它样本图像的第二特征结果同属于待测对象的特征。另外,本步骤与步骤S10之间的执行顺序在此不做限定,也可同时执行,应根据实际需求而定。并且本步骤中的第一网络模型与第二网络模型是相对而言的概念,第一网络模型与第二网络模型可以为相同类型的网络模型,也可以是具有不同特性的网络模型,在此不做具体限定,但需要强调的是,第一网络模型与第二网络模型之间相互独立,且分别响应传入的样本图像以及其它样本图像并工作。
步骤S12:将第一特征结果与第二特征结果进行信息融合,生成综合特征结果,并通过预设算法对综合特征结果进行解析生成检测结果。
需要说明的是,本步骤是将第一特征结果与第二特征结果进行信息融合,本质上是将第一特征结果与第二特征结果进行汇总处理,由于信息融合操作是深度学习领域的技术人员所知的操作内容,而本步骤的重点在于,将样本图像以及其它样本图像的特征结果进行融合,因此本步骤对于信息融合的具体操作内容不进行赘述。本步骤在将第一特征结果与第二特征结果进行信息融合后,生成的综合特征结果具有相较于第一特征结果及第二特征结果各自而言更加丰富的特征内容,因此对于后续的特征解析而言,综合特征结果能够提供更多的细节特征,相对提高了检测结果的准确性。
需要说明的是,本方法中的第一特征结果、第二特征结果以及综合特征结果的本质均为特征图(feature map)。
本发明所提供的检测方法,首先接收待测对象的样本图像,并将样本图像输入第一网络模型进行训练并生成第一特征结果,同时接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入至第二网络模型进行训练并生成第二特征结果,其中,其它样本图像与样本图像之间具有相重合的内容,并存在差异,进而将第一特征结果与第二特征结果进行信息融合,生成综合特征结果,进而通过预设算法对综合特征结果进行解析,生成相应的检测结果。由于本方法是在将待测对象的样本图像输入第一网络模型中进行训练以此提取样本图像的个性特征,将待测对象的其它样本图像与样本图像一并输入第二网络模型进行训练以提取样本图像与其它样本图像之间的共性特征,并将两个网络模型训练生成的特征结果进行信息融合,因此相比于现有技术中仅将待测对象单一的样本图像输入网络模型进行训练而言,本方法分别通过网络模型对待测对象的样本图像以及其它样本图像进行训练,并将训练结果进行信息融合,以此在样本图像特有的特征结果基础上进一步融入其它样本图像与样本图像共有的特征结果,能够使最终生成的综合特征结果具有更加详细的特征细节,进而当待测物体上具有与检测目标外形相近的干扰对象时,能够相对避免对干扰对象的误判,进而能够相对确保检测结果的准确性。
实施例二
在上述实施例的基础上,本发明还提供以下一系列优选的实施方式。
作为一种优选的实施方式,接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入第二网络模型进行训练并生成第二特征结果,包括:
接收待测对象的多个其它样本图像,一并将多个其它样本图像输入第二网络模型进行训练并生成相应的第二特征结果;其中,各其它样本图像之间互不相同,且各其它样本图像与样本图像之间具有相重合的内容,并存在差异;
相应的,将第一特征结果与各第二特征结果进行信息融合,生成综合特征结果,并通过预设算法对综合特征结果进行解析生成检测结果,包括:
将第一特征结果与各第二特征结果进行信息融合,生成综合特征结果,并通过预设算法对综合特征结果进行解析生成检测结果。
需要说明的是,本实施方式的重点在于其它样本图像的数量为多个,并且各其它样本图像均与样本图像有重合的内容,也就是说,其它样本图像的数量大于1,在此基础上,各个其它样本图像之间互不相同,并且各个其它样本图像均有别于样本图像。由于在本实施方式中,各个其它样本图像均有相应的特征,因此需要通过第二网络模型一并对各个其它样本图像进行训练,以实现对各个其它样本图像的特征提取,进而在后续的信息融合时,需要在第一特征结果的基础上,融合其它的各第二特征结果。本实施方式中,将其它样本图像的数量限定为大于1的值,即对多个同属于一个待测对象且互不相同的其它样本图像进行训练,以此接收到待测对象多方面的特征,进而将多方面的特征共同融入至第一特征结果,以此进一步提高第一特征结果的丰富性,进一步提高依据综合特征结果进行检测的准确性。
在上述实施方式的基础上,作为一种优选的实施方式,其它样本图像为基于样本图像的拍摄角度进行预设角度的调整,并对待测对象拍摄产生的。
需要说明的是,本实施方式中其它样本图像是在空间中的多个拍摄角度下对待测对象进行拍摄的采样图像。用户可以基于样本图像的拍摄角度,对拍摄角度进行逐渐调整并继续拍摄生成相应的其它样本图像,以此能够接收到与样本图像所包含的内容相近的其它样本图像,进而在其它样本图像中提取的特征与在样本图像中提取的特征之间能够具有较高的相关性,但是有能够具体较高的特征互补性,以此能够更大程度的提高第一特征结果与第二特征结果融合生成的综合特征结果中,与检测相关的特征的丰富性,进而相对确保综合特征结果的高可用性。另外,本实施方式中,生成各个其它样本图像时基于样本图像的拍摄角度进行调整的预设角度互不相同,且具体取值应根据实际使用场景而定,在此不做具体限定。
在上述实施方式的基础上,作为一种优选的实施方式,待测对象具体为脐橙。
由于考虑到脐橙的脐部有开口和闭口之分。对于开口而言,由于其特征明显,很容易被深度卷积网络学习到其特征,但是对于闭口的脐部来说,由于其往往是黑点,因此这个特征与脐橙的坏点特征吻合度较高,因此通过深度学习的手段进行脐橙的检测时,如果脐橙样本图像中能够提取的特征较少,则难以区分脐橙上的黑点是否为脐部,因为造成误判的可能性较高,无法保证对脐橙的检测准确性。
本实施方式,将脐橙作为待测对象时能够通过对脐橙的样本图像以及其它样本图像分别进行训练以及融合,获悉与脐橙相关综合特征结果,其中记录有与脐橙相关的更加丰富的特征,以此能够相对提高对于脐橙的检测准确性。
在具体操作时,第一网络模型生成脐橙对应的样本图像的个性特征;第二网络模型生成脐橙的样本图像与其它样本图像之间的共性特征,也就是样本图像与其它样本图像之间的共性特征(关联特征);最终在脐橙的个性特征基础上融入额外的共性特征,以此确保综合特征结果的特征丰富性。
此外,作为一种优选的实施方式,第一网络模型为DSOD网络模型。
需要说明的是,将单一的一张样本图像送入DSOD网络框架中进行物体检测时,DSOD使用堆叠式卷积层提取浅层信息,然后利用跳跃式卷积提取样本图像中的特征,由于该跳跃式卷积采用的是卷积层每一层均与前一层的卷积相连的形式,因此卷积参数能够在相邻的卷积层之间传递,极大地提高了卷积参数的利用率,降低了重复读取卷积参数所造成的时间开销,因此通过DSOD网络模型对样本图像进行训练,能够相对提高整体的检测效率。
在上述一系列实施方式的基础上,作为一种优选的实施方式,预设算法具体为非极大抑制算法。
需要说明的是,非极大值抑制(Non-Maximum Suppression,NMS)算法的主要目的是抑制非极大值的元素,可以理解为局部的最大搜索。非极大值抑制算法主要目的是综合特征结果图像中多余(交叉重复)的检测窗口,找到最佳物体检测位置,由于非极大值抑制算法具有较高的稳定性,能够相对确保检测的整体可靠性。
实施例三
在上文中对于检测方法的实施例进行了详细的描述,本发明还提供一种与该方法对应的检测装置,由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
图2为本发明实施例提供的一种检测装置的结构图。本发明实施例提供的检测装置,包括:
第一训练模块10,用于接收待测对象的样本图像,将样本图像输入第一网络模型进行训练并生成第一特征结果。
第二训练模块11,用于接收所述待测对象的其它样本图像,将所述其它样本图像与所述样本图像一并输入第二网络模型进行训练并生成第二特征结果;其中,所述其它样本图像与样本图像之间具有相重合的内容,并存在差异。
融合检测模块12,用于将第一特征结果与第二特征结果进行信息融合,生成综合特征结果,并通过预设算法对综合特征结果进行解析生成检测结果。
本发明所提供的检测装置,首先接收待测对象的样本图像,并将样本图像输入第一网络模型进行训练并生成第一特征结果,同时接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入至第二网络模型进行训练并生成第二特征结果,其中,其它样本图像与样本图像之间具有相重合的内容,并存在差异,进而将第一特征结果与第二特征结果进行信息融合,生成综合特征结果,进而通过预设算法对综合特征结果进行解析,生成相应的检测结果。由于本装置是在将待测对象的样本图像输入第一网络模型中进行训练以此提取样本图像的个性特征,将待测对象的其它样本图像与样本图像一并输入第二网络模型进行训练以提取样本图像与其它样本图像之间的共性特征,并将两个网络模型训练生成的特征结果进行信息融合,因此相比于现有技术中仅将待测对象单一的样本图像输入网络模型进行训练而言,本装置分别通过网络模型对待测对象的样本图像以及其它样本图像进行训练,并将训练结果进行信息融合,以此在样本图像特有的特征结果基础上进一步融入其它样本图像与样本图像共有的特征结果,能够使最终生成的综合特征结果具有更加详细的特征细节,进而当待测物体上具有与检测目标外形相近的干扰对象时,能够相对避免对干扰对象的误判,进而能够相对确保检测结果的准确性。
实施例四
本发明还提供一种检测设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述的检测方法的步骤。
本发明所提供的检测设备,首先接收待测对象的样本图像,并将样本图像输入第一网络模型进行训练并生成第一特征结果,同时接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入至第二网络模型进行训练并生成第二特征结果,其中,其它样本图像与样本图像之间具有相重合的内容,并存在差异,进而将第一特征结果与第二特征结果进行信息融合,生成综合特征结果,进而通过预设算法对综合特征结果进行解析,生成相应的检测结果。由于本设备是在将待测对象的样本图像输入第一网络模型中进行训练以此提取样本图像的个性特征,将待测对象的其它样本图像与样本图像一并输入第二网络模型进行训练以提取样本图像与其它样本图像之间的共性特征,并将两个网络模型训练生成的特征结果进行信息融合,因此相比于现有技术中仅将待测对象单一的样本图像输入网络模型进行训练而言,本设备分别通过网络模型对待测对象的样本图像以及其它样本图像进行训练,并将训练结果进行信息融合,以此在样本图像特有的特征结果基础上进一步融入其它样本图像与样本图像共有的特征结果,能够使最终生成的综合特征结果具有更加详细的特征细节,进而当待测物体上具有与检测目标外形相近的干扰对象时,能够相对避免对干扰对象的误判,进而能够相对确保检测结果的准确性。
此外,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的检测方法的步骤。
本发明所提供的计算机可读存储介质,执行时首先接收待测对象的样本图像,并将样本图像输入第一网络模型进行训练并生成第一特征结果,同时接收待测对象的其它样本图像,将其它样本图像与样本图像一并输入至第二网络模型进行训练并生成第二特征结果,其中,其它样本图像与样本图像之间具有相重合的内容,并存在差异,进而将第一特征结果与第二特征结果进行信息融合,生成综合特征结果,进而通过预设算法对综合特征结果进行解析,生成相应的检测结果。由于本计算机可读存储介质是在将待测对象的样本图像输入第一网络模型中进行训练以此提取样本图像的个性特征,将待测对象的其它样本图像与样本图像一并输入第二网络模型进行训练以提取样本图像与其它样本图像之间的共性特征,并将两个网络模型训练生成的特征结果进行信息融合,因此相比于现有技术中仅将待测对象单一的样本图像输入网络模型进行训练而言,本计算机可读存储介质分别通过网络模型对待测对象的样本图像以及其它样本图像进行训练,并将训练结果进行信息融合,以此在样本图像特有的特征结果基础上进一步融入其它样本图像与样本图像共有的特征结果,能够使最终生成的综合特征结果具有更加详细的特征细节,进而当待测物体上具有与检测目标外形相近的干扰对象时,能够相对避免对干扰对象的误判,进而能够相对确保检测结果的准确性。
以上对本发明所提供的一种检测方法、装置、设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。