CN113706614A - 一种小目标检测方法、装置、存储介质和电子设备 - Google Patents
一种小目标检测方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN113706614A CN113706614A CN202110994690.7A CN202110994690A CN113706614A CN 113706614 A CN113706614 A CN 113706614A CN 202110994690 A CN202110994690 A CN 202110994690A CN 113706614 A CN113706614 A CN 113706614A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- small
- target image
- background suppression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种小目标检测方法、装置、存储介质和电子设备,该小目标检测方法包括:获取目标图像和目标图像对应的背景抑制图;其中,背景抑制图是通过对目标图像进行图像预处理后获得的;将目标图像和背景抑制图输入到预先训练好的小目标检测模型中,以获得目标图像中待检测小目标的位置信息;其中,待检测小目标是指包含的像素个数小于等于预设像素个数的目标。借助于上述技术方案,本申请实施例能够更好地定位能够移动的小目标。
Description
技术领域
本申请涉及目标检测技术领域,尤其涉及一种小目标检测方法、装置、存储介质和电子设备。
背景技术
在移动的小目标检测任务中,待检测的小目标在视场中移动。但是,由于待检测小目标比较小,其容易被背景像素淹没或者干扰,故其对目标检测算法要求是比较高的。
目前,现有的小目标检测方法是使用传统特征G-sift和卷积神经网络(Convolutional Neural Network,CNN)对图像进行特征提取,然后进行特征匹配,图像变换得到图像配准后的两张图像,然后根据两张图像的差值,根据差值图中的移动目标得到感兴趣区域,对原图进行掩码操作(或者,mask操作)保留感兴趣区域的像素,把背景区域像素设为0,然后通过一个单输入的yolov3目标检测网络检测目标的位置。
在实现本发明的过程中,发明人发现现有技术存在如下问题:现有的小目标检测方法可能会导致检测失败。
发明内容
本申请实施例的目的在于提供一种小目标检测方法、装置、存储介质和电子设备,以解决现有技术中存在着的小目标检测性能不高的问题。
第一方面,本申请实施例提供了一种小目标检测方法,该小目标检测方法包括:获取目标图像和目标图像对应的背景抑制图;其中,背景抑制图是通过对目标图像进行图像预处理后获得的;将目标图像和背景抑制图输入到预先训练好的小目标检测模型中,以获得目标图像中待检测小目标的位置信息;其中,待检测小目标是指包含的像素个数小于等于预设像素个数的目标。
因此,本申请实施例通过把目标图像和背景抑制图一起输入到小目标检测模型中,使其充分结合背景抑制图中包含的移动的待检测小目标的信息,从而使得目标检测算法能够更好地定位移动小目标。同时,由于本申请并未对即目标图像的信息进行破坏,所以,即便是出现图像配准不准确的情况,也不会对目标检测的性能造成负面影响。
在一个可能的实施例中,小目标检测模型包括第一特征提取层、第二特征提取层和特征叠加层,第一特征提取层用于提取目标图像的特征,第二特征提取层用于提取背景抑制图的特征,特征叠加层用于对目标图像的特征和背景抑制图的特征进行叠加处理,以获得用于确定待检测小目标的位置信息的叠加特征。
因此,本申请实施例通过上述小目标检测模型的模型结构,其可提升对目标图像的检测性能。
在一个可能的实施例中,背景抑制图的获取过程包括:获取参考图像;其中,参考图像为位于目标图像之前的图像且与目标图像相隔预设帧数;对参考图像和目标图像进行图像配准,以获得背景抑制图。
在一个可能的实施例中,参考图像和目标图像为相邻的两帧图像。
第二方面,本申请实施例提供了一种小目标检测装置,该小目标检测装置包括:获取模块,用于获取目标图像和目标图像对应的背景抑制图;其中,背景抑制图是通过对目标图像进行图像预处理后获得的;输入模块,用于将目标图像和背景抑制图输入到预先训练好的小目标检测模型中,以获得目标图像中待检测小目标的位置信息;其中,待检测小目标是指包含的像素个数小于等于预设像素个数的目标。
在一个可能的实施例中,小目标检测模型包括第一特征提取层、第二特征提取层和特征叠加层,第一特征提取层用于提取目标图像的特征,第二特征提取层用于提取背景抑制图的特征,特征叠加层用于对目标图像的特征和背景抑制图的特征进行叠加处理,以获得用于确定待检测小目标的位置信息的叠加特征。
在一个可能的实施例中,获取模块,还用于获取参考图像;其中,参考图像为位于目标图像之前的图像且与目标图像相隔预设帧数;图像配准模块,用于对参考图像和目标图像进行图像配准,以获得背景抑制图。
在一个可能的实施例中,参考图像和目标图像为相邻的两帧图像。
第三方面,本申请实施例提供了一种存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器运行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
第四方面,本申请实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
第五方面,本申请提供一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行第一方面或第一方面的任意可能的实现方式中的方法。
为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供了一种小目标检测方法的流程图;
图2示出了本申请实施例提供的一种目标图像的示意图;
图3示出了本申请实施例提供的一种参考图像的示意图;
图4示出了本申请实施例提供的一种参考图像配准后的图像的示意图;
图5示出了本申请实施例提供的一种背景抑制图的示意图;
图6示出了本申请实施例提供的一种小目标检测模型的结构示意图;
图7示出了本申请实施例提供的一种初始小目标检测模型的训练示意图;
图8示出了本申请实施例提供的一种小目标检测装置的结构框图;
图9示出了本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
对于现有的小目标检测方法来说,其使用的目标检测算法是单输入的,以及对原图进行掩码操作后的图像进行目标检测。在进行掩码操作后,原图中感兴趣区域以外的区域的像素被置为0,这样会导致图片信息的丢失,而且由于图像配准模块的不稳定性的存在,感兴趣区域如果出现不精准的情况,会导致小目标所在的区域错误地被置为0,进而导致检测失败。
此外,在移动的小目标检测任务中,待检测的小目标在视场中移动。但是,由于待检测小目标比较小,其容易被背景像素淹没或者干扰,故其对目标检测算法要求是比较高的。如果能通过图像配准技术,对齐目标图像和参考图像的背景像素,并进行差值计算,即可抑制目标图像中的背景像素,从而可把所有移动目标的信息提取出来,使得这个背景抑制图中的信息可以被进一步利用起来,以提高小目标的检测性能。
以及,为了把包含移动目标信息的背景抑制图利用起来,本申请实施例还可设计一个小目标检测模型,该小目标检测模型可以把目标图像的背景抑制图和目标图像一并输入到小目标检测模型中,以便直接对两张图像中的信息进行识别,以提高对移动小目标的检测性能。
基于此,本申请实施例巧妙地提出了一种小目标检测方法,通过图像对准技术对齐参考图像和目标图像中的背景像素,以获得背景抑制图。在图像配准的基础上,通过把目标图像和背景抑制图一起输入到小目标检测模型中,使其充分结合背景抑制图中包含的移动的待检测小目标的信息,从而使得目标检测算法能够更好地定位移动小目标。同时,由于本申请并未对原图(即目标图像)的信息进行破坏,所以,即便是出现图像配准不准确的情况,也不会对目标检测的性能造成负面影响。
请参见图1,图1示出了本申请实施例提供了一种小目标检测方法的流程图。如图1所示的小目标检测方法可以由小目标检测装置执行,并且该小目标检测装置可以为如图8所示的小目标检测装置,以及该小目标检测装置可以根据实际需求来进行设置。例如,其可以是计算机或者服务器等。该小目标检测方法包括:
步骤S110,获取参考图像和目标图像。其中,参考图像为位于目标图像之前的图像且与目标图像相隔预设帧数。
应理解,预设帧数的具体帧数可根据实际需求来进行设置,本申请实施例并不局限于此。
例如,预设帧数可以是1帧,也可以是2帧,也可以是3帧等。
对应地,参考图像和目标图像也可以根据实际需求来进行设置,本申请实施例并不局限于此。
例如,目标图像可以是当前帧图像,参考图像可以是当前帧的上一帧图像,即参考图像和目标图像可以为相邻的两帧图像。
再例如,目标图像可以是第m帧图像,参考图像可以是第m-n帧图像。其中,m是大于等于2的正整数,n是指预设帧数,且n为大于等于1的正整数。
步骤S120,对参考图像和目标图像进行图像配准,以获得背景抑制图。
应理解,图像配准是将不同时间、不同传感器或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。
为了便于理解本申请实施例,下面通过具体地实施例来进行描述。
具体地,通过图像配准技术,可获得目标图像(例如,图2示出了本申请实施例提供的一种目标图像的示意图)和参考图像(例如,图3示出了本申请实施例提供的一种参考图像的示意图)之间图像变换所需要的单应性矩阵H,并且该单应性矩阵H可表示参考图像和目标图像的对应关系。其中,该单应性矩阵H如下:
在得到单应性矩阵H之后,对参考图像的像素坐标(x,y)用单应性矩阵H进行变换即可得到变换后像素的坐标(x',y')。具体地:
进而可得到参考图像配准后的图像(例如,图4示出了本申请实施例提供的一种参考图像配准后的图像的示意图),然后可使用参考图像和图像配准后的图像进行图像差值计算,从而可将移动目标凸显出来,即可获得目标图像对应的背景抑制图(例如,图5示出了本申请实施例提供的一种背景抑制图的示意图),即参考图像和目标图像配准后的图像的差值。其中,该背景抑制图是通过对目标图像进行图像预处理(例如,图像配准等)后获得的。
因此,在移动小目标的检测任务中,小目标包含的像素特别少,就算用肉眼观察单帧图像,都很难发现图像(如图2)中的小目标,但是如果结合连续多帧图像(例如,图2和图3)一起,人眼可以轻松地捕捉到图片中运动的物体,从而本申请实施例可利用连续帧中物体是移动的潜在信息去辅助目标检测模块对小目标的定位,但是实际中,连续几帧图片序列中摄像机的视角可能发生了变化,如果直接利用连续两帧图片的差值,找到移动物体并不可行,所以需要首先对两张图做图像配准,对齐背景像素,然后再做差值可以得到背景抑制图。
步骤S130,将目标图像和背景抑制图输入到预先训练好的小目标检测模型中,以获得目标图像中待检测小目标的位置信息;其中,待检测小目标是指包含的像素个数小于等于预设像素个数的目标。
应理解,预设像素个数的具体个数可根据实际需求来进行设置,本申请实施例并不局限于此。
例如,预设像素个数可以为36,即目标图像中小目标所包含的像素个数小于等于36。
虽然上面是以像素个数为例来进行说明的,但本领域的技术人员应当理解,该小目标还可以是占目标图像的预设比例的目标,本申请实施例并不局限于此。
例如,该小目标包含的像素的总面积可以小于等于目标图像所有像素的总面积的1.6%。
还应理解,该小目标检测模型的具体模型结构可根据实际需求来进行设置,本申请实施例并不局限于此。
例如,请参见图6,图6示出了本申请实施例提供的一种小目标检测模型的结构示意图。如图6所示的小目标检测模型可包括并列设置的第一特征提取层和第二特征提取层,随后特征叠加层可分别与第一特征提取层和第二特征提取层连接,随后中间处理层可与特征叠加层连接,随后检测层可与中间处理层连接。其中,该第一特征提取层可用于提取目标图像的特征(也可称为原图特征);该第二特征提取层可用于提取背景抑制图的特征(即背景抑制图特征);该特征叠加层可用于对目标图像的特征和背景抑制图的特征进行叠加处理,以获得用于确定待检测小目标的位置信息的叠加特征;该中间处理层和检测层可用于根据叠加特征,确定待检测小目标的位置信息。
还应理解,小目标的位置信息可以是通过用于框选目标图像中小目标的定位框来表示。
还应理解,小目标检测模型中每一层的具体结构或者具体网络等均可根据实际需求来进行设置,本申请实施例并不局限于此。
例如,第一特征提取层、第二特征提取层、中间处理层和检测层均可以为卷积神经网络。
还应理解,小目标检测模型的具体模型及其训练过程等也均可根据实际需求来进行设置,本申请实施例并不局限于此。
可选地,小目标检测模型可以是双输入的孪生目标检测神经网络(或者孪生网络)。
可选地,由于本申请实施例的小目标检测模型是双输入的,其输入和常规结构相比增加了背景抑制图的额外输入,因此该小目标检测模型的训练流程也需要加入背景抑制图作为额外的训练数据。
请参见图7,图7示出了本申请实施例提供的一种初始小目标检测模型的训练示意图。如图7所示,可获取训练集。其中,该训练集可包括样本训练图、通过对样本训练图进行图像配准处理和背景抑制处理后获得的样本背景抑制图、样本训练图中小目标的实际定位框信息和样本背景抑制图中小目标的实际定位框信息。随后,可利用训练集训练初始小目标检测模型,以获得样本训练图中小目标的预测定位信息(例如,预测定位框)。随后,可基于预测定位框和实际定位框信息,生成损失函数。随后,可利用损失函数对初始小目标检测模型进行训练,以获得训练好的小目标检测模型。
应理解,初始小目标检测模型也可称为未训练的小目标检测模型。
这里需要说明的是,虽然图7示出了初始小目标检测模型的训练过程,但本领域的技术人员应当理解,在小目标检测模型为训练好的模型的情况下,可直接使用训练好的模型进行小目标的检测,无需再执行图7所示的过程。
为了便于理解本申请实施例,下面通过具体实施例来进行描述。
具体地,可通过第一特征提取层提取目标图像中的特征信息,以及可通过第二特征提取层提取背景抑制图中的特征信息,随后可通过特征叠加层把目标图像中的特征信息和背景抑制图中的特征信息在通道方向上叠加起来,以获得一个整体特征(或者叠加特征),随后可将叠加特征输入到中间处理层,最后检测层可基于中间处理层的输出获得目标图像中小目标的定位框。
因此,本申请实施例可通过使用图像配准技术提取目标图像和参考图像中的移动小目标的信息,从而可抑制背景像素,然后可使用包含移动小目标信息的背景抑制图和目标图像一起输入到训练好的小目标检测模型中,从而该可训练好的小目标检测模型能够提取背景抑制图中的移动小目标的信息,可辅助小目标检测模型对目标图像中移动小目标进行定位,进而可提升对移动小目标的检测效果。
此外,在对目标图像和参考图像(例如,连续的两帧图像)进行图像配准和背景抑制后,去除了背景像素的干扰,移动小目标作为一个移动物体,在背景抑制图中显得十分明显,这个背景抑制图中的特征信息输入到小目标检测模型中,对移动小目标的定位辅助作用十分巨大。因为训练好的该小目标检测模型可以是端到端的双输入的孪生网络,使得能够有效提取并充分利用背景抑制图中含有的移动物体的特征信息。而且,因为没有采取掩码操作的方式对目标图像进行像素修改,原图信息不会减少,所以可以大程度的排除图像配准的稳定性和精度给目标检测的效果造成的负面影响,因此可大幅度提升目标检测模块对于移动小目标的检测性能。
应理解,上述小目标检测方法仅是示例性的,本领域技术人员根据上述的方法可以进行各种变形,修改或变形之后的内容也在本申请保护范围内。
例如,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
请参见图8,图8示出了本申请实施例提供的一种小目标检测装置800的结构框图。应理解,该小目标检测装置800与上述方法实施例对应,能够执行上述方法实施例涉及的各个步骤,该小目标检测装置800具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。该小目标检测装置800包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在小目标检测装置800的操作系统(operating system,OS)中的软件功能模块。具体地,该小目标检测装置800包括:
获取模块810,用于获取目标图像和目标图像对应的背景抑制图;其中,背景抑制图是通过对目标图像进行图像预处理后获得的;
输入模块820,用于将目标图像和背景抑制图输入到预先训练好的小目标检测模型中,以获得目标图像中待检测小目标的位置信息;其中,待检测小目标是指包含的像素个数小于等于预设像素个数的目标。
在一个可能的实施例中,小目标检测模型包括第一特征提取层、第二特征提取层和特征叠加层,第一特征提取层用于提取目标图像的特征,第二特征提取层用于提取背景抑制图的特征,特征叠加层用于对目标图像的特征和背景抑制图的特征进行叠加处理,以获得用于确定待检测小目标的位置信息的叠加特征。
在一个可能的实施例中,获取模块810,还用于获取参考图像;其中,参考图像为位于目标图像之前的图像且与目标图像相隔预设帧数;
图像配准模块(未示出),用于对参考图像和目标图像进行图像配准,以获得背景抑制图。
在一个可能的实施例中,参考图像和目标图像为相邻的两帧图像。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
请参见图9,图9示出了本申请实施例提供的一种电子设备900的结构框图。如图9所示。电子设备900可以包括处理器910、通信接口920、存储器930和至少一个通信总线940。其中,通信总线940用于实现这些组件直接的连接通信。其中,本申请实施例中的通信接口920用于与其他设备进行信令或数据的通信。处理器910可以是一种集成电路芯片,具有信号的处理能力。上述的处理器910可以是通用处理器,包括中央处理器(CentralProcessing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器910也可以是任何常规的处理器等。
存储器930可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。存储器930中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器910执行时,电子设备900可以执行上述方法实施例涉及的各个步骤。
电子设备900还可以包括存储控制器、输入输出单元、音频单元、显示单元。
所述存储器930、存储控制器、处理器910、外设接口、输入输出单元、音频单元、显示单元各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通信总线940实现电性连接。所述处理器910用于执行存储器930中存储的可执行模块。并且,电子设备900用于执行下述方法:获取目标图像和所述目标图像对应的背景抑制图;其中,所述背景抑制图是通过对所述目标图像进行图像预处理后获得的;将所述目标图像和所述背景抑制图输入到预先训练好的小目标检测模型中,以获得所述目标图像中待检测小目标的位置信息;其中,所述待检测小目标是指包含的像素个数小于等于预设像素个数的目标。
输入输出单元用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元可以是,但不限于,鼠标和键盘等。
音频单元向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元在所述电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器进行计算和处理。
可以理解,图9所示的结构仅为示意,所述电子设备900还可包括比图9中所示更多或者更少的组件,或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件、软件或其组合实现。
本申请还提供一种存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器运行时执行方法实施例所述的方法。
本申请还提供一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行方法实施例所述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种小目标检测方法,其特征在于,包括:
获取目标图像和所述目标图像对应的背景抑制图;其中,所述背景抑制图是通过对所述目标图像进行图像预处理后获得的;
将所述目标图像和所述背景抑制图输入到预先训练好的小目标检测模型中,以获得所述目标图像中待检测小目标的位置信息;其中,所述待检测小目标是指包含的像素个数小于等于预设像素个数的目标。
2.根据权利要求1所述的小目标检测方法,其特征在于,所述小目标检测模型包括第一特征提取层、第二特征提取层和特征叠加层,所述第一特征提取层用于提取所述目标图像的特征,所述第二特征提取层用于提取所述背景抑制图的特征,所述特征叠加层用于对所述目标图像的特征和所述背景抑制图的特征进行叠加处理,以获得用于确定所述待检测小目标的位置信息的叠加特征。
3.根据权利要求1或2所述的小目标检测方法,其特征在于,所述背景抑制图的获取过程包括:
获取参考图像;其中,所述参考图像为位于所述目标图像之前的图像且与所述目标图像相隔预设帧数;
对所述参考图像和所述目标图像进行图像配准,以获得所述背景抑制图。
4.根据权利要求3所述的小目标检测方法,其特征在于,所述参考图像和所述目标图像为相邻的两帧图像。
5.一种小目标检测装置,其特征在于,包括:
获取模块,用于获取目标图像和所述目标图像对应的背景抑制图;其中,所述背景抑制图是通过对所述目标图像进行图像预处理后获得的;
输入模块,用于将所述目标图像和所述背景抑制图输入到预先训练好的小目标检测模型中,以获得所述目标图像中待检测小目标的位置信息;其中,所述待检测小目标是指包含的像素个数小于等于预设像素个数的目标。
6.根据权利要求5所述的小目标检测装置,其特征在于,所述小目标检测模型包括第一特征提取层、第二特征提取层和特征叠加层,所述第一特征提取层用于提取所述目标图像的特征,所述第二特征提取层用于提取所述背景抑制图的特征,所述特征叠加层用于对所述目标图像的特征和所述背景抑制图的特征进行叠加处理,以获得用于确定所述待检测小目标的位置信息的叠加特征。
7.根据权利要求5或6所述的小目标检测装置,其特征在于,所述获取模块,还用于获取参考图像;其中,所述参考图像为位于所述目标图像之前的图像且与所述目标图像相隔预设帧数;
图像配准模块,用于对所述参考图像和所述目标图像进行图像配准,以获得所述背景抑制图。
8.根据权利要求7所述的小目标检测装置,其特征在于,所述参考图像和所述目标图像为相邻的两帧图像。
9.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执如权利要求1-4任一项所述的小目标检测方法。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1-4任一项所述的小目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110994690.7A CN113706614A (zh) | 2021-08-27 | 2021-08-27 | 一种小目标检测方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110994690.7A CN113706614A (zh) | 2021-08-27 | 2021-08-27 | 一种小目标检测方法、装置、存储介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113706614A true CN113706614A (zh) | 2021-11-26 |
Family
ID=78655870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110994690.7A Pending CN113706614A (zh) | 2021-08-27 | 2021-08-27 | 一种小目标检测方法、装置、存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706614A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092777A (zh) * | 2021-11-29 | 2022-02-25 | 广州辰创科技发展有限公司 | 一种基于小目标的高效识别方法及系统 |
CN115984780A (zh) * | 2023-02-23 | 2023-04-18 | 合肥英特灵达信息技术有限公司 | 工业固体废物出入库判别方法、装置、电子设备及介质 |
-
2021
- 2021-08-27 CN CN202110994690.7A patent/CN113706614A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092777A (zh) * | 2021-11-29 | 2022-02-25 | 广州辰创科技发展有限公司 | 一种基于小目标的高效识别方法及系统 |
CN114092777B (zh) * | 2021-11-29 | 2024-04-12 | 广州辰创科技发展有限公司 | 一种基于小目标的高效识别方法及系统 |
CN115984780A (zh) * | 2023-02-23 | 2023-04-18 | 合肥英特灵达信息技术有限公司 | 工业固体废物出入库判别方法、装置、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102170689B1 (ko) | 영상 정합을 위한 특징점 샘플링 방법 | |
CN113706614A (zh) | 一种小目标检测方法、装置、存储介质和电子设备 | |
US8983131B2 (en) | Video analysis | |
US9256792B2 (en) | Image processing apparatus, image processing method, and program | |
CA2656425A1 (en) | Recognizing text in images | |
TW200929005A (en) | Human face detection and tracking method | |
US10397472B2 (en) | Automatic detection of panoramic gestures | |
US10600189B1 (en) | Optical flow techniques for event cameras | |
CN110378328B (zh) | 一种证件图像处理方法及装置 | |
CN110796664B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
EP3416099A1 (en) | Image processing apparatus, image processing method, and a program | |
CN111783665A (zh) | 一种动作识别方法、装置、存储介质和电子设备 | |
US10585573B2 (en) | Method and system for zooming-in picture on mobile terminal | |
CN111310605A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
WO2017148282A1 (zh) | 文本检测方法和设备 | |
JP6811965B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN114267076B (zh) | 一种图像识别方法、装置、设备及存储介质 | |
Wang et al. | Segmenting, removing and ranking partial blur | |
JP6939065B2 (ja) | 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法 | |
EP3543903B1 (en) | Image processing apparatus and method, and storage medium storing instruction | |
US10901726B2 (en) | Intelligent visual regression system | |
JPWO2023042337A5 (zh) | ||
CN112232282A (zh) | 一种手势识别方法、装置、存储介质和电子设备 | |
JP2021177435A5 (ja) | 読取システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |