CN117726904A - 一种样本数据生成方法、目标检测方法及设备 - Google Patents
一种样本数据生成方法、目标检测方法及设备 Download PDFInfo
- Publication number
- CN117726904A CN117726904A CN202311790221.9A CN202311790221A CN117726904A CN 117726904 A CN117726904 A CN 117726904A CN 202311790221 A CN202311790221 A CN 202311790221A CN 117726904 A CN117726904 A CN 117726904A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- sample image
- target detection
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000002452 interceptive effect Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种样本数据生成方法、目标检测方法及设备,涉及图像处理技术领域。所述样本数据生成方法包括:获取干扰源图像和原始样本图像;基于所述干扰源图像提取包含干扰物的前景图像,基于所述前景图像和所述原始样本图像合成第一样本图像;基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像;基于所述第一样本图像和所述第二样本图像得到用于目标检测的样本数据。本申请的样本数据生成方法可用于获得具有多样性的样本数据,基于具有多样性的样本数据完成目标检测模型的训练,进而提高应用该目标检测模型进行目标检测的准确性。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种样本数据生成方法、目标检测方法及设备。
背景技术
当前,使用深度学习方法的机器视觉技术在各个领域被广泛应用,在基于机器视觉的目标检测领域,只要采集足够多的正样本数据和负样本数据,选取合适的深度学习模型,训练之后就可以得到一个效果良好的目标检测模型。因此,样本数据对于提升目标检测模型的检测准确率具有重要价值。
但是随着目标检测场景中干扰物呈现的多样性的复杂变化,对于符合干扰场景的疑难样本的大量采集将花费很高的成本,为此现有技术的做法一般是基于非干扰场景的正样本通过人工进行图像编辑操作获得负样本,再利用这些制造出的样本对目标检测模型进行有针对性的训练。这种方式由于图像编辑技术操作空间有限,且需要依赖于人工,无法生成大量的具有多样性的负样本,以及由于生成的负样本和实际场景的负样本之间相差还是很大,因此仍然不能有效解决对于干扰物的误检问题以及有效提升目标检测准确性。
发明内容
为了克服上述缺陷,本申请提出的样本数据生成方法、目标检测方法及设备,可以解决特定场景下干扰物引起的误检问题以及有效提升目标检测准确性。
在第一方面,本申请提供一种样本数据生成方法,包括:
获取干扰源图像和原始样本图像;
基于所述干扰源图像提取包含干扰物的前景图像,基于所述前景图像和所述原始样本图像合成第一样本图像;
基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像;
基于所述第一样本图像和所述第二样本图像得到用于目标检测的样本数据。
一种优选方式中,所述基于所述干扰源图像提取包含干扰物的前景图像,基于所述前景图像和所述原始样本图像合成第一样本图像具体包括:对所述干扰源图像进行前景目标分割以获取干扰物掩膜图像;以所述原始样本图像为背景图像,将所述干扰物掩膜图像和所述背景图像进行融合处理以合成得到所述第一样本图像。
进一步地,所述将所述干扰物掩膜图像和所述背景图像进行融合处理以合成得到所述第一样本图像具体为:将所述背景图像中不存在检测目标的区域确定为贴图区域,将所述干扰物掩膜图像贴图至所述背景图像中的所述贴图区域以合成得到所述第一样本图像。
进一步地,所述合成得到所述第一样本图像之前还包括:对所述融合处理后的图像进行和谐化处理以输出得到所述第一样本图像。
一种优选方式中,所述包含干扰物特征的信息具体为干扰物描述文本,所述包含干扰物生成位置的信息具体为生成位置描述文本;所述图像生成模型的输入包括文本输入和图片输入;
所述基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像具体为:将所述原始样本图像作为图片输入,将所述干扰物描述文本和所述生成位置描述文本作为文本输入,利用所述图像生成模型生成所述第二样本图像。
一种优选方式中,所述包含干扰物特征的信息具体为所述包含干扰物的前景图像,所述包含干扰物生成位置的信息具体为生成位置描述文本;所述图像生成模型的输入包括文本输入和图片输入;
所述基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像具体为:将所述原始样本图像和所述包含干扰物的前景图像作为图片输入,将所述生成位置描述文本作为文本输入,利用所述图像生成模型生成所述第二样本图像。
一种优选方式中,所述获取干扰源图像具体为:从网络数据中获取包含干扰物的干扰源图像。
在第二方面,本申请提供一种目标检测方法,所述方法包括:
获取待检测图像;
将所述待检测图像输入预先训练的目标检测模型,通过所述目标检测模型输出得到目标检测结果;
所述目标检测模型是利用上述的样本数据生成方法生成的样本数据训练得到。
在第三方面,本申请提供一种智能设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器中存储有计算机程序,所述计算机程序被所述至少一个处理器执行时实现上述目标检测方法。
在第四方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述样本数据生成方法或目标检测方法的技术方案中任一项技术方案所述的方法。
本申请上述一个或多个技术方案,至少具有如下一种或多种有益效果:在实施本申请的技术方案提供的样本数据生成方法中,基于包含干扰物的前景图像和原始样本图像合成第一样本图像,基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像;以及基于所述第一样本图像和所述第二样本图像得到用于目标检测的样本数据,通过同时结合了图像合成和图像生成两种方式来获得具有多样性的样本数据,以此来应对由于干扰物的多样性引起的误检问题,基于具有多样性的样本数据完成目标检测模型的训练,进而提高应用该目标检测模型进行目标检测的准确性。
附图说明
参照附图,本申请的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本申请的保护范围组成限制。此外,图中类似的数字用以表示类似的部件,其中:
图1是本申请实施例的一种可以产生多样性的负样本数据的样本数据生成方法原理示意图;
图2是本申请实施例的一种样本数据生成方法的主要步骤流程示意图;
图3是本申请实施例的一种应用于智能座舱目标检测的样本数据生成方法的流程图;
图4是本申请实施例的基于玩偶图像和座舱图像通过图像合成方式得到合成图像的效果示意图;
图5是本申请实施例的基于玩偶图像和座舱图像通过图像生成方式得到生成图像的效果示意图。
图6是本申请实施例的一种样本数据生成装置的组成结构框图。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本申请的技术原理,并非旨在限制本申请的保护范围。
在本申请的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在视觉检测任务中,由于特定场景中出现的易于和目标物混淆的干扰物会导致目标检测模型的检测准确性大大降低,为此,如果能获取大量干扰场景图片作为负样本数据,利用这些负样本数据对目标检测模型进行训练,可以达到提高模型的检测准确率的效果。但是实际应用中,应用场景中的干扰物是呈多样性变化的,为此,为了能获取多样性的负样本数据,本申请提供了一种可以产生多样性的负样本数据的样本数据生成方法,该方法的原理如图1所示,基于干扰源图像和原始样本图像(比如采集的应用场景背景图像),通过图像合成方式和图像生成方式产生具有多样性的负样本数据,基于由此产生的具有多样性的负样本数据进行目标检测模型的训练,可以有效提高目标检测准确性。
如图2所示为本申请一个实施例提供的一种样本数据生成方法,该方法主要包括以下步骤:
步骤S11:获取干扰源图像和原始样本图像;
本实施例中具体的,针对实际应用场景中出现的具有多样性的干扰源,网络数据中可以获取到大量的各式各样的干扰源图像,因此获取干扰源图像的一种优选实施方式为,包括但不限于通过爬虫方式从网络数据中获取包含干扰物的干扰源图像。
所述获取原始样本图像具体为通过传感器等图像采集装置采集的实际应用场景图像,例如,通过红外摄像头采集的智能座舱图像。
步骤S12:基于所述干扰源图像提取包含干扰物的前景图像,基于所述前景图像和所述原始样本图像合成第一样本图像;
本实施例中具体的,本步骤主要包括以下步骤S121和步骤S122:
步骤S121:对所述干扰源图像进行前景目标分割以获取干扰物掩膜图像。
本实施例中具体的,基于现有的目标分割算法比如训练好的大语言分割模型对所述干扰源图像进行前景目标分割以获取干扰物掩膜(mask)图像。优选地,大语言分割模型具体可采用GroundSAM模型。
步骤S122:以所述原始样本图像为背景图像,将所述干扰物掩膜图像和所述背景图像进行融合处理以合成得到所述第一样本图像。
本实施例中具体的,以所述原始样本图像为背景图像,将所述背景图像中不存在检测目标的区域确定为贴图区域,将所述干扰物掩膜图像贴图至所述背景图像中的所述贴图区域以合成得到所述第一样本图像。例如,在一种驾驶室内人员检测的应用场景中,检测目标为人,干扰物为车内玩偶等装饰物。
优选地,可以使用图像处理工具包(比如OpenCV)来实现将所述干扰物掩膜图像贴图至所述背景图像中的所述贴图区域以合成得到所述第一样本图像。
进一步的,对于前景与背景风格不一致问题,通过进行图像和谐化处理可使得以前景风格与背景保持一致,相应的上述在合成得到所述第一样本图像之前还可以包括:对融合处理后的图像进行和谐化处理以得到所述第一样本图像。
优选地,可以利用现有的图像和谐化模型来实现对图像进行的和谐化处理。
步骤S13:基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像;
本实施例中的图像生成模型可以是采用现有技术中的用于生成图片的神经网络模型结构及模型训练方法获得,例如,基于样本训练集对预训练的神经网络模型进行训练获得训练好的图像生成模型。本实施例不涉及对神经网络模型的改进,其主要通过对模型输入进行设计来得到模型输出的图片,进而得到第二样本图像,具体的,本实施例中的图像生成模型的输入可以至少包括文本输入和/或图片输入;例如,所述图像生成模型可以采用现有技术中的稳定扩散模型(Stable Diffusion),或是结合了控制网络(ControlNet)的扩散模型。
本实施例中利用训练好的图像生成模型生成第二样本图像的方式包括但不限于以下两种优选实施方式:
其一,所述包含干扰物特征的信息和所述包含干扰物生成位置的信息均为可以自定义的文本内容,比如:所述包含干扰物特征的信息具体为干扰物描述文本,所述包含干扰物生成位置的信息具体为生成位置描述文本;
所述基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像具体为:将所述原始样本图像作为图片输入,将所述干扰物描述文本和所述生成位置描述文本作为文本输入,利用所述图像生成模型生成所述第二样本图像。
其二,所述包含干扰物特征的信息具体为所述包含干扰物的前景图像,所述包含干扰物生成位置的信息具体为生成位置描述文本;所述图像生成模型的输入包括文本输入和图片输入;
所述基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像具体为:将所述原始样本图像和所述包含干扰物的前景图像作为图片输入,将所述生成位置描述文本作为文本输入,利用所述图像生成模型生成所述第二样本图像。
可以理解的是,也可以将所述原始样本图像用自定义的文本内容来描述,相应的,本步骤还可以设计为:将原始样本图像描述文本、干扰物描述文本和生成位置描述文本作为图像生成模型的文本输入,利用图像生成模型输出得到第二样本图像。
步骤S14:基于所述第一样本图像和所述第二样本图像得到用于目标检测的样本数据。
可选地,目标检测一般通过目标检测模型来实现,本步骤中所述用于目标检测的样本数据具体是指用于训练目标检测模型的样本数据,所述样本数据一般包括正样本数据和负样本数据。例如,在一种驾驶室内人员检测的应用场景中,检测目标为人,干扰物为车内玩偶等装饰物,正样本数据为包含检测目标的图像,负样本数据为仅包含干扰物的图像或同时包含检测目标和干扰物的图像。
本步骤的一种实现方式为:将所述第一样本图像和所述第二样本图像作为负样本数据,用于训练目标检测模型。
本步骤的另一种实现方式为:将所述第一样本图像和所述第二样本图像进行融合处理以得到第三样本图像;将所述第一样本图像、所述第二样本图像以及所述第三样本图像中的至少一种样本图像作为负样本图像,用于训练目标检测模型。
采用本申请实施方式生成的样本数据为目标检测模型的训练提供了具有多样性的负样本数据,进而解决了干扰物多样性引起的容易误检的问题,可以有效提高目标检测模型的检测准确率。
在目标检测的一种具体的应用场景中,比如智能座舱视觉检测中,智能座舱目标检测通常会使用各种传感器(彩色相机、红外相机)采集图像数据,并使用目标检测算法对车内人员进行检测。然而在实际中,由于人为原因车内常常会出现玩偶、抱枕等车内饰品,部分饰品与人体较为相似,造成目标检测模型将玩偶饰品误检成人,给智能座舱视觉检测任务带来了挑战。如图3所示,本申请实施例基于图1所示的样本数据的生成原理,提供了一种具体应用于智能座舱目标检测的样本数据生成方法流程。
本申请实施例中,干扰源图像具体为从网络数据中爬取的玩偶图像,原始样本图像具体为通过传感器采集的座舱图像。基于玩偶图像和座舱图像进行的图像合成的处理包括:前景提取、前景&背景融合、图像和谐化,基于玩偶图像和座舱图像进行的图像生成的处理包括:设计Prompt、设计生成位置、基于Prompt生成图像或是基于参考图生成图像,通过图像合成和图像生成获得合成训练数据以用于目标检测。
可以理解的是,上述图像合成的处理过程中,通过目标分割从玩偶图像中进行前景提取以提取出玩偶mask图像,将所述提取出的玩偶mask图像作为前景以及将座舱图像作为背景,进行前景和背景融合,并且为了达到前景和背景风格一致化的效果,进一步采用图像和谐化处理以得到合成图像。
本申请实施例中,基于玩偶图像和座舱图像,通过图像合成方式得到合成图像的一种示例性的效果示意图如图4所示。
可以理解的是,上述图像生成的处理过程可以直接采用现有的图像生成模型(比如Stable Diffusion)来实现,通过设计Prompt(模型的文本输入)和生成位置获得多样性的玩偶图像的描述信息以及生成位置信息,基于图像生成模型实现的一种图像生成方式是:将所述座舱图像作为输入,基于Prompt和生成位置信息利用所述图像生成模型以输出负样本数据,基于图像生成模型可实现的另一种图像生成方式是:将所述座舱图像作为输入,基于参考图像和生成位置信息利用所述图像生成模型以输出负样本数据。其中,参考图像可以是从包含玩偶的图片中提取的玩偶前景图像。在实际应用中,一般将座舱图像中座椅位置区域内的任一坐标信息设计为输入至图像生成模型的所述生成位置信息。
本申请实施例中,基于玩偶图像和座舱图像,通过图像生成方式得到生成图像的一种示例性的效果示意图如图5所示。
本申请实施例针对座舱内目标检测玩偶误检问题,提供了一种能够有效解决该问题的方法。该方法综合有效的考虑了座舱内各种场景与情况,在不改变座舱场景分布的同时,通过各种图像数据处理方法,生成含有位置、类型多样玩偶的负样本数据,减少由于玩偶等数据引起的误检问题,提高座舱内目标检测的准确性。
综上可见,本申请提供的样本数据生成方法可适应于各种易出现多样性的干扰物的目标检测应用场景中,具有较好的通用性。
本申请的另一方面还提供了一种样本数据生成装置。
参阅附图6,图6是根据本申请的一个实施例的样本数据生成装置500的主要结构框图,该装置主要包括:
图像获取模块501:用于获取干扰源图像和原始样本图像。
其中,所述干扰源图像可以是通过爬虫方式从网络数据中爬取的包含干扰物的干扰源图像;所述原始样本图像可以是通过传感器在实际应用场景中采集获取的图像。
图像合成模块502:用于基于所述干扰源图像提取包含干扰物的前景图像,基于所述前景图像和所述原始样本图像合成第一样本图像。
图像生成模块503:用于基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像。
样本数据生成模块504:用于基于所述第一样本图像和所述第二样本图像得到用于目标检测的样本数据。例如,同时将所述第一样本图像和所述第二样本图像作为生成的样本数据。
为了便于说明,上述样本数据生成装置的介绍仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。
应该理解的是,由于各个模块的设定仅仅是为了说明本申请的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对系统中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理,因此,拆分或合并之后的技术方案都将落入本申请的保护范围内。
本申请的另一方面还提供了一种目标检测方法,首先,基于上述的样本数据生成装置可以获取到样本数据,利用获取到的样本数据作为负样本数据训练目标检测模型,然后基于训练好的目标检测模型进行目标检测,本实施例提供的目标检测方法主要包括以下步骤:
步骤S21:获取待检测图像;
步骤S22:将所述待检测图像输入预先训练的目标检测模型,通过所述目标检测模型输出得到目标检测结果;
需要说明的是,所述目标检测模型是基于本申请方法实施例提供的样本数据生成方法所生成的样本数据训练得到的。
本申请的另一方面还提供了一种智能设备,所述智能设备可以包括至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器中存储有计算机程序,计算机程序被至少一个处理器执行时实现上述实施例所述的目标检测方法。本申请所述的智能设备,可以包括驾驶设备、智能车、机器人等设备。
在本申请的一些实施例中,所述智能设备还包括至少一个传感器,所述传感器用于感知信息。所述传感器与本申请提到的任何一种类型的处理器通信连接。可选地,所述智能设备还包括智能座舱系统,智能座舱系统是一种集成多种IT和人工智能技术的车内一体化数字平台,用于为驾驶员提供智能体验。所述处理器与所述传感器和/或智能座舱系统通信,用于完成上述实施例所述的目标检测方法。
进一步,本申请还提供了一种计算机设备。
在根据本申请的一个计算机设备的实施例中,计算机设备主要包括处理器和存储装置,存储装置可以被配置成存储执行上述方法实施例的样本数据生成方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的样本数据生成方法的程序。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。
在本申请实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中,计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的样本数据生成方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的样本数据生成方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的样本数据生成方法,即每个处理器分别执行上述方法实施例的样本数据生成方法的不同步骤,来共同实现上述方法实施例的样本数据生成方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述计算机设备可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述计算机设备可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步,本申请还提供了一种计算机可读存储介质。
在根据本申请的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的样本数据生成方法或目标检测方法的程序,该程序可以由处理器加载并运行以实现上述样本数据生成方法或目标检测方法。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
本领域技术人员能够理解的是,本申请实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
本申请各实施例中可能涉及的相关用户个人信息,均为严格按照法律法规的要求,遵循合法、正当、必要的原则,基于业务场景的合理目的,处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的,以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同,需以用户使用产品/服务的具体场景为准,可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全,已采取符合业界标准、合理可行的安全防护措施保护用户的信息,防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此,已经结合附图所示的优选实施方式描述了本申请的技术方案,但是,本领域技术人员容易理解的是,本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本申请的保护范围之内。
Claims (10)
1.一种样本数据生成方法,其特征在于,所述方法包括:
获取干扰源图像和原始样本图像;
基于所述干扰源图像提取包含干扰物的前景图像,基于所述前景图像和所述原始样本图像合成第一样本图像;
基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像;
基于所述第一样本图像和所述第二样本图像得到用于目标检测的样本数据。
2.根据权利要求1所述的方法,其特征在于,所述基于所述干扰源图像提取包含干扰物的前景图像,基于所述前景图像和所述原始样本图像合成第一样本图像具体包括:
对所述干扰源图像进行前景目标分割以获取干扰物掩膜图像;
以所述原始样本图像为背景图像,将所述干扰物掩膜图像和所述背景图像进行融合处理以合成得到所述第一样本图像。
3.根据权利要求2所述的方法,其特征在于,所述将所述干扰物掩膜图像和所述背景图像进行融合处理以合成得到所述第一样本图像具体为:
将所述背景图像中不存在检测目标的区域确定为贴图区域,将所述干扰物掩膜图像贴图至所述背景图像中的所述贴图区域以合成得到所述第一样本图像。
4.根据权利要求2所述的方法,其特征在于,所述合成得到所述第一样本图像之前还包括:对所述融合处理后的图像进行和谐化处理以输出得到所述第一样本图像。
5.根据权利要求1所述的方法,其特征在于,所述包含干扰物特征的信息具体为干扰物描述文本,所述包含干扰物生成位置的信息具体为生成位置描述文本;所述图像生成模型的输入包括文本输入和图片输入;
所述基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像具体为:将所述原始样本图像作为图片输入,将所述干扰物描述文本和所述生成位置描述文本作为文本输入,利用所述图像生成模型生成所述第二样本图像。
6.根据权利要求1所述的方法,其特征在于,所述包含干扰物特征的信息具体为所述包含干扰物的前景图像,所述包含干扰物生成位置的信息具体为生成位置描述文本;所述图像生成模型的输入包括文本输入和图片输入;
所述基于所述原始样本图像、包含干扰物特征的信息以及包含干扰物生成位置的信息,利用训练好的图像生成模型生成第二样本图像具体为:将所述原始样本图像和所述包含干扰物的前景图像作为图片输入,将所述生成位置描述文本作为文本输入,利用所述图像生成模型生成所述第二样本图像。
7.根据权利要求1所述的方法,其特征在于,所述获取干扰源图像具体为:从网络数据中获取包含干扰物的干扰源图像。
8.一种目标检测方法,其特征在于,所述方法包括:
获取待检测图像;
将所述待检测图像输入预先训练的目标检测模型,通过所述目标检测模型输出得到目标检测结果;
所述目标检测模型是利用权利要求1至7中任一所述的样本数据生成方法生成的样本数据训练得到。
9.一种智能设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器中存储有计算机程序,所述计算机程序被所述至少一个处理器执行时实现权利要求8所述的目标检测方法。
10.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311790221.9A CN117726904A (zh) | 2023-12-22 | 2023-12-22 | 一种样本数据生成方法、目标检测方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311790221.9A CN117726904A (zh) | 2023-12-22 | 2023-12-22 | 一种样本数据生成方法、目标检测方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117726904A true CN117726904A (zh) | 2024-03-19 |
Family
ID=90205150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311790221.9A Pending CN117726904A (zh) | 2023-12-22 | 2023-12-22 | 一种样本数据生成方法、目标检测方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117726904A (zh) |
-
2023
- 2023-12-22 CN CN202311790221.9A patent/CN117726904A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108491776B (zh) | 基于像素分类的装配体零件识别方法、装置及监测系统 | |
CN109345510A (zh) | 物体检测方法、装置、设备、存储介质及车辆 | |
DE102020104363A1 (de) | Erkennung eines anomalen bilds in zusammenhang mit bilddaten von einer oder mehreren kameras eines computerunterstützt oder autonom fahrenden fahrzeugs | |
JP6330092B1 (ja) | 機械学習用教師データ生成装置及び生成方法 | |
US9641760B2 (en) | Image capture system | |
CN111369617A (zh) | 一种基于卷积神经网络的单目视图的3d目标检测方法 | |
CN110363093A (zh) | 一种司机动作识别方法及装置 | |
CN111259814A (zh) | 一种活体检测方法及系统 | |
CN110348463A (zh) | 用于识别车辆的方法和装置 | |
Rahmat et al. | Android-based automatic detection and measurement system of highway billboard for tax calculation in Indonesia | |
CN117252947A (zh) | 图像处理方法、装置、计算机、存储介质及程序产品 | |
CN117036571B (zh) | 图像数据生成、视觉算法模型训练、评测方法及装置 | |
CN110264391A (zh) | 训练数据处理方法及设备 | |
CN117495847A (zh) | 路口检测方法、可读存储介质及智能设备 | |
CN113496472A (zh) | 图像去雾模型构建、道路图像去雾方法、装置及车辆 | |
CN117808691A (zh) | 一种基于差异显著性聚合和联合梯度约束的图像融合方法 | |
CN117726904A (zh) | 一种样本数据生成方法、目标检测方法及设备 | |
CN109461203B (zh) | 手势三维图像生成方法、装置、计算机设备及存储介质 | |
CN115116106A (zh) | 车载虚拟形象的表情生成方法、装置、车载设备及介质 | |
CN110008940B (zh) | 一种图像中移除目标物体的方法、装置及电子设备 | |
JP7117720B1 (ja) | 画像生成装置 | |
JPWO2020164671A5 (zh) | ||
Sharma et al. | Synthetic Aerial Image Generation and Runway Segmentation | |
CN118279190A (zh) | 基于大气散射模型的带雾图像目标检测方法及系统 | |
CN117853985A (zh) | 航班节点事件识别方法、系统、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |