CN113034449A - 目标检测模型训练方法、装置及通信设备 - Google Patents

目标检测模型训练方法、装置及通信设备 Download PDF

Info

Publication number
CN113034449A
CN113034449A CN202110264474.7A CN202110264474A CN113034449A CN 113034449 A CN113034449 A CN 113034449A CN 202110264474 A CN202110264474 A CN 202110264474A CN 113034449 A CN113034449 A CN 113034449A
Authority
CN
China
Prior art keywords
image
detection model
target detection
training
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110264474.7A
Other languages
English (en)
Other versions
CN113034449B (zh
Inventor
邵池
程骏
林灿然
郭渺辰
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202110264474.7A priority Critical patent/CN113034449B/zh
Publication of CN113034449A publication Critical patent/CN113034449A/zh
Application granted granted Critical
Publication of CN113034449B publication Critical patent/CN113034449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于机器人技术领域,提供了目标检测模型训练方法、装置及通信设备,包括:获取第一图像,所述第一图像为经过人工标注的图像,一张所述第一图像唯一对应一个标注信息;对所述第一图像进行处理,得到与所述第一图像不同的第二图像,所述第二图像的标注信息与所述第一图像的标注信息相同;根据所述第一图像和所述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。通过上述方法,能够快速训练出具有较高检测精度的训练后的目标检测模型。

Description

目标检测模型训练方法、装置及通信设备
技术领域
本申请属于机器人技术领域,尤其涉及目标检测模型训练方法、装置、通信设备及计算机可读存储介质。
背景技术
目标检测是目前计算机视觉领域热门的研究方向之一,其目的是获取目标在图像中的类别信息和位置信息。随着深度学习技术的发展,越来越多的目标检测应用开始落地,并在视频监控、自动驾驶、人机交互等方面取得了长足的进步。对于人类来说,完成目标检测不算困难,人类通过对图像中不同颜色模块的感知,进而很容易定位并分类出其中的目标物体。但对于计算机来说,一张红绿蓝(Red Green Blue,RGB)图像就是一个红绿蓝像素矩阵,其很难从红绿蓝像素矩阵中直接得到类似于香蕉和苹果这样的抽象概念并在图像中确定其位置,进一步地,若要在环境复杂多变的背景的图像中检测多个物体,则目标检测就变得更加困难。
目标检测模型能否很好地适应不同的场景,与很多因素都有关系,其中,训练数据的丰富程度就是一个重要因素。为了让目标检测模型在实际使用中发挥更好的性能,在采集数据的过程中,倾向于采集涵盖尽可能多的场景的数据,且采集的数据量足够大。然而,采集数据以及对采集的数据进行精准的标注需要耗费较多的时间与精力,故,难以快速训练出具有较高检测精度的目标检测模型。
发明内容
本申请实施例提供了一种目标检测模型训练方法,可以解决具有较高检测精度的目标检测模型的训练时长过长的问题。
第一方面,本申请实施例提供了一种目标检测模型训练方法,包括:
获取第一图像,所述第一图像为经过人工标注的图像,一张所述第一图像唯一对应一个标注信息;
对所述第一图像进行处理,得到与所述第一图像不同的第二图像,所述第二图像的标注信息与所述第一图像的标注信息相同;
根据所述第一图像和所述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
第二方面,本申请实施例提供了一种目标检测方法,包括:
获取待检测的图像;
采用如权利要求第一方面所述的训练后的目标检测模型对所述待检测的图像进行目标检测,得到检测结果。
第三方面,本申请实施例提供了一种目标检测模型训练装置,包括:
第一图像获取单元,用于获取第一图像,所述第一图像为经过人工标注的图像,一张所述第一图像唯一对应一个标注信息;
第二图像获取单元,用于对所述第一图像进行处理,得到与所述第一图像不同的第二图像,所述第二图像的标注信息与所述第一图像的标注信息相同;
训练单元,用于根据所述第一图像和所述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
第四方面,本申请实施例提供了一种通信设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面或第二方面所述的方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面或第二方面所述的方法。
第六方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在通信设备上运行时,使得通信设备执行上述第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是:
本申请实施例中,由于训练过程的图像包括第一图像和第二图像,因此,增加了用于对待训练的目标检测模型进行训练的图像数量,从而,有利于提高得到的训练后的目标检测模型的检测精度。此外,由于第二图像的标注信息与第一图像的标注信息相同,因此,无需继续对新增的第二图像进行人工标注,因此,节省了标注时间。也即,通过本申请实施例提供的目标检测模型训练方法,能够快速训练出具有较高检测精度的训练后的目标检测模型。
可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请一实施例提供的一种目标检测模型训练方法的流程图;
图2是本申请一实施例提供的另一种目标检测模型训练方法的流程图;
图3是本申请一实施例提供的一种融合图像的示意图;
图4是本申请一实施例提供的一种目标检测方法的流程图;
图5是本申请另一实施例提供的一种目标检测模型训练装置的结构示意图;
图6是本申请一实施例提供的一种目标检测装置的结构示意图;
图7是本申请另一实施例提供的通信设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
现有的对目标检测模型进行训练的训练方法中,通常会采集涵盖尽可能多的场景的数据,在采集足够多的数据后,再通过人工标注的方式对采集的数据进行标注,但由于数据采集以及数据标注均需要耗费较多的时间和精力,因此,现有的目标检测模型的训练方法难以快速训练出具有较高检测精度的目标检测模型。为了解决上述技术问题,本申请实施例提供了一种目标检测模型训练方法,在该方法中,通过对经过人工标注的图像进行处理,得到第二图像,且该第二图像的标注信息与第一图像的标注信息相同,之后,根据第一图像和第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
下面结合附图对本申请实施例提供的目标检测模型训练方法进行描述。
图1示出了本申请实施例提供的一种目标检测模型训练方法的流程图,本申请实施例的目标检测模型训练方法可应用于通信设备,如机器人中,详述如下:
步骤S11,获取第一图像,上述第一图像为经过人工标注的图像,一张上述第一图像唯一对应一个标注信息。
本实施例中,人工标注是指用户对希望通过目标检测模型检测的物体进行的标注,例如,假设用户希望通过目标检测模型检测的物体为卡片,则对图像中的卡片区域进行框选,并标识被框选的卡片区域中的图案的类别,以实现对该卡片的人工标注。其中,这里的卡片是指长和宽在预设范围内(如长和宽均等于10厘米),且具有一定厚度(如1毫米)的片状物体。卡片的背景颜色为纯色(比如为纯白色),不同卡片的前景具有不同的图案,不同的图案代表不同的类别。
在本实施例中,标注信息包括:人工标注的检测框在上述第二图像的位置信息、用于指示检测框中的物体所属的类别的类别信息。其中,检测框通常为矩形框,故该检测框在第二图像的位置信息可用两组坐标表示,比如,用(x_min,y_min)和(x_max,y_max)表示,其中,x_min和y_min表示检测框中最小的横坐标和最小的纵坐标,x_max和y_max表示检测框中最大的横坐标和最大的纵坐标。当坐标系的原点在图像的左上角时,(x_min,y_min)表示检测框的左上角坐标,(x_max,y_max)表示检测框的右下角坐标。进一步的,该标注信息还包括图像的宽和高(不是图像内卡片的宽和高)。
在一些实施例中,采用一个文件存储一个标注信息,为了便于查找标注信息,设置文件的名称与该标注信息对应的图像的名称相同。其中,图像的名称可以用文字表示,也可以用数字表示,只需要保证图像的名称能够唯一标识其对应的图像即可。例如,假设“.jpg”格式的图像的名称为“121”,用于存储该“121”图像的标注信息的文件的格式为“xml”,则该文件可表示为“121.xml”。
步骤S12,对上述第一图像进行处理,得到与上述第一图像不同的第二图像,上述第二图像的标注信息与上述第一图像的标注信息相同。
本实施例中,对第一图像进行处理,以得到与第一图像不同的第二图像,这里的不同包括亮度和/或色调等的不同。例如,对第一图像的亮度进行处理后,得到的图像为第二图像;对第一图像的色调进行处理后,得到的图像为第二图像;对第一图像的亮度和色调都进行处理后,得到的图像也为第二图像。即通过对第一图像进行处理,可以得到多张第二图像,由于该第二图像也具有标注信息,因此能够使用该第二图像对待训练的目标检测模型进行训练。
本实施例中,在对第一图像处理后,根据该第一图像的标注信息设置得到第二图像的标注信息。进一步地,若第一图像的标注信息通过一个xml文件存储,则将该xml文件存储的信息作为第二图像的标注信息,但需要修改该xml文件的名称,以保证第二图像的xml文件的名称能够唯一标识该第二图像。
步骤S13,根据上述第一图像和上述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
需要指出的是,用于对待训练的目标检测模型进行训练的第一图像和第二图像均可以有多个。
本实施例中,通过待训练的目标检测模型分别对第一图像和第二图像进行目标检测,得到对应的目标检测结果,将得到的目标检测结果分别与对应的标注信息比较,根据比较结果得到损失值,再根据得到的损失值选择是否需要优化待训练的目标检测模型的参数,若不需要,则停止训练,得到训练后的目标检测模型,若需要,则调整待训练的目标检测模型的参数,再返回通过待训练的目标检测模型分别对第一图像和第二图像进行目标检测的步骤以及后续步骤。
本申请实施例中,由于训练过程的图像包括第一图像和第二图像,因此,增加了用于对待训练的目标检测模型进行训练的图像数量,从而,有利于提高得到的训练后的目标检测模型的检测精度。此外,由于第二图像的标注信息与第一图像的标注信息相同,因此,无需继续对新增的第二图像进行人工标注,因此,节省了标注时间。也即,通过本申请实施例提供的目标检测模型训练方法,能够快速训练出具有较高检测精度的训练后的目标检测模型。
假设待检测的物体为卡片,考虑到实际获取待检测的图像的过程中,灯光或自然光的明暗会影响到卡片以及卡片中图案的亮度和清晰度,在一些较为极端的情况下,如光线过亮时会导致卡片反光,卡片上的图案也出现一定的曝光现象,进而导致获取的待检测的图像中的图案不清晰,目标检测模型对该待检测的图像的进行识别时,其识别效果也会受到影响。此外,当卡片处在一个饱和度较高的纯色背景下,或室内灯光非白色光时,得到的待检测的图像的颜色也会被影响,比如导致该待检测的图像的颜色发生一定程度的改变,从而导致目标检测模型对该待检测的图像的进行识别时得到错误的识别结果。为了使得训练后的目标检测模型能够有效检测出不同亮度和/或色调的图像中的目标物体,则采用具有不同亮度和/或色调的图像对待训练的目标检测模型进行训练。图2示出了本申请实施例提供的另一种目标检测模型训练方法的流程图,本实施例中,主要对步骤S12进行细化,详述如下:
步骤S21,获取第一图像,上述第一图像为经过人工标注的图像,一张上述第一图像唯一对应一个标注信息。
步骤S22,对上述第一图像的光线和/或色调进行处理,得到与上述第一图像不同的第二图像,上述第二图像的标注信息与上述第一图像的标注信息相同。
具体地,对第一图像的所有区域的光线和/或色调进行处理,得到第二图像,或者,对第一图像的部分区域的光线和/或色调进行处理,得到第二图像,例如,第二图像通过对第一图像中的卡片所在的区域的光线和/或色调进行处理后得到。由于只对第一图像的光线和/或色调进行处理,也即,不会改变待测物体在第一图像中的位置和类别,因此,可直接将第一图像的标注信息作为第二图像对应的标注信息。
步骤S23,根据上述第一图像和上述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
在本申请实施例中,由于第二图像是通过对第一图像的光线和/或色调进行处理后得到,因此,使得根据第一图像和第二图像训练得到的目标检测模型,能够有效检测出存在光线问题和/或色调问题的图像中的目标物体,从而提高了训练后的目标检测模型的检测精度。
在一些实施例中,上述步骤S22包括:
A1、获取第三图像,上述第三图像为纯色的图像。
这里的纯色的图像是指只有一种颜色的图像,比如只有黑色时,第三图像为纯黑色的图像。具体地,可通过OpenCV的numpy新建全零(黑色)图像数组,得到第三图像,其中,OpenCV是一个基于伯克利软件套件(Berkeley Software Distribution,BSD)许可(开源)发行的跨平台计算机视觉和机器学习软件库。numpy(Numerical Python)是Python语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。
在一些实施例中,为了便于后续的计算,则获取第一图像的宽、高和通道数,再通过OpenCV的numpy新建全零(黑色)图像数组,得到第三图像,且保证该第三图像的宽、高、通道数均与第一图像的相同。进一步地,由于不同数据类型进行计算时,可能出现错误,比如,假设图像1的数据类型为整数型,图像2的数据类型为浮点数型,则这两张图像的数据进行计算后,得到的数据的数据类型可能为整数型,也即,数据类型发生了改变,因此,为了避免出现这种错误,则设置第三图像的数据类型与第一图像的数据类型相同。例如,假设第一图像的宽、高和通道数分别用H、W、C表示,则根据下式新建全零图像数组:
Image3=numpy.zeros([H,W,C],Image1.dtype),其中,Image3表示第三图像,Image1表示第一图像,dtype表示第一图像的数据类型。你
A2、根据上述第三图像、预设的上述第三图像的权重、上述第一图像以及预设的上述第一图像的权重确定上述第二图像,上述第二图像为光线和/或色调进行处理后的上述第一图像。
本实施例中,可计算第三图像与预设的第三图像的权重的乘积、计算第一图像与预设的第一图像的权重的乘积,再将计算的两个乘积相加,得到的数据即为第二图像对应的数据。当然,也可以将两个乘积相减,或者,将两个乘积相加之后再进行特定的加、减、乘或除的运算,此处不作限定。由于第三图像为纯色的图像,因此,能够通过调整第三图像的权重和第一图像的权重来实现对第一图像的光线和/或色调的调整。例如,假设第三图像为全黑的图像,预设的第三图像的权重为beta,预设的第一图像的权重为alpha,则当alpha=0.8,beta=0.2时,第一图像整体变暗,而当alpha=1.2,beta=-0.2时,第一图像整体变亮,从而将现有数据(第一图像)泛化到不同光线强弱的场景中。
在一些实施例中,上述A2包括:
根据上述第三图像、预设的上述第三图像的权重、上述第一图像、预设的上述第一图像的权重以及预设的亮度调整值确定上述第二图像。
本实施例中,预设的亮度调整值可作为最后加入第一图像和第三图像运算后得到的数据中,以实现对第一图像的亮度的整体调整。具体地,计算第三图像与预设的第三图像的权重的乘积、计算第一图像与预设的第一图像的权重的乘积,再将计算的两个乘积以及预设的亮度调整值相加,得到最后的第二图像。例如,假设预设的亮度调整值采用gamma值表示,则利用OpenCV的addWeighted函数,通过设置不同的参数(alpha、beta和gamma),来实现对Image1的明暗变化的调整,得到Result(即第二图像对应的数据):
Result=cv2.addWeighted(Image1,alpha,Image 3,beta,gamma)。
在一些实施例中,为了实现对第一图像的亮度的更好调整,则在进行亮度调整时,上述的第三图像为纯黑色或纯白色的图像,此时,上述的gamma的取值可为3。
在一些实施例中,为了实现对第一图像的色调的更好调整,则在进行色调调整时,上述的第三图像为预先生成的不同颜色的纯色图像中的一张纯色图像,此时,预设的第三图像的权重较小,比如,设置alpha=1,beta=0.1,gamma=0(即不再对亮度进行调整)。
在一些实施例中,上述标注信息包括人工标注的检测框在上述第二图像的位置信息,为了使得待训练的目标检测模型能够学习到更多背景信息,上述目标检测模型训练方法,还包括:
B1、获取第四图像,上述第四图像为没有经过人工标注的图像。
其中,第四图像为用户实际使用时可能出现的若干个场景对应的图像,这些场景包括办公室、教室、不同颜色的纯色背景、风景等。
本实施例中,可通过机器人的摄像头在上述场景进行拍摄得到第四图像,或者,通过爬取的方式从网络上爬取得到多张包含上述场景的图像作为第四图像。
B2、根据上述位置信息从上述第一图像中裁剪出上述检测框的区域,得到裁剪图像。
本实施例中,由于检测框的区域内包含需要检测的目标物体,因此,裁剪得到的裁剪图像实际为目标物体对应的图像。
B3、将上述裁剪图像与上述第四图像进行融合,得到融合图像,上述融合图像的标注信息与上述第一图像的标注信息相同。
本实施例中,由于第一图像的标注信息包含裁剪图像在该第一图像的位置信息以及该裁剪图像中的目标物体的类别信息,因此,可根据标注信息中的位置信息将裁剪图像放到第四图像的相应位置上,即裁剪图像的左上角在第四图像的(x_min,y_min)上,该裁剪图像的右下角在上述第四图像的(x_max,y_max)上,即融合图像上的卡片位置与第一图像的卡片位置一致,因此,无需再为该融合图像进行标注,从而节省了标注时间。如图3所示,第一图像为图3左边的图像,裁剪图像为沿第一图像的虚线裁剪得到的包含箭头的图像,将该裁剪图像与一张纯色的第四图像进行融合,得到图3中的第二图像。
上述步骤S13(或步骤S23)包括:
根据上述第一图像、上述第二图像以及上述融合图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
本实施例中,由于融合图像包含待训练的目标检测模型没有学习过的场景,因此,采用第一图像、第二图像以及融合图像对待训练的目标检测模型进行训练,相当于使得该待训练的目标检测模型对更多的负例进行学习,从而能够提高训练后的目标检测模型的检测精度。
在一些实施例中,上述B3包括:
将上述第四图像的尺寸调整为预设尺寸后,将上述裁剪图像与尺寸调整后的上述第四图像进行融合,得到融合图像。
本实施例中,考虑到待训练的目标检测模型通常会对待检测的图像进行尺寸调整,以提高其检测速度,而图像输入待训练的目标检测模型后,若其尺寸被调整,其带来的形变将大于输入该待训练的目标检测模型之前的尺寸调整所带来的形变,因此,为了减少图像的尺寸调整所带来的形变,则在获取第四图像后,对该第四图像的尺寸进行调整,以使得尺寸调整后的第四图像的尺寸满足待训练的目标检测模型的需求。在一些实施例中,通常将第四图像的尺寸调整为与第一图像的尺寸相同的尺寸,即保证训练所采用的图像的尺寸均相同。由于训练待训练的目标检测模型所使用的图像的尺寸均相等,因此,有利于提高得到的训练后的目标检测模型的检测精度。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图4示出了本申请实施例提供的一种目标检测方法的流程图,该目标检测方法可应用于通信设备,如机器人中,详述如下:
步骤S41,获取待检测的图像。
其中,这里的待检测的图像可以为机器人实时拍摄的图像,也可以为该机器人存储的图像。
步骤S42,采用如上述的训练后的目标检测模型对上述待检测的图像进行目标检测,得到检测结果。
本申请实施例中,通过上述实施例得到的训练后的目标检测模型对待检测的图像进行目标检测,由于训练后的目标检测模型具有较高的检测精度,因此,进行目标检测后能够得到准确的检测结果。
在一些实施例中,在获取待检测的图像后,将该待检测的图像的尺寸调整为预设尺寸,再采用训练后的目标检测模型对尺寸调整后的待检测的图像进行目标检测。
本实施例中,由于在输入训练后的目标检测模型之前,对待检测的图像的尺寸进行调整,因此,避免该待检测的图像在输入训练后的目标检测模型后再被进行尺寸调整,从而减少了形变的数据量,进而提高了目标检测精度。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例上述的目标检测模型训练方法,图5示出了本申请实施例提供的目标检测模型训练装置的结构框图,该目标检测模型训练装置可应用于通信设备中,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图5,该目标检测模型训练装置5包括:第一图像获取单元51、第二图像获取单元52、训练单元53,其中:
第一图像获取单元51,用于获取第一图像,上述第一图像为经过人工标注的图像,一张上述第一图像唯一对应一个标注信息。
其中,标注信息包括:人工标注的检测框在上述第二图像的位置信息、用于指示检测框中的物体所属的类别的类别信息。
进一步地,该标注信息还包括检测框内的物体的宽和高。
在一些实施例中,采用一个文件存储一个标注信息,为了便于查找标注信息,设置文件的名称与该标注信息对应的图像的名称相同。
第二图像获取单元52,用于对上述第一图像进行处理,得到与上述第一图像不同的第二图像,上述第二图像的标注信息与上述第一图像的标注信息相同。
训练单元53,用于根据上述第一图像和上述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
本申请实施例中,由于训练过程的图像包括第一图像和第二图像,因此,增加了用于对待训练的目标检测模型进行训练的图像数量,从而,有利于提高得到的训练后的目标检测模型的检测精度。此外,由于第二图像的标注信息与第一图像的标注信息相同,因此,无需继续对新增的第二图像进行人工标注,因此,节省了标注时间。也即,通过本申请实施例提供的目标检测模型训练方法,能够快速训练出具有较高检测精度的训练后的目标检测模型。
在一些实施例中,上述第二图像获取单元52具体用于:
对上述第一图像的光线和/或色调进行处理,得到与上述第一图像不同的第二图像。
在一些实施例中,上述第二图像获取单元52在对上述第一图像的光线和/或色调进行处理,得到与上述第一图像不同的第二图像时,具体包括:
第三图像获取模块,用于获取第三图像,上述第三图像为纯色的图像。
第二图像确定模块,用于根据上述第三图像、预设的上述第三图像的权重、上述第一图像以及预设的上述第一图像的权重确定上述第二图像,上述第二图像为光线和/或色调进行处理后的上述第一图像。
在一些实施例中,上述第二图像确定模块具体用于:
根据上述第三图像、预设的上述第三图像的权重、上述第一图像、预设的上述第一图像的权重以及预设的亮度调整值确定上述第二图像。
在一些实施例中,上述标注信息包括人工标注的检测框在上述第二图像的位置信息,上述目标检测模型训练装置5,还包括:
第四图像获取单元,用于获取第四图像,上述第四图像为没有经过人工标注的图像。
裁剪图像获取单元,用户根据上述位置信息从上述第一图像中裁剪出上述检测框的区域,得到裁剪图像。
融合图像获取单元,用于将上述裁剪图像与上述第四图像进行融合,得到融合图像,上述融合图像的标注信息与上述第一图像的标注信息相同。
上述训练单元53,具体用于:
根据上述第一图像、上述第二图像以及上述融合图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
在一些实施例中,上述融合图像获取单元具体用于:
将上述第四图像的尺寸调整为预设尺寸后,将上述裁剪图像与尺寸调整后的上述第四图像进行融合,得到融合图像。
图6示出了本申请实施例提供的一种目标检测装置,该目标检测装置可应用于通信设备中,为了便于说明,仅示出了与本申请实施例相关的部分。
该目标检测装置6包括:待检测的图像获取单元61和目标检测单元62。
其中:
待检测的图像获取单元61,用于获取待检测的图像。
目标检测单元62,用于采用上述的训练后的目标检测模型对上述待检测的图像进行目标检测,得到检测结果。
本申请实施例中,通过上述实施例得到的训练后的目标检测模型对待检测的图像进行目标检测,由于训练后的目标检测模型具有较高的检测精度,因此,进行目标检测后能够得到准确的检测结果。
在一些实施例中,上述目标检测单元62具体用于:将获取的待检测的图像的尺寸调整为预设尺寸,再采用训练后的目标检测模型对尺寸调整后的待检测的图像进行目标检测,得到检测结果。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图7为本申请一实施例提供的通信设备的结构示意图。如图7所示,该实施例的通信设备7包括:至少一个处理器70(图7中仅示出一个处理器)、存储器71以及存储在上述存储器71中并可在上述至少一个处理器70上运行的计算机程序72,上述处理器70执行上述计算机程序72时实现上述任意各个方法实施例中的步骤:
获取第一图像,上述第一图像为经过人工标注的图像,一张上述第一图像唯一对应一个标注信息;
对上述第一图像进行处理,得到与上述第一图像不同的第二图像,上述第二图像的标注信息与上述第一图像的标注信息相同;
根据上述第一图像和上述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
可选地,上述对上述第一图像进行处理,得到与上述第一图像不同的第二图像,包括:
对上述第一图像的光线和/或色调进行处理,得到与上述第一图像不同的第二图像。
可选地,上述对上述第一图像的光线和/或色调进行处理,得到与上述第一图像不同的第二图像,包括:
获取第三图像,上述第三图像为纯色的图像;
根据上述第三图像、预设的上述第三图像的权重、上述第一图像以及预设的上述第一图像的权重确定上述第二图像,上述第二图像为光线和/或色调进行处理后的上述第一图像。
可选地,上述根据上述第三图像、预设的上述第三图像的权重、上述第一图像以及预设的上述第一图像的权重确定上述第二图像,包括:
根据上述第三图像、预设的上述第三图像的权重、上述第一图像、预设的上述第一图像的权重以及预设的亮度调整值确定上述第二图像。
可选地,上述标注信息包括人工标注的检测框在上述第二图像的位置信息,上述目标检测模型训练方法,还包括:
获取第四图像,上述第四图像为没有经过人工标注的图像;
根据上述位置信息从上述第一图像中裁剪出上述检测框的区域,得到裁剪图像;
将上述裁剪图像与上述第四图像进行融合,得到融合图像,上述融合图像的标注信息与上述第一图像的标注信息相同;
上述根据上述第一图像和上述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型,包括:
根据上述第一图像、上述第二图像以及上述融合图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
可选地,上述将上述裁剪图像与上述第四图像进行融合,得到融合图像,包括:
将上述第四图像的尺寸调整为预设尺寸后,将上述裁剪图像与尺寸调整后的上述第四图像进行融合,得到融合图像。
所述通信设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该通信设备可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是通信设备7的举例,并不构成对通信设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71在一些实施例中可以是所述通信设备7的内部存储单元,例如通信设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述通信设备7的外部存储设备,例如所述通信设备7上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器71还可以既包括所述通信设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种网络设备,该网络设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/通信设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标检测模型训练方法,其特征在于,包括:
获取第一图像,所述第一图像为经过人工标注的图像,一张所述第一图像唯一对应一个标注信息;
对所述第一图像进行处理,得到与所述第一图像不同的第二图像,所述第二图像的标注信息与所述第一图像的标注信息相同;
根据所述第一图像和所述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
2.如权利要求1所述的目标检测模型训练方法,其特征在于,所述对所述第一图像进行处理,得到与所述第一图像不同的第二图像,包括:
对所述第一图像的光线和/或色调进行处理,得到与所述第一图像不同的第二图像。
3.如权利要求2所述的目标检测模型训练方法,其特征在于,所述对所述第一图像的光线和/或色调进行处理,得到与所述第一图像不同的第二图像,包括:
获取第三图像,所述第三图像为纯色的图像;
根据所述第三图像、预设的所述第三图像的权重、所述第一图像以及预设的所述第一图像的权重确定所述第二图像,所述第二图像为光线和/或色调进行处理后的所述第一图像。
4.如权利要求3所述的目标检测模型训练方法,其特征在于,所述根据所述第三图像、预设的所述第三图像的权重、所述第一图像以及预设的所述第一图像的权重确定所述第二图像,包括:
根据所述第三图像、预设的所述第三图像的权重、所述第一图像、预设的所述第一图像的权重以及预设的亮度调整值确定所述第二图像。
5.如权利要求1至4任一项所述的目标检测模型训练方法,其特征在于,所述标注信息包括人工标注的检测框在所述第二图像的位置信息,所述目标检测模型训练方法,还包括:
获取第四图像,所述第四图像为没有经过人工标注的图像;
根据所述位置信息从所述第一图像中裁剪出所述检测框的区域,得到裁剪图像;
将所述裁剪图像与所述第四图像进行融合,得到融合图像,所述融合图像的标注信息与所述第一图像的标注信息相同;
所述根据所述第一图像和所述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型,包括:
根据所述第一图像、所述第二图像以及所述融合图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
6.如权利要求5所述的目标检测模型训练方法,其特征在于,所述将所述裁剪图像与所述第四图像进行融合,得到融合图像,包括:
将所述第四图像的尺寸调整为预设尺寸后,将所述裁剪图像与尺寸调整后的所述第四图像进行融合,得到融合图像。
7.一种目标检测方法,其特征在于,包括:
获取待检测的图像;
采用如权利要求1至6任一项所述的训练后的目标检测模型对所述待检测的图像进行目标检测,得到检测结果。
8.一种目标检测模型训练装置,其特征在于,包括:
第一图像获取单元,用于获取第一图像,所述第一图像为经过人工标注的图像,一张所述第一图像唯一对应一个标注信息;
第二图像获取单元,用于对所述第一图像进行处理,得到与所述第一图像不同的第二图像,所述第二图像的标注信息与所述第一图像的标注信息相同;
训练单元,用于根据所述第一图像和所述第二图像对待训练的目标检测模型进行训练,得到训练后的目标检测模型。
9.一种通信设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202110264474.7A 2021-03-11 2021-03-11 目标检测模型训练方法、装置及通信设备 Active CN113034449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110264474.7A CN113034449B (zh) 2021-03-11 2021-03-11 目标检测模型训练方法、装置及通信设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110264474.7A CN113034449B (zh) 2021-03-11 2021-03-11 目标检测模型训练方法、装置及通信设备

Publications (2)

Publication Number Publication Date
CN113034449A true CN113034449A (zh) 2021-06-25
CN113034449B CN113034449B (zh) 2023-12-15

Family

ID=76469945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110264474.7A Active CN113034449B (zh) 2021-03-11 2021-03-11 目标检测模型训练方法、装置及通信设备

Country Status (1)

Country Link
CN (1) CN113034449B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技(深圳)有限公司 图像转换方法、装置、计算机设备及存储介质
CN110288019A (zh) * 2019-06-21 2019-09-27 北京百度网讯科技有限公司 图像标注方法、装置和存储介质
CN110378420A (zh) * 2019-07-19 2019-10-25 Oppo广东移动通信有限公司 一种图像检测方法、装置及计算机可读存储介质
US20200250497A1 (en) * 2017-11-01 2020-08-06 Tencent Technology (Shenzhen) Company Limited Image classification method, server, and computer-readable storage medium
CN111666800A (zh) * 2019-12-23 2020-09-15 珠海大横琴科技发展有限公司 一种行人重识别模型训练方法及行人重识别方法
CN111814850A (zh) * 2020-06-22 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN112036464A (zh) * 2020-08-26 2020-12-04 国家电网有限公司 一种基于YOLOv3-tiny算法的绝缘子红外图像故障检测方法
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200250497A1 (en) * 2017-11-01 2020-08-06 Tencent Technology (Shenzhen) Company Limited Image classification method, server, and computer-readable storage medium
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技(深圳)有限公司 图像转换方法、装置、计算机设备及存储介质
CN110288019A (zh) * 2019-06-21 2019-09-27 北京百度网讯科技有限公司 图像标注方法、装置和存储介质
CN110378420A (zh) * 2019-07-19 2019-10-25 Oppo广东移动通信有限公司 一种图像检测方法、装置及计算机可读存储介质
CN111666800A (zh) * 2019-12-23 2020-09-15 珠海大横琴科技发展有限公司 一种行人重识别模型训练方法及行人重识别方法
CN111814850A (zh) * 2020-06-22 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN112036464A (zh) * 2020-08-26 2020-12-04 国家电网有限公司 一种基于YOLOv3-tiny算法的绝缘子红外图像故障检测方法
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢禹;李玉俊;董文生;: "基于SSD神经网络的图像自动标注及应用研究", 信息技术与标准化, no. 04 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113034449B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
US10824910B2 (en) Image processing method, non-transitory computer readable storage medium and image processing system
US20200410723A1 (en) Image Synthesis Method And Apparatus
CN108764139B (zh) 一种人脸检测方法、移动终端及计算机可读存储介质
JP5811416B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN113011403B (zh) 手势识别方法、系统、介质及设备
CN111160261A (zh) 用于自动售货柜的样本图像标注方法、装置及存储介质
CN110691226A (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN112419214A (zh) 一种标注图像生成方法、装置、可读存储介质及终端设备
CN111382647A (zh) 一种图片处理方法、装置、设备及存储介质
CN111982933B (zh) 一种涂覆缺陷检测系统及装置
CN110111341B (zh) 图像前景获取方法、装置及设备
CN115619787A (zh) 一种uv胶缺陷检测方法、系统、设备及介质
CN114119695A (zh) 一种图像标注方法、装置及电子设备
CN113034449B (zh) 目标检测模型训练方法、装置及通信设备
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN114067172A (zh) 一种仿真图像生成方法、仿真图像生成装置及电子设备
CN112434581A (zh) 一种室外目标颜色识别方法、系统、电子设备及存储介质
Abbas Recovering homography from camera captured documents using convolutional neural networks
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质
CN113012030A (zh) 图像拼接方法、装置及设备
CN105893578A (zh) 一种照片选择的方法及装置
CN112149745B (zh) 确定难例样本的方法、装置、设备及存储介质
CN117333892A (zh) 题干和答案的识别方法、装置、可读存储介质及终端设备
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN112989924B (zh) 目标检测方法、目标检测装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant