CN110287850A - 一种模型训练以及目标物识别的方法及装置 - Google Patents

一种模型训练以及目标物识别的方法及装置 Download PDF

Info

Publication number
CN110287850A
CN110287850A CN201910536593.6A CN201910536593A CN110287850A CN 110287850 A CN110287850 A CN 110287850A CN 201910536593 A CN201910536593 A CN 201910536593A CN 110287850 A CN110287850 A CN 110287850A
Authority
CN
China
Prior art keywords
image
processed
reference substance
standard picture
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910536593.6A
Other languages
English (en)
Inventor
冯阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910536593.6A priority Critical patent/CN110287850A/zh
Publication of CN110287850A publication Critical patent/CN110287850A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Abstract

本申请公开了一种模型训练以及目标物识别的方法及装置,在该方法中在获取到待处理图像后,可以根据该待处理图像中包含的目标物,从预设的各标准物中选取与该目标物相匹配的标准物对应的图像作为标准图像,而后,可以将该标准图像插入到该待处理图像中,得到样本图像,进而将得到的样本图像作为训练样本,对预设的图像识别模型进行训练。由于可以根据待处理图像中包含的目标物,将与该目标物相匹配的标准物对应的标准图像自动插入到该待处理图像,以得到样本图像,因此,可以有效的提高样本图像的收集以及处理效率,节省人力成本,进而提高了模型训练的效率。

Description

一种模型训练以及目标物识别的方法及装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种模型训练以及目标物识别的方法及装置。
背景技术
随着计算机技术以及图像处理技术的不断发展,目前通过预先训练的模型进行诸如图像识别、图像分析等图像处理,可以有效的提高图像处理的速度,并且相比于以往的图像处理技术,图像处理的效果也更为突出。
通过模型进行图像处理之前,往往需要通过大量的样本图像对模型进行训练,以使模型的图像处理效果达到预期。然而在实际应用中,训练所采用的样本图像通常是通过人工的方式收集并进行标注的,同时,对于样本图像,往往需要经过人工处理,才能达到使用的标准。例如,样本图像中的目标物较少,则需要人工将该样本图像已有的目标物进行诸如对比度调整、饱和度调整、颜色变换等处理,以突出该目标物。所以,在现有技术中,收集以及处理样本图像时需要耗费大量的人力成本,效率较低,从而也降低了模型训练的效率。
因此,如何能够有效的提高样本图像的收集以及处理效率,节省人力成本,提高模型训练的效率,则是一个亟待解决的问题。
发明内容
本申请实施例提供一种模型训练以及目标物识别的方法及装置,以部分的解决现有技术存在的上述问题。
本申请采用下述技术方案:
本申请提供了一种模型训练的方法,包括:
获取待处理图像;
根据所述待处理图像中包含的目标物,从预设的各标准物中选取与所述目标物相匹配的标准物,确定选取出的标准物所对应的图像作为标准图像;
将所述标准图像插入到所述待处理图像中,得到样本图像;
将所述样本图像作为训练样本,对预设的图像识别模型进行训练。
可选地,将所述标准图像插入到所述待处理图像中,得到样本图像,具体包括:
将所述标准图像插入到所述待处理图像中所述目标物所处区域以外的其他区域内,得到样本图像。
可选地,将所述标准图像插入到所述待处理图像中所述目标物所处区域以外的其他区域内,得到样本图像,具体包括:
根据在所述待处理图像中划分的各区域,确定与所述目标物所处区域不相重叠的各区域作为各候选区域;
根据标注的所述待处理图像中各区域对应的背景类别,以及各标准物与各背景类别的对应关系,从各候选区域中确定所述标准图像对应的标准物所属的候选区域作为待插入区域;
将所述标准图像插入到所述待插入区域内,得到样本图像。
可选地,在所述待处理图像中划分各区域,具体包括:
根据所述标准图像的大小,在所述待处理图像中划分各区域。
可选地,将所述标准图像插入到所述待处理图像中,得到样本图像,具体包括:
根据所述目标物在所述待处理图像中的尺寸,调整所述标准图像在所述待处理图像中的尺寸,得到样本图像。
可选地,所述目标物的尺寸不超过设定尺寸。
本申请提供了一种目标物识别的方法,包括:
采集待识别图像;
通过预先训练的图像识别模型,对所述待识别图像中包含的目标物进行识别,所述图像识别模型是通过作为训练样本的样本图像训练得到的,所述样本图像是通过在获取到的待处理图像中插入与所述待处理图像中的目标物相匹配的标准物的标准图像得到的;
根据识别出的所述目标物的属性信息和/或状态信息,调整行进状态。
本申请提供了一种模型训练的装置,包括:
获取模块,用于获取待处理图像;
选取模块,用于根据所述待处理图像中包含的目标物,从预设的各标准物中选取与所述目标物相匹配的标准物,确定选取出的标准物所对应的图像作为标准图像;
插入模块,用于将所述标准图像插入到所述待处理图像中,得到样本图像;
训练模块,用于将所述样本图像作为训练样本,对预设的图像识别模型进行训练。
本申请提供了一种目标物识别的装置,包括:
采集模块,用于采集待识别图像;
识别模块,用于通过预先训练的图像识别模型,对所述待识别图像中包含的目标物进行识别,所述图像识别模型是通过作为训练样本的样本图像训练得到的,所述样本图像是通过在获取到的待处理图像中插入与所述待处理图像中的目标物相匹配的标准物的标准图像得到的;
调整模块,用于根据识别出的所述目标物的属性信息和/或状态信息,调整行进状态。
本申请提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述模型训练或目标物识别的方法。
本申请提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述模型训练或目标物识别的方法。
本申请采用的上述至少一个技术方案能够达到以下有益效果:
从上述方法中可以看出,在获取到待处理图像后,可以根据该待处理图像中包含的目标物,从预设的各标准物中选取与该目标物相匹配的标准物对应的图像作为标准图像,而后,可以将该标准图像插入到该待处理图像中,得到样本图像,进而将得到的样本图像作为训练样本,对预设的图像识别模型进行训练。
由于可以根据待处理图像中包含的目标物,将与该目标物相匹配的标准物对应的标准图像自动插入到该待处理图像,以得到样本图像,因此,可以有效的提高样本图像的收集以及处理效率,节省人力成本,进而提高了模型训练的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中一种模型训练的方法的流程示意图;
图2A~2D为本申请实施例提供的将标准图像插入到待处理图像的示意图;
图3为本申请实施例提供的对待处理图像进行区域划分的示意图;
图4为本申请实施例中一种目标物识别的方法的流程示意图;
图5为本申请提供的一种模型训练的装置示意图;
图6为本申请提供的一种目标物识别的装置示意图;
图7为本申请提供的对应于图1或图4的电子设备示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请实施例中一种模型训练的方法的流程示意图,具体包括以下步骤:
S101:获取待处理图像。
在本申请实施例中,可以获取待处理图像,其中,获取该待处理图像的执行主体可以是电脑等具有图像处理功能的设备,也可以是服务器。为了便于后续描述,下面将仅以服务器为执行主体为例,对本申请提供的模型训练的方法进行说明。
S102:根据所述待处理图像中包含的目标物,从预设的各标准物中选取与所述目标物相匹配的标准物,确定选取出的标准物所对应的图像作为标准图像。
在实际应用中,若是样本图像中包含的目标物的数量较少或是较小,则图像识别模型通常无法对其进行有效的识别,所以,不利于图像识别模型的训练。基于此,为了保证得到的样本图像能够对图像识别模型的训练起到良好的训练效果,在本申请实施例中,服务器可以根据该待处理图像中包含的目标物,从预设的各标准物中选取与该目标物相匹配的标准物,并将选取出的标准物所对应的图像作为标准图像,进而在后续过程中,将得到的标准图像插入到待处理图像中,得到样本图像。其中,这里提到的待处理图像中包含的目标物是指存在于该待处理图像中的物体。通过这种方式得到的样本图像,样本图像中包含的目标物的数量不至较少,因此有利于作为训练样本,对预设的图像识别模型进行训练。
在本申请实施例中,服务器可以根据该目标物的类别,从预设的各标准物中选取与该目标物的类别相匹配的标准物。其中,这里提到的目标物的类别用于表明该目标物的实际分类。例如,若是该目标物为飞机,则该目标物的类别应为交通工具;再例如,若是该目标物为交通信号灯,则该目标物的类别应为交通设施。相应的,对于每个类别,该类别在实际中均对应有多个标准物,例如,汽车、自行车、轮船、火车这些均属于交通工具这一类别。
对于标准物(或是目标物)的类别来说,其实是通过各标准物的不同实际用途将各标准物进行了分类,而相同类别的不同的标准物其实是将相同用途的物体进行了区分。例如,飞机、轮船、汽车均属于交通工具这一类别,而这三者其实是三个不同的标准物。需要指出的是,对于实际特征不同(如不同型号、不同颜色、不同尺寸等)的同类物体,均可以算作是同一标准物,例如,无论是轿车还是越野车,均属于汽车这一标准物。而之所以称之为标准物,主要用于和待处理图像中的目标物相区分。
服务器中可以设有用于保存各标准物的图像的标准库,其中,对于每个标准物,该标准物可以对应有多个图像,当然也可以只对应一个图像。这些图像可以是服务器从网络中进行收集的,也可以是人工进行收集、筛选出的。服务器可以根据该待处理图像中包含的目标物的类别,从预设的各标准物中选取与该目标物的类别相匹配的标准物所对应的图像作为标准图像。
例如,假设该待处理图像中包含的目标物为飞机,该目标物的类别为交通工具,则服务器可以从预设的各标准物确定出轮船、汽车这两个标准物与交通工具这一类别相匹配(即这两个标准物归属于交通工具这一类别),则可以从标准库中选取出轮船、汽车这两个标准物所对应的图像作为标准图像。
对于该待处理图像中包含的目标物的类别的识别工作,可以通过人工的方式进行识别,即,通过人工的方式标注出该待处理图像中包含的目标物的类别。当然,在本申请实施例中,也可以通过预设的图像识别模型识别出该待处理图像中包含的目标物,并进一步地确定出该目标物的类别。其中,这里提到的图像识别模型与后续提到的需要训练的图像识别模型可以是同一模型,也可以是不同的模型。
当这两个模型为同一模型时,服务器可以将该待处理图像输入到该图像识别模型中,得到识别结果。由于该图像识别模型可能未经大量训练样本的充分训练而导致识别能力较低,所以,若是未能通过该图像识别模型从该待处理图像中识别出该目标物及其类别,则可以向工作人员发起通知,以通过人工的方式,确定出该待处理图像中包含的目标物的类别。
当然,服务器也可以通过其他的方式,从预设的各标准物中选取与该目标物相匹配的标准物。例如,服务器可以确定该目标物在该待处理图像中的尺寸,进而从预设的各标准物中选取默认尺寸与该目标物的尺寸相匹配的标准物,并将选取出的标准物所对应的图像作为标准图像,其中,这里提到的默认尺寸并不是指标准物的实际尺寸,而是指标准物对应的图像存储在标准库中时所默认的尺寸;再例如,服务器可以确定出该目标物的形状,并从预设的各标准物中选取出形状与该目标物的形状相匹配的标准物。其他的方式在此就不一一举例说明了。
S103:将所述标准图像插入到所述待处理图像中,得到样本图像。
在选取出标准图像后,服务器可以将这些标准图像按照一定的方式插入到待处理图像中,得到样本图像。具体的,由于在本申请提供的模型训练方法的实施过程中,较为重要的一点是使得到的样本图像中包含的物体的数量,相比于待处理图像中包含的物体的数量具有显著的提升,所以,需要保证插入的标准图像不能遮挡住待处理图像中原本的目标物。因此,在本申请实施例中,服务器可以将选取出的标准图像插入到该待处理图像中目标物所处区域以外的其他区域内,得到样本图像。
其中,服务器可以在该待处理图像中划分出各个区域,以确定出哪些区域是该待处理图像中包含的目标物不占用的,即,确定出与该目标物所处区域不相重叠的各区域,并可以将这些区域作为各候选区域。而后,服务器可以根据标注出的待处理图像中各区域所对应的背景类别,以及各标准物与各背景类别的对应关系,从这些候选区域中确定出该标准图像对应的标准物所属的候选区域,并作为待插入区域,进而可以将标准图像插入到待插入区域内,得到样本图像。
在实际应用中,相同用途的物体所处的使用区域可能各不相同,例如,飞机和轮船均归属于交通工具这一类别,但是,飞机是在天空中飞行的,而轮船则是在水中行驶的。基于此,在本申请实施例中,服务器可以记录每个标准物所对应的背景类别,这里提到的背景类别即用于表明标准物所对应的使用区域。
因此,服务器从该待处理图像中确定出各候选区域后,需要根据标注出的该待处理图像中各区域对应的背景类别,将标准图像插入到与之匹配的候选区域内,如图2A~2D所示。
图2A~2D为本申请实施例提供的将标准图像插入到待处理图像的示意图。
图2A所示的待处理图像中包含有轮船这一目标物,轮船这一目标物所属的类别为交通工具。因此,服务器可以根据交通工具这一类别,从图2B所示的包含有各标准物的图像的标准库中,选取与该类别相匹配的标准物的图像作为标准图像。其中,服务器可以从该标准库中选取出飞机和轮船这两个标准物的图像作为标准图像,并在后续过程中,将这两个标准物的标准图像插入到该待处理图像中。
服务器可以按照如图2C所示的方式,在该待处理图像中划分成各区域。在图2C中,轮船这一目标物位于该待处理图像中第四行的第2个区域内,所以,服务器可以将其他的区域作为与该目标物所处的区域不相重叠的各候选区域。而从图2C中可以看出,这些候选区域所对应的背景类别不尽相同。例如,第四行和第五行的这些候选区域对应的背景类别为水域(第四行的这些候选区域内即包含有山脉也包含有水域,默认水域的优先级高于山脉,所以第四行的这些候选区域对应的背景类别为水域),第一行和第二行的候选区域对应的背景类别为天空。
所以,服务器根据选取出的标准图像的标准物与背景类别之间的对应关系,确定出飞机与天空这一背景类别相匹配,轮船与水域这一背景类别相匹配,继而可以将第一行、第二行的各候选区域作为插入飞机这一标准物的标准图像的待插入区域,第四行(除目标物所占的区域外)以及第五行的各候选区域作为插入轮船这一标准物的标准图像的待插入区域。
服务器可以根据确定出的各标准物的标准图像所对应的待插入区域,分别将飞机、轮船这两个标准物的标准图像插入到该待处理图像中,从而得到如图2D所示的样本图像。
在本申请实施例中,待处理图像中各区域所对应的背景类别可以人工的方式进行标注,当然,服务器也可以将该待处理图像输入到预设的标注模型中,以通过该标注模型,自动的对该待处理图像中各区域所对应的背景类别进行标注。
服务器对待处理图像进行区域划分时,可以根据选取出的标准图像的大小,在该待处理图像中划分出各区域。如图3所示。
图3为本申请实施例提供的对待处理图像进行区域划分的示意图。
假设,各标准物均对应有各自的默认尺寸,服务器可以根据选取出的标准图像对应的标准物的默认尺寸,按照如图3所示的方式,从该待处理图像的左上角开始,依次在该待处理图像中划分出该默认尺寸大小的各区域,从而得到如图3所示的划分结果。
当然,服务器也可以按照该目标物在该待处理图像中的尺寸,对该待处理图像中的各区域进行划分,具体的划分方式与上述示例的方式基本相同,在此就不详细赘述了。
另外,服务器也可以按照其他的方式,对待处理图像中的各区域进行划分。例如,服务器可以先标注出目标物在待处理图像中所占用的像素区域,而后,可以按照预设的尺寸,对其他像素区域进行划分,从而得到各区域。其他的划分方式在此就不详细举例说明了。
需要说明的是,本申请实施例提到的标准物所对应的标准图像可以是指不包含任何背景,仅包含有标准物轮廓大小的图像,所以,本申请实施例提到的标准图像的尺寸其实是指标准物轮廓的尺寸。
在本申请实施例中,服务器可以根据目标物在待处理图像中的尺寸,调整选取出的标准图像在该待处理图像中的尺寸,得到样本图像。具体的,服务器确定出该目标物在该待处理图像中的尺寸(即该目标物占用了该待处理图像中的多大区域)后,可以通过预设的调整范围,以及该目标物在该待处理图像中尺寸,对该标准图像在该待处理图像中的尺寸进行调整。例如,假设目标物在该待处理图像中的尺寸为:A,预设的调整范围为:0.8~1.2,服务器可以从该调整范围中随机选取一个调整比例:0.9,进而可以将标准图像在该待处理图像中的尺寸调整成0.9A的大小。从这一过程来看,其实是指服务器按照目标物在该待处理图像中的尺寸,将需要插入到该待处理图像中进行呈现的标准物的尺寸调整成与目标物的尺寸相适应的尺寸。
S104:将所述样本图像作为训练样本,对预设的图像识别模型进行训练。
服务器可以将得到的样本图像作为训练样本,输入到该图像识别模型中,以对该图像识别模型进行训练。
从上述方法中可以看出,由于可以根据待处理图像中包含的目标物,将与该目标物相匹配的标准物对应的标准图像自动插入到该待处理图像,以得到样本图像,因此,可以有效的提高样本图像的收集以及处理效率,节省人力成本,进而提高了模型训练的效率。与此同时,通过上述方法可以使得到的样本图像中所包含的物体的数量相比于待处理图像中包含的物体的数量显著的提升,因此,通过得到的样本图像对图像识别模型进行训练,能够得到良好的训练效果。
需要说明的是,在实际应用中,图像识别模型往往对尺寸较小的物体识别效果较差,所以,通常需要大量的包含有尺寸较小的物体的样本图像对该图像识别模型进行训练。然而,若是样本图像中尺寸较小的物体的数量较低,则这些样本图像无法对图像识别模型的训练起到应有的训练效果。
而通过本申请提供的模型训练的方法,可以根据目标物在待处理图像中的尺寸,调整插入到该待处理图像的标准物在该待处理图像中的尺寸,从而使得到的样本图像中包含的小尺寸的物体的数量显著提升。换句话说,若是目标物的尺寸较小,即该目标物的尺寸不超过设定尺寸,则服务器可以按照该目标物的尺寸,将标准图像在该待处理图像中的尺寸同样调整成较小的尺寸。
例如,交通信号灯、路灯等交通设施在图像中的尺寸通常较小,为了提高图像识别模型对交通信号灯的识别能力,服务器可以按照上述的方式得到样本图像。其中,服务器可以按照交通信号灯、路灯等交通设施在待处理图像中的尺寸,将选取出的标准图像在待处理图像中的尺寸调整成同样小的尺寸,进而得到包含有尺寸较小的多个交通信号灯、路灯等交通设施的样本图像。
这样一来,得到的样本图像中包含的尺寸较小的物体的数量将显著的增加,因此,服务器通过该样本图像对图像识别模型进行训练,可以有效的提高训练后的图像识别模型对尺寸较小的物体进行识别的识别能力。
还需说明的是,上述说明的待处理图像均为平面的二维图像,而对于立体的三维图像来说,本申请提供的模型训练的方法也同样适用。即,可以根据三维图像中包含的目标物,选取出与该目标物相匹配的标准物的图像作为标准图像,并可以将选取出的标准图像插入到三维图像中,得到样本图像,进而将该样本图像输入到图像识别模型中,以对该图像识别模型进行训练。
基于上述提供的模型训练方法,本申请还提供了一种目标物识别的方法,具体过程如图4所示。
图4为本申请实施例中一种目标物识别的方法的流程示意图,具体包括以下步骤:
S401:采集待识别图像。
无人车在实际行驶过程中,需要通过设置在无人车上的摄像头进行图像采集,以通过对采集到的图像进行图像识别,来调整无人车的行进状态。基于此,无人车在实际行驶过程中可以采集待识别图像,以在后续过程中,将采集到的待识别图像输入到预先训练的图像识别模型中,得到识别结果。
S402:通过预先训练的图像识别模型,对所述待识别图像中包含的目标物进行识别。
无人车可以通过预先训练的图像识别模型,识别出该待识别图像中包含的目标物。其中,这里提到的图像识别模型可以是通过上述模型训练方法进行训练得到的。从上述模型训练方法可知,由于可以通过在待处理图像中自动插入图像,使得作为训练样本的样本图像中包含的目标物的数量显著增加。因此,利用这种方法,能够得到包含有众多交通信号灯、交通标识牌、路灯等交通设施的样本图像,以得到的样本图像作为训练样本对图像识别模型进行训练,能够显著的提升该图像识别模型对这些在图像中尺寸较小的交通设施进行有效识别的效果。所以,当无人车采集到待识别图像时,可以通过该图像识别模型,从该待识别图像中有效的识别出诸如交通信号灯、交通标识牌、路灯等在图像中尺寸较小的目标物。
S403:根据识别出的所述目标物的属性信息和/或状态信息,调整行进状态。
通过上述图像识别模型从待识别图像中识别出目标物后,可以进一步地通过图像分析,确定出目标物的属性信息以及状态信息。其中,这里提到的目标物的属性信息可以是指交通标识牌中的标识信息,如,假设目标物为限速标识牌,则属性信息可以是指该限速标识牌中具体的限制速度。这里提到的状态信息可以是指交通信号灯的信号灯状态,如,假设目标物为交通信号灯,则状态信息可以是指该交通信号灯当前显示哪一颜色的信号灯。
无人车可以通过确定出的目标物的属性信息以及状态信息,对当前的行进状态进行调整。例如,假设目标物为交通信号灯,当通过交通信号灯的状态信息,确定出远处的交通信号灯当前为红灯时,则可以对当前的行进速度进行减速,以保证当无人车行驶到交通信号灯处、且交通信号灯依然处于红灯状态时,能够及时的停止行进。
再例如,假设目标物为限速标识牌,当通过限速标识牌的属性信息,确定远处的限速标识牌所处的路段所要求的行驶速度低于当前行驶速度时,可以对当前的行进速度进行减速,以保证在行驶到该路段时,无人车不会超速行驶。
再例如,假设目标物为交通信号灯,当通过交通信号灯的状态信息确定出交通信号灯当前为红灯,且根据交通信号灯的属性信息确定出交通信号灯所处的路口不允许车辆前行和左转(即交通信号灯显示的前行和左转的红灯),则可以降低无人车当前的行进速度,并确定无人车到达交通信号灯所处的路口时,不进行左转行驶。
以上为本申请的一个或多个实施例提供的模型训练的方法以及目标物识别的方法,基于同样的思路,本申请还提供了相应的模型训练的装置以及目标物识别的装置,如图5、6所示。
图5为本申请提供的一种模型训练的装置示意图,具体包括:
获取模块501,用于获取待处理图像;
选取模块502,用于根据所述待处理图像中包含的目标物,从预设的各标准物中选取与所述目标物相匹配的标准物,确定选取出的标准物所对应的图像作为标准图像;
插入模块503,用于将所述标准图像插入到所述待处理图像中,得到样本图像;
训练模块504,用于将所述样本图像作为训练样本,对预设的图像识别模型进行训练。
可选地,所述插入模块503具体用于,将所述标准图像插入到所述待处理图像中所述目标物所处区域以外的其他区域内,得到样本图像。
可选地,所述插入模块503具体用于,根据在所述待处理图像中划分的各区域,确定与所述目标物所处区域不相重叠的各区域作为各候选区域;根据标注的所述待处理图像中各区域对应的背景类别,以及各标准物与各背景类别的对应关系,从各候选区域中确定所述标准图像对应的标准物所属的候选区域作为待插入区域;将所述标准图像插入到所述待插入区域内,得到样本图像。
可选地,所述插入模块503具体用于,根据所述标准图像的大小,在所述待处理图像中划分各区域。
可选地,所述插入模块503具体用于,根据所述目标物在所述待处理图像中的尺寸,调整所述标准图像在所述待处理图像中的尺寸,得到样本图像。
可选地,所述目标物的尺寸不超过设定尺寸。
图6为本申请提供的一种目标物识别的装置示意图,具体包括:
采集模块601,用于采集待识别图像;
识别模块602,用于通过预先训练的图像识别模型,对所述待识别图像中包含的目标物进行识别,所述图像识别模型是通过作为训练样本的样本图像训练得到的,所述样本图像是通过在获取到的待处理图像中插入与所述待处理图像中的目标物相匹配的标准物的标准图像得到的;
调整模块603,用于根据识别出的所述目标物的属性信息和/或状态信息,调整行进状态。
本申请实施例还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的模型训练的方法或执行上述图4提供的目标物识别的方法。
本申请实施例还提供了图7所示的电子设备的示意结构图。如图7所述,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的模型训练的方法或上述图4所述的目标物识别的方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种模型训练的方法,其特征在于,包括:
获取待处理图像;
根据所述待处理图像中包含的目标物,从预设的各标准物中选取与所述目标物相匹配的标准物,确定选取出的标准物所对应的图像作为标准图像;
将所述标准图像插入到所述待处理图像中,得到样本图像;
将所述样本图像作为训练样本,对预设的图像识别模型进行训练。
2.如权利要求1所述的方法,其特征在于,将所述标准图像插入到所述待处理图像中,得到样本图像,具体包括:
将所述标准图像插入到所述待处理图像中所述目标物所处区域以外的其他区域内,得到样本图像。
3.如权利要求2所述的方法,其特征在于,将所述标准图像插入到所述待处理图像中所述目标物所处区域以外的其他区域内,得到样本图像,具体包括:
根据在所述待处理图像中划分的各区域,确定与所述目标物所处区域不相重叠的各区域作为各候选区域;
根据标注的所述待处理图像中各区域对应的背景类别,以及各标准物与各背景类别的对应关系,从各候选区域中确定所述标准图像对应的标准物所属的候选区域作为待插入区域;
将所述标准图像插入到所述待插入区域内,得到样本图像。
4.如权利要求3所述的方法,其特征在于,在所述待处理图像中划分各区域,具体包括:
根据所述标准图像的大小,在所述待处理图像中划分各区域。
5.如权利要求1所述的方法,其特征在于,将所述标准图像插入到所述待处理图像中,得到样本图像,具体包括:
根据所述目标物在所述待处理图像中的尺寸,调整所述标准图像在所述待处理图像中的尺寸,得到样本图像。
6.如权利要求1~5任一项所述的方法,其特征在于,所述目标物的尺寸不超过设定尺寸。
7.一种目标物识别的方法,其特征在于,包括:
采集待识别图像;
通过预先训练的图像识别模型,对所述待识别图像中包含的目标物进行识别,所述图像识别模型是通过作为训练样本的样本图像训练得到的,所述样本图像是通过在获取到的待处理图像中插入与所述待处理图像中的目标物相匹配的标准物的标准图像得到的;
根据识别出的所述目标物的属性信息和/或状态信息,调整行进状态。
8.一种模型训练的装置,其特征在于,包括:
获取模块,用于获取待处理图像;
选取模块,用于根据所述待处理图像中包含的目标物,从预设的各标准物中选取与所述目标物相匹配的标准物,确定选取出的标准物所对应的图像作为标准图像;
插入模块,用于将所述标准图像插入到所述待处理图像中,得到样本图像;
训练模块,用于将所述样本图像作为训练样本,对预设的图像识别模型进行训练。
9.一种目标物识别的装置,其特征在于,包括:
采集模块,用于采集待识别图像;
识别模块,用于通过预先训练的图像识别模型,对所述待识别图像中包含的目标物进行识别,所述图像识别模型是通过作为训练样本的样本图像训练得到的,所述样本图像是通过在获取到的待处理图像中插入与所述待处理图像中的目标物相匹配的标准物的标准图像得到的;
调整模块,用于根据识别出的所述目标物的属性信息和/或状态信息,调整行进状态。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
11.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
CN201910536593.6A 2019-06-20 2019-06-20 一种模型训练以及目标物识别的方法及装置 Pending CN110287850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910536593.6A CN110287850A (zh) 2019-06-20 2019-06-20 一种模型训练以及目标物识别的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910536593.6A CN110287850A (zh) 2019-06-20 2019-06-20 一种模型训练以及目标物识别的方法及装置

Publications (1)

Publication Number Publication Date
CN110287850A true CN110287850A (zh) 2019-09-27

Family

ID=68004387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910536593.6A Pending CN110287850A (zh) 2019-06-20 2019-06-20 一种模型训练以及目标物识别的方法及装置

Country Status (1)

Country Link
CN (1) CN110287850A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991496A (zh) * 2019-11-15 2020-04-10 北京三快在线科技有限公司 一种训练模型的方法及装置
CN111368902A (zh) * 2020-02-28 2020-07-03 北京三快在线科技有限公司 一种数据标注的方法及装置
CN111426299A (zh) * 2020-06-15 2020-07-17 北京三快在线科技有限公司 一种基于目标物的景深进行测距的方法及装置
CN111753661A (zh) * 2020-05-25 2020-10-09 济南浪潮高新科技投资发展有限公司 一种基于神经网路的目标识别方法、设备及介质
CN112906437A (zh) * 2019-12-04 2021-06-04 中国农业科学院农业资源与农业区划研究所 一种燕麦植株识别的方法及装置
CN113344198A (zh) * 2021-06-09 2021-09-03 北京三快在线科技有限公司 一种模型训练的方法及装置
CN113807185A (zh) * 2021-08-18 2021-12-17 苏州涟漪信息科技有限公司 一种数据处理方法和装置
WO2022213867A1 (zh) * 2021-04-07 2022-10-13 北京三快在线科技有限公司 目标物识别

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220959A (zh) * 2017-05-17 2017-09-29 东莞市华睿电子科技有限公司 一种基于无人机的图像处理方法
CN107886104A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 一种图像的标注方法
CN108537129A (zh) * 2018-03-14 2018-09-14 北京影谱科技股份有限公司 训练样本的标注方法、装置和系统
CN109614983A (zh) * 2018-10-26 2019-04-12 阿里巴巴集团控股有限公司 训练数据的生成方法、装置及系统
CN109685847A (zh) * 2018-12-26 2019-04-26 北京因时机器人科技有限公司 一种视觉目标检测模型的训练方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886104A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 一种图像的标注方法
CN107220959A (zh) * 2017-05-17 2017-09-29 东莞市华睿电子科技有限公司 一种基于无人机的图像处理方法
CN108537129A (zh) * 2018-03-14 2018-09-14 北京影谱科技股份有限公司 训练样本的标注方法、装置和系统
CN109614983A (zh) * 2018-10-26 2019-04-12 阿里巴巴集团控股有限公司 训练数据的生成方法、装置及系统
CN109685847A (zh) * 2018-12-26 2019-04-26 北京因时机器人科技有限公司 一种视觉目标检测模型的训练方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NIKITA DVORNIK 等: "Modeling Visual Context Is Key to Augmenting Object Detection Datasets", 《ECCV 2018: COMPUTER VISION》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991496A (zh) * 2019-11-15 2020-04-10 北京三快在线科技有限公司 一种训练模型的方法及装置
CN110991496B (zh) * 2019-11-15 2023-05-30 北京三快在线科技有限公司 一种训练模型的方法及装置
CN112906437A (zh) * 2019-12-04 2021-06-04 中国农业科学院农业资源与农业区划研究所 一种燕麦植株识别的方法及装置
CN112906437B (zh) * 2019-12-04 2023-12-26 中国农业科学院农业资源与农业区划研究所 一种燕麦植株识别的方法及装置
CN111368902A (zh) * 2020-02-28 2020-07-03 北京三快在线科技有限公司 一种数据标注的方法及装置
CN111753661A (zh) * 2020-05-25 2020-10-09 济南浪潮高新科技投资发展有限公司 一种基于神经网路的目标识别方法、设备及介质
CN111753661B (zh) * 2020-05-25 2022-07-12 山东浪潮科学研究院有限公司 一种基于神经网路的目标识别方法、设备及介质
CN111426299A (zh) * 2020-06-15 2020-07-17 北京三快在线科技有限公司 一种基于目标物的景深进行测距的方法及装置
WO2022213867A1 (zh) * 2021-04-07 2022-10-13 北京三快在线科技有限公司 目标物识别
CN113344198B (zh) * 2021-06-09 2022-08-26 北京三快在线科技有限公司 一种模型训练的方法及装置
CN113344198A (zh) * 2021-06-09 2021-09-03 北京三快在线科技有限公司 一种模型训练的方法及装置
CN113807185A (zh) * 2021-08-18 2021-12-17 苏州涟漪信息科技有限公司 一种数据处理方法和装置
CN113807185B (zh) * 2021-08-18 2024-02-27 苏州涟漪信息科技有限公司 一种数据处理方法和装置

Similar Documents

Publication Publication Date Title
CN110287850A (zh) 一种模型训练以及目标物识别的方法及装置
CN108345831A (zh) 基于点云数据的道路图像分割的方法、装置以及电子设备
CN111311709A (zh) 一种生成高精地图的方法及装置
CN108961327A (zh) 一种单目深度估计方法及其装置、设备和存储介质
CN112015847B (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
EP2887312A1 (en) Method, apparatus and computer program product for depth estimation of stereo images
CN107368510B (zh) 一种店铺搜索排序方法及装置
CN111882611B (zh) 一种地图构建方法及装置
CN108320296A (zh) 一种视频中目标对象的检测跟踪方法、装置及设备
CN110162089B (zh) 一种无人驾驶的仿真方法及装置
CN109034183A (zh) 一种目标检测方法、装置及设备
CN108848301A (zh) 一种票据拍摄交互方法、装置、处理设备及客户端
CN111797698A (zh) 目标物的识别方法及识别装置
CN112327864A (zh) 一种无人驾驶设备的控制方法及控制装置
CN111797711A (zh) 一种模型训练的方法及装置
CN108921190A (zh) 一种图像分类方法、装置及电子设备
CN107066520B (zh) 一种基于多个语义层次的图片检索方法及系统
CN110414572A (zh) 一种图像识别的方法及装置
CN112990099B (zh) 一种车道线检测的方法以及装置
CN114332808A (zh) 一种预测转向意图的方法及装置
CN110148013A (zh) 一种用户标签分布预测方法、装置及系统
CN109190687A (zh) 一种神经网络系统及其识别车辆属性的方法
CN112365513A (zh) 一种模型训练的方法及装置
CN110187402A (zh) 一种应用于无人驾驶设备的物体识别方法
CN116258756A (zh) 一种自监督单目深度估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190927

RJ01 Rejection of invention patent application after publication