CN113688920A - 模型训练及目标检测方法、装置、电子设备以及路侧设备 - Google Patents
模型训练及目标检测方法、装置、电子设备以及路侧设备 Download PDFInfo
- Publication number
- CN113688920A CN113688920A CN202111006490.2A CN202111006490A CN113688920A CN 113688920 A CN113688920 A CN 113688920A CN 202111006490 A CN202111006490 A CN 202111006490A CN 113688920 A CN113688920 A CN 113688920A
- Authority
- CN
- China
- Prior art keywords
- error
- sample
- model
- calculating
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000005457 optimization Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims description 69
- 230000006870 function Effects 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 19
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种模型训练及目标检测方法、装置、电子设备以及路侧设备，涉及图像处理技术领域，尤其涉及智能交通、深度学习等领域。具体实现方案为：获取多个样本图像以及各个样本图像的样本标签；针对各个样本图像，将样本图像输入初始模型，通过初始模型得到预测位置信息；基于各个样本图像的预测位置信息和样本标签，利用优化目标对初始模型训练，得到训练好的模型，其中，优化目标包含优化预测位置信息和样本标签的重合误差。能够提升模型针对目标检测的精度。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及智能交通、深度学习等领域。
背景技术
智能交通中目标检测是计算机视觉的基础任务之一，随着大规模公开数据的公布和计算资源的飞速发展，一系列优秀的目标检测方法涌现出来。
发明内容
本公开提供了一种模型训练及目标检测方法、装置、设备以及存储介质。
根据本公开的第一方面，提供了一种用于目标检测的模型训练方法，包括：
获取多个样本图像以及各个样本图像的样本标签；
针对各个样本图像，将所述样本图像输入初始模型，通过所述初始模型得到预测位置信息；
基于各个样本图像的所述预测位置信息和所述样本标签，利用优化目标对所述初始模型训练，得到训练好的模型，其中，所述优化目标包含优化所述预测位置信息和所述样本标签的重合误差。
根据本公开的第二方面，提供了一种目标检测方法，包括：
获取待检测图像；
将所述待检测图像输入预先训练好的模型，通过所述模型得到所述待检测图像中目标的检测信息；其中，所述模型是利用上述第一方面所述的用于目标检测的模型训练方法训练得到的。
根据本公开的第三方面，提供了用于目标检测的模型训练装置，包括：
第一获取模块，用于获取多个样本图像以及各个样本图像的样本标签；
预测结果获得模块，用于针对各个样本图像，将所述样本图像输入初始模型，通过所述初始模型得到预测位置信息；
训练模块，用于基于各个样本图像的所述预测位置信息和所述样本标签，利用优化目标对所述初始模型训练，得到训练好的模型，其中，所述优化目标包含优化所述预测位置信息和所述样本标签的重合误差。
根据本公开的第四方面，还提供了一种目标检测装置，包括：
第二获取模块，用于获取待检测图像；
检测模块，用于将所述待检测图像输入预先训练好的模型，通过所述模型得到所述待检测图像中目标的检测信息；其中，所述模型是利用上述第三方面所述的用于目标检测的模型训练装置训练得到的。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的的第六方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第二方面中所述的方法。
根据本公开的的第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
根据本公开的的第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第二方面所述的方法。
根据本公开的的第九方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
根据本公开的的第十方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第二方面所述的方法。
根据本公开的的第十一方面，本公开实施例还提供了一种路侧设备，包括如第五方面或第六方面所述的电子设备。
根据本公开的的第十二方面，本公开实施例还提供了一种云控平台，包括如第五方面或第六方面所述的电子设备。
本公开实施例能够提升模型针对目标检测的精度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例提供的用于目标检测的模型训练方法的流程图；
图2是本公开实施例中基于各个样本图像的预测位置信息和样本标签，利用优化目标对初始模型训练的流程图；
图3是本公开实施例中计算样本图像的预测位置信息和样本标签的误差值的流程图；
图4是本公开实施例中重合误差的示意图；
图5是本公开实施例提供的目标检测方法的流程图；
图6是本公开实施例提供的用于目标检测的模型训练装置的结构示意图；
图7是本公开实施例提供的用于目标检测的模型训练装置中训练模块的结构示意图；
图8是本公开实施例提供的目标检测装置的结构示意图；
图9是用来实现本公开实施例的用于目标检测的模型训练方法的电子设备的框图；
图10是用来实现本公开实施例的目标检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
感知目标检测是计算机视觉的基础任务之一，随着大规模公开数据的公布和计算资源的飞速发展，一系列优秀的目标检测方法涌现出来，如基于区域的卷积神经网络(Region-based Convolutional Neural Networks，RCNN)系列，单点多目标检测(SingleShot MultiBox Detector，SSD)，实时目标检测(You Only Look Once:Unified,Real-TimeObject Detection，YOLO)系列，CenterNet(Objects as Points，目标当做点来做检测)方法等等。这些方法以卓越的性能和精度优势，被工业界广泛的尝试应用。目前这些方法已经可以在一些简单的场景中很好的运行。但是同时面对工业界的越来越多的复杂场景需求，目前的这些方法很难解决。如在3D(三维)感知检测场景中，由于方法的优化目标太过于简单，目标的位置预测精度往往不够准确，特别是远离传感器的位置目标。点云目标检测作为雷达传感器的解决方案，可以直接获取到目标物体的实际位置，因此位置目标预测较于视觉传感器要精确一点，但是因为目标的表征信息过少，对于目标的识别有限。综上所述，目前的感知检测方法存在如下的缺点：(1)位置优化目标过于简单，算法预测位置精度有限。(2)3D点云检测方案表征信息过少，目标识别有限。
为了解决目前的目标检测方法存在的问题，本公开实施例提供了一种用于目标检测的模型训练方法，并利用该训练方法得到的模型进行模型检测，提高目标检测的精度，且能够避免采用点云检测方式因表征信息过少而导致的目标识别有限的问题。
下面对本公开实施例提供的用于目标检测的模型训练方法进行详细说明。
本公开实施例提供的用于目标检测的模型训练方法可以应用于电子设备，具体地，电子设备可以包括服务器、终端等等。
本公开实施例提供了一种用于目标检测的模型训练方法，包括：
获取多个样本图像以及各个样本图像的样本标签；
针对各个样本图像，将样本图像输入初始模型，通过初始模型得到预测位置信息；
基于各个样本图像的预测位置信息和样本标签，利用优化目标对初始模型训练，得到训练好的模型，其中，优化目标包含优化预测位置信息和样本标签的重合误差。
在对用于目标检测的模型的训练过程中，增加了对预测值和真实值之间的重合误差进行优化，即在模型训练过程中，对样本图像的预测位置信息和样本标签的重合误差进行优化，如此，能够提高模型的检测精度。
图1为本公开实施例提供的用于目标检测的模型训练方法的流程图，参见图1，本公开实施例提供了用于目标检测的模型训练方法，可以包括：
S101，获取多个样本图像以及各个样本图像的样本标签。
样本图像可以是通过摄像头等采集设备采集得到的图像，或者，从公开数据集等获取到的图像。样本图像可以是包含目标的图像，其中，目标可以是车辆、人、动物等等。
例如，当训练的模型是应用于车辆检测或车辆跟踪场景中，则可以通过安装于路边的摄像头采集包含有车辆的图像作为样本图像。当训练的模型是用于检测场景中的人、动物等物体，则可以通过摄像头采集包含人、动物等物体的图像。
样本标签可以是对样本图像中目标进行标注的标签。例如，可以是对样本图像中目标的位置进行标注的位置标签，具体可以是位置标注框，该位置标志框可以理解为样本图像中目标位置的真实框。
S102，针对各个样本图像，将样本图像输入初始模型，通过初始模型得到预测位置信息。
初始模型可以是常规的目标检测模型，例如，可以是深度学习模型等。在对模型训练之前，可以对模型参数进行初始化，初始模型即为包含初始化的模型参数的模型。对初始模型进行训练的过程也可以理解为对模型参数进行调整的过程。
S103，基于各个样本图像的预测位置信息和样本标签，利用优化目标对初始模型训练，得到训练好的模型。
其中，优化目标包含优化预测位置信息和样本标签的重合误差。
一种可选的实施例中，如图2所示，上述实施例中S103可以包括：
S201，针对各个样本图像，计算样本图像的预测位置信息和样本标签的误差值。
误差值包含预测位置信息和样本标签的重合误差。一种方式中，误差值仅包括预测位置信息和样本标签的重合误差。另一种方式中，误差值除了包括预测位置信息和样本标签的重合误差，还可以包括预测框的中心与真实框的中心的中心误差，以及预测框的尺寸与真实框的尺寸的尺寸误差。
S202，基于误差值调整模型参数，直至误差值收敛，得到训练好的模型，训练好的模型包括误差值收敛时的模型参数。
可以基于误差值计算反传误差梯度并更新权重，权重即模型中不同层级中各个单元的权重，各个层级各个单元的权重组成模型参数。其中，依据反传误差梯度更新模型参数参照已有技术的方式即可。在进行一次参数调整后，对误差梯度归零，避免误差梯度累计对模型参数调整造成影响而影响模型精度。
一种可实现方式中，训练过程由正向传播和误差梯度的反向传播两个过程组成。正向传播时，样本图像从输入层传入，经各隐层处理后，传向输出层。若输出层的实际输出(如预测位置信息)与期望的输出(样本标签)不符，则转入误差梯度的反向传播。误差梯度反传是利用输出误差(上述误差值)计算误差梯度，将误差梯度通过隐层向输入层逐层反传，并将误差梯度分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权重的依据。这种正向传播与误差梯度方向传播的各层权重调整过程，是周而复始地进行的。权重不断调整的过程，也就是模型的训练过程。此过程一直进行到模型输出的误差减小到可接受的程度，如误差值多次为某一值不再减小，或进行到预先设定的次数为止。
利用包含预测位置信息和样本标签的重合误差的误差值对模型进行训练，在模型训练过程中结合了预测位置信息和样本标签的重叠度对模型检测精度的影响，也即考虑了预测位置框与真实的目标框的重叠度对于感知检测模型的检测精度影响，如此，能够更加全面地约束模型，提高模型针对目标的检测精度。
一种可实现方式中，可以仅依据重合误差作为约束条件对模型进行训练，即优化目标仅优化预测位置信息和样本标签的的重合误差。
可以计算样本图像的预测位置信息和样本标签的重合误差，并将重合误差作为误差值。
这种情况下，基于误差值调整模型参数，即基于重合误差调整模型参数。
在模型训练过程中，不断调整模型参数以优化预测位置信息和样本标签的重合误差，具体地，调整模型参数，使得预测位置信息和样本标签的重合误差收敛于最小值，当各个样本图像对应的重合误差均收敛于最小值时确定模型参数，包含该模型参数的模型即为训练好的模型。
其中，针对一样本图像，当预测位置信息和样本标签的重合误差持续多次为某一值不再减小时，可以理解为重合误差收敛于最小值，持续多次的该值即为最小值，多次可以是根据实际经验或者需求确定的次数。
在模型训练过程中考虑重合误差可以提供一种更高层次的约束条件，提升训练的模型的精度，同时保证了模型在预测框与真实框在任何相对位置可导，也即模型的参数优化不会出现突变或者参数无法更新的情况。
另一种可实现方式中，重合误差是优化目标的一部分，除了重合误差，还可以结合点优化和线优化。将仅考虑优化目标中心点或者顶点的方式称之为点优化，仅优化长、宽的方式称之为线优化。本公开实施例中优化预测框与真实框的重合度的可以称之为面优化。
具体地，如图3所示，S201可以包括：
S301，计算预测框的中心与真实框的中心的中心误差。
S302，计算预测框的尺寸与真实框的尺寸的尺寸误差。
S303，计算样本图像的预测位置信息和样本标签的重合误差。
S304，基于中心误差、尺寸误差以及重合误差，计算样本图像的预测位置信息和样本标签的误差值。
这种情况下，基于误差值调整模型参数，即基于中心误差、尺寸误差以及重合误差计算得到的误差值调整模型参数。
在模型训练过程中，不断调整模型参数以优化基于中心误差、尺寸误差以及重合误差计算得到的误差值。具体地，调整模型参数，使得基于中心误差、尺寸误差以及重合误差计算得到的误差值收敛于最小值，当各个样本图像对应的误差值均收敛于最小值时确定模型参数，包含该模型参数的模型即为训练好的模型。
也可以理解为同时考虑了预测框中心与真实框中心之间的误差、预测框尺寸(长宽)与真实框尺寸之间的误差，以及预测框与真实框的重合误差，将中心误差、尺寸误差和重合误差同时作为约束条件对模型进行训练。也可以理解为多方位(点、线、面)误差优化，在不改变模型结构和不增加推理时间的前提下，提升模型的检测精度。
预测位置信息为预测框，样本标签为真实框。上述实施例中计算样本图像的预测位置信息和样本标签的重合误差，可以包括：
计算同时包含预测框和真实框的外接矩形框；计算预测框与真实框的重叠区域；计算重叠区域外接矩形框的比值，并将比值作为重合误差。
如图4所示，A框为预测框，B框为真实框，C为最小包含A框和B框的框，也即预测框和真实框的外接矩形框。D为A框和B框的重叠区域。
重合误差为
其中，A表示预测位置信息，B表示真实位置信息，如样本图像对应的样本标签，D表示A与B的交集，C表示同时包含预测位置信息和真实位置信息的位置信息。
如此，可以准确、方便地计算重合误差，进而可以使得利用重合误差训练模型更加方便，同时，提升训练的模型的精度。
一种可实现方式中，S304可以包括：基于中心误差、尺寸误差以及比值，通过公式(2)计算预测位置信息和样本标签的误差值；
其中，α、β表示系数，Lp表示点优化损失函数，Ll表示线优化损失函数，LA_IOU表示面损失函数，i表示预测框的标识，N表示预测框的个数，L表示总损失函数，利用总损失函数计算得到误差值，利用点优化损失函数计算得到中心误差，利用线优化损失函数计算得到尺寸误差，利用面损失函数计算重合误差，Lcls表示分类损失函数，具体可以为交叉熵损失函数，如公式(3)
其中，
为第i个预测框对应类别c的真实概率，若预测框内的特征是类别c，那么
为1，否则为0；pi(c)是第i个预测框预测为类别c的概率，取值范围为(0，1)。
其中，
表示第i个预测框对应的预测中心点，
表示真实框的中心点，m1表示中心点的取值属于(cx,cy)，cx表示中心点的横坐标，cy表示中心点的纵坐标。
其中，
表示第i个预测框对应的预测尺寸，
表示真实框的尺寸，m2表示尺寸的取值属于(w,h)，w表示长，h表示宽，其中，预测尺寸指的是预测框的长和宽，真实框的尺寸指的是真实框的长和宽。
可以全面结合中心误差、所述尺寸误差以及所述重合误差确定表征模型预测值和样本标签之间的误差，即为模型训练提供了全面的约束条件，如此，能够提高训练的模型的精度，也可以理解为提高了模型预测位置的精度。
本公开实施例还提供了一种目标检测方法，如图5所示，可以包括：
S501，获取待检测图像。
S502，将待检测图像输入预先训练好的模型，通过模型得到待检测图像中目标的检测信息。
其中，模型是利用上述实施例中用于目标检测的模型训练方法训练得到的。
即模型训练好之后可以将模型保存，在需要进行目标检测时，可以直接加载该模型，将待检测图像输入该模型，该模型即可以直接输出目标检测结果。
本公开实施例中在用于检测目标位置的模型的训练过程中，增加了优化重合误差的约束条件，如此，提升了训练的模型的精度，因此，使用该模型对目标检测的精度也就提升了。
本公开实施例还提供了一种用于目标检测的模型训练装置，如图6所示，可以包括：
第一获取模块601，用于获取多个样本图像以及各个样本图像的样本标签；
预测结果获得模块602，用于针对各个样本图像，将样本图像输入初始模型，通过初始模型得到预测位置信息；
训练模块603，用于基于各个样本图像的预测位置信息和样本标签，利用优化目标对初始模型训练，得到训练好的模型，其中，优化目标包含优化预测位置信息和样本标签的重合误差。
可选的，训练模块603，如图7所示，可以包括：
计算子模块701，用于针对各个样本图像，计算样本图像的预测位置信息和样本标签的误差值；误差值包含预测位置信息和样本标签的的重合误差；
调整子模块702，用于基于误差值调整模型参数，直至误差值收敛，得到训练好的模型，训练好的模型包括误差值收敛时的模型参数。
可选的，计算子模块701，具体用于计算样本图像的预测位置信息和样本标签的重合误差，并将重合误差作为误差值。
可选的，其中，所述预测位置信息为预测框，所述样本标签为真实框；计算子模块701，具体用于计算预测框的中心与真实框的中心的中心误差；计算预测框的尺寸与真实框的尺寸的尺寸误差；计算样本图像的预测位置信息和样本标签的重合误差；基于中心误差、尺寸误差以及重合误差，计算样本图像的预测位置信息和样本标签的误差值。
可选的，计算子模块701，具体用于基于中心误差、尺寸误差以及比值，通过公式
计算预测位置信息和样本标签的误差值；
其中，α、β表示系数，Lp表示点优化损失函数，Ll表示线优化损失函数，LA_表示面损失函数，i表示预测框的标识，N表示预测框的个数，L表示总损失函数，利用总损失函数计算得到误差值，利用点优化损失函数计算得到中心误差，利用线优化损失函数计算得到尺寸误差，利用面损失函数计算重合误差，Lcls表示分类损失函数。
可选的，计算子模块701，具体用于计算同时包含预测框和真实框的外接矩形框；计算预测框与真实框的重叠区域；计算重叠区域外接矩形框的比值，并将比值作为重合误差。
本公开实施例还提供了一种目标检测装置，如图8所示，可以包括：
第二获取模块801，用于获取待检测图像；
检测模块802，用于将待检测图像输入预先训练好的模型，通过模型得到待检测图像中目标的检测信息；其中，模型是利用上述实施例中用于目标检测的模型训练装置训练得到的。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如用于目标检测的模型训练方法。例如，在一些实施例中，用于目标检测的模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的用于目标检测的模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于目标检测的模型训练方法。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如目标检测方法。例如，在一些实施例中，目标检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的目标检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标检测方法。
本公开实施例还提供了一种路侧设备，包括上述实施例所述的电子设备。例如，可以包括图9所示实施例中的电子设备或者图10所示实施例中的电子设备。
可选的，路侧设备除了包括电子设备，还可以包括通信部件等，电子设备可以和通信部件一体集成，也可以分体设置。电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算。
可选的，电子设备自身也可以具备感知数据获取功能和通信功能，例如是AI相机，电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算。
本公开实施例还提供了一种云控平台，包括上述实施例所述的电子设备。例如，可以包括图9所示实施例中的电子设备或者图10所示实施例中的电子设备。
可选的，云控平台在云端执行处理，云控平台包括的电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算；云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统、云端服务器等。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (22)
1.一种用于目标检测的模型训练方法，包括：
获取多个样本图像以及各个样本图像的样本标签；
针对各个样本图像，将所述样本图像输入初始模型，通过所述初始模型得到预测位置信息；
基于各个样本图像的所述预测位置信息和所述样本标签，利用优化目标对所述初始模型训练，得到训练好的模型，其中，所述优化目标包含优化所述预测位置信息和所述样本标签的重合误差。
2.根据权利要求1所述的方法，所述基于各个样本图像的所述预测位置信息和所述样本标签，利用优化目标对所述初始模型训练，得到训练好的模型，包括：
针对各个样本图像，计算所述样本图像的所述预测位置信息和所述样本标签的误差值；所述误差值包含所述预测位置信息和所述样本标签的的重合误差；
基于所述误差值调整模型参数，直至所述误差值收敛，得到训练好的模型，所述训练好的模型包括所述误差值收敛时的模型参数。
3.根据权利要求2所述的方法，所述计算所述样本图像的所述预测位置信息和所述样本标签的误差值，包括：
计算所述样本图像的所述预测位置信息和所述样本标签的重合误差，并将所述重合误差作为所述误差值。
4.根据权利要求2所述的方法，其中，所述预测位置信息为预测框，所述样本标签为真实框；
所述计算所述样本图像的所述预测位置信息和所述样本标签的误差值，包括：
计算所述预测框的中心与所述真实框的中心的中心误差；
计算所述预测框的尺寸与所述真实框的尺寸的尺寸误差；
计算所述样本图像的所述预测位置信息和所述样本标签的重合误差；
基于所述中心误差、所述尺寸误差以及所述重合误差，计算所述样本图像的所述预测位置信息和所述样本标签的误差值。
5.根据权利要求4所述的方法，所述基于所述中心误差、所述尺寸误差以及所述重合误差，计算所述样本图像的所述预测位置信息和所述样本标签的误差值，包括：
基于所述中心误差、所述尺寸误差以及所述比值，通过公式
计算所述预测位置信息和所述样本标签的误差值；
其中，α、β表示系数，Lp表示点优化损失函数，Ll表示线优化损失函数，LA_IOU表示面损失函数，i表示预测框的标识，N表示预测框的个数，L表示总损失函数，利用总损失函数计算得到误差值，利用点优化损失函数计算得到中心误差，利用线优化损失函数计算得到尺寸误差，利用面损失函数计算重合误差，Lcls表示分类损失函数。
6.根据权利要求3至5任一项所述的方法，所述计算所述样本图像的所述预测位置信息和所述样本标签的重合误差，包括：
计算同时包含预测框和真实框的外接矩形框；
计算所述预测框与所述真实框的重叠区域；
计算所述重叠区域所述外接矩形框的比值，并将所述比值作为所述重合误差。
7.一种目标检测方法，包括：
获取待检测图像；
将所述待检测图像输入预先训练好的模型，通过所述模型得到所述待检测图像中目标的检测信息；其中，所述模型是利用上述权利要求1至6任一项所述的用于目标检测的模型训练方法训练得到的。
8.一种用于目标检测的模型训练装置，包括：
第一获取模块，用于获取多个样本图像以及各个样本图像的样本标签；
预测结果获得模块，用于针对各个样本图像，将所述样本图像输入初始模型，通过所述初始模型得到预测位置信息；
训练模块，用于基于各个样本图像的所述预测位置信息和所述样本标签，利用优化目标对所述初始模型训练，得到训练好的模型，其中，所述优化目标包含优化所述预测位置信息和所述样本标签的重合误差。
9.根据权利要求8所述的装置，所述训练模块，包括：
计算子模块，用于针对各个样本图像，计算所述样本图像的所述预测位置信息和所述样本标签的误差值；所述误差值包含所述预测位置信息和所述样本标签的的重合误差；
调整子模块，用于基于所述误差值调整模型参数，直至所述误差值收敛，得到训练好的模型，所述训练好的模型包括所述误差值收敛时的模型参数。
10.根据权利要求9所述的装置，所述计算子模块，具体用于计算所述样本图像的所述预测位置信息和所述样本标签的重合误差，并将所述重合误差作为所述误差值。
11.根据权利要求9所述的装置，其中，所述预测位置信息为预测框，所述样本标签为真实框；
所述计算子模块，具体用于计算所述预测框的中心与所述真实框的中心的中心误差；计算所述预测框的尺寸与所述真实框的尺寸的尺寸误差；计算所述样本图像的所述预测位置信息和所述样本标签的重合误差；基于所述中心误差、所述尺寸误差以及所述重合误差，计算所述样本图像的所述预测位置信息和所述样本标签的误差值。
12.根据权利要求11所述的装置，所述计算子模块，具体用于基于所述中心误差、所述尺寸误差以及所述比值，通过公式
计算所述预测位置信息和所述样本标签的误差值；
其中，α、β表示系数，Lp表示点优化损失函数，Ll表示线优化损失函数，LA_IOU表示面损失函数，i表示预测框的标识，N表示预测框的个数，L表示总损失函数，利用总损失函数计算得到误差值，利用点优化损失函数计算得到中心误差，利用线优化损失函数计算得到尺寸误差，利用面损失函数计算重合误差，Lcls表示分类损失函数。
13.根据权利要求10至12任一项所述的装置，所述计算子模块，具体用于计算同时包含预测框和真实框的外接矩形框；计算所述预测框与所述真实框的重叠区域；计算所述重叠区域所述外接矩形框的比值，并将所述比值作为所述重合误差。
14.一种目标检测装置，包括：
第二获取模块，用于获取待检测图像；
检测模块，用于将所述待检测图像输入预先训练好的模型，通过所述模型得到所述待检测图像中目标的检测信息；其中，所述模型是利用上述权利要求8至13任一项装置的用于目标检测的模型训练装置训练得到的。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
16.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求7中所述的方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求7中所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求7中任一项所述的方法。
21.一种路侧设备，包括如权利要求15或16所述的电子设备。
22.一种云控平台，包括如权利要求15或16所述的电子设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111006490.2A CN113688920A (zh) | 2021-08-30 | 2021-08-30 | 模型训练及目标检测方法、装置、电子设备以及路侧设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111006490.2A CN113688920A (zh) | 2021-08-30 | 2021-08-30 | 模型训练及目标检测方法、装置、电子设备以及路侧设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113688920A true CN113688920A (zh) | 2021-11-23 |
Family
ID=78584182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111006490.2A Pending CN113688920A (zh) | 2021-08-30 | 2021-08-30 | 模型训练及目标检测方法、装置、电子设备以及路侧设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113688920A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115170887A (zh) * | 2022-07-22 | 2022-10-11 | 北京百度网讯科技有限公司 | 目标检测模型训练方法、目标检测方法及其装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919072A (zh) * | 2019-02-28 | 2019-06-21 | 桂林电子科技大学 | 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法 |
| CN110378426A (zh) * | 2019-07-23 | 2019-10-25 | 安徽磐众信息科技有限公司 | 一种基于yolov3的乳腺结节辅助诊断方法及系统 |
| CN112329873A (zh) * | 2020-11-12 | 2021-02-05 | 苏州挚途科技有限公司 | 目标检测模型的训练方法、目标检测方法及装置 |
-
2021
- 2021-08-30 CN CN202111006490.2A patent/CN113688920A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919072A (zh) * | 2019-02-28 | 2019-06-21 | 桂林电子科技大学 | 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法 |
| CN110378426A (zh) * | 2019-07-23 | 2019-10-25 | 安徽磐众信息科技有限公司 | 一种基于yolov3的乳腺结节辅助诊断方法及系统 |
| CN112329873A (zh) * | 2020-11-12 | 2021-02-05 | 苏州挚途科技有限公司 | 目标检测模型的训练方法、目标检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| YI-FAN ZHANG ET AL.: "Focal and Efficient IOU Loss for Accurate Bounding Box Regression", 《ARXIV:2101.08158V1 [CS.CV]》, pages 4321 - 4330 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115170887A (zh) * | 2022-07-22 | 2022-10-11 | 北京百度网讯科技有限公司 | 目标检测模型训练方法、目标检测方法及其装置 |
| CN115170887B (zh) * | 2022-07-22 | 2023-08-01 | 北京百度网讯科技有限公司 | 目标检测模型训练方法、目标检测方法及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113264066B (zh) | 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备 | |
| CN113902897B (zh) | 目标检测模型的训练、目标检测方法、装置、设备和介质 | |
| CN112966587B (zh) | 目标检测模型的训练方法、目标检测方法及相关设备 | |
| CN113920307A (zh) | 模型的训练方法、装置、设备、存储介质及图像检测方法 | |
| CN113870334B (zh) | 深度检测方法、装置、设备以及存储介质 | |
| CN113420682A (zh) | 车路协同中目标检测方法、装置和路侧设备 | |
| CN114187459A (zh) | 目标检测模型的训练方法、装置、电子设备以及存储介质 | |
| CN113361710A (zh) | 学生模型训练方法、图片处理方法、装置及电子设备 | |
| CN114140759A (zh) | 高精地图车道线位置确定方法、装置及自动驾驶车辆 | |
| CN115471805A (zh) | 点云处理和深度学习模型训练方法、装置及自动驾驶车辆 | |
| CN114677653A (zh) | 模型训练方法、车辆关键点检测方法及相应的装置 | |
| CN114821063A (zh) | 语义分割模型的生成方法及装置、图像的处理方法 | |
| CN113688920A (zh) | 模型训练及目标检测方法、装置、电子设备以及路侧设备 | |
| CN117372928A (zh) | 一种视频目标检测方法、装置及相关设备 | |
| CN116468967A (zh) | 样本图像筛选方法、装置、电子设备及存储介质 | |
| CN113706705B (zh) | 用于高精地图的图像处理方法、装置、设备以及存储介质 | |
| CN114842305A (zh) | 深度预测模型训练方法、深度预测方法及相关装置 | |
| CN115861809A (zh) | 杆状物检测及其模型的训练方法、装置、电子设备、介质 | |
| CN115731273A (zh) | 位姿图优化方法及装置、电子设备和存储介质 | |
| CN114925076A (zh) | 地图数据的更新方法、装置、电子设备和存储介质 | |
| CN114882313A (zh) | 生成图像标注信息的方法、装置、电子设备及存储介质 | |
| CN112507951B (zh) | 指示灯识别方法、装置、设备、路侧设备和云控平台 | |
| CN113469025A (zh) | 应用于车路协同的目标检测方法、装置、路侧设备和车辆 | |
| CN112683216B (zh) | 用于生成车辆长度信息的方法、装置、路侧设备和云控平台 | |
| CN113361379B (zh) | 生成目标检测系统和检测目标的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |