CN116597246A - 模型训练方法、目标检测方法、电子设备及存储介质 - Google Patents
模型训练方法、目标检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116597246A CN116597246A CN202310403529.7A CN202310403529A CN116597246A CN 116597246 A CN116597246 A CN 116597246A CN 202310403529 A CN202310403529 A CN 202310403529A CN 116597246 A CN116597246 A CN 116597246A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- data set
- perspective transformation
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 126
- 238000012549 training Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000009466 transformation Effects 0.000 claims abstract description 221
- 238000012937 correction Methods 0.000 claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims abstract description 44
- 238000012216 screening Methods 0.000 claims abstract description 21
- 230000009469 supplementation Effects 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000009826 distribution Methods 0.000 claims description 41
- 238000002372 labelling Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 20
- 230000001502 supplementing effect Effects 0.000 claims description 14
- 230000000295 complement effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 9
- 238000009827 uniform distribution Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种模型训练方法、目标检测方法、电子设备及存储介质，其中方法包括：获取原始数据集，所述原始数据集中每个原始数据包括对应视角下拍摄的原始图像和所述原始图像中感兴趣目标的种类信息和位置信息；对所述原始数据集进行数据筛选和数据补充，确定第一目标数据集；基于所述第一目标数据集，对初始透视变换矫正网络模型进行训练，确定目标透视变换矫正网络模型；基于所述目标透视变换矫正网络模型，对所述原始数据集进行数据补全，确定第二目标数据集；基于所述第二目标数据集，对初始目标检测网络模型进行训练，确定预设目标检测网络模型。本发明在无需获取新数据扩充原始数据集时也能够准确识别大视角或者小视角图像中的感兴趣目标。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种模型训练方法、目标检测方法、电子设备及存储介质。
背景技术
随着目标检测算法的日益成熟，目标检测的应用也越来越广泛，比如可以应用于人脸检测、行人检测、车辆检测、卫星图像中道路的检测、车载摄像机图像中的障碍物检测、医学影像在的病灶检测等不同领域中。因此，如何提高目标检测的准确性也就显得尤为重要。
相关技术中，通常先获取数据集，再使用数据集对有监督学习的目标检测网络模型进行训练，以便于使用训练好的目标检测网络模型应用于后续的目标检测中。
然而，由于监督学习要求数据集的数据量很大，并在数据量较少时通常获取新数据来扩充数据集，由于新数据存在获取困难或数据缺失问题，从而导致训练好的目标检测网络模型识别目标的准确率不高。
发明内容
本发明提供一种模型训练方法、目标检测方法、电子设备及存储介质，用以解决现有技术中获取新数据扩充训练目标检测网络模型的数据集时由于新数据存在获取困难或者数据缺失问题所导致的训练好的目标检测网络模型识别目标的准确性不高的缺陷，通过在无需获取新数据扩充原始数据集的情况下，也能够确定数据量大且数据内容丰富的第二目标数据集，从而也能够确定用于识别感兴趣视角下拍摄的图像中感兴趣目标的预设目标检测网络模型，从而提高了识别大视角或者小视角图像中感兴趣目标的准确性和可靠性，同时也大幅提高了训练所得预设目标检测网络模型的适用范围。
第一方面，本发明提供一种模型训练方法，包括：
获取原始数据集，所述原始数据集中每个原始数据包括对应视角下拍摄的原始图像和所述原始图像中感兴趣目标的种类信息和位置信息；
对所述原始数据集进行数据筛选和数据补充，确定第一目标数据集；其中，所述第一目标数据集中每个第一目标数据包括预设视角下拍摄的感兴趣图像中感兴趣目标的种类信息和位置信息；
基于所述第一目标数据集，对初始透视变换矫正网络模型进行训练，确定目标透视变换矫正网络模型；
基于所述目标透视变换矫正网络模型，对所述原始数据集进行数据补全，确定第二目标数据集；
基于所述第二目标数据集，对初始目标检测网络模型进行训练，确定预设目标检测网络模型。
根据本发明提供的一种模型训练方法，所述对所述原始数据集进行数据筛选和数据补充，确定第一目标数据集，包括：
基于预设感兴趣目标需求信息，对所述原始数据集进行数据筛选，确定感兴趣数据集，所述感兴趣数据集中每个感兴趣数据包括所述感兴趣目标在预设视角下的感兴趣图像和所述感兴趣目标的种类信息和位置信息；
基于预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值，确定多个第一透视变换矩阵；
在确定所述多个第一透视变换矩阵的相关性满足分布均匀条件的情况下，针对各第一透视变换矩阵，使用所述第一透视变换矩阵对所述感兴趣数据集中随机选取的感兴趣图像进行随机变换，确定变换图像；
基于所述变换图像和所述第一透视变换矩阵，对所述感兴趣数据集进行数据补充，确定所述第一目标数据集。
根据本发明提供的一种模型训练方法，所述对所述基于所述目标透视变换矫正网络模型，对所述原始数据集进行数据补全，确定第二目标数据集，包括：
针对所述原始数据集中各原始图像，使用所述目标透视变换矫正网络模型识别所述原始图像中感兴趣目标的透视变换分布，确定透视变换分布图；
确定所述透视变换分布图中透视变换向量信息的重心距离均匀分布中心的偏差、所述透视变换向量信息的方差和所述透视变换向量信息的相关性系数；
在所述偏差大于偏差阈值、所述方差小于方差阈值或所述相关性系数大于系数阈值的情况下，基于预设感兴趣目标关注权重，以及所述偏差、所述方差或所述相关性系数，确定针对所述原始图像中所述感兴趣目标的数据缺失位置生成的多个目标图像；
针对各目标图像，使用所述目标图像对所述原始数据集进行数据补全，确定所述第二目标数据集。
根据本发明提供的一种模型训练方法，所述基于预设感兴趣目标关注权重，以及所述偏差、所述方差或所述相关性系数，确定针对所述原始图像中所述感兴趣目标的数据缺失位置生成的多个目标图像，包括：
基于预设感兴趣目标关注权重和第二预设数量阈值，以及所述偏差、所述方差或所述相关性系数，确定多个第二透视变换矩阵；
在确定所述多个第二透视变换矩阵的相关性满足分布均匀条件的情况下，针对各第二透视变换矩阵，使用所述第二透视变换矩阵对所述原始图像中所述感兴趣目标的数据缺失位置进行随机变换，确定目标图像。
根据本发明提供的一种模型训练方法，所述针对各目标图像，使用所述目标图像对所述原始数据集进行数据补全，确定所述第二目标数据集，包括：
针对各目标图像，在所述目标图像为含有所述感兴趣目标的图像的情况下，对所述目标图像进行针对所述感兴趣目标的位置信息标注和种类信息标注，确定标注信息；
在所述目标图像为不含所述感兴趣目标的背景图像的情况下，对所述目标图像进行补偿和畸变处理，确定负样本图像；
基于所述目标图像和所述标注信息，或基于所述负样本图像，对所述原始数据集进行数据补全，确定所述第二目标数据集。
根据本发明提供的一种模型训练方法，所述基于预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值，确定多个第一透视变换矩阵，包括：
基于所述预设透视变换阈值、所述预设数据分布需求和所述第一预设数量阈值，确定均匀分布且归一化的第一随机数序列；
基于预设矩阵组合需求信息，对所述第一随机数序列进行矩阵组合，确定所述多个第一透视变换矩阵。
根据本发明提供的一种模型训练方法，所述初始透视变换矫正网络模型为含有残差网络和U-net网络的网络模型。
第二方面，本发明还提供一种目标检测方法，包括：
获取待测图像集、以及按照前述第一方面所述模型训练方法训练确定的预设目标检测网络模型，所述待测图像集包括含有感不同视角下拍摄的含有感兴趣目标的图像；
将所述待测图像集输入至所述预设目标检测网络模型中，确定所述预设目标检测网络模型输出的所述感兴趣目标在预设视角下的目标种类信息和目标位置信息，所述预设视角属于所述不同视角。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述模型训练方法或如上述目标检测方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述模型训练方法或如上述目标检测方法。
本发明提供的模型训练方法、目标检测方法、电子设备及存储介质，其中模型训练方法，通过基于原始数据集经由数据筛选和数据补充后所确定的第一目标数据集，对初始透视变换矫正网络模型进行训练的方式，确定目标透视变换矫正网络模型，再通过基于原始数据集经由目标透视变换矫正网络模型进行数据补全后所确定的第二目标数据集，对初始目标检测网络模型进行训练的方式，确定预设目标检测网络模型。由于原始数据集中每个原始数据为对应视角下拍摄的原始图像和原始图像中感兴趣目标的种类信息和位置信息，第一目标数据集中每个第一目标数据包括预设视角下拍摄的感兴趣图像中感兴趣目标的种类信息和位置信息，因此能够在不刻意获取新数据集的情况下，只需简单标注原始图像中目标的位置信息和种类信息、数据筛选和数据补充、数据补全、以及简单辅助网络训练，即可确定数据量大且数据内容丰富的第二目标数据集，从而也能够确定用于识别感兴趣视角下拍摄的图像中感兴趣目标的预设目标检测网络模型，不仅能够实现准确识别大视角或者小视角图像中感兴趣目标的目的，而且也能大幅提高训练所得预设目标检测网络模型的适用范围。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的模型训练方法的流程示意图之一；
图2是本发明提供的原始图像对应的标注信息的示意图；
图3是本发明提供的原始图像经透视变换矫正后的效果示意图；
图4是本发明提供的模型训练方法的流程示意图之二；
图5是本发明提供的目标检测方法的流程示意图；
图6是本发明提供的模型训练装置的结构示意图；
图7是本发明提供的目标检测装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着目标检测算法的日益成熟，目标检测的应用也越来越广泛，比如可以应用于人脸检测、行人检测、车辆检测、卫星图像中道路的检测、车载摄像机图像中的障碍物检测、医学影像在的病灶检测等不同领域中。因此，如何提高目标检测的准确性也就显得尤为重要。
相关技术中，通常先获取数据集，再使用数据集对有监督学习的目标检测网络模型进行训练，以便于使用训练好的目标检测网络模型应用于后续的目标检测应用中。
然而，由于监督学习要求数据集的数据量很大，并在数据量较少时通常获取新数据来扩充数据集，由于新数据存在获取困难或数据缺失问题，由此导致训练目标检测网络模型的过程中，目标检测算法难以学习到在不同角度下目标的特征，导致训练好的目标检测网络模型识别目标的准确率不高，这也将直接导致在大视角场景下目标检测的准确率难以满足实际需要。因此，如何优化大视角下目标检测的准确率，也成为了目标检测方法落地过程中的重要难题。
为解决上述技术问题，本发明提供一种模型训练方法、目标检测方法、电子设备及存储介质，下面结合图1-图8描述本发明的模型训练方法、目标检测方法、电子设备及存储介质，其中模型训练方法的执行主体可以为终端设备，终端设备可以为个人计算机(Personal Computer，PC)、便携式设备、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等其它电子设备。可以理解的是，模型训练方法的执行主体还可以为服务器，服务器可以是指一台服务器，也可以是由多台服务器构成的服务器集群、云计算中心等等。本发明对终端设备或服务器的具体形式不做限定。下述方法实施例以执行主体为终端设备为例进行说明。
图1为本发明提供的模型训练方法的流程示意图，如图1所示，该模型训练方法，包括以下步骤：
步骤110、获取原始数据集，原始数据集中每个原始数据为对应视角下拍摄的原始图像和原始图像中感兴趣目标的种类信息和位置信息。
其中，感兴趣目标的种类信息可以包括但不限定人脸、动物、车辆、树木、道路、车辆等，每个原始图像中的感兴趣目标可以为1个，也可以为多个，并且拍摄每个原始图像的视角可以为大视角，也可以为小视角，也可以为介于小视角和大视角之间的角度，大视角为与平视角之间偏差大的角度，小视角为与平视角之间偏差小的角度。
具体的，终端设备获取原始数据集，可以先获取多个原始图像、再指示用户人为标注每个原始图像中感兴趣目标的种类信息和位置信息、后针对每个原始图像及其对应的标注信息进行格式化处理，从而获取到原始数据集。需要说明的是，每个原始图像对应的标注信息可以为json、yaml或txt等其它格式，并且每个原始图像对应的标注信息可以如图2所示，在图2中，第1列的数字为不同感兴趣目标的不同种类信息编号，每一行的第2～5个数据为归一化后的目标框在对应原始图像中的位置信息。此外，通过人工及机器辅助的方式，对每个原始图像标注感兴趣的目标的bbox框位置，并连同对应感兴趣图像一起格式化存储为原始数据集
步骤120、对原始数据集进行数据筛选和数据补充，确定第一目标数据集。
其中，第一目标数据集中每个第一目标数据包括预设视角下拍摄的感兴趣图像中感兴趣目标的种类信息和位置信息。
具体的，终端设备针对获取的原始数据集进行数据筛选和数据补充，可以为从原始数据集中筛选出符合实际目标检测需求的部分原始图像后均作为感兴趣图像，并将每个感兴趣图像以及每个感兴趣图像中预设视角下感兴趣目标的种类信息和位置信息，确定为筛选出的数据集；此处的实际目标检测需求表征指定感兴趣目标在预设视角下，预设视角可以为指定角度；以此可以筛选出各感兴趣图像。进一步的，终端设备对筛选出的各感兴趣图像分别进行数据补充，比如可以通过使用预设分布均匀的透视变换矩阵对筛选出的感兴趣图像进行随机变换的方式，生成不同于感兴趣图像的变换图像，再基于该变换图像和透视变换矩阵对筛选出的数据集进行数据补充，使得筛选出的数据集除了包括感兴趣图像和感兴趣目标的种类信息和位置信息之外，还包括新增的变换图像和透视变换矩阵；从而确定第一目标数据集。
步骤130、基于第一目标数据集，对初始透视变换矫正网络模型进行训练，确定目标透视变换矫正网络模型。
具体的，终端设备首先将第一目标数据集划分为两个数据集且将其中一个数据集作为第一训练样本集、将另一个数据集作为第一测试样本集，第一训练样本集和第一测试样本集的数据量可以相等，也可以不同。比如，针对第一目标数据集含有100个第一目标数据的情况，可以为第一训练样本集含有50个第一目标数据、第一测试样本集含有50个第一目标数据，也可以为第一训练样本集含有60个第一目标数据、第一测试样本集含有40个第一目标数据。此处不作具体限定。
基于此，终端设备使用第一训练样本集对初始透视变换矫正网络模型进行训练，获取预设次数训练后的中间透视变换矫正网络模型的损失值，并在确定预设次数训练后的中间透视变换矫正网络模型的损失值小于等于第一损失阈值的情况下停止训练，同时将停止训练时对应的中间透视变换矫正网络模型确定为目标透视变换矫正网络模型；反之，在确定预设次数训练后的中间透视变换矫正网络模型的损失值大于第一损失阈值的情况下，则使用第一训练样本集对预设次数训练后的中间透视变换矫正网络模型继续进行训练。直至停止训练时确定目标透视变换矫正网络模型。需要说明的是，每次针对上次训练后的中间透视变换矫正网络模型进行训练时，上次训练后的中间透视变换矫正网络模型都要先进行模型参数自动更新、然后才进行本次训练。
需要说明的是，初始透视变换矫正网络模型为含有残差网络和U-net网络的网络模型，并且残差网络是初始透视变换矫正网络模型的骨干网络，初始透视变换矫正网络模型的输入为第一目标数据集中的图像，输出为指定目标的种类信息和一个六维向量，六维向量与透视变换矩阵中的6个系数之间具备对应关系。此外，初始透视变换矫正网络模型为现有任意一种基于监督学习的预测算法、模型、神经网络。
步骤140、基于目标透视变换矫正网络模型，对原始数据集进行数据补全，确定第二目标数据集。
具体的，终端设备使用目标透视变换矫正网络模型对原始数据集进行分布性分析，并在经由分布性分析确定原始数据集缺失某方向数据的情况下，可以使用数据集生成算法，在数据缺失的位置随机生成目标图像，并指示用户针对每个随机生成的目标图像人为标注感兴趣目标的位置信息和种类信息，以此基于随机生成的目标图像及其对应的标注信息，对原始数据集进行数据补全，从而确定第二目标数据集。
步骤150、基于第二目标数据集，对初始目标检测网络模型进行训练，确定预设目标检测网络模型。
其中，初始目标检测网络模型为含有现有任意一种监督学习的标检测算法的网络模型，比如可以现有任意一种基于监督学习的预测算法、模型、神经网络。此处不作具体限定。
具体的，终端设备首先将第二目标数据集划分为两个数据集且将其中一个数据集作为第二训练样本集、将另一个数据集作为第二测试样本集，第二训练样本集和第二测试样本集的数据量可以相等，也可以不同。比如，针对第二目标数据集含有100个第二目标数据的情况，可以为第二训练样本集含有50个第二目标数据、第二测试样本集含有50个第二目标数据，也可以为第二训练样本集含有60个第二目标数据、第二测试样本集含有40个第二目标数据。此处不作具体限定。
基于此，终端设备使用第二训练样本集对初始目标检测网络模型进行训练，获取预设次数训练后的中间目标检测网络模型的损失值，并在确定预设次数训练后的中间目标检测网络模型的损失值小于等于第二损失阈值的情况下停止训练，同时将停止训练时对应的中间目标检测网络模型确定为预设目标检测网络模型；反之，在确定预设次数训练后的中间目标检测网络模型的损失值大于第二损失阈值的情况下，则使用第二训练样本集对预设次数训练后的中间目标检测网络模型继续进行训练。直至停止训练时确定预设目标检测网络模型。需要说明的是，每次针对上次训练后的中间目标检测网络模型进行训练时，上次训练后的中间目标检测网络模型都要先进行模型参数自动更新、然后才进行本次训练。
本发明提供的模型训练方法，终端设备通过基于原始数据集经由数据筛选和数据补充后所确定的第一目标数据集，对初始透视变换矫正网络模型进行训练的方式，确定目标透视变换矫正网络模型，再通过基于原始数据集经由目标透视变换矫正网络模型进行数据补全后所确定的第二目标数据集，对初始目标检测网络模型进行训练的方式，确定预设目标检测网络模型。由于原始数据集中每个原始数据为对应视角下拍摄的原始图像和原始图像中感兴趣目标的种类信息和位置信息，第一目标数据集中每个第一目标数据包括预设视角下拍摄的感兴趣图像中感兴趣目标的种类信息和位置信息，因此能够在不刻意获取新数据集的情况下，只需简单标注原始图像中目标的位置信息和种类信息、数据筛选和数据补充、数据补全、以及简单辅助网络训练，即可确定数据量大且数据内容丰富的第二目标数据集，从而也能够确定用于识别感兴趣视角下拍摄的图像中感兴趣目标的预设目标检测网络模型，不仅提高了识别大视角或者小视角图像中感兴趣目标的准确性和可靠性，同时也大幅提高了训练所得预设目标检测网络模型的适用范围。
可选的，步骤120的具体实现过程可以包括：
首先，基于预设感兴趣目标需求信息，对原始数据集进行数据筛选，确定感兴趣数据集，感兴趣数据集中每个感兴趣数据包括所述感兴趣目标在预设视角下的感兴趣图像和感兴趣目标的种类信息和位置信息；再基于预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值，确定多个第一透视变换矩阵；进一步，在确定多个第一透视变换矩阵的相关性满足分布均匀条件的情况下，针对各透视变换矩阵，使用透视变换矩阵对感兴趣数据集中随机选取的感兴趣图像进行随机变换，确定变换图像；然后，基于变换图像和第一透视变换矩阵，对感兴趣数据集进行数据补充，确定第一目标数据集。
具体的，终端设备首先获取预设感兴趣目标需求信息，预设感兴趣目标需求信息可以是由用户人为输入至终端设备中的，并且预设感兴趣目标需求信息含有预设视角和指定种类信息的感兴趣目标；由于某一类的指定目标通常可以包括多个，比如指定种类信息的目标为人脸时，对应的指定目标可以包括但不限定不同脸型女生的人脸、不同脸型男生的人脸等等。因此，基于预设感兴趣目标需求信息对原始数据集进行数据筛选，也即针对某类感兴趣目标中各感兴趣目标，将原始数据集中含有感兴趣目标在预设角度下的原始数据均作为感兴趣数据；以此方式从原始数据集中筛选出符合预设感兴趣目标需求信息的所有感兴趣数据，从而确定出感兴趣数据集。
此时针对感兴趣数据集，可以将预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值输入至透视变换模型中，得到透视变换模型输出的多个第一透视变换矩阵，使用欧氏距离计算多个第一透视变换矩阵的相关性系数，以此分析多个第一透视变换矩阵的分布是否均匀，并确定在多个第一透视变换矩阵的相关性满足分布均匀条件的情况下，针对各第一透视变换矩阵，使用第一透视变换矩阵对感兴趣数据集中随机选取的感兴趣图像进行随机变换，确定变换图像；由于此处是从感兴趣数据集中随机选取感兴趣图像的，因此存在同一感兴趣图像至少两次被选取进行随机变换的可能性，但尽量确保每次选取的感兴趣图像各不相同。
最后，基于变换图像和第一透视变换矩阵，对感兴趣数据集进行数据补充，也即将第一透视变换矩阵和变换图像补充至本次选取的感兴趣图像对应的感兴趣数据中，使得感兴趣数据中不止包括感兴趣图像、感兴趣目标的种类信息和位置信息，还包括第一透视变换矩阵和变换图像；此时完成使用一个第一透视变换矩阵对感兴趣数据集的数据补充过程；以此方式可以使用下一个第一透视变换矩阵对感兴趣数据集进行数据补充。直至完成多个第一透视变换矩阵对感兴趣数据集的数据补充后，即可得到第一目标数据集；也可以以此方式并行或同时完成每个透视变换矩阵对感兴趣数据集的数据补充过程后，也能得到第一目标数据集。此处不作具体限定。
本发明提供的模型训练方法，终端设备通过对原始数据集进行数据筛选确定感兴趣数据集、并使用分布均匀的多个第一透视变换矩阵对感兴趣数据集中的部分感兴趣图像进行随机变换、后基于随机变换所得的多个变换图像和多个第一透视变换矩阵对感兴趣数据集进行数据补充。以此结合数据筛选和透视变换技术能够有效提高确定第一目标数据集的合理性和可靠性，同时也实现了模型训练所需数据集的补充，为后续训练模型的准确性奠定基础。
可选的，步骤120中基于预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值，确定多个第一透视变换矩阵，其具体实现过程可以包括：
首先，基于预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值，确定均匀分布且归一化的第一随机数序列；再进一步基于预设矩阵组合需求信息，对第一随机数序列进行矩阵组合，确定多个第一透视变换矩阵。
具体的，终端设备可以基于预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值，使用任意伪随机数生成算法，随机生成均匀分布且归一化的第一随机数序列，第一随机数序列中含有多个第一随机数且第一随机数的数量与第一预设数量阈值相同；此时，再基于预设矩阵组合需求信息，对第一随机数序列进行矩阵组合，确定多个第一透视变换矩阵，预设矩阵组合需求信息可以是用户预先输入至终端设备中的，并且预设矩阵组合需求信息包括矩阵的组合方式信息，也即每选取几个第一随机数为一组组合矩阵，比如可以每选取6个第一随机数为一组组合矩阵，当第一随机数序列含有60个第一随机数时，可以组合为10个第一透视变换矩阵。
需要说明的是，由于透视变换可以通过如下
式(1)中，表示透射变换后的三个坐标，/>表示透射变换前的二维坐标，m11、m21、m31、m12、m22、m32、m13、m23、m33表示标准透视变换矩阵中的9个不同系数。
通过分析式(1)可知，m13和m23负责平移变换，因此可以为0，而m33是一个缩放系数，可以认为是1，因此式1的透视变换可以简化为如下形式：
式(2)中，对标准透视变换矩阵简化后的透视变换矩阵中包含6个系数且互相独立，m31和m32之间存在限制，因此只需限定范围后分别随机生成，既可得到透视变换矩阵，并针对图像中每个点的XY坐标进行变换，若变换后若无法一一对应，则进行丢弃或插值。也即，本方案中确定的每个第一透视变换矩阵，均是通过合理分析和简化后确定的，也即对3*3的标准透视变换矩阵简化后确定的符合需要的3*3的第一透视变换矩阵。因此，本方案中针对第一随机数序列进行矩阵组合时，每选取的第一随机数也为6个。
本发明提供的模型训练方法，终端设备通过对生成的均匀分布且归一化的第一随机数序列进行矩阵组合的方式，确定多个第一透视变换矩阵；以此提高了确定第一透视变换矩阵的合理性和可靠性。
可选的，步骤130的具体实现过程可以包括：
首先，针对原始数据集中各原始图像，使用目标透视变换矫正网络模型识别原始图像中感兴趣目标的透视变换分布，确定透视变换分布图；再确定透视变换图中透视变换向量信息的重心距离均匀分布中心的偏差、透视变换向量信息的方差和透视变换向量信息的相关性系数；进一步在偏差大于偏差阈值、方差小于方差阈值或相关性系数大于系数阈值的情况下，基于预设感兴趣目标关注权重，以及偏差、方差或相关性系数，确定针对原始图像中感兴趣目标的数据缺失位置生成的多个目标图像；然后，针对各目标图像，使用目标图像对原始数据集进行数据补全，确定第二目标数据集。
具体的，终端设备针对原始数据集中各原始图像，可以将原始图像输入至目标透视变换矫正网络模型中进行针对感兴趣目标的透视变换分布情况识别，并得到目标透视变换矫正网络模型输出的透视变换分布图，透视变换分布图可以为使用目标透视变换矫正网络模型对原始图像进行透视变换矫正后所得到的图像，如图3所示的原始图像经透视变换矫正后的效果示意图，在图3中，301为原始图像，302为透视变换矫正后的图像，其中A、B、C、D为四个透视变换矫正前后的对应点。
此时对透视变换分布图进行分析，识别透视变换分布图中所含的透视变换向量信息，将透视变换向量信息作为高维向量，使用欧式距离，计算透视变换向量信息的重心距离均匀分布中心的偏差、透视变换向量信息的方差和透视变换向量信息的相关性系数，并据此分析透视变换分布图是否分布均匀，此处可以使用现有任意一种相关性算法，分析透视变换分布图是否具有相关性、分布是否足够广泛，并在确定其无相关性、分布不广泛时，使用数据集生成算法随机生成用于进行数据补全的目标图像；也即，在确定分布不均匀时，确定感兴趣图像中导致分布不均匀的数据缺失位置，也即当偏差大于偏差阈值、方差小于方差阈值或相关性系数大于系数阈值时，使用数据集生成算法，针对原始图像中感兴趣目标的数据缺失位置，生成多个目标图像，以便于使用各目标图像对原始数据集进行数据补全后确定第一目标数据集。
本发明提供的模型训练方法，通过训练好的目标透视变换矫正网络模型对原始图像中感兴趣目标的透视变换分布进行分析的方式，确定原始数据集中针对感兴趣目标的数据缺失位置，并针对数据缺失位置生成多个目标图像后补全原始数据集，从而确保第二目标数据集的数据量足够大且数据内容足够丰富，从而为后续模型训练提供可靠的数据支撑。
可选的，步骤130中基于预设感兴趣目标关注权重，以及偏差、方差或相关性系数，确定针对原始图像中感兴趣目标的数据缺失位置生成的多个目标图像，其具体实现过程可以包括：
首先，基于预设感兴趣目标关注权重和第二预设数量阈值，以及偏差、方差或相关性系数，确定多个第二透视变换矩阵；进一步的，在确定多个第二透视变换矩阵的相关性满足分布均匀条件的情况下，针对各第二透视变换矩阵，使用第二透视变换矩阵对原始图像中感兴趣目标的数据缺失位置进行随机变换，确定目标图像。
具体的，终端设备可以设定待生成的随机数的重心、方差或者相关性系数即为透视变换分布图中透视变换向量信息的重心距离均匀分布中心的偏差、透视变换向量信息的方差或透视变换向量信息的相关性系数，在此基础上，根据预设感兴趣目标关注权重和第二预设数量阈值，以及所述偏差、所述方差或所述相关性系数，使用任意伪随机数生成算法，随机生成均匀分布且归一化的第二随机数序列，第二随机数序列中含有多个第二随机数且第二随机数的数量与第二预设数量阈值相同；此时，再对第二随机数序列进行矩阵组合，此处针对第二随机数序列也可以每选取6个第二随机数为一组，以此方式确定出多个第二透视变换矩阵。进一步的，对多个第二透视变换矩阵进行相关性分析，并在确定多个第二透视变换矩阵的相关性满足分布均匀条件的情况下，针对各第二透视变换矩阵，以便于通过使用各第二透视变换矩阵对原始图像中感兴趣目标的数据缺失位置进行随机变换的方式，确定用于补全原始数据集的各个目标图像。
需要说明的是，每个第二透视变换矩阵也可以为通过式(2)～(3)确定的简化后的透视变换矩阵。
本发明提供的模型训练方法，终端设备通过判定原始数据集缺失数据时针对数据缺失位置生成具备相关性的多个第二透视变换矩阵、再使用各第二透视变换矩阵确定针对原始图像中数据缺失位置的各目标图像的方式，提高了补全原始数据集的可靠性和准确性。
可选的，步骤130中针对各目标图像，使用目标图像对原始数据集进行数据补全，确定第二目标数据集，其具体实现过程可以包括：
针对各目标图像，在目标图像为含有感兴趣目标的图像的情况下，对目标图像进行针对感兴趣目标的位置信息标注和种类信息标注，确定标注信息；在目标图像为不含感兴趣目标的背景图像的情况下，对目标图像进行补偿和畸变处理，确定负样本图像；基于目标图像，和标注信息，或基于负样本图像，对原始数据集进行数据补全，确定第二目标数据集。
具体的，终端设备针对各目标图像，首先判断目标图像中是否为含有感兴趣目标的图像，若目标图像为含有感兴趣目标的图像时，则可以针对目标图像中的感兴趣目标标注位置信息和种类信息，比如可以通过人工及终端设备辅助的方式，标注目标图像中感兴趣目标的位置信息和种类信息，从而得到标注信息；反之，若目标图像为不含感兴趣目标的背景图像时，则可以使用常规的补偿畸变方法对目标图像进行补偿和畸变处理，并将补偿和畸变处理后所得的图像确定为负样本图像，再基于目标图像和标注信息，或者基于负样本图像对原始数据集进行数据补全，也即将标注信息和目标图像作为新的一组数据添加至原始数据集中，或者将负样本图像添加至原始数据集的负样本图像集中，负样本图像集中用于存放不含感兴趣目标且经过补偿和畸变的图像；此时完成使用一个目标图像对原始数据集的数据补全过程；以此方式可以使用下一个目标图像对原始数据集进行数据补全。直至完成多个目标图像对原始数据集的数据补全后，即可得到第二目标数据集；也可以以此方式并行或同时完成每个目标图像对原始数据集的数据补全过程后，也能得到第二目标数据集。此处不作具体限定。
本发明提供的模型训练方法，终端设备针对各目标图像，通过对含有感兴趣目标的目标图像标注感兴趣目标的位置信息和种类信息或者对不含感兴趣目标的目标图像进行进行补偿和畸变处理的方式，确定用于补全原始数据集的目标图像和标注信息，或者负样本图像；以此提高了对原始数据集进行数据补全的必要性和合理性，确保经由数据补全所确定的第二目标数据集的数据量足够大且数据内容足够丰富，为后续训练模型提供可靠数据支撑。
参照图4，为本发明提供的模型训练方法的流程示意图之二，如图4所示，针对获取的原始数据集，基于数据集生成算法生成第一目标数据集，再使用第一目标数据集对初始透视变换矫正网络模型进行训练，确定目标透视变换矫正网络模型，然后使用目标透视变换矫正网络模型对原始数据集进行数据补全，确定第二目标数据集，最后使用第二目标数据集对初始目标检测网络模型进行训练，确定预设目标检测网络模型。其中涉及的具体实现过程可以参照前述实施例。此处不再赘述。通过模型训练方法所确定的预设目标检测网络模型，针对针对大视角场景下拍摄的图像多而小视角场景下拍摄的图像较少的情况，既可以准确识别大视角场景下拍摄的图像中的感兴趣目标，也能够准确识别小视角图像中的感兴趣目标。
参照图5，为本发明提供的目标检测方法的流程示意图，其中目标检测方法的执行主体也可以为终端设备或服务器，终端设备可以为PC、便携式设备、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等其它电子设备；服务器可以是指一台服务器，也可以是由多台服务器构成的服务器集群、云计算中心等等。本发明对终端设备或者服务器的具体形式也不作具体限定。下述方法实施例以执行主体为终端设备为例进行说明。
如图5所示，该目标检测方法，包括以下步骤：
步骤510、获取待测图像集、以及按照前述模型训练方法训练确定的预设目标检测网络模型。
其中，待测图像集包括不同视角下拍摄的含有感兴趣目标的图像，比如待测图像集中可以包括大视角下拍摄的感兴趣目标的大视角图像和小视角下拍摄的含有感兴趣目标的小视角图像；并且大视角图像的数量可以大于小视角图像的数量，也可以小于小视角图像的数量。
具体的，终端设备获取待测图像集，可以是由用户向终端设备输入待测图像集，其输入方式可以包括但不限定终端设备上输入、其它设备应用输入和拍照上传输入等。比如，可以通过用户人为在终端设备上输入待测图像集的方式获取，也可以人为在与终端设备连接的其它设备应用中输入待测图像集的方式获取。此处对获取待测图像的方式不作具体限定。
步骤520、将待测图像集输入至预设目标检测网络模型中，确定预设目标检测网络模型输出的感兴趣目标在预设视角下的目标种类信息和目标位置信息。
其中，预设视角可以为大视角或者小视角，不同视角可以包括但不限定大视角、小视角以及介于小视角和大视角之间的角度。
具体的，终端设备在实际应用过程中，可以使用预设目标检测网络模型对待测图像集中的感兴趣目标进行检测，并输出感兴趣目标在预设视角下的目标种类信息和目标位置信息。比如，当大视角图像的数量大于小视角图像的数量时，既可以识别预设视角为大视角时感兴趣目标的目标种类信息和目标位置信息，也可以识别预设视角为小视角时感兴趣目标的目标种类信息和目标位置信息。
本发明提供的目标检测方法，终端设备通过训练好的预设目标检测网络模型对待测图像进行预设视角下感兴趣目标的检测的方式，确保大视角下检测感兴趣目标或者小视角下检测感兴趣目标的精准可靠性和方便快捷性，同时也大幅提高了预设目标检测网络模型的适用范围。
下面对本发明提供的模型训练装置进行描述，下文描述的模型训练装置与上文描述的模型训练方法可相互对应参照。
参照图6，为本发明提供的模型训练装置的结构示意图，如图6所示，该模型训练装置600，包括：
第一获取模块610，用于获取原始数据集，所述原始数据集中每个原始数据包括对应视角下拍摄的原始图像和所述原始图像中感兴趣目标的种类信息和位置信息；
第一确定模块620，用于对所述原始数据集进行数据筛选和数据补充，确定第一目标数据集；其中，所述第一目标数据集中每个第一目标数据包括预设视角下拍摄的感兴趣图像中感兴趣目标的种类信息和位置信息；
第一训练模块630，用于基于所述第一目标数据集，对初始透视变换矫正网络模型进行训练，确定目标透视变换矫正网络模型；
第二确定模块640，用于基于所述目标透视变换矫正网络模型，对所述原始数据集进行数据补全，确定第二目标数据集；
第二训练模块650，用于基于所述第二目标数据集，对初始目标检测网络模型进行训练，确定预设目标检测网络模型。
可选的，第一确定模块620，具体可以用于基于预设感兴趣目标需求信息，对所述原始数据集进行数据筛选，确定感兴趣数据集，所述感兴趣数据集中每个感兴趣数据包括所述感兴趣目标在预设视角下的感兴趣图像和所述感兴趣目标的种类信息和位置信息；基于预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值，确定多个第一透视变换矩阵；在确定所述多个第一透视变换矩阵的相关性满足分布均匀条件的情况下，针对各第一透视变换矩阵，使用所述第一透视变换矩阵对所述感兴趣数据集中随机选取的感兴趣图像进行随机变换，确定变换图像；基于所述变换图像和所述第一透视变换矩阵，对所述感兴趣数据集进行数据补充，确定所述第一目标数据集。
可选的，第一确定模块620，具体还可以用于基于所述预设透视变换阈值、所述预设数据分布需求和所述第一预设数量阈值，确定均匀分布且归一化的第一随机数序列；基于预设矩阵组合需求信息，对所述第一随机数序列进行矩阵组合，确定所述多个第一透视变换矩阵。
可选的，第二确定模块640，具体可以用于针对所述原始数据集中各原始图像，使用所述目标透视变换矫正网络模型识别所述原始图像中感兴趣目标的透视变换分布，确定透视变换分布图；确定所述透视变换分布图中透视变换向量信息的重心距离均匀分布中心的偏差、所述透视变换向量信息的方差和所述透视变换向量信息的相关性系数；在所述偏差大于偏差阈值、所述方差小于方差阈值或所述相关性系数大于系数阈值的情况下，基于预设感兴趣目标关注权重，以及所述偏差、所述方差或所述相关性系数，确定针对所述原始图像中所述感兴趣目标的数据缺失位置生成的多个目标图像；针对各目标图像，使用所述目标图像对所述原始数据集进行数据补全，确定所述第二目标数据集。
可选的，第二确定模块640，具体还可以用于基于预设感兴趣目标关注权重和第二预设数量阈值，以及所述偏差、所述方差或所述相关性系数，确定多个第二透视变换矩阵；在确定所述多个第二透视变换矩阵的相关性满足分布均匀条件的情况下，针对各第二透视变换矩阵，使用所述第二透视变换矩阵对所述原始图像中所述感兴趣目标的数据缺失位置进行随机变换，确定目标图像。
可选的，第二确定模块640，具体还可以用于针对各目标图像，在所述目标图像为含有所述感兴趣目标的图像的情况下，对所述目标图像进行针对所述感兴趣目标的位置信息标注和种类信息标注，确定标注信息；在所述目标图像为不含所述感兴趣目标的背景图像的情况下，对所述目标图像进行补偿和畸变处理，确定负样本图像；基于所述目标图像和所述标注信息，或基于所述负样本图像，对所述原始数据集进行数据补全，确定所述第二目标数据集。
可选的，第一训练模块630中的初始透视变换矫正网络模型为含有残差网络和U-net网络的网络模型。
下面对本发明提供的目标检测装置进行描述，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
参照图7，为本发明提供的目标检测装置的结构示意图，如图7所示，该目标检测装置700，包括：
第二获取模块710，用于获取待测图像集、以及本发明任一实施例所提供的模型训练方法训练确定的预设目标检测网络模型，待测图像集为不同视角下拍摄的含有感兴趣目标的图像；
目标检测模块720，用于将所述待测图像集输入至所述预设目标检测网络模型中，确定所述预设目标检测网络模型输出的所述感兴趣目标在预设视角下的目标种类信息和目标位置信息，所述预设视角属于所述不同视角。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备800可以包括：处理器(processor)810、通信接口(CommunicationsInterface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行模型训练方法，该方法包括：
获取原始数据集，所述原始数据集中每个原始数据包括对应视角下拍摄的原始图像和所述原始图像中感兴趣目标的种类信息和位置信息；
对所述原始数据集进行数据筛选和数据补充，确定第一目标数据集；其中，所述第一目标数据集中每个第一目标数据包括预设视角下拍摄的感兴趣图像中感兴趣目标的种类信息和位置信息；
基于所述第一目标数据集，对初始透视变换矫正网络模型进行训练，确定目标透视变换矫正网络模型；
基于所述目标透视变换矫正网络模型，对所述原始数据集进行数据补全，确定第二目标数据集；
基于所述第二目标数据集，对初始目标检测网络模型进行训练，确定预设目标检测网络模型。或者，以执行目标检测方法，该方法包括：
获取待测图像集、以及按照本发明任一实施例所提供的模型训练方法训练确定的预设目标检测网络模型，所述待测图像集包括不同视角下拍摄的含有感兴趣目标的图像；
将所述待测图像集输入至所述预设目标检测网络模型中，确定所述预设目标检测网络模型输出的所述感兴趣目标在预设视角下的目标种类信息和目标位置信息。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的模型训练方法，该方法包括：
获取原始数据集，所述原始数据集中每个原始数据包括对应视角下拍摄的原始图像和所述原始图像中感兴趣目标的种类信息和位置信息；
对所述原始数据集进行数据筛选和数据补充，确定第一目标数据集；其中，所述第一目标数据集中每个第一目标数据包括预设视角下拍摄的感兴趣图像中感兴趣目标的种类信息和位置信息；
基于所述第一目标数据集，对初始透视变换矫正网络模型进行训练，确定目标透视变换矫正网络模型；
基于所述目标透视变换矫正网络模型，对所述原始数据集进行数据补全，确定第二目标数据集；
基于所述第二目标数据集，对初始目标检测网络模型进行训练，确定预设目标检测网络模型。或者，以执行目标检测方法，该方法包括：
获取待测图像集、以及按照本发明任一实施例所提供的模型训练方法训练确定的预设目标检测网络模型，所述待测图像集包括不同视角下拍摄的含有感兴趣目标的图像；
将所述待测图像集输入至所述预设目标检测网络模型中，确定所述预设目标检测网络模型输出的所述感兴趣目标在预设视角下的目标种类信息和目标位置信息，所述预设视角属于所述不同视角。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的模型训练方法，该方法包括：
获取原始数据集，所述原始数据集中每个原始数据包括对应视角下拍摄的原始图像和所述原始图像中感兴趣目标的种类信息和位置信息；
对所述原始数据集进行数据筛选和数据补充，确定第一目标数据集；其中，所述第一目标数据集中每个第一目标数据包括预设视角下拍摄的感兴趣图像中感兴趣目标的种类信息和位置信息；
基于所述第一目标数据集，对初始透视变换矫正网络模型进行训练，确定目标透视变换矫正网络模型；
基于所述目标透视变换矫正网络模型，对所述原始数据集进行数据补全，确定第二目标数据集；
基于所述第二目标数据集，对初始目标检测网络模型进行训练，确定预设目标检测网络模型。或者，以执行目标检测方法，该方法包括：
获取待测图像集、以及按照本发明任一实施例所提供的模型训练方法训练确定的预设目标检测网络模型，所述待测图像集包括不同视角下拍摄的含有感兴趣目标的图像；
将所述待测图像集输入至所述预设目标检测网络模型中，确定所述预设目标检测网络模型输出的所述感兴趣目标在预设视角下的目标种类信息和目标位置信息，所述预设视角属于所述不同视角。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种模型训练方法，其特征在于，包括：
获取原始数据集，所述原始数据集中每个原始数据包括对应视角下拍摄的原始图像和所述原始图像中感兴趣目标的种类信息和位置信息；
对所述原始数据集进行数据筛选和数据补充，确定第一目标数据集；其中，所述第一目标数据集中每个第一目标数据包括预设视角下拍摄的感兴趣图像中感兴趣目标的种类信息和位置信息；
基于所述第一目标数据集，对初始透视变换矫正网络模型进行训练，确定目标透视变换矫正网络模型；
基于所述目标透视变换矫正网络模型，对所述原始数据集进行数据补全，确定第二目标数据集；
基于所述第二目标数据集，对初始目标检测网络模型进行训练，确定预设目标检测网络模型。
2.根据权利要求1所述的模型训练方法，其特征在于，所述对所述原始数据集进行数据筛选和数据补充，确定第一目标数据集，包括：
基于预设感兴趣目标需求信息，对所述原始数据集进行数据筛选，确定感兴趣数据集，所述感兴趣数据集中每个感兴趣数据包括所述感兴趣目标在预设视角下的感兴趣图像和所述感兴趣目标的种类信息和位置信息；
基于预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值，确定多个第一透视变换矩阵；
在确定所述多个第一透视变换矩阵的相关性满足分布均匀条件的情况下，针对各第一透视变换矩阵，使用所述第一透视变换矩阵对所述感兴趣数据集中随机选取的感兴趣图像进行随机变换，确定变换图像；
基于所述变换图像和所述第一透视变换矩阵，对所述感兴趣数据集进行数据补充，确定所述第一目标数据集。
3.根据权利要求1所述的模型训练方法，其特征在于，所述基于所述目标透视变换矫正网络模型，对所述原始数据集进行数据补全，确定第二目标数据集，包括：
针对所述原始数据集中各原始图像，使用所述目标透视变换矫正网络模型识别所述原始图像中感兴趣目标的透视变换分布，确定透视变换分布图；
确定所述透视变换分布图中透视变换向量信息的重心距离均匀分布中心的偏差、所述透视变换向量信息的方差和所述透视变换向量信息的相关性系数；
在所述偏差大于偏差阈值、所述方差小于方差阈值或所述相关性系数大于系数阈值的情况下，基于预设感兴趣目标关注权重，以及所述偏差、所述方差或所述相关性系数，确定针对所述原始图像中所述感兴趣目标的数据缺失位置生成的多个目标图像；
针对各目标图像，使用所述目标图像对所述原始数据集进行数据补全，确定所述第二目标数据集。
4.根据权利要求3所述的模型训练方法，其特征在于，所述基于预设感兴趣目标关注权重，以及所述偏差、所述方差或所述相关性系数，确定针对所述原始图像中所述感兴趣目标的数据缺失位置生成的多个目标图像，包括：
基于预设感兴趣目标关注权重和第二预设数量阈值，以及所述偏差、所述方差或所述相关性系数，确定多个第二透视变换矩阵；
在确定所述多个第二透视变换矩阵的相关性满足分布均匀条件的情况下，针对各第二透视变换矩阵，使用所述第二透视变换矩阵对所述原始图像中所述感兴趣目标的数据缺失位置进行随机变换，确定目标图像。
5.根据权利要求3所述的模型训练方法，其特征在于，所述针对各目标图像，使用所述目标图像对所述原始数据集进行数据补全，确定所述第二目标数据集，包括：
针对各目标图像，在所述目标图像为含有所述感兴趣目标的图像的情况下，对所述目标图像进行针对所述感兴趣目标的位置信息标注和种类信息标注，确定标注信息；
在所述目标图像为不含所述感兴趣目标的背景图像的情况下，对所述目标图像进行补偿和畸变处理，确定负样本图像；
基于所述目标图像和所述标注信息，或基于所述负样本图像，对所述原始数据集进行数据补全，确定所述第二目标数据集。
6.根据权利要求2所述的模型训练方法，其特征在于，所述基于预设透视变换阈值、预设数据分布需求信息和第一预设数量阈值，确定多个第一透视变换矩阵，包括：
基于所述预设透视变换阈值、所述预设数据分布需求和所述第一预设数量阈值，确定均匀分布且归一化的第一随机数序列；
基于预设矩阵组合需求信息，对所述第一随机数序列进行矩阵组合，确定所述多个第一透视变换矩阵。
7.根据权利要求1至6任一项所述的模型训练方法，其特征在于，所述初始透视变换矫正网络模型为含有残差网络和U-net网络的网络模型。
8.一种目标检测方法，其特征在于，包括：
获取待测图像集、以及按照权利要求1至7任一项所述模型训练方法训练确定的预设目标检测网络模型，所述待测图像集包括不同视角下拍摄的含有感兴趣目标的图像；
将所述待测图像集输入至所述预设目标检测网络模型中，确定所述预设目标检测网络模型输出的所述感兴趣目标在预设视角下的目标种类信息和目标位置信息，所述预设视角属于所述不同视角。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述模型训练方法，或者如权利要求8所述目标检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述模型训练方法，或者如权利要求8所述目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310403529.7A CN116597246A (zh) | 2023-04-14 | 2023-04-14 | 模型训练方法、目标检测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310403529.7A CN116597246A (zh) | 2023-04-14 | 2023-04-14 | 模型训练方法、目标检测方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116597246A true CN116597246A (zh) | 2023-08-15 |
Family
ID=87605302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310403529.7A Pending CN116597246A (zh) | 2023-04-14 | 2023-04-14 | 模型训练方法、目标检测方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597246A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078509A (zh) * | 2023-10-18 | 2023-11-17 | 荣耀终端有限公司 | 模型训练方法、照片生成方法及相关设备 |
-
2023
- 2023-04-14 CN CN202310403529.7A patent/CN116597246A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078509A (zh) * | 2023-10-18 | 2023-11-17 | 荣耀终端有限公司 | 模型训练方法、照片生成方法及相关设备 |
| CN117078509B (zh) * | 2023-10-18 | 2024-04-09 | 荣耀终端有限公司 | 模型训练方法、照片生成方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523597B (zh) | 相机外参的标定方法和装置 | |
| CN108960090B (zh) | 视频图像处理方法及装置、计算机可读介质和电子设备 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| US11435289B2 (en) | Optical distortion measuring apparatus and optical distortion measuring method, image processing system, electronic apparatus and display apparatus | |
| CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
| JP2020523703A5 (zh) | ||
| US20190294863A9 (en) | Method and apparatus for face classification | |
| CN112669323B (zh) | 图像处理方法及相关设备 | |
| US20230214989A1 (en) | Defect detection method, electronic device and readable storage medium | |
| CN108447094B (zh) | 一种单目彩色相机的姿态估算方法及系统 | |
| CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
| US20230401691A1 (en) | Image defect detection method, electronic device and readable storage medium | |
| WO2022116104A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112561986A (zh) | 巡检机器人云台的二次对准方法、装置、设备和存储介质 | |
| CN116597246A (zh) | 模型训练方法、目标检测方法、电子设备及存储介质 | |
| CN112233161B (zh) | 手部图像深度确定方法、装置、电子设备及存储介质 | |
| US20230401670A1 (en) | Multi-scale autoencoder generation method, electronic device and readable storage medium | |
| CN111104965A (zh) | 车辆目标识别的方法及装置 | |
| CN115760908A (zh) | 基于胶囊网络感知特征的绝缘子跟踪方法和装置 | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| CN115797291A (zh) | 回路端子的识别方法、装置、计算机设备和存储介质 | |
| CN110751163A (zh) | 目标定位方法及其装置、计算机可读存储介质和电子设备 | |
| CN113870210A (zh) | 一种图像质量评估方法、装置、设备及存储介质 | |
| CN113989632A (zh) | 一种遥感图像桥梁检测方法、装置、电子设备及存储介质 | |
| CN112581001A (zh) | 设备的评估方法及装置、电子设备、可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |