CN117115415B - 基于大数据分析的图像标记处理方法和系统 - Google Patents

基于大数据分析的图像标记处理方法和系统 Download PDF

Info

Publication number
CN117115415B
CN117115415B CN202311386340.8A CN202311386340A CN117115415B CN 117115415 B CN117115415 B CN 117115415B CN 202311386340 A CN202311386340 A CN 202311386340A CN 117115415 B CN117115415 B CN 117115415B
Authority
CN
China
Prior art keywords
image
contour
target object
processed
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311386340.8A
Other languages
English (en)
Other versions
CN117115415A (zh
Inventor
姚启雄
阮齐翰
庄卉晶
谢镔炜
游铖炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Jiu Ling Creative Technology Ltd
Original Assignee
Xiamen Jiu Ling Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Jiu Ling Creative Technology Ltd filed Critical Xiamen Jiu Ling Creative Technology Ltd
Priority to CN202311386340.8A priority Critical patent/CN117115415B/zh
Publication of CN117115415A publication Critical patent/CN117115415A/zh
Application granted granted Critical
Publication of CN117115415B publication Critical patent/CN117115415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于大数据分析的图像标记处理方法和系统，涉及计算机技术领域。所述方法包括：拍摄监测图像，并筛选出待处理图像；通过轮廓检测模型，获得待处理图像中目标对象的标记框；通过标记框，获得待处理图像的多个对象图像；通过目标识别模型，获得对象图像所属的第一类别信息和第一概率；如果第一概率小于或等于预设概率阈值，通过图像生成模型获得构造图像，并在待处理图像中生成校正标记框；根据校正标记框对轮廓检测模型进行训练，并使用训练后的轮廓检测模型对下一检测周期的待处理图像进行处理。根据本发明，可使轮廓检测模型能够适应不同时段中的目标对象的检测工作，提升轮廓检测模型的精度以及抗干扰能力。

Description

基于大数据分析的图像标记处理方法和系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于大数据分析的图像标记处理方法和系统。
背景技术
在相关技术中，CN111461319A涉及一种利用目标对象集成网络和目标区域预测网络，来学习可适应诸如关键绩效指标的用户要求的基于CNN的对象检测器的参数的方法。所述CNN，可以根据所述关键绩效指标的分辨率或焦距的变化而变化的对象的规模进行重新设计。所述方法包括，学习装置，(i)使所述目标区域预测网络，找出第k预测目标区域，(ii)使RPN，生成与第(k_1)至第(k_n)处理图像上的对象对应的第(k_1)至第(k_n)对象候选，(iii)使所述目标对象集成网络，集成所述对象候选，并集成从FC层输出的第(k_1)至第(k_n)对象检测信息。
CN116484910A提供一种面向视频监控的目标检测模型量化精度损失建模方法，所述方法包括：步骤1、获取量化前目标检测模型W和量化后目标检测模型W′，将一组测试数据x分别输入到所述量化前目标检测模型W和所述量化后目标检测模型W′进行前向运算，得到量化前模型输出y，量化后模型输出y′；步骤2、计算量化前与量化后模型输出的信号量化噪声比SQNR(y,y′)；步骤3、根据所述信号量化噪声比SQNR(y,y′)进行反向传播，计算量化前模型梯度步骤4、计算所述量化前模型梯度的绝对值并对其进行归一化得到将绘制成热力图，并定位量化误差产生的参数位置。
因此，在相关技术中，可通过深度学习模型来检测监控视频中的目标对象，且可优化检测精度。但在监控视频中，虽然场景通常是固定的，但进入场景的目标对象则可能发生变化。例如，摄像头可设置在街道上，在拥堵高峰期，进入街道的目标对象中车辆的占比较高，而在其他时段，进入街道的目标对象中行人的占比较高。因此，不同时间段出现在场景中的目标对象的类型是不同的，适用于某一种类型目标对象的检测工作的深度学习模型未必适用于其他类型的目标对象的检测工作，而相关技术中并未根据不同时间段对深度学习模型进行迭代更新。进一步地，深度学习模型还可能由于不适应某种类型的目标对象的检测工作，导致在检测过程中易于将目标对象与背景混淆，特别是与目标对象的某个部分与背景的颜色较为相似时，易于将目标对象的该部分与背景混淆，从而造成检测精度较低，对目标对象进行标记的标记框存在误差等现象。
公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明提供一种基于大数据分析的图像标记处理方法和系统，能够解决模型未根据不同时间段进行迭代更新，以及易于将目标对象的部分与背景混淆的技术问题。
根据本发明的第一方面，提供一种基于大数据分析的图像标记处理方法,包括：
在第i个监测周期内，通过预设场景内设置的摄像头，拍摄预设场景内的多个监测图像，其中，所述预设场景内可包括多个目标对象；
根据预先获得的预设场景内的参考图像，对所述监测图像进行筛选，获得多个待处理图像，其中，所述参考图像为所述预设场景内不包括目标对象时，通过所述摄像头拍摄的图像；
通过轮廓检测模型，获得所述待处理图像中多个目标对象的标记框，其中，所述标记框为标记出目标对象的轮廓的曲线框；
通过所述标记框，对所述待处理图像中的多个目标对象分别进行截取，获得所述待处理图像的多个对象图像；
通过训练后的目标识别模型，对所述对象图像进行识别处理，获得所述对象图像中的目标对象所属的第一类别信息，以及所述对象图像中的目标对象属于所述第一类别信息的第一概率；
在所述第一概率小于或等于预设概率阈值的情况下，通过训练后的图像生成模型对所述对象图像进行处理，获得与所述对象图像对应的构造图像；
根据所述构造图像中目标对象的轮廓，在所述待处理图像中生成校正标记框；
根据所述校正标记框对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型；
在第i+1个监测周期中，使用所述训练后的轮廓检测模型对第i+1个检测周期内获得的待处理图像进行处理。
根据本发明，通过所述标记框，对所述待处理图像中的多个目标对象分别进行截取，获得所述待处理图像的多个对象图像，包括：
对所述标记框内的区域进行截图，获得截图图像；
将所述截图图像添加至空白背景图像中，获得对象图像，其中，所述空白背景图像的尺寸大于对所述标记框进行框选的最小矩形框的尺寸。
根据本发明，所述图像生成模型的训练步骤包括：
获取包括单一目标对象的第一样本图像，其中，所述单一目标对象的类型属于预设场景内出现过的目标对象的类型的集合，且所述第一样本图像中的背景为空白；
对所述第一样本图像中的单一目标对象的图像进行修改，获得第一修改图像，其中，修改方式包括第一种修改方式和第二种修改方式，所述第一种修改方式为随机删除所述单一目标对象的部分图形，所述第二种修改方式为在所述单一目标对象的轮廓上的任意位置新增任意图形；
将所述第一修改图像输入图像生成模型，生成第一训练图像，其中，所述第一训练图像中包括所述图像生成模型生成的所述单一目标对象的图形；
获取所述第一样本图像中所述单一目标对象的第一轮廓线、所述第一训练图像中所述单一目标对象的第二轮廓线以及所述第一修改图像中修改后的单一目标对象的第三轮廓线；
根据所述第一轮廓线、所述第二轮廓线和所述第三轮廓线，获得图像生成模型的损失函数；
根据所述图像生成模型的损失函数，对所述图像生成模型进行训练，获得训练后的图像生成模型。
根据本发明，在所述修改方式为第一种修改方式的情况下，所述根据所述第一轮廓线、所述第二轮廓线和所述第三轮廓线，获得图像生成模型的损失函数，包括：
根据公式
获得图像生成模型的损失函数，其中，/>为第二轮廓线上第i个像素点的坐标，/>为第二轮廓线上的像素点总数，i≤/>，且i和/>均为正整数，/>为第一轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第三轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第三轮廓线围成的区域，/>表示二范数运算，if为条件函数。
根据本发明，在所述修改方式为第二种修改方式的情况下，所述根据所述第一轮廓线、所述第二轮廓线和所述第三轮廓线，获得图像生成模型的损失函数，包括：
根据公式
获得图像生成模型的损失函数，其中，/>为第二轮廓线上第i个像素点的坐标，/>为第二轮廓线上的像素点总数，i≤/>，且i和/>均为正整数，/>为第一轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第三轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第一轮廓线围成的区域，/>表示二范数运算，if为条件函数。
根据本发明，根据所述校正标记框对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型，包括：
根据所述待处理图像中各个目标对象的标记框和校正标记框，确定所述轮廓检测模型的损失函数；
根据所述轮廓检测模型的损失函数，对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型。
根据本发明，根据所述待处理图像中各个目标对象的标记框和校正标记框，确定所述轮廓检测模型的损失函数，包括：
根据公式
确定轮廓检测模型的损失函数，其中，/>为第j个目标对象的标记框上的第k个像素点的坐标，/>为第j个目标对象的校正标记框上与标记框上的第k个像素点距离最近的像素点的坐标，/>为第j个目标对象的标记框上的像素点数量，/>为待处理图像中目标对象的数量，/>为第j个目标对象的标记框的面积，/>为待处理图像的面积，k≤/>，j≤/>，且k、/>、j和/>均为正整数，/>表示二范数运算。
根据本发明的第二方面，提供一种基于大数据分析的图像标记处理系统，包括：
拍摄模块，用于在第i个监测周期内，通过预设场景内设置的摄像头，拍摄预设场景内的多个监测图像，其中，所述预设场景内可包括多个目标对象；
筛选模块，用于根据预先获得的预设场景内的参考图像，对所述监测图像进行筛选，获得多个待处理图像，其中，所述参考图像为所述预设场景内不包括目标对象时，通过所述摄像头拍摄的图像；
检测模块，用于通过轮廓检测模型，获得所述待处理图像中多个目标对象的标记框，其中，所述标记框为标记出目标对象的轮廓的曲线框；
截取模块，用于通过所述标记框，对所述待处理图像中的多个目标对象分别进行截取，获得所述待处理图像的多个对象图像；
识别模块，用于通过训练后的目标识别模型，对所述对象图像进行识别处理，获得所述对象图像中的目标对象所属的第一类别信息，以及所述对象图像中的目标对象属于所述第一类别信息的第一概率；
构造模块，用于在所述第一概率小于或等于预设概率阈值的情况下，通过训练后的图像生成模型对所述对象图像进行处理，获得与所述对象图像对应的构造图像；
校正模块，用于根据所述构造图像中目标对象的轮廓，在所述待处理图像中生成校正标记框；
训练模块，用于根据所述校正标记框对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型；
处理模块，用于在第i+1个监测周期中，使用所述训练后的轮廓检测模型对第i+1个检测周期内获得的待处理图像进行处理。
根据本发明的第三方面，提供一种基于大数据分析的图像标记处理设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行所述基于大数据分析的图像标记处理方法。
根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现所述基于大数据分析的图像标记处理方法。
技术效果：根据本发明，可在每个监测周期结束后，通过待处理图像中准确性较低的标记框，以及基于目标对象生成的准确性更高的校正标记框来训练轮廓检测模型，使得轮廓检测模型能够适应不同时间段中的目标对象的检测工作，且在通训练轮廓检测模型的过程中，可通过图像生成模型基于轮廓不准确的对象图像生成轮廓准确的构造图像，从而获取轮廓准确的校正标记框，可为训练过程提供参考数据，并且校正标记框的获取过程不受待处理图像中背景的影响，因此不会与背景混淆，从而使得轮廓检测模型在训练后能够更准确地区分目标对象和背景，以及更准确地标记出目标对象的轮廓，提升检测准确性以及对目标对象的检测工作的适应性。在训练图像生成模型的过程中，可充分利用第二轮廓线上的像素点与第一轮廓线和第三轮廓线之间的距离，提升损失函数的值，增大对于第一轮廓线和第二轮廓线之间的差距的训练力度，并在第二轮廓线接近第一轮廓线的情况下，使用第一轮廓线和第三轮廓线之间的固定距离进行加权，减少梯度消失现象出现的概率，提升训练效率，使得第二轮廓线迅速接近第一轮廓线，减少图像生成模型的误差，从而生成准确性更高的目标对象的轮廓。在训练轮廓检测模型的过程中，可通过目标对象的标记框的面积与待处理图像的面积之间的比值作为各个目标对象的标记框和校正标记框的平均差异的权重，从而进行加权求和获得轮廓检测模型的损失函数，使轮廓检测模型的训练过程中的训练重点更明确，训练效率更高，提升轮廓检测模型的精度、对目标对象的适应性以及在检测工作中的抗干扰能力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本发明。根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将更清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例，
图1示例性地示出根据本发明实施例的基于大数据分析的图像标记处理方法的流程示意图；
图2示例性地示出根据本发明实施例的在第一种修改方式的情况下第一轮廓线和第三轮廓线的示意图；
图3示例性地示出根据本发明实施例的在第二种修改方式的情况下第一轮廓线和第三轮廓线的示意图；
图4示例性地示出根据本发明实施例的基于大数据分析的图像标记处理系统的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1示例性地示出根据本发明实施例的基于大数据分析的图像标记处理方法的流程示意图，所述方法包括：
步骤S101，在第i个监测周期内，通过预设场景内设置的摄像头，拍摄预设场景内的多个监测图像，其中，所述预设场景内可包括多个目标对象；
步骤S102，根据预先获得的预设场景内的参考图像，对所述监测图像进行筛选，获得多个待处理图像，其中，所述参考图像为所述预设场景内不包括目标对象时，通过所述摄像头拍摄的图像；
步骤S103，通过轮廓检测模型，获得所述待处理图像中多个目标对象的标记框，其中，所述标记框为标记出目标对象的轮廓的曲线框；
步骤S104，通过所述标记框，对所述待处理图像中的多个目标对象分别进行截取，获得所述待处理图像的多个对象图像；
步骤S105，通过训练后的目标识别模型，对所述对象图像进行识别处理，获得所述对象图像中的目标对象所属的第一类别信息，以及所述对象图像中的目标对象属于所述第一类别信息的第一概率；
步骤S106，在所述第一概率小于或等于预设概率阈值的情况下，通过训练后的图像生成模型对所述对象图像进行处理，获得与所述对象图像对应的构造图像；
步骤S107，根据所述构造图像中目标对象的轮廓，在所述待处理图像中生成校正标记框；
步骤S108，根据所述校正标记框对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型；
步骤S109，在第i+1个监测周期中，使用所述训练后的轮廓检测模型对第i+1个检测周期内获得的待处理图像进行处理。
根据本发明的实施例的基于大数据分析的图像标记处理方法，可在每个监测周期结束后，通过待处理图像中准确性较低的标记框，以及基于目标对象生成的准确性更高的校正标记框来训练轮廓检测模型，使得轮廓检测模型能够适应不同时间段中的目标对象的检测工作，且在通训练轮廓检测模型的过程中，可通过图像生成模型基于轮廓不准确的对象图像生成轮廓准确的构造图像，从而获取轮廓准确的校正标记框，可为训练过程提供参考数据，并且校正标记框的获取过程不受待处理图像中背景的影响，因此不会与背景混淆，从而使得轮廓检测模型在训练后能够更准确地区分目标对象和背景，以及更准确地标记出目标对象的轮廓，提升检测准确性以及对目标对象的检测工作的适应性。
根据本发明的一个实施例，在步骤S101中，预设场景可包括街道、商场、写字楼等场景，本发明对预设场景的类型不做限制。随着时间的推移，预设场景内出现的目标对象可能发生变化。例如，在街道场景中，在交通拥堵高峰期，出现在街道场景中的车辆较多，在其他时间段，出现在街道中的行人较多。又例如，在商场场景中，在非营业时间中，出现在商场场景中的运输工具较多，例如，装载货物的叉车、板车较多，在营业时间中，出现在商场场景中的购物者较多。因此，可在每个监测周期结束后，基于摄像头拍摄到的监测图像，以及轮廓检测模型对于监测图像中的目标对象的轮廓检测的结果（标记框），来确定轮廓检测模型是否适用于当前时间段中预设场景中出现的大量目标对象的检测工作，如果存在检测误差，则可更新训练轮廓检测模型，使其适用于目标对象的检测工作。
根据本发明的一个实施例，在步骤S102中，由于摄像头可拍摄预设场景内的监控视频，而监控视频经过解析，可获得大量视频帧（即，监测图像），对大量监测图像均进行处理所耗费的算力巨大，因此，为了节约算力，可对监测图像进行筛选。
根据本发明的一个实施例，可获取预设场景内的参考图像，在参考图像中，预设场景内不包括任何目标对象，因此，监测图像与参考图像的差异是由于监测图像中包括目标对象引起的，可在筛选过程中，筛选目标对象数量较多的监测图像作为待处理图像，或者筛选目标对象所在区域在监测图像中的面积占比较大的监测图像作为待处理图像。在示例中，可将监测图像与参考图像的像素值进行作差，得到的作差结果中像素值不为0的区域即为目标对象所在区域，可确定目标对象所在区域的数量或者面积，进而确定目标对象的数量或面积占比。进而可在多个监测图像中筛选出目标对象数量或面积占比较大的监测图像，作为待处理图像。
根据本发明的一个实施例，在步骤S103中，可通过轮廓检测模型对待处理图像进行检测，轮廓检测模型为深度学习神经网络模型，例如，卷积神经网络模型等，本发明对轮廓检测模型的具体类型不做限制。轮廓检测模型可检测待处理图像中多个目标对象的轮廓，获得目标对象的标记框，然而，轮廓检测模型未必适用于待处理图像中的目标对象的检测工作，并且，还可能由于目标对象的某些部分与背景颜色相近等原因，易使目标对象所在区域与背景区域发生混淆，从而造成检测到的标记框不准确，例如，不能准确表示目标对象的轮廓。
根据本发明的一个实施例，在步骤S104中，可验证多个目标对象的标记框是否准确，并可通过不准确的标记框来训练轮廓检测模型，从而校正轮廓检测模型的偏差，使轮廓检测模型更加适应该时段内出现在预设场景中的目标对象的检测工作，提升标记框的准确性。
根据本发明的一个实施例，步骤S104可包括：对所述标记框内的区域进行截图，获得截图图像；将所述截图图像添加至空白背景图像中，获得对象图像，其中，所述空白背景图像的尺寸大于对所述标记框进行框选的最小矩形框的尺寸。
根据本发明的一个实施例，可将标记框内的区域，即，目标对象所在的区域截图，并将获得的截图图像添加至空白背景图像中，得到对象图像，对象图像的内容仅包括目标对象所在区域内的图像，其背景为空白。可利用对象图像来确定轮廓检测模型检测到的标记框是否准确，而不会受到待处理图像中背景的干扰。
根据本发明的一个实施例，在步骤S105中，可通过训练后的目标识别模型对以上获得的对象图像进行识别处理，目标识别模型为深度学习神经网络模型，例如，卷积神经网络模型，本发明对目标识别模型的类型不做限制。目标识别模型可确定对象图像中的对象属于多种类别的概率，例如，可确定对象图像中的目标对象属于行人的概率、属于机动车的概率以及属于非机动车的概率等，并可将概率最高的类别确定第一类别信息，并将目标对象属于第一类别信息的概率确定为第一概率。如果轮廓检测模型确定的标记框准确，则截取目标对象的轮廓是准确的，目标识别模型在不受背景干扰的对象图像中能够准确识别出目标对象的类别的概率也是较高的，即，如果轮廓检测模型确定的标记框准确，则目标识别模型能够以较高的确定性识别出目标对象的类型，即，确定目标对象属于第一类别信息的第一概率较高，反之，如果标记框不准确，则目标对象的形状可能出现偏差，则确定目标对象属于第一类别信息的第一概率较低。举例来说，目标对象为行人，如果标记框准确，目标对象的轮廓和形状准确，则目标识别模型可确定该目标对象为行人的概率为99%，然而，如果标记框不准确，则目标识别模型确定该目标对象为行人的概率为60%，确定该目标对象为非机动车的概率为35%，确定该目标对象为机动车的概率为5%。通过以上对比可知，在标记框不准确的情况下，目标识别模型可能能够确定目标对象所属的第一类别信息，但确定性不高，即，第一概率不高。当然，如果目标识别模型对目标对象的所属的类别的判断时错误的，则第一概率会更低。
根据本发明的一个实施例，目标识别模型的训练过程为，使用人工标注类别信息后的样本图像输入目标识别模型，获得目标识别模型输出的类别信息，并基于人工标注的类别信息与目标识别模型输出的类别信息之间的偏差来训练目标识别模型，使得目标识别模型输出的类别信息逐步接近人工标注的类别信息，从而得到训练后的目标识别模型。
根据本发明的一个实施例，在步骤S106中，如果目标识别模型对于对象图像进行识别的确定性不高，即，第一概率小于或等于预设的概率阈值，则可认为轮廓检测模型检测到的目标对象的轮廓（即，标记框）的准确性不高，在这种情况下，可生成准确的标记框（即，校正标记框），从而基于校正标记框和标记框之间的误差来训练轮廓检测模型，使得该误差缩小，提升轮廓检测模型的精度、对该类目标对象的适应性以及在检测工作中的抗干扰能力。
根据本发明的一个实施例，生成准确的标记框的工作可通过训练后的图像生成模型来完成，图像生成模型可对轮廓不准确的对象图像进行处理，并修正对象图像中不准确的目标对象的轮廓。例如，如果轮廓检测模型检测到的标记框相对于目标对象的准确的轮廓更大（即，将一部分区域误识别为目标对象所在的区域），则图像生成模型可去除误识别的背景区域，从而生成包括目标对象的准确的轮廓的构造图像。又例如，如果轮廓检测模型检测到的标记框相对于目标对象的准确的轮廓更小（即，目标对象所在的区域不完整），则图像生成模型可将目标对象补充完整，生成包括目标对象的准确的轮廓的构造图像。
根据本发明的一个实施例，在步骤S107中，可使用构造图像中目标对象的轮廓，在待处理图像中生成校正标记框，例如，可将构造图像中目标对象的轮廓添加至待处理图像中的对应位置（即，与标记框部分重合的位置）则可在待处理图像中生成校正标记框，进而可基于校正标记框和标记框之间的误差来训练轮廓检测模型。
根据本发明的一个实施例，所述图像生成模型的训练步骤包括：获取包括单一目标对象的第一样本图像，其中，所述单一目标对象的类型属于预设场景内出现过的目标对象的类型的集合，且所述第一样本图像中的背景为空白；对所述第一样本图像中的单一目标对象的图像进行修改，获得第一修改图像，其中，修改方式包括第一种修改方式和第二种修改方式，所述第一种修改方式为随机删除所述单一目标对象的部分图形，所述第二种修改方式为在所述单一目标对象的轮廓上的任意位置新增任意图形；将所述第一修改图像输入图像生成模型，生成第一训练图像，其中，所述第一训练图像中包括所述图像生成模型生成的所述单一目标对象的图形；获取所述第一样本图像中所述单一目标对象的第一轮廓线、所述第一训练图像中所述单一目标对象的第二轮廓线以及所述第一修改图像中修改后的单一目标对象的第三轮廓线；根据所述第一轮廓线、所述第二轮廓线和所述第三轮廓线，获得图像生成模型的损失函数；根据所述图像生成模型的损失函数，对所述图像生成模型进行训练，获得训练后的图像生成模型。
根据本发明的一个实施例，如上所述，图像生成模型具有去除误识别的背景区域，以及补充不完整的目标对象所在区域的两种功能，因此，可训练图像生成模型的两种功能。
根据本发明的一个实施例，在训练过程中，可使用与对象图像类似的第一样本图像进行训练，即，在第一样本图像中，仅包括单一目标对象，且第一样本图像的背景为空白。并且，单一目标对象的轮廓是准确的。
根据本发明的一个实施例，为了训练图像生成模型补充不完整的目标对象所在区域的功能，可通过第一种修改方式随机删除单一目标对象的部分图形，获得第一修改图像，并可训练图像生成模型在处理第一修改图像时，将被删除的部分图形补充完整，得到准确的单一目标对象的轮廓。为了训练图像生成模型去除误识别的背景区域的功能，可通过第二种修改方式为在单一目标对象的轮廓上的任意位置新增任意图形，获得第一修改图像，并可训练图像生成模型在处理第一修改图像时，将新增的任意图形去除，得到准确的单一目标对象的轮廓。
根据本发明的一个实施例，在经过上述修改得到第一修改图像后，可输入图像生成模型进行处理，得到第一训练图像，第一训练图像中的轮廓可对第一修改图像中的轮廓进行校正，但校正后的轮廓仍未必是准确的，可缩小校正后的轮廓与第一样本图像中单一目标对象的准确的轮廓之间的差距，从而提升图像生成模型的校正能力。
根据本发明的一个实施例，第一样本图像中单一目标对象的准确的轮廓线为第一轮廓线，第一训练图像中校正后的轮廓线为第二轮廓线，第一修改图像中修改后的轮廓线为第三轮廓线，可基于第一轮廓线、第二轮廓线和第三轮廓线来确定图像生成模型的损失函数，进而对图像生成模型进行训练。
根据本发明的一个实施例，在所述修改方式为第一种修改方式的情况下，所述根据所述第一轮廓线、所述第二轮廓线和所述第三轮廓线，获得图像生成模型的损失函数，包括：根据公式（1）获得图像生成模型的损失函数，
（1）
其中，为第二轮廓线上第i个像素点的坐标，/>为第二轮廓线上的像素点总数，i≤/>，且i和/>均为正整数，/>为第一轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第三轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第三轮廓线围成的区域，/>表示二范数运算，if为条件函数。
根据本发明的一个实施例，在公式（1）中，可通过第二轮廓线上的第i个像素点的坐标，和第一轮廓线上与第二轮廓线上第i个像素点距离最近的像素点的坐标之间的坐标差距的二范数来表示第一轮廓线和第二轮廓线之间的差异，坐标差距的二范数的求解方式为对横坐标的差距的平方与纵坐标差距的平方求和，并对求和结果进行开方。因此，可通过来表示第一轮廓线和第二轮廓线之间的差距。进一步地，可通过公式（1）中的条件函数为不同情况下的第一轮廓线和第二轮廓线之间的差距赋予相应的权重。
图2示例性地示出根据本发明实施例的在第一种修改方式的情况下第一轮廓线和第三轮廓线的示意图。在第一种修改方式中，可随机删除所述单一目标对象的部分图形，在删除之前，单一目标对象的第一轮廓线为，在删除之后，单一目标对象的第三轮廓线为，第一轮廓线和第三轮廓线重合的部分用实线表示。
根据本发明的一个实施例，在公式（1）中，可通过条件函数来为不同情况下的第一轮廓线和第二轮廓线之间的差距赋予对应的权重。公式（1）中的条件函数可表示，如果第二轮廓线上第i个像素点位于第三轮廓线围成的区域内（例如，位置C），则条件函数的值为。如果第二轮廓线上第i个像素点不是位于第三轮廓线围成的区域内（例如，位置A或B），则条件函数的值为/>，
即，内层条件函数。
根据本发明的一个实施例，如果第二轮廓线上第i个像素点位于第三轮廓线围成的区域内（例如，位置C），此时，第二轮廓线上的像素点与第一轮廓线距离较远，则为赋予的权重同样为/>，在加权后，条件函数的值为/>，可充分利用第二轮廓线上的第i个像素点分别与第一轮廓线之间的距离数据，并可使用距离数据来增大对于第一轮廓线和第二轮廓线之间的差距的训练力度，提升训练效率。
根据本发明的一个实施例，如果第二轮廓线上第i个像素点并非位于第三轮廓线围成的区域内，则可通过内层条件函数来确定的权值。在该内层条件函数中，如果/>，即，第二轮廓线上第i个像素点更接近第三轮廓线（例如，位置A，且位置A更接近第三轮廓线），此时第二轮廓线上第i个像素点与第一轮廓线之间的距离较远，可将该较远的距离值作为权重，即，权重同样为，在加权后，条件函数的值为/>。如果即，第二轮廓线上第i个像素点更接近第一轮廓线（例如，位置B或位置A，且位置A更接近第一轮廓线），则此时第二轮廓线上第i个像素点与第一轮廓线的距离较近（接近最优解，并在第一轮廓线附近震荡），使得损失函数较小，训练效率降低，甚至可能造成梯度消失等现象，并且可能在最优解附近震荡，难以达到最优解，因此，可将/>作为权重，该权重为第一轮廓线和第三轮廓线之间的固定距离，可增大损失函数的值增大对于第一轮廓线和第二轮廓线之间的差距的训练力度，提升训练效率，加快达到最优解的速度，减小梯度消失现象出现的可能性。
根据本发明的一个实施例，在获得上述条件函数的值后，可对第二轮廓线上各个像素点对应的条件函数的值进行平均，获得图像生成模型的损失函数。进一步地，由于图像生成模型主要用于获得更准确的目标对象的轮廓，因此在损失函数中并未包括生成的第一训练图像与第一样本图像之间的像素值的差异的项，从而可降低运算量，提升训练效率。
通过这种方式，可在修改方式为第一种修改方式的情况下，充分利用第二轮廓线上的像素点与第一轮廓线和第三轮廓线之间的距离，提升损失函数的值，增大对于第一轮廓线和第二轮廓线之间的差距的训练力度，提升训练效率，使得第二轮廓线迅速接近第一轮廓线，减少图像生成模型的误差，从而生成准确性更高的目标对象的轮廓。
在所述修改方式为第二种修改方式的情况下，所述根据所述第一轮廓线、所述第二轮廓线和所述第三轮廓线，获得图像生成模型的损失函数，包括：根据公式（2）获得图像生成模型的损失函数，
（2）
其中，为第二轮廓线上第i个像素点的坐标，/>为第二轮廓线上的像素点总数，i≤/>，且i和/>均为正整数，/>为第一轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第三轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第一轮廓线围成的区域，/>表示二范数运算，if为条件函数。
根据本发明的一个实施例，在公式（2）中，可通过第二轮廓线上的第i个像素点的坐标，和第一轮廓线上与第二轮廓线上第i个像素点距离最近的像素点的坐标之间的坐标差距的二范数来表示第一轮廓线和第二轮廓线之间的差异，坐标差距的二范数的求解方式为对横坐标的差距的平方与纵坐标差距的平方求和，并对求和结果进行开方。因此，可通过来表示第一轮廓线和第二轮廓线之间的差距。进一步地，可通过公式（2）中的条件函数为不同情况下的第一轮廓线和第二轮廓线之间的差距赋予相应的权重。
图3示例性地示出根据本发明实施例的在第二种修改方式的情况下第一轮廓线和第三轮廓线的示意图。在第二种修改方式中，可在单一目标对象的轮廓上的任意位置新增任意图形，在新增之前，单一目标对象的第一轮廓线为，在新增之后，单一目标对象的第三轮廓线为/>，第一轮廓线和第三轮廓线重合的部分用实线表示。
根据本发明的一个实施例，在公式（2）中，可通过条件函数来为不同情况下的第一轮廓线和第二轮廓线之间的差距赋予对应的权重。公式（2）中的条件函数可表示，如果第二轮廓线上第i个像素点位于第三轮廓线围成的区域内（例如，位置D或E），则条件函数的值为，
即，内层条件函数。如果第二轮廓线上第i个像素点位于第三轮廓线围成的区域之外（例如，位置F），则条件函数的值为。
根据本发明的一个实施例，如果第二轮廓线上第i个像素点位于第三轮廓线围成的区域之外（例如，位置F），此时，第二轮廓线上的像素点与第一轮廓线距离较远，则为赋予的权重同样为/>，在加权后，条件函数的值为/>，可充分利用第二轮廓线上的第i个像素点分别与第一轮廓线之间的距离数据，并可使用距离数据来增大对于第一轮廓线和第二轮廓线之间的差距的训练力度，提升训练效率。
根据本发明的一个实施例，如果第二轮廓线上第i个像素点位于第三轮廓线围成的区域之内，则可通过内层条件函数来确定的权值。在该内层条件函数中，如果/>，即，第二轮廓线上第i个像素点更接近第三轮廓线（例如，位置D，且位置D更接近第三轮廓线），此时第二轮廓线上第i个像素点与第一轮廓线之间的距离较远，且通常处于第二轮廓线上的像素点向第一轮廓线接近的过程中，可将权重设置为/>，在加权后，条件函数的值为。如果/>即，第二轮廓线上第i个像素点更接近第一轮廓线（例如，位置E或位置D，且位置D更接近第一轮廓线），则第二轮廓线上的像素点通常已接近第一轮廓线（接近最优解，并在第一轮廓线附近震荡），使得损失函数较小，训练效率降低，甚至可能造成梯度消失等现象，并且可能在最优解附近震荡，难以达到最优解，因此，可将/>作为权重，该权重为第一轮廓线和第三轮廓线之间的固定距离，可增大损失函数的值增大对于第一轮廓线和第二轮廓线之间的差距的训练力度，提升训练效率，加快达到最优解的速度，减小梯度消失现象出现的可能性。
根据本发明的一个实施例，在获得上述条件函数的值后，可对第二轮廓线上各个像素点对应的条件函数的值进行平均，获得图像生成模型的损失函数。
通过这种方式，可在修改方式为第二种修改方式的情况下，充分利用第二轮廓线上的像素点与第一轮廓线和第三轮廓线之间的距离，提升损失函数的值，增大对于第一轮廓线和第二轮廓线之间的差距的训练力度，并在第二轮廓线接近第一轮廓线的情况下，使用第一轮廓线和第三轮廓线之间的固定距离进行加权，提升训练力度，减少图像生成模型的误差，从而生成准确性更高的目标对象的轮廓。
根据本发明的一个实施例，可通过以上图像生成模型的损失函数，对图像生成模型进行多次训练，获得训练后的图像生成模型，并用于生成构造图像的过程中，并可获得准确性较高的校正标记框。
根据本发明的一个实施例，在步骤S108中，在得到准确性较高的校正标记框后，可基于校正标记框和标记框之间的误差对轮廓检测模型进行训练，以提升轮廓检测模型的精度，提升对目标对象的适应性以及在检测工作中的抗干扰能力。
根据本发明的一个实施例，步骤S108可包括：根据所述待处理图像中各个目标对象的标记框和校正标记框，确定所述轮廓检测模型的损失函数；根据所述轮廓检测模型的损失函数，对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型。
根据本发明的一个实施例，根据所述待处理图像中各个目标对象的标记框和校正标记框，确定所述轮廓检测模型的损失函数，包括：根据公式（3）确定轮廓检测模型的损失函数，
（3）
其中，为第j个目标对象的标记框上的第k个像素点的坐标，为第j个目标对象的校正标记框上与标记框上的第k个像素点距离最近的像素点的坐标，/>为第j个目标对象的标记框上的像素点数量，/>为待处理图像中目标对象的数量，/>为第j个目标对象的标记框的面积，/>为待处理图像的面积，k≤/>，j≤/>，且k、、j和/>均为正整数，/>表示二范数运算。
根据本发明的一个实施例，在公式（3）中，表示第j个目标对象的标记框上的第k个像素点的坐标与校正标记框上距离最近的像素点的坐标差距的二范数的平方，进一步地，可求解为第j个目标对象的标记框上多个像素点对应的上述二范数的平方进行平均，可获得第j个目标对象的标记框和校正标记框的平均差异。
根据本发明的一个实施例，可对各个目标对象的平均差异进行加权平均，可获得轮廓检测模型对待处理图像中各个目标对象的平均检测误差，该平均检测误差即可作为轮廓检测模型的损失函数。其中，在加权平均的过程中，各个目标对象的平均差异的权重为，即，第j个目标对象的标记框的面积与待处理图像的面积之间的比值，该比值越大，则表示第j个目标对象在待处理图像中的尺寸越大，亦可表示其在待处理图像中的重要性越高。
根据本发明的一个实施例，在获得轮廓检测模型的损失函数后，可通过轮廓检测模型的损失函数对轮廓检测模型进行训练，并且，可通过多个待处理模型多次获得轮廓检测模型的损失函数，并进行多次训练，得到训练后的轮廓检测模型，使得训练后的轮廓检测模型的精度提升，并使训练后的轮廓检测模型对目标对象的适应性以及在检测工作中的抗干扰能力提升。
通过这种方式，可通过目标对象的标记框的面积与待处理图像的面积之间的比值作为各个目标对象的标记框和校正标记框的平均差异的权重，从而进行加权求和获得轮廓检测模型的损失函数，使轮廓检测模型的训练过程中的训练重点更明确，训练效率更高，提升轮廓检测模型的精度、对目标对象的适应性以及在检测工作中的抗干扰能力。
根据本发明的一个实施例，在步骤S109中，在第i+1个监测周期中，可使用训练后的轮廓检测模型对待处理图像中的目标对象进行轮廓检测，从而获得更准确的目标对象的轮廓。
根据本发明的实施例的基于大数据分析的图像标记处理方法，可在每个监测周期结束后，通过待处理图像中准确性较低的标记框，以及基于目标对象生成的准确性更高的校正标记框来训练轮廓检测模型，使得轮廓检测模型能够适应不同时间段中的目标对象的检测工作，且在通训练轮廓检测模型的过程中，可通过图像生成模型基于轮廓不准确的对象图像生成轮廓准确的构造图像，从而获取轮廓准确的校正标记框，可为训练过程提供参考数据，并且校正标记框的获取过程不受待处理图像中背景的影响，因此不会与背景混淆，从而使得轮廓检测模型在训练后能够更准确地区分目标对象和背景，以及更准确地标记出目标对象的轮廓，提升检测准确性以及对目标对象的检测工作的适应性。在训练图像生成模型的过程中，可充分利用第二轮廓线上的像素点与第一轮廓线和第三轮廓线之间的距离，提升损失函数的值，增大对于第一轮廓线和第二轮廓线之间的差距的训练力度，并在第二轮廓线接近第一轮廓线的情况下，使用第一轮廓线和第三轮廓线之间的固定距离进行加权，减少梯度消失现象出现的概率，提升训练效率，使得第二轮廓线迅速接近第一轮廓线，减少图像生成模型的误差，从而生成准确性更高的目标对象的轮廓。在训练轮廓检测模型的过程中，可通过目标对象的标记框的面积与待处理图像的面积之间的比值作为各个目标对象的标记框和校正标记框的平均差异的权重，从而进行加权求和获得轮廓检测模型的损失函数，使轮廓检测模型的训练过程中的训练重点更明确，训练效率更高，提升轮廓检测模型的精度、对目标对象的适应性以及在检测工作中的抗干扰能力。
图4示例性地示出根据本发明实施例的基于大数据分析的图像标记处理系统的框图，所述系统包括：
拍摄模块，用于在第i个监测周期内，通过预设场景内设置的摄像头，拍摄预设场景内的多个监测图像，其中，所述预设场景内可包括多个目标对象；
筛选模块，用于根据预先获得的预设场景内的参考图像，对所述监测图像进行筛选，获得多个待处理图像，其中，所述参考图像为所述预设场景内不包括目标对象时，通过所述摄像头拍摄的图像；
检测模块，用于通过轮廓检测模型，获得所述待处理图像中多个目标对象的标记框，其中，所述标记框为标记出目标对象的轮廓的曲线框；
截取模块，用于通过所述标记框，对所述待处理图像中的多个目标对象分别进行截取，获得所述待处理图像的多个对象图像；
识别模块，用于通过训练后的目标识别模型，对所述对象图像进行识别处理，获得所述对象图像中的目标对象所属的第一类别信息，以及所述对象图像中的目标对象属于所述第一类别信息的第一概率；
构造模块，用于在所述第一概率小于或等于预设概率阈值的情况下，通过训练后的图像生成模型对所述对象图像进行处理，获得与所述对象图像对应的构造图像；
校正模块，用于根据所述构造图像中目标对象的轮廓，在所述待处理图像中生成校正标记框；
训练模块，用于根据所述校正标记框对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型；
处理模块，用于在第i+1个监测周期中，使用所述训练后的轮廓检测模型对第i+1个检测周期内获得的待处理图像进行处理。
根据本发明的一个实施例，提供一种基于大数据分析的图像标记处理设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行所述基于大数据分析的图像标记处理方法。
根据本发明的一个实施例，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现所述基于大数据分析的图像标记处理方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于大数据分析的图像标记处理方法，其特征在于，包括：
在当前监测周期内，通过预设场景内设置的摄像头，拍摄预设场景内的多个监测图像，其中，所述预设场景内包括多个目标对象；
根据预先获得的预设场景内的参考图像，对所述监测图像进行筛选，获得多个待处理图像，其中，所述参考图像为所述预设场景内不包括目标对象时，通过所述摄像头拍摄的图像；
通过轮廓检测模型，获得所述待处理图像中多个目标对象的标记框，其中，所述标记框为标记出目标对象的轮廓的曲线框；
通过所述标记框，对所述待处理图像中的多个目标对象分别进行截取，获得所述待处理图像的多个对象图像；
通过训练后的目标识别模型，对所述对象图像进行识别处理，获得所述对象图像中的目标对象所属的第一类别信息，以及所述对象图像中的目标对象属于所述第一类别信息的第一概率；
在所述第一概率小于或等于预设概率阈值的情况下，通过训练后的图像生成模型对所述对象图像进行处理，获得与所述对象图像对应的构造图像；
根据所述构造图像中目标对象的轮廓，在所述待处理图像中生成校正标记框；
根据所述校正标记框对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型；
在下一个监测周期中，使用所述训练后的轮廓检测模型对下一个监测周期内获得的待处理图像进行处理；
根据所述校正标记框对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型，包括：
根据所述待处理图像中各个目标对象的标记框和校正标记框，确定所述轮廓检测模型的损失函数；
根据所述轮廓检测模型的损失函数，对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型；
根据所述待处理图像中各个目标对象的标记框和校正标记框，确定所述轮廓检测模型的损失函数，包括：
根据公式
确定轮廓检测模型的损失函数，其中，/>为第j个目标对象的标记框上的第k个像素点的坐标，/>为第j个目标对象的校正标记框上与标记框上的第k个像素点距离最近的像素点的坐标，/>为第j个目标对象的标记框上的像素点数量，/>为待处理图像中目标对象的数量，/>为第j个目标对象的标记框的面积，/>为待处理图像的面积，k≤/>，j≤/>，且k、/>、j和/>均为正整数，/>表示二范数运算。
2.根据权利要求1所述的基于大数据分析的图像标记处理方法，其特征在于，通过所述标记框，对所述待处理图像中的多个目标对象分别进行截取，获得所述待处理图像的多个对象图像，包括：
对所述标记框内的区域进行截图，获得截图图像；
将所述截图图像添加至空白背景图像中，获得对象图像，其中，所述空白背景图像的尺寸大于对所述标记框进行框选的最小矩形框的尺寸。
3.根据权利要求1所述的基于大数据分析的图像标记处理方法，其特征在于，所述图像生成模型的训练步骤包括：
获取包括单一目标对象的第一样本图像，其中，所述单一目标对象的类型属于预设场景内出现过的目标对象的类型的集合，且所述第一样本图像中的背景为空白；
对所述第一样本图像中的单一目标对象的图像进行修改，获得第一修改图像，其中，修改方式包括第一种修改方式和第二种修改方式，所述第一种修改方式为随机删除所述单一目标对象的部分图形，所述第二种修改方式为在所述单一目标对象的轮廓上的任意位置新增任意图形；
将所述第一修改图像输入图像生成模型，生成第一训练图像，其中，所述第一训练图像中包括所述图像生成模型生成的所述单一目标对象的图形；
获取所述第一样本图像中所述单一目标对象的第一轮廓线、所述第一训练图像中所述单一目标对象的第二轮廓线以及所述第一修改图像中修改后的单一目标对象的第三轮廓线；
根据所述第一轮廓线、所述第二轮廓线和所述第三轮廓线，获得图像生成模型的损失函数；
根据所述图像生成模型的损失函数，对所述图像生成模型进行训练，获得训练后的图像生成模型。
4.根据权利要求3所述的基于大数据分析的图像标记处理方法，其特征在于，在所述修改方式为第一种修改方式的情况下，所述根据所述第一轮廓线、所述第二轮廓线和所述第三轮廓线，获得图像生成模型的损失函数，包括：
根据公式
获得图像生成模型的损失函数，其中，/>为第二轮廓线上第i个像素点的坐标，为第二轮廓线上的像素点总数，i≤/>，且i和/>均为正整数，/>为第一轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第三轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第三轮廓线围成的区域，/>表示二范数运算，if为条件函数。
5.根据权利要求3所述的基于大数据分析的图像标记处理方法，其特征在于，在所述修改方式为第二种修改方式的情况下，所述根据所述第一轮廓线、所述第二轮廓线和所述第三轮廓线，获得图像生成模型的损失函数，包括：
根据公式
获得图像生成模型的损失函数，其中，/>为第二轮廓线上第i个像素点的坐标，为第二轮廓线上的像素点总数，i≤/>，且i和/>均为正整数，/>为第一轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第三轮廓线上与所述第二轮廓线上第i个像素点距离最近的像素点的坐标，/>为第一轮廓线围成的区域，/>表示二范数运算，if为条件函数。
6.一种基于大数据分析的图像标记处理系统，其特征在于，包括：
拍摄模块，用于在当前监测周期内，通过预设场景内设置的摄像头，拍摄预设场景内的多个监测图像，其中，所述预设场景内包括多个目标对象；
筛选模块，用于根据预先获得的预设场景内的参考图像，对所述监测图像进行筛选，获得多个待处理图像，其中，所述参考图像为所述预设场景内不包括目标对象时，通过所述摄像头拍摄的图像；
检测模块，用于通过轮廓检测模型，获得所述待处理图像中多个目标对象的标记框，其中，所述标记框为标记出目标对象的轮廓的曲线框；
截取模块，用于通过所述标记框，对所述待处理图像中的多个目标对象分别进行截取，获得所述待处理图像的多个对象图像；
识别模块，用于通过训练后的目标识别模型，对所述对象图像进行识别处理，获得所述对象图像中的目标对象所属的第一类别信息，以及所述对象图像中的目标对象属于所述第一类别信息的第一概率；
构造模块，用于在所述第一概率小于或等于预设概率阈值的情况下，通过训练后的图像生成模型对所述对象图像进行处理，获得与所述对象图像对应的构造图像；
校正模块，用于根据所述构造图像中目标对象的轮廓，在所述待处理图像中生成校正标记框；
训练模块，用于根据所述校正标记框对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型；
处理模块，用于在下一个监测周期中，使用所述训练后的轮廓检测模型对下一个监测周期内获得的待处理图像进行处理；
根据所述校正标记框对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型，包括：
根据所述待处理图像中各个目标对象的标记框和校正标记框，确定所述轮廓检测模型的损失函数；
根据所述轮廓检测模型的损失函数，对所述轮廓检测模型进行训练，获得训练后的轮廓检测模型；
根据所述待处理图像中各个目标对象的标记框和校正标记框，确定所述轮廓检测模型的损失函数，包括：
根据公式
确定轮廓检测模型的损失函数，其中，/>为第j个目标对象的标记框上的第k个像素点的坐标，/>为第j个目标对象的校正标记框上与标记框上的第k个像素点距离最近的像素点的坐标，/>为第j个目标对象的标记框上的像素点数量，/>为待处理图像中目标对象的数量，/>为第j个目标对象的标记框的面积，/>为待处理图像的面积，k≤/>，j≤/>，且k、/>、j和/>均为正整数，/>表示二范数运算。
7.一种基于大数据分析的图像标记处理设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现权利要求1-5中任一项所述的方法。
CN202311386340.8A 2023-10-25 2023-10-25 基于大数据分析的图像标记处理方法和系统 Active CN117115415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311386340.8A CN117115415B (zh) 2023-10-25 2023-10-25 基于大数据分析的图像标记处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311386340.8A CN117115415B (zh) 2023-10-25 2023-10-25 基于大数据分析的图像标记处理方法和系统

Publications (2)

Publication Number Publication Date
CN117115415A CN117115415A (zh) 2023-11-24
CN117115415B true CN117115415B (zh) 2024-02-20

Family

ID=88800642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311386340.8A Active CN117115415B (zh) 2023-10-25 2023-10-25 基于大数据分析的图像标记处理方法和系统

Country Status (1)

Country Link
CN (1) CN117115415B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117369557B (zh) * 2023-11-29 2024-05-28 徐州盈胜微半导体有限公司 集成电路温度控制系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018205788A (ja) * 2017-05-30 2018-12-27 Kddi株式会社 シルエット抽出装置、方法およびプログラム
CN110443375A (zh) * 2019-08-16 2019-11-12 深圳前海微众银行股份有限公司 一种联邦学习方法及装置
CN112287741A (zh) * 2020-06-19 2021-01-29 北京京东尚科信息技术有限公司 基于图像处理的农事操作管理方法及装置
CN115223202A (zh) * 2022-07-18 2022-10-21 东莞先知大数据有限公司 一种楼宇走廊人员异常接触检测方法、设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018205788A (ja) * 2017-05-30 2018-12-27 Kddi株式会社 シルエット抽出装置、方法およびプログラム
CN110443375A (zh) * 2019-08-16 2019-11-12 深圳前海微众银行股份有限公司 一种联邦学习方法及装置
CN112287741A (zh) * 2020-06-19 2021-01-29 北京京东尚科信息技术有限公司 基于图像处理的农事操作管理方法及装置
CN115223202A (zh) * 2022-07-18 2022-10-21 东莞先知大数据有限公司 一种楼宇走廊人员异常接触检测方法、设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于机器视觉的路面交通标记识别系统的研究》;曹鹭萌;《优秀硕士论文》;全文 *

Also Published As

Publication number Publication date
CN117115415A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
JP6184877B2 (ja) 車両用外界認識装置
CN113591967B (zh) 一种图像处理方法、装置、设备及计算机存储介质
CN109520418B (zh) 一种基于二维激光扫描仪的托盘位姿识别方法
CN112598922B (zh) 车位检测方法、装置、设备及存储介质
CN111738206B (zh) 基于CenterNet的用于无人机巡检的挖掘机检测方法
CN111144213A (zh) 一种对象检测方法和相关设备
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN117115415B (zh) 基于大数据分析的图像标记处理方法和系统
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN113989604B (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN112179294A (zh) 一种土地校对方法、装置以及系统
CN110245600B (zh) 自适应起始快速笔画宽度无人机道路检测方法
CN111753623A (zh) 一种运动物体的检测方法、装置、设备及存储介质
CN111553914A (zh) 基于视觉的货物检测方法、装置、终端及可读存储介质
CN113092807A (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
CN110472640B (zh) 一种目标检测模型预测框处理方法及装置
CN108710881B (zh) 神经网络模型、候选目标区域生成方法、模型训练方法
CN117788693B (zh) 基于点云数据的楼梯建模方法、装置、腿式机器人及介质
CN111091077B (zh) 一种基于图像相关性和模板匹配的车速检测方法
JP3251840B2 (ja) 画像認識装置
CN112308917A (zh) 一种基于视觉的移动机器人定位方法
CN111695404A (zh) 行人跌倒检测方法、装置、电子设备及存储介质
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN116147898A (zh) 一种汽车前照灯发光强度的检测方法及装置
CN111951303A (zh) 一种机器人运动姿态视觉估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant