CN114120071A - 一种带有对象标注框图像的检测方法 - Google Patents

一种带有对象标注框图像的检测方法 Download PDF

Info

Publication number
CN114120071A
CN114120071A CN202111498020.2A CN202111498020A CN114120071A CN 114120071 A CN114120071 A CN 114120071A CN 202111498020 A CN202111498020 A CN 202111498020A CN 114120071 A CN114120071 A CN 114120071A
Authority
CN
China
Prior art keywords
data
frame
detection
image
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111498020.2A
Other languages
English (en)
Inventor
孙宁
霍俊江
陈瀚
高景伯
贾轶春
姜川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chewang Technology Development Co ltd
Original Assignee
Beijing Chewang Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chewang Technology Development Co ltd filed Critical Beijing Chewang Technology Development Co ltd
Priority to CN202111498020.2A priority Critical patent/CN114120071A/zh
Publication of CN114120071A publication Critical patent/CN114120071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种带有对象标注框图像的检测方法，所述方法包括：获取第一图像数据；使用第一颜色进行显示；基于第一图像语义识别模型对各个第一对象标注框进行第一标注框检测；使用第二颜色进行显示；获取生成第一检测数据索引；将与第一检测数据索引对应的第一对象标注框作为当前标注框；若对应的第一检测数据为与原始状态不匹配则提供标注框修改接口对当前标注框进行第二标注框检测；使用第一颜色进行显示；对第一图像数据的对象检测合格率进行计算生成第一合格率数据；若超过预设的合格率阈值则将第一图像数据记为合格的对象标注框图像。通过本发明，可以保证标注图像的质量稳定性，提高感知模块测试有效性的目的。

Description

一种带有对象标注框图像的检测方法
技术领域
本发明涉及数据处理技术领域，特别涉及一种带有对象标注框图像的检测方法。
背景技术
自动驾驶系统的感知模块在车辆行驶过程中会对场景内所有对象进行对象类型识别，并将识别结果输出到下游决策模块作为轨迹决策参考。验证感知模块的识别准确度需要海量的路测图像数据进行测试，路测图像数据的准确度直接影响了感知模块的测试效果。常规情况下，研发机构会雇佣大量的人员对各个路测图像数据进行人工的对象标注，并将原始路测图像数据和标注后的图像数据作为测试-比对数据组对感知模块的对象识别算法进行测试。这种处理方式产生的对象标注图像受人工因素影响，其标注质量波动性较大。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种带有对象标注框图像的检测方法、电子设备及计算机可读存储介质，使用图像语义识别模型对标注图像中的各个对象标注框依次进行对象识别，若识别结果与原标注内容不匹配则根据二次检测模式对标注框进行基于人工或图像语义识别模型的二次识别并根据二次识别结果对原标注内容进行修正；最后再统计对象标注图像的对象检测合格率，若对象检测合格率达标则认为该对象标注图像质量合格可用于对感知模块的测试。在检测过程中，本发明还通过各个对象标注框的框边缘颜色设置来提高对各对象标注框的辨识度。通过本发明，可为对象标注图像提供一种标注质量评价机制，从而可以保证标注图像的质量稳定性，提高感知模块测试有效性的目的。
为实现上述目的，本发明实施例第一方面提供了一种带有对象标注框图像的检测方法，所述方法包括：
获取第一图像数据；所述第一图像数据包括多个第一对象标注框；
使用第一颜色对各个所述第一对象标注框的框边缘进行显示；
基于第一图像语义识别模型，对各个所述第一对象标注框依次进行第一标注框检测，生成对应的第一检测数据序列并显示；所述第一检测数据序列包括多个第一检测数据；所述第一检测数据与所述第一对象标注框一一对应；
使用第二颜色对所述第一检测数据为与原始状态不匹配的所述第一对象标注框的框边缘进行显示颜色变换处理；
获取用户对显示的所述第一检测数据序列的所述第一检测数据的选择结果，生成对应的第一检测数据索引；
将与所述第一检测数据索引对应的所述第一对象标注框作为当前标注框；若所述第一检测数据索引对应的所述第一检测数据为与原始状态不匹配，则提供标注框修改接口对所述当前标注框进行第二标注框检测；所述第二标注框检测完成后，使用所述第一颜色对所述当前标注框的框边缘进行显示颜色变换处理；
确认对所有所述第一检测数据为与原始状态不匹配的所述第一对象标注框都完成了对应的所述第二标注框检测后，对所述第一图像数据的对象检测合格率进行计算生成对应的第一合格率数据；
若所述第一合格率数据超过预设的合格率阈值，则将所述第一图像数据记为合格的对象标注框图像。
优选的，所述第一对象标注框包括第一框标识数据、第一对象类型数据、第一类型概率数据、第一框中心位置数据、第一框长度数据和第一框宽度数据。
优选的，所述基于第一图像语义识别模型，对各个所述第一对象标注框依次进行第一标注框检测，生成对应的第一检测数据序列并显示，具体包括：
以所述第一对象标注框的所述第一框标识数据的顺序，对各个所述第一对象标注框进行轮询，并将当前被轮询的所述第一对象标注框作为当前轮询标注框；
以所述当前轮询标注框的所述第一框中心位置数据为矩形中心位置坐标，以所述第一框长度数据为矩形长度，以所述第一框宽度数据为矩形宽度，在所述第一图像数据中定位对应的矩形图像区域，并提取该矩形图像区域的像素信息生成对应的当前待测图像数据；
基于所述第一图像语义识别模型，对所述当前待测图像数据进行语义对象识别，得到多个第一识别类型和对应的第一识别类型概率；从中选择概率最大的所述第一识别类型概率作为第一检测概率，将所述第一检测概率对应的所述第一识别类型作为第一检测类型；
若所述第一检测类型与所述当前轮询标注框的所述第一对象类型数据不匹配，则设置对应的所述第一检测数据为与原始状态不匹配；
若所述第一检测类型与所述当前轮询标注框的所述第一对象类型数据匹配，则计算所述第一检查概率与所述当前轮询标注框的所述第一类型概率数据的差值，生成对应的第一概率差数据；若所述第一概率差数据未超出预设的概率误差范围则设置对应的所述第一检测数据为与原始状态匹配；若所述第一概率差数据已超出所述概率误差范围则设置对应的所述第一检测数据为与原始状态不匹配；
由得到的所有所述第一检测数据组成所述第一检测数据序列，并对所述第一检测数据序列进行列表显示处理。
优选的，在所述将与所述第一检测数据索引对应的所述第一对象标注框作为当前标注框时，所述方法还包括：
按设定的闪烁频率，对所述当前标注框的框边缘进行闪烁显示。
优选的，所述若所述第一检测数据索引对应的所述第一检测数据为与原始状态不匹配，则提供标注框修改接口对所述当前标注框进行第二标注框检测，具体包括：
对预设的二次检测模式进行识别；
若所述二次检测模式为人工检测模式，则所述标注框修改接口具体为人工标注框修改接口，并获取用户使用所述人工标注框修改接口对所述当前标注框的所述第一对象类型数据、所述第一类型概率数据、所述第一框中心位置数据、所述第一框长度数据和所述第一框宽度数据的修改结果，对所述当前标注框的各个数据进行重置；
若所述二次检测模式为自动检测模式，则所述标注框修改接口具体为自动扩展标注框修改接口；所述自动扩展标注框修改接口根据预设的长度扩展比例和宽度扩展比例在所述第一图像数据中对所述当前标注框进行图像区域扩展得到对应的扩展后图像区域；并提取所述扩展后图像区域的像素信息生成对应的当前待测图像数据；并基于第二图像语义识别模型，对所述当前待测图像数据进行语义对象识别，得到多个第二识别类型和对应的第二识别类型概率；并从中选择概率最大的所述第二识别类型概率对所述当前标注框的所述第一类型概率数据进行设置，根据所述第一类型概率数据对应的所述第二识别类型对所述当前标注框的所述第一对象类型数据进行设置，根据所述扩展后图像区域的区域中心点坐标对所述当前标注框的所述第一框中心位置数据进行设置，根据所述扩展后图像区域的扩展区域长度对所述当前标注框的所述第一框长度数据进行设置，根据所述扩展后图像区域的扩展区域宽度对所述当前标注框的所述第一框宽度数据进行设置；所述第二图像语义识别模型的识别精度不低于所述第一图像语义识别模型。
进一步的，所述自动扩展标注框修改接口根据预设的长度扩展比例和宽度扩展比例在所述第一图像数据中对所述当前标注框进行图像区域扩展得到对应的扩展后图像区域，具体包括：
所述自动扩展标注框修改接口根据所述当前标注框的所述第一框长度数据与所述长度扩展比例的乘积，生成所述扩展区域长度；并根据所述当前标注框的所述第一框宽度数据与所述宽度扩展比例的乘积，生成所述扩展区域宽度；
以所述当前标注框的所述第一框中心位置数据为矩形中心位置坐标，以所述扩展区域长度为矩形长度，以所述扩展区域宽度为矩形宽度，在所述第一图像数据中定位对应的矩形图像区域，并将该矩形图像区域作为所述扩展后图像区域。
优选的，所述对所述第一图像数据的对象检测合格率进行计算生成对应的第一合格率数据，具体包括：
对所述第一图像数据中所有所述第一对象标注框的所述第一类型概率数据进行均值计算，生成所述第一合格率数据。
本发明实施例第二方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种带有对象标注框图像的检测方法、电子设备及计算机可读存储介质，使用图像语义识别模型对标注图像中的各个对象标注框依次进行对象识别，若识别结果与原标注内容不匹配则根据二次检测模式对标注框进行基于人工或图像语义识别模型的二次识别并根据二次识别结果对原标注内容进行修正；最后再统计对象标注图像的对象检测合格率，若对象检测合格率达标则认为该对象标注图像质量合格可用于对感知模块的测试。在检测过程中，本发明还通过各个对象标注框的框边缘颜色设置来提高对各对象标注框的辨识度。通过本发明，为对象标注图像提供了一种标注质量评价机制，从而保证了标注图像的质量稳定性，提高了感知模块的有效测试效率。
附图说明
图1为本发明实施例一提供的一种带有对象标注框图像的检测方法示意图；
图2为本发明实施例二提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例一提供的一种带有对象标注框图像的检测方法示意图，如图1所示，本方法主要包括如下步骤：
步骤1，获取第一图像数据；
其中，第一图像数据包括多个第一对象标注框；第一对象标注框包括第一框标识数据、第一对象类型数据、第一类型概率数据、第一框中心位置数据、第一框长度数据和第一框宽度数据。
这里，第一图像数据即为已经完成了对象标注的图像；各个第一对象标注框对应一个标注的对象；第一对象类型数据包括建筑、动物、人、植物、车辆、自行车、摩托车、道路、道路线、交通标志/标记/标线等；第一类型概率数据为当前对象符合对应类型特征的概率；每个第一对象标注框的图形结构为一个矩形结构，第一框中心位置数据则为该矩形结构中心点在第一图像数据的图像坐标，第一框长度数据为该矩形结构的长度信息，第一框宽度数据为该矩形结构的宽度信息。
步骤2，使用第一颜色对各个第一对象标注框的框边缘进行显示。
这里，第一颜色为与第一图像数据背景颜色对比度较大的颜色，以便于在第一图像数据上能快速、显眼地定位出各个对象的第一对象标注框来。
步骤3，基于第一图像语义识别模型，对各个第一对象标注框依次进行第一标注框检测，生成对应的第一检测数据序列并显示；
其中，第一检测数据序列包括多个第一检测数据；第一检测数据与第一对象标注框一一对应；
这里，本发明实施例使用基于人工智能算法的第一图像语义识别模型，对各个第一对象标注框的识别类型和识别概率进行检测，为满足检测要求的第一对象标注框分配具体为与原始状态匹配的第一检测数据，为不满足检测要求的第一对象标注框分配具体为与原始状态不匹配的第一检测数据；
具体包括：步骤31，以第一对象标注框的第一框标识数据的顺序，对各个第一对象标注框进行轮询，并将当前被轮询的第一对象标注框作为当前轮询标注框；
步骤32，以当前轮询标注框的第一框中心位置数据为矩形中心位置坐标，以第一框长度数据为矩形长度，以第一框宽度数据为矩形宽度，在第一图像数据中定位对应的矩形图像区域，并提取该矩形图像区域的像素信息生成对应的当前待测图像数据；
步骤33，基于第一图像语义识别模型，对当前待测图像数据进行语义对象识别，得到多个第一识别类型和对应的第一识别类型概率；从中选择概率最大的第一识别类型概率作为第一检测概率，将第一检测概率对应的第一识别类型作为第一检测类型；
这里，第一图像语义识别模型可根据多种类型的对象特征参数对输入的图像数据进行对应的多种对象类型识别，并为每种类型分配一个类型概率；常规情况下，本发明实施例使用的第一图像语义识别模型的神经网络模型都是基于卷积神经网络及以卷积神经网络为基础的其他神经网络模型，在此不做一一赘述；
例如，第一图像语义识别模型可对建筑、动物、人、植物、车辆、自行车、摩托车、道路、道路线、交通标志/标记/标线等对象类型进行识别，则对应的也会生成与建筑、动物、人、植物、车辆、自行车、摩托车、道路、道路线、交通标志/标记/标线等对象类型对应的识别类型概率，概率值越高说明当前对象属于该概率对应的对象类型的几率越大；
步骤34，若第一检测类型与当前轮询标注框的第一对象类型数据不匹配，则设置对应的第一检测数据为与原始状态不匹配；
这里，第一检测类型与当前轮询标注框的第一对象类型数据不匹配说明原始标注结果可能存在错误，所以将对应的第一检测数据设为与原始状态不匹配，以便后续步骤进行进一步的二次检测；
步骤35，若第一检测类型与当前轮询标注框的第一对象类型数据匹配，则计算第一检查概率与当前轮询标注框的第一类型概率数据的差值，生成对应的第一概率差数据；若第一概率差数据未超出预设的概率误差范围则设置对应的第一检测数据为与原始状态匹配；若第一概率差数据已超出概率误差范围则设置对应的第一检测数据为与原始状态不匹配；
这里，第一检测类型与当前轮询标注框的第一对象类型数据匹配说明原始标注类型与本次检测的识别类型一致，为保证二者的识别概率也是大致相近的，进一步对二者的概率差值进行判断；若二者的概率差值也就是第一概率差数据未超出预设的概率误差范围说明原始标注类型的概率与本次检测识别类型的概率基本一致，原始识别标注结果的准确度较高，无需后续步骤进行二次检测，所以将对应的第一检测数据设为与原始状态匹配；若第一概率差数据已经超出预设的概率误差范围说明原始标注类型的概率与本次检测识别类型的概率存在一定差距，原始标注结果也可能存在较大的不确定问题，所以将对应的第一检测数据设为与原始状态不匹配，以便后续步骤进行进一步的二次检测；
步骤36，由得到的所有第一检测数据组成所述第一检测数据序列，并对第一检测数据序列进行列表显示处理。
这里，对第一检测数据序列进行列表显示处理时，按操作习惯默认将第一检测数据序列以列表或节点树的结构在第一图像数据的左侧或右侧进行显示；显示时，每个第一检测数据对应一个第一检测数据索引，每个第一检测数据索引对应一行显示内容或一个显示节点。
步骤4，使用第二颜色对第一检测数据为与原始状态不匹配的第一对象标注框的框边缘进行显示颜色变换处理。
这里，第二颜色为与第一图像数据背景颜色和第一颜色对比度都较大的另一种颜色，以便于在第一图像数据上能快速、显眼地定位出各个第一检测数据为与原始状态不匹配的第一对象标注框，且能与各个第一检测数据为与原始状态匹配的第一对象标注框产生明显区别。
步骤5，获取用户对显示的第一检测数据序列的第一检测数据的选择结果，生成对应的第一检测数据索引。
这里，由上文可知，本发明实施例对第一检测数据序列进行列表显示处理时，按操作习惯默认将第一检测数据序列以列表或节点树的结构在第一图像数据的左侧或右侧进行显示，那么通过获取用户选择显示列表中的某一行或显示节点树中的某一个节点的选择结果，就可以获得对应的第一检测数据索引。
步骤6，将与第一检测数据索引对应的第一对象标注框作为当前标注框；若第一检测数据索引对应的第一检测数据为与原始状态不匹配，则提供标注框修改接口对当前标注框进行第二标注框检测；第二标注框检测完成后，使用第一颜色对当前标注框的框边缘进行显示颜色变换处理；
步骤61，将与第一检测数据索引对应的第一对象标注框作为当前标注框；
需要说明的是，在将与第一检测数据索引对应的第一对象标注框作为当前标注框时，本方面实施例方法还包括：按设定的闪烁频率，对当前标注框的框边缘进行闪烁显示；
步骤62，若第一检测数据索引对应的第一检测数据为与原始状态不匹配，则提供标注框修改接口对当前标注框进行第二标注框检测；
具体包括：步骤621，对预设的二次检测模式进行识别；若二次检测模式为人工检测模式，则转至步骤622；若二次检测模式为自动检测模式，则转至步骤623；
步骤622，标注框修改接口具体为人工标注框修改接口；并获取用户使用人工标注框修改接口对当前标注框的第一对象类型数据、第一类型概率数据、第一框中心位置数据、第一框长度数据和第一框宽度数据的修改结果，对当前标注框的各个数据进行重置；转至步骤63；
这里，人工标注框修改接口为本发明实施例为第一图像数据提供的图像二次人工标注接口，该接口通过调用操作系统的鼠标事件向用户提供对当前标注框的边框进行手动重绘的功能，并根据用户手动重绘的矩形图形计算出图形中心作为第一框中心位置数据、计算出图形长度作为第一框长度数据、计算出图形宽度作为第一框宽度数据；该接口通过调用系统的文本框事件向用户提供对当前标注框的对象类型及对应的类型概率进行手动输入的功能，并根据用户手动输入的对象类型作为第一对象类型数据、根据用户手动输入的类型概率作为第一类型概率数据；
需要说明的是，常规情况下不会设置二次检测模式为人工检测模式，因为这种处理模式的概率值是人工经验值；但在一种特定情况下是必须将二次检测模式设置为人工检测模式的，那就是当前标注框基于前文中的第一图像语义识别模型和下文中的第二图像语义识别模型都无法被识别的时候，说明该当前标注框的对象类型是一个尚未计入当前自动驾驶系统已知对象类型的一种新对象类型，需要先行通过人工手动标记来完成类型及对应概率的标注；
步骤623，标注框修改接口具体为自动扩展标注框修改接口；自动扩展标注框修改接口根据预设的长度扩展比例和宽度扩展比例在第一图像数据中对当前标注框进行图像区域扩展得到对应的扩展后图像区域；并提取扩展后图像区域的像素信息生成对应的当前待测图像数据；并基于第二图像语义识别模型，对当前待测图像数据进行语义对象识别，得到多个第二识别类型和对应的第二识别类型概率；并从中选择概率最大的第二识别类型概率对当前标注框的第一类型概率数据进行设置，根据第一类型概率数据对应的第二识别类型对当前标注框的第一对象类型数据进行设置，根据扩展后图像区域的区域中心点坐标对当前标注框的第一框中心位置数据进行设置，根据扩展后图像区域的扩展区域长度对当前标注框的第一框长度数据进行设置，根据扩展后图像区域的扩展区域宽度对当前标注框的第一框宽度数据进行设置；其中，第二图像语义识别模型的识别精度不低于第一图像语义识别模型；
进一步的，根据预设的长度扩展比例和宽度扩展比例在第一图像数据中对当前标注框进行图像区域扩展得到对应的扩展后图像区域，具体为：根据当前标注框的第一框长度数据与长度扩展比例的乘积，生成扩展区域长度；并根据当前标注框的第一框宽度数据与宽度扩展比例的乘积，生成扩展区域宽度；以当前标注框的第一框中心位置数据为矩形中心位置坐标，以扩展区域长度为矩形长度，以扩展区域宽度为矩形宽度，在第一图像数据中定位对应的矩形图像区域，并将该矩形图像区域作为扩展后图像区域；
这里，自动扩展标注框修改接口为本发明实施例为第一图像数据提供的图像二次自动标注接口；该接口首先在第一图像数据中以矩形中心不变，长宽按预设的长度扩展比例和宽度扩展比例进行拓展的标注框区域拓展规则，将当前标注框的标注框区域进行扩大，从而可以得到相对来说具有更多对象图像特征的当前待测图像数据；再基于与第一图像语义识别模型类似的第二图像语义识别模型，对当前待测图像数据就能得到准确度更高的识别类型和对应的类型概率；第二图像语义识别模型若与第一图像语义识别模型一致则二者识别精度相同，第二图像语义识别模型若与第一图像语义识别模型不一致则应选用识别精度更高的模型作为第二图像语义识别模型；
步骤63，第二标注框检测完成后，使用第一颜色对当前标注框的框边缘进行显示颜色变换处理。
这里，将之前用第二颜色标记的当前标注框的框边缘改回第一颜色，用以表明当前标注框无需再进行二次检测。
步骤7，确认对所有第一检测数据为与原始状态不匹配的第一对象标注框都完成了对应的第二标注框检测后，对第一图像数据的对象检测合格率进行计算生成对应的第一合格率数据；
具体包括：对第一图像数据中所有第一对象标注框的第一类型概率数据进行均值计算，生成第一合格率数据。
这里，第一合格率数据与第一图像数据的整体对象识别率线性相关，将第一图像数据中每个第一对象标注框的第一类型概率数据的总和记为第一图像数据的整体对象识别率，第一合格率数据为整体对象识别率/第一对象标注框总数的平均值，整体对象识别率越高则第一合格率数据越高，反之整体对象识别率越低则第一合格率数据越低。
步骤8，若第一合格率数据超过预设的合格率阈值，则将第一图像数据记为合格的对象标注框图像。
这里，若第一合格率数据超过预设的合格率阈值则可视为第一图像数据的对象检测合格率达标，也就是说则第一图像数据的标注质量是合格的可被用于作为感知模块的测试图像数据。
图2为本发明实施例二提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图2所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图2中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。
本发明实施例提供了一种带有对象标注框图像的检测方法、电子设备及计算机可读存储介质，使用图像语义识别模型对标注图像中的各个对象标注框依次进行对象识别，若识别结果与原标注内容不匹配则根据二次检测模式对标注框进行基于人工或图像语义识别模型的二次识别并根据二次识别结果对原标注内容进行修正；最后再统计对象标注图像的对象检测合格率，若对象检测合格率达标则认为该对象标注图像质量合格可用于对感知模块的测试。在检测过程中，本发明还通过各个对象标注框的框边缘颜色设置来提高对各对象标注框的辨识度。通过本发明，为对象标注图像提供了一种标注质量评价机制，从而保证了标注图像的质量稳定性，提高了感知模块的有效测试效率。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种带有对象标注框图像的检测方法，其特征在于，所述方法包括：
获取第一图像数据；所述第一图像数据包括多个第一对象标注框；
使用第一颜色对各个所述第一对象标注框的框边缘进行显示；
基于第一图像语义识别模型，对各个所述第一对象标注框依次进行第一标注框检测，生成对应的第一检测数据序列并显示；所述第一检测数据序列包括多个第一检测数据；所述第一检测数据与所述第一对象标注框一一对应；
使用第二颜色对所述第一检测数据为与原始状态不匹配的所述第一对象标注框的框边缘进行显示颜色变换处理；
获取用户对显示的所述第一检测数据序列的所述第一检测数据的选择结果，生成对应的第一检测数据索引；
将与所述第一检测数据索引对应的所述第一对象标注框作为当前标注框；若所述第一检测数据索引对应的所述第一检测数据为与原始状态不匹配，则提供标注框修改接口对所述当前标注框进行第二标注框检测；所述第二标注框检测完成后，使用所述第一颜色对所述当前标注框的框边缘进行显示颜色变换处理；
确认对所有所述第一检测数据为与原始状态不匹配的所述第一对象标注框都完成了对应的所述第二标注框检测后，对所述第一图像数据的对象检测合格率进行计算生成对应的第一合格率数据；
若所述第一合格率数据超过预设的合格率阈值，则将所述第一图像数据记为合格的对象标注框图像。
2.根据权利要求1所述的带有对象标注框图像的检测方法，其特征在于，
所述第一对象标注框包括第一框标识数据、第一对象类型数据、第一类型概率数据、第一框中心位置数据、第一框长度数据和第一框宽度数据。
3.根据权利要求2所述的带有对象标注框图像的检测方法，其特征在于，所述基于第一图像语义识别模型，对各个所述第一对象标注框依次进行第一标注框检测，生成对应的第一检测数据序列并显示，具体包括：
以所述第一对象标注框的所述第一框标识数据的顺序，对各个所述第一对象标注框进行轮询，并将当前被轮询的所述第一对象标注框作为当前轮询标注框；
以所述当前轮询标注框的所述第一框中心位置数据为矩形中心位置坐标，以所述第一框长度数据为矩形长度，以所述第一框宽度数据为矩形宽度，在所述第一图像数据中定位对应的矩形图像区域，并提取该矩形图像区域的像素信息生成对应的当前待测图像数据；
基于所述第一图像语义识别模型，对所述当前待测图像数据进行语义对象识别，得到多个第一识别类型和对应的第一识别类型概率；从中选择概率最大的所述第一识别类型概率作为第一检测概率，将所述第一检测概率对应的所述第一识别类型作为第一检测类型；
若所述第一检测类型与所述当前轮询标注框的所述第一对象类型数据不匹配，则设置对应的所述第一检测数据为与原始状态不匹配；
若所述第一检测类型与所述当前轮询标注框的所述第一对象类型数据匹配，则计算所述第一检查概率与所述当前轮询标注框的所述第一类型概率数据的差值，生成对应的第一概率差数据；若所述第一概率差数据未超出预设的概率误差范围则设置对应的所述第一检测数据为与原始状态匹配；若所述第一概率差数据已超出所述概率误差范围则设置对应的所述第一检测数据为与原始状态不匹配；
由得到的所有所述第一检测数据组成所述第一检测数据序列，并对所述第一检测数据序列进行列表显示处理。
4.根据权利要求1所述的带有对象标注框图像的检测方法，其特征在于，在所述将与所述第一检测数据索引对应的所述第一对象标注框作为当前标注框时，所述方法还包括：
按设定的闪烁频率，对所述当前标注框的框边缘进行闪烁显示。
5.根据权利要求2所述的带有对象标注框图像的检测方法，其特征在于，所述若所述第一检测数据索引对应的所述第一检测数据为与原始状态不匹配，则提供标注框修改接口对所述当前标注框进行第二标注框检测，具体包括：
对预设的二次检测模式进行识别；
若所述二次检测模式为人工检测模式，则所述标注框修改接口具体为人工标注框修改接口，并获取用户使用所述人工标注框修改接口对所述当前标注框的所述第一对象类型数据、所述第一类型概率数据、所述第一框中心位置数据、所述第一框长度数据和所述第一框宽度数据的修改结果，对所述当前标注框的各个数据进行重置；
若所述二次检测模式为自动检测模式，则所述标注框修改接口具体为自动扩展标注框修改接口；所述自动扩展标注框修改接口根据预设的长度扩展比例和宽度扩展比例在所述第一图像数据中对所述当前标注框进行图像区域扩展得到对应的扩展后图像区域；并提取所述扩展后图像区域的像素信息生成对应的当前待测图像数据；并基于第二图像语义识别模型，对所述当前待测图像数据进行语义对象识别，得到多个第二识别类型和对应的第二识别类型概率；并从中选择概率最大的所述第二识别类型概率对所述当前标注框的所述第一类型概率数据进行设置，根据所述第一类型概率数据对应的所述第二识别类型对所述当前标注框的所述第一对象类型数据进行设置，根据所述扩展后图像区域的区域中心点坐标对所述当前标注框的所述第一框中心位置数据进行设置，根据所述扩展后图像区域的扩展区域长度对所述当前标注框的所述第一框长度数据进行设置，根据所述扩展后图像区域的扩展区域宽度对所述当前标注框的所述第一框宽度数据进行设置；所述第二图像语义识别模型的识别精度不低于所述第一图像语义识别模型。
6.根据权利要求5所述的带有对象标注框图像的检测方法，其特征在于，所述自动扩展标注框修改接口根据预设的长度扩展比例和宽度扩展比例在所述第一图像数据中对所述当前标注框进行图像区域扩展得到对应的扩展后图像区域，具体包括：
所述自动扩展标注框修改接口根据所述当前标注框的所述第一框长度数据与所述长度扩展比例的乘积，生成所述扩展区域长度；并根据所述当前标注框的所述第一框宽度数据与所述宽度扩展比例的乘积，生成所述扩展区域宽度；
以所述当前标注框的所述第一框中心位置数据为矩形中心位置坐标，以所述扩展区域长度为矩形长度，以所述扩展区域宽度为矩形宽度，在所述第一图像数据中定位对应的矩形图像区域，并将该矩形图像区域作为所述扩展后图像区域。
7.根据权利要求2所述的带有对象标注框图像的检测方法，其特征在于，所述对所述第一图像数据的对象检测合格率进行计算生成对应的第一合格率数据，具体包括：
对所述第一图像数据中所有所述第一对象标注框的所述第一类型概率数据进行均值计算，生成所述第一合格率数据。
8.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-7任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-7任一项所述的方法的指令。
CN202111498020.2A 2021-12-09 2021-12-09 一种带有对象标注框图像的检测方法 Pending CN114120071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111498020.2A CN114120071A (zh) 2021-12-09 2021-12-09 一种带有对象标注框图像的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111498020.2A CN114120071A (zh) 2021-12-09 2021-12-09 一种带有对象标注框图像的检测方法

Publications (1)

Publication Number Publication Date
CN114120071A true CN114120071A (zh) 2022-03-01

Family

ID=80364464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111498020.2A Pending CN114120071A (zh) 2021-12-09 2021-12-09 一种带有对象标注框图像的检测方法

Country Status (1)

Country Link
CN (1) CN114120071A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546075A (zh) * 2022-12-02 2022-12-30 成都智元汇信息技术股份有限公司 一种基于列数据标注区动态增强展示的方法及装置
CN117437580A (zh) * 2023-12-20 2024-01-23 广东省人民医院 消化道肿瘤识别方法、系统及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546075A (zh) * 2022-12-02 2022-12-30 成都智元汇信息技术股份有限公司 一种基于列数据标注区动态增强展示的方法及装置
CN117437580A (zh) * 2023-12-20 2024-01-23 广东省人民医院 消化道肿瘤识别方法、系统及介质
CN117437580B (zh) * 2023-12-20 2024-03-22 广东省人民医院 消化道肿瘤识别方法、系统及介质

Similar Documents

Publication Publication Date Title
CN108038474B (zh) 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN109543647B (zh) 一种道路异常识别方法、装置、设备及介质
CN114120071A (zh) 一种带有对象标注框图像的检测方法
CN109115242B (zh) 一种导航评估方法、装置、终端、服务器及存储介质
CN112085056B (zh) 目标检测模型生成方法、装置、设备及存储介质
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN111652144A (zh) 基于目标区域融合的题目分割方法、装置、设备和介质
CN114241432A (zh) 车牌识别方法、设备及存储介质
CN113516144A (zh) 目标检测方法及装置、计算设备
CN113723467A (zh) 用于缺陷检测的样本收集方法、装置和设备
CN114005126A (zh) 表格重构方法、装置、计算机设备及可读存储介质
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN112839047B (zh) 一种云平台上的资产漏洞扫描方法、装置、设备及介质
CN114332809A (zh) 一种图像识别方法、装置、电子设备和存储介质
CN113283396A (zh) 目标对象的类别检测方法、装置、计算机设备和存储介质
CN112329810A (zh) 一种基于显著性检测的图像识别模型训练方法及装置
CN115713750B (zh) 一种车道线检测方法、装置、电子设备及存储介质
CN116645612A (zh) 一种森林资源资产确定方法及系统
CN114708582B (zh) 基于ai和rpa的电力数据智慧稽查方法及装置
CN112632926B (zh) 票据的数据处理方法、装置、电子设备及存储介质
CN113642521A (zh) 红绿灯识别质量的评价方法、装置和电子设备
CN112818865A (zh) 车载领域图像识别方法、识别模型建立方法、装置、电子设备和可读存储介质
CN112287828A (zh) 一种基于机器学习的财务报表生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination