CN110796185A - 一种图像标注结果的检测方法和装置 - Google Patents

一种图像标注结果的检测方法和装置 Download PDF

Info

Publication number
CN110796185A
CN110796185A CN201910997548.0A CN201910997548A CN110796185A CN 110796185 A CN110796185 A CN 110796185A CN 201910997548 A CN201910997548 A CN 201910997548A CN 110796185 A CN110796185 A CN 110796185A
Authority
CN
China
Prior art keywords
frame
answer
labeling
bias
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910997548.0A
Other languages
English (en)
Other versions
CN110796185B (zh
Inventor
张晴晴
罗磊
杨金富
段由
马光谦
汪洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qingshu Intelligent Technology Co ltd
Original Assignee
Beijing Aishu Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aishu Intelligence Technology Co Ltd filed Critical Beijing Aishu Intelligence Technology Co Ltd
Priority to CN201910997548.0A priority Critical patent/CN110796185B/zh
Publication of CN110796185A publication Critical patent/CN110796185A/zh
Application granted granted Critical
Publication of CN110796185B publication Critical patent/CN110796185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图像标注结果的检测方法和装置，该方法包括以下步骤：获取标注答案以及训练人员对图像的标注结果，所述标注结果包括多个标注框，所述标注答案包括多个答案框；获取每个所述标注框与其所对应的答案框之间的匹配偏移量和匹配度；根据所述匹配偏移量和所述匹配度，计算所述标注框与所述答案框之间的相似度；根据所述相似度确定对所述标注结果的检测结果。本发明能够实现对标注结果的精准检测，从而提升图像标注培训平台的训练效率。

Description

一种图像标注结果的检测方法和装置
技术领域
本发明涉及图像处理领域，特别涉及一种图像标注结果的检测方法和装置。
背景技术
随着人工智能的发展，整个行业对图像标注的要求越来越高。而借助于人工智能图像标注培训平台的出现，可以将毫无标注经验的标注员，经过平台训练，达到中级图像标注员的水准，快速流程化地培养标注人才。
然而，在训练标注人员的过程中，需要对图像的标注结果进行检测，以指导标注人员的后续训练。而现有技术中无法对标注结果进行准确检测，导致训练效率大打折扣。
发明内容
本发明提供了一种图像标注结果的检测方法和装置，以解决现有激素为u发对标注结果进行准确检测的问题。
本发明提供了一种图像标注结果的检测方法，包括以下步骤：
获取标注答案以及训练人员对图像的标注结果，所述标注结果包括多个标注框，所述标注答案包括多个答案框；
获取每个所述标注框与其所对应的答案框之间的匹配偏移量和匹配度；
根据所述匹配偏移量和所述匹配度，计算所述标注框与所述答案框之间的相似度；
根据所述相似度确定对所述标注结果的检测结果。
可选地，获取每个所述标注框与其所对应的答案框之间的匹配度，包括：
针对每个所述标注框，分别计算其与所述标注答案中的每个答案框之间的交并比IOU值；
将IOU值最高的答案框作为与所述标注框对应的答案框，并将所述IOU值作为所述标注框与所述答案框之间的匹配度。
可选地，获取每个所述标注框与其所对应的答案框之间的匹配偏移量，包括：
按照以下公式计算所述标注框与所述答案框之间的匹配偏移量：
bias＝max(biasup，biasdown，biasright，biasleft)
其中，bias表示所述标注框与所述答案框之间的匹配偏移量，bias_up表示所述标注框与所述答案框之间在上方向的偏移量，bias_down表示所述标注框与所述答案框之间在下方向的偏移量，bias_right表示所述标注框与所述答案框之间在右方向的偏移量，bias_left表示所述标注框与所述答案框之间在左方向的偏移量。
可选地，所述根据所述匹配偏移量和所述匹配度，计算所述标注框与所述答案框之间的相似度，包括：
按照以下公式计算所述标注框与所述答案框之间的相似度：
Figure BDA0002237565270000021
其中，L表示所述标注框与所述答案框之间的相似度，IOU表示所述标注框与所述答案框之间的匹配度，bias表示所述标注框与所述答案框之间的匹配偏移量，biasset表示设定的合格偏移量值，
Figure BDA0002237565270000022
表示调节系数。
可选地，所述根据所述相似度确定对所述标注结果的检测结果之后，还包括：
若标注结果错误，则确定所述标注结果的错误类型；
根据所述错误类型，向所述训练人员推送统计库中与所述错误类型对应的待标注图像。
本发明还提供了一种图像标注结果的检测装置，包括：
第一获取模块，用于获取标注答案以及训练人员对图像的标注结果，所述标注结果包括多个标注框，所述标注答案包括多个答案框；
第二获取模块，用于获取每个所述标注框与其所对应的答案框之间的匹配偏移量和匹配度；
计算模块，用于根据所述匹配偏移量和所述匹配度，计算所述标注框与所述答案框之间的相似度；
确定模块，用于根据所述相似度确定对所述标注结果的检测结果。
可选地，第二获取模块，具体用于针对每个所述标注框，分别计算其与所述标注答案中的每个答案框之间的交并比IOU值；将IOU值最高的答案框作为与所述标注框对应的答案框，并将所述IOU值作为所述标注框与所述答案框之间的匹配度。
可选地，第二获取模块，具体用于按照以下公式计算所述标注框与所述答案框之间的匹配偏移量：
bias＝max(biasup，biasdown，biasright，biasleft)
其中，bias表示所述标注框与所述答案框之间的匹配偏移量，bias_up表示所述标注框与所述答案框之间在上方向的偏移量，bias_down表示所述标注框与所述答案框之间在下方向的偏移量，bias_right表示所述标注框与所述答案框之间在右方向的偏移量，bias_left表示所述标注框与所述答案框之间在左方向的偏移量。
可选地，所述计算模块，具体用于按照以下公式计算所述标注框与所述答案框之间的相似度：
Figure BDA0002237565270000041
其中，L表示所述标注框与所述答案框之间的相似度，IOU表示所述标注框与所述答案框之间的匹配度，bias表示所述标注框与所述答案框之间的匹配偏移量，biasset表示设定的合格偏移量值，
Figure BDA0002237565270000042
表示调节系数。
可选地，所述的装置，还包括：
类型检测模块，用于在标注结果错误的情况下，确定所述标注结果的错误类型；
推送模块，用于根据所述错误类型，向所述训练人员推送统计库中与所述错误类型对应的待标注图像。
本发明根据匹配偏移量和匹配度，计算标注框与答案框之间的相似度，根据相似度确定对标注结果的检测结果，能够实现对标注结果的精准检测，从而提升图像标注培训平台的训练效率。
附图说明
图1为本发明实施例中的一种图像标注结果的检测方法流程图；
图2为本发明实施例中的另一种图像标注结果的检测方法流程图；
图3为本发明实施例中的一种图像标注结果的检测装置结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种图像标注结果的检测方法，如图1所示，包括以下步骤：
步骤101，获取标注答案以及训练人员对图像的标注结果，标注结果包括多个标注框，标注答案包括多个答案框。
其中，标注结果中的标注框的数量可以与标注答案中的答案框的数量相同。
本实施例中，标注结果可以是训练人员标注的json文件，包含10个框的定位信息(x,y,w,h)；标注答案也可以是json文件，也是10个框的定位信息(x,y,w,h)。
步骤102，获取每个标注框与其所对应的答案框之间的匹配偏移量和匹配度。
具体地，可以针对标注结果中的每个标注框，分别计算其与标注答案中的每个答案框之间的IOU(Intersection over Union交并比)值；将IOU值最高的答案框作为与标注框对应的答案框，并将该IOU值作为标注框与所述答案框之间的匹配度。
本实施例中，由于标注结果和标注答案中的数据是无序的，为确定每一个标注框对应每一个答案框，可以分别计算每一个标注框与10个标注框的IOU值，得到一个10维的向量，将IOU值最高的答案框作为与标注框对应的答案框，并将该IOU值作为标注框与所述答案框之间的匹配度。当IOU值均小于0.2时，则判断标注框未匹配答案框，即，此答案框未成功标出。
进一步地，可以按照以下公式计算所述标注框与所述答案框之间的匹配偏移量：
bias＝max(biasup，biasdown，biasright，biasleft)
其中，bias表示所述标注框与所述答案框之间的匹配偏移量，bias_up表示所述标注框与所述答案框之间在上方向的偏移量，bias_down表示所述标注框与所述答案框之间在下方向的偏移量，bias_right表示所述标注框与所述答案框之间在右方向的偏移量，bias_left表示所述标注框与所述答案框之间在左方向的偏移量。
步骤103，根据匹配偏移量和匹配度，计算标注框与答案框之间的相似度。
具体地，可以按照以下公式计算所述标注框与所述答案框之间的相似度：
Figure BDA0002237565270000061
其中，L表示所述标注框与所述答案框之间的相似度，IOU表示所述标注框与所述答案框之间的匹配度，bias表示所述标注框与所述答案框之间的匹配偏移量，biasset表示设定的合格偏移量值，
Figure BDA0002237565270000062
表示调节系数。
步骤104，根据相似度确定对标注结果的检测结果。
具体地，若相似度大于预设阈值，则确定标注正确；否则，确定标注错误。将标注框与答案框结合展现，方便训练人员看清错误的位置。
本发明实施例根据匹配偏移量和匹配度，计算标注框与答案框之间的相似度，根据相似度确定对标注结果的检测结果，能够实现对标注结果的精准检测，从而提升图像标注培训平台的训练效率。
本发明实施例提供了另一种图像标注结果的检测方法，如图2所示，包括以下步骤：
步骤201，在训练人员登录平台后，收集训练人员的信息，并向训练人员下发测试包。
步骤202，获取测试包对应的标注答案以及训练人员对测试包中的图像的标注结果。
步骤203，获取标注答案中的每个标注框与其所对应的答案框之间的匹配偏移量和匹配度。
步骤204，根据匹配偏移量和匹配度，计算标注框与答案框之间的相似度。
步骤205，根据相似度确定对标注结果的检测结果。
步骤206，若标注结果错误，则确定标注结果的错误类型。
其中，常见的错误类型包括：偏移过大，类别错误，框漏标，框属性错误。
步骤207，根据错误类型，向训练人员推送统计库中与错误类型对应的待标注图像。
其中，统计库中按照错误类型存储有大量被错误标注过的图像，且同一错误类型对应的图像，按照错误标注数量进行排序，如表1所示：
表1统计库中的错误类型统计表
Figure BDA0002237565270000071
例如，在200个训练人员各试标200张图片后，即有40000张图片的标注结果，可以统计得到约2000张错误标注的情况。每张图片中的错误，都可以统计到“偏移过大，类别错误，框漏标，框属性错误”四大类，即可得到统计库。
当训练人员A标注完十个包的图像后，可以统计其错误类型，若类别错误的情况较多，可以向其推送类别错误统计较多的图像。若补标3张，则根据表1，向训练人员A推送第15张、第115张和第27张图像。
此外，根据每个训练人员的统计结果、标注数据的增加，以及错误类型的增加，可以每隔一段时间更新统计库，以便能够更好的为训练人员智能推送图像。
本发明实施例根据匹配偏移量和匹配度，计算标注框与答案框之间的相似度，根据相似度确定对标注结果的检测结果，并根据标注结果的错误类型，向训练人员推送对应的待标注图像，从而实现对标注结果的精准检测，进而提升图像标注培训平台的训练效率。
本发明实施例还提供了一种图像标注结果的检测装置，如图3所示，包括：
第一获取模块301，用于获取标注答案以及训练人员对图像的标注结果，所述标注结果包括多个标注框，所述标注答案包括多个答案框；
第二获取模块302，用于获取每个所述标注框与其所对应的答案框之间的匹配偏移量和匹配度；
具体地，第二获取模块302，具体用于针对每个所述标注框，分别计算其与所述标注答案中的每个答案框之间的交并比IOU值；将IOU值最高的答案框作为与所述标注框对应的答案框，并将所述IOU值作为所述标注框与所述答案框之间的匹配度。
进一步地，第二获取模块302，具体用于按照以下公式计算所述标注框与所述答案框之间的匹配偏移量：
bias＝max(biasup，biasdown，biasright，biasleft)
其中，bias表示所述标注框与所述答案框之间的匹配偏移量，bias_up表示所述标注框与所述答案框之间在上方向的偏移量，bias_down表示所述标注框与所述答案框之间在下方向的偏移量，bias_right表示所述标注框与所述答案框之间在右方向的偏移量，bias_left表示所述标注框与所述答案框之间在左方向的偏移量。
计算模块303，用于根据所述匹配偏移量和所述匹配度，计算所述标注框与所述答案框之间的相似度；
具体地，计算模块，具体用于按照以下公式计算所述标注框与所述答案框之间的相似度：
Figure BDA0002237565270000081
其中，L表示所述标注框与所述答案框之间的相似度，IOU表示所述标注框与所述答案框之间的匹配度，bias表示所述标注框与所述答案框之间的匹配偏移量，biasset表示设定的合格偏移量值，
Figure BDA0002237565270000082
表示调节系数。
确定模块304，用于根据所述相似度确定对所述标注结果的检测结果。
进一步地，上述装置，还包括：
类型检测模块305，用于在标注结果错误的情况下，确定所述标注结果的错误类型；
推送模块306，用于根据所述错误类型，向所述训练人员推送统计库中与所述错误类型对应的待标注图像。
本发明实施例根据匹配偏移量和匹配度，计算标注框与答案框之间的相似度，根据相似度确定对标注结果的检测结果，并根据标注结果的错误类型，向训练人员推送对应的待标注图像，从而实现对标注结果的精准检测，进而提升图像标注培训平台的训练效率。
结合本文中所公开的实施例描述的方法中的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像标注结果的检测方法，其特征在于，包括以下步骤：
获取标注答案以及训练人员对图像的标注结果，所述标注结果包括多个标注框，所述标注答案包括多个答案框；
获取每个所述标注框与其所对应的答案框之间的匹配偏移量和匹配度；
根据所述匹配偏移量和所述匹配度，计算所述标注框与所述答案框之间的相似度；
根据所述相似度确定对所述标注结果的检测结果。
2.如权利要求1所述的方法，其特征在于，获取每个所述标注框与其所对应的答案框之间的匹配度，包括：
针对每个所述标注框，分别计算其与所述标注答案中的每个答案框之间的交并比IOU值；
将IOU值最高的答案框作为与所述标注框对应的答案框，并将所述IOU值作为所述标注框与所述答案框之间的匹配度。
3.如权利要求2所述的方法，其特征在于，获取每个所述标注框与其所对应的答案框之间的匹配偏移量，包括：
按照以下公式计算所述标注框与所述答案框之间的匹配偏移量：
bias＝max(biasup，biasdown，biasright，biasleft)
其中，bias表示所述标注框与所述答案框之间的匹配偏移量，bias_up表示所述标注框与所述答案框之间在上方向的偏移量，bias_down表示所述标注框与所述答案框之间在下方向的偏移量，bias_right表示所述标注框与所述答案框之间在右方向的偏移量，bias_left表示所述标注框与所述答案框之间在左方向的偏移量。
4.如权利要求3所述的方法，其特征在于，所述根据所述匹配偏移量和所述匹配度，计算所述标注框与所述答案框之间的相似度，包括：
按照以下公式计算所述标注框与所述答案框之间的相似度：
Figure FDA0002237565260000021
其中，L表示所述标注框与所述答案框之间的相似度，IOU表示所述标注框与所述答案框之间的匹配度，bias表示所述标注框与所述答案框之间的匹配偏移量，biasset表示设定的合格偏移量值，
Figure FDA0002237565260000022
表示调节系数。
5.如权利要求1所述的方法，其特征在于，所述根据所述相似度确定对所述标注结果的检测结果之后，还包括：
若标注结果错误，则确定所述标注结果的错误类型；
根据所述错误类型，向所述训练人员推送统计库中与所述错误类型对应的待标注图像。
6.一种图像标注结果的检测装置，其特征在于，包括：
第一获取模块，用于获取标注答案以及训练人员对图像的标注结果，所述标注结果包括多个标注框，所述标注答案包括多个答案框；
第二获取模块，用于获取每个所述标注框与其所对应的答案框之间的匹配偏移量和匹配度；
计算模块，用于根据所述匹配偏移量和所述匹配度，计算所述标注框与所述答案框之间的相似度；
确定模块，用于根据所述相似度确定对所述标注结果的检测结果。
7.如权利要求6所述的装置，其特征在于，
第二获取模块，具体用于针对每个所述标注框，分别计算其与所述标注答案中的每个答案框之间的交并比IOU值；将IOU值最高的答案框作为与所述标注框对应的答案框，并将所述IOU值作为所述标注框与所述答案框之间的匹配度。
8.如权利要求7所述的装置，其特征在于，
第二获取模块，具体用于按照以下公式计算所述标注框与所述答案框之间的匹配偏移量：
bias＝max(biasup，biasdown，biasright，biasleft)
其中，bias表示所述标注框与所述答案框之间的匹配偏移量，bias_up表示所述标注框与所述答案框之间在上方向的偏移量，bias_down表示所述标注框与所述答案框之间在下方向的偏移量，bias_right表示所述标注框与所述答案框之间在右方向的偏移量，bias_left表示所述标注框与所述答案框之间在左方向的偏移量。
9.如权利要求8所述的装置，其特征在于，
所述计算模块，具体用于按照以下公式计算所述标注框与所述答案框之间的相似度：
Figure FDA0002237565260000041
其中，L表示所述标注框与所述答案框之间的相似度，IOU表示所述标注框与所述答案框之间的匹配度，bias表示所述标注框与所述答案框之间的匹配偏移量，biasset表示设定的合格偏移量值，表示调节系数。
10.如权利要求6所述的装置，其特征在于，还包括：
类型检测模块，用于在标注结果错误的情况下，确定所述标注结果的错误类型；
推送模块，用于根据所述错误类型，向所述训练人员推送统计库中与所述错误类型对应的待标注图像。
CN201910997548.0A 2019-10-17 2019-10-17 一种图像标注结果的检测方法和装置 Active CN110796185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910997548.0A CN110796185B (zh) 2019-10-17 2019-10-17 一种图像标注结果的检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910997548.0A CN110796185B (zh) 2019-10-17 2019-10-17 一种图像标注结果的检测方法和装置

Publications (2)

Publication Number Publication Date
CN110796185A true CN110796185A (zh) 2020-02-14
CN110796185B CN110796185B (zh) 2022-08-26

Family

ID=69440427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910997548.0A Active CN110796185B (zh) 2019-10-17 2019-10-17 一种图像标注结果的检测方法和装置

Country Status (1)

Country Link
CN (1) CN110796185B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111353555A (zh) * 2020-05-25 2020-06-30 腾讯科技（深圳）有限公司 一种标注检测方法、装置及计算机可读存储介质
CN111507292A (zh) * 2020-04-22 2020-08-07 广州光大教育软件科技股份有限公司 手写板校正方法、装置、计算机设备以及存储介质
CN112308155A (zh) * 2020-11-04 2021-02-02 广州小鹏自动驾驶科技有限公司 一种标注准确率确定方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404896A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 标注数据处理方法和标注数据处理系统
CN108319949A (zh) * 2018-01-26 2018-07-24 中国电子科技集团公司第十五研究所 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法
US20180330198A1 (en) * 2017-05-14 2018-11-15 International Business Machines Corporation Systems and methods for identifying a target object in an image
CN109684947A (zh) * 2018-12-11 2019-04-26 广州景骐科技有限公司 标注质量监控方法、装置、计算机设备和存储介质
CN109740463A (zh) * 2018-12-21 2019-05-10 沈阳建筑大学 一种车载环境下的目标检测方法
CN110009090A (zh) * 2019-04-02 2019-07-12 北京市商汤科技开发有限公司 神经网络训练与图像处理方法及装置
CN110032914A (zh) * 2018-01-12 2019-07-19 北京京东尚科信息技术有限公司 一种标注图片的方法和装置
CN110084313A (zh) * 2019-05-05 2019-08-02 厦门美图之家科技有限公司 一种生成物体检测模型的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404896A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 标注数据处理方法和标注数据处理系统
US20180330198A1 (en) * 2017-05-14 2018-11-15 International Business Machines Corporation Systems and methods for identifying a target object in an image
CN110032914A (zh) * 2018-01-12 2019-07-19 北京京东尚科信息技术有限公司 一种标注图片的方法和装置
CN108319949A (zh) * 2018-01-26 2018-07-24 中国电子科技集团公司第十五研究所 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法
CN109684947A (zh) * 2018-12-11 2019-04-26 广州景骐科技有限公司 标注质量监控方法、装置、计算机设备和存储介质
CN109740463A (zh) * 2018-12-21 2019-05-10 沈阳建筑大学 一种车载环境下的目标检测方法
CN110009090A (zh) * 2019-04-02 2019-07-12 北京市商汤科技开发有限公司 神经网络训练与图像处理方法及装置
CN110084313A (zh) * 2019-05-05 2019-08-02 厦门美图之家科技有限公司 一种生成物体检测模型的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111310667B (zh) * 2020-02-18 2023-09-01 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111507292A (zh) * 2020-04-22 2020-08-07 广州光大教育软件科技股份有限公司 手写板校正方法、装置、计算机设备以及存储介质
CN111507292B (zh) * 2020-04-22 2023-05-12 广东光大信息科技股份有限公司 手写板校正方法、装置、计算机设备以及存储介质
CN111353555A (zh) * 2020-05-25 2020-06-30 腾讯科技（深圳）有限公司 一种标注检测方法、装置及计算机可读存储介质
CN112308155A (zh) * 2020-11-04 2021-02-02 广州小鹏自动驾驶科技有限公司 一种标注准确率确定方法和装置

Also Published As

Publication number Publication date
CN110796185B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN110796185B (zh) 一种图像标注结果的检测方法和装置
US11508251B2 (en) Method and system for intelligent identification and correction of questions
US11790641B2 (en) Answer evaluation method, answer evaluation system, electronic device, and medium
CN109284355B (zh) 一种批改试卷中口算题的方法及装置
CN110956138B (zh) 一种基于家教设备的辅助学习方法及家教设备
CN110659584B (zh) 一种基于图像识别的智能留痕阅卷系统
CN109583429A (zh) 一种批改试卷中应用题的方法及装置
US8768241B2 (en) System and method for representing digital assessments
CN109189895B (zh) 一种针对口算题的题目批改方法及装置
JP7077483B2 (ja) 暗算問題に対する問題添削方法、装置、電子機器及び記憶媒体
CN108876195A (zh) 一种智能化的教师教学质量评测系统
CN109410984B (zh) 一种朗读评分的方法及电子设备
CN112381099A (zh) 一种基于数字教育资源的录题系统
CN112347997A (zh) 一种试题检测识别方法、装置、电子设备及介质
CN113836894B (zh) 多维度英语作文评分方法、装置及可读存储介质
CN112632926B (zh) 票据的数据处理方法、装置、电子设备及存储介质
CN111368929B (zh) 一种图片的标注方法
CN112102127B (zh) 可解释智能学习报告生产方法
CN110827794B (zh) 语音识别中间结果的质量评测方法和装置
CN115294573A (zh) 作业批改方法、装置、设备及介质
CN111090989B (zh) 一种基于文字识别的提示方法及电子设备
CN112613500A (zh) 一种基于深度学习的校园动态阅卷系统
TWI453703B (zh) 學習診斷分析方法及學習診斷分析系統
CN111091036B (zh) 一种听写内容识别方法及电子设备
CN116090006B (zh) 一种基于深度学习的敏感识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 411, 4th floor, building 4, No.44, Middle North Third Ring Road, Haidian District, Beijing 100088

Patentee after: Beijing Qingshu Intelligent Technology Co.,Ltd.

Address before: 100044 1415, 14th floor, building 1, yard 59, gaoliangqiaoxie street, Haidian District, Beijing

Patentee before: BEIJING AISHU WISDOM TECHNOLOGY CO.,LTD.

CP03 Change of name, title or address