CN112131499B - 图像标注方法、装置、电子设备及存储介质 - Google Patents
图像标注方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112131499B CN112131499B CN202011015933.XA CN202011015933A CN112131499B CN 112131499 B CN112131499 B CN 112131499B CN 202011015933 A CN202011015933 A CN 202011015933A CN 112131499 B CN112131499 B CN 112131499B
- Authority
- CN
- China
- Prior art keywords
- labeling
- image
- images
- labeled
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 537
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012795 verification Methods 0.000 claims description 30
- 238000007667 floating Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 claims 41
- 230000002596 correlated effect Effects 0.000 claims 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及人工智能技术领域，公开了一种图像标注方法、装置、电子设备及存储介质，利用图像标注工具对图像进行数据标注，提升图像标注效率，为模型训练提供可靠的训练样本，上述方法包括：响应标注任务请求操作，在图像标注界面中显示至少两个待标注图像；响应针对任一待标注图像的标注操作，显示所述任一待标注图像对应的标注结果；响应标注完成操作，当每个待标注图像被标注了标注结果时，显示已经向服务器发送所述至少两个待标注图像的标注结果的提示信息。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像标注方法、装置、电子设备及存储介质。
背景技术
人工智能算法普遍是数据驱动型算法，数据的标注则是大部分人工智能算法的关键之一，数据标注的过程是通过人工识别并为其人工标注的方式，为算法提供学习样本，让模型不断地学习这些数据的特征，最终实现计算机能够智能化自主识别或行动。现有的图像标注工具一次只能显示一张图像，标注人员需要通过点击分类、提交、下一张图像等按钮，与页面发生多次交互后，才能完成一张图像的标注并显示下一张图像，降低了图像标注效率。
发明内容
本申请实施例提供一种图像标注方法、装置、电子设备及存储介质，可在图像标注界面中同时显示多个图像，提升了图像标注效率。
一方面，本申请一实施例提供了一种图像标注方法，包括：
响应标注任务请求操作，在图像标注界面中显示至少两个待标注图像；
响应针对任一待标注图像的标注操作，显示所述任一待标注图像对应的标注结果；
响应标注完成操作，当每个待标注图像被标注了标注结果时，显示已经向服务器发送所述至少两个待标注图像的标注结果的提示信息。
一方面，本申请一实施例提供了一种图像标注方法，包括：
响应客户端发送的标注任务请求，向所述客户端发送标注任务对应的至少两个待标注图像，以使所述客户端在图像标注界面中同时显示所述至少两个待标注图像；
接收所述客户端返回的所述至少两个待标注图像的标注结果。
一方面，本申请一实施例提供了一种图像标注装置，包括：
请求模块，用于响应标注任务请求操作，在图像标注界面中显示至少两个待标注图像；
标注模块，用于响应针对任一待标注图像的标注操作，显示所述任一待标注图像对应的标注结果；
提交模块，用于响应标注完成操作，当每个待标注图像被标注了标注结果时，显示已经向服务器发送所述至少两个待标注图像的标注结果的提示信息。
可选地，所述提交模块，还用于响应标注完成操作，当还有待标注图像未标注时，显示还有未标注图像的提示信息。
可选地，所述请求模块，具体用于：
获取至少两个待标注图像；
基于所述至少两个待标注图像的宽度和高度，将所述图像标注界面划分为多列显示区域；
分别将每个待标注图像显示到其中一个显示区域中。
可选地，所述标注模块，具体用于：
响应针对任一待标注图像的第一选中操作，在所述图像标注界面上显示至少两个标注选项；
响应针对所述至少两个标注选项中任一标注选项的第二选中操作，显示所述任一待标注图像对应的标注结果，所述标注结果为所述第二选中操作对应的任一标注选项。
可选地，所述标注模块，具体用于在所述图像标注界面上所述第一选中操作对应的任一待标注图像所在区域内，显示包含至少两个标注选项的浮窗。
可选地，所述标注模块，还用于：所述响应针对任一待标注图像的标注操作，显示所述任一待标注图像对应的标注结果时，将所述任一待标注图像的显示方式，从第一显示方式变化为第二显示方式。
可选地，所述标注模块，还用于在所述图像标注界面中实时显示数据标注进度，其中，所述数据标注进度是基于所述图像标注界面中显示的已标注图像的数量和图像总数的比值确定。
可选地，所述标注模块，还用于：
响应针对所述图像标注界面中显示的任一已标注图像的标注更新操作，在所述图像标注界面内显示至少两个标注选项；
响应针对所述两个标注选项中任一标注选项的第三选中操作，将所述任一待标注图像对应的标注结果更新为所述第三选中操作对应的标注选项。
一方面，本申请一实施例提供了一种图像标注装置，包括：
发送模块，用于响应客户端发送的标注任务请求，向所述客户端发送标注任务对应的至少两个待标注图像，以使所述客户端在图像标注界面中同时显示所述至少两个待标注图像；
接收模块，用于接收所述客户端返回的所述至少两个待标注图像的标注结果。
可选地，所述至少两个待标注图像中包括已具有第一标注结果的校验图像；
所述装置还包括校验模块，用于：
从所述客户端返回的所述至少两个待标注图像的标注结果中获取所述校验图像对应的第二标注结果；
基于所述校验图像对应的第一标注结果和第二标注结果的比对结果，更新所述客户端对应标注人员的准确率分值；
基于所述客户端对应标注人员的准确率分值，确定向所述客户端发送的待标注图像的数量。
可选地，所述至少两个待标注图像中包括已具有第三标注结果的待修正图像，所述第三标注是基于已训练的图像识别模型获得的；
所述装置还包括修正模块，用于：
从所述客户端返回的所述至少两个待标注图像中获得所述待修正图像对应的第四标注结果；
若所述第三标注结果和所述第四标注结果不一致，则将所述待修正图像的标注更新为所述第四标注结果，其中，更新标注后的待修正图像用于训练所述图像识别模型。
一方面，本申请一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
一方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
一方面，本申请一实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种TCP传输性能的控制的各种可选实现方式中提供的方法。
本申请实施例提供的图像标注方法、装置、电子设备及存储介质，可在图像标注界面中同时显示多个图像，使用标注人员可以同时观察多个图像，并快速便捷地完成标注，标注人员完成这多个图像的标注后，只需要提交一次标注结果，对于大批量图像的标注，可有效提升图像标注的效率和质量，改善标注人员的使用体验。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像标注方法的应用场景示意图；
图2为本申请一实施例提供的图像标注方法的流程示意图；
图3为本申请一实施例提供的图像标注方法的流程示意图；
图4为本申请一实施例提供的响应标注任务请求操作在图像标注界面中显示待标注图像的流程示意图；
图5为本申请一实施例提供的网格式布局方式的示意图；
图6为本申请一实施例提供的网格式布局方式的示意图；
图7A为本申请一实施例提供的对图像标注界面中的图像进行标注的操作示意图；
图7B为本申请一实施例提供的在图像标注界面中加载新的待标注图像的操作示意图；
图8为本申请一实施例提供的在图像标注界面中实时显示数据标注进度的示意图；
图9为本申请一实施例提供的对已标注图像进行标注更新操作的示意图；
图10为本申请一实施例提供的图像标注方法的流程示意图；
图11为本申请一实施例提供的校验图像标注结果的流程示意图；
图12为本申请一实施例提供的对图像标注进行修正的流程示意图；
图13为本申请一实施例提供的图像标注装置的结构示意图；
图14为本申请一实施例提供的图像标注装置的结构示意图；
图15为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
瀑布流，又称瀑布流式布局，是比较流行的一种网站页面布局，视觉表现为参差不齐的多栏布局，随着页面滚动条向下滚动，这种布局还会不断加载数据块并附加至当前尾部。
数据标注，是指为数据的内涵进行标注，基于大量标注好的数据，对深度学习、机器学习等算法进行模型训练和验证。
应用：即应用程序，可以完成某项或多项业务的计算机程序，一般具有可视的显示界面，能与用户进行交互，比如电子地图和微信等都可以称为应用。其中，有些应用需要用户安装到所使用的终端设备上才可以使用，有些则并不需要进行应用安装，例如，微信中的各个小程序。小程序不需要下载安装即可使用，用户扫一扫或者搜一下即可打开应用。
附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
在具体实践过程中，现有的图像标注工具一次只能显示一张图像，标注人员需要通过点击分类、提交、下一张图像等按钮，与页面发生多次交互后，才能完成一张图像的标注并显示下一张图像，过程复杂繁琐缺乏良好的标注体验，降低了图像标注效率，且会影响标注质量。
为此，本申请提供了一种图像标注方法，具体包括：响应标注任务请求操作，在图像标注界面中显示至少两个待标注图像；响应针对任一待标注图像的标注操作，显示任一待标注图像对应的标注结果；响应标注完成操作，当每个待标注图像被标注了标注结果时，显示已经向服务器发送至少两个待标注图像的标注结果的提示信息。上述图像标注方法，在图像标注界面中同时显示多个图像，使用标注人员可以同时观察多个图像，并快速便捷地完成标注，标注人员完成这多个图像的标注后，只需要提交一次标注结果，对于大批量图像的标注，可有效提升图像标注的效率和质量，改善标注人员的使用体验。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
参考图1，其为本申请实施例提供的图像标注方法的应用场景示意图。该应用场景包括多个终端设备101(包括终端设备101-1、终端设备101-2、……终端设备101-n)、服务器102和数据存储服务器103。其中，终端设备101和服务器102之间，终端设备101和数据存储服务器103之间均可通过无线或有线网络连接，终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑等电子设备。服务器102和数据存储服务器103可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器102用于提供图像标注服务，具体包括：任务配置服务，图像管理服务，用户管理服务，通知服务以及前后台网关交互的服务，可使用RPC(Remote Procedure Call，远程过程调用)通信协议的方式允许各服务之间的接口传递和交互，使得能够顺畅完成图像标注任务下发和标注结果的收集、以及对图像和用户(即标注人员)的管理。数据存储服务器103用于存储各个标注任务对应的图像数据集，每个图像数据集中包括待标注图像和已标注图像。
终端设备101中可预先安装用于进行图像标注的客户端，或者标注人员可以通过终端设备101中的浏览器或小程序的方式打开用于进行图像标注的客户端，标注人员通过该客户端进行图像标注。标注人员可通过终端设备101向服务器102发送标注任务请求，服务器102从数据存储服务器103中的一个图像数据集中获取一定数量的图像，将获取的图像以及标注任务对应的标注要求发送给终端设备101，终端设备101显示接收到的图像以及标注要求，提示标注人员对显示的图像进行标注，获得各个图像对应的标注结果并返回给服务器102，服务器102将各个图像对应的标注结果存储到数据存储服务器103中对应的图像数据集中。可基于数据存储服务器103中各个标注任务对应的图像数据集中的已标注图像，对相应的模型进行训练。
当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其它可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能中的图像标注等技术，下面结合图1所示的应用场景，对本申请实施例提供的技术方案进行说明。
参考图2，本申请实施例提供一种图像标注方法，可应用于图1所示的终端设备内的客户端，包括以下步骤：
S201、响应标注任务请求操作，在图像标注界面中显示至少两个待标注图像。
具体实施时，标注人员可打开终端设备内用于进行图像标注的客户端，并通过客户端的登陆界面输入登陆信息，完成用户登录操作，每个标注人员都具有唯一的身份标识。完成登录操作后，客户端可显示任务选择界面，任务选择界面中包括参与的标注任务以及已参与的标注任务等信息，标注人员可通过点击任务选择界面中显示的任一标注任务，输入针对该标注任务的标注任务请求操作，客户端响应标注任务请求操作，向服务器发送标注任务请求，该标注任务请求包括任务标识。服务器收到标注任务请求后，基于其中的任务标识，从该任务标识对应的图像数据集中获取多个待标注图像，将这多个待标注图像发送给客户端，客户端显示图像标注界面，并在图像标注界面中显示这多个待标注图像。
其中，待标注图像可以是单帧图像，例如静态图片，也可以是多帧图像，例如动态图片或者视频。当待标注图像是视频时，标注人员点击视频后，即可播放具体的视频内容，以便标注人员判断视频的分类。
S202、响应针对任一待标注图像的标注操作，显示任一待标注图像对应的标注结果。
具体实施时，可在图像标注界面上显示待标注图像对应的标注选项，标注人员可通过点击其中一个标注选项输入针对该待标注图像的标注操作，将被点击的这个标注选项作为该待标注图像对应的标注结果，并在图像标注界面中显示该待标注图像的标注结果，以提示用户该待标注图像已经完成标注。
具体实施时，每个标注任务对应至少两个标注选项，每个标注任务对应的标注选项是根据标注任务对应的模型需实现的功能确定的。例如，模型最终实现的功能是识别图像是否包含人脸，则标注任务对应的标注选项可包括：“存在人脸”和“没有人脸”；若模型最终实现的功能是识别图像中的物体是建筑、人物还是风景，则该标注任务对应的标注选项可包括：“建筑”、“人物”和“风景”。
S203、响应标注完成操作，当每个待标注图像被标注了标注结果时，显示已经向服务器发送至少两个待标注图像的标注结果的提示信息。
其中，标注完成操作可以是标注人员手动触发的，例如可在图像标注界面中设置“提交”按钮，标注人员可通过点击“提交”按钮输入标注完成操作，若客户端确定图像标注界面中的每个待标注图像都被标注了标注结果，则客户端向服务器发送待标注图像的标注结果，并显示已经向服务器发送至少两个待标注图像的标注结果的提示信息。标注完成操作也可以是标注人员完成对图像标注界面中最后一个未标注图像的标注，即在标注人员完成最后一个未标注图像的标注后，客户端向服务器发送待标注图像的标注结果，并显示已经向服务器发送至少两个待标注图像的标注结果的提示信息。
具体实施时，客户端向服务器发送至少两个待标注图像的标注结果之后，服务器可主动向客户端发送至少两个新的待标注图像，也可以在收到客户端再次发送的标注任务请求后再向客户端发送至少两个新的待标注图像；客户端在图像标注界面中显示至少两个新的待标注图像，标注人员继续对新的待标注图像进行标注。
本申请实施例的图像标注方法，在图像标注界面中同时显示多个图像，使用标注人员可以同时观察多个图像，并快速便捷地完成标注，标注人员完成这多个图像的标注后，只需要提交一次标注结果，对于大批量图像的标注，可有效提升图像标注的效率和质量，改善标注人员的使用体验。
在上述实施方式的基础上，本申请实施例的图像标注方法还包括如下步骤：响应标注完成操作，当还有待标注图像未标注时，显示还有未标注图像的提示信息，防止标注人员遗漏未标注的图像。具体参考图3，本申请实施例提供了另一种图像标注方法，具体可包括以下步骤：
S301、响应标注任务请求操作，在图像标注界面中显示至少两个待标注图像。
S302、响应针对任一待标注图像的标注操作，显示任一待标注图像对应的标注结果。
其中，步骤S301、S302的具体实施方式可参考步骤S201、S202，不再赘述。
S303、响应标注完成操作，判断图像标注界面中的每个待标注图像是否都被标注了标注结果，若是，则执行步骤S304，若否，则执行步骤S305。
S304、显示已经向服务器发送至少两个待标注图像的标注结果的提示信息。
S305、显示还有未标注图像的提示信息。
标注人员关闭还有未标注图像的提示信息后，继续对未标注的图像进行标注，确定图像标注界面中的每个待标注图像都被标注了标注结果后，再输入标注完成操作，客户端向服务器发送待标注图像的标注结果，并显示已经向服务器发送至少两个待标注图像的标注结果的提示信息。
在上述任一实施方式的基础上，参考图4，步骤S201或S301具体包括：
S401、响应标注任务请求操作，获取至少两个待标注图像。
S402、基于至少两个待标注图像的宽度和高度，将图像标注界面划分为多列显示区域。
S403、分别将每个待标注图像显示到其中一个显示区域中。
具体实施时，可基于瀑布流插件确定图像标注界面的页面布局，即采用瀑布流的布局方式显示多个待标注图像。瀑布流对于图像的展现，是高效而具有吸引力的，标注人员一眼扫过的快速阅读模式可以在短时间内获得更多的信息量，而瀑布流的加载模式又避免了用户鼠标点击的翻页操作，瀑布流的主要特性便是错落有致，定宽而不定高的设计让页面区别于传统的矩阵式图片布局模式，巧妙的利用视觉层级，视线的任意流动又缓解了视觉疲劳。
根据应用场景和交互方式的不同，本申请实施例提供了两种瀑布流布局方式：网格式和垂落式。参考图5，根据多个待标注图像的大小，多个待标注图像通过网格的形式在图像标注界面中平铺显示，充满整个图像标注界面，图像之间紧密贴合，网格式显示的图像之间的间隔很小，更适合显示屏较小的终端设备(如手机)的视野。参考图6，为垂落式的布局方式，其中，图像标注界面被划分为多列显示区域，每一列显示区域中显示至少一个待标注图像，每一列显示区域中显示的多个待标注图像的宽度相同或相近，每一列显示区域的宽度可根据在该列中显示的待标注图像的宽度自动调整，使得多个待标注图像可在同一个页面中自然呈现，垂落式显示的图像之间的间隔较大，更适合显示屏较大的终端设备(如台式电脑)。
以手机端为例，可基于Bootstrap、jQuery、Masonry等现有框架提供的瀑布流插件函数库，在应用程序中实现网格式的显示方式。
以网页前端为例，可采用多列浮动的模式，通过CSS3(Cascading Style SheetsLevel 3，层叠样式表3级，用于控制网页的样式和布局)中的Multi-Columns(多列布局)中的column-count属性，column-gap属性和break-inside属性，在网页中实现垂落式的显示方式，其中column-count属性用于确定分栏数，column-gap属性是用来设置或检索对象的列与列之间的间隙的应用，break-inside属性用于描述在多列布局页面下的内容盒子如何中断。
在上述任一实施方式的基础上，为了增加图像标注界面中同时显示的待标注图像的数量，可以只在标注人员针对图像标注界面中的某一待标注图像输入第一选中操作时，才在图像标注界面上显示对应的标注选项，即标注人员未针对待标注图像输入第一选中操作时，图像标注界面中不会显示标注选项，这样可增加图像标注界面中显示待标注图像的空间，减少图像标注界面中显示的内容，降低对标注人员的视线干扰。
为此，步骤S202或步骤S302可具体包括以下步骤：响应针对任一待标注图像的第一选中操作，在图像标注界面上显示至少两个标注选项；响应针对至少两个标注选项中任一标注选项的第二选中操作，显示任一待标注图像对应的标注结果，标注结果为第二选中操作对应的任一标注选项。
其中，第一选中操作可以是点击待标注图像、长按待标注图像或双击待标注图像等，第二选中操作可以是点击标注选项、长按标注选项或双击标注选项等，本申请实施例不作限定。
实际应用中，标注选项可以在图像标注界面上的指定区域内显示，指定区域可以是图像标注界面中的任意一处区域，例如可以是任意一处未显示待标注图像的区域，也可以是图像标注界面的中心位置。或者，也可以在第一选中操作所针对的待标注图像上显示标注选项，具体地，可在图像标注界面上第一选中操作对应的待标注图像所在区域内显示包含至少两个标注选项的浮窗，一方面可以增加图像标注界面中显示待标注图像的空间，以便同时显示更多的待标注图像，或者放大待标注图像以让标注人员更清楚地观察到图像细节，另一方面可以让用户清楚地获悉当前正在标注的待标注图像，简化标注操作。
在上述任一实施方式的基础上，执行步骤S202时，还可以将任一待标注图像的显示方式，从第一显示方式变化为第二显示方式。其中，第一显示方式可以是正常显示图像，即不对图像增加任何显示效果；第二显示方式可以是任何一种区别于第一显示方式的显示方式，例如，第二显示方式可以将图像设置为灰度图像，或者在图像上设置一个半透明的蒙版层，或者，将图像外围增加一个颜色鲜艳的提示框，以提示用户该图像为已标注图像，同时在已标注图像上显示对应的标注结果。
以图7A为例，标注人员点击图像标注界面701上的待标注图像702后，在待标注图像702之上显示一个浮窗703，通过浮窗703显示多个标注选项704：“建筑”、“人物”和“风景”，以提示标注人员对待标注图像702进行标注，为了减少浮窗703对待标注图像702的干扰，浮窗703和其中的标注选项704可以预设的透明度显示；标注人员点击“建筑”这一标注选项704后，在待标注图像702上覆盖一个蒙版层，并在蒙版层上显示标注结果“建筑”，以提示用户已完成针对待标注图像702的标注操作；当检测到图像标注界面701上显示的待标注图像均已经被标注完成后，客户端可显示提交窗口705，标注人员点击提交窗口705中的“提交”按钮后，将图像标注界面701中的待标注图像的标注结果发送给服务器。参考图7B，标注人员还可以通过向上滑动页面，在图像标注界面701中显示更多待标注图像，对新显示的待标注图像进行标注，也可以通过向下滑动页面，查看已标注的图像。
具体实施时，服务器可根据客户端的缓存数据量，确定每一次向客户端发送的待标注图像的数量。当服务器一次发送给客户端的待标注图像的数量无法同时在图像标注界面中显示时，客户端可缓存这些待标注图像，并分批在图像标注界面中加载显示，以图7B为例，标注人员通过向上滑动页面即可加载暂未显示的待标注图像。
仍以图7B为例，标注人员向上滑动页面的操作也可以作为标注完成操作，即触发客户端向服务器发送待标注图像的标注结果，同时向服务器请求新的待标注图像，客户端在图像标注界面701中显示更多待标注图像，对新显示的待标注图像进行标注，此时已向服务器提交标注结果的待标注图像不会再显示在图像标注界面701中。这样，可以简化图像标注界面的布局，并简化加载新的待标注图像的操作，提高标注效率。
在上述任一实施方式的基础上，客户端还可以基于图像标注界面中显示的已标注图像的数量和图像总数的比值，确定数据标注进度，并在图像标注界面中实时显示数据标注进度。
以图8为例，图像标注界面中一共显示了5张图像，其中已标注图像的数量为2，未标注图像的数量为3，则数据标注进度为40％，在图像标注界面中显示此时的数据标注进度。当图像标注界面上显示的待标注图像均已经被标注完成后，数据标注进度显示为100％，此时标注人员可点击图像标注界面中的“提交”按钮，以将图像标注界面中的待标注图像的标注结果发送给服务器。通过图像标注界面中实时显示数据标注进度，可让标注人员实时掌握标注任务的进度。
在上述任一实施方式的基础上，本申请实施例提供的图像标注方法还可以包括以下步骤：响应针对图像标注界面中显示的任一已标注图像的标注更新操作，在图像标注界面内显示至少两个标注选项；响应针对两个标注选项中任一标注选项的第三选中操作，将任一待标注图像对应的标注结果更新为第三选中操作对应的标注选项。
其中，标注更新操作可以是点击已标注图像、长按已标注图像或双击已标注图像、点击已标注图像的标注结果、长按已标注图像的标注结果或双击已标注图像的标注结果等，第三选中操作可以是点击标注选项、长按标注选项或双击标注选项等，本申请实施例不作限定。
实际应用中，客户端可响应标注更新操作，在图像标注界面上的指定区域内显示标注选项，指定区域可以是图像标注界面中的任意一处区域，例如可以是任意一处未显示待标注图像的区域，也可以是图像标注界面的中心位置。或者，客户端可响应针对已标注图像的标注更新操作，在该已标注图像上显示标注选项，具体地，可在图像标注界面上标注更新操作对应的已标注图像所在区域内显示包含至少两个标注选项的浮窗，标注人员可通过重新选择浮窗内的一个标注选项，来更改该已标注图像对应的标注结果。
以图9为例，已标注图像902原来的标注结果为“风景”，标注人员发现标注错了之后，可长按该已标注图像的标注结果903，此时会在图像标注界面901上现实一个浮窗904，标注人员可从浮窗904中选择正确的标注选项“建筑”，然后已标注图像902的标注结果会更新为“建筑”。
参考图10，本申请实施例还提供一种图像标注方法，可应用于图1所示的服务器，具体包括以下步骤：
S1001、响应客户端发送的标注任务请求，向客户端发送标注任务对应的至少两个待标注图像，以使客户端在图像标注界面中同时显示至少两个待标注图像。
其中，客户端是用于进行图像标注的应用程序，可以预先安装在终端设备内，或者标注人员可在需要时通过浏览器或小程序的方式在终端设备内即时使用。
具体实施时，标注人员可打开终端设备上安装的客户端，并通过客户端的登陆界面输入登陆信息，完成用户登录操作，每个标注人员都具有唯一的身份标识。完成登录操作后，客户端可显示任务选择界面，任务选择界面中包括参与的标注任务以及已参与的标注任务等信息，标注人员可通过点击任务选择界面中显示的任一标注任务，输入针对该标注任务的标注任务请求操作，客户端响应标注任务请求操作，向服务器发送标注任务请求，该标注任务请求包括任务标识。服务器收到标注任务请求后，基于其中的任务标识，从该任务标识对应的图像数据集中获取多个待标注图像，将这多个待标注图像发送给客户端，客户端显示图像标注界面，并在图像标注界面中显示这多个待标注图像，具体显示方式可参考客户端侧的图像标注方法，不再赘述。
S1002、接收客户端返回的至少两个待标注图像的标注结果。
具体实施时，当标注人员点击某一待标注图像时，客户端可在图像标注界面上显示该待标注图像对应的标注选项，标注人员可通过点击其中一个标注选项选中该标注选项，客户端将被点击的这个标注选项作为该待标注图像对应的标注结果，并在图像标注界面中显示该待标注图像的标注结果，以提示用户该待标注图像已经完成标注。当图像标注界面中的每个待标注图像都被标注了标注结果时，标注人员可通过点击“提交”按钮输入标注完成操作，客户端将每个待标注图像的标注结果发送给服务器，服务器将各个待标注图像对应的标注结果存储到数据存储服务器中对应的图像数据集中。
具体实施时，客户端向服务器发送至少两个待标注图像的标注结果之后，服务器可主动向客户端发送至少两个新的待标注图像。或者，服务器可以在收到客户端再次发送的标注任务请求后，再向客户端发送至少两个新的待标注图像，客户端在图像标注界面中显示至少两个新的待标注图像，标注人员继续对新的待标注图像进行标注。
本申请实施例的图像标注方法，可一次向客户端发送多个待标注图像，使得客户端能够在图像标注界面中同时显示多个图像，使用标注人员可以同时观察多个图像，并快速便捷地完成标注，标注人员完成这多个图像的标注后，只需要提交一次标注结果，对于大批量图像的标注，可有效提升图像标注的效率和质量，改善标注人员的使用体验，同时减少了客户端和服务器的通信次数，降低服务器通信压力。
具体实施时，服务器发送给客户端的至少两个待标注图像中可包括已具有第一标注结果的校验图像。其中，校验图像可以是已知正确标注结果的图像，第一标注结果即为校验图像的正确标注结果；校验图像也可以是已经被该标注人员标注过的图像。
为此，参考图11，在图10所示的图像标注方法的基础上，服务器侧的图像标注方法还包括以下步骤：
S1101、从客户端返回的至少两个待标注图像的标注结果中获取校验图像对应的第二标注结果。
S1102、基于校验图像对应的第一标注结果和第二标注结果的比对结果，更新客户端对应标注人员的准确率分值。
其中，准确率分值用于描述标注人员进行图像标注的准确率。
具体地，若第一标注结果与第二标注结果不符，则获取该客户端对应的标注人员的准确率分值，按照预设规则，在当前的准确率分值的基础上扣除一定分值，例如，标注人员当前的准确率分值为98分，发现标注人员给校验图像标注的第二标注结果与第一标注结果不一致时，扣除1分，即该标注人员更新后的准确率分值为97分。
S1103、基于客户端对应标注人员的准确率分值，确定向客户端发送的待标注图像的数量。
其中，准确率分值与发送给标注人员的待标注图像整相关，即准确率分值越高的标注人员可获得更多的标注任务。
例如，一共有m位标注人员参与一个标注任务，可将整个标注任务分成N轮任务，在每一轮任务开始前，根据这m位标注人员在上述一轮任务结束后获得的准确率分值，确定执行该轮任务时分发给各个标注人员的待标注图像的数量，例如，第i个标注人员在第n轮任务中分发到的待标注图像的数量为：
其中，xi为第i个标注人员在第n轮任务开始前的准确率分值，Yn为第n轮任务需要分发给m位标注人员的待标注图像的总数。每一轮任务结束后，基于本轮任务中每个标注人员的标注情况，更新每个标注人员的准确率分值，具体更新过程参考步骤S1101和S1102。
具体实施时，当标注人员连续标注的预设数量的图像未发生标注错误时，可增加该标注人员的准确率分值。例如，标注人员标注了1000个图像，且在这过程中未发现标注错误，则获取该标注人员当前的准确率分值，按照预设规则，在当前的准确率分值的基础上增加一定分值。
基于图11所示的实施方式，服务器可将同一标注任务中的同一图像多次发送给同一标注人员，通过比对同一标注人员针对同一图像多次返回的标注结果，监督每个标注人员的标注准确率，或者基于已经标注有正确标注的图像监督每个标注人员的标注准确率，进行反作弊判定，且标注准确率较高的标注人员可获得更多的任务，以提高图像标注的准确度。
在上述任一实施方式的基础上，服务器发送给客户端的至少两个待标注图像中还可以包括已具有第三标注结果的待修正图像，其中第三标注是基于已训练的图像识别模型获得的。
具体实施时，客户端可以显示待修正图像的第三标注结果，也可以不显示第三标注结果。若标注人员发现待修正图像的第三标注结果不对时，可针对待修正图像输入标注更新操作，客户端响应针对待修正图像的标注更新操作，在图像标注界面内显示至少两个标注选项，响应针对两个标注选项中任一标注选项的第三选中操作，将待修正图像的标注结果更新为第三选中操作对应的标注选项，即获得待修正图像对应的第四标注结果，并将图像标注界面中显示的待修正图像对应的标注结果更新为第四标注结果。其中，第三标注结果和第四标注结果的显示方式需要作出区分，已帮助标注人员区分更新前后的标注结果。标注人员完成对待修正图像的修改后，可点击提交按钮将待修正图像对应的第四标注结果反馈给服务器；当标注人员认为待修正图像的第三标注结果正确时，可不作任何修改，点击提交按钮，客户端会将待修正图像的第三标注结果正确的指示信息反馈给服务器。
基于此，参考图12，服务器侧的图像标注方法还包括以下步骤：
S1201、从客户端返回的至少两个待标注图像中获得待修正图像对应的第四标注结果。
S1202、若第三标注结果和第四标注结果不一致，则将待修正图像的标注更新为第四标注结果，其中，更新标注后的待修正图像用于训练图像识别模型。
基于上述实施方式，可对图像识别模型输出的图像识别结果进行回溯和校验，如有错误的标注，很容易就会被标注识别并修正成正确的标注，再基于正确的标注训练图像识别模型，且可以在之后的训练过程中增加该训练数据对应的权重，或是增加相关训练样本的数据量，不断学习迭代，不断提高模型的准确性。例如，一个描述建筑的图像被图像识别模型识别为风景，表明该图像识别模型还无法较好的区分建筑图像和风景图像，可在后续的训练中加大训练样本中建筑图像和风景图像的占比。
如图13所示，基于与上述图像标注方法相同的发明构思，本申请实施例还提供了一种图像标注装置130，包括：请求模块1301、标注模块1302和提交模块1303。
请求模块1301，用于响应标注任务请求操作，在图像标注界面中显示至少两个待标注图像。
标注模块1302，用于响应针对任一待标注图像的标注操作，显示任一待标注图像对应的标注结果。
提交模块1303，用于响应标注完成操作，当每个待标注图像被标注了标注结果时，显示已经向服务器发送至少两个待标注图像的标注结果的提示信息。
可选地，提交模块1303，还用于响应标注完成操作，当还有待标注图像未标注时，显示还有未标注图像的提示信息。
可选地，请求模块1301，具体用于：
获取至少两个待标注图像；
基于至少两个待标注图像的宽度和高度，将图像标注界面划分为多列显示区域；
分别将每个待标注图像显示到其中一个显示区域中。
可选地，标注模块1302，具体用于：
响应针对任一待标注图像的第一选中操作，在图像标注界面上显示至少两个标注选项；
响应针对至少两个标注选项中任一标注选项的第二选中操作，显示任一待标注图像对应的标注结果，标注结果为第二选中操作对应的任一标注选项。
可选地，标注模块1302，具体用于在图像标注界面上第一选中操作对应的任一待标注图像所在区域内，显示包含至少两个标注选项的浮窗。
可选地，标注模块1302，还用于：响应针对任一待标注图像的标注操作，显示任一待标注图像对应的标注结果时，将任一待标注图像的显示方式，从第一显示方式变化为第二显示方式。
可选地，标注模块1302，还用于在图像标注界面中实时显示数据标注进度，其中，数据标注进度是基于图像标注界面中显示的已标注图像的数量和图像总数的比值确定。
可选地，标注模块1302，还用于：
响应针对图像标注界面中显示的任一已标注图像的标注更新操作，在图像标注界面内显示至少两个标注选项；
响应针对两个标注选项中任一标注选项的第三选中操作，将任一待标注图像对应的标注结果更新为第三选中操作对应的标注选项。
标注结果，其中，更新标注后的待修正图像用于训练图像识别模型。
本申请实施例提的图像标注装置与上述图像标注方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
如图14所示，基于与上述图像标注方法相同的发明构思，本申请实施例还提供了一种图像标注装置140，包括：发送模块1401和接收模块1402。
发送模块1401，用于响应客户端发送的标注任务请求，向客户端发送标注任务对应的至少两个待标注图像，以使客户端在图像标注界面中同时显示至少两个待标注图像。
接收模块1402，用于接收客户端返回的至少两个待标注图像的标注结果。
可选地，至少两个待标注图像中包括已具有第一标注结果的校验图像。为此，图像标注装置140还包括校验模块，用于：
从客户端返回的至少两个待标注图像的标注结果中获取校验图像对应的第二标注结果；
基于校验图像对应的第一标注结果和第二标注结果的比对结果，更新客户端对应标注人员的准确率分值；
基于客户端对应标注人员的准确率分值，确定向客户端发送的待标注图像的数量。
可选地，至少两个待标注图像中包括已具有第三标注结果的待修正图像，第三标注是基于已训练的图像识别模型获得的。为此，图像标注装置140还包括修正模块，用于：
从客户端返回的至少两个待标注图像中获得待修正图像对应的第四标注结果；
若第三标注结果和第四标注结果不一致，则将待修正图像的标注更新为第四标注结果，其中，更新标注后的待修正图像用于训练图像识别模型。
本申请实施例提的图像标注装置与上述图像标注方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
基于与上述图像标注方法相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、服务器等。如图15所示，该电子设备150可以包括处理器1501和存储器1502。
处理器1501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于：移动存储设备、随机存取存储器(RAM，Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。
以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请实施例的方法，不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (13)
1.一种图像标注方法，其特征在于，包括：
响应于标注人员的登录操作，显示任务选择页面，并响应于所述标注人员在所述任务选择页面中，针对显示的任一标注任务输入的标注任务请求操作，在图像标注界面中显示至少两个待标注图像，其中，所述图像标注界面中包括根据所述至少两个待标注图像的宽度和高度划分的、用于显示所述至少两个待标注图像的至少两个显示区域；所述至少两个待标注图像充满所述图像标注界面且以网格的形式平铺显示，或者，所述至少两个待标注图像以垂落式的布局方式呈现在所述图像标注界面；所述标注任务对应至少两个标注选项，且所述至少两个标注选项是根据所述标注任务对应的模型需实现的功能确定的；基于所述标注任务请求呈现的待标注图像的数量与关联的所述标注人员的准确率分值正相关；所述准确率分值用于描述所述标注人员进行图像标注的准确率；所述准确率分值是服务器从返回的至少两个待标注图像的标注结果中获取校验图像对应的第二标注结果后，基于所述校验图像对应的第一标注结果和第二标注结果的比对结果，更新得到的；
响应针对任一待标注图像的标注操作，显示所述任一待标注图像对应的标注结果，其中，所述标注结果显示在相应的待标注图像上；
响应标注完成操作，当每个待标注图像被标注了标注结果时，显示已经向服务器发送所述至少两个待标注图像的标注结果的提示信息；
若所述至少两个待标注图像中包括已具有第三标注结果的待修正图像，且所述第三标注结果是基于已训练的图像识别模型获得的，则所述方法还包括：呈现所述第三标注结果，并响应针对待修正图像的标注更新操作，在图像标注界面内显示至少两个标注选项，以及响应针对两个标注选项中任一标注选项的第三选中操作，将图像标注界面中显示的待修正图像对应的标注结果，更新为所述第三选中操作选中的第四标注结果，其中，在待修正图像的标注结果被更新为第四标注结果时，服务器记录所述待修正图像，并在所述图像识别模型的训练中，增加所述待修正图像对应的训练样本的数据量；所述第三标注结果和所述第四标注结果的显示方式不同。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应标注完成操作，当还有待标注图像未标注时，显示还有未标注图像的提示信息。
3.根据权利要求1所述的方法，其特征在于，所述在图像标注界面中显示至少两个待标注图像，具体包括：
获取至少两个待标注图像；
基于所述至少两个待标注图像的宽度和高度，将所述图像标注界面划分为多列显示区域；
分别将每个待标注图像显示到其中一个显示区域中。
4.根据权利要求1所述的方法，其特征在于，所述响应针对任一待标注图像的标注操作，显示所述任一待标注图像对应的标注结果，具体包括：
响应针对任一待标注图像的第一选中操作，在所述图像标注界面上显示至少两个标注选项；
响应针对所述至少两个标注选项中任一标注选项的第二选中操作，显示所述任一待标注图像对应的标注结果，所述标注结果为所述第二选中操作对应的任一标注选项。
5.根据权利要求4所述的方法，其特征在于，所述在所述图像标注界面上显示至少两个标注选项，具体包括：
在所述图像标注界面上所述第一选中操作对应的任一待标注图像所在区域内，显示包含至少两个标注选项的浮窗。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述响应针对任一待标注图像的标注操作，显示所述任一待标注图像对应的标注结果时，还包括：
将所述任一待标注图像的显示方式，从第一显示方式变化为第二显示方式。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
在所述图像标注界面中实时显示数据标注进度，其中，所述数据标注进度是基于所述图像标注界面中显示的已标注图像的数量和图像总数的比值确定。
8.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
响应针对所述图像标注界面中显示的任一已标注图像的标注更新操作，在所述图像标注界面内显示至少两个标注选项；
响应针对所述两个标注选项中任一标注选项的第三选中操作，将所述任一待标注图像对应的标注结果更新为所述第三选中操作对应的标注选项。
9.一种图像标注方法，其特征在于，包括：
响应客户端发送的标注任务请求，向所述客户端发送标注任务对应的至少两个待标注图像，以使所述客户端在图像标注界面中同时显示所述至少两个待标注图像，其中，所述图像标注界面中包括根据所述至少两个待标注图像的宽度和高度划分的、用于显示所述至少两个待标注图像的至少两个显示区域；所述至少两个待标注图像充满所述图像标注界面且以网格的形式平铺显示，或者，所述至少两个待标注图像以垂落式的布局方式呈现在所述图像标注界面；所述标注任务对应至少两个标注选项，且所述至少两个标注选项是根据所述标注任务对应的模型需实现的功能确定的；所述标注任务请求是所述客户端响应标注人员在任务选择页面中，针对显示的任一标注任务输入的标注任务请求操作发送的；所述任务选择页面是所述客户端响应于所述标注人员的登录操作显示的；
接收所述客户端返回的所述至少两个待标注图像的标注结果，其中，所述标注结果在所述客户端上显示时，显示在相应的待标注图像上；
其中，所述至少两个待标注图像中包括已具有第一标注结果的校验图像，所述方法还包括：从所述客户端返回的所述至少两个待标注图像的标注结果中获取所述校验图像对应的第二标注结果；基于所述校验图像对应的第一标注结果和第二标注结果的比对结果，更新所述客户端对应标注人员的准确率分值；基于所述客户端对应标注人员的准确率分值，确定向所述客户端发送的待标注图像的数量；所述待标注图像的数量与所述准确率分值正相关；
所述至少两个待标注图像中包括已具有第三标注结果的待修正图像，所述第三标注是基于已训练的图像识别模型获得的；所述方法还包括：从所述客户端返回的所述至少两个待标注图像中获得所述待修正图像对应的第四标注结果；若所述第三标注结果和所述第四标注结果不一致，则将所述待修正图像的标注更新为所述第四标注结果，并记录所述待修正图像，以及在所述图像识别模型的训练中，增加所述待修正图像对应的训练样本的数据量，其中，更新标注后的待修正图像用于训练所述图像识别模型；所述第三标注结果和所述第四标注结果在所述客户端上的显示方式不同。
10.一种图像标注装置，其特征在于，包括：
请求模块，用于响应于标注人员的登录操作，显示任务选择页面，并响应于所述标注人员在所述任务选择页面中，针对显示的任一标注任务输入的标注任务请求操作，在图像标注界面中显示至少两个待标注图像；所述图像标注界面中包括根据所述至少两个待标注图像的宽度和高度划分的、用于显示所述至少两个待标注图像的至少两个显示区域；所述至少两个待标注图像充满所述图像标注界面且以网格的形式平铺显示，或者，所述至少两个待标注图像以垂落式的布局方式呈现在所述图像标注界面；所述标注任务对应至少两个标注选项，且所述至少两个标注选项是根据所述标注任务对应的模型需实现的功能确定的；其中，基于所述标注任务请求呈现的待标注图像的数量与关联的标注人员的准确率分值正相关；所述准确率分值用于描述对所述标注人员进行图像标注的准确率；所述准确率分值是服务器从返回的至少两个待标注图像的标注结果中获取校验图像对应的第二标注结果后，基于所述校验图像对应的第一标注结果和第二标注结果的比对结果，更新得到的；
标注模块，用于响应针对任一待标注图像的标注操作，显示所述任一待标注图像对应的标注结果，其中，所述标注结果显示在相应的待标注图像上；
提交模块，用于响应标注完成操作，当每个待标注图像被标注了标注结果时，显示已经向服务器发送所述至少两个待标注图像的标注结果的提示信息；
其中，若所述至少两个待标注图像中包括已具有第三标注结果的待修正图像，且所述第三标注结果是基于已训练的图像识别模型获得的，则所述装置还包括：呈现所述第三标注结果，并响应针对待修正图像的标注更新操作，在图像标注界面内显示至少两个标注选项，以及响应针对两个标注选项中任一标注选项的第三选中操作，将图像标注界面中显示的待修正图像对应的标注结果，更新为所述第三选中操作选中的第四标注结果，其中，在待修正图像的标注结果被更新为第四标注结果时，服务器记录所述待修正图像，并在所述图像识别模型的训练中，增加所述待修正图像对应的训练样本的数据量；所述第三标注结果和所述第四标注结果的显示方式不同。
11.一种图像标注装置，其特征在于，包括：
发送模块，用于响应客户端发送的标注任务请求，向所述客户端发送标注任务对应的至少两个待标注图像，以使所述客户端在图像标注界面中同时显示所述至少两个待标注图像，其中，所述图像标注界面中包括根据所述至少两个待标注图像的宽度和高度划分的、用于显示所述至少两个待标注图像的至少两个显示区域；所述至少两个待标注图像充满所述图像标注界面且以网格的形式平铺显示，或者，所述至少两个待标注图像以垂落式的布局方式呈现在所述图像标注界面；所述标注任务对应至少两个标注选项，且所述至少两个标注选项是根据所述标注任务对应的模型需实现的功能确定的；所述标注任务请求是所述客户端响应标注人员在任务选择页面中，针对显示的任一标注任务输入的标注任务请求操作发送的；所述任务选择页面是所述客户端响应于所述标注人员的登录操作显示的；
接收模块，用于接收所述客户端返回的所述至少两个待标注图像的标注结果，其中，所述标注结果在所述客户端上显示时，显示在相应的待标注图像上；
其中，所述至少两个待标注图像中包括已具有第一标注结果的校验图像时，所述装置还包括校验模块，用于：从所述客户端返回的所述至少两个待标注图像的标注结果中获取所述校验图像对应的第二标注结果；基于所述校验图像对应的第一标注结果和第二标注结果的比对结果，更新所述客户端对应标注人员的准确率分值；基于所述客户端对应标注人员的准确率分值，确定向所述客户端发送的待标注图像的数量；所述待标注图像的数量与所述准确率分值正相关；
所述至少两个待标注图像中包括已具有第三标注结果的待修正图像，所述第三标注是基于已训练的图像识别模型获得的；所述装置还包括修正模块，用于：从所述客户端返回的所述至少两个待标注图像中获得所述待修正图像对应的第四标注结果；若所述第三标注结果和所述第四标注结果不一致，则将所述待修正图像的标注更新为所述第四标注结果，并记录所述待修正图像，以及在所述图像识别模型的训练中，增加所述待修正图像对应的训练样本的数据量，其中，更新标注后的待修正图像用于训练所述图像识别模型；所述第三标注结果和所述第四标注结果在所述客户端上的显示方式不同。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1至9任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015933.XA CN112131499B (zh) | 2020-09-24 | 2020-09-24 | 图像标注方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015933.XA CN112131499B (zh) | 2020-09-24 | 2020-09-24 | 图像标注方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112131499A CN112131499A (zh) | 2020-12-25 |
| CN112131499B true CN112131499B (zh) | 2024-05-31 |
Family
ID=73839744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011015933.XA Active CN112131499B (zh) | 2020-09-24 | 2020-09-24 | 图像标注方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112131499B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948735A (zh) * | 2021-02-26 | 2021-06-11 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备、计算机可读存储介质 |
| CN113010069A (zh) * | 2021-03-12 | 2021-06-22 | 浙江大华技术股份有限公司 | 图片标注的切换方法、设备、电子装置和存储介质 |
| CN113392263A (zh) * | 2021-06-24 | 2021-09-14 | 上海商汤科技开发有限公司 | 一种数据标注方法及装置、电子设备和存储介质 |
| CN113822341B (zh) * | 2021-08-31 | 2023-06-20 | 成都智元汇信息技术股份有限公司 | 一种地铁安检集中判图系统的判图客户端及其工作方法 |
| CN113839953A (zh) * | 2021-09-27 | 2021-12-24 | 上海商汤科技开发有限公司 | 一种标注方法及装置、电子设备和存储介质 |
| CN113870390A (zh) * | 2021-09-28 | 2021-12-31 | 深圳绿米联创科技有限公司 | 目标标注处理方法、装置、电子设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750848A (zh) * | 2015-04-10 | 2015-07-01 | 腾讯科技（北京）有限公司 | 图像文件的处理方法、服务器及图像显示设备 |
| CN106845090A (zh) * | 2016-12-30 | 2017-06-13 | 海纳医信（北京）软件科技有限责任公司 | 医学影像标记方法和装置 |
| CN107273492A (zh) * | 2017-06-15 | 2017-10-20 | 复旦大学 | 一种基于众包平台处理图像标注任务的交互方法 |
| US10223591B1 (en) * | 2017-03-30 | 2019-03-05 | Amazon Technologies, Inc. | Multi-video annotation |
| CN109712176A (zh) * | 2018-11-28 | 2019-05-03 | 众安信息技术服务有限公司 | 一种多序列图像的标注方法及系统 |
| CN110910340A (zh) * | 2018-08-28 | 2020-03-24 | 奥林巴斯株式会社 | 注解装置和注解方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200167689A1 (en) * | 2018-11-28 | 2020-05-28 | Here Global B.V. | Method, apparatus, and system for providing data-driven selection of machine learning training observations |
-
2020
- 2020-09-24 CN CN202011015933.XA patent/CN112131499B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750848A (zh) * | 2015-04-10 | 2015-07-01 | 腾讯科技（北京）有限公司 | 图像文件的处理方法、服务器及图像显示设备 |
| CN106845090A (zh) * | 2016-12-30 | 2017-06-13 | 海纳医信（北京）软件科技有限责任公司 | 医学影像标记方法和装置 |
| US10223591B1 (en) * | 2017-03-30 | 2019-03-05 | Amazon Technologies, Inc. | Multi-video annotation |
| CN107273492A (zh) * | 2017-06-15 | 2017-10-20 | 复旦大学 | 一种基于众包平台处理图像标注任务的交互方法 |
| CN110910340A (zh) * | 2018-08-28 | 2020-03-24 | 奥林巴斯株式会社 | 注解装置和注解方法 |
| CN109712176A (zh) * | 2018-11-28 | 2019-05-03 | 众安信息技术服务有限公司 | 一种多序列图像的标注方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| "基于核心语义的图像标注算法研究";张宏利;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200315(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112131499A (zh) | 2020-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112131499B (zh) | 图像标注方法、装置、电子设备及存储介质 | |
| US20200311342A1 (en) | Populating values in a spreadsheet using semantic cues | |
| CN110929807B (zh) | 图像分类模型的训练方法、图像分类方法及装置 | |
| CN108921221A (zh) | 用户特征的生成方法、装置、设备及存储介质 | |
| US11379092B2 (en) | Dynamic location and extraction of a user interface element state in a user interface that is dependent on an event occurrence in a different user interface | |
| CN113010702B (zh) | 多媒体信息的互动处理方法、装置、电子设备及存储介质 | |
| JP2020102194A (ja) | コンテキストベースの深層知識追跡のためのシステム、方法及びプログラム | |
| JP6489005B2 (ja) | 情報処理システム、情報処理方法、プログラム | |
| US20220139075A1 (en) | Deep learning guide device and method | |
| US11442749B2 (en) | Location and extraction of item elements in a user interface | |
| WO2019212728A1 (en) | Displaying a subset of menu items based on a prediction of the next user-actions | |
| CN104135694A (zh) | 信息处理装置以及信息处理方法 | |
| CN110377789A (zh) | 用于将文本概要与内容媒体关联的系统和方法 | |
| CN111722766A (zh) | 多媒体资源的展示方法及装置 | |
| CN114741423A (zh) | 基于人工智能的内容推荐方法及装置 | |
| US20140123075A1 (en) | System and method for generating and accessing trails | |
| EP3761288A1 (en) | Print, and production method and production system for touch-and-talk content of print | |
| CN113553514A (zh) | 基于人工智能的对象推荐方法、装置及电子设备 | |
| US11366645B2 (en) | Dynamic identification of user interface elements through unsupervised exploration | |
| US20220229638A1 (en) | Content development device | |
| US20210141619A1 (en) | Unsupervised location and extraction of option elements in a user interface | |
| CN112925470B (zh) | 交互式电子白板的触摸控制方法、系统和可读介质 | |
| US9292883B2 (en) | System and method for managing a trail | |
| CN117216114A (zh) | 一种数据流关联方法、装置、设备及其存储介质 | |
| CN111666735A (zh) | 图像文本标注显示方法和装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40035317 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |