CN111611438A - 图片标注方法、装置、处理设备及系统 - Google Patents

图片标注方法、装置、处理设备及系统 Download PDF

Info

Publication number
CN111611438A
CN111611438A CN202010720812.9A CN202010720812A CN111611438A CN 111611438 A CN111611438 A CN 111611438A CN 202010720812 A CN202010720812 A CN 202010720812A CN 111611438 A CN111611438 A CN 111611438A
Authority
CN
China
Prior art keywords
video
picture
marked
annotation
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010720812.9A
Other languages
English (en)
Other versions
CN111611438B (zh
Inventor
周茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010720812.9A priority Critical patent/CN111611438B/zh
Publication of CN111611438A publication Critical patent/CN111611438A/zh
Application granted granted Critical
Publication of CN111611438B publication Critical patent/CN111611438B/zh
Priority to US17/360,401 priority patent/US11495021B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本说明书提供一种图片标注方法、装置、处理设备及系统，将对多张连续图片的标注转为视频标注，将待标注的多张图片转换为视频后，对视频图像进行视频标注，将图片标注转换为视频标注，基于视频帧可以快速得到标注结果，最终将视频结果映射到原始的图片中，得到原始这一组图片的标注结果。

Description

图片标注方法、装置、处理设备及系统
技术领域
本说明书属于图像处理技术领域，尤其涉及一种图片标注方法、装置、处理设备及系统。
背景技术
随着图像处理技术的不断发展，有越来越多的场景可以借助图像处理手段方便人们的工作和生活，例如：交通监控中可以通过抓拍的图像对车辆或驾驶人员是否违反交通规则进行判断，或者交通事故或车辆保险鉴定中，需要对车辆损伤部位的图像进行处理，以确定车辆损伤程度。
在这些场景中，可能需要对拍摄的图像进行标注如：标注车辆违规位置，车辆损伤位置等，一般图像的标注是通过人工标注的。但是，对于图像比较多，例如：有些业务需要连续拍摄多张图片，对连续的图像进行标注时，虽然拍摄的主体是一样的，但是随着拍摄人的移动或内容随着拍摄时间的延迟，图片的内容会有略微差别，逐一对这一系列相似图片中的待标注主体进行标注，耗时长，标注效率可能会比较低。
发明内容
本说明书实施例的目的在于提供一种图片标注方法、装置、处理设备及系统，提高了图片标注的准确性和效率。
一方面，本说明书实施例提供了一种图片标注方法，所述方法包括：
将接收到的待标注图片集中的多张图片转换成视频图像；
对所述视频图像进行视频标注，获得标注结果；
根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果作为所述待标注图片集中各个图片的标注结果。
另一方面，本说明书提供了一种图片标注装置，包括：
视频转换模块，用于将接收到的待标注图片集中的多张图片转换成视频图像；
视频标注模块，用于对所述视频图像进行视频标注，获得标注结果；
标注关联模块，用于根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果作为所述待标注图片集中各个图片的标注结果。
再一方面，本说明书实施例提供了一种图片标注数据处理设备，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述图片标注方法。
又一方面，本说明书实施例提供了一种图片标注系统，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述图片标注方法。
本说明书提供的图片标注方法、装置、处理设备及系统，将对多张连续图片的标注转为视频标注，将待标注的多张图片转换为视频后，可以利用视频标注算法等对视频进行视频标注，基于视频帧可以快速得到标注结果，最终将视频结果映射到原始的图片中，得到原始这一组图片的标注结果。将图片标注转换为视频标注，利用视频的连续性，可以提高图片标注效率和标注准确率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的图片标注方法实施例的流程示意图；
图2是本说明书又一个实施例中图片标注的流程示意图；
图3是本说明书又一个实施例中图片标注的流程示意图；
图4是本说明书一个实施例中图片框选标注的流程示意图；
图5是本说明书提供的图片标注装置一个实施例的模块结构示意图；
图6是本说明书又一个实施例中图片标注装置的结构示意图；
图7是本说明书又一个实施例中图片标注装置的结构示意图；
图8是本说明书一个实施例中图片标注服务器的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
图片标注可以是对图片中指定的文字、图像等进行标注，如：可以以框选的方式将图片中指定的文字或图像等内容进行标注，标注后的图片可以用来进行车辆违规查询、车辆定损、目标追踪等等。有些场景可能需要进行连续拍照进行标注以获得相应的信息，尤其是对于运动中的物体的信息的获取，如：车辆违章抓拍，需要连续对车辆进行拍照，以判断车辆是否违章。一般的，图片标注可能需要人工手动标注，尤其对于连续拍照获得的图片的标注，工作量比较大。
图1是本说明书实施例提供的图片标注方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行（例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境）。
具体的一个实施例如图1所示，本说明书提供的图片标注方法的一个实施例中，所述方法可以应用在能够进行图像处理的终端设备，如：可以为计算机、平板电脑、服务器等终端，所述方法可以包括如下步骤：
步骤102、将接收到的待标注图片集中的多张图片转换成视频图像。
在具体的实施过程中，若用户需要对一系列的图片进行标注时，可以通过客户端如：智能手机、计算机、智能穿戴设备、平板电脑等将需要标注的图片上传至图片标注装置。本说明书实施例中，主要可以对连续拍照获得的一系列图片进行标注，即待标注图片集中可以包括一组连续拍摄获得的图片，例如：交通监控连续抓拍的一组图片、车辆损伤部位快速连续拍摄的一组图片等等。一般的，待标注图片集中的一组图片拍摄的主体是一样的，随着拍摄人的移动或内容随着拍摄时间的延迟，每个图片的内容可能会有略微差别。接收到待标注图片集后，可以将待标注图片集中的多张图片转换成视频图像，即可以将待标注图片集中的一组连续拍摄的多张图片转换成视频，可以采用视频转换器或其他视频转换方式进行转换，本说明书实施例不作具体限定。
本说明书一些实施例中，在将接收到的待标注图片集中的多张图片转换成视频图像之前，所述方法还包括：
接收待处理图片集，所述待处理图片集中包括至少一组连续拍摄获得的多张图片；
接收图片标注请求，所述图片标注请求中包括所述待标注图片集，所述待标注图片集为所述待处理图片集中的一组连续拍摄的多张图片。
在具体的实施过程中，用户可以上传多张片即待处理图片集，待处理图片集中可以包括一组或多组连续拍摄获得的图片，每一组连续拍摄的图片可以是拍摄主体相同的图片，图片内容比较相似。用户可以选择对待处理图片集中指定的多张图片进行图片标注，图片标注装置接收到用户选择的多张图片后，可以对用户选择的图片进行图片标注，如：将用户选择的多长图片转换成视频图像，再进行图片标注处理。
例如：用户通过其客户端向图片标注装置上传了20张图片，其中10张为对车辆A进行交通监控拍摄的图片，另外10张为对车辆B进行交通监控拍摄的图片，20张图片的集合可以称为上述待处理图片集。用户选择其中对车辆A进行交通监控拍摄的10张图片请求进行图片标注，这10张对车辆A进行交通监控拍摄的图片的集合可以称为待标注图片集，图片标注装置接收到用户发送的图片标注请求后，可以将图片标注请求中的10张图片转换为视频图像，基于视频图像进行图片标注处理。
当然，待标注图片集中的一组连续拍摄的多张图片可以是完整的一组图片，也可以是一组连续拍摄的一组图片中的部分图片，如上述示例中选择对车辆A进行交通监控拍摄的10张图片中的6张进行标注，具体选择可以根据实际需要进行设置，本说明书实施例不作具体限定。基于用户的选择，对指定的连续拍摄的图片转换成视频图像后，再进行图片的标注，提高了图片标注的效率，同时具备比较高的灵活性，如：用户可以将一组连续拍摄的图片中比较清晰的图片作为待标注图片集。
此外，本说明书一些实施例中，在将接收到的待标注图片集中的多张图片转换成视频图像之前，所述方法还包括：
判断所述待标注图片集中的多张图片是否是一组连续拍摄的图片，若是，则将所述待标注图片集中的多张图片转换成视频图像。
在具体的实施过程中，在接收到待标注图片集后，可以判断待标注图片集中的图片是否是一组连续拍摄的图片，一组连续拍摄的图片的拍摄内容是比较接近的，可能会有略微的差别，可以通过计算各个图片之间的相似度，若相似度大于预设值，则认为是一组相似的图片，或者可以通过查看待标注图片集中的各个图片的拍摄内容等方式判断待标注图片集中的图片是否是一组连续拍摄的图片，当然，根据实际需要还可以采用其他的方式进行判断，本说明书实施例不作具体限定。若判断待标注图片集中的图片是一组连续拍摄的图片，则将待标注图片集中的图片转换为视频图像，采用本说明书实施例提供的方式对图片进行标注。若判断待标注图片集中的图片不是一组连续拍摄的图片，则该待标注图片集中的图片可能不适用本说明书实施例提供的图片标注方法，可以采用其他的方式如：人工手动标注的方式进行标注等，本说明书实施例不作具体限定。
本说明书实施例主要针对连续拍摄的多张图片的标注，在接收到需要标注的图片后，可以先判断图片是否属于一组连续拍摄的图片，若是，则可以将图片转换为视频图像，利用视频进行自动标注，提升连续拍摄图片的标注效率。
步骤104、对所述视频图像进行视频标注，获得标注结果。
在具体的实施过程中，将待标注图片集中的多张图片转换为视频图像后，可以对视频图像进行视频标注，如：可以使用视频跟踪模型或视频跟踪算法等，对视频图像进行标注。如：可以定义车牌号或将指定的图形、文字等作为跟踪对象，对视频图像进行跟踪标注，获得视频图像的标注结果。例如：可以预先利用历史数据如：标注好的多组图片进行视频跟踪模型的训练，构建出视频跟踪模型后，再利用建立好的视频跟踪模型对用户上传的待标注图片集中的图片进行视频跟踪标注。视频跟踪模型可以对相邻视频帧中的物体的运动信息进行追踪，如：对视频中指定的目标在各个视频帧中进行追踪。
其中，标注可以理解为对图片或视频中指定的内容进行标记的一种方式，标注结果可以理解为标注信息文本如：表格等，标注结果中可以包括：标注的位置坐标、标记内容、标注的形式（如：框选、气泡）等信息。例如：第几秒的视频帧中有一个标注，标注的位置坐标、标记内容、标记形式（如框选标注）等，将所有视频帧对应的标注信息保存为标注结果。
本说明书一些实施例中，可以采用下述方法对所述视频图像进行视频标注：
获取所述视频图像中的标注样本视频帧，以所述标注样本视频帧作为视频标注样本，对所述视频图像中的其他视频帧进行视频标注，获得所述标注结果。
在具体的实施过程中，本说明书实施例可以从视频图像中获取一帧带有标记的视频帧作为标注样本视频，即标注样本视频帧可以理解为视频图像中带有标注信息的视频帧，可以作为视频图像中其他帧视频标注的依据和参考，视频帧可以理解为一帧视频。当然，标注样本视频帧可以为一帧视频，也可以有多帧视频，具体可以根据实际需要进行设置，本说明书实施例不作具体限定。如：可以从视频图像中获取带有标注信息的一帧或多帧视频，作为标注样本视频帧。若标注样本视频帧有多帧视频，则可以将这多帧视频的标注的共同点作为参考依据，对其他帧视频进行标注。获得标注样本视频帧后，可以将标注样本视频帧作为视频标注样本，对视频图像中其他视频帧进行标注，获得标注结果。如：可以使用视频跟踪模型或视频跟踪算法等，以标注样本视频帧为参考，对视频图像中其他视频帧进行标注。
通过获取视频中的一帧带有标注信息的标注样本视频帧作为标注样本，对视频中的其他视频帧进行标注，基于视频帧可以快速得到标注结果，最终将视频结果映射到原始的图片中，得到原始这一组图片的标注结果。将多张图片的标注转换为对一张图片标注，对其他视频帧进行标注，提高图片标注效率和标注准确率。
步骤106、根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果作为所述待标注图片集中各个图片的标注结果。
在具体的实施过程中，视频图像是根据待标注图片集中的图片转换获得的，视频图像中的每一帧视频与待标注图片集中的每一张图片存在着对应关系，可以将视频图像的标注结果作为图片的标注结果。如：一些实施例中，可以根据视频图像与待标注图片集中的图片的对应关系，将视频图像中各个视频帧对应的标注结果与待标注图片集中的图片进行关联。例如：视频图像中有10帧视频进行标注，10帧视频中每一帧10视频对应有一个标注结果。根据视频图像中各帧视频与待标注图片集中各个图片之间的对应关系，获得10帧视频分别对应的图片，并将10帧视频对应的标注结果与对应的图片建立关联关系，完成对待标注图片集中的各个图片的标注。如：第一帧视频对应图片1，则将第一帧视频的标注结果与图片1建立关联关系，以此类推。同时，可以将图片与标注结果的关联关系，以及标注结果的内容进行保存。
可以看出，待标注图片集中的标注结果可以与视频图像的标注结果相似，均可以以文本的形式保存，占用内存少，方便管理，可以随时进行更新和调整。在调整图片的标注时，不需要重新生成图片，只需要修改标注结果的文本即可。当然，若存储空间比较大，也可以直接将标注结果标记在图片对应的位置处，将带有标注结果的图片保存起来或返回给用户。
在上述实施例的基础上，本说明书一些实施例中，所述将所述标注结果与对应的图片进行关联后，所述方法还包括：
保存各个标注结果以及标注结果与图片之间的关联关系；
在接收标注图片展示请求时，根据图片和标注结果之间的关联关系，获取所述标注图片展示请求中的图片对应的标准结果，将标注结果展示在对应图片的对应位置处。
在具体的实施过程中，获得将标注结果与图片进行关联后，可以将图片对应的标注结果如：标注坐标位置、标注内容、标注形式、标注与图片的关联关系进行保存。当接收到图片展示请求时，可以根据图片关联的标注结果，将标注结果展示在对应图片的对应位置处，以便用户查看。例如：在展示图片1时，可以获取图片1关联的标注结果，根据该标注结果，在图片的标注坐标位置处按照标注结果中记录的标注形式和标注内容展示出标注，如：在图片对应位置处框选对应的文字。标注结果和图片分开保存，可以减少图片占用空间，同时在需要展示图片时，基于保存的标注结果与图片之间的对应关系，将标注结果展示在图片中，方便用户查看。
在对视频图像进行视频标注之后，用户可以根据实际需要，还可以对所述标注结果进行调整，将调整后的标注结果与对应的图片进行关联。通过将一组图片转换成视频图像，基于带有标注的标注样本视频帧对视频图像中其他视频帧进行自动标注，视频图像标注完成后，用户只需要根据实际情况对不太准确的标注结果进行微调，不需要手动一张张图片进行标注，提高了图片标注的效率和准确性。
本说明书实施例提供的图片标注方法，将对多张连续图片的标注转为视频标注，将待标注的多张图片转换为视频后，可以利用视频标注算法等对视频图像进行标注，基于视频帧可以快速得到标注结果，最终将视频结果映射到原始的图片中，得到原始这一组图片的标注结果。将图片标注转换为视频标注，利用视频的连续性，可以提高图片标注效率和标注准确率。
在上述实施例的基础上，本说明书一些实施例中，所述获取所述视频图像中的标注样本视频帧，可以包括：
获取所述待标注图片集中的标注样本图片；
获取所述视频图像中与所述标注样本图片对应的视频帧作为所述标注样本视频帧。
在具体的实施过程中，图2是本说明书又一个实施例中图片标注的流程示意图，如图2所示，用户在上传待标注图片集时，可以对其中一张图片（如第一张图片），当然，也可以对多张图片进行手动标注，标注过的图片可以作为标注样本图片。将待标注图片集中的多张图片转换为视频图像后，标注过的图片对应的视频帧也是带有标注信息的，可以获取视频图像中与标注样本图片对应的一帧视频作为标注样本视频帧，以标注样本视频帧作为标注样本，对视频图像中的其他帧视频进行自动标注。用户可以自由选择一组图片中的一张图片进行标注，标注内容也可以根据实际需要自行设置，基于用户标注的图片，对转换为视频图像中的各个视频帧进行自动标注，确保了图片标注的灵活性，并且，用户只需要手动标注一张图片即可以实现对一组图片的自动标注，并提高了视频标注的效率和准确性。
在上述实施例的基础上，本说明书一些实施例中，所述获取所述视频图像中的标注样本视频帧，包括：
在将所述待标注图片集中的图片转换成所述视频图像后，接收视频标注请求，对所述视频图像中的指定视频帧进行标注；
获取标注后的指定视频帧作为所述标注样本视频帧。
在具体的实施过程中，图3是本说明书又一个实施例中图片标注的流程示意图，如图3所示，将用户上传的待标注图片集转换后视频图像后，用户可以对视频图像中的某一帧视频进行标注，如：用户选择视频图像中的指定视频帧（如：视频最开始的一帧视频或第2秒的视频帧）进行标注，可以定义标注的内容、形式、位置等等。将用户标注过的指定视频帧作为标注样本视频帧，以标注样本视频帧作为标注样本，对视频图像中的其他帧视频进行自动标注。用户可以自由转换为视频图像后的任意一帧视频进行标注，标注内容也可以根据实际需要自行设置，基于用户标注的视频帧，对转换为视频图像中的各个视频帧进行自动标注，确保了图片标注的灵活性，并提高了视频标注的效率和准确性。
在上述实施例的基础上，本说明书一些实施例中，所述以所述标注样本视频帧作为视频标注样本，对所述视频图像中的其他视频帧进行视频标注，包括：
获取所述标注样本视频帧中的标注对象，将所述标注对象作为跟踪目标；
根据所述跟踪目标，在所述视频图像中其他视频帧中获取所述跟踪目标，并在所述跟踪目标位置处建立标注。
在具体的实施过程中，在基于标注样本视频帧对视频图像中其他视频帧进行标注时，可以获取标注样本视频帧中的标注对象，标注对象可以包括标注位置、标注的目标（如：文字、物体）等，如：可以为标注的文字内容、标注的图像内容或标注的位置等等，将标注样本视频帧中的标注对象作为跟踪目标，对在视频图像中其他视频帧中获取带有跟踪目标的视频帧，在带有跟踪目标的视频帧中在跟踪目标位置处建立标注，如：参考标注样本视频帧中的标注的具体信息，建立对应的标注内容、标注形式等等，如：若标注样本视频帧中的标注对象为猫，采用框选标注方式进行标注，在其他视频帧中框选出带有猫的标注对象。
本说明书实施例可以基于标记好的标注样本视频帧，采用视频跟踪的方式，自动对视频图像中其他视频帧进行跟踪标注，提高了图片标注的效率和准确率。
在上述实施例的基础上，本说明书一些实施例中，所述以所述标注样本视频帧作为视频标注样本，对所述视频图像中的其他视频帧进行视频标注，包括：
采用光流法对所述标注样本视频帧的相邻视频帧进行标注，并将标注后的视频帧作为新的标注样本视频帧，对新的标注样本视频帧的相邻视频帧进行标注，直至所述视频图像标注完成。
在具体的实施过程中，在利用标注样本视频帧对视频图像中的其他视频帧进行标注时，可以利用流光法对视频图像中标注样本视频帧的相邻视频帧进行标注，相邻视频帧标注完成后，再以标注完成的相邻视频帧为样本对该相邻视频帧相邻的视频帧进行标注，以此类推，直至视频图像所有的视频帧都标注完成。光流法可以理解为利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。基于标注样本视频帧利用光流法可以快速自动的完成相邻视频的标注，实现了视频的自动标注，提高了图片标注的效率和准确性。
在上述实施例的基础上，本说明书一些实施例中，所述根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果与对应的图片进行关联，包括：
将标注完成的视频图像进行拆分；
根据拆分后的视频图像的视频帧与所述待标注图片集中各个图片的对应关系，从所述视频图像的标注结果中获取各个图片对应的视频帧的标注结果；
将各个图片对应的视频帧的标注结果与对应的图片进行关联。
在具体的实施过程中，视频图像标注完成后，可以将标注完成的视频图像进行拆分，如：按照标注结果拆分出带有标注结果的每一帧视频，因为视频图像是基于待标注图片集中的图片转换而成的，每一张图片与视频图像中的视频帧存在对应关系，如：各个图片对应于视频图像中第几秒的视频帧。根据视频图像的视频帧与所标注图片集中各个图片的对应关系，从视频图像的标注结果中获取各个图片对应的视频帧的标注结果。例如：将视频图像进行拆分，拆分成一帧一帧的视频，图片1对应于视频图像中第0.1秒的视频帧，则获取第0.1秒视频帧对应的标注结果，将该标注结果与图片1进行关联。图片2对应于视频图像中第0.2秒的视频帧，则获取第0.2秒视频帧对应的标注结果，将该标注结果与图片2进行关联，以此类推。
本说明书实施例将图片转换成视频后，基于视频进行标注，视频标注完成后，基于图片与视频的对应关系，将标注结果与对应的图片进行关联，获得各个图片的标注结果。实现了将标注多张图片的工作量转换成标注一张图片后对利用视频进行自动标注，降低了图片标注的工作量，提升了图片标注的效率和准确性。
图4是本说明书一个实施例中图片框选标注的流程示意图，框选标注可以理解为对图片的部分内容进行框选的一种图片标注形式，例如框选证件图片中的多个文字部分，下面结合图4具体介绍本说明书实施例中图片框选标注的过程：
1、业务方用户的图片是需要进行框选标注，进入本说明书实施例中的图片框选标注流程。
2、判断需要标注的图片是否是连续图片，如：可以采用图片相似度计算等方式进行判断，如果需要标注的图片不是一系列连续的图片，则使用普通的图片框选标注方式（如：人工手动标注）标注之后得到标注结果。
3、如果需要标注的图片是一系列连续的图片，业务方用户可以选择使用平台（即图片标注装置）能力将一系列的图片转换成视频进行标注，用户在打标时看到的标注对象就是视频了。
4、用户在对视频中的一帧已经进行框选标注之后，由于视频相邻帧的内容具有一定连续性的，所以平台可以利用已经集成的视频跟踪模型（如：光流法跟踪）对视频中的其余帧进行自动标注，用户只需要对自动标注的结果进行微调就能完成对整个视频的标注，大大提高了标注效率和准确率 。
5、视频标注完成之后，平台将自动对将视频的标注结果进行拆分，根据视频帧和原始图片的对应关系，将视频每帧的标注结果对应到原始图片中，从而得到原始图片的标注结果返回给业务方用户。
上述图片-视频-视频结果-图片结果的转化过程示例如下：
1、对应原始标注图片中的第PIC(x)组连续图片，转化成第VIDEO(x)个视频之后，PIC(x)组连续图片m~n与VIDEO(x)视频中的1~（n-m+1）帧是一一对应的。
2、VIDEO(x)视频标注完成之后得到一个结果列表：VIDEO(x).videoResultList，列表中是每一帧的框选标注结果：VIDEO(x).framResult[1]~VIDEO(x).framResult[n-m+1] 。
3、依据PIC(x)图片与VIDEO(x)视频帧的一一对关系，视频的标注结果与图片的标注结果可能会有些不同，可以将标注结果VIDEO(x).framResult[1]~VIDEO(x).framResult[n-m+1]按照图片标注结果格式转换为图片PIC(x).m->PIC(x).n的图片标注结果，即为业务方需要的图片标注结果。
本说明书实施例提供一种图片标注能力，将一组连续图片转换成视频，利用视频每一帧图片之前的连续性，使用相关的模型进行(比如视频的光流法跟踪)分析，只要标注人员标注了视频的其中一帧，就可以自动的对其相邻的帧完成框选标注，并基于相邻帧的标注结果一直延续下去，直到整个视频框选完成。对于模型分析的自动标注完成的帧，标注同学只需要对标注结果进行微调，就可以完成视频的标注，在视频标注完成之后，平台会对视频标注结果进行解析，将每一帧的结果映射到原始的每一张图片中，使业务方拿到原始一组图片的标注结果，使用此方法，可以大大提升标注同学的标注效率和标注准确率，也是业务方能快速得到所需要的标注结果。实现对连续图片中的一张进行精准框选标注之后，利用模型对其余帧进行自动标注的效果，相当于将标注多张图片的工作量转变为标注一张图片和检查其余图片的工作量，把图片的标注工作量转变为对图片标注结果的检查有利于提高标注的效率和准确率。
本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参考方法实施例的部分说明即可。
基于上述所述的图片标注方法，本说明书一个或多个实施例还提供一种用于图片标注的系统。所述系统可以包括使用了本说明书实施例所述方法的系统（包括分布式系统）、软件（应用）、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参考前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
具体地，图5是本说明书提供的图片标注装置一个实施例的模块结构示意图，该装置即可以立即为上述实施例中的设备管理平台，如图5所示，本说明书中提供的图片标注装置可以包括：
视频转换模块51，用于将接收到的待标注图片集中的多张图片转换成视频图像；
视频标注模块52，用于对所述视频图像进行视频标注，获得标注结果；
标注关联模块53，用于根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果与对应的图片进行关联。
本说明书实施例提供的图片标注装置，将对多张连续图片的标注转为视频标注，将待标注的多张图片转换为视频后，可以利用视频标注算法等对视频进行标注，基于视频帧可以快速得到标注结果，最终将视频结果映射到原始的图片中，得到原始这一组图片的标注结果。将图片标注转换为视频标注，利用视频的连续性，可以提高图片标注效率和标注准确率。
本说明书一些实施例中，所述样本获取模块具体用于：获取所述视频图像中的标注样本视频帧，以所述标注样本视频帧作为视频标注样本，对所述视频图像中的其他视频帧进行视频标注，获得所述标注结果。
本说明书实施例通过获取视频中的一帧带有标注信息的标注样本视频帧作为标注样本，对视频中的其他视频帧进行标注，基于视频帧可以快速得到标注结果，最终将视频结果映射到原始的图片中，得到原始这一组图片的标注结果。将多张图片的标注转换为对一张图片标注，对其他视频帧进行标注，提高图片标注效率和标注准确率。
本说明书一些实施例中，所述视频标注模块具体用于：
获取所述待标注图片集中的标注样本图片；
获取所述视频图像中与所述标注样本图片对应的视频帧作为所述标注样本视频帧。
本说明书实施例提供的图片标注装置，用户可以自由选择一组图片中的一张图片进行标注，标注内容也可以根据实际需要自行设置，基于用户标注的图片，对转换为视频图像中的各个视频帧进行自动标注，确保了图片标注的灵活性，并提高了视频标注的效率和准确性。
本说明书一些实施例中，所述视频标注模块具体用于：
在所述视频转换模块将所述待标注图片集中的图片转换成所述视频图像后，接收视频标注请求，对所述视频图像中的指定视频帧进行标注；
获取标注后的指定视频帧作为所述标注样本视频帧。
本说明书实施例提供的图片标注装置，用户可以自由转换为视频图像后的任意一帧视频进行标注，标注内容也可以根据实际需要自行设置，基于用户标注的视频帧，对转换为视频图像中的各个视频帧进行自动标注，确保了图片标注的灵活性，并提高了视频标注的效率和准确性。
本说明书一些实施例中，所述视频标注模块具体用于：
获取所述标注样本视频帧中的标注对象，将所述标注对象作为跟踪目标；
根据所述跟踪目标，在所述视频图像中其他视频帧中获取所述跟踪目标，并在所述跟踪目标位置处建立标注。
本说明书实施例提供的图片标注装置，可以基于标记好的标注样本视频帧，采用视频跟踪的方式，自动对视频图像中其他视频帧进行跟踪标注，提高了图片标注的效率和准确率。
本说明书一些实施例中，所述视频标注模块具体用于：
采用光流法对所述标注样本视频帧的相邻视频帧进行标注，并将标注后的视频帧作为新的标注样本视频帧，对新的标注样本视频帧的相邻视频帧进行标注，直至所述视频图像标注完成。
本说明书实施例提供的图片标注装置，基于标注样本视频帧利用光流法可以快速自动的完成相邻视频的标注，实现了视频的自动标注，提高了图片标注的效率和准确性。
本说明书一些实施例中，所述标注关联模块具体用于：
将标注完成的视频图像进行拆分；
根据拆分后的视频图像的视频帧与所述待标注图片集中各个图片的对应关系，从所述视频图像的标注结果中获取各个图片对应的视频帧的标注结果；
将所述图片对应的视频帧的标注结果与所述图片进行关联。
本说明书实施例提供的图片标注装置，将图片转换成视频后，基于视频进行标注，视频标注完成后，基于图片与视频的对应关系，将标注结果与对应的图片进行关联，获得各个图片的标注结果。实现了将标注多张图片的工作量转换成标注一张图片后对利用视频进行自动标注，降低了图片标注的工作量，提升了图片标注的效率和准确性。
图6是本说明书又一个实施例中图片标注装置的结构示意图，如图6所示，本说明书一些实施例中，所述装置还包括标注展示模块61，用于：
保存各个标注结果以及标注结果与图片之间的关联关系；
在接收标注图片展示请求时，根据图片和标注结果之间的关联关系，获取所述标注图片展示请求中的图片对应的标准结果，将标注结果展示在对应图片的对应位置处。
本说明书实施例提供的图片标注装置，标注结果和图片分开保存，可以减少图片占用空间，同时在需要展示图片时，基于保存的标注结果与图片之间的对应关系，将标注结果展示在图片中，方便用户查看。
图7是本说明书又一个实施例中图片标注装置的结构示意图，如图7所示，本说明书一些实施例中，所述装置还包括图片接收模块71，用于：
接收待处理图片集，所述待处理图片集中包括至少一组连续拍摄获得的多张图片；
接收图片标注请求，所述图片标注请求中包括所述待标注图片集，所述待标注图片集为所述待处理图片集中的一组连续拍摄的多张图片。
本说明书实施例提供的图片标注装置，基于用户的选择，对指定的连续拍摄的图片转换成视频图像后，再进行图片的标注，提高了图片标注的效率，同时具备比较高的灵活性，如：用户可以将一组连续拍摄的图片中比较清晰的图片作为待标注图片集。
本说明书一些实施例中，所述视频转换模块还用于：
判断所述待标注图片集中的多张图片是否是一组连续拍摄的图片，若是，则将所述待标注图片集中的多张图片转换成视频图像。
本说明书实施例提供的图片标注装置，针对一组连续拍摄的图片进行标注，在接收到需要标注的图片后，可以先判断图片是否属于一组连续拍摄的图片，若是，则可以将图片转换为视频图像，利用视频进行自动标注，提升连续拍摄图片的标注效率。
需要说明的，上述所述的装置根据对应方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述对应的方法实施例的描述，在此不作一一赘述。
本说明书实施例还提供一种图片标注数据处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例的图片标注方法，如：
将接收到的待标注图片集中的多张图片转换成视频图像；
对所述视频图像进行视频标注，获得标注结果；
根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果与对应的图片进行关联。
本说明书实施例还提供一种图片标注系统，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例的图片标注方法，如：
将接收到的待标注图片集中的多张图片转换成视频图像；
对所述视频图像进行视频标注，获得标注结果；
根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果与对应的图片进行关联。
需要说明的，上述所述的设备和系统根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本说明书提供的图片标注装置，也可以应用在多种数据分析处理系统中。所述系统或服务器或终端或设备可以为单独的服务器，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例系统或服务器或终端或设备的服务器集群、系统（包括分布式系统）、软件（应用）、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图8是本说明书一个实施例中图片标注服务器的硬件结构框图，该计算机终端可以是上述实施例中的图片标注服务器或图片标注装置。如图8所示服务器10可以包括一个或多个（图中仅示出一个）处理器100（处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的非易失性存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图8中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、GPU，或者具有与图8所示不同的配置。
非易失性存储器200可用于存储应用软件的软件程序以及模块，如本说明书实施例中的图片标注方法对应的程序指令/模块，处理器100通过运行存储在非易失性存储器200内的软件程序以及模块，从而执行各种功能应用以及资源数据更新。非易失性存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，非易失性存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局与网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果，如：
包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例的图片标注方法，如：
将接收到的待标注图片集中的多张图片转换成视频图像；
从所述视频图像中获取标注样本视频帧；
以所述标注样本视频帧为标注样本对所述视频图像中其他视频帧进行标注，获得标注结果；
根据所述视频图像与所述待标注图片集中的图片的对应关系，将所述标注结果与对应的图片进行关联。
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
本说明书实施例提供的上述图片标注方法或装置可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作系统的c++语言在PC端实现、linux系统实现，或其他例如使用android、iOS系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。
需要说明的是说明书上述所述的装置、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照对应方法实施例的描述，在此不作一一赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。
本说明书实施例并不局限于必须是符合行业通信标准、标准计算机资源数据更新和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书实施例的可选实施方案范围之内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境，甚至为分布式资源数据更新环境）。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本发明是参照根据本发明实施例的方法、装置（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程资源数据更新设备的处理器以产生一个机器，使得通过计算机或其他可编程资源数据更新设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程资源数据更新设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程资源数据更新设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。

Claims (20)

1.一种图片标注方法，所述方法包括：
将接收到的待标注图片集中的多张图片转换成视频图像；
对所述视频图像进行视频标注，获得标注结果；
根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果作为所述待标注图片集中各个图片的标注结果。
2.如权利要求1所述的方法，所述对所述视频图像进行视频标注包括：
获取所述视频图像中的标注样本视频帧，以所述标注样本视频帧作为视频标注样本，对所述视频图像中的其他视频帧进行视频标注，获得所述标注结果。
3.如权利要求2所述的方法，所述获取所述视频图像中的标注样本视频帧，包括：
获取所述待标注图片集中的标注样本图片；
获取所述视频图像中与所述标注样本图片对应的视频帧作为所述标注样本视频帧。
4.如权利要求2所述的方法，所述获取所述视频图像中的标注样本视频帧，包括：
在将所述待标注图片集中的图片转换成所述视频图像后，接收视频标注请求，对所述视频图像中的指定视频帧进行标注；
获取标注后的指定视频帧作为所述标注样本视频帧。
5.如权利要求2所述的方法，所述以所述标注样本视频帧作为视频标注样本，对所述视频图像中的其他视频帧进行视频标注，包括：
获取所述标注样本视频帧中的标注对象，将所述标注对象作为跟踪目标；
根据所述跟踪目标，在所述视频图像中其他视频帧中获取所述跟踪目标，并在所述跟踪目标位置处建立标注。
6.如权利要求2所述的方法，所述以所述标注样本视频帧作为视频标注样本，对所述视频图像中的其他视频帧进行视频标注，包括：
采用光流法对所述标注样本视频帧的相邻视频帧进行标注，并将标注后的视频帧作为新的标注样本视频帧，对新的标注样本视频帧的相邻视频帧进行标注，直至所述视频图像标注完成。
7.如权利要求1所述的方法，所述根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果作为所述待标注图片集中各个图片的标注结果，包括：
将标注完成的视频图像进行拆分；
根据拆分后的视频图像的视频帧与所述待标注图片集中各个图片的对应关系，从所述视频图像的标注结果中获取各个图片对应的视频帧的标注结果；
将各个图片对应的视频帧的标注结果与对应的图片进行关联。
8.如权利要求1所述的方法，在将接收到的待标注图片集中的多张图片转换成视频图像之前，所述方法还包括：
接收待处理图片集，所述待处理图片集中包括至少一组连续拍摄获得的多张图片；
接收图片标注请求，所述图片标注请求中包括所述待标注图片集，所述待标注图片集为所述待处理图片集中的一组连续拍摄的多张图片。
9.如权利要求7所述的方法，在将接收到的待标注图片集中的多张图片转换成视频图像之前，所述方法还包括：
判断所述待标注图片集中的多张图片是否是一组连续拍摄的图片，若是，则将所述待标注图片集中的多张图片转换成视频图像。
10.如权利要求1所述的方法，所述将所述标注结果与对应的图片进行关联后，所述方法还包括：
保存各个标注结果以及标注结果与图片之间的关联关系；
在接收标注图片展示请求时，根据图片和标注结果之间的关联关系，获取所述标注图片展示请求中的图片对应的标准结果，将标注结果展示在对应图片的对应位置处。
11.一种图片标注装置，包括：
视频转换模块，用于将接收到的待标注图片集中的多张图片转换成视频图像；
视频标注模块，用于对所述视频图像进行视频标注，获得标注结果；
标注关联模块，用于根据所述视频图像中的视频帧与所述待标注图片集中的图片的对应关系，将所述标注结果作为所述待标注图片集中各个图片的标注结果。
12.如权利要求11所述的装置，所述视频标注模块具体用于：
获取所述视频图像中的标注样本视频帧，以所述标注样本视频帧作为视频标注样本，对所述视频图像中的其他视频帧进行视频标注，获得所述标注结果。
13.如权利要求12所述的装置，所述视频标注模块具体用于：
获取所述待标注图片集中的标注样本图片；
获取所述视频图像中与所述标注样本图片对应的视频帧作为所述标注样本视频帧。
14.如权利要求12所述的装置，所述视频标注模块具体用于：
在所述视频转换模块将所述待标注图片集中的图片转换成所述视频图像后，接收视频标注请求，对所述视频图像中的指定视频帧进行标注；
获取标注后的指定视频帧作为所述标注样本视频帧。
15.如权利要求12所述的装置，所述视频标注模块具体用于：
获取所述标注样本视频帧中的标注对象，将所述标注对象作为跟踪目标；
根据所述跟踪目标，在所述视频图像中其他视频帧中获取所述跟踪目标，并在所述跟踪目标位置处建立标注。
16.如权利要求12所述的装置，所述视频标注模块具体用于：
采用光流法对所述标注样本视频帧的相邻视频帧进行标注，并将标注后的视频帧作为新的标注样本视频帧，对新的标注样本视频帧的相邻视频帧进行标注，直至所述视频图像标注完成。
17.如权利要求11所述的装置，所述装置还包括图片接收模块，用于：
接收待处理图片集，所述待处理图片集中包括至少一组连续拍摄获得的多张图片；
接收图片标注请求，所述图片标注请求中包括所述待标注图片集，所述待标注图片集为所述待处理图片集中的一组连续拍摄的多张图片。
18.如权利要求17所述的装置，所述视频转换模块还用于：
判断所述待标注图片集中的多张图片是否是一组连续拍摄的图片，若是，则将所述待标注图片集中的多张图片转换成视频图像。
19.一种图片标注数据处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-10任一项所述的方法。
20.一种图片标注系统，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-10任一项所述的方法，并将标注结果返回给用户终端。
CN202010720812.9A 2020-07-24 2020-07-24 图片标注方法、装置、处理设备及系统 Active CN111611438B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010720812.9A CN111611438B (zh) 2020-07-24 2020-07-24 图片标注方法、装置、处理设备及系统
US17/360,401 US11495021B2 (en) 2020-07-24 2021-06-28 Picture annotation method, apparatus, processing device, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010720812.9A CN111611438B (zh) 2020-07-24 2020-07-24 图片标注方法、装置、处理设备及系统

Publications (2)

Publication Number Publication Date
CN111611438A true CN111611438A (zh) 2020-09-01
CN111611438B CN111611438B (zh) 2020-10-27

Family

ID=72202789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010720812.9A Active CN111611438B (zh) 2020-07-24 2020-07-24 图片标注方法、装置、处理设备及系统

Country Status (2)

Country Link
US (1) US11495021B2 (zh)
CN (1) CN111611438B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113178079A (zh) * 2021-04-06 2021-07-27 青岛以萨数据技术有限公司 一种用于信号灯和车道线的标注系统、方法及存储介质
CN113283509A (zh) * 2021-05-28 2021-08-20 深圳一清创新科技有限公司 一种自动标注标签的方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203340185U (zh) * 2013-06-18 2013-12-11 广州市晶华光学电子有限公司 一种智能图像处理猎物相机
US20170332049A1 (en) * 2016-05-13 2017-11-16 Tijee Corporation Intelligent sensor network
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
CN110381268A (zh) * 2019-06-25 2019-10-25 深圳前海达闼云端智能科技有限公司 生成视频的方法，装置，存储介质及电子设备
CN111292530A (zh) * 2020-02-04 2020-06-16 浙江大华技术股份有限公司 处理违章图片的方法、装置、服务器和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215273A1 (en) * 2011-09-25 2013-08-22 SaferPlace, Ltd. Traffic enforcement system and methods thereof
WO2014172708A1 (en) * 2013-04-19 2014-10-23 Polaris Sensor Technologies, Inc. Pedestrian right of way monitoring and reporting system and method
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
CN109584295B (zh) * 2017-09-29 2022-08-26 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203340185U (zh) * 2013-06-18 2013-12-11 广州市晶华光学电子有限公司 一种智能图像处理猎物相机
US20170332049A1 (en) * 2016-05-13 2017-11-16 Tijee Corporation Intelligent sensor network
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
CN110381268A (zh) * 2019-06-25 2019-10-25 深圳前海达闼云端智能科技有限公司 生成视频的方法，装置，存储介质及电子设备
CN111292530A (zh) * 2020-02-04 2020-06-16 浙江大华技术股份有限公司 处理违章图片的方法、装置、服务器和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113178079A (zh) * 2021-04-06 2021-07-27 青岛以萨数据技术有限公司 一种用于信号灯和车道线的标注系统、方法及存储介质
CN113178079B (zh) * 2021-04-06 2022-08-23 青岛以萨数据技术有限公司 一种用于信号灯和车道线的标注系统、方法及存储介质
CN113283509A (zh) * 2021-05-28 2021-08-20 深圳一清创新科技有限公司 一种自动标注标签的方法、电子设备及存储介质
CN113283509B (zh) * 2021-05-28 2024-03-29 深圳一清创新科技有限公司 一种自动标注标签的方法、电子设备及存储介质

Also Published As

Publication number Publication date
US20220027627A1 (en) 2022-01-27
CN111611438B (zh) 2020-10-27
US11495021B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
US11341186B2 (en) Cognitive video and audio search aggregation
CN111611438B (zh) 图片标注方法、装置、处理设备及系统
US9262180B2 (en) Method and apparatus for recommending product features in a software application in real time
CN106611015B (zh) 标签的处理方法及装置
US20200327677A1 (en) Target object detection method, readable storage medium, and electronic device
US20210012511A1 (en) Visual search method, computer device, and storage medium
CN111368902A (zh) 一种数据标注的方法及装置
US11514648B2 (en) Aligning input image data with model input data to generate image annotations
CN114565768A (zh) 图像分割方法及装置
CN112101257B (zh) 训练样本生成方法、图像处理方法、装置、设备和介质
CN111815748B (zh) 一种动画处理方法、装置、存储介质及电子设备
CN113065016A (zh) 线下门店信息处理方法、装置、设备及系统
CN112102145B (zh) 图像处理方法及装置
CN111914850A (zh) 图片特征提取方法、装置、服务器和介质
US8811756B2 (en) Image compression
CN104036413A (zh) 信息媒体的智能推送方法与系统
CN102708109B (zh) 栅格数据的读取方法和装置，栅格数据的写入方法和装置
CN111262727A (zh) 服务的扩容方法、装置、设备及存储介质
CN108614822B (zh) 一种智能事件存储、读取方法及装置
CN111143626A (zh) 团伙识别方法、装置、设备及计算机可读存储介质
CN111383337A (zh) 用于识别对象的方法和装置
CN111428544B (zh) 一种场景识别方法、装置、电子设备及存储介质
CN113989703A (zh) 媒体资源标注方法、装置、设备及存储介质
CN116386134A (zh) 时序动作检测方法、装置、电子设备及存储介质
CN116129216A (zh) 用于slowfast算法的数据处理方法和装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40036425

Country of ref document: HK