CN106385640B - 视频标注方法及装置 - Google Patents

视频标注方法及装置 Download PDF

Info

Publication number
CN106385640B
CN106385640B CN201610796645.XA CN201610796645A CN106385640B CN 106385640 B CN106385640 B CN 106385640B CN 201610796645 A CN201610796645 A CN 201610796645A CN 106385640 B CN106385640 B CN 106385640B
Authority
CN
China
Prior art keywords
frame
key
frames
labeling
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610796645.XA
Other languages
English (en)
Other versions
CN106385640A (zh
Inventor
薛宇飞
张弛
印奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Maigewei Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201610796645.XA priority Critical patent/CN106385640B/zh
Publication of CN106385640A publication Critical patent/CN106385640A/zh
Application granted granted Critical
Publication of CN106385640B publication Critical patent/CN106385640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种视频标注方法及装置，该视频标注方法包括：针对视频中的每一个待标注的运动目标，将所述运动目标在视频中的不相邻的两个视频帧确定为关键帧，并由标注工具对关键帧中的所述运动目标进行标注，其中，两个关键帧之间的连续帧中除关键帧之外的其他帧为非关键帧；以及基于标注工具对关键帧中的所述运动目标的标注，计算关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对非关键帧中的所述运动目标的自动标注。根据本发明实施例的视频标注方法及装置利用运动目标在视频中的连续性特点，在运动目标出现的帧中仅选择关键帧进行标注，运动目标在其余帧中的标注信息则通过计算得出，可有效降低视频中运动目标标注的工作量。

Description

视频标注方法及装置
技术领域
本发明涉及视频处理技术领域，更具体地涉及一种视频标注方法及装置。
背景技术
视频标注是在视频预览或录像回放过程中，直接在视频上进行突出标记，使视频更具有针对性的视频处理方式，在诸多领域应用广泛。例如，视频标注可用于定位和重点关注某目标对象，锁定重要的视频线索信息。
目前，在对视频中的运动目标进行标注时，需要对视频中的每个待标注的运动目标，在其出现的每一帧上对其进行标注。但是，视频中帧的数量巨大，若对运动目标进行逐帧标注，则不仅需要花费大量的人力和时间，还需要对每帧中的运动目标的标注信息数据逐帧存储，因此标注工作效率低、数据量大。
发明内容
考虑到上述问题而提出了本发明。根据本发明一方面，提供了一种视频标注方法，所述视频标注方法包括：针对视频中的每一个待标注的运动目标，将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧，并由标注工具对所述关键帧中的所述运动目标进行标注，其中，所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧；以及基于所述标注工具对所述关键帧中的所述运动目标的标注，计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对所述非关键帧中的所述运动目标的自动标注。
在本发明的一个实施例中，所述标注工具对所述关键帧中的所述运动目标的标注包括：对所述关键帧中的所述运动目标添加目标定位框；并且所述计算所述非关键帧中所述运动目标的标注信息包括：基于所述目标定位框的属性信息计算应对所述非关键帧中的所述运动目标添加的目标定位框的属性信息。
在本发明的一个实施例中，所述目标定位框的属性信息包括所述目标定位框的高度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。
在本发明的一个实施例中，所述目标定位框的一点为所述目标定位框的顶点之一。
在本发明的一个实施例中，所述对所述非关键帧中所述运动目标的标注信息的计算是基于插值算法。
在本发明的一个实施例中，所述插值算法为基于透视投影变换原理的插值算法。
在本发明的一个实施例中，当所述两个关键帧中的一个关键帧记为第t0帧，另一个关键帧记为第t1帧，对所述第t0帧和对所述第t1帧中的所述运动目标所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时，对所述第t0帧和所述第t1帧之间的非关键帧中所述运动目标的标注信息的计算用公式表示为：
x＝x0+u(x1-x0)
y＝y0+u(y1-y0)
h＝h0+u(h1-h0)
w＝w0+u(w1-w0)
其中，所述非关键帧记为第t帧，h、w和(x,y)分别为应对第t帧所对应的非关键帧中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标；u为比例系数。
在本发明的一个实施例中，所述视频标注方法还包括：检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的实际情况。
在本发明的一个实施例中，所述视频标注方法还包括：当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，将所有不相符的非关键帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注。
在本发明的一个实施例中，所述视频标注方法还包括：当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，将所述不相符的非关键帧中的部分帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注；以及对于所述运动目标的相邻的两个关键帧，当所述相邻的两个关键帧中至少一个为所述新的关键帧时，基于在所述相邻的两个关键帧中对所述运动目标的标注，计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息，以实现自动标注。
在本发明的一个实施例中，所述将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧还包括将所述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。
根据本发明另一方面，提供了一种视频标注装置，所述视频标注装置包括：关键帧确定模块，用于针对视频中的每一个待标注的运动目标，将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧；标注工具，用于对所述关键帧中的所述运动目标进行标注，其中，所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧；以及标注信息计算模块，用于基于所述标注工具对所述关键帧中的所述运动目标的标注，计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对所述非关键帧中的所述运动目标的自动标注。
在本发明的一个实施例中，所述标注工具对所述关键帧中的所述运动目标的标注包括：对所述关键帧中的所述运动目标添加目标定位框；并且所述标注信息计算模块进一步用于：基于所述目标定位框的属性信息计算应对所述非关键帧中的所述运动目标添加的目标定位框的属性信息。
在本发明的一个实施例中，所述目标定位框的属性信息包括所述目标定位框的高度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。
在本发明的一个实施例中，所述目标定位框的一点为所述目标定位框的顶点之一。
在本发明的一个实施例中，所述标注信息计算模块进一步用于：基于插值算法计算所述非关键帧中所述运动目标的标注信息。
在本发明的一个实施例中，所述插值算法为基于透视投影变换原理的插值算法。
在本发明的一个实施例中，当所述两个关键帧中的一个关键帧记为第t0帧，另一个关键帧记为第t1帧，所述标注工具对所述第t0帧和对所述第t1帧中的所述运动目标所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时，所述标注信息计算模块对所述第t0帧和所述第t1帧之间的非关键帧中所述运动目标的标注信息的计算用公式表示为：
Figure BDA0001105363500000041
x＝x0+u(x1-x0)
y＝y0+u(y1-y0)
h＝h0+u(h1-h0)
w＝w0+u(w1-w0)
其中，所述非关键帧记为第t帧，h、w和(x,y)分别为应对第t帧所对应的非关键帧中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标；u为比例系数。
在本发明的一个实施例中，所述视频标注装置还包括：检查模块，用于检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的实际情况。
在本发明的一个实施例中，当所述检查模块经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，所述关键帧确定模块还用于：将所有不相符的非关键帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注。
在本发明的一个实施例中，当所述检查模块经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，所述关键帧确定模块还用于：将所述不相符的非关键帧中的部分帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注；并且所述标注信息计算模块还用于：对于所述运动目标的相邻的两个关键帧，当所述相邻的两个关键帧中至少一个为所述新的关键帧时，基于在所述相邻的两个关键帧中对所述运动目标的标注，计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息，以实现自动标注。
在本发明的一个实施例中，所述关键帧确定模块还将所述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。
根据本发明实施例的视频标注方法及装置利用运动目标在视频中的连续性特点，在运动目标出现的帧中仅选择关键帧进行标注，运动目标在其余帧中的标注信息则通过计算得出，可有效降低视频中运动目标标注的工作量。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的视频标注方法和装置的示例电子设备的示意性框图；
图2示出根据本发明实施例的视频标注方法的示意性流程图；
图3示出根据本发明另一实施例的视频标注方法的示意性流程图；
图4示出根据本发明实施例的视频标注装置的示意性框图；以及
图5示出根据本发明实施例的视频标注系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先，参照图1来描述用于实现本发明实施例的视频标注方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像传感器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的视频标注方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑等。
下面，将参考图2描述根据本发明实施例的视频标注方法200。
在步骤S210，针对视频中的每一个待标注的运动目标，将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧，并由标注工具对所述关键帧中的所述运动目标进行标注，其中，所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧。
在一个实施例中，对于视频中待标注的运动目标(例如标记为A)，可以首先在该视频中找到该运动目标A在视频中的一段连续视频帧，所述连续帧例如为所述视频的第j帧到第q帧，其中j和q为自然数，且q大于j。在所述连续视频中确定不相邻的两个视频帧作为关键帧，例如，两个关键帧中的一个关键帧记为第t0帧(定义为关键帧t0)，另一个关键帧记为第t1帧(定义为关键帧t1)。关键帧t0和t1中间的连续帧除所述关键帧之外的其他帧为非关键帧。
在一个实施例中，还可以将所述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。对于视频中待标注的运动目标(例如标记为A)，可以首先在该视频中找到该运动目标A从出现到消失的连续帧，所述连续帧例如为所述视频的第a帧到第i帧，其中a和i为自然数，且i大于等于a。在该示例中，运动目标A在视频中出现的起始帧为第a帧(例如记为该连续帧的第ta帧)，运动目标A在本次出现后消失前的最后一帧(即结束帧)为第i帧(例如记为该连续帧的第ti帧)，将所述起始帧和结束帧确定为关键帧。
在另一个示例中，该运动目标A可能从视频中消失后，又在若干时间后再度出现在该视频中，之后又从视频中消失。例如，该运动目标A从再次出现到消失的连续帧为所述视频的第m帧到第s帧，其中m和s为自然数，且s大于等于m，且m大于等于上述i。在该示例中，运动目标A在视频中出现不止一次，在这种情况下，以下将描述的处理是针对运动目标A每一次从出现到消失的连续帧分别进行处理。
在将运动目标A在视频中的不相邻的两个视频帧确定为关键帧(分别定义为关键帧t0和t1)后，可以采用标注工具对处于关键帧中的运动目标A进行标注。
在步骤S220，基于所述标注工具对所述关键帧中的所述运动目标的标注，计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对所述非关键帧中的所述运动目标的自动标注。
在一个示例中，标注工具对关键帧(例如上述示例中的关键帧t0、t1)中的运动目标A的标注可以包括：对关键帧中的运动目标A添加目标定位框，该目标定位框例如表示为B。示例性地，目标定位框B一般为矩形框，也可为其他合适的形状，其用于框选视频中出现的目标(例如运动目标A)。一般地，目标定位框B内包括被标注目标的所有部分(例如，包括人的整个身体或物体的整个轮廓等)。
基于对关键帧(例如上述示例中的关键帧t0)中的运动目标A添加的目标定位框B0，可获得该目标定位框B0的属性信息。示例性地，目标定位框B0的属性信息可以包括目标定位框B0的高度h0和宽度w0、以及目标定位框B0的一点(例如目标定位框B0的顶点之一)在目标定位框B0被添加的帧(即关键帧t0)的画面中的坐标(x0,y0)。
类似地，基于对关键帧(例如上述示例中的关键帧t1)中的运动目标A添加的目标定位框B1，可获得该目标定位框B1的属性信息。示例性地，目标定位框B1的属性信息可以包括目标定位框B1的高度h1和宽度w1、以及目标定位框B1的一点(例如目标定位框B1的顶点之一)在目标定位框B1被添加的帧(即关键帧t1)的画面中的坐标(x1,y1)。
基于对关键帧中的运动目标添加的目标定位框的属性信息，可计算在运动目标在关键帧t0到关键帧t1之间的连续帧中的其他非关键帧中该运动目标的标注信息，即非关键帧中应对该运动目标的添加的目标定位框的属性信息，以实现对非关键帧中的所述运动目标的自动标注。
在一个示例中，可以基于插值算法计算非关键帧中所述运动目标的标注信息。示例性地，可以基于透视投影变换原理的插值算法计算非关键帧中所述运动目标的标注信息。
在一个示例中，当标注工具对所述两个关键帧中的一个关键帧(对应的关键帧记为第t0帧)和对另一个关键帧(记为第t1帧)中的运动目标A所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时，对运动目标从第t0帧到第t1帧的连续帧中的非关键帧(记为第t帧，其中第t帧处于第t0帧和第t1帧之间)中运动目标A的标注信息的计算用公式表示可以为：
Figure BDA0001105363500000091
x＝x0+u(x1-x0)
y＝y0+u(y1-y0)
h＝h0+u(h1-h0)
w＝w0+u(w1-w0)
其中，h、w和(x,y)分别为应对第t帧所对应的非关键帧中的运动目标A添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标；u为比例系数。
可对视频中每一个待标注的运动目标实施上述步骤S210至S220的操作。
基于上面的描述，根据本发明实施例的视频标注方法利用运动目标在视频中的连续性特点，在运动目标出现的帧中仅选择关键帧进行标注，运动目标在其余帧中的标注信息则通过计算得出，可有效降低视频中运动目标标注的工作量。对于在视频中做近似匀速直线运动的目标，该视频标注方法尤其有效。
示例性地，根据本发明实施例的视频标注方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的视频标注方法可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。替代地，根据本发明实施例的视频标注方法还可以部署在服务器端(或云端)。替代地，根据本发明实施例的视频标注方法还可以分布地部署在服务器端(或云端)和个人终端处。
在其他实施例中，根据本发明的视频标注方法还可包括其他的操作，下面结合图3进行进一步描述。
图3示出了根据本发明另一实施例的视频标注方法300的示意性流程图。如图3所示，视频标注方法300可以包括如下步骤：
在步骤S310，针对视频中的每一个待标注的运动目标，将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧，并由标注工具对所述关键帧中的所述运动目标进行标注，其中，所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧。
在步骤S320，基于所述标注工具对所述关键帧中的所述运动目标的标注，计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对所述非关键帧中的所述运动目标的自动标注。
此处，步骤S310和S320分别与图2中所描述的视频标注方法200的步骤S210和S220类似，为了简洁，此处不再赘述。
在步骤S330，检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的实际情况。
根据本发明实施例，在步骤S320中实现对非关键帧中运动目标的自动标注后，可以对该自动标注结果进行检查，以确定自动标注结果是否符合运动目标在该非关键帧中的实际情况，例如检查在非关键帧中运动目标是否完全或绝大部分处在为其自动添加的目标定位框内等。经过检查，如果自动标注结果符合运动目标在该非关键帧中的实际情况，则可结束操作。反之，如果自动标注结果不符合运动目标在该非关键帧中的实际情况，则可对该帧进行处理，以使其标注结果满足要求。因此，基于该检查步骤，可提高视频标注结果的精确度和可靠性。
在一个实施例中，当经过检查确定存在自动标注与实际情况不相符的非关键帧时，可以将所有不相符的非关键帧确定为新的关键帧，并由标注工具对所述新的关键帧中的所述运动目标进行重新标注(该步骤未在图3中示出)。这种处理方法例如可以适用于存在较少数目的不相符非关键帧时进行处理，即通过标注工具对其进行重新标注来纠正不相符的情况。这种处理方法简单方便，易于实现。
在另一个实施例中，如步骤S340和S350中所示：
在步骤S340，当经过检查确定存在自动标注与实际情况不相符的非关键帧时，将所述不相符的非关键帧中的部分帧确定为新的关键帧，并由标注工具对所述新的关键帧中的所述运动目标进行重新标注。
在步骤S350，对于所述运动目标的相邻的两个关键帧，当所述相邻的两个关键帧中至少一个为所述新的关键帧时，基于在所述相邻的两个关键帧中对所述运动目标的标注，计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息，以实现自动标注。
步骤S340和S350中所示方法例如可以适用于存在较多数目的不相符非关键帧时进行处理，即将这些数目较多的不相符非关键帧中的一个或多个确定为新的关键帧，由标注工具对新的关键帧中的所述运动目标进行重新标注。
在确定了新的关键帧以后(例如确定了一个新的关键帧tm)，除了关键帧t0和关键帧t1以外，还包括了其他的关键帧tm。对于该运动目标的所有关键帧t0、tm、t1，相邻的两个关键帧t0与tm中有一个为新的关键帧tm，关键帧tm在被确定后也已由标注工具进行了重新标注，因此，可基于在t0与tm中对运动目标所进行的标注，计算在t0与tm之间的每一非关键帧中所述运动目标的标注信息。在一个实施例中，可以基于相邻的两个关键帧(t0与tm)中的目标定位框的属性信息，利用上述公式计算连续帧中(t0与tm之间)的非关键帧中的运动目标的标注信息。类似地，可以基于在tm与t1中对运动目标所进行的标注，计算tm与t1之间的每一非关键帧中所述运动目标的标注信息。当确定了多个新的关键帧时，也可采用上述方法对所有相邻的两个关键帧之间的非关键帧中的运动目标的标注信息进行计算。
进一步地，在步骤S350以后，可回到步骤S330进行对所有非关键帧的检查步骤，并在确定仍有不符合实际情况的非关键帧后进行S340和S350的处理，如此循环，直到不再存在不符合实际情况的标注。可针对每个待标注运动目标实施该实施例中的步骤，直到完成对所有运动目标的标注。
基于上面的描述，根据本发明实施例的视频标注方法300利用运动目标在视频中的连续性特点，在运动目标出现的帧中仅选择关键帧进行标注，运动目标在其余帧中的标注信息则通过计算得出，可有效降低视频中运动目标标注的工作量。进一步地，根据本发明实施例的视频标注方法300对非关键帧中的自动标注结果进行检查，可提高视频标注结果的精确度和可靠性。更进一步地，根据本发明实施例的视频标注方法300可将未通过检查的非关键帧中的部分帧确定为新的关键帧，再基于所有关键帧中标注信息计算非关键帧中的标注信息，并可反复循环直到完成所有符合实际情况的标注，可在提高视频标注结果可靠性的同时进一步降低视频中运动目标标注的工作量。
下面结合图4描述本发明另一方面提供的视频标注装置。图4示出了根据本发明实施例的视频标注装置400的示意性框图。
如图4所示，根据本发明实施例的视频标注装置400包括关键帧确定模块410、标注工具420以及标注信息计算模块430。所述各个模块可分别执行上文中结合图2至图3描述的视频标注方法的各个步骤/功能。以下仅对视频标注装置400的各单元的主要功能进行描述，而省略以上已经描述过的细节内容。
关键帧确定模块410用于针对视频中的每一个待标注的运动目标，将所述运动目标在所述视频中的不相邻的两个视频确定为关键帧。标注工具420用于对所述关键帧中的所述运动目标进行标注，其中，所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧。标注信息计算模块430用于基于所述标注工具对所述关键帧中的所述运动目标的标注，计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对所述非关键帧中的所述运动目标的自动标注。关键帧确定模块410、标注工具420和标注信息计算模块430均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
在一个实施例中，对于视频中待标注的运动目标(例如标记为A)，关键帧确定模块410可以首先在该视频中找到该运动目标A在视频中的一段连续视频帧，所述连续帧例如为所述视频的第j帧到第q帧，其中j和q为自然数，且q大于j。在所述连续视频中确定不相邻的两个视频帧作为关键帧，例如，两个关键帧中的一个关键帧记为第t0帧(定义为关键帧t0)，另一个关键帧记为第t1帧(定义为关键帧t1)。关键帧t0和t1中间的连续帧除所述关键帧之外的其他帧为非关键帧。
根据本发明实施例，对于视频中待标注的运动目标(例如标记为A)，关键帧确定模块410还可以将所述运动目标A在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。关键帧确定模块410可以首先在该视频中找到该运动目标A从出现到消失的连续帧，并将所述连续帧中的起始帧(例如记为该连续帧的第ta帧)和结束帧(例如记为该连续帧的第ti帧)确定为关键帧。当运动目标A在该视频中出现不止一次，例如从出现到消失后过了一段时间又出现的情况，关键帧确定模块410、标注工具420和标注信息计算模块430的处理可针对运动目标A每一次从出现到消失的连续帧分别进行。
在关键帧确定模块410将运动目标A在视频中的不相邻的两个视频帧确定为关键帧(分别定义为关键帧t0和t1)后，可以由视频标注装置400所包括的标注工具420对处于关键帧中的运动目标A进行标注。
在一个示例中，标注工具420对关键帧(例如上述示例中的关键帧t0、t1)中的运动目标A的标注可以包括：对关键帧中的运动目标A添加目标定位框，该目标定位框例如表示为B。示例性地，目标定位框B一般为矩形框，也可为其他合适的形状，其用于框选视频中出现的目标(例如运动目标A)。一般地，目标定位框B内包括被标注目标的所有部分(例如，包括人的整个身体或物体的整个轮廓等)。
基于标注工具420对关键帧(例如上述示例中的关键帧t0)中的运动目标A添加的目标定位框B0，标注信息计算模块430可获得该目标定位框B0的属性信息。示例性地，目标定位框B0的属性信息可以包括目标定位框B0的高度h0和宽度w0、以及目标定位框B0的一点(例如目标定位框B0的顶点之一)在目标定位框B0被添加的帧(即关键帧t0)的画面中的坐标(x0,y0)。
类似地，基于标注工具420对关键帧(例如上述示例中的关键帧t1)中的运动目标A添加的目标定位框B1，标注信息计算模块430可获得该目标定位框B1的属性信息。示例性地，目标定位框B1的属性信息可以包括目标定位框B1的高度h1和宽度w1、以及目标定位框B1的一点(例如目标定位框B1的顶点之一)在目标定位框B1被添加的帧(即关键帧t1)的画面中的坐标(x1,y1)。
基于对关键帧中的运动目标添加的目标定位框的属性信息，标注信息计算模块430可计算在运动目标在关键帧之间的至少一个非关键帧中该运动目标的标注信息，即非关键帧中应对该运动目标的添加的目标定位框的属性信息，以实现对非关键帧中的所述运动目标的自动标注。
在一个示例中，标注信息计算模块430可以基于插值算法计算非关键帧中所述运动目标的标注信息。示例性地，标注信息计算模块430可以基于透视投影变换原理的插值算法计算非关键帧中所述运动目标的标注信息。
在一个示例中，当标注工具420对两个关键帧中的一个关键帧(记为第t0帧)和对另一个关键帧(记为第t1帧)中的运动目标A所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时，标注信息计算模块430对运动目标从第t0帧到第t1帧的连续帧中的非关键帧(记为第t帧，其中第t帧处于第t0帧和第t1帧之间)中运动目标A的标注信息的计算用公式表示为：
Figure BDA0001105363500000141
x＝x0+u(x1-x0)
y＝y0+u(y1-y0)
h＝h0+u(h1-h0)
w＝w0+u(w1-w0)
其中，h、w和(x,y)分别为应对第t帧所对应的非关键帧中的运动目标A添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标；u为比例系数。
基于上面的描述，根据本发明实施例的视频标注装置400利用运动目标在视频中的连续性特点，在运动目标出现的帧中仅选择关键帧进行标注，运动目标在其余帧中的标注信息则通过计算得出，可有效降低视频中运动目标标注的工作量。
根据本发明实施例，视频标注装置400还可包括检查模块(未在图4中示出)，用于检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的实际情况，例如检查在非关键帧中运动目标是否完全或绝大部分处在为其自动添加的目标定位框内等。基于检查模块的检查，可提高视频标注结果的精确度和可靠性。
在一个实施例中，当检查模块经过检查确定存在自动标注与实际情况不相符的非关键帧时，关键帧确定模块410可以将所有不相符的非关键帧确定为新的关键帧，并由标注工具420对所述新的关键帧中的所述运动目标进行重新标注。这种处理方法例如可以适用于存在较少数目的不相符非关键帧时进行处理，即通过标注工具420对其进行重新标注来纠正不相符的情况。这种处理方法简单方便，易于实现。
在另一个实施例中，当检查模块经过检查确定存在自动标注与实际情况不相符的非关键帧时，关键帧确定模块410可以将所述不相符的非关键帧中的部分帧确定为新的关键帧，以用于由标注工具420对所述新的关键帧中的所述运动目标进行重新标注。对于所述运动目标的相邻的两个关键帧，当所述相邻的两个关键帧中至少一个为所述新的关键帧时，标注信息计算模块430可以基于在所述相邻的两个关键帧中对所述运动目标的标注，计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息，以实现自动标注。这种处理方式例如可以适用于存在较多数目的不相符非关键帧时进行处理。
基于上面的描述，根据本发明实施例的视频标注装置利用运动目标在视频中的连续性特点，在运动目标出现的帧中仅选择关键帧进行标注，运动目标在其余帧中的标注信息通过计算得出，可有效降低视频中运动目标标注的工作量。进一步地，根据本发明实施例的视频标注装置对非关键帧中的自动标注结果进行检查，可提高视频标注结果的精确度和可靠性。更进一步地，根据本发明实施例的视频标注装置可将未通过检查的非关键帧中的部分帧确定为新的关键帧，再基于所有关键帧中标注信息计算非关键帧中的标注信息，并可反复循环直到完成所有符合实际情况的标注，可在提高视频标注结果可靠性的同时进一步降低视频中运动目标标注的工作量。
图5示出了根据本发明实施例的视频标注系统500的示意性框图。视频标注系统500包括存储装置510以及处理器520。
其中，存储装置510存储用于实现根据本发明实施例的视频标注方法中的相应步骤的程序代码。处理器520用于运行存储装置510中存储的程序代码，以执行根据本发明实施例的视频标注方法的相应步骤，并且用于实现根据本发明实施例的视频标注装置中的相应模块。此外，视频标注系统500还可以包括图像采集装置(未在图5中示出)，其可以用于采集视频。当然，图像采集装置不是必需的，可直接接收来自其他源的视频的输入。
在一个实施例中，在所述程序代码被处理器520运行时使得视频标注系统500执行以下步骤：针对视频中的每一个待标注的运动目标，将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧，并由标注工具对所述关键帧中的所述运动目标进行标注，其中，所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧；以及基于所述标注工具对所述关键帧中的所述运动目标的标注，计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对所述非关键帧中的所述运动目标的自动标注。
在一个示例中，所述标注工具对所述关键帧中的所述运动目标的标注包括：对所述关键帧中的所述运动目标添加目标定位框；并且所述计算所述非关键帧中所述运动目标的标注信息包括：基于所述目标定位框的属性信息计算应对所述非关键帧中的所述运动目标添加的目标定位框的属性信息。
示例性地，所述目标定位框的属性信息包括所述目标定位框的高度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。
示例性地，所述目标定位框的一点为所述目标定位框的顶点之一。
在一个示例中，所述对所述非关键帧中所述运动目标的标注信息的计算是基于插值算法。
示例性地，所述插值算法为基于透视投影变换原理的插值算法。
在一个示例中，当所述两个关键帧中的一个关键帧记为第t0帧，另一个关键帧记为第t1帧，在对所述第t0帧和对所述第t1帧中的所述运动目标所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时，对所述第t0帧和对所述第t1帧之间的非关键帧中所述运动目标的标注信息的计算用公式表示为：
Figure BDA0001105363500000171
x＝x0+u(x1-x0)
y＝y0+u(y1-y0)
h＝h0+u(h1-h0)
w＝w0+u(w1-w0)
其中，所述非关键帧记为第t帧，h、w和(x,y)分别为应对第t帧所对应的非关键帧中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标；u为比例系数。
在一个实施例中，在所述程序代码被处理器520运行时还使得视频标注系统500执行以下步骤：检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的实际情况。
在一个实施例中，在所述程序代码被处理器520运行时还使得视频标注系统500执行以下步骤：当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，将所有不相符的非关键帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注。
在一个实施例中，在所述程序代码被处理器520运行时还使得视频标注系统500执行以下步骤：当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，将所述不相符的非关键帧中的部分帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注；以及对于所述运动目标的相邻的两个关键帧，当所述相邻的两个关键帧中至少一个为所述新的关键帧时，基于在所述相邻的两个关键帧中对所述运动目标的标注，计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息，以实现自动标注。
在一个实施例中，在所述程序代码被处理器520运行时使得视频标注系统500执行的将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧的步骤还包括将所述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的视频标注方法的相应步骤，并且用于实现根据本发明实施例的视频标注装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含确定关键帧的计算机可读的程序代码，另一个计算机可读存储介质包含计算非关键帧中的标注信息的计算机可读的程序代码。
在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的视频标注装置的各个功能模块，并且/或者可以执行根据本发明实施例的视频标注方法。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：针对视频中的每一个待标注的运动目标，将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧，并由标注工具对所述关键帧中的所述运动目标进行标注，其中，所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧；以及基于所述标注工具对所述关键帧中的所述运动目标的标注，计算所述所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对所述非关键帧中的所述运动目标的自动标注。
在一个示例中，所述标注工具对所述关键帧中的所述运动目标的标注包括：对所述关键帧中的所述运动目标添加目标定位框；并且所述计算所述非关键帧中所述运动目标的标注信息包括：基于所述目标定位框的属性信息计算应对所述非关键帧中的所述运动目标添加的目标定位框的属性信息。
示例性地，所述目标定位框的属性信息包括所述目标定位框的高度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。
示例性地，所述目标定位框的一点为所述目标定位框的顶点之一。
在一个示例中，所述对所述非关键帧中所述运动目标的标注信息的计算是基于插值算法。
示例性地，所述插值算法为基于透视投影变换原理的插值算法。
在一个示例中，当所述两个关键帧中的一个关键帧记为第t0帧，另一个关键帧记为第t1帧，对所述第t0帧和对所述第t1帧中的所述运动目标所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0,y0)以及h1、w1和(x1,y1)时，对所述第t0帧和对所述第t1帧之间的非关键帧中所述运动目标的标注信息的计算用公式表示为：
Figure BDA0001105363500000191
x＝x0+u(x1-x0)
y＝y0+u(y1-y0)
h＝h0+u(h1-h0)
w＝w0+u(w1-w0)
其中，所述非关键帧记为第t帧，h、w和(x,y)分别为应对第t帧所对应的非关键帧中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标；u为比例系数。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的实际情况。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，将所有不相符的非关键帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，将所述不相符的非关键帧中的部分帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注；以及对于所述运动目标的相邻的两个关键帧，当所述相邻的两个关键帧中至少一个为所述新的关键帧时，基于在所述相邻的两个关键帧中对所述运动目标的标注，计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息，以实现自动标注。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧的步骤还包括将所述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。
根据本发明实施例的视频标注装置中的各模块可以通过根据本发明实施例的视频标注电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的视频标注方法、装置、系统以及存储介质利用运动目标在视频中的连续性特点，在运动目标出现的帧中仅选择关键帧进行标注，运动目标在其余帧中的标注信息则通过计算得出，可有效降低视频中运动目标标注的工作量。进一步地，根据本发明实施例的视频标注方法、装置、系统以及存储介质对非关键帧中的自动标注结果进行检查，可提高视频标注结果的精确度和可靠性。更进一步地，根据本发明实施例的视频标注方法、装置、系统以及存储介质可将未通过检查的非关键帧中的部分帧确定为新的关键帧，再基于所有关键帧中标注信息计算非关键帧中的标注信息，并可反复循环直到完成所有符合实际情况的标注，可在提高视频标注结果可靠性的同时进一步降低视频中运动目标标注的工作量。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种视频标注方法，其特征在于，所述视频标注方法包括：
针对视频中的每一个待标注的运动目标，将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧，并由标注工具对所述关键帧中的所述运动目标进行标注，其中，所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧；以及
基于所述标注工具对所述关键帧中的所述运动目标的标注，计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对所述非关键帧中的所述运动目标的自动标注；
检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的实际情况；
当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，将所述不相符的非关键帧中的部分帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注；以及
对于所述运动目标的相邻的两个关键帧，当所述相邻的两个关键帧中至少一个为所述新的关键帧时，基于在所述相邻的两个关键帧中对所述运动目标的标注，计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息，以实现自动标注。
2.根据权利要求1所述的视频标注方法，其特征在于，
所述标注工具对所述关键帧中的所述运动目标的标注包括：对所述关键帧中的所述运动目标添加目标定位框；并且
所述计算所述非关键帧中所述运动目标的标注信息包括：基于所述目标定位框的属性信息计算对应所述非关键帧中的所述运动目标添加的目标定位框的属性信息。
3.根据权利要求2所述的视频标注方法，其特征在于，所述目标定位框的属性信息包括所述目标定位框的高度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。
4.根据权利要求3所述的视频标注方法，其特征在于，所述目标定位框的一点为所述目标定位框的顶点之一。
5.根据权利要求3所述的视频标注方法，其特征在于，所述对所述非关键帧中所述运动目标的标注信息的计算是基于插值算法。
6.根据权利要求5所述的视频标注方法，其特征在于，所述插值算法为基于透视投影变换原理的插值算法。
7.根据权利要求6所述的视频标注方法，其特征在于，当所述两个关键帧中的一个关键帧记为第t0帧，另一个关键帧记为第t1帧，对所述第t0帧和对所述第t1帧中的所述运动目标所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0，y0)以及h1、w1和(x1，y1)时，对所述第t0帧和所述第t1帧之间的非关键帧中所述运动目标的标注信息的计算用公式表示为：
Figure FDA0002123725890000021
x＝x0+u(x1-x0)
y＝y0+u(y1-y0)
h＝h0+u(h1-h0)
w＝w0+u(w1-w0)
其中，所述非关键帧记为第t帧，h、w和(x，y)分别为应对第t帧所对应的非关键帧中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标；u为比例系数。
8.根据权利要求1所述的视频标注方法，其特征在于，所述视频标注方法还包括：
当经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，将所有不相符的非关键帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注。
9.根据权利要求1所述的视频标注方法，其特征在于，所述将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧还包括：
将所述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。
10.一种视频标注装置，其特征在于，所述视频标注装置包括：
关键帧确定模块，用于针对视频中的每一个待标注的运动目标，将所述运动目标在所述视频中的不相邻的两个视频帧确定为关键帧；
标注工具，用于对所述关键帧中的所述运动目标进行标注，其中，所述两个关键帧之间的连续帧中除所述关键帧之外的其他帧为非关键帧；以及
标注信息计算模块，用于基于所述标注工具对所述关键帧中的所述运动目标的标注，计算所述关键帧之间的至少一个非关键帧中所述运动目标的标注信息，以实现对所述非关键帧中的所述运动目标的自动标注；
检查模块，用于检查对所述非关键帧中的所述运动目标的所述自动标注是否符合所述运动目标在所述非关键帧中的实际情况；
当所述检查模块经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，
所述关键帧确定模块还用于将所述不相符的非关键帧中的部分帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注；并且
所述标注信息计算模块还用于：对于所述运动目标的相邻的两个关键帧，当所述相邻的两个关键帧中至少一个为所述新的关键帧时，基于在所述相邻的两个关键帧中对所述运动目标的标注，计算在所述相邻的两个关键帧之间的每一非关键帧中所述运动目标的标注信息，以实现自动标注。
11.根据权利要求10所述的视频标注装置，其特征在于，
所述标注工具对所述关键帧中的所述运动目标的标注包括：对所述关键帧中的所述运动目标添加目标定位框；并且
所述标注信息计算模块进一步用于：基于所述目标定位框的属性信息计算对应所述非关键帧中的所述运动目标添加的目标定位框的属性信息。
12.根据权利要求11所述的视频标注装置，其特征在于，所述目标定位框的属性信息包括所述目标定位框的高度和宽度、以及所述目标定位框的一点在所述目标定位框被添加的帧的画面中的坐标。
13.根据权利要求12所述的视频标注装置，其特征在于，所述目标定位框的一点为所述目标定位框的顶点之一。
14.根据权利要求12所述的视频标注装置，其特征在于，所述标注信息计算模块进一步用于：基于插值算法计算所述非关键帧中所述运动目标的标注信息。
15.根据权利要求14所述的视频标注装置，其特征在于，所述插值算法为基于透视投影变换原理的插值算法。
16.根据权利要求15所述的视频标注装置，其特征在于，当所述两个关键帧中的一个关键帧记为第t0帧，另一个关键帧记为第t1帧，所述标注工具对所述第t0帧和对所述第t1帧中的所述运动目标所分别添加的目标定位框的高度、宽度和坐标分别为h0、w0和(x0，y0)以及h1、w1和(x1，y1)时，所述标注信息计算模块对所述第t0帧和所述第t1帧之间的非关键帧中所述运动目标的标注信息的计算用公式表示为：
Figure FDA0002123725890000041
x＝x0+u(x1-x0)
y＝y0+u(y1-y0)
h＝h0+u(h1-h0)
w＝w0+u(w1-w0)
其中，所述非关键帧记为第t帧，h、w和(x，y)分别为应对第t帧所对应的非关键帧中的所述运动目标添加的目标定位框的高度、宽度和所述目标定位框的一点在所述第t帧的画面中的坐标；u为比例系数。
17.根据权利要求10所述的视频标注装置，其特征在于，当所述检查模块经过所述检查确定存在自动标注与实际情况不相符的非关键帧时，所述关键帧确定模块还用于将所有不相符的非关键帧确定为新的关键帧，并由所述标注工具对所述新的关键帧中的所述运动目标进行重新标注。
18.根据权利要求10所述的视频标注装置，其特征在于，所述关键帧确定模块还将所述运动目标在所述视频中从出现到消失的连续帧中的起始帧和结束帧确定为所述关键帧。
CN201610796645.XA 2016-08-31 2016-08-31 视频标注方法及装置 Active CN106385640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610796645.XA CN106385640B (zh) 2016-08-31 2016-08-31 视频标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610796645.XA CN106385640B (zh) 2016-08-31 2016-08-31 视频标注方法及装置

Publications (2)

Publication Number Publication Date
CN106385640A CN106385640A (zh) 2017-02-08
CN106385640B true CN106385640B (zh) 2020-02-11

Family

ID=57939587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610796645.XA Active CN106385640B (zh) 2016-08-31 2016-08-31 视频标注方法及装置

Country Status (1)

Country Link
CN (1) CN106385640B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107027072A (zh) * 2017-05-04 2017-08-08 深圳市金立通信设备有限公司 一种视频标记方法、终端及计算机可读存储介质
CN109086758B (zh) * 2018-08-21 2021-04-13 东北大学 一种基于加权中值滤波的工业过程异常区域标记方法
CN109446357B (zh) * 2018-10-18 2021-01-05 杭州快忆科技有限公司 数据标注方法和装置
CN109903281B (zh) * 2019-02-28 2021-07-27 中科创达软件股份有限公司 一种基于多尺度的目标检测方法及装置
CN109714623B (zh) * 2019-03-12 2021-11-16 北京旷视科技有限公司 图像展示方法、装置、电子设备及计算机可读存储介质
CN110705405B (zh) * 2019-09-20 2021-04-20 创新先进技术有限公司 目标标注的方法及装置
CN113127666B (zh) * 2020-01-15 2022-06-24 魔门塔(苏州)科技有限公司 一种连续帧数据的标注系统、方法和装置
CN111967368B (zh) * 2020-08-12 2022-03-11 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置
CN112637541A (zh) * 2020-12-23 2021-04-09 平安银行股份有限公司 一种音视频标注方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1221502A (zh) * 1997-04-02 1999-06-30 国际商业机器公司 在视频中集成超链接的方法和装置
CN101035257A (zh) * 2006-03-10 2007-09-12 孟智平 动态视频二维信息互动同步传输方法及二维网络视讯互动系统
CN101207807A (zh) * 2007-12-18 2008-06-25 孟智平 一种处理视频的方法及其系统
CN103226891A (zh) * 2013-03-26 2013-07-31 中山大学 一种基于视频的车辆碰撞事故检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4450306B2 (ja) * 2003-07-11 2010-04-14 Ｋｄｄｉ株式会社 移動体追跡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1221502A (zh) * 1997-04-02 1999-06-30 国际商业机器公司 在视频中集成超链接的方法和装置
CN101035257A (zh) * 2006-03-10 2007-09-12 孟智平 动态视频二维信息互动同步传输方法及二维网络视讯互动系统
CN101207807A (zh) * 2007-12-18 2008-06-25 孟智平 一种处理视频的方法及其系统
CN103226891A (zh) * 2013-03-26 2013-07-31 中山大学 一种基于视频的车辆碰撞事故检测方法及系统

Also Published As

Publication number Publication date
CN106385640A (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN106385640B (zh) 视频标注方法及装置
CN105938552B (zh) 底图自动更新的人脸识别方法及装置
CN108875523B (zh) 人体关节点检测方法、装置、系统和存储介质
CN108875510B (zh) 图像处理的方法、装置、系统及计算机存储介质
CN109543663B (zh) 一种犬只身份识别方法、装置、系统及存储介质
JP5386007B2 (ja) 画像クラスタリング方法
CN103198293B (zh) 用于指纹识别视频的系统和方法
US10580148B2 (en) Graphical coordinate system transform for video frames
US20160110453A1 (en) System and method for searching choreography database based on motion inquiry
CN108875731B (zh) 目标识别方法、装置、系统及存储介质
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
CN106327546B (zh) 人脸检测算法的测试方法和装置
CN109146932B (zh) 确定图像中目标点的世界坐标的方法、装置和系统
CN108875492B (zh) 人脸检测及关键点定位方法、装置、系统和存储介质
US20130177293A1 (en) Method and apparatus for the assignment of roles for image capturing devices
CN106203425B (zh) 字符识别方法及装置
CN109684005B (zh) 图形界面中组件相似度确定方法及装置
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
JP2007094679A (ja) 画像分析装置、画像分析プログラム、および画像分析プログラム記憶媒体
CN106682187B (zh) 用于建立图像底库的方法及装置
CN110647931A (zh) 物体检测方法、电子设备、系统及介质
CN110956131B (zh) 单目标追踪方法、装置及系统
WO2022247403A1 (zh) 关键点检测方法、电子设备、程序及存储介质
CN108109175A (zh) 一种图像特征点的跟踪方法及装置
CN109829380B (zh) 一种狗脸特征点的检测方法、装置、系统及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant after: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

Applicant after: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.

Address before: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant before: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

Applicant before: PINHOLE (BEIJING) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Video annotation methods and devices

Effective date of registration: 20230404

Granted publication date: 20200211

Pledgee: Shanghai Yunxin Venture Capital Co.,Ltd.

Pledgor: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.|MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.

Registration number: Y2023990000191