CN109145781B - 用于处理图像的方法和装置 - Google Patents

用于处理图像的方法和装置 Download PDF

Info

Publication number
CN109145781B
CN109145781B CN201810875809.7A CN201810875809A CN109145781B CN 109145781 B CN109145781 B CN 109145781B CN 201810875809 A CN201810875809 A CN 201810875809A CN 109145781 B CN109145781 B CN 109145781B
Authority
CN
China
Prior art keywords
target
image
position information
tracking
tracking object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810875809.7A
Other languages
English (en)
Other versions
CN109145781A (zh
Inventor
朱延东
许世坤
王长虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201810875809.7A priority Critical patent/CN109145781B/zh
Publication of CN109145781A publication Critical patent/CN109145781A/zh
Application granted granted Critical
Publication of CN109145781B publication Critical patent/CN109145781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于处理图像的方法和装置。该方法的一具体实施方式包括：从目标视频中选择目标图像帧，其中，目标图像帧包括至少一个目标对象图像；将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在目标图像帧中的位置；将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。该实施方式提高了预测跟踪对象的位置的准确性，以及丰富了预测跟踪对象的位置的手段。

Description

用于处理图像的方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及用于处理图像的方法和装置。
背景技术
目前，在视频监控的场景中，为了识别出监控画面中的人物，通常通过对视频画面中的人脸、穿着等外貌特征对人物进行跟踪。在有些情况下，人物图像会由于遮挡、画面模糊等因素导致无法识别出人物图像在视频画面中的位置，此时，往往需要通过人工的方式确定画面中人物图像可能出现的位置。
发明内容
本申请实施例提出了用于处理图像的方法和装置。
第一方面，本申请实施例提供了一种用于处理图像的方法，该方法包括：从目标视频中选择目标图像帧，其中，目标图像帧包括至少一个目标对象图像；将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在目标图像帧中的位置；将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。
在一些实施例中，目标跟踪模型包括卷积神经网络和循环神经网络；以及将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，包括：将至少一个目标位置信息和目标图像帧输入卷积神经网络，得到与目标位置信息对应的图像特征信息，其中，图像特征信息用于表征目标位置信息对应的目标对象图像的特征；将至少一个目标位置信息和所得到的图像特征信息输入循环神经网络，得到预测位置信息和预测位置信息对应的跟踪对象标识信息。
在一些实施例中，在将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息之后，该方法还包括：获取预先存储的跟踪对象图像的历史相关信息，其中，跟踪对象图像是跟踪对象标识信息指示的跟踪对象的图像，历史相关信息是与跟踪对象图像相关的、从目标视频包括的、位于目标图像帧之前的图像帧中提取的信息；基于历史相关信息确定目标图像帧中是否包括跟踪对象图像；响应于确定包括，将预测位置信息更新为跟踪对象图像对应的目标位置信息；基于更新后的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。
在一些实施例中，在基于历史相关信息确定目标图像帧中是否包括跟踪对象图像之后，方法还包括：响应于确定不包括，基于输出的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。
在一些实施例中，目标跟踪模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括样本图像和样本图像对应的标注预测位置信息、标注跟踪对象标识信息，样本图像包括样本跟踪对象图像和至少一个样本目标对象图像，标注预测位置信息用于表征样本跟踪对象图像在样本图像中的位置，标注跟踪对象标识信息用于标识样本跟踪对象图像；利用机器学习方法，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息和标注跟踪对象标识信息作为期望输出，训练得到目标跟踪模型。
在一些实施例中，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，包括：从训练样本集合中选取训练样本，执行以下训练步骤：将选取的训练样本包括的样本图像输入初始模型，得到预测位置信息和跟踪对象标识信息，其中，预测位置信息用于表征样本跟踪对象图像在样本图像中的位置；将所得到的预测位置信息和跟踪对象标识信息分别与对应的标注预测位置信息和标注跟踪对象标识信息进行比较，根据比较结果确定初始模型是否训练完成；响应于确定训练完成，将初始模型确定为目标跟踪模型。
在一些实施例中，将训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，还包括：响应于确定初始模型未训练完成，调整初始模型中的相关参数，以及从训练样本集合中的、未被选取的训练样本中，选取训练样本，利用参数调整后的初始模型，继续执行训练步骤。
第二方面，本申请实施例提供了一种用于处理图像的装置，该装置包括：选择单元，被配置成从目标视频中选择目标图像帧，其中，目标图像帧包括至少一个目标对象图像；检测单元，被配置成将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在目标图像帧中的位置；跟踪单元，被配置成将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。
在一些实施例中，目标跟踪模型包括卷积神经网络和循环神经网络；以及跟踪单元包括：第一识别模块，被配置成将至少一个目标位置信息和目标图像帧输入卷积神经网络，得到与目标位置信息对应的图像特征信息，其中，图像特征信息用于表征目标位置信息对应的目标对象图像的特征；第二识别模块，被配置成将至少一个目标位置信息和所得到的图像特征信息输入循环神经网络，得到预测位置信息和预测位置信息对应的跟踪对象标识信息。
在一些实施例中，该装置还包括：获取单元，被配置成获取预先存储的跟踪对象图像的历史相关信息，其中，跟踪对象图像是跟踪对象标识信息指示的跟踪对象的图像，历史相关信息是与跟踪对象图像相关的、从目标视频包括的、位于目标图像帧之前的图像帧中提取的信息；确定单元，被配置成基于历史相关信息确定目标图像帧中是否包括跟踪对象图像；更新单元，被配置成响应于确定包括，将预测位置信息更新为跟踪对象图像对应的目标位置信息；第一生成单元，被配置成基于更新后的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。
在一些实施例中，该装置还包括：第二生成单元，被配置成响应于确定目标图像帧中不包括跟踪对象图像，基于输出的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。
在一些实施例中，目标跟踪模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括样本图像和样本图像对应的标注预测位置信息、标注跟踪对象标识信息，样本图像包括样本跟踪对象图像和至少一个样本目标对象图像，标注预测位置信息用于表征样本跟踪对象图像在样本图像中的位置，标注跟踪对象标识信息用于标识样本跟踪对象图像；利用机器学习方法，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息和标注跟踪对象标识信息作为期望输出，训练得到目标跟踪模型。
在一些实施例中，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，包括：从训练样本集合中选取训练样本，执行以下训练步骤：将选取的训练样本包括的样本图像输入初始模型，得到预测位置信息和跟踪对象标识信息，其中，预测位置信息用于表征样本跟踪对象图像在样本图像中的位置；将所得到的预测位置信息和跟踪对象标识信息分别与对应的标注预测位置信息和标注跟踪对象标识信息进行比较，根据比较结果确定初始模型是否训练完成；响应于确定训练完成，将初始模型确定为目标跟踪模型。
在一些实施例中，将训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，还包括：响应于确定初始模型未训练完成，调整初始模型中的相关参数，以及从训练样本集合中的、未被选取的训练样本中，选取训练样本，利用参数调整后的初始模型，继续执行训练步骤。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于处理图像的方法和装置，通过将目标视频中的目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，再将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，从而可以综合利用目标对象图像和目标位置信息，实现对跟踪对象的位置的预测，提高了预测跟踪对象的位置的准确性，以及丰富了预测跟踪对象的位置的手段。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于处理图像的方法的一个实施例的流程图；
图3是根据本申请的用于处理图像的方法的一个应用场景的示意图；
图4是根据本申请的用于处理图像的方法的又一个实施例的流程图；
图5是根据本申请的用于处理图像的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于处理图像的方法或用于处理图像的装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104、服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如拍摄类应用、图像处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有摄像功能并且支持图像显示的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的图像提供支持的后台图像处理服务器。后台图像处理服务器可以对获取的视频图像进行分析等处理，并输出处理结果(例如用于预测跟踪对象的位置的预测位置信息)。
需要说明的是，本申请实施例所提供的用于处理图像的方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，用于处理图像的装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。特别地，在目标图像帧不需要从远程获取的情况下，上述系统架构可以不包括网络，而只包括终端设备或服务器。
继续参考图2，示出了根据本申请的用于处理图像的方法的一个实施例的流程200。该用于处理图像的方法，包括以下步骤：
步骤201，从目标视频中选择目标图像帧。
在本实施例中，用于处理图像的方法的执行主体(例如图1所示的服务器或终端设备)可以从目标视频中选择目标图像帧。其中，目标视频可以是对目标对象进行拍摄得到的视频。通常，目标视频可以是上述执行主体获取的由监控摄像头拍摄的视频，或者是从与上述执行主体通信连接的其他电子设备获取的视频。上述目标对象可以是各种类型的事物，包括但不限于以下至少一种：人物、动物、植物等。目标图像帧可以是上述执行主体按照各种方式从目标视频中选择的图像帧。例如，目标图像帧可以是在上述视频播放时显示的图像帧，或者是上述执行主体根据技术人员的指定选择的图像帧。通常，目标图像帧是目标视频中的，除播放时间最早的图像帧(即第一帧)以外的图像帧。在目标图像帧中，可以包括至少一个目标对象图像。其中，目标对象图像可以是表征上述目标对象的图像。
步骤202，将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息。
在本实施例中，上述执行主体可以将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息。其中，目标位置信息用于表征目标对象图像在目标图像帧中的位置。目标检测模型用于表征包括目标对象图像的图像和目标位置信息的对应关系。
在本实施例中，上述目标检测模型可以是基于现有的目标检测网络(例如SSD(Single Shot MultiBox Detector)、DPM(Deformable Part Model)等)建立的模型。目标检测模型可以从输入其中的图像中，确定目标图像(例如人体图像、动物图像等)的位置。通常，目标检测模型输出的目标位置信息可以包括坐标信息，该坐标信息可以表征目标图像帧中的区域。例如，目标位置信息可以包括矩形框的两个对角坐标，通过两个对角坐标，可以在目标图像帧中确定一个矩形框，从而确定目标对象图像的位置。
步骤203，将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息。
在本实施例中，上述执行主体可以将步骤202中得到的至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息。其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。
通常，跟踪对象可以是与上述目标对象的类型相同或不同的对象。例如，目标图像帧中的至少一个目标对象图像中包括一个人物图像和汽车图像，则跟踪对象可以是另一与该人物图像表征的人物不同的人物。需要说明的是，上述目标图像帧中可以不包括跟踪对象的图像。可以理解,当跟踪对象被遮挡时，跟踪对象的图像可能没有出现在目标图像帧中。还需要说明的是，跟踪对象的数量可以是至少一个，相应地，跟踪对象标识信息的数量和预测位置信息的数量可以分别是至少一个。预测位置信息可以与目标位置信息相同，即当某预测位置信息与某目标位置信息相同时，表征跟踪对象为上述至少一个目标对象图像指示的各个目标对象中的其中一个目标对象。
在本实施例中，目标跟踪模型用于表征图像帧和目标位置信息与预测位置信息和跟踪对象标识信息的对应关系。目标跟踪模型可以是人工神经网络，它可以从信息处理的角度模拟人脑神经元网络，按不同的连接方式组成不同的网络。通常，人工神经网络由大量的节点(或称神经元)之间相互联接构成，每个节点代表一种特定的函数，称为激励函数。每两个节点间的连接都代表一个通过该连接信号的加权值，称之为权重(又叫做参数)，网络的输出则依网络的连接方式、权重值和激励函数的不同而不同。目标跟踪模型通常包括多个层，每个层包括多个节点，通常，同一层的节点的权重可以相同，不同层的节点的权重可以不同，故目标跟踪模型的多个层的参数也可以不同。这里，上述执行主体可以将目标图像帧和至少一个目标位置信息从目标跟踪模型的输入侧输入，依次经过目标跟踪模型中的各层的参数的处理(例如乘积、卷积等)，并从目标跟踪模型的输出侧输出，输出侧输出预测位置信息和预测位置信息对应的跟踪对象标识信息。
在本实施例中，上述执行主体或其他电子设备可以通过多种方式训练出可以表征图像帧和目标位置信息、目标对象标识信息、预测位置信息、跟踪对象标识信息的对应关系的目标跟踪模型。作为示例，上述目标跟踪模型可以是基于现有的人工神经网络(例如卷积神经网络、循环神经网络等)训练得到的模型。目标跟踪模型可以从输入其中的图像中，确定跟踪对象图像(例如人体图像、动物图像等)的位置。目标跟踪模型可以利用输入的目标图像帧中的目标对象图像的相关信息，预测出跟踪对象映射在目标图像帧中的位置。其中，上述相关信息可以包括但不限于以下至少一种：目标对象图像的目标位置信息、目标对象图像的历史位置信息(例如将播放顺序先于目标图像帧的图像帧输入上述目标跟踪模型而得到的目标对象图像的目标位置信息、目标对象图像的图像特征等)。作为示例，目标跟踪模型可以从目标图像帧中提取出目标对象图像的特征，对比存储的跟踪对象图像的特征与各个目标对象图像的特征之间的相似度，确定目标图像帧中是否包含跟踪对象图像，以及根据表征各个目标对象图像的历史位置信息之间的关系的历史位置关系数据(例如目标对象图像与跟踪对象的图像之间的连线的距离和/或连线与参考直线的角度)，对输入的至少一个目标位置信息进行计算，得到预测位置信息和跟踪对象标识信息。
在本实施例的一些可选的实现方式中，目标跟踪模型可以包括卷积神经网络和循环神经网络。上述执行主体可以按照如下步骤得到预测位置信息和预测位置信息对应的跟踪对象标识信息：
首先，将至少一个目标位置信息和目标图像帧输入卷积神经网络，得到与目标位置信息对应的图像特征信息。其中，图像特征信息用于表征目标位置信息对应的目标对象图像的特征(例如颜色特征、形状特征、纹理特征等)。具体地，卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于图像处理有出色表现。卷积神经网络可以根据输入的目标位置信息，从目标图像帧中提取出包括的至少一个目标对象图像中的每个目标对象图像的图像特征信息。
实践中，上述执行主体可以按照目标视频包括的图像帧的播放时间顺序，依次将图像帧输入目标跟踪模型包括的卷积神经网络。卷积神经网络可以从每个图像帧中，提取目标对象图像的图像特征信息。当目标视频包括的、播放时间最先的图像帧输入卷积神经网络时，卷积神经网络可以提取并存储针对该最先的图像帧的至少一个特征信息并为每个特征信息赋予标识信息(例如数字编号、文字编号等)。在将之后的图像帧输入卷积神经网络时，可以将本次提取的各个图像特征信息与之前提取的图像帧(例如播放时间先于本次输入的图像帧、且与本次输入的图像帧相邻的图像帧)的各个图像特征信息进行相似度对比，根据对比结果，确定本次提取的每个图像特征信息对应的标识信息。例如，本次提取的某个图像特征信息与之前提取的某个图像特征信息(这里称为相似特征信息)相似度大于等于预设的相似度阈值，则将本次提取的该图像特征信息对应的标识信息确定为相似特征信息对应的标识信息；如果本次提取的某特征信息与之前提取的各个特征信息的相似度均小于相似度阈值，则为该特征信息赋予新的标识信息。
然后，将至少一个目标位置信息和所得到的图像特征信息输入循环神经网络，得到预测位置信息和预测位置信息对应的跟踪对象标识信息。循环神经网络(RecurrentNeural Network，RNN)是一种节点定向连接成环的人工神经网络。这种网络的本质特征是在处理单元之间既有内部的反馈连接又有前馈连接，其内部状态可以展示动态时序行为。作为示例，循环神经网络可以根据输入的各个目标位置信息，确定表征各个目标位置信息之间的关系的位置关系数据(例如目标对象图像与跟踪对象的图像之间的连线的距离和/或该连线与参考直线的角度)，再经过循环神经网络对位置关系数据的计算，得到表征跟踪对象的位置的预测位置信息，以及输出用于标识跟踪对象的跟踪对象标识信息。
实践中，循环神经网络可以由多个子网络组成，，其中的每个子网络对应于一种信息(例如图像特征信息、目标对象图像的位置信息、表征目标对象图像的位置之间的关系的信息等)。循环神经网络可以根据目标对象图像的运动轨迹、目标对象图像的图像特征信息的变化、目标对象图像的位置信息与其他目标位置信息之间的关系的变化，预测出表征跟踪对象的位置的预测位置信息，以及输出跟踪对象标识信息。循环神经网络可以将各个子网络输出的结果进行综合分析，最终输出预测位置信息和跟踪对象标识信息。例如，每个子网络所得到的预测位置信息可以对应一个概率值，可以将各个概率值中的最大值对应的子网络输出的预测位置信息确定为最终的预测位置信息。
循环神经网络的参数可以是利用训练样本对初始循环神经网络进行训练所确定的。例如，训练神经网络所用到的训练样本可以是多个位置信息集合(例如一个位置信息集合可以是单个图像帧包括的至少一个目标对象图像的目标位置信息的集合)，循环神经网络通过计算每个位置信息集合包括的位置信息之间的关系，确定网络参数，从而得到用于预测跟踪对象的位置的循环神经网络。
在本实施例的一些可选的实现方式中，目标跟踪模型可以由上述执行主体或其他电子通过如下步骤训练得到：
首先，获取训练样本集合。其中，训练样本包括样本图像和样本图像对应的标注预测位置信息、标注跟踪对象标识信息，样本图像包括样本跟踪对象图像和至少一个样本目标对象图像，标注预测位置信息用于表征样本跟踪对象图像在样本图像中的位置，标注跟踪对象标识信息用于标识样本跟踪对象图像。训练样本包括的样本图像的数量可以是一个，也可以是多个(例如某视频片段包括的多个图像帧)，当是多个时，每个样本图像可以均包括样本跟踪对象图像，以及每个样本图像可以均对应于和标注预测位置信息和标注跟踪对象标识信息。
然后，利用机器学习方法，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息和标注跟踪对象标识信息作为期望输出，训练得到目标跟踪模型。具体地，训练得到目标跟踪模型的执行主体可以利用现有的人工神经网络，对该人工神经网络进行训练，得到目标跟踪模型。
在本实施例的一些可选的实现方式中，训练得到目标跟踪模型的执行主体可以按照如下步骤训练得到目标跟踪模型：
首先，从训练样本集合中选取训练样本，执行以下训练步骤：
步骤一，将选取的训练样本包括的样本图像输入初始模型，得到预测位置信息和跟踪对象标识信息。其中，预测位置信息用于表征样本跟踪对象图像在样本图像中的位置。上述初始模型可以是现有的各种机器学习模型(例如卷积神经网络、循环神经网络等)，初始模型可以是各种类型的未经训练或未训练完成的人工神经网络或者对多种未经训练或未训练完成的人工神经网络进行组合所得到的模型。例如，初始模型可以是未经训练的卷积神经网络，也可以是未经训练的循环神经网络，还可以是对未经训练的卷积神经网络、未经训练的循环神经网络进行组合所得到的模型。
步骤二，将所得到的预测位置信息和跟踪对象标识信息分别与对应的标注预测位置信息和标注跟踪对象标识信息进行比较，根据比较结果确定初始模型是否训练完成。在本步骤中，训练得到目标跟踪模型的执行主体可以按照预设的损失函数(例如交叉熵(cross entropy)损失函数等)，计算得到损失值。损失函数通常用来估量模型的预测值(如标注预测位置信息)与真实值(所得到的预测位置信息)的不一致程度。一般情况下，损失函数值越小，模型的鲁棒性就越好。损失函数可以根据实际需求来设置(例如可以设置多个损失函数，对多个损失函数进行加权求和)。如果所得到的损失值达到目标值，则可以确定训练完成。其中，目标值可以是预先设置的，也可以是实时确定的(例如当损失值收敛时，此时的损失值即为目标值)。
步骤三，响应于确定训练完成，将初始模型确定为目标跟踪模型。
在本实施例的一些可选的实现方式中，训练得到目标跟踪模型的执行主体可以响应于确定初始模型未训练完成，调整初始模型中的相关参数，以及从训练样本集合中的、未被选取的训练样本中，选取训练样本，利用参数调整后的初始模型，继续执行上述步骤一至步骤三。
继续参见图3，图3是根据本实施例的用于处理图像的方法的应用场景的一个示意图。在图3的应用场景中，计算机301中存储有预先获取的视频监控录像(即目标视频)，并播放该监控录像，计算机301将当前播放的图像帧确定为目标图像帧302。其中，目标图像帧包括一个人物图像3021(即目标对象图像)。然后，计算机301将目标图像帧输入预先训练的目标检测模型303，得到一个目标位置信息304(例如“300,200,150,350”，其中，“300,200”为包括人物图像3021的矩形区域左上角坐标，“150，350”为该矩形区域的长度和宽度)。然后，计算机301将目标位置信息304和目标图像帧302输入预先训练的目标跟踪模型305，得到预测位置信息306和307，以及跟踪对象标识信息308和309。其中，由于目标跟踪模型检测到人物图像3021的图像特征信息与预先存储的某人物图像的特征信息相似，且该人物图像的标识信息为“A”，则将目标位置信息304确定为预测位置信息306，将跟踪对象标识信息308确定为标识信息“A”。目标跟踪模型305对跟踪对象标识信息308表征的人物图像的历史位置信息和其他人物图像的历史位置信息之间的关系(例如标识信息“A”表征的人物图像和标识信息“B”表征的人物图像的位置保持相对固定的距离)，利用目标位置信息304和上述关系，计算得到预测位置信息307(例如“700,300,300,100”)和跟踪对象标识信息309(例如“B”)。最后，计算机可以将预测位置信息306和307，以及跟踪对象标识信息308和309分别以矩形框和文字的形式输出并显示在目标图像帧302上。由于标识信息“B”表征的人物被树遮挡，因此，预测位置信息307对应的矩形框中不包含完整的人物图像。
本申请的上述实施例提供的方法，通过将目标视频中的目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，再将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，从而可以综合利用目标对象图像和目标位置信息，实现对跟踪对象的位置的预测，提高了预测跟踪对象的位置的准确性，以及丰富了预测跟踪对象的位置的手段。
进一步参考图4，其示出了用于处理图像的方法的又一个实施例的流程400。该用于处理图像的方法的流程400，包括以下步骤：
步骤401，从目标视频中选择目标图像帧。
在本实施例中，步骤401与图2对应实施例中的步骤201基本一致，这里不再赘述。
步骤402，将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息。
在本实施例中，步骤402与图2对应实施例中的步骤202基本一致，这里不再赘述。
步骤403，将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息。
在本实施例中，步骤403与图2对应实施例中的步骤203基本一致，这里不再赘述。
步骤404，获取预先存储的跟踪对象图像的历史相关信息。
在本实施例中，用于处理图像的方法的执行主体(例如图1所示的服务器或终端设备)可以从本地或从远程获取预先存储的跟踪对象图像的历史相关信息。其中，跟踪对象图像是跟踪对象标识信息指示的跟踪对象的图像，历史相关信息是与跟踪对象图像相关的、从目标视频包括的、位于目标图像帧之前的图像帧中提取的信息。历史相关信息可以包括但不限于以下至少一种：跟踪对象图像的特征信息、表征跟踪对象图像在历史图像帧中的位置的历史位置信息、表征跟踪对象图像在历史图像帧中与其他目标对象图像的位置关系的位置关系信息。需要说明的是，历史图像帧可以是目标视频中的、位于目标图像帧之前的预设数量个图像帧。
步骤405，基于历史相关信息确定目标图像帧中是否包括跟踪对象图像。
在本实施例中，上述执行主体可以基于历史相关信息确定目标图像帧中是否包括跟踪对象图像。作为示例，上述执行主体可以利用现有的确定图像间的相似度的算法，确定目标图像帧中包括的各个目标对象图像与跟踪对象图像的相似度，如果确定出的相似度大于等于相似度阈值，则确定目标图像帧中包括跟踪对象图像。
作为另一示例，如果上述示例确定出的相似度小于相似度阈值，则可以确定预测位置信息表征的位置是否符合由跟踪对象图像的历史位置信息确定的跟踪对象的运动规律，如果符合(例如预测位置信息表征的位置处在由跟踪对象图像的历史位置信息确定的轨迹的延伸方向，且预测位置信息表征的位置与目标图像帧的上一帧包括的跟踪对象图像的位置信息表征的位置之间的距离小于等于预设距离)，则确定目标图像帧中包括跟踪对象图像。
作为另一示例，上述执行主体还可以根据表征跟踪对象图像在历史图像帧中与其他目标对象图像的位置关系的位置关系信息，确定目标图像帧中是否包括跟踪对象图像。例如，已知目标图像帧中的某目标对象图像的标识信息为“A”，跟踪对象标识信息为“B”，根据“A”对应的目标对象图像的历史位置信息和“B”对应的历史位置信息确定出“A”指示的目标对象和“B”指示的跟踪对象之间的距离约为L，如果预测位置信息表征的位置与“A”对应的目标对象图像的位置之间的距离处于L±l内(l为预设的波动范围)，则确定目标图像帧中包括跟踪对象图像。
步骤406，响应于确定包括，将预测位置信息更新为预测位置处的目标对象图像对应的目标位置信息。
在本实施例中，上述执行主体可以响应于确定目标图像帧中包括跟踪对象图像，将预测位置信息更新为跟踪对象图像对应的目标位置信息。具体地，如果目标图像帧中包括跟踪对象图像，则该跟踪对象图像即为目标对象图像，也即该跟踪对象图像具有对应的目标位置信息。
作为示例，假设所得到的预测位置信息为“C”，目标图像帧中包括跟踪对象图像，且跟踪对象图像对应的目标位置信息为“D”，将预测位置信息更新为“D”(即将“C”替换为“D”)。步骤407，基于更新后的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。
在本实施例中，上述执行主体可以基于更新后的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。其中，位置标记的类型可以包括但不限于以下至少一种：文字、线条、线框等。
作为示例，上述执行主体可以根据预测位置信息，在目标图像帧上生成线框，在线框的对应位置处(例如相框上方或线框内等位置)，可以显示有该线框对应的跟踪对象标识信息。上述各个线框和显示的标识信息即为位置标记。
作为另一示例，上述执行主体可以将预测位置信息、跟踪对象标识信息以列表的形式显示。该列表即为位置标记。
在本实施例的一些可选的实现方式中，上述执行主体可以响应于确定目标图像帧中不包括跟踪对象图像，基于输出的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。具体地，当目标图像帧中不包括跟踪对象图像时，表示此时跟踪对象可能被遮挡或图像不清晰，此时生成的位置标记可以不对应于跟踪对象图像。例如，假设位置标记为线框，则该线框中可以不包括跟踪对象图像。需要说明的是，生成位置标记的方式与步骤407中描述的方式基本相同，在此不再赘述。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于处理图像的方法的流程400突出了确定目标图像帧中是否包括跟踪对象图像以及生成位置标记的步骤。由此，本实施例描述的方案可以更加准确地预测跟踪对象的位置及生成位置标记。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于处理图像的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于处理图像的装置500包括：本申请实施例提供了一种用于处理图像的装置，该装置包括：选择单元501，被配置成从目标视频中选择目标图像帧，其中，目标图像帧包括至少一个目标对象图像；检测单元502，被配置成将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在目标图像帧中的位置；跟踪单元503，被配置成将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。
在本实施例中，选择单元501可以从目标视频中选择目标图像帧。其中，目标视频可以是对目标对象进行拍摄得到的视频。通常，目标视频可以是上述装置500获取的由监控摄像头拍摄的视频，或者是从与上述装置500通信连接的其他电子设备获取的视频。上述目标对象可以是各种类型的事物，包括但不限于以下至少一种：人物、动物、植物等。目标图像帧可以是上述选择单元501按照各种方式从目标视频中选择的图像帧。例如，目标图像帧可以是在上述视频播放时的、当前显示的图像帧，或者是上述选择单元501根据技术人员的指定选择的图像帧。通常，目标图像帧是目标视频中的，除播放时间最早的图像帧(即第一帧)以外的图像帧。在目标图像帧中，可以包括至少一个目标对象图像。其中，目标对象图像可以是表征上述目标对象的图像。
在本实施例中，检测单元502可以将目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息。其中，目标位置信息用于表征目标对象图像在目标图像帧中的位置。目标检测模型用于表征包括目标对象图像的图像和目标位置信息的对应关系。
在本实施例中，上述目标检测模型可以是基于现有的目标检测网络建立的模型。目标检测模型可以从输入其中的图像中，确定目标图像(例如人体图像、动物图像等)的位置。通常，目标检测模型输出的目标位置信息可以包括坐标信息，该坐标信息可以表征目标图像帧中的区域。例如，目标位置信息可以包括矩形框的两个对角坐标，通过两个对角坐标，可以在目标图像帧中确定一个矩形框，从而确定目标对象图像的位置。
在本实施例中，跟踪单元503可以将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息。其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象。
通常，跟踪对象可以是与上述目标对象的类型相同或不同的对象。需要说明的是，上述目标图像帧中可以不包括跟踪对象的图像。可以理解,当跟踪对象被遮挡时，跟踪对象的图像可能没有出现在目标图像帧中。还需要说明的是，跟踪对象的数量可以是至少一个，相应地，跟踪对象标识信息的数量和预测位置信息的数量可以分别是至少一个。预测位置信息可以与目标位置信息相同，即当某预测位置信息与某目标位置信息相同时，表征跟踪对象为上述至少一个目标对象图像指示的各个目标对象中的其中一个目标对象。
在本实施例中，目标跟踪模型用于表征图像帧和目标位置信息与预测位置信息和跟踪对象标识信息的对应关系。这里，上述跟踪单元503可以将目标图像帧和至少一个目标位置信息从目标跟踪模型的输入侧输入，依次经过目标跟踪模型中的各层的参数的处理(例如乘积、卷积等)，并从目标跟踪模型的输出侧输出，输出侧输出预测位置信息和预测位置信息对应的跟踪对象标识信息。
在本实施例中，上述装置500或其他电子设备可以通过多种方式训练出可以表征图像帧和目标位置信息、目标对象标识信息、预测位置信息、跟踪对象标识信息的对应关系的目标跟踪模型。作为示例，上述目标跟踪模型可以是基于现有的人工神经网络(例如卷积神经网络、循环神经网络等)训练得到的模型。目标跟踪模型可以从输入其中的图像中，确定跟踪对象图像(例如人体图像、动物图像等)的位置。目标跟踪模型可以利用输入的目标图像帧中的目标对象图像的相关信息，预测出跟踪对象映射在目标图像帧中的位置。其中，上述相关信息可以包括但不限于以下至少一种：目标对象图像的目标位置信息、目标对象图像的历史位置信息(例如将播放顺序先于目标图像帧的图像帧输入上述目标跟踪模型而得到的目标对象图像的目标位置信息、目标对象图像的图像特征等)。
在本实施例的一些可选的实现方式中，目标跟踪模型可以包括卷积神经网络和循环神经网络；以及跟踪单元503可以包括：第一识别模块(图中未示出)，被配置成将至少一个目标位置信息和目标图像帧输入卷积神经网络，得到与目标位置信息对应的图像特征信息，其中，图像特征信息用于表征目标位置信息对应的目标对象图像的特征；第二识别模块(图中未示出)，被配置成将至少一个目标位置信息和所得到的图像特征信息输入循环神经网络，得到预测位置信息和预测位置信息对应的跟踪对象标识信息。
在本实施例的一些可选的实现方式中，装置500还可以包括：获取单元(图中未示出)，被配置成获取预先存储的跟踪对象图像的历史相关信息，其中，跟踪对象图像是跟踪对象标识信息指示的跟踪对象的图像，历史相关信息是与跟踪对象图像相关的、从目标视频包括的、位于目标图像帧之前的图像帧中提取的信息；确定单元(图中未示出)，被配置成基于历史相关信息确定目标图像帧中是否包括跟踪对象图像；更新单元(图中未示出)，被配置成响应于确定包括，将预测位置信息更新为跟踪对象图像对应的目标位置信息；第一生成单元(图中未示出)，被配置成基于更新后的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。
在本实施例的一些可选的实现方式中，装置500还可以包括：第二生成单元(图中未示出)，被配置成响应于确定目标图像帧中不包括跟踪对象图像，基于输出的预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。
在本实施例的一些可选的实现方式中，目标跟踪模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括样本图像和样本图像对应的标注预测位置信息、标注跟踪对象标识信息，样本图像包括样本跟踪对象图像和至少一个样本目标对象图像，标注预测位置信息用于表征样本跟踪对象图像在样本图像中的位置，标注跟踪对象标识信息用于标识样本跟踪对象图像；利用机器学习方法，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息和标注跟踪对象标识信息作为期望输出，训练得到目标跟踪模型。
在本实施例的一些可选的实现方式中，将训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，包括：从训练样本集合中选取训练样本，执行以下训练步骤：将选取的训练样本包括的样本图像输入初始模型，得到预测位置信息和跟踪对象标识信息，其中，预测位置信息用于表征样本跟踪对象图像在样本图像中的位置；将所得到的预测位置信息和跟踪对象标识信息分别与对应的标注预测位置信息和标注跟踪对象标识信息进行比较，根据比较结果确定初始模型是否训练完成；响应于确定训练完成，将初始模型确定为目标跟踪模型。
在本实施例的一些可选的实现方式中，将训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，还包括：响应于确定初始模型未训练完成，调整初始模型中的相关参数，以及从训练样本集合中的、未被选取的训练样本中，选取训练样本，利用参数调整后的初始模型，继续执行训练步骤。
本申请的上述实施例提供的装置，通过将目标视频中的目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，再将至少一个目标位置信息和目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和预测位置信息对应的跟踪对象标识信息，从而可以综合利用目标对象图像和目标位置信息，实现对跟踪对象的位置的预测，提高了预测跟踪对象的位置的准确性，以及丰富了预测跟踪对象的位置的手段。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括选择单元、识别单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，选择单元还可以被描述为“从目标视频中选择目标图像帧的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：从目标视频中选择目标图像帧，其中，目标图像帧包括至少一个目标对象图像；将目标图像帧输入预先训练的目标跟踪模型，得到至少一个目标位置信息、目标位置信息对应的目标对象标识信息、预测位置信息、预测位置信息对应的跟踪对象标识信息，其中，预测位置信息用于表征跟踪对象映射在目标图像帧中的位置，目标位置信息用于表征目标对象图像在目标图像帧中的位置，目标跟踪模型用于表征图像帧和目标位置信息、目标对象标识信息、预测位置信息、跟踪对象标识信息的对应关系；基于所得到的目标位置信息、目标对象标识信息、预测位置信息和跟踪对象标识信息，生成用于在目标图像帧上显示的位置标记。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于处理图像的方法，包括：
从目标视频中选择目标图像帧，其中，所述目标图像帧包括至少一个目标对象图像；
将所述目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在所述目标图像帧中的位置；
将所述至少一个目标位置信息和所述目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和所述预测位置信息对应的跟踪对象标识信息，其中，所述预测位置信息用于表征跟踪对象映射在所述目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象，所述目标跟踪模型用于根据历史位置关系数据，对输入的至少一个目标位置信息进行计算，得到预测位置信息和跟踪对象标识信息，历史位置关系数据用于表征输入的至少一个目标位置信息对应的各个目标对象图像的历史位置信息之间的关系；
获取预先存储的跟踪对象图像的历史相关信息，其中，所述跟踪对象图像是所述跟踪对象标识信息指示的跟踪对象的图像，所述历史相关信息是与所述跟踪对象图像相关的、从所述目标视频包括的、位于所述目标图像帧之前的图像帧中提取的信息；
基于所述历史相关信息确定所述目标图像帧中是否包括所述跟踪对象图像；
响应于确定不包括，基于输出的预测位置信息和跟踪对象标识信息，生成用于在所述目标图像帧上显示的位置标记。
2.根据权利要求1所述的方法，其中，所述目标跟踪模型包括卷积神经网络和循环神经网络；以及
所述将所述至少一个目标位置信息和所述目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和所述预测位置信息对应的跟踪对象标识信息，包括：
将所述至少一个目标位置信息和所述目标图像帧输入所述卷积神经网络，得到与目标位置信息对应的图像特征信息，其中，图像特征信息用于表征目标位置信息对应的目标对象图像的特征；
将所述至少一个目标位置信息和所得到的图像特征信息输入所述循环神经网络，得到预测位置信息和所述预测位置信息对应的跟踪对象标识信息。
3.根据权利要求1所述的方法，其中，在所述将所述至少一个目标位置信息和所述目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和所述预测位置信息对应的跟踪对象标识信息之后，所述方法还包括：
响应于确定包括，将所述预测位置信息更新为所述跟踪对象图像对应的目标位置信息；
基于更新后的预测位置信息和跟踪对象标识信息，生成用于在所述目标图像帧上显示的位置标记。
4.根据权利要求1-3之一所述的方法，其中，所述目标跟踪模型通过如下步骤训练得到：
获取训练样本集合，其中，训练样本包括样本图像和样本图像对应的标注预测位置信息、标注跟踪对象标识信息，样本图像包括样本跟踪对象图像和至少一个样本目标对象图像，标注预测位置信息用于表征样本跟踪对象图像在样本图像中的位置，标注跟踪对象标识信息用于标识样本跟踪对象图像；
利用机器学习方法，将所述训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息和标注跟踪对象标识信息作为期望输出，训练得到目标跟踪模型。
5.根据权利要求4所述的方法，其中，所述将所述训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，包括：
从所述训练样本集合中选取训练样本，执行以下训练步骤：将选取的训练样本包括的样本图像输入初始模型，得到预测位置信息和跟踪对象标识信息，其中，预测位置信息用于表征样本跟踪对象图像在样本图像中的位置；将所得到的预测位置信息和跟踪对象标识信息分别与对应的标注预测位置信息和标注跟踪对象标识信息进行比较，根据比较结果确定初始模型是否训练完成；响应于确定训练完成，将初始模型确定为目标跟踪模型。
6.根据权利要求5所述的方法，其中，所述将所述训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，还包括：
响应于确定所述初始模型未训练完成，调整初始模型中的相关参数，以及从所述训练样本集合中的、未被选取的训练样本中，选取训练样本，利用参数调整后的初始模型，继续执行所述训练步骤。
7.一种用于处理图像的装置，包括：
选择单元，被配置成从目标视频中选择目标图像帧，其中，所述目标图像帧包括至少一个目标对象图像；
检测单元，被配置成将所述目标图像帧输入预先训练的目标检测模型，得到至少一个目标位置信息，其中，目标位置信息用于表征目标对象图像在所述目标图像帧中的位置；
跟踪单元，被配置成将所述至少一个目标位置信息和所述目标图像帧输入预先训练的目标跟踪模型，输出预测位置信息和所述预测位置信息对应的跟踪对象标识信息，其中，所述预测位置信息用于表征跟踪对象映射在所述目标图像帧中的位置，跟踪对象标识信息用于标识跟踪对象，所述目标跟踪模型用于根据历史位置关系数据，对输入的至少一个目标位置信息进行计算，得到预测位置信息和跟踪对象标识信息，历史位置关系数据用于表征输入的至少一个目标位置信息对应的各个目标对象图像的历史位置信息之间的关系；
获取单元，被配置成获取预先存储的跟踪对象图像的历史相关信息，其中，所述跟踪对象图像是所述跟踪对象标识信息指示的跟踪对象的图像，所述历史相关信息是与所述跟踪对象图像相关的、从所述目标视频包括的、位于所述目标图像帧之前的图像帧中提取的信息；
确定单元，被配置成基于所述历史相关信息确定所述目标图像帧中是否包括所述跟踪对象图像；
第二生成单元，被配置成响应于确定所述目标图像帧中不包括所述跟踪对象图像，基于输出的预测位置信息和跟踪对象标识信息，生成用于在所述目标图像帧上显示的位置标记。
8.根据权利要求7所述的装置，其中，所述目标跟踪模型包括卷积神经网络和循环神经网络；以及
所述跟踪单元包括：
第一识别模块，被配置成将所述至少一个目标位置信息和所述目标图像帧输入所述卷积神经网络，得到与目标位置信息对应的图像特征信息，其中，图像特征信息用于表征目标位置信息对应的目标对象图像的特征；
第二识别模块，被配置成将所述至少一个目标位置信息和所得到的图像特征信息输入所述循环神经网络，得到预测位置信息和所述预测位置信息对应的跟踪对象标识信息。
9.根据权利要求7所述的装置，其中，所述装置还包括：
更新单元，被配置成响应于确定包括，将所述预测位置信息更新为所述跟踪对象图像对应的目标位置信息；
第一生成单元，被配置成基于更新后的预测位置信息和跟踪对象标识信息，生成用于在所述目标图像帧上显示的位置标记。
10.根据权利要求7-9之一所述的装置，其中，所述目标跟踪模型通过如下步骤训练得到：
获取训练样本集合，其中，训练样本包括样本图像和样本图像对应的标注预测位置信息、标注跟踪对象标识信息，样本图像包括样本跟踪对象图像和至少一个样本目标对象图像，标注预测位置信息用于表征样本跟踪对象图像在样本图像中的位置，标注跟踪对象标识信息用于标识样本跟踪对象图像；
利用机器学习方法，将所述训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息和标注跟踪对象标识信息作为期望输出，训练得到目标跟踪模型。
11.根据权利要求10所述的装置，其中，所述将所述训练样本集合中的训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，包括：
从所述训练样本集合中选取训练样本，执行以下训练步骤：将选取的训练样本包括的样本图像输入初始模型，得到预测位置信息和跟踪对象标识信息，其中，预测位置信息用于表征样本跟踪对象图像在样本图像中的位置；将所得到的预测位置信息和跟踪对象标识信息分别与对应的标注预测位置信息和标注跟踪对象标识信息进行比较，根据比较结果确定初始模型是否训练完成；响应于确定训练完成，将初始模型确定为目标跟踪模型。
12.根据权利要求11所述的装置，其中，所述将所述训练样本包括的样本图像作为输入，将与输入的样本图像对应的标注预测位置信息作为期望输出，训练得到目标跟踪模型，还包括：
响应于确定所述初始模型未训练完成，调整初始模型中的相关参数，以及从所述训练样本集合中的、未被选取的训练样本中，选取训练样本，利用参数调整后的初始模型，继续执行所述训练步骤。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201810875809.7A 2018-08-03 2018-08-03 用于处理图像的方法和装置 Active CN109145781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810875809.7A CN109145781B (zh) 2018-08-03 2018-08-03 用于处理图像的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810875809.7A CN109145781B (zh) 2018-08-03 2018-08-03 用于处理图像的方法和装置

Publications (2)

Publication Number Publication Date
CN109145781A CN109145781A (zh) 2019-01-04
CN109145781B true CN109145781B (zh) 2021-05-04

Family

ID=64791509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810875809.7A Active CN109145781B (zh) 2018-08-03 2018-08-03 用于处理图像的方法和装置

Country Status (1)

Country Link
CN (1) CN109145781B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN110781711A (zh) * 2019-01-21 2020-02-11 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN111460860A (zh) * 2019-01-21 2020-07-28 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN109785385B (zh) * 2019-01-22 2021-01-29 中国科学院自动化研究所 视觉目标跟踪方法及系统
CN109784304B (zh) * 2019-01-29 2021-07-06 北京字节跳动网络技术有限公司 用于标注牙齿图像的方法和装置
CN109829435B (zh) * 2019-01-31 2023-04-25 深圳市商汤科技有限公司 一种视频图像处理方法、装置及计算机可读介质
CN110176027B (zh) * 2019-05-27 2023-03-14 腾讯科技（深圳）有限公司 视频目标跟踪方法、装置、设备及存储介质
CN110188719B (zh) * 2019-06-04 2022-03-29 北京字节跳动网络技术有限公司 目标跟踪方法和装置
CN110223325B (zh) * 2019-06-18 2021-04-27 北京字节跳动网络技术有限公司 对象跟踪方法、装置及设备
CN110287934B (zh) * 2019-07-02 2022-12-02 北京搜狐互联网信息服务有限公司 一种对象检测方法、装置、客户端及服务器
WO2021026804A1 (zh) * 2019-08-14 2021-02-18 深圳市大疆创新科技有限公司 基于云台的目标跟随方法、装置、云台和计算机存储介质
CN112926371B (zh) * 2019-12-06 2023-11-03 中国移动通信集团设计院有限公司 道路勘测方法及系统
CN111144372A (zh) * 2019-12-31 2020-05-12 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN111242973A (zh) * 2020-01-06 2020-06-05 上海商汤临港智能科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN111209869B (zh) * 2020-01-08 2021-03-12 重庆紫光华山智安科技有限公司 基于视频监控的目标跟随显示方法、系统、设备及介质
CN111814768B (zh) * 2020-09-02 2020-12-29 中国医学科学院北京协和医院 基于ai复合模型的图像识别方法、装置、介质和设备
US20220092313A1 (en) * 2020-09-24 2022-03-24 Baidu Usa Llc Method for deep neural network functional module deduplication
CN112258556A (zh) * 2020-10-22 2021-01-22 北京字跳网络技术有限公司 视频中指定区域的跟踪方法、装置、可读介质和电子设备
CN113312951B (zh) * 2020-10-30 2023-11-07 阿里巴巴集团控股有限公司 动态视频目标跟踪系统、相关方法、装置及设备
CN112525163A (zh) * 2020-11-23 2021-03-19 嘉兴聚林电子科技有限公司 穿孔机打穿检测系统、方法、装置、控制设备和存储介质
CN112836568B (zh) * 2020-12-08 2024-08-23 北京迈格威科技有限公司 位置预测方法、装置、电子设备及可读存储介质
CN113065392A (zh) * 2021-02-24 2021-07-02 苏州盈科电子有限公司 一种机器人的跟踪方法和装置
CN118762058A (zh) * 2021-08-16 2024-10-11 支付宝(杭州)信息技术有限公司 一种目标跟踪方法、装置及设备
CN113837977B (zh) * 2021-09-22 2024-05-10 马上消费金融股份有限公司 对象跟踪方法、多目标跟踪模型训练方法及相关设备
CN114758243B (zh) * 2022-04-29 2022-11-11 广东技术师范大学 基于补充训练与双类位置预测的茶叶采摘方法和装置
CN116246205B (zh) * 2023-02-27 2024-04-19 杭州数尔安防科技股份有限公司 一种船只跟踪及文字识别的优化方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808122A (zh) * 2017-09-30 2018-03-16 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN108230354A (zh) * 2017-05-18 2018-06-29 深圳市商汤科技有限公司 目标跟踪、网络训练方法、装置、电子设备和存储介质
CN108320297A (zh) * 2018-03-09 2018-07-24 湖北工业大学 一种视频目标实时跟踪方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230354A (zh) * 2017-05-18 2018-06-29 深圳市商汤科技有限公司 目标跟踪、网络训练方法、装置、电子设备和存储介质
CN107808122A (zh) * 2017-09-30 2018-03-16 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN108320297A (zh) * 2018-03-09 2018-07-24 湖北工业大学 一种视频目标实时跟踪方法及系统

Also Published As

Publication number Publication date
CN109145781A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109145781B (zh) 用于处理图像的方法和装置
CN108985259B (zh) 人体动作识别方法和装置
CN108520220B (zh) 模型生成方法和装置
CN110503074B (zh) 视频帧的信息标注方法、装置、设备及存储介质
US10565442B2 (en) Picture recognition method and apparatus, computer device and computer- readable medium
CN109117831B (zh) 物体检测网络的训练方法和装置
JP7335274B2 (ja) ジオロケーションの予測のためのシステムおよび方法
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
CN108898186B (zh) 用于提取图像的方法和装置
CN109858445B (zh) 用于生成模型的方法和装置
US10853623B2 (en) Method and apparatus for generating information
CN108830235B (zh) 用于生成信息的方法和装置
CN108416323B (zh) 用于识别人脸的方法和装置
CN109492128B (zh) 用于生成模型的方法和装置
CN108280477B (zh) 用于聚类图像的方法和装置
CN109376267B (zh) 用于生成模型的方法和装置
CN109740018B (zh) 用于生成视频标签模型的方法和装置
CN109389072B (zh) 数据处理方法和装置
CN110245579B (zh) 人流密度预测方法及装置、计算机设备及可读介质
CN109829432B (zh) 用于生成信息的方法和装置
CN108509921B (zh) 用于生成信息的方法和装置
CN112132847A (zh) 模型训练方法、图像分割方法、装置、电子设备和介质
CN109389096B (zh) 检测方法和装置
CN108510084B (zh) 用于生成信息的方法和装置
CN110443824A (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.