CN115661444A - 图像处理方法、装置、设备、存储介质及产品 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、设备、存储介质及产品，属于计算机技术领域。所述方法包括：获取第一图像中的目标对象对应的第一图像区域以及目标对象对应的区域图像模板；根据第一图像区域定位目标对象在第二图像中对应的图像搜索区域；将区域图像模板与图像搜索区域进行对比，得到目标对象在图像搜索区域对应的定位结果。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，通过获取目标对象在第一图像中对应的图像区域，可以定位出目标对象在第一图像之后的第二图像中对应的搜索区域，将目标对象对应的区域图像模板与上述搜索区域进行对比，即可得到目标对象在该搜索区域对应的定位结果，提升了目标追踪准确性。

Description

图像处理方法、装置、设备、存储介质及产品

技术领域

本申请涉及计算机技术领域，特别涉及一种图像处理方法、装置、设备、存储介质及产品。

背景技术

随着计算机技术与人工智能的发展，目标检测追踪在多种领域和场景中得到广泛应用。例如，地图道路数据采集场景中针对地图要素的检测追踪。

相关技术中，首先利用训练好的分类神经网络对采集的道路图像进行多种类的目标识别，对于识别出的目标，再根据图像像素的梯度信息进行识别目标的追踪。

相关技术中，目标追踪的准确性较低。

发明内容

本申请实施例提供了一种图像处理方法、装置、设备、存储介质及产品，能够提升目标追踪的准确性。

根据本申请实施例的一个方面，提供了一种图像处理方法，所述方法包括：

获取第一图像中的目标对象对应的第一图像区域以及所述目标对象对应的区域图像模板；

根据所述第一图像区域定位所述目标对象在第二图像中对应的图像搜索区域，所述第二图像是所述第一图像之后的图像；

将所述区域图像模板与所述图像搜索区域进行对比，得到所述目标对象在所述图像搜索区域对应的定位结果。

在一些可能的设计中，所述图像搜索区域包括至少两个子区域，所述将所述区域图像模板与所述图像搜索区域进行对比，得到所述目标对象在所述图像搜索区域对应的定位结果，包括：

基于所述区域图像模板对所述至少两个子区域进行空间度量处理，得到所述至少两个子区域各自对应的空间度量值，每一子区域对应的空间度量值表征所述子区域对应的区域图像与所述区域图像模板之间的相似程度；

根据所述至少两个子区域各自对应的空间度量值，在所述至少两个子区域中查找所述区域图像模板对应的目标子区域；

在查找到所述目标子区域的情况下，根据所述目标子区域确定所述目标对象在所述图像搜索区域中对应的第二图像区域，所述第二图像区域为所述定位结果。

在一些可能的设计中，所述基于所述区域图像模板对所述至少两个子区域进行空间度量处理，得到所述至少两个子区域各自对应的空间度量值，包括：

对所述区域图像模板和所述图像搜索区域进行特征提取处理，得到所述区域图像模板对应的第一图像特征和所述图像搜索区域对应的第二图像特征；

将所述第一图像特征作为卷积核，对所述第二图像特征进行卷积处理，得到特征图，所述特征图包括所述至少两个子区域各自对应的像素点，每一像素点对应的像素值为相应子区域对应的空间度量值。

在一些可能的设计中，所述根据所述第一图像区域定位所述目标对象在第二图像中对应的图像搜索区域，包括：

确定所述第二图像中与所述第一图像区域对应的定位框；

对所述定位框进行扩展处理，得到所述图像搜索区域。

在一些可能的设计中，所述获取第一图像中的目标对象对应的第一图像区域以及所述目标对象对应的区域图像模板，包括：

对所述第一图像进行对象检测处理，得到所述第一图像区域；

在所述第一图像中提取所述第一图像区域对应的区域图像；

将所述区域图像确定为所述区域图像模板。

在一些可能的设计中，所述对所述第一图像进行对象检测处理，得到所述第一图像区域，包括：

对所述第一图像进行特征提取处理，得到所述第一图像对应的图像特征；

基于所述图像特征进行候选框生成处理，得到所述第一图像对应的候选框；

对所述候选框进行目标检测处理，得到所述目标对象对应的位置框，所述位置框表征所述第一图像区域。

在一些可能的设计中，所述定位结果为所述目标对象在所述图像搜索区域中对应的第二图像区域，所述方法还包括：

确定所述第二图像对应的图像帧号；

在所述图像帧号符合模板更新条件的情况下，在所述第二图像中提取所述第二图像区域对应的区域图像；

基于所述第二图像区域对应的区域图像对所述区域图像模板进行更新，得到更新后的区域图像模板。

在一些可能的设计中，所述方法还包括：

获取所述目标对象对应的对象信息以及所述第二图像对应的坐标数据，所述坐标数据表征采集所述第二图像的地理位置；

基于所述对象信息和所述坐标数据，生成地图数据。

根据本申请实施例的一个方面，提供了一种图像处理装置，所述装置包括：

对象信息获取模块，用于获取第一图像中的目标对象对应的第一图像区域以及所述目标对象对应的区域图像模板；

搜索区域确定模块，用于根据所述第一图像区域定位所述目标对象在第二图像中对应的图像搜索区域，所述第二图像是所述第一图像之后的图像；

目标对象定位模块，用于将所述区域图像模板与所述图像搜索区域进行对比，得到所述目标对象在所述图像搜索区域对应的定位结果。

在一些可能的设计中，所述图像搜索区域包括至少两个子区域，所述目标对象定位模块，包括：

空间度量值确定单元，用于基于所述区域图像模板对所述至少两个子区域进行空间度量处理，得到所述至少两个子区域各自对应的空间度量值，每一子区域对应的空间度量值表征所述子区域对应的区域图像与所述区域图像模板之间的相似程度；

目标子区域确定单元，用于根据所述至少两个子区域各自对应的空间度量值，在所述至少两个子区域中查找所述区域图像模板对应的目标子区域；

对象区域定位单元，用于在查找到所述目标子区域的情况下，根据所述目标子区域确定所述目标对象在所述图像搜索区域中对应的第二图像区域，所述第二图像区域为所述定位结果。

在一些可能的设计中，所述空间度量值确定单元，包括：

图像特征提取子单元，用于对所述区域图像模板和所述图像搜索区域进行特征提取处理，得到所述区域图像模板对应的第一图像特征和所述图像搜索区域对应的第二图像特征；

特征图生成子单元，用于将所述第一图像特征作为卷积核，对所述第二图像特征进行卷积处理，得到特征图，所述特征图包括所述至少两个子区域各自对应的像素点，每一像素点对应的像素值为相应子区域对应的空间度量值。

在一些可能的设计中，所述搜索区域确定模块，包括：

定位框确定单元，用于确定所述第二图像中与所述第一图像区域对应的定位框；

搜索区域定位单元，用于对所述定位框进行扩展处理，得到所述图像搜索区域。

在一些可能的设计中，所述对象信息获取模块，包括：

目标对象检测单元，用于对所述第一图像进行对象检测处理，得到所述第一图像区域；

区域图像提取单元，用于在所述第一图像中提取所述第一图像区域对应的区域图像；

图像模板确定单元，用于将所述区域图像确定为所述区域图像模板。

在一些可能的设计中，所述目标对象检测单元，包括：

特征提取单元，用于对所述第一图像进行特征提取处理，得到所述第一图像对应的图像特征；

候选框生成单元，用于基于所述图像特征进行候选框生成处理，得到所述第一图像对应的候选框；

目标检测单元，用于对所述候选框进行目标检测处理，得到所述目标对象对应的位置框，所述位置框表征所述第一图像区域。

在一些可能的设计中，所述定位结果为所述目标对象在所述图像搜索区域中对应的第二图像区域，所述装置还包括：

图像帧号确定模块，用于确定所述第二图像对应的图像帧号；

区域图像提取模块，用于在所述图像帧号符合模板更新条件的情况下，在所述第二图像中提取所述第二图像区域对应的区域图像；

对象模板更新模块，用于基于所述第二图像区域对应的区域图像对所述区域图像模板进行更新，得到更新后的区域图像模板。

在一些可能的设计中，所述装置还包括：

对象数据获取模块，用于获取所述目标对象对应的对象信息以及所述第二图像对应的坐标数据，所述坐标数据表征采集所述第二图像的地理位置；

地图数据获取模块，用于基于所述对象信息和所述坐标数据，生成地图数据。

根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像处理方法。

根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像处理方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行以实现上述图像处理方法。

本申请实施例提供的技术方案可以带来如下有益效果：

通过获取目标对象在第一图像中对应的图像区域，可以定位出目标对象在第一图像之后的第二图像中对应的搜索区域，将目标对象对应的区域图像模板与上述搜索区域进行对比，即可得到目标对象在该搜索区域对应的定位结果，从而实现精准度较高的目标追踪。尤其是在目标对象种类多或采集图像质量不稳定的场景下，针对单帧图像的目标检测容易出现错误、产生误检，本申请实施例通过使用区域图像模板对搜索区域进行对比的方式追踪目标对象，能够大幅降低目标追踪对目标检测精度和图像质量的依赖，有效提升了目标追踪的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的应用程序运行环境的示意图；

图2是本申请一个实施例提供的图像处理方法的流程图一；

图3是本申请一个实施例提供的图像处理方法的流程图二；

图4示例性示出了一种检测目标对象的流程示意图；

图5是本申请一个实施例提供的图像处理方法的流程图三；

图6示例性示出了一种预设框的示意图；

图7示例性示出了一种基于候选框检测目标对象的流程示意图；

图8示例性示出了一种基于区域图像模板对图像搜索区域进行空间度量的流程示意图；

图9示例性示出了在示例图像序列中追踪目标对象的示例示意图；

图10示例性示出了一种基于空间度量进行目标追踪的整体技术流程图；

图11是本申请一个实施例提供的图像处理装置的框图；

图12是本申请一个实施例提供的计算机设备的结构框图一；

图13是本申请一个实施例提供的计算机设备的结构框图二。

具体实施方式

本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。本申请实施例提供的图像处理方法涉及人工智能技术，下面对此进行简要说明，以便于本领域技术人员理解。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，其示出了本申请一个实施例提供的应用程序运行环境的示意图。该应用程序运行环境可以包括：终端10和服务器20。

终端10包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备等电子设备。终端10中可以安装应用程序的客户端。

在本申请实施例中，上述应用程序可以是任何能够进行图像处理的应用程序。典型地，该应用程序为智能交通类应用程序。当然，除了智能交通类应用程序之外，其它类型的应用程序中也可以进行图像处理。例如，地图类应用程序、导航类应用程序、相机类应用程序、社交类应用程序、互动娱乐类应用程序、浏览器应用程序、虚拟现实(VirtualReality，VR)类应用程序、增强现实(Augmented Reality，AR)类应用程序等，本申请实施例对此不作限定。另外，对于不同的应用程序来说，在图像中检测和追踪的目标对象也会有所不同，这都可以根据实际需求预先进行配置，本申请实施例对此不作限定。可选地，终端10中运行有上述应用程序的客户端。

服务器20用于为终端10中的应用程序的客户端提供后台服务。例如，服务器20可以是上述应用程序的后台服务器。服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地，服务器20同时为多个终端10中的应用程序提供后台服务。

可选地，终端10和服务器20之间可通过网络30进行互相通信。终端10以及服务器20可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在介绍本申请提供的方法实施例之前，先对本申请方法实施例中可能涉及的应用场景、相关术语或者名词进行简要介绍，以便于本申请领域技术人员理解。

图像要素：地图数据图像中的有用物理点信息，例如交通限制牌、限速牌，电子眼等。上述图像要素可以是本申请实施例中检测和追踪的目标对象。

卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(Deep Learning)的代表算法之一。在本申请实施例中，通过上述卷积神经网络可以提取图像特征检测目标对象。

分类网络：利用神经网络进行图像要素类别识别，输入为图像数据，输出为图像中包含的要素类别。

目标追踪：在一条图像序列中，在某一帧图像检测到一个目标后，后续图像帧中保持对该目标的追踪。

特征相似度：评定两个空间特征相似程度的一种度量。例如用距离，角度等来衡量相似程度。

请参考图2，其示出了本申请一个实施例提供的图像处理方法的流程图一。该方法可应用于计算机设备中，所述计算机设备是指具备数据计算和处理能力的电子设备，如各步骤的执行主体可以是图1所示的应用程序运行环境中的终端10或服务器20。该方法可以包括以下几个步骤(210～230)。

步骤210，获取第一图像中的目标对象对应的第一图像区域以及目标对象对应的区域图像模板。

可选地，上述目标对象是从第一图像中检测出的对象。

可选地，第一图像位于图像序列中。可选地，图像序列是拍摄设备对目标场景进行拍摄的得到的。比如，车载拍摄设备对车辆行驶前方的道路进行拍照，形成上述图像序列。

上述目标对象可以是需要识别检测的任意图像要素，图像要素是指图像中有用的物理点信息，本申请实施例对目标对象的种类不作限定。在一种可能的实施方式中，比如在地图道路数据采集场景，上述目标对象可以包括需要被识别的地图要素对象，包括但不限于交通标识牌、交通工具、行人、建筑物、电子眼等对象。

检测上述目标对象的方式可以有多种，本申请实施例对此不作限定。在一种可能的情况下，上述第一图像可以是图像序列中检测出目标对象的首帧图像。相应地，如图3所示，上述方法包括如下步骤(205～207)，图3示出了本申请一个实施例提供的图像处理方法的流程图二。

步骤211，对第一图像进行对象检测处理，得到第一图像区域。

上述第一图像区域是指目标对象在第一图像中所在的区域，本申请实施例对上述第一图像区域的尺寸、形状不作限定。第一图像区域可以是矩形框，也可以是根据目标对象的轮廓分割出的边缘框。

可选地，利用深度学习和卷积神经网络对图像序列中的图像(比如上述第三图像)进行特征提取，得到图像特征；基于上述图像特征检测图像中出现的目标对象，并给出每个目标对象对应的边框。上述边框即可表征目标对象在第一图像中对应的第一图像区域。

下面结合具体的应用场景对上述对象检测处理进行介绍。地图道路数据采集场景是本申请实施例的主要应用场景之一，地图道路数据采集场景下的主要任务包括检测地图数据图像中的交通要素对象(一类目标对象)。在本申请实施例中，为了检测采集的地图数据图像中是否包括需要被识别的交通要素对象，设备可利用深度学习和卷积神经网络对采集到图像进行特征提取，从而检测图像中出现的交通要素对象，并给出每个交通要素对象对应的边框。

下面结合地图道路数据采集场景中具体的示例，介绍上述流程。如图4所示，其示例性示出了一种检测目标对象的流程示意图。其中，图像41是车载拍照设备对车辆行驶前方的道路进行拍照得到的图像序列中的图像，将图像41输入训练好的卷积神经网络，基于训练好的卷积神经网络对图像41进行特征提取，从而可以检测到图像41中的交通标识牌42，并且可以标定该交通标识牌42对应的边框43。

在一种可能的实施方式中，如图5所示，上述步骤211可以包括如下步骤(2111～2113)，图5示出了本申请一个实施例提供的图像处理方法的流程图三。

步骤2111，对第一图像进行特征提取处理，得到第一图像对应的图像特征。

可选地，对第一图像进行卷积处理，得到第一图像对应的卷积特征；对卷积特征进行归一化处理，得到归一化特征；对归一化特征进行非线性映射处理，得到上述第一图像对应的图像特征。

可选地，上述图像特征是第一图像对应的特征图。

在一种可能的实施方式中，将上述第三图像输入预先训练好的机器学习模型，机器学习模型包括卷积层Convolution,归一化层Batch Normalization(BN)和激活层Relu组成。卷积层负责提取边缘纹理等基本特征。归一化层负责将卷积层提取的特征按照正态分布进行归一化处理，过滤掉特征中的噪声特征，使得模型的训练收敛更加快速。激活层则负责对卷积层提取的特征进行非线性映射，加强模型的泛化能力。

步骤2112，基于图像特征进行候选框生成处理，得到第一图像对应的候选框。

可选地，上述图像特征为特征图，特征图包括至少一个特征点。针对每一特征点，可以将特征点作为预设框对应的中心点，从而将预设框定位至上述特征图，从而得到每一特征点对应的候选框。上述第一图像对应的候选框可以包括全部特征点对应的候选框，也可以包括部分特征点对应的候选框，本申请实施例对此不作限定。

在一个示例中，如图6所示，其示例性示出了一种预设框的示意图。图6中示出了长宽比分别为1：1、2：1、1：2三种比例，尺度分别为1、2、3的9个预设框。对于提取出的图像特征，以每一个特征点作为中心点，都可以从上述预设的9个预设框中选取部分或者全部的预设框作为特征点对应的候选框。

步骤2113，对候选框进行目标检测处理，得到目标对象对应的位置框。

可选地，上述位置框表征第一图像区域。

在一种可能的实施方式中，确定上述候选框对应的区域特征；基于上述区域特征进行对象检测处理，可以得到候选框对应于预设对象类型的第一概率，该第一概率表征候选框对应的图像区域属于预设对象类型的目标对象的可能性；根据各个候选框对应的第一概率，确定目标对象以及目标对象对应的位置框。

具体地，可以将概率值大于预设概率阈值的候选框确定为目标候选框；确定目标候选框对应的最大概率值；进而确定最大概率值对应的对象类型为目标候选框对应的目标对象类型；由此即可确定目标候选框是目标对象类型的目标对象对应的位置框。或者，在该候选框的基础上进一步定位目标对象类型的目标对象对应的位置框。

在另一种可能的实施方式中，上述基于上述区域特征进行对象检测处理后，输出的是候选框对应的第二概率值，该概率值对表征候选框对应的图像区域中存在目标对象的可能性，并不对对象类别作区分。基于第二概率值可以确定出对应有目标对象存在的候选框，即检测到了目标对象在图像中的位置；此后，可通过内容匹配与空间势场精确识别的方法来识别目标对象对应的具体类型，解决相关技术中分类网络覆盖不到的类别识别以及识别错误的问题，提升了目标检测的准确率。

在一个示例中，如图7所示，其示例性示出了一种基于候选框检测目标对象的流程示意图。对于图像序列中的任一图像71，可将其输入预设的已训练好的卷积神经网络进行对象检测。该卷积神经网络的网络结构主要分为特征提取网络层(Conv layers)72、候选框预测网络(Region Proposal Network)层74两部分。

上述特征提取网络层72主要由卷积(Convolution)层、归一化(BatchNormalization，BN)层和激活(Relu)层组成。其中，卷积层负责提取图像中的边缘纹理等基本特征。归一化层负责将卷积层提取的特征按照正态分布进行归一化处理，过滤掉特征中的噪声特征，使得模型的训练收敛更加快速。激活层则负责对卷积层提取的特征进行非线性映射，加强模型的泛化能力。

上述候选框预测网络层74基于提取出的特征图，以其中每一个特征点作为中心点，将上述图6所示的预设的9个候选框定位在特征图73中，从而得到用于进行对象检测的候选框。

将上述对应有候选框的特征图75输入至池化层进行池化处理后，即可根据池化后的特征图对候选框进行对象分类，从而得到各个候选框对应的对象类别，以此将目标对象从输入的图像71检测出来，得到类似于图4中图像41对应的检测结果。

本申请实施例提供的技术方案，通过选取候选框的方式检测目标对象，有利于提升目标检测的准确性。尤其是在地图要素识别过程中，容易出现采集图像质量较差、地图要素众多且样本不均衡等问题，相关技术中利用简单分类网络会产生大量误检、识别类型错误等问题。相比于相关技术中使用分类网络检测目标对象，通过选取候选框检测目标对象的方式无需直接对整个图像进行检测，更加适用于多种类的目标检测，而且对于图像质量要求也低于分类网络，目标检测的准确性能够得到有效提升。

步骤212，在第一图像中提取第一图像区域对应的区域图像。

由于在上述第一图像中检测出目标对象，那么在检测后续图像时，需要判断该目标对象是否存在于后续的待检测图像中，由此可以将已检测图像中检测出的目标对象，确定为后续待检测的图像对应的待追踪对象，并提取目标对象在第一图像中对应的区域图像辅助在后续图像中进行目标追踪。

步骤213，将区域图像确定为区域图像模板。

确定出目标对象在第一图像中的位置区域之后，例如位置框等，可以根据该位置区域在第一图像中截取一个区域图像作为目标对象对应的区域图像模板，即追踪模板。上述区域图像模板是空间度量的参考模板，用于在后续图像中进行针对目标对象的追踪定位，即在后续确定的图像搜索区域中搜索目标对象的参考模板。

上述区域图像模板可以是从目标对象在各个已检测图像中对应的区域图像中选出的图像模板。

在第一图像是图像序列中检测出上述目标对象的首帧图像的情况下，上述第一图像区域对应的区域图像是目标对象对应的初始的区域图像模板。

在另一种情况下，第一图像不是图像序列中检测出上述目标对象的首帧图像，但在第一图像中追踪到上述目标对象，此时并不一定将第一图像区域对应的区域图像确定为区域图像模板。

可选地，上述区域图像模板对应的源图像是根据预设的模板更新条件最新确定出的图像。在一种可能的实施方式中，为了实时追踪目标对象形态的变化，可以定期更新区域图像模板。那么相应地，上述模板更新条件可以是每隔预设间隔更新区域图像模板的条件。例如，每隔4帧图像，进行一次模板更新。对于区域图像模板，这里也不要求必须是第一图像中的，

在获取上述区域图像模板时，获取的是当前最新的区域图像模板。

本申请实施例提供的技术方案中，一旦检测出图像出现新的目标对象，即可根据该目标对象的检测位置区域提取出用于空间度量的追踪模板，提升了空间度量的准确性和实时性。

步骤220，根据第一图像区域定位目标对象在第二图像中对应的图像搜索区域。

可选地，上述第二图像是第一图像之后的图像。

由于拍摄具有连续性，同一对象在相邻帧之间的移动变化范围不会过大，因此可以根据目标对象在已检测图像(如上述第一图像)中对应的位置区域去估计目标对象在待检测图像中对应的出现范围，上述图像搜索区域即表征第二图像中出现目标对象的范围。同时，还是由于拍摄具有连续性，图像搜索区域无需设置过大。

在一种可能的实施方式中，第一图像是第二图像的上一帧图像，这样在定位图像搜索区域时，所采用依据是目标对象在上一帧图像的图像区域，实时性较高。

当然，上述第一图像也可以不是第二图像的上一帧图像。第二图像可以是位于第二图像之前预设距离内的任一个图像。该预设距离可以根据实际情况进行设置。这样，即使第二图像对应的上一图像不是第一图像，由于上述预设距离存在，设备也可以根据目标对象在第一图像中对应的图像区域定位出第二图像中的图像搜索区域，这样可以无需频繁定位图像搜索区域，降低设备运行压力。

在示例性实施例中，如图3所示，上述步骤220可以包括如下步骤(221～222)。

步骤221，确定第二图像中与第一图像区域对应的定位框。

上述第一图像区域可以由其对应的定位框表征。例如，在第一图像区域是异形区域的情况下，可以确定该异形区域对应的最小矩形框作为上述定位框。

步骤222，对定位框进行扩展处理，得到图像搜索区域。

可选地，根据预设的比例对上述定位框进行扩大，得到上述图像搜索区域。

可选地，进行扩展处理时，获取目标对象对应的定位轨迹，根据上述定位轨迹对定位框进行扩展，得到上述图像搜索区域。

本申请实施例提供的技术方案，通过第一图像区域确定定位框，再通过扩展定位框确定图像搜索区域，有利于降低确定图像搜索区域的复杂度和空间度量的复杂度，提升空间度量处理效率。

步骤230，将区域图像模板与图像搜索区域进行对比，得到目标对象在图像搜索区域对应的定位结果。

以上述区域图像模板作为参考，可以将其与图像搜索区域内的图像内容进行对比，如在图像搜索区域内搜索与上述区域图像模板相似的相似区域。若图像搜索区域内存在与区域图像模板相似的相似区域，即可认为目标对象出现在该区域，实现了在第二图像中追踪定位上述目标对象；若图像搜索区域内不存在与区域图像模板相似的相似区域，即可认为目标对象未出现在上述图像搜索区域。由于图像搜索区域是目标对象在第二图像中出现的最大合理范围，如果图像搜索区域中未搜索到上述目标对象，则可以确定目标对象移出图像外。

上述相似区域是指图像搜索区域内与区域图像模板之间的相似度高于相似度阈值的区域。

需要说明的是，上述获取的区域图像模板与第一图像区域之间是相互独立的，可能存在一致的情况。比如，每隔4帧更新一次模板，图像序列中第1帧检测出目标对象，第2帧、第3帧追踪到目标对象，那在对第4帧检测时，定位搜索区域所使用的图像区域可以是目标对象在第3帧中对应的图像区域，但所获取的模板仍然可以是根据目标对象在第1帧中对应的图像区域提取出的区域图像模板。若在第4帧也检测出目标对象，那么此时该进行模板更新，就将目标对象在第4帧中对应的区域图像更新为最新的区域图像模板，那在对第5帧检测时，定位搜索区域所使用的图像区域可以是目标对象在第4帧中对应的图像区域，区域图像模板也是目标对象在第4帧中对应的区域图像，这时虽然存在一致，但在选择第一图像区域和区域图像模板时是相互独立的，两者没有绑定关系。

在示例性实施例中，上述图像搜索区域包括至少两个子区域；相应地，如图3所示，上述步骤230可以包括如下步骤(231～233)。

步骤231，基于区域图像模板对至少两个子区域进行空间度量处理，得到至少两个子区域各自对应的空间度量值。

可选地，上述空间度量处理是指在颜色空间上度量区域图像模板与图像搜索区域中各子区域之间相似度的处理。通过空间度量的方式在第二图像中追踪之前检测出的目标对象，仅需对比区域图像模板和图像搜索区域，并不依赖当前图像帧对应的目标检测结果，大大减低了目标追踪对目标检测精度的依赖。与此同时，即使采集的图像质量较低，也不会对空间度量的准确性造成较大影响，这是因为同一图像在两个图像质量均较低的图像中对应的区域图像仍是相似的，从而降低了目标追踪对图像质量的依赖。

尤其是在地图道路数据采集过程中，会产生图像质量较差、地图要素种类多等问题，相关技术中使用的分类网络在此条件下进行目标检测是极易产生误检的，错误率很高，而相关技术中进行目标追踪又依赖于单帧目标检测结果，目标追踪准确性也会随之降低。而本申请实施例通过引入区域图像模板对搜索区域进行空间度量的方式，可以同时降低目标追踪对目标检测精度和图像质量的双重依赖。

如果度量出图像搜索区域内有与区域图像模板相似的子区域，即可在图像搜索区域中定位出上述目标对象，该区域即可是上述定位结果。如果未在图像搜索区域内度量出与区域图像模板相似的区域，即可认定该目标对象已经移出拍摄范围，将定位结果标定为无，从而结束对目标对象的追踪。同时，在定位出上述目标对象的情况下，可以将该目标对象继续确定为下一图像对应的待追踪对象。

其中，每一子区域对应的空间度量值表征子区域对应的区域图像与区域图像模板之间的相似程度。

可选地，上述空间度量值是区域图像模板对应图像特征与子区域对应的图像特征之间的特征相似度。

在一种可能的实施方式中，如图5所示，上述步骤231包括如下步骤(231a～231b)。

步骤231a，对区域图像模板和图像搜索区域进行特征提取处理，得到区域图像模板对应的第一图像特征和图像搜索区域对应的第二图像特征。

可选地，将区域图像模板与图像搜索区域经过相同的卷积神经网络层进行特征提取，得要区域图像模板对应的第一特征图，以及图像搜索区域对应的第二特征图。上述第一图像特征可以是上述第一特征图，上述第二图像特征可以上述第二特征图。

步骤231b，将第一图像特征作为卷积核，对第二图像特征进行卷积处理，得到特征图。

上述特征图包括至少两个子区域各自对应的像素点，每一像素点对应的像素值为相应子区域对应的空间度量值。

相应地，上述各个子区域即是根据卷积核在卷积时所处的不同移动位置确定的子区域。特征图中像素点对应的像素值越大，即空间度量值越大，表示该像素点对应的子区域与区域图像模板之间的相似度越高，超过阈值时即可认为追踪到目标对象，且该子区域即为目标对象所在区域。

在一个示例中，如图8所示，其示例性示出了一种基于区域图像模板对图像搜索区域进行空间度量的流程示意图。上述空间度量可以基于空间度量神经网络实现。在图8中，空间度量神经网络结构的输入为追踪模板81和图像搜索区域82。其中，追踪模板81是目标对象83对应的区域图像模板。

将追踪模板81与图像搜索区域82经过相同的卷积神经网络层进行特征提取，得要追踪模板81对应的特征图84和图像搜索区域82对应的特征图85；接着，用特征图84作为卷积核对特征图85进行卷积，即可计算出上述空间度量值。空间度量值越大，表示区域相似度越高，即在图像搜索区域82中追踪到目标对象83。

下面结合具体的数据表示对上述卷积计算特征图的过程进行介绍，以便于本领域技术人员理解。在得到了图像搜索区域的第二图像特征θ和区域图像模板的第一图像特征

后，区域图像模板的第一图像特征的特征维度为w×h×d，d表示特征深度，w和h分别表示特征图的宽、高维度。如果图像搜索区域为区域图像模板的3倍大，则图像搜索区域的第二图像特征的特征维度为3w×3h×d。将区域图像模板的第一图像特征

作为卷积核，其中卷积核参数量则为图像特征

的大小，即w×h×d；将其对图像搜索区域的图像特征θ进行卷积，可以得到3×3×1维度的特征图γ，即

该特征图中各像素点对应的像素值表示的含义为像素点在图像搜索区域中对应的位置区域与区域图像模板之间的特征相似度。图像特征越相似，则输出的特征值越大。通过该种卷积方式，能够很好的计算出图像模板与搜索区域的相似程度，从而准确地追踪上述移动的待追踪目标对象。

由此可见，空间度量方法的优势在于：增加区域图像模板分支的作用相当于在卷积神经网络中增加人为先验知识，从而指导神经网络的学习，增加模型的辨识能力。通过设计空间度量方法这样一个输出，能够在原有输出待识别图像特征向量的基础上，增加模型的调控力。通过将模板特征作为卷积核参数，对目标搜索区域进行卷积提取，可以准确找到相似度最高的区域，即找到后续追踪目标，提高模型的准确率。

步骤232，根据至少两个子区域各自对应的空间度量值，在至少两个子区域中查找区域图像模板对应的目标子区域。

可选地，将至少两个子区域各自对应的空间度量值与预设的度量值阈值进行比较，筛选出空间度量值大于等于上述度量值阈值的子区域；将空间度量值大于等于上述度量值阈值的子区域确定为区域图像模板对应的目标子区域。

步骤233，在查找到目标子区域的情况下，根据目标子区域确定目标对象在图像搜索区域中对应的第二图像区域。

上述第二图像区域为定位结果。

可选地，在查找到的目标子区域的数量为1的情况下，将目标子区域确定为上述第二图像区域；在查找到的目标子区域的数量大于1的情况下，基于至少两个目标子区域，合成上述第二图像区域。相比于相关技术中通过图像像素的梯度进行追踪这种鲁棒性较弱、误检率较高的方式，本申请实施例通过空间度量的方式计算区域图像模板与各个子区域之间的相似度，可以高效地确定出搜索区域中与区域图像模板相似区域，实现了快速准确地追踪目标对象，目标追踪的鲁棒性更强，并且有区域图像模板这一先验知识的引入作为空间度量的参考，有效降低了误检率。

同时，在未查找到上述目标子区域的情况下，将上述定位结果确定为移出图像。

在一个示例中，如图9所示，其示例性示出了在示例图像序列中追踪目标对象的示例示意图。图9示出了示例图像序列中的前五帧图像，分别是第一帧图像91、第二帧图像92、第三帧图像93、第四帧图像94、第五帧图像95。设备采集到上述第一帧图像91后，会对第一帧图像91进行目标对象检测，进而检测出第一帧图像91中的限速牌911。接下来，设备会对第一帧图像91后续的图像帧进行基于上述限速牌911的追踪识别，得到后续图像帧对应的限速牌识别结果，进而确定限速牌911在后续图像帧中的位置区域。

在确定了限速牌911在第一帧图像91中对应的区域框912后，例如区域框912尺寸为W×H，可以根据区域框912的位置和尺寸在第二帧图像92中确定出图像搜索区域921。由于拍摄具有连续性，故图像搜索区域无需设置过大，该图像搜索区域921的尺寸可以是3W×3H。确定出第二帧图像92对应的图像搜索区域921之后，即可以区域框912对应的区域图像为追踪模板，在图像搜索区域921查找上述限速牌911，从而得到限速牌911在第二帧图像92中对应的区域框922。

在第三帧图像93、第四帧图像94、第五帧图像95中搜索限速牌911的处理与第二帧图像92类似，这里不再赘述。图9示出了限速牌911在第三帧图像93、第四帧图像94、第五帧图像95中对应的定位结果，具体示出了限速牌911在第三帧图像93的图像搜索区域931中对应的区域框932、限速牌911在第四帧图像94的图像搜索区域941中对应的区域框942以及限速牌911在第五帧图像95的图像搜索区域951中对应的区域框952。

由该示例可见，本申请实施例中，在后续图像帧进行目标追踪时，并不依赖后续图像帧对应的目标检测结果。假如前一帧中检测出目标对象a，后一帧中实际有目标对象a，但由于目标检测精度的问题，在后一帧中未检测出目标对象a，那么相关技术中通过对比像素梯度进行目标追踪的方式就无法完成对比，目标追踪定位识别，而本申请实施例的方案依然可以根据前一帧中目标对象a对应的区域图像在后一帧中进行空间度量，从而在后一帧中追踪到目标对象a，实质上也是在后一帧中检测出了目标对象a，解决了相关技术中由于分类网络识别不全(即分类网络存在覆盖不到的对象识别问题)或识别错误的问题，以及解决了由于以上问题导致的目标追踪失败的问题。

并且在交通地图要素识别场景下，相关技术中各地图要素的样本并不均衡，导致相关技术中分类网络的识别精度较低，而本申请实施例中通过空间度量的方式进行目标追踪，对目标检测识别的依赖程度较低，有效解决了相关技术中样本不均衡带来的识别精度较低的问题。

在示例性实施例中，在上述第二图像中检测到上述目标对象之后，可以获取目标对象对应的对象信息以及第二图像对应的坐标数据；上述坐标数据表征采集第二图像的地理位置；并基于对象信息和坐标数据，生成地图数据。

在交通地图要素识别场景下，上述目标对象可以是交通标识牌等交通要素对象。在图像中检测出上述目标对象之后，可以对目标对象所在的图像区域进行进一步地识别，得到目标对象对应的对象信息。该对象信息表征所述目标对象的属性信息，例如对象信息是交通要素对象对应的交通规则信息或提示信息。例如，在图像中识别出限速牌，可以对限速牌对应的图像区域进行进一步地识别，从而确定该限速牌对应的限行速度。

目标对象的位置信息可以通过采集第二图像时设备所在地理位置确定。例如，上述限速牌是行驶车辆行驶至地点A拍摄到的，那么拍摄图像时行驶车辆所在的地点A即可近似认为是限速牌的位置，从而可以在地图数据中进行标记，在地点A存在一个限速牌以及对应的限行速度。

根据上述对象信息和其对应的坐标数据，可以生成精度更高的地图数据，实现高精度地图数据的采集，降低了高精度地图数据的采集成本，提升高精度地图数据的采集效率。

同时，本申请实施例对识别出目标对象的使用方式不作限定，还可以有多种使用方式。比如，识别到行人之后进行预警，识别到信号灯后提示信号灯状态，具体可以根据实际应用场景进行配置，

在示例性实施例中，定位结果为目标对象在图像搜索区域中对应的第二图像区域；相应地，如图3所示，上述方法还包括如下步骤(240～260)。

步骤240，确定第二图像对应的图像帧号。

可选地，上述图像帧号可以是第二图像在图像序列中的序号。

步骤250，在图像帧号符合模板更新条件的情况下，在第二图像中提取第二图像区域对应的区域图像。

在根据区域图像模板追踪到目标对象在当前帧的位置后，为了实时追踪目标形态的变化，可以定期更新区域图像模板，即追踪模板。上述模板更新条件可以是每隔预设间隔更新区域图像模板的条件。

可选地，获取区域图像模板对应的图像帧号；若第二图像对应的图像帧号与区域图像模板对应的图像帧号之间相差的间隔到达预设间隔，则上述在第二图像中提取第二图像区域对应的区域图像，并执行下述步骤260，从而实现区域图像模板的更新。

在一个示例中，每隔4帧图像，进行一次模板更新，即

其中L表示图像序列，

表示模板帧号，角标表示图像帧号，n为大于等于0的整数。通过模板的更新，能够做到实时追踪，从而高效准确的识别到待追踪目标，从而提高目标追踪的准确率。

步骤260，基于第二图像区域对应的区域图像对区域图像模板进行更新，得到更新后的区域图像模板。

可选地，将第二图像区域对应的区域图像确定为区域图像模板。

在一个示例中，如图10所示，其示例性示出了一种基于空间度量进行目标追踪的整体技术流程图。设备进行图像序列采集后，会对采集到的图像进行目标对象检测。若检测出首次出现的目标对象，则在后续图像中追踪该目标对象，具体来说可通过空间度量的方式进行目标追踪。基于空间度量的目标追踪模块首先会根据目标对象在之前图像中的位置，定位出后续图像中的图像搜索区域，进而基于区域图像模板对图像搜索区域进行空间度量，从而检测出目标对象在后续图像中的位置并输出标记有对象位置的图像。此外，模块还会更新度量模板，即更新区域图像模板。

综上所述，本申请实施例提供的技术方案，通过获取目标对象在第一图像中对应的图像区域，可以定位出目标对象在第一图像之后的第二图像中对应的搜索区域，将目标对象对应的区域图像模板与上述搜索区域进行对比，即可得到目标对象在该搜索区域对应的定位结果，从而实现精准度较高的目标追踪。尤其是在目标对象种类多或采集图像质量不稳定的场景下，针对单帧图像的目标检测容易出现错误、产生误检，本申请实施例通过使用区域图像模板对搜索区域进行对比的方式追踪目标对象，能够大幅降低目标追踪对目标检测精度和图像质量的依赖，有效提升了目标追踪的准确性。

下述为本申请装置实施例，可用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图11，其示出了本申请一个实施例提供的图像处理装置的框图。该装置具有实现上述图像处理方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置1100可以包括：对象信息获取模块1110、搜索区域确定模块1120和目标对象定位模块1130。

对象信息获取模块1110，用于获取第一图像中的目标对象对应的第一图像区域以及所述目标对象对应的区域图像模板；

搜索区域确定模块1120，用于根据所述第一图像区域定位所述目标对象在第二图像中对应的图像搜索区域，所述第二图像是所述第一图像之后的图像；

目标对象定位模块1130，用于将所述区域图像模板与所述图像搜索区域进行对比，得到所述目标对象在所述图像搜索区域对应的定位结果。

在一些可能的设计中，所述图像搜索区域包括至少两个子区域，所述目标对象定位模块1130，包括：

空间度量值确定单元，用于基于所述区域图像模板对所述至少两个子区域进行空间度量处理，得到所述至少两个子区域各自对应的空间度量值，每一子区域对应的空间度量值表征所述子区域对应的区域图像与所述区域图像模板之间的相似程度；

目标子区域确定单元，用于根据所述至少两个子区域各自对应的空间度量值，在所述至少两个子区域中查找所述区域图像模板对应的目标子区域；

对象区域定位单元，用于在查找到所述目标子区域的情况下，根据所述目标子区域确定所述目标对象在所述图像搜索区域中对应的第二图像区域，所述第二图像区域为所述定位结果。

在一些可能的设计中，所述空间度量值确定单元，包括：

图像特征提取子单元，用于对所述区域图像模板和所述图像搜索区域进行特征提取处理，得到所述区域图像模板对应的第一图像特征和所述图像搜索区域对应的第二图像特征；

特征图生成子单元，用于将所述第一图像特征作为卷积核，对所述第二图像特征进行卷积处理，得到特征图，所述特征图包括所述至少两个子区域各自对应的像素点，每一像素点对应的像素值为相应子区域对应的空间度量值。

在一些可能的设计中，所述搜索区域确定模块1120，包括：

定位框确定单元，用于确定所述第二图像中与所述第一图像区域对应的定位框；

搜索区域定位单元，用于对所述定位框进行扩展处理，得到所述图像搜索区域。

在一些可能的设计中，所述对象信息获取模块1110，包括：

目标对象检测单元，用于对所述第一图像进行对象检测处理，得到所述第一图像区域；

区域图像提取单元，用于在所述第一图像中提取所述第一图像区域对应的区域图像；

图像模板确定单元，用于将所述区域图像确定为所述区域图像模板。

在一些可能的设计中，所述目标对象检测单元，包括：

特征提取单元，用于对所述第一图像进行特征提取处理，得到所述第一图像对应的图像特征；

候选框生成单元，用于基于所述图像特征进行候选框生成处理，得到所述第一图像对应的候选框；

目标检测单元，用于对所述候选框进行目标检测处理，得到所述目标对象对应的位置框，所述位置框表征所述第一图像区域。

在一些可能的设计中，所述定位结果为所述目标对象在所述图像搜索区域中对应的第二图像区域，所述装置还包括：

图像帧号确定模块，用于确定所述第二图像对应的图像帧号；

区域图像提取模块，用于在所述图像帧号符合模板更新条件的情况下，在所述第二图像中提取所述第二图像区域对应的区域图像；

对象模板更新模块，用于基于所述第二图像区域对应的区域图像对所述区域图像模板进行更新，得到更新后的区域图像模板。

在一些可能的设计中，所述装置还包括：

对象数据获取模块，用于获取所述目标对象对应的对象信息以及所述第二图像对应的坐标数据，所述坐标数据表征采集所述第二图像的地理位置；

地图数据获取模块，用于基于所述对象信息和所述坐标数据，生成地图数据。

综上所述，本申请实施例提供的技术方案，通过获取目标对象在第一图像中对应的图像区域，可以定位出目标对象在第一图像之后的第二图像中对应的搜索区域，将目标对象对应的区域图像模板与上述搜索区域进行对比，即可得到目标对象在该搜索区域对应的定位结果，从而实现精准度较高的目标追踪。尤其是在目标对象种类多或采集图像质量不稳定的场景下，针对单帧图像的目标检测容易出现错误、产生误检，本申请实施例通过使用区域图像模板对搜索区域进行对比的方式追踪目标对象，能够大幅降低目标追踪对目标检测精度和图像质量的依赖，有效提升了目标追踪的准确性。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图12，其示出了本申请一个实施例提供的计算机设备的结构框图一。该计算机设备可以是终端。该计算机设备用于实施上述实施例中提供的图像处理方法。具体来讲：

通常，计算机设备1200包括有：处理器1201和存储器1202。

处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集，且经配置以由一个或者一个以上处理器执行，以实现上述图像处理方法。

在一些实施例中，计算机设备1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、触摸显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。

本领域技术人员可以理解，图12中示出的结构并不构成对计算机设备1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

请参考图13，其示出了本申请一个实施例提供的计算机设备的结构框图二。该计算机设备可以是服务器，以用于执行上述图像处理方法。具体来讲：

计算机设备1300包括中央处理单元(Central Processing Unit，CPU)1301、包括随机存取存储器(Random Access Memory，RAM)1302和只读存储器(Read Only Memory，ROM)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。计算机设备1300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O(Input/Output)系统)1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。

基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。大容量存储设备1307及其相关联的计算机可读介质为计算机设备1300提供非易失性存储。也就是说，大容量存储设备1307可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory，电可擦可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。

根据本申请的各种实施例，计算机设备1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1300可以通过连接在系统总线1305上的网络接口单元1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括计算机程序，该计算机程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述图像处理方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述图像处理方法。

可选地，该计算机可读存储介质可以包括：ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取记忆体)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。

另外，在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像中的目标对象对应的第一图像区域以及所述目标对象对应的区域图像模板；

根据所述第一图像区域定位所述目标对象在第二图像中对应的图像搜索区域，所述第二图像是所述第一图像之后的图像；

将所述区域图像模板与所述图像搜索区域进行对比，得到所述目标对象在所述图像搜索区域对应的定位结果。

2.根据权利要求1所述的方法，其特征在于，所述图像搜索区域包括至少两个子区域，所述将所述区域图像模板与所述图像搜索区域进行对比，得到所述目标对象在所述图像搜索区域对应的定位结果，包括：

基于所述区域图像模板对所述至少两个子区域进行空间度量处理，得到所述至少两个子区域各自对应的空间度量值，每一子区域对应的空间度量值表征所述子区域对应的区域图像与所述区域图像模板之间的相似程度；

根据所述至少两个子区域各自对应的空间度量值，在所述至少两个子区域中查找所述区域图像模板对应的目标子区域；

在查找到所述目标子区域的情况下，根据所述目标子区域确定所述目标对象在所述图像搜索区域中对应的第二图像区域，所述第二图像区域为所述定位结果。

3.根据权利要求2所述的方法，其特征在于，所述基于所述区域图像模板对所述至少两个子区域进行空间度量处理，得到所述至少两个子区域各自对应的空间度量值，包括：

对所述区域图像模板和所述图像搜索区域进行特征提取处理，得到所述区域图像模板对应的第一图像特征和所述图像搜索区域对应的第二图像特征；

将所述第一图像特征作为卷积核，对所述第二图像特征进行卷积处理，得到特征图，所述特征图包括所述至少两个子区域各自对应的像素点，每一像素点对应的像素值为相应子区域对应的空间度量值。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像区域定位所述目标对象在第二图像中对应的图像搜索区域，包括：

确定所述第二图像中与所述第一图像区域对应的定位框；

对所述定位框进行扩展处理，得到所述图像搜索区域。

5.根据权利要求1所述的方法，其特征在于，所述获取第一图像中的目标对象对应的第一图像区域以及所述目标对象对应的区域图像模板，包括：

对所述第一图像进行对象检测处理，得到所述第一图像区域；

在所述第一图像中提取所述第一图像区域对应的区域图像；

将所述区域图像确定为所述区域图像模板。

6.根据权利要求5所述的方法，其特征在于，所述对所述第一图像进行对象检测处理，得到所述第一图像区域，包括：

对所述第一图像进行特征提取处理，得到所述第一图像对应的图像特征；

基于所述图像特征进行候选框生成处理，得到所述第一图像对应的候选框；

对所述候选框进行目标检测处理，得到所述目标对象对应的位置框，所述位置框表征所述第一图像区域。

7.根据权利要求1所述的方法，其特征在于，所述定位结果为所述目标对象在所述图像搜索区域中对应的第二图像区域，所述方法还包括：

确定所述第二图像对应的图像帧号；

在所述图像帧号符合模板更新条件的情况下，在所述第二图像中提取所述第二图像区域对应的区域图像；

基于所述第二图像区域对应的区域图像对所述区域图像模板进行更新，得到更新后的区域图像模板。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

获取所述目标对象对应的对象信息以及所述第二图像对应的坐标数据，所述坐标数据表征采集所述第二图像的地理位置；

基于所述对象信息和所述坐标数据，生成地图数据。

9.一种图像处理装置，其特征在于，所述装置包括：

对象信息获取模块，用于获取第一图像中的目标对象对应的第一图像区域以及所述目标对象对应的区域图像模板；

搜索区域确定模块，用于根据所述第一图像区域定位所述目标对象在第二图像中对应的图像搜索区域，所述第二图像是所述第一图像之后的图像；

目标对象定位模块，用于将所述区域图像模板与所述图像搜索区域进行对比，得到所述目标对象在所述图像搜索区域对应的定位结果。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一项所述的图像处理方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一项所述的图像处理方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行以实现如权利要求1至8任一项所述的图像处理方法。

Images