CN112700525A

CN112700525A - 一种图像处理方法及电子设备

Info

Publication number: CN112700525A
Application number: CN201911002694.1A
Authority: CN
Inventors: 潘以瑶; 周权通; 吴宗武; 李尔
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2021-04-23

Abstract

一种图像处理方法及电子设备，涉及图像处理技术领域。在获取到第一图像后，电子设备根据第一图像的图像内容和预设的N个子图的图像内容，确定目标子图，N个子图中的每个子图包括预设的目标对象的部分或全部图像。电子设备确定第一图像中与目标子图匹配的第一局部区域，并根据第一局部区域在第一图像中的位置信息和预设的目标对象的渲染规则，对第一局部区域进行渲染，得到第二图像，以及显示第二图像。第一局部区域在目标对象中的占比小于第一预设阈值。这样，即使第一图像仅包括目标对象的一小部分区域，电子设备也可以识别并跟踪到目标对象，并对第一局部区域进行渲染。

Description

一种图像处理方法及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

内置有实现增强现实技术(augmented reality，AR)业务的应用的电子设备，在拍摄到某一图像后，识别该图像是否包括预先设置的目标对象的图像。若拍摄到的图像包括目标对象的图像，则为该图像中的目标对象添加图像、视频、文字等虚拟内容(即进行渲染操作)，使得真实环境和虚拟信息实时地叠加到同一个画面或空间，有效地提高了用户体验。

现有技术中，当拍摄到的图像包括目标对象的一半及以上区域时，电子设备可以准确地识别、跟踪到目标对象，并为拍摄到的图像所包括的目标对象的区域叠加虚拟内容。例如，如图1所示，图1中的(A)示出了目标对象，该目标对象为地球的卫星图像。图1中的(B) 示出了包括该目标对象的一种图像。由于图1中的(B)所示的图像包括有目标对象的完整区域，因此，电子设备能够准确地识别、跟踪到地球的卫星图像，并为该卫星图像叠加虚拟内容。

但是，若拍摄到的图像包括目标对象的一小部分区域时，现有的方法无法准确地识别该图像中的目标对象，进而无法对此类图像中的目标对象的图像进行渲染。例如，图1中的(C) 所示的图像包括有图1中的(A)示出的目标对象，且图1中的(C)所示的图像包括有目标对象的一小部分区域，电子设备无法准确地识别、跟踪到地球的卫星图像，相应的，无法对图1中的(C)所示的卫星图像进行渲染，降低了用户体验。

发明内容

本申请提供了一种图像处理方法及电子设备，能够解决在图像包括目标对象的一小部分区域的情况下，电子设备无法识别跟踪到目标对象，也无法对目标对象的图像进行渲染的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供了一种图像处理方法，电子设备在获取到第一图像后，根据第一图像的图像内容和预设的N(N为大于或等于2的整数)个子图的图像内容，确定目标子图。之后，电子设备确定第一图像中与目标子图匹配的第一局部区域，并根据第一局部区域在第一图像中的位置信息和预设的目标对象的渲染规则，对第一局部区域进行渲染，得到第二图像，以及显示第二图像。这里，目标子图为：N个子图中，与第一图像的图像内容之间的相似度最高，且相似度大于预设数值的子图。N个子图中至少两个子图的划分粒度不同。N个子图中的每个子图包括预设的目标对象的部分或全部图像。第一局部区域在目标对象中的占比小于第一预设阈值。

由于N个子图中至少两个子图的划分粒度不同，且每个子图包括预设的目标对象的部分或全部图像，因此，不同子图所包括的目标对象的图像也不同，不同子图中目标对象的特征不同。这样，即使第一图像仅包括目标对象的一小部分区域(如第一局部区域)，电子设备也可以识别并跟踪到目标对象，并对第一局部区域进行渲染。

一般的，渲染功能往往由用于实现AR业务的应用实现。因此，本申请中的电子设备安装有能够实现AR业务的应用。本申请提供的图像处理方法的执行主体实质为电子设备中的应用。

结合第一方面，在一种可能的设计方式中，上述电子设备获取第一图像的方法包括：电子设备获取用户即时拍摄到的第一图像，或者，从已经存储的图像中选取第一图像。

在实际应用中，电子设备获取第一图像的方式有多种，本申请对此不作限定。

结合第一方面，在另一种可能的设计方式中，上述目标对象的渲染规则包括：采用第一预设方式对第一局部区域进行渲染，或者，在第一局部区域上叠加第一预设内容，第一预设内容包括文字、图片、视频或音频中的至少一种。

结合第一方面，在另一种可能的设计方式中，上述目标对象的渲染规则还包括：采用第二预设方式对目标对象中除第一局部区域之外的其他区域进行渲染，或者，在目标对象中除第一局部区域之外的其他区域上叠加第二预设内容，第二预设内容包括文字、图片、视频或音频中的至少一种。

结合第一方面，在另一种可能的设计方式中，上述N个子图为M个子图组中的子图，M 个子图组为根据M(M为大于或等于2的整数)个预设的划分粒度和目标对象预先得到的。M个预设的划分粒度互不相同。M个子图组中的每个子图组唯一对应一个预设的划分粒度。每个子图组中的所有子图组成目标对象的全部区域或第一区域，第一区域与目标对象的占比大于第二预设阈值。

本申请提供的图像处理方法中，预先根据目标对象和M个预设的划分粒度，获取到M 个子图组。每个子图组唯一对应一个预设的划分粒度，且每个子图组中的所有子图组成目标对象的全部区域或第一区域。这样，电子设备可根据实际需求，从M个子图组中选取相应的子图，识别跟踪第一图像中的目标对象。

结合第一方面，在另一种可能的设计方式中，N个子图中的每个子图包括第一局部区域的部分或全部图像。

本申请中的N个子图可以为M个子图组中的全部子图，也可以为M个子图组中的部分子图。

结合第一方面，在另一种可能的设计方式中，N个子图包括电子设备处理第一图像的上一帧图像时所确定的目标子图，以及该目标子图的所有相邻子图。对于某一子图而言，该子图的相邻子图包括：在M个子图组中，与该子图在目标对象中的距离小于或等于预设距离的子图、包含该子图的全部或部分图像的子图，以及被该子图包含在内的子图。

在实际应用中，电子设备会在短时间内拍摄到多帧图像，所述多帧图像的图像内容不会发生太大变化。对于获取到每一帧图像而言，电子设备可以根据M个子图组中的全部子图进行图像识别跟踪，也可以根据处理上一帧图像时确定的目标子图，以及该目标子图的所有相邻子图进行图像识别跟踪。

结合相邻子图的定义可以看出，“处理上一帧图像时确定的目标子图”的所有相邻子图包括有“处理上一帧图像时确定的目标子图”的部分或全部图像。而“处理上一帧图像时确定的目标子图”是预先存储的所有子图中与上一帧图像的图像内容之间的相似度最高，且相似度大于预设数值的子图。因此，电子设备根据处理上一帧图像时确定的目标子图，以及该目标子图的所有相邻子图进行图像识别跟踪，能够准确地、更高效地完成图像识别跟踪，进而提高图像渲染的效率。

第二方面，本申请提供一种电子设备。该电子设备包括存储单元、获取单元、处理单元和显示单元。

具体的，上述获取单元，用于获取第一图像。上述处理单元，用于根据上述获取单元获取到的第一图像的图像内容和上述存储单元存储的预设的N个子图的图像内容，确定目标子图；目标子图为：N个子图中，与第一图像的图像内容之间的相似度最高，且相似度大于预设数值的子图，N个子图中至少两个子图的划分粒度不同，N个子图中的每个子图包括预设的目标对象的部分或全部图像，N为大于或等于2的整数。上述处理单元，还用于确定第一图像中与目标子图匹配的第一局部区域，第一局部区域在目标对象中的占比小于第一预设阈值，以及根据第一局部区域在第一图像中的位置信息和预设的目标对象的渲染规则，对第一局部区域进行渲染，得到第二图像。上述显示单元，用于显示处理单元得到的第二图像。

结合第一方面，在一种可能的设计方式中，上述获取单元，具体用于获取用户即时拍摄到的第一图像，或者，从已经存储的图像中选取第一图像。

结合第一方面，在另一种可能的设计方式中，目标对象的渲染规则包括：采用第一预设方式对第一局部区域进行渲染，或者，在第一局部区域上叠加第一预设内容，第一预设内容包括文字、图片、视频或音频中的至少一种。

结合第一方面，在另一种可能的设计方式中，目标对象的渲染规则还包括：采用第二预设方式对目标对象中除第一局部区域之外的其他区域进行渲染，或者，在目标对象中除第一局部区域之外的其他区域上叠加第二预设内容，第二预设内容包括文字、图片、视频或音频中的至少一种。

结合第一方面，在另一种可能的设计方式中，N个子图为M个子图组中的子图，M个子图组为根据M个预设的划分粒度和目标对象预先得到的，M个预设的划分粒度互不相同；M 个子图组中的每个子图组唯一对应一个预设的划分粒度；每个子图组中的所有子图组成目标对象的全部区域或第一区域，第一区域与目标对象的占比大于第二预设阈值，M为大于或等于2的整数。

结合第一方面，在另一种可能的设计方式中，N个子图包括上述处理单元处理第一图像的上一帧图像时所确定的目标子图，以及该目标子图的所有相邻子图。对于某一子图而言，该子图的相邻子图包括：在M个子图组中，与该子图在目标对象中的距离小于或等于预设距离的子图、包含该子图的全部或部分图像的子图，以及被该子图包含在内的子图。

第三方面，本申请提供一种电子设备，该电子设备包括显示屏、存储器和一个或多个处理器。上述显示屏、存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，当处理器执行该计算机指令时，电子设备执行如第一方面及其任一种可能的设计方式所述的图像处理方法。

第四方面，本申请提供一种芯片系统，该芯片系统应用于包括显示屏的电子设备；所述芯片系统包括一个或多个接口电路和一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如第一方面及其任一种可能的设计方式所述的图像处理方法。

第五方面，本申请提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如第一方面及其任一种可能的设计方式所述的图像处理方法。

第六方面，本申请提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面及其任一种可能的设计方式所述的图像处理方法。

本申请中第二方面到第六方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面到第六方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为目标对象以及包括目标对象的图像的示意图；

图2为本申请实施例中图像处理系统的结构示意图；

图3为本申请实施例中电子设备21的硬件结构示意图；

图4为本申请实施例中图像处理方法的流程示意图一；

图5为本申请实施例中目标对象的示意图；

图6为本申请实施例中子图的结构示意图一；

图7为本申请实施例提供的子图的结构示意图二；

图8为本申请实施例提供的子图的结构示意图三；

图9为本申请实施例中子图数据库的结构示意图；

图10A为本申请实施例中子图数据库的树形结构一；

图10B为本申请实施例中子图数据库的树形结构二；

图11A为本申请实施例中多分辨率层次模型的示意图；

图11B为本申请实施例中多分辨率层次模型中子图的分布；

图12为本申请实施例中目标对象和目标子图之间的位置关系的示意图；

图13为本申请实施例提供的图像处理方法适用的应用场景的示意图；

图14为本申请实施例中手机获取到图像的示意图；

图15为本申请实施例提供的图像处理方法的流程示意图二；

图16为本申请实施例中手机在图像140中渲染数据后的界面图；

图17为本申请实施例中手机在图像142中渲染数据后的界面图；

图18为本申请实施例提供的图像处理方法的流程示意图三；

图19为本申请实施例提供的电子设备的结构示意图；

图20为本申请实施例提供的芯片系统的结构示意图；

图21为本申请实施例提供的提供的计算机程序产品的结构示意图。

具体实施方式

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

增强现实技术(augmented reality，AR)是一种通过实时地计算拍摄到的图像中目标对象的位置，然后在相应的位置处加上虚拟图像、视频、文字等虚拟内容的技术。基于AR可以将虚拟场景与现实环境相结合，并进行有效的互动。

例如：用户利用电子设备(如智能手机)上安装的AR应用识别拍摄所得的图像中是否包含目标对象(如：世界地图)。当识别到拍摄所得的图像中包含上述目标对象时，电子设备可以渲染一段动画或者一个图像，以给用户带来喜庆感。

又例如：在红包发起者通过AR应用发起一个基于地理位置和目标对象的实景红包之后，抢红包的用户需要前往上述地理位置并根据线索图扫描目标对象，才能抢到上述实景红包。当扫描的物体与线索图所提示的物体相匹配后，电子设备渲染“3D红包小人”的场景图形并展示，该“3D红包小人”可向用户点头哈腰、或摇手打招呼。当用户手指触摸滑动该3D红包后， 3D红包可进行旋转。

通常，目标对象是开发人员预先设定的。本申请实施例中涉及到的目标对象也是预设的，是指某一特定对象，或者同一类型、特征几乎一致(很难察觉出细微变化)的对象，如世界地图、巨幅海报等。本申请实施例中的目标对象的局部区域能够唯一标识目标对象。对于局部区域无法标识目标对象的情况，本申请实施例不予以保护。如汉字“福”由多个笔画组成，部分笔画的组合无法唯一标识汉字“福”。

上述AR业务主要基于图像识别技术和图像跟踪技术实现。具体的，采用图像识别技术在拍摄到的图像中识别出目标对象，并采用图像跟踪技术确定该目标对象在图像中的位置，以及根据确定的位置叠加虚拟内容(即进行渲染操作)。

图像跟踪是指通过图像内容、特征等信息计算出目标对象在图像(为了便于描述，本申请实施例将该图像称为视野图像)中的准确位置。

通常，电子设备采用图像特征匹配技术实现目标对象的跟踪。具体的，该技术方案主要包括下述步骤S1-S5。

S1、电子设备提取目标对象和视野图像的特征信息。

特征信息是指使用特征提取算法对图像进行特征提取后获得的信息。通常，特征信息采用n₀维度的向量表示，n₀为正整数。

特征信息包含特征点和特征描述符(feature descriptors)。其中，特征点用于表示该特征在图像上的位置。特征描述符用于表示图像上该位置的局部特征，一般采用向量表示。

电子设备可利用特征提取算法对目标对象和视野图像进行特征提取，从而获得目标对象和视野图像的特征信息。其中，不同厂商采用的特征提取算法可不同，相应地获得的目标对象和视野图像的特征信息的数据维度也可不同。

特征提取算法为用于实现特征提取的算法。例如：深度残差网络(resnet)、谷歌卷积神经网络(GoogLeNet)、感知器神经网络(perceptron neural network，PNN)、浩斯菲尔德(Hopfield) 网络、径向基(radial basis function，RBF)神经网络、卷积神经网络(convolutional neural network， CNN)、反馈神经网络、快速增强的健壮特性(speeded-up robust features，SURF)特征提取算法、尺度不变特征转换(scale-invariantfeature transform，SIFT)特征提取算法、快速特征点提取和描述算法(oriented FASTand rotated BRIEF，ORB)特征提取算法等。

S2、电子设备根据目标对象的特征信息与视野图像的特征信息，确定二者之间相互匹配的特征信息。

电子设备可以采用特征点匹配算法确定相互匹配的特征信息。特征点匹配算法为用于实现特征匹配的算法。例如：暴力匹配(Brute-Force)算法、最近邻匹配算法等。

相互匹配的特征信息是指特征信息之间相似度的数值高于预设数值。这里，相似度可以采用特征信息之间的距离表示，该距离可以为海明距离、余弦距离、欧拉距离或非对称距离。

可以理解的是，对于两个图像而言，相似度的数值越高，说明这两个图像相互匹配的特征信息的数量越多，或者说明这两个图像的特征信息之间的距离越小。

S3、电子设备根据相互匹配的特征信息，计算目标对象到视野图像的单应矩阵(homography matrix)。

单应是指一个平面上的点(三维齐次矢量)到另一个平面的映射关系，是关于三维齐次矢量的一种线性变换。单应矩阵则是一个平面上的点到另一个平面的变换方程，可以用一个3×3的非奇异矩阵H表示。

示例性的，若(u₁，v₁，1)^T为目标对象中的一个像素点，(u₂，v₂，1)^T为视野图像中的一个像素点，且这两个像素点对应，则可以表示为：

单应矩阵的具体计算方法可以参考现有技术中确定单应矩阵的方法，这里不再进行详细赘述。

S4、电子设备判断视野图像是否包括有目标对象。

电子设备可以采用下述第一种实现方式或第二种实现方式确定视野图像是否包括有目标对象。

第一种实现方式：电子设备确定“S2中得到的相互匹配的特征信息”的数量在目标对象的特征信息的占比，并根据该占比确定视野图像是否包括有目标对象。

若所述占比大于或等于预设占比，则确定视野图像包括有目标对象。反之，则确定视野图像不包括目标对象。该预设占比可为用户侧或系统侧自定义设置的。

第二种实现方式：电子设备确定符合S3中得到的单应矩阵的特征信息的数量，并根据该数量确定视野图像是否包括有目标对象。

若符合所述单应矩阵的特征信息的数量大于或等于第一阈值，则确定视野图像包括有目标对象。反之，则确定视野图像不包括目标对象。该第一阈值可为用户侧或系统侧自定义设置的。

若电子设备确定视野图像不包括目标对象，则电子设备终止对目标对象的跟踪。若电子设备确定视野图像包括有目标对象，则电子设备继续执行下述步骤S5，以实现对目标对象的跟踪。

S5、电子设备根据单应矩阵和目标对象(一般为矩形)的四个顶点的坐标值，确定目标对象的四个顶点在视野图像上的位置。

在实际应用中，视野图像会受到各种外界因素的影响，例如：光照变化、运动模糊、硬件噪声等。这样，在匹配目标对象的特征信息和视野图像的特征信息时，会存在部分特征信息的误匹配。

为了降低由于误匹配的特征信息导致图像跟踪失败，视野图像需要包括有目标对象的一半及以上区域，这样，电子设备能得到足够多的正确匹配的特征信息，才可以准确识别并跟踪目标对象，进而为视野图像中目标对象叠加虚拟内容。

例如，在上述扫世界地图的场景中，如图1中的(B)所示，当电子设备获取到的图像中包含地球的卫星图像的所有区域时，电子设备为获取到的图像中的卫星图像叠加虚拟图像。在上述实景红包场景中，当电子设备扫描到的物体图像和用于藏红包的目标物体图像大部分或者完全一致时，电子设备为扫描到的物体图像叠加虚拟内容。

但是，若电子设备捕捉到的视野图像只包含目标对象的一小部分区域时，电子设备无法实现目标对象的跟踪，进而无法完成渲染操作，降低了用户体验。例如，在上述扫地球的卫星图像的场景中，如图1中的(C)所示，当电子设备获取到的图像包括有卫星图像的一小部分区域时，电子设备无法准确地识别、跟踪到地球的卫星图像，进而无法对图1中的(C) 所示的卫星图像进行渲染。

为此，本申请实施例提供一种图像处理方法，可以应用于电子设备对目标对象进行渲染的过程中。采用本申请实施例提供的图像处理方法，使得电子设备在视野图像仅包括目标对象的局部区域的场景下，仍然能够准确地识别跟踪到目标对象，并对视野图像中目标对象的局部区域进行渲染，以及显示渲染后的图像。

本申请实施例提供的图像处理方法可以应用于增强现实(augmented reality，AR)领域的渲染场景中，也可以应用于其他需要执行图像识别跟踪的场景中。在AR领域的渲染场景中，电子设备采用本申请实施例提供的图像处理方法确定视野图像包括目标对象的区域(如第一局部区域)，之后，电子设备根据该区域的位置信息和预设的目标对象的渲染规则将视野图像中目标对象的区域进行渲染，具体可参考后续图15的描述。

本申请实施例提供的图像处理方法适用于图像处理系统。图2示出了该图像处理系统的一种结构。如图2所示，该图像处理系统包括服务器20和电子设备21。在实际应用中，该图像处理系统通常包括多个电子设备，为简化本系统的讨论，在图2中仅示出了单个电子设备21。

其中，服务器20中保存有目标对象的多个子图(具体参考后续“数据准备”流程中对子图的描述)以及每个子图的特征信息，每个子图为目标对象的部分或全部区域。电子设备21 可以从服务器20获取所述多个子图以及每个子图的特征信息。后续，电子设备21在获取到 (即时拍摄到的或者电子设备21已经保存的)第一图像(第一图像为本申请所描述的视野图像)后，可以根据所述多个子图和每个子图的特征信息，确定第一图像中与目标子图匹配的第一局部区域，即实现了对目标对象的图像跟踪，并根据第一局部区域在第一图像中的位置信息和预设的目标对象的渲染规则，对第一图像中的第一局部区域进行渲染，以及显示渲染后的图像(对应本申请实施例中的第二图像)。

上述第一局部区域在目标对象中的占比小于或等于第一预设阈值。可以理解为，第一局部区域为目标对象的一小部分区域。这样，本申请实施例提供的方案，即使视野图像包括目标对象的一小部分区域，电子设备也能准确地识别到目标对象，并对所述一小部分区域进行渲染并显示。这里，第一预设阈值可以为开发人员预先设定好的，本申请实施例对此不作限定。

本申请实施例中的子图为目标对象的部分或全部区域。电子设备利用子图实现对目标对象的跟踪。因此，不论第一图像所包括的目标对象的区域在目标对象中的占比是大还是小，电子设备21均可以准确地跟踪到目标对象。

当然，本申请实施例中的电子设备21也可以自主生成目标对象的多个子图，并获取每个子图的特征信息，之后，电子设备21保存多个子图和每个子图的特征信息。

为了便于理解，本申请实施例主要以服务器20中保存有目标对象的多个子图和每个子图的特征信息为例进行说明。

本申请实施例中的电子设备21可以是配置有摄像头(如前置摄像头或后置摄像头)的各种设备，例如：手机、车载设备(如车载导航仪)、平板电脑、桌面型、膝上型、手持计算机、可穿戴设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、AR\虚拟现实(virtual reality，VR)设备等具备图像跟踪功能的设备。当然，该电子设备21还可以是图2中的服务器20。本申请实施例对计算设备的具体形态不作特殊限制。

电子设备21中安装有实现AR业务的应用。该应用可以是电子设备21自身内置的应用程序，也可以是用户自行安装的第三方服务商提供的应用程序，本申请实施例不作限定。

请参考图3，以电子设备21是手机为例，示出了上述电子设备21的硬件结构示意图。如图3所示，电子设备21可以包括处理器210，外部存储器接口220，内部存储器221，通用串行总线(universal serial bus，USB)接口230，充电管理模块240，电源管理模块241，电池242，天线1，天线2，移动通信模块250，无线通信模块260，音频模块270，扬声器 270A，受话器270B，麦克风270C，耳机接口270D，传感器模块280，按键290，马达291，指示器292，摄像头293，显示屏294，以及用户标识模块(subscriber identification module， SIM)卡接口295等。

其中，传感器模块280可以包括压力传感器280A，陀螺仪传感器280B，气压传感器280C，磁传感器280D，加速度传感器280E，距离传感器280F，接近光传感器280G，指纹传感器 280H，温度传感器280J，触摸传感器280K，环境光传感器280L，骨传导传感器280M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备21的具体限定。在本申请另一些实施例中，电子设备21可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备21的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210 中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S) 接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块 (subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。I2S接口可以用于音频通信。PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。MIPI 接口可以被用于连接处理器210与显示屏294，摄像头293等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI) 等。GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。USB接口230是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口230可以用于连接充电器为电子设备21充电，也可以用于电子设备21与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备21的结构限定。在本申请另一些实施例中，电子设备21也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242，充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210，内部存储器221，外部存储器，显示屏294，摄像头293，和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。

电子设备21的无线通信功能可以通过天线1，天线2，移动通信模块250，无线通信模块260，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备21中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在电子设备21上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。调制解调处理器可以包括调制器和解调器。

无线通信模块260可以提供应用在电子设备21上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)， GNSS，调频(frequency modulation，FM)，近距离无线通信技术(nearfield communication， NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

示例性的，本申请实施例中的GNSS可以包括：GPS，GLONASS，BDS，QZSS，SBAS，和/或GALILEO等。

电子设备21通过GPU，显示屏294，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏294和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。显示屏294用于显示图像，视频等。显示屏294包括显示面板。

电子设备21可以通过ISP，摄像头293，视频编解码器，GPU，显示屏294以及应用处理器等实现拍摄功能。ISP用于处理摄像头293反馈的数据。摄像头293用于获取静态图像或视频。物体通过镜头生成光学图像投射到感光元件。数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。视频编解码器用于对数字视频压缩或解压缩。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备21的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口220可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备 21的存储能力。外部存储卡通过外部存储器接口220与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令，从而执行电子设备21的各种功能应用以及数据处理。

电子设备21可以通过音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器270A，也称“喇叭”，用于将音频电信号转换为声音信号。受话器 270B，也称“听筒”，用于将音频电信号转换成声音信号。麦克风270C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。耳机接口270D用于连接有线耳机。耳机接口270D可以是USB接口230，也可以是3.2mm的开放移动电子设备平台(open mobileterminal platform， OMTP)标准接口，美国蜂窝电信工业协会(cellulartelecommunications industry association of the USA，CTIA)标准接口。

按键290包括开机键，音量键等。按键290可以是机械按键。也可以是触摸式按键。电子设备21可以接收按键输入，产生与电子设备21的用户设置以及功能控制有关的键信号输入。马达291可以产生振动提示。马达291可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295，或从SIM卡接口295拔出，实现和电子设备21的接触和分离。电子设备21可以支持1个或 N个SIM卡接口，N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡，Micro SIM 卡，SIM卡等。

下面结合附图对本申请实施例提供的图像处理方法进行详细介绍。

本申请实施例提供的图像处理方法包括服务器生成M(M为大于或等于2的整数)个子图组的流程(简称为“数据准备”流程)和电子设备获取图像，识别并跟踪该图像所包括的目标对象，以及对该图像中目标对象的区域进行渲染的流程(简称为“图像处理”流程)。

下面先对“数据准备”流程进行描述。

如图4所示，“数据准备”流程可以包括S401～S403。

S401、服务器20根据M个预设的划分粒度和目标对象，获取多个子图，得到M个子图组。

M个预设的划分粒度互不相同。划分粒度均为系统侧或用户侧自定义的，本实施例对此不作限定。

具体的，对于M个预设的划分粒度中的每个预设划分粒度而言，服务器20根据该预设划分粒度和目标对象，获取一个或多个子图(子图为目标对象的全部图像或部分区域)，以得到一个子图组。子图组中每个子图的划分粒度均等于该预设的划分粒度，且子图组中的所有子图组成目标对象的全部区域或第一区域。第一区域与目标对象占比大于第二预设阈值，该第二预设阈值为系统侧或者用户侧预先确定的。例如：第二预设阈值为目标对象的所有区域的90％或目标对象的所有区域的95％，这样，子图组中的所有子图组成目标对象的全部区域或者大部分区域。

在获取子图的过程中，服务器20可以按照某一顺序(如从左到右或从上到下的顺序)从目标对象中获取子图，也可以随机地从目标对象中获取子图，本申请实施例对此不作具体限定。

此外，本申请实施例对子图组中不同子图之间的空间位置关系也不作限定。同一子图组中的任意两个子图，可以存在重叠区域，也可以不存在。

在一个示例中，图5示出的地图图像为目标对象。当预设的划分粒度为该目标对象的所有区域时，服务器20得到的第一子图组可以包括：图5示出的图像。

在另一个示例中，图5示出的地图图像为目标对象。当预设的划分粒度为该目标对象的所有区域的50％时，服务器20得到的第二子图组可以包括：图6示出的子图61～子图63。图 6中，子图61～子图63中每一子图均占用目标对象的所有区域的50％。图6中的子图61～子图63拼接后可以呈现出目标对象的大部分区域。子图61～子图63之间存在重叠区域。

在另一个示例中，图5示出的地图图像为目标对象。当预设的划分粒度为该目标对象的所有区域的25％时，服务器20得到的第三子图组可以包括：图7示出的子图71～子图74。图 7中，子图71～子图74中每一子图均占用目标对象的所有区域的25％。图7中的子图71～子图74拼接后可以呈现出目标对象的全部区域。子图71～子图74在目标对象上依次连接。

在另一个示例中，图5示出的地图图像为目标对象。当预设的划分粒度为该目标对象的所有区域的15％时，服务器20得到的第四子图组可以包括：图8示出的子图81～子图85。图 8中，子图81～子图85中每一子图均占用目标对象的所有区域的15％。图8中的子图81～子图85拼接后可以呈现出目标对象的大部分区域。子图81～子图85之间相互存在缝隙。

本申请实施例对同一子图组中子图的数量不作具体限定。结合上述示例，当预设的划分粒度为该目标对象的所有区域的15％时，服务器20可以获取6个子图。不论同一子图组中子图的数量为多少，只需要该子图组中的所有子图组成目标对象的全部区域或第一区域即可。

本申请实施例对上述划分粒度不作限定。服务器20可以根据子图的尺寸大小，从目标对象中获取子图，也可以根据其他因素从目标对象中获取子图。例如：若目标对象为世界地图，则服务器20可以按照子图的尺寸大小、“大洲”、“国家”、“省”、“市”、“城区”等粒度，从世界地图中获取子图。相应的，子图的形状可以为矩形、圆形或多边形等，也可以为各个洲/ 国家/省/市/城区的地图形状，本申请实施例对此不作具体限定。

为了便于描述，本申请实施例主要以子图为矩形为例进行说明。

S402、服务器20根据预设的特征提取算法，获取每个子图组中每一子图的特征信息。

服务器20获取每一子图的特征信息的方法可以参考现有技术中获取图像的特征信息的描述，这里不再进行详细赘述。

S403、服务器20存储M个子图组中每个子图组中的子图以及每个子图的特征信息。

服务器20可以将每个子图组中的子图以及每个子图的特征信息存储于子图数据库。

对于每个子图而言，子图数据库还可以包括该子图的相邻子图的信息，例如，相邻子图的标识(具体可以为编号)。

本申请实施例中某一子图的相邻子图包括：在目标对象中，与该子图的距离小于或等于预设距离(可以为零，也可以为很小的数值)的子图、包含该子图的全部或部分图像的子图，以及被该子图包含在内的子图。

结合上述示例，图5示出的地图图像为目标对象。对于该目标对象，服务器20得到四个子图组，这四个子图组分别为：上述第一子图组、上述第二子图组、上述第三子图组、上述第四子图组。对于子图81而言，由于子图82与子图81之间的空间距离小于或等于预设距离(如几个像素点的距离)，因此，子图82为子图81的相邻子图。此外，由于子图61和子图71均包含有子图81的全部图像，因此，子图61和子图71也均属于子图81的相邻子图。

示例性的，结合上述图5～图8，图9示出的子图数据库90包括第一子图组中子图的数据、第二子图组中多个子图的数据、第三子图组中多个子图的数据以及第四子图组中多个子图的数据。以第四子图组为例，如图9所示，第四子图组中多个子图的数据可以包括：子图81的数据、子图82的数据、子图83的数据、子图84的数据、子图85的数据。以子图81为例，如图9所示，子图81的数据可以包括：子图81的特征信息，子图82、子图61和子图71的标识。

可选的，子图数据库可以采用树形结构表示。

示例性的，本申请实施例中的子图数据库可以采用图10A所示的检索树表示。如图10A 所示，检索树包括M层，M层中的每一层对应一个子图组。如图10A所示，检索树的第一层对应子图组1，第二层对应子图组2，……，以此类推。每一层包括一个或者多个节点，如图10A所示，第一层包括节点1a等，第二层包括节点2a、节点2b、节点2c等。这些节点分别表示一个子图。每一层的所有节点组成目标对象的全部区域或者第一区域。

对于M层中任意两个相邻层而言，“上层节点所表示的子图的尺寸”可以大于“下层子图所表示的子图的尺寸”。

例如：结合上述图5～图8，图10B示出了四层结构的检索树，这四层分别对应上述第一子图组、第二子图组、第三子图组、第四子图组。为了附图清晰，图10B直接采用子图表示节点。第一层包括图5示出的目标对象。第二层包括子图61、子图62、子图63。由于目标对象属于子图61、子图62、子图63的相邻子图，因此，目标对象的图像与子图61、子图62、子图63均连接。第三层包括子图71、子图72、子图73、子图74。第四层包括子图81、子图82、子图83、子图84、子图85。第三层中子图与第二层中子图的连接关系，以及第四层中子图与第三层中子图的连接关系可以参考“目标对象的图像与子图61、子图62、子图63 均连接”的相关描述，这里不再赘述。

可选的，可将子图数据库视为一种多分辨率层次模型。该模型包括M层，M层中的每一层对应一个子图组，每个子图组包括一个或多个子图。从顶层到底层，子图的分辨率越来越高。

示例性的，图11A示出了多分辨率层次模型。该模型中的每一层均是根据子图绘制出的目标对象。结合上述图6、图7和图11A，如图11B所示，该模型的第2层可以包括子图61、子图62和子图63，第3层可以包括子图71、子图72、子图73和子图74。第三层中子图的尺寸小于第二层中子图的尺寸，反之，第三层中子图的分辨率高于第二层中子图的分辨率。

可以看出，多分辨率层次模型的层级越高，子图的数量则越多，该层级的子图所展示的目标对象的图像越详细。因此，M越大，那么第M层的所有子图所展示的目标对象的图像则越清晰。

服务器20存储的子图以及每个子图的特征信息为图像跟踪提供支持，即用于后续“图像处理”流程。在“图像处理”流程中，对于电子设备21而言，M个子图组和每个子图的特征信息为预先设置好的。

接下来对“图像处理”流程进行描述。

“图像处理”流程是基于“数据准备”流程进行的。因此，如图4所示，在S403后，还包括：S404～S411。

S404、电子设备21从服务器20获取M个子图组中每个子图组中的子图以及每个子图的特征信息。

在一种实现方式中，电子设备21可以主动服务器20发送数据请求，以请求从服务器20 获取与目标对象相关的数据，即请求获取M个子图组中每个子图组中的子图以及每个子图的特征信息。服务器20响应于接收到该数据请求，可以向电子设备21发送上述M个子图组中每个子图组中的子图以及每个子图的特征信息。例如，电子设备21中安装有具备渲染目标对象的功能的应用，用户在该应用中输入用于触发获取与目标对象相关的数据的操作后，电子设备21向服务器20发送上述数据请求。

在另一种实现方式中，服务器20可以主动向电子设备21发送上述M个子图组中每个子图组中的子图以及每个子图的特征信息。电子设备21可以接收服务器20发送的M个子图组中每个子图组中的子图以及每个子图的特征信息。例如，电子设备21中安装有具备渲染目标对象的功能的应用，在安装过程中，服务器20向电子设备21发送上述M个子图组中每个子图组中的子图以及每个子图的特征信息。

示例性的，具备渲染目标对象的功能的应用为AR应用。

S405、电子设备21存储M个子图组中每个子图组中的子图以及每个子图的特征信息。

S406、电子设备21接收用户在应用的第一操作(用于触发应用启动渲染功能)，响应于该第一操作，获取第一图像。

其中，第一图像可以为电子设备21的摄像头即时拍摄得到的，也可以为电子设备21从已经存储的图像中选取的。电子设备21已经存储的图像可以包括：电子设备21从网络服务器下载得到的，电子设备21接收其他设备传输得到的(如蓝牙传输)，电子设备21设备接收社交应用传输得到的(如微信传输、QQ传输)，电子设备21截图得到等，本申请实施例对此不作限定。

S407、电子设备21根据第一图像的图像内容以及N(N为大于或等于2的整数)个子图的图像内容，判断第一图像是否包括有目标对象的区域。

图像内容包括图像的特征信息。本实施例以图像内容为图像的特征信息为例进行说明。

在获取到第一图像后，电子设备21获取该第一图像的特征信息。电子设备21获取第一图像的特征信息的方法可以参考上述S1的描述，这里不再赘述。

电子设备21根据第一图像的特征信息以及N个子图的特征信息，判断第一图像是否包括有目标对象的区域。具体可以参考上述S4的描述，这里不再赘述。第一图像为上述视野图像。

可选的，N个子图可以为上述M个子图组中的所有子图。

若电子设备21确定第一图像不包括目标对象的区域，则电子设备21终止对目标对象的识别跟踪。若电子设备21确定第一图像包括有目标对象的区域，则电子设备21继续执行S408。

S408、电子设备21从N个子图中确定目标子图。

当第一图像中包括有目标对象的区域时，特征信息与第一图像的特征信息相互匹配的子图的数量可能为多个。相互匹配的特征信息是指特征信息之间相似度的数值高于预设数值。其中，特征信息之间相似度的计算可以参考上述S2的描述，这里不再赘述。也就是说，N个子图中可能存在多个子图，所述多个子图中每个子图的特征信息与第一图像的特征信息之间的相似度大于预设数值。

电子设备从N个子图中，选取相似度的数值最高的子图作为目标子图。

S409、电子设备21确定第一图像中与目标子图匹配的第一局部区域。

目标子图是与N个子图中，与第一图像的特征信息之间的相似度最高，且相似度大于预设数值的子图。因此，目标子图是N个子图中与第一图像最匹配的子图。这样，电子设备21 可确定出第一图像中与目标子图匹配的第一局部区域。该第一局部区域为目标对象的局部区域。

本申请实施例主要以第一局部区域在目标对象中的占比小于第一预设阈值为例进行说明。当然，第一图像中目标对象的区域也可以为目标对象的全部或者大部分区域。

在确定出第一局部区域后，电子设备21即可确定出该第一局部区域在第一图像中的位置信息。

由于目标子图是多个子图中相似度的数值高于预设数值、且相似度的数值最高的子图，因此，目标子图与第一图像中相互匹配的特征信息的数量较多。

这样，电子设备21根据目标子图与第一图像中相互匹配的特征信息，即可计算出目标子图到第一图像的单应矩阵H(该过程可参考现有技术中单应矩阵的计算方法，这里不再赘述)。进一步地，电子设备21根据计算出的单应矩阵H和目标子图的坐标，计算第一局部区域在第一图像中的位置信息。

电子设备21还可以根据计算出的单应矩阵H和目标子图在目标对象的位置信息，计算目标对象在第一图像中的位置信息。

具体的，电子设备21根据目标子图在目标对象的位置信息，可以计算出目标对象在目标子图的坐标系中的坐标。

在一个示例中，如图8所示，若目标对象的宽为W，高为H，目标子图为子图81，子图81的宽为a，高为b。目标对象的左上顶点为坐标系的原点。则在目标子图的坐标系中，按照顺时针方向目标对象的四个顶点的坐标分别为(0，0)、(W，0)、(W，H)、(0，H)。

在另一个示例中，如图12所示，若目标对象的宽为W，高为H，目标子图的宽为a，高为b。目标子图的顶点q1为坐标系的原点，顶点q1的坐标为(0，0)，顶点q2的坐标为(a， 0)，q3的坐标为(a，b)，q4的坐标为(0，b)。在图12示出的坐标系中，目标对象与x轴之间的距离为Dy，与y轴之间的距离为Dx。则目标对象的四个顶点在目标子图的坐标系中分别表示为：n1＝(-Dx，-Dy)，n2＝(W-Dx，-Dy)，n3＝(W-Dx，H-Dy)，n4＝(-Dx，H-Dy)。

在确定出目标对象在目标子图的坐标系中的坐标后，电子设备21根据“目标对象在目标子图的坐标系中的坐标”和单应矩阵H，计算目标对象在第一图像中的位置信息，即目标对象在第一图像的坐标系中的坐标。

具体的，按照顺时针方向，若目标对象在目标子图的坐标系的顶点分别表示为q1、q2、 q3、q4，目标对象在第一图像的坐标系的顶点分别表示为n1、n2、n3、n4，则n1＝q1×H，n2＝q2×H，n3＝q3×H，n4＝q4×H。

S410、电子设备21根据第一局部区域在第一图像中的位置信息和预设的目标对象的渲染规则，对第一局部区域进行渲染，以得到第二图像。

S411、电子设备21显示第二图像。

在一种实现方式中，在确定出目标对象在第一图像中的位置信息后，电子设备21根据该位置信息和预设的目标对象的渲染规则，渲染目标对象的所有区域。由于第一图像仅包括第一局部区域，因此，电子设备21在渲染目标对象的所有区域后，仅仅会显示渲染后的第一局部区域。

该目标对象的渲染规则包括：采用第一预设方式对第一局部区域进行渲染，或者，在第一局部区域上叠加第一预设内容。其中，第一预设内容包括文字、图片、视频或音频中的至少一种。此外，该目标对象的渲染规则还包括：采用第二预设方式对目标对象中除第一局部区域之外的其他区域进行渲染，或者，在目标对象中除第一局部区域之外的其他区域上叠加第二预设内容，第二预设内容包括文字、图片、视频或音频中的至少一种。

在另一种实现方式中，在确定出第一局部区域在第一图像中的位置信息后，电子设备21 根据该位置信息和预设的目标对象的渲染规则，渲染第一局部区域，并显示渲染后的第一局部区域。

该目标对象的渲染规则包括：采用第一预设方式对第一局部区域进行渲染，或者，在第一局部区域上叠加第一预设内容。其中，第一预设内容包括文字、图片、视频或音频中的至少一种。

上述第一预设方式或第二预设方式可以为采用3D效果显示，或者采用高亮的方式显示，或者增加底色等方式，本申请实施例对此不作限定。

示例性的，电子设备21可以为第一局部区域叠加图片，也可以为第一局部区域叠加用于引导用户操作的文字，还可以将第一局部区域采用3D效果显示，还可以将第一局部区域采用高亮的方式显示，或者为第一局部区域增加边框，或者为第一部分图像增加底色等。

可选的，目标对象的渲染规则可以包括M(1≤M)个子规则，每个子规则与一个或多个子图组对应。也就是说，不同子图组对应的渲染规则可以相同，也可以不同。本申请实施例对此不作限定。

若不同子图组对应的渲染规则不同，则电子设备21根据目标子图对应的渲染规则，渲染第一局部区域。

综上，电子设备21从多个子图中确定出与第一图像的相似度最高的目标子图，并根据该目标子图实现目标对象的图像跟踪。由于本申请实施例未对目标子图的尺寸进行限定，这样，即使第一图像仅包括目标对象的一小部分区域，电子设备21也可准确地识别跟踪到目标对象，进而对其进行渲染。

为了便于理解，下面结合具体示例进行说明。

以上述电子设备21为手机，电子设备21中安装的应用为应用1，目标对象为图5示出的世界地图，用户XX使用该手机拍摄世界地图，并在拍摄到的图像中渲染数据为例进行说明。

如图13所示，在用户XX使用手机拍摄世界地图的场景中，手机获取得到的图像可以为图14中的(a)示出的图像140，也可以为图14中的(b)示出的图像141，还可以为图14中的(c)示出的图像142。

图像140包括目标对象的局部区域，如包括中国地图。图像141包括目标对象的全部区域。图像142包括目标对象左上角的区域，还包括其他图像，如花的图像。

容易理解的是，图像140仅包括目标对象的局部区域，而图像141包括目标对象的全部区域，因此，“在拍摄到图像140时，用户与真实环境中的世界地图之间的距离”小于“在拍摄图像141时，用户与真实环境中的世界地图之间的距离”。

以手机获取到的图像为图像140为例，在得到图像140后，手机采用本申请实施例提供的图像处理方法确定世界地图在图像140中的位置信息，并根据该位置信息和世界地图的渲染规则对图像140进行渲染，显示如图16中的(A)或者(B)所示的用户界面。

图16中的(A)示出的界面中显示图像172。图像172是在图像140所示的“北京”位置叠加了天坛的图像170，在“西安”位置显示了大雁塔的图像171。这样，用户XX查看图 16中的(A)示出的用户界面即可直接的了解到图像140中具体的地理位置的标志性建筑。这种场景中，开发人员预先设定世界地图中待渲染的地点，以及为每一待渲染地点叠加的标志性建筑的图像，这样，在视野图像包括某一待渲染地点，且手机确定世界地图在视野图像中的位置信息后，即可为该待渲染地点叠加相应的标志性建筑的图像，并显示渲染后的图像。

图16中的(B)示出的界面中显示图像173，图像173是在图像140的基础上叠加了文字“这里是中国地图”。这样，用户XX查看图16中的(B)示出的用户界面即可直接的了解到图像140所示的地图是属于哪个国家。这种场景中，开发人员将世界地图按照国家划分，并确定每一国家的地图所叠加的文字，这样，在视野图像包括某一国家的全部或部分地图，且手机确定世界地图在视野图像中的位置信息后，即可为视野图像所包括的地图叠加相应的文字，并显示渲染后的图像。

图16中的(A)和(B)仅仅是一种示例，并不是对渲染图像后显示的界面的限定。在实际应用中，手机可以采用类似的方式显示。

以手机获取到的图像为图像142为例，在得到图像142后，手机采用本申请实施例提供的图像处理方法确定世界地图在图像142中的位置信息，并根据该位置信息和世界地图的渲染规则对图像142中的世界地图的区域进行渲染，显示如图17中的(A)或者(B)所示的用户界面。

图17中的(A)示出的界面中显示图像191。图像191是在图像142的基础上叠加了文字“这里属于欧洲”。这样，用户XX查看图17中的(A)示出的用户界面即可直接的了解到图像142所示的地图是属于哪个洲。这种场景中，开发人员将世界地图按照洲划分，并确定每一洲的地图所叠加的文字，这样，在视野图像包括某一洲的全部或部分地图，且手机确定世界地图在视野图像中的位置信息后，即可为视野图像所包括的地图叠加相应的文字，并显示渲染后的图像。

图17中的(B)示出的界面中显示图像192。图像192是在图像142的基础上叠加边框以及文字“想了解这里么，请点击”。这样，用户XX在看到图17中的(B)示出的用户界面时，可根据文字“想了解这里么，请点击”执行后续操作，如点击界面示出的地图，手机显示用户所点击的地点的简介等。

与上述图16类似，图17中的(A)和(B)仅仅是一种示例，并不是对渲染图像后显示的界面的限定。在实际应用中，手机可以采用类似的方式显示。

本实施例提供的方法，对于用户而言，可更加方便快捷的满足用户需求，交互性强；对于终端而言，可更准确地跟踪到目标对象，并进行渲染操作。

图15示出了上述从“获取图像142”到“显示图17所示的界面”的过程的流程。如图15所示，本实施例提供的图像处理方法包括：

S1500、手机接收用户输入的用于触发应用1启动渲染功能的操作，响应于该操作，获取图像142。

可选的，手机通过摄像头(前置摄像头或后置摄像头)获取图像140。

S1501、手机获取图像142的特征信息。

手机获取图像142的特征信息的方法可以参考上述S1的描述，这里不再赘述。

S1502、手机根据图像142的特征信息以及N个子图的特征信息，确定图像142包括有目标对象(具体为世界地图)的区域。

S1503、手机从N个子图中确定目标子图，并确定图像142中与目标子图匹配的第一局部区域。

可以参考上述S408的描述，这里不再赘述。

S1504、手机根据第一局部区域在图像142中的位置信息和预设的目标对象的渲染规则，对第一局部区域进行渲染，并显示渲染后的图像。

手机渲染图像142的具体过程可以参考现有技术中渲染的描述，这里不再赘述。

手机渲染图像142后，手机显示的界面如图17所示。图17的描述可以参考上述描述，这里不再赘述。

实际生活中，在图13示出的应用场景中，用户XX通常会使用手机持续拍摄世界地图的图像，比如影像。这样，手机能够获取到多个连续的图像(具体为图像帧)。在这种情况下，对于当前图像而言，手机可以参考当前图像的上一帧图像完成图像跟踪。

下面结合上述图4，以执行主体为电子设备21为例进行说明这一过程。具体的，结合上述图4，如图18所示，在S411之后，本申请实施例提供的图像处理方法还包括：

S180、电子设备21获取第三图像。

第三图像为第一图像的下一帧图像。

实际应用中，在短暂的时间内，电子设备21的位置可能未发生变化或者一直在缓慢的移动，这样，第三图像和第一图像的图像内容部分或者全部相同。

S181、电子设备21确定目标子图的相邻子图。

相邻子图可以参考上述S403的描述，这里不再赘述。

结合上述S403对相邻子图的描述可知，目标子图的相邻子图包括第一局部区域的部分或者全部图像。

S182、电子设备21获取目标子图的相邻子图的图像内容、目标子图的图像内容和第三图像的图像内容。

S183、电子设备21根据目标子图的相邻子图的图像内容、目标子图的图像内容和第三图像的图像内容，确定第一子图。

第一子图为目标子图的相邻子图以及所述目标子图中，与第三图像的图像内容之间的相似度最高，且相似度大于预设数值的子图。可以简单理解为：在处理第三图像过程中，确定出与第三图像匹配的目标子图。

S184、电子设备21确定第三图像中与第一子图匹配的第二局部区域。

S185、电子设备21根据第二局部区域在第三图像中的位置信息和预设的目标对象的渲染规则，对第二局部区域进行渲染，得到第四图像。

S186、电子设备21显示第四图像。

电子设备21渲染第二局部区域，并显示第四图像的过程与电子设备21渲染第一局部区域，并显示第二图像的过程，这里不再赘述。

电子设备21是基于所述目标子图的相邻子图和所述目标子图，完成第三图像中目标对象的识别和跟踪。因此，电子设备21确定第二局部区域的速率更快，也较为准确，有效地提高了电子设备的处理性能。

结合S180～S186的描述，容易理解的是，若本申请实施例中的第一图像为电子设备21 获取到的第一帧图像，则上述N个子图可以为M个子图组中的所有子图。若第一图像为电子设备21获取到的第i(i≠1)帧图像，则上述N个子图可以为电子设备21在处理第i-1帧图像时确定的目标子图以及该目标子图的所有相邻子图。

综上，即使电子设备21获取到的图像仅包括目标对象的一小部分区域，电子设备21也可准确地识别跟踪到目标对象。

需要说明的是，上述描述仅仅以一个目标对象为例进行说明。在实际应用中，预设的目标对象的数量可以为多个，每个目标对象均对应一个子图数据库，这样，电子设备21保存有多个子图数据库。子图数据库保存有所对应的目标对象的多个子图以及每个子图的特征信息。在这种场景中，电子设备21在获取到第一图像后，可以从多个子图数据库中逐一选取子图数据库，并根据选取的子图数据库对第一图像进行处理。当然，如果电子设备21的硬件足以支撑并行处理的话，电子设备21也可以并行地根据多个子图数据库对第一图像进行处理。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图19所示，为本申请实施例提供的一种电子设备的结构示意图。电子设备用于识别图像中的目标对象，并对图像中的目标对象进行渲染，例如用于执行图4、图15或图18所示的方法。电子设备可以包括获取单元190、处理单元191、存储单元192、显示单元193。

获取单元190，用于获取第一图像。处理单元191，用于根据获取单元190获取到的第一图像的图像内容和存储单元192存储的预设的N个子图的图像内容，确定目标子图；目标子图为：N个子图中，与第一图像的图像内容之间的相似度最高，且相似度大于预设数值的子图，N个子图中至少两个子图的划分粒度不同，N个子图中的每个子图包括预设的目标对象的部分或全部图像，N为大于或等于2的整数。处理单元191，还用于确定第一图像中与目标子图匹配的第一局部区域，第一局部区域在目标对象中的占比小于第一预设阈值，以及根据第一局部区域在第一图像中的位置信息和预设的目标对象的渲染规则，对第一局部区域进行渲染，得到第二图像。显示单元193，用于显示处理单元得到的第二图像。

例如，结合图4，获取单元190可以用于执行S406，处理单元191可以用于执行S407～S410，显示单元193可以用于执行S411，存储单元192用于存储N个子图。

可选的，获取单元190，具体用于获取用户即时拍摄到的第一图像，或者，从已经存储的图像中选取第一图像。

可选的，在本申请的一种可能的实现方式中，目标对象的渲染规则包括：采用第一预设方式对第一局部区域进行渲染，或者，在第一局部区域上叠加第一预设内容，第一预设内容包括文字、图片、视频或音频中的至少一种。

可选的，在本申请的另一种可能的实现方式中，目标对象的渲染规则还包括：采用第二预设方式对目标对象中除第一局部区域之外的其他区域进行渲染，或者，在目标对象中除第一局部区域之外的其他区域上叠加第二预设内容，第二预设内容包括文字、图片、视频或音频中的至少一种。

可选的，在本申请的另一种可能的实现方式中，N个子图为M个子图组中的子图，M个子图组为根据M个预设的划分粒度和目标对象预先得到的，M个预设的划分粒度互不相同； M个子图组中的每个子图组唯一对应一个预设的划分粒度；每个子图组中的所有子图组成目标对象的全部区域或第一区域，第一区域与目标对象的占比大于第二预设阈值，M为大于或等于2的整数。

可选的，在本申请的另一种可能的实现方式中，N个子图中的每个子图包括第一局部区域的部分或全部图像。

作为一个示例，结合图3，电子设备中的获取单元190实现的功能与图3中的摄像293、天线1或天线2的功能相同，处理单元191实现的功能与图3中的处理器210的功能相同，存储单元192实现的功能与图3中的内部存储器221的功能相同，显示单元193实现的功能与图3中的显示屏294的功能相同。

本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。

本申请实施例还提供一种芯片系统，如图20所示，该芯片系统包括至少一个处理器2001 和至少一个接口电路2002。处理器2001和接口电路2002可通过线路互联。例如，接口电路 202可用于从其它装置(例如电子设备的存储器)接收信号。又例如，接口电路2002可用于向其它装置(例如处理器2001或者电子设备的显示屏)发送信号。示例性的，接口电路2002 可读取存储器中存储的指令，并将该指令发送给处理器2001。当所述指令被处理器2001执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在识别装置上运行时，该识别装置执行上述方法实施例所示的方法流程中识别装置执行的各个步骤。

在一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。

图21示意性地示出本申请实施例提供的计算机程序产品的概念性局部视图，所述计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。

在一个实施例中，计算机程序产品是使用信号承载介质210来提供的。所述信号承载介质210可以包括一个或多个程序指令，其当被一个或多个处理器运行时可以提供以上针对图 4、图15或图18描述的功能或者部分功能。因此，例如，参考图4中S407～S411的一个或多个特征可以由与信号承载介质210相关联的一个或多个指令来承担。此外，图21中的程序指令也描述示例指令。

在一些示例中，信号承载介质210可以包含计算机可读介质211，诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等等。

在一些实施方式中，信号承载介质210可以包含计算机可记录介质212，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。

在一些实施方式中，信号承载介质210可以包含通信介质213，诸如但不限于，数字和/ 或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。

信号承载介质210可以由无线形式的通信介质213(例如，遵守IEEE 802.11标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令可以是，例如，计算机可执行指令或者逻辑实施指令。

在一些示例中，诸如针对图4、图15或图18描述的电子设备可以被配置为，响应于通过计算机可读介质211、计算机可记录介质212、和/或通信介质213中的一个或多个程序指令，提供各种操作、功能、或者动作。

应该理解，这里描述的布置仅仅是用于示例的目的。因而，本领域技术人员将理解，其它布置和其它元素(例如，机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用，并且一些元素可以根据所期望的结果而一并省略。另外，所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能实体。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line， DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上所述，仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式，可想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims

1.一种图像处理方法，其特征在于，包括：

获取第一图像；

根据所述第一图像的图像内容和预设的N个子图的图像内容，确定目标子图；所述目标子图为：所述N个子图中，与所述第一图像的图像内容之间的相似度最高，且相似度大于预设数值的子图，所述N个子图中至少两个子图的划分粒度不同，所述N个子图中的每个子图包括预设的目标对象的部分或全部图像，N为大于或等于2的整数；

确定所述第一图像中与所述目标子图匹配的第一局部区域，所述第一局部区域在所述目标对象中的占比小于第一预设阈值；

根据所述第一局部区域在所述第一图像中的位置信息和预设的所述目标对象的渲染规则，对所述第一局部区域进行渲染，得到第二图像；

显示所述第二图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取第一图像，包括：

获取用户即时拍摄到的所述第一图像，或者，从已经存储的图像中选取所述第一图像。

3.根据权利要求1或2所述的图像处理方法，其特征在于，

所述目标对象的渲染规则包括：采用第一预设方式对所述第一局部区域进行渲染，或者，在所述第一局部区域上叠加第一预设内容，所述第一预设内容包括文字、图片、视频或音频中的至少一种。

4.根据权利要求3所述的图像处理方法，其特征在于，

所述目标对象的渲染规则还包括：采用第二预设方式对所述目标对象中除所述第一局部区域之外的其他区域进行渲染，或者，在所述目标对象中除所述第一局部区域之外的其他区域上叠加第二预设内容，所述第二预设内容包括文字、图片、视频或音频中的至少一种。

5.根据权利要求1-4中任意一项所述的图像处理方法，其特征在于，

所述N个子图为M个子图组中的子图，所述M个子图组为根据M个预设的划分粒度和所述目标对象预先得到的，所述M个预设的划分粒度互不相同；所述M个子图组中的每个子图组唯一对应一个预设的划分粒度；所述每个子图组中的所有子图组成所述目标对象的全部区域或第一区域，所述第一区域与所述目标对象的占比大于第二预设阈值，M为大于或等于2的整数。

6.根据权利要求1-5中任意一项所述的图像处理方法，其特征在于，

所述N个子图中的每个子图包括所述第一局部区域的部分或全部图像。

7.一种电子设备，其特征在于，包括：

获取单元，用于获取第一图像；

处理单元，用于根据所述获取单元获取到的所述第一图像的图像内容和存储单元存储的预设的N个子图的图像内容，确定目标子图；所述目标子图为：所述N个子图中，与所述第一图像的图像内容之间的相似度最高，且相似度大于预设数值的子图，所述N个子图中至少两个子图的划分粒度不同，所述N个子图中的每个子图包括预设的目标对象的部分或全部图像，N为大于或等于2的整数；

所述处理单元，还用于确定所述第一图像中与所述目标子图匹配的第一局部区域，所述第一局部区域在所述目标对象中的占比小于第一预设阈值，以及根据所述第一局部区域在所述第一图像中的位置信息和预设的所述目标对象的渲染规则，对所述第一局部区域进行渲染，得到第二图像；

显示单元，用于显示所述处理单元得到的所述第二图像。

8.根据权利要求7所述的电子设备，其特征在于，

所述获取单元，具体用于获取用户即时拍摄到的所述第一图像，或者，从已经存储的图像中选取所述第一图像。

9.根据权利要求7或8所述的电子设备，其特征在于，

10.根据权利要求9所述的电子设备，其特征在于，

11.根据权利要求7-10中任意一项所述的电子设备，其特征在于，

12.根据权利要求7-11中任意一项所述的电子设备，其特征在于，

13.一种芯片系统，其特征在于，所述芯片系统应用于包括显示屏的电子设备；所述芯片系统包括一个或多个接口电路和一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1-6中任一项所述的图像处理方法。

14.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-6中任一项所述的图像处理方法。

15.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-6中任一项所述的图像处理方法。