CN117671216B - 一种显示方法和相关装置 - Google Patents

一种显示方法和相关装置 Download PDF

Info

Publication number
CN117671216B
CN117671216B CN202410151144.0A CN202410151144A CN117671216B CN 117671216 B CN117671216 B CN 117671216B CN 202410151144 A CN202410151144 A CN 202410151144A CN 117671216 B CN117671216 B CN 117671216B
Authority
CN
China
Prior art keywords
pixel
interactive
video frame
point
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410151144.0A
Other languages
English (en)
Other versions
CN117671216A (zh
Inventor
杨文婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202410151144.0A priority Critical patent/CN117671216B/zh
Publication of CN117671216A publication Critical patent/CN117671216A/zh
Application granted granted Critical
Publication of CN117671216B publication Critical patent/CN117671216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种显示方法和相关装置，首先获取终端设备采集的实景视频帧，然后识别所述实景视频帧中待识别对象的第一对象特征点，第一对象特征点用于标识所对应待识别对象的形状。接着根据第一对象特征点与包括互动对象的对象图像进行特征点匹配，最后响应于通过特征点匹配确定待识别对象中的第一待识别对象为互动对象中的第一互动对象，通过终端设备在实景视频帧中第一待识别对象的区域显示第一互动对象对应的互动视频帧。能够使得用户通过终端设备可以在实景视频帧中看到互动视频帧，实现增强现实的显示效果，在一定程度上满足用户对于终端设备交互的需求。

Description

一种显示方法和相关装置
技术领域
本申请涉及数据处理领域，特别是涉及一种显示方法和相关装置。
背景技术
随着社会的发展，当前越来越注重人机之间的交互过程，希望可以建立更加多元的交互关系，以实现丰富的交互功能。
在相关技术中，通过终端设备进行交互显示的方式单一，大多只能对捕捉到的图像等进行机械且直观地反映。
然而，仅仅对现实图像等信息进行直观反映，这种单一的交互方式不能满足用户对于设备交互的需求。
发明内容
为了解决上述技术问题，本申请提供了一种显示方法和相关装置，能够使得用户通过终端设备可以在实景视频帧中看到互动视频帧，实现增强现实的显示效果，在一定程度上满足用户对于终端设备交互的需求。
本申请实施例公开了如下技术方案：
一方面，本申请实施例提供了一种显示方法，包括：
获取终端设备采集的实景视频帧；
识别所述实景视频帧中待识别对象的第一对象特征点，所述第一对象特征点用于标识所对应待识别对象的形状；
根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配；
响应于通过所述特征点匹配确定所述待识别对象中的第一待识别对象为所述互动对象中的第一互动对象，通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧。
另一方面，本申请实施例提供了一种显示装置，所述装置包括：获取模块、识别模块、匹配模块及显示模块；
所述获取模块，用于获取终端设备采集的实景视频帧；
所述识别模块，用于识别所述实景视频帧中待识别对象的第一对象特征点，所述第一对象特征点用于标识所对应待识别对象的形状；
所述匹配模块，用于根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配；
所述显示模块，用于响应于通过所述特征点匹配确定所述待识别对象中的第一待识别对象为所述互动对象中的第一互动对象，通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧。
又一方面，本申请实施例提供了一种计算机设备，计算机设备包括处理器以及存储器：
存储器用于存储计算机程序；
处理器用于根据计算机程序执行以上方面所述的方法。
又一方面。本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序用于执行以上方面所述的方法。
又一方面，本申请实施例提供了一种包括计算机程序的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行以上方面所述的方法。
由上述技术方案可以看出，针对终端设备采集的实景视频帧，可以识别出实景视频帧中待识别对象的第一对象特征点，由于第一对象特征点可以标识出待识别对象在实景视频帧中的形状，故可以通过第一对象特征点与包括互动对象的对象图像进行特征点匹配，以确定实景视频帧的待识别对象中是否具有互动对象。互动对象为预先确定的对象，包括了对应的互动视频，当确定实景视频帧中的第一待识别对象为第一互动对象时，可以将互动视频以互动视频帧的维度添加显示在实景视频帧中第一待识别对象的区域，使得用户通过终端设备可以在实景视频帧中看到互动视频帧，实现了增强现实的显示效果，扩展了显示交互的维度，增加了交互趣味。而且待识别对象和包括了互动对象的对象图像可以随着交互需求随时更替，能够快速、便捷的满足日益变化的交互需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种显示方法的设备展示图；
图2为本申请实施例提供的一种显示方法的示意图；
图3为本申请实施例提供的一种显示方法的流程图；
图4 为本申请实施例提供的一种待识别对象的示意图；
图5为本申请实施例提供的一种互动视频帧显示的示意图；
图6为本申请实施例提供的一种目标区域的示意图；
图7为本申请实施例提供的一种梯度直方图的示意图；
图8为本申请实施例提供的一种播放交互视频的方法的流程图；
图9为本申请实施例提供的一种显示装置的装置示意图；
图10为本申请实施例提供的一种终端设备的结构图；
图11为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
随着社会的发展，人机之间的交互变得越来越普遍，同时对于交互的要求也日益提高。人们希望可以建立更加多元的交互关系，以实现更加丰富的交互功能。而在相关技术中，通过终端设备进行交互显示的方式单一，一般只能通过终端设备采集到的画面或是图像进行机械且直观的反映，即在终端设备中所“见”即所“得”。这种交互方式使得用户获取到的交互信息较为单一，不能够满足用户对于终端设备交互的需求。
为此本申请实施例提供了一种显示方法和相关装置，使得用户通过终端设备可以在实景视频帧中看到互动视频帧，实现了增强现实的显示效果，能够在一定程度上满足用户对于终端设备交互的需求。
本申请实施例所提供的显示方法可以通过计算机设备实施，该计算机设备可以是终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器、扩展现实（ExtendedReality，XR）设备等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。可以应用于虚拟人、数字人、游戏、扩展现实等场景。
首先对本申请下文的实施例中可能涉及的若干个名词术语进行解释。
WebAR(augmented reality，增强现实)：一种允许Web浏览器中增强现实功能的Web技术。
xr-frame：xr-frame是一套XR/3D应用解决方案，基于混合方案实现，性能逼近原生、效果好、易用、强扩展、渐进式。
FAST算法：FAST (Features from accelerated segment test)是一种用于第一对象特征点检测的算法，该算法的原理是取实景视频帧中像素点，以该像素点为圆心的周围邻域内像素点判断该像素点是否为第一对象特征点，通俗的讲就是若一个像素周围有一定数量的像素与该点像素值不同，则认为其为第一对象特征点。
Flann：Flann（Fast Library for Approximate Nearest Neighbors，近似最近邻搜索）是用于高效近似最近邻搜索的算法，Flann使用分层K-means树（Hierarchical k-means tree）实现近似最近邻搜索。分层K-means树是Flann算法中的核心。分层树可以将数据集划分为多个簇，并在每个簇中继续递归地划分，直到达到设定的叶子节点数。它采用树形结构访问数据集，并对每一个叶子节点保存特征点索引。在Flann库中，检查是指在搜索阶段中，树被遍历的次数。检查次数越少，则搜索越快，但是会影响匹配的准确性。在进行特征匹配时，可以设置检查参数以平衡搜索速度和匹配准确性。在本申请实施例中可以使用Flann进行第一对象特征点与包括互动对象的对象图像的特征点匹配。
图1为本申请实施例提供的一种显示方法的设备展示图，其中前述的计算机设备可以为终端设备，也可以为服务器。在本申请实施例中以计算机设备为服务器为例进行具体阐述。
如图1所示，在图1中的（a）中为终端设备对实景视频帧进行采集的画面，而图1中的（b）为在终端设备上进行互动视频帧的显示的画面。从图1中的（a）到图1中的（b）实现了在实景视频帧的区域中显示互动视频帧的交互功能。
图2为本申请实施例提供的一种显示方法的示意图，如图2所示，为了实现上述交互功能需要通过以下方法完成。如图所示，可以由终端设备以及服务器来共同完成，其中终端设备用于对实景视频帧进行采集，服务器用于针对获取到的实景视频帧进行处理以最终实现在实景视频帧中的特定区域进行互动视频帧的显示。具体来说，首先服务器需要获取终端设备采集的实景视频帧，然后识别实景视频帧中待识别对象的第一对象特征点。根据第一对象特征点与互动对象的对象图像进行特征点匹配，其中对象图像可以为预先存储于数据库中的图像。当完成特征点的匹配并确定出待识别对象中的第一待识别对象为互动对象中的第一互动对象时，即可通过终端设备在实景视频帧中第一待识别对象的区域显示该第一互动对象对应的互动视频帧。
前述第一对象特征点能够标识出待识别对象在实景视频帧中的形状，因此可以通过第一对象特征点与包括互动对象的对象图像进行特征点匹配，以此来确定实景视频帧的待识别对象中是否具有互动对象。当确定出实景视频帧中的第一待识别对象为第一互动对象时，可以将互动视频以互动视频帧的维度添加显示在实景视频帧中第一待识别对象的区域，使得用户通过终端设备可以在实景视频帧中看到互动视频帧，实现了增强现实的显示效果，扩展了显示交互的维度，增加了交互趣味，同时在一定程度上满足用户的交互需求。
图3为本申请实施例提供的一种显示方法的流程图，其中前述的计算机设备为终端设备。
所述方法包括：
S301：获取终端设备采集的实景视频帧。
实景视频帧是终端设备采集到的实时视频中的帧，而采集到的实时视频中的内容为实际的场景。帧是网络传输的最小单位，一般将相对完整、独立的一段信息划分为一帧，在实景视频帧中包含有实景视频在短暂时间内的视频信息。举例来说，假设终端设备为手机，那么打开手机的拍照功能，随着手机的位置的移动，在移动的时间段内，手机屏幕上会显示出手机摄像头实时采集的现实场景的视频画面，此时实景视频帧则可以理解为该视频画面中的其中一帧。也就是说，在本申请实施例中的实景视频帧中对应的实景视频并非一定是预先录制并存储的视频，而可以是通过终端设备进行实时采集得到的实际场景的连续画面。
S302：识别所述实景视频帧中待识别对象的第一对象特征点。
当终端设备获取到终端设备采集到的实景视频帧后，会对实景视频帧中待识别对象的第一对象特征点进行识别。上述第一对象特征点用于标识所对应待识别对象的形状。通过对待识别对象的第一对象特征点进行识别，可以确定出待识别对象的形状。
前述提到实景视频帧是终端设备采集到的实时视频中的帧，而采集到的实时视频中的内容为实际的场景，那么在实景视频帧中包括有在实际场景下出现的各个对象。具体的对象可以包括：物体、人体、纹理等，在实景视频帧中出现的对象中，一般可以将具有纹理或者是具有色彩（像素）差异的对象作为待识别对象。一般来说待识别对象可以为一张图片、一张卡片等，那么对应的待识别对象的形状可以为一个矩形、一个不规则四边形等。
通过识别实景视频帧中待识别对象的第一对象特征点，可以确定出待识别对象的形状轮廓，以便后续基于识别到的第一对象特征点与预先存储的对象图像进行特征点比对。
S303：根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配。
互动对象可以为预先设置的具备产生交互行为条件的对象，在本申请实施例中，交互行为的实现方式为播放互动对象对应的互动视频帧。也就是说，在本申请实施例中产生交互行为的条件为具备对应的互动视频帧以进行显示。
在实现交互行为之前，需要进行特征点匹配，通过特征点匹配才能够确定出待识别对象的第一对象特征点与互动对象的对象图像的匹配程度。只有当第一对象特征点与对象图像匹配时，才会执行后续的展示操作。
特征点匹配的过程也是图像匹配的过程，通过特征点匹配可以确定对象图像中的特征点与第一对象特征点之间的匹配程度（也可以说是相似程度），匹配程度越高，证明对象图像与待识别对象越趋于相同。当待识别对象与对象图像的特征点的匹配程度达到一定阈值时，可以认定待识别对象与互动对象为同一对象。此时待识别对象会被认定为是互动对象，也就能够进行后续的互动视频帧的显示。
S304：响应于通过所述特征点匹配确定所述待识别对象中的第一待识别对象为所述互动对象中的第一互动对象，通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧。
上述提到的互动视频帧指的是互动视频中的一帧，互动对象与互动视频之间存在对应关系，一个互动对象可以仅对应一个互动视频，一个互动对象也可以对应多个互动视频。当确定出待识别对象中的第一待识别对象为互动对象中的第一互动对象时，终端设备在实景视频帧中第一待识别对象的区域显示第一互动对象对应的互动视频帧，“显示第一互动对象对应的互动视频帧”实质上就是以帧为单位显示互动视频的行为。也就是说，终端设备在实景视频帧中第一待识别对象的区域显示第一互动对象对应的互动视频帧的这一操作过程，是一种连续行为，本身具有时序性，其时序性体现在会随着时间的推移将互动视频以互动视频帧为单位逐帧显示在第一待识别对象的区域。
上述提到互动对象可以为预先设置的具备产生交互行为条件的对象，而在本申请实施例中，交互行为的实现方式为以帧为单位播放互动对象对应的互动视频（即互动视频帧）。也就是说，互动对象与互动视频之间具有对应关系，那么互动对象与互动视频中的互动视频帧之间也具有对应关系。同时互动对象、互动视频帧以及互动对象与互动视频帧之间的对应关系可以均为预先设定的。当确定出互动对象时，即可根据互动对象与互动视频帧之间的对应关系，确定出该互动对象对应的互动视频帧。
当完成待识别对象的第一对象特征点和互动对象的对象图像的特征点匹配，且确定待识别对象中的第一待识别对象为第一互动对象时，可以通过终端设备在实景视频帧中第一待识别对象的区域显示第一互动对象的互动视频帧。
前述提到“一个互动对象可以仅对应一个互动视频，一个互动对象也可以对应多个互动视频”。具体来说，当前述第一互动对象对应互动视频A时，则终端设备会在实景视频帧中第一待识别对象的区域显示第一互动对象的对应的互动视频A的互动视频帧。当前述第一互动对象对应互动视频A、互动视频B和互动视频C时，则终端设备可以在实景视频帧中第一待识别对象的区域随机显示第一互动对象的对应的互动视频A、互动视频B和互动视频C中的任意一个互动视频对应的互动视频帧。前述说到显示互动视频帧的行为具有时序性，当一个互动视频对应的互动视频帧显示完毕之后，可以继续重复显示，也可以更换其他的互动视频进行显示。
上述提到“互动对象与互动视频之间具有对应关系，那么互动对象与互动视频中的互动视频帧之间也具有对应关系”，需要说明的是互动对象与互动视频之间的对应关系是可以更换的。举例来说，假设第一互动对象与互动视频A之间具有对应关系，根据设置需求可以将第一互动对象设定为与互动视频B之间具有对应关系。那么当确定待识别对象中的第一待识别对象为互动对象中的第一互动对象时，终端设备会在实景视频帧中第一待识别对象的区域显示第一互动对象的对应的互动视频B的互动视频帧。
当然的，除了更改互动视频的设置之外，还可以更改互动对象的设置，假设第一互动对象与互动视频A之间具有对应关系，根据设置需求可以将第二互动对象设置为与互动视频A之间具有对应关系。此时，第一互动对象和第二互动对象可以同时与互动视频A之间具有对应关系；还可以仅第二互动对象与互动视频A之间具有对应关系，将第一互动对象与互动视频A之间的对应关系解除，建立与其他互动视频（如：互动视频B）之间的对应关系。
图4为本申请实施例提供的一种待识别对象的示意图，参见图4所示，在终端设备的采集的实景视频帧中包括有多个待识别对象，在实景视频帧中的可以看到图片墙，图片墙中包括多张图片，其中每张图片均可以作为待识别对象，以图中的待识别对象A为例，当实景视频帧中包括该待识别对象A（图片墙中的一张图片）时，即会对实景视频帧中的待识别对象进行第一对象特征点的识别，然后根据识别到的第一对象特征点与互动对象的对象图像进行特征匹配。若通过特征点匹配确定待识别对象中的待识别对象A为所述互动对象中的第一互动对象，通过终端设备在实景视频帧中待识别对象A的区域显示第一互动对象对应的互动视频帧。
图5为本申请实施例提供的一种互动视频帧显示的示意图，如图5中的（a）所示，在实景视频帧中包括两张图片，这两张图片均为待识别对象。当对完成待识别对象的第一对象特征点的识别，以及将第一对象特征点与包括互动对象的对象图像进行特征点匹配之后，可以确定出实景视频帧中上方的图片（即第一待识别对象）为互动对象中的第一互动对象，此时则会通过终端设备在实景视频帧中第一待识别对象的区域，即实景视频帧中上方图片的所在区域进行第一互动对象对应的互动视频帧的显示，具体的显示过程，如图5中的（b）~图5中的（c）所示，为互动视频帧的播放展示过程。由图可得，在互动视频进行播放显示的过程中，随着时间的推移对应的互动视频帧也会变化，图5中的（b）和图5中的（c）显示出了不同时间点对应的互动视频帧不同。
通过针对终端设备采集的实景视频帧，可以识别出实景视频帧中待识别对象的第一对象特征点，由于第一对象特征点可以标识出待识别对象在实景视频帧中的形状，故可以通过第一对象特征点与包括互动对象的对象图像进行特征点匹配，以确定实景视频帧的待识别对象中是否具有互动对象。互动对象为预先确定的对象，包括了对应的互动视频，当确定实景视频帧中的第一对象为第一互动对象时，可以将互动视频以互动视频帧的维度添加显示在实景视频帧中第一待识别对象的区域，使得用户通过终端设备可以在实景视频帧中看到互动视频帧，实现了增强现实的显示效果，扩展了显示交互的维度，增加了交互趣味。而且待识别对象和包括了互动对象的对象图像可以随着交互需求随时更替，能够快速、便捷的满足日益变化的交互需求。
上述S302中提到“识别所述实景视频帧中待识别对象的第一对象特征点”，在一种可能的实现方式中，具体的识别第一对象特征点的方法可以为：首先确定实景视频帧中的像素点的像素差异参数，然后将像素差异参数符合轮廓边缘条件的像素点确定为第一对象特征点。
上述像素差异参数用于标识所对应像素点的像素值与周边像素点的像素值的差异程度。同时，前述提到第一对象特征点用于标识所对应待识别对象的形状。具体来说，在本申请实施例中可以通过像素差异参数确定第一对象特征点，也即通过像素差异参数确定待识别对象的形状轮廓。
在本申请实施例中首先会确定出实景视频帧中的像素点的像素差异参数，像素点是组成图像的最基本单元要素，不同的像素点之间存在差异。而像素差异参数就是用来衡量像素点之间的像素值的差异程度。当像素点与周边像素点的像素值的差异程度达到一定程度，且符合轮廓边缘条件时，则可以将该像素点确定为第一对象特征点，即用来标识待识别对象的形状的特征点。
待识别对象的形状轮廓可以通过像素值的差异体现出来，在实景视频帧中可以包括多个待识别对象，前述提到待识别对象一般可以是具有纹理或者是具有色彩（像素）差异的对象，且待识别对象与其周围的像素点之间会存在较大的像素差异，否则该待识别对象将无法在实景视频帧中突出显示。
首先需要基于像素点的像素值与周边像素点的像素值的差异程度确定出待识别对象的轮廓，轮廓可以简便体现出待识别对象的形状。因此当需要确定出单个待识别对象的形状（第一对象特征点）时，需要基于该待识别对象与周围的像素点之间的像素差异进行确定。
上述特征点是全局或者局部的一种能够描述待识别对象特征的具有标识性的点，具体是指图像像素发生剧烈变化的点。特征点可以包括多种类型，如平坦区域的特征点、边缘区域的特征点以及角点。其中，平坦区域的特征点指的是通过窗口在待识别对象中进行各个方向的移动时，窗口内的像素值均不发生变化的区域处的特征点。边缘区域的特征点指的是通过窗口在待识别对象中只有进行某个方向的移动时，窗口内的像素值才发生变化的区域处的特征点。角点指的是通过窗口在待识别对象中进行各个方向的移动时，窗口内的像素值均发生变化的区域处的特征点。
由此可见，其中角点是最具有“唯一性”的特征的，也就更加具有识别的价值，角点属于第一对象特征点的一种，通过识别角点更能确定出待识别对象的轮廓，因此在本申请实施例中以角点为例进行具体阐述。上述提到的轮廓边缘条件指的是用于确定像素点是否为待识别对象的轮廓边缘的条件。当满足轮廓边缘条件时，即可确定该像素点为第一对象特征点，也就是用于标识对应待识别对象的形状的像素点。
也就是说轮廓边缘条件要确定的是与待识别对象的轮廓相关的特征点，具体的确定过程是通过衡量像素点之间的像素差异程度实现的，待识别对象的轮廓对应的像素点与轮廓周边的像素点存在较大的像素值差异。因此基于轮廓边缘条件可以确定出像素点是否为能够标识出待识别对象形状的第一对象特征点。
具体的轮廓边缘条件可以包括但不限于以下类型：①通过部分参考像素点的像素差异参数情况确定第一对象特征点；②通过连续的全部参考像素点的像素差异参数情况确定第一对象特征点。
通过上述提供的识别第一对象特征点的方法，首先确定出实景视频帧中的像素点的像素差异参数，然后将像素差异参数符合轮廓边缘条件的像素点确定为第一对象特征点。通过第一对象特征点的确定可以通过较少的特征点反映出待识别对象的形状，降低了对于待识别对象进行识别的计算量以及识别难度，且能够提高待识别对象的识别效率。同时通过待识别对象的形状确定能够使得待识别对象与互动对象的匹配更加精准。
在前述提到“确定所述实景视频帧中的像素点的像素差异参数”，在本申请实施例中可以针对所述实景视频帧中的第i个像素点，进行确定像素差异参数的过程的阐述。具体来说，在一种可能的实现方法中，确定像素差异参数的过程为：
A1：将所述实景视频帧中处于目标区域的像素点作为所述第i个像素点的参考像素点。
上述目标区域是以第i个像素点为中心在实景视频帧确定的像素区域。举例来说，目标区域可以为以第i个像素点作为圆心形成的圆形区域。在目标区域内的其他像素点均可作为第i个像素点的参考像素点。通过参考像素点可以确定该第i个像素点的像素差异参数。
图6为本申请实施例提供的一种目标区域的示意图，其中图6中的（a）为实景视频帧，图6中的（b）为实景视频帧中的局部区域对应的像素图，在像素图中包括有目标区域。如图6中的（b）所示，在图中目标区域为以像素点P（即第i个像素点）为圆心形成的圆形区域。为了提高效率，在本申请实施例中可以仅将处于目标区域对应的圆形的边界处对应的像素点作为参考像素点。在图中圆形边界对应的像素点共有16个，在图中已经将各个像素点的标号示出。
A2：从所述参考像素点中确定多个像素点对，每个像素点对中的参考像素点相对于所述第i个像素点的方向相反。
在前面对于轮廓边缘条件的介绍中提到，其中一种轮廓边缘条件为通过部分参考像素点的像素差异参数情况确定第一对象特征点。因此在本实施例中从参考像素点中确定多个像素点对，可以仅选取部分参考像素点组成像素点对。
第一对象特征点指的是用于标识所对应待识别对象的形状的特征点，第一对象特征点与其周边的部分像素点之间的像素差异程度较大。因此，在对第一对象特征点进行确定的过程中，为了提高效率，可以选择采用识别像素点对的方式进行。在确定像素点对时，为了从多方向的角度尽可能广泛的确定像素点之间的像素差异，组成像素点对的两个参考像素点之间相对于第i个像素点的方向截然相反，如此能够涵盖到较为广泛的方向角度。通过对像素点对中的参考像素点与第i个像素点之间的像素差的确定，能够更加快捷的判断出第i个像素点与周边像素点之间的像素差异情况。
继续参照图6中的（b），当确定出第i个像素点的目标区域以及对应的各个参考像素点后，可以从16个参考像素点中选取部分像素点并将其两两组成像素点对。举例来说，可以将参考像素点1和参考像素点9，参考像素点5和参考像素点13分别组成像素点对，参考像素点1和参考像素点9相对于像素点P的方向截然相反，参考像素点1处于正北方向，参考像素点9处于正南方向。同理，参考像素点5和参考像素点13相对于像素点P的方向截然相反，参考像素点5处于正东方向，参考像素点13处于正西方向。又一示例性的，可以将参考像素点3和参考像素点11、参考像素点15和参考像素点7组成像素点对。由图可得参考像素点3和参考像素点11相对于像素点P的方向分别为东北方向和西南方向，而参考像素点15和参考像素点7相对于像素点P的方向分别为西北方向和东南方向。
A3：响应于所述多个像素点对中与所述第i个像素点的像素差超过第一阈值的参考像素点数量达到第一识别条件，根据所述参考像素点与所述第i个像素点的像素差确定所述第i个像素点的像素差异参数。
上述提到的第一阈值是针对像素值设置的阈值，第一阈值的具体取值可以由本领域技术人员根据实际情况及应用场景进行确定，在此不作限定。
在A3中提到了“响应于所述多个像素点对中与所述第i个像素点的像素差超过第一阈值的参考像素点数量达到第一识别条件”，具体来说，需要计算像素点对中的参考像素点与第i个像素点之间的像素差，像素差超过第一阈值的对应的参考像素点的数量达到第一识别条件。第一识别条件可以理解为是对第i个像素点继续进行后续识别的条件。举例来说，第一识别条件可以为：像素差超过第一阈值的对应的参考像素点的数量大于等于3个。
通过上述描述可知，只有当多个像素点对中与第i个像素点的像素差超过第一阈值的参考像素点数量达到第一识别条件时，才会对该第i个像素点继续进行后续的像素差异参数的确定。也就是说判断是否达到第一识别条件是对像素点进行初步筛选，具体的筛选条件就是前述第一识别条件。
当确定出第i个像素点达到第一识别条件，则继续根据参考像素点与第i个像素点的像素差确定第i个像素点的像素差异参数。
前述A3中提到“响应于所述多个像素点对中与所述第i个像素点的像素差超过第一阈值的参考像素点数量达到第一识别条件，根据所述参考像素点与所述第i个像素点的像素差确定所述第i个像素点的像素差异参数。”，事实上也会存在多个像素点对中与第i个像素点的像素差超过第一阈值的参考像素点数量未达到第一识别条件的情况。因此，在一种可能的实现方式中，响应于多个像素点对中与第i个像素点的像素差超过阈值的参考像素点数量未达到第一识别条件，确定第i个像素点不是第一对象特征点。
具体来说，当从参考像素点中确定出像素点对后，判断多个像素点对中与第i个像素点的像素点超过第一阈值的参考像素点的数量未达到第一识别条件。上述提到第一识别条件可以理解为是对第i个像素点继续进行后续轮廓边缘条件识别的条件。举例来说，假设第一识别条件为多个像素点对中与第i个像素点的像素差超过阈值的参考像素点数量达到9个，那么当像素点对中与第i个像素点的像素差超过阈值的参考像素点数量未达到9个时，可以直接确定该第i个像素点不是第一对象特征点，也就不需要再进行后续的其他识别操作。
通过上述提到的针对像素点对中与第i个像素点的像素差超过第一阈值的参考像素点数量未达到第一识别条件的情况的处理方式，直接将该第i个像素点确定为不是第一对象特征点。如此可以避免后续对于该第i个像素点进行其他识别操作，能过简化识别流程同时避免算力资源的浪费，提高第一对象特征点的识别效率。
通过上述提出的确定像素差异参数的过程，首先确定出了参考像素点，然后从参考像素点中确定出像素点对。通过判断像素点对中与第i个像素点的像素差超过第一阈值的参考像素点数量是否达到第一识别条件，以继续像素值差异参数的确定。如此，通过从参考像素点中确定像素点对，可以以部分参考像素点与第i个像素点的像素差进行像素点的初步筛查，能够降低对像素点进行识别的计算量。同时在确定像素对的过程中，每个像素点对中的参考像素点相对于第i个像素点的方向截然相反，如此能够使用较少的像素点确定出较为广泛的角度范围的第i个像素点与周边像素点之间的像素差异情况。
前述提到“将所述像素差异参数符合轮廓边缘条件的像素点确定为所述第一对象特征点”，同时在对于轮廓边缘条件进行介绍时提到，轮廓边缘条件可以包括：通过连续的全部参考像素点的像素差异参数情况确定第一对象特征点。因此，在一种可能的实现方式中，确定第一对象特征点的过程可以为：响应于具有位置连续性的达标像素点的数量符合轮廓边缘条件的数量要求，将第i个像素点确定为第一对象特征点。
上述达标像素点为与第i个像素点的像素差超过第二阈值的参考像素点，其中第二阈值与前述第一阈值一致，均为针对像素值设置的阈值，第二阈值的具体取值可以由本领域技术人员根据实际情况及应用场景进行确定，在此不作限定。需要说明的是，第二阈值和第一阈值的取值可以相同也可以不同。
与上一实施例中，从参考像素点中确定像素点对，即选取部分参考像素点进行第一对象特征点的识别不同。在本实施例中，通过对全部参考像素点的像素差情况进行计算，然后从中判断出具有位置连续性的达标像素点的数量是否符合轮廓边缘条件的数量要求，进而将符合轮廓边缘条件的数量要求的第i个像素点确定为第一对象特征点。具有位置连续性可以理解为是参考像素点之间具有相邻关系。当具有位置连续性的达标像素点的数量符合所述轮廓边缘条件的数量要求时，意味着该第i个像素点与其周边的多个像素点之间存在连续角度范围的较大像素差异。也就是说，在第i个像素点的周边存在大量的与第i个像素点具有较大像素差异的达标像素点。
前述提到轮廓边缘条件要确定的是与待识别对象的轮廓相关的特征点，具体的确定过程是通过衡量像素点之间的像素差异程度实现的，待识别对象的轮廓对应的像素点与轮廓周边的像素点存在较大的像素值差异。因此当存在具有位置连续性的达标像素点的数量符合所述轮廓边缘条件的数量要求时，意味着在第i个像素点的周边连续角度范围内存在大量的像素点与其具有较大的像素值差异，因此可以认定该第i个像素点为第一对象特征点（用于标识所对应待识别对象的形状轮廓的特征点）。
继续参照图6中的（b）所示，在本实施例中，第i个像素点对应于图中的像素点P，需要对图中参考像素点1、参考像素点2、参考像素点3……参考像素点16均分别计算与像素点P之间的像素差。当与像素点P之间的像素差超过第二阈值时，可以将对应的参考像素点确定为是达标像素点。当完成全部的参考像素点与像素点P之间的像素差的计算后，可以确定出全部达标像素点。然后从全部达标像素点中得到具有位置连续性的达标像素点的数量，当该数量符合轮廓边缘条件的数量要求时，可以将该像素点P作为第一对象特征点。具体的数量要求也可以由本领域技术人员根据实际情况及应用场景进行设定，在此不作限定，举例来说，数量要求可以为具有位置连续性的达标像素点的数量为9个。
需要说明的是，本实施例中通过连续的全部参考像素点的像素差异参数情况确定第一对象特征点。可以作为单独确定第一对象特征点的方法使用，还可以作为前述确定像素差异参数的过程的实施例的后续执行。原因在于，可以将前述确定像素差异参数的过程作为对第一对象特征点的初步识别，也就是说通过部分参考像素点识别出的第一对象特征点可以作为候选特征点。当完成候选特征点的识别后，再使用本实施例中的连续的全部参考像素点的像素差异参数情况对于候选特征点进行筛选确定，得到最终的第一对象特征点。当然也可以将前述确定像素差异参数的过程结合轮廓边缘条件，直接作为对第一对象特征点的确定过程。两种方式均可，在此不作限定。
简单来说，轮廓边缘条件分为两种，一种可以通过部分参考像素点的像素差异参数情况确定第一对象特征点；另一种可以通过连续的全部参考像素点的像素差异参数情况确定第一对象特征点。对应于本申请的实施例即为本实施例以及上一实施例中分别介绍的内容。同时还可以将两种确定第一对象特征点的过程结合起来使用，也就是说，可以先使用其中一种轮廓边缘条件进行第一对象特征点的初步识别，在识别出的候选第一对象特征点中使用另外一种轮廓边缘条件进行再次识别，获得最终的第一对象特征点。
上述提到的将两种确定第一对象特征点的过程结合起来使用的方法可以通过FAST 特征点检测算法实现。具体来说，可以假设实景视频帧中的待识别图像中的第i个像素点为像素点P，同时像素点P的灰度值为Ip。然后可以以像素点P为中心设置一个半径为3的离散化的Bresenham圆，在圆边界上有16个参考像素点。接着设定一个合适的第一阈值t，计算 P1（参考像素点1）、P5（参考像素点5）、P9（参考像素点9）、P13（参考像素点13）与像素点P的像素差，如果有至少 3 个参考像素点的灰度值小于Ip−t或者大于Ip+t，则将像素点P当做候选特征点，继续进行下一步检测；否则，认定像素点P不是特征点。当确定像素点P 是候选特征点，则计算 P1（参考像素点1） 到 P16 （参考像素点16）这 16 个参考像素点与像素点P的像素差，如果其中有至少连续 9 个超过第二阈值 t，则确定像素点P是第一对象特征点。
通过本实施例中提出的通过具有位置连续性的达标像素点的数量确定第一对象特征点的方法，对于全部参考像素点的像素差情况进行计算，然后从中判断出具有位置连续性的达标像素点的数量是否符合轮廓边缘条件的数量要求。通过对全部参考像素点的像素差情况进行计算，能够对全部参考像素点的情况进行判断，使得最终确定出的第一对象特征点更加准确。
同时在一种可能的实现方式中，在前述提到的“确定所述实景视频帧中的像素点的像素差异参数”之前，还可以对实景视频帧进行灰度化处理。通过对实景视频帧进行灰度化处理，能够降低第一对象特征点识别过程的识别难度，同时可以在一定程度上提高识别的精度。在本申请实施例中可以通过加权平均法，将每个像素的 R（红色）、G（绿色）、B（蓝色）值以不同的权值进行加权平均，得到灰度图像。计算公式如下：
F(i,j) = 0.30R(i,j)+0.59G(i,j)+0.11B(i,j)
其中0.30、0.59和0.11即为不同权值，i可以用于表示像素的横坐标，j可以用于表示像素的纵坐标。
在S304中提到“通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧”，在进行互动视频帧的显示之前，需要确定出互动视频帧在实景视频帧中的显示位置。因此，在一种可能的实现方式中，在进行互动视频帧的显示之前，需要基于第一待识别对象的第一对象特征点所标识的第一待识别对象的形状，确定第一待识别对象的区域。
前述在对第一对象特征点进行介绍时提到，第一对象特征点用于标识所对应待识别对象的形状，因此，在确定互动视频帧的显示区域时，可以根据第一对象特征点标识出的待识别对象的形状确定出显示互动视频帧的区域的范围（形状）。也就是说，互动视频帧显示的区域可以与第一待识别对象的形状一致。当然，第一待识别对象还存在形状不规则的情况，当处于这种情况时，在确定互动视频帧的显示区域时，可以结合第一待识别对象的所在位置以及第一待识别对象的形状进行显示区域的确定，显示互动视频帧的区域的原则是能够将第一待识别对象进行覆盖，也可以理解为是显示互动视频帧的区域需要完全覆盖该第一待识别对象的形状所涉及的实景视频帧的画面范围。
具体来说，需要根据匹配的第一对象特征点在实景视频帧中的位置定位第一待识别对象（前述图片）的位置。具体的，需要遍历所有的第一对象特征点坐标，横坐标最小纵坐标最小的第一对象特征点为图片的左上角点，横坐标最大纵坐标最小的第一对象特征点为图片的右上角点，横坐标最小纵坐标最大的第一对象特征点为图片的左下角点，横坐标最大纵坐标最大的第一对象特征点为图片的右下角点。通过图片四个角的坐标来控制互动视频帧的显示位置和大小。
通过上述提供的确定互动视频帧在实景视频帧中的显示位置的方法，能够保证互动视频帧能够在实景视频帧中第一待识别对象的所在区域内进行显示，更能够凸显出第一待识别对象与互动视频帧之间的对应关系，能够在一定程度上保证交互过程的准确性，提升用户的交互体验。
在前述S303中提到“根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配”，在一种可能的实现方式中，具体的特征点匹配的方法为：首先获取第一对象特征点的第一图像特征，然后根据第一图像特征与第二图像特征进行特征点匹配。
上述第二图像特征对应对象图像中用于标识所包括互动对象的第二对象特征点。前述在对第一对象特征点进行介绍时提到：第一对象特征点用于标识所对应待识别对象的形状。也就是说，第一对象特征点可以理解为是标识待识别对象的边缘轮廓的点，全部第一对象特征点的组合信息可以标识出第一图像特征。
上述提到“根据第一图像特征与第二图像特征进行特征点匹配”，那么意味着需要获取到第一对象特征点的第一图像特征，以及互动对象对应的第二对象特征点的第二图像特征。在前述的描述中对于识别第一对象特征点的方法进行了详细的阐述，在对互动对象的第二对象特征点进行识别时，可以采取与第一对象特征点相同的识别方法，在此不再赘述。还需要说明的是，获取第二对象特征点以及相应的第二图像特征的过程可以通过预先处理得到，还可以在终端设备采集实景视频帧的同时，实时进行。
将第一图像特征与第二图像特征进行特征点匹配，也就是说判断实景视频帧中的待识别对象与互动对象的对象图像是否匹配。其中对象图像可以理解为是互动对象对应的图像，对象图像是预先存储在数据库或者其他存储空间中的图像。对象图像与互动对象之间具备对应关系，同时互动对象与互动视频帧之间也具备对应关系。
在进行特征点匹配的过程中，引入了待识别对象的第一对象特征点对应的第一图像特征，以及互动对象的对象图像中第二对象特征点对应的第二图像特征。通过将第一图像特征与第二图像特征进行特征点匹配，能够确定出待识别对象与互动对象是否为相同对象。举例来说，假设待识别对象为一张图片，同时互动对象的对象图像也当然为一张图片，此时需要通过对待识别对象的第一对象特征点（即图片的形状）的第一图像特征，与互动对象的对象图像对应的第二图像特征进行特征点匹配，以此来确定待识别对象是否与该互动对象的对象图像为一致图像。
上述提到的特征点匹配的方法可以通过Flann算法实现。具体来说，通过 Flann最近邻搜索法完成初步匹配，取待识别对象中的1个第一对象特征点点，并找出其与互动对象的对象图像中欧式距离最近的前2个第二对象特征点。
然后通过 Lowe’s 算法（一种特征点匹配的算法）来获取最合适的匹配点，在这两个第二对象特征点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。保证最近第二对象特征点和次近第二对象特征点的距离较远，尽可能保证最近第二对象特征点的准确性，进而能够保证第一对象特征点与该最近第二对象特征点的匹配准确性。其中前述阈值的具体取值可以由本领域技术人员根据实际情况及应用场景进行确定，在此不作限定，具体算法实现如下：
遍历所有互动对象的对象图像中欧式距离最近的前 2 个第二对象特征点
{
if (最近第二对象特征点的距离< 阈值T * 次近第二对象特征点的距离)
{
保存最近第二对象特征点到数组;
}
}
通过对第一对象特征点与包括互动对象的对象图像进行特征点匹配，能够确定出待识别对象是否为互动对象，特征点的匹配程度可以作为待识别对象确定为互动对象的前提条件。如此以便于后续对于满足条件的待识别对象进行互动视频帧的显示。
前述提到“第一对象特征点可以理解为是标识待识别对象的边缘轮廓的点，全部第一对象特征点的组合信息可以标识出第一图像特征“，在第一图像特征中包括第一对象特征点在所述实景视频帧中的方向信息。因此前述提到的“获取所述第一对象特征点的第一图像特征”的实现方式为：
B1：根据第一对象特征点在所述实景视频帧中的相邻特征点计算梯度直方图。
上述梯度直方图中的梯度方向和梯度幅值用于标识相邻特征点相对于第一对象特征点在不同方向上的方向强度。具体来说，参见图6中的（b）所示，假设像素点P被确定为是第一对象特征点。此时可以将像素点P周围的像素区域分块，计算块内的梯度直方图。图7为本申请实施例提供的一种梯度直方图的示意图，参见图7所示，在图中像素点P周围的像素区域被分为了四块区域，分别为A区域、B区域、C区域及D区域。在图7中的（b）中显示出了上述四个区域各自对应的梯度直方图。
梯度直方图体现的是特征点的方向信息，为了让第一对象特征点的描述符具有旋转不变性，即使图片进行了旋转，由于第一对象特征点的方向不同，也能够顺利进行匹配。在四个区域各自对应的梯度直方图中均包括8个方向箭头，8个方向箭头来源具体为：首先图7中的（a）的箭头方向以及长度分别表示采集圆心区域（即目标区域）内所有像素点的梯度方向和梯度幅值。采集方法是用像素点的角度使用特定公式计算。然后进行高斯加权，最后统计出数值最高的方向为主方向，主方向是 8 个方向，每份 45°。箭头长度最长的方向为主方向，箭头长度表示像素点在每个方向的数值。
B2：根据所述梯度直方图生成所述第一图像特征中的所述方向信息。
当获取到梯度直方图，意味着获取到了相邻特征点相对于第一对象特征点在不同方向上的方向强度。由此可以确定出第一图像特征中的方向信息。
梯度直方图时对特征点进行描述的一种手段，通过计算能够使得第一对象特征点周围的像素区域中的参考像素点，通过8个方向的向量进行描述，也就能够体现出第一对象特征点的方向信息。参见图7中的（b）所示，可以是以第一对象特征点为圆心，统计它周围7.5σ半径圆内所有像素的梯度方向和梯度幅值，也就是说描述第一对象特征点是通过以它为圆心的这个圆形区域进行描述。
可以用一组数学向量对特征点进行描述，保证不同的向量和不同的特征点一一对应。前述一组数学向量在图中指的就是各个特征点对应的箭头。
对于第一对象特征点描述的方法是，对第一对象特征点周围像素区域分块（图7中分为了A、B、C和D这四块区域），计算各个区域分块内的梯度直方图，生成具有独特性的向量。比如对于一个 2*2 像素区域，每块的所有像素点做高斯加权，最终取8个方向，可以生成 2*2*8 维度的向量，以这 2*2*8 维向量作为第一对象特征点的数学描述，用于下一步第一对象特征点与包括互动对象的对象图像进行特征点匹配的匹配计算。
通过上述提供的一种基于梯度直方图确定第一图像特征的方向信息的方法，能够确定出第一对象特征点的方向信息。当明确第一对象特征点的方向信息时，即使待识别对象对应的图像发生了旋转，也能够实现第一图像特征与第二图像特征的特征点匹配。在一定程度上避免了由于第一图像特征旋转导致的无法准确进行特征点匹配的情况出现，能够提高特征点匹配的准确性，
在S304中提到“响应于通过所述特征点匹配确定所述待识别对象中的第一待识别对象为所述互动对象中的第一互动对象”，在确定第一互动对象的过程中，需要进行第一图像特征与第二图像特征的特征点匹配。在第二图像特征对应对象图像中用于标识所包括互动对象的第二对象特征点，也就是说，对第一图像特征与第二图像特征的特征点匹配，实际上就是将第一对象特征点与第二对象特征点进行匹配。因此，在一种可能的实现方式中，确定第一互动对象的方法为：当确定第一互动对象中与第一对象特征点匹配的第二对象特征点数量满足匹配阈值，确定第一待识别对象为第一互动对象。
上述提到的匹配阈值是用于标识第一对象特征点与第二对象特征点匹配程度的阈值，具体的匹配阈值的取值可以由本领域技术人员根据实际情况及应用场景进行确定，在此不作限定。举例来说，该匹配阈值可以为90%，当匹配阈值为90%时，表示第一对象特征点与第二对象特征点中有90%的数量的特征点为匹配的，此时可以认定第一对象特征点对应的第一待识别对象与第二对象特征点对应的第一互动对象一致，即第一待识别对象为第一互动对象。
以第一待识别对象为一张图片为例，此时对应的第一对象特征点标识出的第一待识别对象的形状为四边形。将该图片对应的第一对象特征点与第一互动对象的第二对象特征点进行匹配，当第一互动对象中与第一对象特征点匹配的第二对象特征点数量满足匹配阈值时，可以认定该图片（第一待识别对象）为第一互动对象。若第一互动对象中与第一对象特征点匹配的第二对象特征点数量不满足匹配阈值，也就不会在执行后续的互动视频帧的显示操作。
通过上述提出的确定第一互动对象的方法，匹配阈值的设置能够为确定待识别对象是否为互动对象确定出衡量标准，进而可以通过该匹配阈值直接确定互动对象，提高了确定第一待识别对象为第一互动对象的效率，以及由于存在衡量标准可以调高确定第一互动对象的准确性。
前述提到实景视频帧中包括有在实际场景下出现的各个对象，也就是说在实景视频帧中可以包括多个待识别对象。终端设备在实景视频帧中待识别对象的区域显示互动对象对应的互动视频帧，在实景视频帧中可以同时显示多个互动对象的互动视频帧。因此，在一种可能的实现方式中，显示互动视频帧的方法可以为：响应于通过特征点匹配确定待识别对象中的第二待识别对象为互动对象中的第二互动对象，在实景视频帧中第二待识别对象的区域显示第二互动对象对应的互动视频帧。
也就是说，在实景视频帧中可以同时在实景视频帧中显示第一互动对象对应的互动视频帧，以及第二互动对象对应的互动视频帧。其中，第一互动对象对应的互动视频帧显示在实景视频帧中第一待识别对象的区域，第二互动对象对应的互动视频帧显示在实景视频帧中第二待识别对象的区域。
前述S304中提到“响应于通过所述特征点匹配确定所述待识别对象中的第一待识别对象为所述互动对象中的第一互动对象，通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧”，在本实施例中是在实现S304中的第一互动对象的互动视频帧显示的同时，在实景视频帧中的第二待识别对象的区域进行第二互动对象对应的互动视频帧的显示。
通过上述提供的互动视频帧显示的方法，能够使得在实景视频帧中能够同时显示出多个互动视频帧，如此可以使得在同一实景视频帧中实现多个交互的需求，能够增加交互趣味，增强显示的显示效果，使得显示交互更加多元，更能够满足用户的交互需求。
前述S303中提到“根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配”，针对于第一互动对象，在进行特征点匹配的过程中，当一个参考图像的特征点大部分都匹配到实景视频帧的某一区域时，之后的匹配优先在此区域（即优先匹配区域）进行，以此提升匹配效率。因此，在一种可能的实现方式中，进行特征点匹配的方法可以为：
C1：在进行特征点匹配的过程中，确定所述第一互动对象的第二对象特征点中已被匹配的目标特征点。
前述提到在进行第一对象特征点与包括互动对象的对象图像的特征点匹配时，需要将第一互动对象对应的第二对象特征点与第一对象特征点进行匹配。目标特征点指的就是已经完成与第一对象特征点匹配的第二对象特征点。
C2：根据与所述目标特征点匹配的第一对象特征点在所述实景视频帧中的分布位置，确定所述实景视频帧中针对所述第一互动对象的优先匹配区域。
上述优先匹配区域中与目标特征点匹配的第一对象特征点数量占全部目标特征点匹配的第一对象特征点数量的比例达到比例阈值。这里的比例阈值用于衡量在已经实现与第二对象特征点匹配的部分第一对象特征点，占需要与第二对象特征点匹配的全部第一对象特征点的比例的阈值，当满足比例阈值时，可以将实现与第二对象特征点匹配的部分第一对象特征点的所在区域确定为优先匹配区域。具体的比例阈值的取值在此不作限定，举例来说，该比例阈值可以为70%等。
示例性的，在完成部分第一对象特征点与第二对象特征点的特征点匹配后，可以根据特征点的匹配情况确定出优先匹配区域。假设一共存在1000个第一对象特征点需要进行特征点匹配，此时已经完成了300个第一对象特征点的匹配，也就是说此时的目标特征点的数量为300个。那么可以根据与目标特征点匹配的第一对象特征点在实景视频帧中的分布位置，进行优先匹配区域的确定，假设第一对象特征点的分布位置为区域1、区域2以及区域3，设置比例阈值为50%。那么此时可以分别计算区域1、区域2以及区域3中，与目标特征点匹配的第一对象特征点的数量（小于或等于目标特征点的数量）占全部目标特征点匹配的第一对象特征点数量（与目标特征点的数量一致为300）的比例。若计算出区域1处的比例为30%、区域2处的比例为20%以及区域3处的比例为60%，此时可以将区域3作为优先匹配区域。
C3：针对所述第一互动对象，优先对所述优先匹配区域中的所述第一对象特征点进行特征点匹配。
当确定出优先匹配区域后，可以选择优先在该区域进行第一对象特征点的特征点匹配。继续以上述例子来说，计算出区域1处的比例为30%、区域2处的比例为20%以及区域3处的比例为60%，可以看出仅有区域3处的比例达到了比例阈值的要求，此时可以将区域3作为优先匹配区域。在继续进行剩余的700个第一对象特征点进行匹配时，可以优先选择在区域3处进行，也就是说优先选择区域3处的第一对象特征点与第二对象特征点进行特征值匹配。
当完成区域3中全部第一对象特征点的匹配后，可以根据前述确定出的其他区域的比例情况选择对应区域的第一对象特征点进行特征点比对。前述提到区域1处的比例为30%、区域2处的比例为20%，当完成区域3中全部第一对象特征点的匹配后，可以根据比例值的大小优先选择区域1处的第一对象特征点进行特征点比对。
通过上述提供的一种特征点匹配的方法，可以再完成部分特征点匹配时，根据特征点的匹配情况确定出优先匹配区域，通过优先匹配区域的确定可以选择优先在该区域内进行特征点匹配，缩小特征点匹配的区域范围，能够提高特征点匹配的效率。
图8为本申请实施例提供的一种播放交互视频的方法的流程图，如图8所示，该方法具体包括：首先加载对象图像并获取实景视频帧，在实景视频帧中包括待识别对象。在待识别对象与互动对象的匹配过程中主要包括以下四个步骤：①待识别对象灰度化处理；②第一对象特征点识别；③第一对象特征点描述；④第一对象特征点匹配。
具体来说，首先需要对待识别对象进行灰度化处理，进行灰度化处理的目的是降低第一对象特征点识别过程的识别难度，同时可以在一定程度上提高识别的精度。待识别对象具有对应的第一对象特征点，该第一对象特征点是用于标识所对应待识别对象的形状的。在完成待识别对象的灰度化处理之后，需要对第一对象特征点进行识别。在完成第一对象特征点的识别后，可以通过梯度直方图的方式对第一对象特征点进行描述，在完成第一对象特征点的描述后，会进行第一对象特征点的匹配。第一对象特征点的匹配过程主要是将第一对象特征点与包括互动对象的对象图像进行特征点匹配。然后需要判断第一对象特征点与互动对象的第二对象特征点是否匹配，若匹配则确定第一待识别对象的区域，然后在第一待识别对象的区域显示互动视频帧，该互动视频帧与第一互动对象对应；若不匹配则不显示互动视频帧。
需要说明的是，本申请实施例中所提出的显示方法可以基于WebAR技术以及xr-frame框架实现，也可以通过A-Frame 框架（一种虚拟现实框架）、Unity等游戏引擎实现。
在前述图1-8所对应的实施例的基础上，图9为本申请实施例提供的一种显示装置的装置示意图，显示装置800包括：获取模块801、识别模块802、匹配模块803及显示模块804；
所述获取模块801，用于获取终端设备采集的实景视频帧；
所述识别模块802，用于识别所述实景视频帧中待识别对象的第一对象特征点，所述第一对象特征点用于标识所对应待识别对象的形状；
所述匹配模块803，用于根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配；
所述显示模块804，用于响应于通过所述特征点匹配确定所述待识别对象中的第一待识别对象为所述互动对象中的第一互动对象，通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧。
在一种可能的实现方式中，所述识别模块802用于：
确定所述实景视频帧中的像素点的像素差异参数，所述像素差异参数用于标识所对应像素点的像素值与周边像素点的像素值的差异程度；
将所述像素差异参数符合轮廓边缘条件的像素点确定为所述第一对象特征点。
在一种可能的实现方式中，针对所述实景视频帧中的第i个像素点，所述识别模块802用于：
将所述实景视频帧中处于目标区域的像素点作为所述第i个像素点的参考像素点，所述目标区域是以所述第i个像素点为中心在所述实景视频帧确定的像素区域；
从所述参考像素点中确定多个像素点对，每个像素点对中的参考像素点相对于所述第i个像素点的方向相反；
响应于所述多个像素点对中与所述第i个像素点的像素差超过第一阈值的参考像素点数量达到第一识别条件，根据所述参考像素点与所述第i个像素点的像素差确定所述第i个像素点的像素差异参数。
在一种可能的实现方式中，所述识别模块802用于：
响应于具有位置连续性的达标像素点的数量符合所述轮廓边缘条件的数量要求，将所述第i个像素点确定为所述第一对象特征点，所述达标像素点为与所述第i个像素点的像素差超过第二阈值的参考像素点。
在一种可能的实现方式中，所述装置用于：
响应于所述多个像素点对中与所述第i个像素点的像素差超过阈值的参考像素点数量未达到所述第一识别条件，确定所述第i个像素点不是所述第一对象特征点。
在一种可能的实现方式中，所述装置用于：
基于所述第一待识别对象的第一对象特征点所标识的所述第一待识别对象的形状，确定所述第一待识别对象的区域。
在一种可能的实现方式中，所述匹配模块803用于：
获取所述第一对象特征点的第一图像特征；
根据所述第一图像特征与第二图像特征进行特征点匹配，所述第二图像特征对应所述对象图像中用于标识所包括互动对象的第二对象特征点。
在一种可能的实现方式中，所述第一图像特征包括所述第一对象特征点在所述实景视频帧中的方向信息，所述匹配模块803用于：
根据第一对象特征点在所述实景视频帧中的相邻特征点计算梯度直方图，所述梯度直方图中的梯度方向和梯度幅值用于标识所述相邻特征点相对于所述第一对象特征点在不同方向上的方向强度；
根据所述梯度直方图生成所述第一图像特征中的所述方向信息。
在一种可能的实现方式中，所述装置用于：
当确定所述第一互动对象中与所述第一对象特征点匹配的第二对象特征点数量满足匹配阈值，确定所述第一待识别对象为所述第一互动对象。
在一种可能的实现方式中，所述装置用于：
响应于通过所述特征点匹配确定所述待识别对象中的第二待识别对象为所述互动对象中的第二互动对象，在所述实景视频帧中所述第二待识别对象的区域显示所述第二互动对象对应的互动视频帧。
在一种可能的实现方式中，针对所述第一互动对象，所述匹配模块803用于：
在进行特征点匹配的过程中，确定所述第一互动对象的第二对象特征点中已被匹配的目标特征点；
根据与所述目标特征点匹配的第一对象特征点在所述实景视频帧中的分布位置，确定所述实景视频帧中针对所述第一互动对象的优先匹配区域，所述优先匹配区域中与所述目标特征点匹配的第一对象特征点数量占全部所述目标特征点匹配的第一对象特征点数量的比例达到比例阈值；
针对所述第一互动对象，优先对所述优先匹配区域中的所述第一对象特征点进行特征点匹配。
通过上述提供的一种显示装置，针对终端设备采集的实景视频帧，可以识别出实景视频帧中待识别对象的第一对象特征点，由于第一对象特征点可以标识出待识别对象在实景视频帧中的形状，故可以通过第一对象特征点与包括互动对象的对象图像进行特征点匹配，以确定实景视频帧的待识别对象中是否具有互动对象。互动对象为预先确定的对象，包括了对应的互动视频，当确定实景视频帧中的第一待识别对象为第一互动对象时，可以将互动视频以互动视频帧的维度添加显示在实景视频帧中第一待识别对象的区域，使得用户通过终端设备可以在实景视频帧中看到互动视频帧，实现了增强现实的显示效果，扩展了显示交互的维度，增加了交互趣味。而且待识别对象和包括了互动对象的对象图像可以随着交互需求随时更替，能够快速、便捷的满足日益变化的交互需求。
本申请实施例还提供了一种计算机设备，包括终端设备或服务器，前述的显示装置可以配置在该计算机设备中。下面结合附图对该计算机设备进行介绍。
若该计算机设备为终端设备，请参见图10所示，本申请实施例提供了一种终端设备，以终端设备为手机为例：
图10示出的是与本申请实施例提供的手机的部分结构的框图。参考图10，手机包括：射频（Radio Frequency，简称RF）电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真（简称WiFi）模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图10中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体的介绍：
RF电路1410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1480处理；另外，将设计上行的数据发送给基站。
存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1430可包括触控面板1431以及其他输入设备1432。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441。
手机还可包括至少一种传感器1450，比如光传感器、运动传感器以及其他传感器。
音频电路1460、扬声器1461，传声器1462可提供用户与手机之间的音频接口。
WiFi属于短距离无线传输技术，手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。
处理器1480是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行手机的各种功能和处理数据。
手机还包括给各个部件供电的电源1490（比如电池）。
在本实施例中，该终端设备所包括的处理器1480还用于执行本申请各实施例方法中的步骤。
若计算机设备为服务器，本申请实施例还提供一种服务器，请参见图11所示，图11为本申请实施例提供的服务器1500的结构图，服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（Central Processing Units，简称CPU）1522（例如，一个或一个以上处理器）和存储器1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530（例如一个或一个以上海量存储设备）。其中，存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1522可以设置为与存储介质1530通信，在服务器1500上执行存储介质1530中的一系列指令操作。
服务器1500还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558，和/或，一个或一个以上操作系统1541，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于图11所示的服务器结构。
另外，本申请实施例还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序用于执行上述实施例提供的方法。
本申请实施例还提供了一种包括计算机程序的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行上述实施例提供的方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器（英文：Read-only Memory，缩写：ROM）、RAM、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请实施例中，术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件（如处理电路或存储器）或其组合来全部或部分实现。同样的，一个处理器（或多个处理器或存储器）可以用来实现一个或多个模块或单元。此外，每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。而且本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (21)

1.一种显示方法，其特征在于，所述方法包括：
获取终端设备采集的实景视频帧；
确定所述实景视频帧中的像素点的像素差异参数，所述像素差异参数用于标识所对应像素点的像素值与周边像素点的像素值的差异程度；
将所述像素差异参数符合轮廓边缘条件的像素点确定为所述实景视频帧中待识别对象的第一对象特征点，所述第一对象特征点用于标识所对应待识别对象的形状；
根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配；
响应于通过所述特征点匹配确定所述待识别对象中的第一待识别对象为所述互动对象中的第一互动对象，通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧；
其中，针对所述实景视频帧中的第i个像素点，所述确定所述实景视频帧中的像素点的像素差异参数，包括：
将所述实景视频帧中处于目标区域的像素点作为所述第i个像素点的参考像素点，所述目标区域是以所述第i个像素点为中心在所述实景视频帧确定的像素区域；
从所述参考像素点中确定多个像素点对，每个像素点对中的参考像素点相对于所述第i个像素点的方向相反；
响应于所述多个像素点对中与所述第i个像素点的像素差超过第一阈值的参考像素点数量达到第一识别条件，根据所述参考像素点与所述第i个像素点的像素差确定所述第i个像素点的像素差异参数。
2.根据权利要求1所述的方法，其特征在于，所述将所述像素差异参数符合轮廓边缘条件的像素点确定为所述实景视频帧中待识别对象的第一对象特征点，包括：
响应于具有位置连续性的达标像素点的数量符合所述轮廓边缘条件的数量要求，将所述第i个像素点确定为所述第一对象特征点，所述达标像素点为与所述第i个像素点的像素差超过第二阈值的参考像素点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述多个像素点对中与所述第i个像素点的像素差超过阈值的参考像素点数量未达到所述第一识别条件，确定所述第i个像素点不是所述第一对象特征点。
4.根据权利要求1所述的方法，其特征在于，在所述通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧之前，所述方法还包括：
基于所述第一待识别对象的第一对象特征点所标识的所述第一待识别对象的形状，确定所述第一待识别对象的区域。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配，包括：
获取所述第一对象特征点的第一图像特征；
根据所述第一图像特征与第二图像特征进行特征点匹配，所述第二图像特征对应所述对象图像中用于标识所包括互动对象的第二对象特征点。
6.根据权利要求5所述的方法，其特征在于，所述第一图像特征包括所述第一对象特征点在所述实景视频帧中的方向信息，所述获取所述第一对象特征点的第一图像特征，包括：
根据第一对象特征点在所述实景视频帧中的相邻特征点计算梯度直方图，所述梯度直方图中的梯度方向和梯度幅值用于标识所述相邻特征点相对于所述第一对象特征点在不同方向上的方向强度；
根据所述梯度直方图生成所述第一图像特征中的所述方向信息。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当确定所述第一互动对象中与所述第一对象特征点匹配的第二对象特征点数量满足匹配阈值，确定所述第一待识别对象为所述第一互动对象。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于通过所述特征点匹配确定所述待识别对象中的第二待识别对象为所述互动对象中的第二互动对象，在所述实景视频帧中所述第二待识别对象的区域显示所述第二互动对象对应的互动视频帧。
9.根据权利要求1所述的方法，其特征在于，针对所述第一互动对象，所述根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配，包括：
在进行特征点匹配的过程中，确定所述第一互动对象的第二对象特征点中已被匹配的目标特征点；
根据与所述目标特征点匹配的第一对象特征点在所述实景视频帧中的分布位置，确定所述实景视频帧中针对所述第一互动对象的优先匹配区域，所述优先匹配区域中与所述目标特征点匹配的第一对象特征点数量占全部所述目标特征点匹配的第一对象特征点数量的比例达到比例阈值；
针对所述第一互动对象，优先对所述优先匹配区域中的所述第一对象特征点进行特征点匹配。
10.一种显示装置，其特征在于，所述装置包括：获取模块、识别模块、匹配模块及显示模块；
所述获取模块，用于获取终端设备采集的实景视频帧；
所述识别模块，用于确定所述实景视频帧中的像素点的像素差异参数，所述像素差异参数用于标识所对应像素点的像素值与周边像素点的像素值的差异程度；将所述像素差异参数符合轮廓边缘条件的像素点确定为所述实景视频帧中待识别对象的第一对象特征点，所述第一对象特征点用于标识所对应待识别对象的形状；
所述匹配模块，用于根据所述第一对象特征点与包括互动对象的对象图像进行特征点匹配；
所述显示模块，用于响应于通过所述特征点匹配确定所述待识别对象中的第一待识别对象为所述互动对象中的第一互动对象，通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧；
其中，针对所述实景视频帧中的第i个像素点，所述识别模块，具体用于：
将所述实景视频帧中处于目标区域的像素点作为所述第i个像素点的参考像素点，所述目标区域是以所述第i个像素点为中心在所述实景视频帧确定的像素区域；
从所述参考像素点中确定多个像素点对，每个像素点对中的参考像素点相对于所述第i个像素点的方向相反；
响应于所述多个像素点对中与所述第i个像素点的像素差超过第一阈值的参考像素点数量达到第一识别条件，根据所述参考像素点与所述第i个像素点的像素差确定所述第i个像素点的像素差异参数。
11.根据权利要求10所述的装置，其特征在于，所述识别模块，具体用于：
响应于具有位置连续性的达标像素点的数量符合所述轮廓边缘条件的数量要求，将所述第i个像素点确定为所述第一对象特征点，所述达标像素点为与所述第i个像素点的像素差超过第二阈值的参考像素点。
12.根据权利要求10所述的装置，其特征在于，所述装置用于：
响应于所述多个像素点对中与所述第i个像素点的像素差超过阈值的参考像素点数量未达到所述第一识别条件，确定所述第i个像素点不是所述第一对象特征点。
13.根据权利要求10所述的装置，其特征在于，在所述通过所述终端设备在所述实景视频帧中所述第一待识别对象的区域显示所述第一互动对象对应的互动视频帧之前，所述装置用于：
基于所述第一待识别对象的第一对象特征点所标识的所述第一待识别对象的形状，确定所述第一待识别对象的区域。
14.根据权利要求10所述的装置，其特征在于，所述匹配模块，用于：
获取所述第一对象特征点的第一图像特征；
根据所述第一图像特征与第二图像特征进行特征点匹配，所述第二图像特征对应所述对象图像中用于标识所包括互动对象的第二对象特征点。
15.根据权利要求14所述的装置，其特征在于，所述第一图像特征包括所述第一对象特征点在所述实景视频帧中的方向信息；所述匹配模块，用于：
根据第一对象特征点在所述实景视频帧中的相邻特征点计算梯度直方图，所述梯度直方图中的梯度方向和梯度幅值用于标识所述相邻特征点相对于所述第一对象特征点在不同方向上的方向强度；
根据所述梯度直方图生成所述第一图像特征中的所述方向信息。
16.根据权利要求14所述的装置，其特征在于，所述装置用于：
当确定所述第一互动对象中与所述第一对象特征点匹配的第二对象特征点数量满足匹配阈值，确定所述第一待识别对象为所述第一互动对象。
17.根据权利要求10所述的装置，其特征在于，所述装置用于：
响应于通过所述特征点匹配确定所述待识别对象中的第二待识别对象为所述互动对象中的第二互动对象，在所述实景视频帧中所述第二待识别对象的区域显示所述第二互动对象对应的互动视频帧。
18.根据权利要求10所述的装置，其特征在于，所述匹配模块，用于：
在进行特征点匹配的过程中，确定所述第一互动对象的第二对象特征点中已被匹配的目标特征点；
根据与所述目标特征点匹配的第一对象特征点在所述实景视频帧中的分布位置，确定所述实景视频帧中针对所述第一互动对象的优先匹配区域，所述优先匹配区域中与所述目标特征点匹配的第一对象特征点数量占全部所述目标特征点匹配的第一对象特征点数量的比例达到比例阈值；
针对所述第一互动对象，优先对所述优先匹配区域中的所述第一对象特征点进行特征点匹配。
19.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1-9中任意一项所述的方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序在被计算机设备执行时实现执行权利要求1-9中任意一项所述的方法。
21.一种包括计算机程序的计算机程序产品，其特征在于，当其在计算机设备上运行时，使得所述计算机设备执行权利要求1-9中任意一项所述的方法。
CN202410151144.0A 2024-02-02 2024-02-02 一种显示方法和相关装置 Active CN117671216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410151144.0A CN117671216B (zh) 2024-02-02 2024-02-02 一种显示方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410151144.0A CN117671216B (zh) 2024-02-02 2024-02-02 一种显示方法和相关装置

Publications (2)

Publication Number Publication Date
CN117671216A CN117671216A (zh) 2024-03-08
CN117671216B true CN117671216B (zh) 2024-05-28

Family

ID=90073578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410151144.0A Active CN117671216B (zh) 2024-02-02 2024-02-02 一种显示方法和相关装置

Country Status (1)

Country Link
CN (1) CN117671216B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481327A (zh) * 2017-09-08 2017-12-15 腾讯科技（深圳）有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
WO2022004503A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 表示制御装置、表示制御方法および記録媒体
CN114283349A (zh) * 2021-08-20 2022-04-05 腾讯科技（深圳）有限公司 一种数据处理方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344742B (zh) * 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
CN111179435B (zh) * 2019-12-24 2024-02-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481327A (zh) * 2017-09-08 2017-12-15 腾讯科技（深圳）有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
WO2022004503A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 表示制御装置、表示制御方法および記録媒体
CN114283349A (zh) * 2021-08-20 2022-04-05 腾讯科技（深圳）有限公司 一种数据处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN117671216A (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
US11790584B2 (en) Image and text typesetting method and related apparatus thereof
CN111444828A (zh) 一种模型训练的方法、目标检测的方法、装置及存储介质
CN111476306A (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN110852942B (zh) 一种模型训练的方法、媒体信息合成的方法及装置
CN112270709B (zh) 地图构建方法及装置、计算机可读存储介质和电子设备
CN111582240B (zh) 一种对象数量的识别方法、装置、设备和介质
CN113706440B (zh) 图像处理方法、装置、计算机设备及存储介质
CN108960012B (zh) 特征点检测方法、装置及电子设备
CN113050860B (zh) 一种控件识别方法和相关装置
WO2021164328A1 (zh) 图像生成方法、设备及存储介质
CN110069125B (zh) 虚拟对象的控制方法和装置
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN111494947B (zh) 摄像机移动轨迹确定方法、装置、电子设备及存储介质
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN111199169A (zh) 图像处理方法和装置
CN109509261B (zh) 一种增强现实的方法、装置及计算机存储介质
CN114612531A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110097061B (zh) 一种图像显示方法及装置
CN113706446A (zh) 一种镜头检测方法和相关装置
CN117671216B (zh) 一种显示方法和相关装置
CN114745516A (zh) 全景视频的生成方法、装置、存储介质及电子设备
CN114022931A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113313841A (zh) 一种基于云存储服务的ar方法、装置、电子设备及存储介质
CN117152245B (zh) 位姿计算方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant