CN111862148A - 实现视觉跟踪的方法、装置、电子设备及介质 - Google Patents
实现视觉跟踪的方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN111862148A CN111862148A CN202010506559.7A CN202010506559A CN111862148A CN 111862148 A CN111862148 A CN 111862148A CN 202010506559 A CN202010506559 A CN 202010506559A CN 111862148 A CN111862148 A CN 111862148A
- Authority
- CN
- China
- Prior art keywords
- frame
- similarity
- metric value
- similarity metric
- reference key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 abstract description 9
- 238000005259 measurement Methods 0.000 abstract description 6
- 102000008115 Signaling Lymphocytic Activation Molecule Family Member 1 Human genes 0.000 description 23
- 108010074687 Signaling Lymphocytic Activation Molecule Family Member 1 Proteins 0.000 description 23
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000011524 similarity measure Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本申请公开了一种实现视觉跟踪的方法、装置、电子设备及介质。其中，本申请中，在获取在目标视频数据中位于目标时刻对应的基准关键帧、当前帧以及连接帧之后，还可以计算基准关键帧、当前帧与连接帧的相似度关系，得到相似度结果，再基于相似度结果，更新连接帧，并实现基于目标视频数据的视觉跟踪。通过应用本申请的技术方案，可以通过引入连接帧及相似度量比较，使得关键帧选择、前端跟踪过程更加精确。从而可有效解决因相机快速运动、运动模糊、弱纹理等引起的数据跟踪丢失问题。
Description
技术领域
本申请中涉及图像处理技术，尤其是一种实现视觉跟踪的方法、装置、电子设备及介质。
背景技术
视觉跟踪是计算机视觉的基本问题，主要解决连续视频帧的特征跟踪问题，在机器人视觉导航、增强现实视觉定位定向、视频监控等领域具有非常重要的应用。
相关技术中基于关键帧的视觉跟踪方法(simultaneous localization andmapping SLAM)，一般采用基准关键帧与当前帧进行匹配比较。进一步的，可以根据基准关键帧与当前帧的匹配关系实现视频数据的视觉跟踪。其中，这种采用关键帧的方法的优势在于剔除了视觉冗余信息，提升了SLAM前端效率，从而为SLAM实时性提供前提，进而被广泛用户接受和应用。
然而，相关技术中存在的视觉跟踪方法中存在当相机突然快速运动、出现运动模糊、弱纹理等情况之一时，容易造成有效匹配特征数目大幅减少从而跟踪丢失的问题，进而影响图像匹配的准确性。
发明内容
本申请实施例提供一种实现视觉跟踪的方法、装置、电子设备及介质，本申请实施例用于解决相关技术中存在的当相机抖动时容易造成有效匹配特征数目大幅减少从而出现图像跟踪丢失的问题。
其中，根据本申请实施例的一个方面，提供的一种实现视觉跟踪的方法，其特征在于，包括：
获取在目标视频数据中，位于目标时刻对应的基准关键帧、当前帧以及连接帧；
计算所述基准关键帧、所述当前帧与所述连接帧的相似度关系，得到相似度结果；
基于所述相似度结果，实现基于所述目标视频数据的视觉跟踪。
可选地，在基于本申请上述方法的另一个实施例中，所述计算所述基准关键帧、所述当前帧与所述连接帧的相似度关系，得到相似度结果，包括：
计算所述基准关键帧与所述当前帧的第一相似度量值，以及，计算所述基准关键帧与所述连接帧的第二相似度量值；
基于所述第一相似度量值以及所述第二相似度量值，得到所述相似度结果。
可选地，在基于本申请上述方法的另一个实施例中，在所述基于所述第一相似度量值以及所述第二相似度量值之后，包括：
当确定所述第一相似度量值超过第一阈值时，判定所述基准关键帧与所述当前帧为第一关联关系，并将所述连接帧更新为所述当前帧；
基于所述更新后的连接帧，实现基于所述目标视频数据的视觉跟踪。
可选地，在基于本申请上述方法的另一个实施例中，在所述基于所述第一相似度量值以及所述第二相似度量值之后，包括：
当确定所述第一相似度量值不超过所述第一阈值，且超过第二阈值时，判定所述基准关键帧与所述当前帧为第二关联关系，所述第二关联关系对应的相似程度低于所述第一关联关系对应的相似程度；
将所述连接帧更新为所述当前帧；
检测所述第一相似度量值与所述第二相似度量值的大小关系，并基于所述大小关系，得到所述相似度结果。
可选地，在基于本申请上述方法的另一个实施例中，在所述检测所述第一相似度量值与所述第二相似度量值的大小关系之后，包括：
当确定测所述第一相似度量值小于所述第二相似度量值时，将所述基准关键帧更新为所述连接帧；
当确定测所述第一相似度量值不小于所述第二相似度量值时，将所述基准关键帧更新为所述当前帧；
基于所述更新后的基准关键帧、当前帧以及连接帧，实现基于所述目标视频数据的视觉跟踪。
可选地，在基于本申请上述方法的另一个实施例中，在所述检测所述第一相似度量值与所述第二相似度量值的大小关系之后，包括：
当确定所述第一相似度量值低于所述第二阈值时，且所述第二相似度量值超过第三阈值时，判定所述基准关键帧与所述当前帧为第三关联关系，所述第三关联关系对应的相似程度低于所述第二关联关系对应的相似程度；
将所述基准关键帧以及所述连接帧更新为所述当前帧；
基于所述更新后的基准关键帧、当前帧以及连接帧，实现基于所述目标视频数据的视觉跟踪。
可选地，在基于本申请上述方法的另一个实施例中，在所述检测所述第一相似度量值与所述第二相似度量值的大小关系之后，包括：
当确定所述第一相似度量值低于所述第二阈值时，且所述第二相似度量值低于所述第三阈值时，检测所述第一相似度量值与所述第二相似度量值的大小关系；
当检测到所述第一相似度量值小于所述第二相似度量值时，丢弃所述当前帧；
当检测到所述第一相似度量值不小于所述第二相似度量值时，将所述连接帧更为所述当前帧；
基于所述更新后的基准关键帧、当前帧以及连接帧，实现基于所述目标视频数据的视觉跟踪。
根据本申请实施例的另一个方面，提供的一种实现视觉跟踪的装置，包括：
获取模块，被设置为获取在目标视频数据中，位于目标时刻对应的基准关键帧、当前帧以及连接帧；
计算模块，被设置为计算所述基准关键帧、所述当前帧与所述连接帧的相似度关系，得到相似度结果；
生成模块，被设置为基于所述相似度结果，更新所述连接帧，并实现基于所述目标视频数据的视觉跟踪。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述实现视觉跟踪的方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述实现视觉跟踪的方法的操作。
本申请中，在获取在目标视频数据中位于目标时刻对应的基准关键帧、当前帧以及连接帧之后，还可以计算基准关键帧、当前帧与连接帧的相似度关系，得到相似度结果，再基于相似度结果，更新连接帧，并实现基于目标视频数据的视觉跟踪。通过应用本申请的技术方案，可以通过引入连接帧及相似度量比较，使得关键帧选择、前端跟踪过程更加精确。从而可有效解决因相机快速运动、运动模糊、弱纹理等引起的跟踪丢失问题。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的一种实现视觉跟踪的方法的示意图；
图2为本申请提出的实现视觉跟踪的的流程示意图；
图3为本申请提出的又一种实现视觉跟踪的设备显示示意图；
图4为本申请实现视觉跟踪的装置的结构示意图；
图5为本申请显示电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图3来描述根据本申请示例性实施方式的用于进行实现视觉跟踪的方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种实现视觉跟踪的方法、装置、目标终端及介质。
图1示意性地示出了根据本申请实施方式的一种实现视觉跟踪的方法的流程示意图。如图1所示，该方法包括：
S101，获取在目标视频数据中，位于目标时刻对应的基准关键帧、当前帧以及连接帧。
首先需要说明的是，本申请通过引入连接帧的概念来实现基于目标视频数据的视觉跟踪。进一步的，本申请中的连接帧具有以下特点：连接帧总处于基准关键帧和当前帧之间(可与其一相同)，且连接帧总是与基准关键帧具有较好的相似度并具有好的图像质量，并连接帧与当前帧的距离一般很小。若当前帧与基准关键帧强相似时，当前帧将更新为连接帧；若当前帧与基准关键帧弱相似时，连接帧更新为基准关键帧。从而，由于引入了连接帧，可以大大增强视觉跟踪的鲁棒性，避免意外相机运动导致的跟踪丢失。
更进一步的，视觉跟踪方法(simultaneous localization and mapping SLAM)主要是基于相机来完成环境的感知工作，相对而言，相机成本较低，容易放到商品硬件上，且图像信息丰富，因此视觉SLAM也备受关注。
目前，视觉SLAM可分为单目、双目(多目)、RGBD这三类，另还有鱼眼、全景等特殊相机，但目前在研究和产品中还属于少数，此外，结合惯性测量器件(Inertial MeasurementUnit，IMU)的视觉SLAM也是现在研究热点之一。例如包括单目视觉、双目视觉以及RGBD等等。
其中，单目相机SLAM简称MonoSLAM，仅用一支摄像头就能完成SLAM。最大的优点是传感器简单且成本低廉，但同时存在得到的深度数值不准确的问题。且一方面是由于绝对深度未知，单目SLAM不能得到机器人运动轨迹及地图的真实大小，如果把轨迹和房间同时放大两倍，单目看到的像是一样的，因此，单目SLAM只能估计一个相对深度。另一方面，单目相机无法依靠一张图像获得图像中物体离自己的相对距离。为了估计这个相对深度，单目SLAM要靠运动中的三角测量，来求解相机运动并估计像素的空间位置。即是说，它的轨迹和地图，只有在相机运动之后才能收敛，如果相机不进行运动时，就无法得知像素的位置。同时，相机运动还不能是纯粹的旋转，这就给单目SLAM的应用带来了一些麻烦。
另外，双目相机与单目不同的是，立体视觉既可以在运动时估计深度，亦可在静止时估计，消除了单目视觉的许多麻烦。不过，双目或多目相机配置与标定均较为复杂，其深度量程也随双目的基线与分辨率限制。
再进一步的，本申请进行视觉SLAM的框架解读，其中可以分为以下几步，其中包括：
1.传感器数据
在视觉SLAM中主要为相机图像信息的读取和预处理。如果在机器人中，还可能有码盘，惯性传感器等信息的读取和同步。
2.视觉里程计
视觉里程计的主要任务是估算相邻图像间相机运动以及局部地图的样子，最简单的是两张图像之间的运动关系。计算机是如何通过图像确定相机的运动的。在图像上，只能看到一个个的像素，知道他们是某些空间点在相机的成像平面投影的结果。所以必须先了解相机跟空间点的几何关系。
Vo(前端)能够通过相邻帧间的图像估计相机运动，并恢复场景的空间结构，称它为里程计。被称为里程计是因为它只计算相邻时刻的运动，而和再往前的过去信息没有关联。相邻时刻运动串联起来，就构成了机器人的运动轨迹，从而解决了定位问题。另一方面，根据每一时刻的相机位置，计算出各像素对应的空间点的位置，就得到了地图。
3.后端优化
后端优化主要是处理SLAM过程中噪声的问题。任何传感器都有噪声，所以除了要处理“如何从图像中估计出相机运动”，还要关心这个估计带有多大的噪声。
前端给后端提供待优化的数据，以及这些数据的初始值，而后端负责整体的优化过程，它往往面对的只有数据，不必关系这些数据来自哪里。在视觉slam 中，前端和计算接视觉研究领域更为相关，比如图像的特征提取与匹配等，后端则主要是滤波和非线性优化算法。
4.回环检测
回环检测也可以称为闭环检测，是指机器人识别曾到达场景的能力。如果检测成功，可以显著地减小累积误差。回环检测实质上是一种检测观测数据相似性的算法。对于视觉SLAM，多数系统采用目前较为成熟的词袋模型 (Bag-of-Words,BoW)。词袋模型把图像中的视觉特征聚类，然后建立词典，进而寻找每个图中含有哪些“单词”。也有研究者使用传统模式识别的方法，把回环检测建构成一个分类问题，训练分类器进行分类。
5.建图
建图主要是根据估计的轨迹建立与任务要求对应的地图，在机器人学中，地图的表示主要有栅格地图、直接表征法、拓扑地图以及特征点地图这4种。而特征点地图是用有关的几何特征(如点、直线、面)表示环境，常见于视觉 SLAM技术中。这种地图一般通过如GPS、UWB以及摄像头配合稀疏方式的vSLAM 算法产生，优点是相对数据存储量和运算量比较小，多见于最早的SLAM算法中。
还进一步的，视觉SLAM工作原理可以包括如下步骤：大多数视觉SLAM系统的工作方式是通过连续的相机帧，跟踪设置关键点，以三角算法定位其3D位置，同时使用此信息来逼近推测相机自己的姿态。简单来说，这些系统的目标是绘制与自身位置相关的环境地图。这个地图可以用于机器人系统在该环境中导航作用。与其他形式的SLAM技术不同，只需一个3D视觉摄像头，就可以做到这一点。
进一步而言，通过跟踪摄像头视频帧中足够数量的关键点，可以快速了解传感器的方向和周围物理环境的结构。所有视觉SLAM系统都在不断的工作，以使重新投影误差(Reprojection Error)或投影点与实际点之间的差异进行最小化。
S102，计算基准关键帧、当前帧与连接帧的相似度关系，得到相似度结果。
首先，本申请可以在视觉系统初始化或重启的时候，设定初始的基准关键帧和连接帧。需要说明的是，在视觉跟踪起始或者重定位后，初始连接帧即为当前帧。
进一步的，本申请可以定义基准关键帧与当前帧的第一相似度量值，以及基准关键帧与连接帧的第二相似度量值。并通过计算基准关键帧、当前帧与连接帧的相似度关系，得到相似度结果。以使后续根据该不同的相似度结果，更新该连接帧，并基于该连接帧实现基于目标视频数据的视觉跟踪。
例如，当基准关键帧与当前帧强相似时，可以将连接帧更新为当前帧。而当基准关键帧与当前帧中相似时，则根据基准关键帧、连接帧、当前帧的相互关系来更新；具体来说，若第一相似度量值小于第二相似度量值，则将基准关键帧更新为连接帧；否则，将基准关键帧更新为当前帧。在上述两种情况下，都将连接帧更新为当前帧。
再者，当基准关键帧与当前帧弱相似、而且基准关键帧与连接帧非弱相似 (强相似或中相似)时，则将基准关键帧更新为连接帧，且连接帧更新为当前帧。又或，当基准关键帧与当前帧、基准关键帧与连接帧均为弱相似时，若第一相似度量值不小于第二相似度量值，则丢弃当前帧，否则，连接帧可以更新为当前帧。
S103，基于相似度结果，更新连接帧，并实现基于目标视频数据的视觉跟踪。
本申请中，在获取在目标视频数据中位于目标时刻对应的基准关键帧、当前帧以及连接帧之后，还可以计算基准关键帧、当前帧与连接帧的相似度关系，得到相似度结果，再基于相似度结果，更新连接帧，并实现基于目标视频数据的视觉跟踪。通过应用本申请的技术方案，可以通过引入连接帧及相似度量比较，使得关键帧选择、前端跟踪过程更加精确、鲁棒。从而可有效解决因相机快速运动、运动模糊、弱纹理等引起的跟踪丢失问题。
可选的，在本申请一种可能的实施方式中，在S102(计算基准关键帧、当前帧与连接帧的相似度关系，得到相似度结果)之后，可以通过下述步骤得到：
计算基准关键帧与当前帧的第一相似度量值，以及，计算基准关键帧与连接帧的第二相似度量值；
基于第一相似度量值以及第二相似度量值，得到相似度结果。
进一步可选的，本申请在基于第一相似度量值以及第二相似度量值之后，可以实施下述步骤：
当确定第一相似度量值超过第一阈值时，判定基准关键帧与当前帧为第一关联关系，并将连接帧更新为当前帧；
基于更新后的连接帧，实现基于目标视频数据的视觉跟踪。
进一步可选的，本申请在基于第一相似度量值以及第二相似度量值之后，可以实施下述步骤：
当确定第一相似度量值不超过第一阈值，且超过第二阈值时，判定基准关键帧与当前帧为第二关联关系，第二关联关系对应的相似程度低于第一关联关系对应的相似程度；
将连接帧更新为当前帧；
检测第一相似度量值与第二相似度量值的大小关系，并基于大小关系，得到相似度结果。
进一步可选的，本申请在检测第一相似度量值与第二相似度量值的大小关系之后，可以实施下述步骤：
当确定测第一相似度量值小于第二相似度量值时，将基准关键帧更新为连接帧；
当确定测第一相似度量值不小于第二相似度量值时，将基准关键帧更新为当前帧；
基于更新后的基准关键帧、当前帧以及连接帧，实现基于目标视频数据的视觉跟踪。
进一步可选的，本申请在检测第一相似度量值与第二相似度量值的大小关系之后之后，可以实施下述步骤：
当确定第一相似度量值低于第二阈值时，且第二相似度量值超过第三阈值时，判定基准关键帧与当前帧为第三关联关系，第三关联关系对应的相似程度低于第二关联关系对应的相似程度；
将基准关键帧以及连接帧更新为当前帧；
基于更新后的基准关键帧、当前帧以及连接帧，实现基于目标视频数据的视觉跟踪。
进一步可选的，在检测第一相似度量值与第二相似度量值的大小关系之后，可以实施下述步骤：
当确定第一相似度量值低于第二阈值时，且第二相似度量值低于第三阈值时，检测第一相似度量值与第二相似度量值的大小关系；
当检测到第一相似度量值小于第二相似度量值时，丢弃当前帧并等待新一帧与基准关键帧的匹配比较结果；
当检测到第一相似度量值不小于第二相似度量值时，将连接帧更为当前帧；
基于更新后的基准关键帧、当前帧以及连接帧，实现基于目标视频数据的视觉跟踪。
进一步而言，如图2以及图3所示，本申请中可以基于以下步骤进行利用连接帧实现视觉系统方法的方案：
步骤一、在视觉系统初始化的时候，设定初始的基准关键帧和连接帧。其中，可以记基准关键帧、连接帧、当前帧分别为Ik、Il、Ic。需要说明的是，在视觉系统初始化的时候，可以设定Il＝Ic。
步骤二、定义基准关键帧与当前帧的第一相似度量值为Ek，c，且基准关键帧与连接帧的第二相似度量值为Ek，。
值得说明的是，本申请对于计算第一相似度量值以及计算第二相似度量值的过程中，可以通过以下公式得到：
g1(E)≥δ1
…
gm(E)≥δm
其中，gi(i＝1，...，m)是条件度量函数，δi(i＝1，...，m)是预先设置的阈值。也就是说，如果满足所有条件度量函数，即为第一关联关系(强相似)。
反之，第二关联关系(弱相似)定义如下：
g1(E)＜δ1
…
gm(E)＜δm
定义中相似为满足部分条件(哪些部分条件则视具体情况而异)。
步骤三，本申请在判定第一相似度量值与第二相似度量值的大小过程中，可以通过以下公式得到：
g1(Ek，l)≥λ1g1(Ek，c)
…
gm(Ek，l)≥λmgm(Ek，c)
其中λi(i＝1，...，m)为预先设置的惩罚因子。一般要求λi＞1，是考虑到当前帧离基准关键帧较连接帧更远。若不满足上述条件，则认为Ek，l(第二相似度量值) 不强于Ek，c(第一相似度量值)。
当基准关键帧与当前帧强相似时，将连接帧更新为当前帧，即Il＝Ic。这表明Ic属于冗余帧，离Ik较近，不需要更新基准关键帧，只更新连接帧。
而当基准关键帧与当前帧中相似时(即第一相似度量值不超过第一阈值，且超过第二阈值)，则根据基准关键帧、连接帧、当前帧的相互关系来更新；具体来说，若Ek，l＞Ek，c，则将基准关键帧更新为连接帧，Ik＝Il。否则，将基准关键帧更新为当前帧Ik＝Ic。在上述两种情况下，都将连接帧更新为当前帧Il＝Ic。可以理解的，本申请可以挑选具有更强相似性的帧作为基准关键帧，并同时更新连接帧。
进一步的，当基准关键帧与当前帧弱相似、而且基准关键帧与连接帧非弱相似(强相似或中相似)时(即第一相似度量值低于第二阈值时，且第二相似度量值超过第三阈值)，则将基准关键帧更新为连接帧Ik＝Il，且连接帧更新为当前帧Il＝Ic。这种情况下，往往意味着当前帧发生突然快速运动，为保证后续跟踪连续性，更新基准关键帧和连接帧。
最后，当基准关键帧与当前帧、基准关键帧与连接帧均为弱相似时(即第一相似度量值低于第二阈值时，且第二相似度量值低于第三阈值)，若Ek，l＞Ek，c，丢弃当前帧；否则，连接帧更新为当前帧Il＝Ic。这种情况下，往往以为着当前帧出现运动模糊或者纹理极弱，利用连接帧的信息以及与关键帧、当前帧的关系，从而获得更为鲁棒的、连续的跟踪。
本申请中，在获取在目标视频数据中位于目标时刻对应的基准关键帧、当前帧以及连接帧之后，还可以计算基准关键帧、当前帧与连接帧的相似度关系，得到相似度结果，再基于相似度结果，更新连接帧，并实现基于目标视频数据的视觉跟踪。通过应用本申请的技术方案，可以通过引入连接帧及相似度量比较，使得关键帧选择、前端跟踪过程更加精确、鲁棒。从而可有效解决因相机快速运动、运动模糊、弱纹理等引起的跟踪丢失问题。
在本申请的另外一种实施方式中，如图4所示，本申请还提供一种实现视觉跟踪的装置。其中，该装置包括获取模块201，计算模块202，生成模块203，其中，
获取模块201，被设置为获取在目标视频数据中，位于目标时刻对应的基准关键帧、当前帧以及连接帧；
计算模块202，被设置为计算所述基准关键帧、所述当前帧与所述连接帧的相似度关系，得到相似度结果；
生成模块203，被设置为基于所述相似度结果，更新所述连接帧，并实现基于所述目标视频数据的视觉跟踪。
本申请中，在获取在目标视频数据中位于目标时刻对应的基准关键帧、当前帧以及连接帧之后，还可以计算基准关键帧、当前帧与连接帧的相似度关系，得到相似度结果，再基于相似度结果，更新连接帧，并实现基于目标视频数据的视觉跟踪。通过应用本申请的技术方案，可以通过引入连接帧及相似度量比较，使得关键帧选择、前端跟踪过程更加精确、鲁棒。从而可有效解决因相机快速运动、运动模糊、弱纹理等引起的跟踪丢失问题。
在本申请的另一种实施方式中，计算模块202，还包括：
计算模块202，被配置为计算所述基准关键帧与所述当前帧的第一相似度量值，以及，计算所述基准关键帧与所述连接帧的第二相似度量值；
计算模块202，被配置为基于所述第一相似度量值以及所述第二相似度量值，得到所述相似度结果。
在本申请的另一种实施方式中，计算模块202，还包括：
计算模块202，被配置为当确定所述第一相似度量值超过第一阈值时，判定所述基准关键帧与所述当前帧为第一关联关系，并将所述连接帧更新为所述当前帧；
计算模块202，被配置基于所述更新后的连接帧，实现基于所述目标视频数据的视觉跟踪。
在本申请的另一种实施方式中，计算模块202，还包括：
计算模块202，被配置为当确定所述第一相似度量值不超过所述第一阈值，且超过第二阈值时，判定所述基准关键帧与所述当前帧为第二关联关系，所述第二关联关系对应的相似程度低于所述第一关联关系对应的相似程度；
计算模块202，被配置为将所述连接帧更新为所述当前帧；
计算模块202，被配置为检测所述第一相似度量值与所述第二相似度量值的大小关系，并基于所述大小关系，得到所述相似度结果。
在本申请的另一种实施方式中，计算模块202，还包括：
计算模块202，被配置为当确定测所述第一相似度量值小于所述第二相似度量值时，将所述基准关键帧更新为所述连接帧；
计算模块202，被配置为当确定测所述第一相似度量值不小于所述第二相似度量值时，将所述基准关键帧更新为所述当前帧；
计算模块202，被配置为基于所述更新后的基准关键帧、当前帧以及连接帧，实现基于所述目标视频数据的视觉跟踪。
在本申请的另一种实施方式中，计算模块202，还包括：
计算模块202，被配置为当确定所述第一相似度量值低于所述第二阈值时，且所述第二相似度量值超过第三阈值时，判定所述基准关键帧与所述当前帧为第三关联关系，所述第三关联关系对应的相似程度低于所述第二关联关系对应的相似程度；
计算模块202，被配置为将所述基准关键帧以及所述连接帧更新为所述当前帧；
计算模块202，被配置为基于所述更新后的基准关键帧、当前帧以及连接帧，实现基于所述目标视频数据的视觉跟踪。
在本申请的另一种实施方式中，计算模块202，还包括：
计算模块202，被配置为当确定所述第一相似度量值低于所述第二阈值时，且所述第二相似度量值低于所述第三阈值时，检测所述第一相似度量值与所述第二相似度量值的大小关系；
计算模块202，被配置为当检测到所述第一相似度量值小于所述第二相似度量值时，丢弃所述当前帧并等待新一帧与所述基准关键帧的匹配比较结果；
计算模块202，被配置为当检测到所述第一相似度量值不小于所述第二相似度量值时，将所述连接帧更为所述当前帧；
计算模块202，被配置为基于所述更新后的基准关键帧、当前帧以及连接帧，实现基于所述目标视频数据的视觉跟踪。
图5是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，电子设备400可以包括以下一个或多个组件：处理器401和存储器402。
处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、 FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA (Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本申请中方法实施例提供的互动特效标定方法。
在一些实施例中，电子设备400还可选包括有：外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口 403相连。具体地，外围设备包括：射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。
外围设备接口403可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路404还可以包括NFC(Near Field Communication，近距离无线通信) 有关的电路，本申请对此不加以限定。
显示屏405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时，显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时，显示屏405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏405可以为一个，设置电子设备400的前面板；在另一些实施例中，显示屏405可以为至少两个，分别设置在电子设备400的不同表面或呈折叠设计；在再一些实施例中，显示屏405可以是柔性显示屏，设置在电子设备 400的弯曲表面上或折叠面上。甚至，显示屏405还可以设置成非矩形的不规则图形，也即异形屏。显示屏405可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件406用于采集图像或视频。可选地，摄像头组件406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及 VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器401进行处理，或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路407 还可以包括耳机插孔。
定位组件408用于定位电子设备400的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源409用于为电子设备400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于：加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以电子设备400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号，控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测电子设备400的机体方向及转动角度，陀螺仪传感器412可以与加速度传感器411协同采集用户对电子设备400的3D动作。处理器401根据陀螺仪传感器412采集的数据，可以实现如下功能：动作感应 (比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在电子设备400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在电子设备400的侧边框时，可以检测用户对电子设备400的握持信号，由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时，由处理器401根据用户对触摸显示屏405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹，由处理器401根据指纹传感器414 采集到的指纹识别用户的身份，或者，由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置电子设备400的正面、背面或侧面。当电子设备400上设置有物理按键或厂商Logo时，指纹传感器414可以与物理按键或厂商Logo集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中，处理器401可以根据光学传感器415采集的环境光强度，控制触摸显示屏405的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏405的显示亮度；当环境光强度较低时，调低触摸显示屏405的显示亮度。在另一个实施例中，处理器401还可以根据光学传感器415采集的环境光强度，动态调整摄像头组件406的拍摄参数。
接近传感器416，也称距离传感器，通常设置在电子设备400的前面板。接近传感器416用于采集用户与电子设备400的正面之间的距离。在一个实施例中，当接近传感器416检测到用户与电子设备400的正面之间的距离逐渐变小时，由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态；当接近传感器416检测到用户与电子设备400的正面之间的距离逐渐变大时，由处理器 401控制触摸显示屏405从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对电子设备400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由电子设备400的处理器420执行以完成上述实现视觉跟踪的方法，该方法包括：获取在目标视频数据中，位于目标时刻对应的基准关键帧、当前帧以及连接帧；计算所述基准关键帧、所述当前帧与所述连接帧的相似度关系，得到相似度结果；基于所述相似度结果，更新所述连接帧，并实现基于所述目标视频数据的视觉跟踪。可选地，上述指令还可以由电子设备400的处理器420执行以完成上述示例性实施例中所涉及的其他步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备400的处理器420执行，以完成上述实现视觉跟踪的方法，该方法包括：获取在目标视频数据中，位于目标时刻对应的基准关键帧、当前帧以及连接帧；计算所述基准关键帧、所述当前帧与所述连接帧的相似度关系，得到相似度结果；基于所述相似度结果，更新所述连接帧，并实现基于所述目标视频数据的视觉跟踪。可选地，上述指令还可以由电子设备400的处理器420执行以完成上述示例性实施例中所涉及的其他步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种实现视觉跟踪的方法，其特征在于，包括：
获取在目标视频数据中，位于目标时刻对应的基准关键帧、当前帧以及连接帧；
计算所述基准关键帧、所述当前帧与所述连接帧的相似度关系，得到相似度结果；
基于所述相似度结果，更新所述连接帧，并实现基于所述目标视频数据的视觉跟踪。
2.如权利要求1所述的方法，其特征在于，所述计算所述基准关键帧、所述当前帧与所述连接帧的相似度关系，得到相似度结果，包括：
计算所述基准关键帧与所述当前帧的第一相似度量值，以及，计算所述基准关键帧与所述连接帧的第二相似度量值；
基于所述第一相似度量值以及所述第二相似度量值，得到所述相似度结果。
3.如权利要求2所述的方法，其特征在于，在所述基于所述第一相似度量值以及所述第二相似度量值之后，包括：
当确定所述第一相似度量值超过第一阈值时，判定所述基准关键帧与所述当前帧为第一关联关系，并将所述连接帧更新为所述当前帧；
基于所述更新后的连接帧，实现基于所述目标视频数据的视觉跟踪。
4.如权利要求2所述的方法，其特征在于，在所述基于所述第一相似度量值以及所述第二相似度量值之后，包括：
当确定所述第一相似度量值不超过所述第一阈值，且超过第二阈值时，判定所述基准关键帧与所述当前帧为第二关联关系，所述第二关联关系对应的相似程度低于所述第一关联关系对应的相似程度；
将所述连接帧更新为所述当前帧；
检测所述第一相似度量值与所述第二相似度量值的大小关系，并基于所述大小关系，得到所述相似度结果。
5.如权利要求4所述的方法，其特征在于，在所述检测所述第一相似度量值与所述第二相似度量值的大小关系之后，包括：
当确定测所述第一相似度量值小于所述第二相似度量值时，将所述基准关键帧更新为所述连接帧；
当确定测所述第一相似度量值不小于所述第二相似度量值时，将所述基准关键帧更新为所述当前帧；
基于所述更新后的基准关键帧、当前帧以及连接帧，实现基于所述目标视频数据的视觉跟踪。
6.如权利要求2所述的方法，其特征在于，在所述检测所述第一相似度量值与所述第二相似度量值的大小关系之后，包括：
当确定所述第一相似度量值低于所述第二阈值时，且所述第二相似度量值超过第三阈值时，判定所述基准关键帧与所述当前帧为第三关联关系，所述第三关联关系对应的相似程度低于所述第二关联关系对应的相似程度；
将所述基准关键帧以及所述连接帧更新为所述当前帧；
基于所述更新后的基准关键帧、当前帧以及连接帧，实现基于所述目标视频数据的视觉跟踪。
7.如权利要求2所述的方法，其特征在于，在所述检测所述第一相似度量值与所述第二相似度量值的大小关系之后，包括：
当确定所述第一相似度量值低于所述第二阈值时，且所述第二相似度量值低于所述第三阈值时，检测所述第一相似度量值与所述第二相似度量值的大小关系；
当检测到所述第一相似度量值小于所述第二相似度量值时，丢弃所述当前帧并等待新一帧与所述基准关键帧的匹配比较结果；
当检测到所述第一相似度量值不小于所述第二相似度量值时，将所述连接帧更为所述当前帧；
基于所述更新后的基准关键帧、当前帧以及连接帧，实现基于所述目标视频数据的视觉跟踪。
8.一种实现视觉跟踪的装置，其特征在于，包括：
获取模块，被设置为获取在目标视频数据中，位于目标时刻对应的基准关键帧、当前帧以及连接帧；
计算模块，被设置为计算所述基准关键帧、所述当前帧与所述连接帧的相似度关系，得到相似度结果；
生成模块，被设置为基于所述相似度结果，更新所述连接帧，并实现基于所述目标视频数据的视觉跟踪。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-7中任一所述实现视觉跟踪的方法的操作。
10.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-7中任一所述实现视觉跟踪的方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010506559.7A CN111862148B (zh) | 2020-06-05 | 2020-06-05 | 实现视觉跟踪的方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010506559.7A CN111862148B (zh) | 2020-06-05 | 2020-06-05 | 实现视觉跟踪的方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862148A true CN111862148A (zh) | 2020-10-30 |
| CN111862148B CN111862148B (zh) | 2024-02-09 |
Family
ID=72986101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010506559.7A Active CN111862148B (zh) | 2020-06-05 | 2020-06-05 | 实现视觉跟踪的方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862148B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113091738A (zh) * | 2021-04-09 | 2021-07-09 | 安徽工程大学 | 基于视觉惯导融合的移动机器人地图构建方法及相关设备 |
| CN113780118A (zh) * | 2021-08-27 | 2021-12-10 | 广州大学 | 一种基于视觉的建筑视频高光自动检测方法、设备和存储介质 |
| CN114137955A (zh) * | 2021-10-26 | 2022-03-04 | 中国人民解放军军事科学院国防科技创新研究院 | 基于改进市场法的多机器人快速协同建图方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130113999A1 (en) * | 2011-11-03 | 2013-05-09 | Infosys Technologies, Ltd. | Methods, systems, and computer-readable media for detecting scene changes in a video |
| WO2015138822A1 (en) * | 2014-03-14 | 2015-09-17 | Qualcomm Incorporated | Sensor-based camera motion detection for unconstrained slam |
| CN105681793A (zh) * | 2016-01-06 | 2016-06-15 | 四川大学 | 基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法 |
| CN108615247A (zh) * | 2018-04-27 | 2018-10-02 | 深圳市腾讯计算机系统有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
| CN109671105A (zh) * | 2018-12-19 | 2019-04-23 | 青岛小鸟看看科技有限公司 | 一种视觉导航系统的跟踪恢复方法和装置 |
| CN109803175A (zh) * | 2019-03-12 | 2019-05-24 | 京东方科技集团股份有限公司 | 视频处理方法及装置、设备、存储介质 |
| CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
| CN110119649A (zh) * | 2018-02-05 | 2019-08-13 | 浙江商汤科技开发有限公司 | 电子设备状态跟踪方法、装置、电子设备及控制系统 |
| CN113706576A (zh) * | 2021-03-17 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 检测跟踪方法、装置、设备及介质 |
-
2020
- 2020-06-05 CN CN202010506559.7A patent/CN111862148B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130113999A1 (en) * | 2011-11-03 | 2013-05-09 | Infosys Technologies, Ltd. | Methods, systems, and computer-readable media for detecting scene changes in a video |
| WO2015138822A1 (en) * | 2014-03-14 | 2015-09-17 | Qualcomm Incorporated | Sensor-based camera motion detection for unconstrained slam |
| CN105681793A (zh) * | 2016-01-06 | 2016-06-15 | 四川大学 | 基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法 |
| CN110119649A (zh) * | 2018-02-05 | 2019-08-13 | 浙江商汤科技开发有限公司 | 电子设备状态跟踪方法、装置、电子设备及控制系统 |
| CN108615247A (zh) * | 2018-04-27 | 2018-10-02 | 深圳市腾讯计算机系统有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
| CN109671105A (zh) * | 2018-12-19 | 2019-04-23 | 青岛小鸟看看科技有限公司 | 一种视觉导航系统的跟踪恢复方法和装置 |
| CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
| CN109803175A (zh) * | 2019-03-12 | 2019-05-24 | 京东方科技集团股份有限公司 | 视频处理方法及装置、设备、存储介质 |
| CN113706576A (zh) * | 2021-03-17 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 检测跟踪方法、装置、设备及介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113091738A (zh) * | 2021-04-09 | 2021-07-09 | 安徽工程大学 | 基于视觉惯导融合的移动机器人地图构建方法及相关设备 |
| CN113780118A (zh) * | 2021-08-27 | 2021-12-10 | 广州大学 | 一种基于视觉的建筑视频高光自动检测方法、设备和存储介质 |
| CN114137955A (zh) * | 2021-10-26 | 2022-03-04 | 中国人民解放军军事科学院国防科技创新研究院 | 基于改进市场法的多机器人快速协同建图方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111862148B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11205282B2 (en) | Relocalization method and apparatus in camera pose tracking process and storage medium | |
| US11158083B2 (en) | Position and attitude determining method and apparatus, smart device, and storage medium | |
| CN110599549B (zh) | 界面显示方法、装置及存储介质 | |
| CN108682038B (zh) | 位姿确定方法、装置及存储介质 | |
| CN110097576B (zh) | 图像特征点的运动信息确定方法、任务执行方法和设备 | |
| CN110148178B (zh) | 相机定位方法、装置、终端及存储介质 | |
| CN109558837B (zh) | 人脸关键点检测方法、装置及存储介质 | |
| CN111862148B (zh) | 实现视觉跟踪的方法、装置、电子设备及介质 | |
| CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
| CN109166150B (zh) | 获取位姿的方法、装置存储介质 | |
| CN109302632B (zh) | 获取直播视频画面的方法、装置、终端及存储介质 | |
| CN110956580A (zh) | 图像换脸的方法、装置、计算机设备以及存储介质 | |
| CN111680697A (zh) | 实现领域自适应的方法、装置、电子设备及介质 | |
| CN111127541B (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
| CN111784841A (zh) | 重建三维图像的方法、装置、电子设备及介质 | |
| CN111928861A (zh) | 地图构建方法及装置 | |
| CN111860064A (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
| CN110853124A (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
| CN114115544B (zh) | 人机交互方法、三维显示设备及存储介质 | |
| CN112967261B (zh) | 图像融合方法、装置、设备及存储介质 | |
| CN111179628B (zh) | 自动驾驶车辆的定位方法、装置、电子设备及存储介质 | |
| CN111723615B (zh) | 对检测物图像进行检测物匹配判定的方法和装置 | |
| CN110443841B (zh) | 地面深度的测量方法、装置及系统 | |
| CN114093020A (zh) | 动作捕捉方法、装置、电子设备及存储介质 | |
| CN113592874A (zh) | 图像显示方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |