CN113223083B - 一种位置确定方法、装置、电子设备及存储介质 - Google Patents
一种位置确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113223083B CN113223083B CN202110584560.6A CN202110584560A CN113223083B CN 113223083 B CN113223083 B CN 113223083B CN 202110584560 A CN202110584560 A CN 202110584560A CN 113223083 B CN113223083 B CN 113223083B
- Authority
- CN
- China
- Prior art keywords
- image frame
- key point
- motion information
- object key
- current image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001914 filtration Methods 0.000 claims abstract description 129
- 230000008859 change Effects 0.000 claims description 38
- 230000007774 longterm Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 8
- 239000000758 substrate Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 230000003068 static effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种位置确定方法、装置、电子设备及存储介质。其中，该方法包括：对当前图像帧内目标对象的对象关键点滤波处理得到滤波位置，根据对象关键点在多个图像帧中的位置，确定对象关键点的运动信息，根据运动信息和在上一图像帧中的目标位置，修正滤波位置，得到在当前图像帧中的目标位置，使得对象关键点的第一距离小于第二距离，第一距离为当前图像帧中与上一图像帧中目标位置之间的距离，第二距离为当前图像帧中滤波位置与上一图像帧中目标位置之间的距离，本方案能够在保证跟随的前提下去除接近静止或静止时对象关键点的噪声，也就减少了对象关键点的抖动程度，提高对象关键点的稳定性。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种位置确定方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。例如，可以使用手机来拍摄包含人脸的视频，然后对视频中的人脸渲染各种特效，再将渲染有各种特效的视频显示给观看者。
目前，对解决将虚拟对象跟踪放置在视频场景里一个可变形表面上的情况，并没有一个令人满意的技术。例如，人脸就是一个可变形表面，为了定位出人脸的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等，通过定位的人脸关键点来确定眼睛和嘴巴等主要器官的形状信息和位置信息。近年来，人脸关键点定位技术发展迅速，在人脸识别、人脸美化、人脸表情分析、人脸追踪等技术领域中得到广泛应用。
由于模型和数据集等原因，人脸关键点模型得出的106点或240点预测结果存在稳定性下降的现象，具体可以表现为如下两种情况：一是困难样本的预测结果出现较大偏差，二是人脸静止时人脸关键点的轻微噪声，也就是说，实际场景中存在人脸静止时人脸关键点还在抖动的问题。
发明内容
本发明实施例的目的在于提供一种位置确定方法、装置、电子设备及存储介质，从而解决人脸静止时人脸关键点还在抖动的技术问题。
为了解决上述问题，在本发明实施的第一方面，首先提供了一种位置确定方法，包括：
对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置；
根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息；
根据所述对象关键点的运动信息和在上一图像帧中的目标位置，修正所述滤波位置，得到所述对象关键点在所述当前图像帧中的目标位置，使得所述对象关键点的第一距离小于第二距离，所述第一距离为所述对象关键点在所述当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，所述第二距离为所述对象关键点在所述当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离。
在本发明实施的第二方面，还提供了一种位置确定装置，包括：
滤波模块，用于对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置；
运动信息确定模块，用于根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息；
修正模块，用于根据所述对象关键点的运动信息和在上一图像帧中的目标位置，修正所述滤波位置，得到所述对象关键点在所述当前图像帧中的目标位置，使得所述对象关键点的第一距离小于第二距离，所述第一距离为所述对象关键点在所述当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，所述第二距离为所述对象关键点在所述当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离。
在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的方法。
本发明实施例提供一种位置确定方法、装置、电子设备及存储介质，通过对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置，根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息，根据所述对象关键点的运动信息和在上一图像帧中的目标位置，修正所述滤波位置，得到所述对象关键点在所述当前图像帧中的目标位置，使得所述对象关键点的第一距离小于第二距离，所述第一距离为所述对象关键点在所述当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，所述第二距离为所述对象关键点在所述当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离，使得在对对象关键点进行追踪时，传统滤波可以保证对对象关键点的位置跟随，在此基础上，结合对象关键点的运动信息，对滤波位置再次进行过滤，减少对象关键点在当前图像帧和上一图像帧之间的位置变化，从而在保证跟随的前提下进一步去除对象关键点的噪声，也就减少了对象关键点在接近静止或静止时的抖动程度，提高对象关键点的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了本发明的一种位置确定方法实施例的步骤流程图；
图2示出了本发明的一种位置确定方法实施例的步骤流程图；
图3示出了一种滤波流程的示意图；
图4示出了本发明的一种位置确定装置实施例的结构框图；
图5示出了本发明一实施例的一种电子设备的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
视频由一系列图像帧组成。目标对象包括但不限于如下至少一种：图像中任意的人、人的一部分、物、物的一部分，例如面部、手、身体、正在运动的人的衣服、车、动物等等，或者其他任意适用的对象，本发明实施例对此不做限制。为了跟踪目标对象的变化，首先找到目标对象的一些关键点(以下称为对象关键点)。图像可以由一定数量的点集组成，通常由关键点模型预测进行图像处理，即可得到图像中对象的对象关键点。对象关键点可以用于体现一些锐利的图案特征，如一个角落、一个边缘、或在该目标对象上的一个兴趣点。然后在多个图像帧中跟踪这些对象关键点，从而实现跟踪目标对象的变化。例如，一张人脸图像中，人脸关键点可以为整张人脸图像中与五官有关的部分关键点，例如人眼关键点(即人脸图像中人眼部分的像素点)、嘴巴关键点等。
本发明实施例提供一种位置确定机制，用于确定对象关键点的位置。该方法适用但不限于下述应用场景：视频直播、录播视频、人脸识别、人脸美化、人脸表情识别、人脸追踪、特效渲染等。本发明实施例可以执行于手机、平板、个人电脑、服务器等电子设备，本发明实施例对此不做限制。
参照图1，示出了本发明的一种位置确定方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置。
在本发明实施例中，在各种实施例中，可以使用任意的关键点检测方法或特征检测方法处理当前图像，得到当前图像帧内目标对象的对象关键点。例如，目标对象为人脸，人脸轮廓可以由一定数量的点集(如106点或240点)组成，通常由人脸关键点模型预测得到，本文用zt表示t时刻一个人脸关键点的模型预测的位置。
在本发明实施例中，为了给对象关键点的位置精度和跟踪稳定性等方面增强效果，在通过关键点模型预测得到对象关键点的位置，还需要对模型预测的位置进行滤波处理，从而得到对象关键点的经滤波处理的位置，记为滤波位置。具体实现时，先在当前图像帧内，检测对象关键点的位置，再对对象关键点的位置进行滤波处理，得到对象关键点的滤波位置。需要说明的是，在本发明方法可用于各种原理的滤波器。
例如，以获取一个人脸关键点的场景为例，xt为t时刻的滤波结果(即滤波位置)，由当前图像帧的上一图像帧的滤波位置及当前时刻的预测的位置得到：xt＝f(xt-1,zt)，xt-1为t-1时刻经传统滤波后的滤波结果，zt表示t时刻人脸关键点的模型预测的位置。
步骤102，根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息。
在本发明实施例中，运动信息用于指示对象关键点的运动情况，包括对象关键点的长时运动信息、对象关键点的瞬时运动信息等，或者其他任意适用的运动信息，本发明实施例对此不做限制。为了确定对象关键点的运动信息，所依据的对象关键点在多个图像帧中的位置可以包括当前图像帧中经滤波处理后的滤波位置，上一图像帧中经修正后最终输出的目标位置等，或者其他任意适用的位置，本发明实施例对此不做限制。
在本发明的一种可选实施例中，运动信息包括：长时运动信息和/或瞬时运动信息。运动信息可以分为两类，一类为长时运动信息，一类为瞬时运动信息。
其中，长时运动信息用于指示对象关键点在当前图像帧之前的预设个数的图像帧中的运动情况。例如，预设个数的图像帧中对象关键点的位置的标准差可以表征对象关键点在一段时间内的运动情况，可作为一种长时运动信息，或者对象关键点在预设个数的图像帧中的平均速度也可以表征对象关键点在一段时间内的运动情况，也可作为一种长时运动信息。具体可以包括任意适用的长时运动信息，本发明实施例对此不做限制。
瞬时运动信息用于指示对象关键点在当前图像帧和上一图像帧之间的运动情况。例如，对象关键点在相邻的两帧之间的运动速度可以表征对象关键点在某一时刻的瞬时运动情况，可作为一种瞬时运动信息。具体可以包括任意适用的瞬时运动信息，本发明实施例对此不做限制。
在本发明实施例中，根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息的实现方式可以包括多种。
在本发明的一种可选实施例中，当所述运动信息包括所述长时运动信息时，获取该长时运动信息的方式可以为：获取所述对象关键点在所述当前图像帧之前的预设个数的图像帧中的目标位置，根据所述预设个数的目标位置，计算所述对象关键点的长时运动信息。
在确定对象关键点在所述当前图像帧的目标位置时，对象关键点在当前图像帧之前的图像帧中的目标位置已经确定，因此可以获取到对象关键点在当前图像帧之前的预设个数的图像帧中的目标位置。然后根据预设个数的目标位置，可以计算出对象关键点的长时运动信息。例如，计算预设个数的目标位置的标准差，作为长时运动信息，或者计算预设个数的目标位置的方差，作为长时运动信息，或者根据预设个数的目标位置，计算对象关键点在预设个数的图像帧中的位移量，然后根据位移量和预设个数，计算出平均速度，或者其他任意适用的方式，本发明实施例对此不做限制。
例如，长时运动信息包括预设个数的目标位置的标准差。针对各个人脸关键点i的(x，y)坐标分别建立运动模型，即可计算得出标准差σi，其中，标准差σi满足如下公式：其中，h为加入标准差统计的帧序列的长度，/>为人脸关键点i在t-h时刻的图像帧中的目标位置。
当所述运动信息包括所述瞬时运动信息时，获取该瞬时运动信息的方式可以为：获取所述对象关键点在所述上一图像帧中的目标位置，根据所述对象关键点在所述当前图像帧中的滤波位置信息和在所述上一图像帧中的目标位置，计算所述对象关键点的瞬时运动信息。
在确定对象关键点在当前图像帧的目标位置时，可以获取到对象关键点在当前图像帧的滤波位置，以及上一图像帧中的目标位置。然后根据对象关键点在所述当前图像帧中的滤波位置和在所述上一图像帧中的目标位置，可以计算得到对象关键点在这相邻的两帧之间的运动速度，即瞬时运动信息。
例如，针对各个人脸关键点i的(x，y)坐标分别建立运动模型，位移量是满足公式，其中，xt为人脸关键点i在t时刻的图像帧中的滤波位置，/>为人脸关键点i在t-1时刻的图像帧中的目标位置，计算人脸关键点在相邻的两帧之间的位移量，即得到对象关键点在相邻的两帧之间的运动速度，单位为位移量/帧。
步骤103，根据所述对象关键点的运动信息和在上一图像帧中的目标位置，修正所述滤波位置，得到所述对象关键点在所述当前图像帧中的目标位置，使得所述对象关键点的第一距离小于第二距离，所述第一距离为所述对象关键点在所述当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，所述第二距离为所述对象关键点在所述当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离。
在本发明实施例中，在对对象关键点进行位置更新时，经过第一次滤波处理，得到了在当前图像帧内对象关键点的滤波位置。考虑到对象关键点在当前图像帧中的位置与在上一图像帧中的位置有关，与对象关键点的运动信息也有关。在本申请中提出，根据运动信息和在上一图像帧中的目标位置，对滤波位置再进行第二次滤波处理，以进一步对对象关键点的位置进行修正。
在本发明实施例中，修正滤波位置，得到对象关键点在当前图像帧中的位置，记为目标位置。将对象关键点在当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，记为第一距离。将对象关键点在当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离，记为第二距离。在修正滤波位置时，将对象关键点的滤波位置向对象关键点在上一图像帧中的目标位置靠近，从而得到对象关键点的目标位置。这样，对象关键点的目标位置比滤波位置距离在上一图像帧中的目标位置更近，即对象关键点的第一距离小于第二距离。
修正滤波位置的具体实现方式可以包括多种。在一种具体的实现方式中，当对象关键点的长时运动信息小于第一阈值，且对象关键点的瞬时运动信息小于第二阈值，则将对象关键点在上一图像帧中的目标位置确定为对象关键点在当前图像帧中的目标位置。在另一种具体的实现方式中，根据对象关键点的长时运动信息和瞬时运动信息，确定对象关键点的跟随系数，利用跟随系数、对象关键点在上一图像帧中的目标位置，修正滤波位置，得到目标位置，以使对象关键点的第一距离小于第二距离，或者其他任意适用的方式，本发明实施例对此不做限制。
在本发明实施例中，在处理当前图像帧时，可以获取到在上一图像帧中的目标位置，在视频中的第一个图像帧中，对象关键点的目标位置可以直接采用关键点预测模型得到的位置。
在本发明实施例中，根据运动信息，对滤波位置进行修正。修正后对象关键点的目标位置比滤波位置距离在上一图像帧中的目标位置更近。也就是说，在认为对象关键点处于接近静止或静止状态时，保持对象关键点的位置相对上一图像帧中的位置不变，或减少对象关键点的位置相对上一图像帧中的位置的变化，在认为对象关键点由接近静止或静止状态转为运动状态时，增加对象关键点的位置相对上一图像帧中的位置的变化，从而实现了在保证跟随的前提下进一步去除目标对象接近静止或静止时对象关键点的噪声。
例如，当在当前图像帧之前的预设个数的目标位置的标准差小于预设标准差阈值时，则认为对象关键点处于静止状态，应该保持位置的坐标不变或者相对减少位置的坐标变化，这样更有利于对象关键点的位置准确性。预设标准差阈值可以根据人眼对噪声的敏感程度来确定。当对象关键点在当前图像帧中的滤波位置和在上一图像帧中的目标位置之间的运动速度大于预设速度阈值时，则认为对象关键点由静止状态转为运动状态或对象关键点处于运动状态，应该相对增加位置的坐标变化，以保证对象关键点的位置跟随，有利于保证其位置的准确性。
现有技术中，传统滤波器是根据对象关键点在上一图像帧的滤波结果和在当前图像帧的预测结果，输出当前图像帧的滤波结果。而本滤波方案是在前述滤波过程的基础上，再对当前图像帧的滤波结果进行修正，根据对象关键点在上一图像帧的目标位置，在当前图像帧的滤波结果和运动信息，输出当前图像帧的目标位置。传统的第一次滤波可以保证对对象关键点的位置跟随，在此基础上，结合对象关键点的运动信息，对滤波位置再次进行过滤，减少对象关键点在当前图像帧和上一图像帧之间的位置变化。
本发明实施例提供的位置确定方法，通过对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置，根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息，根据所述对象关键点的运动信息和在上一图像帧中的目标位置，修正所述滤波位置，得到所述对象关键点在所述当前图像帧中的目标位置，使得所述对象关键点的第一距离小于第二距离，所述第一距离为所述对象关键点在所述当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，所述第二距离为所述对象关键点在所述当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离，使得在对对象关键点进行追踪时，传统滤波可以保证对对象关键点的位置跟随，在此基础上，结合对象关键点的运动信息，对滤波位置再次进行过滤，减少对象关键点在当前图像帧和上一图像帧之间的位置变化，从而在保证跟随的前提下进一步去除接近静止或静止时的对象关键点的噪声，也就减少了对象关键点在接近静止或静止时的抖动程度，提高对象关键点的稳定性。
参照图2，示出了本发明的一种位置确定方法实施例的步骤流程图，具体可以包括如下步骤：
步骤201，对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置。
在本发明实施例中，此步骤的具体实现方式可以参见前述实施例中的描述，此处不另赘述。
步骤202，根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息。
在本发明实施例中，此步骤的具体实现方式可以参见前述实施例中的描述，此处不另赘述。
步骤203，根据所述长时运动信息和所述瞬时运动信息，确定所述对象关键点的跟随系数。
在本发明实施例中，对象关键点在当前图像帧中的目标位置可以由对象关键点在当前图像帧中的滤波位置和对象关键点在上一图像帧中的目标位置共同确定。为此，发明人创造性的设计了一个跟随系数，该跟随系数可以表征对象关键点在当前图像帧中的位置跟随在上一图像帧中的位置的程度。也就是说，对象关键点在当前图像帧中的目标位置可以根据该跟随系数，参考在当前图像帧中的滤波位置和在上一图像帧中的目标位置。
在一种实现方式中，该跟随系数可以用于指示对象关键点在当前图像帧中的滤波位置对当前图像帧中的目标位置的影响权重。长时运动信息和瞬时运动信息可以表明对象关键点运动的剧烈程度。在根据长时运动信息和瞬时运动信息，确定对象关键点的跟随系数时，对象关键点运动越剧烈，在当前图像帧中的目标位置需要越少的参考上一图像帧中的位置，跟随系数越大，从而保证对目标对象的跟随，对象关键点运动越微小，在当前图像帧中的目标位置需要越多的参考上一图像帧中的位置，跟随系数越小，从而减少抖动程度。
在另一种实现方式中，该跟随系数可以用于指示对象关键点在上一图像帧中的目标位置对当前图像帧中的目标位置的影响权重。在根据长时运动信息和瞬时运动信息，确定对象关键点的跟随系数时，对象关键点运动越剧烈，在当前图像帧中的目标位置需要越少的参考上一图像帧中的位置，跟随系数越小，从而保证对目标对象的跟随，对象关键点运动越微小，在当前图像帧中的目标位置需要越多的参考上一图像帧中的位置，跟随系数越大，从而减少抖动程度。在本发明的一种可选实施例中，根据所述长时运动信息和所述瞬时运动信息，确定所述对象关键点的跟随系数的一种具体实现方式中，可以包括：基于所述长时运动信息与所述瞬时运动信息，确定所述对象关键点在所述当前图像帧与上一图像帧之间的运动跟随状态；当所述运动跟随状态为紧密跟随状态时，确定所述跟随系数为第一系数；所述第一系数指示所述对象关键点在所述当前图像帧中的目标位置完全跟随在上一图像帧中的目标位置；当所述运动跟随状态为非紧密跟随状态时，确定所述跟随系数为第二系数或第三系数；所述第二系数用于指示对象关键点在所述当前图像帧中的所述滤波位置对当前图像帧中的目标位置的影响权重，所述第二系数和运动信息和值成正相关关系，所述运动信息和值为所述长时运动信息与所述瞬时运动信息的和值。第二系数与第三系数之和为1。
其中，对象关键点在当前图像帧中的位置跟上一图像帧中的位置之间关系密切，运动跟随状态用于表征这种关系的状态，按照关系的密切程度可以分为紧密跟随状态和非紧密跟随状态。相比于非紧密跟随状态，紧密跟随状态是对象关键点在当前图像帧中的位置跟上一图像帧中的位置之间关系更为密切的状态。
基于长时运动信息与瞬时运动信息，确定对象关键点在当前图像帧与上一图像帧之间的运动跟随状态的具体实现方式可以包括多种。
在一种实现方式中，按照人为定义的状态划分方式，当对象关键点的长时运动信息小于第一阈值，且对象关键点的瞬时运动信息小于第二阈值时，表明对象关键点运动的剧烈程度很低，处于接近静止或静止状态，将这种对象关键点在当前图像帧与上一图像帧之间的运动跟随状态确定为紧密跟随状态。其中，第一阈值、第二阈值可以根据经验设定，也可以采用其他适用的方式计算得到，本发明实施例对此不做限制。
在另一种实现方式中，按照人为定义的状态划分方式，当长时运动信息与瞬时运动信息的和值小于第三阈值，表明对象关键点运动的剧烈程度很低，处于接近静止或静止状态，将这种对象关键点在当前图像帧与上一图像帧之间的运动跟随状态确定为紧密跟随状态。具体还可以采取其他任意适用的实现方式，本发明实施例对此不做限制。其中，第三阈值可以根据经验设定，也可以采用其他适用的方式计算得到，本发明实施例对此不做限制。
当运动跟随状态为紧密跟随状态时，对象关键点在当前图像帧中的位置跟上一图像帧中的位置之间关系最为密切。在这种情况下的策略是：将对象关键点在当前图像帧中的目标位置直接确定为在上一图像帧中的目标位置。基于这种策略，发明人定义了第一系数，第一系数指示对象关键点在当前图像帧中的目标位置完全跟随在上一图像帧中的目标位置。
例如，当跟随系数用于指示对象关键点在所述当前图像帧中的所述滤波位置对当前图像帧中的目标位置的影响权重，第一系数可以设置为0，对象关键点在当前图像帧中的目标位置直接等于对象关键点在上一图像帧中的目标位置。当跟随系数用于指示所述对象关键点在上一图像帧中的目标位置对所述当前图像帧中的目标位置的影响权重，第一系数可以设置为1，对象关键点在当前图像帧中的目标位置直接等于对象关键点在上一图像帧中的目标位置。
当运动跟随状态为非紧密跟随状态时，对象关键点在当前图像帧中的位置跟上一图像帧中的位置之间关系相比紧密跟随状态时密切程度更低。在这种情况下的策略是：由对象关键点在当前图像帧中的滤波位置和在上一图像帧中的目标位置共同确定在当前图像帧中的目标位置。基于这种策略，发明人定义了第二系数。第二系数指示对象关键点在所述当前图像帧中的所述滤波位置对当前图像帧中的目标位置的影响权重。
设计一种确定第二系数的方式，将所述长时运动信息与所述瞬时运动信息的和值，记为运动信息和值，用来表征对象关键点运动的剧烈程度。由于对象关键点运动越剧烈，在当前图像帧中的目标位置需要越少的参考上一图像帧中的位置，第二系数越大，对象关键点运动越微小，在当前图像帧中的目标位置需要越多的参考上一图像帧中的位置，第二系数越小。根据上述关系，第二系数和运动信息和值成正相关关系。例如，将运动信息和值除以固定的经验值，得到第二系数，具体可以采用任意适用的计算方式，本发明实施例对此不做限制。
当运动跟随状态为非紧密跟随状态时，对象关键点在当前图像帧中的位置跟上一图像帧中的位置之间关系相比紧密跟随状态时密切程度更低。在这种情况下的策略是：由对象关键点在当前图像帧中的滤波位置和在上一图像帧中的目标位置共同确定在当前图像帧中的目标位置。基于这种策略，发明人定义了第三系数。第三系数用于指示对象关键点在上一图像帧中的目标位置对当前图像帧中的目标位置的影响权重。
由于对象关键点运动越剧烈，在当前图像帧中的目标位置需要越少的参考上一图像帧中的位置，第二系数越大，第三系数越小，对象关键点运动越微小，在当前图像帧中的目标位置需要越多的参考上一图像帧中的位置，第二系数越小，第三系数越大。根据上述关系，设计一种确定第三系数的方式，第二系数与第三系数之和为1。例如，若第二系数为α，则第三系数为1-α。
在本发明的一种可选实施例中，还可以包括：检测所述当前图像帧中所述目标对象的当前尺寸；计算所述目标对象在所述当前图像帧中的当前尺寸相对预设尺寸的变化比例；根据所述变化比例，调整滤波参数。
其中，滤波参数可以包括但不限于：第一次滤波处理的滤波参数，和/或，是第二次滤波处理的滤波参数。滤波参数包括但不限于如下至少一种：滤波器大小、预测噪声方差、测量噪声方差、测量噪声协方差等。
关键点模型的输入为目标对象裁剪后缩放到固定尺寸的局部图像，这导致图像中目标对象的尺寸变化会带来对象关键点的噪声，而且图像中目标对象的尺寸变化越大，所产生噪声也越大。滤波参数会影响滤波时的去噪声效果，鉴于此原因，本发明还提出一种基于目标对象的尺寸的比例因子计算方法，用于自适应调整第一次滤波处理的滤波参数和/或第二次滤波处理的滤波参数，以降低尺寸剧烈变化对滤波过程的不利影响。
对象关键点的噪声随目标对象的尺寸变化而变化，为此，一些滤波参数也应相应调整。检测当前图像帧中目标对象的当前尺寸，根据当前尺寸和预设尺寸，可以计算出目标对象在当前图像帧中的当前尺寸相对预设尺寸的变化比例，然后根据变化比例，调整滤波参数，以避免对象关键点的噪声随目标对象的变化比例增大而增大。例如，基于人脸的面积，用st来衡量实际人脸与基准人脸的变化比例，其中，area(xt)是由对象关键点在t时刻的图像帧中的滤波位置xt确定的包络框(经过人脸上的人脸关键点，且将所有人脸关键点包含在内的多边形框)的面积，areabase是预设的基准面积。随目标对象的尺寸变化，对滤波参数进行相应调整，从而降低因目标对象的尺寸变化所带来的噪声，进一步降低了噪声，提高了对象关键点的位置精度。
在本发明的一种可选实施例中，当运动跟随状态为非紧密跟随状态时，确定跟随系数为第二系数的另一种实现方式中，包括：检测所述当前图像帧中所述目标对象的当前尺寸；计算所述目标对象在所述当前图像帧中的当前尺寸相对预设尺寸的变化比例；基于所述运动信息和值与所述变化比例，确定所述第二系数；其中，所述第二系数与所述运动信息和值成正相关关系，且所述第二系数与所述变化比例成负相关关系。
检测当前图像帧中目标对象的当前尺寸，根据当前尺寸和预设尺寸，可以计算出目标对象在当前图像帧中的当前尺寸相对预设尺寸的变化比例。然后根据运动信息和变化比例，共同确定第二系数。由于噪声随目标对象的变化比例增大而增大，变化比例越大，当前图像帧的噪声越大，则在当前图像帧中的目标位置需要更多的参考上一图像帧中的位置，从而更有利于降低噪声，提高结果准确性。因此，第二系数需要越小，变化比例越小，在当前图像帧中的目标位置需要越小的参考上一图像帧中的位置，第二系数需要越大。根据上述关系，第二系数与运动信息和值成正相关关系，第二系数与变化比例成负相关关系。
例如，当跟随系数用于指示所述对象关键点在所述当前图像帧中的所述滤波位置对所述当前图像帧中的目标位置的影响权重，根据运动模型确定跟随系数αi：
其中，st来衡量实际人脸与基准人脸的变化比例，σi为长时运动信息，di为瞬时运动信息，当σi<n1*st且di<1.0，将运动跟随状态确定为紧密跟随状态时，跟随系数确定为0，否则，将运动跟随状态确定为非紧密跟随状态时，跟随系数可以根据长时运动信息σi、瞬时运动信息di和变化比例st计算得到。n1和n2可以设定为任意适用的值，例如，n1设定为4，n2设定为6，本发明实施例对此不做限制。
步骤204，利用所述跟随系数、所述对象关键点在上一图像帧中的目标位置，修正所述滤波位置，得到所述目标位置，以使所述对象关键点的第一距离小于第二距离。
在本发明实施例中，利用跟随系数，对象关键点在上一图像帧中的目标位置，对滤波位置进行修正，得到目标位置。具体可以包括多种实现方式。
例如，一种实现方式中，当跟随系数为第一系数时，则以对象关键点在上一图像帧中的目标位置替换在当前图像帧中的滤波位置，作为目标位置。
在本发明的一种可选实施例中，另一种实现方式中，可以包括：获取所述对象关键点在所述当前图像帧中的滤波位置和所述对象关键点在上一图像帧中的目标位置之间的加权和，得到所述对象关键点在所述当前图像帧中的目标位置，其中，所述第一权重为跟随系数，第二权重与第一权重之和为1。
在对对象关键点在当前图像帧中的滤波位置进行修正，得到目标位置时，具体可以通过计算对象关键点在当前图像帧中的滤波位置和对象关键点在上一图像帧中的目标位置之间的加权和，作为对象关键点在当前图像帧中的目标位置。
其中，加权和计算时，第一权重为跟随系数，第二权重与第一权重之和为1。当跟随系数用于指示所述对象关键点在所述当前图像帧中的所述滤波位置对所述当前图像帧中的目标位置的影响权重时，即第一权重是对象关键点在所述当前图像帧中的所述滤波位置的权重，第二权重是对象关键点在上一图像帧中的目标位置的权重，此时，第一权重为第二系数，第二权重为第三系数。当跟随系数用于指示所述对象关键点在上一图像帧中的目标位置对所述当前图像帧中的目标位置的影响权重，即第一权重是对象关键点在上一图像帧中的目标位置的权重，第二权重是对象关键点在所述当前图像帧中的所述滤波位置的权重，此时，第一权重为第三系数，第二权重为第二系数。
示例性的，人脸关键点在当前图像帧中的目标位置的计算公式为：其中，xt为t时刻的滤波位置，/>为t-1时刻的图像帧中的目标位置，α为第二系数，(1-α)为第三系数。
本发明实施例提供的位置确定方法，通过对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置，根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息，根据所述长时运动信息和所述瞬时运动信息，确定所述对象关键点的跟随系数，利用所述跟随系数、所述对象关键点在上一图像帧中的目标位置，修正所述滤波位置，得到所述目标位置，以使所述对象关键点的第一距离小于第二距离，使得在对对象关键点进行追踪时，传统滤波可以保证对对象关键点的位置跟随，在此基础上，结合对象关键点的运动信息，对滤波位置再次进行过滤，减少对象关键点在当前图像帧和上一图像帧之间的位置变化，从而在保证跟随的前提下进一步去除接近静止或静止时的对象关键点的噪声，也就减少了对象关键点在接近静止或静止时的抖动程度，提高对象关键点的稳定性。
参照图3，示出了本发明实施例的一种滤波流程的示意图，具体可以包括如下步骤：
步骤1，对于当前图像帧，利用关键点模型得到预测结果，即预测得到的对象关键点的位置。
步骤2，通过传统滤波器，对预测结果进行第一次滤波处理，得到对象关键点在当前图像帧中的滤波位置。
步骤3，采用运动模型，根据对象关键点在多个图像帧中的位置，得到运动信息，并且根据目标对象在图像帧中的面积得到自适应因子，即目标对象在当前图像帧中的当前尺寸相对预设尺寸的变化比例。
步骤4，根据运动信息和自适应因子确定学习率，并对对象关键点的位置进行更新，其中，学习率为跟随系数。
步骤5，输出最终滤波结果，根据学习率，对对象关键点在当前图像帧中的滤波位置进行修正，得到对象关键点在当前图像帧中的目标位置。
本发明实施例提出了一种表征对象关键点运动的模型，含有长时运动信息及瞬时运动信息；以及提出了一种结合图像中目标对象的实际尺寸自适应调整参数的机制；还结合运动信息及自适应机制，提出了一种可有效去除人脸静止或缓慢运动时对象关键点噪声并增强传统滤波器效果的方法。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4，示出了本发明一种位置确定装置实施例的结构框图，具体可以包括如下模块：
滤波模块301，用于对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置；
运动信息确定模块302，用于根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息；
修正模块303，用于根据所述对象关键点的运动信息和在上一图像帧中的目标位置，修正所述滤波位置，得到所述对象关键点在所述当前图像帧中的目标位置，使得所述对象关键点的第一距离小于第二距离，所述第一距离为所述对象关键点在所述当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，所述第二距离为所述对象关键点在所述当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离。
在本发明的一种可选实施例中，所述运动信息包括：长时运动信息和/或瞬时运动信息，
其中，所述长时运动信息用于指示所述对象关键点在所述当前图像帧之前的预设个数的图像帧中的运动情况，
所述瞬时运动信息用于指示所述对象关键点在所述当前图像帧和上一图像帧之间的运动情况。
在本发明的一种可选实施例中，所述运动信息确定模块302，包括：
长时运动信息计算子模块，用于当所述运动信息包括所述长时运动信息时，获取所述对象关键点在所述当前图像帧之前的预设个数的图像帧中的目标位置，根据所述预设个数的目标位置，计算所述对象关键点的长时运动信息；
瞬时运动信息计算子模块，用于当所述运动信息包括所述瞬时运动信息时，获取所述对象关键点在所述上一图像帧中的目标位置，根据所述对象关键点在所述当前图像帧中的滤波位置信息和在所述上一图像帧中的目标位置，计算所述对象关键点的瞬时运动信息。
在本发明的一种可选实施例中，所述修正模块303，包括：
系数确定子模块，用于根据所述长时运动信息和所述瞬时运动信息，确定所述对象关键点的跟随系数；其中，所述跟随系数用于指示所述对象关键点在所述当前图像帧中的所述滤波位置对所述当前图像帧中的目标位置的影响权重，或者，所述跟随系数用于指示所述对象关键点在上一图像帧中的目标位置对所述当前图像帧中的目标位置的影响权重；
修正子模块，用于利用所述跟随系数、所述对象关键点在上一图像帧中的目标位置，修正所述滤波位置，得到所述目标位置，以使所述对象关键点的第一距离小于第二距离。
在本发明的一种可选实施例中，所述系数确定子模块，包括：
状态确定单元，用于基于所述长时运动信息与所述瞬时运动信息，确定所述对象关键点在所述当前图像帧与上一图像帧之间的运动跟随状态；其中，所述运动跟随状态包括紧密跟随状态和非紧密跟随状态；
第一系数确定单元，用于当所述运动跟随状态为紧密跟随状态时，确定所述跟随系数为第一系数；所述第一系数指示所述对象关键点在所述当前图像帧中的目标位置完全跟随在上一图像帧中的目标位置；
第二系数确定单元，用于当所述运动跟随状态为非紧密跟随状态时，确定所述跟随系数为第二系数或第三系数；所述第二系数用于指示对象关键点在所述当前图像帧中的所述滤波位置对当前图像帧中的目标位置的影响权重，所述第二系数和运动信息和值成正相关关系，所述运动信息和值为所述长时运动信息与所述瞬时运动信息的和值；所述第二系数与所述第三系数之和为1。
在本发明的一种可选实施例中，所述修正子模块，包括：
获取单元，用于获取所述对象关键点在所述当前图像帧中的滤波位置和所述对象关键点在上一图像帧中的目标位置之间的加权和，得到所述对象关键点在所述当前图像帧中的目标位置，其中，所述第一权重为跟随系数，第二权重与第一权重之和为1。
在本发明的一种可选实施例中，所述第二系数确定单元，包括：
尺寸检测子单元，用于检测所述当前图像帧中所述目标对象的当前尺寸；
比例计算子单元，计算所述目标对象在所述当前图像帧中的当前尺寸相对预设尺寸的变化比例；
第二系数确定子单元，用于基于所述运动信息和值与所述变化比例，确定所述第二系数；其中，所述第二系数与所述运动信息和值成正相关关系，且所述第二系数与所述变化比例成负相关关系。
在本发明的一种可选实施例中，所述装置还包括：
尺寸检测模块，用于检测所述当前图像帧中所述目标对象的当前尺寸；
比例计算模块，用于计算所述目标对象在所述当前图像帧中的当前尺寸相对预设尺寸的变化比例；
调整模块，用于根据所述变化比例，调整滤波参数。
本发明实施例提供的位置确定方法，通过对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置，根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息，根据所述对象关键点的运动信息和在上一图像帧中的目标位置，修正所述滤波位置，得到所述对象关键点在所述当前图像帧中的目标位置，使得所述对象关键点的第一距离小于第二距离，所述第一距离为所述对象关键点在所述当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，所述第二距离为所述对象关键点在所述当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离，使得在对对象关键点进行追踪时，传统滤波可以保证对对象关键点的位置跟随，在此基础上，结合对象关键点的运动信息，对滤波位置再次进行过滤，减少对象关键点在当前图像帧和上一图像帧之间的位置变化，从而在保证跟随的前提下进一步去除接近静止或静止时的对象关键点的噪声，也就减少了对象关键点在接近静止或静止时的抖动程度，提高对象关键点的稳定性。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现如前述任一方法实施例中描述的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的位置确定方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的位置确定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (11)
1.一种位置确定方法，其特征在于，包括：
对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置；
根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息；所述运动信息包括：长时运动信息和/或瞬时运动信息；
根据所述长时运动信息和所述瞬时运动信息，确定所述对象关键点的跟随系数；所述跟随系数用于表征所述对象关键点在当前图像帧中的位置跟随在上一图像帧中的位置的程度；利用所述跟随系数、所述对象关键点在上一图像帧中的目标位置，修正所述滤波位置，得到所述目标位置，使得所述对象关键点的第一距离小于第二距离，所述第一距离为所述对象关键点在所述当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，所述第二距离为所述对象关键点在所述当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离。
2.根据权利要求1所述的方法，其特征在于，
所述长时运动信息用于指示所述对象关键点在所述当前图像帧之前的预设个数的图像帧中的运动情况，
所述瞬时运动信息用于指示所述对象关键点在所述当前图像帧和上一图像帧之间的运动情况。
3.根据权利要求2所述的方法，其特征在于，所述根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息，包括：
当所述运动信息包括所述长时运动信息时，获取所述对象关键点在所述当前图像帧之前的预设个数的图像帧中的目标位置，根据所述预设个数的目标位置，计算所述对象关键点的长时运动信息；
当所述运动信息包括所述瞬时运动信息时，获取所述对象关键点在所述上一图像帧中的目标位置，根据所述对象关键点在所述当前图像帧中的滤波位置信息和在所述上一图像帧中的目标位置，计算所述对象关键点的瞬时运动信息。
4.根据权利要求1所述的方法，其特征在于，所述跟随系数用于指示所述对象关键点在所述当前图像帧中的所述滤波位置对所述当前图像帧中的目标位置的影响权重，或者，所述跟随系数用于指示所述对象关键点在上一图像帧中的目标位置对所述当前图像帧中的目标位置的影响权重。
5.根据权利要求4所述的方法，其特征在于，所述根据所述长时运动信息和所述瞬时运动信息，确定所述对象关键点的跟随系数，包括：
基于所述长时运动信息与所述瞬时运动信息，确定所述对象关键点在所述当前图像帧与上一图像帧之间的运动跟随状态；其中，所述运动跟随状态包括紧密跟随状态和非紧密跟随状态；
当所述运动跟随状态为紧密跟随状态时，确定所述跟随系数为第一系数；所述第一系数指示所述对象关键点在所述当前图像帧中的目标位置完全跟随在上一图像帧中的目标位置；
当所述运动跟随状态为非紧密跟随状态时，确定所述跟随系数为第二系数或第三系数；所述第二系数用于指示对象关键点在所述当前图像帧中的所述滤波位置对当前图像帧中的目标位置的影响权重，所述第二系数和运动信息和值成正相关关系，所述运动信息和值为所述长时运动信息与所述瞬时运动信息的和值；所述第二系数与所述第三系数之和为1。
6.根据权利要求1或5所述的方法，其特征在于，所述利用所述跟随系数、所述对象关键点在上一图像帧中的目标位置，修正所述滤波位置，得到所述目标位置，使得所述对象关键点的第一距离小于第二距离，包括：
获取所述对象关键点在所述当前图像帧中的滤波位置和所述对象关键点在上一图像帧中的目标位置之间的加权和，得到所述对象关键点在所述当前图像帧中的目标位置，其中，第一权重为跟随系数，第二权重与第一权重之和为1。
7.根据权利要求5所述的方法，其特征在于，所述当所述运动跟随状态为非紧密跟随状态时，确定所述跟随系数为第二系数，包括：
检测所述当前图像帧中所述目标对象的当前尺寸；
计算所述目标对象在所述当前图像帧中的当前尺寸相对预设尺寸的变化比例；
基于所述运动信息和值与所述变化比例，确定所述第二系数；其中，所述第二系数与所述运动信息和值成正相关关系，且所述第二系数与所述变化比例成负相关关系。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
检测所述当前图像帧中所述目标对象的当前尺寸；
计算所述目标对象在所述当前图像帧中的当前尺寸相对预设尺寸的变化比例；
根据所述变化比例，调整滤波参数。
9.一种位置确定装置，其特征在于，包括：
滤波模块，用于对当前图像帧内目标对象的对象关键点滤波处理，得到滤波位置；
运动信息确定模块，用于根据所述对象关键点在多个图像帧中的位置，确定所述对象关键点的运动信息； 所述运动信息包括：长时运动信息和/或瞬时运动信息；
修正模块，用于根据所述长时运动信息和所述瞬时运动信息，确定所述对象关键点的跟随系数；所述跟随系数用于表征所述对象关键点在当前图像帧中的位置跟随在上一图像帧中的位置的程度；利用所述跟随系数、所述对象关键点在上一图像帧中的目标位置，修正所述滤波位置，得到所述目标位置，使得所述对象关键点的第一距离小于第二距离，所述第一距离为所述对象关键点在所述当前图像帧中的目标位置与在上一图像帧中的目标位置之间的距离，所述第二距离为所述对象关键点在所述当前图像帧中的滤波位置与在上一图像帧中的目标位置之间的距离。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584560.6A CN113223083B (zh) | 2021-05-27 | 2021-05-27 | 一种位置确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584560.6A CN113223083B (zh) | 2021-05-27 | 2021-05-27 | 一种位置确定方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113223083A CN113223083A (zh) | 2021-08-06 |
| CN113223083B true CN113223083B (zh) | 2023-08-15 |
Family
ID=77099141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110584560.6A Active CN113223083B (zh) | 2021-05-27 | 2021-05-27 | 一种位置确定方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223083B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708541A (zh) * | 2022-04-27 | 2022-07-05 | 北京市商汤科技开发有限公司 | 一种体能测试方法、装置、计算机设备及存储介质 |
| CN115334295B (zh) * | 2022-08-10 | 2024-05-03 | 杭州联吉技术有限公司 | 图像白平衡处理方法及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017102708A (ja) * | 2015-12-02 | 2017-06-08 | 日本放送協会 | オブジェクト追跡装置及びそのプログラム |
| CN108776974A (zh) * | 2018-05-24 | 2018-11-09 | 南京行者易智能交通科技有限公司 | 一种适用于公共交通场景的实时目标跟踪方法 |
| CN109684920A (zh) * | 2018-11-19 | 2019-04-26 | 腾讯科技（深圳）有限公司 | 物体关键点的定位方法、图像处理方法、装置及存储介质 |
| CN109871760A (zh) * | 2019-01-15 | 2019-06-11 | 北京奇艺世纪科技有限公司 | 一种人脸定位方法、装置、终端设备及存储介质 |
| CN109977775A (zh) * | 2019-02-25 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 关键点检测方法、装置、设备及可读存储介质 |
| CN110414514A (zh) * | 2019-07-31 | 2019-11-05 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
| WO2020133330A1 (en) * | 2018-12-29 | 2020-07-02 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for video surveillance |
| CN111640140A (zh) * | 2020-05-22 | 2020-09-08 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
| JP2020149642A (ja) * | 2019-03-15 | 2020-09-17 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
| CN112329740A (zh) * | 2020-12-02 | 2021-02-05 | 广州博冠信息科技有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN112837389A (zh) * | 2021-02-01 | 2021-05-25 | 北京爱奇艺科技有限公司 | 一种对象模型构建方法、装置及电子设备 |
-
2021
- 2021-05-27 CN CN202110584560.6A patent/CN113223083B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017102708A (ja) * | 2015-12-02 | 2017-06-08 | 日本放送協会 | オブジェクト追跡装置及びそのプログラム |
| CN108776974A (zh) * | 2018-05-24 | 2018-11-09 | 南京行者易智能交通科技有限公司 | 一种适用于公共交通场景的实时目标跟踪方法 |
| CN109684920A (zh) * | 2018-11-19 | 2019-04-26 | 腾讯科技（深圳）有限公司 | 物体关键点的定位方法、图像处理方法、装置及存储介质 |
| WO2020133330A1 (en) * | 2018-12-29 | 2020-07-02 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for video surveillance |
| CN109871760A (zh) * | 2019-01-15 | 2019-06-11 | 北京奇艺世纪科技有限公司 | 一种人脸定位方法、装置、终端设备及存储介质 |
| CN109977775A (zh) * | 2019-02-25 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 关键点检测方法、装置、设备及可读存储介质 |
| JP2020149642A (ja) * | 2019-03-15 | 2020-09-17 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
| CN110414514A (zh) * | 2019-07-31 | 2019-11-05 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
| CN111640140A (zh) * | 2020-05-22 | 2020-09-08 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
| CN112329740A (zh) * | 2020-12-02 | 2021-02-05 | 广州博冠信息科技有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN112837389A (zh) * | 2021-02-01 | 2021-05-25 | 北京爱奇艺科技有限公司 | 一种对象模型构建方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| An Improved Correlation Filtering Based on Position Prediction;Hao Wan等;《IEEE Xplore》;第5665-5670页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113223083A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110176027B (zh) | 视频目标跟踪方法、装置、设备及存储介质 | |
| CN108122234B (zh) | 卷积神经网络训练及视频处理方法、装置和电子设备 | |
| CN114424253B (zh) | 模型训练方法、装置、存储介质及电子设备 | |
| CN110334635B (zh) | 主体追踪方法、装置、电子设备和计算机可读存储介质 | |
| US10963993B2 (en) | Image noise intensity estimation method, image noise intensity estimation device, and image recognition device | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN109711304B (zh) | 一种人脸特征点定位方法及装置 | |
| CN108898624B (zh) | 一种运动物体跟踪的方法、装置、电子设备和存储介质 | |
| CN109753971B (zh) | 扭曲文字行的矫正方法及装置、字符识别方法及装置 | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN113223083B (zh) | 一种位置确定方法、装置、电子设备及存储介质 | |
| US20220270266A1 (en) | Foreground image acquisition method, foreground image acquisition apparatus, and electronic device | |
| CN111667504B (zh) | 一种人脸追踪方法、装置及设备 | |
| CN107959798B (zh) | 视频数据实时处理方法及装置、计算设备 | |
| WO2022116104A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
| CN113379789B (zh) | 一种复杂环境下运动目标跟踪方法 | |
| CN112634316A (zh) | 目标跟踪方法、装置、设备和存储介质 | |
| CN111488779B (zh) | 视频图像超分辨率重建方法、装置、服务器及存储介质 | |
| CN113438386B (zh) | 一种应用于视频处理的动静判定方法及装置 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
| CN109978855A (zh) | 一种遥感图像变化检测方法及装置 | |
| CN117115900A (zh) | 一种图像分割方法、装置、设备及存储介质 | |
| CN116309643A (zh) | 人脸遮挡分确定方法、电子设备及介质 | |
| CN108776972B (zh) | 一种对象跟踪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |