CN107967693B - 视频关键点处理方法、装置、计算设备及计算机存储介质 - Google Patents
视频关键点处理方法、装置、计算设备及计算机存储介质 Download PDFInfo
- Publication number
- CN107967693B CN107967693B CN201711249787.5A CN201711249787A CN107967693B CN 107967693 B CN107967693 B CN 107967693B CN 201711249787 A CN201711249787 A CN 201711249787A CN 107967693 B CN107967693 B CN 107967693B
- Authority
- CN
- China
- Prior art keywords
- frame image
- key point
- coordinate information
- key
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 122
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000000694 effects Effects 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims description 63
- 230000003068 static effect Effects 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 241001465754 Metazoa Species 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 230000001788 irregular Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000003796 beauty Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种视频关键点处理方法、装置、计算设备及计算机存储介质。其中方法根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像，将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种视频关键点处理方法、装置、计算设备及计算机存储介质。
背景技术
随着科技的发展，图像采集设备的技术也日益提高。使用图像采集设备录制的视频也更加清晰、分辨率、显示效果也大幅提高。为了便于为特定对象添加萌颜特效等，需要预测视频帧图像中的关键点的坐标信息，但由于环境光线的变化和预测算法的不稳定性，往往导致预测出来的关键点在连续的视频帧中发生不规律的抖动，这样，就会使得萌颜特效所添加的位置不合适，例如，本应该添加至眉毛处的特效却添加至两眉之间，用户体验差。
因此，需要一种视频关键点处理方法，以修正视频帧图像中关键点的坐标信息。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频关键点处理方法、装置、计算设备及计算机存储介质。
根据本发明的一个方面，提供了一种视频关键点处理方法，其包括：
获取视频数据；
获取视频数据中第t帧图像，其中t大于1；
将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；
利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像；
将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据。
可选地，获取视频数据进一步包括：获取本地视频数据和/或网络视频数据。
可选地，获取视频数据进一步包括：获取由多个本地图片和/或多个网络图片合成的视频数据。
可选地，根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
判断关键点的移动速度是否大于预设阈值，若是，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；否则，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
可选地，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；
针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；
根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，选取动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；
计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；
根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
可选地，根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息进一步包括：
依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系；
根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
可选地，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像进一步包括：
根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，得到处理后的第t帧图像。
可选地，关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
可选地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台展示视频数据。
根据本发明的另一方面，提供了一种视频关键点处理装置，其包括：
第一获取模块，适于获取视频数据；
第二获取模块，适于获取视频数据中第t帧图像，其中t大于1；
输入模块，适于将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
修正处理模块，适于根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；
图像处理模块，适于利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像；
覆盖模块，适于将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据。
可选地，第一获取模块进一步适于：获取本地视频数据和/或网络视频数据。
可选地，第一获取模块进一步适于：获取由多个本地图片和/或多个网络图片合成的视频数据。
可选地，修正处理模块进一步包括：
判断单元，适于判断关键点的移动速度是否大于预设阈值；
修正处理单元，适于若关键点的移动速度大于预设阈值，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；若关键点的移动速度小于或等于预设阈值，则选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
可选地，修正处理单元进一步适于：
获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；
针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；
根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，修正处理单元进一步适于：
根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；
计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；
根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
可选地，修正处理单元进一步适于：
依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系；
根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
可选地，图像处理模块进一步适于：根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，得到处理后的第t帧图像。
可选地，关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
可选地，装置还包括：上传模块，适于将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台展示视频数据。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述视频关键点处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述视频关键点处理方法对应的操作。
根据本发明提供的方案，根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像，将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的视频关键点处理方法的流程示意图；
图2示出了根据本发明另一个实施例的视频关键点处理方法的流程示意图；
图3示出了根据本发明一个实施例的视频关键点处理装置的结构示意图；
图4示出了根据本发明一个实施例的视频关键点处理装置的结构示意图；
图5示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的视频关键点处理方法的流程示意图。如图1所示，该方法包括以下步骤：
步骤S100，获取视频数据。
获取的视频数据可以是用户本地的视频数据，也可以获取网络的视频数据。或者还可以获取由多个本地图片合成的视频数据，或者获取由多个网络图片合成的视频数据，或者获取由多个本地图片和多个网络图片合成的视频数据。
步骤S101，获取视频数据中第t帧图像，其中t大于1。
具体地，本发明实施例提供的视频关键点处理方法可以对第2帧图像之后的视频帧图像(这里包括第2帧图像)的关键点进行修正处理，可以根据处理需求获取视频数据中的第t帧图像，其中，t大于1。
步骤S102，将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
关键点的坐标信息是关键点在图像坐标系中的坐标位置，本实施例中的神经网络是经过大量训练得到的，该神经网络的输入为图像，输出为图像的关键点的坐标信息，具体地，在获取到第t帧图像之后，可以将第t帧图像输入至神经网络中，利用神经网络来预测得到第t帧图像的关键点的坐标信息，但是，在利用神经网络预测第t帧图像的关键点的坐标信息时并未考虑前后两帧图像的相关性，也就是说，利用神经网络预测得到的第t帧图像的关键点的坐标信息存在误差，会导致所拍摄的视频出现随机抖动的现象，为了克服抖动问题，就需要对第t帧图像的关键点的坐标信息进行修正处理，具体地，可以采用步骤S103中的方法进行修正处理。
步骤S103，根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理。
通过跟踪图像的关键点可以计算得到关键点的移动速度，在得到关键点的移动速度之后，可以根据关键点的移动速度，选取用于对第t帧图像的关键点的坐标信息进行修正处理的相应模型，其中，模型可以为静态模型或动态模型，这里，静态模型主要依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型主要依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理，通过对关键点的坐标信息进行修正处理，可以克服拍摄视频过程中出现的抖动问题。
步骤S104，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像。
在利用静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理之后，可以利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理。
步骤S105，将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据。
使用处理后的第t帧图像直接覆盖掉对应的第t帧图像，直接可以得到处理后的视频数据。
根据本发明上述实施例提供的方法，根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像，将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
图2示出了根据本发明另一个实施例的视频关键点处理方法的流程示意图。如图2所示，该方法包括以下步骤：
步骤S200，获取视频数据。
获取的视频数据可以是用户本地的视频数据，也可以获取网络的视频数据。或者还可以获取由多个本地图片合成的视频数据，或者获取由多个网络图片合成的视频数据，或者获取由多个本地图片和多个网络图片合成的视频数据。
步骤S201，获取视频数据中第t帧图像，其中t大于1。
具体地，本发明实施例提供的视频关键点处理方法可以对第2帧图像之后的视频帧图像(这里包括第2帧图像)的关键点进行修正处理，可以根据处理需求获取视频数据中的第t帧图像，其中，t大于1。
步骤S202，将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
本发明实施例中的关键点可以为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品，例如，关键点可以是人脸的轮廓线中的点、人脸五官(例如，眉、眼、耳、鼻、口)的轮廓线中的点、人体轮廓线中的点、还可以是车辆边缘的点、XX大厦边缘的点，这里仅是简单列举，不具有任何限定作用。
神经网络是基于大量的图像训练得到的，通过有监督的机器学习训练得到的，利用该神经网络可以预测得到第t帧图像的关键点的坐标信息。
以上步骤参考图1实施例中的步骤S102的描述，在此不再赘述。
步骤S203，判断关键点的移动速度是否大于预设阈值，若是，执行步骤S204；若否，则执行步骤S207。
通过跟踪图像的关键点可以计算得到关键点的移动速度，例如，通过跟踪计算图像中关键点A的移动速度来确定图像中各关键点的移动速度，针对图像中的关键点A，可以根据关键点A在第t-1帧图像、第t-2帧图像、第t-3帧图像中的坐标信息，以及对应的时间计算关键点的移动速度，在计算得到关键点的移动速度之后，还需要将关键点的移动速度与预设阈值进行比较，以确定关键点的移动速度是否大于预设阈值，若是，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；否则，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。通过对关键点的坐标信息进行修正处理，可以克服拍摄视频过程中出现的抖动问题。
若选取动态模型对第t帧图像的关键点的坐标信息进行修正处理，则可以利用步骤S204-步骤S206中的方法对第t帧图像的关键点的坐标信息进行修正处理；若选取静态模型对第t帧图像的关键点的坐标信息进行修正处理，则可以利用步骤S207-步骤S209中的方法对第t帧图像的关键点的坐标信息进行修正处理。
步骤S204，根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息。
在根据步骤S203判断出关键点的移动速度大于预设阈值的情况下，可以确定出特定对象处于运动状态，如此，我们希望在特定对象运动时，关键点能够平滑移动，而没有拖影现象，为了实现上述技术效果，可以根据第t-1帧图像的关键点的坐标信息以及第t-2帧图像的关键点的坐标信息确定出第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度，在得到关键点的移动速度之后，可以根据关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息。
假设相邻两帧图像的关键点匀速运动，则可以利用如下公式(1)粗略地确定第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度，
vt-1＝x′t-1-x′t-2 公式(1)
由于相邻两帧图像的关键点匀速运动，则可以认定vt＝vt-1，由此可以利用如下公式(2)预测得到第t帧图像的关键点的坐标信息，
其中，
为预测得到的第t帧图像的关键点的坐标信息，x′t-1为修正处理后的第t-1帧图像的关键点的坐标信息，x′t-2为修正处理后的第t-2帧图像的关键点的坐标信息，在本实施例中利用修正处理的第t-1帧图像的关键点的坐标信息和第t-2帧图像的关键点的坐标信息进行计算，可以进一步提升计算的准确性。
步骤S205，计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离。
在步骤S202中利用神经网络得到了第t帧图像的关键点的坐标信息，在步骤S204中又预测得到了第t帧图像的关键点的坐标信息，为了能够得到较为准确的第t帧图像的关键点的坐标信息，这里需要计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离，以根据所计算得到的距离进行后续处理。
步骤S206，根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
具体地，可以依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系，即距离越大，第一权重越大，而第二权重越小，距离越小，第一权重越小，第二权重越大。
根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，若利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离较大，则利用神经网络得到的第t帧图像的关键点的坐标信息作为主要的计算参数，若距离较小，则预测得到的第t帧图像的关键点的坐标信息作为主要的计算参数，具体可以采用公式(3)计算修正处理后的第t帧图像的关键点的坐标信息，
其中，x′t为修正处理后的第t帧图像的关键点的坐标信息，xt为利用神经网络得到的第t帧图像的关键点的坐标信息，
为预测得到的第t帧图像的关键点的坐标信息，
为第一权重，由于第一权重与第二权重之和等于1，因此，第二权重＝1-第一权重，现将第二权重表示为
为利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离。
步骤S207，获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值。
在本实施例中，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息可以是经过修正处理后的坐标信息，即，利用本发明实施例提供的方法对利用神经网络得到的第t-n+1帧图像至第t-1帧图像的关键点的坐标信息进行了修正处理，在本发明实施例中，利用修正处理后的第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，可以进一步提升第t帧图像的关键点的坐标信息的准确性。
步骤S208，针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重。
现有技术中采用对第t-n+1帧图像至第t帧图像的关键点的坐标信息求平均的方式计算第t帧图像的关键点的坐标信息，例如，利用如下公式(4)计算得到修正处理后的第t帧图像的关键点的坐标信息，
这里每帧图像的权重是相同的，通过该方法计算第t帧图像的关键点的坐标信息时很容易出现以下情况：若第t-n+1帧图像至第t帧图像中某一帧图像的关键点的坐标信息与其他帧图像的关键点的坐标信息相差较大，就会导致修正处理的第t帧图像的关键点的坐标信息不准确，而本发明实施例针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重，使得在对第t帧图像的关键点的坐标信息进行修正处理时，第t-n+1帧图像至第t帧图像的关键点的坐标信息所占比重不同。
其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系，即该帧图像与第t帧图像之间的帧距越小，权重越大，帧距越大，权重越小；该帧图像的关键点与第t帧图像的关键点之间的距离越小，权重越大，距离越大，权重越小。
步骤S209，根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
具体地，可以采用如下公式(5)来计算得到修正处理后第t帧图像的关键点的坐标信息，
其中，x′t为修正处理后的第t帧图像的关键点的坐标信息，xi为第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，xt为利用神经网络中得到的第t帧图像的关键点的坐标信息，w(xi)为第t-n+1帧图像至第t-1帧图像对应的权重，w(xt)为第t帧图像的权重。
举例说明，利用本发明实施例提供的方法对t＝100时，即对第100帧图像的关键点的坐标信息进行修正处理，通过跟踪关键点确定出关键点的移动速度小于预设阈值，则可以采用静态模型对第100帧图像的关键点的坐标信息进行修正处理，获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，其中，n的取值可以根据实际需要进行设定，例如可以设定n为1或2或3或10或30等任意数值，这里将以n＝30为例进行说明，获取第71帧图像至第99帧图像的关键点的坐标信息，针对第71帧图像至第100帧图像中的任一帧图像，根据该帧图像与第100帧图像之间的帧距以及该帧图像的关键点与第100帧图像的关键点之间的距离确定该帧图像的权重，在得到权重之后，可以将t＝100，n＝30，以及对应的权重代入公式(5)来计算得到修正处理后第100帧图像的关键点的坐标信息x′100，其中，x′100具体可以表示为：
步骤S210，根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，得到处理后的第t帧图像。
在得到修正处理后的第t帧图像的关键点的坐标信息之后，可以根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，例如，在人的眼睛、嘴、鼻子等部位添加萌颜特效，举例说明，如人体的嘴部，可以在嘴巴张开时，在嘴巴部分绘制喷出的火焰。本领域技术人员可以根据实际需求设置添加静态或动态效果贴图的具体区域此处不做限定。
步骤S211，将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据。
使用处理后的帧图像直接覆盖掉对应的待处理的帧图像，直接可以得到处理后的视频数据。
步骤S212，将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
处理后的视频数据可以保存在本地仅供用户观看，也可以将处理后的视频数据直接上传至一个或多个云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
根据本发明上述实施例提供的方法，根据关键点的移动速度，选取静态模型或动态模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，得到处理后的第t帧图像，将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据，克服了由于环境光线的变化或者预测算法不稳定性，而导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，而且还能够精准地为图像添加静态或动态效果贴图，克服了由于关键点的坐标信息不准确而导致的添加的效果贴图的位置不合理的问题，有效地改善了视频展示效果。
图3示出了根据本发明一个实施例的视频关键点处理装置的结构示意图。如图3所示，该装置包括：第一获取模块300、第二获取模块310、输入模块320、修正处理模块330、图像处理模块340、覆盖模块350。
第一获取模块300，适于获取视频数据。
第一获取模块300获取的视频数据可以是用户本地的视频数据，获取模块300也可以获取网络的视频数据。或者第一获取模块300还可以获取由多个本地图片合成的视频数据，或者第一获取模块300获取由多个网络图片合成的视频数据，或者第一获取模块300获取由多个本地图片和多个网络图片合成的视频数据。
第二获取模块310，适于获取视频数据中第t帧图像，其中t大于1。
输入模块320，适于将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
修正处理模块330，适于根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理。
图像处理模块340，适于利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像。
覆盖模块350，适于将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据。
根据本发明上述实施例提供的装置，根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像，将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
图4示出了根据本发明一个实施例的视频关键点处理装置的结构示意图。如图4所示，该装置包括：第一获取模块400、第二获取模块410、输入模块420、修正处理模块430、图像处理模块440、覆盖模块450、上传模块460。
第一获取模块400，适于获取视频数据。
第二获取模块410，适于获取视频数据中第t帧图像，其中t大于1。
输入模块420，适于将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
其中，关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
修正处理模块430进一步包括：判断单元431，适于判断关键点的移动速度是否大于预设阈值；
修正处理单元432，适于若关键点的移动速度大于预设阈值，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；若关键点的移动速度小于或等于预设阈值，则选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
若选取静态模型对第t帧图像的关键点的坐标信息进行修正处理，该修正处理单元432进一步适于：获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
其中，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
若选取动态模型对第t帧图像的关键点的坐标信息进行修正处理，修正处理单元432进一步适于：根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
在本发明一种可选实施方式中，修正处理单元432进一步适于：依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系；根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
图像处理模块440进一步适于：根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，得到处理后的第t帧图像。
覆盖模块450，适于将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据。
上传模块460，适于将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台展示视频数据。
根据本发明上述实施例提供的装置，根据关键点的移动速度，选取静态模型或动态模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，得到处理后的第t帧图像，将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据，克服了由于环境光线的变化或者预测算法不稳定性，而导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，而且还能够精准地为图像添加静态或动态效果贴图，克服了由于关键点的坐标信息不准确而导致的添加的效果贴图的位置不合理的问题，有效地改善了视频展示效果。
本申请还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的视频关键点处理方法。
图5示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述视频关键点处理方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述任意方法实施例中的视频关键点处理方法。程序510中各步骤的具体实现可以参见上述视频关键点处理实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频关键点处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (24)
1.一种视频关键点处理方法，其包括：
获取视频数据；
获取所述视频数据中第t帧图像，其中t大于1；
将所述第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，所述静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，所述动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；
利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像；
将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据；
其中，所述选取静态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；
针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；
根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息，其中，所述静态模型包括依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，所述动态模型包括依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理。
2.根据权利要求1所述的方法，其中，所述获取视频数据进一步包括：
获取本地视频数据和/或网络视频数据。
3.根据权利要求1或2所述的方法，其中，所述获取视频数据进一步包括：
获取由多个本地图片和/或多个网络图片合成的视频数据。
4.根据权利要求3所述的方法，其中，所述根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
判断关键点的移动速度是否大于预设阈值，若是，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；否则，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
5.根据权利要求4所述的方法，其中，所述选取动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；
计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；
根据所述距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
6.根据权利要求5所述的方法，其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
7.根据权利要求5所述的方法，其中，根据所述 距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息进一步包括：
依据所述距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，所述第一权重与第二权重之和等于1，所述第一权重与所述距离成正比关系，所述第二权重与所述距离成反比关系；
根据所述第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
8.根据权利要求4所述的方法，其中，所述第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
9.根据权利要求4-6中任一项所述的方法，其中，所述利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像进一步包括：
根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，得到处理后的第t帧图像。
10.根据权利要求9所述的方法，其中，所述关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
11.根据权利要求10所述的方法，其中，所述将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台展示视频数据。
12.一种视频关键点处理装置，其包括：
第一获取模块，适于获取视频数据；
第二获取模块，适于获取所述视频数据中第t帧图像，其中t大于1；
输入模块，适于将所述第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
修正处理模块，适于根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，所述静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，所述动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；
图像处理模块，适于利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，得到处理后的第t帧图像；
覆盖模块，适于将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据；
其中，所述修正处理单元进一步适于：
获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；
针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；
根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息，其中，所述静态模型包括依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，所述动态模型包括依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理。
13.根据权利要求12所述的装置，其中，所述第一获取模块进一步适于：
获取本地视频数据和/或网络视频数据。
14.根据权利要求12所述的装置，其中，所述第一获取模块进一步适于：
获取由多个本地图片和/或多个网络图片合成的视频数据。
15.根据权利要求12-14任一项所述的装置，其中，所述修正处理模块进一步包括：
判断单元，适于判断关键点的移动速度是否大于预设阈值；
修正处理单元，适于若关键点的移动速度大于预设阈值，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；若关键点的移动速度小于或等于预设阈值，则选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
16.根据权利要求14所述的装置，其中，所述修正处理单元进一步适于：
根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；
计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；
根据所述距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
17.根据权利要求16所述的装置，其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
18.根据权利要求16所述的装置，其中，所述修正处理单元进一步适于：
依据所述距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，所述第一权重与第二权重之和等于1，所述第一权重与所述距离成正比关系，所述第二权重与所述距离成反比关系；
根据所述第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
19.根据权利要求16所述的装置，其中，所述第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
20.根据权利要求19所述的装置，其中，所述图像处理模块进一步适于：根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，得到处理后的第t帧图像。
21.根据权利要求20所述的装置，其中，所述关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
22.根据权利要求21所述的装置，其中，所述装置还包括：上传模块，适于将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台展示视频数据。
23.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-11中任一项所述的视频关键点处理方法对应的操作。
24.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-11中任一项所述的视频关键点处理方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711249787.5A CN107967693B (zh) | 2017-12-01 | 2017-12-01 | 视频关键点处理方法、装置、计算设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711249787.5A CN107967693B (zh) | 2017-12-01 | 2017-12-01 | 视频关键点处理方法、装置、计算设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107967693A CN107967693A (zh) | 2018-04-27 |
| CN107967693B true CN107967693B (zh) | 2021-07-09 |
Family
ID=61998263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711249787.5A Active CN107967693B (zh) | 2017-12-01 | 2017-12-01 | 视频关键点处理方法、装置、计算设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107967693B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706193A (zh) * | 2018-06-21 | 2020-01-17 | 北京京东尚科信息技术有限公司 | 图像处理方法和装置 |
| CN108898118B (zh) * | 2018-07-04 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置和存储介质 |
| CN109492531B (zh) * | 2018-10-10 | 2021-04-23 | 达闼机器人有限公司 | 人脸图像关键点提取方法、装置、存储介质及电子设备 |
| CN109684920B (zh) * | 2018-11-19 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 物体关键点的定位方法、图像处理方法、装置及存储介质 |
| CN109788190B (zh) * | 2018-12-10 | 2021-04-06 | 北京奇艺世纪科技有限公司 | 一种图像处理方法、装置、移动终端及存储介质 |
| CN110363748B (zh) * | 2019-06-19 | 2023-07-21 | 平安科技（深圳）有限公司 | 关键点的抖动处理方法、装置、介质及电子设备 |
| CN110401868B (zh) * | 2019-08-23 | 2023-01-20 | 北京达佳互联信息技术有限公司 | 一种素材展示方法及装置 |
| CN111599007B (zh) * | 2020-05-26 | 2021-05-25 | 王梅莹 | 一种基于无人机航拍的智慧城市cim道路贴图方法 |
| CN111723776A (zh) * | 2020-07-03 | 2020-09-29 | 厦门美图之家科技有限公司 | 人体外轮廓点检测方法、装置、电子设备和可读存储介质 |
| CN112270734B (zh) * | 2020-10-19 | 2024-01-26 | 北京大米科技有限公司 | 一种动画生成方法、可读存储介质和电子设备 |
| CN112418153B (zh) * | 2020-12-04 | 2024-06-11 | 上海商汤科技开发有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| CN112634420B (zh) * | 2020-12-22 | 2024-04-30 | 北京达佳互联信息技术有限公司 | 图像特效的生成方法、装置、电子设备及存储介质 |
| CN112989934B (zh) * | 2021-02-05 | 2024-05-24 | 方战领 | 视频分析方法、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104135612A (zh) * | 2014-07-11 | 2014-11-05 | 深圳市中兴移动通信有限公司 | 一种可调节拍摄主体位置的拍摄方法和拍摄装置 |
| CN104851112A (zh) * | 2015-04-28 | 2015-08-19 | 北京理工大学 | 一种基于数据集补偿的运动目标检测跟踪算法的评估方法 |
| CN105095908A (zh) * | 2014-05-16 | 2015-11-25 | 华为技术有限公司 | 视频图像中群体行为特征处理方法和装置 |
| CN106375706A (zh) * | 2015-07-22 | 2017-02-01 | 宇龙计算机通信科技(深圳)有限公司 | 利用双摄像头进行运动物体测速的方法、装置及移动终端 |
| CN107146238A (zh) * | 2017-04-24 | 2017-09-08 | 西安电子科技大学 | 基于特征块优选的运动目标跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4873460B2 (ja) * | 2006-05-25 | 2012-02-08 | 株式会社島津製作所 | 探針位置制御装置 |
-
2017
- 2017-12-01 CN CN201711249787.5A patent/CN107967693B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095908A (zh) * | 2014-05-16 | 2015-11-25 | 华为技术有限公司 | 视频图像中群体行为特征处理方法和装置 |
| CN104135612A (zh) * | 2014-07-11 | 2014-11-05 | 深圳市中兴移动通信有限公司 | 一种可调节拍摄主体位置的拍摄方法和拍摄装置 |
| CN104851112A (zh) * | 2015-04-28 | 2015-08-19 | 北京理工大学 | 一种基于数据集补偿的运动目标检测跟踪算法的评估方法 |
| CN106375706A (zh) * | 2015-07-22 | 2017-02-01 | 宇龙计算机通信科技(深圳)有限公司 | 利用双摄像头进行运动物体测速的方法、装置及移动终端 |
| CN107146238A (zh) * | 2017-04-24 | 2017-09-08 | 西安电子科技大学 | 基于特征块优选的运动目标跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107967693A (zh) | 2018-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107967693B (zh) | 视频关键点处理方法、装置、计算设备及计算机存储介质 | |
| CN107920257B (zh) | 视频关键点实时处理方法、装置及计算设备 | |
| CN108805898B (zh) | 视频图像处理方法和装置 | |
| CN109684920B (zh) | 物体关键点的定位方法、图像处理方法、装置及存储介质 | |
| CN108062526B (zh) | 一种人体姿态估计方法及移动终端 | |
| WO2018090912A1 (zh) | 目标对象检测方法、装置及系统和神经网络结构 | |
| CN108876804B (zh) | 抠像模型训练和图像抠像方法、装置和系统及存储介质 | |
| US10825187B2 (en) | Method and system for object tracking | |
| JP2021503134A (ja) | 画像深度とエゴモーション予測ニューラルネットワークの教師なし学習 | |
| US10970821B2 (en) | Image blurring methods and apparatuses, storage media, and electronic devices | |
| CN108830900B (zh) | 关键点的抖动处理方法和装置 | |
| CN106257910B (zh) | 图像处理装置、图像处理方法和记录介质 | |
| CN107959798B (zh) | 视频数据实时处理方法及装置、计算设备 | |
| US10818078B2 (en) | Reconstruction and detection of occluded portions of 3D human body model using depth data from single viewpoint | |
| CN113066001A (zh) | 一种图像处理方法及相关设备 | |
| CN111008935A (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
| US10762713B2 (en) | Method for developing augmented reality experiences in low computer power systems and devices | |
| CN111209783A (zh) | 使用模拟物件影像的物件识别系统及其方法 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
| CN109242031B (zh) | 姿势优化模型的训练方法、使用方法、装置及处理设备 | |
| US11954801B2 (en) | Concurrent human pose estimates for virtual representation | |
| CN110956131A (zh) | 单目标追踪方法、装置及系统 | |
| CN107622498B (zh) | 基于场景分割的图像穿越处理方法、装置及计算设备 | |
| CN113361380B (zh) | 人体关键点检测模型训练方法、检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |