CN107920257B - 视频关键点实时处理方法、装置及计算设备 - Google Patents
视频关键点实时处理方法、装置及计算设备 Download PDFInfo
- Publication number
- CN107920257B CN107920257B CN201711249011.3A CN201711249011A CN107920257B CN 107920257 B CN107920257 B CN 107920257B CN 201711249011 A CN201711249011 A CN 201711249011A CN 107920257 B CN107920257 B CN 107920257B
- Authority
- CN
- China
- Prior art keywords
- frame image
- key point
- coordinate information
- weight
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012937 correction Methods 0.000 claims abstract description 64
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000000694 effects Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 116
- 230000003068 static effect Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 241001465754 Metazoa Species 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 230000008859 change Effects 0.000 abstract description 6
- 230000001788 irregular Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 4
- 230000003796 beauty Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频关键点实时处理方法、装置、计算设备及计算机存储介质。其中方法根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种视频关键点实时处理方法、装置、计算设备及计算机存储介质。
背景技术
随着科技的发展，图像采集设备的技术也日益提高。使用图像采集设备录制的视频也更加清晰、分辨率、显示效果也大幅提高。为了便于为特定对象添加萌颜特效等，需要预测视频帧图像中的关键点的坐标信息，但由于环境光线的变化和预测算法的不稳定性，往往导致预测出来的关键点在连续的视频帧中发生不规律的抖动，这样，就会使得萌颜特效所添加的位置不合适，例如，本应该添加至眉毛处的特效却添加至两眉之间，用户体验差。
因此，需要一种视频关键点实时处理方法，以修正视频帧图像中关键点的坐标信息。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频关键点实时处理方法、装置、计算设备及计算机存储介质。
根据本发明的一个方面，提供了一种视频关键点实时处理方法，其包括：
实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1；
将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；
利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理；
显示处理后的第t帧图像。
可选地，根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
判断关键点的移动速度是否大于预设阈值，若是，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；否则，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
可选地，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；
针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；
根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，选取动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；
计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；
根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
可选地，根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息进一步包括：
依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系；
根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
可选地，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理进一步包括：
根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
可选地，关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
可选地，方法还包括：将处理后的视频数据上传至云服务器。
可选地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
可选地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
可选地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
根据本发明的另一个方面，提供了一种视频关键点实时处理装置，其包括：
获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1；
输入模块，适于将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
修正处理模块，适于根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；
图像处理模块，适于利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理；
显示模块，适于显示处理后的第t帧图像。
可选地，修正处理模块进一步包括：判断单元，适于判断关键点的移动速度是否大于预设阈值；
修正处理单元，适于若关键点的移动速度大于预设阈值，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；若关键点的移动速度小于或等于预设阈值，则选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
可选地，修正处理单元进一步适于：获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；
针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；
根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，修正处理单元进一步适于：根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；
计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；
根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
可选地，修正处理单元进一步适于：依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系；
根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
可选地，图像处理模块进一步适于：根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
可选地，关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
可选地，装置还包括：上传模块，适于将处理后的视频数据上传至云服务器。
可选地，上传模块进一步适于：将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
可选地，上传模块进一步适于：将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
可选地，上传模块进一步适于：将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述视频关键点实时处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述视频关键点实时处理方法对应的操作。
根据本发明提供的方案，实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1；将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理；显示处理后的第t帧图像。基于本发明实施例提供的方案，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的视频关键点实时处理方法的流程示意图；
图2示出了根据本发明另一个实施例的视频关键点实时处理方法的流程示意图；
图3示出了根据本发明一个实施例的视频关键点实时处理装置的结构示意图；
图4示出了根据本发明一个实施例的视频关键点实时处理装置的结构示意图；
图5示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的视频关键点实时处理方法的流程示意图。如图1所示，该方法包括以下步骤：
步骤S100，实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1。
本实施例中图像采集设备以移动终端为例进行说明，其中，移动终端具体可以为手机、iPad等，这里仅是举例说明，不具有任何限定作用。
具体地，本发明实施例提供的视频关键点实时处理方法可以对第2帧图像之后的视频帧图像(这里包括第2帧图像)的关键点进行修正处理，可以根据处理需求实时地获取移动终端摄像头所录制的视频中的第t帧图像或者所拍摄视频的第t帧图像，其中，t大于1。
步骤S101，将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
关键点的坐标信息是关键点在图像坐标系中的坐标位置，本实施例中的神经网络是经过大量训练得到的，该神经网络的输入为图像，输出为图像的关键点的坐标信息，具体地，在获取到第t帧图像之后，可以将第t帧图像输入至神经网络中，利用神经网络来预测得到第t帧图像的关键点的坐标信息，但是，在利用神经网络预测第t帧图像的关键点的坐标信息时并未考虑前后两帧图像的相关性，也就是说，利用神经网络预测得到的第t帧图像的关键点的坐标信息存在误差，会导致所拍摄的视频出现随机抖动的现象，为了克服抖动问题，就需要对第t帧图像的关键点的坐标信息进行修正处理，具体地，可以采用步骤S102中的方法进行修正处理。
步骤S102，根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理。
通过跟踪图像的关键点可以计算得到关键点的移动速度，在得到关键点的移动速度之后，可以根据关键点的移动速度，选取用于对第t帧图像的关键点的坐标信息进行修正处理的相应模型，其中，模型可以为静态模型或动态模型，这里，静态模型主要依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型主要依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理，通过对关键点的坐标信息进行修正处理，可以克服拍摄视频过程中出现的抖动问题。
步骤S103，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理。
在利用静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理之后，可以利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理。
步骤S104，显示处理后的第t帧图像。
得到处理后的第t帧图像后，可以将其实时的进行显示，用户所看到的第t帧图像并不存在拖尾现象，克服了视频抖动问题。
根据本发明上述实施例提供的方法，根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
图2示出了根据本发明另一个实施例的视频关键点实时处理方法的流程示意图。如图2所示，该方法包括以下步骤：
步骤S200，实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1。
步骤S201，将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
本发明实施例中的关键点可以为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品，例如，关键点可以是人脸的轮廓线中的点、人脸五官(例如，眉、眼、耳、鼻、口)的轮廓线中的点、人体轮廓线中的点、还可以是车辆边缘的点、XX大厦边缘的点，这里仅是简单列举，不具有任何限定作用。
神经网络是基于大量的图像训练得到的，通过有监督的机器学习训练得到的，利用该神经网络可以预测得到第t帧图像的关键点的坐标信息。
以上步骤参考图1实施例中的步骤S100-S101的描述，在此不再赘述。
步骤S202，判断关键点的移动速度是否大于预设阈值，若是，执行步骤S203；若否，则执行步骤S206。
通过跟踪图像的关键点可以计算得到关键点的移动速度，例如，通过跟踪计算图像中关键点A的移动速度来确定图像中各关键点的移动速度，针对图像中的关键点A，可以根据关键点A在第t-1帧图像、第t-2帧图像、第t-3帧图像中的坐标信息，以及对应的时间计算关键点的移动速度，在计算得到关键点的移动速度之后，还需要将关键点的移动速度与预设阈值进行比较，以确定关键点的移动速度是否大于预设阈值，若是，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；否则，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。通过对关键点的坐标信息进行修正处理，可以克服拍摄视频过程中出现的抖动问题。
若选取动态模型对第t帧图像的关键点的坐标信息进行修正处理，则可以利用步骤S203-步骤S205中的方法对第t帧图像的关键点的坐标信息进行修正处理；若选取静态模型对第t帧图像的关键点的坐标信息进行修正处理，则可以利用步骤S206-步骤S208中的方法对第t帧图像的关键点的坐标信息进行修正处理。
步骤S203，根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息。
在根据步骤S202判断出关键点的移动速度大于预设阈值的情况下，可以确定出特定对象处于运动状态，如此，我们希望在特定对象运动时，关键点能够平滑移动，而没有拖影现象，为了实现上述技术效果，可以根据第t-1帧图像的关键点的坐标信息以及第t-2帧图像的关键点的坐标信息确定出第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度，在得到关键点的移动速度之后，可以根据关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息。
假设相邻两帧图像的关键点匀速运动，则可以利用如下公式(1)粗略地确定第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度，
vt-1＝x′t-1-x′t-2 公式(1)
由于相邻两帧图像的关键点匀速运动，则可以认定vt＝vt-1，由此可以利用如下公式(2)预测得到第t帧图像的关键点的坐标信息，
其中，
为预测得到的第t帧图像的关键点的坐标信息，x′t-1为修正处理后的第t-1帧图像的关键点的坐标信息，x′t-2为修正处理后的第t-2帧图像的关键点的坐标信息，在本实施例中利用修正处理的第t-1帧图像的关键点的坐标信息和第t-2帧图像的关键点的坐标信息进行计算，可以进一步提升计算的准确性。
步骤S204，计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离。
在步骤S201中利用神经网络得到了第t帧图像的关键点的坐标信息，在步骤S203中又预测得到了第t帧图像的关键点的坐标信息，为了能够得到较为准确的第t帧图像的关键点的坐标信息，这里需要计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离，以根据所计算得到的距离进行后续处理。
步骤S205，根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
具体地，可以依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系，即距离越大，第一权重越大，而第二权重越小，距离越小，第一权重越小，第二权重越大。
根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，若利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离较大，则利用神经网络得到的第t帧图像的关键点的坐标信息作为主要的计算参数，若距离较小，则预测得到的第t帧图像的关键点的坐标信息作为主要的计算参数，具体可以采用公式(3)计算修正处理后的第t帧图像的关键点的坐标信息，
其中，x′t为修正处理后的第t帧图像的关键点的坐标信息，xt为利用神经网络得到的第t帧图像的关键点的坐标信息，
为预测得到的第t帧图像的关键点的坐标信息，
为第一权重，由于第一权重与第二权重之和等于1，因此，第二权重＝1-第一权重，现将第二权重表示为
为利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离。
步骤S206，获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值。
在本实施例中，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息可以是经过修正处理后的坐标信息，即，利用本发明实施例提供的方法对利用神经网络得到的第t-n+1帧图像至第t-1帧图像的关键点的坐标信息进行了修正处理，在本发明实施例中，利用修正处理后的第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，可以进一步提升第t帧图像的关键点的坐标信息的准确性。
步骤S207，针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重。
现有技术中采用对第t-n+1帧图像至第t帧图像的关键点的坐标信息求平均的方式计算第t帧图像的关键点的坐标信息，例如，利用如下公式(4)计算得到修正处理后的第t帧图像的关键点的坐标信息，
这里每帧图像的权重是相同的，通过该方法计算第t帧图像的关键点的坐标信息时很容易出现以下情况：若第t-n+1帧图像至第t帧图像中某一帧图像的关键点的坐标信息与其他帧图像的关键点的坐标信息相差较大，就会导致修正处理的第t帧图像的关键点的坐标信息不准确，而本发明实施例针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重，使得在对第t帧图像的关键点的坐标信息进行修正处理时，第t-n+1帧图像至第t帧图像的关键点的坐标信息所占比重不同。
其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系，即该帧图像与第t帧图像之间的帧距越小，权重越大，帧距越大，权重越小；该帧图像的关键点与第t帧图像的关键点之间的距离越小，权重越大，距离越大，权重越小。
步骤S208，根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
具体地，可以采用如下公式(5)来计算得到修正处理后第t帧图像的关键点的坐标信息，
其中，x′t为修正处理后的第t帧图像的关键点的坐标信息，xi为第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，xt为利用神经网络中得到的第t帧图像的关键点的坐标信息，w(xi)为第t-n+1帧图像至第t-1帧图像对应的权重，w(xt)为第t帧图像的权重。
举例说明，利用本发明实施例提供的方法对t＝100时，即对第100帧图像的关键点的坐标信息进行修正处理，通过跟踪关键点确定出关键点的移动速度小于预设阈值，则可以采用静态模型对第100帧图像的关键点的坐标信息进行修正处理，获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，其中，n的取值可以根据实际需要进行设定，例如可以设定n为1或2或3或10或30等任意数值，这里将以n＝30为例进行说明，获取第71帧图像至第99帧图像的关键点的坐标信息，针对第71帧图像至第100帧图像中的任一帧图像，根据该帧图像与第100帧图像之间的帧距以及该帧图像的关键点与第100帧图像的关键点之间的距离确定该帧图像的权重，在得到权重之后，可以将t＝100，n＝30，以及对应的权重代入公式(5)来计算得到修正处理后第100帧图像的关键点的坐标信息x′100，其中，x′100具体可以表示为：
步骤S209，根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
在得到修正处理后的第t帧图像的关键点的坐标信息之后，可以根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，例如，在人的眼睛、嘴、鼻子等部位添加萌颜特效，举例说明，如人体的嘴部，可以在嘴巴张开时，在嘴巴部分绘制喷出的火焰。本领域技术人员可以根据实际需求设置添加静态或动态效果贴图的具体区域此处不做限定。
步骤S210，显示处理后的第t帧图像。
步骤S211，将处理后的视频数据上传至云服务器。
将处理后的视频数据可以直接上传至云服务器，具体的，可以将处理后的视频数据上传至一个或多个的云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。或者还可以将处理后的视频数据上传至云直播服务器，当有直播观看端的用户进入云直播服务器进行观看时，可以由云直播服务器将视频数据实时推送给观看用户客户端。或者还可以将处理后的视频数据上传至云公众号服务器，当有用户关注该公众号时，由云公众号服务器将视频数据推送给公众号关注客户端；进一步，云公众号服务器还可以根据关注公众号的用户的观看习惯，推送符合用户习惯的视频数据给公众号关注客户端。
根据本发明上述实施例提供的方法，根据关键点的移动速度，选取静态模型或动态模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，克服了由于环境光线的变化或者预测算法不稳定性，而导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，而且还能够精准地为图像添加静态或动态效果贴图，克服了由于关键点的坐标信息不准确而导致的添加的效果贴图的位置不合理的问题，有效地改善了视频展示效果。
图3示出了根据本发明一个实施例的视频关键点实时处理装置的结构示意图。如图3所示，该装置包括：获取模块300、输入模块310、修正处理模块320、图像处理模块330、显示模块340。
获取模块300，适于实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1。
输入模块310，适于将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
修正处理模块320，适于根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理。
图像处理模块330，适于利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理。
显示模块340，适于显示处理后的第t帧图像。
根据本发明上述实施例提供的装置，根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
图4示出了根据本发明一个实施例的视频关键点实时处理装置的结构示意图。如图4所示，该装置包括：获取模块400、输入模块410、修正处理模块420、图像处理模块430、显示模块440、上传模块450。
获取模块400，适于实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1。
输入模块410，适于将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
其中，关键点为特定对象的轮廓线中的点，特定对象可以包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
修正处理模块420进一步包括：判断单元421，适于判断关键点的移动速度是否大于预设阈值；
修正处理单元422，适于若关键点的移动速度大于预设阈值，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；若关键点的移动速度小于或等于预设阈值，则选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
若选取静态模型对第t帧图像的关键点的坐标信息进行修正处理，该修正处理单元422进一步适于：获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
其中，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
若选取动态模型对第t帧图像的关键点的坐标信息进行修正处理，该修正处理单元422进一步适于：根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
在本发明一种可选实施方式中，修正处理单元422进一步适于：依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系；根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
图像处理模块430进一步适于：根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
显示模块440，适于显示处理后的第t帧图像。
上传模块450，适于将处理后的视频数据上传至云服务器。
上传模块450将处理后的视频数据可以直接上传至云服务器，具体的，上传模块450可以将处理后的视频数据上传至一个或多个的云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。或者上传模块450还可以将处理后的视频数据上传至云直播服务器，当有直播观看端的用户进入云直播服务器进行观看时，可以由云直播服务器将视频数据实时推送给观看用户客户端。或者上传模块450还可以将处理后的视频数据上传至云公众号服务器，当有用户关注该公众号时，由云公众号服务器将视频数据推送给公众号关注客户端；进一步，云公众号服务器还可以根据关注公众号的用户的观看习惯，推送符合用户习惯的视频数据给公众号关注客户端。
根据本发明上述实施例提供的装置，根据关键点的移动速度，选取静态模型或动态模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，而且还能够精准地为图像添加静态或动态效果贴图，克服了由于关键点的坐标信息不准确而导致的添加的效果贴图的位置不合理的问题，有效地改善了视频展示效果。
本申请还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的视频关键点实时处理方法。
图5示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述视频关键点实时处理方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述任意方法实施例中的视频关键点实时处理方法。程序510中各步骤的具体实现可以参见上述视频关键点实时处理实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频关键点实时处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (22)
1.一种视频关键点实时处理方法，其包括：
实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1；
将所述第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
判断关键点的移动速度是否大于预设阈值，若是，则根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；根据所述距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息；
若否，则获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息；
利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理；
显示处理后的第t帧图像。
2.根据权利要求1所述的方法，其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
3.根据权利要求1或2所述的方法，其中，所述根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息进一步包括：
依据所述距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，所述第一权重与第二权重之和等于1，所述第一权重与所述距离成正比关系，所述第二权重与所述距离成反比关系；
根据所述第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
4.根据权利要求1或2所述的方法，其中，所述第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
5.根据权利要求1或2所述的方法，其中，所述利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理进一步包括：
根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
6.根据权利要求1或2所述的方法，其中，所述关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
7.根据权利要求1或2所述的方法，其中，所述方法还包括：将处理后的视频数据上传至云服务器。
8.根据权利要求7所述的方法，其中，所述将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
9.根据权利要求7所述的方法，其中，所述将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
10.根据权利要求7所述的方法，其中，所述将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
11.一种视频关键点实时处理装置，其包括：
获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1；
输入模块，适于将所述第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
修正处理模块包括：判断单元，适于判断关键点的移动速度是否大于预设阈值；
修正处理单元，适于若关键点的移动速度大于预设阈值，则根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；根据所述距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息；
若关键点的移动速度小于或等于预设阈值，则获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息；
图像处理模块，适于利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理；
显示模块，适于显示处理后的第t帧图像。
12.根据权利要求11所述的装置，其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
13.根据权利要求11或12所述的装置，其中，所述修正处理单元进一步适于：
依据所述距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，所述第一权重与第二权重之和等于1，所述第一权重与所述距离成正比关系，所述第二权重与所述距离成反比关系；
根据所述第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
14.根据权利要求11或12所述的装置，其中，所述第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
15.根据权利要求11或12所述的装置，其中，所述图像处理模块进一步适于：根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
16.根据权利要求11或12所述的装置，其中，所述关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
17.根据权利要求11或12所述的装置，其中，所述装置还包括：上传模块，适于将处理后的视频数据上传至云服务器。
18.根据权利要求17所述的装置，其中，所述上传模块进一步适于：
将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
19.根据权利要求17所述的装置，其中，所述上传模块进一步适于：
将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
20.根据权利要求17所述的装置，其中，所述上传模块进一步适于：
将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
21.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一计算机程序，所述计算机程序使所述处理器执行如权利要求1-10中任一项所述的视频关键点实时处理方法对应的操作。
22.一种计算机存储介质，所述存储介质中存储有至少一计算机程序，所述计算机程序使处理器执行如权利要求1-10中任一项所述的视频关键点实时处理方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711249011.3A CN107920257B (zh) | 2017-12-01 | 2017-12-01 | 视频关键点实时处理方法、装置及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711249011.3A CN107920257B (zh) | 2017-12-01 | 2017-12-01 | 视频关键点实时处理方法、装置及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107920257A CN107920257A (zh) | 2018-04-17 |
| CN107920257B true CN107920257B (zh) | 2020-07-24 |
Family
ID=61898264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711249011.3A Active CN107920257B (zh) | 2017-12-01 | 2017-12-01 | 视频关键点实时处理方法、装置及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107920257B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805058B (zh) * | 2018-05-29 | 2020-12-15 | 北京字节跳动网络技术有限公司 | 目标对象变化姿态识别方法、装置及计算机设备 |
| CN108830900B (zh) * | 2018-06-15 | 2021-03-12 | 北京字节跳动网络技术有限公司 | 关键点的抖动处理方法和装置 |
| CN109977775B (zh) * | 2019-02-25 | 2023-07-28 | 腾讯科技（深圳）有限公司 | 关键点检测方法、装置、设备及可读存储介质 |
| CN109884616B (zh) * | 2019-03-13 | 2021-09-14 | 浙江吉利汽车研究院有限公司 | 一种雷达测量距离融合方法、装置及终端 |
| CN110147742B (zh) * | 2019-05-08 | 2024-04-16 | 腾讯科技（深圳）有限公司 | 一种关键点定位方法、装置及终端 |
| CN111985268B (zh) * | 2019-05-21 | 2024-08-06 | 北京搜狗科技发展有限公司 | 一种人脸驱动动画的方法和装置 |
| CN110807410B (zh) * | 2019-10-30 | 2022-09-06 | 北京百度网讯科技有限公司 | 关键点定位方法、装置、电子设备和存储介质 |
| CN112184593A (zh) * | 2020-10-14 | 2021-01-05 | 北京字跳网络技术有限公司 | 关键点确定方法、装置、设备和计算机可读介质 |
| CN112418153B (zh) * | 2020-12-04 | 2024-06-11 | 上海商汤科技开发有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| CN112735164B (zh) * | 2020-12-25 | 2022-08-05 | 北京智能车联产业创新中心有限公司 | 测试数据构建方法及测试方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413328A (zh) * | 2013-08-27 | 2013-11-27 | 新晨易捷（北京）科技有限公司 | 运动物体的跟踪方法和装置 |
| CN104182718A (zh) * | 2013-05-21 | 2014-12-03 | 腾讯科技（深圳）有限公司 | 一种人脸特征点定位方法及装置 |
| CN106845552A (zh) * | 2017-01-31 | 2017-06-13 | 东南大学 | 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法 |
| CN107146238A (zh) * | 2017-04-24 | 2017-09-08 | 西安电子科技大学 | 基于特征块优选的运动目标跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011192141A (ja) * | 2010-03-16 | 2011-09-29 | Sony Corp | 動体検出装置と動体検出方法およびプログラム |
-
2017
- 2017-12-01 CN CN201711249011.3A patent/CN107920257B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182718A (zh) * | 2013-05-21 | 2014-12-03 | 腾讯科技（深圳）有限公司 | 一种人脸特征点定位方法及装置 |
| CN103413328A (zh) * | 2013-08-27 | 2013-11-27 | 新晨易捷（北京）科技有限公司 | 运动物体的跟踪方法和装置 |
| CN106845552A (zh) * | 2017-01-31 | 2017-06-13 | 东南大学 | 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法 |
| CN107146238A (zh) * | 2017-04-24 | 2017-09-08 | 西安电子科技大学 | 基于特征块优选的运动目标跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107920257A (zh) | 2018-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107920257B (zh) | 视频关键点实时处理方法、装置及计算设备 | |
| CN107967693B (zh) | 视频关键点处理方法、装置、计算设备及计算机存储介质 | |
| CN108062526B (zh) | 一种人体姿态估计方法及移动终端 | |
| CN108805898B (zh) | 视频图像处理方法和装置 | |
| CN110046546B (zh) | 一种自适应视线追踪方法、装置、系统及存储介质 | |
| CN108876804B (zh) | 抠像模型训练和图像抠像方法、装置和系统及存储介质 | |
| US10970821B2 (en) | Image blurring methods and apparatuses, storage media, and electronic devices | |
| CN109934065B (zh) | 一种用于手势识别的方法和装置 | |
| JP2020517027A (ja) | 顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体 | |
| CN107277615B (zh) | 直播风格化处理方法、装置、计算设备及存储介质 | |
| US11004179B2 (en) | Image blurring methods and apparatuses, storage media, and electronic devices | |
| CN106257910B (zh) | 图像处理装置、图像处理方法和记录介质 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| CN107959798B (zh) | 视频数据实时处理方法及装置、计算设备 | |
| CN109241888B (zh) | 神经网络训练与对象识别方法、装置和系统及存储介质 | |
| CN107644423B (zh) | 基于场景分割的视频数据实时处理方法、装置及计算设备 | |
| CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
| CN110111364B (zh) | 运动检测方法、装置、电子设备及存储介质 | |
| CN111667504A (zh) | 一种人脸追踪方法、装置及设备 | |
| CN108875506B (zh) | 人脸形状点跟踪方法、装置和系统及存储介质 | |
| CN109685015B (zh) | 图像的处理方法、装置、电子设备和计算机存储介质 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
| CN107945202B (zh) | 基于自适应阈值的图像分割方法、装置及计算设备 | |
| CN110084306B (zh) | 用于生成动态图像的方法和装置 | |
| CN109242031B (zh) | 姿势优化模型的训练方法、使用方法、装置及处理设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |