CN111090688B - 一种时序数据的平滑处理方法和装置 - Google Patents

一种时序数据的平滑处理方法和装置 Download PDF

Info

Publication number
CN111090688B
CN111090688B CN201911344787.2A CN201911344787A CN111090688B CN 111090688 B CN111090688 B CN 111090688B CN 201911344787 A CN201911344787 A CN 201911344787A CN 111090688 B CN111090688 B CN 111090688B
Authority
CN
China
Prior art keywords
data
time sequence
target time
target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911344787.2A
Other languages
English (en)
Other versions
CN111090688A (zh
Inventor
刘思阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911344787.2A priority Critical patent/CN111090688B/zh
Publication of CN111090688A publication Critical patent/CN111090688A/zh
Application granted granted Critical
Publication of CN111090688B publication Critical patent/CN111090688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Electric Clocks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种时序数据的平滑处理方法和装置，其中，该方法包括：获取目标时序数据以及目标时序数据对应的关联数据序列，其中，关联数据序列包括目标时序数据和与目标时序数据具有时序关系的关联数据；确定关联数据序列中每个数据所对应的平滑权重，其中，平滑权重用于指示每个数据与目标时序数据之间的差异度和每个数据与目标时序数据之间的距离对目标时序数据的相关度；根据平滑权重和目标时序数据确定目标时序数据对应的平滑数据。本申请解决了时序数据的准确度较低的技术问题。

Description

一种时序数据的平滑处理方法和装置
技术领域
本申请涉及计算机领域，尤其涉及一种时序数据的平滑处理方法和装置。
背景技术
通过传感器采集的数据、通过算法模型计算出的结果等等的数据会存在噪声，原因是多种多样的，例如采集设备受到和磁场的影响，算法模型精度优先等等的原因，但是这里的原因有些是无法避免的，时序数据中存在噪声会造成数据的抖动，导致时序数据的准确度较低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种时序数据的平滑处理方法和装置。
根据本申请实施例的一个方面，提供了一种时序数据的平滑处理方法，包括：
获取目标时序数据以及所述目标时序数据对应的关联数据序列，其中，所述关联数据序列包括所述目标时序数据和与所述目标时序数据具有时序关系的关联数据；
确定所述关联数据序列中每个数据所对应的平滑权重，其中，所述平滑权重用于指示所述每个数据与所述目标时序数据之间的差异度和所述每个数据与所述目标时序数据之间的距离对所述目标时序数据的相关度；
根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据。
可选地，确定所述关联数据序列中每个数据所对应的平滑权重包括：
根据所述每个数据与所述目标时序数据之间的差异度确定所述每个数据对应的速度权重，其中，所述每个数据与所述目标时序数据之间的差异度越大，所述每个数据对应的速度权重越小；
根据所述每个数据与所述目标时序数据之间的距离以及所述关联数据序列的采样频率确定所述每个数据对应的距离权重，其中，所述每个数据与所述目标时序数据之间的距离越大，所述每个数据对应的距离权重越小；
将所述速度权重和所述距离权重的乘积确定为所述每个数据对应的所述平滑权重。
可选地，根据所述每个数据与所述目标时序数据之间的差异度确定所述每个数据对应的速度权重包括：
获取所述每个数据对应的速度和预设的速度阈值，其中，所述每个数据对应的速度用于指示所述每个数据与所述每个数据的相邻数据之间的差异度；
根据所述每个数据对应的速度与所述预设的速度阈值之间的关系和所述相邻数据对应的速度权重确定所述每个数据对应的速度权重，其中，所述目标时序数据对应的速度权重为目标权重值。
可选地，根据所述每个数据与所述目标时序数据之间的距离以及所述关联数据序列的采样频率确定所述每个数据对应的距离权重包括：
确定预设的距离因子系数与所述采样频率之间的比值；
将以所述比值为底数，所述每个数据与所述目标时序数据之间的距离为幂指数的计算结果确定为所述每个数据对应的距离权重。
可选地，获取所述目标时序数据以及所述目标时序数据对应的所述关联数据序列包括：
在对数据流中的数据进行平滑处理的情况下，将所述数据流中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第一长度的数据确定为所述关联数据序列；
在对数据文件中的数据进行平滑处理的情况下，将所述数据文件中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第二长度的数据和所述目标时序数据之后的第三长度的数据确定为所述关联数据序列。
可选地，根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据包括：
在对数据流中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wi为所述平滑权重，n1为所述第一长度；
在对数据文件中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wj为所述平滑权重，n2为所述第二长度，n3为所述第三长度。
可选地，获取所述目标时序数据以及所述目标时序数据对应的关联数据序列包括：
对多个视频帧进行对象检测，得到多个对象区域图像，其中，所述多个对象区域图像与所述多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；
从所述多个对象区域图像中提取预测信息，其中，所述预测信息用于指示所述目标对象在所述每个对象区域图像中的位置、形状和旋转角度；
从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
可选地，从所述多个对象区域图像中提取预测信息包括：
从所述多个对象区域图像中提取预测位置信息和预测旋转信息，其中，所述预测位置信息用于指示所述目标对象在所述多个对象区域图像中每个对象区域图像上的位置，所述预测旋转信息用于指示所述目标对象在所述每个对象区域图像上的旋转角度。
可选地，从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列包括：
获取对象X轴位移信息和对象Y轴位移信息，其中，所述预测位置信息包括所述对象X轴位移信息和所述对象Y轴位移信息，所述对象X轴位移信息用于指示所述目标对象相对于所述对象区域图像在X轴方向上的位移，所述对象Y轴位移信息用于指示所述目标对象相对于所述对象区域图像在Y轴方向上的位移；
分别将所述对象X轴位移信息和所述对象Y轴位移信息映射到所述视频帧，得到对象X轴映射信息和对象Y轴映射信息，其中，所述对象X轴映射信息用于指示所述目标对象相对于所述视频帧在X轴方向上的位移，所述对象Y轴映射信息用于指示所述目标对象相对于所述视频帧在Y轴方向上的位移；
分别从所述对象X轴映射信息和所述对象Y轴映射信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
可选地，从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列包括：
获取预测姿态信息矩阵PL和部位连接关系，其中，所述预测姿态信息矩阵PL包括b个子矩阵，b为正整数，所述b个子矩阵中每个子矩阵与所述目标对象的b个部位中的每个部位一一对应，所述部位连接关系用于指示所述b个部位之间的从属关系，所述b个子矩阵中每个子矩阵为所述每个部位的局部角度表示；
将所述每个部位的局部角度表示转换为所述每个部位的全局角度表示，得到全局角度表示矩阵PG，其中，在所述从属关系中的子节点的全局角度表示为所述子节点的局部角度表示与所述子节点的父节点的全局角度表示的乘积；
将所述全局角度表示矩阵PG所包括的每个数据确定为所述目标时序数据，并获取所述目标时序数据对应的关联数据序列。
可选地，在对多个视频帧进行对象检测，得到多个对象区域图像之前，所述方法还包括：
获取待处理的视频流或者视频文件；
在获取到所述视频流的情况下，从所述视频流中提取第一时间长度的视频帧作为所述多个视频帧；
在获取到所述视频文件的情况下，将所述视频文件中每隔第二时间长度的视频帧确定为所述多个视频帧。
可选地，在根据所述平滑权重和所述目标时序数据确定所述目标时序数据对应的平滑数据之后，所述方法还包括：
使用所述平滑数据创建所述目标对象的对象模型。
根据本申请实施例的另一方面，还提供了一种时序数据的平滑处理装置，包括：
第一获取模块，用于获取目标时序数据以及所述目标时序数据对应的关联数据序列，其中，所述关联数据序列包括所述目标时序数据和与所述目标时序数据具有时序关系的关联数据；
第一确定模块，用于确定所述关联数据序列中每个数据所对应的平滑权重，其中，所述平滑权重用于指示所述每个数据与所述目标时序数据之间的差异度和所述每个数据与所述目标时序数据之间的距离对所述目标时序数据的相关度；
第二确定模块，用于根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据。
可选地，所述第一确定模块包括：
第一确定单元，用于根据所述每个数据与所述目标时序数据之间的差异度确定所述每个数据对应的速度权重，其中，所述每个数据与所述目标时序数据之间的差异度越大，所述每个数据对应的速度权重越小；
第二确定单元，用于根据所述每个数据与所述目标时序数据之间的距离以及所述关联数据序列的采样频率确定所述每个数据对应的距离权重，其中，所述每个数据与所述目标时序数据之间的距离越大，所述每个数据对应的距离权重越小；
第三确定单元，用于将所述速度权重和所述距离权重的乘积确定为所述每个数据对应的所述平滑权重。
可选地，所述第一确定单元用于：
获取所述每个数据对应的速度和预设的速度阈值，其中，所述每个数据对应的速度用于指示所述每个数据与所述每个数据的相邻数据之间的差异度；
根据所述每个数据对应的速度与所述预设的速度阈值之间的关系和所述相邻数据对应的速度权重确定所述每个数据对应的速度权重，其中，所述目标时序数据对应的速度权重为目标权重值。
可选地，所述第二确定单元用于：
确定预设的距离因子系数与所述采样频率之间的比值；
将以所述比值为底数，所述每个数据与所述目标时序数据之间的距离为幂指数的计算结果确定为所述每个数据对应的距离权重。
可选地，所述第一获取模块包括：
第四确定单元，用于在对数据流中的数据进行平滑处理的情况下，将所述数据流中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第一长度的数据确定为所述关联数据序列；
第五确定单元，用于在对数据文件中的数据进行平滑处理的情况下，将所述数据文件中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第二长度的数据和所述目标时序数据之后的第三长度的数据确定为所述关联数据序列。
可选地，所述第二确定模块用于：
在对数据流中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wi为所述平滑权重，n1为所述第一长度；
在对数据文件中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wj为所述平滑权重，n2为所述第二长度，n3为所述第三长度。
可选地，所述第一获取模块包括：
检测单元，用于对多个视频帧进行对象检测，得到多个对象区域图像，其中，所述多个对象区域图像与所述多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；
提取单元，用于从所述多个对象区域图像中提取预测信息，其中，所述预测信息用于指示所述目标对象在所述每个对象区域图像中的位置、形状和旋转角度；
获取单元，用于从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
可选地，所述提取单元用于：
从所述多个对象区域图像中提取预测位置信息和预测旋转信息，其中，所述预测位置信息用于指示所述目标对象在所述多个对象区域图像中每个对象区域图像上的位置，所述预测旋转信息用于指示所述目标对象在所述每个对象区域图像上的旋转角度。
可选地，所述获取单元用于：
获取对象X轴位移信息和对象Y轴位移信息，其中，所述预测位置信息包括所述对象X轴位移信息和所述对象Y轴位移信息，所述对象X轴位移信息用于指示所述目标对象相对于所述对象区域图像在X轴方向上的位移，所述对象Y轴位移信息用于指示所述目标对象相对于所述对象区域图像在Y轴方向上的位移；
分别将所述对象X轴位移信息和所述对象Y轴位移信息映射到所述视频帧，得到对象X轴映射信息和对象Y轴映射信息，其中，所述对象X轴映射信息用于指示所述目标对象相对于所述视频帧在X轴方向上的位移，所述对象Y轴映射信息用于指示所述目标对象相对于所述视频帧在Y轴方向上的位移；
分别从所述对象X轴映射信息和所述对象Y轴映射信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
可选地，所述获取单元用于：
获取预测姿态信息矩阵PL和部位连接关系，其中，所述预测姿态信息矩阵PL包括b个子矩阵，b为正整数，所述b个子矩阵中每个子矩阵与所述目标对象的b个部位中的每个部位一一对应，所述部位连接关系用于指示所述b个部位之间的从属关系，所述b个子矩阵中每个子矩阵为所述每个部位的局部角度表示；
将所述每个部位的局部角度表示转换为所述每个部位的全局角度表示，得到全局角度表示矩阵PG，其中，在所述从属关系中的子节点的全局角度表示为所述子节点的局部角度表示与所述子节点的父节点的全局角度表示的乘积；
将所述全局角度表示矩阵PG所包括的每个数据确定为所述目标时序数据，并获取所述目标时序数据对应的关联数据序列。
可选地，所述装置还包括：
第二获取模块，用于在对多个视频帧进行对象检测，得到多个对象区域图像之前，获取待处理的视频流或者视频文件；
提取模块，用于在获取到所述视频流的情况下，从所述视频流中提取第一时间长度的视频帧作为所述多个视频帧；
第三确定模块，用于在获取到所述视频文件的情况下，将所述视频文件中每隔第二时间长度的视频帧确定为所述多个视频帧。
可选地，所述装置还包括：
创建模块，用于在根据所述平滑权重和所述目标时序数据确定所述目标时序数据对应的平滑数据之后，使用所述平滑数据创建所述目标对象的对象模型。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
在本申请实施例中，采用获取目标时序数据以及目标时序数据对应的关联数据序列，其中，关联数据序列包括目标时序数据和与目标时序数据具有时序关系的关联数据；确定关联数据序列中每个数据所对应的平滑权重，其中，平滑权重用于指示每个数据与目标时序数据之间的差异度和每个数据与目标时序数据之间的距离对目标时序数据的相关度；根据平滑权重和关联数据序列确定目标时序数据对应的平滑数据的方式，对时序数据进行平滑处理，能够消除时序数据的抖动，通过用于指示数据之间差异度和距离的平滑权重，将当前待平滑数据结合历史和将来的数据综合计算，可使平滑结果更加准确，从而实现了提高时序数据的准确度的技术效果，进而解决了时序数据的准确度较低的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是根据本申请实施例的时序数据的平滑处理方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的时序数据的平滑处理方法的流程图；
图3是根据本申请可选的实施方式的速度权重的确定过程的示意图一；
图4是根据本申请可选的实施方式的速度权重的确定过程的示意图二；
图5是根据本申请可选的实施方式的速度权重的确定过程的示意图三；
图6是根据本申请实施例的人体部位连接关系的示意图；
图7是根据本申请实施例的一种可选的时序数据的平滑处理装置的示意图；
以及
图8是根据本申请实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一方面，提供了一种时序数据的平滑处理的方法实施例。
可选地，在本实施例中，上述时序数据的平滑处理方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于PC、手机、平板电脑等。本申请实施例的时序数据的平滑处理方法可以由服务器103来执行，也可以由终端101来执行，还可以是由服务器103和终端101共同执行。其中，终端101执行本申请实施例的时序数据的平滑处理方法也可以是由安装在其上的客户端来执行。
图2是根据本申请实施例的一种可选的时序数据的平滑处理方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S201，获取目标时序数据以及所述目标时序数据对应的关联数据序列，其中，所述关联数据序列包括所述目标时序数据和与所述目标时序数据具有时序关系的关联数据；
步骤S202，确定所述关联数据序列中每个数据所对应的平滑权重，其中，所述平滑权重用于指示所述每个数据与所述目标时序数据之间的差异度和所述每个数据与所述目标时序数据之间的距离对所述目标时序数据的相关度；
步骤S203，根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据。
通过上述步骤S201至步骤S203，采用获取目标时序数据以及目标时序数据对应的关联数据序列，其中，关联数据序列包括目标时序数据和与目标时序数据具有时序关系的关联数据；确定关联数据序列中每个数据所对应的平滑权重，其中，平滑权重用于指示每个数据与目标时序数据之间的差异度和每个数据与目标时序数据之间的距离对目标时序数据的相关度；根据平滑权重和关联数据序列确定目标时序数据对应的平滑数据的方式，对时序数据进行平滑处理，能够消除时序数据的抖动，通过用于指示数据之间差异度和距离的平滑权重，将当前待平滑数据结合历史和将来的数据综合计算，可使平滑结果更加准确，从而实现了提高时序数据的准确度的技术效果，进而解决了时序数据的准确度较低的技术问题。
可选地，上述时序数据的平滑处理方法可以但不限于应用于关键点稳定算法，比如：人脸关键点、人体关键点的稳定性，可用于美颜，上装，贴纸等应用。还可以应用于虚拟人物驱动算法，用于人体重建算法的平滑。以及其他时序数据的平滑场景中。
在步骤S201提供的技术方案中，与目标时序数据具有时序关系的关联数据可以但不限于为历史数据，或者也可以但不限于为历史数据和未来数据。
可选地，在本实施例中，目标时序数据可以但不限于包括各种类型的具有时序关系的数据，比如：视频数据，音频数据等等。
在步骤S202提供的技术方案中，平滑权重用于指示每个数据与目标时序数据之间的差异度和每个数据与目标时序数据之间的距离对目标时序数据的相关度。该差异度可以但不限于称为速度，可以用于表示数据的变化速度。
作为一种可选的实施例，确定所述关联数据序列中每个数据所对应的平滑权重包括：
S11，根据所述每个数据与所述目标时序数据之间的差异度确定所述每个数据对应的速度权重，其中，所述每个数据与所述目标时序数据之间的差异度越大，所述每个数据对应的速度权重越小；
S12，根据所述每个数据与所述目标时序数据之间的距离以及所述关联数据序列的采样频率确定所述每个数据对应的距离权重，其中，所述每个数据与所述目标时序数据之间的距离越大，所述每个数据对应的距离权重越小；
S13，将所述速度权重和所述距离权重的乘积确定为所述每个数据对应的所述平滑权重。
可选地，在本实施例中，平滑权重可以但不限于包括速度权重和距离权重，速度权重用于表示数据之间的差异对当前的目标时序数据的影响，数据之间的差异度越大，数据对应的速度权重越小。距离权重用于表示数据之间的距离对目标时序数据的影响，数据之间的距离越大，数据对应的距离权重越小。平滑权重可以为速度权重和距离权重的乘积。
通过上述过程，以速度权重来衡量数据之间的差异对当前的目标时序数据的影响，以距离权重来衡量数据之间的距离对目标时序数据的影响，参考各维度对当前的目标时序数据的影响来确定平滑权重，使得平滑处理的过程参考的维度更加丰富，平滑处理的结果更加准确。
作为一种可选的实施例，根据所述每个数据与所述目标时序数据之间的差异度确定所述每个数据对应的速度权重包括：
S21，获取所述每个数据对应的速度和预设的速度阈值，其中，所述每个数据对应的速度用于指示所述每个数据与所述每个数据的相邻数据之间的差异度；
S22，根据所述每个数据对应的速度与所述预设的速度阈值之间的关系和所述相邻数据对应的速度权重确定所述每个数据对应的速度权重，其中，所述目标时序数据对应的速度权重为目标权重值。
可选地，在本实施例中，通过两个相邻数据之间的差异度作为每个数据对应的速度来衡量每个数据与目标时序数据之间的差异度，再根据每个数据的速度与所述预设的速度阈值之间的关系，还有相邻数据对应的速度权重来确定速度权重。
在一个可选的实施方式中，以非实时的时序数据文件为例，给定待平滑序列Z＝{z1,z2,z3,…,zl-1,zl}，设定滑动窗口长度为2n+1，即关联数据的数量为2n，将给定待平滑序列中的每个数据依次作为目标时序数据，对于每个目标时序数据zt可以得到滑动窗口内的数据为{zt-n,zt-n+1,zt-n+2,…,zt-1,zt,zt+1,…,zt+n-2,zt+n-1,zt+n},其中，对于所述滑动数据序列中的每个滑动数据zm，如果m<1，则zm＝z1，如果m>l，则zm＝zl(即进行前后padding的处理)。
图3是根据本申请可选的实施方式的速度权重的确定过程的示意图一，如图3所示，以zt为分界，当zm中的m<t时，速度vm＝zm+1-zm，当zm中的m>t时，速度vm＝zm-zm-1。定义一种函数g(z)，当z>0，g(z)＝z，当z≤0，g(z)＝0。通过以下公式计算zt-u对应的速度权重为计算zt+u对应的速度权重为
其中u属于1～n，vset为预设的速度阈值，s是预设速度因子系数，s为大于0的整数。
在本可选的实施方式中，不同于期望不变的时序数据，音视频等多媒体数据的时序数据一般都是会发生变化的，如果时序数据发生变化，等权重的求平均就不太适合。因此，在本实施方式中引入了速度的概念，当速度小的时候，可以认为数据是在期望值附近震荡，而速度较大的时候，认为期望值是真的在变化。因此根据速度可以确定出速度权重。
图4是根据本申请可选的实施方式的速度权重的确定过程的示意图二，如图4所示，在s＝1，vset＝5的时候，的函数图像上横轴是速度，纵轴是函数的值，当速度为0的时候，值为1，当速度绝对值大于设定值vset后，值为0。该函数的值可以直接作为速度权重，但是，比如在要平滑的是zt，但是vt-2速度已经大于设定值，所以上面的方程值为0，但是vt-3速度小于设定值，上面方程值不为零，如果将方程的值作为权重显然不合理，因为t-2的时候速度大于设定值，判定发生运动，那么t-2左边的数据就不具有参考意义了，所以在速度权重公式中乘了上一个数据的速度权重，保证判定发生移动后，后面的数据不再加入平滑计算，即权重都为0。此外，s的值影响曲线的变化程度，对于s的设定可以根据任务的需求来确定，不同任务设置不同的s值，图5是根据本申请可选的实施方式的速度权重的确定过程的示意图三，如图5所示，当s＝10的时候，函数的曲线变化程度比s＝1时曲线的变化程度小。
通过上述过程，确定每个数据对应的速度与速度阈值之间的变化来确定数据是否发生运动，能够准确获取到数据对应的速度权重，并且将相邻数据是否运动的影响也加入到每个数据的速度权重确定过程中，能够提高所确定的速度权重的准确度。
作为一种可选的实施例，根据所述每个数据与所述目标时序数据之间的距离以及所述关联数据序列的采样频率确定所述每个数据对应的距离权重包括：
S31，确定预设的距离因子系数与所述采样频率之间的比值；
S32，将以所述比值为底数，所述每个数据与所述目标时序数据之间的距离为幂指数的计算结果确定为所述每个数据对应的距离权重。
可选地，在本实施例中，距离权重表示了数据离得远的点对当前数据的影响小，离得近的点对当前节点的影响大。
在上述可选的实施方式中，计算zt-u对应的距离权重为计算zt+u对应的距离权重为换种说法也就是计算zO对应的距离权重为其中o为t-n到t+n的整数。r为距离因子系数，f为z的采样频率。
通过上述过程，实现了距离权重的确定过程，得到预设的距离因子系数与所述采样频率之间的比值，从而确定了一个固定的衡量距离权重的值为底数，以数据间的距离为幂指数，使得数据离得远的点对当前数据的影响小，离得近的点对当前节点的影响大，符合实际中数据的变化规律，使得得到的距离权重能够更加精确地体现出距离对数据之间的影响。
作为一种可选的实施例，获取所述目标时序数据以及所述目标时序数据对应的所述关联数据序列包括：
S41，在对数据流中的数据进行平滑处理的情况下，将所述数据流中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第一长度的数据确定为所述关联数据序列；
S42，在对数据文件中的数据进行平滑处理的情况下，将所述数据文件中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第二长度的数据和所述目标时序数据之后的第三长度的数据确定为所述关联数据序列。
可选地，在本实施例中，如果对数据流进行平滑处理，则考虑当前数据和当前数据的历史数据对当前数据的影响。如果对数据文件进行平滑处理，则考虑当前数据、当前数据的历史数据和当前数据的未来数据对当前数据的影响。
通过上述过程，对于视频流等实时数据，考虑历史数据对其的影响对其进行平滑处理，对于视频文件等非实时的数据，考虑历史数据和未来数据对其的影响进行平滑处理，使得平滑处理过程更加符合实际要求，平滑处理结果更加准确。
作为一种可选的实施例，根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据包括：
S51，在对数据流中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wi为所述平滑权重，n1为所述第一长度；
S52，在对数据文件中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wj为所述平滑权重，n2为所述第二长度，n3为所述第三长度。
可选地，在本实施例中，wi可以为其中，为速度权重，为距离权重。wj可以为其中，为速度权重，为距离权重。
作为一种可选的实施例，获取所述目标时序数据以及所述目标时序数据对应的关联数据序列包括：
S61，对多个视频帧进行对象检测，得到多个对象区域图像，其中，所述多个对象区域图像与所述多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；
S62，从所述多个对象区域图像中提取预测信息，其中，所述预测信息用于指示所述目标对象在所述每个对象区域图像中的位置、形状和旋转角度；
S63，从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
可选地，在本实施例中，上述目标对象可以但不限于包括任何需要进行模型重建的对象。比如：人体、动植物、物品、交通工具、建筑物等等。
可选地，在本实施例中，对象区域图像是所对应的视频帧中目标对象所在区域的图像。对象区域图像可以但不限于对目标对象进行抠图得到，或者也可以是使用特定形状特定尺寸的边框将目标对象框在边框内得到的图像，也可以是使用与目标对象适应的形状适应的尺寸的边框将目标对象框在边框内得到的图像。
可选地，在本实施例中，预测信息用于指示目标对象在每个对象区域图像中的位置、形状和旋转角度。预测信息能够用于指示目标对象在每个对象区域图像中的特征。
可选地，在本实施例中，通过预测信息能够预测出目标对象在整个视频中在位置、形状和旋转角度方面的抖动情况，从而通过平滑处理的过程对目标对象在位置、形状和旋转角度上的抖动进行消除。
通过上述过程，通过对象检测过程检测出目标对象所在的对象区域图像，从对象区域图像中提取出目标对象的位置、形状和旋转角度等信息作为预测信息，对预测信息进行平滑处理得到平滑信息，使用平滑信息创建对象模型，达到了降低对象模型创建的过程中目标对象在位置、形状和旋转角度上的抖动的目的，从而实现了提高对视频对象进行重建的准确度的技术效果，进而解决了对视频对象进行重建的准确度较低的技术问题。
作为一种可选的实施例，从所述多个对象区域图像中提取预测信息包括：
S71，从所述多个对象区域图像中提取预测位置信息和预测旋转信息，其中，所述预测位置信息用于指示所述目标对象在所述多个对象区域图像中每个对象区域图像上的位置，所述预测旋转信息用于指示所述目标对象在所述每个对象区域图像上的旋转角度。
可选地，在本实施例中，预测信息可以但不限于包括预测位置信息和预测旋转信息。预测位置信息用于指示目标对象在多个对象区域图像中每个对象区域图像上的位置，预测旋转信息用于指示目标对象在每个对象区域图像上的旋转角度。
通过上述过程，使用上述平滑过程对预测位置信息和预测旋转信息等时序数据进行平滑处理，从而更加准确有效地消除对象在位置和旋转角度上的抖动，能够提高对象模型重建的准确度。
作为一种可选的实施例，从所述多个对象区域图像中提取预测位置信息和所述预测旋转信息包括：
S81，将所述多个对象区域图像输入3D重建网络；
S82，获取所述3D重建网络输出的多个预测姿态信息矩阵，多个预测镜头信息，其中，所述预测位置信息包括所述多个预测镜头信息，所述预测旋转信息包括所述多个预测姿态信息矩阵。
通过上述过程，通过3D重建网络获取个预测姿态信息矩阵，多个预测形状信息矩阵，多个预测镜头信息等预测信息，获取的信息更加准确，更加丰富。信息获取的过程也能够更加便捷迅速，从而提高了对视频对象进行重建的效率。使用准确度更高的内容更加丰富的信息进行视频对象的重建，能够进一步提高对视频对象进行重建的准确度。
可选地，在本实施例中，可以但不限于通过3D重建网络对预测信息进行提取，预测位置信息可以但不限于包括多个预测镜头信息，预测旋转信息可以但不限于包括多个预测姿态信息矩阵。
例如：通过3D重建网络可以获得人体信息，包括：预测姿态信息矩阵P(24×3维)、预测镜头信息(1×3维，包括人体缩放系数sb、人体x轴位移ox、人体y轴位移oy)。
作为一种可选的实施例，从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列包括：
S91，获取对象X轴位移信息和对象Y轴位移信息，其中，所述预测位置信息包括所述对象X轴位移信息和所述对象Y轴位移信息，所述对象X轴位移信息用于指示所述目标对象相对于所述对象区域图像在X轴方向上的位移，所述对象Y轴位移信息用于指示所述目标对象相对于所述对象区域图像在Y轴方向上的位移；
S92，分别将所述对象X轴位移信息和所述对象Y轴位移信息映射到所述视频帧，得到对象X轴映射信息和对象Y轴映射信息，其中，所述对象X轴映射信息用于指示所述目标对象相对于所述视频帧在X轴方向上的位移，所述对象Y轴映射信息用于指示所述目标对象相对于所述视频帧在Y轴方向上的位移；
S93，分别从所述对象X轴映射信息和所述对象Y轴映射信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
可选地，在本实施例中，对位置信息的平滑过程在X轴和Y轴分别进行。在进行平滑处理之前，首先将相对于对象区域图像的数据映射到输入的视频帧图像上，再使用相对于视频帧图像的数据进行平滑处理。
例如：在计算重建人体的空间位置的过程中，首先网络输出的人体x轴位移人体y轴位移都是相对于人体图像的，可以但不限于采用以下公式将其映射到输入图片。
映射后人体x轴位移
映射后人体y轴位移
其中，视频帧图像为(wi×hi×3)，人体图像为(wc×hc×3)，获得的n个视频帧图像中第k个图像缩放系数第k个人体开始坐标第k个人体结束坐标第k个人体图像分辨率
再对预测重建人体的空间位置的平滑中，分别对和进行平滑。
通过上述过程，对预测位置信息分别进行基于X轴的平滑处理以及基于Y轴的平滑处理，处理精度更高，能够更加准确地消除对象在位置上的抖动，使得平滑处理后得到的平滑位置信息更加准确，更加能够体现出对象在视频中的真实位置，从而提高对视频对象进行重建的准确度。
作为一种可选的实施例，预测信息还可以包括预测形状信息，对所述预测形状信息进行平滑处理，得到平滑形状信息包括：
S101，获取n个视频帧中每个视频帧的预测形状信息矩阵Sk，得到预测形状信息总矩阵Sn，其中，所述预测形状信息包括n个所述预测形状信息矩阵Sk，k表示所述每个视频帧，所述预测形状信息矩阵Sk为1×a维的矩阵，a为正整数，所述预测形状信息总矩阵Sn为n×a维的矩阵；
S102，对所述预测形状信息总矩阵Sn按照每一维进行拆分，得到a个n维向量；
S103，对所述a个n维向量中的每个n维向量，剔除所述每个n维向量中的m个最大值和m个最小值得到a个n-2m维向量，其中，2m<n；
S104，对所述a个n-2m维向量中的每个n-2m维向量取平均值，得到1个a维向量作为所述平滑形状信息。
可选地，在本实施例中，在对预测形状信息矩阵S的平滑过程中，因为处理的是视频中的同一个对象，所以对象的形状参数按道理来说应该是一直不变的，但因为模型的精度导致形状参数一直发生变化，所以要做平滑处理。
例如：预测形状信息矩阵Sk是一个1×10维的矩阵，待平滑共有n帧，那么可以得到一个n×10维的矩阵，按照每一维进行拆分，获得10个n维的向量，分别对这10个n维向量进行处理，每个向量中的元素进行排序，剔除m个最大值，m个最小值，剩下的取平均值即为当前位置的形状参数。其中2*m<n。
通过上述过程，对于预测形状信息矩阵，按照维度分别进行数据的平滑处理，平滑过程更加精细，处理维度更加丰富，能够提高对于对象形状的抖动进行平滑处理的准确度，从而有效消除对象的形状抖动。
作为一种可选的实施例，从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列包括：
S111，获取预测姿态信息矩阵PL和部位连接关系，其中，所述预测姿态信息矩阵PL包括b个子矩阵，b为正整数，所述b个子矩阵中每个子矩阵与所述目标对象的b个部位中的每个部位一一对应，所述部位连接关系用于指示所述b个部位之间的从属关系，所述b个子矩阵中每个子矩阵为所述每个部位的局部角度表示；
S112，将所述每个部位的局部角度表示转换为所述每个部位的全局角度表示，得到全局角度表示矩阵PG，其中，在所述从属关系中的子节点的全局角度表示为所述子节点的局部角度表示与所述子节点的父节点的全局角度表示的乘积；
S113，将所述全局角度表示矩阵PG所包括的每个数据确定为所述目标时序数据，并获取所述目标时序数据对应的关联数据序列。
可选地，在本实施例中，可选地，在本实施例中，目标对象可以包括多个部位，比如：以人体为例，可以设定每个关节为一个部位，图6是根据本申请实施例的人体部位连接关系的示意图，如图6所示，人体关节点的表示可以表示成一个树状图，以“Pelvis”节点为根节点依次连接得到连接关系，如：手肘节点是手腕节点的父节点，人体的节点数为24，因此上述b为24。人体的预测姿态信息矩阵P(24×3维)是关节的轴角(Axis-Angle)，并且是Local的表示方法。
在一个可选的实施方式中，需要将Local的角度表示转为Global的角度表示，可以通过两种方式进行转换，比如：计算“L_Knee”的Global角度表示，那么可以将该节点的旋转矩阵乘上它到“Pelvis”之间节点的旋转矩阵即可。
或者将该点的旋转矩阵乘以其父节点的全局旋转矩阵。
经过上述方式，可以获得24个节点的全局旋转信息，也就是24×3×3的矩阵，采用单通道的平滑方式，即对24×3×3＝216个数据分别进行平滑操作。
通过上述过程，按照对象的部位之间的连接关系构造对象的全局角度表示矩阵，并对全局角度表示矩阵中的每个数据分别进行平滑处理，能够提高平滑处理的精度，从而更加精确地消除对象在旋转角度上的抖动，提高对视频对象进行重建的准确度。
作为一种可选的实施例，对所述多个视频帧进行对象检测，得到所述多个对象区域图像包括：
S121，将所述多个视频帧输入对象检测网络；
S122，获取所述对象检测网络输出的所述多个视频帧中每个视频帧对应的Crop参数，其中，所述Crop参数包括：图像缩放系数，对象开始坐标，对象结束坐标和对象图像分辨率；
S123，使用所述每个视频帧对应的Crop参数对所述每个视频帧中包括的所述目标对象进行定位，得到所述多个对象区域图像。
可选地，在本实施例中，在人体重建的过程中，可以利用人体检测网络获取Crop参数，并通过Crop参数获得人体区域图像。Crop参数包括：图像缩放系数si、开始坐标ps＝(ps-x,ps-y)、结束坐标pe＝(pe-x,pe-y)、人体图像分辨率rb。
通过上述过程，从对象检测网络中获取每个视频帧对应的Crop参数，使用每个视频帧对应的Crop参数对目标对象在视频帧中的位置进行定位，能够使得定位过程更加地快速，定位准确度更高，节省视频帧的处理时间，从而提高目标对象重建的效率。
作为一种可选的实施例，在对多个视频帧进行对象检测，得到多个对象区域图像之前，所述方法还包括：
S131，获取待处理的视频流或者视频文件；
S132，在获取到所述视频流的情况下，从所述视频流中提取第一时间长度的视频帧作为所述多个视频帧；
S133，在获取到所述视频文件的情况下，将所述视频文件中每隔第二时间长度的视频帧确定为所述多个视频帧。
可选地，在本实施例中，对于预测形状信息矩阵S的平滑过程，在线和离线的场景可以但不限于采用不同的处理方式，对于在线实时的直播场景，先采集T秒，获得30*T帧的图像(假定摄像头FPS为30)，通过这30*T帧的图像推理出来的30*T个预测形状信息矩阵Sk进行平滑，平滑结果应用于后续人体重建。(后面就不需要对形状信息矩阵Sk进行推理，减少计算量，对实时应用帮助很大)。对于离线视频的处理场景，精度要求比较高，因为没有实时的要求，因此可以对所有视频帧进行平滑。
通过上述过程，对于实时传输的视频流，从视频流中提取第一时间长度的视频帧进行平滑处理，并能够将平滑处理的结果应用到后续的视频流中，从而保证了视频流的实时性。对于视频文件，每个一定时间提取多个视频帧进行平滑处理，能够使得平滑处理的结果应用到与其关联性更高的视频帧上，从而能够更加有效地提高对象重建的准确度。
作为一种可选的实施例，在根据所述平滑权重和所述目标时序数据确定所述目标时序数据对应的平滑数据之后，所述方法还包括：
S141，使用所述平滑数据创建所述目标对象的对象模型。
可选地，在本实施例中，可以但不限于使用各种类型的重建模型对目标对象的对象模型进行创建。比如：SMPL模型对人体对象进行模型的重建。
通过上述过程，得到的平滑数据可以用于创建目标对象的对象模型，消除对象模型在位置和旋转角度上的抖动，从而提高了对象模型创建的准确度。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述时序数据的平滑处理方法的时序数据的平滑处理装置。图7是根据本申请实施例的一种可选的时序数据的平滑处理装置的示意图，如图7所示，该装置可以包括：
第一获取模块72，用于获取目标时序数据以及所述目标时序数据对应的关联数据序列，其中，所述关联数据序列包括所述目标时序数据和与所述目标时序数据具有时序关系的关联数据；
第一确定模块74，用于确定所述关联数据序列中每个数据所对应的平滑权重，其中，所述平滑权重用于指示所述每个数据与所述目标时序数据之间的差异度和所述每个数据与所述目标时序数据之间的距离对所述目标时序数据的相关度；
第二确定模块76，用于根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据。
需要说明的是，该实施例中的第一获取模块72可以用于执行本申请实施例中的步骤S201，该实施例中的第一确定模块74可以用于执行本申请实施例中的步骤S202，该实施例中的第二确定模块76可以用于执行本申请实施例中的步骤S203。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
通过上述模块，对时序数据进行平滑处理，能够消除时序数据的抖动，通过用于指示数据之间差异度和距离的平滑权重，将当前待平滑数据结合历史和将来的数据综合计算，可使平滑结果更加准确，从而实现了提高时序数据的准确度的技术效果，进而解决了时序数据的准确度较低的技术问题。
作为一种可选的实施例，所述第一确定模块包括：
第一确定单元，用于根据所述每个数据与所述目标时序数据之间的差异度确定所述每个数据对应的速度权重，其中，所述每个数据与所述目标时序数据之间的差异度越大，所述每个数据对应的速度权重越小；
第二确定单元，用于根据所述每个数据与所述目标时序数据之间的距离以及所述关联数据序列的采样频率确定所述每个数据对应的距离权重，其中，所述每个数据与所述目标时序数据之间的距离越大，所述每个数据对应的距离权重越小；
第三确定单元，用于将所述速度权重和所述距离权重的乘积确定为所述每个数据对应的所述平滑权重。
作为一种可选的实施例，所述第一确定单元用于：
获取所述每个数据对应的速度和预设的速度阈值，其中，所述每个数据对应的速度用于指示所述每个数据与所述每个数据的相邻数据之间的差异度；
根据所述每个数据对应的速度与所述预设的速度阈值之间的关系和所述相邻数据对应的速度权重确定所述每个数据对应的速度权重，其中，所述目标时序数据对应的速度权重为目标权重值。
作为一种可选的实施例，所述第二确定单元用于：
确定预设的距离因子系数与所述采样频率之间的比值；
将以所述比值为底数，所述每个数据与所述目标时序数据之间的距离为幂指数的计算结果确定为所述每个数据对应的距离权重。
作为一种可选的实施例，所述第一获取模块包括：
第四确定单元，用于在对数据流中的数据进行平滑处理的情况下，将所述数据流中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第一长度的数据确定为所述关联数据序列；
第五确定单元，用于在对数据文件中的数据进行平滑处理的情况下，将所述数据文件中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第二长度的数据和所述目标时序数据之后的第三长度的数据确定为所述关联数据序列。
作为一种可选的实施例，所述第二确定模块用于：
在对数据流中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wi为所述平滑权重，n1为所述第一长度；
在对数据文件中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wj为所述平滑权重，n2为所述第二长度，n3为所述第三长度。
作为一种可选的实施例，所述第一获取模块包括：
检测单元，用于对多个视频帧进行对象检测，得到多个对象区域图像，其中，所述多个对象区域图像与所述多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；
提取单元，用于从所述多个对象区域图像中提取预测信息，其中，所述预测信息用于指示所述目标对象在所述每个对象区域图像中的位置、形状和旋转角度；
获取单元，用于从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
作为一种可选的实施例，所述提取单元用于：
从所述多个对象区域图像中提取预测位置信息和预测旋转信息，其中，所述预测位置信息用于指示所述目标对象在所述多个对象区域图像中每个对象区域图像上的位置，所述预测旋转信息用于指示所述目标对象在所述每个对象区域图像上的旋转角度。
作为一种可选的实施例，所述获取单元用于：
获取对象X轴位移信息和对象Y轴位移信息，其中，所述预测位置信息包括所述对象X轴位移信息和所述对象Y轴位移信息，所述对象X轴位移信息用于指示所述目标对象相对于所述对象区域图像在X轴方向上的位移，所述对象Y轴位移信息用于指示所述目标对象相对于所述对象区域图像在Y轴方向上的位移；
分别将所述对象X轴位移信息和所述对象Y轴位移信息映射到所述视频帧，得到对象X轴映射信息和对象Y轴映射信息，其中，所述对象X轴映射信息用于指示所述目标对象相对于所述视频帧在X轴方向上的位移，所述对象Y轴映射信息用于指示所述目标对象相对于所述视频帧在Y轴方向上的位移；
分别从所述对象X轴映射信息和所述对象Y轴映射信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
作为一种可选的实施例，所述获取单元用于：
获取预测姿态信息矩阵PL和部位连接关系，其中，所述预测姿态信息矩阵PL包括b个子矩阵，b为正整数，所述b个子矩阵中每个子矩阵与所述目标对象的b个部位中的每个部位一一对应，所述部位连接关系用于指示所述b个部位之间的从属关系，所述b个子矩阵中每个子矩阵为所述每个部位的局部角度表示；
将所述每个部位的局部角度表示转换为所述每个部位的全局角度表示，得到全局角度表示矩阵PG，其中，在所述从属关系中的子节点的全局角度表示为所述子节点的局部角度表示与所述子节点的父节点的全局角度表示的乘积；
将所述全局角度表示矩阵PG所包括的每个数据确定为所述目标时序数据，并获取所述目标时序数据对应的关联数据序列。
作为一种可选的实施例，所述装置还包括：
第二获取模块，用于在对多个视频帧进行对象检测，得到多个对象区域图像之前，获取待处理的视频流或者视频文件；
提取模块，用于在获取到所述视频流的情况下，从所述视频流中提取第一时间长度的视频帧作为所述多个视频帧；
第三确定模块，用于在获取到所述视频文件的情况下，将所述视频文件中每隔第二时间长度的视频帧确定为所述多个视频帧。
作为一种可选的实施例，所述装置还包括：
创建模块，用于在根据所述平滑权重和所述目标时序数据确定所述目标时序数据对应的平滑数据之后，使用所述平滑数据创建所述目标对象的对象模型。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的另一个方面，还提供了一种用于实施上述时序数据的平滑处理方法的服务器或终端。
图8是根据本申请实施例的一种终端的结构框图，如图8所示，该终端可以包括：一个或多个(图中仅示出一个)处理器801、存储器803、以及传输装置805，如图8所示，该终端还可以包括输入输出设备807。
其中，存储器803可用于存储软件程序以及模块，如本申请实施例中的时序数据的平滑处理方法和装置对应的程序指令/模块，处理器801通过运行存储在存储器803内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的时序数据的平滑处理方法。存储器803可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器803可进一步包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置805用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置805包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置805为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器803用于存储应用程序。
处理器801可以通过传输装置805调用存储器803存储的应用程序，以执行下述步骤：
S1，获取目标时序数据以及所述目标时序数据对应的关联数据序列，其中，所述关联数据序列包括所述目标时序数据和与所述目标时序数据具有时序关系的关联数据；
S2，确定所述关联数据序列中每个数据所对应的平滑权重，其中，所述平滑权重用于指示所述每个数据与所述目标时序数据之间的差异度和所述每个数据与所述目标时序数据之间的距离对所述目标时序数据的相关度；
S3，根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据。
采用本申请实施例，提供了一种时序数据的平滑处理的方案。对时序数据进行平滑处理，能够消除时序数据的抖动，通过用于指示数据之间差异度和距离的平滑权重，将当前待平滑数据结合历史和将来的数据综合计算，可使平滑结果更加准确，从而实现了提高时序数据的准确度的技术效果，进而解决了时序数据的准确度较低的技术问题。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图8所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如，终端还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行时序数据的平滑处理方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
S1，获取目标时序数据以及所述目标时序数据对应的关联数据序列，其中，所述关联数据序列包括所述目标时序数据和与所述目标时序数据具有时序关系的关联数据；
S2，确定所述关联数据序列中每个数据所对应的平滑权重，其中，所述平滑权重用于指示所述每个数据与所述目标时序数据之间的差异度和所述每个数据与所述目标时序数据之间的距离对所述目标时序数据的相关度；
S3，根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种时序数据的平滑处理方法，其特征在于，包括：
获取目标时序数据以及所述目标时序数据对应的关联数据序列，其中，所述关联数据序列包括所述目标时序数据和与所述目标时序数据具有时序关系的关联数据；
确定所述关联数据序列中每个数据所对应的平滑权重，其中，所述平滑权重用于指示所述每个数据与所述目标时序数据之间的差异度和所述每个数据与所述目标时序数据之间的距离对所述目标时序数据的相关度；
根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据；
其中，获取所述目标时序数据以及所述目标时序数据对应的关联数据序列包括：
对多个视频帧进行对象检测，得到多个对象区域图像，其中，所述多个对象区域图像与所述多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；
从所述多个对象区域图像中提取预测信息，其中，所述预测信息用于指示所述目标对象在所述每个对象区域图像中的位置、形状和旋转角度；
从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列；
其中，从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列包括：
获取对象X轴位移信息和对象Y轴位移信息，其中，所述对象X轴位移信息用于指示所述目标对象相对于所述对象区域图像在X轴方向上的位移，所述对象Y轴位移信息用于指示所述目标对象相对于所述对象区域图像在Y轴方向上的位移；
分别将所述对象X轴位移信息和所述对象Y轴位移信息映射到所述视频帧，得到对象X轴映射信息和对象Y轴映射信息，其中，所述对象X轴映射信息用于指示所述目标对象相对于所述视频帧在X轴方向上的位移，所述对象Y轴映射信息用于指示所述目标对象相对于所述视频帧在Y轴方向上的位移；
分别从所述对象X轴映射信息和所述对象Y轴映射信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
2.根据权利要求1所述的方法，其特征在于，确定所述关联数据序列中每个数据所对应的平滑权重包括：
根据所述每个数据与所述目标时序数据之间的差异度确定所述每个数据对应的速度权重，其中，所述每个数据与所述目标时序数据之间的差异度越大，所述每个数据对应的速度权重越小；
根据所述每个数据与所述目标时序数据之间的距离以及所述关联数据序列的采样频率确定所述每个数据对应的距离权重，其中，所述每个数据与所述目标时序数据之间的距离越大，所述每个数据对应的距离权重越小；
将所述速度权重和所述距离权重的乘积确定为所述每个数据对应的所述平滑权重。
3.根据权利要求2所述的方法，其特征在于，根据所述每个数据与所述目标时序数据之间的差异度确定所述每个数据对应的速度权重包括：
获取所述每个数据对应的速度和预设的速度阈值，其中，所述每个数据对应的速度用于指示所述每个数据与所述每个数据的相邻数据之间的差异度；
根据所述每个数据对应的速度与所述预设的速度阈值之间的关系和所述相邻数据对应的速度权重确定所述每个数据对应的速度权重，其中，所述目标时序数据对应的速度权重为目标权重值。
4.根据权利要求2所述的方法，其特征在于，根据所述每个数据与所述目标时序数据之间的距离以及所述关联数据序列的采样频率确定所述每个数据对应的距离权重包括：
确定预设的距离因子系数与所述采样频率之间的比值；
将以所述比值为底数，所述每个数据与所述目标时序数据之间的距离为幂指数的计算结果确定为所述每个数据对应的距离权重。
5.根据权利要求1所述的方法，其特征在于，获取所述目标时序数据以及所述目标时序数据对应的所述关联数据序列包括：
在对数据流中的数据进行平滑处理的情况下，将所述数据流中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第一长度的数据确定为所述关联数据序列；
在对数据文件中的数据进行平滑处理的情况下，将所述数据文件中当前待处理的数据确定为所述目标时序数据，并将所述目标时序数据之前的第二长度的数据和所述目标时序数据之后的第三长度的数据确定为所述关联数据序列。
6.根据权利要求5所述的方法，其特征在于，根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据包括：
在对数据流中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wi为所述平滑权重，n1为所述第一长度；
在对数据文件中的数据进行平滑处理的情况下，通过以下公式确定所述目标时序数据zt对应的平滑数据
其中，wj为所述平滑权重，n2为所述第二长度，n3为所述第三长度。
7.根据权利要求1所述的方法，其特征在于，从所述多个对象区域图像中提取预测信息包括：
从所述多个对象区域图像中提取预测位置信息和预测旋转信息，其中，所述预测位置信息用于指示所述目标对象在所述多个对象区域图像中每个对象区域图像上的位置，所述预测位置信息包括所述对象X轴位移信息和所述对象Y轴位移信息，所述预测旋转信息用于指示所述目标对象在所述每个对象区域图像上的旋转角度。
8.根据权利要求7所述的方法，其特征在于，从所述预测信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列包括：
获取预测姿态信息矩阵PL和部位连接关系，其中，所述预测姿态信息矩阵PL包括b个子矩阵，b为正整数，所述b个子矩阵中每个子矩阵与所述目标对象的b个部位中的每个部位一一对应，所述部位连接关系用于指示所述b个部位之间的从属关系，所述b个子矩阵中每个子矩阵为所述每个部位的局部角度表示；
将所述每个部位的局部角度表示转换为所述每个部位的全局角度表示，得到全局角度表示矩阵PG，其中，在所述从属关系中的子节点的全局角度表示为所述子节点的局部角度表示与所述子节点的父节点的全局角度表示的乘积；
将所述全局角度表示矩阵PG所包括的每个数据确定为所述目标时序数据，并获取所述目标时序数据对应的关联数据序列。
9.根据权利要求1所述的方法，其特征在于，在对多个视频帧进行对象检测，得到多个对象区域图像之前，所述方法还包括：
获取待处理的视频流或者视频文件；
在获取到所述视频流的情况下，从所述视频流中提取第一时间长度的视频帧作为所述多个视频帧；
在获取到所述视频文件的情况下，将所述视频文件中每隔第二时间长度的视频帧确定为所述多个视频帧。
10.根据权利要求1所述的方法，其特征在于，在根据所述平滑权重和所述目标时序数据确定所述目标时序数据对应的平滑数据之后，所述方法还包括：
使用所述平滑数据创建所述目标对象的对象模型。
11.一种时序数据的平滑处理装置，其特征在于，包括：
第一获取模块，用于获取目标时序数据以及所述目标时序数据对应的关联数据序列，其中，所述关联数据序列包括所述目标时序数据和与所述目标时序数据具有时序关系的关联数据；
第一确定模块，用于确定所述关联数据序列中每个数据所对应的平滑权重，其中，所述平滑权重用于指示所述每个数据与所述目标时序数据之间的差异度和所述每个数据与所述目标时序数据之间的距离对所述目标时序数据的相关度；
第二确定模块，用于根据所述平滑权重和所述关联数据序列确定所述目标时序数据对应的平滑数据；
其中，所述第一获取模块用于：
对多个视频帧进行对象检测，得到多个对象区域图像，其中，所述多个对象区域图像与所述多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；
从所述多个对象区域图像中提取预测信息，其中，所述预测信息用于指示所述目标对象在所述每个对象区域图像中的位置、形状和旋转角度；
获取对象X轴位移信息和对象Y轴位移信息，其中，所述对象X轴位移信息用于指示所述目标对象相对于所述对象区域图像在X轴方向上的位移，所述对象Y轴位移信息用于指示所述目标对象相对于所述对象区域图像在Y轴方向上的位移；
分别将所述对象X轴位移信息和所述对象Y轴位移信息映射到所述视频帧，得到对象X轴映射信息和对象Y轴映射信息，其中，所述对象X轴映射信息用于指示所述目标对象相对于所述视频帧在X轴方向上的位移，所述对象Y轴映射信息用于指示所述目标对象相对于所述视频帧在Y轴方向上的位移；
分别从所述对象X轴映射信息和所述对象Y轴映射信息中获取所述目标时序数据以及所述目标时序数据对应的关联数据序列。
12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至10任一项中所述的方法。
13.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至10任一项中所述的方法。
CN201911344787.2A 2019-12-23 2019-12-23 一种时序数据的平滑处理方法和装置 Active CN111090688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911344787.2A CN111090688B (zh) 2019-12-23 2019-12-23 一种时序数据的平滑处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911344787.2A CN111090688B (zh) 2019-12-23 2019-12-23 一种时序数据的平滑处理方法和装置

Publications (2)

Publication Number Publication Date
CN111090688A CN111090688A (zh) 2020-05-01
CN111090688B true CN111090688B (zh) 2023-07-28

Family

ID=70395500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911344787.2A Active CN111090688B (zh) 2019-12-23 2019-12-23 一种时序数据的平滑处理方法和装置

Country Status (1)

Country Link
CN (1) CN111090688B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11407111B2 (en) * 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene
CN111624944B (zh) * 2020-06-16 2023-09-08 富联裕展科技(深圳)有限公司 刀具控制装置及方法
CN113421196B (zh) * 2021-06-08 2023-08-11 杭州逗酷软件科技有限公司 图像处理方法及相关装置
CN113850929B (zh) * 2021-09-18 2023-05-26 广州文远知行科技有限公司 一种标注数据流处理的展示方法、装置、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762963A (zh) * 2018-05-21 2018-11-06 华东师范大学 基于全局信息的时间序列数据中异常数据点的修复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253713A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762963A (zh) * 2018-05-21 2018-11-06 华东师范大学 基于全局信息的时间序列数据中异常数据点的修复方法

Also Published As

Publication number Publication date
CN111090688A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111090688B (zh) 一种时序数据的平滑处理方法和装置
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
CN111028346B (zh) 一种视频对象的重建方法和装置
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
JP2021503134A (ja) 画像深度とエゴモーション予測ニューラルネットワークの教師なし学習
EP4307233A1 (en) Data processing method and apparatus, and electronic device and computer-readable storage medium
CN110493710B (zh) 轨迹重建方法、装置、计算机设备和存储介质
CN112381868B (zh) 图像深度估计方法和装置、可读存储介质、电子设备
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
CN110148179A (zh) 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
CN111868786B (zh) 跨设备监控计算机视觉系统
CN110785765A (zh) 目标对象的运动轨迹预测方法和监控平台
CN109035303B (zh) Slam系统相机跟踪方法及装置、计算机可读存储介质
CN115841534A (zh) 虚拟对象的运动控制方法以及装置
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN110415341B (zh) 一种三维人脸模型的生成方法、装置、电子设备及介质
CN109344294B (zh) 特征生成方法、装置、电子设备及计算机可读存储介质
CN113766117B (zh) 一种视频去抖动方法和装置
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium
CN117457062A (zh) 分子位置确定方法、装置、电子设备及存储介质
JP2021033994A (ja) テキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体
CN113847907B (zh) 定位方法及装置、设备、存储介质
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN114494682A (zh) 一种物体位置预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant