CN117523678B - 一种基于光学动作数据的虚拟主播区分方法及系统 - Google Patents

一种基于光学动作数据的虚拟主播区分方法及系统 Download PDF

Info

Publication number
CN117523678B
CN117523678B CN202410010989.8A CN202410010989A CN117523678B CN 117523678 B CN117523678 B CN 117523678B CN 202410010989 A CN202410010989 A CN 202410010989A CN 117523678 B CN117523678 B CN 117523678B
Authority
CN
China
Prior art keywords
value
sequence
optical
marking
virtual anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410010989.8A
Other languages
English (en)
Other versions
CN117523678A (zh
Inventor
林敏�
雷国强
徐俊峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Moli Digital Technology Group Co ltd
Original Assignee
Guangdong Moli Digital Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Moli Digital Technology Group Co ltd filed Critical Guangdong Moli Digital Technology Group Co ltd
Priority to CN202410010989.8A priority Critical patent/CN117523678B/zh
Publication of CN117523678A publication Critical patent/CN117523678A/zh
Application granted granted Critical
Publication of CN117523678B publication Critical patent/CN117523678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于数数据采集、数据分析技术领域，提出了一种基于光学动作数据的虚拟主播区分方法及系统，具体为：首先布置光学动作数据分析场景，再从光学动作数据分析场景获取反光标记的三维坐标，根据反光标记的三维坐标计算获得光捕核向值，最后利用光捕核向值对光学动作数据进行标记并对虚拟主播进行区分操作；有效量化了光学动作数据的时空变化性以及光学动作数据中快速动作数据的特异性，从而加强了识别光学动作数据中因快速或者高速动作导致数据质量精度下降位点的灵敏度，提升了虚拟主播动作的有效区分质量和光学动作数据采集质量，同时对增强光学动作捕捉系统识别快速动作的灵敏性和精确性明显增强。

Description

一种基于光学动作数据的虚拟主播区分方法及系统
技术领域
本发明属于数据采集、数据分析技术领域，具体涉及一种基于光学动作数据的虚拟主播区分方法及系统。
背景技术
虚拟主播通过光学动作捕捉系统来实现动作和表情的同步，光学动作捕捉系统使用一组摄像机捕捉附在主播身上的反光坐标并将反光坐标转换为数据，从而实现对其动作的捕捉和再现；现阶段的技术是利用不同虚拟主播的光学动作数据特征不一致性，对光学动作数据进行特征提取并利用机器学习模型对不同的虚拟主播进行区分；然而，在实际的应用场景中，由于虚拟主播自身的需求和直播内容不同，其产生的光学动作数据也会受到影响，特别会对光学动作数据的质量产生较大的影响，从而使得在多个虚拟主播同时出现的场景中，不同质量的光学动作数据影响区分不同的虚拟主播的难易度；光学动作捕捉系统捕捉动作的最大速度和幅度范围对光学动作数据的质量有着直接的影响，如果在实际应用场景中，虚拟主播的动作太快或太剧烈，超出了光学动作捕捉系统的捕捉能力，可能导致运动模糊或数据点的丢失，从而使得光学动作捕捉系统的追踪精度降低以及造成光学动作数据的不连续性，直接影响光学动作数据采集的质量，进而增加了在区分虚拟主播的动作识别异常的风险性；因此亟须一种方法对收集到的光学动作数据中的异常进行标记和预警，对虚拟主播的动作数据进行区分控制。
发明内容
本发明的目的在于提出一种基于光学动作数据的虚拟主播区分方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，根据本发明的一方面，提供一种基于光学动作数据的虚拟主播区分方法，所述方法包括以下步骤：
S100，布置光学动作数据分析场景；
S200，从光学动作数据分析场景获取反光标记的三维坐标；
S300，根据反光标记的三维坐标计算获得光捕核向值；
S400，利用光捕核向值对光学动作数据进行标记并对虚拟主播进行区分操作。
进一步地，在步骤S100中，所述布置光学动作数据分析场景的方法是：布置光学动作数据分析场景，光学动作数据分析场景中包括光学动作捕捉系统和若干个虚拟主播；其中光学动作捕捉系统由若干个光学动作捕捉镜头、若干个反光标记、若干个动作捕捉服、计算机终端以及POE交换机构成；一个虚拟主播对应一个动作捕捉服以及若干个反光标记，反光标记均匀附着在动作捕捉服上，反光标记的表面材料为反射红外光的材料，光学动作捕捉镜头是基于红外光的光学动作捕捉镜头。
进一步地，在步骤S200中，所述从光学动作数据分析场景获取反光标记的三维坐标的方法是：任意时刻下光学动作捕捉镜头发出特定波长的红外光，照射到反光标记，光学动作捕捉镜头接收到反光标记反射的红外光并利用POE交换机将反光标记的位置信息转换为数据传输到计算机终端，计算机终端构建反光标记在光学动作数据分析场景中的三维图像，根据任一时刻下的三维图像获得反光标记在该时刻下的三维坐标，设定一个时间段WDS，WDS∈[0.5,5]秒，反光标记每隔WDS获得一次三维坐标。其中三维图像中的三维坐标轴默认通过POE交换机自动生成，各个反光标记的三维坐标构建均基于该三维坐标轴。
进一步地，在步骤S300中，所述根据反光标记的三维坐标计算获得光捕核向值的方法是：对同一个虚拟主播，设定一个时间段作为光捕周期TN，TN∈[1.5,5]小时，在最近的TN时段内以同一时刻下不同反光标记的三维坐标作为一列，以同一反光标记不同时刻下的三维坐标作为一行构建一个矩阵记作时序坐标矩阵；使得反光标记与时序坐标矩阵中的行有一一对应关系；
计算任一三维坐标中x、y和z轴上的坐标值的平均值记为该三维坐标的标化值SDV；
在时序坐标矩阵的任一行中，将各个三维坐标的标化值形成一个序列作为标化序列，将标化序列中的最大值、最小值和中位值分别记作上偏阈值、下偏阈值和回归值，将上偏阈值与回归值的差值记为上偏度HSDV，将回归值与下偏阈值的差值记为下偏度LSDV，通过下偏度和上偏度计算得到反光标记的偏衡系数比DBCI，其计算方法为：
；
其中i1为时序坐标矩阵中行的序号，即反光标记的序号，LSDVi1和HSDVi1分别为第i1个反光标记的下偏度和上偏度，ln()为自然数e为底数的对数函数；
在时序坐标矩阵的任一列中，计算获得各个三维坐标对应标化值的平均值记作该列的横向均标值TMEV，将该列各个三维坐标的标化值与该列横向均标值进行比较，获取标化值大于横向均标值的三维坐标并将该三维坐标记作其所在行的上行坐标；
通过偏衡系数比计算对应反光标记的光捕核向值LHQV，其计算方法：
；
其中i2为累加变量，NOC为时序坐标矩阵中列的数量，TSDVi1为第i1行中上行坐标标化值的总和，NTSDi1为第i1行中上行坐标的数量，为NTSDi1为底数的对数函数；TMEVi1,i2为时序坐标矩阵中第i1行第i2列的三维坐标对应标化值与该列的横向均标值的比值。
由于上述的光捕核向值是依靠对上行坐标识别后计算的，而上行坐标识别的方法的值反映了反光标记的三维坐标均值的波动性。但由于反光标记的在获取过程中容易出现差异小而导致数据灵敏度不足的问题，尤其是具体录制时间长度不够长的情况下，灵敏度不足的问题尤其明显，为了解决这种数据灵敏度不足的问题，提高检测的准确率，本发明提出了一个更优选的方案。
优选地，在步骤S300中，所述根据反光标记的三维坐标计算获得光捕核向值的方法是：
设定一个时间段作为光捕周期TN，TN∈[1.5,5]小时； 三维坐标中的x、y和z轴上的读值均定义子坐标值；任一时刻与其前一个时刻之间分别将x、y和z轴上的子坐标值作差，获得的值中的最大值记为该时刻的轴征值；
获取光捕周期内的各个轴征值构成一个序列称为轴征序列；
若轴征序列中的一个元素较其上一个元素数值更大，则定义该元素对应的时间点为递增点，将各个时序上连续的递增点合并后构成的时间段作为正需区间，正需区间中包含的时刻数量为正需区间的长度， 正需区间的长度至少为1；
根据轴征序列获取各个正需区间的长度的平均值并记为第一区间长度阈值，
从轴征序列中首个元素开始逆时间顺序搜索首个出现的极大值，获得极大值的元素与轴征序列中首个元素的序号差值作为第二区间长度阈值，将第一区间长度阈值和第二区间长度阈值的调和平均值作为区间长度阈值，当调和平均值不为整数则对其进行向下取整运算；若任一正需区间的长度小于区间长度阈值则将其从正需区间中剔除，即不再作为正需区间；
将轴征序列中正需区间的数量记为标注区间量LTH；
对于任一个正需区间，正需区间内各个轴征值构成正需序列PSEQ，把正需序列的中位数记为MIPS,分别计算正需序列中小于MIPS的各个值的平均值MVQ，以及正需序列中大于等于MIPS的各个值的平均值MVH，则该正需区间的标注轴征值MVXT的计算公式为：
MVXT=；
其中，mean<>表示平均值函数，为正需序列的标准差；将各个正需区间的标注轴征值构成一个序列作为标注轴征序列；
对标注轴征序列进行排列演算并获得逐比序列RES，具体步骤为：
构建一个空序列作为逐比序列RES，设定轮次计数器LC=；其中符号⌊·⌋代表向下取整符号；
对标注轴征序列进行LC轮遍历，任一轮遍历中均从标注轴征序列的首个元素开始遍历到第LTH-1个元素；以标注轴征序列中的任一个正在遍历的元素作为当前元素，以当前元素的下一个元素作为迭向元素；当前元素的下一个元素即沿标注轴征序列遍历方向的下一个元素； 若迭向元素数值上小于当前元素，则进行排列演算后继续遍历，否则不进行排列演算继续遍历；其中排列演算的方法是，将当前元素与迭向元素的比值作为迭向增益率IRT，当前元素作为迭向基值PSV；把迭向增益率与迭向基值作为二元组加入RES序列中，更新当前元素的值为当前元素的值的平方与迭向元素的比值，交迭向元素和当前元素在轴征序列中的位置，排列演算结束；
根据逐比序列计算光捕核向值LHQV的公式为：
LHQV =；
其中j1为累加变量，sigmoid()代表为激活函数，HM<>代表调和均值函数，NR为逐比序列的长度，RESIRT(j1)和RESPSV(j1)分别代表逐比序列中第j1个元素的迭向增益率和迭向基值，RESPSV代表仅提取迭向基值的逐比序列。
有益效果：由上可见，光捕核向值是根据所有反光标记在空间上的不同位置进行时间上的量化计算，通过对反光标记三维坐标的横向对比，有效量化了光学动作数据的时空变化性以及光学动作数据中快速动作数据的特异性，增加了光学动作数据中数据模糊或者反光标记丢失位置的权重，从而加强了识别光学动作数据中因快速或者高速动作导致数据质量精度下降位点的灵敏度，为进一步利用光学动作数据区分不同虚拟主播的实际应用提供了可靠的数理支撑。
进一步地，在步骤S400中，所述利用光捕核向值对光学动作数据进行标记并对虚拟主播进行区分操作的方法是：由虚拟主播同一时刻下的各个反光标记对应的光捕核向值组成质核向序列，虚拟主播连续获得质核向序列，将任一时刻与其前一个时刻的质核向序列的欧氏距离记为该时刻下虚拟主播的第一动作偏差，将所有虚拟主播历史中获得的各个第一动作偏差的平均值记为第二动作偏差；若当前时刻下虚拟主播的第一动作偏差小于第二动作偏差，则将当前时刻标记为该主播的糊化时刻，设定一个时间段作为光捕周期TN，TN∈[1.5,5]小时，如果任一虚拟主播的最近的TN内糊化时刻在所有时刻中的占有比例大于预设比例，其中预设比例的区间为[60%-70%]，则预警该虚拟主播存在光学动作数据失真风险，为该虚拟主播在该时刻下各个反光标记进行失真标记，对该虚拟主播进行区分操作，即提高光学动作对该主播捕捉镜头的帧率5%-20%。
其中最近的TN内指的是当前时刻逆时间顺序搜索的TN时长内的对应时段；
优选地，其中，本发明中所有未定义的变量，若未有明确定义，均可为人工设置的阈值。
本发明还提供了一种基于光学动作数据的虚拟主播区分系统，所述一种基于光学动作数据的虚拟主播区分系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种基于光学动作数据的虚拟主播区分方法中的步骤，所述一种基于光学动作数据的虚拟主播区分系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群，所述处理器执行所述计算机程序运行在以下系统的单元中：
场景布置单元，用于布置光学动作数据分析场景；
坐标获取单元，用于从光学动作数据分析场景获取反光标记的三维坐标；
光捕核向值计算单元，用于根据反光标记的三维坐标计算获得光捕核向值；
数据标记单元，用于利用光捕核向值对光学动作数据进行标记并对虚拟主播进行区分操作。
本发明的有益效果为：本发明提供一种基于光学动作数据的虚拟主播区分方法及系统，该方法及系统量化了虚拟主播光学动作数据的光捕核向值，光捕核向值是根据所有反光标记在空间上的不同位置进行时间上的量化计算，通过对反光标记三维坐标的横向对比，有效量化了光学动作数据的时空变化性以及光学动作数据中快速动作数据的特异性，增加了光学动作数据中数据模糊或者反光标记丢失位置的权重，从而加强了识别光学动作数据中因快速或者高速动作导致数据质量精度下降位点的灵敏度，为进一步利用光学动作数据区分不同虚拟主播的实际应用提供了可靠的数理支撑，提升了虚拟主播动作的有效区分质量和光学动作数据采集质量，同时对增强光学动作捕捉系统识别快速动作的灵敏性和精确性明显增强。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种基于光学动作数据的虚拟主播区分方法的流程图；
图2所示为一种基于光学动作数据的虚拟主播区分系统结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为一种基于光学动作数据的虚拟主播区分方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种基于光学动作数据的虚拟主播区分方法，所述方法包括以下步骤：
S100，布置光学动作数据分析场景；
S200，从光学动作数据分析场景获取反光标记的三维坐标；
S300，根据反光标记的三维坐标计算获得光捕核向值；
S400，利用光捕核向值对光学动作数据进行标记并对虚拟主播进行区分操作。
进一步地，在步骤S100中，所述布置光学动作数据分析场景的方法是：布置光学动作数据分析场景，光学动作数据分析场景中包括光学动作捕捉系统和若干个虚拟主播；其中光学动作捕捉系统由若干个光学动作捕捉镜头、若干个反光标记、若干个动作捕捉服、计算机终端以及POE交换机构成；一个虚拟主播对应一个动作捕捉服以及若干个反光标记，反光标记均匀附着在动作捕捉服上，反光标记的表面材料为反射红外光的材料，光学动作捕捉镜头是基于红外光的光学动作捕捉镜头。
进一步地，在步骤S200中，所述从光学动作数据分析场景获取反光标记的三维坐标的方法是：任意时刻下光学动作捕捉镜头发出特定波长的红外光，照射到反光标记，光学动作捕捉镜头接收到反光标记反射的红外光并利用POE交换机将反光标记的位置信息转换为数据传输到计算机终端，计算机终端构建反光标记在光学动作数据分析场景中的三维图像，根据任一时刻下的三维图像获得反光标记在该时刻下的三维坐标，设定一个时间段WDS，WDS取值1秒，反光标记每隔WDS获得一次三维坐标。
进一步地，在步骤S300中，所述根据反光标记的三维坐标计算获得光捕核向值的方法是：对同一个虚拟主播，设定一个时间段作为光捕周期TN，TN取值1.5小时，在最近的TN时段内以同一时刻下不同反光标记的三维坐标作为一列，以同一反光标记不同时刻下的三维坐标作为一行构建一个矩阵记作时序坐标矩阵；
计算任一三维坐标中x、y和z轴上的坐标值的平均值记为该三维坐标的标化值SDV；
在时序坐标矩阵的任一行中，将各个三维坐标的标化值形成一个序列作为标化序列，将标化序列中的最大值、最小值和中位值分别记作上偏阈值、下偏阈值和回归值，将上偏阈值与回归值的差值记为上偏度HSDV，将回归值与下偏阈值的差值记为下偏度LSDV，通过下偏度和上偏度计算得到反光标记的偏衡系数比DBCI，其计算方法为：
；
其中i1为时序坐标矩阵中行的序号，即反光标记的序号，LSDVi1和HSDVi1分别为第i1个反光标记的下偏度和上偏度，ln()为自然数e为底数的对数函数；
在时序坐标矩阵的任一列中，计算获得各个三维坐标对应标化值的平均值记作该列的横向均标值TMEV，将该列各个三维坐标的标化值与该列横向均标值进行比较，获取标化值大于横向均标值的三维坐标并将该三维坐标记作其所在行的上行坐标；
通过偏衡系数比计算对应反光标记的光捕核向值LHQV，其计算方法：
；
其中i2为累加变量，NOC为时序坐标矩阵中列的数量，TSDVi1为第i1行中上行坐标标化值的总和，NTSDi1为第i1行中上行坐标的数量，log为对数函数；TMEVi1,i2为时序坐标矩阵中第i1行第i2列的三维坐标对应标化值与该列的横向均标值的比值。
优选地，在步骤S300中，所述根据反光标记的三维坐标计算获得光捕核向值的方法是：
设定一个时间段作为光捕周期TN，TN取值1.5小时，三维坐标中的x、y和z轴上的读值均定义子坐标值；任一时刻与其前一个时刻之间分别将x、y和z轴上的子坐标值作差，获得的值中的最大值记为该时刻的轴征值；
获取光捕周期内的各个轴征值构成一个序列称为轴征序列；若轴征序列中的一个元素较其上一个元素数值更大，则定义该元素对应的时间点为递增点，将各个时序上连续的递增点合并后构成的时间段作为正需区间，正需区间中包含的时刻数量为正需区间的长度；根据轴征序列获取各个正需区间的长度的平均值并记为第一区间长度阈值，
从轴征序列中首个元素开始逆时间顺序搜索首个出现的极大值，获得极大值的元素与轴征序列中首个元素的序号差值作为第二区间长度阈值，将第一区间长度阈值和第二区间长度阈值的调和平均值作为区间长度阈值；若任一正需区间的长度小于区间长度阈值则将其从正需区间中剔除；
将轴征序列中正需区间的数量记为标注区间量LTH；
对于任一个正需区间，正需区间内各个轴征值构成正需序列PSEQ，把正需序列的中位数记为MIPS,分别计算正需序列中小于MIPS的各个值的平均值MVQ，以及正需序列中大于等于MIPS的各个值的平均值MVH，则该正需区间的标注轴征值MVXT的计算公式为：
MVXT=；
其中，mean<>表示平均值函数，为正需序列的标准差；将各个正需区间的标注轴征值构成一个序列作为标注轴征序列；
对标注轴征序列进行排列演算并获得逐比序列RES，具体步骤为：
构建一个空序列作为逐比序列RES，设定轮次计数器LC=，对标注轴征序列进行LC轮遍历，任一轮遍历中均从标注轴征序列的首个元素开始遍历到第LTH-1个元素；以标注轴征序列中的任一个正在遍历的元素作为当前元素，以当前元素的下一个元素作为迭向元素，若迭向元素数值上小于当前元素，则进行排列演算后继续遍历，否则不进行排列演算继续遍历；其中排列演算的方法是，将当前元素与迭向元素的比值作为迭向增益率IRT，当前元素作为迭向基值PSV；把迭向增益率与迭向基值作为二元组加入RES序列中，更新当前元素的值为当前元素的值的平方与迭向元素的比值，交迭向元素和当前元素在轴征序列中的位置，排列演算结束；
根据逐比序列计算光捕核向值LHQV的公式为：
LHQV =；
其中j1为累加变量，sigmoid()代表为激活函数，HM<>代表调和均值函数，NR为逐比序列的长度，RESIRT(j1)和RESPSV(j1)分别代表逐比序列中第j1个元素的迭向增益率和迭向基值，RESPSV代表仅提取迭向基值的逐比序列。
进一步地，在步骤S400中，所述利用光捕核向值对光学动作数据进行标记并对虚拟主播进行区分操作的方法是：由虚拟主播同一时刻下的各个反光标记对应的光捕核向值组成质核向序列，虚拟主播连续获得质核向序列，将任一时刻与其前一个时刻的质核向序列的欧氏距离记为该时刻下虚拟主播的第一动作偏差，将所有虚拟主播历史中获得的各个第一动作偏差的平均值记为第二动作偏差；若当前时刻下虚拟主播的第一动作偏差小于第二动作偏差，则将当前时刻标记为该主播的糊化时刻，设定一个时间段作为光捕周期TN，TN取值1.5小时，如果任一虚拟主播的最近的TN内糊化时刻在所有时刻中的占有比例大于60%，则预警该虚拟主播存在光学动作数据失真风险，为该虚拟主播在该时刻下各个反光标记进行失真标记，对该虚拟主播进行区分操作，即提高光学动作对该主播捕捉镜头的帧率10%。
本发明的实施例提供的一种基于光学动作数据的虚拟主播区分系统，如图2所示为本发明的一种基于光学动作数据的虚拟主播区分系统结构图，该实施例的一种基于光学动作数据的虚拟主播区分系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于光学动作数据的虚拟主播区分系统实施例中的步骤。
所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
场景布置单元，用于布置光学动作数据分析场景；
坐标获取单元，用于从光学动作数据分析场景获取反光标记的三维坐标；
光捕核向值计算单元，用于根据反光标记的三维坐标计算获得光捕核向值；
数据标记单元，用于利用光捕核向值对光学动作数据进行标记并对虚拟主播进行区分操作。
所述一种基于光学动作数据的虚拟主播区分系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端服务器等计算设备中。所述一种基于光学动作数据的虚拟主播区分系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于光学动作数据的虚拟主播区分系统的示例，并不构成对一种基于光学动作数据的虚拟主播区分系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于光学动作数据的虚拟主播区分系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于光学动作数据的虚拟主播区分系统运行系统的控制中心，利用各种接口和线路连接整个一种基于光学动作数据的虚拟主播区分系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于光学动作数据的虚拟主播区分系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (6)

1.一种基于光学动作数据的虚拟主播区分方法，其特征在于，所述方法包括以下步骤：
S100，布置光学动作数据分析场景；
S200，从光学动作数据分析场景获取反光标记的三维坐标；
S300，根据反光标记的三维坐标计算获得光捕核向值；
S400，利用光捕核向值对光学动作数据进行标记并对虚拟主播进行区分操作；
其中，在步骤S300中，根据反光标记的三维坐标计算获得光捕核向值的方法是：通过获得的三维坐标计算标化值，获取虚拟主播一段时间中的各个三维坐标构建时序坐标矩阵，并根据时序坐标矩阵获取各个反光标记的对应标化序列，通过标化序列计算下偏度和上偏度，利用下偏度和上偏度计算得到反光标记的偏衡系数比，将不同反光标记同一时刻下的偏衡系数比进行横向比较定义上行坐标，结合上行坐标的分布特征和偏衡系数比计算获得光捕核向值；
其中，在步骤S300中，根据反光标记的三维坐标计算获得光捕核向值的方法具体为：对同一个虚拟主播，设定一个时间段作为光捕周期TN，TN∈[1.5,5]小时，在最近的TN时段内以同一时刻下不同反光标记的三维坐标作为一列，以同一反光标记不同时刻下的三维坐标作为一行构建一个矩阵记作时序坐标矩阵；计算任一个三维坐标中x、y和z轴上的坐标值的平均值记为该三维坐标的标化值SDV；
在时序坐标矩阵的任一行中，将各个三维坐标的标化值形成一个序列作为标化序列，将标化序列中的最大值、最小值和中位值分别记作上偏阈值、下偏阈值和回归值，将上偏阈值与回归值的差值记为上偏度HSDV，将回归值与下偏阈值的差值记为下偏度LSDV，通过下偏度和上偏度计算得到反光标记的偏衡系数比DBCI；
在时序坐标矩阵的任一列中，计算获得各个三维坐标对应标化值的平均值记作该列的横向均标值TMEV，将该列各个三维坐标的标化值与该列横向均标值进行比较，获取标化值大于横向均标值的三维坐标并将该三维坐标记作其所在行的上行坐标；
通过偏衡系数比计算对应反光标记的光捕核向值LHQV：
；
其中i1为时序坐标矩阵中行的序号，i2为累加变量，NOC为时序坐标矩阵中列的数量，TSDVi1为第i1行中上行坐标标化值的总和，NTSDi1为第i1行中上行坐标的数量，log为对数函数；TMEVi1,i2为时序坐标矩阵中第i1行第i2列的三维坐标对应标化值与该列的横向均标值的比值。
2.根据权利要求1所述的一种基于光学动作数据的虚拟主播区分方法，其特征在于，在步骤S100中，所述布置光学动作数据分析场景的方法是：布置光学动作数据分析场景，光学动作数据分析场景中包括光学动作捕捉系统和若干个虚拟主播；其中光学动作捕捉系统由若干个光学动作捕捉镜头、若干个反光标记、若干个动作捕捉服、计算机终端以及POE交换机构成；一个虚拟主播对应一个动作捕捉服以及若干个反光标记，反光标记均匀附着在动作捕捉服上，光学动作捕捉镜头是基于红外光的光学动作捕捉镜头。
3.根据权利要求1所述的一种基于光学动作数据的虚拟主播区分方法，其特征在于，在步骤S200中，所述从光学动作数据分析场景获取反光标记的三维坐标的方法是：任意时刻下光学动作捕捉镜头发出特定波长的红外光，照射到反光标记，光学动作捕捉镜头接收到反光标记反射的红外光并利用POE交换机将反光标记的位置信息转换为数据传输到计算机终端，计算机终端构建反光标记在光学动作数据分析场景中的三维图像，根据任一时刻下的三维图像获得反光标记在该时刻下的三维坐标，设定一个时间段WDS，WDS∈[0.5,5]秒，反光标记每隔WDS获得一次三维坐标。
4.根据权利要求1所述的一种基于光学动作数据的虚拟主播区分方法，其特征在于，在步骤S300中，所述根据反光标记的三维坐标计算获得光捕核向值的方法是：设定一个时间段作为光捕周期TN；三维坐标中的x、y和z轴上的读值均定义子坐标值；任一时刻与其前一个时刻之间分别将x、y和z轴上的子坐标值作差，获得的值中的最大值记为该时刻的轴征值；
获取光捕周期内的各个轴征值构成一个序列称为轴征序列；若轴征序列中的一个元素较其上一个元素数值更大，则定义该元素对应的时间点为递增点，将各个时序上连续的递增点合并后构成的时间段作为正需区间，正需区间中包含的时刻数量为正需区间的长度；根据轴征序列获取各个正需区间的长度的平均值并记为第一区间长度阈值；从轴征序列中首个元素开始逆时间顺序搜索首个出现的极大值，获得极大值的元素与轴征序列中首个元素的序号差值作为第二区间长度阈值，将第一区间长度阈值和第二区间长度阈值的调和平均值作为区间长度阈值；若任一正需区间的长度小于区间长度阈值则将其从正需区间中剔除；
将轴征序列中正需区间的数量记为标注区间量LTH；对于任一个正需区间，正需区间内各个轴征值构成正需序列PSEQ，把正需序列的中位数记为MIPS, 通过正需序列及其中位数计算获得正需序列的标注轴征值；对标注轴征序列进行排列演算并获得逐比序列RES，具体步骤为：构建一个空序列作为逐比序列RES，设定轮次计数器LC=；
对标注轴征序列进行LC轮遍历，任一轮遍历中均从标注轴征序列的首个元素开始遍历到第LTH-1个元素；以标注轴征序列中的任一个正在遍历的元素作为当前元素，以当前元素的下一个元素作为迭向元素；若迭向元素数值上小于当前元素，则进行排列演算后继续遍历，否则不进行排列演算继续遍历；其中排列演算的方法是，将当前元素与迭向元素的比值作为迭向增益率IRT，当前元素作为迭向基值PSV；把迭向增益率与迭向基值作为二元组加入RES序列中，更新当前元素的值为当前元素的值的平方与迭向元素的比值，交迭向元素和当前元素在轴征序列中的位置，排列演算结束；LC轮遍历结束后根据逐比序列计算光捕核向值。
5.根据权利要求1所述的一种基于光学动作数据的虚拟主播区分方法，其特征在于，在步骤S400中，所述利用光捕核向值对光学动作数据进行标记并对虚拟主播进行区分操作的方法是：由虚拟主播同一时刻下的各个反光标记对应的光捕核向值组成质核向序列，虚拟主播连续获得质核向序列，将任一时刻与其前一个时刻的质核向序列的欧氏距离记为该时刻下虚拟主播的第一动作偏差，将所有虚拟主播历史中获得的各个第一动作偏差的平均值记为第二动作偏差；若当前时刻下虚拟主播的第一动作偏差小于第二动作偏差，则将当前时刻标记为该主播的糊化时刻，设定一个时间段作为光捕周期TN，TN∈[1.5,5]小时，如果任一虚拟主播的最近的TN内糊化时刻在所有时刻中的占有比例大于预设比例，其中预设比例的区间为[60%,70%]，则预警该虚拟主播存在光学动作数据失真风险，为该虚拟主播在该时刻下各个反光标记进行失真标记，对该虚拟主播进行区分操作，即提高光学动作对该主播捕捉镜头的帧率5%-20%。
6.一种基于光学动作数据的虚拟主播区分系统，其特征在于，所述一种基于光学动作数据的虚拟主播区分系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5中任一项所述的一种基于光学动作数据的虚拟主播区分方法中的步骤，所述一种基于光学动作数据的虚拟主播区分系统能运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心的计算设备中。
CN202410010989.8A 2024-01-04 2024-01-04 一种基于光学动作数据的虚拟主播区分方法及系统 Active CN117523678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410010989.8A CN117523678B (zh) 2024-01-04 2024-01-04 一种基于光学动作数据的虚拟主播区分方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410010989.8A CN117523678B (zh) 2024-01-04 2024-01-04 一种基于光学动作数据的虚拟主播区分方法及系统

Publications (2)

Publication Number Publication Date
CN117523678A CN117523678A (zh) 2024-02-06
CN117523678B true CN117523678B (zh) 2024-04-05

Family

ID=89745980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410010989.8A Active CN117523678B (zh) 2024-01-04 2024-01-04 一种基于光学动作数据的虚拟主播区分方法及系统

Country Status (1)

Country Link
CN (1) CN117523678B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110753930A (zh) * 2018-12-29 2020-02-04 深圳市瑞立视多媒体科技有限公司 一种三维轨迹数据的拟合处理方法及光学动作捕捉方法
CN110770793A (zh) * 2018-12-29 2020-02-07 深圳市瑞立视多媒体科技有限公司 一种三维轨迹数据的异常值处理方法及光学动作捕捉方法
CN111462089A (zh) * 2020-04-01 2020-07-28 深圳市瑞立视多媒体科技有限公司 基于光学动捕系统的虚拟场景精度测试方法及相关设备
CN111681268A (zh) * 2020-06-15 2020-09-18 深圳市瑞立视多媒体科技有限公司 光学标记点序号误识别检测方法、装置、设备及存储介质
WO2021063128A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 单相机环境中主动式刚体的位姿定位方法及相关设备
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
CN116612243A (zh) * 2023-07-21 2023-08-18 武汉国遥新天地信息技术有限公司 一种光学动作捕捉系统三维轨迹异常点抑制和处理方法
CN117172830A (zh) * 2023-11-01 2023-12-05 广州手拉手互联网股份有限公司 一种电商数据分析的预测模型构建方法及系统
CN117238031A (zh) * 2023-09-05 2023-12-15 南京八点八数字科技有限公司 一种虚拟人的动作捕捉方法与系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110753930A (zh) * 2018-12-29 2020-02-04 深圳市瑞立视多媒体科技有限公司 一种三维轨迹数据的拟合处理方法及光学动作捕捉方法
CN110770793A (zh) * 2018-12-29 2020-02-07 深圳市瑞立视多媒体科技有限公司 一种三维轨迹数据的异常值处理方法及光学动作捕捉方法
WO2021063128A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 单相机环境中主动式刚体的位姿定位方法及相关设备
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
CN111462089A (zh) * 2020-04-01 2020-07-28 深圳市瑞立视多媒体科技有限公司 基于光学动捕系统的虚拟场景精度测试方法及相关设备
CN111681268A (zh) * 2020-06-15 2020-09-18 深圳市瑞立视多媒体科技有限公司 光学标记点序号误识别检测方法、装置、设备及存储介质
CN116612243A (zh) * 2023-07-21 2023-08-18 武汉国遥新天地信息技术有限公司 一种光学动作捕捉系统三维轨迹异常点抑制和处理方法
CN117238031A (zh) * 2023-09-05 2023-12-15 南京八点八数字科技有限公司 一种虚拟人的动作捕捉方法与系统
CN117172830A (zh) * 2023-11-01 2023-12-05 广州手拉手互联网股份有限公司 一种电商数据分析的预测模型构建方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种新的光学运动捕捉数据处理方法;吴升;张强;肖伯祥;魏小鹏;;计算机应用研究;20090515(05);第344-346页 *

Also Published As

Publication number Publication date
CN117523678A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN110991506B (zh) 一种车辆品牌识别方法、装置、设备及存储介质
CN110148117B (zh) 基于电力图像的电力设备缺陷识别方法、装置与存储介质
CN107862235B (zh) 二维码的位置定位方法、装置及终端设备
CN111414948B (zh) 目标对象检测方法和相关装置
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
CN112037254B (zh) 目标跟踪方法及相关装置
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN110781856A (zh) 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN110544268A (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN114898321B (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
CN109710628B (zh) 信息处理方法及装置、系统、计算机及可读存储介质
CN117523678B (zh) 一种基于光学动作数据的虚拟主播区分方法及系统
CN117392539B (zh) 一种基于深度学习的河流水体识别方法、电子设备及存储介质
CN116817887B (zh) 语义视觉slam地图构建方法、电子设备及存储介质
CN116188627B (zh) 一种测井曲线数字化方法及装置
CN111179218A (zh) 传送带物料检测方法、装置、存储介质及终端设备
CN116958809A (zh) 一种特征库迁移的遥感小样本目标检测方法
US20220284563A1 (en) Method for discovering defects in products by detecting abnormalities in images, electronic device, and storage medium
CN110852353A (zh) 路口分类方法及设备
US20220405509A1 (en) Image processing method and device, edge computing device, and computer storage medium
CN109190467A (zh) 一种基于关键点回归的多物体检测方法、系统、终端和存储介质
CN113240723A (zh) 一种单目深度估计方法、装置以及深度评估设备
CN111239740A (zh) 一种去除射线噪声的方法及设备
CN116416251B (zh) 基于图像处理的整芯阻燃输送带质量检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant