CN109241841B - 视频人体动作的获取方法和装置 - Google Patents

视频人体动作的获取方法和装置 Download PDF

Info

Publication number
CN109241841B
CN109241841B CN201810865700.5A CN201810865700A CN109241841B CN 109241841 B CN109241841 B CN 109241841B CN 201810865700 A CN201810865700 A CN 201810865700A CN 109241841 B CN109241841 B CN 109241841B
Authority
CN
China
Prior art keywords
human body
information
target
identification
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810865700.5A
Other languages
English (en)
Other versions
CN109241841A (zh
Inventor
杜华
洪涛
王语堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gansu Future Cloud Data Technology Co ltd
Original Assignee
Gansu Future Cloud Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gansu Future Cloud Data Technology Co ltd filed Critical Gansu Future Cloud Data Technology Co ltd
Priority to CN201810865700.5A priority Critical patent/CN109241841B/zh
Publication of CN109241841A publication Critical patent/CN109241841A/zh
Application granted granted Critical
Publication of CN109241841B publication Critical patent/CN109241841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本申请公开了一种视频人体动作的获取方法和装置。该方法包括：获取相机的标定信息；获取相机拍摄的视频信息，其中，视频信息中包括多个不同的唯一的编码图案的标识点，标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个编码图案至少包括四个特征点；获取标识点的目标信息，其中，目标信息至少包括：标识点的编码图案和编码图案的空间结构信息；依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。通过本申请，解决了针对人体动作捕捉的相关技术中，动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的技术问题。

Description

视频人体动作的获取方法和装置
技术领域
本申请涉及动作捕捉领域，具体而言，涉及一种视频人体动作的获取方法和装置。
背景技术
传统的动作捕捉系统包括电磁式、机械式、光学式等，其中光学式是近年来最成熟和常用的捕捉系统，例如，Vicon、MotionAnalysis、Natural Point等公司的动作捕捉系统已经在CG、影视特效制作等领域有广泛的应用。
这类系统的特点是使用专用标记对目标进行标识，基于立体视觉原理通过多相机阵列准确地测量目标的运动信息。具有精度较高，动作重建准确的优点，但是由于系统庞大复杂，安装工程量大，通常只能在固定的影棚内使用，且对环境光线要求较高，场地内不能太阳直射，场地内的反光物体也会影响数据效果，因此不适合户外使用。
基于上述光学式动作捕捉系统，研究者们为了使动作捕捉系统更加简单，简化现场操作流程，特别提出了采用无标识的图像解析的动作解析技术，基于多视角三维重建或深度图像的人物模型的识别和运动跟踪获取人物运动数据。
这类技术优点是系统结构通常比较简单，现场操作便捷，但由于对于识别和跟踪技术有较强的依赖，往往有较大的局限性，在人物运动速度较快、环境背景复杂等情况下难以得到可靠的结果，且精度不足，导致动作错误率较高，数据噪声较大，动作重建不准确，且难以修复，因而难以达到影视制作的要求。
针对人体动作捕捉的相关技术中，动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的技术问题，目前尚未提出有效的解决方案。
发明内容
本申请提供一种视频人体动作的获取方法和装置，以解决人体动作捕捉的相关技术中，动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的技术问题。
根据本申请的一个方面，提供了一种视频人体动作的获取方法。该方法包括：获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；获取所述相机拍摄的视频信息，其中，所述视频信息中包括多个不同的唯一的编码图案的标识点，所述标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个所述编码图案至少包括四个特征点；获取所述标识点的目标信息，其中，所述目标信息至少包括：所述标识点的编码图案和所述编码图案的空间结构信息；依据所述标定信息和所述标识点的目标信息，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况。
可选的，依据所述标定信息和所述标识点的目标信息，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况包括：获取包含所述人体上多个标识点之间的相对位置姿态关系的人体模型；依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况。
可选的，获取包含所述人体上多个标识点之间的相对位置姿态关系的人体模型包括：采集所述人体的全方位视频信息，其中，所述全方位视频信息中记录有所述人体的目标部位上所有标识点的编码图案；依据所述全方位视频信息、多个所述标识点的编码图案及所述编码图案的空间结构信息，确定所述人体上多个标识点之间的相对位置姿态关系；依据所述人体上多个标识点之间的相对位置姿态关系，生成人体模型。
可选的，依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况还包括：对所述视频信息进行识别，获取识别出的标识点的编码图案和所述识别出的编码图案在所述视频信息中的位姿信息；依据所述识别出的编码图案，获取所述识别出的编码图案在人体模型上的位姿信息；依据所述识别出的编码图案在所述视频信息中的位姿信息和在所述人体模型上的位姿信息，将所述人体模型变换至所述视频信息中；基于变换至所述视频信息的所述人体模型，确定所述人体的目标部位的运动情况。
可选的，获取包含所述人体上多个标识点之间的相对位置姿态关系的人体模型包括：获取所述人体的多个部位的运动信息和所述人体上多个标识点之间的相对位置姿态关系，其中，所述运动信息至少包括：所述人体的多个部位的运动范围和所述人体的多个部位之间的运动关系；依据所述人体上多个标识点之间的相对位置姿态关系和所述人体的多个部位的运动信息，生成人体模型；依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况包括：依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的运动情况，其中，所述人体的运动情况包括：所述人体的目标部位的运动情况。
可选的，依据所述全方位视频信息、多个所述标识点的编码图案及所述编码图案的空间结构信息，确定所述人体上多个标识点之间的相对位置姿态关系包括：依据所述编码图案对所述全方位视频信息进行识别，得到多个视频图像，其中，每个所述视频图像中至少包含两个所述编码图案；计算所述视频图像中的多个所述编码图案在相机坐标系下的坐标信息，其中，所述相机坐标系与所述视频图像相对应；对多个所述编码图案在所述相机坐标系下的坐标信息进行坐标系变换计算，确定多个所述编码图案在目标编码坐标系的坐标信息，其中，所述目标编码坐标系由目标编码图案的多个特征点确立；依据多个所述编码图案在所述目标编码坐标系的坐标信息，获取目标编码坐标系下多个所述编码图案之间的相对位置姿态关系。
可选的，在所述相机为多个的情况下，所述视频信息由多个相机拍摄的多个视频组成，依据所述标定信息和所述标识点的目标信息，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况包括：依据所述标定信息和所述标识点的目标信息，对多个所述视频信息进行三维重建处理，得到多组相机坐标系下所述标识点的空间位姿的变化状况；对多组相机坐标系下所述标识点的空间位姿的变化状况进行数据匹配处理，获取目标相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况。
根据本申请的另一方面，提供了一种视频人体动作的获取装置。该装置包括：第一获取单元，用于获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；第二获取单元，用于获取所述相机拍摄的视频信息，其中，所述视频信息中包括多个不同的唯一的编码图案的标识点，所述标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个所述编码图案至少包括四个特征点；第三获取单元，用于获取所述标识点的目标信息，其中，所述目标信息至少包括：所述标识点的编码图案和所述编码图案的空间结构信息；确定单元，用于依据所述标定信息和所述标识点的目标信息，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况。
可选的，确定单元包括：第一获取子单元，用于获取包含所述人体上多个标识点之间的相对位置姿态关系的人体模型；第一确定子单元，用于依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况。
可选的，第一获取子单元包括：采集模块，用于采集所述人体的全方位视频信息，其中，所述全方位视频信息中记录有所述人体的目标部位上所有标识点的编码图案；第一确定模块，用于依据所述全方位视频信息、多个所述标识点的编码图案及所述编码图案的空间结构信息，确定所述人体上多个标识点之间的相对位置姿态关系；第一生成模块，用于依据所述人体上多个标识点之间的相对位置姿态关系，生成人体模型。
可选的，第一确定子单元还包括：第一获取模块，用于对所述视频信息进行识别，获取识别出的标识点的编码图案和所述识别出的编码图案在所述视频信息中的位姿信息；第二获取模块，用于依据所述识别出的编码图案，获取所述识别出的编码图案在人体模型上的位姿信息；变换模块，用于依据所述识别出的编码图案在所述视频信息中的位姿信息和在所述人体模型上的位姿信息，将所述人体模型变换至所述视频信息中；第二确定模块，用于基于变换至所述视频信息的所述人体模型，确定所述人体的目标部位的运动情况。
可选的，第一获取子单元包括：第三获取模块，用于获取所述人体的多个部位的运动信息和所述人体上多个标识点之间的相对位置姿态关系，其中，所述运动信息至少包括：所述人体的多个部位的运动范围和所述人体的多个部位之间的运动关系；第二生成模块，用于依据所述人体上多个标识点之间的相对位置姿态关系和所述人体的多个部位的运动信息，生成人体模型；第一确定子单元包括：第三确定模块，用于依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的运动情况，其中，所述人体的运动情况包括：所述人体的目标部位的运动情况。
可选的，第一确定模块包括：得到子模块，用于依据所述编码图案对所述全方位视频信息进行识别，得到多个视频图像，其中，每个所述视频图像中至少包含两个所述编码图案；计算子模块，用于计算所述视频图像中的多个所述编码图案在相机坐标系下的坐标信息，其中，所述相机坐标系与所述视频图像相对应；确定子模块，用于对多个所述编码图案在所述相机坐标系下的坐标信息进行坐标系变换计算，确定多个所述编码图案在目标编码坐标系的坐标信息，其中，所述目标编码坐标系由目标编码图案的多个特征点确立；获取子模块，用于依据多个所述编码图案在所述目标编码坐标系的坐标信息，获取目标编码坐标系下多个所述编码图案之间的相对位置姿态关系。
可选的，在所述相机为多个的情况下，所述视频信息由多个相机拍摄的多个视频组成，确定单元包括：第二获取子单元，用于依据所述标定信息和所述标识点的目标信息，对多个所述视频信息进行三维重建处理，获取多组相机坐标系下所述标识点的空间位姿的变化状况；第二确定子单元，用于对多组相机坐标系下所述标识点的空间位姿的变化状况进行数据匹配处理，获取目标相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况。
通过本申请，采用以下步骤：获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；获取所述相机拍摄的视频信息，其中，所述视频信息中包括多个不同的唯一的编码图案的标识点，所述标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个所述编码图案至少包括四个特征点；获取所述标识点的目标信息，其中，所述目标信息至少包括：所述标识点的编码图案和所述编码图案的空间结构信息；依据所述标定信息和所述标识点的目标信息，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况，解决了人体动作捕捉领域中，动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的问题。
也即，通过获取相机拍摄的包含设置于人体目标部位的标识点的视频信息，并获取标识点的编码图案和编码图案的空间结构信息，进而识别视频信息中的标识点，并判断标识点的空间位姿的变化状况。此外，由于标识点设置与人体目标部位上，因此，可以进一步基于标识的空间位姿的变化状况确定人体的目标部位的运动情况。进而达到了使用普通相机即可进行高精度的三维空间人体运动捕捉的技术效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的视频人体动作的获取方法的流程图；
图2是根据本申请实施例提供的一种可选的编码图案示意图一；
图3是根据本申请实施例提供的一种可选的编码图案示意图二；
图4是根据本申请实施例提供的一种可选的视频图像的示意图一；
图5是根据本申请实施例提供的一种可选的视频图像的示意图二；
图6是根据本申请实施例提供的一种可选的双相机分别对应的视频图像的示意图一；
图7是根据本申请实施例提供的一种可选的双相机分别对应的视频图像的示意图二；
图8是根据本申请实施例提供的视频人体动作的获取装置的示意图；
图9是根据本申请实施例提供的视频人体动作的获取系统的示意图；以及
图10是根据本申请实施例提供的一种可选的标识带的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
动作捕捉是动态测量并记录物体在真实三维空间中的位置和姿态，可用于在虚拟三维空间中重建运动物体每一时刻运动状态的高新技术。动作捕捉最典型的应用是对人物的动作捕捉，可以将人物肢体动作或面部表情动态进行三维数字化解算，得到三维动作数据，用来在CG制作等领域中逼真地模仿、重现真人的各种复杂动作和表情，从本质上提升CG动作效果；更重要的是让CG动作制作效率提高数百倍，大大节省了人力成本和制作周期，制作者可以将更多精力投入在CG创意和细节刻画等方面，大幅提升产品的整体制作水平。其中，动作捕捉系统是指用来实现动作捕捉的专业技术设备。
根据本申请的实施例，提供了一种视频人体动作的获取方法。
图1是根据本申请实施例的视频人体动作的获取方法的流程图。如图1所示，该方法包括以下步骤：
步骤S102，获取相机的标定信息，其中，相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；
作为一个可选的示例，获取相机的标定信息的方式可以为：由工作人员输入相机的标定信息，或，与相机建立数据连接，通过数据连接获取相机的标定信息，其中，具体的获取相机的标定方式可以采用：机器视觉领域的张氏标定法。
作为一个可选的示例，相机的标定信息还可以包括：相机的内参数、相机的外参数和相机的畸变参数。
步骤S104，获取相机拍摄的视频信息，其中，视频信息中包括多个不同的唯一的编码图案的标识点，标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个编码图案至少包括四个特征点；
在一个可选的示例中，如图2和图3所示，编码图案具有两种表现形式，即环形编码图案，其中心图案用于坐标定位，外环图案通过不同的黑白二值变化实现编码，形成唯一的编码图案；二维码编码图案，其中心点用于坐标定位，通过黑白二值变化的二维码编码，形成唯一的编码图案。通过上述编码图案的表现形式，达到了每个编码图案相互唯一，且令每个编码图案均表示其对应的标识点的唯一的身份识别号码ID的技术效果。
基于上述环形编码图案和二维码编码图案，在另一个可选的示例中，编码图案的特征点可以以下形式表现，环形编码图案的中心图案的中心点作为特征点之一，其他特征点从外环图案中选取，共同作为环形编码图案的特征点；同理，二维码编码图案的中心图案的中心点作为特征点之一，其他特征点从二维码图案中选取，共同作为二维码编码图案的特征点。
需要强度的是：编码图案至少包括四个特征点，当编码图案包括四个以上的特征点时，才能成功建立编码图案对应的编码坐标系。举例说明，从四个特征点中选其一作为编码坐标系的原点，选择其他三个特征点表示编码坐标系的xyz轴。
需要说明的是：标识点设置于人体的目标部位上，且标识点不随外界因素而迁移位置，即标识点持续固定于人体的目标部位上。
需要说明的是：人体的目标部位至少设置多个标识点，以便视频信息中至少捕获到目标部位上的一个标识点，进而在确定目标部位的运动情况时，避免因目标部位上的所有标识点均被遮挡，导致无法确定目标部位运动情况的情况发生。
步骤S106，获取标识点的目标信息，其中，目标信息至少包括：标识点的编码图案和编码图案的空间结构信息；
需要说明的是：编码图案的空间结构信息可以为表示标识点大小方位的信息。
在一个可选的示例中，编码图案的空间结构信息可以为：编码图案的特征点在其编码坐标系的坐标信息，其中，编码图案的编码坐标系由编码图案的特征点建立。此外，编码图案的空间结构信息亦可以为：多个特征点之间的空间向量。
在另一个可选的示例中，获取编码图案的空间结构信息的方式可以为：由工作人员直接输入编码图案的空间结构信息；或，拍摄标识点的视频，对视频中的标识点进行识别，确定标识点的多个特征点，进而依据该特征点建立编码坐标系，确定其他特征点的坐标信息。
步骤S108，依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
本申请实施例提供的视频人体动作的获取方法，通过获取相机的标定信息、相机拍摄的视频信息、以及标识点的目标信息，进而依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况，解决了人体动作捕捉领域中，动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的问题。
也即，通过获取相机拍摄的包含设置于人体目标部位的标识点的视频信息，并获取标识点的编码图案和编码图案的空间结构信息，进而识别视频信息中的标识点，并判断标识点的空间位姿的变化状况。此外，由于标识点设置与人体目标部位上，因此，可以进一步基于标识的空间位姿的变化状况确定人体的目标部位的运动情况。进而达到了使用普通相机即可进行高精度的三维空间人体运动捕捉的技术效果。
在一种可选的实施例中，在本申请实施例提供的视频人体动作的获取方法中，步骤S108(依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况)包括：步骤S1082，获取包含人体上多个标识点之间的相对位置姿态关系的人体模型；步骤S1084，依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
也即，通过在步骤S108中，先建立包含人体上多个标识点之间的相对位置姿态关系的人体模型，进而依据人体模型变换确定视频信息中人体的目标部位的运动情况，以提高识别人体的目标部位的运动情况的准确度，还同时解决了使用普通相机捕捉人体动作时，标识物被遮挡导致无法准确捕捉人体动作的技术问题。
基于上述实施例，在一种可选的示例中，步骤S1082(获取包含人体上多个标识点之间的相对位置姿态关系的人体模型)还可以包括：采集人体的全方位视频信息，其中，全方位视频信息中记录有人体的目标部位上所有标识点的编码图案；依据全方位视频信息、多个标识点的编码图案及编码图案的空间结构信息，确定人体上多个标识点之间的相对位置姿态关系；依据人体上多个标识点之间的相对位置姿态关系，生成人体模型。
也即，通过对人体的目标部位上所有标识点进行图像采集得到人体的全方位视频信息，并依据标识点的编码图案识别人体的全方位视频信息，确定各个标识点位于全方位视频信息中的具体位置，并依据编码图案的空间结构信息去确定标识点在人体的具体位置，进而确定多个标识点之间的相对位置姿态关系，以生成人体模型。
在一个可选的示例中，采集人体的全方位视频信息的方式可以为：将标识点设置于人体的目标部位上，录制目标部位上设置有标识点的人体，并且在录制时，以人体为中心环绕人体进行录制，进而将人体部位上的每个标识点均记录于人体的全方位视频信息中。此外，以人体为中心环绕人体进行录制可以为：以人体为中心，转动人体进行录制。
在一个可选的示例中，依据编码图案的空间结构信息去确定标识点位于全方位视频信息中的具体位置之后，还可以继续确定人体上多个标识点之间的相对位置姿态关系，即继续确定多个标识点之间的相对位置，并确定多个标识点之间的姿态关系。
举例说明，以相机坐标系为基础，A标识点到B标识点的向量为
Figure BDA0001750879410000091
而该
Figure BDA0001750879410000092
既可以表示A标识点与B标识点之间的相对位置。此外，C标识点的编码图案以c边为底，D标识点的编码图案以d边为底，此时，以C标识点建立编码坐标系，D标识点的朝向方位既可以表示C标识点和D标识点之间的姿态关系。也即，多个标识点之间的相对位置姿态关系主要表示多个标识点之间的空间关系，即，表示多个标识点之间的空间位置关系和多个标识点之间空间姿态关系。
此外，在另一个可选的示例中，在本申请实施例提供的视频人体动作的获取方法中，依据全方位视频信息、多个标识点的编码图案及编码图案的空间结构信息，确定人体上多个标识点之间的相对位置姿态关系包括：依据编码图案对全方位视频信息进行识别，得到多个视频图像，其中，每个视频图像中至少包含两个编码图案；计算视频图像中的多个编码图案在相机坐标系下的坐标信息，其中，相机坐标系与视频图像相对应；对多个编码图案在相机坐标系下的坐标信息进行坐标系变换计算，确定多个编码图案在目标编码坐标系的坐标信息，其中，目标编码坐标系由目标编码图案的多个特征点确立；依据多个编码图案在目标编码坐标系的坐标信息，获取目标编码坐标系下多个编码图案之间的相对位置姿态关系。
也即，通过将全方位视频信息进行拆分，得到多帧视频图像，并将多帧视频图像中编码图案少于两个的视频图像筛选出去，保留至少包含两个编码图案的视频图像。使得保留下来的每帧视频信息至少可以确定两个编码图案的相对位置姿态关系。通过计算保留下来的每帧视频图像中的编码图案在相机坐标系下的坐标信息，使得在同一帧视频图像中的多个编码图案之间的相对位置姿态关系可以通过同一相机坐标系下的坐标信息确定。进一步的，将多帧视频图像中的编码图案的相机坐标系下的坐标信息转换成目标编码坐标系下的坐标信息，使得不同帧视频图像的编码图案之间的相对位姿关系建立一定联系，进而确定多个编码图案之间的相对位置姿态关系。
在一个可选的示例中，相机坐标系是以其对应的视频图像的相机位置建立的，即相机坐标系与视频图像相对应。
举例说明，图4为全方位视频信中在T1时刻的帧图像，其中，该帧图像中包括设置于人体手腕上的A1编码图案和A2编码图案，对该帧图像进行三维重建计算，得到A1编码图案和A2编码图案上所有特征点在相机坐标系下的坐标，即X· A1,TI和X· A2,T1；进一步地，为了后续计算方便，将相机坐标系统一变换为A1编码坐标系，得到A1编码图案在A1编码坐标系下的坐标，即XA1,T1，以及A2编码图案在A1编码坐标系下的坐标，即XA2,T1。
其中，将相机坐标系的坐标变换为A1编码坐标系的坐标的公式可以为：
XA2,T1＝[R·|t·]×X· A2,T1；
已知A1编码图案在A1编码坐标系下的坐标为XA1,T1，即A1编码图案的多个特征点在其自身编码坐标系下的坐标，即A1编码图案的空间结构信息，并且已知A1编码图案在相机坐标系下的坐标为X· A1,TI，基于XA1,T1中包含的多个特征点坐标和X· A1,TI中包含的多个特征点坐标建立包含多个方程的方程组，通过最小二乘法可以计算出[R·|t·]。而后将[R·|t·]带入公式XA2,T1＝[R·|t·]×X· A2,T1中，得A2编码图案在A1编码坐标系下的坐标，即XA2,T1。
同理，图5是全方位视频信息中在T2时刻的帧图像，该帧图像中包括设置于人体手腕上的A2编码图案和A3编码图案。计算A3编码图案在A2编码坐标系下的坐标，进一步地，在通过上述[R·|t·]，计算A3编码图案在A1编码坐标系下的坐标。
依次类推，获取设置于人体上的所有编码图案在A1编码坐标系下的坐标集，并依据该坐标集获取A1编码坐标系下多个编码图案之间的相对位置姿态关系，进而生成人体模型。
其中，针对[R|t]的另一种求法，下面进行举例说明：
建立如下公式：L＝C×[R|t]×X；
其中，C是内参数矩阵；R是旋转矩阵；t是位移向量。
由于编码图案至少包括四个特征点，因此，基于至少四个特征点在编码坐标系下的坐标X，以及至少四个特征点在图像坐标系下的坐标L，至少可以建立包含8个方程的方程组，基于该方程组进行最小二乘法便可计算出[R|t]，最后，将[R|t]带入XA2,T1＝[R·|t·]×X· A2,T1中进行计算，得到编码图像在相机坐标系下的坐标。
需要强度的是：人体模型不仅仅包含人体上多个标识点之间的相对位置姿态关系，同时还是包含人体各个部位数据的模型。
举例说明，在一个可选的示例中，步骤S1084(依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况)还包括：对视频信息进行识别，获取识别出的标识点的编码图案和识别出的编码图案在视频信息中的位姿信息；依据识别出的编码图案，获取识别出的编码图案在人体模型上的位姿信息；依据识别出的编码图案在视频信息中的位姿信息和在人体模型上的位姿信息，将人体模型变换至视频信息中；基于变换至视频信息的人体模型，确定人体的目标部位的运动情况。
也即，在上述示例的步骤S1084中，使用人体模型确定人体的目标部位的运动情况时，可以先识别视频信息中包含的标识点，由于人体模型中包含所有标识点，因此可以基于识别出的标识点，将人体模型变换至视频信息中，进一步地，人体模型基于视频信息中被识别出的标识点的移动而移动，此时，即可确定视频信息中人体具体运动情况。
需要说明的是：为了保证能够识别到目标部位上的标识点，优选地，目标部位上设置多个标识点，且多个标识点以预设密度设置。
基于上述实施例，在另一种可选的示例中，步骤S1082(依据人体上多个标识点之间的相对位置姿态关系，生成人体模型)还可以包括：获取人体的多个部位的运动信息，其中，运动信息至少包括：人体的多个部位的运动范围和人体的多个部位之间的运动关系；依据人体上多个标识点之间的相对位置姿态关系和人体的多个部位的运动信息，生成人体模型。
举例说明，人体的上臂部位的运动范围是：以上臂与身体的连接点为中心点，以上臂的长度为半径，形成的半球体空间为人体的上臂部位的运动范围；同理，以大腿与身体的连接点为中心，以大腿的长度为半径，形成的椎体空间为人体的大腿部位的运动范围；同理，以小臂与上臂的连接点为中心，以小臂的长度为半径，形成的球体空间为人体的小臂的运动范围。
举例说明，当人的小臂以横截面的顺时针方向进行旋转时，与小臂连接的手掌同时旋转；同理，当人的脖颈以横截面的顺时针方向进行旋转时，与脖颈连接的头颅同时旋转；同理，当人的小臂以水平姿态进行平行移动时，与小臂连接的上臂是基于小臂的运动做相应的调整的。
基于此步骤S1084(依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况)还包括：依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的运动情况，其中，人体的运动情况包括：人体的目标部位的运动情况。
在一个可选的示例中，步骤S1084(依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况)还包括：对视频信息进行识别，获取识别出的标识点的编码图案和识别出的编码图案在视频信息中的位姿信息；依据识别出的编码图案，获取识别出的编码图案在人体模型上的位姿信息；依据识别出的编码图案在视频信息中的位姿信息和在人体模型上的位姿信息，将人体模型变换至视频信息中；基于变换至视频信息的人体模型，确定人体的运动情况，其中，人体的运动情况包括：人体的目标部位的运动情况。
举例说明，当识别出的标识点仅仅包括设置于小臂上的标识点，此时，可以基于包含多个部位的运动信息的人体模型，推算出人体的小臂和上臂的运动轨迹。
通过依据运动信息生成人体模型，并基于该人体模型确定人体的运动情况，达到了推算识别出的标识点所设置的人体部位之外的人体部位的运动情况的技术效果。此外，使得普通相机亦可以捕捉人体动作，不必担心标识点被遮挡的情况发生，极大的提高了捕捉人体动作的便捷性，以及提高了捕捉人体动作的准确度。
综上，本实施例主要的技术内容和技术效果如下：
1、标识点由唯一的编码图案组成，解决了单跟踪技术鲁棒性差的技术问题，达到了大幅提升数据的可靠性，完整性的技术效果；且编码图案至少包括四个特征点，其中，四个特征点可以形成该标识点的图像坐标，便于计算视频信息中该标识点的空间位置，进而计算视频信息中所有标识点之间的相对位置姿态关系。
2、通过各个标识点的坐标系转换以计算各个标识点之间的相对位置姿态关系的计算方法，为本实施例的其他步骤提供了基础计算，并提高了捕捉人体运动情况的准确性。
3、生成人体模型，并基于人体模型去确定视频信息中的人体运动情况，达到了普通相机也可以捕捉人体运动情况，极大的降低了捕捉人体运动情况的设备成本和设备复杂性，最大限度减少受环境的局限性，并提升人体运动捕捉的操作便捷性及实用性，以及提升数据解算可靠性的技术效果。
此外，需要说明的是：采用标识点对目标部位进行标记，并基于视觉技术对标识点进行精确定位，空间定位精度最高可达0.5mm。
最后，在另一个实施例中，为了进一步修复单相机因为遮挡造成的数据缺失，相机数量可以为多个，且视频信息也是由多个相机拍摄而生成的多个视频组成，基于此，步骤S108(依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况)包括：依据标定信息和标识点的目标信息，对多个视频信息进行三维重建处理，得到多组相机坐标系下标识点的空间位姿的变化状况；对多组相机坐标系下标识点的空间位姿的变化状况进行数据匹配处理，获取目标相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
当视频信息由多个视频组成时，可以先依次针对每个视频对应的相机坐标系确定标识点的空间位姿的变换状况，再将多个相机坐标系进行变换，形成目标相机坐标系下多个标识点的空间位姿的变换状况，以达到在不使用人体模型的情况下，且使用普通相机，以可以完整捕捉人体动作的技术效果。
举例说明，图6为在T1时刻相机1记录的设置于人体手腕上的标识点和设置于人体小臂上的标识点的帧图像，图7为在T1时刻相机2记录的设置于人体手腕上的标识点和设置于人体小臂上的标识点的帧图像。如图6和图7所示，在T1时刻，相机1和相机2同时拍摄到设置于人体手腕上的A1标识点、A2标识点和A3标识点，以及设置于人体小臂上的B1标识点。对在T1时刻相机1记录的设置于人体手腕上的标识点和设置于人体小臂上的标识点的帧图像，以及在T1时刻相机2记录的设置于人体手腕上的标识点和设置于人体小臂上的标识点的帧图像进行三维重建处理，得到相机1坐标系下的设置于人体手腕上的A1标识点、A2标识点的坐标，即XA1-相机1和XA2-相机1，以及相机2坐标系下的设置于人体手腕上的A2标识点和A3标识点的坐标集，即XA2-相机2和XA3-相机2。依据A2标识点在相机1坐标系下的坐标和A2标识点在相机2坐标系下的坐标，将A3标识点在相机2坐标系下的坐标转换为相机1坐标系下的坐标，得到相机1坐标系下的A1标识点、A2标识点和A3标识点的坐标，即XA1-相机1、XA2-相机2和XA3-相机2。
其中，上述坐标系具体变换公式为：XA-相机1＝[R|t]×XA-相机2，其中，[R|t]为相机2坐标系到相机1坐标系的变换矩阵。首先，依据A2标识点在相机1坐标系下的坐标和A2标识点在相机2坐标系下的坐标计算出[R|t]，进而依据[R|t]将A3标识点在相机2坐标系下的坐标转换为相机1坐标下的坐标。
其中，设置于人体小臂上的B1标识点在相机1坐标系下的坐标计算，亦同于上述计算步骤。
作为一种可选的示例，多个相机均匀的设置于人体的周围，以便获取到人体各个方位角度的视频信息，进而提高捕捉人体动作的准确度。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种视频人体动作的获取装置，需要说明的是，本申请实施例的视频人体动作的获取装置可以用于执行本申请实施例所提供的用于视频人体动作的获取方法。以下对本申请实施例提供的视频人体动作的获取装置进行介绍。
图8是根据本申请实施例的视频人体动作的获取装置的示意图。如图8所示，该装置包括：第一获取单元81、第二获取单元82、第三获取单元83和确定单元84。
第一获取单元81，用于获取相机的标定信息，其中，相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数。
第二获取单元82，用于获取相机拍摄的视频信息，其中，视频信息中包括多个不同的唯一的编码图案的标识点，标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个编码图案至少包括四个特征点。
第三获取单元83，用于获取标识点的目标信息，其中，目标信息至少包括：标识点的编码图案和编码图案的空间结构信息。
确定单元84，用于依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
可选地，在本申请实施例提供的视频人体动作的获取装置中，确定单元84包括：第一获取子单元，用于获取包含人体上多个标识点之间的相对位置姿态关系的人体模型；第一确定子单元，用于依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
可选地，在本申请实施例提供的视频人体动作的获取装置中，第一获取子单元包括：采集模块，用于采集人体的全方位视频信息，其中，全方位视频信息中记录有人体的目标部位上所有标识点的编码图案；第一确定模块，用于依据全方位视频信息、多个标识点的编码图案及编码图案的空间结构信息，确定人体上多个标识点之间的相对位置姿态关系；第一生成模块，用于依据人体上多个标识点之间的相对位置姿态关系，生成人体模型。
可选地，在本申请实施例提供的视频人体动作的获取装置中，第一确定子单元还包括：第一获取模块，用于对视频信息进行识别，获取识别出的标识点的编码图案和识别出的编码图案在视频信息中的位姿信息；第二获取模块，用于依据识别出的编码图案，获取识别出的编码图案在人体模型上的位姿信息；变换模块，用于依据识别出的编码图案在视频信息中的位姿信息和在人体模型上的位姿信息，将人体模型变换至视频信息中；第二确定模块，用于基于变换至视频信息的人体模型，确定人体的目标部位的运动情况。
可选地，在本申请实施例提供的视频人体动作的获取装置中，第一获取子单元包括：第三获取模块，用于获取人体的多个部位的运动信息和人体上多个标识点之间的相对位置姿态关系，其中，运动信息至少包括：人体的多个部位的运动范围和人体的多个部位之间的运动关系；第二生成模块，用于依据人体上多个标识点之间的相对位置姿态关系和人体的多个部位的运动信息，生成人体模型；第一确定子单元包括：第三确定模块，用于依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的运动情况，其中，人体的运动情况包括：人体的目标部位的运动情况。
可选地，在本申请实施例提供的视频人体动作的获取装置中，第一确定模块包括：得到子模块，用于依据编码图案对全方位视频信息进行识别，得到多个视频图像，其中，每个视频图像中至少包含两个编码图案；计算子模块，用于计算视频图像中的多个编码图案在相机坐标系下的坐标信息，其中，相机坐标系与视频图像相对应；确定子模块，用于对多个编码图案在相机坐标系下的坐标信息进行坐标系变换计算，确定多个编码图案在目标编码坐标系的坐标信息，其中，目标编码坐标系由目标编码图案的多个特征点确立；获取子模块，用于依据多个编码图案在目标编码坐标系的坐标信息，获取目标编码坐标系下多个编码图案之间的相对位置姿态关系。
可选地，在本申请实施例提供的视频人体动作的获取装置中，在相机为多个的情况下，视频信息由多个相机拍摄的多个视频组成，确定单元84包括：第二获取子单元，用于依据标定信息和标识点的目标信息，对多个视频信息进行三维重建处理，获取多组相机坐标系下标识点的空间位姿的变化状况；第二确定子单元，用于对多组相机坐标系下标识点的空间位姿的变化状况进行数据匹配处理，获取目标相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
本申请实施例提供的视频人体动作的获取装置，通过第一获取单元81，用于获取相机的标定信息，其中，相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；第二获取单元82，用于获取相机拍摄的视频信息，其中，视频信息中包括多个不同的唯一的编码图案的标识点，标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个编码图案至少包括四个特征点；第三获取单元83，用于获取标识点的目标信息，其中，目标信息至少包括：标识点的编码图案和编码图案的空间结构信息；确定单元84，用于依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况，解决了人体动作捕捉领域中，动作捕捉系统无法同时兼顾结构简单、操作便捷和动作重建准确的问题。
也即，通过获取相机拍摄的包含设置于人体目标部位的标识点的视频信息，并获取标识点的编码图案和编码图案的空间结构信息，进而识别视频信息中的标识点，并判断标识点的空间位姿的变化状况。此外，由于标识点设置与人体目标部位上，因此，可以进一步基于标识的空间位姿的变化状况确定人体的目标部位的运动情况。进而达到了使用普通相机即可进行高精度的三维空间人体运动捕捉的技术效果。
视频人体动作的获取装置包括处理器和存储器，上述第一获取单元81、第二获取单元82、第三获取单元83和确定单元84等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来达到了使用普通相机即可进行高精度的三维空间人体运动捕捉的目的。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现视频人体动作的获取方法。
本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行视频人体动作的获取方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取相机的标定信息，其中，相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；获取相机拍摄的视频信息，其中，视频信息中包括多个不同的唯一的编码图案的标识点，标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个编码图案至少包括四个特征点；获取标识点的目标信息，其中，目标信息至少包括：标识点的编码图案和编码图案的空间结构信息；依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
可选的，依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况包括：获取包含人体上多个标识点之间的相对位置姿态关系的人体模型；依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
可选的，获取包含人体上多个标识点之间的相对位置姿态关系的人体模型包括：采集人体的全方位视频信息，其中，全方位视频信息中记录有人体的目标部位上所有标识点的编码图案；依据全方位视频信息、多个标识点的编码图案及编码图案的空间结构信息，确定人体上多个标识点之间的相对位置姿态关系；依据人体上多个标识点之间的相对位置姿态关系，生成人体模型。
可选的，依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况还包括：对视频信息进行识别，获取识别出的标识点的编码图案和识别出的编码图案在视频信息中的位姿信息；依据识别出的编码图案，获取识别出的编码图案在人体模型上的位姿信息；依据识别出的编码图案在视频信息中的位姿信息和在人体模型上的位姿信息，将人体模型变换至视频信息中；基于变换至视频信息的人体模型，确定人体的目标部位的运动情况。
可选的，获取包含人体上多个标识点之间的相对位置姿态关系的人体模型包括：获取人体的多个部位的运动信息和人体上多个标识点之间的相对位置姿态关系，其中，运动信息至少包括：人体的多个部位的运动范围和人体的多个部位之间的运动关系；依据人体上多个标识点之间的相对位置姿态关系和人体的多个部位的运动信息，生成人体模型；依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况包括：依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的运动情况，其中，人体的运动情况包括：人体的目标部位的运动情况。
可选的，依据全方位视频信息、多个标识点的编码图案及编码图案的空间结构信息，确定人体上多个标识点之间的相对位置姿态关系包括：依据编码图案对全方位视频信息进行识别，得到多个视频图像，其中，每个视频图像中至少包含两个编码图案；计算视频图像中的多个编码图案在相机坐标系下的坐标信息，其中，相机坐标系与视频图像相对应；对多个编码图案在相机坐标系下的坐标信息进行坐标系变换计算，确定多个编码图案在目标编码坐标系的坐标信息，其中，目标编码坐标系由目标编码图案的多个特征点确立；依据多个编码图案在目标编码坐标系的坐标信息，获取目标编码坐标系下多个编码图案之间的相对位置姿态关系。
可选的，在相机为多个的情况下，视频信息由多个相机拍摄的多个视频组成，依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况包括：依据标定信息和标识点的目标信息，对多个视频信息进行三维重建处理，得到多组相机坐标系下标识点的空间位姿的变化状况；对多组相机坐标系下标识点的空间位姿的变化状况进行数据匹配处理，获取目标相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取相机的标定信息，其中，相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；获取相机拍摄的视频信息，其中，视频信息中包括多个不同的唯一的编码图案的标识点，标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个编码图案至少包括四个特征点；获取标识点的目标信息，其中，目标信息至少包括：标识点的编码图案和编码图案的空间结构信息；依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
可选的，依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况包括：获取包含人体上多个标识点之间的相对位置姿态关系的人体模型；依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
可选的，获取包含人体上多个标识点之间的相对位置姿态关系的人体模型包括：采集人体的全方位视频信息，其中，全方位视频信息中记录有人体的目标部位上所有标识点的编码图案；依据全方位视频信息、多个标识点的编码图案及编码图案的空间结构信息，确定人体上多个标识点之间的相对位置姿态关系；依据人体上多个标识点之间的相对位置姿态关系，生成人体模型。
可选的，依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况还包括：对视频信息进行识别，获取识别出的标识点的编码图案和识别出的编码图案在视频信息中的位姿信息；依据识别出的编码图案，获取识别出的编码图案在人体模型上的位姿信息；依据识别出的编码图案在视频信息中的位姿信息和在人体模型上的位姿信息，将人体模型变换至视频信息中；基于变换至视频信息的人体模型，确定人体的目标部位的运动情况。
可选的，获取包含人体上多个标识点之间的相对位置姿态关系的人体模型包括：获取人体的多个部位的运动信息和人体上多个标识点之间的相对位置姿态关系，其中，运动信息至少包括：人体的多个部位的运动范围和人体的多个部位之间的运动关系；依据人体上多个标识点之间的相对位置姿态关系和人体的多个部位的运动信息，生成人体模型；依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况包括：依据标定信息、标识点的目标信息和人体模型，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的运动情况，其中，人体的运动情况包括：人体的目标部位的运动情况。
可选的，依据全方位视频信息、多个标识点的编码图案及编码图案的空间结构信息，确定人体上多个标识点之间的相对位置姿态关系包括：依据编码图案对全方位视频信息进行识别，得到多个视频图像，其中，每个视频图像中至少包含两个编码图案；计算视频图像中的多个编码图案在相机坐标系下的坐标信息，其中，相机坐标系与视频图像相对应；对多个编码图案在相机坐标系下的坐标信息进行坐标系变换计算，确定多个编码图案在目标编码坐标系的坐标信息，其中，目标编码坐标系由目标编码图案的多个特征点确立；依据多个编码图案在目标编码坐标系的坐标信息，获取目标编码坐标系下多个编码图案之间的相对位置姿态关系。
可选的，在相机为多个的情况下，视频信息由多个相机拍摄的多个视频组成，依据标定信息和标识点的目标信息，对视频信息进行三维重建处理，得到相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况包括：依据标定信息和标识点的目标信息，对多个视频信息进行三维重建处理，得到多组相机坐标系下标识点的空间位姿的变化状况；对多组相机坐标系下标识点的空间位姿的变化状况进行数据匹配处理，获取目标相机坐标系下标识点的空间位姿的变化状况，以确定人体的目标部位的运动情况。
本发明实施例提供了一种视频人体动作的获取系统，如图9所示，本实施例中的视频人体动作的获取系统至少包括：编码标识单元、视频采集单元和计算单元。
编码标识单元，用于生成一种特殊空间编码的标识点，其中，每个标识点的编码信息包含一个唯一的身份识别号码(ID)以及带有尺度的空间结构信息，其中，这种标识点被固定于目标物体上作为标记。
作为一个可选的示例，如图10所示，这种标识点可以相互连接组成的标识带，用于固定在目标物体上，进而检测目标物体的运动状况。
视频采集单元，包括至少一台数字相机，用于采集视频图像。
需要说明的是：本申请提供的实施例在原理上只需要单相机即可进行空间标识点的三维重建，如果使用多相机从不同角度对目标物体进行视频采集，可在后续计算过程中起到优化标识点坐标、提升三维重建精度和减少遮挡造成的数据缺失的作用。此外，为保证标识带三维重建精度，一般地，视频至少采用1080p分辨率，视频帧率与影视作品需求一致即可，例如25fps。
在编码标识单元仅生成标识点的情况下，三维重建计算单元主要包括：相机内参标定模块、标识点的三维重建模块和数据配准模块。
在编码标识单元还生成标识带的情况下，三维重建计算单元主要包括：相机内参标定模块、标识点的三维重建模块、数据配准模块、以及标识带模型学习模块。
其中，通过相机内参标定模块得到相机内参数，通过标识点的三维重建模块计算出单个标识点在视频信息中的空间位姿信息，通过标识带模型学习模块得到标识带上标识点之间不随时间改变的空间相对位姿关系，最后，再根据数据配准模块依据标识带上标识点之间不随时间改变的空间相对位姿关系，计算出所有标识点的坐标。
此外，若采用多相机(两个或两个以上)采集单元系统，通过数据配准将各相机坐标系下的标识点的坐标对齐至同一坐标系下，可进一步优化所有标识点空间坐标并修复单相机因为遮挡造成的数据缺失。由此，得到目标物体上各标识点的空间坐标后，即可输出至多种动画制作软件(如Motionbuilder等)绑定动画角色模型实现动作驱动。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种视频人体动作的获取方法，其特征在于，包括：
获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；
获取所述相机拍摄的视频信息，其中，所述视频信息中包括多个不同的唯一的编码图案的标识点，所述标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个所述编码图案至少包括四个特征点；
获取所述标识点的目标信息，其中，所述目标信息至少包括：所述标识点的编码图案和所述编码图案的空间结构信息；
依据所述标定信息和所述标识点的目标信息，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况；
依据所述标定信息和所述标识点的目标信息，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况包括：获取包含所述人体上多个标识点之间的相对位置姿态关系的人体模型；依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况；
其中，所述编码图案包括：环形编码图案，其中心图案用于坐标定位，外环图案通过不同的黑白二值变化实现编码，形成唯一的编码图案；
其中，获取包含所述人体上多个标识点之间的相对位置姿态关系的人体模型包括：
采集所述人体的全方位视频信息，其中，所述全方位视频信息中记录有所述人体的目标部位上所有标识点的编码图案；
依据所述全方位视频信息、多个所述标识点的编码图案及所述编码图案的空间结构信息，确定所述人体上多个标识点之间的相对位置姿态关系；
依据所述人体上多个标识点之间的相对位置姿态关系，生成人体模型。
2.根据权利要求1所述的方法，其特征在于，依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况还包括：
对所述视频信息进行识别，获取识别出的标识点的编码图案和所述识别出的编码图案在所述视频信息中的位姿信息；
依据所述识别出的编码图案，获取所述识别出的编码图案在人体模型上的位姿信息；
依据所述识别出的编码图案在所述视频信息中的位姿信息和在所述人体模型上的位姿信息，将所述人体模型变换至所述视频信息中；
基于变换至所述视频信息的所述人体模型，确定所述人体的目标部位的运动情况。
3.根据权利要求1所述的方法，其特征在于，
获取包含所述人体上多个标识点之间的相对位置姿态关系的人体模型包括：
获取所述人体的多个部位的运动信息和所述人体上多个标识点之间的相对位置姿态关系，其中，所述运动信息至少包括：所述人体的多个部位的运动范围和所述人体的多个部位之间的运动关系；
依据所述人体上多个标识点之间的相对位置姿态关系和所述人体的多个部位的运动信息，生成人体模型；
依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况包括：
依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的运动情况，其中，所述人体的运动情况包括：所述人体的目标部位的运动情况。
4.根据权利要求1所述的方法，其特征在于，依据所述全方位视频信息、多个所述标识点的编码图案及所述编码图案的空间结构信息，确定所述人体上多个标识点之间的相对位置姿态关系包括：
依据所述编码图案对所述全方位视频信息进行识别，得到多个视频图像，其中，每个所述视频图像中至少包含两个所述编码图案；
计算所述视频图像中的多个所述编码图案在相机坐标系下的坐标信息，其中，所述相机坐标系与所述视频图像相对应；
对多个所述编码图案在所述相机坐标系下的坐标信息进行坐标系变换计算，确定多个所述编码图案在目标编码坐标系的坐标信息，其中，所述目标编码坐标系由目标编码图案的多个特征点确立；
依据多个所述编码图案在所述目标编码坐标系的坐标信息，获取目标编码坐标系下多个所述编码图案之间的相对位置姿态关系。
5.根据权利要求1所述的方法，其特征在于，在所述相机为多个的情况下，所述视频信息由多个相机拍摄的多个视频组成，依据所述标定信息和所述标识点的目标信息，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况包括：
依据所述标定信息和所述标识点的目标信息，对多个所述视频信息进行三维重建处理，得到多组相机坐标系下所述标识点的空间位姿的变化状况；
对多组相机坐标系下所述标识点的空间位姿的变化状况进行数据匹配处理，获取目标相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况。
6.一种视频人体动作的获取装置，其特征在于，包括：
第一获取单元，用于获取相机的标定信息，其中，所述相机的标定信息至少包括：镜头焦距、成像中心、倾斜因子以及畸变参数；
第二获取单元，用于获取所述相机拍摄的视频信息，其中，所述视频信息中包括多个不同的唯一的编码图案的标识点，所述标识点设置于人体的目标部位上，用于标记人体的目标部位的运动状况，每个所述编码图案至少包括四个特征点；
第三获取单元，用于获取所述标识点的目标信息，其中，所述目标信息至少包括：所述标识点的编码图案和所述编码图案的空间结构信息；
确定单元，用于依据所述标定信息和所述标识点的目标信息，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况；
其中，确定单元包括：第一获取子单元，用于获取包含所述人体上多个标识点之间的相对位置姿态关系的人体模型；第一确定子单元，用于依据所述标定信息、所述标识点的目标信息和所述人体模型，对所述视频信息进行三维重建处理，得到相机坐标系下所述标识点的空间位姿的变化状况，以确定所述人体的目标部位的运动情况；
其中，所述编码图案包括：环形编码图案，其中心图案用于坐标定位，外环图案通过不同的黑白二值变化实现编码，形成唯一的编码图案；
其中，所述第一获取子单元包括：
采集模块，用于采集所述人体的全方位视频信息，其中，所述全方位视频信息中记录有所述人体的目标部位上所有标识点的编码图案；
第一确定模块，用于依据所述全方位视频信息、多个所述标识点的编码图案及所述编码图案的空间结构信息，确定所述人体上多个标识点之间的相对位置姿态关系；
第一生成模块，用于依据所述人体上多个标识点之间的相对位置姿态关系，生成人体模型。
7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的视频人体动作的获取方法。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的视频人体动作的获取方法。
CN201810865700.5A 2018-08-01 2018-08-01 视频人体动作的获取方法和装置 Active CN109241841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810865700.5A CN109241841B (zh) 2018-08-01 2018-08-01 视频人体动作的获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810865700.5A CN109241841B (zh) 2018-08-01 2018-08-01 视频人体动作的获取方法和装置

Publications (2)

Publication Number Publication Date
CN109241841A CN109241841A (zh) 2019-01-18
CN109241841B true CN109241841B (zh) 2022-07-05

Family

ID=65073473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810865700.5A Active CN109241841B (zh) 2018-08-01 2018-08-01 视频人体动作的获取方法和装置

Country Status (1)

Country Link
CN (1) CN109241841B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109758756B (zh) * 2019-02-28 2021-03-23 国家体育总局体育科学研究所 基于3d相机的体操视频分析方法及系统
CN109993798B (zh) * 2019-04-09 2021-05-28 上海肇观电子科技有限公司 多摄像头检测运动轨迹的方法、设备及存储介质
CN110772749A (zh) * 2019-11-28 2020-02-11 杨雯悦 跳绳计数方法和系统
CN111460908B (zh) * 2020-03-05 2023-09-01 中国地质大学（武汉） 一种基于OpenPose的人体摔倒识别方法及系统
CN113689578B (zh) * 2020-05-15 2024-01-02 杭州海康威视数字技术股份有限公司 一种人体数据集生成方法及装置
CN113095675B (zh) * 2021-04-12 2022-03-29 华东师范大学 一种网络考试中依靠标识点监控考生动作模式的方法
CN113487726A (zh) * 2021-07-12 2021-10-08 北京未来天远科技开发有限公司 动作捕捉系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975552A (zh) * 2010-08-30 2011-02-16 天津工业大学 一种基于编码点与计算机视觉的车架的关键点测量方法
CN103198492A (zh) * 2013-03-28 2013-07-10 沈阳航空航天大学 一种人体运动捕获方法
CN103456016A (zh) * 2013-09-06 2013-12-18 同济大学 一种视角无关的体感摄像机网标定方法
CN104299261A (zh) * 2014-09-10 2015-01-21 深圳大学 人体三维成像方法及系统
CN105096376A (zh) * 2014-04-30 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN106529635A (zh) * 2016-10-18 2017-03-22 网易（杭州）网络有限公司 一种编码图案的生成、识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9673824B2 (en) * 2012-10-26 2017-06-06 Altera Corporation Techniques and circuitry for configuring and calibrating an integrated circuit
US10403019B2 (en) * 2015-12-16 2019-09-03 Lucasfilm Entertainment Company Multi-channel tracking pattern
CN106197263B (zh) * 2016-06-28 2018-10-16 大连理工大学 基于机器视觉的多体投放位姿测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975552A (zh) * 2010-08-30 2011-02-16 天津工业大学 一种基于编码点与计算机视觉的车架的关键点测量方法
CN103198492A (zh) * 2013-03-28 2013-07-10 沈阳航空航天大学 一种人体运动捕获方法
CN103456016A (zh) * 2013-09-06 2013-12-18 同济大学 一种视角无关的体感摄像机网标定方法
CN105096376A (zh) * 2014-04-30 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN104299261A (zh) * 2014-09-10 2015-01-21 深圳大学 人体三维成像方法及系统
CN106529635A (zh) * 2016-10-18 2017-03-22 网易（杭州）网络有限公司 一种编码图案的生成、识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"数字工业摄影测量技术及应用";冯其强等;《测绘出版社》;20130531;第32-33页 *

Also Published As

Publication number Publication date
CN109241841A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109241841B (zh) 视频人体动作的获取方法和装置
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN101542538B (zh) 用来对光进行建模的方法与系统
CN109102527B (zh) 基于标识点的视频动作的获取方法和装置
RU2521725C2 (ru) Система и способ трехмерного измерения формы материальных объектов
CN110246185B (zh) 图像处理方法、装置、系统、存储介质和标定系统
CN110400315A (zh) 一种缺陷检测方法、装置及系统
US20170278302A1 (en) Method and device for registering an image to a model
JP2009515493A (ja) カメラ動きの決定
CN110458940B (zh) 动作捕捉的处理方法和处理装置
CN111981982B (zh) 一种基于加权sfm算法的多向合作靶标光学测量方法
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN111060008B (zh) 一种3d智能视觉设备
CN109559349A (zh) 一种用于标定的方法和装置
CN104766345B (zh) 基于衣服特征点的身体扫描及运动捕捉方法
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
Ahmadabadian et al. An automatic 3D reconstruction system for texture-less objects
CN112416133B (zh) 手部动作捕捉方法、装置、电子设备及存储介质
CN113689578B (zh) 一种人体数据集生成方法及装置
KR20220160066A (ko) 이미지 처리 방법 및 장치
Nousias et al. Large-scale, metric structure from motion for unordered light fields
CN211178345U (zh) 一种三维采集设备
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
CN111192350A (zh) 一种基于5g通信vr头盔的动作捕捉系统及方法
CN109101916B (zh) 基于标识带的视频动作的获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant