CN114821006A - 交互式间接推理的孪生体态检测方法及系统 - Google Patents

交互式间接推理的孪生体态检测方法及系统 Download PDF

Info

Publication number
CN114821006A
CN114821006A CN202210715227.9A CN202210715227A CN114821006A CN 114821006 A CN114821006 A CN 114821006A CN 202210715227 A CN202210715227 A CN 202210715227A CN 114821006 A CN114821006 A CN 114821006A
Authority
CN
China
Prior art keywords
mobile phone
human
reasoning
skeleton
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210715227.9A
Other languages
English (en)
Other versions
CN114821006B (zh
Inventor
张卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dunyu Shanghai Internet Technology Co ltd
Original Assignee
Dunyu Shanghai Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dunyu Shanghai Internet Technology Co ltd filed Critical Dunyu Shanghai Internet Technology Co ltd
Priority to CN202210715227.9A priority Critical patent/CN114821006B/zh
Publication of CN114821006A publication Critical patent/CN114821006A/zh
Application granted granted Critical
Publication of CN114821006B publication Critical patent/CN114821006B/zh
Priority to US18/339,186 priority patent/US11809616B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种交互式间接推理的孪生体态检测方法及系统，包括：步骤S1：根据个人运用手机的偏好类型，基于手机综合传感器实时获取的数据集，利用相应偏好人体骨骼各部位推理器，推理得到相应偏好人体骨骼各部位姿态；步骤S2：将推理得到相应偏好人体骨骼各部位姿态合并生成多个初始虚拟骨骼；步骤S3：将合并成的多个初始虚拟骨骼通过预设人体力学约束得到符合约束的若干数量的整体虚拟骨骼；步骤S4：筛选后得到的预设数量的整体虚拟骨骼利用整体骨骼推理器推理得到孪生虚拟姿态。

Description

交互式间接推理的孪生体态检测方法及系统
技术领域
本发明涉及数字智能技术领域，具体地，涉及交互式间接推理的孪生体态检测方法及系统，更为具体地，通过高端制造中数字孪生技术实现软件赋能和智能赋能，结合感应设备和智能设备实现用户无需外在辅助采集和穿戴设备，随时随地都能接入具备体态互动的虚拟现实应用。
背景技术
物理世界与虚拟数字世界之间的联系，长期以来一直仰仗各种传感器和辅助外设包括特定的智能穿戴和头戴显示（HMD），以帮助用户建立两个平行空间连通的桥梁，而感官一致性的提高提升正是用户与行业始终追求和致力的方向，缺陷既有当前传感外设的体验局限性，局限也有多种多样的设备间的兼容性和各家硬件厂商提供传感器外设并非是通用消费者都会选用的设施，以至于更大的结果缺陷是导致虚拟现实的普及困难和体验一致性较低。
而移动智能终端（手机、平板、智能穿戴等）具备屏幕显示、自带网络通讯，有一定程度的计算力特点。已经普及且通用性强。如依赖这些通用设备就能提供一种基础的且通用的体态检测方法，将极大的方便虚拟现实的通用性和普及性。比如就不需要特定的HMD（佩戴限制和兼容性适配性限制），特定的手柄来同时占用双手（便捷性限制），特定的额外摄像机图像捕获（场所和摄像头装备依赖），特定的穿戴式姿态定位器（不能随时随地进行，使用空间受限，设备专业且昂贵）等。
以上客观描绘了虚拟现实在普及过程中所面临的普及性和实时性现状，也引入通过移动智能终端就能构建的一种基础孪生体态检测方法；而本发明提供了一种交互式间接推理的孪生体态检测方法及系统，通过高端制造中数字智能部分（数字孪生技术）实现软件赋能和智能赋能，再结合感应设备和智能设备实现了普通消费者用户无需外在辅助采集和穿戴设备，随时随地都能接入具备体态互动的虚拟现实应用。
专利文献CN113610969A（申请号：202110974124.X）公开了一种三维人体模型生成方法，包括：获取在多个视角中拍摄的待检测图像；检测待检测图像包含的人体区域，并检测人体区域中包含的骨骼关键点数据组；利用人体区域及骨骼关键点数据组，构建待检测图像之间的融合亲和性矩阵，并利用融合亲和性矩阵确定人体区域之间的匹配关系；利用匹配关系以及骨骼关键点数据组进行姿态构造，生成三维人体模型；本方法可从多个视角分析人物的姿态，并可提取待检测图像中包含人体区域及骨骼关键点数据，最后可利用人体区域之间的匹配关系及骨骼关键点数据组生成三维人体模型，可全面有效还原人体三维姿态；该专利依仗传感器和多视角，与本发明的间接推理不同。
专利文献CN111311714A（申请号：202010244300.X）公开了一种三维动画的姿态预测方法和系统。所述方法包括：获取目标角色在一帧或多帧已有图像中的姿态信息；将所述姿态信息输入训练好的姿态预测模型，确定后继帧图像中所述目标角色的预测姿态信息；所述姿态信息包括骨骼旋转角度信息以及步态运动信息。本发明与该专利相比实现目标不同，检测手法和方法都不同。
专利文献CN112132955A（申请号：202010902457.7）公开了一种人体骨骼的数字孪生体构建方法，针对真实人体骨骼利用VR动作捕捉和传感器技术采集人体重要位置处数据，通过人工智能进行数据分类、筛选、约简与计算得到关键数据。通过人体反向动力学与生物力学算法对关键数据求解得到目标骨骼的空间方位信息与力学信息，将部分传感器数据与计算结果融合后对目标骨骼进行仿真模拟，得到目标骨骼的生物力学性能并利用多种预测算法对未知姿态下骨骼的生物力学性能进行预测；最后将性能数据建模渲染得到真实骨骼的高保真数字孪生体，实现对骨骼生物力学性能的忠实孪生映射。该专利采用了VR设备的传感器和外部传感，鉴于这些设备本身就能极大的拿到直接感应数据来完成体态检测与本发明采用的交互式间接还是很大区别，更不一样的是本发明根据不同部位做推理器设计，实现针对性强的推理检测保障。
专利文献CN110495889A（申请号：201910599978.7）公开了一种体态评估方法、电子装置、计算机设备及存储介质，通过获取待测图像，所述待测图像包括测试者立正站立的正面全身图像及侧面全身图像；从所述待测图像中提取骨骼关键点；根据所述骨骼关键点计算测试者姿态向量；获取所述测试者姿态向量的弯曲角度。该专利依仗传感器和多视角，这与本发明的间接推理不同。
专利文献CN113191324A（申请号：202110565975.9）公开了一种基于多任务学习的行人行为意图预测方法，包括：构建训练样本集；利用基础网络、姿态检测网络和意图识别网络构建行人行为意图预测模型，基础网络以训练样本集中的单帧图像作为输入，提取图像特征，得到特征图；姿态检测网络的编码器部分包括部位强度场子网络和部位关联场子网络，分别以特征图作为输入，以关节特征图和骨骼特征图作为输出，姿态检测网络的解码器部分根据关节特征图和骨骼特征图得到行人姿态图像，意图识别网络以特征图作为输入，以行人行为意图图像作为输出；对行人行为意图预测模型进行训练，并利用其预测行人行为意图。该专利依仗传感器和图像特征提取，这与本发明的间接推理不同，带来的作用更不同。
专利文献CN112884780A（申请号：202110165636.1）公开了一种用于人体姿态的估计方法和系统，包括将图像输入包括四层编码层和四层解码层结构的编码解码器网络中训练，输出语义分割结果；利用能量函数将前两个编码层中获得的像素语义概率图转换为边缘激活像素图，响应于像素的激活值大于激活值阈值，该像素为边缘像素；基于语义分割结果中的语义标签将属于同一实例的像素聚集获得实例分割结果，实例分割结果包括表示每个像素所属实例的掩码；利用全卷积网络生成人体骨骼置信度图，输出每个实例中每个像素所属骨骼部件标签，通过全连接网络回归关节点位置，在每个实例内进行关节点的连接构造出人体的骨架结构获取人体姿态信息。该专利依仗传感器和图像特征提取，这与本发明的间接推理不同，带来的作用更不同。
专利文献CN108830150B（申请号：201810426144.1）公开了一种基于三维人体姿态估计方法及装置，其中，该方法包括S1：运用单目相机采集人体不同角度的深度图像和RGB彩色图像；S2：基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；S3：构造手部关节节点2D-3D映射网络；S4：标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；S5：基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；S6：合并步骤S3和步骤S5的输出，实现对三维人体姿态估计的精细化估计。该专利依仗传感器和图像特征提取，这与本发明的间接推理不同，带来的作用更不同。
专利文献CN109885163A（申请号：201910122971.6）公开了一种虚拟现实多人交互协作方法与系统，该系统包括运动采集设备，以采集得到用户骨骼数据；多个客户端，用以根据所述用户骨骼数据进行数据建模得到用户姿态数据，及映射到骨骼模型的每个关节点的关节位置初始数据中；服务器，用以将所述骨骼模型的关节位置初始数据与该用户的场景角色进行绑定，得到并同步传输角色位置数据给其他场景角色；所述客户端还用以更新场景角色的关节位置初始数据，与虚拟场景的模型动画结合，形成姿态运动骨骼动画。该专利待解决的问题虽然都涉及交互和动作，但交互的目的不同，动作的生成方法不同，落脚点的依赖源与本发明的间接推理不同。
专利文献CN112926550A（申请号：202110406810.7）公开了一种基于三维图像人体姿态匹配的人机交互方法及其设备，对交互机器进行初始化，并基于交互要求，将对应的模板姿态三维图像存储至所述交互机器中；基于深度学习法获取对应的多个节点，并基于多个节点构建三维骨骼模型；获取当前待交互人体骨架信息，并输入所述三维骨骼模型中，得到人体姿态特征；计算所述人体姿态特征与交互数据集之间的损失函数值，并与设定的阈值进行比较，判断是否进行人机交互，提升人机交互功能的使用体验。该专利待解决的问题虽然都涉及交互和动作，但交互的目的不同，动作的生成方法不同，落脚点的依赖源与本发明的间接推理不同。
专利文献CN110675474A（申请号：201910758741.9）公开了一种虚拟角色模型的学习方法、电子设备和可读存储介质。上述虚拟角色模型的学习方法，包括：获取当前视频图像帧中目标人物的动作对应的第一骨骼姿态信息；根据所述第一骨骼姿态信息和第二骨骼姿态信息，获取所述当前视频图像帧对应的虚拟角色模型的骨骼姿态调整信息；其中，所述第二骨骼姿态信息为上一视频图像帧对应的虚拟角色模型的骨骼姿态信息；根据所述骨骼姿态调整信息驱动所述虚拟角色模型，以供所述虚拟角色模型学习所述当前视频图像帧中目标人物的动作，使得可以模拟虚拟角色模型与人之间的学习过程，以形成人与虚拟角色之间的训练、教育、养成等交互体验。该专利待解决的问题虽然都涉及交互和动作，但交互的目的不同，动作的生成方法不同，数据来源也不同，落脚点的依赖源与本发明的间接推理不同。
专利文献CN113158459A（申请号：202110422431.7）公开了一种基于视觉和惯性信息融合的人体姿态估计方法，针对基于3D视觉传感器的人体姿态估计方法无法提供三自由度旋转信息的缺点，利用视觉与惯性信息的互补性，采用非线性优化的方法自适应融合视觉信息、惯性信息以及人体姿态先验信息，得到每个时刻人体骨骼节点的旋转角度和根骨骼节点的全局位置，完成实时的人体姿态估计。该专利待解决的问题虽然都涉及姿态估计和动作生成，但动作的生成方法不同，数据来源也不同，落脚点的依赖源与本发明的间接推理不同。
专利文献CN108876815B（申请号：201810403604.9）公开了一种骨骼姿态计算方法、人物虚拟模型驱动方法及存储介质，其中骨骼姿态计算方法是人物虚拟模型驱动方法的关键步骤，该方法包括基于反向运动学的骨骼姿态迭代计算过程，使用逆向推导的思想，根据肢端的姿态信息变化量来逆向计算人体骨骼链的中间关节的关节角度变化量，使得每次迭代之后各个关节角度都接近最佳值，有效保证模拟肢体动作时的平滑渐变效果，满足逼真地模拟肢体动作的应用需求。此外，迭代计算过程中采取了多重判断机制，能够将各个关节角度变化量以及肢端的姿态信息变化量及时地更新至下一次的迭代计算之中，简化了判断过程并确保了迭代循环的有效性，利于在确保计算结果正确的情形下提高系统的计算速度，可增强肢体动作捕捉过程的实时性。该专利待解决的问题虽然都涉及姿态估计和动作生成，但动作的生成方法不同，数据来源也不同，落脚点的依赖源与本发明的间接推理不同，而且该专利实际上属于快速骨骼计算的优化方法，提高动画连续性平滑，虚拟人物也是呈现的落脚点，但本发明看得见的是智能设备旋转和移动，看不见的孪生人体是为了作为约束和映射，解决转化为间接推理的体态设定的逻辑中间环节，并且最终输出后给应用使用时，既可以用在虚拟人物做最终渲染输出，也可以做应用仿真示范，所以本发明的孪生人体和虚拟人部位是种映射关系的可视化约束。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种交互式间接推理的孪生体态检测方法及系统。
根据本发明提供的一种交互式间接推理的孪生体态检测方法，包括：
步骤S1：根据个人运用手机的偏好类型，基于手机综合传感器实时获取的数据集，利用相应偏好人体骨骼各部位推理器，推理得到相应偏好人体骨骼各部位姿态；
步骤S2：将推理得到相应偏好人体骨骼各部位姿态合并生成多个初始虚拟骨骼；
步骤S3：将合并成的多个初始虚拟骨骼通过预设人体力学约束得到符合约束的若干数量的整体虚拟骨骼；
步骤S4：筛选后得到的预设数量的整体虚拟骨骼利用整体骨骼推理器推理得到孪生虚拟姿态。
优选地，所述人体骨骼各部位推理器包括：左手部推理器、右手部推理器、左胳膊推理器、右胳膊推理器、躯干推理器、头部推理器、左腿部推理器以及右腿部推理器。
优选地，所述手机综合传感器包括：九轴陀螺仪、加速度传感器、速度传感器、红外距离传感器、触控传感器以及能够获得手机程序运行参考信息的传感器；
通过所述九轴陀螺仪获取手机旋转角度；
通过所述加速度传感器获取手机水平移动加速度；
通过所述速度传感器获取手机水平移动速度；
通过所述红外距离传感器获取手机海拔高度值；
通过所述触控传感器获取手机屏幕是否被点击的状态信息；
通过所述能够获得手机程序运行参考信息的传感器对手机的使用状态进行辨别。
优选地，所述预设人体力学约束采用：
步骤S3.1：采集预设数量满足预设要求的非常规人体姿态的图片；
步骤S3.2：基于采集的非常规人体姿态图片提取虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据，其中，虚拟骨骼定位点的欧式空间的三维坐标的坐标原点以开始启动推理虚拟骨骼的原始位置为初始点；
步骤S3.3：基于提取的虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据修正人体自然工程力学的约束容忍度；
所述人体自然工程力学是符合生理动作的自然范畴，包括人体生理弯曲、人体生理结构的连贯和连接以及人体关节的弯曲。
优选地，所述步骤S3采用：将合并后的多个初始虚拟骨骼通过预设人体力学进行约束合并归一化处理，得到符合约束的若干数量的整体虚拟骨骼。
根据本发明提供的一种交互式间接推理的孪生体态检测系统，包括：
模块M1：根据个人运用手机的偏好类型，基于手机综合传感器实时获取的数据集，利用相应偏好人体骨骼各部位推理器，推理得到相应偏好人体骨骼各部位姿态；
模块M2：将推理得到相应偏好人体骨骼各部位姿态合并生成多个初始虚拟骨骼；
模块M3：将合并成的多个初始虚拟骨骼通过预设人体力学约束得到符合约束的若干数量的整体虚拟骨骼；
模块M4：筛选后得到的预设数量的整体虚拟骨骼利用整体骨骼推理器推理得到孪生虚拟姿态。
优选地，所述人体骨骼各部位推理器包括：左手部推理器、右手部推理器、左胳膊推理器、右胳膊推理器、躯干推理器、头部推理器、左腿部推理器以及右腿部推理器。
优选地，所述手机综合传感器包括：九轴陀螺仪、加速度传感器、速度传感器、红外距离传感器、触控传感器以及能够获得手机程序运行参考信息的传感器；
通过所述九轴陀螺仪获取手机旋转角度；
通过所述加速度传感器获取手机水平移动加速度；
通过所述速度传感器获取手机水平移动速度；
通过所述红外距离传感器获取手机海拔高度值；
通过所述触控传感器获取手机屏幕是否被点击的状态信息；
通过所述能够获得手机程序运行参考信息的传感器对手机的使用状态进行辨别。
优选地，所述预设人体力学约束采用：
模块M3.1：采集预设数量满足预设要求的非常规人体姿态的图片；
模块M3.2：基于采集的非常规人体姿态图片提取虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据；其中，虚拟骨骼定位点的欧式空间的三维坐标的坐标原点以开始启动推理虚拟骨骼的原始位置为初始点；
模块M3.3：基于提取的虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据修正人体自然工程力学的约束容忍度；
所述人体自然工程力学是符合生理动作的自然范畴，包括人体生理弯曲、人体生理结构的连贯和连接以及人体关节的弯曲；
优选地，所述模块M3采用：将合并后的多个初始虚拟骨骼通过预设人体力学进行约束合并归一化处理，得到符合约束的若干数量的整体虚拟骨骼。
与现有技术相比，本发明具有如下的有益效果：
1、本发明可依赖智能移动设备的内在传感器，结合用户使用的体态惯性，依仗孪生人体关节与设备的关联体，间接推算出体态变化的过程；
2、本发明体态检测和体态生成不需要借助额外头盔，手柄，外部贴身感应器和独立外部摄像头等，直接根据移动智能设备上的传感器（陀螺仪，加速度，水平仪，地磁，触控屏滑动等）和被用户使用交互的相对空间关系来推理生成虚拟体态，再间接对实体体态进行检测；
3、基于手机内在传感器获得的数据，利用人体骨骼各部位推理器分别进行推理，结合人体力学约束以及整体骨骼推理器，提高推理的准确度；
4、基于非常规姿态修正人体自然工程力学的约束容忍度，从而提高推理的准确度；
5、基于个人使用手机偏好选择相应数据集训练相应偏好的推理器，提高了推理的准确度；
6、虚拟体态检测结果转化成体态虚拟骨骼的方式提供给生态应用使用。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为全流程与孪生间接姿态推理间关系示意图。
图2为移动智能终端在重力引力正常下的旋转与肢体行为是临时骨骼延申示意图。
图3为骨骼推理示范示意图。
图4为骨骼推理示范示意图。
图5为骨骼推理示范示意图。
图6为骨骼推理示范示意图。
图7为骨骼推理示范示意图。
图8为骨骼推理示范示意图。
图9为通过手机传感的间接推理示范示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
以往的传感器是通过直接采集而得到判断的准确对应关系，比如速度传感器获得速度，本发明是通过一组相关传感信息来做间接推理，因为人的行为与使用，有很大重复和间接产生的传感。落实到时间空间的不同，姿态的不同，表现得到的几种基础传感就不同，反过来这样的过程就是间接推理的实现了通过基础传感器配合得到了时空和姿态的最可能的信息，避免了额外和不可达的传感装备设定。
实施例1
如图2所示的旋转变化，在全720°三维的空间中并不单是它自己的旋转，设备的姿态变化是因为使用者的骨骼联动所致，通过本发明中一种交互式间接推理的孪生体态检测方法及系统，会将这个三维空间旋转映射成为正在使用的孪生者的若干种孪生体态。
根据本发明提供的一种交互式间接推理的孪生体态检测方法，如图1-9所示，包括：
步骤S1：人机交互时，基于手机综合传感器获取的数据集以及相应的人体骨骼各部位姿态构建训练集；
具体地，手机综合传感器包括：九轴陀螺仪、加速度传感器、速度传感器、红外距离传感器、触控传感器以及能够获得手机程序运行参考信息的传感器（例如：获取屏幕亮度传感器、获取遮盖光线感应的传感器以及扬声器）；
手机综合传感器获取的数据集包括：
通过所述九轴陀螺仪获取手机旋转角度；
通过所述加速度传感器获取手机水平移动加速度；
通过所述速度传感器获取手机水平移动速度；
通过所述红外距离传感器获取手机海拔高度值；
通过所述触控传感器获取手机屏幕是否被点击的状态信息；
通过所述能够获得手机程序运行参考信息的传感器用来对手机的使用状态来做辨别比如非点击但被使用或观看等；
具体地，人体骨骼各部位姿态包括：手部姿态、胳膊姿态、躯干姿态、头部姿态以及腿部姿态；
所述手部姿态包括：左手单手抬起手机、右手单手抬起手机以及双手抬起手机；
所述胳膊姿态包括：抬胳膊姿态和落胳膊姿态；
所述躯干姿态包括：直立姿、坐姿、蹲姿以及躺姿；进一步地，包括：前倾直立姿，正直立姿，前倾斜坐姿，后倾斜坐姿，正坐姿，蹲姿，面向上躺姿和面向下躺姿；
所述头部姿态包括：视线直视、视线向左、视线向右、视线向上以及视线向下；
所述腿部姿态包括：步行、行车、坐姿、站立以及躺姿；
步骤S2：对训练集基于采集对象运用手机的偏好类型进行标注分类，并基于不同偏好类型的训练集分别训练相应偏好人体骨骼各部位推理器；
具体地，所述采集对象运用手机的偏好类型包括：左手为常用手以及右手为常用手；
所述人体骨骼各部位推理器包括：左手部推理器、右手部推理器、左胳膊推理器、右胳膊推理器、躯干推理器、头部推理器、左腿部推理器以及右腿部推理器。
步骤S3：人机交互时，训练整体骨骼推理器，整体骨骼推理器根据输入的整体骨骼姿态得到相应权重；
步骤S4：根据个人运用手机的偏好类型，基于手机综合传感器实时获取的数据集，利用相应偏好人体骨骼各部位推理器，推理得到相应偏好人体骨骼各部位姿态；
具体地，如图3、4所示，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息以及手机是否持续有一定量的震动，利用相应偏好的左手部推理器以及右手部推理器推理得到当前抬起的是左手、右手或双手；
更为具体地，基于手机综合传感器获取包括：没有水平和垂直位移、陀螺仪检测屏幕显示平面在垂直地面的±∠15°之间，且通过定位信息得知不在海上或飞机上，手机持续在亮屏而非触控，过程中有持续的一定量震动，则通过左手部推理器以及右手部推理器推理得到当前抬起的是不常用手，反之则为常用手；其中，定量震动的判断阈值时通过初始化学习用户操作偏好过程中，让用户持续握住屏幕来检测习惯性双手的晃动差；而在手机综合传感器检测到没有手机触控操作时，有最小量的微振动且不是传感器噪音，当手机检测到为横屏模式，则通过手部推理器推理得到双手抬起拿着设备；当手机检测到为竖屏模式，则通过手部推理器推理得到常用手的单手抬起操作。
具体地，如图4、5所示，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息、手机是否持续有一定量的震动、手机距离地面的高度（此处均以正常身高的成年人为例）以及屏幕面的法线与地面的角度，利用相应偏好的左胳膊推理器以及右胳膊推理器推理得到当前胳膊是抬起或落下姿态；
更为具体地，基于手机综合传感器获取包括：屏幕面的法线与地面超过∠105°,则为俯视屏幕，通过左胳膊推理器和/或右胳膊推理器推理得到胳膊为落下姿态；屏幕面的法线与地面小于∠75°，通过左胳膊推理器和/或右胳膊推理器推理得到胳膊为抬起姿态。
具体地，如图5、6、8所示，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息、手机是否持续有一定量的震动、手机距离地面的高度、屏幕面的法线与地面的角度以及屏幕的朝向，利用相应偏好的躯干推理器推理得到躯干姿态为前倾直立姿，正直立姿，前倾斜坐姿，后倾斜坐姿，正坐姿，蹲姿，面向上躺姿或面向下躺姿；
更为具体地，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息、手机是否持续有一定量的震动、手机距离地面的高度、屏幕面的法线与地面的角度推理得到躯干是直立姿、坐姿或蹲姿；再根据屏幕的朝向进一步推理得到躯干为前倾直立姿，正直立姿，前倾斜坐姿，后倾斜坐姿，正坐姿，蹲姿，面向上躺姿或面向下躺姿。
具体地，如图9所示，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息、手机是否持续有一定量的震动、手机距离地面的高度、屏幕面的法线与地面的角度以及屏幕的朝向，利用相应偏好的头部推理器推理得到与躯干姿态一致的头部姿态；头部姿态的初始姿态为视线直视；头部姿态还包括变化姿态；头部的变化姿态取决于屏幕滑动的反方向，当屏幕往右边滑动，则视线向左；当前认为头部移动与眼部移动同步，则视线向左等同于头部姿态为向左。
具体地，如图7所示，基于手机综合传感器获取包括：位移变化、位移速度、手机震动晃动以及手机距离地面的高度，利用相应偏好的腿部推理器推理得到腿部姿态；
更为具体地，当手机综合传感器获取包括：手机距离地面的高度为站立状态，且持续位移变化、不震动晃动，通过腿部推理器推理得到行车姿态；当晃动和震动时且移动速度为步行速度范围内时，则通过腿部推理器推理得到步行姿态。
步骤S5：将推理得到相应偏好人体骨骼各部位姿态合并生成多个初始虚拟骨骼；
步骤S6：将合并成的多个初始虚拟骨骼通过预设人体力学约束得到符合约束的若干数量的整体虚拟骨骼；
具体地，所述预设人体力学约束采用：
步骤S6.1：采集预设数量满足预设要求的非常规人体姿态的图片；
步骤S6.2：基于采集的非常规人体姿态图片提取虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据；其中，虚拟骨骼定位点的欧式空间的三维坐标的坐标原点以开始启动推理虚拟骨骼的原始位置为初始点，即虚拟骨骼定位点的欧式空间三维坐标系即为推理虚拟骨骼三维坐标系；
步骤S6.3：基于提取的虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据修正人体自然工程力学和自然生理运动医学的约束容忍度；
所述人体自然工程力学和自然生理运动医学是符合生理动作的自然范畴，包括人体生理弯曲、人体生理结构的连贯和连接以及人体关节的弯曲，此为现有技术。
更为具体地，所述步骤S5采用：将合并后的多个初始虚拟骨骼通过预设人体力学进行约束合并归一化处理，得到符合约束的若干数量的整体虚拟骨骼。
步骤S7：筛选后得到的预设数量的整体虚拟骨骼利用整体骨骼推理器推理得到孪生虚拟姿态。
具体地，筛选后得到的预设数量的整体虚拟骨骼通过骨骼推理器得到相应权重，选择权重最高的为孪生虚拟姿态。
根据本发明提供的一种交互式间接推理的孪生体态检测系统，如图1-9所示，包括：
模块M1：人机交互时，基于手机综合传感器获取的数据集以及相应的人体骨骼各部位姿态构建训练集；
具体地，手机综合传感器包括：九轴陀螺仪、加速度传感器、速度传感器、红外距离传感器、触控传感器以及能够获得手机程序运行参考信息的传感器（例如：获取屏幕亮度传感器、获取遮盖光线感应的传感器以及扬声器）；
手机综合传感器获取的数据集包括：
通过所述九轴陀螺仪获取手机旋转角度；
通过所述加速度传感器获取手机水平移动加速度；
通过所述速度传感器获取手机水平移动速度；
通过所述红外距离传感器获取手机海拔高度值；
通过所述触控传感器获取手机屏幕是否被点击的状态信息；
通过所述能够获得手机程序运行参考信息的传感器用来对手机的使用状态来做辨别比如非点击但被使用或观看等；
具体地，人体骨骼各部位姿态包括：手部姿态、胳膊姿态、躯干姿态、头部姿态以及腿部姿态；
所述手部姿态包括：左手单手抬起手机、右手单手抬起手机以及双手抬起手机；
所述胳膊姿态包括：抬胳膊姿态和落胳膊姿态；
所述躯干姿态包括：直立姿、坐姿、蹲姿以及躺姿；进一步地，包括：前倾直立姿，正直立姿，前倾斜坐姿，后倾斜坐姿，正坐姿，蹲姿，面向上躺姿和面向下躺姿；
所述头部姿态包括：视线直视、视线向左、视线向右、视线向上以及视线向下；
所述腿部姿态包括：步行、行车、坐姿、站立以及躺姿；
模块M2：对训练集基于采集对象运用手机的偏好类型进行标注分类，并基于不同偏好类型的训练集分别训练相应偏好人体骨骼各部位推理器；
具体地，所述采集对象运用手机的偏好类型包括：左手为常用手以及右手为常用手；
所述人体骨骼各部位推理器包括：左手部推理器、右手部推理器、左胳膊推理器、右胳膊推理器、躯干推理器、头部推理器、左腿部推理器以及右腿部推理器。
模块M3：人机交互时，训练整体骨骼推理器，整体骨骼推理器根据输入的整体骨骼姿态得到相应概率；
模块M4：根据个人运用手机的偏好类型，基于手机综合传感器实时获取的数据集，利用相应偏好人体骨骼各部位推理器，推理得到相应偏好人体骨骼各部位姿态；
具体地，如图3、4所示，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息以及手机是否持续有一定量的震动，利用相应偏好的左手部推理器以及右手部推理器推理得到当前抬起的是左手、右手或双手；
更为具体地，基于手机综合传感器获取包括：没有水平和垂直位移、陀螺仪检测屏幕显示平面在垂直地面的±∠15°之间，且通过定位信息得知不在海上或飞机上，手机持续在亮屏而非触控，过程中有持续的一定量震动，则通过左手部推理器以及右手部推理器推理得到当前抬起的是不常用手，反之则为常用手；其中，定量震动的判断阈值时通过初始化学习用户操作偏好过程中，让用户持续握住屏幕来检测习惯性双手的晃动差；而在手机综合传感器检测到没有手机触控操作时，有最小量的微振动且不是传感器噪音，当手机检测到为横屏模式，则通过手部推理器推理得到双手抬起拿着设备；当手机检测到为竖屏模式，则通过手部推理器推理得到常用手的单手抬起操作。
具体地，如图4、5所示，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息、手机是否持续有一定量的震动、手机距离地面的高度（此处均以正常身高的成年人为例）以及屏幕面的法线与地面的角度，利用相应偏好的左胳膊推理器以及右胳膊推理器推理得到当前胳膊是抬起或落下姿态；
更为具体地，基于手机综合传感器获取包括：屏幕面的法线与地面超过∠105°,则为俯视屏幕，通过左胳膊推理器和/或右胳膊推理器推理得到胳膊为落下姿态；屏幕面的法线与地面小于∠75°，通过左胳膊推理器和/或右胳膊推理器推理得到胳膊为抬起姿态。
具体地，如图5、6、8所示，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息、手机是否持续有一定量的震动、手机距离地面的高度、屏幕面的法线与地面的角度以及屏幕的朝向，利用相应偏好的躯干推理器推理得到躯干姿态为前倾直立姿，正直立姿，前倾斜坐姿，后倾斜坐姿，正坐姿，蹲姿，面向上躺姿或面向下躺姿；
更为具体地，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息、手机是否持续有一定量的震动、手机距离地面的高度、屏幕面的法线与地面的角度推理得到躯干是直立姿、坐姿或蹲姿；再根据屏幕的朝向进一步推理得到躯干为前倾直立姿，正直立姿，前倾斜坐姿，后倾斜坐姿，正坐姿，蹲姿，面向上躺姿或面向下躺姿。
具体地，如图9所示，基于手机综合传感器获取包括：水平和垂直位移、陀螺仪检测手机旋转角度、陀螺仪检测屏幕显示平面在垂直地面的角度、定位信息、手机屏幕是否被点击的状态信息、手机是否持续有一定量的震动、手机距离地面的高度、屏幕面的法线与地面的角度以及屏幕的朝向，利用相应偏好的头部推理器推理得到与躯干姿态一致的头部姿态；头部姿态的初始姿态为视线直视；头部姿态还包括变化姿态；头部的变化姿态取决于屏幕滑动的反方向，当屏幕往右边滑动，则视线向左；当前认为头部移动与眼部移动同步，则视线向左等同于头部姿态为向左。
具体地，如图7所示，基于手机综合传感器获取包括：位移变化、位移速度、手机震动晃动以及手机距离地面的高度，利用相应偏好的腿部推理器推理得到腿部姿态；
更为具体地，当手机综合传感器获取包括：手机距离地面的高度为站立状态，且持续位移变化、不震动晃动，通过腿部推理器推理得到行车姿态；当晃动和震动时且移动速度为步行速度范围内时，则通过腿部推理器推理得到步行姿态。
模块M5：将推理得到相应偏好人体骨骼各部位姿态合并生成多个初始虚拟骨骼；
模块M6：将合并后的多个初始虚拟骨骼通过预设人体力学约束得到符合约束的若干数量的整体虚拟骨骼；
具体地，所述预设人体力学约束采用：
模块M6.1：采集预设数量满足预设要求的非常规人体姿态的图片；
模块M6.2：基于采集的非常规人体姿态图片提取虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据；其中，虚拟骨骼定位点的欧式空间的三维坐标的坐标原点以开始启动推理虚拟骨骼的原始位置为初始点，即虚拟骨骼定位点的欧式空间三维坐标系即为推理虚拟骨骼三维坐标系；
模块M6.3：基于提取的虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据修正人体自然工程力学和自然生理运动医学的约束容忍度；
所述人体自然工程力学和自然生理运动医学是符合生理动作的自然范畴，包括人体生理弯曲、人体生理结构的连贯和连接以及人体关节的弯曲，此为现有技术。
更为具体地，所述模块M5采用：将合并后的多个初始虚拟骨骼通过预设人体力学进行约束合并归一化处理，得到符合约束的若干数量的整体虚拟骨骼。
步骤S7：筛选后得到的预设数量的整体虚拟骨骼利用整体骨骼推理器推理得到孪生虚拟姿态。
具体地，筛选后得到的预设数量的整体虚拟骨骼通过骨骼推理器得到相应权重，选择权重最高的为孪生虚拟姿态。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种交互式间接推理的孪生体态检测方法，其特征在于，包括：
步骤S1：根据个人运用手机的偏好类型，基于手机综合传感器实时获取的数据集，利用相应偏好人体骨骼各部位推理器，推理得到相应偏好人体骨骼各部位姿态；
步骤S2：将推理得到相应偏好人体骨骼各部位姿态合并生成多个初始虚拟骨骼；
步骤S3：将合并后的多个初始虚拟骨骼通过预设人体力学约束得到符合约束的若干数量的整体虚拟骨骼；
步骤S4：筛选后得到的预设数量的整体虚拟骨骼利用整体骨骼推理器推理得到孪生虚拟姿态。
2.根据权利要求1所述的交互式间接推理的孪生体态检测方法，其特征在于，所述人体骨骼各部位推理器包括：左手部推理器、右手部推理器、左胳膊推理器、右胳膊推理器、躯干推理器、头部推理器、左腿部推理器以及右腿部推理器。
3.根据权利要求1所述的交互式间接推理的孪生体态检测方法，其特征在于，所述手机综合传感器包括：九轴陀螺仪、加速度传感器、速度传感器、红外距离传感器、触控传感器以及能够获得手机程序运行参考信息的传感器；
通过所述九轴陀螺仪获取手机旋转角度；
通过所述加速度传感器获取手机水平移动加速度；
通过所述速度传感器获取手机水平移动速度；
通过所述红外距离传感器获取手机海拔高度值；
通过所述触控传感器获取手机屏幕是否被点击的状态信息；
通过所述能够获得手机程序运行参考信息的传感器对手机的使用状态进行辨别。
4.根据权利要求1所述的交互式间接推理的孪生体态检测方法，其特征在于，所述预设人体力学约束采用：
步骤S3.1：采集预设数量满足预设要求的非常规人体姿态的图片；
步骤S3.2：基于采集的非常规人体姿态图片提取虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据；
步骤S3.3：基于提取的虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据修正人体自然工程力学的约束容忍度；
所述人体自然工程力学是符合生理动作的自然范畴，包括人体生理弯曲、人体生理结构的连贯和连接以及人体关节的弯曲。
5.根据权利要求4所述的交互式间接推理的孪生体态检测方法，其特征在于，所述步骤S3采用：将合并后的多个初始虚拟骨骼通过预设人体力学进行约束合并归一化处理，得到符合约束的若干数量的整体虚拟骨骼。
6.一种交互式间接推理的孪生体态检测系统，其特征在于，包括：
模块M1：根据个人运用手机的偏好类型，基于手机综合传感器实时获取的数据集，利用相应偏好人体骨骼各部位推理器，推理得到相应偏好人体骨骼各部位姿态；
模块M2：将推理得到相应偏好人体骨骼各部位姿态合并生成多个初始虚拟骨骼；
模块M3：将合并后的多个初始虚拟骨骼通过预设人体力学约束得到符合约束的若干数量的整体虚拟骨骼；
模块M4：筛选后得到的预设数量的整体虚拟骨骼利用整体骨骼推理器推理得到孪生虚拟姿态。
7.根据权利要求6所述的交互式间接推理的孪生体态检测系统，其特征在于，所述人体骨骼各部位推理器包括：左手部推理器、右手部推理器、左胳膊推理器、右胳膊推理器、躯干推理器、头部推理器、左腿部推理器以及右腿部推理器。
8.根据权利要求6所述的交互式间接推理的孪生体态检测系统，其特征在于，所述手机综合传感器包括：九轴陀螺仪、加速度传感器、速度传感器、红外距离传感器、触控传感器以及能够获得手机程序运行参考信息的传感器；
通过所述九轴陀螺仪获取手机旋转角度；
通过所述加速度传感器获取手机水平移动加速度；
通过所述速度传感器获取手机水平移动速度；
通过所述红外距离传感器获取手机海拔高度值；
通过所述触控传感器获取手机屏幕是否被点击的状态信息；
通过所述能够获得手机程序运行参考信息的传感器对手机的使用状态进行辨别。
9.根据权利要求6所述的交互式间接推理的孪生体态检测系统，其特征在于，所述预设人体力学约束采用：
模块M3.1：采集预设数量满足预设要求的非常规人体姿态的图片；
模块M3.2：基于采集的非常规人体姿态图片提取虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据；
模块M3.3：基于提取的虚拟骨骼定位点的欧式空间的三维坐标数值和姿态数据修正人体自然工程力学的约束容忍度；
所述人体自然工程力学是符合生理动作的自然范畴，包括人体生理弯曲、人体生理结构的连贯和连接以及人体关节的弯曲。
10.根据权利要求6所述的交互式间接推理的孪生体态检测系统，其特征在于，所述模块M3采用：将合并后的多个初始虚拟骨骼通过预设人体力学进行约束合并归一化处理，得到符合约束的若干数量的整体虚拟骨骼。
CN202210715227.9A 2022-06-23 2022-06-23 交互式间接推理的孪生体态检测方法及系统 Active CN114821006B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210715227.9A CN114821006B (zh) 2022-06-23 2022-06-23 交互式间接推理的孪生体态检测方法及系统
US18/339,186 US11809616B1 (en) 2022-06-23 2023-06-21 Twin pose detection method and system based on interactive indirect inference

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210715227.9A CN114821006B (zh) 2022-06-23 2022-06-23 交互式间接推理的孪生体态检测方法及系统

Publications (2)

Publication Number Publication Date
CN114821006A true CN114821006A (zh) 2022-07-29
CN114821006B CN114821006B (zh) 2022-09-20

Family

ID=82522065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210715227.9A Active CN114821006B (zh) 2022-06-23 2022-06-23 交互式间接推理的孪生体态检测方法及系统

Country Status (2)

Country Link
US (1) US11809616B1 (zh)
CN (1) CN114821006B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115590483A (zh) * 2022-10-12 2023-01-13 深圳市联代科技有限公司（Cn） 一种带有健康测量系统的智能手机
CN117441980A (zh) * 2023-12-20 2024-01-26 武汉纺织大学 一种基于多传感信息智能计算的智能头盔系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791440A (zh) * 2016-09-30 2019-05-21 索尼互动娱乐股份有限公司 头戴式显示器中的虚拟现实(vr)内容的视场(fov)限制
CN110472481A (zh) * 2019-07-01 2019-11-19 华南师范大学 一种睡姿检测方法、装置及设备
CN110502980A (zh) * 2019-07-11 2019-11-26 武汉大学 一种行人边过马路边玩手机情景行为的识别方法
US20200122326A1 (en) * 2017-06-29 2020-04-23 Wandercraft Method for moving an exoskeleton
CN112132955A (zh) * 2020-09-01 2020-12-25 大连理工大学 人体骨骼的数字孪生体构建方法
US11281293B1 (en) * 2019-04-30 2022-03-22 Facebook Technologies, Llc Systems and methods for improving handstate representation model estimates
WO2022070781A1 (ja) * 2020-09-29 2022-04-07 ソニーセミコンダクタソリューションズ株式会社 情報処理システム及び情報処理方法

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140035805A1 (en) * 2009-04-02 2014-02-06 David MINNEN Spatial operating environment (soe) with markerless gestural control
US9684380B2 (en) * 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8295546B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8660303B2 (en) * 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
US9619035B2 (en) * 2011-03-04 2017-04-11 Microsoft Technology Licensing, Llc Gesture detection and recognition
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
US9939888B2 (en) * 2011-09-15 2018-04-10 Microsoft Technology Licensing Llc Correlating movement information received from different sources
US20130077820A1 (en) * 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
FR2987913B1 (fr) * 2012-03-08 2015-10-16 Movea Systeme ameliore de capture de mouvements d'une structure articulee
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9552152B2 (en) * 2013-01-04 2017-01-24 Mx Technologies, Inc. Presently operating hand detector
US9094576B1 (en) * 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9144744B2 (en) * 2013-06-10 2015-09-29 Microsoft Corporation Locating and orienting device in space
US10139914B2 (en) * 2013-09-13 2018-11-27 Nod, Inc. Methods and apparatus for using the human body as an input device
US9679199B2 (en) * 2013-12-04 2017-06-13 Microsoft Technology Licensing, Llc Fusing device and image motion for user identification, tracking and device association
CN105301771B (zh) * 2014-06-06 2020-06-09 精工爱普生株式会社 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
US9804696B2 (en) * 2015-01-02 2017-10-31 Microsoft Technology Licensing, Llc User-input control device toggled motion tracking
US11210834B1 (en) * 2015-09-21 2021-12-28 TuringSense Inc. Article of clothing facilitating capture of motions
CN204993547U (zh) * 2015-10-21 2016-01-20 乐视云计算有限公司 手机
US10509469B2 (en) * 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US11337652B2 (en) * 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US10929759B2 (en) * 2017-04-06 2021-02-23 AIBrain Corporation Intelligent robot software platform
US11232294B1 (en) * 2017-09-27 2022-01-25 Amazon Technologies, Inc. Generating tracklets from digital imagery
US10356341B2 (en) * 2017-10-13 2019-07-16 Fyusion, Inc. Skeleton-based effects and background replacement
US11771283B2 (en) * 2017-12-06 2023-10-03 BISSELL , Inc. Method and system for manual control of autonomous floor cleaner
US10692343B2 (en) * 2017-12-27 2020-06-23 Hampton Products International Corporation Smart entry point spatial security system
CN108876815B (zh) 2018-04-28 2021-03-30 深圳市瑞立视多媒体科技有限公司 骨骼姿态计算方法、人物虚拟模型驱动方法及存储介质
CN108830150B (zh) 2018-05-07 2019-05-28 山东师范大学 一种基于三维人体姿态估计方法及装置
US10416755B1 (en) * 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11474593B2 (en) * 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
CN109885163A (zh) 2019-02-18 2019-06-14 广州卓远虚拟现实科技有限公司 一种虚拟现实多人交互协作方法与系统
US10796104B1 (en) * 2019-07-03 2020-10-06 Clinc, Inc. Systems and methods for constructing an artificially diverse corpus of training data samples for training a contextually-biased model for a machine learning-based dialogue system
CN110495889B (zh) 2019-07-04 2022-05-27 平安科技（深圳）有限公司 体态评估方法、电子装置、计算机设备及存储介质
WO2021005708A1 (ja) * 2019-07-09 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム
US20220245812A1 (en) * 2019-08-06 2022-08-04 The Johns Hopkins University Platform to detect patient health condition based on images of physiological activity of a patient
CN110675474B (zh) 2019-08-16 2023-05-02 咪咕动漫有限公司 虚拟角色模型的学习方法、电子设备和可读存储介质
JP2021043300A (ja) * 2019-09-10 2021-03-18 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、情報処理装置の制御方法、及び表示装置
US20210233273A1 (en) * 2020-01-24 2021-07-29 Nvidia Corporation Determining a 3-d hand pose from a 2-d image using machine learning
US11488358B2 (en) * 2020-02-05 2022-11-01 Snap Inc. Augmented reality session creation using skeleton tracking
JP7413836B2 (ja) * 2020-02-28 2024-01-16 富士通株式会社 行動認識方法、行動認識プログラム及び行動認識装置
CN111311714A (zh) 2020-03-31 2020-06-19 北京慧夜科技有限公司 一种三维动画的姿态预测方法和系统
CN115715405A (zh) * 2020-06-25 2023-02-24 Oppo广东移动通信有限公司 手部姿态估计方法、移动设备、头戴式显示器及系统
US11485308B2 (en) * 2020-06-29 2022-11-01 Nvidia Corporation In-cabin hazard prevention and safety control system for autonomous machine applications
US11249556B1 (en) * 2020-11-30 2022-02-15 Microsoft Technology Licensing, Llc Single-handed microgesture inputs
CN112884780A (zh) 2021-02-06 2021-06-01 罗普特科技集团股份有限公司 一种用于人体姿态的估计方法和系统
US12017142B2 (en) * 2021-02-16 2024-06-25 Pritesh KANANI System and method for real-time calibration of virtual apparel using stateful neural network inferences and interactive body measurements
CN112926550A (zh) 2021-04-15 2021-06-08 南京蓝镜数字科技有限公司 基于三维图像人体姿态匹配的人机交互方法及其设备
CN113158459A (zh) 2021-04-20 2021-07-23 浙江工业大学 一种基于视觉和惯性信息融合的人体姿态估计方法
CN113191324A (zh) 2021-05-24 2021-07-30 清华大学 一种基于多任务学习的行人行为意图预测方法
CN113610969B (zh) 2021-08-24 2024-03-08 国网浙江省电力有限公司双创中心 一种三维人体模型生成方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791440A (zh) * 2016-09-30 2019-05-21 索尼互动娱乐股份有限公司 头戴式显示器中的虚拟现实(vr)内容的视场(fov)限制
US20200122326A1 (en) * 2017-06-29 2020-04-23 Wandercraft Method for moving an exoskeleton
US11281293B1 (en) * 2019-04-30 2022-03-22 Facebook Technologies, Llc Systems and methods for improving handstate representation model estimates
CN110472481A (zh) * 2019-07-01 2019-11-19 华南师范大学 一种睡姿检测方法、装置及设备
CN110502980A (zh) * 2019-07-11 2019-11-26 武汉大学 一种行人边过马路边玩手机情景行为的识别方法
CN112132955A (zh) * 2020-09-01 2020-12-25 大连理工大学 人体骨骼的数字孪生体构建方法
WO2022070781A1 (ja) * 2020-09-29 2022-04-07 ソニーセミコンダクタソリューションズ株式会社 情報処理システム及び情報処理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUAIJIN ZHENG: ""A wireless human pose detection method based on digital twin and inertial sensor"", 《IEEE》 *
姚巍巍等: "融合目标检测和人体关键点检测的铁路司机行为识别", 《计算机测量与控制》 *
盖翔等: "基于虚拟现实技术的骨折手法复位模拟训练系统", 《军事医学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115590483A (zh) * 2022-10-12 2023-01-13 深圳市联代科技有限公司（Cn） 一种带有健康测量系统的智能手机
CN117441980A (zh) * 2023-12-20 2024-01-26 武汉纺织大学 一种基于多传感信息智能计算的智能头盔系统及方法
CN117441980B (zh) * 2023-12-20 2024-03-22 武汉纺织大学 一种基于多传感信息智能计算的智能头盔系统及方法

Also Published As

Publication number Publication date
US20230333633A1 (en) 2023-10-19
CN114821006B (zh) 2022-09-20
US11809616B1 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
CN114821006B (zh) 交互式间接推理的孪生体态检测方法及系统
CN111460873B (zh) 图像处理方法及装置、图像设备及存储介质
Liu et al. Trajectorycnn: a new spatio-temporal feature learning network for human motion prediction
CN108665492B (zh) 一种基于虚拟人的舞蹈教学数据处理方法及系统
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
CN112906604B (zh) 一种基于骨骼和rgb帧融合的行为识别方法、装置及系统
CN104376309B (zh) 一种基于手势识别的手势运动基元模型结构化方法
CN113496507A (zh) 一种人体三维模型重建方法
US10970849B2 (en) Pose estimation and body tracking using an artificial neural network
CN107392131A (zh) 一种基于人体骨骼节点距离的动作识别方法
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
CN112131985A (zh) 一种基于OpenPose改进的实时轻量人体姿态估计方法
CN115933868B (zh) 翻转讲台的立体综合教学场系统及其工作方法
CN114550292A (zh) 一种基于神经运动控制的高物理真实感人体运动捕捉方法
Amrutha et al. Human Body Pose Estimation and Applications
CN116189306A (zh) 基于联合注意力机制的人体行为识别方法
CN112199994A (zh) 一种实时检测rgb视频中的3d手与未知物体交互的方法和装置
CN116030533A (zh) 运动场景的高速动作捕捉与识别方法及系统
CN110853131A (zh) 一种用于行为识别的虚拟视频数据生成方法
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
CN113255514B (zh) 基于局部场景感知图卷积网络的行为识别方法
CN111709323B (zh) 一种基于李群和长短时记忆网络的手势识别方法
CN117916773A (zh) 用于在移动设备中同时重建姿态和参数化3d人体模型的方法和系统
CN115862054A (zh) 图像数据处理方法、装置、设备以及介质
CN113257055A (zh) 一种智能舞蹈步伐学习装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant