CN113808256B - 一种结合身份识别的高精度全息人体重建方法 - Google Patents

一种结合身份识别的高精度全息人体重建方法 Download PDF

Info

Publication number
CN113808256B
CN113808256B CN202111079598.4A CN202111079598A CN113808256B CN 113808256 B CN113808256 B CN 113808256B CN 202111079598 A CN202111079598 A CN 202111079598A CN 113808256 B CN113808256 B CN 113808256B
Authority
CN
China
Prior art keywords
joint point
data
human body
depth
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111079598.4A
Other languages
English (en)
Other versions
CN113808256A (zh
Inventor
罗韬
徐晓睿
史再峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111079598.4A priority Critical patent/CN113808256B/zh
Publication of CN113808256A publication Critical patent/CN113808256A/zh
Application granted granted Critical
Publication of CN113808256B publication Critical patent/CN113808256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合身份识别的高精度全息人体重建方法，设有视角互不相同的多个深度、彩色相机；对所有相机进行标定；由标定后的相机采集场景中的人体图像数据并提取骨骼关节点数据；将多个彩色、深度相机对应提取的多套骨骼关节点数据，各整合成一套骨骼关节点彩色、深度整合数据；用深度整合数据修正彩色整合数据得到修正后的骨骼关节点数据；建立神经网络模型对彩色相机采集的图像数据进行特征向量的提取及身份识别；身份识别后，对特征向量及骨骼关节点数据标注对应的身份编号；不同身份编号的特征向量数据及对应的修正后的骨骼关节点数据，与人体标准化模型相结合，得到不同身份的全息人体模型。本发明能结合姿态形貌数据进行全息重建。

Description

一种结合身份识别的高精度全息人体重建方法
技术领域
本发明涉及涉及深度学习、特征向量提取、人体姿态估计、人体姿态重建、增强现实等领域，尤其涉及到一种结合身份识别的高精度全息人体重建方法。
背景技术
目前，本发明来自于对室内和室外多人场景的全息人体姿态、形貌重建问题。室内和室外多人场景的全息人体姿态、形貌重建以及人员的特异性识别对于远程可视化交互、全息通讯、公共场合的监控预警等工作都具有重要作用。人员特征矩阵的提取、人体姿态估计及重建是远程可视化交互、全息通信、公共场合的监控预警等工作的核心步骤，要获得多人场景内的人物行为状态，对其关节点位置的获取及分析是不可或缺的一部分，也是至关重要的一部分。同样的，对人员提取特征矩阵是进行人员的特异性识别的核心部分。但当前人体姿态分析与估计是没法做到人员特异性识别的，并且仅利用普通的彩色相机进行人体姿态估计，在估计过程中并不能很好的处理遮挡等问题。
众所周知，重建人体姿态的核心问题是人体的遮挡问题，但目前的人体姿态重建方法基本都是使用单个彩色相机或多个彩色相机。这两种方法都无法很好的解决关节点的遮挡问题，虽然多个彩色相机相比单个彩色相机来说在处理遮挡上有明显的改善，但与真实的情况还是有一定的差别。本发明从深度相机入手，使用深度相机来辅助优化单从彩色相机下得到的人体关节点数据。通过引入深度数据，系统可以比较准确地计算人和物体之间的空间距离，克服了在下彩色相机下仅仅通过图像的语义分析来判断哪些物体离我们比较远，哪些比较近。由于采用深度相机的原因，所重建的人体模型与物体之间的距离可以尽可能的还原原有距离，可以做到精准的通信交互。
在目前的所有解决方案中，全部都不支持人员识别功能，不能特异性的识别出人员来，也就是说不具有记忆性。在人员离开场景一段时间重新进入场景时，它们的方案并不能识别该人员曾经进入过该场景，这在实际应用场景中是不切实际的。
发明内容
本发明为解决公知技术中存在的技术问题而提供一种结合身份识别的高精度全息人体重建方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种结合身份识别的高精度全息人体重建方法，设置用于采集人体图像数据的多个视角互不相同的深度相机和多个视角互不相同的彩色相机；深度相机和彩色相机均内置人体骨骼关节点提取单元；对每个彩色相机和每个深度相机进行标定；由标定后的彩色相机和深度相机采集场景中的人体图像数据，并从采集的人体图像数据中提取骨骼关节点数据；针对同一时间同一拍摄区域内的同一目标人体，将多个彩色相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点彩色整合数据；将多个深度相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点深度整合数据；用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关节点彩色整合数据；得到对应目标人体的修正后的骨骼关节点数据；
建立用于提取图像中目标人体的特征向量并进行身份识别的神经网络模型，并对神经网络模型进行训练；将彩色相机采集的对应目标人体的图像数据输入至训练完成的神经网络模型中，进行对应目标人体的特征向量的提取及身份识别；身份识别后，对特征向量及骨骼关节点数据标注对应的身份编号；
不同身份编号的特征向量数据及对应的修正后的骨骼关节点数据，与人体标准化模型相结合，得到不同身份的全息人体模型。
进一步地，对深度相机和彩色相机进行标定的方法包括：每个彩色相机和每个深度相机预先对同一场景的棋盘格进行拍摄；对于彩色相机，采用张正友标定法，利用场景中拍摄的棋盘格照片进行彩色相机内外参矩阵的计算，来得到彩色相机的各项参数；对于深度相机的标定，利用Geomagic软件对深度图像进行配准得到每个深度相机的旋转矩阵。
进一步地，针对同一时间同一拍摄区域内的同一目标人体的同一个关节点i，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据。
进一步地，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据的方法包括：
根据多个彩色相机提取的骨骼关节点数据，计算每个彩色相机的关节点i的坐标，并利用下式将多个彩色相机的关节点i的坐标数据整合为一个关节点i彩色整合数据：
Figure BDA0003263477240000021
其中，n为彩色相机编号，i为关节点编号；fn(i)为对应第n个彩色相机视角的关节点i的置信度；
Figure BDA0003263477240000031
为对应第n个彩色相机视角的关节点i的坐标；/>
Figure BDA0003263477240000032
为关节点i彩色整合数据。
进一步地，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据的方法包括：
根据多个深度相机提取的骨骼关节点数据，计算每个深度相机的关节点i的坐标，并利用下式将多个深度相机的关节点i的坐标数据整合为一个关节点i深度整合数据：
Figure BDA0003263477240000033
其中，m为深度相机编号，i为关节点编号；gm(i)为对应第m个深度相机视角的关节点i的置信度；
Figure BDA0003263477240000034
为对应第m个深度相机视角的关节点i的坐标；/>
Figure BDA0003263477240000035
为关节点i深度整合数据。
进一步地，用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关节点彩色整合数据的方法包括：
设JRGB(i)为由多个彩色相机提取并整合后的人体关节点i的坐标数据；JDepth(i)为由多个深度相机提取并整合后的人体关节点i的坐标数据；设ωRGB为彩色相机的人体关节点坐标数据的权重参数；ωDepth为深度相机的人体关节点坐标数据的权重参数；设Jfinal(i)为修正后的人体关节点i数据，Jfinal(i)采用如下公式进行计算：
Jfinal(i)＝ωRGB·JRGB(i)+ωDepth·JDepth(i)。
进一步地，采用增强现实方法对全息人体模型进行重建。
进一步地，用于训练神经网络模型的训练数据包括：采用设置的彩色相机采集的人体图像数据以及公共数据集。
进一步地，采用神经网络模型对场景中的所有目标人体进行特征向量的提取并存储在本地的数据库中；当有人员从外部进入场景时，首先提取该人员的特征向量，然后将该人员的特征向量与数据库中已存储的特征向量相比较；若差异小于所设定的阈值，则认为该人员之前进入过场景，并把之前的人员身份编号赋给该人员；反之，则认为是新人员进入场景，赋予该人员一个全新的人员身份编号，并将该人员的特征向量加入到本地的数据库中存储。
本发明具有的优点和积极效果是：(1)特异性识别记忆场景的人员；(2)处理人体遮挡鲁棒性更高；(3)结合深度数据优化彩色相机下的数据；(4)重建出来的人体模型还原度更高；(5)能结合姿态形貌数据进行全息重建。
附图说明
图1显示为本发明的一种工作流程图。
图2显示为本发明的一种采用深度相机下关节点数据优化彩色相机下关节点数据的工作流程图。
图3显示为本发明的一种利用增强现实方法对全息人体模型进行高还原度显示处理流程图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：
文中的英文单词及缩写的中文释义如下：
Geomagic软件：一种用于深度相机配准的软件。
YOLO网络：YouOnlyLookOnce，一种用于目标检测的网络结构。
ID：身份编号。
请参见图1至图3，一种结合身份识别的高精度全息人体重建方法，设置用于采集人体图像数据的多个视角互不相同的深度相机和多个视角互不相同的彩色相机；深度相机和彩色相机均内置人体骨骼关节点提取单元；对每个彩色相机和每个深度相机进行标定；由标定后的彩色相机和深度相机采集场景中的人体图像数据，并从采集的人体图像数据中提取骨骼关节点数据；针对同一时间同一拍摄区域内的同一目标人体，将多个彩色相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点彩色整合数据；将多个深度相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点深度整合数据；用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关节点彩色整合数据；得到对应目标人体的修正后的骨骼关节点数据；
建立用于提取图像中目标人体的特征向量并进行身份识别的神经网络模型，并对神经网络模型进行训练；将彩色相机采集的对应目标人体的图像数据输入至训练完成的神经网络模型中，进行对应目标人体的特征向量的提取及身份识别；身份识别后，对特征向量及骨骼关节点数据标注对应的身份编号；
不同身份编号的特征向量数据及对应的修正后的骨骼关节点数据，与人体标准化模型相结合，得到不同身份的全息人体模型。
优选地，对深度相机和彩色相机进行标定的方法可包括：每个彩色相机和每个深度相机预先对同一场景的棋盘格进行拍摄；对于彩色相机，采用张正友标定法，利用场景中拍摄的棋盘格照片进行彩色相机内外参矩阵的计算，来得到彩色相机的各项参数；对于深度相机的标定，利用Geomagic软件对深度图像进行配准得到每个深度相机的旋转矩阵。Geomagic软件能够让用户创建和检测模型的几何特性,比如说计算尺寸、分析拟合、对比2D和3D特征、点对点和特征对特征的距离及角度的测量。
优选地，可针对同一时间同一拍摄区域内的同一目标人体的同一个关节点i，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据。即将多个视角的彩色相机采集的关节点i数据，整合为对应一个坐标系下同一个拍摄点同一个拍摄视角的关节点i彩色整合数据，即将多个视角的深度相机采集的关节点i数据，整合为对应一个坐标系下同一个拍摄点同一个拍摄视角的关节点i深度整合数据。
优选地，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据的方法可包括：
可根据多个彩色相机提取的骨骼关节点数据，计算每个彩色相机的关节点i的坐标，并利用下式将多个彩色相机的关节点i的坐标数据整合为一个关节点i彩色整合数据：
Figure BDA0003263477240000051
其中，n为彩色相机编号，i为关节点编号；fn(i)为对应第n个彩色相机视角的关节点i的置信度；
Figure BDA0003263477240000052
为对应第n个彩色相机视角的关节点i的坐标；/>
Figure BDA0003263477240000053
为关节点i彩色整合数据。
优选地，将fn(i)作为权重，取值范围可为0.1～0.9，可根据具体场景进行调整。
优选地，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据的方法可包括：
可根据多个深度相机提取的骨骼关节点数据，计算每个深度相机的关节点i的坐标，并利用下式将多个深度相机的关节点i的坐标数据整合为一个关节点i深度整合数据：
Figure BDA0003263477240000061
其中，m为深度相机编号，i为关节点编号；gm(i)为对应第m个深度相机视角的关节点i的置信度；
Figure BDA0003263477240000062
为对应第m个深度相机视角的关节点i的坐标；/>
Figure BDA0003263477240000063
为关节点i深度整合数据。gm(i)取值范围可为0.1～0.9，可根据具体场景进行调整。
优选地，用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关节点彩色整合数据的方法可包括：
可设JRGB(i)为由多个彩色相机提取并整合后的人体关节点i的坐标数据；JDepth(i)为由多个深度相机提取并整合后的人体关节点i的坐标数据；设ωRGB为彩色相机的人体关节点坐标数据的权重参数；ωDepth为深度相机的人体关节点坐标数据的权重参数；设Jfinal(i)为修正后的人体关节点i数据，Jfinal(i)可采用如下公式进行计算：
Jfinal(i)＝ωRGB·JRGB(i)+ωDepth·JDepth(i)。
优选地，可采用增强现实方法对全息人体模型进行重建。ωRGB取值范围可为0.1～0.9。ωDepth取值范围可为0.1～0.9。并可根据具体场景进行调整。
优选地，用于训练神经网络模型的训练数据可包括：采用设置的彩色相机采集的人体图像数据以及公共数据集。
优选地，采用神经网络模型对场景中的所有目标人体进行特征向量的提取并存储在本地的数据库中；当有人员从外部进入场景时，首先提取该人员的特征向量，然后将该人员的特征向量与数据库中已存储的特征向量相比较；若差异小于所设定的阈值，则认为该人员之前进入过场景，并把之前的人员身份编号赋给该人员；反之，则认为是新人员进入场景，赋予该人员一个全新的人员身份编号，并将该人员的特征向量加入到本地的数据库中存储。
下面以本发明的一个优选实施例来进一步说明本发明的工作流程及工作原理：
图1给出了本发明的总体流程图，其中包括4个关键步骤，分别是神经网络模型的预训练、神经网络模型对场景中人员特征向量的提取、彩色相机和深度相机对人体姿态的估计与优化、利用增强现实技术对全息人体模型进行高还原度显示，本实施例将对上述4个关键步骤进行详细描述。
关于神经网络模型的预训练。为了使模型具有提取人员特征向量的能力，需要提前利用公共数据集以及利用设置的彩色相机采集的数据集对神经网络进行预训练。在经过大数据量的训练后，使完成训练的神经网络模型具备比较好的特征向量提取能力，可以使相同人员的特征向量尽可能的接近，不同人员的特征向量的差别尽可能的大。该模型就可以在之后的步骤中用于目标人体的特征向量的提取。
神经网络模型对场景中人员特征向量的提取。当有人员从外部进入场景时，系统会先提取该人员的特征向量，然后将该特征向量与数据库中所有已存储的特征向量相比较。数据库中没有与之相匹配的特征向量时，则会将该特征向量存储到数据库中，并给予该人员新的身份编号；若有与之匹配的特征向量时，则会给定与之相匹配的人员身份编号。
彩色相机和深度相机对人体姿态的估计与优化。图2给出了深度相机下关节点数据修正彩色相机下关节点数据的流程图。首先，多个视角的彩色相机分别对该场景中的人进行识别及跟踪，根据本发明提出的方法解算出一套彩色相机的较为准确的人体关节点数据。然后对于多个视角下的深度相机采用同样方法解算出一套深度相机的较为准确的人体关节点数据。最后，用深度相机得到的人体关节点数据来修正彩色相机得到的关节点数据，整合成一套置信度较高的骨骼关节点数据，用于之后的增强现实重现。
利用增强现实技术对全息人体模型进行高还原度显示。图3给出了利用增强现实技术对全息人体模型进行高还原度显示处理流程图。基于增强现实技术，利用置信度较高的骨骼关节点数据并结合人体标准化模型，来重建出高还原度的非刚性全息人体模型来在目标场景中进行显示，来达到远程可视化交互的功能。
本发明提供一种结合身份识别的高精度全息人体重建方法，处理流程如图1所示，包括如下步骤：
步骤1，预先在公共数据集和自己采集的数据集上训练经过该方法修改后的YOLO(YouOnlyLookOnce)网络，训练其提取人员特征向量的能力。使相同人员的特征向量尽可能的接近，不同人员的特征向量的差别尽可能的大。
步骤2，通过彩色相机结合训练出来的网络模型对场景中人员的特征向量进行提取，并记录在本地数据库中。
步骤3，利用彩色相机对场景中的人员进行姿态估计，计算出每个目标人体在每个视角下的关节点数据，人体的关节点数据可以表现人体的姿态，并利用解算公式将多个视角下的多套关节点坐标解算为最终较为准确的一套关节点坐标，解算公式如下所示：
Figure BDA0003263477240000081
其中，n为彩色相机编号，i为关节点编号；fn(i)为对应第n个彩色相机视角的关节点i的置信度；
Figure BDA0003263477240000082
为对应第n个彩色相机视角的关节点i的坐标；/>
Figure BDA0003263477240000083
为关节点i彩色整合数据。将置信度作为权重，使不同视角下关节点的坐标对最终的关节点坐标有不同的贡献，可以尽最大可能保证彩色相机得到关节点的鲁棒性。
步骤4，利用深度相机对人员进行姿态估计，与步骤3的过程同理，针对深度相机下的解算公式为：
Figure BDA0003263477240000084
其中，m为深度相机编号，i为关节点编号；gm(i)为对应第m个深度相机视角的关节点i的置信度；
Figure BDA0003263477240000085
为对应第m个深度相机视角的关节点i的坐标；/>
Figure BDA0003263477240000086
为关节点i深度整合数据。
步骤5，在得到彩色相机和深度相机下的人员关节点坐标数据后，使用深度相机下的关节点数据对彩色相机下得到的数据进行修正优化，采用如下的函数用来融合深度和彩色相机的数据，进而提升最终姿态测量匹配的精度：
Figure BDA0003263477240000087
其中，
Figure BDA0003263477240000088
和/>
Figure BDA0003263477240000089
分别对应为彩色相机下解算后的人体关节点坐标和深度相机下解算后的人体关节点坐标；ωRGB和ωDepth分别对应为彩色相机下关节点和深度相机下关节点的权重参数，其值的大小与捕捉到该点的彩色相机数目及深度相机数目有关。Jfinal(i)为最终修正后的人体关节点i数据。
步骤6，得到最终的关节点数据后，将关节点数据与人体标准化模型相结合，进而得到人体模型的特异性重建，然后将重建出来的人体模型在计算机中实时显示出来或者利用增强现实技术将重建出来的人体模型显示出来。
其中，在步骤1中采用公共数据集和自行采集的数据集上训练神经网络模型。
在步骤2中，本发明通过采用步骤1中训练出来的神经网络模型，可以对场景中的所有人员进行特征向量的提取并存储在本地的数据库中。当有人员从外部进入场景时，系统会先提取该人员的特征向量，然后将该特征向量与数据库中所有已存储的特征向量相比较。若差异小于所设定的阈值，则认为该人员之前进入过场景，并把之前的人员身份编号赋给该人员。反之，则认为是新人员进入场景，赋予该人员一个全新的人员身份编号，并将该人员的特征向量加入到本地的数据库中存储起来。
在步骤5中，本发明需要基于步骤3和步骤4用深度相机下的得到的关节点数据对彩色相机下得到的数据进行修正优化，进而提升结果的精确度，处理流程如图2所示。关键步骤如下：
步骤5.1，利用现有解决方案，用彩色相机对场景中的所有人提取彩色相机下的骨骼关节点数据。并对不同视角拍到的关节点坐标进行解算，得到一套位置置信度最高的彩色相机下的骨骼关节点数据。
步骤5.2，深度相机对场景中的所有人员提取深度相机下的骨骼关节点数据。同样对不同视角拍到的关节点坐标进行解算，得到一套位置置信度最高的深度相机下的骨骼关节点数据。
步骤5.3，利用本发明提出的方法，将彩色相机下的骨骼关节点数据与深度相机下的骨骼关节点数据进行融合，利用深度相机下的骨骼关节点数据对彩色相机下的数据进行优化，进而得到最终的精确度更高的骨骼关节点数据。
通过步骤3、4、5，即可获得高准确率的实时人体姿态关节点数据。此时得到的人体姿态数据仅仅包括人的关节点数据，并不能重建出一个完整的人体模型来。所以在步骤6中，本发明需要利用步骤5得到人体关节点数据与人体标准化模型相结合，进而得到一个完整的可用于最终显示的非刚性人体模型，处理流程如图3所示。
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (9)

1.一种结合身份识别的高精度全息人体重建方法，其特征在于，设置用于采集人体图像数据的多个视角互不相同的深度相机和多个视角互不相同的彩色相机；深度相机和彩色相机均内置人体骨骼关节点提取单元；对每个彩色相机和每个深度相机进行标定；由标定后的彩色相机和深度相机采集场景中的人体图像数据，并从采集的人体图像数据中提取骨骼关节点数据；针对同一时间同一拍摄区域内的同一目标人体，将多个彩色相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点彩色整合数据；将多个深度相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点深度整合数据；用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关节点彩色整合数据；得到对应目标人体的修正后的骨骼关节点数据；
建立用于提取图像中目标人体的特征向量并进行身份识别的神经网络模型，并对神经网络模型进行训练；将彩色相机采集的对应目标人体的人体图像数据输入至训练完成的神经网络模型中，进行对应目标人体的特征向量的提取及身份识别；身份识别后，对特征向量及修正后的骨骼关节点数据标注对应的身份编号；
不同身份编号的特征向量数据及对应的修正后的骨骼关节点数据，与人体标准化模型相结合，得到不同身份的全息人体模型。
2.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，对深度相机和彩色相机进行标定的方法包括：每个彩色相机和每个深度相机预先对同一场景的棋盘格进行拍摄；对于彩色相机，采用张正友标定法，利用场景中拍摄的棋盘格照片进行彩色相机内外参矩阵的计算，来得到彩色相机的各项参数；对于深度相机的标定，利用Geomagic软件对深度图像进行配准得到每个深度相机的旋转矩阵。
3.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，针对同一时间同一拍摄区域内的同一目标人体的同一个关节点i，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据。
4.根据权利要求3所述的结合身份识别的高精度全息人体重建方法，其特征在于，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据的方法包括：
根据多个彩色相机提取的骨骼关节点数据，计算每个彩色相机的关节点i的坐标，并利用下式将多个彩色相机的关节点i的坐标数据整合为一个关节点i彩色整合数据：
Figure FDA0004202367710000021
其中，n为彩色相机编号，i为关节点编号；fn(i)为对应第n个彩色相机视角的关节点i的置信度；
Figure FDA0004202367710000022
为对应第n个彩色相机视角的关节点i的坐标；/>
Figure FDA0004202367710000023
为关节点i彩色整合数据。
5.根据权利要求3所述的结合身份识别的高精度全息人体重建方法，其特征在于，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据的方法包括：
根据多个深度相机提取的骨骼关节点数据，计算每个深度相机的关节点i的坐标，并利用下式将多个深度相机的关节点i的坐标数据整合为一个关节点i深度整合数据：
Figure FDA0004202367710000024
其中，m为深度相机编号，i为关节点编号；gm(i)为对应第m个深度相机视角的关节点i的置信度；
Figure FDA0004202367710000025
为对应第m个深度相机视角的关节点i的坐标；/>
Figure FDA0004202367710000026
为关节点i深度整合数据。
6.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关节点彩色整合数据的方法包括：
设JRGB(i)为由多个彩色相机提取并整合后的人体关节点i的坐标数据；JDepth(i)为由多个深度相机提取并整合后的人体关节点i的坐标数据；设ωRGB为彩色相机的人体关节点坐标数据的权重参数；ωDepth为深度相机的人体关节点坐标数据的权重参数；设Jfinal(i)为修正后的人体关节点i数据，Jfinal(i)采用如下公式进行计算：
Jfinal(i)＝ωRGB·JRGB(i)+ωDepth·JDepth(i)。
7.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，采用增强现实方法对全息人体模型进行重建。
8.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，用于训练神经网络模型的训练数据包括：采用设置的彩色相机采集的人体图像数据以及公共数据集。
9.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，采用神经网络模型对场景中的所有目标人体进行特征向量的提取并存储在本地的数据库中；当有人员从外部进入场景时，首先提取该人员的特征向量，然后将该人员的特征向量与数据库中已存储的特征向量相比较；若差异小于所设定的阈值，则认为该人员之前进入过场景，并把之前的人员身份编号赋给该人员；反之，则认为是新人员进入场景，赋予该人员一个全新的人员身份编号，并将该人员的特征向量加入到本地的数据库中存储。
CN202111079598.4A 2021-09-15 2021-09-15 一种结合身份识别的高精度全息人体重建方法 Active CN113808256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111079598.4A CN113808256B (zh) 2021-09-15 2021-09-15 一种结合身份识别的高精度全息人体重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111079598.4A CN113808256B (zh) 2021-09-15 2021-09-15 一种结合身份识别的高精度全息人体重建方法

Publications (2)

Publication Number Publication Date
CN113808256A CN113808256A (zh) 2021-12-17
CN113808256B true CN113808256B (zh) 2023-06-09

Family

ID=78941190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111079598.4A Active CN113808256B (zh) 2021-09-15 2021-09-15 一种结合身份识别的高精度全息人体重建方法

Country Status (1)

Country Link
CN (1) CN113808256B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647788B (zh) * 2024-01-29 2024-04-26 北京清雷科技有限公司 一种基于人体3d点云的危险行为识别方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086754A (zh) * 2018-10-11 2018-12-25 天津科技大学 一种基于深度学习的人体姿态识别方法
CN110335343A (zh) * 2019-06-13 2019-10-15 清华大学 基于rgbd单视角图像人体三维重建方法及装置
CN110457980A (zh) * 2018-05-08 2019-11-15 上海梓琰信息科技有限公司 一种人体影像识别方法
CN110619285A (zh) * 2019-08-29 2019-12-27 福建天晴数码有限公司 人体骨骼关键点提取方法及计算机可读存储介质
CN112099330A (zh) * 2020-08-31 2020-12-18 中国人民解放军军事科学院国防科技创新研究院 基于外部相机和穿戴式显控设备的全息人体重建方法
CN112185515A (zh) * 2020-10-12 2021-01-05 安徽动感智能科技有限公司 一种基于动作识别的病患辅助系统
CN112183389A (zh) * 2020-09-29 2021-01-05 中国人民解放军军事科学院国防科技创新研究院 基于广角相机和深度相机的增强现实手势识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102577472B1 (ko) * 2018-03-20 2023-09-12 한국전자통신연구원 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457980A (zh) * 2018-05-08 2019-11-15 上海梓琰信息科技有限公司 一种人体影像识别方法
CN109086754A (zh) * 2018-10-11 2018-12-25 天津科技大学 一种基于深度学习的人体姿态识别方法
CN110335343A (zh) * 2019-06-13 2019-10-15 清华大学 基于rgbd单视角图像人体三维重建方法及装置
CN110619285A (zh) * 2019-08-29 2019-12-27 福建天晴数码有限公司 人体骨骼关键点提取方法及计算机可读存储介质
CN112099330A (zh) * 2020-08-31 2020-12-18 中国人民解放军军事科学院国防科技创新研究院 基于外部相机和穿戴式显控设备的全息人体重建方法
CN112183389A (zh) * 2020-09-29 2021-01-05 中国人民解放军军事科学院国防科技创新研究院 基于广角相机和深度相机的增强现实手势识别方法
CN112185515A (zh) * 2020-10-12 2021-01-05 安徽动感智能科技有限公司 一种基于动作识别的病患辅助系统

Also Published As

Publication number Publication date
CN113808256A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
WO2021175050A1 (zh) 三维重建方法和三维重建装置
WO2017133009A1 (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN108895981A (zh) 一种三维测量方法、装置、服务器和存储介质
CN106355147A (zh) 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN113658211B (zh) 一种用户姿态的评估方法、装置以及处理设备
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
CN109035307B (zh) 基于自然光双目视觉的设定区域目标追踪方法及系统
CN111639580A (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN112016497A (zh) 基于人工智能的单视角太极拳动作分析及考核系统
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN115035546B (zh) 三维人体姿态检测方法、装置及电子设备
CN113808256B (zh) 一种结合身份识别的高精度全息人体重建方法
CN112686202B (zh) 一种基于3d重建的人头识别方法及系统
Koo et al. Recovering the 3D shape and poses of face images based on the similarity transform
Kanaujia et al. 3D human pose and shape estimation from multi-view imagery
Guo et al. Monocular 3D multi-person pose estimation via predicting factorized correction factors
CN109740458B (zh) 一种基于视频处理的体貌特征测量方法及系统
CN113610969B (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质
CN112099330B (zh) 基于外部相机和穿戴式显控设备的全息人体重建方法
CN115841602A (zh) 基于多视角的三维姿态估计数据集的构建方法及装置
Tang et al. A segmentation-based stereovision approach for assisting visually impaired people

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant