CN110853133A - 重建人体三维模型的方法、装置、系统和可读存储介质 - Google Patents
重建人体三维模型的方法、装置、系统和可读存储介质 Download PDFInfo
- Publication number
- CN110853133A CN110853133A CN201911025193.5A CN201911025193A CN110853133A CN 110853133 A CN110853133 A CN 110853133A CN 201911025193 A CN201911025193 A CN 201911025193A CN 110853133 A CN110853133 A CN 110853133A
- Authority
- CN
- China
- Prior art keywords
- image sequence
- human body
- depth
- parallax
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 20
- 238000005259 measurement Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于计算机视觉技术领域，提供了一种重建人体三维模型的方法，包括：采集多帧包括人体各个局部的红外图像序列；对所述红外图像序列进行处理，获取相应的视差图像序列或深度图像序列；若根据所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离，则发送所述视差图像序列或所述深度图像序列至服务器，所述视差图像序列或所述深度图像序列用于指示所述服务器重建真实人体三维模型。本申请实现了准确和高效的重建人体三维模型。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种重建人体三维模型的方法、装置、系统和可读存储介质。
背景技术
三维重建是计算机视觉发展的未来核心基础技术，目前在开发应用的是针对诸如人体这种有特定形貌和特征的群体，在影视娱乐和生活方面的应用。
现有的人体三维重建方法主要有：1.人体静止不动，通过多个视点静态采集RGB或者深度图，然后融合来重建人体三维模型；2.人体保持姿势不动，站在不同的角度，由单一深度相机拍摄，然后将3D点云数据融合成人体三维模型。
这两种方法，一方面，需要待测的对象高度配合，但是通常情形下待测的对象不知晓如何配合，需要人工进行干预，方案实施效率低下；另一方面，重建的人体三维模型粗糙，准确度不够。
发明内容
本申请实施例提供了一种重建人体三维模型的方法、装置、系统和可读存储介质，提供了一种准确和高效的重建人体三维模型的方案。
第一方面，本申请实施例提供了一种重建人体三维模型的方法，包括：
采集多帧包括人体各个局部的红外图像序列；
对所述红外图像序列进行处理，获取相应的视差图像序列或深度图像序列；
若根据所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离，则发送所述视差图像序列或所述深度图像序列至服务器，所述视差图像序列或所述深度图像序列用于指示所述服务器重建真实人体三维模型。
通过先对红外图像序列进行处理，获取相应的视差图像序列或深度图像序列，再根据视差图像序列或深度图像序列确定人体处于预设姿态和距离时，将视差图像序列或深度图像序列发送给服务器进行人体三维模型重建，一方面，深度相机将红外图像序列转换成视差图像序列或深度图像序列，使得服务器不需要直接处理红外图像序列，减少了服务器的数据计算量，减少了系统资源占用，大大提高了人体三维模型重建的效率；另一方面，深度相机将确定了人体处于预设姿态和距离的视差图像序列或深度图像序列发送给服务器进行人体三维模型重建，由于提高了数据采集的准确性和完整性，进一步提高了人体三维模型重建的精度。
第二方面，本申请实施例提供了一种重建人体三维模型的装置，包括：
图像采集单元，用于采集多帧包括人体各个局部的红外图像序列；
图像处理单元，用于对所述红外图像序列进行处理，获取相应的视差图像序列或深度图像序列；
数据上传单元，用于若根据所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离，则发送所述视差图像序列或所述深度图像序列至服务器，所述视差图像序列或所述深度图像序列用于指示所述服务器重建真实人体三维模型。
第三方面，本申请实施例提供了一种深度相机，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面，本申请实施例提供了一种深度相机，包括如第二方面所述的装置。
第五方面，本申请实施例提供了一种重建人体三维模型的系统，包括服务器，和如第三方面或第四方面所述的深度相机，所述服务器用于根据所述深度相机发送的所述视差图像序列或所述深度图像序列重建真实人体三维模型。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
第七方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面所述的方法。
可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的重建人体三维模型的系统的示意图；
图2是本申请一实施例提供的重建人体三维模型的系统的配网示意图；
图3是本申请一实施例提供的重建人体三维模型的装置的结构示意图；
图4是本申请一实施例提供的重建人体三维模型的装置的结构示意图；
图5是本申请一实施例提供的重建人体三维模型的装置的结构示意图；
图6是本申请一实施例提供的重建人体三维模型的装置的结构示意图；
图7是本申请一实施例提供的重建人体三维模型的装置的结构示意图；
图8是本申请一实施例提供的重建人体三维模型的装置的结构示意图。
具体实施方式
为了说明本申请所述的技术方案，下面将参考附图并结合实施例来进行说明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚，完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是有线连接到另一个元件或无线连接至该另一个元件上，连接用于数据传输作用。
此外，在本申请的说明书、权利要求书及附图中的术语中涉及“第一”或“第二”等的描述仅用于区别类似的对象，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量，也就是说，这些描述不必用于描述特定的顺序或先后次序。此外，应该理解这些描述在适当情况下可以互换，以便描述本申请的实施例。
请参考图1，图1示出了本申请提供的一种重建人体三维模型的系统，包括两两通信连接的深度相机101，客户端(图1所示为手机)102、及服务器103。系统的测量原理为：客户端102向深度相机101发起测量指令，深度相机101接收该测量指令之后，对人体进行拍照以采集多帧包括人体各个局部的视差图像序列或深度图像序列并将其上传给服务器103，服务器103根据接收的视差图像序列或深度图像序列进行真实的三维(3D)人体重建，并在3D模型上选取关键部位进行测量，从而得到被测人体的对应数据，测量结束后，将最终的三维数据传送给发起测量指令的客户端102。
需要说明的是，深度相机101、客户端102、和服务器103两两之间都要通过网络进行数据传输，因此客户端102在发送测量指令给深度相机101之前还需要对三者进行配网。请参考图2，图2为本申请其中一实施例中配网流程的实现图。具体流程如下：由客户端102启动配网，寻找可连接的蓝牙设备，当找到深度相机101之后与其进行蓝牙连接，连接成功之后，深度相机101会扫描附近可用的WiFi二维码并将生成的WiFi列表通过蓝牙单元(未示出)传送给客户端102，客户端102选择某个WiFi并输入WiFi密码，若连接成功，则完成配网，此时深度相机可通过其WiFi单元(未示出)访问服务器103。需要说明的是，在图2中以WiFi配网为例进行说明，基础仅为示例性描述，不能解释为对本申请的具体限定。
在本申请一些实施例中，深度相机可以为基于结构光、双目、时间飞行算法(timeof flight，TOF)技术的深度相机。此外，深度相机还可以为包括彩色相机模组的深度相机，例如包括RGB相机模组的深度相机，如此，既可以获取包含深度信息的深度图像，又可获取包含丰富纹理信息的彩色图像。
在本申请一些实施例中，客户端还可以为平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备，本申请实施例对电子设备的具体类型不作任何限制。
在本申请一些实施例中，服务器还可以为：独立的服务器、服务器集群或分布式服务器等，本申请实施例对服务器的具体类型不作任何限制。
可以理解地，本领域技术人员可以根据实际需要进行部署，本申请实施例中的图示和与图示对应的阐述不构成对其具体部署形式的限定。
图3示出了本申请一实施例提供的一种重建人体三维模型的方法的实现流程图，该方法包括步骤S110至S130。该方法适用于需要对人体进行三维重建的情形。该方法可以应用于图1所示的深度相机。各步骤的具体实现原理如下。
S110，采集多帧包括人体各个局部的红外图像序列。
深度相机采集人体不同角度的红外图像，从而组成包括人体各个局部的红外图像序列。
继续参见图1所示，在一个实施例中，深度相机101的图像采集单元包括双目IR相机模组，其中左右两个IR相机的基线距离为150mm。在对人体进行拍照时，将深度相机101纵向摆放，贴于垂直的墙面上，距离地面约0.8m至1.2m，受测者保持以预设姿势及距离及位置站立并以预设角度进行自转，例如受测者双手呈一定角度向下垂呈A-pose在距离深度相机1m至2m处自转，自转期间，深度相机通过图像采集单元不断对其进行拍照以获取多帧(例如300帧)不同角度的红外图像序列。
在一个实施例中，图像采集单元还包括彩色相机模组(图1未示出)，例如RGB相机模组，如此，既可以获取包含深度信息的深度图像，又可获取包含丰富纹理信息的彩色图像。可以理解的是，为了采集比较精确的包含人体各个部位的深度图像，上述图像采集过程优选为在室内进行，以避免环境光及红外强光的干扰，受测者最好身穿紧身衣、或者赤裸身体，站在预设位置按照规定动作完成测量过程。
在一个实施例中，图像采集单元中还包括激光投影模组(图1未示出)，举例说明，激光投影模组发射的激光波长为825nm，此时图像采集单元采集得到的就是红外散斑图像。因此，当激光投影模组处于工作状态时，还应该在危险距离范围内探测是否有物体，一旦检测到有物体入侵，则应该关闭激光投影模组。在一个实施例中，深度相机还包括距离测量单元，具体地，在打开图像采集单元的同时，同步打开距离测量单元，当其在1m范围内检测到了物体，则关闭激光模组。在一个实施例中，距离测量单元可以为距离传感器或接近度传感器等。
可以理解的是，不仅是当人体与激光投影模组相距较近时，会对人体造成伤害，当激光投影模组发射的激光功率较大时，也有可能对人体产生伤害。其中，造成激光投影模组功率较大的原因有可能是由于它的衍射光学元件(Diffractive Optical Elements，DOE)被破坏，未对零级光束进行有效衍射，因此在对人体进行图像采集前，还应该对DOE的完整性进行检测。在一个实施例中，可将光电二极管(Photo-Diode，PD)设置在DOE附近，例如可倾斜置于DOE顶角上方45度处，以检测发光量(发光强度)，其中发光量与PD两端的电压成正比，当PD两端电压超过阈值时，则判断DOE被破坏，此时需要关闭激光投影模组。
S120，对所述红外图像序列进行处理，获取相应的视差图像序列或深度图像序列。
深度相机对红外图像序列进行处理，获取相应的视差图像序列或深度图像序列。
具体地，深度相机的图像处理单元对红外图像序列进行处理，获取相应的视差图像序列或深度图像序列。
在一个实施例中，图像处理单元包括视差图像获取单元和深度图像获取单元。
视差图像获取单元用于对所上述红外图像序列进行处理以获取视差图像序列，例如可根据立体匹配算法计算空间点在两幅红外图像中的偏差以得到一系列的视差图像，或者计算参考散斑图像与采集得到的红外散斑图像的偏差以得到一系列的视差图像。
深度图像获取单元，用于对视差图像序列进行处理以获取深度图像序列，例如可根据视差与深度之间的映射关系将视差图像序列进一步转换成深度图像序列。
S130，若根据所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离，则发送所述视差图像序列或所述深度图像序列至服务器，所述视差图像序列或所述深度图像序列用于指示所述服务器重建真实人体三维模型。
深度相机根据视差图像序列或深度图像序列判断人体处于预设姿势及距离。若根据视差图像序列或深度图像序列确定人体处于预设姿势及距离，则发送视差图像序列或深度图像序列至服务器，服务器根据深度相机发送的视差图像序列或深度图像序列，进行人体三维模型重建。
深度相机包括位置检测单元和数据上传单元，位姿检测单元根据首帧或前几帧深度图像判断人体是否处于预设姿势及距离，以当人体处于预设姿势及距离时，数据上传单元将所述视差图像序列或所述深度图像序列发送给服务器，服务器接收深度相机发送的所述视差图像序列或所述深度图像进行人体三维模型重建。
在一个实例中，位置检测单元主要检测以下两个条件是否满足要求:1)人体是否在深度图像中处于中心区域，且占据画面80％以上；2)人体是否以两手成一定角度向下下垂的姿态站立。对于条件1)，位置检测单元可利用图像分割算法将目标区域(包括人体的区域)与背景区域进行分割，并计算出目标区域的中心与深度图像几何中心的距离，当距离小于预设值时，则判断人体处于深度图像的中心区域，与此同时计算出目标区域占整个深度图像的比例值，并判断其是否大于80％；对于条件2)，位置检测单元可对处理得到的首帧或前几帧深度图像进行关键点检测(包括但不限于头、腰、手、肘、肩关节点和双脚底等)以提取人体骨骼数据并计算手臂与躯干的夹角，当上述夹角大小在预设范围之内，例如15至30度时，条件2)满足。当上述2个条件都满足时，才可确定人体处于预设姿势及距离，此时图像采集单元还可以继续对人体进行图像采集。
在其他一些实施例中，深度相机还包括提醒单元，当位姿检测单元确定人体未处于预设姿势及距离时，提醒单元发出调整提醒以对人体的姿势及距离进行调整，直至根据继续采集的所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离。
在一个实施例中，当人体未处于预设姿势及距离时，提醒单元会根据当前人体的姿态和/或距离发出相关的提醒，例如发出广播：“请向前/后/左/右一步”或“张开双臂保持姿势”,受测者即可根据广播内容进行对应的操作。例如，当人体站立位置与深度相机(或激光投影模组)的距离在危险距离范围内时，提醒单元会通过广播提醒受测者向后移动。在此过程中，图像采集单元会不断采集受测者的红外图像，以对当前受测者所站立位置的合理性进行判断。具体地，从而基于继续采集的视差图像序列或深度图像序列，在一个实施例中，提醒单元可以是扬声器。
在本申请实施例中，通过先对红外图像序列进行处理，获取相应的视差图像序列或深度图像序列，再根据视差图像序列或深度图像序列确定人体处于预设姿态和距离时，将视差图像序列或深度图像序列发送给服务器进行人体三维模型重建，一方面，深度相机将红外图像序列转换成视差图像序列或深度图像序列，使得服务器不需要直接处理红外图像序列，减少了服务器的数据计算量，减少了系统资源占用，大大提高了人体三维模型重建的效率；另一方面，深度相机将确定了人体处于预设姿态和距离的视差图像序列或深度图像序列发送给服务器进行人体三维模型重建，由于提高了数据采集的准确性和完整性，进一步提高了人体三维模型重建的精度。
可以理解的是，在深度相机元器件制造以及组装过程中不可避免地会产生误差，这也会给测量的深度值带来系统性的误差，因此在上述图2所示方法实施例的基础上，在发送视差图像序列或深度图像序列给服务器之前，还包括：对所述深度图像序列中的深度数据进行多距离标定。
在一个实施例中，深度相机还包括多距离标定单元，用于对深度图像序列中的深度数据进行多距离标定，以减小测量的系统误差。
需要说明的是，并不是所有采集的图像帧都适合三维人体重建，因此，在图2所示方法实施例的基础上，在发送视差图像序列或深度图像序列给服务器之前，还包括：对所述深度图像序列中的深度数据进行多距离标定；对经过标定后的所述深度图像序列进行筛选，得到筛选后的所述深度图像序列。
在一个实施例中，深度相机除了包括多距离标定单元，还包括有效帧检测单元，有效帧检测单元用于对经标定后的深度图像序列进行筛选以舍弃以去除冗余帧，且进一步减小后续三维重建的数据量。
为了进一步减少后续三维重建计算的数据量以及提升计算速度，在前述方法实施例的基础上，得到筛选后的所述深度图像序列之后，还包括：对筛选后的所述深度图像序列进行掩膜处理，获取深度人体掩膜图像序列。
在一个实施例中，深度相机还包括深度人体掩膜图像获取单元，用于对上述经筛选后的深度图像序列进行掩膜处理以获取深度人体掩膜图像序列，具体地，可用预先制作的感兴趣区掩膜与上述深度图像序列相乘，以去除背景区域得到深度人体掩膜图像序列。
在前述方法实施例的基础上，获取深度人体掩膜图像序列之后，还包括：对所述深度人体掩膜图像序列进行计算，获取视差人体掩膜图像序列。
在一个实施例中，上述深度相机还包括视差人体掩膜图像获取单元，用于对上述深度人体掩膜图像进行计算以获取视差人体掩膜图像序列。与深度图像数据相比，视差图像数据动态范围比较小(每个像素可以用12bit表达或者更少)，邻域像素间的变化很小，可以获得更低的码率，可以进一步提升传输速度。
在前述方法实施例的基础上，得到筛选后的所述深度图像序列之后，还包括：对筛选后的所述深度图像序列进行计算，获取所述人体的骨架信息。
在一个实施例中，深度相机还包括骨架获取单元，用于对上述经筛选后的深度图像序列进行计算以获取人体骨架信息，人体骨架信息主要用于后续的三维重建。
在其他一些实施例中，为了缩短了传输数据时间，从而进一步提高人体三维模型的效率，深度相机可以通过压缩编码的方式将获取的数据上传给服务器。
具体地，深度相机还包括压缩编码单元，用于将深度人体掩膜图像序列、第二参数(包括深度相机的内参)、以及人体骨架信息进行压缩编码，将其进行压缩至原始数据大小的10％后再通过数据上传单元上传至所述服务器，缩短了传输数据时间，从而进一步提高人体三维模型的效率。需要说明的是，上传深度图像数据，无需同时上传多个参数，系统设计比较简单，但是动态范围比较大，而且相邻像素在距离较远处的变化较大，不利于压缩编码。
因此在其他一些实施例中，压缩编码单元将视差人体掩膜图像序列、第一参数(包括深度相机的内参、视差转深度参数、和多距离标定参数)、以及人体骨架信息进行压缩编码，将其进行压缩至原始数据大小的10％后通过数据上传单元上传至所述服务器。与深度图像数据相比，视差图像数据动态范围比较小(每个像素可以用12bit表达或者更少)，邻域像素间的变化很小，可以获得更低的码率，但是需要上传多距离标定参数等额外的参数。
当深度相机通过压缩编码的方式将获取的数据上传给服务器时，服务器先将接收到的压缩数据进行解码解压，以获取视差人体掩膜图像序列、第一参数、以及人体骨架信息；或深度人体掩膜图像序列、第二参数、以及人体骨架信息，并通过上述解码解压后得到的数据进行人体三维重建。
在一个实施例中，服务器包括解码解压单元和三维重建单元。服务器接收到压缩数据之后，通过解码解压单元将接收的所述经压缩编码后的数据进行解码解压以获取视差人体掩膜图像序列、第一参数以及人体骨架信息；或深度人体掩膜图像序列、第二参数以及人体骨架信息，并通过上述解码解压后得到的数据由三维重建单元进行人体三维重建。可以理解的是，当服务器接收的为视差人体掩膜图像序列时，还需要根据视差转深度参数将视差人体掩膜图像序列时转换成深度人体掩膜图像序列，接着根据深度相机内参和多距离标定参数对深度人体掩膜图像序列中的深度数据进行修正，以减小系统测量误差。
在本申请其他实施例中，服务器还包括数据测量单元，用于测量所需人体部位的维度，并将测量结果推送给客户端。在一个实施例中，测量部位包括但不限于：胸围、腰围、臀围、上臂围、下臂围、大腿围和小腿围等。
如此，在整个系统中，数据采集、数据处理、数据显示分别在三个不同的设备中进行，可提升三维数据测量的速度与精度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的重建人体三维模型的方法，图4示出了本申请实施例提供的重建人体三维模型的装置的结构框图，该重建人体三维模型的装置配置于深度相机。为了便于说明，仅示出了与本申请实施例相关的部分。
参照图4，该装置包括：
图像采集单元41，用于采集多帧包括人体各个局部的红外图像序列；
图像处理单元42，用于对所述红外图像序列进行处理，获取相应的视差图像序列或深度图像序列；
数据上传单元43，用于若根据所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离，则发送所述视差图像序列或所述深度图像序列至服务器，所述视差图像序列或所述深度图像序列用于指示所述服务器重建真实人体三维模型。
可选地，在图4所示实施例的基础上，如图5所示，该装置还包括：
位置检测单元44，用于根据所述视差图像序列或所述深度图像序列判断所述人体是否处于预设姿势及距离；
提醒单元45，用于若根据所述视差图像序列或所述深度图像序列确定所述人体未处于预设姿势及距离，则发出调整提醒，直至根据继续采集的所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离。
可选地，在图5所示实施例的基础上，如图6所示，该装置还包括：
多距离标定单元46，用于对所述深度图像序列中的深度数据进行多距离标定。
可选地，在图5所示实施例的基础上，如图7所示，该装置还包括：
多距离标定单元46，用于对所述深度图像序列中的深度数据进行多距离标定；
有效帧检测单元47，用于对经过标定后的所述深度图像序列进行筛选，得到筛选后的所述深度图像序列。
可选地，在图7所示实施例的基础上，如图8所示，该装置还包括：
骨架获取单元48，用于对筛选后的所述深度图像序列进行计算，获取所述人体的骨架信息。
深度人体掩膜图像序列获取单元49，用于对筛选后的所述深度图像序列进行掩膜处理，获取深度人体掩膜图像序列。
视差人体掩膜图像序列获取单元50，用于对所述深度人体掩膜图像序列进行计算，获取视差人体掩膜图像序列。
压缩编码单元51，用于将深度人体掩膜图像序列、第二参数、以及人体骨架信息进行压缩编码；或用于将视差人体掩膜图像序列、第一参数、以及人体骨架信息进行压缩编码，得到压缩编码数据。
相应的，数据上传单元43，用于将所述压缩编码数据上传至服务器，所述压缩编码数据用于指示服务器重建人体三维模型。
需要说明的是，上述单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种重建人体三维模型的方法，其特征在于，所述方法包括：
采集多帧包括人体各个局部的红外图像序列；
对所述红外图像序列进行处理，获取相应的视差图像序列或深度图像序列；
若根据所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离，则发送所述视差图像序列或所述深度图像序列至服务器，所述视差图像序列或所述深度图像序列用于指示所述服务器重建真实人体三维模型。
2.如权利要求1所述的方法，其特征在于，所述获取相应的视差图像序列或深度图像序列之后，还包括：
若根据所述视差图像序列或所述深度图像序列确定所述人体未处于预设姿势及距离，则发出调整提醒，直至根据继续采集的所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离。
3.如权利要求1或2所述的方法，其特征在于，所述视差图像序列或所述深度图像序列还用于指示所述服务器在重建真实人体三维模型后，对所述真实人体三维模型进行测量，获取所述人体的三维数据。
4.如权利要求1或2所述的方法，其特征在于，所述发送所述视差图像序列或所述深度图像序列至服务器之前，还包括：
对所述深度图像序列中的深度数据进行多距离标定；
或
对所述深度图像序列中的深度数据进行多距离标定；对经过标定后的所述深度图像序列进行筛选，得到筛选后的所述深度图像序列。
5.如权利要求4所述的方法，其特征在于，所述得到筛选后的所述深度图像序列之后，还包括：
对筛选后的所述深度图像序列进行计算，获取所述人体的骨架信息；
或
对筛选后的所述深度图像序列进行掩膜处理，获取深度人体掩膜图像序列；
或
对筛选后的所述深度图像序列进行掩膜处理，获取深度人体掩膜图像序列；对所述深度人体掩膜图像序列进行计算，获取视差人体掩膜图像序列。
6.一种重建人体三维模型的装置，其特征在于，包括：
图像采集单元，用于采集多帧包括人体各个局部的红外图像序列；
图像处理单元，用于对所述红外图像序列进行处理，获取相应的视差图像序列或深度图像序列；
数据上传单元，用于若根据所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离，则发送所述视差图像序列或所述深度图像序列至服务器，所述视差图像序列或所述深度图像序列用于指示所述服务器重建真实人体三维模型。
7.如权利要求6所述的装置，其特征在于，还包括：
位置检测单元，用于根据所述视差图像序列或所述深度图像序列判断所述人体是否处于预设姿势及距离；
提醒单元，用于若根据所述视差图像序列或所述深度图像序列确定所述人体未处于预设姿势及距离，则发出调整提醒，直至根据继续采集的所述视差图像序列或所述深度图像序列确定所述人体处于预设姿势及距离。
8.一种深度相机，其特征在于，包括如权利要求6或7所述的装置。
9.一种重建人体三维模型的系统，其特征在于，包括服务器和如权利要求8所述的深度相机，所述服务器用于根据所述深度相机发送的所述视差图像序列或所述深度图像序列重建真实人体三维模型。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911025193.5A CN110853133A (zh) | 2019-10-25 | 2019-10-25 | 重建人体三维模型的方法、装置、系统和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911025193.5A CN110853133A (zh) | 2019-10-25 | 2019-10-25 | 重建人体三维模型的方法、装置、系统和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110853133A true CN110853133A (zh) | 2020-02-28 |
Family
ID=69597911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911025193.5A Pending CN110853133A (zh) | 2019-10-25 | 2019-10-25 | 重建人体三维模型的方法、装置、系统和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110853133A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111627061A (zh) * | 2020-06-03 | 2020-09-04 | 贝壳技术有限公司 | 位姿检测方法、装置以及电子设备、存储介质 |
| CN113723237A (zh) * | 2021-08-17 | 2021-11-30 | 绍兴市北大信息技术科创中心 | 一种根据相对信息的三维人体姿态估计方法及装置 |
| CN113888614A (zh) * | 2021-09-23 | 2022-01-04 | 北京的卢深视科技有限公司 | 深度恢复方法、电子设备和计算机可读存储介质 |
| CN114697516A (zh) * | 2020-12-25 | 2022-07-01 | 花瓣云科技有限公司 | 三维模型重建方法、设备和存储介质 |
| CN116958265A (zh) * | 2023-09-19 | 2023-10-27 | 交通运输部天津水运工程科学研究所 | 一种基于双目视觉的船舶位姿测量方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008571A (zh) * | 2014-06-12 | 2014-08-27 | 深圳奥比中光科技有限公司 | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 |
| CN105740450A (zh) * | 2016-02-03 | 2016-07-06 | 浙江大学 | 一种基于多台Kinect的3D人体姿态数据库构建方法 |
| CN106131408A (zh) * | 2016-07-11 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
| CN108734738A (zh) * | 2017-04-18 | 2018-11-02 | 杭州海康威视数字技术股份有限公司 | 相机标定方法及装置 |
| CN108769646A (zh) * | 2018-05-06 | 2018-11-06 | Oppo广东移动通信有限公司 | 三维视频通信方法及系统、电子装置、服务器和可读存储介质 |
| CN108921902A (zh) * | 2018-06-06 | 2018-11-30 | 链家网（北京）科技有限公司 | 一种修正结构光相机偏差的方法及装置 |
| CN109345621A (zh) * | 2018-08-28 | 2019-02-15 | 广州智美科技有限公司 | 交互式人脸三维建模方法及装置 |
| CN110147816A (zh) * | 2019-04-10 | 2019-08-20 | 中国科学院深圳先进技术研究院 | 一种彩色深度图像的获取方法、设备、计算机存储介质 |
-
2019
- 2019-10-25 CN CN201911025193.5A patent/CN110853133A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008571A (zh) * | 2014-06-12 | 2014-08-27 | 深圳奥比中光科技有限公司 | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 |
| WO2015188685A1 (zh) * | 2014-06-12 | 2015-12-17 | 深圳奥比中光科技有限公司 | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 |
| CN105740450A (zh) * | 2016-02-03 | 2016-07-06 | 浙江大学 | 一种基于多台Kinect的3D人体姿态数据库构建方法 |
| CN106131408A (zh) * | 2016-07-11 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
| CN108734738A (zh) * | 2017-04-18 | 2018-11-02 | 杭州海康威视数字技术股份有限公司 | 相机标定方法及装置 |
| CN108769646A (zh) * | 2018-05-06 | 2018-11-06 | Oppo广东移动通信有限公司 | 三维视频通信方法及系统、电子装置、服务器和可读存储介质 |
| CN108921902A (zh) * | 2018-06-06 | 2018-11-30 | 链家网（北京）科技有限公司 | 一种修正结构光相机偏差的方法及装置 |
| CN109345621A (zh) * | 2018-08-28 | 2019-02-15 | 广州智美科技有限公司 | 交互式人脸三维建模方法及装置 |
| CN110147816A (zh) * | 2019-04-10 | 2019-08-20 | 中国科学院深圳先进技术研究院 | 一种彩色深度图像的获取方法、设备、计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张晓;宋士华;: "基于单视频图像序列的人体三维姿态重建" * |
| 张晓;宋士华;: "基于单视频图像序列的人体三维姿态重建", 计算机工程与设计, no. 06 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111627061A (zh) * | 2020-06-03 | 2020-09-04 | 贝壳技术有限公司 | 位姿检测方法、装置以及电子设备、存储介质 |
| CN114697516A (zh) * | 2020-12-25 | 2022-07-01 | 花瓣云科技有限公司 | 三维模型重建方法、设备和存储介质 |
| CN114697516B (zh) * | 2020-12-25 | 2023-11-10 | 花瓣云科技有限公司 | 三维模型重建方法、设备和存储介质 |
| CN113723237A (zh) * | 2021-08-17 | 2021-11-30 | 绍兴市北大信息技术科创中心 | 一种根据相对信息的三维人体姿态估计方法及装置 |
| CN113723237B (zh) * | 2021-08-17 | 2023-12-05 | 绍兴市北大信息技术科创中心 | 一种根据相对信息的三维人体姿态估计方法及装置 |
| CN113888614A (zh) * | 2021-09-23 | 2022-01-04 | 北京的卢深视科技有限公司 | 深度恢复方法、电子设备和计算机可读存储介质 |
| CN113888614B (zh) * | 2021-09-23 | 2022-05-31 | 合肥的卢深视科技有限公司 | 深度恢复方法、电子设备和计算机可读存储介质 |
| CN116958265A (zh) * | 2023-09-19 | 2023-10-27 | 交通运输部天津水运工程科学研究所 | 一种基于双目视觉的船舶位姿测量方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110853133A (zh) | 重建人体三维模型的方法、装置、系统和可读存储介质 | |
| CN108267097B (zh) | 基于双目三维扫描系统的三维重构方法和装置 | |
| US7742633B2 (en) | Apparatus and method for rapidly measuring 3-dimensional foot sizes from multi-images | |
| US9600889B2 (en) | Method and apparatus for performing depth estimation | |
| CN110874864A (zh) | 获取对象三维模型的方法、装置、电子设备及系统 | |
| CN110874851A (zh) | 重建人体三维模型的方法、装置、系统和可读存储介质 | |
| CN111442721B (zh) | 一种基于多激光测距和测角的标定设备及方法 | |
| WO2019007180A1 (zh) | 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统 | |
| CN107610171B (zh) | 图像处理方法及其装置 | |
| CN111060023A (zh) | 一种高精度3d信息采集的设备及方法 | |
| CN107483845B (zh) | 拍照方法及其装置 | |
| JP2015528109A (ja) | ３ｄ走査および位置決めシステム | |
| CN111060008B (zh) | 一种3d智能视觉设备 | |
| Reichinger et al. | Evaluation of methods for optical 3-D scanning of human pinnas | |
| CN107820019B (zh) | 虚化图像获取方法、装置及设备 | |
| CN107590828B (zh) | 拍摄图像的虚化处理方法和装置 | |
| CN107659985B (zh) | 降低移动终端功耗的方法、装置、存储介质和移动终端 | |
| KR20130081037A (ko) | 인체 치수 측정 시스템 및 그 방법 | |
| CN107590444A (zh) | 静态障碍物的检测方法、装置及存储介质 | |
| CN104205822A (zh) | 采用异步传感器的场景三维重建方法 | |
| CN114152217A (zh) | 基于监督学习的双目相位展开方法 | |
| CN107370952B (zh) | 图像拍摄方法和装置 | |
| CN111064949B (zh) | 用于移动终端的智能3d采集模组 | |
| US20230306636A1 (en) | Object three-dimensional localizations in images or videos | |
| CN107343151B (zh) | 图像处理方法、装置和终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Applicant after: Obi Zhongguang Technology Group Co.,Ltd. Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Applicant before: SHENZHEN ORBBEC Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |
|
| RJ01 | Rejection of invention patent application after publication |