CN107851323B - 3d身体扫描仪数据处理流程 - Google Patents
3d身体扫描仪数据处理流程 Download PDFInfo
- Publication number
- CN107851323B CN107851323B CN201680040910.XA CN201680040910A CN107851323B CN 107851323 B CN107851323 B CN 107851323B CN 201680040910 A CN201680040910 A CN 201680040910A CN 107851323 B CN107851323 B CN 107851323B
- Authority
- CN
- China
- Prior art keywords
- depth
- image
- model
- scanner
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 230000036541 health Effects 0.000 claims abstract description 15
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 3
- 238000005259 measurement Methods 0.000 claims description 13
- 210000000577 adipose tissue Anatomy 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 7
- 210000004072 lung Anatomy 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 230000037257 muscle growth Effects 0.000 claims description 4
- 230000035935 pregnancy Effects 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 2
- 230000000737 periodic effect Effects 0.000 claims 1
- 239000013585 weight reducing agent Substances 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 abstract description 6
- 210000003414 extremity Anatomy 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000037396 body weight Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004513 sizing Methods 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000011326 mechanical measurement Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
在智能身体扫描仪中实施的处理流程、算法和方法，该智能身体扫描仪具有用于线上服装零售以及健康和医疗应用的规模。这样的智能身体扫描仪是由大量的深度传感器建立起来的，以创建身体的3D深度图像。该智能身体扫描仪具有硬件处理，该硬件处理可以记录具有饱和的明亮区域的部分图像和具有丢失的黑暗区域的部分图像，这些部分图像将在预处理中结合。预处理用可靠、有效、经缩放的深度数据支持算法，作为高动态范围（HDR）处理，接着模型融合以从一连串3D深度图像建立单个明确的3D身体模型。
Description
技术领域
本发明描述在智能身体扫描仪中实施的处理流程、算法和方法，所述智能身体扫描仪具有用于线上服装零售以及健康和医疗应用的规模。这样的智能身体扫描仪是由一个具有规模的转盘以及被安装在柱子上的大量的深度传感器建立起来的，以创建身体的3D深度图像，人体在转盘上缓慢地转动。在用于在线零售的可用服装尺寸以及健康和医疗参数的处理流程中，要求以下处理步骤：
1. 从光学系统的几何失真中修正所记录的3D深度图像，用于深度测量。
2. 从系统错误中修正所记录的3D深度图像，该系统错误由深度传感器单元的几何设置引起。
3. 将一系列所记录的3D深度图像模型融合成三维的自然原始的身体模型。
4. 修正扫描过程的缺陷。
5. 导出用于在线服装零售交易的替身模型和尺寸参数。
6. 导出和可视化出于健康和医疗监控目的的参数。
背景技术
将3D图像融合成3D模型当今典型地使用算法，其中待扫描的物体周围的视野轨道是为人熟知的或是由基于算法的复杂概率确定的，就像在微软的Kinect v2 SDK 3D融合中的算法一样。实际上，这些复杂的算法常常无法用于太松散或者太复杂的待扫描的物体。
用于服装尺寸的确定的现有技术状况是手工测量有价值的身体维度，从而在简单的表格中查找零售服装尺寸。手工测量通过柔性的测量带进行，在一些商店里还用到特殊的机械仪表。
只有鞋子尺寸有时通过X射线相机电学辅助而导出。
在健康和健身领域中，测量肌肉质量的增加或者减脂的过程也与现有技术状况一样，通过用柔性带的机械测量来测量，以确定肢体/胸的周长。无法给出哪个位置的肌肉质量发生变化（比如腹侧/背部）的指示。
给出这些信息的分析方法以及进一步给出这些信息的几何表示的分析方法到现在为止属于复杂的、极其昂贵的医疗设备的领域，比如计算机断层摄影、超声分析或者X射线层分析。
其他健康/医疗参数（比如肺容量）与现有技术状况一样，由非常昂贵的特殊设备（如累积量表）测量，而不是通过3D身体分析方法测量。
附图的简要说明
图1a显示使用深度传感器对从像素传感到自然3D身体模型的可用性的处理流程。这些深度传感器可能具有任意的概念，比如飞行时间（TOF）传感器、结构光（STL）传感器、立体视觉（SVI）传感器、结构光辅助的立体视觉传感器（STL-SVI）或者任何其他的概念。
该处理分为四层：
1. 硬件处理
深度数据生成、照明管理、求平均值和封装，用于传输至强大的图片处理单元（GPU）。
2. 预处理
在预处理中，矫正深度传感器的缺陷，如光学透镜的桶形失真、由几何深度传感器设置（例如收发器（TX-RX）距离）引起的失真。
3. 模型融合
模型融合从深度数据中创建粗略的3D身体模型，该3D身体模型可覆盖整个身体或仅仅部分身体。用多个深度传感器合并可能多个部分的3D扫描也在那里进行。这是最复杂也是最耗费计算能量的过程。
4. 模型修正
以容易使用的方式修正不可避免的扫描错误并对3D网格重定格式。
·补充被头发遮盖的不可视的身体部分
·用最匹配的表面将直接接触的身体部分分开
·以容易使用的骨架方向方式对网格重定格式
结果是良好、容易处理的自然身体模型。
图1b表示在后处理1中服装零售参数的确定。
用于零售服装尺寸的后处理1
这是同样简单的处理步骤，其中：
·创建替身模型的参数
·计算服装零售参数
图1c表示在后处理2中健康和医疗参数的确定。
用于健康/医疗的后处理
·身体质量和高度
·身体质量指数和身体脂肪含量
·健身过程以及身体脂肪和重量的减少
·肺容量
·妊娠跟踪。
发明内容
为了确定服装尺寸以及健康和医疗参数，提出使用以下有利的处理流程：
2.1 硬件处理
覆盖每个像素产生的深度。硬件处理强烈地依赖于深度传感器的类型。它主要是在图像的明亮区域（靠近相机主方向）和图像的黑暗区域（远离相机主方向，位于视野（FOV）边缘）之间的动态范围管理。在大多数情况下，这意味着就像使用所掌管的相机中的可变光传输（TX）能量和不同的集成时间。
这样可以提供具有饱和的明亮区域的所记录的部分图像和具有丢失的黑暗区域的所记录的部分图像，这些所记录的部分图像将在预处理中结合。
预处理
预处理用可靠、有效、经缩放的深度数据来支持以下算法。
2.2.1 高动态范围（HDR）处理
广角的图像记录受到强光晕效应的影响。这意味着图像边缘的强度损失。信号强
度的损失（光晕效应）的实现依赖于自动发光系统，比如具有
至
定律的
TOF和STL，和依赖于自然灯光系统，比如具有
至
定律的SVI成像。该角度
意味着所接收的射线与相机的光轴的偏差。
高动态记录（HDR）处理将在明亮的照明区域中获得的深度数据与在低照明的黑暗区域中获得的深度数据结合，这些深度数据在不同的深度传感器设置（比如主动发光TX能量和相机集成时间）下被记录成一个有效的数据集合。
2.2.2 失真修正
广角透镜自然地具有显著的桶形失真，该桶形失真必须要被修正以获得正确的测量结果。
预处理的一部分在于数学上修正桶形失真，二阶修正（二次多项式）最有可能足够。
其他确定性失真可能由深度传感器本身不可避免的结构（比如在TOF或STL中的TX、RX分离）引起。
模型融合
模型融合意味着从一连串3D深度图像创建单个明确的3D身体模型，所述3D深度图像从多个视角从旋转的身体获得的。这是在整个预处理流程中最复杂且最耗费计算能量的任务。
模型融合能够用任何类型的深度传感器（立体视觉（SVI）、结构光（STL）或飞行时间（TOF））完成，只要接口适当地统一。
2.3.1 基础模型融合算法
简单且有利的模型融合算法可用以下方式工作：
待扫描的身体被转盘转动。转动的时间远远短于深度传感器的帧速率。
在身体转动的过程中，深度传感器提供大量的深度图像，该深度图像能够被看作在身体转动的特定瞬时角度的深度图像快照。深度数据相对于深度传感器的位置是可用的。深度传感器的几何结构相对于转盘的纵向旋转轴（高度、距离）和转盘的角速度大致可知。
模型融合是近似周期性运转的过程。
第一深度图像的深度信息被转换成极坐标，该极坐标与身体的旋转轴的几何上最佳推测中心点相关，如图2所示。
第二深度图像的深度信息被转换成极坐标，该极坐标与身体的旋转轴的几何上最佳推测中心点相关。然后通过深度图像之间的预估角增量旋转第二深度图像。
然后相对于计算旋转角度、高度（z）和到纵向旋转轴的最佳推测点的距离乘数，计算第一图像和第二图像之间的交互相关性。当几何结构未知，深度传感器的水平（x/y）平面上的位移和深度传感器的纵向倾斜也必须被考虑在内。
当找到相关性的最大值，第二图像被转换到这个最适宜的位置，第一图像和第二图像之间的重叠部分被平均成改进的图像。从这个改进的图像中计算纵向旋转轴的更好的推测。
第三深度图像的深度信息被转换成极坐标，该极坐标与身体的旋转轴的新最佳推测中心点相关。然后通过第二和第三深度图像之间的预估角增量旋转第三深度图像。
然后相对于计算旋转角度、高度（z）和到纵向旋转轴的最佳推测点的距离乘数，计算改的进图像（来自第一图像和第二图像的平均）和第三图像之间的交互相关性。当几何结构未知，深度传感器的水平（x/y）平面上的位移和深度传感器的纵向倾斜也必须被考虑在内。
当找到相关性的最大值，第三图像被转换到这个最适宜的位置，改进的图像和第三图像之间的重叠部分被平均成进一步改进的图像。从这个改进的图像中计算纵向旋转轴的进一步更好的推测。
这个过程是周期性持续的，直到几乎接近待扫描的图像。
在这个过程的最终，当最后的深度图像与第一深度图像重叠，它们与第一深度图像相关联以关闭循环。
最后，可以得到整个身体或部分身体的精确、但从网格组成和完整性来说粗略的3D身体模型，并且精确地确定其旋转轴。
所述方法的一个优点在于，它以一套严格的开始条件工作，并且在于连续图像之间的身体移动小且可知。这保证了模型融合的适当收敛。
占据显著的时间跨度的多个3D图像的平均抚平噪声和所测表面的量化效应，并且在一定程度上消除轻微的身体移动，该身体移动对于站立不动的人是不可避免的。
但是，任何其他更简单或者更复杂的模型融合算法都可使用。
2.3.2 用于辅助扫描结合的重新绘制
依赖于深度传感器的类型和模型融合过程，部分模型的网格中的顶点（3D点）相对于水平方向和垂直方向是不规则三角形，如图3所示。
为了进一步处理，对初始网格的顶点（3D点）的不规则三角形重定格式是有利的，重定格式在其他网格中进行，该其他网格在高度上具有等距片中的顶点，并且三角形的一边是具有最大斜率的线，该斜率与身体的垂直轴平行，如图4所示。
常规网格缓和了下一步中的辅助扫描结合成一个模型。
2.3.3 辅助扫描结合
3D身体扫描数据在大量的辅助扫描中可得到，该辅助扫描通常但不限于分段为不同的高度，该辅助扫描必须结合至一个完整、粗略的3D身体模型。
所有的深度传感器及时同步是有利的，可使得所有深度传感器的部分模型之间的几何关系具有良好的初始精确度，以便缓和在角度范围中的辅助扫描结合。缓和这个流程意味着简化和最小化所需的计算工作量。
对于辅助扫描结合，存在一些有利的方法：
·一种简单的方案是，用最小化辅助扫描边界的不连续的方式，仅拟合未重叠的辅助扫描的边界。这里举例来说，对齐作为特定区域的手臂将缓和调整角方向。
·更先进的方案是，至少通过辅助扫描的重叠区域的平方拟合过程来结合辅助扫描。辅助扫描和它们相对高度之间的立体角是可变的，用于优化结合。
有利的是，结合过程在高度和角方向上以良好的初始值开始。
通常用于合并的两个辅助扫描的对齐需要特定的（显著的、特别的）区域，该区域允许任何算法以结合辅助扫描。
举例来说，圆柱在角度上和没有特定的点，因为它是圆的，它在高度上也没有特定的点，因为辅助扫描是平行的。合适的结合是不可能的。
圆锥体能够很容易地在高度上被结合，因为切割边缘在高度上是特定的，但是不能够很容易地在角度上被结合，因为圆锥体是圆的。
棱柱能够很容易地在角度上被结合，因为其特定的边缘，但是却不容易在高度上被结合，因为边缘是平行的。
在结合人体的水平辅助扫描时，对齐作为特定区域的手臂将缓和角方向上的对齐。高度上对齐更困难，即使是用最小二乘法拟合，由于身体在这个方向上缺少特定的区域，因为身体与圆柱相似。因此，依靠校准测量来获得可靠的高度值和柱子的刚度是有利的。
模型修正
由于身体的一些部分被头发隐藏或者被肢体与身体之间的接触隐藏，原始的辅助扫描是不完美的。这必须被修正。
2.4.1 肢体分离
根据身体结构和用户保持正确身体姿势的训练，会有上臂部分地充分接触胸部和/或大腿互相接触的一些情况，如图5所示。它们不能通过简单的扫描来分离。
因此，这样的情况必须被识别以及
i.必须给用户出错消息以让客户以更好的方式重复或者
ii.肢体必须使用一些关于身体解剖的先验假设，以有利的方式在模型修正步骤中被自动分离，如图6所示。
因此，有必要首先识别肢体与肢体之间或者肢体与胸部之间的边界线。这可以通过识别3D身体模型表面中的不连续来发现，或者识别相邻三角形（网格元素）的法向量的变化被观察到。
2.4.2 表面插入
可能有身体表面的一些部分通过身体扫描仪不可见，比如被头发覆盖的头部的表面、转盘上的脚底以及前述肢体之间的不可见区域，如图5所示。
这样的区域必须通过人体的几何结构的先验信息人工重建，该人体的几何结构的先验信息与可见的边界或身体部分接触的线条具有最佳匹配，如图6所示。
清楚的是，这样的插入可能会引入错误，但是假设错误是小的，而且这样的插入对于后处理的功能来说本质上是必要的。
对于肢体-胸部、肢体-肢体和脚底的插入，建议用平坦的表面。
对于头部，建议用椭圆-圆的表面。
2.4.3 肢体重新绘制
通常，用于服装尺寸预估或者健康/医疗应用的所有有价值的测量路径不是：
·在垂直于身体或肢体的轴线的平面上在身体或者肢体周围正切；
·就是沿着（平行）身体轴线或者肢体轴线（骨骼方向）。
如图9至11所示。
因此用图8所示的方式提供最终的自然身体模型是有利的。
这个被重定格式的最终3D身体模型将被称为“自然3D身体模型”。这被有利地用作所有进一步应用的特定后处理的基础。这个自然3D身体模型使进一步后处理步骤的处理工作量最小化，但是也可以使用具有其他网格方案的模型。
用于服装尺寸的后处理
这个后处理的目的在于提供足够精确的数据，以允许线上服装零售商减少商品退回的成本。
2.5.1 测量路径创建
为了描述人体特征，要用到典型的测量路径。洲与洲之间以及服装公司与服装公司之间的测量路径可能是不同的。但是通常它们可以主要分为：
·切向（与纵向身体轴线垂直的平面有关）测量路径：
·头部周长
·胸部周长
·……
·纵向（平行于纵向身体轴线或者肢体轴线）测量路径
·手臂长
·腿长
·……
·径向测量路径或其他测量路径
·足长和足宽
·……
示例如图9至11所示。
2.5.2用于服装尺寸的身体参数提取
在身体参数提取中，沿预先定义的测量路径整合身体维度，如图9至11所示。
2.5.3 替身创建
替身创建由球形表面、圆柱和椭圆柱表面以及圆锥以及椭圆锥表面构成未指明、无个性特征的身体模型作为人体模型，这些表面对于服装工业来说具有足够的精确度。图12给出了示例。
2.5.4 服装精制尺寸计算
有各种各样可用的服装标准制定系统，这些系统在不同的洲和不同的服装公司是不同的。图13和14示出了两个示例。
可以通过这样服务：
（i） 将身体维度或者替身提交至服装零售商，让服装零售商处理；或
（ii）从服装零售商装载转换表格，以计算拟合精制尺寸。
用于健康和医疗的后处理
2.6.1 身体质量和身体高度
身体质量体积和高度是任何扫描获得的基本参数。它们也能够以有利的方式使用，以自动识别各种用户。为了识别用户，系统将创建以下参数的等级：身体高度、质量和维度。如果扫描在可用的等级中匹配，那么用户可以被识别。当使连续的测量追踪这个过程时，等级随着移动的窗口被相应地改变，以保持用户识别。
这个算法不限于身体质量体积或者高度。也可以包括其他获得的参数，比如性别或者身体组成、目距等等，作为区分。
2.6.2 体重指数、身体脂肪含量、身体脂肪百分数
待计算的最简单的参数是身体质量指数（BMI）和身体脂肪含量/百分数。BMI可用以下数字输入计算：测得的身体重量和身体高度。身体脂肪含量/百分数可以使用身体体积以Siri或者Brozek方程式计算，身体体积可以通过用户的3D扫描整合身体的体积以及测量的身体重量而获得。
数值以有利的方式存储在3D身体扫描仪中或者云端中，以允许随时查看历史和节食过程。
2.6.3 身体肌肉增长过程和身体脂肪和重量的减少
3D身体扫描仪一个很大的优点就是有可能以详细的方式监控身体肌肉增长的过程或者重量/身体脂肪减少的过程。在这些情况下，相对于只给用户提供重量或者周长的变化，给用户提供更详细的反馈是有利的。
所提出的方法是将真实自然的3D身体模型与存储的历史图像比较，计算3D差异，并将结果展示为绘制在3D身体模型表面的色度，如图15所示。
此外，身体上的3D差异可以被交叉检查而且与身体脂肪百分数中的变化相关，以确定3D差异是否是因为肌肉质量的增加或者脂肪质量的增加。
对于更详细的分析，比较横截面的变化也是有利的，比如比较在与骨骼轴线垂直的平面中上臂的横截面来看肱二头肌的增长过程，如图16所示。
类似地可以通过观察横断身体平面中的横截面来追踪腹部或者臀部脂肪的减少，如图17所示。
2.6.4 肺容量
肺容量监控对于耐力运动员和遭受哮喘疾病的人来说是很重要的。因此，3D身体扫描仪可以通过完全吸入和完全呼出时的扫描之间的体积差异来计算肺容量。
2.6.5 妊娠追踪
在妊娠的情况下，身体组成的变化可以用3D身体扫描仪来进行，而没有任何健康上的风险。
Claims (11)
1.在智能身体扫描仪中实施的处理方法，该智能身体扫描仪具有用于线上服装零售以及健康和医疗应用的规模，这样的智能身体扫描仪是由用于转动待扫描的身体的转盘和大量的深度传感器，建立起来的，以在身体转动的过程中创建在身体转动的特定瞬时角度的身体的大量的3D深度图像，
该智能身体扫描仪具有硬件处理，该硬件处理可以记录具有饱和的明亮区域的部分图像和具有丢失的黑暗区域的部分图像，这些部分图像将在预处理中结合，
该智能身体扫描仪具有预处理，该预处理用可靠、有效、经缩放的深度数据支持模型融合算法，作为高动态范围处理，
该智能身体扫描仪具有随后的模型融合，该模型融合用算法从来自多个视角的一连串3D深度图像建立单个明确的3D身体模型，其特征在于，
模型融合是近似周期性运转的过程，
其中第一深度图像和第二深度图像的深度信息被转换成极坐标，该极坐标与身体的旋转轴的几何上最佳推测中心点相关；
其中当找到第一深度图像和第二深度图像之间相关性的最大值，第二图像被转换到这个最适宜的位置，第一图像和第二图像之间的重叠部分被平均成改进的图像；
其中从这个改进的图像中计算纵向旋转轴的更好的推测；
其中第三深度图像的深度信息被转换成极坐标，该极坐标与身体的旋转轴的新最佳推测中心点相关，
其中当找到改进的图像和第三图像之间相关性的最大值，第三图像被转换到这个最适宜的位置，改进的图像和第三图像之间的重叠部分被平均成进一步改进的图像,
从这个改进的图像中计算纵向旋转轴的进一步更好的推测；
其中，第一深度图像、第二深度图像、第三深度图像分别是在身体转动的过程中，深度传感器在身体转动的不同角度获得的身体的深度图像。
2.根据权利要求1所述的处理方法，其特征在于，处理方法包括失真修正。
3.根据权利要求1所述的处理方法，其特征在于，处理方法包括用于辅助扫描结合的重新绘制，以对初始网格的顶点的不规则三角形进行重定格式，重新绘制在其他网格中进行，该其他网格在高度上具有在等距片中的顶点。
4.根据权利要求1所述的处理方法，其特征在于，处理方法包括将辅助扫描结合至一个完整、粗略的3D身体模型。
5.根据权利要求1所述的处理方法，其特征在于，处理方法包括模型修正，由于身体的一些部分被头发隐藏或者被肢体与身体之间的接触隐藏，原始的辅助扫描是不完美的。
6.根据权利要求1所述的处理方法，其特征在于，处理方法包括肢体分离，该肢体分离通过识别肢体与肢体之间或者肢体与胸部之间的边界线而进行。
7.根据权利要求1所述的处理方法，其特征在于，处理方法包括表面插入，该表面插入通过用人体的几何结构的先验信息进行人工重建而进行，该人体的几何结构的先验信息与可见的边界或身体部分接触的线条具有最佳匹配。
8.根据权利要求1所述的处理方法，其特征在于，处理方法包括将最终的3D身体模型重定格式为自然的3D身体模型。
9.根据权利要求1所述的处理方法，其特征在于，处理方法包括通过测量路径创建、用于服装尺寸的身体参数提取、替身创建和/或服装精制尺寸计算对服装尺寸进行后处理。
10.根据权利要求1所述的处理方法，其特征在于，处理方法包括通过获取身体质量和身体高度、身体质量指数、身体脂肪含量、身体脂肪百分数、身体肌肉增长过程及身体脂肪和重量的减少、肺容量和/或妊娠追踪对健康和医疗进行后处理。
11.用于线上服装零售以及健康和医疗应用的智能身体扫描仪，这样的智能身体扫描仪是由用于转动待扫描的身体的转盘、
大量的深度传感器，
和计算机
建立起来的，
该深度传感器用以在身体转动的过程中创建在身体转动的特定瞬时角度的身体的大量的3D深度图像，
其特征在于，该计算机被设计为执行根据权利要求1所述的处理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562160606P | 2015-05-13 | 2015-05-13 | |
| US62/160,606 | 2015-05-13 | ||
| PCT/EP2016/060803 WO2016180957A2 (en) | 2015-05-13 | 2016-05-12 | 3d body scanner data processing flow |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107851323A CN107851323A (zh) | 2018-03-27 |
| CN107851323B true CN107851323B (zh) | 2022-08-05 |
Family
ID=57248900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680040910.XA Active CN107851323B (zh) | 2015-05-13 | 2016-05-12 | 3d身体扫描仪数据处理流程 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10402994B2 (zh) |
| EP (1) | EP3295427B1 (zh) |
| CN (1) | CN107851323B (zh) |
| WO (1) | WO2016180957A2 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107851323B (zh) * | 2015-05-13 | 2022-08-05 | 无装饰实验室奥地利股份有限公司 | 3d身体扫描仪数据处理流程 |
| GB2542114B (en) * | 2015-09-03 | 2018-06-27 | Heartfelt Tech Limited | Method and apparatus for determining volumetric data of a predetermined anatomical feature |
| US11132811B2 (en) * | 2016-03-08 | 2021-09-28 | The Lycra Company Llc | Method and system for improving size selection of garments |
| US10607408B2 (en) * | 2016-06-04 | 2020-03-31 | Shape Labs Inc. | Method for rendering 2D and 3D data within a 3D virtual environment |
| KR102402368B1 (ko) | 2016-07-13 | 2022-05-25 | 네이키드 랩스 오스트리아 게엠베하 | 3d 바디 스캐너 및 바이탈 파라미터 센서들을 포함하는 스마트 바디 애널라이저 |
| CN109393614B (zh) * | 2018-09-03 | 2021-02-19 | 海盐昆植生物技术有限公司 | 一种量体裁衣尺寸测量的系统 |
| CN109712085B (zh) * | 2018-12-11 | 2021-05-25 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
| CN109875562A (zh) * | 2018-12-21 | 2019-06-14 | 鲁浩成 | 一种基于体感设备多视觉分析的人体体型监测系统 |
| AU2020357051A1 (en) | 2019-10-03 | 2022-05-05 | Cornell University | Optimizing bra sizing according to the 3D shape of breasts |
| PL438986A1 (pl) | 2021-09-20 | 2023-03-27 | Eduroco Spółka Z Ograniczoną Odpowiedzialnością | Przenośne urządzenie oraz system do skanowania obiektów, zwłaszcza sylwetki człowieka |
| WO2024196628A1 (en) * | 2023-03-21 | 2024-09-26 | The Government Of The United States, As Represented By The Secretary Of The Army | Body composition prediction by the summation of regional estimates determined from anatomical subregion geometry |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916455A (zh) * | 2010-07-01 | 2010-12-15 | 清华大学 | 一种高动态范围纹理三维模型的重构方法及装置 |
| CN102156810A (zh) * | 2011-03-30 | 2011-08-17 | 北京触角科技有限公司 | 增强现实实时虚拟试衣系统及方法 |
| CN103765879A (zh) * | 2011-08-30 | 2014-04-30 | 微软公司 | 扩展激光深度图范围的方法 |
| CN104299261A (zh) * | 2014-09-10 | 2015-01-21 | 深圳大学 | 人体三维成像方法及系统 |
| CN204133432U (zh) * | 2014-07-21 | 2015-02-04 | 邓以翔 | 一种新型的人体三维扫描仪系统 |
| CN104392483A (zh) * | 2014-10-17 | 2015-03-04 | 上海衣得体信息科技有限公司 | 一种根据人体扫描仪扫描数据进行三维人体建模的方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007310707A (ja) * | 2006-05-19 | 2007-11-29 | Toshiba Corp | 姿勢推定装置及びその方法 |
| US8068676B2 (en) * | 2007-11-07 | 2011-11-29 | Palo Alto Research Center Incorporated | Intelligent fashion exploration based on clothes recognition |
| CN107851323B (zh) * | 2015-05-13 | 2022-08-05 | 无装饰实验室奥地利股份有限公司 | 3d身体扫描仪数据处理流程 |
-
2016
- 2016-05-12 CN CN201680040910.XA patent/CN107851323B/zh active Active
- 2016-05-12 EP EP16722667.9A patent/EP3295427B1/en active Active
- 2016-05-12 WO PCT/EP2016/060803 patent/WO2016180957A2/en active Application Filing
- 2016-05-12 US US15/573,220 patent/US10402994B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916455A (zh) * | 2010-07-01 | 2010-12-15 | 清华大学 | 一种高动态范围纹理三维模型的重构方法及装置 |
| CN102156810A (zh) * | 2011-03-30 | 2011-08-17 | 北京触角科技有限公司 | 增强现实实时虚拟试衣系统及方法 |
| CN103765879A (zh) * | 2011-08-30 | 2014-04-30 | 微软公司 | 扩展激光深度图范围的方法 |
| CN204133432U (zh) * | 2014-07-21 | 2015-02-04 | 邓以翔 | 一种新型的人体三维扫描仪系统 |
| CN104299261A (zh) * | 2014-09-10 | 2015-01-21 | 深圳大学 | 人体三维成像方法及系统 |
| CN104392483A (zh) * | 2014-10-17 | 2015-03-04 | 上海衣得体信息科技有限公司 | 一种根据人体扫描仪扫描数据进行三维人体建模的方法 |
Non-Patent Citations (1)
| Title |
|---|
| Seeing People in Different Light-Joint Shape, Motion, and Reflectance Capture;Christian Theobalt 等;《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》;20071231;第13卷(第4期);第667页第5.3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016180957A2 (en) | 2016-11-17 |
| US10402994B2 (en) | 2019-09-03 |
| EP3295427B1 (en) | 2021-05-05 |
| EP3295427A2 (en) | 2018-03-21 |
| CN107851323A (zh) | 2018-03-27 |
| WO2016180957A3 (en) | 2016-12-29 |
| US20180137640A1 (en) | 2018-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107851323B (zh) | 3d身体扫描仪数据处理流程 | |
| US20200268339A1 (en) | System and method for patient positioning | |
| CN107273846B (zh) | 一种人体体型参数确定方法及装置 | |
| US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
| US9514538B2 (en) | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method | |
| Castelli et al. | A 2D markerless gait analysis methodology: Validation on healthy subjects | |
| KR101448562B1 (ko) | 신체 분석 시스템 | |
| JP6429772B2 (ja) | ３ｄ走査および位置決めシステム | |
| CN104813340A (zh) | 从2d图像序列导出准确身体尺寸测量的系统和方法 | |
| WO2013058978A1 (en) | Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics | |
| EP1718206A2 (en) | Time-dependent three-dimensional musculo-skeletal modeling based on dynamic surface measurements | |
| WO2015162158A1 (en) | Human motion tracking | |
| Mallare et al. | Sitting posture assessment using computer vision | |
| Clarkson et al. | Assessing the suitability of the Microsoft Kinect for calculating person specific body segment parameters | |
| JP2021003566A (ja) | 眼の網膜の距離の幾何学的測定値を判定する方法、非一時的なコンピュータ可読な記憶媒体、及び眼の網膜の距離の幾何学的測定値を判定する画像システム | |
| US20130069939A1 (en) | Character image processing apparatus and method for footskate cleanup in real time animation | |
| CN110853133A (zh) | 重建人体三维模型的方法、装置、系统和可读存储介质 | |
| CN114745985A (zh) | 根据乳房的3d形状优化文胸尺寸确定 | |
| CN107405134B (zh) | 超声成像装置 | |
| CN110874851A (zh) | 重建人体三维模型的方法、装置、系统和可读存储介质 | |
| US11694360B2 (en) | Calibrating 3D motion capture system for skeletal alignment using x-ray data | |
| JP7136344B2 (ja) | カメラの較正方法、カメラ及びプログラム | |
| CN116524124A (zh) | 脊柱三维动态重建方法和系统 | |
| CN115908717A (zh) | 脊柱3d建模的方法和系统 | |
| Daponte et al. | A stereo vision method for IMU-based motion tracking systems calibration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |