发明内容
本发明目的在于提出一种三维人体测量单元,以解决上述现有技术存在的成本并且还能获取准确的信息的技术问题。
为此,本发明提出一种三维人体测量单元,包括设置在人体测量空间周围的支架以及安装在所述支架上的多个深度相机,所述支架分立在所述人体测量空间四周的多边形顶点上;每个所述支架上含有至少两个所述深度相机,所述深度相机被配置为沿水平方向的视场角小于沿垂直方向的视场角。
在一个实施例中,所述人体测量空间设置成四边形,所述四边形的尺寸满足以下关系:
式中,L与W分别指所述四边形的长与宽;H指人体的平均横向宽度;θ指所述深度相机的水平视场角;Min(L,W)表示四边形的长L与宽W中值小的一个;四边形的长宽满足L≥W。
在一个实施例中,所述四边形的长与宽不相等,即四边形的长宽满足L>W;所述人体测量空间中人体的测量朝向与所述四边形的长轴方向一致。
在一个实施例中,所述深度相机的水平视场角被配置为:覆盖所述人体,且所述人体在水平方向上的尺寸不超过所述水平视场角的80%。
在一个实施例中,所述支架的高度方向对应人体头部处高度位置的所述深度相机被配置为测量精度大于同一支架上的其他深度相机的测量精度。
在一个实施例中,所述深度相机包括投影模组和采集模组,所述投影模组和所述采集模组两者的连线为所述深度相机的基线,所述深度相机沿基线方向的视场角大于该基线正交方向的视场角。
在一个实施例中,所述深度相机的基线方向与分立在所述人体测量空间四周的多边形顶点上的所述支架的垂直方向共线设置。
在一个实施例中,所述支架的高度方向对应人体头部处高度位置的所述深度相机的基线长度大于同一支架上其他深度相机的基线长度。
在一个实施例中,分立在各个所述支架上的所述深度相机,其视场角的中心线方向与所述人体测量空间多边形的对角线方向一致。
在一个实施例中,所述深度相机用于获取人体三维图像,所述人体三维图像包括点云、网络、纹理图像中的一种或多种。
本发明与现有技术对比的有益效果包括:
本发明深度相机被配置为沿水平方向的视场角小于沿垂直方向的视场角,那么垂直视场角的增大,将导致相邻的两个深度相机采集到图像中共同部分区域得以增加,由此带来的好处是在进行图像融合时,由于共同区域更多,融合的精度将更高。通过增大垂直视场角可以使得单个深度相机在垂直方向上获取更多的数据信息,因此可以在垂直方向上以更少的深度相机数量获得人体垂直方向上的全部信息,以减少成本。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“垂直”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
三维测量可以获取被测物的三维模型,基于三维模型可以实现多种应用,比如打印、设计、制造等等。传统的三维测量系统往往基于激光扫描等原理,实时性较差,且成本高。本发明将提供一种三维人体测量系统,基于该系统可以实时获取人体三维模型,另外与传统的三维测量系统相比,本发明中的三维人体测量系统将提供更加人性化、方便的测量体验。
图1所示的是根据本发明一个实施例的三维人体测量系统示意图。系统10是带有门109的房间的形式,避免外部光照影响测量精度,同时最大程度上保护用户隐私,在一些实施例中,也可以是全开放或半开放形式。概括地说,系统10包括测量单元、计算单元、通信单元、人机交互单元、照明单元、换衣单元、以及换气单元。
测量单元用于对人体进行测量,包括多个支架101以及置入支架101上的多个深度相机102,在一个实施例中,支架101分布在四边形的四个对角上,每个支架上布置了4个深度相机102。支架的作用是使得多个深度相机之间的相对位置固定,深度相机102用于对人体的部分进行测量,输出能反映人体三维信息的测量数据,比如深度图像、RGB图像等。深度相机102可以是结构光深度相机、时间飞行法深度相机以及双目视觉深度相机等,深度相机拥有一定的水平以及垂直视场角,本实施例中,深度相机102被配置为沿水平方向的视场角小于沿垂直方向的视场角。
在进行人体测量时,人站立在系统中间位置,一般地,在地面上设置相应的站立位置提醒108,由分布在人体四周的多个深度相机分别获取人体各个部位的深度信息,深度信息可以被进一步应用于提取人体的模型信息。在进行测量时,若深度相机之间没有干扰,所有的深度相机可以同步进行测量,这种方式的实时性更好,测量时间短,得到的人体模型精度更高;若深度相机之间有干扰时,可以通过分时控制方式进行测量,即将有干扰的深度相机以一定的时序分开测量。分时测量举例如下。
4个支架101按顺时针编号为A、B、C、D,深度相机按支架顺序同时按从上至下编号为D1、D2、D3、D4、D5、D6、D7、D8、D9、D10、D11、D12、D13、D14、D15、D16。对于D2而言,其上下左右相邻的深度相机分别为D1、D3、D6、D14。
为了消除同一时间点相邻的深度相机之间存在的重叠干扰的影响,多个深度相机按照预先设定的顺序获取时间序列上的人体各部分深度图像,本实施例可以根据实际情况选择不同的时间序列,列举如下:
如图2所示,将所有的相机依次打开,在每个时刻对应的深度相机仅执行一次测量,随后便关闭(这里的关闭可以是关闭整个深度相机,也可以是仅关闭深度相机中的结构光投影模组);
如图3所示,所示的是在每一时刻打开同一支架上不相邻的两个深度相机;
如图4所示,所示的是在每一时刻打开对面支架上不相邻的共4个深度相机。
在一些实施例中,支架101也可以其他形式排列,比如三角形排列,或者在房间顶部设置支架以放置深度相机以测量人体头部信息。在一些实施例中,每个支架101上含有的深度相机数量可以为2个、3个等。
计算单元用于接收由测量单元发送来的测量数据,并对深度数据进行处理以提取人体三维信息。在一个实施例中,计算单元接收多幅由测量单元获取的深度图像,并利用多个深度相机之间的相对位置关系对多幅深度图像进行融合以形成含有整个人体的深度图像,进一步提取出人体模型数据,比如点云模型、网格模型、纹理图像等信息;在一些实施例中,测量数据还包括彩色信息(RGB图像),从而实现对人体模型以及彩色信息的同步提取。可以理解的是,人体三维信息可以是人体模型,也可以是基于人体模型进一步计算出的反映人体部位尺寸的信息,比如身高、腰围、体重等信息。在图1所示的实施例中,计算单元包括计算机110,计算机110与多个深度相机102连接,以实现对深度相机102的控制,比如同步打开或者分时打开控制,同时接收由各个深度相机102所采集到的数据。计算机110还可以作为整个系统20的中央控制单元,与其他单元连接,以实现功能控制及数据处理等。在一些实施例中,计算单元也可以与测量单元合并成一个单元。
通信单元用于将系统所获取的人体三维信息对外进行传输,也可以用来接收外部指令从而控制系统执行相应的功能。通信单元可以独立存在,也可以与其他单元集成,在图1所示实施例中,通信单元被集成在计算单元中。通信单元可以由任意可实现数据传输的形式组成,包括有线的以太网接口、无线WIFI接口等等。
在一些实施例中,计算机110也可以独立于系统存在,比如将云端服务器作为计算单元,此时,深度相机获取数据可经由通信单元传输至云端服务器中进行进一步的处理,对深度相机的控制也可以由云端服务器发出。
人机交互单元用于实现在人体测量过程中用户与系统之间的交互通讯,比如用户向系统发出测量指令、系统也可向用户发出测量提示。在图1所示的实施例中,人机交互单元包括触摸屏105、音频播放器107、站位提醒108等。触摸屏105还用于显示作用,用于显示与测量相关的应用程序106,程序可以被保存在计算单元中。在进行测量时,由用户首先向系统发出测量指令,指令可以通过触摸屏105发送,也可以通过其他方式,比如语音、手势等。
在一些实施例中,在发出测量指令前还需要进行系统登录,登录方式包括密码、验证码、二维码、人脸、指纹等。其次系统会对用户进行相应的测量提示,比如通过视频演示正确的测量站姿,也可以通过语音、文字等方式进行提示。最后系统开启测量单元对人体进行测量。提示的作用是为了保证测量效果,比如需要用户以一定的站姿保持在测量单元测量的一段时间内处于静止状态,在一些实施例中,当用户接收提示并准备好后向系统发出开始指令,比如由音频播放器107发出的语音指令,也可以由系统自动识别出用户的当前准备状态是否达到要求,当达到要求自动进行测量;在一些实施例中,系统自动设置一段准备时间,并进行倒计时提示,在准备时间内用户对姿势、站位进行调整并保持静止状态,当倒计时结束后开启测量单元进行人体测量。触摸屏105还用于显示作用,用于显示测量应用程序。
照明单元包括照明灯103,用于向系统10内部提供可见光照明,一般地照明灯为LED灯,所发射出的光束光谱位于可见光光谱,而深度相机工作时的光束一般为不可见光,比如近红外光,由此照明灯所发出的光束不会对深度相机产生影响。
换衣单元用于给用户提供更换衣服所需要的资源,为了更准确地获取用户的人体模型,尽量少穿衣服或穿紧身衣会达到更好的测量效果,因此在图1所示的实施例中,系统提供了包括坐凳111、挂钩112的换衣单元,换衣单元还可以包括紧身衣、拖鞋等,当用户进行试衣间后,可以通过换衣单元进行衣服的脱卸与更换。
换气单元用于实现系统内部与外部之间的空气流通,在一种实施例中,换气单元包括换气扇以使得系统内空间流动,在一种实施例中,换气单元包括空调等设备,以使得系统内部空气温度处在人体测量适宜的温度下,在一种实施例中,换气单元包括净化器,以使得系统内空气质量良好,在一种实施例中,换气单元包括散热器,用于将系统内温度向外散发。
为了使得人体测量尽可能准确,各个单元应合理设置,尽可能避免对人体测量产生影响。比如换衣单元应设置成相对于系统10房间墙壁凹进去的形状避免遮挡测量单元的视野,还可以将计算机110设置在坐凳111下以节省空间,在一些实施例中,换气单元可以同时设置在系统顶部、底部以及侧面等。
此外,系统10还包括门109,门的形式可以为推拉、滑轨等形式。系统10还可以包括体重计、超声测距仪等单元。
图5是根据本发明一个实施例的人体模型信息提取步骤。该步骤由上述计算单元执行,主要包括以下步骤:
步骤201,获取多深度相机的测量数据,即由多个深度相机将获取的测量数据传送至计算单元,测量数据可以是深度图像、RGB图像等形式,还可以是用于计算深度图像的原始图像,比如结构光图像等。
步骤202,将测量数据进行融合。本步骤的目的是将多幅测量数据融合成单幅测量数据,比如将多幅深度图像融合成整幅深度图像,从而实现人体各个部分到整个人体信息的提取。这一步骤中,一般还包括对测量数据的预处理,比如图像去噪、背景分割等。在这一步骤中,计算单元将会调用表示多个深度相机之间相对位置关系的参数信息,用来实现图像融合。
步骤203,得到人体模型数据。在上一步骤中得到了包含人体三维信息的信息(深度图像,RGB图像),这一信息往往需要进一步处理比如平滑化、网格化、归一化等处理以得到标准的网格人体模型,便于后续使用。另外,在一些应用中,需要获取人体的关键信息,比如身高、腰围等尺寸,在这一步骤中将进一步对人体模型进行测量后得到人体关键信息。因此,这一步骤得到的人体模型数据有多个种类,比如点云模型、网络模型、三维彩色模型、标准化模型、人体部位尺寸、胖瘦等人体指数等。
步骤204,将人体模型数据用于下游应用。比如将点云模型用于实现三维打印、将三维模型用于显示、用人体部位尺寸进行衣服定制等。
图6是根据本发明一个实施例测量单元的深度相机垂直方向布置示意图。深度相机一般包括投影模组与采集模组(双目视觉深度相机含有两个采集模组),二者之间的连线称为基线,其视场角由采集模组的视场角决定。在已有技术中,深度相机被用来测量深度信息时,采集模组被正常横向放置,其水平视场角往往都大于垂直视场角。在本实施例中,深度相机沿基线方向的视场角大于该基线正交方向的视场角,即深度相机的基线方向与分立在所述人体测量空间四周的多边形顶点上的所述支架的垂直方向共线设置,通过将深度相机旋转90度放置(如图1中所示,即将基线保持在支架的垂直方向上)或者其他方式使得垂直视场角大于水平视场角。图6中垂直方向上(同一支架上)的两个深度相机301、302,若正常横向放置(投影模组与采集模组之间的连线保持在水平方向上)时,垂直视场角为45度,而通过旋转90度放置后,其垂直视场角为60度(本实施例中,假定深度相机的视场角为60度x45度,可以理解的是,视场角也可以为其他角度),从图中可以看出(304是保持水平方向的视场角边界线示意;305是保持垂直方向的视场角边界线示意),由于垂直视场角的增大,导致两个深度相机采集到人体303的图像中共同部分区域(306示意的为保持水平方向的公共部分区域示意;307是保持垂直方向的公共部分区域示意)得以增加,由此带来的好处是在进行图像融合时,由于共同区域更多,融合的精度将更高。通过旋转放置后的深度相机将更便于安装,对系统内部的整体美观度也会提升。
从另一方面说,通过增大垂直视场角可以使得单个深度相机在垂直方向上获取更多的数据信息,因此可以在垂直方向上以更少的深度相机数量获得人体垂直方向上的全部信息,以减少成本。
另外,在一些实施例中,对不同位置深度相机的精度要求不同,比如对于靠近人脸附近用于采集人脸信息的深度相机的精度较高,从而获取精度更高的人脸信息,而其他深度相机的精度要求则较低。通常在距离一定的前提下,提高深度相机的精度往往要增加基线长度,即深度相机中两个模组之间的距离,因此,一实施例中,支架的高度方向对应人体头部处高度位置的深度相机的基线长度大于同一支架上其他深度相机的基线长度。此时深度相机的大小不同,若正常横向设置,一方面会导致安装不一致、效果不美观,另一方面会使得后期各个深度相机所得到的深度数据在融合时更加困难。而采用基线竖直放置则可以避免这些问题。
水平方向上通常在人体周围设置3~4个支架以放置深度相机,在本发明中以4个为例。由于人的横截面面积较小,因此在水平方向上对深度相机的视场角要求较低。如图7所示的深度相机水平方向布置示意图,系统10的空间尺寸用LxW表示,人体的平均横向宽度用H表示,深度相机401的水平视场角用θ表示。在进行设计时,需要考虑这些尺寸之间的关系以达到最佳的测量效果,一般地,需要使得单个深度相机水平视场角402能完全覆盖水平方向上的人体为宜,当人体朝向L长轴方向时,如403所示;为保证在水平视场角θ内能获取完整人体信息,人体处于404的朝向,尺寸需要满足以下关系:
式中,L与W分别指所述四边形的长与宽;H指人体的平均横向宽度;θ指所述深度相机的水平视场角;Min(L,W)表示四边形的长L与宽W中值小的一个;四边形的长宽满足L≥W;优选地,L,W的尺寸分别选取为1200mm,2000mm。
在一个实施例中,人体周围设置4个支架,分别位于四边形的4个角上。被测人体站立在四边形中间位置,支架上的深度相机的视场角的中心线与四边形的对角线一致,以使得各个深度相机获取的深度数据尽可能精度一致(深度相机深度图像的测量精度往往与深度成比例,深度越大,精度越低)。在一个实施例中,各个深度相机的水平视场角要覆盖整个被测对象,同时被测对象的横向尺寸不超过水平视场的80%,由此可以使得被测对象尽可能不出现在深度相机视场角的边缘区域,这是由于边缘区域的深度数据往往误差较大。
4个支架组成的四边形区域可以是正方形、长方形或者其他形状,优选地采用长方形形状,如图7所示,L≠W,在本实施例中L>W。在一些实施例中,由于深度相机的测量精度会随着距离的增加而增加,因此为了尽可能获取精度更高、三维信息更密集的人脸区域,要求被测人体在站立时,正面朝向与长轴方向即L方向一致。
本发明的三维人体测量系统可以实现一站式的三维人体测量,通过如下三维人体测量方法可实现信息的获取与定制化服务之间的衔接完善,如图8所示,包括如下步骤:
1)人体测量系统检测或接收通过人机交互单元向所述人体测量系统发出的测量指令,当收到该测量指令后,进入测量状态;这个步骤中的测量指令可以通过触摸屏105发送,或也可以通过其他方式,比如语音、手势等。在一些实施例中,在发出测量指令前还需要进行系统登录,登录方式包括密码、验证码、二维码、人脸、指纹等。
2)在所述测量状态下,所述人体测量系统对用户当前所处的测量状态进行获知,根据该测量状态向用户发出相应提示,当发出提示后,所述人体测量系统进入准备状态;获知当前所处的测量状态可以通过测量单元进行获取,如:当步骤3)执行完当前测量状态的测量后,检测用户的衣着状态不符合要求时,在下一测量状态的步骤2)中,向用户发出更衣提示,通过换衣单元进行衣服的脱卸与更换;在一个实施例中,如果被要求检测彩色图像,即RGB图像,在步骤3中所述测量单元无法准确获取所述RGB图像时,在下一测量状态的步骤2)中,向用户发出照明提示,通过照明单元进行改善人体测量空间内部的照明。
3)在准备状态结束后,启动测量单元对人体进行测量,计算单元接收由测量单元发送来的测量数据,并对深度数据进行处理以提取人体三维信息,通信单元将人体测量系统所获取的人体三维信息对外进行传输,完成当前测量状态的测量;此时,提示的作用是为了保证测量效果,比如需要用户以一定的站姿保持在测量单元测量的一段时间内处于静止状态;一般的,在一些实施例中,当用户接收提示并准备好后向系统发出准备结束指令,比如由音频播放器107发出的语音指令,即当人体测量系统进入所述准备状态后,当检测或接收到准备结束指令,则系统开始执行步骤3);当然,在一些实施例中,也可以由系统自动识别出用户的当前准备状态是否达到要求,当达到要求自动进行测量,即当检测或获知用户在当前测量状态下达到预定标准后,系统执行步骤3);在一些实施例中,系统自动设置一段准备时间,并进行倒计时提示,在准备时间内用户对姿势、站位进行调整并保持静止状态,当倒计时结束后开启测量单元进行人体测量,即当人体测量系统进入预定准备时间后,执行步骤3)。
4)继续执行步骤2)-3),完成下一测量状态人体三维信息的测量。
综上所述,本发明的深度相机被配置为沿水平方向的视场角小于沿垂直方向的视场角,那么垂直视场角的增大,将导致相邻的两个深度相机采集到图像中共同部分区域得以增加,由此带来的好处是在进行图像融合时,由于共同区域更多,融合的精度将更高。通过增大垂直视场角可以使得单个深度相机在垂直方向上获取更多的数据信息,因此可以在垂直方向上以更少的深度相机数量获得人体垂直方向上的全部信息,以减少成本。
本发明的三维人体测量方法,在进入测量状态后,以及获取人体三维信息之前,通过对用户当前所处的测量状态进行获知,根据该测量状态向用户发出相应提示,当发出提示后,人体测量系统进入准备状态;实现了信息获取与定制化服务之间的衔接完善,可以实现一站式的服务,提高用户的体验度。
以上各实施例的说明中,均以人体为被测量对象,可以理解的是,本发明所述的测量系统也可以用来测量其他对象。
本领域技术人员将认识到,对以上描述做出众多变通是可能的,所以实施例仅是用来描述一个或多个特定实施方式。
尽管已经描述和叙述了被看作本发明的示范实施例,本领域技术人员将会明白,可以对其作出各种改变和替换,而不会脱离本发明的精神。另外,可以做出许多修改以将特定情况适配到本发明的教义,而不会脱离在此描述的本发明中心概念。所以,本发明不受限于在此披露的特定实施例,但本发明可能还包括属于本发明范围的所有实施例及其等同物。