CN112884652A - 一种一体化双相机智能体测装置和人体图像拼接方法 - Google Patents

Abstract

本发明公开了一种一体化双相机智能体测装置和人体图像拼接方法，该装置包括体重体脂秤和相机固定杆，固定杆上安装有同型号的双相机，双相机分别与微处理器通过USB或者MIPI接口连接，秤与微处理器通过USB连接；微处理器用于当被测者站上秤测量体重、体脂率的同时控制双相机拍摄人体图像并进行图像拼接和体态评估分析；本发明拼接方法包括步骤1、分割出人体图像区域，步骤2、计算获得人体图像重叠区域，步骤3、对双相机拍摄的图像进行配准拼接，步骤4、平滑过渡处理。本发明图像拼接方法，具有稳定的拼接效果，可在较小的占地面积条件下，实现全身图像的拍摄，从而可以利用OpenPose方法在拼接后的图像上进行体态评估分析。

Description

一种一体化双相机智能体测装置和人体图像拼接方法

技术领域

本发明属于智能体侧设备和计算机图像处理技术领域，具体涉及一种一体化双相机智能体测装置和人体图像拼接方法。

背景技术

随着我国经济的发展和国民自我保健意识的提升，健康产业规模日益增长。体测设备作为健康产业的重要环节，可以帮助人们了解自己的身体综合素质状况，防患于未然，为开展体育运动提高身体素质提供了科学合理的依据。体测项目中，体重、体脂率和体态(比如是否有头前引、高低肩、O型腿)是三大核心身体指标。然而现有的低成本的家用体测设备往往只集成了其中部分身体指标评估功能，人们需要购买多台设备才能完成全面的体测，另外现有的体态评估设备往往只集成了单个相机，视场范围有限，要求人站在距离仪器较远的地方，使用占地面积较大，在家用场景下会造成一定的不便。

有鉴于此，本发明人提出了一种同时集成体重、体脂率和体态评估功能的一体化双相机智能体测装置。

然而，双相机体测装置面临的一大挑战是如何将两个相机分别拍摄的部分人体图像拼接成完整的全身人像以用于体态评估分析。现有的图像拼接算法包含两大关键步骤：(1)特征点检测(2)特征点匹配。然而特征点检测依赖图像的纹理特征，若人体身着缺乏纹理的纯色衣服，则会因为无法找到足够数量的特征点造成图像拼接失败。即使有一定数量的特征点，特征点的匹配精度也难以保证，从而造成拼接瑕疵，并且为了实现准确的匹配往往需要人工干预调参，难以自适应地实现稳定可靠的图像拼接效果。为此，本发明人结合体测装置的应用场景，提出一种人体图像拼接的方法，以解决上述问题。

发明内容

针对现有的体测设备占地面积大、集成度不高、成本高的问题，本发明提供种一体化双相机智能体测装置和人体图像拼接方法，本发明装置占地面小，且能够实现体重、体脂和体态评估测量为集一体的目的；另外本，发明提出的图像拼接方法，可以自适应地实现稳定可靠的拼接效果，在较近的工作距离下，实现全身图像的拍摄采集，从而可以利用OpenPose方法在拼接后的图像上进行体态评估分析。

本发明要解决的技术问题通过以下技术方案实现：一种一体化双相机智能体测装置，包括体重体脂秤和相机固定杆，所述体重体脂秤与相机固定杆通过秤连接杆连接，所述相机固定杆上、朝向体重体脂秤一侧竖向间距安装有同型号的双相机，所述双相机包括下方第一彩色相机和上方第二彩色相机，所述下方第一彩色相机和上方第二彩色相机分别与微处理器通过USB接口或者MIPI接口连接；

所述体重体脂秤与微处理器通过USB接口连接；

所述微处理器用于当被测者站上体重体脂秤测量体重、体脂率的同时，控制下方第一彩色相机和上方第二彩色相机拍摄被测者人体图像并进行图像拼接和体态评估分析。

进一步地，所述所述下方第一彩色相机和上方第二彩色相机的中心分别距相机固定杆底端的高度为h和2h；

其中，h的取值范围为：h∈[0.5,0.9]，单位：米。

进一步地，所述下方第一彩色相机与上方第二彩色相机的垂直视场角均为θ；

其中，θ的取值范围为：θ∈[80,120]，单位：度。

进一步地，一种人体图像拼接方法，具体包括以下步骤：

步骤1、分割出人体图像区域

将双相机拍摄的照片均输入到人像分割的深度神经网络HRNet(High-ResolutionNetwork)中，分割出人体所在的图像区域；

步骤2、计算获得人体图像重叠区域

根据几何位置关系计算在体重体脂秤的中心位置双相机所拍摄图像的重叠区域，作为人体图像的重叠区域估计；

步骤3、对双相机拍摄的图像进行配准拼接

利用动态时间规整算法计算双相机重叠区域附近人体轮廓的相似度来对双相机拍摄的图像进行配准拼接；

步骤4、平滑过渡处理

用加权融合的方式对拼接区域做平滑过渡处理。

进一步地，所述步骤2具体过程为：

步骤2.1、下方第一彩色相机和上方第二彩色相机的中心距相机固定杆底端的高度分别为h和2h，体重体脂秤的中心与双相机的水平距离为d，双相机的垂直视场角均为θ，计算得到体重体脂秤的中心位置相机的垂直视场范围为：

步骤2.2、计算在秤中心位置处双相机拍摄的图像重叠区域对应的实际高度：

步骤2.3、计算获得图像的重叠区域，其中上方第二彩色相机图像的重叠区域为图像下方占比

的矩形区域，而下方第一彩色相机图像的重叠区域为图像上方占比

的矩形区域。

进一步地，所述步骤3具体过程为：

步骤3.1、提取上方第二彩色相机在步骤2计算出的矩形重叠区域内的人体左右两侧外轮廓作为基准轮廓；

步骤3.2、上下滑动平移原本重叠区域对应的矩形框，提取多组位于矩形框内的人体左右两侧外轮廓；

步骤3.3、利用动态时间规整算法计算下方第一彩色相机平移产生的多组人体轮廓和上方第二彩色相机对应的基准轮廓的相似度，其中计算轮廓间相似度的具体步骤为：

3.3.1、计算两对轮廓各个像素点在x方向上的距离矩阵M；

3.3.2、用递归算法求解一条从矩阵M左上角到右下角的路径，使得该路径上的矩阵元素和(即路径长度)最小，假设从矩阵M左上角到矩阵M内任意一点(i,j)的最短路径长度为L_min(i,j)，则递归起始条件为L_min(1,1)＝M(1,1)，递推规则为：

L_min(i,j)＝min{L_min(i,j-1),L_min(i-1,j),L_min(i-1,j-1)}+M(i,j)；

步骤3.4、根据相似度最高的一组轮廓间的垂直距离对下方第一彩色相机图像进行平移，使得上方和下方两张相机图像重叠区域的人体外轮廓对齐，通过对准人体外侧轮廓将双相机的图像位置拼接在一起。

进一步地，所述步骤4具体过程为：将重叠区域内上方第二彩色相机图片和下方第一彩色相机图片的权重分别设为α和1-α；

将步骤3计算的垂直平移距离作为两图片重叠区域的宽度w，对于重叠图像区域内距离上边沿为m的点，权重α的计算公式为：

与现有技术相比，本发明具有如下有益效果：

1.本发明提供一种一体化双相机智能体测装置，该装置通过设置双相机、体重体脂秤和微处理器，能够一体化的实现体重、体脂率和体态三大身体核心指标的测量和评估，相对现有具备体态评估功能的设备减小了使用占地面积。

2.本发明提供的人体图像拼接方法，利用了相机与人的位置关系和人体的轮廓信息，实现了准确可靠的图像拼接效果，克服了现有图像拼接算法对纹理特征的依赖，减少了拼接过程中产生的瑕疵，从而在近距离条件下实现了较好的全身人像拍摄效果，从而可以利用OpenPose方法在拼接后的图像上进行体态评估分析。

附图说明

图1为本发明一体化双相机智能体测装置结构示意图；

图2为本发明人体图像拼接方法的流程步骤图。

图中：1、体重体脂秤；2、相机固定杆；3、秤连接杆；4、下方第一彩色相机；5、上方第二彩色相机；6、微处理器。

具体实施方式

为使本发明所解决的技术问题、技术方案及有益效果更加清晰，以下结合附图及实施例，对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明，详细说明如下。

如附图1所示，本发明一种一体化双相机智能体测装置，包括体重体脂秤1和相机固定杆2，其中，体重体脂秤1水平放置在地面上，相机固定杆2竖直放置于体重体脂秤1前方一定距离，体重体脂秤1与相机固定杆2通过秤连接杆3连接，相机固定杆2上竖向间距安装有同型号的双相机，双相机的的感光面朝向体重体脂秤1一侧，双相机包括下方第一彩色相机4和上方第二彩色相机5，双相机分别与微处理器6通过USB接口或者MIPI接口进行连接，体重体脂秤1与微处理器6通过USB接口连接，所述微处理器型号优选性价比较高的Intel酷睿i3 8100。通过上述设置后，当被测者站上体重体脂秤1测量体重、体脂率的同时，微处理器6控制双相机拍摄被测者人体图像并进行图像拼接和体态评估分析，即本发明装置在较小的占地面积条件下，一体化集成了体重、体脂和体态评估测量的功能。

优选的，下方第一彩色相机4和上方第二彩色相机5的中心分别距相机固定杆2底端(也就是地面)的高度为h和2h，其中h的取值范围为：h∈[0.5,0.9]，单位：米；另外下方第一彩色相机4与上方第二彩色相机5的垂直视场角均为θ，其中，θ的取值范围为：θ∈[80,120]，单位：度。即双相机的位置和垂直视场角可调，以增大不同身高被测者的使用范围。

如图2所示，基于上述一种双相机智能体测装置，本发明提出一种人体图像拼接方法，具体包括以下步骤：

步骤1、分割出人体图像区域

将双相机拍摄的照片均输入到用于做人像分割的深度神经网络HRNet(High-Resolution Network)中，分割出人体所在的图像区域，该技术属于现有技术，具体可参考作者Ke Sun,Bin Xiao,Dong Liu,and Jingdong Wang于2019年在CVPR发表的论文《DeepHigh-Resolution Representation Learning for Human Pose Estimation》，故不再详细赘述；

步骤2、计算获得人体图像重叠区域

根据几何位置关系计算在体重体脂秤的中心位置双相机所拍摄图像的重叠区域，作为人体图像的重叠区域估计；

其中，所述步骤2计算相机重叠区域的具体步骤包括：

步骤2.1、下方第一彩色相机和上方第二彩色相机的中心距相机固定杆底端的高度分别为h和2h，体重体脂秤的中心与双相机的水平距离为d，双相机的垂直视场角均为θ，计算得到体重体脂秤的中心位置相机的垂直视场范围为：

步骤2.2、计算在秤中心位置处双相机拍摄的图像重叠区域对应的实际高度：

步骤2.3、计算获得图像的重叠区域，其中上方第二彩色相机图像的重叠区域为图像下方占比

的矩形区域，而下方第一彩色相机图像的重叠区域为图像上方占比

的矩形区域；

步骤3、对双相机拍摄的图像进行配准拼接

利用动态时间规整算法计算双相机重叠区域附近人体轮廓的相似度来对双相机拍摄的图像进行配准拼接；

其中，所述步骤3具体过程为：

步骤3.1、提取上方第二彩色相机在步骤2计算出的矩形重叠区域内的人体左右两侧外轮廓作为基准轮廓；

步骤3.2、上下滑动平移原本重叠区域对应的矩形框，提取多组位于矩形框内的人体左右两侧外轮廓；

步骤3.3、利用动态时间规整算法计算下方第一彩色相机平移产生的多组人体轮廓和上方第二彩色相机对应的基准轮廓的相似度，其中计算轮廓间相似度的具体步骤为：

3.3.1、计算两对轮廓各个像素点在x方向上的距离矩阵M；

3.3.2、用递归算法求解一条从矩阵M左上角到右下角的路径，使得该路径上的矩阵元素和(即路径长度)最小，假设从矩阵M左上角到矩阵M内任意一点(i,j)的最短路径长度为L_min(i,j)，则递归起始条件为L_min(1,1)＝M(1,1)，递推规则为：

L_min(i,j)＝min{L_min(i,j-1),L_min(i-1,j),L_min(i-1,j-1)}+M(i,j)；

步骤3.4、根据相似度最高的一组轮廓间的垂直距离对下方第一彩色相机图像进行平移，使得上方和下方两张相机图像重叠区域的人体外轮廓对齐，通过对准人体外侧轮廓将双相机的图像位置拼接在一起；

步骤4、平滑过渡处理

用加权融合的方式对拼接区域做平滑过渡处理。

所述步骤4具体过程为：将重叠区域内上方第二彩色相机图片和下方第一彩色相机图片的权重分别设为α和1-α；

将步骤3计算的垂直平移距离作为两图片重叠区域的宽度w，对于重叠图像区域内距离上边沿为m的点，权重α的计算公式为：

综上，本发明提出一种人体图像拼接的方法，可以自适应地实现稳定可靠的拼接效果，在较近的工作距离下，实现全身图像的拍摄采集，从而可以利用OpenPose方法(现有技术，不再赘述)在拼接后的图像上进行体态评估分析。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种一体化双相机智能体测装置，其特征在于：包括体重体脂秤(1)和相机固定杆(2)，所述体重体脂秤(1)与相机固定杆(2)通过秤连接杆(3)连接，所述相机固定杆(2)上、朝向体重体脂秤(1)一侧竖向间距安装有同型号的双相机，所述双相机包括下方第一彩色相机(4)和上方第二彩色相机(5)，所述下方第一彩色相机(4)和上方第二彩色相机(5)分别与微处理器(6)通过USB接口或者MIPI接口连接；

所述体重体脂秤(1)与微处理器(6)通过USB接口连接；

所述微处理器(6)用于当被测者站上体重体脂秤(1)测量体重、体脂率的同时，控制下方第一彩色相机(4)和上方第二彩色相机(5)拍摄被测者人体图像并进行图像拼接和体态评估分析。

2.根据权利要求1所述的一种一体化双相机智能体测装置，其特征在于：所述下方第一彩色相机(4)和上方第二彩色相机(5)的中心分别距相机固定杆(2)底端的高度为h和2h；

其中，h的取值范围为：h∈[0.5,0.9]，单位：米。

3.根据权利要求1所述的一种一体化双相机智能体测装置，其特征在于：所述下方第一彩色相机(4)与上方第二彩色相机(5)的垂直视场角均为θ；

其中，θ的取值范围为：θ∈[80,120]，单位：度。

4.一种人体图像拼接方法，其特征在于，应用权利要求1至3中任一所述的一体化双相机智能体测装置，具体包括以下步骤：

步骤1、分割出人体图像区域

将双相机拍摄的照片均输入到人像分割的深度神经网络HRNet(High-ResolutionNetwork)中，分割出人体所在的图像区域；

步骤2、计算获得人体图像重叠区域

根据几何位置关系计算在体重体脂秤的中心位置双相机所拍摄图像的重叠区域，作为人体图像的重叠区域估计；

步骤3、对双相机拍摄的图像进行配准拼接

利用动态时间规整算法计算双相机重叠区域附近人体轮廓的相似度来对双相机拍摄的图像进行配准拼接；

步骤4、平滑过渡处理

用加权融合的方式对拼接区域做平滑过渡处理。

5.根据权利要求4所述的一种人体图像拼接方法，其特征在于：所述步骤2具体过程为：

步骤2.1、下方第一彩色相机和上方第二彩色相机的中心距相机固定杆底端的高度分别为h和2h，体重体脂秤的中心与双相机的水平距离为d，双相机的垂直视场角均为θ，计算得到体重体脂秤的中心位置相机的垂直视场范围为：

步骤2.2、计算在秤中心位置处双相机拍摄的图像重叠区域对应的实际高度：

步骤2.3、计算获得图像的重叠区域，其中上方第二彩色相机图像的重叠区域为图像下方占比

的矩形区域，而下方第一彩色相机图像的重叠区域为图像上方占比

的矩形区域。

6.根据权利要求4所述的一种人体图像拼接方法，其特征在于：所述步骤3具体过程为：

步骤3.1、提取上方第二彩色相机在步骤2计算出的矩形重叠区域内的人体左右两侧外轮廓作为基准轮廓；

步骤3.2、上下滑动平移原本重叠区域对应的矩形框，提取多组位于矩形框内的人体左右两侧外轮廓；

步骤3.3、利用动态时间规整算法计算下方第一彩色相机平移产生的多组人体轮廓和上方第二彩色相机对应的基准轮廓的相似度，其中计算轮廓间相似度的具体步骤为：

3.3.1、计算两对轮廓各个像素点在x方向上的距离矩阵M；

3.3.2、用递归算法求解一条从矩阵M左上角到右下角的路径，使得该路径上的矩阵元素和(即路径长度)最小，假设从矩阵M左上角到矩阵M内任意一点(i,j)的最短路径长度为L_min(i,j)，则递归起始条件为L_min(1,1)＝M(1,1)，递推规则为：

L_min(i,j)＝min{L_min(i,j-1),L_min(i-1,j),L_min(i-1,j-1)}+M(i,j)；

步骤3.4、根据相似度最高的一组轮廓间的垂直距离对下方第一彩色相机图像进行平移，使得上方和下方两张相机图像重叠区域的人体外轮廓对齐，通过对准人体外侧轮廓将双相机的图像位置拼接在一起。

7.根据权利要求4所述的一种人体图像拼接方法，其特征在于：所述步骤4具体过程为：将重叠区域内上方第二彩色相机图片和下方第一彩色相机图片的权重分别设为α和1-α；

将步骤3计算的垂直平移距离作为两图片重叠区域的宽度w，对于重叠图像区域内距离上边沿为m的点，权重α的计算公式为：

Images