CN112419390A - 一种人体身高测量方法及系统 - Google Patents
一种人体身高测量方法及系统 Download PDFInfo
- Publication number
- CN112419390A CN112419390A CN202011349412.8A CN202011349412A CN112419390A CN 112419390 A CN112419390 A CN 112419390A CN 202011349412 A CN202011349412 A CN 202011349412A CN 112419390 A CN112419390 A CN 112419390A
- Authority
- CN
- China
- Prior art keywords
- coordinates
- face
- depth image
- camera
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明公开了一种人体身高测量方法及系统,获取被测人员站在地面上的深度图像和彩色图像,深度图像包括深度数据,基于人脸检测算法检测彩色图像,得到人脸中心的位置坐标,基于深度数据和人脸中心的位置坐标确定深度图像中被测人员头顶的深度图像坐标并转换至相机坐标系下,得到相机坐标系下的被测人员头顶坐标,将被测人员头顶坐标输入至点到平面的距离方程,得到被测人员身高。通过上述方案,测量被测人员的身高时无需接触任何设备,从而提高了身高测量效率。此外,通过计算相机坐标系下的头顶坐标到地面平面方程之间的距离作为被测人体的身高,无需从深度图像中的地面和人体轮廓进行分割来提取人体轮廓,从而减少被测人员测量身高的误差。
Description
技术领域
本发明涉及计算机视觉技术领域,更具体地说,涉及一种人体身高测量方法及系统。
背景技术
目前,人体身高测量通常使用传统物理器材或者深度相机进行测量。
使用传统物理器材进行身高测量如下:使用米尺测量人的头顶距离地面的高度来测量出人体的身高;人体站在身高测量仪的平台上,用滑尺卡到人头的顶部来算出头顶到脚底的距离来测量出人体的身高;使用红外线测身高仪器等测量人体的身高。
使用深度相机进行身高测量如下:通过深度相机获取场景的深度图像,确定深度图像中的人体目标,基于人体目标的上端点在深度图像中的第一图像坐标和人体目标的下端点在深度图像中的第二图像坐标,根据第一图像坐标、第二图像坐标、景深信息和预先设置的相机标定参数,计算第一图像坐标对应的第一三维坐标和第二图像坐标对应的第二三维坐标,最后根据第一三维坐标和第二三维坐标,确定人体的身高。
现有的人体身高测量中,使用传统物理器材测量人体的身高时每次都需要接触物理器材才能进行身高测量,造成身高测量效率低。而利用深度相机测量人体的身高,由于人体站在地面上,深度图像中的地面很难和人体轮廓进行分割开来,所以提取到的人体目标会有误差,使得人体的双脚中心的位置计算也会存在误差,从而导致计算得到的人体的身高误差大。
因此,现有的人体身高测量的效率低且误差大。
发明内容
有鉴于此,本发明公开一种人体身高测量方法及系统,提高被测人员身高测量的效率,减小被测人员身高测量的误差。
为了实现上述目的,其公开的技术方案如下:
本发明第一方面公开了一种人体身高测量方法,所述方法包括:
获取被测人员站在地面上的深度图像和彩色图像,所述深度图像包括深度数据;
基于人脸检测算法检测所述彩色图像,得到人脸中心的位置坐标;
基于所述深度数据和所述人脸中心的位置坐标确定所述深度图像中被测人员头顶的深度图像坐标;
转换所述被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标;
将所述深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并对所述点云数据进行拟合,得到点到平面的距离方程,所述预设部分区域以所述深度图像中所述被测人员的脚底所在区域为基准确定;
将所述被测人员头顶坐标输入至所述点到平面的距离方程,得到被测人员身高。
优选的,所述基于人脸检测算法检测所述彩色图像,得到人脸中心的位置坐标,包括:
基于人脸检测算法检测所述彩色图像得到人脸ROI区域,所述人脸ROI区域至少包括四个坐标点位置,所述四个坐标点位置构成一图像框;
基于所述人脸ROI区域,确定人脸中心的初始位置坐标;
将所述人脸中心的初始位置坐标进行去畸变处理,得到人脸中心的位置坐标。
优选的,所述基于所述深度数据和所述人脸中心的位置坐标确定所述深度图像中被测人员头顶的深度图像坐标,包括:
确定所述人脸中心的位置坐标为所述深度图像中的人脸中心的位置坐标;
基于区域生长算法对所述人脸中心的位置坐标进行计算,得到所述深度图像中被测人员头顶的深度图像坐标。
优选的,所述转换所述被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标,包括:
获取RGBD相机的焦距、相机光心坐标和相机坐标系下的深度值;
将所述被测人员头顶的深度图像坐标、所述RGBD相机的焦距、所述相机光心坐标和所述相机坐标系下的深度值输入至预先建立的小孔相机模型,得到相机坐标系下的被测人员头顶坐标。
优选的,所述将所述深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据并对所述点云数据进行拟合,得到点到平面的距离方程,包括:
基于小孔模型将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,所述点云数据的计算式为:
其中,ui和vi为所述深度数据的像素坐标,Cx和Cy为相机光心在深度图像中的坐标,Fx和Fy为相机的焦距,xi、zi和yi为点云数据的坐标,zi为深度值;
将所述点云数据中选取任意三个坐标点代入预设的三维地面平面方程,得到三维平面方程组,所述预设的三维地面平面方程的计算式为:
Ax+By+Cz+D=0
其中,A、B、C和D为地面方程的参数,(x,y,z)为相机坐标系下点云数据的三维坐标,D为1;
所述三维平面方程组的计算式为:
其中,(xm,ym,zm)、(xn,yn,zn)和(xq,yq,zq)为所述点云数据中的任意三个三维坐标;
通过迭代计算,选取所述三维平面方程中内点数最多的平面方程确定为点到平面的距离方程,所述点到平面的距离方程的计算式如下:
其中,(x,y,z)为内点坐标,d为点到平面的距离。
优选的,所述将所述被测人员头顶坐标输入至所述点到平面的距离方程,得到被测人员身高,包括:
其中,H为所述被测人员身高,(xh,yh,zh)为所述被测人员头顶坐标。
本发明第二方面公开了一种人体身高测量系统,所述系统包括:
获取单元,用于获取被测人员站在地面上的深度图像和彩色图像,所述深度图像包括深度数据;
检测单元,用于基于人脸检测算法检测所述彩色图像,得到人脸中心的位置坐标;
确定单元,用于基于所述深度数据和所述人脸中心的位置坐标确定所述深度图像中被测人员头顶的深度图像坐标;
转换单元,用于转换所述被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标;
拟合单元,用于将所述深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并对所述点云数据进行拟合,得到点到平面的距离方程,所述预设部分区域以所述深度图像中所述被测人员的脚底所在区域为基准确定;
输入单元,用于将所述被测人员头顶坐标输入至所述点到平面的距离方程,得到被测人员身高。
优选的,所述检测单元,包括:
检测模块,用于基于人脸检测算法检测所述彩色图像得到人脸ROI区域,所述人脸ROI区域至少包括四个坐标点位置,所述四个坐标点位置构成一图像框;
第一确定模块,用于基于所述人脸ROI区域,确定人脸中心的初始位置坐标;
处理模块,用于将所述人脸中心的初始位置坐标进行去畸变处理,得到人脸中心的位置坐标。
优选的,所述确定单元,包括:
第二确定模块,用于确定所述人脸中心的位置坐标为所述深度图像中的人脸中心的位置坐标;
计算模块,用于基于区域生长算法对所述人脸中心的位置坐标进行计算,得到所述深度图像中被测人员头顶的深度图像坐标。
优选,所述转换单元,包括:
获取模块,用于获取RGBD相机的焦距、相机光心坐标和相机坐标系下的深度值;
输入模块,用于将所述被测人员头顶的深度图像坐标、所述RGBD相机的焦距、所述相机光心坐标和所述相机坐标系下的深度值输入至预先建立的小孔相机模型,得到相机坐标系下的被测人员头顶坐标。
经由上述技术方案可知,获取被测人员站在地面上的深度图像和彩色图像,深度图像包括深度数据,基于人脸检测算法检测彩色图像,得到人脸中心的位置坐标,基于深度数据和人脸中心的位置坐标确定深度图像中被测人员头顶的深度图像坐标,转换被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标,将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据并对点云数据进行拟合,得到点到平面的距离方程,将被测人员头顶坐标输入至点到平面的距离方程,得到被测人员身高。通过上述方案,测量被测人员的身高时无需接触任何设备,从而提高了身高测量效率。此外,通过计算相机坐标系下的头顶坐标到地面平面方程之间的距离作为被测人体的身高,无需从深度图像中的地面和人体轮廓进行分割来提取人体轮廓,从而减少被测人员测量身高的误差。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种人体身高测量方法的流程示意图;
图2为本发明实施例公开的基于人脸检测算法检测彩色图像,得到人脸中心的位置坐标的流程示意图;
图3为本发明实施例公开的基于深度数据和人脸中心的位置坐标确定深度图像中被测人员头顶的深度图像坐标的流程示意图;
图4为本发明实施例公开的转换被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标的流程示意图;
图5为本发明实施例公开的检测人脸ROI区域及地面检测区域的示意图;
图6为本发明实施例公开的一种人体身高测量系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,现有的人体身高测量的效率低且误差大。
为了解决该问题,本发明实施例公开了一种人体身高测量方法及系统,测量被测人员的身高时无需接触任何设备,从而提高了身高测量效率。此外,通过计算相机坐标系下的头顶坐标到地面平面方程之间的距离作为被测人体的身高,无需从深度图像中的地面和人体轮廓进行分割来提取人体轮廓,从而减少被测人员测量身高的误差。
如图1所示,为本发明实施例公开的一种人体身高测量方法的流程示意图,该人体身高测量方法主要包括如下步骤:
步骤S101:获取被测人员站在地面上的深度图像和彩色图像,深度图像包括深度数据。
在具体实现步骤S101中,通过RGBD相机获取被测人员站在地面上的深度图像和彩色图像。
获取被测人员站在地面上的深度图像和彩色图像的前提条件是当通过RGBD相机拍摄时,需要让被测人员整个身体在RGBD相机的视野中,在RGBD相机的有效范围内,且能够拍摄到地面。
RGBD相机是指带有彩色摄像头的深度相机,RGBD相机包括结构光深度相机、双目结构光深度相机、TOF深度相机等。
RGBD相机的产品类型,根据实际情况进行选取,本发明不做具体限定。
彩色图像的格式可以是YUV格式,也可以是RGB格式。
深度信息是指相机在光轴方向的距离。
需要说明的是,彩色图像和深度图像是配准的,即,彩色图像和深度图像中同一个坐标处的像素在场景中是对应相同的物体。
步骤S102:基于人脸检测算法检测彩色图像,得到人脸中心的位置坐标。
在具体实现步骤S102中,基于人脸检测算法检测人脸的感兴趣区域(region ofinterest,ROI),得到人脸中心的位置坐标。
彩色图像需为RGB格式的图像,若彩色图像是其他格式,则需要将其转换为RGB格式的图像,转换为RGB格式的图像的过程是经过去畸变处理得到。
人脸检测算法可以是模板匹配算法,也可以是机器学习算法,也可以是深度学习算法等,具体人脸算法的确定根据实际情况进行设置,本发明不做具体限定。
步骤S103:基于深度数据和人脸中心的位置坐标确定深度图像中被测人员头顶的深度图像坐标。
在具体实现步骤S103中,基于深度图像上的人体区域,通过区域生长算法,以人脸ROI区域的中心作为种子点,在深度图像中向上遍历生长,得到被测人员头顶在深度图像上的坐标。
步骤S104:转换被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标。
在具体实现步骤S104中,利用相机模型将被测人员头顶的深度图像坐标转换至相机坐标系下,得到相机坐标系下的被测人员头顶坐标。
相机坐标系是指在针孔模型相机中,以聚焦中心为原点,光轴为z轴,x轴与相机图像x方向平行而建立的三维直角坐标系。
步骤S105:将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并对点云数据进行拟合,得到点到平面的距离方程。
在具体实现步骤S105中,利用相机模型将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并通过平面拟合算法对点云数据进行拟合,得到点到平面的距离方程。
预设部分区域以深度图像中被测人员的脚底所在区域为基准确定。
预设部分区域的大小根据实际应用场景进行设置,本发明不做具体限定。
步骤S106:将被测人员头顶坐标输入至点到平面的距离方程,得到被测人员身高。
在具体实现步骤S106中,基于预设的地面平面方程,得到点到平面的距离方程,将将被测人员头顶坐标输入至点到平面的距离方程,得到被测人员身高。
本发明实施例公开了一种人体身高测量方法,通过测量被测人员的身高时无需接触任何设备,从而提高了身高测量效率。此外,通过计算相机坐标系下的头顶坐标到地面平面方程之间的距离作为被测人体的身高,无需从深度图像中的地面和人体轮廓进行分割来提取人体轮廓,从而减少被测人员测量身高的误差。
在上述步骤S102中涉及到述基于人脸检测算法检测彩色图像,得到人脸中心的位置坐标的过程,如图2所示,具体包括如下步骤:
步骤S201:基于人脸检测算法检测彩色图像得到人脸ROI区域。
在步骤S201中,人脸ROI区域至少包括四个坐标点位置,四个坐标点位置构成一图像框。
人脸ROI区域的中心坐标的计算式如公式(1)和公式(2)所示。
uc=(ulu+uru)/2 (1)
vc=(vlu+vru)/2 (2)
其中,(ulu,vlu)、(uru,vru)、(uld,vld)和(urd,vrd)分别是人脸ROI区域中的四个坐标点位置,人脸ROI区域的中心坐标为(uc,vc)。
步骤S202:基于人脸ROI区域,确定人脸中心的初始位置坐标。
步骤S202中,通过人脸ROI区域,得到的人脸中心的初始位置坐标只是一个大致的位置,该位置还不够精确,因此需要通过下述步骤S203中对该初始位置进行去畸变处理,得到准确的人脸中心的位置坐标。
步骤S203:将人脸中心的初始位置坐标进行去畸变处理,得到人脸中心的位置坐标。
在步骤S203中,去畸变的作用是在计算相机坐标系的坐标时,使得计算出的坐标更加准确。
为了方便理解去畸变处理的过程,这里举例进行说明:
例如,现实中的直线在经过相机成像之后在图像中变成了曲线,这就是畸变,通过去畸变处理就是对图像进行处理使得曲线恢复成为直线。
本发明实施例中,基于人脸检测算法检测彩色图像得到人脸ROI区域,基于人脸ROI区域,确定人脸中心的初始位置坐标,通过将人脸中心的初始位置坐标进行去畸变处理,得到人脸中心的位置坐标,实现得到精确的人脸中心的位置坐标的目的。
在上述步骤S103中涉及到基于深度数据和所述人脸中心的位置坐标确定深度图像中被测人员头顶的深度图像坐标的过程,如图3所示,具体包括如下步骤:
步骤S301:确定人脸中心的位置坐标为深度图像中的人脸中心的位置坐标。
在步骤S301中,由于深度图像和彩色图像是经过配准的,因此,得到的人脸ROI区域的中心坐标(uc,vc),人脸ROI区域在深度图像上的坐标也为(uc,vc),通过对人脸ROI区域在深度图像上的坐标进行去畸变处理,得到深度图像中的人脸中心的位置坐标。
步骤S302:基于区域生长算法对人脸中心的位置坐标进行计算,得到深度图像中被测人员头顶的深度图像坐标。
在步骤S302中,利用深度图像上人体区域深度值的连续性,通过区域生长算法,以人脸ROI区域的中心作为种子点,在深度图像中向上遍历生长,得到被测人员头顶的深度坐标(uh,vh)。
本发明实施例中,确定人脸中心的位置坐标为深度图像中的人脸中心的位置坐标,基于区域生长算法对人脸中心的位置坐标进行计算,实现得到深度图像中被测人员头顶的深度图像坐标的目的。
在上述步骤S104中涉及到转换被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标的过程,如图4所示,具体包括如下步骤:
步骤S401:获取RGBD相机的焦距、相机光心坐标和相机坐标系下的深度值。
在步骤S401中,通过标定方法获取RBGD相机的内参,内参分别为RGBD相机的焦距和相机光心坐标,内参的单位为像素。
步骤S402:将被测人员头顶的深度图像坐标、RGBD相机的焦距、相机光心坐标和相机坐标系下的深度值输入至预先建立的小孔相机模型,得到相机坐标系下的被测人员头顶坐标。
在步骤S402中,小孔相机模型的计算式如公式(3)和公式(4)所示。
其中,u和v为深度图像中的像素坐标,Fx和Fy为相机焦距,Cx和Cy为相机光心在深度图像中的坐标,(x,y,z)为相机坐标系下的坐标。
基于公式(3)和公式(4),得到相机坐标系下的被测人员头顶坐标,如公式(5)和公式(6)所示。
其中,(xh,yh,zh)为被测人员头顶坐标,(uh,vh)为被测人员头顶在深度图像中的坐标,zh为相机坐标系下的深度值。
(xh,yh,zh)即为相机坐标下的被测人员头顶坐标。
本发明实施例中,获取RGBD相机的焦距、相机光心坐标和相机坐标系下的深度值,将被测人员头顶的深度图像坐标、RGBD相机的焦距、相机光心坐标和相机坐标系下的深度值输入至预先建立的小孔相机模型,实现得到相机坐标系下的被测人员头顶坐标的目的。
在上述步骤S105中将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并对点云数据进行拟合,得到点到平面的距离方程的过程,结合图5进行说明,具体如下所示:
如图5中,(ulu,vlu)、(uru,vru)、(uld,vld)和(urd,vrd)分别是人脸ROI区域中的四个坐标点位置,(uh,vh)为被测人员头顶的深度图像坐标。
图5中,选取虚线矩形框,即深度图像中的预设部分区域,作为地面检测区域,并用RANSAC方法求解出点到平面的距离方程,方法如下:
需要说明的是,预设部分区域以深度图像中被测人员的脚底所在区域为基准确定。
利用小孔相机模型,将图5中所示的虚线矩形区域内的深度数据的像素点集S,转换至相机坐标下的点云数据P,假设S中的任意一个像素点Si,i∈(0,N)(N为点S集中点的数量,N的取值为大于等于1正整数),点云数据P中的点为Pi,点云数据P的坐标为(xi,yi,zi),点云数据的计算式如公式(7)和公式(8)所示。
其中,ui和vi为深度数据的像素坐标,Cx和Cy为相机光心在深度图像中的坐标,Fx和Fy为相机的焦距,xi、zi和yi为点云数据P的坐标,zi为深度值。
将点云数据P中选取任意三个坐标点代入预设的三维地面平面方程,得到三维平面方程组,预设的三维地面平面方程的计算式如公式(9)所示。
Ax+By+Cz+D=0 (9)
其中,A、B、C和D为地面平面方程的参数,(x,y,z)为相机坐标系下点云数据P的三维坐标,D是常数,因此可将D固定为1,如公式(10)所示。
Ax+By+Cz+1=0 (10)
设从点云数据P中任取三个坐标点,其坐标分别为(xm,ym,zm),(xn,yn,zn)和(xq,yq,zq)。
其中,m∈(0,N),n∈(0,N),q∈(0,N),N的取值为大于等于1的正整数。
将上述3个点的坐标带入公式(10),可以得到三维平面方程组,该三维平面方程组的计算式如公式(11)所示。
其中,(xm,ym,zm)、(xn,yn,zn)和(xq,yq,zq)为点云数据P中的任意三个三维坐标。
求解上述公式(11),得到参数A、B、C的值,进而得到对应的一个平面方程。由于任取的三个点不一定是真实地面上的点,所以求得的平面方程不一定是地面的平面方程,所以本发明采用了RANSAC方法,经过迭代计算,选取求得的平面方程中内点数最多的平面方程作为最终的地面方程。
内点的判断条件为点云数据P中的点到平面方程的距离,如果距离大于预设阈值则认为是外点,否则认为是内点,其中,预设阈值根据实际情况进行设置,本发明不做具体限定。
通过迭代计算,选取三维平面方程中内点数最多的平面方程确定为点到平面的距离方程,内点坐标到平面的距离方程的计算式如公式(12)所示。
其中,(x,y,z)为内点坐标,d为点到平面的距离。
本发明实施例中,将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并对点云数据进行拟合,实现得到点到平面的距离方程的目的。
在上述步骤S106中将被测人员头顶坐标输入至点到平面的距离方程,得到被测人员身高的过程,具体如下所示:
基于上述步骤S402中得到的相机坐标系下被测人员的头顶坐标(xh,yh,zh),与公式(10)和公式(12)进行计算,得到被测人员身高,被测人员身高的计算式,如公式(13)所示。
其中,H为被测人员的身高。
本发明实施例中,将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并对点云数据进行拟合,实现得到点到平面的距离方程的目的。
基于上述实施例图1公开的一种人体身高测量方法,本发明实施例还对应公开了一种人体身高测量的结构示意图,如图6所示,该人体身高测量系统主要包括:
获取单元601,用于获取被测人员站在地面上的深度图像和彩色图像,深度图像包括深度数据。
检测单元602,用于基于人脸检测算法检测彩色图像,得到人脸中心的位置坐标。
确定单元603,用于基于深度数据和人脸中心的位置坐标确定深度图像中被测人员头顶的深度图像坐标。
转换单元604,用于转换被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标。
拟合单元605,用于将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并对点云数据进行拟合,得到点到平面的距离方程,预设部分区域以深度图像中被测人员的脚底所在区域为基准确定。
输入单元606,用于将被测人员头顶坐标输入至点到平面的距离方程,得到被测人员身高。
进一步的,检测单元602包括检测模块、第一确定模块和处理模块。
检测模块,用于基于人脸检测算法检测彩色图像得到人脸ROI区域。
其中,人脸ROI区域至少包括四个坐标点位置,四个坐标点位置构成一图像框。
第一确定模块,用于基于人脸ROI区域,确定人脸中心的初始位置坐标。
处理模块,用于将人脸中心的初始位置坐标进行去畸变处理,得到人脸中心的位置坐标。
进一步的,确定单元603包括第二确定模块和计算模块。
第二确定模块,用于确定人脸中心的位置坐标为深度图像中的人脸中心的位置坐标。
计算模块,用于基于区域生长算法对人脸中心的位置坐标进行计算,得到深度图像中被测人员头顶的深度图像坐标。
进一步的转换单元604包括第一获取模块和输入模块。
获取模块,用于获取RGBD相机的焦距、相机光心坐标和相机坐标系下的深度值;
输入模块,用于将所述被测人员头顶的深度图像坐标、RGBD相机的焦距、所述相机光心坐标和所述相机坐标系下的深度值输入至预先建立的小孔相机模型,得到相机坐标系下的被测人员头顶坐标。
进一步的,拟合单元605,具体用于:
基于小孔模型将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,点云数据的计算式为:
其中,ui和vi为深度数据的像素坐标,Cx和Cy为相机光心在深度图像中的坐标,Fx和Fy为相机的焦距,xi、zi和yi为点云数据的坐标,zi为深度值;
将点云数据中选取任意三个坐标点代入预设的三维地面平面方程,得到三维平面方程组,预设的三维地面平面方程的计算式为:
Ax+By+Cz+D=0
其中,A、B、C和D为地面方程的参数,(x,y,z)为相机坐标系下点云数据的三维坐标,D为1;
三维平面方程组的计算式为:
其中,(xm,ym,zm)、(xn,yn,zn)和(xq,yq,zq)为点云数据中的任意三个三维坐标;
通过迭代计算,选取三维平面方程中内点数最多的平面方程确定为点到平面的距离方程,点到平面的距离方程的计算式如下:
其中,(x,y,z)为内点坐标,d为点到平面的距离。
其中,H为被测人员身高,(xh,yh,zh)为被测人员头顶坐标。
本发明实施例中公开了一种人体身高测量系统,通过测量被测人员的身高时无需接触任何设备,从而提高了身高测量效率。此外,通过计算相机坐标系下的头顶坐标到地面平面方程之间的距离作为被测人体的身高,无需从深度图像中的地面和人体轮廓进行分割来提取人体轮廓,从而减少被测人员测量身高的误差。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种人体身高测量方法,其特征在于,所述方法包括:
获取被测人员站在地面上的深度图像和彩色图像,所述深度图像包括深度数据;
基于人脸检测算法检测所述彩色图像,得到人脸中心的位置坐标;
基于所述深度数据和所述人脸中心的位置坐标确定所述深度图像中被测人员头顶的深度图像坐标;
转换所述被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标;
将所述深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并对所述点云数据进行拟合,得到点到平面的距离方程,所述预设部分区域以所述深度图像中所述被测人员的脚底所在区域为基准确定;
将所述被测人员头顶坐标输入至所述点到平面的距离方程,得到被测人员身高。
2.根据权利要求1所述的方法,其特征在于,所述基于人脸检测算法检测所述彩色图像,得到人脸中心的位置坐标,包括:
基于人脸检测算法检测所述彩色图像得到人脸ROI区域,所述人脸ROI区域至少包括四个坐标点位置,所述四个坐标点位置构成一图像框;
基于所述人脸ROI区域,确定人脸中心的初始位置坐标;
将所述人脸中心的初始位置坐标进行去畸变处理,得到人脸中心的位置坐标。
3.根据权利要求1所述的方法,其特征在于,所述基于所述深度数据和所述人脸中心的位置坐标确定所述深度图像中被测人员头顶的深度图像坐标,包括:
确定所述人脸中心的位置坐标为所述深度图像中的人脸中心的位置坐标;
基于区域生长算法对所述人脸中心的位置坐标进行计算,得到所述深度图像中被测人员头顶的深度图像坐标。
4.根据权利要求1所述的方法,其特征在于,所述转换所述被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标,包括:
获取RGBD相机的焦距、相机光心坐标和相机坐标系下的深度值;
将所述被测人员头顶的深度图像坐标、所述RGBD相机的焦距、所述相机光心坐标和所述相机坐标系下的深度值输入至预先建立的小孔相机模型,得到相机坐标系下的被测人员头顶坐标。
5.根据权利要求1所述的方法,其特征在于,所述将所述深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据并对所述点云数据进行拟合,得到点到平面的距离方程,包括:
基于小孔模型将深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,所述点云数据的计算式为:
其中,ui和vi为所述深度数据的像素坐标,Cx和Cy为相机光心在深度图像中的坐标,Fx和Fy为相机的焦距,xi、zi和yi为点云数据的坐标,zi为深度值;
将所述点云数据中选取任意三个坐标点代入预设的三维地面平面方程,得到三维平面方程组,所述预设的三维地面平面方程的计算式为:
Ax+By+Cz+D=0
其中,A、B、C和D为地面方程的参数,(x,y,z)为相机坐标系下点云数据的三维坐标,D为1;
所述三维平面方程组的计算式为:
其中,(xm,ym,zm)、(xn,yn,zn)和(xq,yq,zq)为所述点云数据中的任意三个三维坐标;
通过迭代计算,选取所述三维平面方程中内点数最多的平面方程确定为点到平面的距离方程,所述点到平面的距离方程的计算式如下:
其中,(x,y,z)为内点坐标,d为点到平面的距离。
7.一种人体身高测量系统,其特征在于,所述系统包括:
获取单元,用于获取被测人员站在地面上的深度图像和彩色图像,所述深度图像包括深度数据;
检测单元,用于基于人脸检测算法检测所述彩色图像,得到人脸中心的位置坐标;
确定单元,用于基于所述深度数据和所述人脸中心的位置坐标确定所述深度图像中被测人员头顶的深度图像坐标;
转换单元,用于转换所述被测人员头顶的深度图像坐标至相机坐标系下,得到相机坐标系下的被测人员头顶坐标;
拟合单元,用于将所述深度图像中预设部分区域的深度数据转换至相机坐标系下的点云数据,并对所述点云数据进行拟合,得到点到平面的距离方程,所述预设部分区域以所述深度图像中所述被测人员的脚底所在区域为基准确定;
输入单元,用于将所述被测人员头顶坐标输入至所述点到平面的距离方程,得到被测人员身高。
8.根据权利要求7所述的系统,其特征在于,所述检测单元,包括:
检测模块,用于基于人脸检测算法检测所述彩色图像得到人脸ROI区域,所述人脸ROI区域至少包括四个坐标点位置,所述四个坐标点位置构成一图像框;
第一确定模块,用于基于所述人脸ROI区域,确定人脸中心的初始位置坐标;
处理模块,用于将所述人脸中心的初始位置坐标进行去畸变处理,得到人脸中心的位置坐标。
9.根据权利要求7所述的系统,其特征在于,所述确定单元,包括:
第二确定模块,用于确定所述人脸中心的位置坐标为所述深度图像中的人脸中心的位置坐标;
计算模块,用于基于区域生长算法对所述人脸中心的位置坐标进行计算,得到所述深度图像中被测人员头顶的深度图像坐标。
10.根据权利要求7所述的系统,其特征在于,所述转换单元,包括:
获取模块,用于获取RGBD相机的焦距、相机光心坐标和相机坐标系下的深度值;
输入模块,用于将所述被测人员头顶的深度图像坐标、所述RGBD相机的焦距、所述相机光心坐标和所述相机坐标系下的深度值输入至预先建立的小孔相机模型,得到相机坐标系下的被测人员头顶坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011349412.8A CN112419390A (zh) | 2020-11-26 | 2020-11-26 | 一种人体身高测量方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011349412.8A CN112419390A (zh) | 2020-11-26 | 2020-11-26 | 一种人体身高测量方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112419390A true CN112419390A (zh) | 2021-02-26 |
Family
ID=74842141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011349412.8A Pending CN112419390A (zh) | 2020-11-26 | 2020-11-26 | 一种人体身高测量方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112419390A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115633956A (zh) * | 2022-11-08 | 2023-01-24 | 华南理工大学 | 一种婴儿身高自动测量方法、系统、装置和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103389042A (zh) * | 2013-07-11 | 2013-11-13 | 夏东 | 基于深度图像的地面自动检测以及场景高度计算的方法 |
CN104173054A (zh) * | 2013-05-21 | 2014-12-03 | 杭州海康威视数字技术股份有限公司 | 基于双目视觉技术的人体身高测量方法及其装置 |
CN105832336A (zh) * | 2016-03-18 | 2016-08-10 | 京东方科技集团股份有限公司 | 身高测量系统和方法 |
US20160371539A1 (en) * | 2014-04-03 | 2016-12-22 | Tencent Technology (Shenzhen) Company Limited | Method and system for extracting characteristic of three-dimensional face image |
CN106361345A (zh) * | 2016-11-29 | 2017-02-01 | 公安部第三研究所 | 基于摄像头标定的视频图像中人体身高测量的系统及方法 |
CN106419923A (zh) * | 2016-10-27 | 2017-02-22 | 南京阿凡达机器人科技有限公司 | 一种基于单目机器视觉的身高测量方法 |
CN106683070A (zh) * | 2015-11-04 | 2017-05-17 | 杭州海康威视数字技术股份有限公司 | 基于深度相机的身高测量方法及装置 |
CN110893617A (zh) * | 2018-09-13 | 2020-03-20 | 深圳市优必选科技有限公司 | 障碍物检测方法、装置及存储装置 |
CN111160309A (zh) * | 2019-12-31 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种图像处理方法和相关设备 |
-
2020
- 2020-11-26 CN CN202011349412.8A patent/CN112419390A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104173054A (zh) * | 2013-05-21 | 2014-12-03 | 杭州海康威视数字技术股份有限公司 | 基于双目视觉技术的人体身高测量方法及其装置 |
CN103389042A (zh) * | 2013-07-11 | 2013-11-13 | 夏东 | 基于深度图像的地面自动检测以及场景高度计算的方法 |
US20160371539A1 (en) * | 2014-04-03 | 2016-12-22 | Tencent Technology (Shenzhen) Company Limited | Method and system for extracting characteristic of three-dimensional face image |
CN106683070A (zh) * | 2015-11-04 | 2017-05-17 | 杭州海康威视数字技术股份有限公司 | 基于深度相机的身高测量方法及装置 |
CN105832336A (zh) * | 2016-03-18 | 2016-08-10 | 京东方科技集团股份有限公司 | 身高测量系统和方法 |
CN106419923A (zh) * | 2016-10-27 | 2017-02-22 | 南京阿凡达机器人科技有限公司 | 一种基于单目机器视觉的身高测量方法 |
CN106361345A (zh) * | 2016-11-29 | 2017-02-01 | 公安部第三研究所 | 基于摄像头标定的视频图像中人体身高测量的系统及方法 |
CN110893617A (zh) * | 2018-09-13 | 2020-03-20 | 深圳市优必选科技有限公司 | 障碍物检测方法、装置及存储装置 |
CN111160309A (zh) * | 2019-12-31 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种图像处理方法和相关设备 |
Non-Patent Citations (2)
Title |
---|
F.TSALAKANIDOU等: "face localization and authentication using color and depth image", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 14, no. 2, 17 January 2005 (2005-01-17), pages 152 - 168, XP011124977, DOI: 10.1109/TIP.2004.840714 * |
许明星等: "基于图像的人体特征点的显著区域检测算法", 《计算机系统应用》, vol. 27, no. 06, 15 June 2018 (2018-06-15), pages 87 - 94 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115633956A (zh) * | 2022-11-08 | 2023-01-24 | 华南理工大学 | 一种婴儿身高自动测量方法、系统、装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110672020A (zh) | 一种基于单目视觉的立木高度测量方法 | |
CN108662987B (zh) | 2d摄像式激光测量头的标定方法 | |
CN103782232B (zh) | 投影仪及其控制方法 | |
CN107084680B (zh) | 一种基于机器单目视觉的目标深度测量方法 | |
CN109520436B (zh) | 一种基于机器视觉的蝶形弹簧三维尺寸自动测量系统及其测量方法 | |
WO2018119771A1 (zh) | 基于条纹投影轮廓术的高效相位-三维映射方法及系统 | |
CN109974625B (zh) | 一种基于色相优化灰度的彩色物体结构光三维测量方法 | |
CN110223355B (zh) | 一种基于双重极线约束的特征标志点匹配方法 | |
CN103994732B (zh) | 一种基于条纹投影的三维测量方法 | |
TW201520508A (zh) | 探針補點系統及方法 | |
CN107928675A (zh) | 一种基于深度学习和红点激光相结合的人体躯干测量方法 | |
CN110608685A (zh) | 一种基于树莓派的物体尺寸快速测量方法 | |
CN116188558B (zh) | 基于双目视觉的立体摄影测量方法 | |
CN108269289A (zh) | 一种相机参数标定的两步优化方法 | |
CN109308462B (zh) | 一种指静脉和指节纹感兴趣区域定位方法 | |
Flesia et al. | Sub-pixel straight lines detection for measuring through machine vision | |
CN107084671A (zh) | 一种基于三线结构光的凹球直径测量系统及测量方法 | |
CN110398199A (zh) | 一种建筑限界检测方法 | |
CN104266606B (zh) | 2ccd相机红外/可见光靶面校准方法 | |
CN106767433B (zh) | 一种测量足部尺寸的方法与系统 | |
CN112419390A (zh) | 一种人体身高测量方法及系统 | |
TW201326735A (zh) | 寬度量測方法及系統 | |
CN112116665B (zh) | 一种结构光传感器标定方法 | |
CN204287060U (zh) | 一种基于rgb结构光的在线式三维检测装置 | |
CN113749646A (zh) | 基于单目视觉的人体身高测量方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |