CN107844780A - 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置 - Google Patents

一种融合zed视觉的人体健康特征大数据智慧计算方法与装置 Download PDF

Info

Publication number
CN107844780A
CN107844780A CN201711194242.9A CN201711194242A CN107844780A CN 107844780 A CN107844780 A CN 107844780A CN 201711194242 A CN201711194242 A CN 201711194242A CN 107844780 A CN107844780 A CN 107844780A
Authority
CN
China
Prior art keywords
health
data
face
human body
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711194242.9A
Other languages
English (en)
Inventor
刘辉
金楷荣
李燕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201711194242.9A priority Critical patent/CN107844780A/zh
Publication of CN107844780A publication Critical patent/CN107844780A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了一种融合ZED视觉的人体健康特征大数据智慧计算方法与装置，该方法包括：步骤1：构建人体自然体征数据库和人体极限运动数据库；步骤2：利用搭载在无人机上的ZED相机获取的人体身高，筛选出待识别人体群；步骤3：基于Hadoop平台对待识别人体脸部图像利用PID神经网络进行快速识别；步骤4：无人机跟踪已识别人体，获取待识别人体的健康数据传输至远程服务器；步骤5：将获取的健康数据以及眼部、嘴部特征输入基于深度置信网络DBN的人体健康评估模型，得到待识别人体的健康检测程度。本发明基于大数据平台，运用穿戴设备、无人机、双目相机对户外运动人体健康信息采集，进行实时健康监测，从而做出合理决策。

Description

一种融合ZED视觉的人体健康特征大数据智慧计算方法与 装置
技术领域
本发明涉及一种融合ZED视觉的人体健康特征大数据智慧计算方法与装置。
背景技术
随着社会经济的不断发展，健康观念逐步深入人心，参加户外运动的人数日益壮大。与此同时，因运动个体的运动量过大导致的运动事故率也节节攀高。因此，在户外运动中对人体的健康情况进行实时监测，有效的保障运动者安全的问题就十分有意义。
近些年，信息多元化的发展，以及计算机技术、微电子技术和多传感器网络日益成熟，信息融合作为一种有效的信息综合处理方法，在目标识别、故障诊断、态势估计、图像处理、遥感等领域发展迅猛。但是目前，信息融合技术在生理信息领域的应用研究还处于初级阶段，尤其是运动保健、体育等领域。
目前，穿戴设备可以快速准确地测出测量心率、汗液、体温、睡眠、步数、血压、葡萄糖水平等人体健康数据。但是人体是庞大而复杂的有机系统,只通过简单的一项生理指标信息很难对人体健康状态进行准确的判断。借助信息融合技术，利用神经网络建立人体健康评估模型，通过对这些人体健康数据的智能融合，从而监测人体的身体健康状况。
因此，在户外运动过程中，实时监测人体健康数据并进行智能融合、运动环境以及人体位置，可以很大程度上防止户外运动意外事故的发生，保障生命安全。
发明内容
本发明提供了一种融合ZED视觉的人体健康特征大数据智慧计算方法与装置，通过无人机装载双目相机ZED对运动环境中运动人体的识别，跟踪以及基于穿戴设备的健康检测数据，结合PID神经网络和深度置信网络模型进行人脸检测和人体健康评估计算，从而有效保障人的安全。
一种融合ZED视觉的人体健康特征大数据智慧计算方法，包括以下步骤：
步骤1：构建人体健康特征数据库；
所述人体健康特征数据库包括人体自然体征数据库和人体极限运动数据库；
其中，所述人体自然体征数据库包括不同人的脸部图像和对应的身高，且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像；
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据，所述健康数据是指在运动过程中10s内采集的心率、血压和体温；
步骤2：依据搭载在无人机上的ZED相机获取的人体身高，筛选出待识别人体群并且获取对应的脸部图像数据块；
步骤3：基于Hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别；
步骤3.1：将待识别人体的脸部图像数据块，利用MapReduce进行切片，并为每一个数据分片构造一个Map任务；
步骤3.2：利用Input Format类将每个数据分片转换成<key/value>对，以key记录每个数据分片起点的存储位置，以value记录每个数据分片的数据长度；
步骤3.3：对步骤3.2得到的所有<key/value>对对应的脸部图像数据进行Map操作；
所述Map操作是指对一个数据分片中的脸部图像依次进行预处理、Gabor特征提取、PCA降维处理后，采用在Hadoop平台训练得到的基于PID神经网络的脸部识别模型进行识别；
步骤3.4：利用Reduce函数融合所有Map操作输出的识别结果；
其中，所述在Hadoop平台训练得到的基于PID神经网络的脸部识别模型是指将脸部图像训练数据按照步骤3.1-3.2的过程利用MapReduce进行多次数据分片处理，并将每个数据分片对应的训练数据，训练基于PID神经网络的脸部识别模型，将所有训练完后的基于PID神经网络的脸部识别模型中的权值和阈值求平均，直到最终基于PID神经网络的脸部识别模型的精度满足设定的识别精度或者执行MapReduce次数达到设定的最大执行次数；
步骤4：利用识别结果，使得无人机跟踪待识别人体，并与待识别人体的穿戴设备进行通信，获取待识别人体的健康数据传输至远程服务器；
步骤5：将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络DBN的数据融合模型，计算得到待识别人体的健康检测程度。
进一步地，所述基于PID神经网络脸部识别模型的构建过程如下：
步骤3.3.1：对每一幅训练图像进行预处理和Garbor特征提取，并对提取的图像Gabor特征进行PCA降维，得到降维矩阵；
步骤3.3.2：利用MapReduce对训练图像数据和对应的图像编号进行切片，依次将每个数据分片中所有训练图像的降维矩阵对应的特征向量作为输入层节点，输出层节点为数据分片中每个训练图像的编号，对PID神经网络进行训练，得到基于PID神经网络的脸部识别模型；
其中，最大迭代次数为100，训练学习率为0.1，在训练过程中，所述PID神经网络的权值和阈值采用自适应花授粉算法进行寻优获得。
进一步地，所述PID神经网络的权值和阈值采用自适应花授粉算法进行寻优获得的过程如下：
步骤A1：种群花粉个体的位置作为PID神经网络的权值和阈值，初始化种群；
种群规模的取值范围为[50,200]，变异因子初始值的取值范围为[0.04,0.15]，最大迭代次数的取值范围为[120,500]，最大搜索精度的取值范围为[0.005,0.12]；
步骤A2：设定适应度函数，并获取种群中的最优个体；
将种群个体位置对应的PID神经网络的权值和阈值代入基于PID神经网络的人脸识别模型中，并利用种群个体位置确定的基于PID神经网络的权值和阈值的人脸识别模型计算出输出值，将输出值和实际值的均方差MSE的倒数作为第一适应度函数f1(x)；
步骤A3：计算每个个体的适应值，并保留适应度值最小的个体；
步骤A4：随机生成rand1，按照下式计算转换概率p，以调节花授粉算法中全局搜索和局部搜索之间的转化；
p＝0.8+0.2×rand1
步骤A5：随机生成rand∈[0，1]，若转换概率p>rand，计算ε，并利用ε进行局部搜索；
步骤A6：计算更新后的所有个体的适应度值，判断是否达到最大迭代次数或者最大搜索精度，若达到，则以适应度最大的个体作为最优个体，输出最优个体对应的PID神经网络的权值和阈值，否则返回步骤A4，进行下一次迭代。
进一步地，所述基于深度置信网络DBN的数据融合模型的构建过程如下：
将人体极限运动量训练数据库中各种运动量的人体健康数据以及对应的眼部、嘴部特征作为输入层节点，对深度置信网络DBN进行预训练，对预训练结束后得到的深度置信网络DBN，采用BP算法，使用输入数据对应的健康评估状态对深度置信网络DBN进行微调，使深度置信网络DBN进每一层的初始化权值矩阵W、可见层偏置c、隐藏层偏置b达到最优，得到基于深度置信网络DBN的数据融合模型；
其中，所述深度置信网络DBN学习速率设为0.01，最大迭代次数1000次；
所述眼部特征和嘴部特征是指从脸部图像中分别提取出的眼部图像和嘴部图像进行滤波处理后，利用PCA降维得到的特征；
所述深度置信网络DBN包括4层，第一层RBM将输入视为显层，输入人体健康数据以及对应的眼部、嘴部特征，最后一层RBM包括4个单元，输出四种健康评估结果；
所述眼部图像区域获取过程如下：
步骤S1.1：采用直方图均衡化法对脸部图像进行预处理；
从而减轻光照在后续人脸特征提取的影响程度。
步骤S1.2：利用肤色特征从步骤S1.1获得预处理图像中，分割出人脸区域；
步骤S1.3：对分割出来的人脸区域进行二值化处理，使得人脸区域中的肤色区域像素为白色，非肤色区域像素为黑色；
人脸区域中非肤色区域包括眼睛、眉毛、嘴巴、头发；
步骤S1.4：对步骤S1.3获得的二值化图像进行水平积分投影，以投影曲线第二个低谷处为人眼中心的垂直坐标y，并以y为中心确定一个竖直宽度为90mm的条形区域；
眉毛和眼睛在竖直位置上是相对靠近的黑色区域；
步骤S1.5：对确定的条形区域进行形态学处理后，再通过反色操作得到两个最大的连通区域；
排除鼻梁、鬓角等暗区域对眼部的干扰。
步骤1.6：对步骤S1.5获得的两个连通区域进行垂直积分投影，以投影曲线中的两个波峰区域并按照人眼大致形状对所述连个连通区域的宽度进行限定，获得眼部图像区域；
所述嘴部图像获取过程如下
步骤S2.1：利用唇色与肤色的差异，从脸部图像获得嘴部感兴趣区域；
对获取的嘴部感兴趣区域的图像先进行肤色约束，排除胡须、嘴唇内腔的阴影区域等黑色部分；
步骤2.2：对嘴部感兴趣区域进行像素颜色的Fisher线性变换处理，将嘴部感兴趣区域的图像分割成相互孤立的多个独立区域；
步骤2.3：利用八连通成分标示算法对所述的每个孤立的独立区域进行区域标示，获取各独立区域的坐标位置和像素个数等；
步骤2.4：根据嘴唇的大小形状以及和脸部的相对约束关系对所有独立区域进行判断，嘴部图像区域；
所述嘴唇的大小形状以及嘴唇和脸部的相对约束关系至少包括以下一条：
a)嘴部区域位于人脸图像下半部分的中间位置，且嘴部宽度中心线位于人脸的中心对称线附近；
b)嘴部区域的宽度小于人脸图像宽度的1/2，且大于人脸图像宽度的1/3；
c)嘴部区域内唇色像素总数大于人脸图像宽度的6倍，且小于人脸图像宽度的15倍；
d)嘴部区域内唇色像素总数大于人脸图像高度的6倍，且小于人脸图像高度的15倍；
所述深度置信网络DBN使用的BP反向传播微调阶段采用水循环算法进行寻优获得；
所述人体健康数据包括在各种运动量下10s内的血压、心率以及体温；
0％极限运动量对应健康评估分数为0；10％的极限运动量，对应健康评估分数为0.1，依次类推，达到100％极限运动量，对应健康评估分数为1；
将健康评估分数属于区间[0,0.7)的人体健康标记为1000，健康评估分数属于区间[0.7,0.8)的人体健康标记为0100，健康评估分数属于区间[0.8,0.9)的人体健康标记为0010，健康评估分数属于区间[0.9,1]的人体健康标记为0001。
进一步地，所述深度置信网络DBN使用的BP反向传播微调阶段采用水循环算法进行寻优获得的过程如下：
步骤B1：设置初始参数；
确定降雨层总个数N_pop为50，其中河流与海洋的总数8，作为最优解的海洋个数为1，极小值d_max＝0,05，最大迭代次数max_iteration为500；
步骤B2：降雨层初始化，生成初始降雨，河流和海洋；
以预训练过程中得到的深度置信网络DBN各层的初始化权值矩阵W、可见层偏置c、隐藏层偏置b作为其中一个降雨层，每一个降雨层作为基于深度置信网络DBN的数据融合模型中各层的初始化权值矩阵W、可见层偏置c、隐藏层偏置b；
步骤B3：依次将降雨层代入预训练完成的基于深度置信网络DBN的数据融合模型中计算结果，将计算结果和实际值的均方误差的倒数作为第二适应度函数；
步骤B4：以适应度大的降雨层作为大海，以适应度次小的降雨层作为河流，其余的降雨层作为流入河流或海洋的溪流；
步骤B5：使溪流汇入河流，使河流流入海洋；
步骤B6：如果发现溪流的解比河流的更好，则它们互相交换位置：若河流的解比海洋的解较优，则河流与海洋交换位置；最终海洋为最优解。
步骤B7：检查是否满足蒸发条件：判断河流与海洋的适应度值之差的绝对值是否小于极小值d_max，如果满足蒸发条件，则从种群中去掉该河流，并重新进行降雨过程，随机生成新的降雨层加入种群，返回步骤B4继续一次迭代，否则，减小d_max值，进入步骤B8；
步骤B8：判断是否到达最大迭代次数，若是则输出最优的降雨层对应的基于深度置信网络DBN的数据融合模型的最优参数，若不是，则返回步骤B4，继续下一次迭代。
进一步地，所述远程服务器依据接收到人体健康检测结果，并发出预警指令至人体穿戴设备上：
若分数达到[0.7,0.8)，服务器向手环发送指令，手环做出一级震动，提醒该个体休息；
若分数达到[0.8，0.9)服务器向手环发送指令，手环做出二级震动，提醒该个体身体状态已不适合继续运动；
若分数达到0.9，服务器向手环发送指令，手环做出三级震动，提醒该个体身体状态必须要停止运动，同时无人机会发出警报。
若分数位于区间[0,0.7),无反应；
进一步地，在进行户外运动监测过程中，每架无人机的电量实时向远程服务器反馈，远程服务器根据反馈的电量，对无人机发出指令：
当无人机剩余电量大于等于20％，保持监测状态；
当无人机剩余电量小于20％，无人机返回充电区；同时，远程服务器指派一架电量充足的无人机飞去指定区域继续监测。
进一步地，所述步骤3.3.1中对每一幅训练图像进行预处理，是指对脸部图像分别进行几何预处理、灰度预处理以及人脸肤色检测；
所述几何预处理是将人脸图像变换到同一位置和同一大小；
所述灰度预处理是将彩色图像进行灰度化处理。
同时消除噪声，增加对比度，进行光线补偿，改善图像的效果。
所述人脸肤色检测是指基于脸部肤色的人脸检测，除去照片中的非人脸区域，提取出包含人脸特征的轮廓。
一种融合ZED视觉的人体健康特征大数据智慧计算平台，包括：
人体健康特征数据库，包括人体自然体征数据库和人体极限运动数据库；
其中，所述人体自然体征数据库包括不同人的脸部图像和对应的身高，且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像；
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据，所述健康数据是指在运动过程中10s内采集的心率、血压和体温；
脸部图像视觉筛选模块，依据搭载在无人机上的ZED相机获取的人体身高，筛选出待识别人体群并且获取对应的脸部图像数据块；
Hadoop平台识别模块，采用上述方法基于Hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别；
追踪模块，依据Hadoop平台识别模块的识别结果，使得无人机跟踪待识别人体，并与待识别人体的穿戴设备进行通信，获取待识别人体的健康数据传输至远程服务器；
健康测量模块，将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络DBN的人体健康评估模型，采用上述的方法得到待识别人体的健康程度。
进一步地，所述无人机包括飞行装置以及搭载在飞行装置上的电池模块、GPS模块、无线通信模块、惯性装置、ZED模块和补光模块。
有益效果
本发明提供了一种融合ZED视觉的人体健康特征大数据智慧计算方法与装置，通过无人机装载双目相机ZED对运动环境的监测以及对环境中运动人体的识别、跟踪，以及结合穿戴设备的健康数据融合，对人体健康特征进行计算，并且相对于现有技术具有以下优点：
1.将脸部识别和云计算相结合，利用MapReduce并行分布式运行机制，提升脸部识别效率，缩短训练周期；
2.采用PCA主成分分析处理基于多尺度Gabor滤波后的图像特征维，大大的降低了数据处理量，有效的提高了人脸识别的效率和准确率；
3.采用自适应花授粉算法对PID神经网络进行优化，克服训练结果可能会陷入局部最优、学习过程收敛速度慢的缺点，从而提高了脸部识别的准确率和效率；
4.通过水循环算法优化的深度学习模型DBN融合人体眼睛、嘴部图像和健康体征数据(心率、体温、血压)对疲劳程度进行检测，能够准确地表示人体的疲劳程度并作出合理决策；
附图说明
图1为脸部智能识别方法示意图；
图2为深度置信网络DBN模型结构示意图；
图3为本发明所使用的Hadoop框架示意图；
图4为本发明所述平台的结构示意图；
图5为本发明所述方法的流程示意图。
具体实施方式
下面将结合附图和实例对本发明做进一步地说明。
如图5所示，一种融合ZED视觉的人体健康特征大数据智慧计算方法，包括以下步骤：
步骤1：构建人体健康特征数据库；
所述人体健康特征数据库包括人体自然体征数据库和人体极限运动数据库；
其中，所述人体自然体征数据库包括不同人的脸部图像和对应的身高，且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像；
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据，所述健康数据是指在运动过程中10s内采集的心率、血压和体温；
采集系统中每个人的极限运动量，同时分别记录下在不同运动量下(极限运动量的10％、20％……100％)，测量10s内个体的健康数据，包括心率、血压、体温；
建立人体健康数据的评分机制，最高为1，最低为0。其中0％极限运动量对应分数1；10％的极限运动量，对应分数0.9。依次类推，达到极限运动量，对应分数0。
步骤2：如图4所示，依据搭载在无人机上的ZED相机获取的人体身高，筛选出待识别人体群并且获取对应的脸部图像数据块；
每个ZED基于自身的双目视觉，得出视野内所有人体的身高数据，与待识别目标在数据库中的身高信息进行比对，筛选出与其身高差距±3cm的若干个体。
ZED相机获取该若干个体脸部图像，拍摄授权人脸部40帧图像。利用Hadoop平台的MapReduce并行分布式运行机制，快速识别目标个体，并传回指令给无人机的车载控制器，对目标个体持续追踪。
步骤3：如图3所示，基于Hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别；
离线训练过程：将事先采集的脸部图像库中的大量脸部图像进行并行训练。
将系统中人体进行编号，如个体1编号000001，个体2编号000002。
步骤3.1：将待识别人体的脸部图像数据块，利用MapReduce进行切片，并为每一个数据分片构造一个Map任务；
步骤3.2：利用Input Format类将每个数据分片转换成<key/value>对，以key记录每个数据分片起点的存储位置，以value记录每个数据分片的数据长度；
其中，所述在Hadoop平台训练得到的基于PID神经网络的脸部识别模型是指将脸部图像训练数据按照步骤3.1-3.2的过程利用MapReduce进行多次数据分片处理，并将每个数据分片对应的训练数据，训练基于PID神经网络的脸部识别模型，将所有训练完后的基于PID神经网络的脸部识别模型中的权值和阈值求平均，直到最终基于PID神经网络的脸部识别模型的精度满足设定的识别精度或者执行MapReduce次数达到设定的最大执行次数；
户外运动环境下运动人体实时的脸部识别：将待识别人体脸部图像数据块实时输入脸部识别模型；
其中，户外运动环境下运动人体实时的脸部识别过程中将脸部图像训练数据按照步骤3.1-3.2的过程利用MapReduce进行多次数据分片处理；
步骤3.3：对步骤3.2得到的所有<key/value>对对应的脸部图像数据进行Map操作；
所述Map操作是指对一个数据分片中的脸部图像依次进行预处理、Gabor特征提取、PCA降维处理后，采用在Hadoop平台训练得到的基于PID神经网络的脸部识别模型进行识别；
步骤3.4：利用Reduce函数融合所有Map操作输出的识别结果；
服务器根据输出的识别结果生成指令并传送给无人机：
其中，输出的识别结果为一个6×40的矩阵，矩阵的每一个列向量为个人编号或者接近某一个体编号。若追踪的个体编号为000001，则通过判断6×40的矩阵中每一列与000001的相似程度来进行确定目标个体的脸部图像。生成指令并发送给其中一个无人机对个体进行追踪，其余无人机协同追踪。
其中，所述脸部识别智能模型建立过程如下：
a)脸部图像预处理
对脸部图像分别进行几何预处理和灰度预处理，几何预处理是将人脸图像变换到同一位置和同一大小；灰度预处理是将彩色图像进行灰度化处理，同时消除噪声，增加对比度，进行光线补偿，改善图像的效果。
通过基于脸部肤色的人脸检测，除去照片中的非人脸区域，提取出包含人脸特征的轮廓。
b)脸部特征提取：如图1所示，采用Gabor小波滤波器后再利用主成分分析法进行降维处理；
本实例采用5个中心频率和8个方向组成的40个滤波器对人脸图像进行特征提取，即v＝1，2……5，u＝1，2……8。kv和的取值如下：
人脸的特征提取通过与Gabor小波滤波器卷积获得。
主成分分析法：通过特征的线性组合来实现人脸图像的降维
A.假设人脸图像i的像素为m×n，则通过与Gabor卷积后共有40mn个像素点，将这40mn个像素点依次排列起来作为一个列向量Xi。输入N张人脸图像，依次表示为X1、X2……Xn，每个Xi维数为M＝40mn，则可以表示为X＝[X1、X2……Xn]M*N；
B.先计算样本每一维的均值，然后计算观察值与均值之间的偏差，在计算样本协方差矩阵；
C.计算协方差矩阵的特征值和特征向量；
D.计算总能量，选取贡献率大的特征值和对应的特征向量；
其中，总能量指的是所有特征值相加的和；贡献率是指前q个特征值之和与所有特征值之和的比值；如果贡献率大于90％，那么只需要提取前q个特征值与其相对应的特征向量，从而降低了样本数据的维数。
E.计算前q个特征值所对应的特征向量组成的矩阵，计算降维后的样本矩阵。根据上一步得到的新特征向量，用原始的协方差矩阵乘以此新特征向量组成的矩阵，则可以得到人脸图片降维后的样本矩阵。
c)脸部识别模型
PID神经网络：将每个脸部图像的降维之后的特征向量作为输入，输出为对应的编号，如000001。设置最大迭代次数设置为100，训练学习率为0.1。
采用自适应花授粉算法优化PID神经网络的权值和阈值；
所述PID神经网络的权值和阈值采用自适应花授粉算法进行寻优获得的过程如下：
步骤A1：种群花粉个体的位置作为PID神经网络的权值和阈值，初始化种群；
种群规模的取值范围为[50,200]，变异因子初始值的取值范围为[0.04,0.15]，最大迭代次数的取值范围为[120,500]，最大搜索精度的取值范围为[0.005,0.12]；
步骤A2：设定适应度函数，并获取种群中的最优个体；
将种群个体位置对应的PID神经网络的权值和阈值代入基于PID神经网络的人脸识别模型中，并利用种群个体位置确定的基于PID神经网络的权值和阈值的人脸识别模型计算出输出值，将输出值和实际值的均方差MSE的倒数作为第一适应度函数f1(x)；
步骤A3：计算每个个体的适应值，并保留适应度值最小的个体；
步骤A4：随机生成rand1，按照下式计算转换概率p，以调节花授粉算法中全局搜索和局部搜索之间的转化；
p＝0.8+0.2×rand1
步骤A5：随机生成rand∈[0，1]，若转换概率p>rand，计算ε，并利用ε进行局部搜索；
步骤A6：计算更新后的所有个体的适应度值，判断是否达到最大迭代次数或者最大搜索精度，若达到，则以适应度最大的个体作为最优个体，输出最优个体对应的PID神经网络的权值和阈值，否则返回步骤A4，进行下一次迭代。
步骤4：利用识别结果，使得无人机跟踪待识别人体，并与待识别人体的穿戴设备进行通信，获取待识别人体的健康数据传输至远程服务器；
在户外运动环境中，目标个体随着运动量的增加，人体血压，心率，体温等特征数据会发生明显变化。目标个体佩戴的手环具有人体健康数据检测模块以及无线通信模块。手环通过实时监测目标个体在运动中的血压，心率，体温，并将这些人体健康数据通过无线通讯模块传输至服务器(每10s内发送一次)。
步骤5：人体健康数据融合测量；
将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络DBN的人体健康评估模型，得到待识别人体的健康检测程度。
所述深度置信网络DBN结构如图2所示；
所述基于深度置信网络DBN的人体健康评估模型的构建过程如下：
将人体极限运动量训练数据库中各种运动量的人体健康数据以及对应的眼部、嘴部特征作为输入层节点，对深度置信网络DBN进行预训练，对预训练结束后得到的深度置信网络DBN，采用BP算法，使用输入数据对应的健康评估状态作为深度置信网络DBN的输出层结果，对深度置信网络DBN进行微调，使深度置信网络DBN进每一层的初始化权值矩阵W、可见层偏置c、隐藏层偏置b达到最优，得到基于深度置信网络DBN的人体健康评估模型；
其中，所述深度置信网络DBN学习速率设为0.01，最大迭代次数1000次；
所述眼部特征和嘴部特征是指从脸部图像中分别提取出的眼部图像和嘴部图像进行滤波处理后，利用PCA降维得到的特征；
所述深度置信网络DBN包括4层，第一层RBM将输入视为显层，输入人体健康数据以及对应的眼部、嘴部特征，最后一层RBM包括4个单元，输出四种健康评估结果；
DBN采用4个RBM组成的深层结构，其结构为80-171-171-171-4。第一层RBM将输入视为显层，共有80个节点，对应着50个眼部、脸部特征向量和血压、心率以及体温这3个人体健康体征的30维向量。最后一层是DBN的输出，包括4个单元，得出个体的身体状态评分；
其中四个输出单元的输出对应着四种健康评估结果，如1000，则对应评分区间[0,0.7)；如0100，则对应评分区间[0.7,0.8)；
采用5个中心频率和8个方向组成的40个Gabor小波滤波器对眼睛和嘴部图像进行特征提取，通过PCA对其进行降维，得到眼睛和嘴部图像的特征矩阵，并将其组合成一个矩阵，共50个特征。
所述眼部图像区域获取过程如下：
步骤S1.1：采用直方图均衡化法对脸部图像进行预处理；
从而减轻光照在后续人脸特征提取的影响程度。
步骤S1.2：利用肤色特征从步骤S1.1获得预处理图像中，分割出人脸区域；
步骤S1.3：对分割出来的人脸区域进行二值化处理，使得人脸区域中的肤色区域像素为白色，非肤色区域像素为黑色；
人脸区域中非肤色区域包括眼睛、眉毛、嘴巴、头发；
步骤S1.4：对步骤S1.3获得的二值化图像进行水平积分投影，以投影曲线第二个低谷处为人眼中心的垂直坐标y，并以y为中心确定一个竖直宽度为90mm的条形区域；
因为眉毛和眼睛在竖直位置上是相对靠近的黑色区域；
步骤S1.5：对确定的条形区域进行形态学处理后，再通过反色操作得到两个最大的连通区域；
排除鼻梁、鬓角等暗区域对眼部的干扰。
步骤1.6：对步骤S1.5获得的两个连通区域进行垂直积分投影，以投影曲线中的两个波峰区域并按照人眼大致形状对所述连个连通区域的宽度进行限定，获得眼部图像区域；
所述嘴部图像获取过程如下
步骤S2.1：利用唇色与肤色的差异，从脸部图像获得嘴部感兴趣区域；
对获取的嘴部感兴趣区域的图像先进行肤色约束，排除胡须、嘴唇内腔的阴影区域等黑色部分；
步骤S2.2：对嘴部感兴趣区域进行像素颜色的Fisher线性变换处理，将嘴部感兴趣区域的图像分割成相互孤立的多个独立区域；
步骤S2.3：利用八连通成分标示算法对所述的每个孤立的独立区域进行区域标示，获取各独立区域的坐标位置和像素个数等；
步骤S2.4：根据嘴唇的大小形状以及和脸部的相对约束关系对所有独立区域进行判断，嘴部图像区域；
所述嘴唇的大小形状以及嘴唇和脸部的相对约束关系至少包括以下一条：
a)嘴部区域位于人脸图像下半部分的中间位置，且嘴部宽度中心线位于人脸的中心对称线附近；
b)嘴部区域的宽度小于人脸图像宽度的1/2，且大于人脸图像宽度的1/3；
c)嘴部区域内唇色像素总数大于人脸图像宽度的6倍，且小于人脸图像宽度的15倍；
d)嘴部区域内唇色像素总数大于人脸图像高度的6倍，且小于人脸图像高度的15倍；
所述深度置信网络DBN使用的BP反向传播微调阶段采用改进狼群算法进行寻优获得；
所述人体健康数据包括在各种运动量下10s内的血压、心率以及体温；
0％极限运动量对应健康评估分数为0；10％的极限运动量，对应健康评估分数为0.1，依次类推，达到100％极限运动量，对应健康评估分数为1；
将健康评估分数属于区间[0,0.7)的人体健康标记为1000，健康评估分数属于区间[0.7,0.8)的人体健康标记为0100，健康评估分数属于区间[0.8,0.9)的人体健康标记为0010，健康评估分数属于区间[0.9,1]的人体健康标记为0001。
所述深度置信网络DBN使用的BP反向传播微调阶段采用水循环算法进行寻优获得的过程如下：
步骤B1：设置初始参数；
确定降雨层总个数N_pop为50，其中河流与海洋的总数8，作为最优解的海洋个数为1，极小值d_max＝0,05，最大迭代次数max_iteration为500；
步骤B2：降雨层初始化，生成初始降雨，河流和海洋；
以预训练过程中得到的深度置信网络DBN各层的初始化权值矩阵W、可见层偏置c、隐藏层偏置b作为其中一个降雨层，每一个降雨层作为基于深度置信网络DBN的数据融合模型中各层的初始化权值矩阵W、可见层偏置c、隐藏层偏置b；
步骤B3：依次将降雨层代入预训练完成的基于深度置信网络DBN的数据融合模型中计算结果，将计算结果和实际值的均方误差的倒数作为第二适应度函数；
步骤B4：以适应度大的降雨层作为大海，以适应度次小的降雨层作为河流，其余的降雨层作为流入河流或海洋的溪流；
步骤B5：使溪流汇入河流，使河流流入海洋；
步骤B6：如果发现溪流的解比河流的更好，则它们互相交换位置：若河流的解比海洋的解较优，则河流与海洋交换位置；最终海洋为最优解。
步骤B7：检查是否满足蒸发条件：判断河流与海洋的适应度值之差的绝对值是否小于极小值d_max，如果满足蒸发条件，则从种群中去掉该河流，并重新进行降雨过程，随机生成新的降雨层加入种群，返回步骤B4继续一次迭代，否则，减小d_max值，进入步骤B8；
步骤B8：判断是否到达最大迭代次数，若是则输出最优的降雨层对应的基于深度置信网络DBN的数据融合模型的最优参数，若不是，则返回步骤B4，继续下一次迭代。
步骤6：在进行户外运动监测过程中，每架无人机的电量会实时向服务器反馈。服务器根据反馈的电量，对无人机发出指令：
当无人机剩余电量大于等于20％，保持监测状态。
当无人机剩余电量小于20％，无人机返回充电区；同时，服务器指派一架电量充足的无人机飞去指定区域继续监测。
步骤7：当待测目标终止运动，离开该户外环境。无人机返回充电区，准备下一次任务。
一种融合ZED视觉的人体健康特征大数据智慧计算装置，包括：
人体健康特征数据库，包括人体自然体征数据库和人体极限运动数据库；
其中，所述人体自然体征数据库包括不同人的脸部图像和对应的身高，且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像；
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据，所述健康数据是指在运动过程中10s内采集的心率、血压和体温；
脸部图像视觉筛选模块，依据搭载在无人机上的ZED相机获取的人体身高，筛选出待识别人体群并且获取对应的脸部图像数据块；
Hadoop平台识别模块，采用上述方法基于Hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别；
追踪模块，依据Hadoop平台识别模块的识别结果，使得无人机跟踪待识别人体，并与待识别人体的穿戴设备进行通信，获取待识别人体的健康数据传输至远程服务器；
健康测量模块，将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络DBN的人体健康评估模型，采用上述的方法得到待识别人体的健康程度。
所述无人机包括飞行装置以及搭载在飞行装置上的电池模块、GPS模块、无线通信模块、惯性装置、ZED模块和补光模块。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种融合ZED视觉的人体健康特征大数据智慧计算方法，其特征在于，包括以下步骤：
步骤1：构建人体健康特征数据库；
所述人体健康特征数据库包括人体自然体征数据库和人体极限运动数据库；
其中，所述人体自然体征数据库包括不同人的脸部图像和对应的身高，且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像；
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据，所述健康数据是指在运动过程中10s内采集的心率、血压和体温；
步骤2：依据搭载在无人机上的ZED相机获取的人体身高，筛选出待识别人体群并且获取对应的脸部图像数据块；
步骤3：基于Hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别；
步骤3.1：将待识别人体的脸部图像数据块，利用MapReduce进行切片，并为每一个数据分片构造一个Map任务；
步骤3.2：利用Input Format类将每个数据分片转换成<key/value>对，以key记录每个数据分片起点的存储位置，以value记录每个数据分片的数据长度；
步骤3.3：对步骤3.2得到的所有<key/value>对对应的脸部图像数据进行Map操作；
所述Map操作是指对一个数据分片中的脸部图像依次进行预处理、Gabor特征提取、PCA降维处理后，采用在Hadoop平台训练得到的基于PID神经网络的脸部识别模型进行识别；
步骤3.4：利用Reduce函数融合所有Map操作输出的识别结果；
其中，所述在Hadoop平台训练得到的基于PID神经网络的脸部识别模型是指将脸部图像训练数据按照步骤3.1-3.2的过程利用MapReduce进行多次数据分片处理，并将每个数据分片对应的训练数据，训练基于PID神经网络的脸部识别模型，将所有训练完后的基于PID神经网络的脸部识别模型中的权值和阈值求平均，直到最终基于PID神经网络的脸部识别模型的精度满足设定的识别精度或者执行MapReduce次数达到设定的最大执行次数；
步骤4：利用识别结果，使得无人机跟踪待识别人体，并与待识别人体的穿戴设备进行通信，获取待识别人体的健康数据传输至远程服务器；
步骤5：将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络DBN的数据融合模型，计算得到待识别人体的健康检测程度。
2.根据权利要求1所述的方法，其特征在于，所述基于PID神经网络脸部识别模型的构建过程如下：
步骤3.3.1：对每一幅训练图像进行预处理和Garbor特征提取，并对提取的图像Gabor特征进行PCA降维，得到降维矩阵；
步骤3.3.2：利用MapReduce对训练图像数据和对应的图像编号进行切片，依次将每个数据分片中所有训练图像的降维矩阵对应的特征向量作为输入层节点，输出层节点为数据分片中每个训练图像的编号，对PID神经网络进行训练，得到基于PID神经网络的脸部识别模型；
其中，最大迭代次数为100，训练学习率为0.1，在训练过程中，所述PID神经网络的权值和阈值采用自适应花授粉算法进行寻优获得。
3.根据权利要求2所述的方法，其特征在于，所述PID神经网络的权值和阈值采用自适应花授粉算法进行寻优获得的过程如下：
步骤A1：种群花粉个体的位置作为PID神经网络的权值和阈值，初始化种群；
种群规模的取值范围为[50,200]，变异因子初始值的取值范围为[0.04,0.15]，最大迭代次数的取值范围为[120,500]，最大搜索精度的取值范围为[0.005,0.12]；
步骤A2：设定适应度函数，并获取种群中的最优个体；
将种群个体位置对应的PID神经网络的权值和阈值代入基于PID神经网络的人脸识别模型中，并利用种群个体位置确定的基于PID神经网络的权值和阈值的人脸识别模型计算出输出值，将输出值和实际值的均方差MSE的倒数作为第一适应度函数f1(x)；
步骤A3：计算每个个体的适应值，并保留适应度值最小的个体；
步骤A4：随机生成rand1，按照下式计算转换概率p，以调节花授粉算法中全局搜索和局部搜索之间的转化；
p＝0.8+0.2×rand1
步骤A5：随机生成rand∈[0，1]，若转换概率p>rand，计算ε，并利用ε进行局部搜索；
步骤A6：计算更新后的所有个体的适应度值，判断是否达到最大迭代次数或者最大搜索精度，若达到，则以适应度最大的个体作为最优个体，输出最优个体对应的PID神经网络的权值和阈值，否则返回步骤A4，进行下一次迭代。
4.根据权利要求1所述的方法，其特征在于，所述基于深度置信网络DBN的数据融合模型的构建过程如下：
将人体极限运动量训练数据库中各种运动量的人体健康数据以及对应的眼部、嘴部特征作为输入层节点，对深度置信网络DBN进行预训练，对预训练结束后得到的深度置信网络DBN，采用BP算法，使用输入数据对应的健康评估状态对深度置信网络DBN进行微调，使深度置信网络DBN进每一层的初始化权值矩阵W、可见层偏置c、隐藏层偏置b达到最优，得到基于深度置信网络DBN的数据融合模型；
其中，所述深度置信网络DBN学习速率设为0.01，最大迭代次数1000次；
所述眼部特征和嘴部特征是指从脸部图像中分别提取出的眼部图像和嘴部图像进行滤波处理后，利用PCA降维得到的特征；
所述深度置信网络DBN包括4层，第一层RBM将输入视为显层，输入人体健康数据以及对应的眼部、嘴部特征，最后一层RBM包括4个单元，输出四种健康评估结果；
所述眼部图像区域获取过程如下：
步骤S1.1：采用直方图均衡化法对脸部图像进行预处理；
步骤S1.2：利用肤色特征从步骤S1.1获得预处理图像中，分割出人脸区域；
步骤S1.3：对分割出来的人脸区域进行二值化处理，使得人脸区域中的肤色区域像素为白色，非肤色区域像素为黑色；
步骤S1.4：对步骤S1.3获得的二值化图像进行水平积分投影，以投影曲线第二个低谷处为人眼中心的垂直坐标y，并以y为中心确定一个竖直宽度为90mm的条形区域；
步骤S1.5：对确定的条形区域进行形态学处理后，再通过反色操作得到两个最大的连通区域；
步骤1.6：对步骤S1.5获得的两个连通区域进行垂直积分投影，以投影曲线中的两个波峰区域并按照人眼大致形状对所述连个连通区域的宽度进行限定，获得眼部图像区域；
所述嘴部图像获取过程如下
步骤S2.1：利用唇色与肤色的差异，从脸部图像获得嘴部感兴趣区域；
步骤2.2：对嘴部感兴趣区域进行像素颜色的Fisher线性变换处理，将嘴部感兴趣区域的图像分割成相互孤立的多个独立区域；
步骤2.3：利用八连通成分标示算法对所述的每个孤立的独立区域进行区域标示，获取各独立区域的坐标位置和像素个数等；
步骤2.4：根据嘴唇的大小形状以及和脸部的相对约束关系对所有独立区域进行判断，嘴部图像区域；
所述嘴唇的大小形状以及嘴唇和脸部的相对约束关系至少包括以下一条：
a)嘴部区域位于人脸图像下半部分的中间位置，且嘴部宽度中心线位于人脸的中心对称线附近；
b)嘴部区域的宽度小于人脸图像宽度的1/2，且大于人脸图像宽度的1/3；
c)嘴部区域内唇色像素总数大于人脸图像宽度的6倍，且小于人脸图像宽度的15倍；
d)嘴部区域内唇色像素总数大于人脸图像高度的6倍，且小于人脸图像高度的15倍；
所述深度置信网络DBN使用的BP反向传播微调阶段采用水循环算法进行寻优获得；
所述人体健康数据包括在各种运动量下10s内的血压、心率以及体温；
0％极限运动量对应健康评估分数为0；10％的极限运动量，对应健康评估分数为0.1，依次类推，达到100％极限运动量，对应健康评估分数为1；
将健康评估分数属于区间[0,0.7)的人体健康标记为1000，健康评估分数属于区间[0.7,0.8)的人体健康标记为0100，健康评估分数属于区间[0.8,0.9)的人体健康标记为0010，健康评估分数属于区间[0.9,1]的人体健康标记为0001。
5.根据权利要求4所述的方法，其特征在于，所述深度置信网络DBN使用的BP反向传播微调阶段采用水循环算法进行寻优获得的过程如下：
步骤B1：设置初始参数；
确定降雨层总个数N_pop为50，其中河流与海洋的总数8，作为最优解的海洋个数为1，极小值d_max＝0,05，最大迭代次数max_iteration为500；
步骤B2：降雨层初始化，生成初始降雨，河流和海洋；
以预训练过程中得到的深度置信网络DBN各层的初始化权值矩阵W、可见层偏置c、隐藏层偏置b作为其中一个降雨层，每一个降雨层作为基于深度置信网络DBN的数据融合模型中各层的初始化权值矩阵W、可见层偏置c、隐藏层偏置b；
步骤B3：依次将降雨层代入预训练完成的基于深度置信网络DBN的数据融合模型中计算结果，将计算结果和实际值的均方误差的倒数作为第二适应度函数；
步骤B4：以适应度大的降雨层作为大海，以适应度次小的降雨层作为河流，其余的降雨层作为流入河流或海洋的溪流；
步骤B5：使溪流汇入河流，使河流流入海洋；
步骤B6：如果发现溪流的解比河流的更好，则它们互相交换位置：若河流的解比海洋的解较优，则河流与海洋交换位置；最终海洋为最优解。
步骤B7：检查是否满足蒸发条件：判断河流与海洋的适应度值之差的绝对值是否小于极小值d_max，如果满足蒸发条件，则从种群中去掉该河流，并重新进行降雨过程，随机生成新的降雨层加入种群，返回步骤B4继续一次迭代，否则，减小d_max值，进入步骤B8；
步骤B8：判断是否到达最大迭代次数，若是则输出最优的降雨层对应的基于深度置信网络DBN的数据融合模型的最优参数，若不是，则返回步骤B4，继续下一次迭代。
6.根据权利要求5所述的方法，其特征在于，所述远程服务器依据接收到人体健康检测结果，并发出预警指令至人体穿戴设备上：
若分数达到[0.7,0.8)，服务器向手环发送指令，手环做出一级震动，提醒该个体休息；
若分数达到[0.8，0.9)服务器向手环发送指令，手环做出二级震动，提醒该个体身体状态已不适合继续运动；
若分数达到0.9，服务器向手环发送指令，手环做出三级震动，提醒该个体身体状态必须要停止运动，同时无人机会发出警报。
7.根据权利要求1-7任一项所述的方法，其特征在于，在进行户外运动监测过程中，每架无人机的电量实时向远程服务器反馈，远程服务器根据反馈的电量，对无人机发出指令：
当无人机剩余电量大于等于20％，保持监测状态；
当无人机剩余电量小于20％，无人机返回充电区；同时，远程服务器指派一架电量充足的无人机飞去指定区域继续监测。
8.根据权利要求2-6任一项所述的方法，其特征在于，所述步骤3.3.1中对每一幅训练图像进行预处理，是指对脸部图像分别进行几何预处理、灰度预处理以及人脸肤色检测；
所述几何预处理是将人脸图像变换到同一位置和同一大小；
所述灰度预处理是将彩色图像进行灰度化处理。
所述人脸肤色检测是指基于脸部肤色的人脸检测，除去照片中的非人脸区域，提取出包含人脸特征的轮廓。
9.一种融合ZED视觉的人体健康特征大数据智慧计算装置，其特征在于，包括：
人体健康特征数据库，包括人体自然体征数据库和人体极限运动数据库；
其中，所述人体自然体征数据库包括不同人的脸部图像和对应的身高，且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像；
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据，所述健康数据是指在运动过程中10s内采集的心率、血压和体温；
脸部图像视觉筛选模块，依据搭载在无人机上的ZED相机获取的人体身高，筛选出待识别人体群并且获取对应的脸部图像数据块；
Hadoop平台识别模块，采用权利要求1-8任一项所述方法基于Hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别；
追踪模块，依据Hadoop平台识别模块的识别结果，使得无人机跟踪待识别人体，并与待识别人体的穿戴设备进行通信，获取待识别人体的健康数据传输至远程服务器；
健康测量模块，将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络DBN的人体健康评估模型，采用权利要求1-8任一项所述的方法计算得到待识别人体的健康程度。
10.根据权利要求9所述的装置，其特征在于，所述无人机包括飞行装置以及搭载在飞行装置上的电池模块、GPS模块、无线通信模块、惯性装置、ZED模块和补光模块。
CN201711194242.9A 2017-11-24 2017-11-24 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置 Pending CN107844780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711194242.9A CN107844780A (zh) 2017-11-24 2017-11-24 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711194242.9A CN107844780A (zh) 2017-11-24 2017-11-24 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置

Publications (1)

Publication Number Publication Date
CN107844780A true CN107844780A (zh) 2018-03-27

Family

ID=61680275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711194242.9A Pending CN107844780A (zh) 2017-11-24 2017-11-24 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置

Country Status (1)

Country Link
CN (1) CN107844780A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513074A (zh) * 2018-04-13 2018-09-07 京东方科技集团股份有限公司 自拍控制方法及装置、电子设备
CN108511066A (zh) * 2018-03-29 2018-09-07 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN109146052A (zh) * 2018-07-19 2019-01-04 中国航空工业集团公司沈阳飞机设计研究所 一种gft算法的自搏弈策略提升方法
CN109345770A (zh) * 2018-11-14 2019-02-15 深圳市尼欧科技有限公司 一种孩童遗留车内报警系统及孩童遗留车内报警方法
CN109753938A (zh) * 2019-01-10 2019-05-14 京东方科技集团股份有限公司 图像识别方法和设备及应用、神经网络的训练方法
CN110006552A (zh) * 2019-04-03 2019-07-12 中国水利水电科学研究院 一种机组设备温度异常检测方法
CN111048209A (zh) * 2019-12-28 2020-04-21 安徽硕威智能科技有限公司 基于活体人脸识别的健康评估方法、装置及其存储介质
CN111347845A (zh) * 2020-03-17 2020-06-30 北京百度网讯科技有限公司 电致变色玻璃调节方法、装置和电子设备
CN112070062A (zh) * 2020-09-23 2020-12-11 南京工业职业技术大学 一种基于Hadoop的作物渍害图像分类检测及实现方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715013A (zh) * 2015-01-26 2015-06-17 南京邮电大学 一种基于Hadoop的用户健康数据分析方法和系统
CN106343977A (zh) * 2016-09-21 2017-01-25 中国人民解放军国防科学技术大学 基于多传感器融合的无人机操作员状态监视系统
CN106529500A (zh) * 2016-11-28 2017-03-22 中控智慧科技股份有限公司 一种信息处理方法和系统
CN106627425A (zh) * 2016-12-29 2017-05-10 合肥旋极智能科技有限公司 一种基于物联网的安全驾驶控制系统
US20170177925A1 (en) * 2015-12-16 2017-06-22 Global Tel*Link Corp. Unmanned aerial vehicle with biometric verification
CN106999106A (zh) * 2014-12-02 2017-08-01 皇家飞利浦有限公司 用于使用可穿戴设备的测量结果生成健康数据的系统和方法
CN107134129A (zh) * 2016-02-26 2017-09-05 福特全球技术公司 自主车辆乘客定位器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106999106A (zh) * 2014-12-02 2017-08-01 皇家飞利浦有限公司 用于使用可穿戴设备的测量结果生成健康数据的系统和方法
CN104715013A (zh) * 2015-01-26 2015-06-17 南京邮电大学 一种基于Hadoop的用户健康数据分析方法和系统
US20170177925A1 (en) * 2015-12-16 2017-06-22 Global Tel*Link Corp. Unmanned aerial vehicle with biometric verification
CN107134129A (zh) * 2016-02-26 2017-09-05 福特全球技术公司 自主车辆乘客定位器
CN106343977A (zh) * 2016-09-21 2017-01-25 中国人民解放军国防科学技术大学 基于多传感器融合的无人机操作员状态监视系统
CN106529500A (zh) * 2016-11-28 2017-03-22 中控智慧科技股份有限公司 一种信息处理方法和系统
CN106627425A (zh) * 2016-12-29 2017-05-10 合肥旋极智能科技有限公司 一种基于物联网的安全驾驶控制系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
柴瑞敏 等: "一种改进的深度置信网络及其在自然图像分类中的应用", 《计算机应用与软件》 *
潘国辉: "《安防天下 2 智能高清视频监控原理精解与最佳实践》", 30 June 2014 *
王婷: "基于深度学习的短信分类技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108511066A (zh) * 2018-03-29 2018-09-07 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN108513074B (zh) * 2018-04-13 2020-08-04 京东方科技集团股份有限公司 自拍控制方法及装置、电子设备
US10666859B2 (en) 2018-04-13 2020-05-26 Boe Technology Group Co., Ltd. Self-photographing control method and device, and electronic device
CN108513074A (zh) * 2018-04-13 2018-09-07 京东方科技集团股份有限公司 自拍控制方法及装置、电子设备
CN109146052A (zh) * 2018-07-19 2019-01-04 中国航空工业集团公司沈阳飞机设计研究所 一种gft算法的自搏弈策略提升方法
CN109146052B (zh) * 2018-07-19 2022-04-01 中国航空工业集团公司沈阳飞机设计研究所 一种gft算法的自搏弈策略提升方法
CN109345770A (zh) * 2018-11-14 2019-02-15 深圳市尼欧科技有限公司 一种孩童遗留车内报警系统及孩童遗留车内报警方法
CN109753938A (zh) * 2019-01-10 2019-05-14 京东方科技集团股份有限公司 图像识别方法和设备及应用、神经网络的训练方法
US11244151B2 (en) 2019-01-10 2022-02-08 Boe Technology Group Co., Ltd. Computer-implemented method of recognizing facial expression, apparatus for recognizing facial expression, method of pre-training apparatus for recognizing facial expression, computer-program product for recognizing facial expression
CN109753938B (zh) * 2019-01-10 2021-11-05 京东方科技集团股份有限公司 图像识别方法和设备及应用、神经网络的训练方法
CN110006552B (zh) * 2019-04-03 2020-07-14 中国水利水电科学研究院 一种机组设备温度异常检测方法
CN110006552A (zh) * 2019-04-03 2019-07-12 中国水利水电科学研究院 一种机组设备温度异常检测方法
CN111048209A (zh) * 2019-12-28 2020-04-21 安徽硕威智能科技有限公司 基于活体人脸识别的健康评估方法、装置及其存储介质
CN111347845A (zh) * 2020-03-17 2020-06-30 北京百度网讯科技有限公司 电致变色玻璃调节方法、装置和电子设备
CN111347845B (zh) * 2020-03-17 2021-09-21 北京百度网讯科技有限公司 电致变色玻璃调节方法、装置和电子设备
CN112070062A (zh) * 2020-09-23 2020-12-11 南京工业职业技术大学 一种基于Hadoop的作物渍害图像分类检测及实现方法

Similar Documents

Publication Publication Date Title
CN107844780A (zh) 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置
Zhang et al. Driver fatigue detection based on eye state recognition
CN105095870B (zh) 基于迁移学习的行人重识别方法
CN101807245B (zh) 基于人工神经网络的多源步态特征提取与身份识别方法
CN104063719B (zh) 基于深度卷积网络的行人检测方法及装置
CN109829443A (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
CN109583338A (zh) 基于深度融合神经网络的驾驶员视觉分散检测方法
CN107007257B (zh) 面部不自然度的自动评级方法和装置
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN109815826A (zh) 人脸属性模型的生成方法及装置
CN106815566A (zh) 一种基于多任务卷积神经网络的人脸检索方法
CN110348322A (zh) 基于多特征融合的人脸活体检测方法及设备
CN106682578B (zh) 基于眨眼检测的弱光人脸识别方法
CN106503687A (zh) 融合人脸多角度特征的监控视频人物身份识别系统及其方法
CN106326874A (zh) 一种人眼图像中的虹膜识别方法及其装置
CN108764066A (zh) 一种基于深度学习的快件分拣操作规范检测方法
CN110378208B (zh) 一种基于深度残差网络的行为识别方法
CN107423727B (zh) 基于神经网络的人脸复杂表情识别方法
CN107085715A (zh) 一种电视智能检测用户睡眠状态的系统及方法
CN109543526A (zh) 基于深度差异性特征的真假面瘫识别系统
CN107944399A (zh) 一种基于卷积神经网络目标中心模型的行人重识别方法
CN110348416A (zh) 一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法
CN107944415A (zh) 一种基于深度学习算法的人眼注意力检测方法
CN109886154A (zh) 基于Inception V3的多数据集联合训练的行人外观属性识别方法
CN109558825A (zh) 一种基于数字视频图像处理的瞳孔中心定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327

RJ01 Rejection of invention patent application after publication