CN111195119A - 一种实时检测生理的眼镜装置及方法 - Google Patents
一种实时检测生理的眼镜装置及方法 Download PDFInfo
- Publication number
- CN111195119A CN111195119A CN201911357344.7A CN201911357344A CN111195119A CN 111195119 A CN111195119 A CN 111195119A CN 201911357344 A CN201911357344 A CN 201911357344A CN 111195119 A CN111195119 A CN 111195119A
- Authority
- CN
- China
- Prior art keywords
- blood spectrum
- human face
- face
- physiological
- spectrum information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 10
- 230000035479 physiological effects, processes and functions Effects 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title claims description 20
- 239000008280 blood Substances 0.000 claims abstract description 97
- 210000004369 blood Anatomy 0.000 claims abstract description 97
- 238000001228 spectrum Methods 0.000 claims abstract description 92
- 238000010183 spectrum analysis Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000012856 packing Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000036772 blood pressure Effects 0.000 claims description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 abstract 1
- 238000005070 sampling Methods 0.000 description 15
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 4
- 210000001367 artery Anatomy 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000009894 physiological stress Effects 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Cardiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Power Engineering (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种实时检测生理的眼镜装置，包括镜架、视频获取装置、人脸采集装置、血谱分析装置、无线通讯装置以及显示装置；所述视频获取装置、人脸采集装置以及显示装置设置于镜架；血谱生理分析装置设置于后台的处理器中；视频获取装置与人脸采集装置以及显示装置电性连接；血谱生理分析装置与人脸采集装置以及显示装置之间设置无线通讯装置；视频获取装置包括摄像机，摄像机设置于镜架的侧面；采用本发明能够在被审讯人员无生理感知的情况下得知被审讯人员的生理波动情况，能够对被审讯人员的异常生理波动及时做出反应。
Description
技术领域
本发明涉及图像识别领域，特别是涉及一种实时检测生理的眼镜装置及方法。
背景技术
在现代社会中，极端主义分子在日常生活中对无辜百姓的迫害、对人民群众带来的心理压力以及对社会造成的恶劣影响仍然不能够小觑，而且部分抱着消极心理的极端主义分子更是可能会造成人员伤亡的情况发生。所以能够在极端分子行动前进行辨识是十分必要的。但是目前辨识人员的心理或者生理压力往往是通过接触式的仪器进行辨识。如果在人群密集的环境进行排查，其一，会造成人员恐慌；其二，排查过程中给了极端分子心理准备的时间；其三，排查过程中人员可能更为集中，方便极端分子行动；其四，排查过程消耗的时间、人力和资源较多。因此一种非接触式，较为隐蔽的生理或心理检测方式是十分必要的。
由于人体皮肤是半透明的，因此光线会透射到皮肤下面的动脉血管层，动脉血管中的血红蛋白会吸收部分透射光，剩余光线会在动脉血管层形成反射光；随着人体心脏跳动的收缩和舒张，动脉血管的血红蛋白密度跟随心脏跳动而波动，当心脏收缩时，动脉血管中的血红蛋白密度变高，会吸收更多的透射光，使得反射光的强度变弱，反之，当心脏舒张时，动脉血管中的血红蛋白密度变低，会吸收更少的透射光，使得反射光的强度变强，因此通过对反射光变化的分析能够得到心率等生理指标。
发明内容
本发明的目的是解决现有技术的不足，提供一种实时检测生理的眼镜装置及方法，结构简单，使用方便。
一种实时检测生理的眼镜装置，包括镜架、视频获取装置、人脸采集装置、血谱分析装置、无线通讯装置以及显示装置；所述视频获取装置、人脸采集装置以及显示装置设置于镜架；血谱生理分析装置设置于后台的处理器中；视频获取装置与人脸采集装置以及显示装置电性连接；血谱生理分析装置与人脸采集装置以及显示装置之间设置无线通讯装置；视频获取装置包括摄像机，摄像机设置于镜架的侧面。
一种基于上述装置的实时检测生理的方法，其特征在于，包括如下步骤：
步骤1：视频获取装置获取非压缩视频流，传输到人脸采集装置；视频获取装置获取编码视频流传输到显示装置；
步骤2：人脸检测装置接收非压缩视频流，进行初步处理得到人脸血谱信息，将设定时长的人脸血谱信息打包，通过无线传输发送到血谱生理分析装置；
步骤3：血谱生理分析装置接收人脸血谱信息压缩包，解压获得人脸血谱信息，并进行生理指标分析，获得生理指标分析结果，将生理指标分析结果通过无线传输，传输到显示装置；
步骤4：显示装置接收编码视频流以及生理指标分析结果并进行实时显示，返回步骤1。
进一步的，所述步骤1中视频获取装置获取非压缩视频流以及编码视频流的步骤包括：
步骤1.1：光学传感器捕捉输入镜头的光线，将光学信号转换为电信号传输给图像处理装置；
步骤1.2：图像处理装置接收电信号，将电信号转换为帧图像，并将帧图像按照时序进行编排，获得设定帧率的实时非压缩视频流，将非压缩视频流传输给人脸采集装置以及编码器；
步骤1.3：编码器接收非压缩视频流，进行H.264或H.265编码，获得编码视频流，将编码视频流传输给显示装置。
进一步的，所述步骤2中，人脸检测装置进行初步处理的步骤包括：
步骤2.1：根据时间顺序选择一帧图像，对图像进行人脸跟踪检测，得到人脸特征点；
步骤2.2：根据人脸特征点的分布定位人脸区块；
步骤2.3：提取各个人脸区块的区块信息，得到该帧图像的人脸血谱信息；
步骤2.4：对其余每一帧图像进行步骤2.1～2.3的处理，得到一段时间的人脸血谱信息并进行打包；
步骤2.5：将打包后的人脸血谱信息传输至血谱分析装置。
进一步的，所述步骤2.4中，人脸血谱信息的打包包括如下步骤：
步骤2.41：获取每一帧每一个特定区块的平均值序列，{(区块编号，帧序号i，Ri,Gi,Bi)}，其中1≤i≤s*v，s表示设定的打包人脸血谱信息的时长，v表示视频每秒包含的帧图像数量，R、G、B表示人脸区块的RGB信息；
步骤2.42：将步骤1.41中获得的特定区块的平均值序列根据区块编号进行排序得到帧图像序列，{(k1,1,R1,G1,B1),…,(k1,s*v,RS*V,GS*V,BS*V)}；将s*v个帧图像序列按时间排序的得到k1区块的序列；
步骤2.43：分别得到k2、…kj区块的序列；其中j表示该帧图像中人脸特征点的个数；
步骤2.44：获取人脸编号以及第一帧图像的时间戳；所述人脸编号为图像采集装置采集的人脸数据的编号；
步骤2.45：根据{人脸编号，第1帧的时间戳，打包帧数，k1区块序列，k2区块序列…kj区块序列}的顺序，对s秒时长的人脸血谱信息进行打包；所述第1帧的时间戳表示该s时长范围内的第1帧图像的时间戳。
进一步的，所述步骤3中，生理指标分析包括心率、呼吸、血压的分析；
血谱分析装置的分析过程包括如下步骤：
步骤3.1：接收人脸血谱信息压缩包，并解压得到人脸血谱信息；
步骤3.2：对特定区块分别按照时序组合人脸血谱信息；其中组合人脸血谱信息为根据生理指标的分析要求将一个及以上的人脸血谱信息压缩包的内容按时间顺序拼接组成设定时长的人脸血谱信息；所述特定区块根据检测目标进行确定；
步骤3.3：进行生理指标分析，所述生理指标分析包括如下步骤：
步骤3.31：将步骤3.2中获得的设定时长的人脸血谱信息进行小波函数滤波处理；
步骤3.32：将滤波后的人脸血谱信息按照设定的时间长度进行切片；
步骤3.33：对每一块切片后的人脸血谱信息进行傅里叶变换得到与切片对应的目标频谱；
步骤3.34：将每一块目标频谱求平均值，并按照时间顺序进行排序得到目标变动曲线；
步骤3.4：从特定区块的目标变动曲线中挑选信号质量最好的作为最终的生理指标分析结果；
步骤3.5：将步骤3.4获得的生理指标分析结果发送给显示装置。
进一步的，所述生理指标包括心率、呼吸、血压指标；生理指标在一个坐标系中展示或者一项生理指标对应一个坐标系进行展示。
本发明的有益效果在于：
采用本发明能够在被观察人员无生理感知的情况下得知被观察人员的生理波动情况，能够及时对存在危险的被观察人员进行处理；
本发明是设置显示装置，能够将编码视频流、生理指标分析结果进行实时显示，便于直观地观察被观察人员的生理波动情况。
附图说明
图1为本发明的外观设计图；
图2为本发明的流程图；
图3为本发明的人脸检测装置流程框图；
图4为本发明的血谱分析装置流程框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
如图1所示，一种实时检测生理的眼镜装置，包括镜架、视频获取装置、人脸采集装置、血谱分析装置、无线通讯装置以及显示装置。
所述视频获取装置、人脸采集装置以及显示装置设置于镜架。血谱生理分析装置设置于后台的处理器中。视频获取装置与人脸采集装置以及显示装置电性连接；血谱生理分析装置与人脸采集装置以及显示装置之间设置无线通讯装置。
所述视频获取装置设置于镜架。视频获取装置包括摄像机，所述摄像机可以为一个或两个，摄像机设置于镜架的侧面。摄像机采集的实时视频的帧率能够根据需求进行调节，在本实施例中为每秒30帧。摄像机包括镜头、光学传感器、图像处理装置以及编码器。摄像机还包括红外装置，能够根据设定选择红外或非红外模式。所述红外装置包括红外补光灯以及红外滤波片。所述红外补光灯能够发出设定红外波长的红外光线，在本实施例中为940nm。所述红外滤波片能够滤除非目标频段的红外光。
如图2所示，一种实时检测生理的方法，包括如下步骤：
步骤1：视频获取装置获取非压缩视频流，传输到人脸采集装置；视频获取装置获取编码视频流传输到显示装置；
步骤2：人脸检测装置接收非压缩视频流，进行初步处理得到人脸血谱信息，将设定时长的人脸血谱信息打包，通过无线传输发送到血谱生理分析装置；
步骤3：血谱生理分析装置接收人脸血谱信息压缩包，解压获得人脸血谱信息，并进行生理指标分析，获得生理指标分析结果，将生理指标分析结果通过无线传输，传输到显示装置；
步骤4：显示装置接收编码视频流以及生理指标分析结果并进行实时显示，返回步骤1。
在步骤1中，所述视频获取装置负责采集实时视频，实时视频中需要有被观察人员的人脸信息。视频获取装置获取非压缩视频流以及编码视频流的步骤包括：
步骤1.1：光学传感器捕捉输入镜头的光线，将光学信号转换为电信号传输给图像处理装置；其中如果视频获取装置采用红外模式，则光线会先经过红外滤波片，只有设定波长的光线能够传输到光学传感器；
步骤1.2：图像处理装置接收电信号，将电信号转换为帧图像，并将帧图像按照时序进行编排，获得设定帧率的实时非压缩视频流，将非压缩视频流传输给人脸采集装置以及编码器；
步骤1.3：编码器接收非压缩视频流，进行H.264或H.265编码，获得编码视频流，将编码视频流传输给显示装置。
如图3所示，在步骤2中，所述人脸检测装置进行初步处理的步骤包括：
步骤2.1：根据时间顺序选择一帧图像，对图像进行人脸跟踪检测，得到人脸特征点；
步骤2.2：根据人脸特征点的分布定位人脸区块；
步骤2.3：提取各个人脸区块的区块信息，得到该帧图像的人脸血谱信息；
步骤2.4：对其余每一帧图像进行步骤2.1～2.3的处理，得到一段时间的人脸血谱信息并进行打包；
步骤2.5：将打包后的人脸血谱信息通过无线传输，传输至血谱分析装置。
在步骤2.1中，所述人脸跟踪检测为对图像中的人脸进行检测、跟踪，获得图像中的人脸转动角度以及人脸检测框。在步骤2.2中，所述人脸特征点包括嘴唇、鼻子、眼眶、眉毛、额头、人脸轮廓。获得人脸特征点j个，j≥1，根据人脸特征点在人脸检测框中的坐标值来划分人脸区块。在步骤2.3中，区块信息包括人脸区块的RGB或灰度值信息，不同的生理指标对应不同区块的区块信息，其中对于彩色图像，提取人脸区块的RGB信息；对于黑白图像，提取人脸图像的灰度值信息，并且R＝G＝B＝灰度值。在本实施例中，为了提升准确度，对于待检测的生理指标可以同时采集多个相关的区块信息。在步骤2.4中，进行打包的人脸血谱信息的时间范围能够根据设定进行调节。设定每s秒打包一次，视频每秒包含v帧图像，根据每帧图像中人脸特征点的个数，将图像划分为j个人脸区块，对人脸区块进行编号，分别标记为k1、k2、…kj。在步骤2.5中所述无线传输包括4G传输、5G传输以及WIFI传输。人脸血谱信息的打包包括如下步骤：
步骤2.41：获取每一帧每一个特定区块的平均值序列，{(区块编号，帧序号i，Ri,Gi,Bi)}，1≤i≤s*v；
步骤2.42：将步骤1.41中获得的特定区块的平均值序列根据区块编号进行排序得到帧图像序列，{(k1,1,R1,G1,B1),…,(k1,s*v,RS*V,GS*V,BS*V)}；将s*v个帧图像序列按时间排序的得到k1区块的序列；
步骤2.43：分别得到k2、…kj区块的序列；
步骤2.44：获取人脸编号以及第一帧图像的时间戳；所述人脸编号为图像采集装置采集的人脸数据的编号，比如第1份s秒时长人脸视频的人脸编号为1；
步骤2.45：根据{人脸编号，第1帧的时间戳，打包帧数，k1区块序列，k2区块序列…kj区块序列}的顺序，对s秒时长的人脸血谱信息进行打包；所述第1帧的时间戳表示该s时长范围内的第1帧图像的时间戳。
如图4所示，在步骤3中，所述血谱分析装置从人脸采集装置接收打包的人脸血谱信息，对人脸血谱信息进行生理指标分析，所述生理指标分析包括心率、呼吸、血压的分析。所述血谱分析装置的分析过程包括如下步骤：
步骤3.1：接收人脸血谱信息压缩包，并解压得到人脸血谱信息；
步骤3.2：对特定区块分别按照时序组合人脸血谱信息；其中组合人脸血谱信息为根据生理指标的分析要求将一个及以上的人脸血谱信息压缩包的内容按时间顺序拼接组成设定时长的人脸血谱信息；所述特定区块根据检测目标进行确定，比如心率检测对应区块k1、k4；
步骤3.3：进行生理指标分析，所述生理指标分析包括如下步骤：
步骤3.31：将步骤3.2中获得的设定时长的人脸血谱信息进行小波函数滤波处理；目的是过滤掉非目标频段的信息，以心率的分析为例，进行小波函数滤波能够过滤掉非心率频段的信息；
步骤3.32：将滤波后的人脸血谱信息按照设定的时间长度进行切片；
步骤3.33：对每一块切片后的人脸血谱信息进行傅里叶变换得到与切片对应的目标频谱，比如心率频谱；
步骤3.34：将每一块目标频谱求平均值，并按照时间顺序进行排序得到目标变动曲线，比如心率变动曲线；
步骤3.4：从特定区块的目标变动曲线中挑选信号质量最好的作为最终的生理指标分析结果；
步骤3.5：将步骤3.4获得的生理指标分析结果发送至显示装置。
其中，在步骤3.32中切片后的人脸血谱信息可以重叠或部分重叠。在步骤3.4中，根据信噪比来判断特定区块的信号质量，信噪比越高，则认为信号质量越好。在步骤3.3实施过程中，以k1区块RGB信息中G信号的心率分析为例，设定按照每秒30帧采样，采样时长为60秒，得到1800个采样数据，采样数据构成采样集{G1,…,Gi,….G1800}；将这1800个采样数据送入小波变换滤波器，得到频率范围在0.67-2.33Hz频率信息段的x个数据，其中x≤1800，而0.67-2.33Hz为正常情况下人体的心率范围；采用150个采样点的离散傅里叶变换公式，以150个点作为切片长度；计算每个采样点的平均心率，以第5秒的心率为例：第5秒的采样点是第150号，选取前后各75个采样点，即第76号采样点～225号采样点形成150个采样数据，输入离散傅里叶变换公式得到150个{频率点，幅度}数据；从150个{频率点，幅度}数据中选择幅度最大采样数据，将该采样数据中的频率点*60作为第5秒的平均心率；将每个采样点的平均心率按照时间顺序构成心率变动曲线。
在步骤4中，显示装置接收视频获取装置获取的编码视频流，接收血谱分析装置获得的生理指标分析结果，并进行实时显示。其中显示装置可以为投影式。生理指标包括心率、呼吸、血压；显示器上实时展示生理指标的过程中，各项生理指标在一个坐标系中展示或者一项生理指标对应一个坐标系进行展示。
以上所述，只是本发明的具体实施例，并非对本发明做出任何形式上的限制，在不脱离本发明的技术方案基础上，所做出的简单修改、等同变化或修饰，均落入本发明的保护范围。
Claims (7)
1.一种实时检测生理的眼镜装置，其特征在于，包括镜架、视频获取装置、人脸采集装置、血谱分析装置、无线通讯装置以及显示装置；所述视频获取装置、人脸采集装置以及显示装置设置于镜架；血谱生理分析装置设置于后台的处理器中；视频获取装置与人脸采集装置以及显示装置电性连接；血谱生理分析装置与人脸采集装置以及显示装置之间设置无线通讯装置；视频获取装置包括摄像机，摄像机设置于镜架的侧面。
2.一种基于权利要求1所述装置的实时检测生理的方法，其特征在于，包括如下步骤：
步骤1：视频获取装置获取非压缩视频流，传输到人脸采集装置；视频获取装置获取编码视频流传输到显示装置；
步骤2：人脸检测装置接收非压缩视频流，进行初步处理得到人脸血谱信息，将设定时长的人脸血谱信息打包，通过无线传输发送到血谱生理分析装置；
步骤3：血谱生理分析装置接收人脸血谱信息压缩包，解压获得人脸血谱信息，并进行生理指标分析，获得生理指标分析结果，将生理指标分析结果通过无线传输，传输到显示装置；
步骤4：显示装置接收编码视频流以及生理指标分析结果并进行实时显示，返回步骤1。
3.根据权利要求2所述的一种实时非接触式监测生理指标的方法，其特征在于，所述步骤1中视频获取装置获取非压缩视频流以及编码视频流的步骤包括：
步骤1.1：光学传感器捕捉输入镜头的光线，将光学信号转换为电信号传输给图像处理装置；
步骤1.2：图像处理装置接收电信号，将电信号转换为帧图像，并将帧图像按照时序进行编排，获得设定帧率的实时非压缩视频流，将非压缩视频流传输给人脸采集装置以及编码器；
步骤1.3：编码器接收非压缩视频流，进行H.264或H.265编码，获得编码视频流，将编码视频流传输给显示装置。
4.根据权利要求3所述的一种实时非接触式监测生理指标的方法，其特征在于，所述步骤2中，人脸检测装置进行初步处理的步骤包括：
步骤2.1：根据时间顺序选择一帧图像，对图像进行人脸跟踪检测，得到人脸特征点；
步骤2.2：根据人脸特征点的分布定位人脸区块；
步骤2.3：提取各个人脸区块的区块信息，得到该帧图像的人脸血谱信息；
步骤2.4：对其余每一帧图像进行步骤2.1～2.3的处理，得到一段时间的人脸血谱信息并进行打包；
步骤2.5：将打包后的人脸血谱信息传输至血谱分析装置。
5.根据权利要求4所述的一种实时非接触式监测生理指标的方法，其特征在于，所述步骤2.4中，人脸血谱信息的打包包括如下步骤：
步骤2.41：获取每一帧每一个特定区块的平均值序列，{(区块编号，帧序号i，Ri,Gi,Bi)}，1≤i≤s*v，s表示设定的打包人脸血谱信息的时长，v表示视频每秒包含的帧图像数量，R、G、B表示人脸区块的RGB信息；
步骤2.42：将步骤1.41中获得的特定区块的平均值序列根据区块编号进行排序得到帧图像序列，{(k1,1,R1,G1,B1),…,(k1,s*v,RS*V,GS*V,BS*V)}；将s*v个帧图像序列按时间排序的得到k1区块的序列；
步骤2.43：分别得到k2、…kj区块的序列；其中j表示该帧图像中人脸特征点的个数；
步骤2.44：获取人脸编号以及第一帧图像的时间戳；所述人脸编号为图像采集装置采集的人脸数据的编号；
步骤2.45：根据{人脸编号，第1帧的时间戳，打包帧数，k1区块序列，k2区块序列…kj区块序列}的顺序，对s秒时长的人脸血谱信息进行打包；所述第1帧的时间戳表示该s时长范围内的第1帧图像的时间戳。
6.根据权利要求5所述的一种实时非接触式监测生理指标的方法，其特征在于，所述步骤3中，生理指标分析包括心率、呼吸、血压的分析；
血谱分析装置的分析过程包括如下步骤：
步骤3.1：接收人脸血谱信息压缩包，并解压得到人脸血谱信息；
步骤3.2：对特定区块分别按照时序组合人脸血谱信息；其中组合人脸血谱信息为根据生理指标的分析要求将一个及以上的人脸血谱信息压缩包的内容按时间顺序拼接组成设定时长的人脸血谱信息；所述特定区块根据检测目标进行确定；
步骤3.3：进行生理指标分析，所述生理指标分析包括如下步骤：
步骤3.31：将步骤3.2中获得的设定时长的人脸血谱信息进行小波函数滤波处理；
步骤3.32：将滤波后的人脸血谱信息按照设定的时间长度进行切片；
步骤3.33：对每一块切片后的人脸血谱信息进行傅里叶变换得到与切片对应的目标频谱；
步骤3.34：将每一块目标频谱求平均值，并按照时间顺序进行排序得到目标变动曲线；
步骤3.4：从特定区块的目标变动曲线中挑选信号质量最好的作为最终的生理指标分析结果；
步骤3.5：将步骤3.4获得的生理指标分析结果发送给显示装置。
7.根据权利要求6所述的一种实时非接触式监测生理指标的方法，其特征在于，所述生理指标包括心率、呼吸、血压指标；生理指标在一个坐标系中展示或者一项生理指标对应一个坐标系进行展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911357344.7A CN111195119A (zh) | 2019-12-25 | 2019-12-25 | 一种实时检测生理的眼镜装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911357344.7A CN111195119A (zh) | 2019-12-25 | 2019-12-25 | 一种实时检测生理的眼镜装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111195119A true CN111195119A (zh) | 2020-05-26 |
Family
ID=70741691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911357344.7A Pending CN111195119A (zh) | 2019-12-25 | 2019-12-25 | 一种实时检测生理的眼镜装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111195119A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103583050A (zh) * | 2011-06-08 | 2014-02-12 | 皇家Kpn公司 | 空间分段的内容的递送 |
| CN104808778A (zh) * | 2014-01-24 | 2015-07-29 | 北京奇虎科技有限公司 | 判断头戴式智能设备操作有效性的装置和方法 |
| CN110420011A (zh) * | 2019-08-07 | 2019-11-08 | 杭州泽铭睿股权投资有限公司 | 一种具有血谱光学图像成像功能的摄像机 |
-
2019
- 2019-12-25 CN CN201911357344.7A patent/CN111195119A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103583050A (zh) * | 2011-06-08 | 2014-02-12 | 皇家Kpn公司 | 空间分段的内容的递送 |
| CN104808778A (zh) * | 2014-01-24 | 2015-07-29 | 北京奇虎科技有限公司 | 判断头戴式智能设备操作有效性的装置和方法 |
| CN110420011A (zh) * | 2019-08-07 | 2019-11-08 | 杭州泽铭睿股权投资有限公司 | 一种具有血谱光学图像成像功能的摄像机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108701357B (zh) | 用于皮肤检测的设备、系统和方法 | |
| CN105266787B (zh) | 一种非接触式心率检测方法及系统 | |
| Zhang et al. | Heart rate extraction based on near-infrared camera: Towards driver state monitoring | |
| US20160317041A1 (en) | System and methods for measuring physiological parameters | |
| CN106073729B (zh) | 光电容积脉搏波信号的采集方法 | |
| CN102499664A (zh) | 基于视频图像的非接触式生命体征的检测方法及检测系统 | |
| CN111281367A (zh) | 一种基于人脸视频的抗干扰非接触式心率检测方法 | |
| CN109008964A (zh) | 一种生理信号提取的方法及装置 | |
| CN110084085A (zh) | 基于成形信号的rppg高精度心率检测方法 | |
| CN111166302A (zh) | 一种实时非接触式监测生理指标的装置及方法 | |
| CN113576475B (zh) | 一种基于深度学习的无接触血糖测量方法 | |
| JP2007050144A (ja) | 自律神経活動評価装置 | |
| Lamba et al. | Contactless heart rate estimation from face videos | |
| CN111195119A (zh) | 一种实时检测生理的眼镜装置及方法 | |
| CN108090410B (zh) | 一种非接触式面部心率监测动感单车及监测方法 | |
| CN116098596A (zh) | 一种基于深度学习的生命体征监测方法与装置 | |
| CN113693573B (zh) | 一种基于视频的非接触式多生理参数监测的系统及方法 | |
| EP3649613A2 (en) | Method to derive a person's vital signs from an adjusted parameter | |
| Ruminski | The accuracy of pulse rate estimation from the sequence of face images | |
| Pansare et al. | Heart Rate Measurement from Face and Wrist Video | |
| Smiley et al. | Contactless iPPG Extraction Using Infrared Imaging | |
| CN111195133A (zh) | 一种能够实时检测疲劳的装置及方法 | |
| CN111241917B (zh) | 一种自适应非接触生理采集云台摄像机装置及方法 | |
| Panigrahi et al. | Video-based HR measurement using adaptive facial regions with multiple color spaces | |
| CN117542127B (zh) | 基于多光谱偏振光的皮肤检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200526 |
|
| RJ01 | Rejection of invention patent application after publication |