CN107133612A - 基于图像处理与语音识别技术的智能病房及其运行方法 - Google Patents

基于图像处理与语音识别技术的智能病房及其运行方法 Download PDF

Info

Publication number
CN107133612A
CN107133612A CN201710418486.4A CN201710418486A CN107133612A CN 107133612 A CN107133612 A CN 107133612A CN 201710418486 A CN201710418486 A CN 201710418486A CN 107133612 A CN107133612 A CN 107133612A
Authority
CN
China
Prior art keywords
mrow
image
ward
information
mtd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710418486.4A
Other languages
English (en)
Inventor
倪建军
龚涛
莫正佩
史朋飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201710418486.4A priority Critical patent/CN107133612A/zh
Publication of CN107133612A publication Critical patent/CN107133612A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Psychology (AREA)
  • Emergency Management (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于图像处理与语音识别技术的智能病房及其运行方法，通过信息采集终端采集病房、病人的语言和图像信息以及医疗设备运行状态，再通过以太网传输到信息处理中心服务器，中心服务器利用图像处理与语音识别技术对所采集到的图像信息和语音信息进行智能分析处理，信息处理中心服务器交互分析结果信息于客户端，将护士的巡查工作交予服务器完成，处理效率高，可靠性好，降低了人力资源的投入，提高了服务质量；能实时获取病房与病人的状态，极大地降低了意外发生的几率；利用物联网技术将病人及病房状态信息及时发送给医护人员，为医患双方都带来了极大的便利。

Description

基于图像处理与语音识别技术的智能病房及其运行方法
技术领域
涉及智能管理系统，特别是一种运用于病房的智能管理系统。
背景技术
在医院系统中，对病人和病房的状态获取主要依赖于护士人员的人工巡查，以及一些传统的监测技术等手段，存在效率低下，可靠性低，反馈不够及时等缺点。随着社会的进步，人们对医疗条件提出了更高的要求，传统手段的缺点愈发明显，并且需要投入大量的人力，不利于医疗质量的提高；市场需要一种智能系统，能时刻监督并判断病人状态的智能系统，本发明解决这样的问题。
发明内容
为解决现有技术的不足，本发明的目的在于提供一种基于图像处理与语音识别技术的智能病房及其运行方法，方便医护人员远程监控病人状态，自动化程度高，操作准确；为医患双方提供了便利，提高了医生的工作效率，节省了人力物力，降低了成本。
为了实现上述目标，本发明采用如下的技术方案：
基于图像处理与语音识别的智能病房，包括:对病房的信息进行实时监测与采集的信息采集终端，接收信息采集终端信息并对信息进行处理、判断、存储的信息处理中心服务器，既可以接收信息处理中心服务器发出的信息也可以自主访问信息处理中心服务器的客户端；信息采集终端包括：采集语音信息的麦克风，采集图像信息的摄像头，采集病房内医疗设备数据的接口模块，接收语音信息、图像信息、医疗设备信息的处理器，将处理器处理后的信息传输到信息处理中心服务器的处理器通信器；信息处理中心服务器包括：接收处理器通信器信息的服务器通信器，接收并处理服务器通信器的信息的服务器主机，接 发信息于服务器主机并储存信息的服务器数据库。
前述的基于图像处理与语音识别的智能病房，客户端包括：智能手机，平板电脑，计算机。
前述的基于图像处理与语音识别的智能病房的运行方法，包括如下步骤：
步骤一，采用摄像头采集信息采集病房实时画面信息，采用麦克风采集病房语音，采用接口模块采集病房内医疗设备数据；处理器将采集到的模拟信号转换成数字信号，并进行数字滤波，剔除噪声和一些错误数据，再将初步处理的数据通过处理器通信器发送传输到信息处理中心服务器；
步骤二，通过信息处理中心服务器完成语音信号的识别，图像信号的分析、判断和识别，医疗设备信息的分析和识别。
步骤三，信息处理中心服务器将采集到的数据及分析结果进行存储以供用户查询；分析结果包括：语音信号的识别结果，病房内医疗设备工作状况，病房内有无病人的判断结果，对病人的身体状态的判断结果。
步骤四，信息处理中心服务器将步骤三的分析结果向客户端进行发布；
步骤五，用户客户端实时接收信息处理中心服务器发布的信息或主动向信息处理中心服务器查询病房与病人的状态。
前述的基于图像处理与语音识别的智能病房的运行方法，信息处理中心服务器识别语音信号的具体过程为：
步骤一，语音信号预处理，预处理包括：语音分帧，预加重，加窗处理；
步骤二，采用短时能量短时过零率双门限端点检测方法对语音信号进行端点检测，找出字、词的起始点及结束点，只存储和处理有效语音信号；短时能量短时过零率双门限端点检测方法具体内容包括：第n帧语音信号的短时能量En 为：xn为原样本序列在窗函数所切取出的第n段短时语音，N为帧长；
短时过零率：表示一帧语音信号波形穿过横轴(零电平)的次数。计算方法是通过设定一个差的阈值δ，使不仅xn(m)*xn(m-1)<0，还要|xn(m)-xn(m-1)|>δ，从而计算出短时过零率。δ的值可由多次试验取得；采用双门限端点检测在开始检测之前设定4个门限，即分别为短时能量和短时过零率各设置一个高门限和一个低门限：EHigh、ELow和ZHigh、ZLow，若第n帧的短时能量和短时过零率在门限之间，则认为该帧即为要检测的端点；
步骤三，采用MFCC系数作为识别参数在预处理的基础上对有效语音信号进行语音识别参数提取；MFCC系数计算方法包括：
a)计算离散功率谱：对预处理的每帧进行离散FFT变换得到其频谱，再取模的平方作为离散功率谱S(n)；
b)将功率谱通过滤波器组：计算S(n)通过M个Hm(n)后所得的功率值，即计算S(n)和Hm(n)在各离散频率点上的乘积之和，得到M个参数Pm，m＝0,1,……M-1；
c)取对数：计算Pm的自然对数，得到Lm，m＝0,1,……M-1；
d)离散余弦变换：对Lm计算其离散余弦变换，得到D m，m＝0,1,……M-1，舍去代表直流成份的D0，取D1，D2，……，Dk作为MFCC参数。
步骤四：采用DTW算法将测试信号与所有参考模板特征参数进行匹配进行语音识别；DTW算法分两步进行，一是计算两个对象各帧之间的距离，即求出帧匹配距离矩阵，二是在帧匹配距离矩阵中找出一条最佳路径，找到的最小匹配距离Dmin(N,M)所对应语音即为识别结果。
前述的基于图像处理与语音识别的智能病房的运行方法，信息处理中心服务器完成图像信号的分析、判断和识别的具体过程为：步骤一，对图像进行预处理，预处理内容包括图像降噪和图像增强；图像降噪采用中值滤波降噪，具体算法是进行N次采样，N为奇数，将采样的结果按从小到大或从大到小排序，取中间值作为采样的结果；图像增强则是通过增强对比度的办法来看清图像的细节，运用平滑技术减少块效应对图像清晰度的影响，使用微分运算突出边界或其他变化部分；步骤二，对预处理后的病房图像进行处理，获得病房内的信息，完成判断；判断内容包括：判断病房是否住有病人，判断病房有无人员进出，判断特定病患的及时定位，判断病人行为。
前述的基于图像处理与语音识别的智能病房的运行方法，判断病房是否住有病人的具体过程包括：
步骤一，在样本图像中选取并分割含有医院病服的部分；分割方法是先在样本图像中统计出病服区域的二阶灰度直方图，并求出门限值，以此门限值来进行分割，并且用于之后的边界匹配。若把M×N的样本图像X在像素(i,j)处的灰度值记为f(i,j),求出的病服部分的门限值为t，
则要分割的目标部分为：O＝{f(i,j)≤t|(i,j)∈X}；
背景部分为：B＝{f(i,j)＞t|(i,j)∈X}；
步骤二，对目标区域进行纹理分析，先求出样本区域的灰度共生矩阵，用样本图像中求得的门限值在要处理的目标图像中自动识别与病服相同的边界并分割该区域，同样求出该区域的灰度共生矩阵，计算纹理一致性和纹理反差等纹理特征；纹理特征的描述包括灰度共生矩阵、对比度、IDM、熵、自相关；
样本区域的灰度共生矩阵:
对比度：
IDM：
熵：
自相关：
其中
用一个向量将以上特征综合在一起，可以综合得到向量：h＝[ASM1,CON1,IDM1,ENT1,COR1,...,ASM4,CON4,IDM4,ENT4,COR4]；
步骤三，对样本图像和目标图像中分割到的区域进行纹理特征综合向量比较，如果一致性很强，则认为样本图中存在病人，否则，认为不存在病人。
前述的基于图像处理与语音识别的智能病房的运行方法，判断病房是否住有病人的具体过程还包括：在纹理特征识别的基础上进行颜色特征的识别,对分割样本图像和目标图像中分割到的区域进行颜色特征的提取，具体提取过程包括：
步骤一，计算区域内RGB颜色系统的r,g,b值，计算公式如为:
步骤二，由RGB向HIS空间进行转换,可以得到HIS值,转换方法如下:
Max＝max(R,G,B),Min＝min(R,G,B)，
I＝0.229R+0.587G+0.114B，
其中R,G,B,S,I∈[0，1],H∈[0，360]；
步骤三，对样本图像和目标图像中分割到的区域的HIS值进行比较，如果一致性很强，则认为样本图中存在目标，否则，认为不存在目标；
步骤四，综合颜色特征和纹理特征的识别，便可以准确的确定目标图像中病人是否在病房中。
前述的基于图像处理与语音识别的智能病房的运行方法，判断病房有无人员进出的具体过程包括：
步骤一，采用加权平均法对相邻两帧RGB图像进行灰度化处理，图像灰度值计算公式为:f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))；
步骤二，比较前后两帧图像的灰度差，设定一个灰度差阈值；
步骤三，当两帧图像的灰度差大于这一阈值，则认为有人员进出病房，由服务器向客户端发出提示，相关人员进行查看确认。
前述的基于图像处理与语音识别的智能病房的运行方法，判断特定病患的及时定位的具体过程包括：
步骤一，在病人入院时对其进行面部图像采集；
步骤二，在人脸特征提取前对图像进行滤波去噪、灰度变换、图像二值化、边缘检测、尺寸归一化、灰度归一化等预处理；
步骤三，采用适用于人脸特征的神经网络分类器提取其人脸特征并建立病人信息库，用人脸图像样本对分类器一边训练，一边测试，并把在测试过程中的错误分类结果作为反例样本加入学习过程；
步骤四，采用基于PCA的人脸识别方法进行识别，先把人脸库组成的高维图像空间经K—L变换后得到一组新的正交基，对这些正交基作一定的取舍，保留其中的一部分生成低维的人脸空间，也即人脸的特征子空间，有了这样一个由“特征脸”组成的降维子空间，把所需识别的人脸图像都向其做投影并获得一组坐标系数，根据这一组坐标系数运用模式分类的理论进行识别，把投影到子空间中的所有测试图像和训练图像进行比较，确定待识样本是否是医院人脸库的病人，如果是所需查找的病人，则向服务器反馈所识别到的摄像头的坐标，由相关人员前往处理。
前述的基于图像处理与语音识别的智能病房的运行方法，判断病人行为的具体过程包括：
步骤一，设fk(x,y)、fk+1(x,y)、fk+2(x,y)为病房摄像头采集到的连续3帧图像，先对图像进行灰度化处理；
步骤二，把第k帧作为背景图像，用k+1帧减去第k帧获得k+1帧与第k帧的差分图像，M1为所得差分图像的质心，也为目标的初始位置，用k+2帧减去第k帧获得k+2帧与第k帧的差分图像，M2为所得差分图像的质心，为目标的运动位置；
步骤三，通过获取图像中M1和M2的坐标关系，可以得出目标的运动方向，通过与获取帧图像间隔时间的计算，可以获得目标的运动速度。
前述的基于图像处理与语音识别的智能病房的运行方法，判断病人行为的内容包括：病人跌倒和行为异常；
病人跌倒的具体判断过程包括：当通过图像处理，发现目标的运动方向是向下，并且在设定时间长度t内没有向上运动则认为病人发生了跌倒，及时向客户端发出预警，由医护人员及时处理，时间长度t的设定是为了防止病人正常行为时系统的错误响应；
行为异常的具体判断过程包括：通过对目标的运动速度设定一阈值，若是目标的运动速度大于此阈值，并且运动方向具有明显的无序性，则服务器发出预警到客户端，由医生前往病房处理。
本发明的有益之处在于：本发明提供一种基于图像处理与语音识别技术的智能病房及其运行方法，通过信息采集终端采集病房、病人的语言和图像信息以及医疗设备运行状态，再通过以太网传输到信息处理中心服务器，中心服务器利用图像处理与语音识别技术对所采集到的图像信息和语音信息进行智能分析处理，信息处理中心服务器交互分析结果信息于客户端，方便医护人员远程监控病人状态，自动化程度高，操作准确；为医患双方提供了便利，提高了医生的工作效率，节省了人力物力，降低了成本。
附图说明
图1是本发明的一种实施例的结构示意图；
图2是本发明系统工作流程图；
图3是本发明人脸识别流程图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示，基于图像处理与语音识别的智能病房，包括:对病房的信息进行实时监测与采集的信息采集终端，接收信息采集终端信息并对信息进行处理、判断、存储的信息处理中心服务器，既可以接收信息处理中心服务器发出的信息也可以自主访问信息处理中心服务器的客户端；信息采集终端包括：采集语音信息的麦克风，采集图像信息的摄像头，采集病房内医疗设备数据的接口模块，接收语音信息、图像信息、医疗设备信息的处理器，将处理器处理后的信息传输到信息处理中心服务器的处理器通信器；信息处理中心服务器包括：接收处理器通信器信息的服务器通信器，接收并处理服务器通信器的信息的服务器主机，接发信息于服务器主机并储存信息的服务器数据库。作为一种实施例，接口模块可以为具有485通讯接口或者以太网通讯接口的标准接口，作为一种实施例，处理器通信器为以太网，服务器通信器为以太网；需要说明的是，处理器通信器和服务器通信器除了以太网，也可以是其他类型的网络，如WIFI无线网络。作为实施例，客户端包括：智能手机，平板电脑，计算机。信息采集终端对病房的信息进行实时监测与采集，将所获得的信息发送给信息处理中心服务器，信息处理中心服务器对所收到的信息进行智能处理、判断、存储，同时将病房的最新状态及时发布到客户端，客户端为医护人员所使用，既可以接收服务器信息，也能自主访问服务器，实时了解病房的情况。
如图2所示，基于图像处理与语音识别的智能病房的运行方法，包括如下步骤：
步骤一，采用摄像头采集信息采集病房实时画面信息，采用麦克风采集病房语音，采用接口模块采集病房内医疗设备数据；处理器将采集到的模拟信号转换成数字信号，并进行数字滤波，剔除噪声和一些错误数据，再将初 步处理的数据通过以太网发送传输到信息处理中心服务器；
步骤二，通过信息处理中心服务器完成语音信号的识别，图像信号的分析、判断和识别，医疗设备信息的分析和识别。
步骤三，信息处理中心服务器将采集到的数据及分析结果进行存储以供用户查询；分析结果包括：语音信号的识别结果，病房内医疗设备工作状况，病房内有无病人的判断结果，对病人的身体状态的判断结果。
步骤四，信息处理中心服务器将步骤三的分析结果向客户端进行发布；
步骤五，用户客户端实时接收信息处理中心服务器发布的信息或主动向信息处理中心服务器查询病房与病人的状态。
信息处理中心服务器识别语音信号的具体过程为：
步骤一，语音信号预处理，预处理包括：语音分帧，预加重，加窗处理；
步骤二，采用短时能量短时过零率双门限端点检测方法对语音信号进行端点检测，找出字、词的起始点及结束点，只存储和处理有效语音信号；短时能量短时过零率双门限端点检测方法具体内容包括：第n帧语音信号的短时能量En为：xn为原样本序列在窗函数所切取出的第n段短时语音，N为帧长；
短时过零率：表示一帧语音信号波形穿过横轴(零电平)的次数。计算方法是通过设定一个差的阈值δ，使不仅xn(m)*xn(m-1)<0，还要|xn(m)-xn(m-1)|>δ，从而计算出短时过零率。δ的值可由多次试验取得；采用双门限端点检测在开始检测之前设定4个门限，即分别为短时能量和短时过零率各设置一个高门限和一个低门限：EHigh、ELow和ZHigh、ZLow，若第n帧的短时能量和短时过零率在门限之间，则认为该帧即为要检测的端点；
步骤三，采用MFCC系数作为识别参数在预处理的基础上对有效语音信号进 行语音识别参数提取；MFCC系数计算方法包括：
a)计算离散功率谱：对预处理的每帧进行离散FFT变换得到其频谱，再取模的平方作为离散功率谱S(n)；
b)将功率谱通过滤波器组：计算S(n)通过M个Hm(n)后所得的功率值，即计算S(n)和Hm(n)在各离散频率点上的乘积之和，得到M个参数Pm，m＝0,1,……M-1；
c)取对数：计算Pm的自然对数，得到Lm，m＝0,1,……M-1；
d)离散余弦变换：对Lm计算其离散余弦变换，得到D m，m＝0,1,……M-1，舍去代表直流成份的D0，取D1，D2，……，Dk作为MFCC参数。
步骤四：采用DTW算法将测试信号与所有参考模板特征参数进行匹配进行语音识别；DTW算法分两步进行，一是计算两个对象各帧之间的距离，即求出帧匹配距离矩阵，二是在帧匹配距离矩阵中找出一条最佳路径，找到的最小匹配距离Dmin(N,M)所对应语音即为识别结果。
信息处理中心服务器完成图像信号的分析、判断和识别的具体过程为：步骤一，对图像进行预处理，预处理内容包括图像降噪和图像增强；图像降噪采用中值滤波降噪，具体算法是进行N次采样，N为奇数，将采样的结果按从小到大或从大到小排序，取中间值作为采样的结果；图像增强则是通过增强对比度的办法来看清图像的细节，运用平滑技术减少块效应对图像清晰度的影响，使用微分运算突出边界或其他变化部分；步骤二，对预处理后的病房图像进行处理，获得病房内的信息，完成判断；判断内容包括：判断病房是否住有病人，判断病房有无人员进出，判断特定病患的及时定位，判断病人行为。
判断病房是否住有病人通过提取医院病服的纹理特征和色彩特征，再通过对采集到的图像的特征与病服特征匹配，判断病房是否有病人在。判断病房是否住有病人的具体过程包括：
步骤一，在样本图像中选取并分割含有医院病服的部分；分割方法是先在样本图像中统计出病服区域的二阶灰度直方图，并求出门限值，以此门限值来进行分割，并且用于之后的边界匹配。若把M×N的样本图像X在像素(i,j)处的灰度值记为f(i,j),求出的病服部分的门限值为t，
则要分割的目标部分为：O＝{f(i,j)≤t|(i,j)∈X}；
背景部分为：B＝{f(i,j)＞t|(i,j)∈X}；
步骤二，对目标区域进行纹理分析，先求出样本区域的灰度共生矩阵，用样本图像中求得的门限值在要处理的目标图像中自动识别与病服相同的边界并分割该区域，同样求出该区域的灰度共生矩阵，计算纹理一致性和纹理反差等纹理特征；纹理特征的描述包括灰度共生矩阵、对比度、IDM、熵、自相关；
样本区域的灰度共生矩阵:
对比度：
IDM：
熵：
自相关：
其中
用一个向量将以上特征综合在一起，可以综合得到向量：h＝[ASM1,CON1,IDM1,ENT1,COR1,...,ASM4,CON4,IDM4,ENT4,COR4]；
步骤三，对样本图像和目标图像中分割到的区域进行纹理特征综合向量比较，如果一致性很强，则认为样本图中存在病人，否则，认为不存在病人。
作为一种优选，为了提高识别精度，判断病房是否住有病人的具体过程还包括：在纹理特征识别的基础上进行颜色特征的识别,对分割样本图像和目标图像中分割到的区域进行颜色特征的提取，具体提取过程包括：
步骤一，计算区域内RGB颜色系统的r,g,b值，计算公式如为:
步骤二，由RGB向HIS空间进行转换,可以得到HIS值,转换方法如下:
Max＝max(R,G,B),Min＝min(R,G,B)，
I＝0.229R+0.587G+0.114B，
其中R,G,B,S,I∈[0，1],H∈[0，360]；
步骤三，对样本图像和目标图像中分割到的区域的HIS值进行比较，如果一致性很强，则认为样本图中存在目标，否则，认为不存在目标；
步骤四，综合颜色特征和纹理特征的识别，便可以准确的确定目标图像中病人是否在病房中。
当需要及时了解出入病房的人员时，可在发现有人员出入时发出提示，再由相关人员查看；可采用基于相邻帧差的算法，其原理是比较相邻两帧图像的灰度差。判断病房有无人员进出的具体过程包括：
步骤一，采用加权平均法对相邻两帧RGB图像进行灰度化处理，图像灰度值计算公式为:f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))；
步骤二，比较前后两帧图像的灰度差，设定一个灰度差阈值；这样的过程设计可以消除由于病房背景的变化引起的误差；
步骤三，当两帧图像的灰度差大于这一阈值，则认为有人员进出病房，由服务器向客户端发出提示，相关人员进行查看确认。
如图3所示，在病人入院时对其进行面部图像采集，提取其人脸特征并建立病人信息库，当需要查找库中某位病人时，对所有摄像头上传图像进行人脸检测和特征提取，与该位病人面部特征进行匹配，便可以快速的获得其所处位置。判断特定病患的及时定位的具体过程包括：
步骤一，在病人入院时对其进行面部图像采集；
步骤二，在人脸特征提取前对图像进行滤波去噪、灰度变换、图像二值化、边缘检测、尺寸归一化、灰度归一化等预处理，这样的设计可以消除客观因素对后期识别的干扰，提高识别精确度；
步骤三，人脸的检测和定位采用人工神经网络学习的方法，采用自调整的学习原理，设计一个适用于人脸特征的神经网络分类器，采用适用于人脸特征的神经网络分类器提取其人脸特征并建立病人信息库，用人脸图像样本对分类器一边训练，一边测试，并把在测试过程中的错误分类结果作为反例样本加入学习过程；这样的过程设计，减少了样本集的规模，并逐步的提高了神经网络的分类性能。
步骤四，采用基于PCA的人脸识别方法进行识别，先把人脸库组成的高维图像空间经K—L变换后得到一组新的正交基，对这些正交基作一定的取舍，保留其中的一部分生成低维的人脸空间，也即人脸的特征子空间，有了这样一个由“特征脸”组成的降维子空间，把所需识别的人脸图像都向其做投影并获得一组坐标系数，根据这一组坐标系数运用模式分类的理论进行识别，把投影到子空间中的所有测试图像和训练图像进行比较，确定待识样本是否是医院人脸库的病人，如果是所需查找的病人，则向服务器反馈所识别到的摄像头的坐标，由相关人员前往处理。
判断病人行为的具体过程包括：
步骤一，设fk(x,y)、fk+1(x,y)、fk+2(x,y)为病房摄像头采集到的连续3帧图像，先对图像进行灰度化处理；
步骤二，把第k帧作为背景图像，用k+1帧减去第k帧获得k+1帧与第k帧的差分图像，M1为所得差分图像的质心，也为目标的初始位置，用k+2帧减去第k帧获得k+2帧与第k帧的差分图像，M2为所得差分图像的质心，为目标的运动位置；
步骤三，通过获取图像中M1和M2的坐标关系，可以得出目标的运动方向，通过与获取帧图像间隔时间的计算，可以获得目标的运动速度。
作为判断病人行为的计算方法的应用，判断病人行为的内容包括：病人跌倒和行为异常；
病人跌倒的具体判断过程包括：当通过图像处理，发现目标的运动方向是向下，并且在设定时间长度t内没有向上运动则认为病人发生了跌倒，及时向客户端发出预警，由医护人员及时处理，时间长度t的设定是为了防止病人正常行为时系统的错误响应；
行为异常的具体判断过程包括：通过对目标的运动速度设定一阈值，若是目标的运动速度大于此阈值，并且运动方向具有明显的无序性，则服务器发出预警到客户端，由医生前往病房处理。
本发明提供一种基于图像处理与语音识别技术的智能病房及其运行方法，通过信息采集终端采集病房、病人的语言和图像信息以及医疗设备运行状态，再通过以太网传输到信息处理中心服务器，中心服务器利用图像处理与语音识别技术对所采集到的图像信息和语音信息进行智能分析处理，信息处理中心服务器交互分析结果信息于客户端，方便医护人员远程监控病人状态，将护士的巡查工作交予服务器完成，处理效率高，可靠性好，降低了人力资源的投入，提高了服务质量；能实时获取病房与病人的状态，极大地降低了意外发生的几率；利用物联网技术将病人及病房状态信息及时发送给医护人员，不同权限的用户可以及时了解相关信息，然后采取相应的措施，为医患双方都带来了极大的便利。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.基于图像处理与语音识别的智能病房，其特征在于，包括:对病房的信息进行实时监测与采集的信息采集终端，接收信息采集终端信息并对信息进行处理、判断、存储的信息处理中心服务器，既可以接收信息处理中心服务器发出的信息也可以自主访问信息处理中心服务器的客户端；上述信息采集终端包括：采集语音信息的麦克风，采集图像信息的摄像头，采集病房内医疗设备数据的接口模块，接收语音信息、图像信息、医疗设备信息的处理器，将处理器处理后的信息传输到信息处理中心服务器的处理器通信器；上述信息处理中心服务器包括：接收处理器通信器信息的服务器通信器，接收并处理服务器通信器的信息的服务器主机，接发信息于服务器主机并储存信息的服务器数据库。
2.根据权利要求1所述的基于图像处理与语音识别的智能病房，其特征在于，上述客户端包括：智能手机，平板电脑，计算机。
3.根据权利要求1所述的基于图像处理与语音识别的智能病房的运行方法，其特征在于，包括如下步骤：
步骤一，采用摄像头采集信息采集病房实时画面信息，采用麦克风采集病房语音，采用接口模块采集病房内医疗设备数据；处理器将采集到的模拟信号转换成数字信号，并进行数字滤波，剔除噪声和一些错误数据，再将初步处理的数据通过处理器通信器发送传输到信息处理中心服务器；
步骤二，通过信息处理中心服务器完成语音信号的识别，图像信号的分析、判断和识别，医疗设备信息的分析和识别。
步骤三，信息处理中心服务器将采集到的数据及分析结果进行存储以供用户查询；分析结果包括：语音信号的识别结果，病房内医疗设备工作状况，病房内有无病人的判断结果，对病人的身体状态的判断结果。
步骤四，信息处理中心服务器将步骤三的分析结果向客户端进行发布；
步骤五，用户客户端实时接收信息处理中心服务器发布的信息或主动向信息处理中心服务器查询病房与病人的状态。
4.根据权利要求3所述的基于图像处理与语音识别的智能病房的运行方法，其特征在于，信息处理中心服务器识别语音信号的具体过程为：
步骤一，语音信号预处理，预处理包括：语音分帧，预加重，加窗处理；
步骤二，采用短时能量短时过零率双门限端点检测方法对语音信号进行端点检测，找出字、词的起始点及结束点，只存储和处理有效语音信号；短时能量短时过零率双门限端点检测方法具体内容包括：第n帧语音信号的短时能量En为：xn为原样本序列在窗函数所切取出的第n段短时语音，N为帧长；
短时过零率：表示一帧语音信号波形穿过横轴(零电平)的次数。计算方法是通过设定一个差的阈值δ，使不仅xn(m)*xn(m-1)<0，还要|xn(m)-xn(m-1)|>δ，从而计算出短时过零率。δ的值可由多次试验取得；采用双门限端点检测在开始检测之前设定4个门限，即分别为短时能量和短时过零率各设置一个高门限和一个低门限：EHigh、ELow和ZHigh、ZLow，若第n帧的短时能量和短时过零率在门限之间，则认为该帧即为要检测的端点；
步骤三，采用MFCC系数作为识别参数在预处理的基础上对有效语音信号进行语音识别参数提取；MFCC系数计算方法包括：
a)计算离散功率谱：对预处理的每帧进行离散FFT变换得到其频谱，再取模的平方作为离散功率谱S(n)；
b)将功率谱通过滤波器组：计算S(n)通过M个Hm(n)后所得的功率值，即计算S(n)和Hm(n)在各离散频率点上的乘积之和，得到M个参数Pm，m＝0,1,……M-1；
c)取对数：计算Pm的自然对数，得到Lm，m＝0,1,……M-1；
d)离散余弦变换：对Lm计算其离散余弦变换，得到D m，m＝0,1,……M-1，舍去代表直流成份的D0，取D1，D2，……，Dk作为MFCC参数。
步骤四：采用DTW算法将测试信号与所有参考模板特征参数进行匹配进行语音识别；DTW算法分两步进行，一是计算两个对象各帧之间的距离，即求出帧匹配距离矩阵，二是在帧匹配距离矩阵中找出一条最佳路径，找到的最小匹配距离Dmin(N,M)所对应语音即为识别结果。
5.根据权利要求3所述的基于图像处理与语音识别的智能病房的运行方法，其特征在于，信息处理中心服务器完成图像信号的分析、判断和识别的具体过程为：步骤一，对图像进行预处理，预处理内容包括图像降噪和图像增强；图像降噪采用中值滤波降噪，具体算法是进行N次采样，N为奇数，将采样的结果按从小到大或从大到小排序，取中间值作为采样的结果；图像增强则是通过增强对比度的办法来看清图像的细节，运用平滑技术减少块效应对图像清晰度的影响，使用微分运算突出边界或其他变化部分；步骤二，对预处理后的病房图像进行处理，获得病房内的信息，完成判断；判断内容包括：判断病房是否住有病人，判断病房有无人员进出，判断特定病患的及时定位，判断病人行为。
6.根据权利要求5所述的基于图像处理与语音识别的智能病房的运行方法，其特征在于，上述判断病房是否住有病人的具体过程包括：
步骤一，在样本图像中选取并分割含有医院病服的部分；分割方法是先在样本图像中统计出病服区域的二阶灰度直方图，并求出门限值，以此门限值来进行分割，并且用于之后的边界匹配。若把M×N的样本图像X在像素(i,j)处的灰度值记为f(i,j),求出的病服部分的门限值为t，
则要分割的目标部分为：
O＝{f(i,j)≤t|(i,j)∈X}；
背景部分为：
B＝{f(i,j)＞t|(i,j)∈X}；
步骤二，对目标区域进行纹理分析，先求出样本区域的灰度共生矩阵，用样本图像中求得的门限值在要处理的目标图像中自动识别与病服相同的边界并分割该区域，同样求出该区域的灰度共生矩阵，计算纹理一致性和纹理反差等纹理特征；纹理特征的描述包括灰度共生矩阵、对比度、IDM、熵、自相关；
样本区域的灰度共生矩阵:
对比度：
IDM：
熵：
自相关：
其中
<mrow> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <mi>i</mi> <mo>&amp;CenterDot;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>u</mi> <mi>j</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <mi>j</mi> <mo>&amp;CenterDot;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msubsup> <mi>s</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
<mrow> <msubsup> <mi>s</mi> <mi>j</mi> <mn>2</mn> </msubsup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <msub> <mi>u</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
用一个向量将以上特征综合在一起，可以综合得到向量：h＝[ASM1,CON1,IDM1,ENT1,COR1,...,ASM4,CON4,IDM4,ENT4,COR4]；
步骤三，对样本图像和目标图像中分割到的区域进行纹理特征综合向量比较，如果一致性很强，则认为样本图中存在病人，否则，认为不存在病人。
7.根据权利要求6所述的基于图像处理与语音识别的智能病房的运行方法，其特征在于，上述判断病房是否住有病人的具体过程还包括：在纹理特征识别的基础上进行颜色特征的识别,对分割样本图像和目标图像中分割到的区域进行颜色特征的提取，具体提取过程包括：
步骤一，计算区域内RGB颜色系统的r,g,b值，计算公式如为:
<mrow> <mi>r</mi> <mo>=</mo> <mfrac> <mi>R</mi> <mrow> <mi>R</mi> <mo>+</mo> <mi>G</mi> <mo>+</mo> <mi>B</mi> </mrow> </mfrac> <mo>,</mo> <mi>g</mi> <mo>=</mo> <mfrac> <mi>G</mi> <mrow> <mi>R</mi> <mo>+</mo> <mi>G</mi> <mo>+</mo> <mi>B</mi> </mrow> </mfrac> <mo>,</mo> <mi>b</mi> <mo>=</mo> <mfrac> <mi>B</mi> <mrow> <mi>R</mi> <mo>+</mo> <mi>G</mi> <mo>+</mo> <mi>B</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
步骤二，由RGB向HIS空间进行转换,可以得到HIS值,转换方法如下:
Max＝max(R,G,B),Min＝min(R,G,B)，
I＝0.229R+0.587G+0.114B，
<mrow> <mi>S</mi> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>-</mo> <mi>M</mi> <mi>i</mi> <mi>n</mi> <mo>)</mo> <mo>/</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
<mrow> <mi>H</mi> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>60</mn> <mrow> <mo>(</mo> <mi>G</mi> <mo>-</mo> <mi>B</mi> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>-</mo> <mi>M</mi> <mi>i</mi> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>=</mo> <mi>R</mi> <mi> </mi> <mi>a</mi> <mi>n</mi> <mi>d</mi> <mi> </mi> <mi>G</mi> <mo>&gt;</mo> <mi>B</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>360</mn> <mo>+</mo> <mn>60</mn> <mrow> <mo>(</mo> <mi>G</mi> <mo>-</mo> <mi>B</mi> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>-</mo> <mi>M</mi> <mi>i</mi> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>=</mo> <mi>R</mi> <mi> </mi> <mi>a</mi> <mi>n</mi> <mi>d</mi> <mi> </mi> <mi>G</mi> <mo>&lt;</mo> <mi>B</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>60</mn> <mo>&amp;lsqb;</mo> <mn>2</mn> <mo>+</mo> <mrow> <mo>(</mo> <mi>B</mi> <mo>-</mo> <mi>R</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>/</mo> <mrow> <mo>(</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>-</mo> <mi>M</mi> <mi>i</mi> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>=</mo> <mi>G</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>60</mn> <mo>&amp;lsqb;</mo> <mn>4</mn> <mo>+</mo> <mrow> <mo>(</mo> <mi>R</mi> <mo>-</mo> <mi>G</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>/</mo> <mrow> <mo>(</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>-</mo> <mi>M</mi> <mi>i</mi> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow> 3
其中R,G,B,S,I∈[0，1],H∈[0，360]；
步骤三，对样本图像和目标图像中分割到的区域的HIS值进行比较，如果一致性很强，则认为样本图中存在目标，否则，认为不存在目标；
步骤四，综合颜色特征和纹理特征的识别，便可以准确的确定目标图像中病人是否在病房中。
8.根据权利要求5所述的基于图像处理与语音识别的智能病房的运行方法，其特征在于，判断病房有无人员进出的具体过程包括：
步骤一，采用加权平均法对相邻两帧RGB图像进行灰度化处理，图像灰度值计算公式为:f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))；
步骤二，比较前后两帧图像的灰度差，设定一个灰度差阈值；
步骤三，当两帧图像的灰度差大于这一阈值，则认为有人员进出病房，由服务器向客户端发出提示，相关人员进行查看确认。
9.根据权利要求5所述的基于图像处理与语音识别的智能病房的运行方法，其特征在于，上述判断特定病患的及时定位的具体过程包括：
步骤一，在病人入院时对其进行面部图像采集；
步骤二，在人脸特征提取前对图像进行滤波去噪、灰度变换、图像二值化、边缘检测、尺寸归一化、灰度归一化等预处理；
步骤三，采用适用于人脸特征的神经网络分类器提取其人脸特征并建立病人信息库，用人脸图像样本对分类器一边训练，一边测试，并把在测试过程中的错误分类结果作为反例样本加入学习过程；
步骤四，采用基于PCA的人脸识别方法进行识别，先把人脸库组成的高维图像空间经K—L变换后得到一组新的正交基，对这些正交基作一定的取舍，保留其中的一部分生成低维的人脸空间，也即人脸的特征子空间，有了这样一个由“特征脸”组成的降维子空间，把所需识别的人脸图像都向其做投影并获得一组坐标系数，根据这一组坐标系数运用模式分类的理论进行识别，把投影到子空间中的所有测试图像和训练图像进行比较，确定待识样本是否是医院人脸库的病人，如果是所需查找的病人，则向服务器反馈所识别到的摄像头的坐标，由相关人员前往处理。
10.根据权利要求5所述的基于图像处理与语音识别的智能病房的运行方法，其特征在于，上述判断病人行为的具体过程包括：
步骤一，设fk(x,y)、fk+1(x,y)、fk+2(x,y)为病房摄像头采集到的连续3帧图像，先对图像进行灰度化处理；
步骤二，把第k帧作为背景图像，用k+1帧减去第k帧获得k+1帧与第k帧的差分图像，M1为所得差分图像的质心，也为目标的初始位置，用k+2帧减去第k帧获得k+2帧与第k帧的差分图像，M2为所得差分图像的质心，为目标的运动位置；
步骤三，通过获取图像中M1和M2的坐标关系，可以得出目标的运动方向，通过与获取帧图像间隔时间的计算，可以获得目标的运动速度；上述判断病人行为的内容包括：病人跌倒和行为异常；
上述病人跌倒的具体判断过程包括：当通过图像处理，发现目标的运动方向是向下，并且在设定时间长度t内没有向上运动则认为病人发生了跌倒，及时向客户端发出预警，由医护人员及时处理，时间长度t的设定是为了防止病人正常行为时系统的错误响应；
上述行为异常的具体判断过程包括：通过对目标的运动速度设定一阈值，若是目标的运动速度大于此阈值，并且运动方向具有明显的无序性，则服务器发出预警到客户端，由医生前往病房处理。
CN201710418486.4A 2017-06-06 2017-06-06 基于图像处理与语音识别技术的智能病房及其运行方法 Pending CN107133612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710418486.4A CN107133612A (zh) 2017-06-06 2017-06-06 基于图像处理与语音识别技术的智能病房及其运行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710418486.4A CN107133612A (zh) 2017-06-06 2017-06-06 基于图像处理与语音识别技术的智能病房及其运行方法

Publications (1)

Publication Number Publication Date
CN107133612A true CN107133612A (zh) 2017-09-05

Family

ID=59735213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710418486.4A Pending CN107133612A (zh) 2017-06-06 2017-06-06 基于图像处理与语音识别技术的智能病房及其运行方法

Country Status (1)

Country Link
CN (1) CN107133612A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107753223A (zh) * 2017-11-27 2018-03-06 北京国知智权信息技术有限公司 医院内为临床病人使用的监控通讯设备
CN107798660A (zh) * 2017-09-15 2018-03-13 华南理工大学 一种x射线图像的对比度增强方法
CN107942155A (zh) * 2017-10-24 2018-04-20 德合南京智能技术有限公司 能效分析智能工作站
CN108357517A (zh) * 2018-05-21 2018-08-03 北京京天威科技发展有限公司 动车组列车运行故障信息检测方法和系统
CN109065034A (zh) * 2018-09-25 2018-12-21 河南理工大学 一种基于声音特征识别的婴儿哭声翻译方法
CN109446948A (zh) * 2018-10-15 2019-03-08 西安交通大学 一种基于Android平台的人脸和语音多生物特征融合认证方法
CN109803013A (zh) * 2019-01-21 2019-05-24 浙江大学 一种基于人工智能的弱交互系统及其控制方法
CN110010233A (zh) * 2019-03-01 2019-07-12 许玉涛 急诊医事信息处理系统及方法
CN110415724A (zh) * 2019-08-08 2019-11-05 中南大学湘雅二医院 报警数据的传输方法、装置、系统及计算机可读存储介质
CN110459308A (zh) * 2019-07-12 2019-11-15 广东群创信息科技有限公司 一种病房多媒体宣教的方法、系统、平台及存储介质
WO2020015439A1 (zh) * 2018-07-18 2020-01-23 北京七鑫易维信息技术有限公司 一种监护方法、装置、监护设备及存储介质
WO2020051999A1 (zh) * 2018-09-11 2020-03-19 广东智媒云图科技股份有限公司 一种基于图像识别的语言学习方法、电子设备及存储介质
CN110958391A (zh) * 2019-12-12 2020-04-03 中电鸿信信息科技有限公司 一种患者紧急物品箱智能移动系统与方法
CN111292845A (zh) * 2020-01-21 2020-06-16 梅里医疗科技(洋浦)有限责任公司 一种用于智慧病房的智能护理交互系统
CN111358640A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 一种病床检测看护辅助系统
CN112525008A (zh) * 2020-11-16 2021-03-19 河南科技大学 声地震远程地雷探测系统及其探测方法
CN113486900A (zh) * 2021-05-28 2021-10-08 杭州微策生物技术股份有限公司 一种用于poct的嵌入式实时图像采集处理系统
CN113985400A (zh) * 2021-12-27 2022-01-28 南京易信同控制设备科技有限公司 一种机场跑道外来异物监测报警系统及其方法
CN114040138A (zh) * 2021-11-12 2022-02-11 华平祥晟(上海)医疗科技有限公司 一种可视化手术过程记录方法及记录系统
CN114613361A (zh) * 2022-02-14 2022-06-10 广西大学 一种语音反馈和交互系统及方法
CN115376278A (zh) * 2022-08-09 2022-11-22 广州市番禺区中心医院 一种可佩戴式急诊病人异常行为监控与识别系统
CN116206779A (zh) * 2023-04-28 2023-06-02 山东铭泰医疗设备集团有限公司 一种基于视觉感知的智慧病房交互系统
CN110958391B (zh) * 2019-12-12 2024-07-09 中电鸿信信息科技有限公司 一种患者紧急物品箱智能移动系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1319808A (zh) * 2000-02-03 2001-10-31 姚亦鸣 一种基于网络结构的医疗保健系统
CN103310089A (zh) * 2012-12-10 2013-09-18 上海康恒信息科技有限公司 互动可视化家庭健康管理平台
CN103870713A (zh) * 2014-04-04 2014-06-18 李骍 一种家庭云医疗系统和方法
CN105046619A (zh) * 2015-08-20 2015-11-11 明艳 基于智能移动终端的医疗护理系统
CN204946050U (zh) * 2015-09-30 2016-01-06 三峡大学 一种智能病房系统
CN105353672A (zh) * 2015-10-21 2016-02-24 江苏天语雅思医疗设备有限公司 一种基于无线传感器网络的智能护理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1319808A (zh) * 2000-02-03 2001-10-31 姚亦鸣 一种基于网络结构的医疗保健系统
CN103310089A (zh) * 2012-12-10 2013-09-18 上海康恒信息科技有限公司 互动可视化家庭健康管理平台
CN103870713A (zh) * 2014-04-04 2014-06-18 李骍 一种家庭云医疗系统和方法
CN105046619A (zh) * 2015-08-20 2015-11-11 明艳 基于智能移动终端的医疗护理系统
CN204946050U (zh) * 2015-09-30 2016-01-06 三峡大学 一种智能病房系统
CN105353672A (zh) * 2015-10-21 2016-02-24 江苏天语雅思医疗设备有限公司 一种基于无线传感器网络的智能护理系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘静 等: "基于ＤＴＷ改进算法的孤立词语音识别仿真", 《山东理工大学学报（自然科学版）》 *
吴君 等: "基于超声图像的纹理特征分析算法的应用", 《生物医学工程研究》 *
彭玉青 等: "基于多特征融合的跌倒行为识别与研究", 《ＪＯＵＲＮＡＬ ＯＦ ＤＡＴＡ ＡＣＱＵＩＳＩＴＩＯＮ ＡＮＤ ＰＲＯＣＥＳＳＩＮＧ》 *
王志杨 等: "PCA算法在人脸识别中的应用研究", 《科技视界》 *
程丽霞: "监控视频中的车型识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798660A (zh) * 2017-09-15 2018-03-13 华南理工大学 一种x射线图像的对比度增强方法
CN107942155A (zh) * 2017-10-24 2018-04-20 德合南京智能技术有限公司 能效分析智能工作站
CN107753223A (zh) * 2017-11-27 2018-03-06 北京国知智权信息技术有限公司 医院内为临床病人使用的监控通讯设备
CN108357517A (zh) * 2018-05-21 2018-08-03 北京京天威科技发展有限公司 动车组列车运行故障信息检测方法和系统
WO2020015439A1 (zh) * 2018-07-18 2020-01-23 北京七鑫易维信息技术有限公司 一种监护方法、装置、监护设备及存储介质
WO2020051999A1 (zh) * 2018-09-11 2020-03-19 广东智媒云图科技股份有限公司 一种基于图像识别的语言学习方法、电子设备及存储介质
CN109065034A (zh) * 2018-09-25 2018-12-21 河南理工大学 一种基于声音特征识别的婴儿哭声翻译方法
CN109065034B (zh) * 2018-09-25 2023-09-08 河南理工大学 一种基于声音特征识别的婴儿哭声翻译方法
CN109446948A (zh) * 2018-10-15 2019-03-08 西安交通大学 一种基于Android平台的人脸和语音多生物特征融合认证方法
CN111358640A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 一种病床检测看护辅助系统
CN109803013A (zh) * 2019-01-21 2019-05-24 浙江大学 一种基于人工智能的弱交互系统及其控制方法
CN110010233A (zh) * 2019-03-01 2019-07-12 许玉涛 急诊医事信息处理系统及方法
CN110459308A (zh) * 2019-07-12 2019-11-15 广东群创信息科技有限公司 一种病房多媒体宣教的方法、系统、平台及存储介质
CN110415724A (zh) * 2019-08-08 2019-11-05 中南大学湘雅二医院 报警数据的传输方法、装置、系统及计算机可读存储介质
CN110958391A (zh) * 2019-12-12 2020-04-03 中电鸿信信息科技有限公司 一种患者紧急物品箱智能移动系统与方法
CN110958391B (zh) * 2019-12-12 2024-07-09 中电鸿信信息科技有限公司 一种患者紧急物品箱智能移动系统与方法
CN111292845A (zh) * 2020-01-21 2020-06-16 梅里医疗科技(洋浦)有限责任公司 一种用于智慧病房的智能护理交互系统
CN112525008A (zh) * 2020-11-16 2021-03-19 河南科技大学 声地震远程地雷探测系统及其探测方法
CN112525008B (zh) * 2020-11-16 2022-10-18 河南科技大学 声地震远程地雷探测系统及其探测方法
CN113486900A (zh) * 2021-05-28 2021-10-08 杭州微策生物技术股份有限公司 一种用于poct的嵌入式实时图像采集处理系统
CN113486900B (zh) * 2021-05-28 2024-06-07 杭州微策生物技术股份有限公司 一种用于poct的嵌入式实时图像采集处理系统
CN114040138A (zh) * 2021-11-12 2022-02-11 华平祥晟(上海)医疗科技有限公司 一种可视化手术过程记录方法及记录系统
CN113985400A (zh) * 2021-12-27 2022-01-28 南京易信同控制设备科技有限公司 一种机场跑道外来异物监测报警系统及其方法
CN114613361A (zh) * 2022-02-14 2022-06-10 广西大学 一种语音反馈和交互系统及方法
CN114613361B (zh) * 2022-02-14 2024-05-28 广西大学 一种语音反馈和交互系统及方法
CN115376278A (zh) * 2022-08-09 2022-11-22 广州市番禺区中心医院 一种可佩戴式急诊病人异常行为监控与识别系统
CN116206779A (zh) * 2023-04-28 2023-06-02 山东铭泰医疗设备集团有限公司 一种基于视觉感知的智慧病房交互系统

Similar Documents

Publication Publication Date Title
CN107133612A (zh) 基于图像处理与语音识别技术的智能病房及其运行方法
CN107862249B (zh) 一种分叉掌纹识别方法及装置
Yang et al. Discriminative training approaches to fabric defect classification based on wavelet transform
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
CN109635727A (zh) 一种人脸表情识别方法及装置
CN104866829A (zh) 一种基于特征学习的跨年龄人脸验证方法
CN105160318A (zh) 基于面部表情的测谎方法及系统
CN104346503A (zh) 一种基于人脸图像的情感健康监控方法及手机
CN103116763A (zh) 一种基于hsv 颜色空间统计特征的活体人脸检测方法
CN106446772A (zh) 一种人脸识别系统中的防欺骗方法
CN108596041A (zh) 一种基于视频的人脸活体检测方法
CN111985348B (zh) 人脸识别方法和系统
CN109299690B (zh) 一种可提高视频实时人脸识别精度的方法
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
CN108268850A (zh) 一种基于图像的大数据处理方法
CN110188715A (zh) 一种多帧检测投票的视频人脸活体检测方法
CN104751186A (zh) 一种基于bp网络和小波变换的虹膜图像质量分类方法
CN106529377A (zh) 一种基于图像的年龄估计方法、装置及系统
CN109544523A (zh) 基于多属性人脸比对的人脸图像质量评价方法及装置
Abdulrahman et al. Face recognition using enhancement discrete wavelet transform based on MATLAB
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
CN113989927A (zh) 一种基于骨骼数据的视频群体暴力行为识别方法及系统
CN110163489B (zh) 一种戒毒运动锻炼成效评价方法
CN112883355B (zh) 一种基于rfid和卷积神经网络的非接触式用户身份认证方法
Zuobin et al. Effective feature fusion for pattern classification based on intra-class and extra-class discriminative correlation analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170905