发明内容
为了解决现有技术中由于噪声识别不精确导致不能获得精准的白点,根据该白点对图像进行增强的效果不佳的技术问题,本发明的目的在于提供基于物联网和云计算的智慧病房监控系统,所采用的技术方案具体如下:
本发明提出了基于物联网和云计算的智慧病房监控系统,所述系统包括:监控数据获取模块、云端服务器和可视化显示模块;
所述监控数据获取模块,用于通过基于物联网的病房监控摄像头采集病房的实时视频并实时上传至云端服务器;
所述云端服务器包括图像分割模块、噪声识别模块、白点筛选模块和图像增强模块;
所述图像分割模块,用于将所述实时视频的每个视频帧分割为至少两个小块图像;
所述噪声识别模块,用于在每个小块图像的每个分量通道下,分别以每个像素点作为种子点进行区域生长,获得每个像素点对应的生长区域,根据每个像素点的所述生长区域与其他像素点的所述生长区域的重合情况,获得每个像素点对应的综合一致度,根据所述综合一致度获得对应分量通道下的非噪声点和噪声点;
所述白点筛选模块,用于在每个分量通道下,对所述小块图像进行去噪,获得每个所述非噪声点去噪前后的噪声差异,根据所述噪声差异、所述综合一致度和通道值,获得每个非噪声点的白点显著值,根据所述白点显著值筛选出对应分量通道的白点通道值;
图像增强模块,用于根据每个所述分量通道下的所述白点通道值对所述小块图像中的非噪声点进行最大白点化增强,结合去噪后所述噪声点的通道值,获得小块增强图像;
所述可视化显示模块,用于将所述小块增强图像合并,获得对应的视频增强帧,获得实时增强视频,将所述实时增强视频进行可视化显示。
进一步地,所述将所述实时视频的每个视频帧分割为至少两个小块图像,包括:
对所述视频帧进行超像素分割,将所述视频帧分割为至少两个超像素块,所述超像素块为所述小块图像。
进一步地,所述获得每个像素点对应的生长区域,包括:
以每个像素点为中心建立预设邻域范围的窗口,在每个所述窗口中,中心点的灰度值分别与对应的预设邻域范围内每个其他像素点的灰度值计算差异,取差异的中位数作为对应的相似半径;所述小块图像中所有像素点的所述相似半径的平均值作为相似半径阈值,以所述相似半径阈值作为区域生长过程中的生长条件参数进行区域生长,获得所述生长区域。
进一步地,所述获得每个像素点对应的综合一致度,包括:
将每个像素点的所述生长区域分别与其他像素点的所述生长区域计算重合情况,当所述重合情况为完全重合时,将两个像素点对应的一致影响度设置为预设标签值;当所述重合情况为不完全重合时,不设置两个像素点对应的一致影响度;将每个像素点对应的所有标签值累加,获得综合一致度。
进一步地,所述获得对应分量通道下的非噪声点和噪声点,包括:
所有所述综合一致度经过层次聚类后分为两个类别,以两个类别中综合一致度的平均值最大的一个类别中的像素点作为所述非噪声点,另一个类别对应的像素点为所述噪声点。
进一步地,所述获得每个所述非噪声点去噪前后的噪声差异,包括:
所述去噪的方法为高斯去噪,所述高斯去噪的去噪窗口大小为预设尺寸,所述小块图像中每个非噪声点的去噪后的通道值与对应分量通道的去噪前的通道值的差异为对应分量通道下的噪声差异。
进一步地,所述获得每个非噪声点的白点显著值,包括:
将所述综合一致度归一化,获得归一化值,将所述归一化值与预设常数系数的和作为矫正归一化值,将所述非噪声点的噪声差异与对应的所述矫正归一化值的比值作为像素点突出度,将所述像素点突出度与对应所述非噪声点的通道值的乘积作为对应的白点显著值。
进一步地,所述根据所述白点显著值筛选出对应分量通道的白点通道值,包括:
在每个分量通道中,对所有白点显著值进行从大到小排序,获得对应的序列,选取所述序列的前预设百分数个白点显著值对应像素点的平均通道值,作为对应分量通道的所述白点通道值。
本发明具有如下有益效果:
本发明对每个小块图像分别进行分析避免了图像处理过程中不同物体对应区域之间的相互影响,在每个小块图像的每个分量通道下,为了根据非噪声点获得精准的白点通道值,因此需要精准识别噪声点,通过对每个像素点分别进行分析,能够获得每个像素点的特征信息,提高了识别噪声点精准度,每个像素点分别独立进行区域生长,因此能够获得每个像素点与其他像素点的生长区域的重合情况,像素点对应的重合次数越多,该像素点为非噪声点的可能性越大,因此根据重合情况获得的综合一致度能够表示像素点为非噪声点的可能性,根据综合一致度能够识别噪声点,噪声识别相较于现有技术中的噪声识别更精确。
因为非噪声点都是偏向正常分布的像素点,考虑到白点通道值是非噪声点对应分量通道的通道值中较大且突出的通道值,所以需要进一步在非噪声点中找到突出的像素点,因此根据引入的噪声差异和综合一致度获得像素点的突出情况,根据突出情况和通道值获得对应分量通道的白点通道值,最终获得的白点通道值相较于非噪声点对应分量通道的通道值不仅大而且突出,根据每个分量通道下的白点通道值对非噪声点进行调整,图像增强效果更好,实时增强视频更清晰,方便监控。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于物联网和云计算的智慧病房监控系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于物联网和云计算的智慧病房监控系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于物联网和云计算的智慧病房监控系统框图,该系统包括:监控数据获取模块101、云端服务器102和可视化显示模块103,其中云端服务器102包括图像分割模块201、噪声识别模块202、白点筛选模块203、图像增强模块204。
监控数据获取模块101,用于通过基于物联网的病房监控摄像头采集病房的实时视频并实时上传至云端服务器。
在本发明一个实施例中,病房监控系统中的基于物联网的病房监控摄像头通过采集病房的实时视频,实时监测病人的生命体征和行为活动,当病房内存在异常情况,医生和护士等相关人员根据实时视频能够在第一时间发现问题,提高了处理问题的效率,因此需要利用病房监控摄像头采集病房的实时视频;为了保证病房更适合病人进行养病,在病人睡眠期间,病房内的照明设施保持关闭,病房内光线不足,此时病房监控摄像头采集病房的实时视频中的视频帧的质量出现下降,因此需要对视频帧进行增强,需要通过基于物联网的病房监控摄像头采集病房的实时视频并实时上传至云端服务器,云端服务器对实时视频进行快速处理获得实时增强视频,医生和护士能够通过观看实时增强视频实时监测病人的生命体征和行为活动。
在本发明一个实施例中,因为视频帧是RGB图像,所以能够在图像的每个分量通道中进行分析,RGB图像被分为R分量通道图像、G分量通道图像、B分量通道图像。考虑到为了获得精确的对应分量通道的白点通道值,因此在每个分量通道中进行分析获得对应分量通道的白点通道值,根据每个分量通道下的白点通道值对非噪声点进行调整,图像增强效果更好。
图像分割模块201,用于将实时视频的每个视频帧分割为至少两个小块图像。
在本发明一个实施例中,在每个视频帧中,病房内陈设和区域划分较为统一,包括白色的床铺和统一的蓝白色条纹病号服等,不同的科室的墙壁和地板等的颜色略有差异但是较为统一,因此病房内物体的颜色较少、色块较大。但是同一颜色对应的不同物体在视频帧中显示的纹理等特征不同,为了获得清晰的视频增强帧,对每个视频帧进行图像分割获得至少两个小块图像,每个小块图像对应一个区域,该区域纹理特征相似,后续对每个小块图像单独进行图像增强,解决了对视频帧整体进行图像增强时不同物体对应区域之间相互影响的问题,图像增强效果更优秀。
优选地,本发明一个实施例中,获取小块图像的具体方法包括:根据视频帧中显示的纹理等特征进行超像素分割,超像素分割适合本领域且能够达到的分割效果较好,因此图像分割方法采用超像素分割,每个视频帧被分割为K个超像素块,超像素块为小块图像。在本发明一个实施例中,K取为经验值20。超像素分割为本领域技术人员所熟知的现有技术,在此不做进一步限定和赘述。
噪声识别模块202,用于在每个小块图像的每个分量通道下,分别以每个像素点作为种子点进行区域生长,获得每个像素点对应的生长区域,根据每个像素点的生长区域与其他像素点的生长区域的重合情况,获得每个像素点对应的综合一致度,根据综合一致度获得对应分量通道下的非噪声点和噪声点。
小块图像中存在噪声点,若直接使用最大白点化对小块图像进行处理,在筛选白点的过程中会将突出的噪声点选为白点,导致根据该白点对小块图像中的像素点进行最大白点化调整的效果不佳。若对小块图像进行去噪,去噪后的小块图像中的噪声点和较为突出的非噪声点的通道值会改变,则会导致白点数量过少或者不存在白点导致根据去噪后的小块图像计算获得的白点通道值不精准,根据此白点通道值对小块图像中的像素点进行最大白点化调整的效果不佳。
现有技术中可通过区域生长算法识别图像中的噪声点和非噪声点,但是并非每个像素点作为种子点分别进行区域生长,未对每个像素点分别进行分析,不能精确识别出噪声点,识别的非噪声点中含有残留噪声点,根据非噪声点获得的白点不合适,根据白点对非噪声点进行最大白点化调整的效果不佳。
在本发明一个实施例中,为了精确获得白点通道值,需要精确识别出对应分量通道下的噪声点。为了获得每个分量通道下的非噪声点和噪声点,因此在每个小块图像的每个分量通道下进行分析。在每个小块图像的每个分量通道下,为了获得每个像素点为非噪声点的可能性,因此分别对每个像素点进行分析,能够获得每个像素点的特征信息,以每个像素点作为种子点进行区域生长,获得每个像素点对应的生长区域,因为噪声点的生长区域比非噪声点的生长区域小,像素点的生长区域越大,则该像素点越正常,所以生长区域包含的像素点数量越多,对应的像素点为非噪声点的可能性越大,因此需要获得每个像素点对应的生长区域,并根据生长区域识别噪声点。
优选地,本发明一个实施例中,获得每个像素点对应的生长区域的具体方法包括:
在每个小块图像的每个分量通道下,以每个像素点为中心建立预设邻域范围的窗口,在每
个窗口中,中心点为窗口中心的像素点,中心点的灰度值分别与对应的预设邻域范围内每
个其他像素点的灰度值计算差异,其中差异为差值的绝对值,取差异的中位数作为对应像
素点的相似半径;在每个小块图像的每个分量通道下,小块图像中所有像素点的相似半径
的平均值作为该小块图像的对应分量通道的相似半径阈值
,其中,
表示分量通道的索
引,即每个分量通道均会获得对应的相似半径阈值,本发明实施例中监控视频的视频帧为
RGB图像,因此可获得
分量通道下的
、
分量通道下的
,
分量通道下的
,根据小块
图像中所有像素点的通道值能够自适应获得小块图像的对应分量通道的相似半径阈值
,
以相似半径阈值
作为区域生长过程中的生长条件参数进行区域生长。本发明一个实施例
中,预设邻域范围的窗口的尺寸取为a乘a,其中a取经验值9。需要说明的是,区域生长算法
为本领域技术人员所熟知的现有技术,在此不做进一步限定和赘述,仅简述本发明一个实
施例中区域生长过程的简要步骤,在每个分量通道下,种子点的灰度值分别与其的八邻域
像素点对应分量通道的灰度值计算差异,差异小于或等于对应分量通道的相似半径阈值
的邻域像素点为对应生长区域中的生长点,继续对生长点进行生长,直至无法生长,获得每
个像素点对应分量通道下的生长区域。
在本发明一个实施例中,在每个小块图像的每个分量通道下,为了获得每个像素点为非噪声点的可能性,因此计算每个像素点的生长区域与其他像素点的生长区域的重合情况,任意一个像素点对应的完全重合次数和该像素点的生长区域所包含的像素点个数成正比,完全重合次数越多,对应的像素点的生长区域所包含的像素点个数越多,对应的像素点为非噪声点的可能性越大,根据重合情况能够获得每个像素点的综合一致度,综合一致度表示了对应的像素点在小块图像中的正常程度,即综合一致度也表示了对应的像素点为对应分量通道下的非噪声点的可能性,为了精准识别噪声点,因此引入综合一致度并根据其识别噪声点。
优选地,本发明一个实施例中,获得每个像素点对应的综合一致度的具体方法包
括:在每个小块图像的每个分量通道下,将每个像素点的生长区域分别与其他像素点的生
长区域计算重合情况,重合情况分为完全重合和不完全重合两种情况,其中不完全重合只
存在完全不重合这种情况,当重合情况为完全重合时,考虑到为了表示两个像素点完全重
合这种情况,因此引入一致影响度,将两个像素点对应的一致影响度设置为预设标签值,当
重合情况不完全重合时,不设置两个像素点对应的一致影响度,将每个像素点对应的所有
标签值累加,每个像素点对应的标签值累加和作为对应像素点对应分量通道的综合一致
度。在本发明一个实施例中,为了方便表示每个像素点的综合一致度,因此预设标签值取为
,其中
为自然常数。以一个
分量通道为例,获得每个像素点在
分量通道下的综合一致
度的公式为:
其中,像素点
为任意一个像素点,
为在
分量通道下与像素点
的一致影响度
为
的像素点的总数,
为像素点
在
分量通道下对应的综合一致度,
为预设标签值,
为自然常数。
同理,获得像素点
在
分量通道下的综合一致度
,获得像素点
在
分量通道下
的综合一致度
。
在每个小块图像的每个分量通道下,综合一致度表示了对应的像素点为非噪声点
的可能性,与像素点
的一致影响度为
的像素点的总数越多,即与像素点
的生长区域完
全重合的生长区域对应其他的像素点的个数越多,像素点
的生长区域内的像素点总数越
多,像素点
对应分量通道的综合一致度越大,像素点
为非噪声点的可能性越大。
在本发明一个实施例中,在每个小块图像的每个分量通道下,为了获得每个非噪声点的通道值在对应分量通道下白点通道值的显著程度,因此需要精确识别出非噪声点和噪声点,因为综合一致度表示了对应的像素点为非噪声点的可能性,所以根据综合一致度能够获得对应分量通道下的非噪声点和噪声点。
优选地,本发明一个实施例中,获得对应分量通道下的非噪声点和噪声点的具体方法包括:在每个小块图像的每个分量通道下,因为噪声点的生长区域比非噪声点的生长区域小,像素点的生长区域越大,则该像素点越正常,噪声点的综合一致度明显比非噪声点的综合一致度小,所以所有综合一致度经过层次聚类后分为两个类别,分别计算两个类别中综合一致度的平均值,以最大的平均值对应的一个类别中的像素点作为非噪声点,另一个类别对应的像素点为噪声点。层次聚类为本领域技术人员所熟知的现有技术,在此不做进一步限定和赘述。
白点筛选模块203,用于在每个分量通道下,对小块图像进行去噪,获得每个非噪声点去噪前后的噪声差异,根据噪声差异、综合一致度和通道值,获得每个非噪声点的白点显著值,根据白点显著值筛选出对应分量通道的白点通道值。
在本发明一个实施例中,在每个小块图像的每个分量通道下,因为白点通道值需要根据对应分量通道的噪声差异获得,所以在每个分量通道下对小块图像进行去噪,在非噪声点中突出且大的通道值在对应分量通道下白点通道值的显著程度大,为了获取每个非噪声点的突出程度,噪声差异为非噪声点的通道值在去噪前后的差异,噪声差异表示非噪声点相对于对应去噪窗口中其他像素点的突出程度,因此需要计算非噪声点的噪声差异。
优选地,本发明一个实施例中,获得每个非噪声点去噪前后的噪声差异的具体方
法包括:在每个小块图像的每个分量通道下,去噪的方法为高斯去噪,高斯去噪的去噪窗口
大小为预设尺寸,小块图像中每个非噪声点的去噪后的通道值与对应分量通道的去噪前的
通道值的差异为对应分量通道下的噪声差异,其中差异为差值的绝对值。在本发明一个实
施例中,高斯去噪的去噪窗口大小的预设尺寸为5乘5。高斯去噪算法为本领域技术人员所
熟知的现有技术,在此不做进一步限定和赘述。以一个
分量通道为例,获得每个非噪声点
在
分量通道下的噪声差异的公式为:
其中,像素点
为非噪声点中任意的一个像素点,
为像素点
在
分量通道对应的噪声差异,
为像素点
在
通道对应的去噪前的通道
值,
为像素点
在
通道对应的去噪后的通道值。
同理,获得像素点
在
分量通道下的噪声差异
,获得像素点
在
分量通道
下的噪声差异
。
在每个分量通道下,噪声差异表示非噪声点相对于对应去噪窗口中其他像素点的
突出程度,像素点
去噪前后的通道值的差异越大,对应分量通道的噪声差异越大,像素点
相对于对应去噪窗口中其他像素点的突出程度越大。
在本发明一个实施例中,在每个小块图像的每个分量通道下,为了获得白点通道值,因此需要计算每个非噪声点的白点显著值,考虑到白点通道值是非噪声点对应分量通道突出的通道值,因此需要进一步在非噪声点中找到突出的非噪声点,因此根据引入的噪声差异和综合一致度得到像素点的突出程度,根据像素点的突出程度和通道值获得每个非噪声点的白点显著值,白点显著值表示了非噪声点的通道值在对应分量通道下白点通道值的显著程度,当非噪声点的通道值相较于其他非噪声的对应分量通道的通道值越大且越突出时,该非噪声点的白点显著值越大。
优选地,本发明一个实施例中,获得每个非噪声点的白点显著值的具体方法包括:
在每个小块图像的每个分量通道下,将每个非噪声点的综合一致度归一化,获得归一化值,
将归一化值与预设常数系数的和作为矫正归一化值,常数系数的作用为防止分母为0使式
子无意义,将非噪声点的噪声差异与对应的矫正归一化值的比值作为像素点突出度,像素
点突出度表示对应的非噪声点相对于其他非噪声点的通道值的突出程度,将像素点突出度
与对应非噪声点的通道值的乘积作为对应分量通道下该非噪声点的白点显著值。在本发明
一个实施例中,归一化方法采用线性归一化。线性归一化为本领域技术人员所熟知的现有
技术,在此不做进一步限定和赘述。在本发明一个实施例中,常数系数取经验值1。以一个
分量通道为例,获得每个非噪声点
分量通道下的白点显著值的公式包括:
其中,像素点
为非噪声点中任意的一个像素点,
为像素点
在
分量通道下
对应的白点显著值,
为像素点
在
分量通道下对应的噪声差异,
为像素点
在
通
道下对应的矫正归一化值,
为像素点
在
通道下对应的去噪前的通道值,
为常数系
数。在本发明一个实施例中,
取经验值1。
同理,获得像素点
在
分量通道下的白点显著值
,获得像素点
在
分量通
道下的白点显著值
。
在每个小块图像的每个分量通道下,当像素点
的噪声差异越大和对应分量通道
的综合一致度越小时,像素点
的像素点突出度越大,像素点突出度表示对应的非噪声点
相对于其他非噪声点的通道值的突出程度,当像素点
的像素点突出度越大和对应分量通
道的通道值越大时,像素点
对应分量通道的白点显著值越大,白点显著值表示了非噪声
点的通道值在对应分量通道下白点通道值的显著程度。根据获取白点显著值的公式能够获
得每个非噪声点在每个分量通道下的白点显著值,进而能够获得对应分量通道的白点通道
值,其相较于非噪声点对应分量通道的通道值既突出又大。
在本发明一个实施例中,在每个小块图像的每个分量通道下,为了对非噪声点进行调整,因此需要获得对应分量通道的白点通道值,已经获得非噪声点在每个分量通道下的白点显著值,对应分量通道的白点通道值在对应分量通道的通道值中大且突出,白点显著值表示了非噪声点的通道值在对应分量通道下白点通道值的显著程度,因此根据白点显著值能够筛选出对应分量通道的白点通道值。
优选地,本发明一个实施例中,获得对应分量通道的白点通道值的具体方法包括:在每个小块图像的每个分量通道下,对所有白点显著值进行从大到小排序,获得对应的序列,选取序列的前预设百分数个白点显著值对应像素点的通道值的平均值,该平均值作为白点通道值。通道值的平均值作为对应分量通道的白点通道值,因此获得的白点通道值更稳定,根据白点通道值对非噪声点进行的最大白点化增强的效果更好、更稳定。在本发明一个实施例中,序列的预设百分数取为0.1%。因为选取对应分量通道的前0.1%个白点显著值,所以所获得的白点显著值对应的通道值大且突出,前0.1%个白点显著值对应像素点的平均通道值在对应分量通道的通道值中大且突出。
图像增强模块204,用于根据每个分量通道下的白点通道值对所述小块图像中的非噪声点进行最大白点化增强,结合去噪后所述噪声点的通道值,获得小块增强图像。
在本发明一个实施例中,在每个小块图像的每个分量通道下,为了获得清晰的实时增强视频,因此需要对小块图像进行图像增强处理,获得小块增强图像,因为非噪声点对应的去噪前的小块图像不清晰,所以根据对应分量通道下的白点通道值对小块图像中的非噪声点的通道值进行最大白点化增强,因为噪声点是小块图像中的无用信息,因此根据小块图像中的噪声点去噪后的通道值替换对应分量通道的去噪前的通道值。至此获得了小块增强图像。最大白点化为本领域技术人员所熟知的现有技术,在此不做进一步限定和赘述。
可视化显示模块103,用于将小块增强图像合并,获得对应的视频增强帧,获得实时增强视频,将所述实时增强视频进行可视化显示。
在本发明一个实施例中,因为每个小块增强图像是视频增强帧的一部分,所以需要将每个小块增强图像合并到对应视频增强帧对应位置处,进而能够获得所有视频增强帧,每个视频增强帧合并到实时增强视频中的对应的位置处获得实时增强视频。为了能够让医生和护士等人员实时获取实时增强视频,需要将实时增强视频进行可视化显示,医生和护士等人员能够根据观看实时增强视频掌握病房实时的情况,在病房内发生异常事件时,及时做出相应的处理。
综上所述,本发明实施例将视频帧分割为至少两个小块图像,在小块图像中的每个分量通道下,以每个像素点作为种子点进行区域生长,根据生长区域的重合情况获得每个像素点的综合一致度,根据综合一致度识别出噪声点,根据噪声差异、综合一致度和通道值获得每个非噪声点的白点显著值,根据白点显著值筛选出对应分量通道的白点通道值,根据白点通道值对非噪声点的通道值进行最大白点化增强,获得小块增强图像,进而获得实时增强视频并将其可视化展示。本发明通过精准识别非噪声点获得白点通道值,根据白点通道值对图像增强的效果更好,进而获得清晰的实时增强视频。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。