CN104856680B - 一种新生儿黄疸的自动检测方法及系统 - Google Patents

一种新生儿黄疸的自动检测方法及系统 Download PDF

Info

Publication number
CN104856680B
CN104856680B CN201510236782.3A CN201510236782A CN104856680B CN 104856680 B CN104856680 B CN 104856680B CN 201510236782 A CN201510236782 A CN 201510236782A CN 104856680 B CN104856680 B CN 104856680B
Authority
CN
China
Prior art keywords
color
avg
colorimetric card
image
grey
Prior art date
Application number
CN201510236782.3A
Other languages
English (en)
Other versions
CN104856680A (zh
Inventor
申田
聂涛
Original Assignee
深圳贝申医疗技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳贝申医疗技术有限公司 filed Critical 深圳贝申医疗技术有限公司
Priority to CN201510236782.3A priority Critical patent/CN104856680B/zh
Publication of CN104856680A publication Critical patent/CN104856680A/zh
Application granted granted Critical
Publication of CN104856680B publication Critical patent/CN104856680B/zh

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes

Abstract

本发明公开了一种新生儿黄疸的自动检测方法及系统,步骤1,确定比色卡在图像中的方向;确定六个彩色色块是否均准确出现在比色卡的相应位置;检测图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块;步骤2,判断图像是否满足检测要求;步骤3:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像:步骤4:对多个颜色校正后的图像进行离线监督训练,通过分析新生儿胸部图像预测血清总胆红素测量。通过大量实验证明,该方法流程清晰,运算效率高,计算结果准确。本发明能够提供一种简单无创的方式进行新生儿黄疸检测,极大地方便了医生和新生儿家长。

Description

-种新生儿黄痘的自动检测方法及系统
技术领域
[0001] 本发明属于数字图像处理技术领域,具体设及一种黄痘自动检测方法及系统。
[0002] 背景介绍
[0003] 黄痘是由于人体胆红素代谢异常引起的血清胆红素浓度升高。血清胆红素是红细 胞代谢的主要产物,随着血液流过在肝脏被摄取。在出生时,新生儿的肝脏功能还不成熟, 不能完全摄取产生的胆红素,导致血液中胆红素浓度升高,表现为眼睛或皮肤染黄。
[0004] 黄痘是新生儿期最常见的生理症状,大约84%的新生儿会出现不同程度的黄痘。 大部分的黄痘可自然消退,并不会对新生儿的健康产生影响。然而,少数的新生儿会出现严 重的黄痘,可能会导致核黄痘,如果未能及时发现并治疗,会导致听力障碍甚至不可逆的脑 损伤。
[0005] 目前,医院通常采用经皮测痘仪和抽血化验肝功能检查血清总胆红素值,由此来 判断黄痘。其中,抽血化验肝功能是黄痘检查的金标准,但抽血检查是有创检查,会对新生 儿造成疼痛。经皮测痘仪虽然是无创检查方法,且检查速度快。通常采用经皮测痘仪进行筛 查,需要进一步检查时,再抽血检查肝功能。
[0006] 通常情况下,胆红素的峰值出现在新生儿家长出院W后。在家里,上述两种方法无 法使用(经皮测痘仪虽然使用方便,但是售价在一万元左右)。有经验的医护人员可通过肉 眼观察皮肤颜色来判断黄痘,但是新生儿家长由于缺乏经验会导致病情的贻误。针对此问 题,本发明提供了一种能够提供给新生儿家长的在家使用的新生儿黄痘自动检测技术,能 够及时、快速、准确地检测新生儿黄痘。
发明内容
[0007] 针对上述现有的黄痘检测技术不够方便、准确的缺陷,本发明的目的在于,提供一 种新生儿黄痘自动检测方法。
[000引为了实现上述任务,本发明采用如下技术方案予W解决:
[0009] -种新生儿黄痘的自动检测方法及系统,包括如下步骤:
[0010] 步骤1,检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块的分 布情况,W此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定六个彩色 色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测图像中比 色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是则执 行步骤2,否则认为未检测到比色卡;
[0011] 步骤2,使用图像赌对图像I进行质量监控,判断图像是否满足检测要求,满足则执 行步骤3,否则认为图像不满足黄痘检测要求;
[0012] 步骤3:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像:
[0013] 步骤4:使用机器学习的方法对多个颜色校正后的图像进行离线监督训练,并利用 离线监督训练的结果,通过分析新生儿胸部图像,预测其血清总胆红素值。
[0014] 进一步的,所述步骤1的具体步骤如下:
[0015] 步骤11,在图像I左上侧区域随机散布η个点,η取3~8,作为比色卡判断的起始点; 将第i个点定义为Pl(ie[l,n]),判断左上角色块是否是黑灰嵌套色块化lack_grey,如果是黑 灰嵌套色块,执行步骤12,否则继续判断左上角色块是否是白灰嵌套色块Bwhite_grey,如果是 白灰嵌套色块,执行步骤12,否则认为根据点Pi未检测到比色卡,则将比色卡判断的起始点 Pi更新为下一个点后执行步骤11;
[0016] 步骤12,根据比色卡左上角色块区域BluW及宽WLU和高ku,利用公式(13)得到比色 卡右上角灰色区域的中屯、点阳U_grey ( XRU_grey,yRU_grey ),执行步骤1 3 ;
[0017]
Figure CN104856680BD00101
[001引(XLU_lef t,yLU_tnp )为位于比色卡左上角色块的左上角顶点的坐标;(XLU_right, yLLLbDtt™)为比色卡左上角色块的右下角顶点的坐标;
[0019] 步骤13,将PRU_grey设为色块判断起始点,用来判断右上角色块是否是黑灰嵌套色 块或白灰嵌套色块,如果是,则进入步骤14,否则认为根据点Pi未检测到比色卡,结束本次 判断,将点Pi更新为下一个点后执行步骤11 ;
[0020] 步骤14,根据比色卡左上角色块和右上角色块的类型,得到比色卡在图像I中的对 应方向;
[0021] 步骤15,根据比色卡的方向、比色卡左上角色块区域和比色卡右上角色块区域的 位置W及它们的宽、高,得到图像I中6个彩色色块区域的中屯、点;
[0022] 步骤16,对于图像I中每个彩色色块区域,将彩色色块区域的中屯、点作为色块判断 起始点,检测图像I中每个彩色色块是否准确出现在比色卡的彩色色块的对应位置;若6个 彩色色块均准确出现在比色卡的相应位置,则执行步骤17,否则将种子点Pi更新为下一个 点后执行步骤11;
[0023] 步骤17,根据步骤14得到的比色卡在图像I中的方向,得到对应方向下左下角色块 和右下角色块的类型;判断图像中比色卡左下角色块和右下角色块的类型是否均与比色卡 的相应位置的色块类型一致,是则认为根据点Pi成功检测到比色卡,否则,将Pi更新为下一 点,执行步骤11;
[0024] 进一步的,所述步骤11中,所述判断左上角色块是否是黑灰嵌套色块化lack_grey,具 体包括如下步骤:
[002引a)将比色卡判断的起始点Pi设为色块判断起始点,计算点Pi周围5X5区域的R,G,B 均值ravg'gavg'bavg;
[0026]
Figure CN104856680BD00102
[0027]其中,lR(x,y),lG(x,y),lB(x,y)分别表示点(x,y)处R,G,B的颜色值;
[002引 b )将ravg,gavg,bavg转换到YUV颜色空间中,得到yavg,Uavg,Vavg ;
[0029]
Figure CN104856680BD00111
[0030] c)当(36《yavg《164)曰11(1(-48《1^8《48)曰]1(1(-48《¥3乂8《48)满足时,表不口1位于 灰色区域内,执行步骤d;不满足则认为根据Pi未检测到黑灰嵌套区域,并结束本次判断;将 Pi更新为下一个点然后执行步骤11;
[0031] d)利用公式3,计算Pi在YUV颜色空间中的偏色程度(yshift,Ushift,Vshift)。所述偏色 程度是指在YUV空间中,P i的颜色值和灰色值之间的偏差;灰色定义为:(y grey,Ugrey,Vgrey ), ,ygr(3y= 127 ,Ugre3y = 0 , Vgrey = 0 ;
[0032]
Figure CN104856680BD00112
0)
[0033] e)Wpi为生长起始种子点,分别向上、下、左、右4个方向进行线性生长,生长规则 是:
[0034] ( I rpos-ravg | ^30)and( | gp〇s-gavg | ^30)and( | bp〇s-bavg | ^30) (11)
[00对其中,町。3,邑。。3,6。。康示生长到点口。。3处的1?也8颜色值;当公式(11)中所述条件满 足时,继续生长;否则停止生长,认为Ppds点为当前方向上的边界点;最终得到种子点生长的 4个方向的边界,从而得到灰色区域Bgrey(pieft_叩,Pright_bottom),W及宽Wgr巧和高hgrey,其中, Pleft_up= (Xgrey_left, Ygrey_up),Pright_bottom= (X肝ey_right, y肝eyjjottom)为灰色区域左上顶点和右 下顶点的坐标。
[0036] f)根据公式(4)、(5)定义灰色区域右侧的一点]3却扣^啡扣,7,18扣)和下方的一点 PdDwn(XdDwn,ydDwn),用于判断灰色区域外围是否为黑色区域。
Figure CN104856680BD00113
[0039] g )分别计算点piright和pdown周围 5巧区域的R , G , B均值;Tright_avg,gright_avg,bright_avg和 rdown_avg , gdDwn_avg , bdDwn_avg ,根据公式(2)将其分别转换到YUV颜色全间,得到yright_avg , Uright_avg , Vright_avg和ydown_avg , Udown_avg , Vdown_avg ;
[0040] h)当满足公式(6)所示的条件时,认为点Pright和Pdown均为黑色,执行步骤i;否则结 束本次判断,认为根据Pi未检测到黑灰嵌套色块,Pi更新为下一个点,执行步骤11;
[0041 ]
Figure CN104856680BD00121
(6)
[0042] i)W点化ight为生长起始种子点,根据公式(11)所示的生长规则,分别向上、下2个 方向进行线性生长;WpdDwn为起始点,根据公式(11)所示的生长规则,分别向左、右2个方向 进行线性生长;结束生长后,得到四个方向的边界,从而得到黑色区域Bblack(Pleft_up, Pright-bottom) , 及宽Wblack和局hblack ,其中,Plef t_叩二(Xblack_lef t , yblack-叩),Pright-bottom 二 (Xblack_right , y black_bottom );在比色卡上,灰色区域被包含在黑色区域内,因此Plef t_up和 化ighOott™为左上角黑灰色块左上角和右下角顶点坐标。
[0043] 进一步的,所述步骤11中,所述判断左上角色块是否是白灰嵌套色块Bwhite_grey,其 具体步骤与黑灰嵌套色块的判断步骤类似,区别仅在于,在步骤h)中,当满足公式(8)所示 的条件时,认为点化ight和Pdown均为白色;
[0044]
Figure CN104856680BD00122
(8).
[0045] 进一步的,所述步骤16中所述检测彩色色块是否准确出现在比色卡的相应位置, 具体包括如下步骤:
[0046] a)对于图像I中每个彩色色块区域,将彩色色块区域的中屯、点作为色块判断起始 点Pseed_C,计算种子点Pseed_C周围 5 X 5区域的R , G , B均值ravg_C , gavg_C , bavg_C ;
[0047] b)根据公式(9),把ravg_C,gavg_C,bavg_C转换到HSV颜色空间中,得到havg_C,Savg_C, Vavg_c。其中,max和min分别为ravg_c,gavg_c,bavg_冲的最大值和最小值:
[004引
Figure CN104856680BD00131
[0049] c)将根据公式(3)计算得到的(yshift,Ushift, Vshift)转换至HSV颜色空间化shift, Sshift, Vshift),真^中:
[(K)加 ]
Figure CN104856680BD00132
[0051] 在HSV颜色空间中,判断havg_c前是否满足对应色块的颜色条件。如果满足,则执行 步骤d);否则,认为未能定位该彩色色块,同时认为根据点Pi未检测到比色卡,结束本次判 断,将点Pi更新为下一个点后执行步骤11;
[0052] d似点Pseed_C为生长起始点,根据公式(11)的生长规则,分别向上、下、左、右4个方 向进行线性生长;找出彩色色块的4个方向的边界,确定彩色色块区域BcdIdt,W及宽WcDlcr和 局hcolor。
[0053] 进一步的,所述步骤17的具体步骤如下:
[0054] a)根据比色卡左上角色块区域耻u,W及其宽WLU和高hLu,利用公式(19)得到比色卡 左下角色块的灰色区域的中屯、点PLD_grey(XLD_grey,yLD_grey),执行步骤b);
[0化5]
Figure CN104856680BD00133
[0化6](孔U_lef t,yLU_top )为位于比色卡左上角色块的左上角顶点的坐标;(XLU_right, yLU_bottom)为比
[0化7]色卡左上角色块的右下角顶点的坐标;
[0化引b)将PLD_grey设为色块判断起始点,作为用来判断左下角色块是否是黑灰嵌套色块 或白灰嵌套色块,同时,根据比色卡在图像I中的方向,判断左下角色块是否是表1中对应方 向下比色卡左下角对应的色块类型,是则执行步骤C);否则认为根据Pi未检测到比色卡,结 束本次判断,将点Pi更新为下一个点后执行步骤11;
[0059] C)根据比色卡右上角色块区域Bru的宽WRU和高hRu,利用公式(21)得到比色卡右下 角灰色区域的中屯、点PRD_grey(XRD_grey,yRD_grey),执行步骤d);
[0060]
Figure CN104856680BD00141
[0061] (XRU_left,yRU_tDp)为位于比色卡右上角黑灰嵌套色块的左上角的坐标;
[0062] (邸11_"8枯,7邮_6。《»)为比色卡右上角黑灰嵌套色块的右下角的坐标;
[0063] d)将PRD_grey设为色块判断起始点,用来判断右下角色块是否是黑灰嵌套色块或白 灰嵌套色块,根据比色卡在图像I中的方向,判断右下角色块是否是表1中对应方向下比色 卡右下角的色块类型,是则进入步骤2;否则认为未检测到比色卡,结束本次判断,将点Pi更 新为下一个点后执行步骤11;
[0064] W上步骤完成了比色卡左下角和右下角的色块的检测。同时表明成功检测到比色 卡,进入步骤2。
[0065] 进一步的,所述步骤2的具体步骤如下:
[0066] 步骤21,根据比色卡上两个黑灰嵌套色块的位置,得到图像质量控制区域Bfun。 (Pleft-叩 ,Pright_bottom) , 及其宽Wfunc和局hfunc。
[0067] 步骤22,计算平均梯度均值容:
[006引
Figure CN104856680BD00142
[0069] 其中,口(1,^前。^)和巧(1^)为区域8扣。。内。,^点的颜色值山_:。^)为区 域Bfunc内(i,j )点的灰度值;Wfunc、hfunc分别为区域Bfunc的宽和高;S为状态位,其值为1表明 当前点是否在统计范围内,为0表明当前点不在统计范围内;k为预设阔值,取30~50;
[0070] 步骤23,如果g> 50,则表明图像质量满足要求,执行步骤3;如果吞^〇,则表明图 像质量差,存在抖动或失焦,不满足黄痘检测的要求。
[0071 ]进一步的,所述步骤3的具体步骤如下:
[0072]步骤31,用公式(16)所示的巧可夫斯基范式距离计算满足检测要求的图像R,G,B 二通道各自的均值ravg_I , gavg_I , bavg_I :
[0073]
Figure CN104856680BD00151
[0074] 其中,山(1,^心。,^心。,^为满足检测要求的图像在点。^)处的1?也8颜色 值,WI和hi为待检测图像的宽局;
[007引步骤32,根据满足检测要求的图像R,G,8;通道各自的均值ravg_I,gavg_I,bavg_I,利 用公式(17 )计算R,G,ΒΞ通道的偏色增益(rgain_I,ggain_I,bgain_I )。偏色增益也叫色溫校正因 子,是对R,G,ΒΞ个通道颜色值分别进行调整的Ξ个系数。
[0076]
Figure CN104856680BD00152
[0077] 对于图像I上的每一个像素点,根据公式(18)进行校正。
[007引
Figure CN104856680BD00153
[0079] 其中,Ir' (i,j),Ig' (i,j),Ib' (i,j)为颜色校正后的点(i,j)处的R,G,B颜色值。
[0080] 进一步的,所述步骤4的具体步骤如下:步骤41,离线监督训练;
[0081] a)收集整理训练数据:训练数据为包含新生儿皮肤区域的比色卡图像数据集D,图 像数据集D中图像均为步骤3得到的所述颜色校正后的图像,图像数据集D对应的属性则是 每幅图像所对应的验血得到的血清总胆红素值;
[0082] b)提取图像的特征:图像的特征是一个η X 1的向量,记为矿;V中每个分量的值由 肤色区域Bskin在HSV通道的颜色均值化skin_avg,Sskin_avg,Vskin_avg)和比色卡上6个彩色色块 Bred、Bgreen、Bblue、Bcyan、Bmagenta和Byell™上对应通道的颜色均值分别相减得到;f是一个6 X 3 =18维的特征向量;其中,通过公式(9)将RGB颜色均值转化为服V颜色均值;
[0083] C)随机森林训练:
[0084] 4.1. C. 1,确定训练参数:包括随机森林中决策树个数t,每棵决策树随机分配的样 本数量k,每棵决策树的深度d,决策树的每个节点使用到的特征数量f;终止条件:叶子节点 上最少的样本数num,节点上样本属性的标准差0;当某节点上样本数个数小于num,或者样 本属性的标准差小于σ时,认为其为叶子节点;
[0085] 4.1.(:.2,对于第1£[1,*]棵决策树,从图像数据集0中随机抽取4个样本,作为第1 根决策树的根节点样本集合;如果当前节点没有达到终止条件,则从图像特征向量中随机 选取f维特征;寻找能将该节点的样本最均匀的分成两类的特征i及其阔值th,当前节点上 样本第i维特征小于th的样本被划分到左节点,其余的被划分到右节点;如果当前节点达到 终止条件,则设置当前节点为叶子节点,该叶子节点的预测输出值为当前节点图像数据所 对应的血清总胆红素值的平均值;然后继续训练其他节点;
[0086] 4.1.C.3,重复4.1.C.2,直到所有节点都训练过了或者被标记为叶子节点;
[0087] 4.1. C. 4,重复4.1. C. 3,直到所有t棵决策树都被训练过;
[0088] 步骤42,在线预测;
[0089] a)对于一张待测的输入图像,成功检测到比色卡,判断图像质量满足检测要求,并 对图像进行颜色校正,得到颜色校正后图像;
[0090] b)根据图像皮肤区域和比色卡上颜色区域,利用步骤41的步骤b中所述方法生成 特征向量;
[0091] C)使用步骤41得到的离线监督训练生成的决策树,对于第ie[l,t]棵决策树,从 当前决策树的根节点开始,根据当前节点的阔值th,判断是进入左节点(<th)还是进入右 节点(>th),直到到达某个叶子节点,得到第i棵树的预测值;预测值为该叶子节点数据对 应血清总胆红素值的平均值;
[0092] d)重复步骤C,直到所有t棵决策树都得到了预测值;
[0093] e)计算所有决策树的预测值的平均值,作为血清总胆红素预测值。
[0094] 本发明的另一个目的在于,提供一种新生儿黄痘的自动检测系统,包括如下依次 相连接的模块:
[00M]比色卡检测模块,检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套 色块的分布情况,W此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定 六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测 图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色 块,是则执行步骤2,否则认为未检测到比色卡;
[0096] 图像监控模块,使用图像赌对图像I进行质量监控,判断图像是否满足检测要求, 满足则执行步骤3,否则认为图像不满足黄痘检测要求。
[0097] 颜色校正模块:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像:
[0098] 检测模块:使用机器学习的方法对多个颜色校正后的图像进行离线监督训练,并 利用离线监督训练的结果,通过分析新生儿胸部图像,预测其血清总胆红素值。
[0099] 相比于现有的黄痘检测技术,本发明通过拍摄放置在新生儿皮肤上的环形的比色 卡,并利用图像处理技术和机器学习技术,最终计算得到反映新生儿黄痘的血清胆红素值。 本发明的系统及方法不依赖于使用者的主观判断,能够得到准确的黄痘检测结果,试验证 明,检测样本的平均误差值为4祉mol/L,经皮测痘仪检测平均误差为44ymol/L,其准确性与 经皮测痘仪相当,完全能够满足家用黄痘检测的要求。同时,本发明的方法及系统使用方便 高效,不要求使用者为专业的医护人员。
附图说明
[0100] 图1是本发明的黄痘自动检测方法的流程图。
[0101 ]包括:比色卡自动检测,图像质量控制,图像颜色校正,生成特征向量,并预测得到 血清总胆红素值。
[0102]图2是比色卡。比色卡共有12个方形区域组成。包括:1个皮肤区域Bskin,l个图像质 重检测区域Bfunc , 2个黑灰歌套色块区域化lack_grey , 2个白灰歌套色块区域Bwhite_grey , W及6个 杉色色块区域:Bred、Bgreen、I3blue、Bcyan、Bmagenta、Byellow。
[0103] 图3是比色卡的四种不同方位。其中,图3(a)至(d)分别为:0°,逆时针旋转90%逆 时针旋转180°和逆时针旋转270°。
[0104] 图4是本发明的黄痘自动检测方法的流程图。判断比色卡左上角和右上角色块判 断比色卡方向,再确定6个彩色色块是否均能正确检测,最后确定左下角和右下角色块是否 正确检测。
[0105] 图5是本发明中方法和经皮测痘仪检测结果与黄痘检查金标准:血清总胆红素值 的比较。其中,深色菱形表示本发明的检测结果,灰色方形表示经皮测痘仪对应样本的检查 结果。本发明的方法检测样本的平均误差值为4如mol/L,经皮测痘仪检测平均误差为44μ mol/L。
[0106] W下结合附图和具体实施方式对本发明进一步解释说明。
具体实施方式
[0107] 本发明的设计思路:W比色卡对比下的新生儿胸部图片为方法处理对象,首先自 动定位比色卡的位置和新生儿的皮肤区域;判断图像在拍照时是否抖动或失焦;对比色卡 进行颜色校正,排除有色光源导致的皮肤颜色变化;通过训练生成智能黄痘判断算法,并计 算得出黄痘值。
[0108] 本发明的方法的处理对象是在比色卡对比下拍摄的新生儿胸部图片。将比色卡放 置在新生儿胸部拍摄一张包含比色卡和胸部皮肤的宽高为W和h的图像I,其中,I(x,y)为坐 标点P(x,y)处的颜色值(r,g,b),(;r,g,b)表示RGB颜色空间的颜色值。
[0109] 比色卡为一方形环,如图2所示,在比色卡的一面上按照逆时针方向依次排列有图 像质量检测区域,黑灰嵌套色块、黄色色块、蓝色色块、白灰嵌套色块、品红色色块、绿色色 块、白灰嵌套色块、红色色块、青色色块和黑灰嵌套色块。其中,黄色色块、蓝色色块、品红色 色块、绿色色块、红色色块和青色色块称为彩色色块。
[0110] 将比色卡放置在新生儿胸部并拍摄图像,使待拍摄的胸部皮肤区域置于比色卡的 环形的中间位置。
[0111] 使用本发明的方法对拍摄的图像进行处理,具体包括如下步骤:
[0112] 步骤1,如图4所示,首先,检测图像中比色卡左上角和右上角的黑灰嵌套色块和白 灰嵌套色块的分布情况,W此确定比色卡在图像中的方向;然后根据比色卡在图像中的方 向确定六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方 向检测图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰 嵌套色块,是则执行步骤2,否则认为未检测到比色卡。具体步骤如下:
[0113] 如图3所示,由于拍摄时放置比色卡的角度不同,图像I中的比色卡可能有四种不 同的方向。规定图2的方向为原位即0°方向,则图3(曰)、化)、((3)、((1)依次为0°、逆时针旋转 90°、逆时针旋转180°和逆时针旋转270°。
[0114] 步骤11,在图像I左上侧区域随机散布η个点(η取3~8),作为比色卡判断的起始 点;将第i个点定义为Pl(ie[l,n]),判断左上角色块是否是黑灰嵌套色块化lack_grey,如果是 黑灰嵌套色块,执行步骤12,否则继续判断左上角色块是否是白灰嵌套色块Bwhite_grey,如果 是白灰嵌套色块,执行步骤12,否则认为根据点Pi未检测到比色卡,则将比色卡判断的起始 点Pi更新为下一个点后执行步骤11;
[0115] 所述判断左上角色块是否是黑灰嵌套色块化lack_grey,具体包括如下步骤:
[0116] a)将比色卡判断的起始点Pi设为色块判断起始点,计算点Pi周围5X5区域的R,G,B 均值ravg'gavg'bavg;
[0117]
Figure CN104856680BD00181
[011引其中,lR(x,y),Ic(x,y),lB(x,y)分别表示点(x,y)处R,G,B的颜色值。
[0119] b)将ravg,gavg,bavg转换到YUV颜色空间中巧中,Y表示明亮度,U,V表示色度),得到 Yavg , Uavg , Vavg ;
[0120]
Figure CN104856680BD00182
[0121 ]。)当(36《73乂8《164)曰]1(1(-48《1^8《48)曰]1(1(-48《¥3乂8《48)满足时,表示口1位于 灰色区域内,执行步骤d;不满足则认为根据Pi未检测到黑灰嵌套区域,并结束本次判断;将 Pi更新为下一个点然后执行步骤11;
[0122] d)利用公式3,计算Pi在YUV颜色空间中的偏色程度(yshift,ushift,vshift)。所述偏色 程度是指在YUV空间中,P i的颜色值和灰色值之间的偏差;灰色定义为:(y grey,Ugrey,Vgrey ), 其中,y 口巧=127,11口 巧= 0,Vf;rey = 0;
[0123]
Figure CN104856680BD00183
[0124] e)Wpi为生长起始种子点,分别向上、下、左、右4个方向进行线性生长,生长规则 是:
[01 巧](I Tpos-ravg I《30)and( I gpos-gavg I《30)and( I bpos-bavg I《30) (11)
[0126]其中,町。3,邑。。3,6。。康示生长到点口。。3处的1?也8颜色值;当公式(11)中所述条件满 足时,继续生长;否则停止生长,认为Ppds点为当前方向上的边界点;最终得到种子点生长的 4个方向的边界,从而得到灰色区域Bgrey(pieft_叩,Pright_bottom),W及宽Wgr巧和高hgrey,其中, Pleft_up= (Xgrey_left, Ygrey_up),Pright_bottom= (X肝ey_right, y肝eyjjottom)为灰色区域左上顶点和右 下顶点的坐标。
[0127] f)根据公式(4)、(5)定义灰色区域右侧的一点]3却扣^啡扣,7,18扣)和下方的一点 PdDwn(XdDwn,ydDwn),用于判断灰色区域外围是否为黑色区域。
Figure CN104856680BD00191
[01 30] g)分力[J计算点Pright和pdown周围 5巧区域的R , G , B均值rright_avg , gright_avg , bright_avg和 rdown_avg,gdown_avg,bdown_avg,根据公式(2 )将其分另Ij转换到YUV颜色空间,得至ljyright_avg, Uright_avg , Vright_avg^Dydown_avg , Udown_avg , Vdown_avg ;
[0131] h)当满足公式(6)所示的条件时,认为点Pright和Pdown均为黑色,执行步骤i;否则结 束本次判断,认为根据Pi未检测到黑灰嵌套色块,Pi更新为下一个点,执行步骤11;
[0132]
Figure CN104856680BD00192
[0133] i)W点pright为生长起始种子点,根据公式(11)所示的生长规则,分别向上、下2个 方向进行线性生长;WpdDwn为起始点,根据公式(11)所示的生长规则,分别向左、右2个方向 进行线性生长;结束生长后,得到四个方向的边界,从而得到黑色区域Bblack(Pleft_up, Pright-bottom ) , «S 宽 Wblack芽口島 hblack , 中,Plef t-叩 _ ( Xblack_lef t , Υblack_w ) , Pright-bottom _ (加3。心心扣,7613。1<_6。**。。);在比色卡上,灰色区域被包含在黑色区域内,因此口1日心叩和 化ightjwtt™为左上角黑灰色块左上角和右下角顶点坐柄;。
[0134] 所述步骤11中的所述判断左上角色块是否是白灰嵌套色块Bwhite_grey,其具体步骤 与黑灰嵌套色块的判断步骤类似。区别仅在于,在步骤h)中,当满足公式(8)所示的条件时, 认为点化ight和Pdmm均为白色;
[0135]
Figure CN104856680BD00201
[0136] 步骤12,根据比色卡左上角色块区域BluW及宽WLU和高hLU,利用公式(13)得到比色 卡右上角灰色区域的中屯、点阳U_grey ( XRU_grey,yRU_grey ),执行步骤1 3 ;
[0137]
Figure CN104856680BD00202
[01測 (XLU_lef t,yLU_tnp )为位于比色卡左上角色块的左上角顶点的坐标;(XLU_right, yLLLbDtt™)为比色卡左上角色块的右下角顶点的坐标;
[0139] 步骤13,将PRU_grey设为色块判断起始点,用来判断右上角色块是否是黑灰嵌套色 块或白灰嵌套色块,如果是,则进入步骤14,否则认为根据点Pi未检测到比色卡,结束本次 判断,将点Pi更新为下一个点后执行步骤11 ;
[0140] 其中,所述判断右上角色块是否是黑灰嵌套色块或白灰嵌套色块与上文所述判断 左上角色块是否是黑灰嵌套色块或白灰嵌套色块的步骤相类似。
[0141] 上述步骤完成了比色卡左上角和右上角的色块的检测。
[0142] 步骤14,根据比色卡左上角色块和右上角色块的类型,得到比色卡在图像I中的对 应方向。可通过表1直接得到。
[0143] 表1比色卡在不同方向下四角色块的排布表
[0144]
Figure CN104856680BD00203
[0145] 步骤15,根据比色卡的方向、比色卡左上角色块区域和比色卡右上角色块区域的 位置W及它们的宽、高,得到图像I中6个彩色色块区域的中屯、点。可通过表2所示公式对应 得到。设左上角色块区域为化U(P1,P2),宽WLU,高ku,其中,P1是该区域的左上角顶点,P2是右 下角顶点,pi=(孔U_left,yLU_叩),P2= (XLU_right,yLU_bottom);右上角色块区域为 BrU(P3,P4),宽 WRU,高 hRU,其中,P3 是左上顶点,P4 是右下顶点 P3=(邸 U_left,yRU_叩),P4= (XRU_right,yRU_bottom);
[0146] 表化k色卡在不同方向下的六个彩色色块的中屯、点坐标表
Figure CN104856680BD00211
[0149]步骤16,对于图像I中每个彩色色块区域,将彩色色块区域的中屯、点作为色块判断 起始点,检测图像I中每个彩色色块是否准确出现在比色卡的彩色色块的对应位置;若6个 彩色色块均准确出现在比色卡的相应位置,则执行步骤17,否则将种子点Pi更新为下一个 点后执行步骤11;
[0150] 步骤16中所述检测彩色色块是否准确出现在比色卡的相应位置,具体包括如下步 骤:
[0151] a)对于图像I中每个彩色色块区域,将彩色色块区域的中屯、点作为色块判断起始 点PseecLC,根据公式(1 )计算种子点PseecLC周围5X5区域的R,G, B均值ravg_C,gavg_C,bavg_C。
[0152] b)根据公式(9),把ravg_C,gavg_C,bavg_C转换到HSV颜色空间中化表示色相,S表示饱 和度,V表示明度),得到havg_C,Savg_C,Vavg_C。其中,max和min分别为ravg_C,gavg_C,bavg_冲的最 大值和最小值:
[0153]
Figure CN104856680BD00221
[0154] C)将根据公式(3)计算得到的(yshift,Ushift,Vshift)转换至HSV颜色空间化shift, Sshift, Vshift),真^中:
[0155]
Figure CN104856680BD00222
[0156] 在HSV颜色空间中,根据表3中所示条件,判断havg_c前是否满足对应色块的颜色条 件(即色相)。如果满足,则执行步骤d;否则,认为未能定位该彩色色块,同时认为根据点Pi 未检测到比色卡,结束本次判断,将点Pi更新为下一个点后执行步骤11;
[0157] 表3色相havg_^于六种彩色色块的判断条件 [015 引
Figure CN104856680BD00223
Figure CN104856680BD00231
[0160] ~d似点Pseed_C为生长起始点,根据公式(11)的生长规贝IJ,分别向上、下、左、右4个方 向进行线性生长;找出彩色色块的4个方向的边界,确定彩色色块区域Bcolor,W及宽Wcolor和 局hcolor ;
[0161] 步骤17,根据步骤14得到的比色卡在图像I中的方向,通过表1得到对应方向下左 下角色块和右下角色块的类型;
[0162] 判断图像中比色卡左下角色块和右下角色块的类型是否均与比色卡的相应位置 的色块类型一致,是则认为根据点Pi成功检测到比色卡,否则,将Pi更新为下一点,执行步骤 11。该过程具体包括如下步骤:
[01创 a)根据比色卡左上角色块区域Blu,W及其宽WLU和高ku,利用公式(19)得到比色卡 左下角色块的灰色区域的中屯、点PLD_grey(XLD_grey,yLD_grey),执行步骤b);
[0164]
Figure CN104856680BD00232
[0165] ( XLU_lef t,yLU_tnp )为位于比色卡左上角色块的左上角顶点的坐标;(XLU_right, yLLLbDtt™)为比色卡左上角色块的右下角顶点的坐标;
[0166] b)将化D_grey设为色块判断起始点,作为用来判断左下角色块是否是黑灰嵌套色块 或白灰嵌套色块(判断方法上文已经详细描述,此处不再寶述),同时,根据比色卡在图像I 中的方向,判断左下角色块是否是表1中对应方向下比色卡左下角对应的色块类型,是则执 行步骤C);否则认为根据Pi未检测到比色卡,结束本次判断,将点Pi更新为下一个点后执行 步骤11;
[0167] C)根据比色卡右上角色块区域Bru的宽WRU和高hRu,利用公式(21)得到比色卡右下 角灰色区域的中屯、点PRD_grey(XRD_grey,yRD_grey),执行步骤d);
[016 引
Figure CN104856680BD00233
[0169] (XRU_left,yRU_tDp)为位于比色卡右上角黑灰嵌套色块的左上角的坐标;
[0170] (邸11_"8枯,7邮_6。《»)为比色卡右上角黑灰嵌套色块的右下角的坐标;
[0171] d)将PRD_grey设为色块判断起始点,用来判断右下角色块是否是黑灰嵌套色块或白 灰嵌套色块(判断方法上文已经详细描述,此处不再寶述),根据比色卡在图像I中的方向, 判断右下角色块是否是表1中对应方向下比色卡右下角的色块类型,是则进入步骤2;否则 认为未检测到比色卡,结束本次判断,将点Pi更新为下一个点后执行步骤11;
[0172] W上步骤完成了比色卡左下角和右下角的色块的检测。同时表明成功检测到比色 卡,进入步骤2。
[0173] 步骤2,使用图像赌对图像I进行质量监控,判断图像是否满足检测要求,满足则执 行步骤3,否则认为图像不满足黄痘检测要求。
[0174] 本发明使用图像的信息赌作为图像质量是否满足要求的评判标准,对图像的质量 进行监控。信息赌作为度量信息量的方法,对于图像而言,它表明图像灰度分布的聚集特 性,赌值越高的图像,灰度上的细节和变化就越多越明显,反之,赌值低的图像,就没有太多 的细节和变化。具体步骤如下:
[0175] 步骤21,根据比色卡上两个黑灰嵌套色块的位置,得到图像质量控制区域Bfun。 (Pleft-叩 ,Pright_bottom) , 及其宽Wfunc和局hfunc。
[0176] 步骤22,计算比色卡上图像质量控制区域Bfun。的信息赌,W平均梯度均值曼作为信 息赌的具体实现方式,君越高,Bfunc区域的黑白变化越明显,图像越清晰,图像质量越好;反 之,f越低,Bfunc区域的黑白变化越不明显,图像越模糊,图像质量越差。按照公式(15)计算 得到平均梯度均值玄;
[0177]
Figure CN104856680BD00241
[017引其中,。(1,^,^。^)和巧(1^)为区域8扣。。内。,化点的颜色值山_:。^)为区 域Bfunc内(i,j )点的灰度值;Wfunc、hfunc分别为区域Bfunc的宽和高;S为状态位,其值为1表明 当前点是否在统计范围内,为0表明当前点不在统计范围内;k为预设阔值,取30~50;
[0179] 步骤23,如果g > 50,则表明图像质量满足要求,执行步骤3;如果客 < 规:,则表明图 像质量差,存在抖动或失焦,不满足黄痘检测的要求。
[0180] 步骤3:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像:
[0181] 由于光源不同的色溫,物体在不同光源照射下呈现出不同的颜色。比如白色物体 在室内鹤丝灯光看起来会带有橘黄色色调;在蔚蓝天空下,则会带有蓝色。颜色校正的目的 就是消除不同光源造成的色彩偏差。本发明中,使用基于无监督的颜色恒常性颜色校正方 法,利用图像本身底层的颜色特征,推算得到图像成像时的光照颜色。具体步骤如下:
[0182] 步骤31,用公式(16)所示的巧可夫斯基范式(Minkowski-norm)距离计算满足检测 要求的图像R,G,8;通道各自的均值ravg_I,gavg_I,bavg_I :
[0183]
Figure CN104856680BD00251
[0184] 其中,山(1^)、1(;(1^)、18(1^)为满足检测要求的图像在点。,^处的1?,6,8颜色 值,WI和hi为待检测图像的宽局;
[0185] 步骤32,根据满足检测要求的图像R,G,8;通道各自的均值ravg_I,gavg_I,bavg_I,利 用公式(17 )计算R,G,ΒΞ通道的偏色增益(rgain_I,ggain_I,bgain_I )。偏色增益也叫色溫校正因 子,是对R,G,ΒΞ个通道分别进行调整的Ξ个系数。
Figure CN104856680BD00252
[0189] 其中,11/(1,如,1(/。,^,18'(1^)为颜色校正后的点。,如处的1?,6,8颜色值。
[0190] 步骤4:对颜色校正后的图像进行分析,预测其血清总胆红素值;
[0191] 本发明中使用机器学习的方法检测黄痘值。机器学习通过对图像数据和其属性进 行分析,得到两者之间的联系规律,并利用此规律对新的图像数据进行计算,预测其属性。 在本发明中,图像数据为包括新生儿胸部皮肤区域的比色卡图像(指颜色校正后),其属性 为该图像中新生儿的黄痘值。机器学习由两部分组成:离线监督训练和在线智能检测。离线 训练包括提供训练图像和其属性,提取图像特征,生成智能检测算法Ξ部分;在线智能检测 包括输入待检测图像,提取该图像特征,计算得到该数据对应的属性。本发明采用回归随机 森林作为机器学习的方法。随机森林有多颗决策树构成,该方法实现简单,运行效率高。具 体的离线训练和在线预测步骤如下:步骤41,离线监督训练;
[0192] a)收集整理训练数据:在本发明中,训练数据为包含新生儿皮肤区域的比色卡图 像数据集D,图像数据集D中图像均为步骤3得到的所述颜色校正后的图像,图像数据集D对 应的属性则是每幅图像所对应的验血得到的血清总胆红素值。
[0193] b)提取图像的特征:图像的特征是一个nXl的向量,记为?。V中每个分量的值由 肤色区域Bskin在HSV通道的颜色均值化skin_avg,Sskin_avg,Vskin_avg)和比色卡上6个彩色色块 Bred、Bgreen、化lue、Bcyan、Bmagenta和Byell™上对应通道的颜色均值分别相减得到。7是一个6X3 =18维的特征向量。其中,通过公式(9)将RGB颜色均值转化为服V颜色均值。
[0194] C)随机森林训练:
[01 Μ] 4.1. c. 1,确定训练参数:包括随机森林中决策树个数t,每棵决策树随机分配的样 本数量k,每棵决策树的深度d,决策树的每个节点使用到的特征数量f;终止条件:叶子节点 上最少的样本数num,节点上样本属性的标准差0;当某节点上样本数个数小于num,或者样 本属性的标准差小于σ时,认为其为叶子节点。
[0196] 4.1.(:.2,对于第1£[1,*]棵决策树,从图像数据集0中随机抽取4个样本,作为第1 根决策树的根节点样本集合。如果当前节点没有达到终止条件,则从图像特征向量中随机 选取f维特征。寻找能将该节点的样本最均匀的分成两类的特征i及其阔值th,当前节点上 样本第i维特征小于th的样本被划分到左节点,其余的被划分到右节点。如果当前节点达到 终止条件,则设置当前节点为叶子节点,该叶子节点的预测输出值为当前节点图像数据所 对应的血清总胆红素值的平均值。然后继续训练其他节点。
[0197] 4.1.C.3,重复4.1.C.2,直到所有节点都训练过了或者被标记为叶子节点;
[019引4.1. C. 4,重复4.1. C. 3,直到所有t棵决策树都被训练过;
[0199] 步骤42,在线预测;
[0200] a)对于一张待测的输入图像,成功检测到比色卡,判断图像质量满足检测要求,并 对图像进行颜色校正,得到颜色校正后图像;
[0201] b)根据图像皮肤区域和比色卡上颜色区域,利用步骤41的步骤b中所述方法生成 特征向量;
[0202] C)使用步骤41得到的离线监督训练生成的决策树,对于第ie[l,t]棵决策树,从 当前决策树的根节点开始,根据当前节点的阔值th,判断是进入左节点(<th)还是进入右 节点(>th),直到到达某个叶子节点,得到第i棵树的预测值。预测值为该叶子节点数据对 应血清总胆红素值的平均值。
[0203] d)重复步骤C,直到所有t棵决策树都得到了预测值;
[0204] e)计算所有决策树的预测值的平均值,作为血清总胆红素预测值。
[0205] 本发明中,回归随机森林可使用其他机器学习方法替换:如最近邻、支持向量机、 boosting或智能神经网络等。
[0206] 本发明还给出了新生儿黄痘的自动检测系统,包括如下依次相连接的模块:
[0207] 比色卡检测模块,检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套 色块的分布情况,W此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定 六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测 图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色 块,是则执行步骤2,否则认为未检测到比色卡;
[0208] 图像监控模块,使用图像赌对图像I进行质量监控,判断图像是否满足检测要求, 满足则执行步骤3,否则认为图像不满足黄痘检测要求;
[0209] 颜色校正模块:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像:
[0210] 检测模块:使用机器学习的方法对多个颜色校正后的图像进行离线监督训练,并 利用离线监督训练的结果,通过分析新生儿胸部图像,预测其血清总胆红素值。
[0211] 本发明的新生儿黄痘的自动检测系统的各模块实现的功能W及实现方式与本发 明的新生儿黄痘的自动检测方法中各步骤试下的功能W及实现方式对应一致,因此,此处 不再寶述。
[0212] 实施例
[0213] 申请人通过使用544套数据样本训练,得到黄痘检测系统,其中每套数据样本包括 一张放置在新生儿胸部皮肤区域上的比色卡图像和该新生儿两小时之内验血得到的血清 总胆红素值。其中,每张图像均为拍照合格的图像,表明能够准确检测到比色卡并且无失焦 和抖动。在利用步骤3对图像进行颜色校正后,根据步骤4.1.b生成特征向量。本发明中的回 归随机森林中设有决策树200棵,每颗决策树随机分配训练样本量的60%,每颗决策树的最 大深度为10层,每个节点使用的特征数量为4,叶子节点的最少样本数为5,叶子节点的标准 差设为0.01。
[0214] 在训练完成后,通过72套数据验证该黄痘检测系统的准确性,每套数据包括一张 放置在新生儿胸部皮肤区域上的比色卡图像,拍照完成后立即通过经皮测痘仪检测的黄痘 值和该新生儿两小时之内的血清总胆红素值。图像数据均为拍照合格的图像,无抖动和失 焦。通过将每张图像生成的特征向量输入训练完成的黄痘检测算法,该算法通过步骤4.2输 出黄痘检测值。图5中的图表列出了本发明的方法的预测结果,经皮测痘仪的检测结果和真 实值的关系W及误差,本发明的方法检测样本的平均误差值为4祉mol/L,经皮测痘仪检测 平均误差为44ymol/L。实验证明本发明简单有效,预测结果准确,和经皮测痘仪准确性相 当,能够满足家用黄痘检测的要求。

Claims (10)

1. 一种新生儿黄疸的自动检测方法,其特征在于,包括如下步骤: 步骤1,检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块的分布情 况,以此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定六个彩色色块 是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测图像中比色卡 的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是则执行步 骤2,否则认为未检测到比色卡; 步骤2,使用图像熵对图像进行质量监控,判断图像是否满足检测要求,满足则执行步 骤3,否则认为图像不满足黄疸检测要求; 步骤3:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像: 步骤4:使用机器学习的方法对多个颜色校正后的图像进行离线监督训练,并利用离线 监督训练的结果,通过分析新生儿胸部图像,预测其血清总胆红素值。
2. 如权利要求1所述的新生儿黄疸的自动检测方法,其特征在于,所述步骤1的具体步 骤如下: 步骤11,在图像I左上侧区域随机散布η个点,η取3~8,作为比色卡判断的起始点;将第 i个点定义为口1(斤[1,1!]),判断左上角色块是否是黑灰嵌套色块说1^__,如果是黑灰嵌 套色块,执行步骤12,否则继续判断左上角色块是否是白灰嵌套色块B whlte_grey,如果是白灰 嵌套色块,执行步骤12,否则认为根据点?1未检测到比色卡,则将比色卡判断的起始点 ?1更 新为下一个点后执行步骤11; 步骤12,根据比色卡左上角色块区域Blu以及宽WLU和高hLU,利用公式(13)得到比色卡右 上角灰色区域的中心点PRU_grey ( XRU_grey,yRU_grey ),执行步骤1 3 ;
Figure CN104856680BC00021
(XLU_lef t,yLU_top )为彳AA于比色卡左上角色块的左上角顶点的坐松ί; ( XLU_right,yLU_bottom)为 比色卡左上角色块的右下角顶点的坐标; 步骤13,将pRLLgrey设为色块判断起始点,用来判断右上角色块是否是黑灰嵌套色块或白 灰嵌套色块,如果是,则进入步骤14,否则认为根据点?1未检测到比色卡,结束本次判断,将 点口:更新为下一个点后执行步骤11; 步骤14,根据比色卡左上角色块和右上角色块的类型,得到比色卡在图像I中的对应方 向; 步骤15,根据比色卡的方向、比色卡左上角色块区域和比色卡右上角色块区域的位置 以及它们的宽、高,得到图像I中6个彩色色块区域的中心点; 步骤16,对于图像I中每个彩色色块区域,将彩色色块区域的中心点作为色块判断起始 点,检测图像I中每个彩色色块是否准确出现在比色卡的彩色色块的对应位置;若6个彩色 色块均准确出现在比色卡的相应位置,则执行步骤17,否则将种子点 Pl更新为下一个点后 执行步骤11; 步骤17,根据步骤14得到的比色卡在图像I中的方向,得到对应方向下左下角色块和右 下角色块的类型;判断图像中比色卡左下角色块和右下角色块的类型是否均与比色卡的相 应位置的色块类型一致,是则认为根据点P1成功检测到比色卡,否则,将P1更新为下一点,执 行步骤11。
3.如权利要求2所述的新生儿黄疸的自动检测方法,其特征在于,所述步骤11中,所述 判断左上角色块是否是黑灰嵌套色块Bblac;k_grey,具体包括如下步骤: a)将比色卡判断的起始点pi设为色块判断起始点,计算点pi周围5X5区域的R,G,B均值 Tavg , gavg , bavg ;
Figure CN104856680BC00031
其中,lR(x,y),Ic(x,y),lB(x,y)分别表示点(x,y)处R,G,B的颜色值; b )将ravg , gavg , bavg转换到 YUV颜色;ίί;间中,得到yavg , Uavg , Vavg ;
Figure CN104856680BC00032
c)当(36彡yavg彡164)且(-48彡uavg彡48)且(-48彡vavg彡48)满足时,表示pi位于灰色区 域内,执行步骤d;不满足则认为根据?1未检测到黑灰嵌套区域,并结束本次判断;将?1更新 为下一个点然后执行步骤11; (1)利用公式(3),计算口1在¥群颜色空间中的偏色程度(7^^,11!^代,¥!^代) ;所述偏色程 度是指在YUV空间中,pi的颜色值和灰色值之间的偏差;灰色定义为:(ygrey,Ugrey,Vgrey ),其 中,ygrey - 1 27 , Ugrey - Ο , Vgrey - Ο ;
Figure CN104856680BC00033
e) WPl为生长起始种子点,分别向上、下、左、右4个方向进行线性生长,生长规则是: (| rP〇s-;raVg | < 30)且(| gpt)S-gaVg | < 30)且(| bpos-bavg | < 30) (11) 其中,rP〇s,gP〇s,bP〇 s表示生长到点pP〇s处的R,G,B颜色值;当公式(11)中所述条件满足 时,继续生长;否则停止生长,认为pP〇s点为当前方向上的边界点;最终得到种子点生长的4 个方向的边界,从而得到灰色区域B grey(pleft-up,pright-bottom),以及和高hgrey,其中, pleft up - ( Xgrey_left,ygrey_up ),prightjbottom - (Xgrey_right,ygrey_bottom)为灰色区域左上顶点和右 下顶点的坐标; f) 根据公式(4)、(5)定义灰色区域右侧的一点pright(Xright,yright)和下方的一点Pdown (Xd_,yd_),用于判断灰色区域外围是否为黑色区域;
Figure CN104856680BC00041
g )分力iji十算 /点 Pright矛口Pdown周围 5x5 区域白勺 R,G,B均值rright-avg,gright-avg,bright-avg矛口 rdown-avg,gdown-avg,bdown-avg,根据公式(2)将其分另|J转换至IjYUV颜色空间,得至ljy right-avg, Uright-avg , Vright-avg萍口ydown-avg , Udown-avg , Vdown-avg ; h) 当满足公式(6)所示的条件时,认为点pright和?(1_均为黑色,执行步骤i ;否则结束本 次判断,认为根据Pl未检测到黑灰嵌套色块,?1更新为下一个点,执行步骤11;
Figure CN104856680BC00042
i) 以点pright为生长起始种子点,根据公式(11)所示的生长规则,分别向上、下2个方向 进行线性生长;以Pd_为起始点,根据公式(11)所示的生长规则,分别向左、右2个方向进行 线性生长;结束生长后,得到四个方向的边界,从而得到黑色区域B blac;k(ple3ft_up, Pright-bottom),以 宽Wblack矛口高hblack,中,Plef t-up -( Xblack left , yblack up) jPright bottom - (Xblack-right Jblack-bottom);在比色卡上,灰色区域被包含在黑色区域内,因此Pleft-up和 Pright+bottom为左上角黑灰色块左上角和右下角顶点坐标。
4.如权利要求3所述的新生儿黄疸的自动检测方法,其特征在于,所述步骤11中,所述 判断左上角色块是否是白灰嵌套色块Bwhlte_grey,其具体步骤与黑灰嵌套色块的判断步骤类 似,区别仅在于,在步骤h)中,当满足公式(8)所示的条件时,认为点p right和Pd_均为白色;
Figure CN104856680BC00043
5. 如权利要求3所述的新生儿黄疸的自动检测方法,其特征在于,所述步骤16中所述检 测彩色色块是否准确出现在比色卡的相应位置,具体包括如下步骤: a) 对于图像I中每个彩色色块区域,将彩色色块区域的中心点作为色块判断起始点 Pseed_C,计算种子点Pseed_C周围 5 X 5区域的R,G,B均值ravg_C,gavg_C,bavg_C ; b) 根据公式(9 ),把ravg_C,gavg_C,bavg_C转换到HSV颜色;ίί;间中,得到havg_C,Savg_C,Vavg_C ; 其中,max和min分别为raVg_c,gaVg_c,baVg_c中的最大值和最小值:
Figure CN104856680BC00051
c) 将根据公式(3)计算得到的(yshift,ushift,vshift)转换至HSV颜色空间(h shift,sshift, Vshift),其中:
Figure CN104856680BC00052
在HSV颜色空间中,判断havg_c前是否满足对应色块的颜色条件;如果满足,则执行步骤 d;否则,认为未能定位该彩色色块,同时认为根据点?1未检测到比色卡,结束本次判断,将 点口:更新为下一个点后执行步骤11; d) 以点p_d_c为生长起始点,根据公式(11)的生长规则,分别向上、下、左、右4个方向进 行线性生长;找出彩色色块的4个方向的边界,确定彩色色块区域仏&^以及宽~^^和高 hcolor 〇
6. 如权利要求3所述的新生儿黄疸的自动检测方法,其特征在于,所述步骤17的具体步 骤如下: a)根据比色卡左上角色块区域Blu,以及其宽WLU和高hLU,利用公式(19)得到比色卡左下 角色块的灰色区域的中心点PLD_ grey ( XLD_grey , yLD_grey ),执行步骤b);
Figure CN104856680BC00053
(XLU_lef t,yLU_top )为彳 于比色卡左上角色块的左上角顶点的坐松ί; ( XLU_right,yLU_bottom)为 比色卡左上角色块的右下角顶点的坐标; b)将PLD_grey设为色块判断起始点,作为用来判断左下角色块是否是黑灰嵌套色块或白 灰嵌套色块,同时,根据比色卡在图像I中的方向,判断左下角色块是否是比色卡在不同方 向下四角色块的排布表中对应方向下比色卡左下角对应的色块类型,是则执行步骤 c);否 则认为根据?1未检测到比色卡,结束本次判断,将点Pl更新为下一个点后执行步骤11; C)根据比色卡右上角色块区域Bru的宽WRU和高hRU,利用公式(21)得到比色卡右下角灰 色区域的中心点PRD+grey ( XRD_ grey , YRD_grey ),执行步骤d);
Figure CN104856680BC00061
(XRUJrftJRLLtop)为位于比色卡右上角黑灰嵌套色块的左上角的坐标; (XRU_right,yRLLbottom)为比色卡右上角黑灰嵌套色块的右下角的坐标; d)将PRD_gre3y设为色块判断起始点,用来判断右下角色块是否是黑灰嵌套色块或白灰嵌 套色块,根据比色卡在图像I中的方向,判断右下角色块是否是比色卡在不同方向下四角色 块的排布表中对应方向下比色卡右下角的色块类型,是则进入步骤2;否则认为未检测到比 色卡,结束本次判断,将点Pi更新为下一个点后执行步骤11; 以上步骤完成了比色卡左下角和右下角的色块的检测;同时表明成功检测到比色卡, 进入步骤2。
7.如权利要求1所述的新生儿黄疸的自动检测方法,其特征在于,所述步骤2的具体步 骤如下: 步骤21,根据比色卡上两个黑灰嵌套色块的位置,得到图像质量控制区域Bfunc(pleft_ up, Pright-bottom),以矛口高hfunc; 步骤22,计算平均梯度均值g :
Figure CN104856680BC00062
其中,n(i,j),rf (i,j)和rf (i,j)为区域Bfunc内(i,j)点的颜色值;Ig_f (i,j)为区域Bfunc 内(i,j)点的灰度值;wfunc;、hfun。分别为区域Bfun。的宽和高;S为状态位,其值为1表明当前点 在统计范围内,为0表明当前点不在统计范围内;k为预设阈值,取30~50; 步骤23,如果!>50,则表明图像质量满足要求,执行步骤3;如果豆<50,则表明图像质 量差,存在抖动或失焦,不满足黄疸检测的要求。
8. 如权利要求1所述的新生儿黄疸的自动检测方法,其特征在于,所述步骤3的具体步 骤如下: 步骤31,用公式(16)所示的闵可夫斯基范式距离计算满足检测要求的图像R,G,B三通 道各自的均值favg-I,gavg-I,bavg-I :
Figure CN104856680BC00071
其中,Ir( i,j)、Ic( i,j)、Ib( i,j)为满足检测要求的图像在点(i,j)处的R,G,B颜色值,WI 和匕为待检测图像的宽高; 步骤32,根据满足检测要求的图像R,G,B三通道各自的均值ravg」,gavg」,b avg」,利用公 式(17)计算R,G,B三通道的偏色增益(rgain_i,ggain_i,bgain_i);偏色增益也叫色温校正因子, 是对R,G,B三个通道分别进行调整的三个系数;
Figure CN104856680BC00072
对于图像I上的每一个像素点,根据公式(18)进行校正;
Figure CN104856680BC00073
其中,Ii/ (i,j),1(/ (i,j),V (i,j)为颜色校正后的点(i,j)处的R,G,B颜色值。
9. 如权利要求1所述的新生儿黄疸的自动检测方法,其特征在于,所述步骤4的具体步 骤如下:步骤41,离线监督训练; a) 收集整理训练数据:训练数据为包含新生儿皮肤区域的比色卡图像数据集D,图像数 据集D中图像均为步骤3得到的所述颜色校正后的图像,图像数据集D对应的属性则是每幅 图像所对应的验血得到的血清总胆红素值; b) 提取图像的特征:图像的特征是一个nXl的向量,记为v,i中每个分量的值由肤色区 域Bskin在HSV通道的颜色均值(hsk in avg , Sskin avg , Vskin+avg)和比色卡上6个彩色色块Bred、 Bgreen、Bbiue、Bcyan、Bmagenta^ra yeii〇w上对应通道的颜色均值分另|J相减得至lj; V是一个6 X 3 = 18 维的特征向量;其中,通过公式(9)将RGB颜色均值转化为HSV颜色均值; c) 随机森林训练: 4.1. c. 1,确定训练参数:包括随机森林中决策树个数t,每棵决策树随机分配的样本数 量k,每棵决策树的深度d,决策树的每个节点使用到的特征数量f;终止条件:叶子节点上最 少的样本数num,节点上样本属性的标准差σ;当某节点上样本数个数小于 num,或者样本属 性的标准差小于σ时,认为其为叶子节点; 4.1. 〇.2,对于第1£[1,幻棵决策树,从图像数据集0中随机抽取1^个样本,作为第1根决 策树的根节点样本集合;如果当前节点没有达到终止条件,则从图像特征向量中随机选取f 维特征;寻找能将该节点的样本最均匀的分成两类的特征i及其阈值th,当前节点上样本第 i维特征小于th的样本被划分到左节点,其余的被划分到右节点;如果当前节点达到终止条 件,则设置当前节点为叶子节点,该叶子节点的预测输出值为当前节点图像数据所对应的 血清总胆红素值的平均值;然后继续训练其他节点; 4.1. c. 3,重复4.1. c. 2,直到所有节点都训练过了或者被标记为叶子节点; 4.1. c. 4,重复4.1. c. 3,直到所有t棵决策树都被训练过; 步骤42,在线预测; a) 对于一张待测的输入图像,成功检测到比色卡,判断图像质量满足检测要求,并对图 像进行颜色校正,得到颜色校正后图像; b) 根据图像皮肤区域和比色卡上颜色区域,利用步骤41的步骤b中所述方法生成特征 向量; c) 使用步骤41得到的离线监督训练生成的决策树,对于第ie[l,t]棵决策树,从当前 决策树的根节点开始,根据当前节点的阈值th,判断是进入左节点(〈th)还是进入右节点 (多th),直到到达某个叶子节点,得到第i棵树的预测值;预测值为该叶子节点数据对应血 清总胆红素值的平均值; d) 重复步骤c,直到所有t棵决策树都得到了预测值; e) 计算所有决策树的预测值的平均值,作为血清总胆红素预测值。
10. -种新生儿黄疸的自动检测系统,其特征在于,包括如下依次相连接的模块: 比色卡检测模块,检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块 的分布情况,以此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定六个 彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测图像 中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是 则执行图像监控模块,否则认为未检测到比色卡; 图像监控模块,使用图像熵对图像进行质量监控,判断图像是否满足检测要求,满足则 执行颜色校正模块,否则认为图像不满足黄疸检测要求; 颜色校正模块:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像: 检测模块:使用机器学习的方法对多个颜色校正后的图像进行离线监督训练,并利用 离线监督训练的结果,通过分析新生儿胸部图像,预测其血清总胆红素值。
CN201510236782.3A 2015-05-11 2015-05-11 一种新生儿黄疸的自动检测方法及系统 CN104856680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510236782.3A CN104856680B (zh) 2015-05-11 2015-05-11 一种新生儿黄疸的自动检测方法及系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510236782.3A CN104856680B (zh) 2015-05-11 2015-05-11 一种新生儿黄疸的自动检测方法及系统
PCT/CN2015/093927 WO2016179981A1 (zh) 2015-05-11 2015-11-05 一种新生儿黄疸的自动检测方法及系统

Publications (2)

Publication Number Publication Date
CN104856680A CN104856680A (zh) 2015-08-26
CN104856680B true CN104856680B (zh) 2016-09-07

Family

ID=53903190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510236782.3A CN104856680B (zh) 2015-05-11 2015-05-11 一种新生儿黄疸的自动检测方法及系统

Country Status (2)

Country Link
CN (1) CN104856680B (zh)
WO (1) WO2016179981A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104856680B (zh) * 2015-05-11 2016-09-07 深圳贝申医疗技术有限公司 一种新生儿黄疸的自动检测方法及系统
EP3393353B1 (en) * 2015-12-22 2021-04-07 Picterus AS Image based bilirubin determination
CN105654469B (zh) * 2015-12-22 2018-11-16 深圳贝申医疗技术有限公司 一种婴儿大便颜色的自动分析方法及系统
CN105577982A (zh) * 2015-12-31 2016-05-11 深圳市金立通信设备有限公司 一种图像处理的方法及终端
CN105942984B (zh) * 2016-05-26 2018-08-28 中国科学院苏州生物医学工程技术研究所 黄疸检测方法及其装置
CN108185993A (zh) * 2018-01-31 2018-06-22 潘映含 一种舌像采集方法
CN109009132A (zh) * 2018-07-09 2018-12-18 京东方科技集团股份有限公司 一种黄疸监测方法及装置
CN109242792B (zh) * 2018-08-23 2020-11-17 广东数相智能科技有限公司 一种基于白色物体的白平衡校对方法
CN109480775A (zh) * 2018-10-29 2019-03-19 杭州市儿童医院 一种基于人工智能的新生儿黄疸识别装置、设备、系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2847176C2 (zh) * 1977-10-31 1982-05-06 Hitachi, Ltd., Tokyo, Jp
JP2880210B2 (ja) * 1989-12-05 1999-04-05 栄研化学株式会社 酵素法による抱合型ビリルビン比色定量法及び試薬
IL122500D0 (en) * 1995-06-07 1998-06-15 Chromatics Color Sciences Int Method and apparatus for detecting and measuring conditions affecting color
JP3520874B1 (ja) * 2003-06-24 2004-04-19 日本油脂株式会社 比色定量方法
CN102564983B (zh) * 2012-02-14 2013-12-18 天津大学 基于有限波长法的混沌介质成分浓度光学检测装置及方法
CN103604737B (zh) * 2013-12-10 2015-11-25 山东大学 一种自动化血细胞识别装置及工作方法
CN104856680B (zh) * 2015-05-11 2016-09-07 深圳贝申医疗技术有限公司 一种新生儿黄疸的自动检测方法及系统

Also Published As

Publication number Publication date
CN104856680A (zh) 2015-08-26
WO2016179981A1 (zh) 2016-11-17

Similar Documents

Publication Publication Date Title
Bhargava et al. Fruits and vegetables quality evaluation using computer vision: A review
CN104992142B (zh) 一种基于深度学习和属性学习相结合的行人识别方法
CN106203331B (zh) 一种基于卷积神经网络的人群密度估算方法
Wang et al. Hierarchical retinal blood vessel segmentation based on feature and ensemble learning
Lottes et al. Effective vision‐based classification for separating sugar beets and weeds for precision farming
US9390348B2 (en) Method for categorizing objects in image
Vesali et al. Development of an android app to estimate chlorophyll content of corn leaves based on contact imaging
Ercal et al. Neural network diagnosis of malignant melanoma from color images
Mur et al. Human object-similarity judgments reflect and transcend the primate-IT object representation
Zhang et al. Detecting diabetes mellitus and nonproliferative diabetic retinopathy using tongue color, texture, and geometry features
US9317740B2 (en) Demographic analysis of facial landmarks
CN103106397B (zh) 基于亮瞳效应的人脸活体检测方法
Li et al. Automated feature extraction in color retinal images by a model based approach
US9149179B2 (en) System and method for identifying eye conditions
Funke et al. Efficient automatic 3D-reconstruction of branching neurons from EM data
Mohebbi et al. Computer vision systems (CVS) for moisture content estimation in dehydrated shrimp
JP5116765B2 (ja) 塗色データベースの作成方法及びそのデータベースを用いた検索方法、並びにそれらのシステム、プログラム及び記録媒体
CN105184309B (zh) 基于cnn和svm的极化sar图像分类
Lupascu et al. Automated detection of optic disc location in retinal images
CN104598908B (zh) 一种农作物叶部病害识别方法
EP1977371B1 (en) Method and system for identifying illumination fields in an image
CN105975941A (zh) 一种基于深度学习的多方向车型检测识别系统
Meyer et al. Verification of color vegetation indices for automated crop imaging applications
CN103914699B (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
Allen et al. Capturing inter-subject variability with group independent component analysis of fMRI data: a simulation study

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
EXSB Decision made by sipo to initiate substantive examination
GR01 Patent grant
C14 Grant of patent or utility model