CN114299094A - 一种基于块选择与扩展的输液瓶图像感兴趣区域提取方法 - Google Patents

Abstract

本发明公开了一种基于块选择与扩展的输液瓶图像感兴趣区域提取方法，所述方法首先将图像分成一些规则的子块，每个子块的特征被提取出来与整幅图像的特征进行比较，选择出满足一定条件的子块。然后在这些被选择的子块中选择出标准差最小的子块，并在这个子块上进行扩展，得到ROI的近似区域。最后ROI的近似区域被进一步分成子区域，对子区域进行特征提取，满足一定特征的子区域被选取出来，在选择的子区域的基础上进行扩展得到的区域即为最终确定的ROI。本发明采用的图像特征简单，计算量小，计算速度块，降低了数据运算成本，大幅度节约运行时间，提高了ROI的提取效率。

Description

一种基于块选择与扩展的输液瓶图像感兴趣区域提取方法

技术领域

本发明属于图像处理领域，涉及一种基于块选择与扩展的输液瓶图像感兴趣区域提取方法。

背景技术

随着人工智能技术的发展，数字智慧医疗概念被提出来并且随着技术的成熟逐渐发展起来，在一定程度上解决了医疗系统效率低、成本高的问题。目前，手术机器人、基于医学影像的计算机辅助诊断等都逐渐发展并且应用在实际临床诊疗中。然而静脉输液作为临床救治常用的方式却没有达到足够的智能化和自动化。目前在实际的临床医疗环境中，输液时的液面仍然依赖于人的关注。这对于护士以及病人与病人家属都是一件花费时间且劳累的事情，这极大地限制了智慧医疗的发展。所以如何实现静脉输液的液面检测与自动预警成为智能化和自动化静脉输液系统的关键性问题。

与此同时，在静脉输液的过程中，需要时刻注意液面的变化，如果没有及时注意到输液结束，输液瓶会变空，血液可能会回流。情况较轻时，患者在注射部位会有肿胀和疼痛；情况较严重时，可能导致患者休克。一直以来，在医疗输液中，不能及时检查输液瓶液位变化都是困扰患者和医护人员的一大难题。所以如何解决液面的检测问题是改善医疗环境、减轻医护人员负担、提高患者就医体验的里程碑式的一步。

基于图像处理的输液瓶液位检测方法被提出来，实现了在干净的背景下对输液瓶所在的区域通过摄像头进行成像，并对该图像进行处理，进而实现了液面检测和自动预警功能。但是目前的研究都是基于干净单一的背景，对于实际的应用存在一定的局限性。由于临床治疗环境通常是复杂的，对于输液瓶的液面检测与自动预警仍然是一个挑战。所以如何在复杂背景下实现液面检测成为一个关键性问题，而在复杂背景的液位检测中识别并提取出输液瓶的区域是在液位检测中一个重要的步骤。感兴趣区域(region of interest，简称ROI)是图像中人们感兴趣的区域，在实际的应用场景中，往往希望图像中主要含有ROI，并且希望图像中的背景信息和干扰信息尽可能的少，所以对于图像ROI提取领域的研究是十分重要的课题。实现复杂背景下的输液瓶区域的提取，可以减少图像中的背景信息，减少干扰，使得输液过程中的液位检测难度更小，然而目前的研究中，对于输液过程中的输液瓶图像的ROI提取还没有有效的算法。

发明内容

为了解决输液瓶图像中的ROI提取问题，本发明提供了一种基于块选择与扩展的输液瓶图像感兴趣区域提取方法。在不同背景不同光线输液瓶图像中，结合本发明提出的方法，能够通过图像的全局与局部的均值与标准差的图像特征进行选择，再将选择的区域以一定的裕度进行扩展，从而实现对输液瓶区域(ROI)的提取，对复杂背景中的输液瓶区域的提取提供进一步的指导。

本发明的目的是通过以下技术方案实现的：

一种基于块选择与扩展的输液瓶图像感兴趣区域提取方法，包括如下步骤：

步骤一：将图像分割成规则的子块，计算整幅图像和每个子块的均值和标准差，根据整幅图像的均值和标准差特征设定一定的阈值，选取出满足ROI均值和标准差特征的子块；

步骤二：根据步骤一中选择的满足ROI均值和标准差特征的子块，选择出标准差最小的子块，并在该子块的基础上进行扩展，扩展后的区域确定为ROI的近似区域；

步骤三：将步骤二中获得的ROI的近似区域进行进一步的划分，将该区域划分为比步骤一中更小的子区域，计算每个子区域的标准差，再根据步骤一中计算的整幅图像的标准差设定一定的阈值，提取出更接近ROI标准差特征的子区域；

步骤四：在步骤三选取的子区域基础上进行两次扩展，首先将步骤三中选择的子区域连通起来，再以一定的裕度进行扩展，扩展得到的区域即为最终的ROI区域。

本发明基于块选择与扩展的输液瓶图像的感兴趣区域的提取，分析了图像中的全局与局部的均值与标准差特征，并将图像全局信息与局部信息进行比较，再根据比较结果选择满足一定条件的块，并在块的基础上进行扩展，从而实现了复杂背景下的输液瓶区域的提取。相比于现有技术，本发明具有如下优点：

1、本发明根据图像的全局和局部特征，采用均值和标准差两种特征来表征输液瓶的成像区域。并且根据输液瓶区域与整幅图像的特征的相关性以及输液瓶区域与其他区域的图像特征的差异，以整幅图像的均值和标准差设定一定的阈值对图像的子区域进行选取。相比现有技术，采用的图像特征简单，计算量小，计算速度块，降低了数据运算成本，大幅度节约运行时间，提高了ROI的提取效率。

2、本发明根据图像的特征进行ROI的提取，并将其应用于输液瓶的成像中，对复杂背景的图像进行输液瓶区域(ROI)的提取，补充了输液瓶图像中ROI提取的方法。本发明在复杂背景和光线下实现了输液瓶图像的ROI提取，对输液系统中的液面检测降低了难度，对智能输液系统有一定的指导意义。

附图说明

图1为本发明基于块选择与扩展的输液瓶感兴趣区域的提取方法的流程图。

图2为数字图像的示意图。

图3为图像划分成n×m的子块示意图。

图4为满足均值和标准差条件的子块图。

图5为满足条件的子块中选择的最小标准差子块图。

图6为ROI的近似区域示意图。

图7为ROI的近似区域划分示意图。

图8为满足标准差条件的子区域图。

图9为ROI区域示意图。

图10为复杂背景的输液瓶图像。

图11为本发明中ROI提取步骤一示意图。

图12为本发明中ROI提取步骤二示意图。

图13为本发明中ROI提取步骤三示意图。

图14为本发明中ROI提取结果图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于块选择与扩展的输液瓶图像感兴趣区域提取方法，所述方法根据输液瓶图像区域的灰度值通常变化范围小，其具有均值比较稳定、标准差较小的特征，首先将图像分成一些规则的子块，每个子块的特征被提取出来与整幅图像的特征进行比较，选择出满足一定条件的子块。然后在这些被选择的子块中选择出标准差最小的子块，并在这个子块上进行扩展，得到ROI的近似区域。最后ROI的近似区域被进一步分成子区域，对子区域进行特征提取，满足一定特征的子区域被选取出来，在选择的子区域的基础上进行扩展得到的区域即为最终确定的ROI。如图1所示，具体步骤如下：

步骤一：将图像分割成一些规则的子块，计算整幅图像和每个子块的均值和标准差，根据整幅图像的均值和标准差特征设定一定的阈值，选取出满足ROI均值和标准差特征的子块。具体步骤如下：

1)输入输液瓶的数字图像，得到图像的行数R和列数C，根据图像每一个像素的灰度值f(α,β)，如图2所示，计算整幅图像的均值和标准差，计算公式如下：

其中G_m为全局的均值，G_std为全局的标准差，α、β分别代表第α行第β列，是像素点的位置坐标。

2)将整个图像分成n×m的子块(即：将图像分成n行，每一行有m个子块)，如图3所示。每个子块的大小记为R_sub×C_sub，其中R_sub＝[R/n]，C_sub＝[C/m]，[·]表示取整操作。将第i行和第j列的区域表示为I(i,j)：

I(i,j)＝{f(α,β)|α∈[α_subfirst(i),α_sublast(i)],β∈[β_subfirst(j),β_sublast(j)]}；

其中i∈[1,n]，j∈[1,m]，

α_subfirst(i)，α_sublast(i)，β_subfirst(j)和β_sublast(j)可由以下公式计算得到：

3)将每个子块的均值和标准差分别记为I_m(i,j)和I_std(i,j)，计算每个子块的均值I_m(i,j)和标准差I_std(i,j)：

4)根据计算的全局的均值G_m和标准差G_std设定一定的阈值来选取满足条件的子块：

其中Δ、λ₁和λ₂是经验值，由工程经验决定。根据设定的阈值进行初步筛选，选取出满足ROI区域的均值和标准差条件的子块，如图4所示。将满足条件的子块记为I_select(i,j)，这些子块的标准差记为I_{select_std}(i,j)，这些子块构成的集合记为mROI，表示如下：

步骤二：根据步骤一中选择的满足ROI均值和标准差特征的子块，选择出标准差最小的子块，并在该子块的基础上进行扩展，扩展后的区域确定为ROI的近似区域。具体步骤如下：

1)选择出mROI中具有最小标准差的子块，记为I_select(X,Y)，其中X∈[1,n],Y∈[1,m]

如图5中所示，其中阴影子块即为I_select(X,Y)：

其中X表示最小标准差子块的行数，Y表示其列数；

2)基于I_select(X,Y)，对这个子块进行进一步的扩展，I_select(X,Y)的第一列和最后一列分别表示为C_first和C_last，并且可以由以下公式计算得到：

在扩展的过程中，子块的行被扩展为图像的所有行，子块的列按照一定的裕度进行扩展，扩展后的区域记为M，表示为：

M＝{f(α,β)|α＝1,...,R；β＝C_first-mgn1,...,C_last+mgn2}；

其中mgn1表示区域在列的方向向左扩展的裕度，mgn2表示区域在列的方向向右扩展的裕度，可由以下公式计算得到：

其中μ是一个参数，μ∈[0,1]，由图像的特征和实际情况决定。扩展后的区域如图6中阴影部分所示。

步骤三：将步骤二中获得的ROI的近似范围进行进一步的划分，将该区域划分为一些比步骤一中更小的子区域，计算每个子区域的标准差，再根据步骤一中计算的整幅图像的标准差设定一定的阈值，提取出更接近ROI标准差特征的子区域。具体步骤如下：

1)得到上述扩展后的区域M后，进一步对该区域进行划分，将该区域划分为x×1个子区域，其中x＞n，如图7所示。每个子区域的大小为R'_sub×C'_sub，R'_sub＝[R/x]，C'_sub＝C_sub+mgn1+mgn2。第a行的区域记为MI(a)：

MI(a)＝{f(α,β)|α∈[α'_subfirst(a),α'_sublast(a)]；β∈[β'_subfirst,β'_sublast]}；

其中a∈[1,x]且

α'_subfirst(a)，α'_sublast(a)，β'_subfirst和β'_sublast分别表示区域的上下左右四条边界，可由以下公式计算得到：

2)计算每个子区域的均值和标准差，分别记为MI_m(a)和MI_std(a)：

3)根据图像全局的标准差设定阈值TH_std选取属于ROI的子区域MI(a)，如图8所示，TH_std可由以下公式计算得到：

TH_std＝λG_std；

其中λ是一个经验值，由工程经验决定。属于ROI的子区域MI(a)通过这个阈值被选择出来，并记录其索引为index。

步骤四：在步骤三选取的子区域基础上进行两次扩展，首先将步骤三中选择的子区域连通起来，再以一定的裕度进行扩展，扩展得到的区域即为最终的ROI区域。具体步骤如下：

1)由于ROI是连通的，所以第一个属于ROI区域的子块和最后一个属于ROI区域的子块中间的区域也属于ROI。

2)设属于ROI区域的第一个子块的第一行为R_first，属于ROI区域的最后一个子块的最后一行为R_last，R_first和R_last可由以下公式计算得到：

以一定的裕度扩展该区域的行，最终确定的ROI区域描述如下：

ROI＝{f(α,β)|α＝R_first-mgn3,...,R_last+mgn4,j＝C_first-mgn1,...C_last+mgn2}；

其中mgn3、mgn4表示裕度，取值为：

其中γ为参数，γ∈[0,1]，由图像特征以及实际情况决定。最后提取出的区域，即ROI如图9所示。

下面结合实拍的复杂背景的输液瓶图像说明本发明的具体实施方式。

实验所用的复杂背景的照片如图10所示，图片的尺寸均为1080×1920，以图10为例，展示本发明中的ROI提取方法。

执行步骤一：输入输液瓶的数字图像，得到图像的行数1080和列数1920，即R＝1080，C＝1920，根据图像每一个像素的灰度值f(α,β)，计算整幅图像的均值和标准差，计算公式如下：

将整个图像分成6×5的子块。每个子块的大小记为180×384，其中R_sub＝180，C_sub＝384，将第i行和第j列的区域表示为I(i,j)：

I(i,j)＝{f(α,β)|α∈[i+179(i-1),180i],β∈[j+383(j-1),384j]}；

其中，i∈[1,n]，j∈[1,m]，

α_subfirst(i)，α_sublast(i)，β_subfirst(j)和β_sublast(j)可由以下公式计算得到：

计算每个子块的均值和标准差，将每个子块的均值和标准差分别记为I_m(i,j)和I_std(i,j)：

根据计算的全局的均值和标准差设定一定的阈值来选取满足条件的子块：

其中Δ＝10，λ₁＝0.6和λ₂＝1.5是经验值，调试过程中进行选取。根据设定的阈值进行初步筛选，选取出满足ROI区域的均值和标准差条件的子块。将满足条件的子块记为I_select(i,j)，这些子块的标准差记为I_{select_std}(i,j)，这些子块构成的集合记为mROI，表示如下：

如图11所示，选择的子块为I(4,3)，I(4,4)，I(6,2)，I(6,3)。

执行步骤二：选择出mROI中具有最小标准差的子块为I_select(4,3)，基于I_select(4,3)，对这个子块进行进一步的扩展，I_select(4,3)的第一列和最后一列分别表示为C_first和C_last，并且可以由以下公式计算得到：

计算得到的

在扩展的过程中，子块的行被扩展为图像的所有行，子块的列按照一定的裕度mgn1,mgn2进行扩展，计算公式如下：

取μ＝0.02，所得的裕度为mgn1＝38，mgn2＝38，扩展后的区域记为M(x,y)，表示为：

M(x,y)＝{f(α,β)|α＝1,...,1080；β＝731,...,1190}。

扩展后的区域如图12所示。

执行步骤三：将步骤二中获得的ROI的近似范围进行进一步的划分，将该区域划分为12×1(x＝12)的子区域，每个子区域的大小为90×460，其中R'_sub＝90，C'_sub＝460。第a行的区域记为MI(a)：

MI(a)＝{f(α,β)|α∈[a+89(a-1),90a]；β∈[731,1190]}。

计算每个子区域的均值和标准差，分别记为MI_m(a)和MI_std(a)：

根据图像全局的标准差设定阈值选取属于ROI的子区域，取λ＝0.9。

TH_std＝0.9G_std

属于ROI的子区域通过这个阈值被选择出来，并记录其索引为index。

将ROI的近似范围进一步划分，提取出满足ROI标准差特征的子区域，如图13所示，满足ROI标准差特征的子区域为MI(2)，MI(3)，MI(4)，MI(5)，MI(6)，MI(7)，MI(9)，MI(10)，MI(11)。

执行步骤四：在步骤三选取的子区域基础上进行扩展，确定ROI区域，设选择的第一块子区域为MI(2)，其第一行为R_first＝91，选择的最后一子区域为MI(11)，其最后一行为R_last＝979，计算公式如下：

选择的第一块和最后一块的区域中间的区域也属于ROI，再根据一定的裕度进行扩展，根据下式计算裕度：

取γ＝0.05，所得的裕度为mgn3＝54，mgn4＝54，最终确定的ROI区域为：

ROI＝{f(α,β)|α＝37,...,1033；j＝731,...,1190}。

如图14所示，采用本发明的方法成功地从一个复杂背景输液瓶图像中提取出了感兴趣的区域，即输液瓶区域，有效减少了图中的背景信息，减少了干扰，证明了本发明的有效性。

Claims (10)

1.一种基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述方法包括如下步骤：

步骤一：将图像分割成规则的子块，计算整幅图像和每个子块的均值和标准差，根据整幅图像的均值和标准差特征设定一定的阈值，选取出满足ROI均值和标准差特征的子块；

步骤二：根据步骤一中选择的满足ROI均值和标准差特征的子块，选择出标准差最小的子块，并在该子块的基础上进行扩展，扩展后的区域确定为ROI的近似区域；

步骤三：将步骤二中获得的ROI的近似区域进行进一步的划分，将该区域划分为比步骤一中更小的子区域，计算每个子区域的标准差，再根据步骤一中计算的整幅图像的标准差设定一定的阈值，提取出更接近ROI标准差特征的子区域；

步骤四：在步骤三选取的子区域基础上进行两次扩展，首先将步骤三中选择的子区域连通起来，再以一定的裕度进行扩展，扩展得到的区域即为最终的ROI区域。

2.根据权利要求1所述的基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述步骤一的具体步骤如下：

1)输入输液瓶的数字图像，得到图像的行数R和列数C，根据图像每一个像素的灰度值f(α,β)，计算整幅图像的均值G_m和标准差G_std；

2)将整个图像分成n×m的子块，每个子块的大小记为R_sub×C_sub，其中R_sub＝[R/n]，C_sub＝[C/m]，[·]表示取整操作，将第i行和第j列的区域表示为I(i,j)；

3)将每个子块的均值和标准差分别记为I_m(i,j)和I_std(i,j)，计算每个子块的均值I_m(i,j)和标准差I_std(i,j)；

4)根据计算的全局的均值G_m和标准差G_std设定一定的阈值来选取满足条件的子块：

其中Δ、λ₁和λ₂是经验值；根据设定的阈值进行初步筛选，选取出满足ROI区域的均值和标准差条件的子块，将满足条件的子块记为I_select(i,j)，这些子块的标准差记为I_{select_std}(i,j)，这些子块构成的集合记为mROI，表示如下：

3.根据权利要求2所述的基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述G_m、G_std、I(i,j)、I_m(i,j)和I_std(i,j)的计算公式如下：

I(i,j)＝{f(α,β)|α∈[α_subfirst(i),α_sublast(i)],β∈[β_subfirst(j),β_sublast(j)]}；

其中G_m为全局的均值，G_std为全局的标准差，i∈[1,n]，j∈[1,m]，

α_subfirst(i)，α_sublast(i)，β_subfirst(j)和β_sublast(j)由以下公式计算得到：

4.根据权利要求1所述的基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述步骤二的具体步骤如下：

1)选择出mROI中具有最小标准差的子块，记为I_select(X,Y)，其中

2)基于I_select(X,Y)，对这个子块进行进一步的扩展，在扩展的过程中，子块的行被扩展为图像的所有行，子块的列按照一定的裕度进行扩展，扩展后的区域记为M(x,y)，表示为：

M(x,y)＝{f(α,β)|α＝1,...,R；β＝C_first-mgn1,...,C_last+mgn2}；

其中mgn1表示区域在列的方向向左扩展的裕度,mgn2表示区域在列的方向向右扩展的裕度。

5.根据权利要求4所述的基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述I_select(X,Y)为：

其中X表示最小标准差子块的行数，Y表示其列数；

mgn1、mgn2由以下公式计算得到：

其中μ是一个参数，μ∈[0,1]。

6.根据权利要求4所述的基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述I_select(X,Y)的第一列和最后一列分别表示为C_first和C_last，C_first和C_last由以下公式计算得到：

7.根据权利要求1所述的基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述步骤三的具体步骤如下：

1)得到扩展后的区域M后，进一步对该区域进行划分，将该区域划分为x×1个子区域，其中x＞n，每个子区域的大小为R'_sub×C'_sub，R'_sub＝[R/x]，C'_sub＝C_sub+mgn1+mgn2，第a行的区域记为MI(a)；

2)计算每个子区域的均值MI_m(a)和标准差MI_std(a)；

3)根据图像全局的标准差设定阈值TH_std选取属于ROI的子区域MI(a)，并记录其索引为index，其中：

TH_std＝λG_std；

其中λ是一个经验值。

8.根据权利要求7所述的基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述MI(a)、MI_m(a)和MI_std(a)的计算公式为：

MI(a)＝{f(α,β)|α∈[α'_subfirst(a),α'_sublast(a)]；β∈[β'_subfirst,β'_sublast]}；

其中a∈[1,x]且

α'_subfirst(a)，α'_sublast(a)，β'_subfirst和β'_sublast分别表示区域的上下左右四条边界，由以下公式计算得到：

9.根据权利要求1所述的基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述步骤四的具体步骤如下：

设属于ROI区域的第一个子块的第一行为R_first，属于ROI区域的最后一个子块的最后一行为R_last；以一定的裕度扩展该区域的行，最终确定的ROI区域描述如下：

ROI＝{f(α,β)|α＝R_first-mgn3,...,R_last+mgn4,j＝C_first-mgn1,...C_last+mgn2}；

其中mgn3、mgn4表示裕度，取值为：

其中γ为参数，γ∈[0,1]。

10.根据权利要求9所述的基于块选择与扩展的输液瓶图像感兴趣区域提取方法，其特征在于所述R_first和R_last由以下公式计算得到：

Images