CN111062965A - 一种基于流水线的低复杂度双门限多分辨率嘴部检测方法 - Google Patents

Abstract

本发明属于图片识别算法领域，具体涉及一种双门限多分辨率嘴部检测方法。具体方案为：将原图转换为HSV格式；使位于H值确定门限范围内部位为1，其余为0，得第一二值化图像I₀；将第一二值化图像I₀分为U×V个像素块，每个块像素数量为S×T，得第二二值化图像I₁；将第一二值化图像I₀分为U×V个像素块，每个块像素数量为S×T，得第三二值化图像I₂；将第一二值化图像I₀分为P×Q个像素块，得第四二值化图像I₃；将第四二值化图像I₃恢复为U×V的第五二值化图像I₄；对第二二值化图像I₁和第五二值化图像I₄进行“与”操作，得第六二值化图像I₅；将第六二值化图像I₅还原为S×T的像素块，得第七二值化图像I₆；据第七二值化图像I₆嘴部区域顶点坐标在原图中确定嘴部区域。本发明可高效、可靠识别嘴部区域。

Description

一种基于流水线的低复杂度双门限多分辨率嘴部检测方法

技术领域

本发明属于图片处理领域，具体涉及一种基于流水线的低复杂度双门限多分辨率嘴部检测方法。

背景技术

嘴部检测是医学图像处理中人物特征检测的重要组成部分，在口腔疾病的自动检测和诊断方面有着广泛的应用。如何快速准确地把嘴部区域与背景分离一直都是口腔疾病自动化检测中研究的课题。在高实时的嘴部图像检测中，由于对图像处理的速度要求，目前常规的纯软件处理无法达到理想的效果。由于其串行的运行结构，单片机和ARM同样具有处理速度难以保证实时性的问题。DSP作为常用的数字信号处理器，具有专门的硬件乘法器，提供特殊的指令可快速实现各种数字图像处理算法，但相较于FPGA的并行流水线结构，在要求高分辨率和高实时性的应用条件下稍有差距。但与此同时，FPGA的图像处理同样存在问题：待处理原图像一般像素点较多，后续处理会耗费大量资源，而直接抽取降低图片分辨率又会造成处理后图像细节丢失。

因此，提供一种可兼顾处理速度与图像细节的多分辨率嘴部检测方法，在医学图像处理领域具有重要的现实意义。

发明内容

本发明的目的是提供一种可兼顾处理速度与图像细节的多分辨率嘴部检测方法。

为实现上述发明目的，本发明所采用的技术方案是：一种基于流水线的低复杂度双门限多分辨率嘴部检测方法，包括如下步骤：

(1)将原图转换为HSV格式；

(2)将HSV格式二值化，使位于H值确定门限范围内的部位为1，其余部位为0，得到包含M×N个像素的第一二值化图像I₀；

(3)将所述第一二值化图像I₀划分为U×V个像素块，每个块的像素数量为S×T，M＝U×S，N＝V×T；设定U、V、S、T、门限值t_b的值，t_b＜S×T/2，执行得第二二值化图像I₁；

(4)将所述第一二值化图像I₀划分为U×V个像素块，每个块的像素数量为S×T，M＝U×S，N×V×T；设定U、V、S、T、门限值t_u的值，S×T＞t_u＞t_b，执行得第三二值化图像I₂；

(5)将所述第一二值化图像I₀划分为P×Q个像素块，每个像素块数量为G×H，且G≥S，H≥T，则M＝P×G，N＝Q×H，记为第四二值化图像I₃；

(6)将所述第四二值化图像I₃恢复为像素块数量为U×V的第五二值化图像I₄；

(7)对所述第二二值化图像I₄和第五二值化图像I₄进行“与”操作，得到像素块数量为U×V的第六二值化图像I₅；

(8)将所述第六二值化图像I₅的每个像素值还原为一个S×T的像素块，生成像素块数量为M×N的第七二值化图像I₆；

(9)根据所述第七二值化图像I₆嘴部区域的四个顶点坐标在原图中确定嘴部区域。

优选的，步骤(2)中，H值的确定门限范围的确定方式为：

其中，0＜a＜1，b＞1。

优选的，步骤(3)中，第二二值化图像I₁各元素的值分别为I_1ij，计算I_ij像素值为1的个数X_ij，

X_ij＝A_ij*O，其中

算子“＇”表示转置；

优选的，步骤(4)中，第三二值化图像I₂各元素的值分为为I_2ij，

优选的，步骤(5)中，第四二值化图像I₃各像素块分别表示为

其中0≤m＜P，0≤n＜Q，令

的值为I_3mn，

其中

表示空集。

优选的，步骤(6)中，第五二值化图像I₄的各元素I_4ij的值为：

优选的，步骤(8)中，还原的方法为：若第六二值化图像I₅的某像素点为1，则重新构建一个S×T全为1的像素块；若第六二值化图像I₅的某像素点为0，则重新构建一个S×T全为0的像素块。

相应的，实现所述嘴部检测方法的检测结构，所述检测结构包括嘴部确定模块和嘴部显示模块，所述嘴部确定模块用于进行图像处理，所述嘴部显示模块将原图和嘴部确定模块处理后的数据结合起来，用于进行嘴部显示。

优选的，所述嘴部确定模块包括分辨率为U×V的二值化图像流水线结构，用于生成第二二值化图像I₁和第三二值化图像I₂；

所述分辨率为U×V的二值化图像流水线结构包括累加器始终ACC_ij、逻辑与门AND1和AND2、二选一多路开关M1、两路复用开关M2、比较器C1和C2；

所述二选一多路开关M1的输入端连接0、两路复用开关M2的输出端和逻辑与门AND2的输出端，所述累加器时钟ACC_ij的输入端输入二选一多路开关M1的输出信号及H分量，所述两路复用开关M2的输入端连接逻辑与门AND1的输出端、累加器时钟ACCij输出端，所述两路复用开关M2输出端与比较器C1的负输入端、比较器C2的正输入端相连。

优选的，所述嘴部确定模块包括分辨率为P×Q的二值化图像流水线结构，用于利用第三二值化图像I₂生成第四二值化图像I₃，

所述分辨率为P×Q的二值化图像流水线结构包括计数器CNT、若干个逻辑或门OR、P×Q路复用开关M3；

所述P×Q路复用开关M3控制端的连计数器CNT，输出端与P×Q个逻辑或门OR的输入端连接；各所述逻辑或门OR另一输入端与输出端并联。

本发明具有以下有益效果：本发明提供了一种适用于嘴部检测的算法和对应结构，可通过不同的门限值，生成反映差异细节的不同降低分辨率的二值化图像，以最终确认原始图像中嘴部区域。该算法通过了MATLAB仿真并成功在FPGA平台上进行了验证，结果表明其在具有低资源消耗的情况下兼有较高的处理效率，因此其可用于嘴部运动侦测。所述方法和结构也可外推应用至其它具有相对特定颜色的图像特征检测领域。

附图说明

图1为200×200像素的人像面部RGB示例图；

图2为图1的H值转换后示意图；

图3为图2二值化后获得的第一二值化图像I₀示意图；

图4为t_b＝20时的第二二值化图像I₁示意图；

图5为t_u＝360时的第三二值化图像I₂示意图；

图6为图5进行两次分辨率变换后图像示意图；

图7为对图4和图6进行“与”运算后的结果示意图；

图8为嘴部区域确认结果示意图；

图9为本发明的工作流程框图；

图10为H分量的排列示意图；

图11为双门限二值化图像生成结构示意图；

图12为分辨率G×H的二值化图像生成结构示意图。

具体实施方式

本发明提供了一种基于流水线的低复杂度双门限多分辨率嘴部检测方法。该方法包括如下步骤：

1、色调H值的转换。在脸部区域，嘴部和其它部位相比具有较为明显的色彩特性，因此可考虑色彩特征的检测方式。常用的颜色空间有RGB、HSV、YCbCr以及HSI等。因为相对其它部位，人脸中嘴唇中的红色居多，其色调H值位于0度左右。因此本文采用HSV模型进行脸部图像预处理。考虑到摄像头获取的原图为RGB格式，因此首先需对原图进行图像格式转换，即将原图由RGB格式转换为HSV格式。因为在本文中只考虑颜色特性，所以仅需作色调H转换。

假设所有的颜色都已归一化到范围[0,1]内，在RGB三个分量中设最大值为MAX，最小的为MIN。将原图由RGB格式为HSV格式的转换方式为：

H指色调H值，所述R、G、B分别指红、绿、蓝的分量，即在图像中的比重。

2、图像二值化。经步骤1对图像进行转换后，再将图像二值化，使含有较多红色分量的部位为1，其它部位为0，获得第一二值化图像I₀。具体方式为：

其中，0＜a＜1，b＞1。落入上述公式计算值范围内的定义为含有较多红色分量的部位。

上述过程具体以图1～8所示照片为示例。图1为一张200×200像素的RGB格式图。应当理解的是，图1、8以彩色效果示意时效果更佳，可明显看出嘴部区域存在红色分量远多于其余部位。因受限于专利撰写要求，将图1及图8转换为黑白图。图2为将图1进行色调H分量显示的结果,图3为将图2二值化后获得的第一二值化图像I₀；a取值为0.9，b取值为2。从图3中可见，除嘴部被二值化为1外，面部其它部位，衣物等背景都因为存在较少的红色分量而被二值化为0。同时，将原图像直接二值化后，像素点较多，后续处理会耗费大量资源。因此，需要在后续处理中降低分辨率。

3、双门限多分辨率识别。所述第一二值化图像I₀的像素数量为M×N。因嘴部红色成分相对密集，将M×N的第一二值化图像I₀划分为U×V个像素块，每个块的像素数量为S×T，则M＝U×S，N＝V×T。

令第一二值化图像I₀中各像素块分别表示为I_ij，其中0≤i＜U，0≤j＜V。I_ij中各元素a_{ij_t}(0≤t＜S×T)在内存中间隔顺序排列，表示为A_ij＝[a_{ij_0}，a_{ij_1}，…，a_{ij_S*T-1}]。

计算I_ij像素值为1的个数X_ij：X_ij＝A_ij*O′。其中

算子“＇”表示转置。

设定一个门限值t_b，其中，t_b＜S×T/2。即，设定第一二值化图像I₀的U、V、S、T和t_b，执行得第二二值化图像I₁。对于一个U×V的第二二值化图像I₁，其各元素的值分别为I_1ij，且

依然以图1～8所示照片为示例。将图1中图像设定为：U＝8，V＝8，S＝25，T＝25，t_b＝20，经过RGB模式转HSV模式后再二值化，得到第二二值化图像I₁，具体如图4所示。从图4中可见，第二二值化图像I₁最大可能地保留了嘴部区域，但也引入了一些非目标区域的干扰。

为排除非目标区域的干扰，同理，设定U、V、t_u，执行将第二二值化图像I₁转换为第三二值化图像I₂。所述第三二值化图像I₂的像素数量为U×V，其各元素的值分别为I_2ij。且

其中，S×T＞t_u＞t_b。

将图1中图像设定U＝8，V＝8，S＝25，T＝25，t_u＝360，经过RGB模式转HSV模式后再二值化后，得到第三二值化图像I₂，具体如图5所示。从图5中可见，除嘴部外，其它干扰区域因红色分量不够集中而被完全去除，但与此同时，嘴部区域也被大幅缩减。

由图4、5可见，第二二值化图像I₁和第三二值化图像I₂都是嘴部特征的反映。但第二二值化图像I₁值为1的像素不仅包含了嘴部，也包含了其它背景。而第三二值化图像I₂值为1的像素只包含了嘴部的部分区域，两者都不能准确完整确定嘴部区域。

因此，再次将I₀划分为P×Q个像素块，每个像素块数量为G×H，且G≥S，H≥T，则M＝P×G，N＝Q×H，记为第四二值化图像I₃。令第四二值化图像I₃中各像素块分别表示为

其中0≤m＜P，0≤n＜Q。令

的值为I_3mn，

其中

表示空集。

再把第四二值化图像I₃恢复为分辨率为U×V的第五二值化图像I₄。在第五二值化图像I₄中，各元素I_4ij的值为：

通过上述操作，第五二值化图像I₄尽可能地扩大了嘴部区域，但这也势必引入嘴部附近的其它背景。

依然以图1～8所示照片为示例。对图5进行两次分辨率变换后得到图6(即将第三二值化图像I₂转换为第五二值化图像I₄)。由图4和图6对比可见，图4中，第二二值化图像I₁包含了嘴部区域和其它与嘴部区域不连通的背景，嘴部相对准确。而图6中，第五二值化图像I₄包含嘴部区域及与嘴部区域连通的背景。对第二二值化图像I₁和第五二值化图像I₄进行“与”操作，以尽可能去除干扰区域。如图7所示，对图4和图6进行“与”操作，得到U×V的第六二值化图像I₅。

最后，将第六二值化图像I₅的每个像素值还原为一个S×T的像素块。还原方式为：若第六二值化图像I₅的某像素点为1，则重新构建一个S×T全为1的像素块；反之，若第六二值化图像I₅的某像素点为0，则重新构建一个S×T全为0的像素块。从而最终生成一个M×N的第七二值化图像I₆，并根据第七二值化图像I₆嘴部区域的四个顶点的坐标在原图确定嘴部区域。原图的嘴部确认后，结果如图8所示。

本发明还基于上述嘴部检测方法提供了一种具体的检测结构。本发明实现嘴部检测的方法的结构流程图如图9所示，主要包括如下步骤：将原始图像数据分成两路，一路移入图像处理部分，为“嘴部确定模块”，作嘴部区域确认；另一路移入图像显示部分，用于最终的嘴部显示。下面对本发明核心模块进行阐述。图9中的DDR3区域一和DDR3区域二均为存储器空间。DDR3区域一中保存原图像，用于在判断了嘴部边界后从原图像中取出嘴部图像。DDR3区域二中保存进行了色调H值的转换的图像(即第一二值化图像I₀)，用于生成I₁等其余用于判断嘴部边界的二值化图像。

1、分辨率为U×V的二值化图像的流水线结构展示，具体如图10和图11所示。图9中的图像数据(RGB格式)经中值滤波后，第二路数据(即进入“嘴部确定模块”的数据)进行H转换后作双门限多分辨率识别。数字摄像头依次串行输入原始RGB图像数据各行。H转换后，数据排列如图10所示。图10中，H分量根据时钟顺序产生，按行顺序储存。

第二二值化图像I₁和第三二值化图像I₂的各像素生成的结构框图如图11所示。对I_ij分别设置一个累加器时钟ACC_ij和两个门限判决器T_{ij_d}、T_{ij_u}。ACC_ij用于产生X_ij；T_{ij_d}和T_{ij_u}分别用于产生第二二值化图像I₁和第三二值化图像I₂。在开始I_ij的第一行计算时，ACC_ij的初始累加值清零。每个ACC_ij判断当前像素的值，若该值为1，则向上累加1；若当前行为I_ij是最后一行，则ACC_ij的值为X_ij。将X_ij和T_{ij_d}、T_{ij_u}进行比较判断，输出第二二值化图像I₁和第三二值化图像I₂的像素值I_1ij和I_2ij。如图11所示，ACC_ij为累加器时钟，AND1和AND2均为逻辑与门AND，M1为二选一多路开关，M2为两路复用开关，C1和C2为比较器。二选一多路开关M1有两个输入端、一个控制端，其中逻辑与门AND2作为控制端，控制二选一多路开关M1输出0，或控制输出两路复用开关M2的其中一输出端的输出。两路复用开关M2有一个输入端、两个输出端和一个控制端，逻辑与门AND1的输出端作为两路复用开关M2的控制端，控制两路复用开关M2的一个输出端输出与ACC_ij输出端相同的结果。

二选一多路开关M1的输入端连接有O、两路复用开关M2的输出端和逻辑与门AND2输出端。ACC_ij的输入端有二选一多路开关M1的输出信号和H分量输入。两路复用开关M2的输入端连接有逻辑与门AND1输出端和ACC_ij输出端，两路复用开关M2输出端与比较器C1的负输入端、比较器C2的正输入端相连接。比较器C1正输入端输入T_{ij_u}，比较器C1负输入端输入T_{ij_d}。比较器C1输出I_2ij信号，比较器C2输出I_1ij信号。逻辑与门AND1的输入信号包括I_ij当前编号和I_ij最后一行编号。逻辑与门AND2的输入信号包括I_ij当前编号和I_ij第一行编号。由图2可知，在第一个H分量输入后第T(VS-V+1)个时钟可得到I₁₀₀和I₂₀₀，之后每隔T个时钟可得到b_0j和u_0j(0＜j＜V)。再等待T(VS-V+1)个时钟可得到I_10j和I_20j，依此类推。需要注意的是，在得到I₁₀₀和I₂₀₀后，ACC₀₀即可开始进行下一帧图像的判决，即连续两帧图像输入距离仅间隔T(V×S-V+1)个时钟，而常规的连续处理需要间隔U×V×S×T个时钟，本发明提供的方法极大提高了处理速度。

2、分辨率为P×Q的二值化图像流水线结构展示，具体如图11和图12所示。分辨率为P×Q的第四二值化图像I₃在所述第三二值化图像I₂的基础上计算获得。从图11可知，所述第三二值化图像I₂的各元素按行串行产生，则初始化第四二值化图像I₃的各元素I_3mn＝0，可得第四二值化图像I₃的二值化图像结构如图12所示。

如图12所示，该流水线结构包括计数器CNT、P×Q个逻辑或门OR和P×Q路复用开关M3。各复用开关M3的输入端分别输入I_2ij信号，控制端分别连接计数器CNT，输出端分别与P×Q个逻辑或门OR的输入端连接。每个逻辑或门OR的另一输入端分别与输出端并联，各输入信号I₃₀₀～I_3(P-1)(Q-1)。

P×Q路复用开关M3由一个输入端、一个控制端和P×Q个输出端组成，输入端输入I_2ij信号，计数器CNT作为控制器，控制若干个输出端中某一个输出端输出值与I_2ij信号相同。

图12中，各元素I_3mn分别分配一个逻辑或门OR，其切换由计数器CNT控制。当m×G≤i＜(m+1)×G且n×H≤j＜(n+1)×H时，M3切换到I_3mn。如此，在I₂₀₀输入后第H(QG-Q+1)个时钟可得到I₃₀₀，之后每隔H个时钟可得到I_30n(0＜n＜Q)。再等待H(QG-Q+1)个时钟可得到I₃₁₀，依此类推。因为分辨率差异，图12中时钟为图11中时钟的1/G×H。

根据上述方法和对应结构，以Xilinx公司的XC6SLX15 FPGA作为开发平台(参照：Xilinx FPGA用户手册.Spartan-6 Family Overview.October 25,2011)，以200×200的RGB图像作为输入图像，综合和时序约束后共消耗1138个Slice Registers，占总资源6％；共2178个Slice LUTs，占总资源24％。系统时钟可达150MHz。

Claims (10)

1.一种基于流水线的低复杂度双门限多分辨率嘴部检测方法，其特征在于：包括如下步骤：

(1)将原图转换为HSV格式；

(2)将HSV格式二值化，使位于H值确定门限范围内的部位为1，其余部位为0，得到包含M×N个像素的第一二值化图像I₀；

(3)将所述第一二值化图像I₀划分为U×V个像素块，每个块的像素数量为S×T，M＝U×S，N＝V×T；设定U、V、S、T、门限值t_b的值，t_b＜S×T/2，执行得第二二值化图像I₁；

(4)将所述第一二值化图像I₀划分为U×V个像素块，每个块的像素数量为S×T，M＝U×S，N＝V×T；设定U、V、S、T、门限值t_u的值，S×T＞t_u＞t_b，执行得第三二值化图像I₂；

(5)将所述第一二值化图像I₀划分为P×Q个像素块，每个像素块数量为G×H，且G≥S，H≥T，则M＝P×G，N＝Q×H，记为第四二值化图像I₃；

(6)将所述第四二值化图像I₃恢复为像素块数量为U×V的第五二值化图像I₄；

(7)对所述第二二值化图像I₁和第五二值化图像I₄进行“与”操作，得到像素块数量为U×V的第六二值化图像I₅；

(8)将所述第六二值化图像I₅的每个像素值还原为一个S×T的像素块，生成像素块数量为M×N的第七二值化图像I₆；

(9)根据所述第七二值化图像I₆嘴部区域的四个顶点坐标在原图中确定嘴部区域。

2.根据权利要求1所述的基于流水线的低复杂度双门限多分辨率嘴部检测方法，其特征在于：步骤(2)中，H值的确定门限范围的确定方式为：

其中，0＜a＜1，b＞1。

3.根据权利要求1所述的基于流水线的低复杂度双门限多分辨率嘴部检测方法，其特征在于：步骤(3)中，第二二值化图像I₁各元素的值分别为I_1ij，计算I_ij像素值为1的个数X_ij，

X_ij＝A_ij*O′，其中

算子“′”表示转置；

4.根据权利要求1所述的基于流水线的低复杂度双门限多分辨率嘴部检测方法，其特征在于：步骤(4)中，第三二值化图像I₂各元素的值分别为I_2ij，

5.根据权利要求4所述的基于流水线的低复杂度双门限多分辨率嘴部检测方法，其特征在于：步骤(5)中，第四二值化图像I₃各像素块分别表示为

其中0≤m＜P，0≤n＜Q，令

的值为I_3mn，

其中

表示空集。

6.根据权利要求1所述的基于流水线的低复杂度双门限多分辨率嘴部检测方法，其特征在于：步骤(6)中，第五二值化图像I₄的各元素I_4ij的值为：

7.根据权利要求1所述的基于流水线的低复杂度双门限多分辨率嘴部检测方法，其特征在于：步骤(8)中，还原的方法为：若第六二值化图像I₅的某像素点为1，则重新构建一个S×T全为1的像素块；若第六二值化图像I₅的某像素点为0，则重新构建一个S×T全为0的像素块。

8.实现权利要求1～7任意一项所述嘴部检测方法的检测结构，其特征在于：所述检测结构包括嘴部确定模块和嘴部显示模块，所述嘴部确定模块用于进行图像处理，所述嘴部显示模块将原图和嘴部确定模块处理后的数据结合起来，用于进行嘴部显示。

9.根据权利要求8所述的嘴部检测方法的检测结构，其特征在于：所述嘴部确定模块包括分辨率为U×V的二值化图像流水线结构，用于生成第二二值化图像I₁和第三二值化图像I₂；

所述分辨率为U×V的二值化图像流水线结构包括累加器始终ACC_ij、逻辑与门AND1和AND2、二选一多路开关M1、两路复用开关M2、比较器C1和C2；

所述二选一多路开关M1的输入端连接0、两路复用开关M2的输出端和逻辑与门AND2的输出端，所述累加器时钟ACC_ij的输入端输入二选一多路开关M1的输出信号及H分量，所述两路复用开关M2的输入端连接逻辑与门AND1的输出端、累加器时钟ACCij输出端，所述两路复用开关M2输出端与比较器C1的负输入端、比较器C2的正输入端相连。

10.根据权利要求9所述的嘴部检测方法的检测结构，其特征在于：所述嘴部确定模块包括分辨率为P×Q的二值化图像流水线结构，用于利用第三二值化图像I₂生成第四二值化图像I₃，

所述分辨率为P×Q的二值化图像流水线结构包括计数器CNT、若干个逻辑或门OR、P×Q路复用开关M3；

所述P×Q路复用开关M3控制端的连计数器CNT，输出端与P×Q个逻辑或门OR的输入端连接；各所述逻辑或门OR另一输入端与输出端并联。

Images