CN104700424B

CN104700424B - 医用彩色电子内窥镜图像坏点检测装置

Info

Publication number: CN104700424B
Application number: CN201510144325.1A
Authority: CN
Inventors: 孙欣; 王向东; 陶豹; 任宏伟; 秦霄雯; 崔涛; 闫欣
Original assignee: Shandong Institute of Metrology
Current assignee: Shandong Institute of Metrology
Priority date: 2015-03-30
Filing date: 2015-03-30
Publication date: 2017-07-11
Anticipated expiration: 2035-03-30
Also published as: CN104700424A

Abstract

一种医用彩色电子内窥镜图像坏点检测装置，包括图像采集单元、RGB分解单元、二值化预判单元、显示与输入单元和坏点裁决单元；图像采集单元与RGB分解单元相连，采集被测电子内窥镜的输出图像并传输至RGB分解单元；RGB分解单元分别与图像采集单元和二值化预判单元相连，将图像采集单元采集到的原始图像分解为R、G和B三个分量图像，并传输至二值化预判单元；显示与输入单元，分别与二值化预判单元和坏点裁决单元相连；二值化预判单元分别与RGB分解单元、显示与输入单元和坏点裁决单元相连；坏点裁决单元分别与二值化预判单元和显示与输入单元相连，进行坏点判定。该装置便于在使用环节的各个领域进行坏点检测，不仅兼顾了识别效率，还有效地减少了误判。

Description

医用彩色电子内窥镜图像坏点检测装置

技术领域

本发明涉及一种用于检测医用彩色电子内窥镜图像坏点的装置，属于电子内窥镜图像坏点检测技术领域。

背景技术

医用电子内窥镜是一种重要的医学诊疗设备。图像坏点是影响电子内窥镜图像质量的重要因素，是评价电子内窥镜性能的核心指标，在很大程度上影响着诊疗效果，关乎病人安全。彩色电子内窥镜是近年来发展较快、使用较广泛的一种医用内窥镜。彩色电子内窥镜属于高档医疗设备，价格较为昂贵，设备精密易损。使用者及医疗机构通常特别关注彩色电子内窥镜图像坏点的情况。在使用过程中，随着使用时间增长，内窥镜易产生若干坏点，使用者希望在日常维护和质控工作中对这些图像坏点进行检测以掌握内窥镜的质量情况，从而判断其性能是否仍能满足临床使用要求以及是否需要维修。在彩色电子内窥镜购置验收或在内窥镜维修(特别是委托外单位进行的维修)后验收等情况下，也需要对内窥镜的坏点进行检测。由此可见，在使用环节中，彩色电子内窥镜的图像坏点检测具有重要意义。

然而，在使用环节中进行坏点检测，不同于在研发、生产、组装过程中的坏点检测，有其独特的技术难点。在使用环节进行坏点检测，一般不能对被测内窥镜进行拆卸，因此无法获得其图像传感器直接输出的原始信号，这使得现有技术中许多专门针对图像传感器原始信号的坏点检测技术无法得以应用。通过被测内窥镜的图像输出接口，可以获得其图像信号。但如此获得的图像已被内窥镜实施了预处理。这种预处理通常主要是彩色插值，有时也包括颜色校正。彩色插值是彩色成像设备为了获取彩色图像所必不可少的过程，这是由彩色图像传感器的成像原理所决定的。彩色图像传感器是在黑白图像传感器的基础上加装一层彩色滤波阵列(CFA)而实现的。该彩色滤波阵列多采用Bayer阵列。由于CFA的作用，彩色图像传感器的单个感光单元只能接收R、G、B三色中的某一种颜色的信号。因此，由彩色图像传感器得到的原始信号必须经过彩色插值才能获得完整的彩色图像。为了得到更好的色彩效果，彩色图像有时还需要经过颜色校正处理。彩色插值和颜色校正都会使坏点与其周围正常点的差异减小，从而使坏点识别难度加大。另外，坏点检测方法或装置的现有技术的核心思想都是针对灰度图像(或称黑白图像)的，用于彩色成像设备的坏点检测需要先将彩色图像进行灰度化，然后再使用灰度图像坏点识别方法来进行检测。彩色图像的灰度化也使得图像中的坏点与其周围正常点的差异减小，进一步增加了坏点检测的难度，易出现漏判的情况。综上所述，在医用彩色电子内窥镜使用环节中对其图像坏点进行检测，只能使用电子内窥镜输出的经过处理的彩色图像来进行坏点识别与检测，而彩色插值、颜色校正、灰度化等处理过程使图像坏点与周围正常点的差异大大减小，使得现有技术无法适用或坏点识别率大大降低。

因此，需要提出一种专门用于医用彩色电子内窥镜图像坏点检测的装置。

发明内容

针对现有医用彩色电子内窥镜图像坏点检测技术存在的不足，本发明提出一种医用彩色电子内窥镜图像坏点检测装置。该装置能够适用于医用彩色电子内窥镜使用环节中对其图像坏点进行检测，坏点识别率高。

本发明的医用彩色电子内窥镜图像坏点检测装置，包括图像采集单元、RGB分解单元、二值化预判单元、显示与输入单元和坏点裁决单元：

(1)图像采集单元，与RGB分解单元相连，用于采集被测医用彩色电子内窥镜的输出图像并传输至RGB分解单元；被测医用彩色电子内窥镜的输出图像包括均匀高亮图像和均匀黑暗图像；

(2)RGB分解单元，分别与图像采集单元和二值化预判单元相连，用于将图像采集单元采集到的原始图像分解为R、G和B三个分量图像，并将分量图像和原始图像传输至二值化预判单元；

(3)显示与输入单元，分别与二值化预判单元和坏点裁决单元相连，向二值化预判单元发送输入的指令，该单元具有显示功能、输入功能和像素级别的图像放缩功能；

(4)二值化预判单元，分别与RGB分解单元、显示与输入单元和坏点裁决单元相连，自动判定来自RGB分解单元的各分量图像的二值化阈值，使用自动判定的二值化阈值或者后续过程中显示与输入单元所给定的二值化阈值对各分量图像进行二值化，并将二值化后的图像传输至显示与输入单元，在接收到来自显示与输入单元的阈值确认信号后，将各分量图像最新的二值化阈值确定为坏点识别阈值，然后将坏点识别阈值、原始图像和分量图像传输至坏点裁决单元；

二值化预判单元中自动判定来自RGB分解单元的各分量图像的二值化阈值的过程是：

对于R、G和B三个分量图像中的某一分量图像，搜索该分量图像灰度的最小值h1和最大值h2，并计算该分量图像的动态范围d＝h2-h1，如果d>D×a，二值化预判单元将二值化阈值判定为h1+d×b；如果d≤D×a，对于均匀黑暗图像，则将二值化阈值判定为h2+D，对于均匀高亮图像，则将二值化阈值判定为h1-D；其中，a和b均为大于0且小于1的系数，D为被测医用彩色电子内窥镜所拍摄图像的最大动态范围，D＝2ⁿ，n为被测医用彩色电子内窥镜中图像传感器的A/D转换位数(可从内窥镜的技术参数表查找)。

(5)坏点裁决单元，分别与二值化预判单元和显示与输入单元相连，按照以下判定规则对原始图像中的每个像素点依次进行坏点判定，并将判定结果发送至显示与输入单元进行显示：

对于均匀黑暗图像，

若R[(x,y)]>ThR且G[(x,y)]≤ThG且B[(x,y)]≤ThB，则像素点(x，y)判定为图像坏点；

若B[(x,y)]>ThB且G[(x,y)]≤ThG且R[(x,y)]≤ThR，则像素点(x，y)判定为图像坏点；

若G[(x,y)]>ThG且R[(x,y)]>ThR且B[(x,y)]>ThB，则像素点(x，y)判定为图像坏点；

其余情况下，像素点(x，y)判定为正常点；

对于均匀高亮图像，

若R[(x,y)]≤ThR且G[(x,y)]>ThG且B[(x,y)]>ThB，则像素点(x，y)判定为图像坏点；

若B[(x,y)]≤ThB且G[(x,y)]>ThG且R[(x,y)]>ThR，则像素点(x，y)判定为图像坏点；

若G[(x,y)]≤ThG且R[(x,y)]≤ThR且B[(x,y)]≤ThB，则像素点(x，y)判定为图像坏点；

其余情况下，像素点(x，y)判定为正常点；

其中，R[(x,y)]、G[(x,y)]、B[(x,y)]分别表示像素点(x，y)在R、G和B三个分量图像中的灰度值，ThR、ThG和ThB分别表示R、G和B三个分量图像的坏点识别阈值。

RGB分解单元、二值化预判单元和坏点裁决单元采用同领域技术人员公知的现有技术。

上述装置使用时，通过数据线将本装置的图像采集单元与被测医用彩色电子内窥镜的图像输出接口相连接，使图像采集单元可以采集被测电子内窥镜的输出图像。

根据本装置检测彩色图像坏点的原理，须使用被测电子内窥镜拍摄两种特定图像，即：均匀高亮图像和均匀黑暗图像。上述两种特定图像可使用现有技术进行拍摄，例如，要拍摄均匀黑暗图像，可将环境光源和被测电子内窥镜光源关闭，使用不透光的黑布或保护盖等遮挡物将被测电子内窥镜末端完全遮蔽来进行拍摄；要拍摄均匀高亮图像，可将环境光源和被测电子内窥镜光源打开，将被测电子内窥镜末端目镜对准一块白板进行拍摄。也可使用其它可获得均匀黑暗图像或均匀高亮图像的方法进行拍摄，但应保证所拍摄的均匀黑暗图像尽可能均匀且其灰度值尽可能低，所拍摄的均匀高亮图像尽可能均匀且其灰度值尽可能高。所拍摄的均匀高亮图像和均匀黑暗图像经图像采集单元采集后，由本装置其它单元进行分析、处理和坏点检测。

由于本装置分析处理均匀黑暗图像和均匀高亮图像的方法略有不同，在开始拍摄前，应通过显示与输入单元事先将拍摄信息输入本装置。拍摄信息主要是指当前所拍摄的图像是均匀高亮图像还是均匀黑暗图像。本装置可根据所输入的拍摄信息针对不同的图像采取不同的分析处理方法。另外，由于图像分析处理的需要，还应将被测内窥镜信息也输入本装置。被测内窥镜信息至少应包括该内窥镜所拍摄图像的最大动态范围D。D的具体值由被测电子内窥镜图像传感器的A/D转换位数(可从内窥镜的技术参数表查找)决定，例如，A/D转换数位为n位，则D＝2ⁿ。上述拍摄信息和被测内窥镜信息由操作人员通过显示与输入单元输入至二值化预判单元和坏点裁决单元进行保存，以备后续分析处理时查询使用。

使用本装置检测图像坏点，拍摄、分析均匀黑暗图像和均匀高亮图像的顺序是可以互换的，这里以先拍摄、分析均匀黑暗图像为例进行说明。

被测内窥镜所拍摄的均匀黑暗图像由图像采集单元进行采集，然后传输至RGB分解单元，RGB分解单元将该图像转换为RGB格式。RGB图像格式是一种使用R、G和B三个分量图像来表达一幅完整图像的图像格式，因此将图像转换为RGB格式实质上是将图像分解为R、G和B三个分量图像。本发明将图像采集单元采集到的、尚未被RGB分解单元分解的图像，称为原始图像；将RGB分解单元分解得到的R、G、B三个分量图像，简称为分量图像。分解后，RGB分解单元将分量图像和原始图像传输至二值化预判单元。

根据彩色成像原理，彩色图像中任何一个像素点都由R、G和B三个分量合成。根据彩色图像传感器的原理，由于彩色滤波矩阵的存在，彩色图像任一像素的三个分量中只有一个分量是由图像传感器直接得到的，另外两个分量是由彩色插值得到的。因此，图像中某个像素点如果是坏点，那么该坏点在分量图像中会表现的更为明显，特别是在由图像传感器直接得到的那个分量图像中。基于此，本装置先使用RGB分解单元将原始图像分解为分量图像，之后由二值化预判单元联合显示与输入单元对R、G和B三个分量图像分别进行坏点的预判断，再由坏点裁决单元综合各个分量图像的坏点预判断情况进行最终的坏点判定。这便是本装置识别彩色图像坏点的核心过程，这种方法有利于提高坏点的识别率和识别的准确率。

上述核心过程中，坏点的预判断是指通过一系列措施分别确定R、G、B三个分量图像的坏点识别阈值的过程。本装置坏点的预判断使用自动判定和人工识别相结合的方法，主要由二值化预判单元和显示与输入单元来完成。

二值化预判单元，首先分别对R、G和B三个分量图像各自的二值化阈值进行自动判断。对于某一分量图像，二值化预判单元搜索该分量图像灰度的最小值h1和最大值h2，并计算该分量图像的动态范围d＝h2-h1。如果d>D×a，二值化预判单元将二值化阈值判定为h1+d×b；如果d≤D×a，则二值化预判单元将二值化阈值判定为h2+D，其中，a和b均为大于0且小于1的系数。按上述过程，二值化预判单元对R、G和B三个分量图像各自的二值化阈值分别进行自动判断，然后再使用二值化阈值自动判断结果对各分量图像分别进行二值化，二值化采用现有二值化技术。二值化完成后，二值化预判单元将原始图像、分量图像及其二值化图像全部传输至显示与输入单元。操作人员通过显示与输入单元对原始图像、分量图像及其二值化图像进行观察和分析。显示与输入单元具有像素级别的图像缩放功能，可根据操作人员的指令将其显示图像中任意指定的局部进行放大和缩小。其中，放大功能的效果应能达到使人眼可清晰分辨和识别显示图像的各个像素的程度。观察分析的同时，操作人员可使用显示与输入单元的输入功能对各分量图像的二值化阈值进行调整，即重新输入新的二值化阈值。每进行一次调整，调整后的二值化阈值都会传输至二值化预判单元。二值化预判单元随即根据调整后的二值化阈值对相应的分量图像重新进行二值化，并把最新的二值化结果回传至显示与输入单元进行显示。经过阈值调整，当操作人员认为已经调整到合适的阈值时，可通过显示与输入单元向二值化预判单元发送阈值确认信号。二值化预判单元在接收到阈值确认信号后，将各分量图像最新的二值化阈值作为坏点识别阈值，并将坏点识别阈值、原始图像和分量图像传输至坏点裁决单元。本发明使用ThR、ThG和ThB分别表示R、G和B三个分量图像的最终二值化阈值，即坏点识别阈值。应当注意，R、G和B三个分量图像的坏点识别阈值可能不同。对各个分量图像二值化阈值的人工调整可以有效地借助操作人员的视觉和识别经验来弥补自动识别的不足，以提高本装置坏点识别的识别率和准确率。

在接收到坏点识别阈值、原始图像和分量图像后，坏点裁决单元负责进行最终的坏点判断。如前所述，对于彩色图像，其某个像素点(x，y)的三个分量值R[(x,y)]、G[(x,y)]、B[(x,y)]中只有一个分量值是图像传感器直接得到的，其余两个都是通过彩色插值得到的。根据彩色滤波矩阵的结构和彩色插值的原理，若某一坏点的G分量恰巧是图像传感器直接得到的，那么该坏点的R分量和B分量一般会也表现为异常高值(对于均匀黑暗图像)或异常低值(对于均匀高亮图像)；若某一坏点的R分量恰巧是图像传感器直接得到的，那么该坏点的G分量和B分量一般不会表现为异常高值(对于均匀黑暗图像)或异常低值(对于均匀高亮图像)；若某一坏点的B分量恰巧是图像传感器直接得到的，那么该坏点的R分量和B分量一般也不会表现为异常高值(对于均匀黑暗图像)或异常低值(对于均匀高亮图像)。因此，对于均匀黑暗图像，坏点裁决单元采用以下判定规则，综合分析R、G、B三个分量图像，对原始图像的坏点进行判定：

其余情况下，像素点(x，y)判定为正常点。

坏点裁决单元使用上述判定规则对原始图像的各个像素点进行逐点判定，并在判定完毕后将判定结果传输至显示与输入单元进行显示。至此，基于均匀黑暗图像的坏点识别过程结束。

在拍摄均匀高亮图像之前，应先将拍摄信息通过显示与输入单元输入至本装置。本装置分析均匀高亮图像的方法步骤与分析均匀黑暗图像的方法步骤是基本相同的，所不同的是二值化预判单元自动判断二值化阈值的判断方法和坏点裁决单元判定坏点所使用的判定规则。对于相同的部分这里不再重复叙述，以下仅就不同的部分进行阐述。

对于均匀高亮图像，二值化预判单元在自动判断各分量图像的二值化阈值时，如果d>D×a，二值化预判单元将二值化阈值仍然判定为h1+d×b；但是，如果d≤D×a，二值化预判单元将二值化阈值判定为h1-D，而不是h2+D。

对于均匀高亮图像，坏点裁决单元采用以下判定规则，对原始图像的坏点进行判定：

其余情况下，像素点(x，y)判定为正常点。

本发明所述装置在检测医用彩色电子内窥镜图像坏点时无须进行拆卸，不会对被检测设备产生任何损伤，便于在使用环节的各个领域进行坏点检测。本发明所述装置根据彩色成像原理，将原始图像分解为R、G、B三个分量图像分别进行分析判断，然后综合各分量的分析结果进行坏点的综合判定，提高了坏点识别的识别率和准确率。本发明所述装置还充分利用了自动识别和人工识别各自的优势，不仅兼顾了识别效率，还有效地减少了误判。

附图说明

图1是本发明医用彩色电子内窥镜图像坏点检测装置的结构框图。

其中，1、图像采集单元，2、RGB分解单元，3、二值化预判单元，4、显示与输入单元，5、坏点裁决单元。

具体实施方式

如图1所示，本发明所述的医用彩色电子内窥镜图像坏点检测装置包括：图像采集单元1、RGB分解单元2、二值化预判单元3、显示与输入单元4和坏点裁决单元5。图像采集单元1与RGB分解单元2相连接；RGB分解单元2还与二值化预判单元3相连接；二值化预判单元3还分别与显示与输入单元4、坏点裁决单元5相连接；坏点裁决单元5还与显示与输入单元4相连接。

使用本装置进行坏点检测，操作人员须先将被测电子内窥镜的图像输出接口通过数据线与本装置的图像采集单元1相连接。然后，将拍摄信息、被测内窥镜信息等相关信息通过显示与输入单元4输入至二值化预判单元3和坏点裁决单元5。

本实施方式采用先拍摄、分析均匀黑暗图像的方式进行图像坏点检测。使用被测内窥镜所拍摄的均匀黑暗图像由图像采集单元1进行采集，然后传输至RGB分解单元2。图像采集单元1可采用图像采集卡或其他具有图像采集功能的部件实现。RGB分解单元2把从图像采集单元1获取的均匀黑暗图像(原始图像)转换为RGB格式，即分解为R、G、B三个分量图像，然后将分量图像和原始图像传输至二值化预判单元3。RGB分解单元2采用具有图像格式转换功能的部件实现。由于现有技术中可实现图像采集单元1功能的部件种类繁多，其图像输出格式各有不同，因此需要RGB分解单元2将图像采集单元1的输出图像(该输出图像可能是其他格式，如YUV格式)转换为RGB格式，以确保能够将原始图像分解为R、G、B三个分量图像供后续分析检测坏点使用。

二值化预判单元3可采用具有逻辑运算、数值计算和数据存储功能的图像处理电路实现，也可采用其他能够完成二值化预判单元3功能的电路实现。二值化预判单元3首先对各分量图像的二值化阈值进行自动判断。对于某一分量图像，二值化预判单元3按照如下方法自动判定其二值化阈值：二值化预判单元3搜索该分量图像灰度的最小值h1和最大值h2，并计算该分量图像的动态范围d＝h2-h1。如果d>D×a，二值化预判单元3将二值化阈值判定为h1+d×b；如果d≤D×a，则二值化预判单元3将二值化阈值判定为h2+D。其中，a、b均为大于0且小于1的系数，本实施方式中a＝0.3，b＝0.5。

二值化预判单元3使用自动判定的二值化阈值对R、G、B三个分量图像分别进行二值化，二值化的具体方法可采用现有的二值化技术：若图像中某一像素点的灰度值小于或等于二值化阈值，则将该像素点的灰度值设定为0；若图像中某一像素点的灰度值大于二值化阈值，则将该像素点的灰度值设定为D；依此，将图像中所有像素点进行二值化即可完成整幅图像的二值化。二值化预判单元3对R、G、B三个分量图像分别完成二值化后，将原始图像、分量图像及其二值化图像全部传输至显示与输入单元4。

显示与输入单元4可采用触控显示屏(包括相关电路)实现，也可采用其他显示、输入设备实现。操作人员通过显示与输入单元4观察各个分量图像的二值化图像，并可根据具体情况重新设定各个分量图像的二值化阈值。当操作人员为某一分量图像重新设定二值化阈值时，该重新设定的二值化阈值将会传输至二值化预判单元3，二值化预判单元3根据该重新设定的二值化阈值对该分量图形重新进行二值化并将结果回传至显示与输入单元4进行显示。本实施方式中，显示与输入单元4同时显示R、G、B三个分量图像的二值化图像。这种显示方式有利于操作人员同时观察各个分量的情况以便综合各分量的具体情况来调整二值化阈值，以提高坏点识别的准确率和可靠性。当操作人员对各个分量二值化阈值调整完毕后，可通过显示与输入单元4向二值化预判单元3发送阈值确定信号。二值化预判单元3在接收到阈值确定信号后，将当前的各分量图像的二值化阈值作为坏点识别阈值，并将原始图像、各分量图像及其坏点识别阈值发送至坏点裁决单元5。

坏点裁决单元5可采用具有逻辑运算、数值计算和数据存储功能的图像处理电路实现，也可采用其他能够完成坏点裁决单元5功能的电路实现。坏点裁决单元5使用以下判定规则对图像中的每个像素点依次进行坏点判定，并将判定结果发送至显示与输入单元4进行显示：

其余情况下，像素点(x，y)判定为正常点。

至此，基于均匀黑暗图像的坏点检测完毕。

然后进行基于均匀高亮图像的坏点检测。操作人员将拍摄信息、被测内窥镜信息等相关信息通过显示与输入单元4输入至二值化预判单元3和坏点裁决单元5后，使用被测内窥镜拍摄均匀高亮图像：将环境光源和被测电子内窥镜光源打开，将被测电子内窥镜末端目镜对准一块白板，拍摄均匀高亮图像(也可采用其他能够获得均匀高亮图像的拍摄方法)。本装置使用均匀高亮图像来检测医用内窥镜坏点的步骤、方法与使用均匀黑暗图像进行检测基本相同。不同之处在于，二值化预判单元3自动判断各分量图像的二值化阈值时，如果d≤D×a，二值化预判单元3将二值化阈值自动设定为h1-D，而不是h2+D。另一不同之处在于，坏点裁决单元5按照以下判定规则对图像中的每个像素点依次进行坏点判定：

其余情况下，像素点(x，y)判定为正常点。

在使用均匀高亮图像进行坏点识别结束后，本装置对医用彩色电子内窥镜图像坏点检测的全过程结束。本装置使用均匀黑暗图像和均匀高亮图像进行内窥镜坏点检测的顺序是可以互换的。

Claims

1.一种医用彩色电子内窥镜图像坏点检测装置，其特征是，包括图像采集单元、RGB分解单元、二值化预判单元、显示与输入单元和坏点裁决单元：

对于均匀黑暗图像，

其余情况下，像素点(x，y)判定为正常点；

对于均匀高亮图像，

其余情况下，像素点(x，y)判定为正常点；

2.根据权利要求1所述的医用彩色电子内窥镜图像坏点检测装置，其特征是，所述二值化预判单元中自动判定来自RGB分解单元的各分量图像的二值化阈值的过程是：

对于R、G和B三个分量图像中的某一分量图像，搜索该分量图像灰度的最小值h1和最大值h2，并计算该分量图像的动态范围d＝h2-h1，如果d>D×a，二值化预判单元将二值化阈值判定为h1+d×b；如果d≤D×a，对于均匀黑暗图像，则将二值化阈值判定为h2+D，对于均匀高亮图像，则将二值化阈值判定为h1-D；其中，a和b均为大于0且小于1的系数，D为被测医用彩色电子内窥镜所拍摄图像的最大动态范围，D＝2ⁿ，n为被测医用彩色电子内窥镜中图像传感器的A/D转换位数。