CN110084808A - 一种用于数字内窥镜的颜色解混方法和图像处理装置 - Google Patents
一种用于数字内窥镜的颜色解混方法和图像处理装置 Download PDFInfo
- Publication number
- CN110084808A CN110084808A CN201910372176.2A CN201910372176A CN110084808A CN 110084808 A CN110084808 A CN 110084808A CN 201910372176 A CN201910372176 A CN 201910372176A CN 110084808 A CN110084808 A CN 110084808A
- Authority
- CN
- China
- Prior art keywords
- function
- sub
- spectrum
- endoscope
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000002156 mixing Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims abstract description 101
- 230000003595 spectral effect Effects 0.000 claims abstract description 85
- 238000004611 spectroscopical analysis Methods 0.000 claims abstract description 56
- 238000000985 reflectance spectrum Methods 0.000 claims abstract description 42
- 238000005316 response function Methods 0.000 claims abstract description 32
- 239000000284 extract Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims 1
- 230000001575 pathological effect Effects 0.000 abstract description 13
- 210000001519 tissue Anatomy 0.000 description 64
- 238000003384 imaging method Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 6
- 238000004040 coloring Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 229910052751 metal Inorganic materials 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 229910000838 Al alloy Inorganic materials 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000010409 thin film Substances 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 238000010183 spectrum analysis Methods 0.000 description 3
- 241000533901 Narcissus papyraceus Species 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 239000004411 aluminium Substances 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011846 endoscopic investigation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009940 knitting Methods 0.000 description 1
- 238000002386 leaching Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/12—Simultaneous equations, e.g. systems of linear equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computing Systems (AREA)
- Endoscopes (AREA)
Abstract
本发明提供了一种用于数字内窥镜的颜色解混方法及图像处理装置，其中方法包括：获取内窥镜彩色图像传感器采集的数字图像，并提取所述数字图像的三基色子像素灰度值，生成多维度数据；采集内窥镜彩色图像传感器的子像素光谱响应和光源光谱响应，分别获得子像素光谱响应函数和光源光谱响应函数；根据所述多维度数据和所述子像素光谱响应函数生成混合光谱函数；构建关于光源光谱响应函数、子像素光谱响应函数和被测生物组织反射光谱函数的积分方程组；根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组，获得被测生物组织反射光谱函数的光谱数据；该方法可增强内窥镜病变组织辨识能力，且具有成本低、易于实现的特点。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种用于数字内窥镜的颜色解混方法和图像处理装置。
背景技术
内窥镜技术的进步使内科诊断和治疗取得极大进展，绝大多数的内科手术和治疗，曾经依靠侵入性技术和大的开放性切口，现在可以使用基于内窥镜的微创技术进行。特别是近10年来，随着数字图像传感器在分辨率、帧频、灵敏度、信噪比等方面的飞速发展，基于数字图像传感器的内窥镜提供了快速和高质量的图像采集、传输及存储。目前，全高清(1920×1080像素)数字内窥镜已广泛应用，以日本OLYMPUS、德国KARL STOZE为代表的内窥镜制造商近期推出更高分辨率的4K(3640×2160像素)内窥镜，具有更强的细节分辨能力。
除了增强空间分辨能力此外，OLYMBUS、FUJIFILM等内镜制造商基于生物组织光谱特征发展了窄带成像(NBI)内窥镜,即采集特定波长的反射影像，凸显病变组织光学差异，提供较普通彩色成像更具诊断意义的信息。OLYMBUS的NBI内窥镜采用一组固定波长的干涉滤光片，由转轮高速旋转以固定时序提供415nm、540nm两个窄带光源以及一个全色光源，单色CMOS图像传感器按滤光片时序曝光，再合成窄带图像。这种方法对滤光片和图像传感器时序控制精度要求高，同时为减少曝光时长对同步的影响，还需增加光源亮度来减少曝光时间。复杂的光机结构、高亮度光源以及精密同步软硬件系统使OLYMBUS的NBI内窥镜售价高昂，同时，415nm，540nm固定滤色片对血管、粘膜等少数生物组织有增强识别能力，对于淋巴、脂肪的识别等效果不佳。FUJIFILM的NBI内窥镜采用彩色图像传感器采集R、G、B三个通道颜色数值，利用先验的光谱数据生成其它波长的窄带图像。这种方法可以反映图像中生物组织的光谱差异，但获得的数据实际上是“伪光谱”，一方面无法与生物组织真实光谱进行比对，另一方面则是光谱失真可能引起误判。
虽然可以利用病变组织和正常组织的光谱特征有差异来进行诊断和手术治疗，但光谱数据的获取则是一个难题。传统光谱分析系统不能覆盖大面积或小面积的高空间分辨率，因此，光谱分析技术不能提供内科诊断治疗所需的空间信息。把光谱分析和成像分析结合的光谱成像技术可以获得图像每个像素的光谱曲线，即对图像每一个像素的对应的生物组织特征进行量化和标准化分析，但目前光谱成像仪价格高昂，操作复杂，且光谱图像数据庞大，需要专门的处理计算机及软件系统，此外，光谱成像过程即光谱扫描过程需要较长时间，难以在内科手术过程中进行实时的识别分析。
发明内容
本发明的目的在于针对上述现有技术中的内窥镜病变组织识别能力低、光谱数据获得困难的问题，提出一种用于数字内窥镜的颜色解混方法和图像处理装置，能够有效提高内窥镜病变组织识别能力，降低生产成本。
一种用于数字内窥镜的颜色解混方法，包括：
获取内窥镜彩色图像传感器采集的数字图像，并提取所述数字图像的三基色子像素灰度值，生成多维度数据；
采集内窥镜彩色图像传感器的子像素光谱响应和光源光谱响应，分别获得子像素光谱响应函数和光源光谱响应函数；
根据所述多维度数据和所述子像素光谱响应函数生成混合光谱函数；
构建关于光源光谱响应函数、子像素光谱响应函数和被测生物组织反射光谱函数的积分方程组；
根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组，获得被测生物组织反射光谱函数的光谱数据。
进一步地，所述混合光谱函数包含边界条件，所述边界条件为子像素光谱响应曲线的最大波长和最小波长。
进一步地，所述积分方程组如下所示：
其中，r、g、b分别为数字图像的红、绿、蓝子像素灰度值，L(λ)为光源光谱响应函数，R(λ)、G(λ)、B(λ)分别为红、绿、蓝子像素光谱响应函数，S(λ)为被测生物组织的反射光谱函数。
进一步地，根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组，获得被测生物组织反射光谱函数的光谱数据，包括：
将混合光谱函数中的各个光谱数据点代入所述积分方程，利用New-Raphson迭代法计算获得被测生物组织的反射光谱函数中各个波长对应的光谱幅值。
进一步地，获得被测生物组织反射光谱函数的光谱数据之后，还包括：
将所述被测生物组织反射光谱函数的光谱数据映射为序列图像。
进一步地，将所述被测生物组织反射光谱函数的光谱数据映射为序列图像，包括：
将所述被测生物组织反射光谱函数的所有像素和波长的红、绿、蓝子像素灰度值映射至0-255，生成8位单色图像，或者12位单色图像，或者16位单色图像，不同波长的单色图像生成一组数据立方。
进一步地，将所述被测生物组织反射光谱函数的光谱数据映射为序列图像之后，还包括：
对所述序列图像进行优化。
一种图像处理装置，包括：
多维度数据生成模块，用于获取内窥镜彩色图像传感器采集的数字图像，并提取所述数字图像的三基色子像素灰度值，生成多维度数据；
响应函数生成模块，用于采集内窥镜彩色图像传感器的子像素光谱响应和光源光谱响应，分别获得子像素光谱响应函数和光源光谱响应函数；
混合光谱函数生成模块，用于根据所述多维度数据和所述子像素光谱响应函数生成混合光谱函数；
积分方程构建模块，用于构建关于光源光谱响应函数、子像素光谱响应函数和被测生物组织反射光谱函数的积分方程组；
方程求解模块，用于根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组，获得被测生物组织反射光谱函数的光谱数据。
进一步地，所述方程求解模块还用于将混合光谱函数中的各个光谱数据点代入所述积分方程，利用New-Raphson迭代法计算获得被测生物组织的反射光谱函数中各个波长对应的光谱幅值。
进一步地，所述图像处理装置还包括序列图像生成模块，用于将所述被测生物组织反射光谱函数的光谱数据映射为序列图像。
本发明提供的用于数字内窥镜的颜色解混方法和图像处理装置，在测得彩色图像传感器R、G、B子像素光谱响应的基础上，构建图像传感器滤波函数与生物组织光谱特征函数内积方程，并通过方程求解获得生物组织特征光谱。这种把彩色成像和光谱解算相结合的方法，可增强内窥镜病变组织辨识能力，且具有成本低、易于实现的特点。
附图说明
图1为本发明提供的用于数字内窥镜的颜色解混方法一种实施例的结构示意图。
图2为本发明提供的图像处理装置一种实施例的结构示意图。
图3为本发明提供的用于数字内窥镜的颜色解混方法一种应用场景下的子像素光谱响应函数示意图。
图4为本发明提供的用于数字内窥镜的颜色解混方法一种应用场景下的光源光谱函数示意图。
图5为本发明提供的用于数字内窥镜的颜色解混方法一种应用场景下的混合光谱函数示意图。
图6为本发明提供的用于数字内窥镜的颜色解混方法一种应用场景下的光谱数据示意图。
图7-图9为本发明提供的用于数字内窥镜的颜色解混方法一种应用场景下红、绿、蓝子像素单色图像的数据立方。
图10-图12为本发明提供的用于数字内窥镜的颜色解混方法一种应用场景下优化后的红、绿、蓝子像素单色图像的数据立方。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例一
参考图1，本实施例提供一种用于数字内窥镜的颜色解混方法，包括：
步骤S101，获取内窥镜彩色图像传感器采集的数字图像，并提取所述数字图像的三基色子像素灰度值，生成多维度数据；
步骤S102，采集内窥镜彩色图像传感器的子像素光谱响应和光源光谱响应，分别获得子像素光谱响应函数和光源光谱响应函数；
步骤S103，根据所述多维度数据和所述子像素光谱响应函数生成混合光谱函数；
步骤S104，构建关于光源光谱响应函数、子像素光谱响应函数和被测生物组织反射光谱函数的积分方程组；
步骤S105，根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组，获得被测生物组织反射光谱函数的光谱数据。
具体地，执行步骤S101，利用内窥镜彩色图像传感器获得数字图像，提取数字图像中每一像素子像素灰度值，生成包含空间信息和颜色信息的多维度数据：
D(x,y,r,g,b)；
其中，x,y为空间坐标变量，r、g、b分别为红、绿、蓝子像素灰度值。
进一步地，执行步骤S102，彩色内窥镜由像素子像素上的光学薄膜进行滤色，产生红、绿、蓝三基色，利用单色仪或者定标的硅光探测器测量包含光学薄膜滤波函数及图像传感器自身的量子效应的子像素光谱响应，子像素光谱响应函数记为R(λ)、G(λ)、B(λ)，光源光谱函数记为L(λ)。
进一步地，执行步骤S103，根据所述多维度数据和所述子像素光谱响应函数生成混合光谱函数，以多维度数据D(x,y,r,g,b)为基础，生成混合光谱函数M[x,y,(λi,ri),(λj,gj),(λk,bk)]，其中x、y为空间坐标变量，(λi,ri),(λj,gj),(λk,bk)分别表示以λi,λj,λk,为横坐标，ri,gj,bk为纵坐标的三个归一化的光谱数据点。
根据R(λ)、G(λ)、B(λ)光谱响应范围，设置边界条件(λmin,I0),(λmax,I1)，即在光谱响应曲线最小波长和最大波长处设置光谱数据点，对于常用的可见光内窥镜，由于使用了紫外截止滤光片和红外截止滤光片，可把边界条件设为(λmin,0),(λmax,0)。
对于给定坐标(x,y)的图像像素，包含边界条件的混合光谱函数为S[(λmin,I0),(λi,ri),(λj,gj),(λk,bk),(λmax,I1)]，即由多个光谱数据点拟合得到的连续光谱曲线。
进一步地，执行步骤S104，构建关于光源光谱响应函数、子像素光谱响应函数和被测生物组织反射光谱函数的积分方程组，所述积分方程组如下所示：
其中，r、g、b分别为数字图像的红、绿、蓝子像素灰度值，L(λ)为光源光谱响应函数，R(λ)、G(λ)、B(λ)分别为红、绿、蓝子像素光谱响应函数，S(λ)为被测生物组织的反射光谱函数。
积分方程组表示彩色内窥镜获得的图像像素子像素的红、绿、蓝灰度值r、g、b是被测生物组织真实光谱与其光谱响应函数的内积，因此由r、g、b三基色构成的彩色图像掩盖了被观测对象的光谱细节，当通过图像颜色信息需不足以区分病变组织与正常组织的差异时，需要从混合的颜色信息中解混计算获得包含更多信息的光谱数据，来增强对病变组织与正常组织的识别。
进一步地，执行步骤S105，根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组。积分方程组中，由于被测生物组织的反射光谱函数S(λ)是连续函数，由三个积分方程仅得到S(λ)函数上的三个离散点，将混合光谱函数中的光谱数据点代入，令三个离散点数值为(λ1,r1),(λ2,g1),(λ3,b1)，光源光谱响应函数L(λ)和图像像素的红、绿、蓝子像素光谱响应函数R(λ)、G(λ)、B(λ)均已知，利用New-Raphson迭代法计算获得被测生物组织的反射光谱函数S(λ)中波长λ1,λ2,λ3对应的光谱幅值r1,g1,b1。
平移光谱坐标值，令三个离散点数值为(λ4,r2),(λ5,g2),(λ6,b2)，可得S(λ)中波长为λ4,λ5,λ6对应的光谱幅值r2,g2,b2，即每次解算可获得S(λ)光谱函数上的三个数据点，变换波长坐标值，多次解算即可得到能够呈现S(λ)光谱函数细节，得到光谱数据。
进一步地，获得被测生物组织反射光谱函数的光谱数据之后，还包括：
将所述被测生物组织反射光谱函数的光谱数据映射为序列图像。
进一步地，将所述被测生物组织反射光谱函数的光谱数据映射为序列图像，包括：
将所述被测生物组织反射光谱函数的所有像素和波长的红、绿、蓝子像素灰度值映射至0-255，生成8位单色图像，或者12位单色图像，或者16位单色图像，不同波长的单色图像生成一组数据立方。
进一步地，将所述被测生物组织反射光谱函数的光谱数据映射为序列图像之后，还包括：
对所述序列图像进行优化。
映射过程中，图像中的少数噪点可能具有较大数值，映射结果将降低图像动态范围，根据图像直方图进行优化，生成具有动态范围大、信噪比高的图像。
综上，本实施例提供的用于数字内窥镜的颜色解混方法，在测得彩色图像传感器R、G、B子像素光谱响应的基础上，构建图像传感器滤波函数与生物组织光谱特征函数内积方程，并通过方程求解获得生物组织特征光谱。这种把彩色成像和光谱解算相结合的方法，可增强内窥镜病变组织辨识能力，且具有成本低、易于实现的特点。
本实施例提供的颜色解混方法可用于以下领域：
(1)医学诊断中的病变组织识别：
利用已知浓度的标准液与试纸反应，并利用试纸白色本底作为参考背景建立已知浓度反应色数据库。通过成像的方式同时获得多项待检项目颜色数据以及试纸白色参考背景的颜色数据，计算获得待检项目相对于参考背景的颜色数据，把颜色数据与已知浓度反应色颜色数据进行相关性检测，寻找最相关颜色作为检测结果。利用颜色查找识别的光谱插值相关性检测方法，可以消除成像过程中光照环境影响、不同传感器量子效率差异、传感器算法差异等因素影响，通用性强，可利用移动终端如智能手机彩色摄像头在复杂光照环境中对试纸反应色进行适时的、准确查找识别。
(2)颜色分析：
在实验室对几种主要杂质金属如铜、铝、钢等进行光谱分析，同时测得彩色图像传感器各通道光谱响应函数，通过计算彩色图像传感器光谱与杂质金属光谱之积之积分，作为杂质金属的与光照环境无关的标准颜色数据。在产线上设置相同的漫反射白板，通过彩色工业相机同时获得待检测产品颜色数据以及漫反射白板的颜色数据，计算获得待检产品相对于漫反射白板的颜色数据，与杂质金属颜色数据进行相关性检测，查找并识别产品中的杂质金属。
利用颜色查找识别的光谱相关性检测方法，可以消除成像过程中光照环境影响、不同传感器量子效率差异、传感器算法差异等因素影响，可对不同杂质金属细微颜色差异进行高精度查找识别。
(3)汽车车身颜色识别：
在不同的光照环境中，汽车车身颜色信息将产生大的差异。测得彩色图像传感器各通道光谱响应函数及汽车车身的光谱曲线，计算传感器光谱与汽车车身之积之积分，作为汽车车身、铝合金轮毂的标准颜色数据，并求得汽车车身相对于铝合金轮毂的相对颜色值。在汽车车身颜色查找识别时，利用该彩色图像传感器获得汽车车身、铝合金轮毂的颜色数据，并计算汽车车身相对与铝合金轮毂的相对颜色值，把实际照相得到的相对颜色值与光谱积分计算得到的相对值进行相关性检测，以最大相关系数来确定汽车车身的与光照环境、照相器材无关的特定颜色。
实施例二
参考图2，本实施例提供一种图像处理装置，包括：
多维度数据生成模块201，用于获取内窥镜彩色图像传感器采集的数字图像，并提取所述数字图像的三基色子像素灰度值，生成多维度数据；
响应函数生成模块202，用于采集内窥镜彩色图像传感器的子像素光谱响应和光源光谱响应，分别获得子像素光谱响应函数和光源光谱响应函数；
混合光谱函数生成模块203，用于根据所述多维度数据和所述子像素光谱响应函数生成混合光谱函数；
积分方程构建模块204，用于构建关于光源光谱响应函数、子像素光谱响应函数和被测生物组织反射光谱函数的积分方程组；
方程求解模块205，用于根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组，获得被测生物组织反射光谱函数的光谱数据。
具体地，多维度数据生成模块201提取数字图像中每一像素子像素灰度值，生成包含空间信息和颜色信息的多维度数据：
D(x,y,r,g,b)；
其中，x,y为空间坐标变量，r、g、b分别为红、绿、蓝子像素灰度值。
进一步地，响应函数生成模块202用于采集单色仪或者定标的硅光探测器测量的包含光学薄膜滤波函数及图像传感器自身的量子效应的子像素光谱响应，子像素光谱响应记为R(λ)、G(λ)、B(λ)，光源光谱函数记为L(λ)。
进一步地，混合光谱函数生成模块203以多维度数据D(x,y,r,g,b)为基础，生成混合光谱函数M[x,y,(λi,ri),(λj,gj),(λk,bk)]，其中x、y为空间坐标变量，(λi,ri),(λj,gj),(λk,bk)分别表示以λi,λj,λk,为横坐标，ri,gj,bk为纵坐标的三个归一化的光谱数据点。混合光谱函数生成模块203根据R(λ)、G(λ)、B(λ)光谱响应范围，设置边界条件(λmin,I0),(λmax,I1)，即在光谱响应曲线最小波长和最大波长处设置光谱数据点，对于常用的可见光内窥镜，由于使用了紫外截止滤光片和红外截止滤光片，可把边界条件设为(λmin,0),(λmax,0)。
对于给定坐标(x,y)的图像像素，包含边界条件的混合光谱函数为S[(λmin,I0),(λi,ri),(λj,gj),(λk,bk),(λmax,I1)]，即由多个光谱数据点拟合得到的连续光谱曲线。
进一步地，积分方程构建模块204构建的积分方程组如下：
其中，r、g、b分别为数字图像的红、绿、蓝子像素灰度值，L(λ)为光源光谱响应函数，R(λ)、G(λ)、B(λ)分别为红、绿、蓝子像素光谱响应函数，S(λ)为被测生物组织的反射光谱函数。
积分方程组表示彩色内窥镜获得的图像像素子像素的红、绿、蓝灰度值r、g、b是被测生物组织真实光谱与其光谱响应函数的内积，因此由r、g、b三基色构成的彩色图像掩盖了被观测对象的光谱细节，当通过图像颜色信息需不足以区分病变组织与正常组织的差异时，需要从混合的颜色信息中解混计算获得包含更多信息的光谱数据，来增强对病变组织与正常组织的识别。
进一步地，方程求解模块205还用于将混合光谱函数中的各个光谱数据点代入所述积分方程，利用New-Raphson迭代法计算获得被测生物组织的反射光谱函数中各个波长对应的光谱幅值。
积分方程组中，由于被测生物组织的反射光谱函数S(λ)是连续函数，由三个积分方程仅得到S(λ)函数上的三个离散点，将混合光谱函数中的光谱数据点代入，令三个离散点数值为(λ1,r1),(λ2,g1),(λ3,b1)，光源光谱响应函数L(λ)和图像像素的红、绿、蓝子像素光谱响应函数R(λ)、G(λ)、B(λ)均已知，利用New-Raphson迭代法计算获得被测生物组织的反射光谱函数S(λ)中波长λ1,λ2,λ3对应的光谱幅值r1,g1,b1。
平移光谱坐标值，令三个离散点数值为(λ4,r2),(λ5,g2),(λ6,b2)，可得S(λ)中波长为λ4,λ5,λ6对应的光谱幅值r2,g2,b2，即每次解算可获得S(λ)光谱函数上的三个数据点，变换波长坐标值，多次解算即可得到能够呈现S(λ)光谱函数细节，得到光谱数据。
进一步地，本实施例提供的图像处理装置还包括序列图像生成模块206，用于将所述被测生物组织反射光谱函数的光谱数据映射为序列图像。
具体地，序列图像生成模块206将所述被测生物组织反射光谱函数的所有像素和波长的红、绿、蓝子像素灰度值映射至0-255，生成8位单色图像，或者12位单色图像，或者16位单色图像，不同波长的单色图像生成一组数据立方。
进一步地，序列图像生成模块206还用于对所述序列图像进行优化。
映射过程中，图像中的少数噪点可能具有较大数值，映射结果将降低图像动态范围，根据图像直方图进行优化，生成具有动态范围大、信噪比高的图像。
本实施例提供的用于数字内窥镜的图像处理装置，在测得彩色图像传感器R、G、B子像素光谱响应的基础上，构建图像传感器滤波函数与生物组织光谱特征函数内积方程，并通过方程求解获得生物组织特征光谱。这种把彩色成像和光谱解算相结合的方法，可增强内窥镜病变组织辨识能力，且具有成本低、易于实现的特点。
实施例三
本实施例以具体的应用场景对本发明提供的颜色解混方法做进一步说明。
首先，利用内窥镜彩色图像传感器获得数字图像，提取数字图像中每一像素子像素灰度值，生成包含空间信息和颜色信息的多维度数据：
D(x,y,r,g,b)；
其中，x,y为空间坐标变量，r、g、b分别为红、绿、蓝子像素灰度值。
多维度数据如表1所示。
表1
进一步地，利用单色仪或者定标的硅光探测器测量包含光学薄膜滤波函数及图像传感器自身的量子效应的子像素光谱响应，子像素光谱响应记为R(λ)、G(λ)、B(λ)，光源光谱函数记为L(λ)。
子像素光谱响应函数R(λ)、G(λ)、B(λ)如图3所示，光源光谱函数如图4所示。
进一步地，根据所述多维度数据和所述子像素光谱响应函数生成混合光谱函数，如图5所示。
进一步地，构建积分方程组并求解，多次解算获得光谱数据如图6所示。
进一步地，利用被测生物组织反射光谱函数，进行光谱特性分析，凸显生物组织特性。
将被测生物组织反射光谱函数的所有像素和波长的红、绿、蓝子像素灰度值映射至0-255，生成8位单色图像，或者12位单色图像，或者16位单色图像，不同波长的单色图像生成一组数据立方。如图7-图9所示。
映射过程中，图像中的少数噪点可能具有较大数值，映射结果将降低图像动态范围，根据图像直方图进行优化，生成具有动态范围大、信噪比高的图像。如图10-图12所示。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种用于数字内窥镜的颜色解混方法，其特征在于，包括：
获取内窥镜彩色图像传感器采集的数字图像，并提取所述数字图像的三基色子像素灰度值，生成多维度数据；
采集内窥镜彩色图像传感器的子像素光谱响应和光源光谱响应，分别获得子像素光谱响应函数和光源光谱响应函数；
根据所述多维度数据和所述子像素光谱响应函数生成混合光谱函数；
构建关于光源光谱响应函数、子像素光谱响应函数和被测生物组织反射光谱函数的积分方程组；
根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组，获得被测生物组织反射光谱函数的光谱数据。
2.根据权利要求1所述的用于数字内窥镜的颜色解混方法，其特征在于，所述混合光谱函数包含边界条件，所述边界条件为子像素光谱响应曲线的最大波长和最小波长。
3.根据权利要求2所述的用于数字内窥镜的颜色解混方法，其特征在于，所述积分方程组如下所示：
其中，r、g、b分别为数字图像的红、绿、蓝子像素灰度值，L(λ)为光源光谱响应函数，R(λ)、G(λ)、B(λ)分别为红、绿、蓝子像素光谱响应函数，S(λ)为被测生物组织的反射光谱函数。
4.根据权利要求3所述的用于数字内窥镜的颜色解混方法，其特征在于，根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组，获得被测生物组织反射光谱函数的光谱数据，包括：
将混合光谱函数中的各个光谱数据点代入所述积分方程，利用New-Raphson迭代法计算获得被测生物组织的反射光谱函数中各个波长对应的光谱幅值。
5.根据权利要求1所述的用于数字内窥镜的颜色解混方法，其特征在于，获得被测生物组织反射光谱函数的光谱数据之后，还包括：
将所述被测生物组织反射光谱函数的光谱数据映射为序列图像。
6.根据权利要求5所述的用于数字内窥镜的颜色解混方法，其特征在于，将所述被测生物组织反射光谱函数的光谱数据映射为序列图像，包括：
将所述被测生物组织反射光谱函数的所有像素和波长的红、绿、蓝子像素灰度值映射至0-255，生成8位单色图像，或者12位单色图像，或者16位单色图像，不同波长的单色图像生成一组数据立方。
7.根据权利要求6所述的用于数字内窥镜的颜色解混方法，其特征在于，将所述被测生物组织反射光谱函数的光谱数据映射为序列图像之后，还包括：
对所述序列图像进行优化。
8.一种图像处理装置，其特征在于，包括：
多维度数据生成模块，用于获取内窥镜彩色图像传感器采集的数字图像，并提取所述数字图像的三基色子像素灰度值，生成多维度数据；
响应函数生成模块，用于采集内窥镜彩色图像传感器的子像素光谱响应和光源光谱响应，分别获得子像素光谱响应函数和光源光谱响应函数；
混合光谱函数生成模块，用于根据所述多维度数据和所述子像素光谱响应函数生成混合光谱函数；
积分方程构建模块，用于构建关于光源光谱响应函数、子像素光谱响应函数和被测生物组织反射光谱函数的积分方程组；
方程求解模块，用于根据所述混合光谱函数中的各个光谱数据点坐标求解所述积分方程组，获得被测生物组织反射光谱函数的光谱数据。
9.根据权利要求8所述的图像处理装置，其特征在于，所述方程求解模块还用于将混合光谱函数中的各个光谱数据点代入所述积分方程，利用New-Raphson迭代法计算获得被测生物组织的反射光谱函数中各个波长对应的光谱幅值。
10.根据权利要求8所述的图像处理装置，其特征在于，所述图像处理装置还包括序列图像生成模块，用于将所述被测生物组织反射光谱函数的光谱数据映射为序列图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372176.2A CN110084808A (zh) | 2019-05-06 | 2019-05-06 | 一种用于数字内窥镜的颜色解混方法和图像处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372176.2A CN110084808A (zh) | 2019-05-06 | 2019-05-06 | 一种用于数字内窥镜的颜色解混方法和图像处理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110084808A true CN110084808A (zh) | 2019-08-02 |
Family
ID=67418905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910372176.2A Pending CN110084808A (zh) | 2019-05-06 | 2019-05-06 | 一种用于数字内窥镜的颜色解混方法和图像处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084808A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441165A (zh) * | 2007-05-30 | 2009-05-27 | 霍夫曼-拉罗奇有限公司 | 光谱仪的波长校准方法 |
| EP2105086A1 (en) * | 2008-03-28 | 2009-09-30 | Fujifilm Corporation | Electronic endoscope apparatus |
| CN206138087U (zh) * | 2016-05-30 | 2017-05-03 | 福建师范大学 | 一种基于纤维内窥镜的拉曼光谱检测装置 |
| CN106683140A (zh) * | 2016-12-16 | 2017-05-17 | 深圳市中达瑞和科技有限公司 | 一种颜色识别方法及系统 |
| CN106913304A (zh) * | 2015-12-28 | 2017-07-04 | 北京威斯顿亚太光电仪器有限公司 | 一种光谱硬管内窥镜系统 |
| CN109310296A (zh) * | 2016-04-06 | 2019-02-05 | 爱丁堡大学董事会 | 内窥镜成像装置及方法 |
| CN109696406A (zh) * | 2018-11-29 | 2019-04-30 | 北京航空航天大学 | 一种基于复合端元的月表高光谱图像阴影区域解混方法 |
-
2019
- 2019-05-06 CN CN201910372176.2A patent/CN110084808A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441165A (zh) * | 2007-05-30 | 2009-05-27 | 霍夫曼-拉罗奇有限公司 | 光谱仪的波长校准方法 |
| EP2105086A1 (en) * | 2008-03-28 | 2009-09-30 | Fujifilm Corporation | Electronic endoscope apparatus |
| CN106913304A (zh) * | 2015-12-28 | 2017-07-04 | 北京威斯顿亚太光电仪器有限公司 | 一种光谱硬管内窥镜系统 |
| CN109310296A (zh) * | 2016-04-06 | 2019-02-05 | 爱丁堡大学董事会 | 内窥镜成像装置及方法 |
| CN206138087U (zh) * | 2016-05-30 | 2017-05-03 | 福建师范大学 | 一种基于纤维内窥镜的拉曼光谱检测装置 |
| CN106683140A (zh) * | 2016-12-16 | 2017-05-17 | 深圳市中达瑞和科技有限公司 | 一种颜色识别方法及系统 |
| CN109696406A (zh) * | 2018-11-29 | 2019-04-30 | 北京航空航天大学 | 一种基于复合端元的月表高光谱图像阴影区域解混方法 |
Non-Patent Citations (1)
| Title |
|---|
| 分形小波与图像压缩, 东北大学出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101305906B (zh) | 检测活体内色度异常的系统 | |
| US8027533B2 (en) | Method of automated image color calibration | |
| US7454046B2 (en) | Method and system for analyzing skin conditions using digital images | |
| US20080080766A1 (en) | Apparatus and Method for Analyzing Skin Using L*a*b* Colorspace | |
| JP6340884B2 (ja) | 測定装置、測定システム及び測定方法 | |
| JP2016038222A (ja) | 試料測定装置および試料測定プログラム | |
| JP2022529230A (ja) | 画像取り込みが改善された局所用剤を作成するためのシステムおよび方法 | |
| JP5117274B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP2010169467A (ja) | 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム | |
| JP5841091B2 (ja) | 画像色分布検査装置および画像色分布検査方法 | |
| JP5137481B2 (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
| TWI683287B (zh) | 膚色測定系統及方法、色彩描述檔產生方法以及影像擷取裝置 | |
| JP2014132257A (ja) | 類似度判定システム及び類似度判定方法 | |
| JP2005181038A (ja) | 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法 | |
| CN110084808A (zh) | 一种用于数字内窥镜的颜色解混方法和图像处理装置 | |
| JP2015017834A (ja) | 測定装置及び測定方法 | |
| JP4174707B2 (ja) | 分光測定システム、色再現システム | |
| Zhang et al. | Medical biometrics: computerized TCM data analysis | |
| US20220329767A1 (en) | System and method for analyzing surface features using a low-dimensional color space camera | |
| JP6400159B2 (ja) | 感光性の対象物、例えば生物組織の医療用撮像装置および撮像方法 | |
| CN109901283A (zh) | 一种单模单光纤无扫描内窥成像系统及方法 | |
| JP6813749B1 (ja) | 対象物の色を数値化する方法、信号処理装置、および撮像システム | |
| Babilon et al. | Spectral reflectance estimation of organic tissue for improved color correction of video-assisted surgery | |
| CN110174351A (zh) | 颜色测量装置及方法 | |
| Javoršek et al. | Comparison of two digital cameras based on spectral data estimation obtained with two methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190802 |