发明内容
有鉴于此,本发明提供了一种应用于内窥镜的成像方法和系统,以提供凸显生物组织病灶生理特征信息的图像的同时,避免在内窥镜内增加窄带滤光片导致的内窥镜结构复杂和加工难的问题。
为实现上述目的,本发明提供如下技术方案:
一种应用于内窥镜的成像方法,所述内窥镜包括图像采集系统和光源系统,包括:
获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
优选的,所述内窥镜的光谱特性参数是根据镜体光谱特性参数和光源光谱特性参数获得的;所述镜体光谱特性参数是通过测量所述图像采集系统的光谱特性获得的;所述光源光谱特性参数是通过测量所述光源系统的光谱特性获得的。
优选的,所述镜体光谱特性参数是根据光谱仪测量的透过m个透射色卡的光的光谱值以及所述图像采集系统采集的所述透过m个透射色卡的光的图像的三原色平均值计算出的,其中,m为大于1的自然数。
优选的,所述光源光谱特性参数是根据光谱仪测量的所述光源系统的光谱功率值计算出的。
优选的,根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值的过程包括:
将所述像素点的三原色值与所述内窥镜的光谱特性参数相乘来得到与所述像素点对应的成像对象各波段反射光的光谱值。
优选的,根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值的过程包括:
根据公式 获得与所述像素点对应的目标像素点的三原色值 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,T是所述各波段反射光的三刺激值,L是标准光源的光谱功率值,W是所述主波段反射光的权重系数,R是所述与所述像素点对应的成像对象各波段反射光的光谱值。
优选的,获得预设的主波段反射光的权重系数的过程包括:
选定所述反射光中的至少三个波段的光作为目标波段光;
获得所述至少三个目标波段光在所述反射光波长范围内的权重;
将所述至少三个目标波段光的权重相加并归一化后获得所述主波段反射光的权重系数。
一种应用于内窥镜的成像系统,所述内窥镜包括图像采集系统和光源系统,所述成像系统包括:
获取模块,用于获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
第一运算模块,用于根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
第二运算模块,用于根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
成像模块,用于根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
优选的,所述第一运算模块通过将所述像素点的三原色值与所述内窥镜的光谱特性参数相乘来得到与所述像素点对应的成像对象各波段反射光的光谱值。
优选的,所述第二运算模块根据公式 获得与所述像素点对应的目标像素点的三原色值 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,T是所述各波段反射光的三刺激值,L是标准光源的光谱功率值,W是所述主波段反射光的权重系数,R是所述与所述像素点对应的成像对象各波段反射光的光谱值。
与现有技术相比,本发明所提供的技术方案具有以下优点:
本发明所提供的应用于内窥镜的成像方法和系统,根据成像对象的图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值,然后再根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值,然后根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像,从而能够得到凸显成像对象在特定波段光下的病灶生理特征信息的图像,并且,本发明中获得成像对象在特定波段下的多光谱图像的过程都是通过图像算法来实现的,不需要在内窥镜内增加额外的结构件如窄带滤光片,从而避免了在内窥镜内增加窄带滤光片导致的内窥镜结构复杂和加工难的问题。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种应用于内窥镜的成像方法,该内窥镜包括图像采集系统和光源系统,如图1所示,该成像方法包括:
S101:获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
本实施例中,通过内窥镜的图像采集系统采集成像对象的RGB格式的图像,其中,本实施例中的成像对象可以为胃内的生物组织,也可以为体内其他部位的生物组织,且本发明并不仅限于此。
由于图像采集系统采集成像对象的图像时,需要内窥镜的光源系统对成像对象进行照明,因此,图像采集系统采集的是成像对象反射的光源出射的可见光,即采集的成像对象的图像是图像采集系统根据成像对象的反射光形成的图像。其中,成像对象的反射光的波长范围和所述光源出射的可见光的波长范围相同,例如,都为400nm~700nm波长的可见光。
由于RGB格式的图像是由多个像素点组成,而每一个像素点又是由红R、绿G、蓝B三原色混合而成,因此,采集到成像对象的图像后,即可获得该图像中任一像素点的三原色值,该三原色值包括红色子像素值R、绿色子像素值G和蓝色子像素值B。
S102:根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
首先从成像对象的图像中获得任一像素点的三原色值,然后根据该像素点的三原色值RGB构建一个3行1列的矩阵V,该矩阵V的第1行第1列的元素为红色子像素值R、第2行第1列的元素为绿色子像素值G、第3行第1列的元素为蓝色子像素值B,当然,本发明并不对矩阵中的元素的顺序进行限定,在其他实施例中,第1行的元素还可以为绿色子像素值G、第2行的元素为红色子像素值R、第3行的元素为蓝色子像素值B,当然,其子像素值的排列顺序需与后续提到的矩阵V中的子像素值的排列顺序保持一致。
构建该像素点的三原色值矩阵V后,将三原色值矩阵V与内窥镜的光谱特性参数矩阵sysG相乘得到成像对象的各波段反射光的光谱值的矩阵R,R=[rλ1,...,rλn]t n×1=sysGn×3V3×1。其中,内窥镜的光谱特性参数矩阵sysG是通过离线的方式进行测量和计算获得的,获得的内窥镜的光谱特性参数保存在本发明提供的应用于内窥镜的成像系统中,操作者在使用该成像系统时,成像系统会实时使用该内窥镜的光谱特性参数来获得成像对象的多光谱图像。
下面对获得内窥镜的光谱特性参数的过程进行详细描述。从测试和计算的可行性考虑,本发明中将内窥镜中的光学成像模组和图像传感器作为一个整体即图像采集系统来进行镜体光谱特性参数的测量,将内窥镜中的光纤和光源作为一个整体即光源系统来进行光源光谱特性参数的测量,然后再根据测量得到的镜体光谱特性参数和光源光谱特性参数计算出内窥镜的光谱特性参数。
本实施例中,测量镜体光谱特性参数的过程包括:
步骤一:将可见光通过一个有颜色的透射色卡,这里的可见光可以为内窥镜光源出射的可见光,也可以为其他标准光源出射的可见光;
步骤二:使经过透射色卡出射的可见光均匀分布,例如,将透射色卡出射的可见光导入积分球内来实现可见光的均匀分布;
步骤三:使用光谱仪测量该均匀分布的可见光的光谱值,同时使用内窥镜的图像采集系统采集该均匀分布的可见光的光照图像,并将图像保存为RGB格式的图像;
之后,更换透射色卡,并重复步骤一至步骤三,直至用完所有的透射色卡。
假设透射色卡有m个,m为大于1的自然数,则可获得m组光谱值和m个RGB图像。
对透过透射色卡的可见光进行离散化处理即等间隔分成n个波段,n为大于1的自然数,则每一组光谱值都可具有n个数据,此时,m组光谱值可构建成一个n行m列的矩阵O,O=[o1,o2,…om]。
以可见光的波长范围为400nm~700nm、离散间隔为5nm即n=61为例进行说明,则第1组光谱值O1包括400nm波段的可见光的光谱值O1 400、405nm波段的可见光的光谱值O1 405,...,以及700nm波段的可见光的光谱值O1 700,即o1=[o1 400,o1 405,…,o1 700]t,同理,第2组光谱值o2=[o2 400,o2 405,…,o2 700]t,...,第m组光谱值om=[om 400,om 405,…,om 700]t,矩阵
从m个RGB图像中获得每一个RGB图像的三原色平均值即红色子像素的平均值、绿色子像素的平均值和蓝色子像素的平均值,并将所有RGB图像的红色子像素的平均值、绿色子像素的平均值和蓝色子像素的平均值构建成一个3行m列的矩阵V, 其中,第1个RGB图像的红色子像素的平均值为R1、绿色子像素的平均值为G1和蓝色子像素的平均值为B1,第m个RGB图像的红色子像素的平均值为Rm、绿色子像素的平均值为Gm和蓝色子像素的平均值为Bm。
然后通过矩阵O和矩阵V计算得出内窥镜的镜体光谱特性参数G,ROV=O*V′,RVV=V*V′,也就是说,G=(O*V′)/(V*V′),其中,Rov是矩阵O和矩阵V的互相关,RVV是矩阵V的自相关,V′是矩阵V进行行列互换后的矩阵,由此可知,计算出的内窥镜的镜体光谱特性参数G是一个n行3列的矩阵。
本实施例中,测量光源光谱特性参数的过程包括:
步骤1:将内窥镜光源系统出射的可见光通过光纤和匀光装置(如积分球)形成均匀光;
步骤2:采用光谱仪测量步骤1中的均匀光的光谱功率值E;
步骤3:根据测量得到的光谱功率值E获得光源光谱特性参数GL。
同样,对内窥镜光源系统出射的可见光进行离散化处理即等间隔分成n组个波段,其中,其离散化程度与上述用于测量镜体光谱参数的可见光的离散化程度相同,如用于测量镜体光谱参数的可见光的离散间隔为5nm,并分成了n=61组,则内窥镜出射的可见光的离散间隔也为5nm且分为n=61组。
由此可知,光谱功率值E是一个n行1列的矩阵,假设n=61,则该矩阵E内第1行第1列的元素为400nm波段的可见光的光谱功率值,第2行第1列的元素为405nm波段的可见光的光谱功率值,以此类推,第n行第1列的元素为700nm波段的可见光的光谱功率值。
求出矩阵E内每一个元素的倒数,即可得到光源光谱特性参数GL,即GL=1./E,其中,GL是一个n行1列的矩阵。
由于光源能够同时影响图像的红色子像素值R、绿色子像素值G和蓝色子像素值B,因此,用光源光谱特性参数GL建立一个n行3列的矩阵[GLGLGL],然后再将矩阵[GLGLGL]与内窥镜的镜体光谱特性参数矩阵G内相对应的元素相乘,如矩阵[GLGLGL]中第2行第1列的元素与矩阵G内第2行第1列的元素相乘,来获得窥镜的光谱特性参数sysG,sysG=G.*[GLGLGL],其中sysG是一个n行3列的矩阵。
基于此,得到该像素点的三原色值矩阵V后,可根据矩阵V与内窥镜的光谱特性参数矩阵sysG得到成像对象的反射光的光谱值矩阵R,该矩阵R内的各个元素对应成像对象的各个波长反射光的光谱值,其矩阵大小和内窥镜光谱特性参数选择的离散程度一致,所以,矩阵R是一个n行1列的矩阵。假设内窥镜光谱特性参数的离散化程度值n=61,则矩阵R中的第1行第1列的元素为400nm波段的反射光的光谱值,第2行第1列的元素为405nm波段的反射光的光谱值,以此类推,第n行第1列的元素为700nm波段的反射光的光谱值。
S103:根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值、预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
根据三原色值矩阵V与内窥镜的光谱特性参数的矩阵sysG相乘得到反射光的光谱值矩阵R后,在获得成像对象的多光谱图像时,为了凸显成像对象在特定波段反射光下的视觉效果,即凸显生物组织在特定波段反射光下的病灶生理特征信息,需要选择特定的波段作为主波段,该主波段可以为成像对象的反射光的任一波段,如在400nm至700nm的反射光中选择任一波段的光(如405nm波长)作为主波段,该主波段可根据操作者习惯或者是凸显临床生理组织的特异性效果好坏等自由设置,其可以在本发明提供的成像系统内预先设置好,也可以由操作者实时设置。
使用该主波段演算成像对象的多光谱图像时,需要一个权重系数来配置该主波段的反射光在成像对象反射光中的比重,主波段模拟的是不同波长的窄带光,通过权重系数的大小模拟各个主波段光的强弱,若主波段的权重较大,则该主波段以及该主波段一定范围内的光占据成像对象反射光的绝大部分能量,其他波段没有或者仅仅占据成像对象反射光的很小部分能量。
在获得成像对象在主波段下的多光谱图像之前,需先获得该主波段的权重。其中,主波段的权重可以采用多种方法来获得,例如,可以采用高斯分布的方法来设置主波段的光谱能量分布权重。
其中,获得主波段反射光的权重系数的过程包括:选定所述反射光中的至少三个波段的光作为目标波段光;获得所述至少三个目标波段光在所述反射光波长范围内的权重;将所述至少三个目标波段光的权重相加并归一化后获得所述主波段反射光的权重系数。
具体过程为:选择三个目标波段光λ1、λ2、λ3,这三个目标波段分别对应RGB图像的三原色,其中这三个目标波段可以相同也可以不同,然后选择一个权重函数,该权重函数并不是唯一的。一种权重函数如公式所示,其中,H是目标波段反射光的最大值,对应图2中目标波段反射光光谱曲线的高度,m是目标波段的波长,b是目标波段的范围,对应图2中目标波段反射光光谱曲线的宽度。通过H、m以及b可以配置目标波段的光谱分布权重。
这三个目标波段在可见光范围内的权重分布如图2所示,该函数的中心由所选择的目标波段确定,分别获得这三个目标波段在整个可见光即反射光范围内的权重后,将整个可见光范围内的这三个权重相加并归一化作为最终的主波段权重W,权重W在可见光范围内的归一化分布值如图3所示。其中,主波段的权重W是一个n行n列的对角矩阵,其对角元素就是离散的各个波段的可见光的权重系数值。
选定主波段后,即可根据色度学定义生成成像对象在该主波段下的多光谱图像,具体过程为:先通过成像对象的反射光谱值、标准光源的光谱功率值、各波段反射光的三刺激值、预先选定的主波段反射光的权重系数,得到成像对象的三刺激值XYZ,然后再将该三刺激值XYZ转换到RGB空间,得到与所述像素点对应的目标像素点的三原色值。
具体地,成像对象的三刺激值XYZ计算过程如下:
其中,K是归一化系数,W是主波段的权重系数,R是与所述像素点对应的成像对象各波段反射光的光谱值,T是根据内窥镜光谱特性参数的离散分布,选择相应波长可见光的三刺激值依次组成的三刺激值矩阵,构成该矩阵的元素对应于可见光的各个波段的波长信息,即矩阵T是一个n行3列的矩阵, L是标准光源如D65标准光源的光谱功率分布矩阵,其元素同样按照内窥镜光谱特性的离散分布来依次选择相应波长可见光的光谱功率,且矩阵L是一个n行n列的对角矩阵,
将三刺激值XYZ转换到RGB空间,得到与所述像素点对应的目标像素点的三原色值的过程为:
使用XYZ转RGB的矩阵MXYZ2rgb,即根据公式 将获得的图像从XYZ空间转换到RGB空间,得到与所述像素点对应的目标像素点的三原色值。
也就是说,根据各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值、预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值的过程包括:
根据公式 获得与所述像素点对应的目标像素点的三原色值 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,T是所述各波段反射光的三刺激值,L是标准光源的光谱功率值,W是所述主波段反射光的权重系数,R是所述与所述像素点对应的成像对象各波段反射光的光谱值。
然后重复步骤102和103,得到与图像中的所有的像素点一一对应的目标像素点的三原色值,并进入步骤104。
S104:根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
其中,目标像素点是最终获得的多光谱图像中的任一像素点,根据图像采集系统根据成像对象的反射光形成的图像中的所有像素点获得所有目标像素点的三原色值之后,即可根据所有目标像素点的三原色值得到成像对象在预设的主波段反射光下的多光谱图像。
本实施例提供的应用于内窥镜的成像方法,根据成像对象的图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象的波段反射光的光谱值,然后再根据所述各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值,然后根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像,从而凸显成像对象在特定波段光下的图像效果,即凸显生物组织在特定波段光下的病灶生理特征信息,并且,本实施例中获得成像对象在特定波段下的多光谱图像的过程通过图像算法来进行处理,不需要在内窥镜内增加额外的结构件,避免在内窥镜内增加窄带滤光片导致的内窥镜结构复杂和加工难的问题。
本发明实施例还提供了一种应用于内窥镜的成像系统,该内窥镜包括图像采集系统和光源系统,如图4所示,所述成像系统包括获取模块1、第一运算模块2、第二运算模块3和成像模块4。
其中,获取模块1用于获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
第一运算模块2用于根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
第二运算模块3用于根据与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
成像模块4用于根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
具体地,第一运算模块2先根据图像中任一像素点的三原色值RGB构建一个3行1列的矩阵V,该矩阵V的第1行第1列的元素为红色子像素值R、第2行第1列的元素为绿色子像素值G、第3行第1列的元素为蓝色子像素值B,然后将三原色值矩阵V与内窥镜的光谱特性参数矩阵sysG相乘得到成像对象的各波段反射光的光谱值的矩阵R,R=[rλ1,...,rλn]t n×1=sysGn×3V3×1。其中,内窥镜的光谱特性参数矩阵sysG是通过离线的方式进行测量和计算获得的,获得的内窥镜的光谱特性参数保存在第一运算模块2中,操作者在使用本实施例提供的成像系统时,第一运算模块2会自动提取该内窥镜的光谱特性参数sysG来获得成像对象的多光谱图像。
本实施例中的内窥镜的光谱特性参数sysG是根据镜体光谱特性参数G和光源光谱特性参数GL获得的;所述镜体光谱特性参数是通过测量所述图像采集系统的光谱特性获得的;所述光源光谱特性参数是通过测量所述光源系统的光谱特性获得的。镜体光谱特性参数、光源光谱特性参数以及内窥镜的光谱特性参数的测量和计算过程在上述实施例中已经进行了详细描述,在此不再赘述。
第二运算模块3根据公式 获得与所述像素点对应的目标像素点的三原色值 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,W是所述主波段的权重系数,R是与所述像素点对应的成像对象各波段反射光的光谱值,T是根据内窥镜光谱特性参数的离散分布,选择相应波长可见光的三刺激值依次组成的三刺激值矩阵,构成该矩阵的元素对应于可见光的各个波段的波长信息,即矩阵T是一个n行3列的矩阵, L是标准光源的光谱功率分布矩阵,其元素同样按照内窥镜光谱特性的离散分布来依次选择相应波长可见光的光谱功率,且矩阵L是一个n行n列的对角矩阵,
本实施例提供的应用于内窥镜的成像系统,第一运算模块2根据成像对象的图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值,第二运算模块3根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;成像模块4根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像,,从而凸显成像对象在特定波段光下的图像效果,即凸显生物组织在特定波段光下的病灶生理特征信息,并且,本实施例中获得成像对象在特定波段下的多光谱图像的过程通过图像算法来进行处理,不需要在内窥镜内增加额外的结构件,避免在内窥镜内增加窄带滤光片导致的内窥镜结构复杂和加工难的问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。