CN105748027A - 应用于内窥镜的成像方法和系统 - Google Patents

应用于内窥镜的成像方法和系统 Download PDF

Info

Publication number
CN105748027A
CN105748027A CN201610089314.2A CN201610089314A CN105748027A CN 105748027 A CN105748027 A CN 105748027A CN 201610089314 A CN201610089314 A CN 201610089314A CN 105748027 A CN105748027 A CN 105748027A
Authority
CN
China
Prior art keywords
light
wave band
image
spectral
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610089314.2A
Other languages
English (en)
Other versions
CN105748027B (zh
Inventor
冯能云
陈云亮
李霄
石岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opening of biomedical technology (Wuhan) Co.,Ltd.
Original Assignee
Sonoscape Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonoscape Medical Corp filed Critical Sonoscape Medical Corp
Priority to CN201610089314.2A priority Critical patent/CN105748027B/zh
Publication of CN105748027A publication Critical patent/CN105748027A/zh
Application granted granted Critical
Publication of CN105748027B publication Critical patent/CN105748027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种应用于内窥镜的成像方法和系统,成像方法包括:获取成像对象的图像;根据图像中任一像素点的三原色值和内窥镜的光谱特性参数获得与该像素点对应的成像对象各波段反射光的光谱值;根据各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设主波段反射光的权重系数获得与像素点对应的目标像素点的三原色值;根据与图像中的所有像素点一一对应的目标像素点的三原色值获得成像对象在主波段反射光下的多光谱图像,从而能够得到凸显成像对象在特定波段光下的病灶生理特征的图像,并且,不需要在内窥镜内增加额外的结构件如窄带滤光片,避免了在内窥镜内增加窄带滤光片导致的内窥镜结构复杂和加工难的问题。

Description

应用于内窥镜的成像方法和系统
技术领域
本发明涉及内窥镜技术领域,更具体地说,涉及一种应用于内窥镜的成像方法和系统。
背景技术
内窥镜是一种具有图像传感器、光学镜头、照明光源以及机械装置等结构的检测仪器,它可以经口腔进入胃内或经其他天然孔道进入体内,来获得胃内或体内生物组织的图像。由于利用内窥镜可以看到X射线不能显示的病变,例如,可以观察胃内的溃疡或肿瘤,因此,其在病变诊断方面具有非常大的用途。
大多数医用内窥镜都是利用白光来进行全光谱成像,也就是说,现有的内窥镜都是通过波长范围涵盖整个可见光波段甚至是近红外波段的光源来提供照明,通过生物组织反射的所有波长的光来进行成像,但是,这种成像方式会抑制生物组织在不同波长光下的光谱特性,在凸显生物组织差异性等方面存在固有缺陷,难以提供有效的病灶生理特征信息,增加了临床医生的确诊难度。
基于此,现有技术提供了一种窄带成像技术(NarrowBandImaging,简称NBI),其利用窄带滤光片过滤掉光源发出的光线中的宽带光谱,仅留下窄带光谱来进行生物组织的成像。虽然窄带成像技术提供凸显生物组织病灶生理特征信息的图像,但是,其需要在内窥镜光源或者镜体内添加窄带滤波片,这样就会导致内窥镜的结构复杂,加工难度较大。
发明内容
有鉴于此,本发明提供了一种应用于内窥镜的成像方法和系统,以提供凸显生物组织病灶生理特征信息的图像的同时,避免在内窥镜内增加窄带滤光片导致的内窥镜结构复杂和加工难的问题。
为实现上述目的,本发明提供如下技术方案:
一种应用于内窥镜的成像方法,所述内窥镜包括图像采集系统和光源系统,包括:
获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
优选的,所述内窥镜的光谱特性参数是根据镜体光谱特性参数和光源光谱特性参数获得的;所述镜体光谱特性参数是通过测量所述图像采集系统的光谱特性获得的;所述光源光谱特性参数是通过测量所述光源系统的光谱特性获得的。
优选的,所述镜体光谱特性参数是根据光谱仪测量的透过m个透射色卡的光的光谱值以及所述图像采集系统采集的所述透过m个透射色卡的光的图像的三原色平均值计算出的,其中,m为大于1的自然数。
优选的,所述光源光谱特性参数是根据光谱仪测量的所述光源系统的光谱功率值计算出的。
优选的,根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值的过程包括:
将所述像素点的三原色值与所述内窥镜的光谱特性参数相乘来得到与所述像素点对应的成像对象各波段反射光的光谱值。
优选的,根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值的过程包括:
根据公式 r g b = M X Y Z 2 r g b · k · T · L · W · R 获得与所述像素点对应的目标像素点的三原色值 r g b , 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,T是所述各波段反射光的三刺激值,L是标准光源的光谱功率值,W是所述主波段反射光的权重系数,R是所述与所述像素点对应的成像对象各波段反射光的光谱值。
优选的,获得预设的主波段反射光的权重系数的过程包括:
选定所述反射光中的至少三个波段的光作为目标波段光;
获得所述至少三个目标波段光在所述反射光波长范围内的权重;
将所述至少三个目标波段光的权重相加并归一化后获得所述主波段反射光的权重系数。
一种应用于内窥镜的成像系统,所述内窥镜包括图像采集系统和光源系统,所述成像系统包括:
获取模块,用于获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
第一运算模块,用于根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
第二运算模块,用于根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
成像模块,用于根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
优选的,所述第一运算模块通过将所述像素点的三原色值与所述内窥镜的光谱特性参数相乘来得到与所述像素点对应的成像对象各波段反射光的光谱值。
优选的,所述第二运算模块根据公式 r g b = M X Y Z 2 r g b · k · T · L · W · R 获得与所述像素点对应的目标像素点的三原色值 r g b , 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,T是所述各波段反射光的三刺激值,L是标准光源的光谱功率值,W是所述主波段反射光的权重系数,R是所述与所述像素点对应的成像对象各波段反射光的光谱值。
与现有技术相比,本发明所提供的技术方案具有以下优点:
本发明所提供的应用于内窥镜的成像方法和系统,根据成像对象的图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值,然后再根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值,然后根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像,从而能够得到凸显成像对象在特定波段光下的病灶生理特征信息的图像,并且,本发明中获得成像对象在特定波段下的多光谱图像的过程都是通过图像算法来实现的,不需要在内窥镜内增加额外的结构件如窄带滤光片,从而避免了在内窥镜内增加窄带滤光片导致的内窥镜结构复杂和加工难的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种应用于内窥镜的成像方法的流程图;
图2为本发明实施例提供的三个目标波段在可见光范围内的权重分布;
图3为本发明实施例提供的主波段的权重在可见光范围内的归一化分布值;
图4为本发明实施例提供的一种应用于内窥镜的成像系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种应用于内窥镜的成像方法,该内窥镜包括图像采集系统和光源系统,如图1所示,该成像方法包括:
S101:获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
本实施例中,通过内窥镜的图像采集系统采集成像对象的RGB格式的图像,其中,本实施例中的成像对象可以为胃内的生物组织,也可以为体内其他部位的生物组织,且本发明并不仅限于此。
由于图像采集系统采集成像对象的图像时,需要内窥镜的光源系统对成像对象进行照明,因此,图像采集系统采集的是成像对象反射的光源出射的可见光,即采集的成像对象的图像是图像采集系统根据成像对象的反射光形成的图像。其中,成像对象的反射光的波长范围和所述光源出射的可见光的波长范围相同,例如,都为400nm~700nm波长的可见光。
由于RGB格式的图像是由多个像素点组成,而每一个像素点又是由红R、绿G、蓝B三原色混合而成,因此,采集到成像对象的图像后,即可获得该图像中任一像素点的三原色值,该三原色值包括红色子像素值R、绿色子像素值G和蓝色子像素值B。
S102:根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
首先从成像对象的图像中获得任一像素点的三原色值,然后根据该像素点的三原色值RGB构建一个3行1列的矩阵V,该矩阵V的第1行第1列的元素为红色子像素值R、第2行第1列的元素为绿色子像素值G、第3行第1列的元素为蓝色子像素值B,当然,本发明并不对矩阵中的元素的顺序进行限定,在其他实施例中,第1行的元素还可以为绿色子像素值G、第2行的元素为红色子像素值R、第3行的元素为蓝色子像素值B,当然,其子像素值的排列顺序需与后续提到的矩阵V中的子像素值的排列顺序保持一致。
构建该像素点的三原色值矩阵V后,将三原色值矩阵V与内窥镜的光谱特性参数矩阵sysG相乘得到成像对象的各波段反射光的光谱值的矩阵R,R=[rλ1,...,rλn]t n×1=sysGn×3V3×1。其中,内窥镜的光谱特性参数矩阵sysG是通过离线的方式进行测量和计算获得的,获得的内窥镜的光谱特性参数保存在本发明提供的应用于内窥镜的成像系统中,操作者在使用该成像系统时,成像系统会实时使用该内窥镜的光谱特性参数来获得成像对象的多光谱图像。
下面对获得内窥镜的光谱特性参数的过程进行详细描述。从测试和计算的可行性考虑,本发明中将内窥镜中的光学成像模组和图像传感器作为一个整体即图像采集系统来进行镜体光谱特性参数的测量,将内窥镜中的光纤和光源作为一个整体即光源系统来进行光源光谱特性参数的测量,然后再根据测量得到的镜体光谱特性参数和光源光谱特性参数计算出内窥镜的光谱特性参数。
本实施例中,测量镜体光谱特性参数的过程包括:
步骤一:将可见光通过一个有颜色的透射色卡,这里的可见光可以为内窥镜光源出射的可见光,也可以为其他标准光源出射的可见光;
步骤二:使经过透射色卡出射的可见光均匀分布,例如,将透射色卡出射的可见光导入积分球内来实现可见光的均匀分布;
步骤三:使用光谱仪测量该均匀分布的可见光的光谱值,同时使用内窥镜的图像采集系统采集该均匀分布的可见光的光照图像,并将图像保存为RGB格式的图像;
之后,更换透射色卡,并重复步骤一至步骤三,直至用完所有的透射色卡。
假设透射色卡有m个,m为大于1的自然数,则可获得m组光谱值和m个RGB图像。
对透过透射色卡的可见光进行离散化处理即等间隔分成n个波段,n为大于1的自然数,则每一组光谱值都可具有n个数据,此时,m组光谱值可构建成一个n行m列的矩阵O,O=[o1,o2,…om]。
以可见光的波长范围为400nm~700nm、离散间隔为5nm即n=61为例进行说明,则第1组光谱值O1包括400nm波段的可见光的光谱值O1 400、405nm波段的可见光的光谱值O1 405,...,以及700nm波段的可见光的光谱值O1 700,即o1=[o1 400,o1 405,…,o1 700]t,同理,第2组光谱值o2=[o2 400,o2 405,…,o2 700]t,...,第m组光谱值om=[om 400,om 405,…,om 700]t,矩阵
从m个RGB图像中获得每一个RGB图像的三原色平均值即红色子像素的平均值、绿色子像素的平均值和蓝色子像素的平均值,并将所有RGB图像的红色子像素的平均值、绿色子像素的平均值和蓝色子像素的平均值构建成一个3行m列的矩阵V, V = [ v 1 , v 2 , ... , v m ] = R 1 ... R m G 1 ... G m B 1 ... B m 3 × m , 其中,第1个RGB图像的红色子像素的平均值为R1、绿色子像素的平均值为G1和蓝色子像素的平均值为B1,第m个RGB图像的红色子像素的平均值为Rm、绿色子像素的平均值为Gm和蓝色子像素的平均值为Bm
然后通过矩阵O和矩阵V计算得出内窥镜的镜体光谱特性参数G,ROV=O*V′,RVV=V*V′,也就是说,G=(O*V′)/(V*V′),其中,Rov是矩阵O和矩阵V的互相关,RVV是矩阵V的自相关,V′是矩阵V进行行列互换后的矩阵,由此可知,计算出的内窥镜的镜体光谱特性参数G是一个n行3列的矩阵。
本实施例中,测量光源光谱特性参数的过程包括:
步骤1:将内窥镜光源系统出射的可见光通过光纤和匀光装置(如积分球)形成均匀光;
步骤2:采用光谱仪测量步骤1中的均匀光的光谱功率值E;
步骤3:根据测量得到的光谱功率值E获得光源光谱特性参数GL。
同样,对内窥镜光源系统出射的可见光进行离散化处理即等间隔分成n组个波段,其中,其离散化程度与上述用于测量镜体光谱参数的可见光的离散化程度相同,如用于测量镜体光谱参数的可见光的离散间隔为5nm,并分成了n=61组,则内窥镜出射的可见光的离散间隔也为5nm且分为n=61组。
由此可知,光谱功率值E是一个n行1列的矩阵,假设n=61,则该矩阵E内第1行第1列的元素为400nm波段的可见光的光谱功率值,第2行第1列的元素为405nm波段的可见光的光谱功率值,以此类推,第n行第1列的元素为700nm波段的可见光的光谱功率值。
求出矩阵E内每一个元素的倒数,即可得到光源光谱特性参数GL,即GL=1./E,其中,GL是一个n行1列的矩阵。
由于光源能够同时影响图像的红色子像素值R、绿色子像素值G和蓝色子像素值B,因此,用光源光谱特性参数GL建立一个n行3列的矩阵[GLGLGL],然后再将矩阵[GLGLGL]与内窥镜的镜体光谱特性参数矩阵G内相对应的元素相乘,如矩阵[GLGLGL]中第2行第1列的元素与矩阵G内第2行第1列的元素相乘,来获得窥镜的光谱特性参数sysG,sysG=G.*[GLGLGL],其中sysG是一个n行3列的矩阵。
基于此,得到该像素点的三原色值矩阵V后,可根据矩阵V与内窥镜的光谱特性参数矩阵sysG得到成像对象的反射光的光谱值矩阵R,该矩阵R内的各个元素对应成像对象的各个波长反射光的光谱值,其矩阵大小和内窥镜光谱特性参数选择的离散程度一致,所以,矩阵R是一个n行1列的矩阵。假设内窥镜光谱特性参数的离散化程度值n=61,则矩阵R中的第1行第1列的元素为400nm波段的反射光的光谱值,第2行第1列的元素为405nm波段的反射光的光谱值,以此类推,第n行第1列的元素为700nm波段的反射光的光谱值。
S103:根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值、预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
根据三原色值矩阵V与内窥镜的光谱特性参数的矩阵sysG相乘得到反射光的光谱值矩阵R后,在获得成像对象的多光谱图像时,为了凸显成像对象在特定波段反射光下的视觉效果,即凸显生物组织在特定波段反射光下的病灶生理特征信息,需要选择特定的波段作为主波段,该主波段可以为成像对象的反射光的任一波段,如在400nm至700nm的反射光中选择任一波段的光(如405nm波长)作为主波段,该主波段可根据操作者习惯或者是凸显临床生理组织的特异性效果好坏等自由设置,其可以在本发明提供的成像系统内预先设置好,也可以由操作者实时设置。
使用该主波段演算成像对象的多光谱图像时,需要一个权重系数来配置该主波段的反射光在成像对象反射光中的比重,主波段模拟的是不同波长的窄带光,通过权重系数的大小模拟各个主波段光的强弱,若主波段的权重较大,则该主波段以及该主波段一定范围内的光占据成像对象反射光的绝大部分能量,其他波段没有或者仅仅占据成像对象反射光的很小部分能量。
在获得成像对象在主波段下的多光谱图像之前,需先获得该主波段的权重。其中,主波段的权重可以采用多种方法来获得,例如,可以采用高斯分布的方法来设置主波段的光谱能量分布权重。
其中,获得主波段反射光的权重系数的过程包括:选定所述反射光中的至少三个波段的光作为目标波段光;获得所述至少三个目标波段光在所述反射光波长范围内的权重;将所述至少三个目标波段光的权重相加并归一化后获得所述主波段反射光的权重系数。
具体过程为:选择三个目标波段光λ1、λ2、λ3,这三个目标波段分别对应RGB图像的三原色,其中这三个目标波段可以相同也可以不同,然后选择一个权重函数,该权重函数并不是唯一的。一种权重函数如公式所示,其中,H是目标波段反射光的最大值,对应图2中目标波段反射光光谱曲线的高度,m是目标波段的波长,b是目标波段的范围,对应图2中目标波段反射光光谱曲线的宽度。通过H、m以及b可以配置目标波段的光谱分布权重。
这三个目标波段在可见光范围内的权重分布如图2所示,该函数的中心由所选择的目标波段确定,分别获得这三个目标波段在整个可见光即反射光范围内的权重后,将整个可见光范围内的这三个权重相加并归一化作为最终的主波段权重W,权重W在可见光范围内的归一化分布值如图3所示。其中,主波段的权重W是一个n行n列的对角矩阵,其对角元素就是离散的各个波段的可见光的权重系数值。
选定主波段后,即可根据色度学定义生成成像对象在该主波段下的多光谱图像,具体过程为:先通过成像对象的反射光谱值、标准光源的光谱功率值、各波段反射光的三刺激值、预先选定的主波段反射光的权重系数,得到成像对象的三刺激值XYZ,然后再将该三刺激值XYZ转换到RGB空间,得到与所述像素点对应的目标像素点的三原色值。
具体地,成像对象的三刺激值XYZ计算过程如下:
X Y Z = k T L W R = k T L W s y s G V
其中,K是归一化系数,W是主波段的权重系数,R是与所述像素点对应的成像对象各波段反射光的光谱值,T是根据内窥镜光谱特性参数的离散分布,选择相应波长可见光的三刺激值依次组成的三刺激值矩阵,构成该矩阵的元素对应于可见光的各个波段的波长信息,即矩阵T是一个n行3列的矩阵, T = x λ 1 - ... x λ n - y λ 1 - ... y λ n - z λ 1 - ... z λ n - 3 × n , L是标准光源如D65标准光源的光谱功率分布矩阵,其元素同样按照内窥镜光谱特性的离散分布来依次选择相应波长可见光的光谱功率,且矩阵L是一个n行n列的对角矩阵,
将三刺激值XYZ转换到RGB空间,得到与所述像素点对应的目标像素点的三原色值的过程为:
使用XYZ转RGB的矩阵MXYZ2rgb,即根据公式 r g b = M X Y Z 2 r g b × X Y Z , 将获得的图像从XYZ空间转换到RGB空间,得到与所述像素点对应的目标像素点的三原色值。
也就是说,根据各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值、预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值的过程包括:
根据公式 r g b = M X Y Z 2 r g b · k · T · L · W · R 获得与所述像素点对应的目标像素点的三原色值 r g b , 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,T是所述各波段反射光的三刺激值,L是标准光源的光谱功率值,W是所述主波段反射光的权重系数,R是所述与所述像素点对应的成像对象各波段反射光的光谱值。
然后重复步骤102和103,得到与图像中的所有的像素点一一对应的目标像素点的三原色值,并进入步骤104。
S104:根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
其中,目标像素点是最终获得的多光谱图像中的任一像素点,根据图像采集系统根据成像对象的反射光形成的图像中的所有像素点获得所有目标像素点的三原色值之后,即可根据所有目标像素点的三原色值得到成像对象在预设的主波段反射光下的多光谱图像。
本实施例提供的应用于内窥镜的成像方法,根据成像对象的图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象的波段反射光的光谱值,然后再根据所述各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值,然后根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像,从而凸显成像对象在特定波段光下的图像效果,即凸显生物组织在特定波段光下的病灶生理特征信息,并且,本实施例中获得成像对象在特定波段下的多光谱图像的过程通过图像算法来进行处理,不需要在内窥镜内增加额外的结构件,避免在内窥镜内增加窄带滤光片导致的内窥镜结构复杂和加工难的问题。
本发明实施例还提供了一种应用于内窥镜的成像系统,该内窥镜包括图像采集系统和光源系统,如图4所示,所述成像系统包括获取模块1、第一运算模块2、第二运算模块3和成像模块4。
其中,获取模块1用于获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
第一运算模块2用于根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
第二运算模块3用于根据与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
成像模块4用于根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
具体地,第一运算模块2先根据图像中任一像素点的三原色值RGB构建一个3行1列的矩阵V,该矩阵V的第1行第1列的元素为红色子像素值R、第2行第1列的元素为绿色子像素值G、第3行第1列的元素为蓝色子像素值B,然后将三原色值矩阵V与内窥镜的光谱特性参数矩阵sysG相乘得到成像对象的各波段反射光的光谱值的矩阵R,R=[rλ1,...,rλn]t n×1=sysGn×3V3×1。其中,内窥镜的光谱特性参数矩阵sysG是通过离线的方式进行测量和计算获得的,获得的内窥镜的光谱特性参数保存在第一运算模块2中,操作者在使用本实施例提供的成像系统时,第一运算模块2会自动提取该内窥镜的光谱特性参数sysG来获得成像对象的多光谱图像。
本实施例中的内窥镜的光谱特性参数sysG是根据镜体光谱特性参数G和光源光谱特性参数GL获得的;所述镜体光谱特性参数是通过测量所述图像采集系统的光谱特性获得的;所述光源光谱特性参数是通过测量所述光源系统的光谱特性获得的。镜体光谱特性参数、光源光谱特性参数以及内窥镜的光谱特性参数的测量和计算过程在上述实施例中已经进行了详细描述,在此不再赘述。
第二运算模块3根据公式 r g b = M X Y Z 2 r g b × k × T × L × W × R 获得与所述像素点对应的目标像素点的三原色值 r g b , 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,W是所述主波段的权重系数,R是与所述像素点对应的成像对象各波段反射光的光谱值,T是根据内窥镜光谱特性参数的离散分布,选择相应波长可见光的三刺激值依次组成的三刺激值矩阵,构成该矩阵的元素对应于可见光的各个波段的波长信息,即矩阵T是一个n行3列的矩阵, T = x λ 1 - ... x λ n - y λ 1 - ... y λ n - z λ 1 - ... z λ n - 3 × n , L是标准光源的光谱功率分布矩阵,其元素同样按照内窥镜光谱特性的离散分布来依次选择相应波长可见光的光谱功率,且矩阵L是一个n行n列的对角矩阵,
本实施例提供的应用于内窥镜的成像系统,第一运算模块2根据成像对象的图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值,第二运算模块3根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;成像模块4根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像,,从而凸显成像对象在特定波段光下的图像效果,即凸显生物组织在特定波段光下的病灶生理特征信息,并且,本实施例中获得成像对象在特定波段下的多光谱图像的过程通过图像算法来进行处理,不需要在内窥镜内增加额外的结构件,避免在内窥镜内增加窄带滤光片导致的内窥镜结构复杂和加工难的问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种应用于内窥镜的成像方法,所述内窥镜包括图像采集系统和光源系统,其特征在于,包括:
获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
2.根据权利要求1所述的方法,其特征在于,所述内窥镜的光谱特性参数是根据镜体光谱特性参数和光源光谱特性参数获得的;所述镜体光谱特性参数是通过测量所述图像采集系统的光谱特性获得的;所述光源光谱特性参数是通过测量所述光源系统的光谱特性获得的。
3.根据权利要求2所述的方法,其特征在于,所述镜体光谱特性参数是根据光谱仪测量的透过m个透射色卡的光的光谱值以及所述图像采集系统采集的所述透过m个透射色卡的光的图像的三原色平均值计算出的,其中,m为大于1的自然数。
4.根据权利要求2所述的方法,其特征在于,所述光源光谱特性参数是根据光谱仪测量的所述光源系统的光谱功率值计算出的。
5.根据权利要求1所述的方法,其特征在于,根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值的过程包括:
将所述像素点的三原色值与所述内窥镜的光谱特性参数相乘来得到与所述像素点对应的成像对象各波段反射光的光谱值。
6.根据权利要求1所述的方法,其特征在于,根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值的过程包括:
根据公式 r g b = M X Y Z 2 r g b · k · T · L · W · R 获得与所述像素点对应的目标像素点的三原色值 r g b , 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,T是所述各波段反射光的三刺激值,L是所述标准光源的光谱功率值,W是所述主波段反射光的权重系数,R是所述与所述像素点对应的成像对象各波段反射光的光谱值。
7.根据权利要求1所述的方法,其特征在于,获得预设的主波段反射光的权重系数的过程包括:
选定所述反射光中的至少三个波段的光作为目标波段光;
获得所述至少三个目标波段光在所述反射光波长范围内的权重;
将所述至少三个目标波段光的权重相加并归一化后获得所述主波段反射光的权重系数。
8.一种应用于内窥镜的成像系统,所述内窥镜包括图像采集系统和光源系统,其特征在于,所述成像系统包括:
获取模块,用于获取成像对象的图像,所述图像为所述图像采集系统根据所述成像对象的反射光形成的图像;
第一运算模块,用于根据所述图像中任一像素点的三原色值和所述内窥镜的光谱特性参数获得与所述像素点对应的成像对象各波段反射光的光谱值;
第二运算模块,用于根据所述与所述像素点对应的成像对象各波段反射光的光谱值、标准光源的光谱功率值、各波段反射光的三刺激值以及预设的主波段反射光的权重系数获得与所述像素点对应的目标像素点的三原色值;
成像模块,用于根据与所述图像中的所有像素点一一对应的目标像素点的三原色值获得所述成像对象在所述主波段反射光下的多光谱图像。
9.根据权利要求8所述的成像系统,其特征在于,所述第一运算模块通过将所述像素点的三原色值与所述内窥镜的光谱特性参数相乘来得到与所述像素点对应的成像对象各波段反射光的光谱值。
10.根据权利要求8所述的成像系统,其特征在于,所述第二运算模块根据公式 r g b = M X Y Z 2 r g b · k · T · L · W · R 获得与所述像素点对应的目标像素点的三原色值 r g b , 其中,MXYZ2rgb是图像XYZ空间转RGB空间的矩阵,K是归一化系数,T是所述各波段反射光的三刺激值,L是所述标准光源的光谱功率值,W是所述主波段反射光的权重系数,R是所述与所述像素点对应的成像对象各波段反射光的光谱值。
CN201610089314.2A 2016-02-17 2016-02-17 应用于内窥镜的成像方法和系统 Active CN105748027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610089314.2A CN105748027B (zh) 2016-02-17 2016-02-17 应用于内窥镜的成像方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610089314.2A CN105748027B (zh) 2016-02-17 2016-02-17 应用于内窥镜的成像方法和系统

Publications (2)

Publication Number Publication Date
CN105748027A true CN105748027A (zh) 2016-07-13
CN105748027B CN105748027B (zh) 2017-11-07

Family

ID=56330829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610089314.2A Active CN105748027B (zh) 2016-02-17 2016-02-17 应用于内窥镜的成像方法和系统

Country Status (1)

Country Link
CN (1) CN105748027B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018107774A1 (zh) * 2016-12-15 2018-06-21 深圳开立生物医疗科技股份有限公司 应用于内窥镜系统的成像方法
CN110337258A (zh) * 2017-02-28 2019-10-15 威里利生命科学有限责任公司 使用可编程光源对图像进行多类分类的系统和方法
CN111110175A (zh) * 2019-12-31 2020-05-08 深圳开立生物医疗科技股份有限公司 一种内窥镜光源及其调光方法、装置和内窥镜系统
CN111387910A (zh) * 2018-12-13 2020-07-10 杭州海康慧影科技有限公司 一种用于内窥镜辅助检查的方法和装置
CN116029936A (zh) * 2023-01-31 2023-04-28 北京小米移动软件有限公司 图像的修正方法及装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
CN1827032A (zh) * 2005-03-04 2006-09-06 富士能株式会社 内窥装置
CN1827034A (zh) * 2005-03-04 2006-09-06 富士能株式会社 内镜装置
CN1827033A (zh) * 2005-03-04 2006-09-06 富士能株式会社 内窥镜装置
US20070183162A1 (en) * 2006-01-31 2007-08-09 Fujinon Corporation Electronic endoscope apparatus
CN104540438A (zh) * 2012-07-17 2015-04-22 Hoya株式会社 图像处理装置和内窥镜装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
CN1827032A (zh) * 2005-03-04 2006-09-06 富士能株式会社 内窥装置
CN1827034A (zh) * 2005-03-04 2006-09-06 富士能株式会社 内镜装置
CN1827033A (zh) * 2005-03-04 2006-09-06 富士能株式会社 内窥镜装置
US20070183162A1 (en) * 2006-01-31 2007-08-09 Fujinon Corporation Electronic endoscope apparatus
CN104540438A (zh) * 2012-07-17 2015-04-22 Hoya株式会社 图像处理装置和内窥镜装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018107774A1 (zh) * 2016-12-15 2018-06-21 深圳开立生物医疗科技股份有限公司 应用于内窥镜系统的成像方法
CN110337258A (zh) * 2017-02-28 2019-10-15 威里利生命科学有限责任公司 使用可编程光源对图像进行多类分类的系统和方法
US11699102B2 (en) 2017-02-28 2023-07-11 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
CN111387910A (zh) * 2018-12-13 2020-07-10 杭州海康慧影科技有限公司 一种用于内窥镜辅助检查的方法和装置
CN111110175A (zh) * 2019-12-31 2020-05-08 深圳开立生物医疗科技股份有限公司 一种内窥镜光源及其调光方法、装置和内窥镜系统
CN111110175B (zh) * 2019-12-31 2023-04-07 深圳开立生物医疗科技股份有限公司 一种内窥镜光源及其调光方法、装置和内窥镜系统
CN116029936A (zh) * 2023-01-31 2023-04-28 北京小米移动软件有限公司 图像的修正方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN105748027B (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN105748027A (zh) 应用于内窥镜的成像方法和系统
CN102327156B (zh) 牙齿色度映射
JP6456416B2 (ja) 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置
CN101152073B (zh) 电子内窥镜装置
US6373568B1 (en) Spectral imaging system
CN102331301B (zh) 牙齿阴影映射
CN104181546B (zh) 彩色三维扫描激光雷达颜色信息采集显示方法
CN105588642B (zh) 色度计的校准
EP2821003A1 (en) Endoscope system and method for operating the same
CN106461828A (zh) 空间和光谱滤波孔径以及包括其的光学成像系统
CN105865624B (zh) 高光谱采集系统的光谱提取方法及装置
US20150103401A1 (en) Reference color slide for use in color correction of transmission-microscope slides
JP2015132594A (ja) 測定装置、測定システム及び測定方法
CN101793671A (zh) 均匀光源照明可变滤色片式多光谱成像仪
KR101705818B1 (ko) 색도 및 휘도 측정 장치, 시스템 및 측정방법
JP2011089840A (ja) 色評価システム及び色評価方法
US10989653B2 (en) Color imaging by discrete narrow-band synchronized illumination
JP6601632B2 (ja) 色彩測定方法
CN110115557A (zh) 一种高光谱内窥成像装置及成像方法
Litorja et al. Use of a spectrally tunable source to explore improvement in chromatic contrast for illumination of tissues
JPS6340528A (ja) 内視鏡装置
Babilon et al. Spectral reflectance estimation of organic tissue for improved color correction of video-assisted surgery
Litorja et al. Development of surgical lighting for enhanced color contrast
EP4275577A1 (en) Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light
EP4275579A1 (en) Method, processor, and medical observation device using two color images and color cameras for fluorescence and white-light

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 518000 201, 202, building 12, Shenzhen Software Park (phase 2), No.1, Keji Middle Road, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: SONOSCAPE MEDICAL Corp.

Address before: 518051 Guangdong city of Shenzhen province Nanshan District Yuquanlu Road Yizhe building 4, 5, 8, 9, 10 floor

Patentee before: SONOSCAPE MEDICAL Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200602

Address after: 430000 2 / F, building B13, biological industry (Jiufeng) innovation enterprise base, No. 666, Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee after: Opening of biomedical technology (Wuhan) Co.,Ltd.

Address before: 518000 201, 202, building 12, Shenzhen Software Park (phase 2), No.1, Keji Middle Road, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SONOSCAPE MEDICAL Corp.