CN107427183B - 内窥镜装置 - Google Patents

内窥镜装置 Download PDF

Info

Publication number
CN107427183B
CN107427183B CN201580077817.1A CN201580077817A CN107427183B CN 107427183 B CN107427183 B CN 107427183B CN 201580077817 A CN201580077817 A CN 201580077817A CN 107427183 B CN107427183 B CN 107427183B
Authority
CN
China
Prior art keywords
image
mixed
pixel
brightness
special light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580077817.1A
Other languages
English (en)
Other versions
CN107427183A (zh
Inventor
三田村元裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107427183A publication Critical patent/CN107427183A/zh
Application granted granted Critical
Publication of CN107427183B publication Critical patent/CN107427183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals

Abstract

内窥镜装置具有：普通光图像获取部，其获取普通光图像；特殊光图像获取部，其获取特殊光图像；混合图像生成部(421)，其对构成普通光图像的多个颜色成分图像中的一个颜色成分图像和特殊光图像进行合成而生成混合图像；以及重叠图像生成部(422)，其对混合图像和其他颜色成分图像进行合成而生成彩色的重叠图像，混合图像生成部(421)按照一个颜色成分图像的像素和特殊光图像的像素的分布在混合图像的整体中大致均匀的方式将一个颜色成分图像的像素中的一部分像素置换成特殊光图像的对应的像素，从而生成混合图像。

Description

内窥镜装置
技术领域
本发明涉及内窥镜装置。
背景技术
以往，公知有如下的内窥镜装置：该内窥镜装置获取白色光图像那样的普通光图像和荧光图像那样的特殊光图像并对普通光图像和特殊光图像进行重叠显示(例如，参照专利文献1、2)。作为将普通光图像和特殊光图像重叠的方法，在专利文献1中，将特殊光图像与构成普通光图像的R、G、B三个颜色成分图像中的一个颜色成分图像相加，在专利文献2中，从特殊光图像提取具有较高的灰度值的关注区域，将所提取的关注区域与普通光图像相加。
现有技术文献
专利文献
专利文献1：日本特许第4799109号公报
专利文献2：日本特许第4394356号公报
发明内容
发明要解决的课题
但是，在使用了专利文献1的重叠方法的情况下，存在如下问题：通过将荧光图像的灰度值与一个颜色成分图像的灰度值相加而使该一个颜色成分图像的灰度值提高，从而使重叠图像的色调整体上偏向重叠有特殊光图像的成分图像的颜色，重叠图像的色调与普通光图像的色调不同。另外，还存在如下问题：荧光图像的SN比大多较低，荧光图像的噪声会直接反映在重叠图像上。
在使用了专利文献2的重叠方法的情况下，虽然关注区域中的具有不满足提取基准的比较低的灰度值的区域是观察者要关注的区域，但有可能因未从特殊光图像提取而没有显示在重叠图像上。
本发明是鉴于上述的情况而完成的，其目的在于，提供能够生成色调的变化和噪声较少并且显示了特殊光图像中的所有关注区域的重叠图像的内窥镜装置。
用于解决课题的手段
为了实现上述目的，本发明提供以下手段。
本发明提供内窥镜装置，该内窥镜装置具有：普通光图像获取部，其对被照射了宽带的可见光的被摄体进行拍摄而获取普通光图像；特殊光图像获取部，其对被照射了窄带的特殊光的所述被摄体进行拍摄而获取特殊光图像；混合图像生成部，其对构成所述普通光图像的多个颜色成分图像中的一个颜色成分图像和所述特殊光图像进行合成而生成混合图像；以及重叠图像生成部，其对该混合图像生成部所生成的所述混合图像和所述多个颜色成分图像中的其他颜色成分图像进行合成，从而生成彩色的重叠图像，所述混合图像生成部选择所述一个颜色成分图像的像素中的一部分像素，将所选择出的一部分像素置换成所述特殊光图像的对应的像素从而生成所述混合图像，并且按照所述一个颜色成分图像的像素和所述特殊光图像的像素的分布在所述混合图像整体中大致均匀的方式将所述一个颜色成分图像的一部分像素置换成所述特殊光图像的像素。
根据本发明，普通光图像获取部所获取的彩色的普通光图像被分离成一个颜色成分图像和其他颜色成分图像，将一个颜色成分图像与特殊光图像获取部所获取的特殊光图像进行合成从而生成混合图像。所生成的混合图像通过重叠图像生成部而与其他颜色成分图像进行彩色合成。由此，得到将特殊光图像与普通光图像重叠而成的重叠图像。
在该情况下，特殊光图像整体大致均匀地合成在混合图像中而无需实施仅提取一部分的区域的处理。因此，能够使特殊光图像中具有灰度值的所有关注区域显示在重叠图像上。另外，通过将一个颜色成分图像的像素和特殊光图像的像素在混合图像中直接混杂，使混合图像相对于一个颜色成分图像的灰度值的变化降低，并且使特殊光图像所包含的噪声在混合图像中降低。由此，能够生成相对于普通光图像色调的变化和噪声较少的重叠图像。
在上述发明中，所述混合图像生成部也可以具有混合图案，该混合图案对所述混合图像中的所述一个颜色成分图像的像素和所述特殊光图像的像素的排列进行了规定以使得所述一个颜色成分图像的像素和所述特殊光图像的像素以由一个像素的单位或多个像素的单位构成的最小重复单位在行方向和列方向上交替排列，所述混合图像生成部按照该混合图案中的所述特殊光图像的像素的排列将从所述一个颜色成分图像选择出的所述一部分像素置换成所述特殊光图像的像素。
由此，能够稳定地得到色调的维持效果和噪声的降低效果。
在上述发明中，所述混合图案也可以是所述行方向上的所述最小重复单位和所述列方向上的所述最小重复单位互相不同的周期排列图案。
由此，在重叠图像中的具有在特殊光图像中较高的灰度值的关注区域中，以与特殊光图像合成的一个颜色成分图像的颜色显示相当于周期排列图案的花纹。能够通过该花纹来提高关注区域的识别性。
在上述发明中，所述混合图案也可以是所述行方向上的所述最小重复单位和所述列方向上的所述最小重复单位互相相等的正方形格子排列图案。
由此，能够得到色调的变化和噪声进一步降低的重叠图像。
在上述发明中，也可以具有混合图案设定部，该混合图案设定部对所述混合图案进行设定，所述混合图像生成部按照所述混合图案设定部所设定的混合图案来生成所述混合图像。
由此，能够通过混合图案设定部对在混合图像的生成中使用的混合图案进行变更。
在上述发明中，也可以具有对比度测定部，该对比度测定部对所述特殊光图像的明亮度的对比度进行测定，所述混合图案设定部根据所述对比度测定部所测定出的对比度，将所述混合图案设定为该对比度越低则构成所述混合图案中的所述最小重复单位的像素数越多。
在关注区域的灰度值较低且特殊光图像的明亮度的对比度较低的情况下，关注区域的识别性在重叠图像中变低。因此，通过增大构成混合图案的最小重复单位的像素数来使混合图像中的关注区域的花纹变大，从而能够提高灰度值较低的关注区域的识别性。
在上述发明中，也可以具有明亮度测定部，该明亮度测定部对所述特殊光图像的明亮度进行测定，所述混合图案设定部根据所述明亮度测定部所测定出的明亮度，将所述混合图案设定为该明亮度越低则构成所述混合图案中的所述最小重复单位的像素数越多。
在特殊光图像较暗的情况下，关注区域的识别性在重叠图像中变低。因此，通过增大构成混合图案的最小重复单位的像素数来使混合图像中的关注区域的花纹变大，从而能够提高灰度值较低的关注区域的识别性。
在上述发明中，也可以具有：明亮度测定部，其对所述特殊光图像的明亮度进行测定；以及明亮度调整部，其根据该明亮度测定部所测定出的明亮度，对所述特殊光图像的明亮度进行调整，所述混合图像生成部使用明亮度被所述明亮度调整部调整后的特殊光图像来生成所述混合图像。
在特殊光图像的明亮度与一个颜色成分图像的明亮度的差异较大的情况下，普通光图像的色调与重叠图像的色调的差异变大。因此，通过对特殊光图像的明亮度进行调整，能够生成具有更接近普通光图像的色调的色调的重叠图像。
发明效果
根据本发明，起到了能够生成色调的变化和噪声较少并且显示了特殊光图像中的所有关注区域的重叠图像的效果。
附图说明
图1是本发明的第一实施方式的内窥镜装置的整体结构图。
图2是图1的内窥镜装置中的图像处理单元的结构图。
图3是对图2的图像处理单元中的普通光图像和荧光图像的处理进行说明的图。
图4是示出在图2的混合图像生成部中生成的混合图像的一部分的图。
图5是示出在图2的混合图像生成部中生成的混合图像的其他例的图。
图6是示出在本发明的第二实施方式的内窥镜装置中在混合图像生成部中使用的混合图案的图。
图7是示出在本发明的第三实施方式的内窥镜装置中在混合图像生成部中使用的混合图案的图。
图8是本发明的第三实施方式的内窥镜装置的变形例的图像处理单元的结构图。
图9是本发明的第四实施方式的内窥镜装置中的图像处理单元的结构图。
图10是示出在图9的混合图像生成部中使用的混合图案的图。
图11是本发明的第四实施方式的内窥镜装置的变形例的图像处理单元的结构图。
图12是本发明的第五实施方式的内窥镜装置中的图像处理单元的结构图。
图13是示出图1的内窥镜装置中的摄像单元的变形例的局部结构图。
具体实施方式
(第一实施方式)
参照图1至图5对本发明的第一实施方式的内窥镜装置1进行说明。
如图1所示，本实施方式的内窥镜装置1具有：光源单元2，其输出普通光和激励光(特殊光)；插入部3，其能够插入到体内，对体内的生物体组织S照射普通光和激励光而获取生物体组织S的图像信号；处理器4，其根据该插入部3所获取的图像信号来生成图像；以及显示部5，其显示该处理器4所生成的图像。
光源单元2具有：光源21，其发出白色光那样的宽带光；滤镜单元22，其使从该光源21发出的光中的普通光和激励光择一地透过；以及耦合透镜23，其使透过了该滤镜单元22的普通光或激励光收敛。滤镜单元22具有转台，该转台具有使作为宽带的可见光的普通光选择性透过的普通光滤镜和使窄带的激励光选择性透过的激励光滤镜。滤镜单元22按照后述的定时控制部44的控制使转台旋转而使普通光滤镜和激励光滤镜交替地配置在光源21的输出光轴上。由此，从光源单元2交替地输出普通光和激励光。
插入部3具有：照明单元6，其从插入部3的前端3a朝向生物体组织(被摄体)S照射从光源单元2输出的普通光和激励光；以及摄像单元7，其设置在插入部3的前端3a，对生物体组织S进行拍摄。
照明单元6具有：光导纤维61，其沿着插入部3的长度方向的几乎整个长度配置；以及照明光学系统62，其设置在插入部3的前端3a。光导纤维61将耦合透镜23所收敛的光从其基端引导至前端。照明光学系统62使从光导纤维61的前端射出的普通光和激励光扩散而照射到与插入部3的前端3a对置的生物体组织S上。
摄像单元7具有：物镜71，其对来自生物体组织S的光进行聚集；收敛透镜72，其使该物镜71所聚集的光收敛；以及摄像元件73，其对收敛透镜72所收敛的光进行拍摄。标号74是激励光截止滤镜，其遮断激励光并使其他波段的光透过。
摄像元件73例如是彩色CCD或彩色CMOS。摄像元件73接受从物镜71入射的光，对所接受的光进行光电转换而生成图像信号，将所生成的图像信号发送给处理器4。
处理器4具有：数据缓冲器41，其暂时保存从摄像元件73接收的图像信号；图像处理单元42，其对从该数据缓冲器41接收的图像信号进行处理而生成重叠图像；显示图像缓冲器43，其暂时保存从该图像处理单元42输出的重叠图像；以及定时控制部44，其使各缓冲器41、43、图像处理单元42、滤镜单元22和摄像元件73的动作同步。标号45是放大器，其对从摄像元件73输出的图像信号进行放大，标号46是增益控制器(AGC)，标号47是AD转换器，其将模拟信号的图像信号转换成数字信号的图像信号，标号48是DA转换器，其将从显示图像缓冲器43输出的重叠图像的数字信号的图像信号转换成模拟信号的图像信号。
定时控制部44通过以下方式使摄像元件73交替地获取普通光图像信号和荧光图像信号：当在光源21的输出光轴上配置普通光滤镜而向生物体组织S照射普通光时，使摄像元件73执行普通光的曝光，当在光源21的输出光轴上配置激励光滤镜而向生物体组织S照射激励光时，使摄像元件73执行荧光的曝光。
数据缓冲器41暂时保存从摄像元件73接收的普通光图像信号和荧光图像信号，将一对普通光图像信号和荧光图像信号发送给图像处理单元42。
如图2所示，图像处理单元42具有混合图像生成部421和重叠图像生成部422。图3示出了通过图像处理单元42从普通光图像和荧光图像生成重叠图像的过程。对宽带的普通光进行拍摄而获取的普通光图像信号由三种颜色的图像信号(即红色(R)图像信号、绿色(G)图像信号和蓝色(B)图像信号)构成。数据缓冲器41将G图像信号和荧光图像信号发送给混合图像生成部421，将R图像信号和B图像信号发送给重叠图像生成部422。
混合图像生成部421根据从数据缓冲器41接收的G图像信号生成G成分图像，根据荧光图像信号生成荧光图像。G成分图像和荧光图像由呈矩阵状二维排列的多个像素构成。
混合图像生成部421从G成分图像的所有像素中随机选择一部分像素。但是，混合图像生成部421从G成分图像的整体中大致均等地选择像素，以使得在G成分图像中选择的像素的位置不会产生偏重。接着，混合图像生成部421将所选择的各个像素置换成与该像素相同位置的荧光图像中的像素。由此，如图4所示，生成由G成分图像的像素和荧光图像的像素在混合图像的整体中按照大致均匀的分布混杂而成的混合图像。在图4中，“N”表示普通光图像的像素，“F”表示荧光图像的像素。混合图像生成部421将所生成的混合图像发送给重叠图像生成部422。
重叠图像生成部422使用从混合图像生成部421接收的混合图像来代替G成分图像，对混合图像和从数据缓冲器41接收的R成分图像和B成分图像进行彩色合成从而生成彩色的重叠图像。重叠图像生成部422将所生成的重叠图像发送给显示图像缓冲器43。
显示图像缓冲器43暂时保存从重叠图像生成部422接收的重叠图像，将重叠图像隔开一定的时间间隔而经由DA转换器48输出给显示部5。
接着，对这样构成的内窥镜装置1的作用进行说明。
要想使用本实施方式的内窥镜装置1对生物体组织S进行观察，预先对生物体组织S投放例如积聚在病变部的荧光物质。
首先，将插入部3插入到体内而使前端3a与生物体组织S对置配置，通过光源单元2的动作而从插入部3的前端3a向生物体组织S交替地照射普通光和激励光。
当向生物体组织S照射普通光时，在生物体组织S的表面上反射的普通光被物镜71聚集。物镜71所聚集的普通光被收敛透镜72收敛到摄像元件73的摄像面，从而作为普通光图像信号被该摄像元件73获取。
另一方面，当向生物体组织S照射激励光时，病变部所包含的荧光物质被激励光激发而产生荧光，荧光和激励光的一部分被物镜71聚集。物镜71所聚集的荧光和激励光在激励光截止滤镜74中仅荧光被提取。所提取的荧光被收敛透镜72收敛到摄像元件73的摄像面，从而作为荧光图像信号被该摄像元件73获取。按照以上方式通过摄像元件73交替获取的普通光图像信号和荧光图像信号被发送给处理器4。
在处理器4中，普通光图像信号和荧光图像信号经由放大器45、AGC 46和AD转换器47而输入给数据缓冲器41，一对普通光图像信号和荧光图像信号从数据缓冲器41输入给图像处理单元42。此时，普通光图像被分离成G图像信号以及R图像信号和B图像信号，G图像信号与荧光图像信号一起被输入给混合图像生成部421，R图像信号和B图像信号被输入给重叠图像生成部422。
在混合图像生成部421中，将G成分图像中的一部分像素置换成荧光图像的像素，从而生成由G成分图像的像素和荧光图像的像素在整体上按照大致均匀的分布混合而成的混合图像。在混合图像中包含G成分图像中的生物体组织S的像和荧光图像中的荧光的像这两者。所生成的混合图像在重叠图像生成部422中与R成分图像和B成分图像进行彩色合成而生成重叠图像。所生成的重叠图像隔开规定的时间间隔而依次从显示图像缓冲器43经由DA转换器48输出给显示部5。由此，将重叠图像作为实时动态图像显示在显示部5上。
在该情况下，根据本实施方式，混合图像是由G成分图像的像素和荧光图像的像素在混合图像整体中按照大致均匀的分布进行混杂的方式混合而成的图像，无论灰度值如何，荧光图像整体都大致均匀地合成在混合图像中。因此，荧光区域中的不仅具有足够高的灰度值的荧光区域，具有比较低的灰度值的荧光区域也被合成在混合图像中。由此，具有能够生成显示了观察者所要关注的所有荧光区域的重叠图像的优点。
另外，混合图像的各像素的灰度值就是G颜色成分图像的像素的灰度值或荧光图像的像素的灰度值本身。在使用这样的混合图像进行彩色合成而得到的重叠图像中，具有能够再现与普通光图像的色调大致相同的色调的优点。另外，即使荧光图像的SN比较低且荧光图像包含噪声，也能够通过对荧光图像的像素和无噪声的G成分图像的像素进行混合而使噪声在混合图像中降低。由此，具有能够得到噪声较少的重叠图像的优点。
另外，在本实施方式中，混合图像生成部421也可以如图5所示的那样，将G成分图像分割成由规定的数量的像素构成的小区域，在各小区域中按照规定的数量随机选择要置换成荧光图像的像素的像素。在图5的例子中，小区域由四个像素×四个像素构成，在各小区域中将8个“N”置换成“F”。由此，能够生成“N”的像素和“F”的像素在整体上更加均匀地分布的混合图像。在该情况下，混合像生成部421可以按照每个小区域来确定要置换成“F”的像素，但是，也可以取而代之，通过从构成小区域的像素的排列中随机选择要置换成“F”的像素而确定图案，将所确定的相同图案应用于所有的小区域。在该情况下，具有“N”和“F”的相同的排列的小区域在混合图像中在行方向和列方向上重复。
(第二实施方式)
接着，参照图6对本发明的第二实施方式的内窥镜装置进行说明。
本实施方式的内窥镜装置在以下的点上与第一实施方式不同：混合图像生成部(混合图案设定部)421并不是在G成分图像的像素中随机选择要置换成荧光图像的像素的像素，而是按照规定的混合图案进行选择。
在混合图像生成部421中存储有对G成分图像的像素“N”和荧光图像的像素“F”的排列进行了规定的混合图案。如图6所示，混合图案是“N”和“F”以一个像素的单位在行方向和列方向上交替地呈交替方格花纹状(市松模様状)排列的正方形格子排列图案。混合图像生成部421将G成分图像的全部像素中的与混合图案的“F”对应的像素置换成荧光图像的像素，从而生成混合图像。
本实施方式的其他结构与第一实施方式是同样的。
根据本实施方式，使G成分图像的像素“N”和荧光图像的像素“F”以一个像素的单位呈正方形格子排列，从而使荧光图像所包含的噪声在混合图像中有效地降低。由此，具有能够生成噪声更少的重叠图像的优点。另外，在使用G成分图像的像素“N”更均匀地分布的混合图像进行彩色合成而得到的重叠图像中，具有能够再现与普通光图像的色调更接近的色调的优点。
另外，在本实施方式中，对“N”和“F”以一个像素的单位呈交替方格花纹状排列的正方形格子排列图案进行了说明，但也可以使用由“N”和“F”以正方形排列的多个像素的单位呈交替方格花纹状排列而成的正方形格子排列图案。例如，也可以使具有两个像素×两个像素的正方形排列的四个像素的“N”和具有两个像素×两个像素的正方形排列的四个像素的“F”在行方向和列方向上交替排列。
(第三实施方式)
接着，参照图7和图8对本发明的第三实施方式的内窥镜装置进行说明。
本实施方式的内窥镜装置在混合图像生成部421按照规定的混合图案来选择要置换成荧光图像的像素的像素的点上与第二实施方式相同，但混合图案与第二实施方式不同。
在本实施方式中，如图7所示，混合图案是“N”和“F”以一个像素或几个像素的任意单位在行方向和列方向上交替地进行周期性排列而得到的周期排列图案。在该混合图案中，行方向中的“N”和“F”的交替周期和列方向中的“N”和“F”的交替周期互相不同。在图7的例子中，三个“N”和一个“F”在行方向上交替排列，一个“N”和一个“F”在列方向上交替排列。因此，交替周期(即“N”和“F”的最小重复单位)在行方向上为四个，在列方向上为两个。另外，在混合图案的最小重复单位中，“F”的数量为“N”的数量以上。在最小重复单位中的“F”的数量小于“N”的数量的情况下，会使荧光区域在重叠图像中显眼的效果(后述)降低。
在使用按照这样的混合图案生成的混合图像来生成重叠图像的情况下，与混合图案中的“F”的排列对应的周期的花纹在重叠图像中以绿色显示。特别是在混合图像具有较高的灰度值的荧光区域中绿色的花纹较鲜明。因此，与荧光区域的整体以均匀的绿色显示的情况相比，能够提高重叠图像中的荧光区域的识别性。另一方面，在荧光区域以外的区域中，由于混合图像的灰度值较低，因此绿色的花纹模糊到无法视觉确认的程度。
在本实施方式中，也可以使在混合图像生成部421中使用的混合图案随时间发生变化，以使得图案在重叠图像中发生动态变化。
具体而言，如图8所示，还设置有帧计数器423，其对从数据缓冲器41输入给混合图像生成部421的图像的数量进行计数。在混合图像生成部421中存储多种混合图案，混合图像生成部421按照帧计数器423所计数出的计数数量，对在混合图像的生成中使用的混合图案进行变更。例如，混合图像生成部421在计数数量为偶数时使用第一图案，在计数数量为奇数时使用与第一图案不同的第二图案。由此，显示在重叠图像的荧光区域中的绿色的花纹发生动态变化，因此能够进一步提高荧光区域的识别性。
(第四实施方式)
接着，参照图9至图11对本发明的第四实施方式的内窥镜装置进行说明。
如图9所示，本实施方式的内窥镜装置在还具有图案尺寸调整部(混合图案设定部)424的点上与第一实施方式不同。
在本实施方式中，混合图像生成部421也与第二实施方式同样地按照规定的混合图案来选择要置换成荧光图像的像素的像素。但是，在本实施方式中，在混合图像生成部421中存储有图案尺寸不同的相同图案的多个混合图案。
具体而言，如图10所示，在混合图像生成部421中存储有由“N”和“F”的正方形格子排列图案构成的最小重复单位的像素数互相不同的多个混合图案。例如，在一个混合图案中，如图10的左图那样，“N”和“F”以一个像素的单位在行方向和列方向上交替排列，最小重复单位为四个像素。在其他混合图案中，如图10的右图那样，具有两个像素×两个像素的正方形排列的四个像素“N”和具有两个像素×两个像素的正方形排列的四个像素“F”在行方向和列方向上交替排列，最小重复单位为16个像素。
观察者能够使用未图示的输入装置对图案尺寸调整部424输入图案尺寸。图案尺寸相当于混合图案中的最小重复单位的像素数，例如，能够像“2×2”或“4×4”那样指定图案尺寸。
混合图像生成部421选择对图案尺寸调整部424指定后的图案尺寸的混合图案，使用所选择出的混合图案生成混合图像。
本实施方式的其他结构与第一实施方式是同样的。
与混合图案中的“F”的排列对应的交替方格花纹在重叠图像中以绿色显示。根据本实施方式，能够通过使图案尺寸变大而使该交替方格花纹的尺寸变大，提高重叠图像中的荧光区域的识别性。另一方面，在将图案尺寸设定到小至无法视觉确认出交替方格花纹的程度(即看起来为均匀的绿色的程度)的情况下，能够在重叠图像中自然地显示荧光区域。这样，具有能够根据观察者的要求来调整荧光区域的识别性的优点。
另外，在本实施方式中，作为混合图案，也可以采用在第三实施方式中说明的周期排列图案而不是正方形格子排列图案。
另外，在本实施方式中，也可以如图11所示，还具有对荧光图像的明亮度的对比度进行测定的对比度测定部425，图案尺寸调整部424根据对比度测定部425所测定出的对比度来自动地确定图案尺寸。
对比度测定部425例如根据荧光图像的灰度值的直方图的宽度对荧光图像的对比度进行测定。在荧光图像中的荧光区域的灰度值较高的情况下，荧光区域与非荧光区域之间的明亮度的对比度变高，直方图的宽度变大。另一方面，在荧光图像中的荧光区域的灰度值较低的情况下，荧光区域与非荧光区域之间的明亮度的对比度变低，直方图的宽度变小。
荧光图像的对比度越低，图案尺寸调整部424将图案尺寸设定得越大。
在荧光图像中的荧光区域的灰度值较低的情况下，重叠图像中的荧光区域的识别性变低。根据本变形例，在荧光图像的明亮度的对比度较低的情况下，自动变更为较大的图案尺寸，提高重叠图像中的荧光区域的识别性。这样，根据荧光图像的明亮度的对比度对图案尺寸进行变更，从而能够将重叠图像中的荧光区域的识别性自动调整为最佳。
另外，在本实施方式中，使混合图案的图案尺寸一律在混合图像整体中变更，但也可以取而代之，按照混合图像的每个区域来确定图案尺寸。
例如，也可以在荧光图像中的灰度值小于规定的阈值的区域中应用比灰度值为规定的阈值以上的区域中的图案尺寸大的图案尺寸。由此，能够在重叠图像中相对于昏暗的识别性较低的荧光区域显示较大的花纹而提高识别性。
另外，在本实施方式中，也可以代替对比度测定部425而具有对荧光图像的明亮度进行测定的明亮度测定部(省略图示)，图案尺寸调整部424根据明亮度测定部所测定出的荧光图像的明亮度对图案尺寸进行调整。
明亮度测定部例如对荧光图像的全部像素的灰度值的平均值进行计算来作为荧光图像的明亮度。明亮度测定部所测定出的荧光图像的明亮度越低，图案尺寸调整部424设定越大的图案尺寸。由此，在荧光图像较暗的情况下显示在重叠图像上的花纹变大，从而能够提高重叠图像中的荧光区域的识别性。
(第五实施方式)
接着，参照图12对本发明的第五实施方式的内窥镜装置进行说明。
本实施方式的内窥镜装置是对上述的第一至第四实施方式进行变形而得到的，如图12所示，还具有：明亮度测定部426，其对荧光图像的明亮度进行测定；以及明亮度调整部427，其根据明亮度测定部426所测定出的荧光图像的明亮度对该荧光图像的明亮度进行调整。在图12中例示出在第一实施方式的图像处理单元42中追加了明亮度测定部426和明亮度调整部427的结构。
明亮度调整部427例如将荧光图像的所有像素的灰度值与根据该荧光图像的明亮度而计算出的值相加，从而使荧光图像的明亮度增大，以使得荧光图像的明亮度与G成分图像的明亮度相等。
在本实施方式中，混合图像生成部421使用明亮度被明亮度调整部427调整后的荧光图像而生成混合图像。
G成分图像的明亮度与荧光图像的明亮度的差异越大，重叠图像的色调与普通光图像的色调越不同。根据本实施方式，使用明亮度被调整为具有与G成分图像相等的明亮度的荧光图像而生成混合图像，从而能够使重叠图像的色调更接近普通光图像的色调。
另外，在上述的第一至第五实施方式中，向生物体组织S交替地照射普通光和激励光，使用单一的摄像元件73来交替地获取普通光图像信号和荧光图像信号，但也可以取而代之，向生物体组织S同时照射普通光和激励光，同时获取普通光图像信号和荧光图像信号。在该情况下，如图13所示，摄像单元7还具有：另一个摄像元件75；以及分束器76，其将物镜71所聚集的光分割成两部分而分配给摄像元件(普通光图像获取部)73和摄像元件(特殊光图像获取部)75。
另外，在上述的第一至第五实施方式中，将荧光图像与G成分图像混合以使得荧光区域在重叠图像中以绿色显示，但与荧光图像混合的图像也可以是R成分图像或B成分图像。
另外，在上述的第一至第五实施方式中，作为特殊光和特殊光图像的一例，对激发荧光物质的激励光和荧光图像进行了说明，但特殊光和特殊光图像的种类并不限定于此。例如，可以使用红外光来获取红外光图像，也可以使用蓝色窄带光和绿色窄带光来获取NBI图像。
标号说明
1：内窥镜装置；2：光源单元；421：混合图像生成部(混合图案设定部)；422：重叠图像生成部；424：图案尺寸调整部(混合图案设定部)；425：对比度测定部；426：明亮度测定部；427：明亮度调整部；73：摄像元件(普通光图像获取部、特殊光图像获取部)。

Claims (9)

1.一种内窥镜装置，该内窥镜装置具有：
普通光图像获取部，其对被照射了宽带的可见光的被摄体进行拍摄而获取普通光图像；
特殊光图像获取部，其对被照射了窄带的特殊光的所述被摄体进行拍摄而获取特殊光图像；
混合图像生成部，其对构成所述普通光图像的多个颜色成分图像中的一个颜色成分图像和所述特殊光图像进行合成而生成混合图像；以及
重叠图像生成部，其对该混合图像生成部所生成的所述混合图像和所述多个颜色成分图像中的其他颜色成分图像进行合成，从而生成彩色的重叠图像，
所述混合图像生成部选择所述一个颜色成分图像的像素中的一部分像素，将所选择出的一部分像素置换成所述特殊光图像的对应的像素从而生成所述混合图像，并且按照所述一个颜色成分图像的像素和所述特殊光图像的像素的分布在所述混合图像整体中大致均匀的方式将所述一个颜色成分图像的一部分像素置换成所述特殊光图像的像素。
2.根据权利要求1所述的内窥镜装置，其中，
所述混合图像生成部具有混合图案，该混合图案对所述一个颜色成分图像的像素和所述特殊光图像的像素的排列进行了规定以使得所述一个颜色成分图像的像素和所述特殊光图像的像素以由一个像素的单位或多个像素的单位构成的最小重复单位在行方向和列方向上交替排列，所述混合图像生成部按照该混合图案中的所述特殊光图像的像素的排列将从所述一个颜色成分图像选择出的所述一部分像素置换成所述特殊光图像的像素。
3.根据权利要求2所述的内窥镜装置，其中，
所述混合图案是所述行方向上的所述最小重复单位和所述列方向上的所述最小重复单位互相不同的周期排列图案。
4.根据权利要求2所述的内窥镜装置，其中，
所述混合图案是所述行方向上的所述最小重复单位和所述列方向上的所述最小重复单位互相相等的正方形格子排列图案。
5.根据权利要求2至4中的任意一项所述的内窥镜装置，其中，
该内窥镜装置具有混合图案设定部，该混合图案设定部对所述混合图案进行设定，
所述混合图像生成部按照所述混合图案设定部所设定的混合图案来生成所述混合图像。
6.根据权利要求5所述的内窥镜装置，其中，
该内窥镜装置具有对比度测定部，该对比度测定部对所述特殊光图像的明亮度的对比度进行测定，
所述混合图案设定部根据所述对比度测定部所测定出的对比度，将所述混合图案设定为该对比度越低则构成所述混合图案中的所述最小重复单位的像素数越多。
7.根据权利要求5所述的内窥镜装置，其中，
该内窥镜装置具有明亮度测定部，该明亮度测定部对所述特殊光图像的明亮度进行测定，
所述混合图案设定部根据所述明亮度测定部所测定出的明亮度，将所述混合图案设定为该明亮度越低则构成所述混合图案中的所述最小重复单位的像素数越多。
8.根据权利要求1至4以及权利要求6中的任意一项所述的内窥镜装置，其中，
该内窥镜装置具有：
明亮度测定部，其对所述特殊光图像的明亮度进行测定；以及
明亮度调整部，其根据该明亮度测定部所测定出的明亮度，对所述特殊光图像的明亮度进行调整，
所述混合图像生成部使用明亮度被所述明亮度调整部调整后的特殊光图像来生成所述混合图像。
9.根据权利要求5所述的内窥镜装置，其中，
该内窥镜装置具有：
明亮度测定部，其对所述特殊光图像的明亮度进行测定；以及
明亮度调整部，其根据该明亮度测定部所测定出的明亮度，对所述特殊光图像的明亮度进行调整，
所述混合图像生成部使用明亮度被所述明亮度调整部调整后的特殊光图像来生成所述混合图像。
CN201580077817.1A 2015-03-19 2015-03-19 内窥镜装置 Active CN107427183B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/058169 WO2016147366A1 (ja) 2015-03-19 2015-03-19 内視鏡装置

Publications (2)

Publication Number Publication Date
CN107427183A CN107427183A (zh) 2017-12-01
CN107427183B true CN107427183B (zh) 2019-04-19

Family

ID=56919963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077817.1A Active CN107427183B (zh) 2015-03-19 2015-03-19 内窥镜装置

Country Status (5)

Country Link
US (1) US10750929B2 (zh)
JP (1) JP6396577B2 (zh)
CN (1) CN107427183B (zh)
DE (1) DE112015006176T5 (zh)
WO (1) WO2016147366A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047369A1 (ja) * 2016-09-06 2018-03-15 オリンパス株式会社 内視鏡システム
JP6739542B2 (ja) * 2016-12-02 2020-08-12 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法
JPWO2018131141A1 (ja) * 2017-01-13 2019-11-07 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法
JPWO2020035929A1 (ja) * 2018-08-16 2021-08-10 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
WO2021039870A1 (ja) * 2019-08-27 2021-03-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102247116A (zh) * 2010-04-15 2011-11-23 奥林巴斯株式会社 图像处理装置
JP2012010962A (ja) * 2010-06-30 2012-01-19 Fujifilm Corp 励起光の光源装置および電子内視鏡システム
CN103124515A (zh) * 2010-09-30 2013-05-29 奥林巴斯医疗株式会社 摄像装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
JPH10234664A (ja) 1997-02-27 1998-09-08 Toshiba Corp 画像処理装置
US6346940B1 (en) 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
KR100411631B1 (ko) * 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
JP3950715B2 (ja) * 2002-03-05 2007-08-01 富士フイルム株式会社 固体撮像素子およびこれを用いた撮像装置
JP4394356B2 (ja) 2003-02-07 2010-01-06 Ｈｏｙａ株式会社 電子内視鏡装置
JP2004321244A (ja) 2003-04-21 2004-11-18 Olympus Corp 電子内視鏡システム
JP2006263044A (ja) * 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
JP4761899B2 (ja) 2005-09-12 2011-08-31 Ｈｏｙａ株式会社 電子内視鏡システム
JP4799109B2 (ja) 2005-09-29 2011-10-26 富士フイルム株式会社 電子内視鏡装置
JP4752550B2 (ja) * 2006-03-14 2011-08-17 ソニー株式会社 カラー撮像素子の製造方法およびその装置
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
US8237808B2 (en) * 2007-01-17 2012-08-07 Sony Corporation Solid state imaging device and imaging apparatus adjusting the spatial positions of pixels after addition by controlling the ratio of weight values during addition
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
JP5361488B2 (ja) * 2009-03-24 2013-12-04 オリンパス株式会社 蛍光観察装置
JP5572326B2 (ja) * 2009-03-26 2014-08-13 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP5320268B2 (ja) * 2009-11-12 2013-10-23 富士フイルム株式会社 画像表示装置
CN102781305B (zh) 2010-03-09 2015-06-03 奥林巴斯株式会社 荧光内窥镜装置
JP5669416B2 (ja) 2010-03-23 2015-02-12 オリンパス株式会社 蛍光観察装置
JP2012004787A (ja) * 2010-06-16 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5442571B2 (ja) * 2010-09-27 2014-03-12 パナソニック株式会社 固体撮像装置及び撮像装置
JP6006199B2 (ja) 2011-03-31 2016-10-12 オリンパス株式会社 蛍光観察装置
WO2013024788A1 (ja) 2011-08-15 2013-02-21 オリンパスメディカルシステムズ株式会社 撮像装置
JP6017219B2 (ja) * 2012-08-01 2016-10-26 オリンパス株式会社 蛍光観察装置および蛍光観察システム
JP5789280B2 (ja) 2013-05-14 2015-10-07 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US10165972B2 (en) * 2013-07-12 2019-01-01 Inthesmart Co., Ltd. Apparatus and method for detecting NIR fluorescence at sentinel lymph node
KR101514204B1 (ko) * 2013-07-12 2015-04-23 한국전기연구원 감시림프절의 근적외선 형광 검출 장치 및 방법
JP6533358B2 (ja) 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
KR20150033162A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법
JP5932748B2 (ja) * 2013-09-27 2016-06-08 富士フイルム株式会社 内視鏡システム
JP6237415B2 (ja) 2014-03-31 2017-11-29 株式会社Ｊｖｃケンウッド 映像表示装置
JP6197771B2 (ja) * 2014-09-25 2017-09-20 株式会社Ｊｖｃケンウッド 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム
CN106163373B (zh) 2014-10-15 2018-05-01 奥林巴斯株式会社 信号处理装置和内窥镜系统
US9635325B2 (en) * 2015-05-29 2017-04-25 Semiconductor Components Industries, Llc Systems and methods for detecting ultraviolet light using image sensors
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102247116A (zh) * 2010-04-15 2011-11-23 奥林巴斯株式会社 图像处理装置
JP2012010962A (ja) * 2010-06-30 2012-01-19 Fujifilm Corp 励起光の光源装置および電子内視鏡システム
CN103124515A (zh) * 2010-09-30 2013-05-29 奥林巴斯医疗株式会社 摄像装置

Also Published As

Publication number Publication date
JPWO2016147366A1 (ja) 2017-12-28
CN107427183A (zh) 2017-12-01
DE112015006176T5 (de) 2017-10-26
WO2016147366A1 (ja) 2016-09-22
US20180000317A1 (en) 2018-01-04
JP6396577B2 (ja) 2018-09-26
US10750929B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
CN107427183B (zh) 内窥镜装置
AU2016202378B2 (en) Method for Differentiating Background and Foreground of a Setting and Method for Replacing a Background in Images of a Setting
CN103347433B (zh) 医疗设备
CN111345903B (zh) 图像处理设备、荧光观察设备及模拟荧光观察设备的方法
US10048206B2 (en) Fluorescence viewing device and fluorescence viewing method
CN105101861B (zh) 荧光观察装置
CN103140161B (zh) 医疗设备
CN105473049B (zh) 荧光观察装置
CN103781398B (zh) 摄像装置
CN109793486B (zh) 改进的声带频闪摄影检查
JP2010504664A (ja) モノクロカメラでカラーイメージを撮影する結像方法と装置
CN106255441B (zh) 内窥镜装置
CN104103053A (zh) 一种电子内窥镜图像增强的方法和装置
CN107405056A (zh) 活体观察系统
JP6423088B2 (ja) 対象物の高ダイナミックレンジ合成画像を取得するための顕微鏡および方法
JP6383370B2 (ja) 蛍光観察装置
CN110022751A (zh) 内窥镜用图像处理装置
CN109640781A (zh) 内窥镜系统
CN104936503B (zh) 内窥镜装置
CN107529961A (zh) 内窥镜装置
JP2009537915A (ja) 画像情報生成方法
EP3826528A1 (en) Real-time removal of ir led reflections from an image
JP2020151403A (ja) 医療用画像処理装置及び医療用観察システム
JP2019080192A (ja) 撮像方法
CN107534740A (zh) 图像处理装置、摄像装置及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant