CN106163373B - 信号处理装置和内窥镜系统 - Google Patents
信号处理装置和内窥镜系统 Download PDFInfo
- Publication number
- CN106163373B CN106163373B CN201580019610.9A CN201580019610A CN106163373B CN 106163373 B CN106163373 B CN 106163373B CN 201580019610 A CN201580019610 A CN 201580019610A CN 106163373 B CN106163373 B CN 106163373B
- Authority
- CN
- China
- Prior art keywords
- image
- view data
- offset
- signal processing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 95
- 239000000284 extract Substances 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000006073 displacement reaction Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2446—Optical details of the image relay
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
信号处理装置(4)具有:轮廓提取部(441),其取得通过被摄体的时间序列的摄像而生成的多个图像数据,并从所取得的多个图像数据中提取轮廓成分;偏移量检测部(443),其通过在图像组所包含的图像数据之间对轮廓提取部所提取的轮廓成分的偏移量进行比较,而对各个图像组所包含的图像数据之间的偏移量进行检测,其中,所述图像组分别是规定的数量的图像数据的集合;以及图像选择部(444),其根据偏移量检测部的检测结果,从图像组中选择至少一个图像组。
Description
技术领域
本发明涉及对从内窥镜装置输入的图像进行处理的信号处理装置和具有该信号处理装置的内窥镜系统。
背景技术
在具有电子内窥镜装置的内窥镜系统中,公知有根据动态图像显示的内窥镜图像而生成静态图像并进行显示的功能。这样的静态图像是使用多个场的图像数据而生成的。因此,在被摄体或内窥镜装置运动时,有时会生成颜色偏移较大的静态图像。作为用于防止这样的静态图像显示时的颜色偏移的提案,具有例如日本特开2006-149483号公报的提案。日本特开2006-149483号公报的电子内窥镜装置根据按照面顺序取得的多个颜色的图像数据的同一水平线上的相邻像素间的像素值之差的符号即像素值的变化的方式,来判定作为多个颜色的图像间的偏移的颜色偏移的程度。而且,日本特开2006-149483号公报的电子内窥镜装置通过以颜色偏移最小的方式使图像数据移位来校正颜色偏移。
发明内容
如果仅通过亮度的变化的方式进行判定,则有可能将例如由噪声引起的像素值的变化也判断为颜色偏移。并且,也有可能将例如发白的图像那样的不太适合静态图像显示的图像判断为不存在颜色偏移的图像。
本发明是鉴于上述的情况而完成的,其目的在于,提供如下的信号处理装置和具有该信号处理装置的内窥镜系统:在根据从内窥镜装置输入的图像而生成静态图像时,能够不受到噪声的影响和被摄体自身的明亮度的影响而生成静态图像。
为了达成上述目的,本发明的第一方式的信号处理装置具有:轮廓提取部,其取得通过被摄体的时间序列的摄像而生成的多个图像数据,并从所取得的多个图像数据中提取轮廓成分;偏移量检测部,其通过在多个图像组各自所包含的图像数据之间对所述轮廓提取部所提取的轮廓成分的偏移量进行比较,而对各个所述图像组所包含的图像数据之间的偏移量进行检测,其中,所述多个图像组分别是规定的数量的所述图像数据的集合;以及图像选择部,其根据所述偏移量检测部的检测结果,从所述图像组中选择至少一个图像组。
为了达成上述目的,本发明的第二方式的内窥镜系统具有:摄像部,其通过被摄体的时间序列的摄像而取得多个图像数据;轮廓提取部,其从所述摄像部所取得的多个图像数据中提取轮廓成分;偏移量检测部,其通过在多个图像组各自所包含的图像数据之间对所述轮廓提取部所提取的轮廓成分的偏移量进行比较,而对各个所述图像组所包含的图像数据之间的偏移量进行检测,其中,所述多个图像组分别是规定的数量的所述图像数据的集合;以及图像选择部,其根据所述偏移量检测部的检测结果,从所述图像组中选择至少一个图像组。
根据本发明,能够提供如下的信号处理装置和具有该信号处理装置的内窥镜系统:在根据从内窥镜装置输入的图像而生成静态图像时,能够不受到噪声的影响和被摄体自身的明亮度的影响而生成静态图像。
附图说明
图1是示出具有本发明的一个实施方式的信号处理装置的内窥镜系统的结构的框图。
图2是示出内窥镜系统对内窥镜图像的显示处理的流程图。
图3是示出图像组的选择处理的流程图。
图4是示出根据图3的处理而选择图像组的例子的图。
图5是示出变形例的静态图像选择部的结构的图。
图6是示出变形例的图像组的选择处理的流程图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。图1是示出具有本发明的一个实施方式的信号处理装置的内窥镜系统的结构的框图。另外,图1所示的内窥镜系统1是按照例如面顺序方式生成内窥镜图像的系统。面顺序方式是指如下的方式:通过向作为被摄体的被检体照射按照每个场而不同的颜色的照明光,并使摄像元件按照场顺序而取得的信号同时化,从而取得彩色化的内窥镜图像。
内窥镜系统1具有内窥镜装置2、光源装置3、信号处理装置4以及监视器5。内窥镜装置2对作为被摄体的被检体的体内进行拍摄,生成与被检体相关的图像信号。光源装置3经由光导36与内窥镜装置2连接,向内窥镜装置2供给照明光。信号处理装置4对内窥镜装置2所生成的图像信号进行处理。监视器5根据由信号处理装置4处理后的图像信号,对例如作为被检体的体内的图像的内窥镜图像进行显示。以下,对内窥镜系统1的各个模块进行说明。
内窥镜装置2具有插入部21和线缆22。插入部21是内窥镜装置2中被插入被检体的体内的部分。在插入部21的前端设置有物镜211和摄像元件212。物镜211是用于使来自被摄体的像成像于摄像元件212的光学系统。摄像元件212具有配置成二维状的像素。各个像素例如是光电二极管,生成与经由物镜211入射的光的量对应的电信号(图像信号)。如上所述,内窥镜系统1按照面顺序方式生成内窥镜图像。因此,摄像元件212在一帧的内窥镜图像的显示期间进行多次摄像。在该多次摄像中,对被检体照射不同颜色的照明光。而且,在摄像元件212中,伴随着每次摄像而生成仅具有不同颜色的信息的图像信号。在本实施方式的例子中,依次照射红色(R)的照明光、绿色(G)的照明光、蓝色(B)的照明光。而且,在向被检体照射R的照明光的情况下,生成仅具有R的信息的图像信号,在向被检体照射G的照明光的情况下,生成仅具有G的信息的图像信号,在向被检体照射B的照明光的情况下,生成仅具有B的信息的图像信号。
线缆22经由未图示的连接器与信号处理装置4连接。在该线缆22的内部设置有驱动信号线212a、输出信号线212b。驱动信号线212a与摄像元件212的各像素连接。并且,驱动信号线212a构成为在插入部21经由未图示的连接器与信号处理装置4连接时,与信号处理装置4的驱动控制部46连接。此时,摄像元件212根据经由驱动信号线212a的来自驱动控制部46驱动信号而进行被摄体的摄像动作。输出信号线212b也与摄像元件212的各像素连接。并且,输出信号线212b构成为在插入部21经由未图示的连接器与信号处理装置4连接时,与信号处理装置4的预处理部41连接。此时,摄像元件212经由输出信号线212b向预处理部41输出图像信号。
光源装置3具有光源31、波导路32、光源控制部34、聚光透镜35以及光导36。
光源31具有多个光源即RLED 31R、GLED 31G以及BLED 31B。RLED 31R是发出红色(R)光的LED。GLED 31G是发出绿色(G)光的LED。BLED 31B是发出蓝色(B)光的LED。波导路32例如是光纤,分别与RLED 31R、GLED 31G、BLED 31B光学性地结合。该波导路32将分别从RLED 31R、GLED 31G、BLED 31B照射的照明光导向聚光透镜35。光源控制部34与驱动控制部46的控制下的摄像元件212的摄像动作同步地对RLED 31R、GLED 31G、BLED 31B的动作进行控制。在面顺序方式的情况下,光源控制部34按照每个场依次对RLED 31R、GLED 31G、BLED31B进行驱动以使得RLED 31R、GLED 31G、BLED 31B的发光按照场顺序进行。聚光透镜35对从波导路32射出的光进行会聚并向光导36入射。光导36使聚光透镜35所会聚的光向内窥镜装置2入射。该光从内窥镜装置2射出,向被摄体照射。通过在该状态下进行被摄体的摄像,而在摄像元件212中分别取得R图像信号、G图像信号、B图像信号。这里,光源装置3设置有RLED、GLED、BLED,也可以取而代之,设置有白色光源(灯或白色LED)和RGB的旋转滤镜,通过按照每个场将该RGB的滤镜依次插入光路而实现面顺序方式。另外,光源31也可以通过使RLED 31R、GLED 31G、BLED 31B同时发光、或从白色光源直接射出可见光而照射白色光。这样的照明方式被称为同时式等。
信号处理装置4具有预处理部41、存储部42、图像处理部43、静态图像选择部44、显示控制部45、驱动控制部46、控制部47以及操作部48。
预处理部41进行图像信号的模拟增益调节、模拟噪声的去除这样的各种模拟处理。并且,预处理部41还进行将模拟处理后的图像信号转换成作为数字信号的图像数据。另外,在以下的说明中,将通过摄像元件212的多次摄像而取得的不同颜色的图像数据的组称为图像组。图像组是用于生成一张彩色的内窥镜图像的多张图像数据的集合。在本实施方式的例子中,图像组由三张图像数据构成。即,这三张图像数据是仅具有红色(R)的信息的R图像数据、仅具有绿色(G)的信息的G图像数据以及仅具有蓝色(B)的信息的B图像数据。
并且,在内窥镜系统的情况下,优选内窥镜装置2与信号处理装置4之间被绝缘电路绝缘。该绝缘电路例如设置于预处理部41。绝缘电路例如包含光耦合器那样的通过无线对信号进行传送的电路。
存储部42暂时地存储预处理部41所取得的图像数据。存储部42具有只能够存储多个图像组的存储容量。
图像处理部43对存储于存储部42中的图像组所包含的各个图像数据实施图像处理。另外,图像处理部43在动态图像显示时对所输入的图像数据实施动态图像显示用的图像处理,在静态图像显示时对所输入的图像数据实施静态图像显示用的图像处理。该图像处理部43具有同时化电路、亮度/色差分离电路、灰度校正电路、颜色校正电路、放大缩小电路、强调电路等。同时化电路使按照面顺序方式取得的图像组所包含的三张图像数据同时化而生成同时化图像数据。同时化图像数据是各像素具有多个颜色成分的信息的图像数据。灰度校正电路对同时化图像数据进行灰度校正。颜色校正电路对同时化图像数据进行色调校正。放大缩小电路根据监视器5的显示尺寸对同时化图像数据的尺寸进行放大或缩小而生成显示用图像数据。强调电路进行对显示用图像数据的被摄体的轮廓进行强调或在例如被摄体是血管的情况下对血管的构造进行强调的处理。
静态图像选择部44使用存储于存储部42中的图像组所包含的图像数据而进行用于静态图像显示的图像选择。静态图像选择部44具有轮廓提取部441、轮廓膨胀处理部442、偏移量检测部443以及图像选择部444。
轮廓提取部441例如具有拉普拉斯滤波器或索贝尔滤波器那样的轮廓提取滤波器,提取存储于存储部42中的图像组所包含的各个图像数据的轮廓成分(规定值以上的高频成分)。另外,轮廓提取部441的轮廓提取处理也可以通过滤波器处理以外的、例如使用了FFT(傅里叶转换)的频率空间上的信号处理来进行。轮廓膨胀处理部442进行使轮廓提取部441所提取的轮廓成分膨胀的处理。轮廓膨胀处理例如通过加粗所提取的轮廓的线的处理或使用高斯滤波器那样的平滑化滤波器的模糊处理来进行。另外,轮廓提取和平滑化也可以通过一个滤波器来进行。
偏移量检测部443将从图像组所包含的图像数据中提取出的轮廓成分的偏移量检测为图像组所包含的图像数据之间的偏移量。图像选择部444根据偏移量检测部443所检测的偏移量来选择用于静态图像显示的图像组。即,图像选择部444选择通过动态图像显示用的摄像而取得的多个图像组中图像数据之间的偏移量的最小的图像组作为静态图像显示用的图像组。通过图像处理部43从存储部42取得图像选择部444所选择的图像组中所包含的图像数据。
显示控制部45根据由图像处理部43图像处理后的图像数据(显示用图像数据),使监视器5显示彩色化的内窥镜图像。该显示控制部45例如将作为数字信号的显示用图像数据转换成模拟的影像信号。而且,显示控制部45根据控制部47的指示而向监视器5输入影像信号,使监视器5显示内窥镜图像。
驱动控制部46对摄像元件212的摄像动作进行控制。即,驱动控制部46对摄像元件212的曝光开始和曝光结束进行控制、或者对来自摄像元件212的图像信号的读出进行控制。
控制部47对包含信号处理装置4的动作在内的内窥镜系统1整体的动作进行控制。例如,控制部47使光源控制部34对光源31的控制与驱动控制部46对摄像元件212的摄像控制同步。并且,控制部47进行显示控制部45的控制。而且,控制部47根据经由操作部48的静态图像显示指示而使静态图像选择部44执行用于静态图像显示的处理。
操作部48包含用于供使用者进行内窥镜系统1的操作的操作部件。在本实施方式中,操作部48包含用于供使用者指示内窥镜图像的静态图像显示的操作部件。该操作部件可以是按钮或开关那样的操作部件,也可以是触摸面板那样的操作部件。
监视器5例如是液晶显示器那样的监视器,根据显示控制部45的控制对内窥镜图像等各种图像进行显示。
接下来,对本实施方式的内窥镜系统1的动作进行说明。图2是示出内窥镜系统1对内窥镜图像的显示处理的流程图。例如当内窥镜系统1的电源接通时,开始进行图2的处理。
在步骤S101中,控制部47判定内窥镜系统1的电源是否断开。在步骤S101中,在判定为内窥镜系统1的电源断开的情况下,结束图2的处理。
在步骤S101中,在判定为内窥镜系统1的电源未断开的情况下,处理进入步骤S102。在步骤S102中,控制部47使驱动控制部46对摄像元件212的摄像控制开始,并且以与摄像元件212的摄像同步的方式使光源装置3的照明开始。光源控制部34例如对光源31进行控制以使得从光源装置3射出按照预定的场周期而不同的颜色的光。另一方面,驱动控制部46对摄像元件212进行控制以使得按照预定的场周期重复进行摄像。这样,图像数据被存储于存储部42。
在步骤S103中,控制部47使图像处理部43进行用于内窥镜图像的动态图像显示的图像处理。此时,图像处理部43进行图像数据的同时化、灰度校正、颜色校正、放大/缩小、强调处理这样的基本的用于动态图像显示的处理。
在步骤S104中,控制部47使显示控制部45进行基于由图像处理部43处理后的图像数据的内窥镜图像的显示。即,显示控制部45将每三个场(一帧)所生成的显示用图像数据转换成影像信号,并将该影像信号输入给监视器5。根据该影像信号,监视器5对内窥镜图像进行显示。通过观察监视器5上所显示的内窥镜图像,使用者例如能够以动态图像观察被检体的体内。
在步骤S105中,控制部47判定使用者的操作部48的操作是否进行了动态图像显示中的内窥镜图像的静态图像显示的指示。在步骤S105中,在判定为未进行静态图像显示的指示的情况下,处理返回到步骤S101。在该情况下,继续进行内窥镜图像的动态图像显示。
当在步骤S105中判定为进行了静态图像显示的指示的情况下,处理进入步骤S106。在步骤S106中,控制部47使静态图像选择部44进行静态图像显示用的图像组的选择。以下,对图像组的选择处理进行说明。
图3是示出图像组的选择处理的流程图。图4是示出根据图3的处理而选择图像组的例子的图。在步骤S201中,静态图像选择部44的轮廓提取部441取得存储于存储部42中的多个图像组(R图像数据、G图像数据、B图像数据)。在图4中,作为图像组取得输入图像1、输入图像2、输入图像3这三个图像组。输入图像1是在图像数据之间产生较大的偏移的图像组。输入图像2是在图像数据之间产生中等程度的偏移的图像组。输入图像3是在图像数据之间未产生偏移的图像组。
在图4中示出了取得三个图像组的例子,但可以像例如取得直到静态图像显示指示的时机的500毫秒前为止的图像组那样对取得几组图像组进行适当设定。
并且,例如在从光源装置3照射特殊光的情况下,在根据图像组生成的显示用图像数据中,G图像数据和B图像数据的影响起主导作用。因此,轮廓提取部441也可以构成为在预先了解到图像组内的特定颜色的影响较大的情况下,仅取得特定的两种颜色的图像数据。在以下的说明中,假设轮廓提取部441仅取得例如G图像数据和B图像数据而继续进行说明。
在步骤S202中,轮廓提取部441通过例如滤波器处理而对所取得的各个图像组中所包含的G图像数据、B图像数据的轮廓成分进行提取。如图4所示,在图像数据之间没有颜色偏移的情况下,通过轮廓提取处理而提取的图像数据之间也没有轮廓的偏移。另一方面,在图像数据之间存在颜色偏移的情况下,在图像数据之间产生标号D1或D2所示那样的轮廓的偏移。因此,能够根据轮廓的偏移量来检测图像数据之间的偏移量。
在步骤S203中,轮廓膨胀处理部442对轮廓提取部441所提取的G图像数据、B图像数据的轮廓成分进行轮廓膨胀处理。轮廓膨胀处理的强度能够根据图像数据之间的偏移的允许量而变更。即,如果使图像数据之间的偏移的允许量变大是可以的话,则可以使轮廓膨胀处理的强度变大,相反地,如果需要使图像数据之间的偏移的允许量变小,则也需要使轮廓膨胀处理的强度变小。
在步骤S204中,偏移量检测部443使轮廓膨胀处理部442轮廓膨胀处理后的R图像数据、G图像数据、B图像数据的轮廓成分标准化。偏移量检测部443例如按照能够取得的图像数据的各像素的数据的最大值对轮廓成分进行标准化。
在步骤S205中,偏移量检测部443计算同一图像组所包含的图像数据之间的偏移量。当设偏移量为F时,该偏移量F例如通过(式1)所示的图像数据的各像素的L2norm(差分平方和)进行计算。这里,(式1)的I1(x,y)是标准化后的R图像数据、G图像数据、B图像数据中的一个图像数据I1的位置(x,y)的像素值,I2(x,y)是标准化后的R图像数据、G图像数据、B图像数据中的另一个图像数据I2的位置(x,y)的像素值。x是水平位置。例如设x=1为图像数据的左端的位置、设x=N为图像数据的右端的位置。并且,y是垂直位置。例如设y=1为图像数据的上端的位置,设y=M为图像数据的下端的位置。
[数学式1]
通过对轮廓提取后的图像数据进行(式1)的运算,如图4所示,能够求出图像数据的颜色偏移量作为轮廓的偏移量。尤其是通过在求取差分之前进行轮廓膨胀处理,从而在图像数据之间的颜色偏移量较小的(中等程度的)情况下,在轮廓处生成重叠部分E2。而且,该重叠部分E2因轮廓膨胀处理而相抵消。因此,颜色偏移量为中等程度的情况下的(式1)的结果小于颜色偏移量较大的情况下的(式1)的结果。这样,颜色偏移量越大,(式1)的结果越大,能够适当地评价图像数据之间的颜色偏移量。
这里,(式1)的运算通常是在R图像数据与G图像数据之间、G图像数据与B图像数据之间、B图像数据与R图像数据之间进行的。但是,在仅提取特定的两种颜色的图像数据的轮廓成分的情况下,仅在该图像数据之间进行(式1)的运算。
在步骤S206中,图像选择部444根据图像组所包含的图像数据之间的偏移量来选择用于静态图像显示的图像组。在(式1)的运算的情况下,F的值越小,轮廓的偏移量越小。由此,图像选择部444选择图像数据之间的偏移量最小的图像组作为静态图像显示用的图像组。在图4的例子中,图像选择部444选择输入图像3作为用于静态图像显示的图像组。在选择这样的图像组之后,结束图3的处理。
这里,返回图2的说明。在步骤S107中,控制部47使用所选择的图像组而进行用于内窥镜图像的静态图像显示的图像处理。此时,图像处理部43进行图像数据的同时化、灰度校正、颜色校正、放大/缩小、强调处理这样的基本的用于静态图像显示的处理。
在步骤S108中,控制部47使显示控制部45进行基于由图像处理部43处理后的图像数据的内窥镜图像的显示。即,显示控制部45将通过用于静态图像显示的图像处理而生成的显示用图像数据转换成影像信号,并将该影像信号输入给监视器5。根据该影像信号,监视器5对内窥镜图像进行显示。通过观察监视器5所显示的内窥镜图像,使用者能够观察需要的时机的体内的静态图像。
在步骤S109中,控制部47判定使用者的操作部48的操作是否指示了静态图像显示的结束。在步骤S109中,在判定为未指示静态图像显示的结束的情况下,处理返回到步骤S108。在该情况下,继续进行内窥镜图像的静态图像显示。
在步骤S109中,在判定为指示了静态图像显示的结束的情况下,处理返回到步骤S101。在该情况下,如果内窥镜系统1的电源未断开,则再次开始进行动态图像显示。
像以上说明的那样,在本实施方式中,根据图像组所包含的图像数据的轮廓成分的偏移量,检测图像组所包含的图像数据之间的偏移量。由于从发白的图像数据那样的均匀的高亮度的图像数据中提取不出轮廓成分,因此能够降低选择了不适合静态图像显示的图像组的可能性。并且,通过利用像素值的L2norm计算偏移量F,不仅评价像素的亮度变化的方式,还评价像素的变化量的总和,能够提高对于噪声的耐性。
而且,通过在计算偏移量F时进行针对轮廓成分的模糊处理,能够进一步提高对于噪声的耐性。另外,模糊处理不是必须的处理,优选根据相对于偏移量的允许量而进行。
这里,在本实施方式中,示出了图像组包含按照面顺序方式取得的三张图像数据的例子。然而,图像组不限于由按照面顺序方式取得的图像数据构成。例如,图像组也可以由在同时式(隔行扫描方式)的各个场中所取得的图像数据构成。在隔行扫描方式中,由于按照每个场而曝光的像素行不同,因此在图像数据之间会产生偏移。能够通过本实施方式的方法检测该图像数据之间的偏移量。
并且,在本实施方式中,利用像素的值的L2norm计算偏移量F。偏移量F也可以是像素的值的L2norm之外的值。例如,偏移量F也可以是像素值的L1norm(差分绝对值和)。
并且,在本实施方式中,示出了根据偏移量F来选择一个图像组的例子。与此相对,图像选择部444也可以构成为选择偏移量F较小的多个图像组。
[变形例]
以下,对本实施方式的变形例进行说明。图5是示出变形例的静态图像选择部44的结构的图。变形例的静态图像选择部44具有噪声去除部445、轮廓提取部441、缩小处理部446、轮廓膨胀处理部442、偏移量检测部443以及图像选择部444。其中,轮廓提取部441、轮廓膨胀处理部442、偏移量检测部443、图像选择部444是与图1中说明的结构相同的结构。因此,省略说明。
噪声去除部445设置于轮廓提取部441的前级,将存储于存储部42中的图像组所包含的各个图像数据的噪声成分(认为比轮廓成分高频的噪声的成分)去除。通过在轮廓提取部441的轮廓提取处理之前去除噪声成分,能够在轮廓提取处理中高精度地提取轮廓成分。缩小处理部446例如设置于轮廓膨胀处理部的前级,对轮廓提取部441所提取的图像数据的轮廓成分进行缩小处理。缩小处理例如是通过进行间除处理或像素加算处理而进行的。通过进行缩小处理,能够减小轮廓膨胀处理部442中的轮廓膨胀处理所需的滤波器尺寸,而减轻轮廓膨胀处理的负荷。另外,缩小处理部446也可以设置于轮廓提取部441的前级。在该情况下,能够减小轮廓提取部441中的轮廓提取处理所需的滤波器尺寸,而进一步减轻轮廓提取处理的负荷。
图6是示出变形例的图像组的选择处理的流程图。另外,对于与图3共同的部分简单地进行说明。在步骤S301中,静态图像选择部44的噪声去除部445取得存储于存储部42中的多个图像组(R图像数据、G图像数据、B图像数据)。
在步骤S302中,噪声去除部445将所取得的各个图像组所包含的G图像数据、B图像数据的噪声去除。
在步骤S303中,轮廓提取部441通过例如滤波器处理而对被噪声去除部445去除噪声后的G图像数据、B图像数据的轮廓成分进行提取。
在步骤S304中,缩小处理部446对轮廓提取部441所提取的G图像数据、B图像数据的轮廓成分进行缩小处理。
在步骤S305中,轮廓膨胀处理部442对被缩小处理部446缩小处理后的G图像数据、B图像数据的轮廓成分进行轮廓膨胀处理。
在步骤S306中,偏移量检测部443将被轮廓膨胀处理部442轮廓膨胀处理后的R图像数据、G图像数据、B图像数据的轮廓成分标准化。
在步骤S307中,偏移量检测部443对同一图像组所包含的图像数据之间的偏移量进行计算。
在步骤S308中,图像选择部444根据图像组所包含的图像数据之间的偏移量来选择用于静态图像显示的图像组。
根据以上说明的变形例,能够更高精度地检测图像数据之间的偏移量,进一步降低选择不适合静态图像显示的图像组的可能性。
Claims (7)
1.一种信号处理装置,该信号处理装置具有:
轮廓提取部,其取得通过被摄体的时间序列地摄像而生成的多个图像数据,并从所取得的多个图像数据中提取轮廓成分;
轮廓膨胀处理部,其对所述提取出的轮廓成分进行膨胀处理;
偏移量检测部,其通过在多个图像组各自所包含的图像数据之间对所述轮廓提取部所提取的、由所述轮廓膨胀处理部进行了膨胀的轮廓成分的偏移量进行比较,而对各个所述图像组所包含的图像数据之间的偏移量进行检测,其中,所述多个图像组分别是规定的数量的所述图像数据的集合;以及
图像选择部,其根据所述偏移量检测部的检测结果,从所述图像组中选择至少一个图像组。
2.根据权利要求1所述的信号处理装置,其中,
所述信号处理装置还具有存储有多个所述图像组的存储部,
所述图像选择部根据静态图像生成指示,从存储于所述存储部的多个所述图像组中选择所述偏移量最小的图像组。
3.根据权利要求1所述的信号处理装置,其中,
所述偏移量检测部在所述图像组所包含的图像数据中的两张图像数据之间计算每个像素的差分绝对值,将所述计算出的差分绝对值的总和检测为所述偏移量。
4.根据权利要求1所述的信号处理装置,其中,
所述信号处理装置还具有设置于所述轮廓提取部的前级的噪声去除部,该噪声去除部去除所述图像数据的噪声成分。
5.根据权利要求1所述的信号处理装置,其中,
所述信号处理装置还具有设置于所述轮廓膨胀处理部的前级侧的缩小处理部,该缩小处理部进行所述图像数据的缩小处理。
6.根据权利要求5所述的信号处理装置,其中,
所述缩小处理部设置于所述轮廓提取部的前级侧。
7.一种内窥镜系统,该内窥镜系统具有:
摄像部,其通过被摄体的时间序列地摄像而取得多个图像数据;
轮廓提取部,其从所述摄像部所取得的多个图像数据中提取轮廓成分;
轮廓膨胀处理部,其对所述提取出的轮廓成分进行膨胀处理;
偏移量检测部,其通过在多个图像组各自所包含的图像数据之间对所述轮廓提取部所提取的、由所述轮廓膨胀处理部进行了膨胀的轮廓成分的偏移量进行比较,而对各个所述图像组所包含的图像数据之间的偏移量进行检测,其中,所述多个图像组分别是规定的数量的所述图像数据的集合;以及
图像选择部,其根据所述偏移量检测部的检测结果,从所述图像组中选择至少一个图像组。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-211035 | 2014-10-15 | ||
JP2014211035 | 2014-10-15 | ||
PCT/JP2015/077981 WO2016059977A1 (ja) | 2014-10-15 | 2015-10-01 | 信号処理装置及び内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106163373A CN106163373A (zh) | 2016-11-23 |
CN106163373B true CN106163373B (zh) | 2018-05-01 |
Family
ID=55746525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580019610.9A Active CN106163373B (zh) | 2014-10-15 | 2015-10-01 | 信号处理装置和内窥镜系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20170061230A1 (zh) |
EP (1) | EP3207855A4 (zh) |
JP (1) | JP5977909B1 (zh) |
CN (1) | CN106163373B (zh) |
WO (1) | WO2016059977A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016147366A1 (ja) | 2015-03-19 | 2016-09-22 | オリンパス株式会社 | 内視鏡装置 |
JP6558935B2 (ja) * | 2015-04-24 | 2019-08-14 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
JP6739542B2 (ja) * | 2016-12-02 | 2020-08-12 | オリンパス株式会社 | 内視鏡用画像処理装置および内視鏡用画像処理方法 |
JP7446888B2 (ja) * | 2020-03-30 | 2024-03-11 | 日産自動車株式会社 | 画像生成装置及び画像生成方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4933758A (en) * | 1988-10-27 | 1990-06-12 | Olympus Optical Co., Ltd. | Signal processing apparatus with a movement detecting device and an outline enhancement device |
CN102760306A (zh) * | 2008-01-04 | 2012-10-31 | 韦伯斯特生物官能公司 | 利用多普勒超声的三维图像重建 |
CN102802550A (zh) * | 2009-06-23 | 2012-11-28 | 直观外科手术操作公司 | 提供包括延伸出进入引导器远端的可联接器械的运动限制范围的辅助视图的医疗机器人系统 |
CN102984989A (zh) * | 2010-08-30 | 2013-03-20 | 奥林巴斯医疗株式会社 | 内窥镜装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0744924B2 (ja) * | 1988-07-29 | 1995-05-17 | 富士写真光機株式会社 | 電子内視鏡装置 |
JP3887453B2 (ja) * | 1997-05-23 | 2007-02-28 | オリンパス株式会社 | 内視鏡装置 |
JP2002085344A (ja) * | 2000-09-20 | 2002-03-26 | Olympus Optical Co Ltd | 画像フリーズ処理装置 |
JP2006074155A (ja) * | 2004-08-31 | 2006-03-16 | Mitsubishi Electric Corp | 画像処理装置および画像処理方法ならびに画像表示装置 |
US7312879B2 (en) * | 2005-08-23 | 2007-12-25 | University Of Washington | Distance determination in a scanned beam image capture device |
JP5220677B2 (ja) * | 2009-04-08 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP5597049B2 (ja) * | 2010-07-07 | 2014-10-01 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5729881B2 (ja) * | 2012-09-05 | 2015-06-03 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡画像の画像処理方法 |
-
2015
- 2015-10-01 CN CN201580019610.9A patent/CN106163373B/zh active Active
- 2015-10-01 WO PCT/JP2015/077981 patent/WO2016059977A1/ja active Application Filing
- 2015-10-01 EP EP15850738.4A patent/EP3207855A4/en not_active Withdrawn
- 2015-10-01 JP JP2016521375A patent/JP5977909B1/ja active Active
-
2016
- 2016-11-10 US US15/348,600 patent/US20170061230A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4933758A (en) * | 1988-10-27 | 1990-06-12 | Olympus Optical Co., Ltd. | Signal processing apparatus with a movement detecting device and an outline enhancement device |
CN102760306A (zh) * | 2008-01-04 | 2012-10-31 | 韦伯斯特生物官能公司 | 利用多普勒超声的三维图像重建 |
CN102802550A (zh) * | 2009-06-23 | 2012-11-28 | 直观外科手术操作公司 | 提供包括延伸出进入引导器远端的可联接器械的运动限制范围的辅助视图的医疗机器人系统 |
CN102984989A (zh) * | 2010-08-30 | 2013-03-20 | 奥林巴斯医疗株式会社 | 内窥镜装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3207855A4 (en) | 2018-06-27 |
WO2016059977A1 (ja) | 2016-04-21 |
US20170061230A1 (en) | 2017-03-02 |
JPWO2016059977A1 (ja) | 2017-04-27 |
CN106163373A (zh) | 2016-11-23 |
JP5977909B1 (ja) | 2016-08-24 |
EP3207855A1 (en) | 2017-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102247115B (zh) | 电子内窥镜系统 | |
CN105074433B (zh) | 荧光观察装置以及荧光观察方法 | |
CN107137053B (zh) | 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 | |
CN111345903B (zh) | 图像处理设备、荧光观察设备及模拟荧光观察设备的方法 | |
CN106102557B (zh) | 图像处理装置 | |
CN102197985B (zh) | 电子内窥镜系统 | |
CN106163373B (zh) | 信号处理装置和内窥镜系统 | |
US20170112356A1 (en) | Image processing apparatus, image processing method, computer-readable recording medium, and endoscope system | |
US9635343B2 (en) | Stereoscopic endoscopic image processing apparatus | |
CN111281311A (zh) | 包括非白光总体照明器的外科手术系统 | |
JP2011194151A (ja) | 電子内視鏡システム | |
US11141049B2 (en) | Medical image processing system, endoscope system, diagnostic support apparatus, and medical service support apparatus | |
CN106999019A (zh) | 图像处理装置、图像处理方法、图像处理程序以及内窥镜装置 | |
CN106999024A (zh) | 摄像系统、处理装置、处理方法以及处理程序 | |
CN112788978A (zh) | 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法 | |
CN107113405A (zh) | 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置 | |
JP2020151403A (ja) | 医療用画像処理装置及び医療用観察システム | |
CN107005683A (zh) | 内窥镜装置 | |
JPH02140134A (ja) | 内視鏡の挿入方向の検出方法 | |
JP6218709B2 (ja) | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 | |
US7822247B2 (en) | Endoscope processor, computer program product, endoscope system, and endoscope image playback apparatus | |
CN103561627A (zh) | 图像处理装置 | |
WO2015194204A1 (ja) | 内視鏡装置 | |
KR20190025930A (ko) | 별개의 협대역에서 동기화된 조명에 의한 컬러 이미징 | |
JP2013238483A (ja) | バーチャルスライド装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |