CN105705075B - 图像处理装置及其工作方法 - Google Patents
图像处理装置及其工作方法 Download PDFInfo
- Publication number
- CN105705075B CN105705075B CN201480059325.5A CN201480059325A CN105705075B CN 105705075 B CN105705075 B CN 105705075B CN 201480059325 A CN201480059325 A CN 201480059325A CN 105705075 B CN105705075 B CN 105705075B
- Authority
- CN
- China
- Prior art keywords
- signal
- image
- emphasizes
- ratios
- scope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004075 alteration Effects 0.000 claims abstract description 136
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 104
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 102
- 230000002159 abnormal effect Effects 0.000 claims abstract description 49
- 210000004400 mucous membrane Anatomy 0.000 claims abstract description 42
- 239000000203 mixture Substances 0.000 claims abstract description 14
- 210000004204 blood vessel Anatomy 0.000 claims description 39
- 238000004040 coloring Methods 0.000 claims description 35
- 239000003086 colorant Substances 0.000 claims description 34
- 230000003902 lesion Effects 0.000 claims description 19
- 238000011010 flushing procedure Methods 0.000 claims description 16
- 238000005562 fading Methods 0.000 claims description 12
- 208000004300 Atrophic Gastritis Diseases 0.000 abstract description 26
- 208000036495 Gastritis atrophic Diseases 0.000 abstract description 26
- 230000008859 change Effects 0.000 abstract description 26
- 208000016644 chronic atrophic gastritis Diseases 0.000 abstract description 26
- 238000006243 chemical reaction Methods 0.000 description 55
- 206010003694 Atrophy Diseases 0.000 description 54
- 230000037444 atrophy Effects 0.000 description 54
- 238000011161 development Methods 0.000 description 20
- 210000004877 mucosa Anatomy 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 239000010410 layer Substances 0.000 description 12
- 238000001914 filtration Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 210000002784 stomach Anatomy 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 8
- 210000001156 gastric mucosa Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 208000008884 Aneurysmal Bone Cysts Diseases 0.000 description 5
- 208000005718 Stomach Neoplasms Diseases 0.000 description 5
- 206010017758 gastric cancer Diseases 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 201000011549 stomach cancer Diseases 0.000 description 5
- 208000007882 Gastritis Diseases 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000004907 gland Anatomy 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 241000590002 Helicobacter pylori Species 0.000 description 2
- 206010019909 Hernia Diseases 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 229940037467 helicobacter pylori Drugs 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000004876 tela submucosa Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 208000012895 Gastric disease Diseases 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- 244000283207 Indigofera tinctoria Species 0.000 description 1
- 244000082204 Phyllostachys viridis Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013098 chemical test method Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 208000018556 stomach disease Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
- A61B1/0052—Constructional details of control elements, e.g. handles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4222—Evaluating particular parts, e.g. particular organs
- A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Gastroenterology & Hepatology (AREA)
- Quality & Reliability (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Endocrinology (AREA)
- Physiology (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Image Processing (AREA)
Abstract
提供一种能够根据可能因萎缩性胃炎引起胃萎缩时发生的粘膜等的颜色变化来进行色差强调或结构强调的图像处理装置及其工作方法。根据RGB图像信号制作基础图像。计算B图像信号与G图像信号之间的B/G比,并计算G图像信号与R图像信号之间的G/R比。根据基础图像生成对与不同于正常部的异常部相对应的频率成分进行了强调的频率成分强调图像。根据B/G比、G/R比设定表示在基础图像上合成频率成分强调图像的比例的合成比率。以所设定的合成比率在基础图像上合成频率成分强调图像,从而生成对异常部进行了结构强调的结构强调图像。
Description
技术领域
本发明涉及一种对诊断萎缩性胃炎时使用的图像进行处理的图像处理装置及其工作方法。
背景技术
在医疗领域中,广泛地利用具备光源装置、电子内窥镜、处理器装置的内窥镜系统来进行诊断等。此外,近来的内窥镜系统随着由组装于电子内窥镜的成像元件的高灵敏度化和高像素化等高清(Hi-Vision)系统带来的高分辨率化,能够显示出高于以往画质的高精度图像。由此,即便是发生在微细血管和粘膜上的微小病变,也能够极其逼真地将其描绘出来。
随着这种高清化,可清楚地掌握病变部的形状和大小,因此能够轻松地查出病变部。然而,医生不但能通过病变部的形状和大小找出病变部,还能根据粘膜颜色的略微差异找出病变部。例如,对于泛红部分这种与粘膜颜色稍微不同的部分,可查出是早期病变部。对于这种稍微泛红的部分,有时仅通过将其高清化而单纯提高分辨率是无法发现的。
因此,在专利文献1中通过实施使泛红部分变得更红且发白处变得更白的色彩强调处理来使得病变部的边界分明。此外,如同专利文献2,查出褐色区域(BA(BrownishArea))等颜色与粘膜不同的变色区域的尺寸,并根据该变色区域的尺寸进行频带强调处理,从而对变色区域进行结构强调。通过进行这种色彩强调处理和频带强调处理,能够找出无法仅由高清化查出的病变部。
现有技术文献
专利文献
专利文献1:日本专利3228627号公报
专利文献2:日本特开2012-71012号公报
发明内容
发明要解决的技术课题
近年来,能够根据萎缩性胃炎的状态查出胃癌等胃的病变部。此时利用的是下示萎缩性胃炎与胃的病变部之间的关联性。当为如图18(A)所示的正常胃粘膜结构时,表面的粘膜层带有一定厚度,因此由该粘膜层吸收和反射大部分的光。因此,如图18(B)所示,在内窥镜图像上几乎观察不到正常胃粘膜下层内的血管。
相比之下,如图19(A)所示,当为萎缩性胃炎已发展的胃粘膜结构时,粘膜层因胃腺细胞的减少而变薄。这种伴随萎缩性胃炎的发展而产生的胃粘膜内部结构的变化在内窥镜图像上呈现为如下述(A)及(B)的变化。
(A)接近白色的粘膜筋板可被透视,萎缩粘膜的颜色与正常部相比成为已褪色的颜色。
(B)在萎缩粘膜所在的区域,粘膜层随着萎缩而逐渐变薄,随此粘膜下层的血管可被透视(参考图19(B))。
因此,在诊断由萎缩性胃炎引起的胃病变部时,利用上述2个特征(A)、(B)来判断萎缩的发展程度以及判别正常部与胃炎部的边界。
在此,在萎缩高度发展的情况(例如,在ABC诊查中为属于C组或D组的萎缩的情况)下,在内窥镜图像上能够清楚地观察到上述2个特征(A)、(B)。然而,在萎缩还未有太多发展等萎缩正在发展的情况(例如,在ABC诊疗中为属于B组或C组的萎缩的情况)下,内窥镜图像上萎缩部与正常部的差异微乎其微,有时难以判断萎缩的发展程度或判别正常部与胃炎部的边界。因此,要求在内窥镜图像上通过明确上述2个特征(A)、(B)来实现正常部与胃炎部的边界的清晰化。
关于此,认为可应用专利文献1、2中的方法。专利文献1中的方法是以使泛红的部分变得更红的方式对颜色进行强调的方法,而不是对伴随如上胃的萎缩而褪色的颜色变化以及如伴随胃的萎缩而使粘膜下层的血管可被透视的颜色变化进行强调的方法。此外,专利文献2中的方法为根据变色区域的尺寸进行频带的强调处理的方法,而并不是根据伴随如上胃的萎缩而发生的颜色变化来进行强调处理的方法。
本发明的目的在于,提供一种能够根据可能因萎缩性胃炎引起胃萎缩时发生的粘膜等的颜色变化来进行色差强调或结构强调的图像处理装置及其工作方法。
用于解决技术课题的手段
本发明的图像处理装置具备图像信号输入部、基础图像制作部、颜色信息获取部、频率强调部、合成比率设定部及合成部。图像信号输入部输入彩色图像信号。基础图像制作部根据彩色图像信号制作基础图像。颜色信息获取部从彩色图像信号中获取多个颜色信息。频率强调部根据基础图像,生成对与不同于正常部的异常部相对应的频率成分进行了强调的频率成分强调图像。合成比率设定部根据多个颜色信息,设定合成比率,该合成比率表示在基础图像上合成频率成分强调图像的比例。合成部以由合成比率设定部设定的合成比率在基础图像上合成频率成分强调图像,从而生成对异常部进行了结构强调的结构强调图像。优选彩色图像信号为三种颜色的图像信号,颜色信息获取部为信号比计算部,该信号比计算部计算三种颜色的图像信号中两种颜色的图像信号之间的第1信号比和与不同于第1信号比的两种颜色的图像信号之间的第2信号比作为多个颜色信息。
合成比率设定部优选进行如下设定:对于由信号比计算部计算的第1及第2信号比包含在具有较多正常部的第1及第2信号比的第1范围内的像素,将合成比率设定为“0%”;对于由信号比计算部计算的第1及第2信号比包含在具有较多异常部的第1及第2信号比的特定范围内的像素,将合成比率设定为“100%”。
优选异常部为褪色的粘膜,特定范围为包含较多褪色的粘膜的第1及第2信号比的第2范围,第1范围与第2范围的色相相同但第2范围的彩度低于第1范围。优选异常部为不仅在褪色的粘膜下有病变发展还具有可透视的血管的血管区域,特定范围为包含较多血管区域的第1及第2信号比的第3范围,第1范围与第3范围的彩度相同,但色相不同。优选异常部为褐色区域,特定范围为包含较多褐色区域的第1及第2信号比的第4范围。优选异常部是发红区域,特定范围为包含较多发红区域的第1及第2信号比的第5范围。优选三种颜色的图像信号为RGB图像信号,第1信号比为B图像信号与G图像信号之间的B/G比,第2信号比为G图像信号与R图像信号之间的G/R比。
本发明的图像处理装置具备图像信号输入部、颜色信息获取部、色差强调部、频率强调部、合成比率设定部及合成部。图像信号输入部输入彩色图像信号。颜色信息获取部从彩色图像信号中获取多个颜色信息。色差强调部在由多个颜色信息形成的特征空间内进行扩大第1范围与不同于所述第1范围的特定范围之间的差的扩大处理,从而生成对正常部与异常部之间的色差进行了强调的色差强调图像。频率强调部根据色差强调图像,生成对与异常部相对应的频率成分进行了强调的频率成分强调图像。合成比率设定部根据多个颜色信息,设定合成比率,该合成比率表示在色差强调图像上合成频率成分强调图像的比例。合成部以由合成比率设定部设定的合成比率在色差强调图像上合成频率成分强调图像,从而生成不仅强调色差还对异常部进行了结构强调的色差及结构强调图像。优选彩色图像信号为三种颜色的图像信号,颜色信息获取部为信号比计算部,该信号比计算部计算三种颜色的图像信号中两种颜色的图像信号之间的第1信号比和不同于第1信号比的两种颜色的图像信号之间的第2信号比作为多个颜色信息。
本发明的图像处理装置的工作方法具有输入步骤、基础图像制作步骤、颜色信息获取步骤、频率成分强调图像制作步骤、合成比率设定步骤及合成步骤。在输入步骤中,图像信号输入部输入彩色图像信号。在基础图像制作步骤中,基础图像制作部根据彩色图像信号制作基础图像。在颜色信息获取步骤中,颜色信息获取部从彩色图像信号中获取多个颜色信息。在频率成分强调图像生成步骤中,频率强调部根据基础图像生成对与不同于正常部的异常部相对应的频率成分进行了强调的频率成分强调图像。在合成比率设定步骤中,合成比率设定部根据多个颜色信息设定表示在基础图像上合成频率成分强调图像的比例的合成比率。在合成步骤中,合成部以由合成比率设定部设定的合成比率在基础图像上合成频率成分强调图像,从而生成对异常部进行了结构强调的结构强调图像。
本发明的图像处理装置的工作方法具有输入步骤、颜色信息获取步骤、色差强调图像生成步骤、频率成分强调图像生成步骤、合成比率设定步骤及合成步骤。在输入步骤中,图像信号输入部输入彩色图像信号。在颜色信息获取步骤中,颜色信息获取部从彩色图像信号中获取多个颜色信息。在色差强调图像生成步骤中,色差强调部在由多个颜色信息形成的特征空间内进行对扩大第1范围与不同于第1范围的特定范围之间的差的扩大处理,从而生成对正常部与异常部之间的色差进行了强调的色差强调图像。在频率成分强调图像生成步骤中,频率强调部根据色差强调图像,生成对与异常部相对应的频率成分进行了强调的频率成分强调图像。在合成比率设定步骤中,合成比率设定部根据多个颜色信息,设定合成比率,所述合成比率表示在色差强调图像上合成频率成分强调图像的比例。在合成步骤中,合成部以由合成比率设定部设定的合成比率在色差强调图像上合成频率成分强调图像,从而生成不仅强调色差还对异常部进行了结构强调的色差及结构强调图像。
发明效果
根据本发明,能够根据可能因萎缩性胃炎引起胃萎缩时发生的粘膜等的颜色变化来进行色差强调或结构强调。
附图说明
图1为内窥镜系统的外观图。
图2为表示第1实施方式的内窥镜系统的内部结构的框图。
图3A为表示白色光的分光强度的曲线图。
图3B为表示特殊光的分光强度的曲线图。
图4为表示特殊图像处理部的功能的框图。
图5为表示第1~第5范围的位置关系的曲线图。
图6为表示特殊光(蓝色激光的发光强度大于蓝紫色激光的发光强度)照明时所获得的B/G比、G/R比的分布的实测数据的曲线图。
图7为表示二维空间(B/G比、G/R比)内的矢径差或辐角差扩大前的第2范围及第3范围的位置的说明图。
图8为表示二维空间(B/G比、G/R比)内的矢径差或辐角差扩大后的第2范围及第3范围的位置的说明图。
图9为用于说明二维空间(B/G比、G/R比)与色度之间的关系及说明伴随萎缩性胃炎的发展而发生的B/G比、G/R比的分布变化的说明图。
图10为表示R图像信号与强调系数f(R)之间的关系的曲线图。
图11为表示结构强调部的功能的框图。
图12为表示B/G比、G/R比与合成比率g1~g4(B/G比、G/R比)之间的关系的表格。
图13为表示诊断萎缩性胃炎时的一系列流程的流程图。
图14为表示与图4不同的特殊图像处理部的功能的框图。
图15为表示第2实施方式的内窥镜系统的内部结构的框图。
图16为旋转滤光器的俯视图。
图17为表示第3实施方式的处理器装置内的一部分功能的框图。
图18(A)为正常粘膜的粘膜结构的剖视图,图18(B)为从表层侧观察正常粘膜的情况下的俯视图。
图19(A)为患有萎缩性胃炎时的粘膜结构(胃腺细胞的减少或胃组织与肠、与纤维组织的置换而使胃粘膜层变薄)的剖视图,图19(B)为从表层侧观察患有萎缩性胃炎时的粘膜的情况下的俯视图。
具体实施方式
[第1实施方式]
如图1所示,第1实施方式的内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18及控制台20。内窥镜12经由通用塞绳13与光源装置14光学连接且与处理器装置16电连接。内窥镜12具有插入到被检体内部的插入部21、设置于插入部的基端部分的操作部22、设置于插入部21的前端侧的弯曲部23及前端部24。通过操作部22的角度旋钮22a的操作,弯曲部23进行弯曲动作。随着该弯曲动作,前端部24朝向所期望的方向。
此外,操作部22上除了角度旋钮22a之外还设置有模式切换SW22b、变焦操作部22c。模式切换SW22b用于通常观察模式与特殊观察模式这两种模式间的切换操作。通常观察模式为在被检体内部进行照明时使用白色光的模式。特殊观察模式为在被检体内部进行照明时使用泛蓝的特殊光的模式,是对可能因萎缩性胃炎而引起胃萎缩时发生的粘膜的颜色变化和血管的透视程度进行强调的模式。变焦操作部22c用于驱动内窥镜12内的变焦透镜47(参考图2)以放大被检体的变焦操作。另外,在特殊观察模式下,也可以取代特殊光而使用白色光。
处理器装置16与显示器18及控制台20电连接。显示器18输出显示图像信息等。控制台20发挥接受功能设定等输入操作的UI(用户接口)的功能。另外,在处理器装置16上也可以连接记录图像信息等的外置记录部(省略图示)。
如图2所示,光源装置14具备发出中心波长为445nm的蓝色激光的蓝色激光光源(445LD)34、发出中心波长为405nm的蓝紫色激光的蓝紫色激光光源(405LD)36以作为发光源。从这些各光源34、36的半导体发光元件发出的光受到光源控制部40的个别控制,蓝色激光光源34的出射光与蓝紫色激光光源36的出射光的光量比可任意变更。在通常观察模式下,光源控制部40主要驱动蓝色激光光源34而少量发出蓝紫色激光。另外,在该通常观察模式下,也可以驱动蓝紫色激光光源36。但是,在该情况下,优选将蓝紫色激光光源36的发光强度抑制得较低。
相对于此,在特殊观察模式下,同时驱动蓝色激光光源34和蓝紫色激光光源36这两个激光光源,并且使蓝色激光的发光比率比蓝紫色激光的发光比率大。另外,优选将蓝色激光或蓝紫色激光的半宽度设为±10nm左右。此外,作为蓝色激光光源34及蓝紫色激光光源36可以利用大面积型的InGaN系激光二极管,此外,也可以使用InGaNAs系激光二极管或?GaNAs系激光二极管。此外,作为上述光源也可以采用使用发光二极管等发光体的结构。
从这些各光源34、36出射的激光经由聚光透镜、光纤、合波器等光学部件(均未图示)而入射到导光部(LG)41。导光部41内置于内窥镜12及通用塞绳13内。中心波长为445nm的蓝色激光或中心波长为405nm的蓝紫色激光经由导光部41传播至内窥镜12的前端部24。另外,作为导光部41能够使用多模光纤。作为一例能够使用芯部直径105μm、包层直径125μm及包含成为外皮的保护层在内的直径为φ0.3~0.5mm的细径的光缆。
内窥镜12的前端部24具有照明光学系统24a和摄像光学系统24b。在照明光学系统24a中设置有荧光体44及照明透镜45,其中,来自导光部41的中心波长为445nm的蓝色激光或中心波长为405nm的蓝紫色激光将入射到该荧光体44。蓝色激光照射到荧光体44,从而从荧光体44发出荧光。此外,一部分蓝色激光直接透射荧光体44。蓝紫色激光不激发荧光体44即透射。从荧光体44出射的光经由照明透镜45照射到被检体内。
在此,在通常观察模式下,主要是蓝色激光入射到荧光体44,因此如图3A所示,将蓝色激光及通过蓝色激光从荧光体44激发发光的荧光进行合波的白色光被照射到被检体内。另一方面,在特殊观察模式下,蓝紫色激光与蓝色激光这两个激光入射到荧光体44,因此如图3B所示,将蓝紫色激光、蓝色激光及通过蓝色激光从荧光体44激发发光的荧光进行合波的特殊光被照射到被检体内。在该特殊观察模式下,在蓝色成分中除了发光强度较高的蓝色激光之外,还包含蓝紫色激光,因此特殊光成为包含较多蓝色成分且波长范围大致遍及整个可见光区域的宽频带光。
另外,荧光体44优选使用由吸收一部分蓝色激光而激发发出绿色~黄色光的多种荧光体(例如YAG系荧光体、或BAM(BaMgAl10O17)等荧光体)构成的结构。如本结构例,若将半导体发光元件用作荧光体44的激发光源,则可获得高发光效率且高强度的白色光,不仅能够轻松地调整白色光的强度,还能够将白色光的色温、色度的变化抑制得较小。
如图2所示,内窥镜12的摄像光学系统24b具有摄像像透镜46、变焦透镜47及传感器48。来自被检体的反射光经由摄像透镜46及变焦透镜47入射到传感器48。由此,在传感器48形成被检体的反射像。通过变焦操作部22c的操作,变焦透镜47在望远端与广角端之间移动。若变焦透镜47移动到望远端侧,则被检体的反射像被扩大,另一方面通过移动到广角端侧,被检体的反射像被缩小。
传感器48为彩色的成像元件,拍摄被检体的反射像并输出图像信号。另外,传感器48优选为CCD(Charge Coupled Device)摄像传感器或CMOS(Complementary Metal-OxideSemiconductor)摄像传感器等。在本发明中使用的摄像传感器为具有在摄像面设置有RGB滤色器的RGBch的RGB摄像传感器,利用各ch进行光电转换,由此从设置有R(红色)的滤色器的R像素输出R图像信号;从设置有G(绿色)的滤色器的G像素输出G图像信号;从设置有B(蓝色)的滤色器的B像素输出B图像信号。
另外,作为传感器48也可以是在摄像面具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的滤色器的所谓补色摄像传感器。为补色摄像传感器时,能够从CMYG这四种颜色的图像信号中通过颜色转换获得RGB这三种颜色的图像信号。此时,需要使内窥镜12、光源装置14或处理器装置16中的任意一个具备从CMYG这四种颜色的图像信号经过颜色转换而转换成RGB这三种颜色的图像信号的机构。
从传感器48输出的图像信号被发送到CDS/AGC电路50。CDS/AGC电路50对模拟信号即图像信号进行相关双采样(CDS)和自动增益控制(AGC)。经过CDS/AGC电路50的图像信号在伽马转换部51被施以伽马转换。由此,可获得具有适于显示器18等输出设备的灰度的图像信号。经该伽马转换之后的图像信号通过A/D转换器(A/D Converter)52被转换成数字图像信号。经A/D转换的数字图像信号被输入到处理器装置16。
处理器装置16主要发挥图像处理装置的功能,其具备接收部54、图像处理切换部60、通常图像处理部62、特殊图像处理部64及视频信号生成部66。接收部54发挥接收来自内窥镜12的数字图像信号并输入到处理器装置16的图像信号输入部的功能。该接收部54具备DSP(Digital Signal Processor)56和噪声去除部58。DSP56对数字图像信号进行伽马校正、颜色校正处理。噪声去除部58对被DSP56施以伽马校正等的数字图像信号实施噪声去除处理(例如移动平均法、中值滤波法等),由此从数字图像信号去除噪声。噪声被去除的数字图像信号被发送到图像处理切换部60。
图像处理切换部60通过模式切换SW22b被设定为通常观察模式时,将数字图像信号发送到通常图像处理部62,当被设定为特殊观察模式时,将数字图像信号发送到特殊图像处理部64。
通常图像处理部62对RGB图像信号进行颜色转换处理、色彩强调处理、结构强调处理。在颜色转换处理中,对数字RGB图像信号进行3×3矩阵处理、灰度转换处理、三维LUT处理等,且转换成颜色转换处理完毕的RGB图像信号。接着,对颜色转换完毕的RGB图像信号实施各种色彩强调处理。对该色彩强调处理完毕的RGB图像信号进行空间频率强调等结构强调处理。被施以结构强调处理的RGB图像信号从通常图像处理部62被输入到视频信号生成部66。
特殊图像处理部64根据RGB图像信号,强调随着因萎缩性胃炎而引起胃萎缩等病变而颜色发生变化的异常部的颜色,并且生成对异常部进行结构强调的特殊图像。对于特殊图像处理部64详细内容在后面进行叙述。所生成的特殊图像的RGB图像信号从特殊图像处理部64被输入到视频信号生成部66。
视频信号生成部66将从通常图像处理部62或特殊图像处理部64输入的RGB图像信号转换成用于显示为可在显示器18显示的图像的视频信号。显示器18根据该视频信号显示通常图像或特殊图像。
如图4所示,特殊图像处理部64具备逆伽马转换部70、Log转换部71、信号比计算部72、色差强调部73、RGB转换部74、结构强调部75、逆Log转换部76及伽马转换部77。逆伽马转换部70对所输入的RGB这3个通道的数字图像信号实施逆伽马转换。经过该逆伽马转换之后的RGB图像信号相对于从被检体反射的反射率为线性的反射率线性RGB信号,因此RGB图像信号之中与被检体的各种生物信息(就本实施方式而言,为与伴随萎缩性胃炎的颜色变化等胃的萎缩有关的信息)相关的信号所占的比例较多。
Log转换部将反射率线性RGB图像信号分别进行Log转换。由此,可获得Log转换完毕的R图像信号(logR)、Log转换完毕的G图像信号(logG)、Log转换完毕的B图像信号(logB)。信号比计算部72根据Log转换完毕的G图像信号和B图像信号进行差分处理(logG-logB=logG/B=-log(B/G)),从而计算B/G比(-log(B/G)中省略“-log”的标记记为“B/G比”)。其中,“B/G比”表示-log(B/G)中省略“-log”的标记。此外,根据Log转换完毕的R图像信号和G图像信号进行差分处理(logR-logG=logR/G=-log(G/R)),从而计算G/R比。关于G/R比,与B/G比相同,表示-log(G/R)中省略“-log”的标记。
色差强调部73在图5所示的B/G比、G/R比的二维空间(与本发明的“特征空间”相对应)中,通过扩大第1范围内的B/G比、G/R比与第2~第5范围内的B/G比、G/R比的差,从而强调观察区域上的正常部与异常部(萎缩粘膜区域、深层血管区域、BA(褐色区域(BrownishArea))、发红区域)之间的色差。
如图6的实测数据所示,在第1范围内包含较多正常粘膜等正常部所在的部分的B/G比、G/R比(图6中用“○”标记正常粘膜),该第1范围在二维空间上位于大致中央。此外,在第2范围包含较多萎缩粘膜所在的部分的B/G比、G/R比(图6中用“×”标记萎缩粘膜),该第2范围在二维空间上位于第1范围的左侧斜下方。此外,当从色相、彩度的观点定义第1范围与第2范围之间的关系时,第1范围与第2范围的色相相同,但第2范围的彩度低于第1范围。
在第3范围内包含较多深层血管所在的部分的B/G比、G/R比(图6中用“□”标记深层血管),该第3范围位于第1范围的右侧斜下方。此外,当从色相、彩度的观点定义第1范围与第3范围之间的关系时,第1范围与第3范围的彩度相同,但色相不同。在第4范围内包含较多BA所在的部分的B/G比、G/R比(图6中用“◇”标记BA),该第4范围位于第1范围的右侧斜上方。在第5范围内包含较多具有发红的部分的B/G比、G/R比(图6中用“△”标记发红区域),该第5范围位于第1范围的右侧。
色差强调部73具备二维LUT73a、加权加算部73b。二维LUT73a将第2~第5范围的B/G比、G/R比、与用于扩大该第2~第4范围的B/G比、G/R比与第1范围的B/G比、G/R比的色差的色差强调量建立关联来存储。在该二维LUT73a中,与第2范围的B/G比、G/R比建立关联的第2范围的色差强调量Δ*(B/G比)、Δ*(G/R比)通过基于第2范围的B/G比、G/R比的第2范围用色差强调量计算处理而获得。
此外,与第3范围的B/G比、G/R比建立关联的第3范围的色差强调量Δ**(B/G比)、Δ**(G/R比)通过基于第3范围的B/G比、G/R比的第3范围用色差强调量计算处理而获得。此外,与第4范围的B/G比、G/R比建立关联的第4范围的色差强调量Δ***(B/G比)、Δ***(G/R比)通过基于第4范围的B/G比、G/R比的第4范围用色差强调量计算处理而获得。此外,与第5范围的B/G比、G/R比建立关联的第5范围的色差强调量Δ*4(B/G比)、Δ*4(G/R比)通过基于第5范围的B/G比、G/R比的第5范围用色差强调量计算处理而获得。另外,关于第2~5范围的B/G比、G/R比以外的非强调范围的B/G比、G/R比(包括第1范围的B/G比、G/R比),不进行色差扩大,因此非强调范围的B/G比、G/R比与色差强调量“0”建立关联而存储到二维LUT73a。
另外,关于第2~第5范围用色差强调量计算处理,以下列顺序进行。第2范围用色差强调量计算处理包括第1范围平均值计算处理、极坐标转换处理、矢径差扩大处理、直角坐标转换处理、差分处理。首先,通过第1范围平均值计算处理,计算第1范围内的B/G比、G/R比的平均值。接着,通过极坐标转换处理,对第1范围内的B/G比、G/R比的平均值进行极坐标转换,从而获得极坐标转换完毕的第1范围平均值(rm、θm)。此外,通过对第2范围内的B/G比、G/R比进行极坐标转换,从而获得极坐标转换完毕的第2范围信号(ri、θi)。
接着,如图7所示,通过矢径差扩大处理,扩大极坐标转换完毕的第1范围平均值(rm、θm)与第2范围信号(ri、θi)之间的矢径差Δr。该矢径差扩大处理通过下式(1-1)进行。由此,获得如图8所示的矢径差扩大完毕的第2范围信号(Eri、θi)。该矢径差扩大完毕的第2范围信号(Eri、θi)与第1范围平均值(rm、θm)之间的矢径差为比Δr大的EΔr。
(1-1):Eri=(ri-rm)·α+rm(其中,α≥1)
接着,通过直角坐标转换处理,将矢径差扩大完毕的第2范围信号(Eri、θi)转换成直角坐标。由此,获得矢径差扩大完毕的第2范围的B/G比、G/R比。接着,如下述(1-2)、(1-3)所示,进行矢径差扩大完毕的第2范围的B/G比、G/R比与矢径差扩大之前的第2范围的B/G比、G/R比的差分处理,从而计算第2范围的色差扩大量Δ*(B/G比)、Δ*(G/R比)。
Δ*(B/G比)=|矢径差扩大完毕的第2范围的B/G比-矢径差扩大之前的第2范围的B/G比|……(1-2)
Δ*(G/R比)=|矢径差扩大完毕的第2范围的G/R比-矢径差扩大之前的第2范围的G/R比|……(1-3)
另外,上述第2范围的矢径差扩大处理如图7、8所示,在维持色相的状态下,向彩度变低的方向扩大矢径差Δr。通过该扩大处理引起的颜色变化与随着图9所示的萎缩性胃炎的发展而褪色的萎缩粘膜的颜色变化一致。在该图9中,发展程度2表示萎缩性胃炎比发展程度1进一步发展的状态,在发展程度1的情况下,萎缩粘膜的区域与正常粘膜的区域之间的差较小,相比之下,在发展程度2的情况下,色相几乎不变,只有彩度变低,由此可知萎缩粘膜的区域与正常粘膜之间的差增大。
另外,当进一步强调正常粘膜区域与萎缩粘膜区域的色差时,不仅可以进行彩度方向的扩大(矢径差的扩大),还可以进行色相方向的扩大(辐角差的扩大)。此外,当萎缩高度发展时,若式(1-1)的α值变得过大,则萎缩粘膜区域的颜色逐渐发蓝,因此在该情况下,通过减小α值(通过控制台20的操作来调整),能够使萎缩粘膜区域的颜色与实际的萎缩粘膜的颜色(褪色的颜色)一致。
第3范围用色差强调量计算处理包括第1范围平均值计算处理、极坐标转换处理、辐角差扩大处理、直角坐标转换处理、差分处理。首先,通过第1范围平均值计算处理,计算第1范围内的B/G比、G/R比的平均值。接着,通过极坐标转换处理,对第1范围内的B/G比、G/R比的平均值进行极坐标转换,从而获得极坐标转换完毕的第1范围平均值(rm、θm)。此外,通过对第3范围内的B/G比、G/R比进行极坐标转换,从而获得极坐标转换完毕的第3范围信号(rv、θv)。
接着,如图7所示,通过辐角差扩大处理扩大极坐标转换完毕的第1范围平均值(rm、θm)与第3范围信号(rv、θv)之间的辐角差Δθ。该辐角差扩大处理通过下式(2-1)进行。由此,可获得如图8所示的辐角差扩大完毕的第3范围信号(Erv、θv)。该辐角差扩大完毕的第3范围信号(Erv、θv)与第1范围平均值(rm、θm)之间的辐角差为比Δθ大的EΔθ。
(2-1):Eθv=(θv-θm)·β+θm(其中,β≥1)
接着,通过直角坐标转换处理,将辐角差扩大完毕的第3范围信号(Erv、θv)转换成直角坐标。由此,可获得辐角差扩大完毕的第3范围的B/G比、G/R比。接着,如下述(2-2)、(2-3)所示,进行辐角差扩大完毕的第3范围的B/G比、G/R比与辐角差扩大之前的第3范围的B/G比、G/R比的差分处理,从而计算第3范围的色差扩大量Δ**(B/G比)、Δ**(G/R比)。
Δ**(B/G比)=|辐角差扩大完毕的第3范围的B/G比-辐角差扩大之前的第3范围的B/G比|……(2-2)
Δ**(G/R比)=|辐角差扩大完毕的第3范围的G/R比-辐角差扩大之前的第3范围的G/R比|……(2-3)
另外,上述第3范围的辐角差扩大处理如图7、8所示,在维持彩度的状态下,向色相方向扩大辐角差Δθ。由该扩大处理引起的颜色变化如图9所示与随着萎缩性胃炎的发展而使得深层血管的颜色逐渐明显的颜色变化一致。在该图9中,发展程度2表示萎缩性胃炎的发展与发展程度1相比进一步发展的状况,在发展程度1的情况下,深层血管区域与正常粘膜区域之间的差较小,相比之下,在发展程度2的情况下,彩度几乎不变,只有色相发生变化,由此可知深层血管区域与正常粘膜区域之间的差增大。
另外,当进一步强调正常粘膜区域与深层血管区域的色差时,不仅可以进行色相方向的扩大(辐角差的扩大),还可以进行彩度方向的扩大(矢径差的扩大)。此外,当萎缩高度发展时,若式(2-1)的β值变得过大,则深层血管区域的颜色将变成品红色调,因此在该情况下,通过减小β值(通过控制台20的操作来调整),能够使深层血管区域的颜色与深层血管的颜色一致。
第4范围用色差强调量计算处理包括第1范围平均值计算处理、极坐标转换处理、矢径差及辐角差扩大处理、直角坐标转换处理、差分处理。首先,通过第1范围平均值计算处理,计算第1范围内的B/G比、G/R比的平均值。接着,通过极坐标转换处理,对第1范围内的B/G比、G/R比的平均值进行极坐标转换,从而获得极坐标转换完毕的第1范围平均值(rm、θm)。此外,通过对第4范围内的B/G比、G/R比进行极坐标转换,从而获得极坐标转换完毕的第4范围信号(rk、θk)。
接着,通过矢径差及辐角差扩大处理,扩大极坐标转换完毕的第1范围平均值(rm、θm)与第4范围信号(rk、θk)之间的矢径差Δr、辐角差Δθ。该矢径差及辐角差扩大处理通过下式(3-1)、(3-2)进行。由此,可获得矢径差Δr、辐角差Δθ均得到扩大的矢径差及辐角差扩大完毕的第4范围信号(Erk、Eθk)。
(3-1):Erk=(rk-rm)·α+rm(其中,α≥1)
(3-2):Eθk=(θk-θm)·β+θm(其中,β≥1)
接着,通过直角坐标转换处理,将矢径差及辐角差扩大完毕的第4范围信号(Erv、θv)转换成直角坐标。由此,可获得矢径差及辐角差扩大完毕的第4范围的B/G比、G/R比。接着,如下述(3-3)、(3-4)所示,通过进行矢径差及辐角差扩大完毕的第4范围的B/G比、G/R比与矢径差及辐角差扩大之前的第4范围的B/G比、G/R比的差分处理,从而计算第4范围的色差扩大量Δ***(B/G比)、Δ***(G/R比)。
Δ***(B/G比)=|矢径差及辐角差扩大完毕的第4范围的B/G比-矢径差及辐角差扩大之前的第4范围的B/G比|……(3-3)
Δ***(G/R比)=|矢径差及辐角差扩大完毕的第4范围的G/R比-矢径差及辐角差扩大之前的第4范围的G/R比|……(3-4)
第5范围用色差强调量计算处理包括第1范围平均值计算处理、极坐标转换处理、矢径差及辐角差扩大处理、直角坐标转换处理、差分处理。首先,通过第1范围平均值计算处理,计算第1范围内的B/G比、G/R比的平均值。接着,通过极坐标转换处理,对第1范围内的B/G比、G/R比的平均值进行极坐标转换,从而获得极坐标转换完毕的第1范围平均值(rm、θm)。此外,通过对第5范围内的B/G比、G/R比进行极坐标转换,从而获得极坐标转换完毕的第5范围信号(rp、θp)。
接着,通过矢径差及辐角差扩大处理,扩大极坐标转换完毕的第1范围平均值(rm、θm)与第5范围信号(rp、θp)之间的矢径差Δr、辐角差Δθ。该矢径差及辐角差扩大处理通过下式(4-1)、(4-2)进行。由此,可获得矢径差Δr、辐角差Δθ均得到扩大的矢径差及辐角差扩大完毕的第5范围信号(Erp、Eθp)。
(4-1):Erp=(rp-rm)·α+rm(其中,α≥1)
(4-2):Eθp=(θp-θm)·β+θm(其中,β≥1)
接着,通过直角坐标转换处理,将矢径差及辐角差扩大完毕的第5范围信号(Erp、θp)转换成直角坐标。由此,可获得矢径差及辐角差扩大完毕的第5范围的B/G比、G/R比。接着,如下述(4-3)、(4-4)所示进行矢径差及辐角差扩大完毕的第5范围的B/G比、G/R比与矢径差及辐角差扩大之前的第5范围的B/G比、G/R比的差分处理,从而计算第5范围的色差扩大量Δ*4(B/G比)、Δ*4(G/R比)。
Δ*4(B/G比)=|矢径差及辐角差扩大完毕的第5范围的B/G比-矢径差及辐角差扩大之前的第5范围的B/G比|……(4-3)
Δ*4(G/R比)=|矢径差及辐角差扩大完毕的第5范围的G/R比-矢径差及辐角差扩大之前的第5范围的G/R比|……(4-4)
加权加算部73b参考二维LUT73a来确定与由信号比计算部72求出的B/G比、G/R比相对应的色差强调量。此外,加权加算部73b根据Log转换完毕的R图像信号(logR)计算与色差强调量相乘的强调系数f(R)。R图像信号与其他颜色的B图像信号和G图像信号相比,包含较多与不被观察对象吸收而反射的光相对应的信号。因此,能够根据R图像信号掌握反射光的光量。
如图10所示,当Log转换完毕的R图像信号在一定范围内时,强调系数f(R)被设定为“1”。此外,Log转换完毕的R图像信号大于上限值或小于下限值时,强调系数f(R)被设定为小于“1”。而且,大于上限值的Log转换完毕的R图像信号越大或小于下限值的Log转换完毕的R图像信号越小,强调系数被设定得越小。如此,通过设小R图像信号大于上限值的高亮度部分或小于下限值的低亮度部分的强调系数来减小色差强调量,从而能够抑制光晕等的强调。
加权加算部73b根据所确定的色差强调量与计算出的强调系数对B/G比、G/R比进行加权加算处理。当通过二维LUT73a确定与第2范围的B/G比、G/R比相对应的色差强调量Δ*(B/G比)、Δ*(G/R比)时,通过下式(4)进行加权加算处理。由此,可获得色差强调完毕的第2范围的B/G比、G/R比。
(4):色差强调完毕的第2范围的B/G比、G/R比=
第2范围的B/G比、G/R比+Δ*(B/G比)、Δ*(G/R比)×f(R)
当根据该色差强调完毕的第2范围的B/G比、G/R比在显示器18上进行显示时,显示如下色差强调图像:萎缩粘膜区域以不同于正常粘膜区域的颜色清晰地显示,并且萎缩粘膜区域的颜色显示得与萎缩性胃炎时的粘膜的颜色大致相同。由此,能够可靠地判别正常粘膜区域与萎缩部区域的边界。该矢径差扩大处理在正常粘膜区域与萎缩粘膜区域之间色差甚少的情况下(例如,在萎缩正在发展时,在ABC诊疗中属于B组和C组的情况)尤为有效。
此外,当通过二维LUT73a确定与第3范围的B/G比、G/R比相对应的色差强调量Δ**(B/G比)、Δ**(G/R比)时,通过下式(5)进行加权加算处理。由此,可获得色差强调完毕的第3范围的B/G比、G/R比。
(5):色差强调完毕的第3范围的B/G比、G/R比=
第3范围的B/G比、G/R比+Δ**(B/G比)、Δ**(G/R比)×f(R)
当根据该色差强调完毕的第3范围的B/G比、G/R比在显示器18上进行显示时,显示如下色差强调图像:深层血管区域以不同于正常粘膜区域的颜色清晰地显示,并且随着深层血管的颜色变得更明显,深层血管清晰地被透视。由此,能够可靠的判别正常粘膜的区域与深层血管区域的边界。该辐角差扩大处理在深层血管的透视程度不太高的情况下(例如,在萎缩正在发展时,在ABC诊疗中属于B组或C组的情况)尤为有效。
此外,当通过二维LUT73a确定与第4范围的B/G比、G/R比相对应的色差强调量Δ***(B/G比)、Δ***(G/R比)时,通过下式(6-1)进行加权加算处理。由此,可获得色差强调完毕的第4范围的B/G比、G/R比。
(6-1):色差强调完毕的第4范围的B/G比、G/R比=
第4范围的B/G比、G/R比+Δ***(B/G比)、Δ***(G/R比)×f(R)
当根据色差强调完毕的第4范围的B/G比、G/R比在显示器18上进行显示时,显示出BA区域以不同于正常粘膜区域的颜色清晰显示的色差强调图像。由此,能够可靠地判别正常粘膜区域与BA区域的边界。
此外,当通过二维LUT73a确定与第5范围的B/G比、G/R比相对应的色差强调量Δ*4(B/G比)、Δ*4(G/R比)时,通过下式(6-2)进行加权加算处理。由此,可获得色差强调完毕的第5范围的B/G比、G/R比。
(6-2):色差强调完毕的第5范围的B/G比、G/R比=
第5范围的B/G比、G/R比+Δ*4(B/G比)、Δ*4(G/R比)×f(R)
当根据色差强调完毕的第5范围的B/G比、G/R比在显示器18上进行显示时,显示出发红区域以不同于正常粘膜区域的颜色清晰显示的色差强调图像。由此,能够可靠地判别正常粘膜区域与发红区域的边界。
RGB转换部74将由色差强调部73获得的色差强调完毕的B/G比、G/R比重新转换为色差强调完毕的RGB图像信号。由此,可获得由RGB图像信号构成的色差强调图像。结构强调部75根据色差强调之前的B/G比、G/R比、色差强调图像进行萎缩粘膜区域、深层血管区域、BA区域、发红区域的结构强调。如图11所示,该结构强调部75具备频率强调部75a、合成比率设定部75b及合成部75c。
频率强调部75a对色彩强调图像的RGB图像信号进行多个频率滤波(BPF(BandPass Filtering)),从而获得多个频率强调图像。在频率强调部75a中使用,提取包含较多萎缩粘膜区域的低频的第1频率成分的萎缩粘膜区域用频率滤波、提取包含较多深层血管区域的中频的第2频率成分的深层血管区域用频率滤波、提取包含较多BA区域的低频的第3频率成分的BA用频率滤波、提取包含较多发红区域的低频的第4频率成分的发红区域用频率滤波。
通过进行萎缩粘膜区域用频率滤波,可获得第1频率成分强调图像BPF1(RGB)。通过进行深层血管区域用频率滤波,可获得第2频率成分强调图像BPF2(RGB)。通过进行BA区域用频率滤波,可获得第3频率成分强调图像BPF3(RGB)。通过进行发红区域用频率滤波,可获得第4频率成分强调图像BPF4(RGB)。
合成比率设定部75b根据色差强调之前的B/G比、G/R比,按每一像素设定合成比率g1(B/G比、G/R比)、g2(B/G比、G/R比)、g3(B/G比、G/R比)、g4(B/G比、G/R比),该合成比率表示在色差强调图像的RGB图像信号上合成第1~第4频率成分强调图像BPF1~4(RGB)的比例。如图12所示,关于B/G比、G/R比在第2范围内的像素,合成比率g1(B/G比、G/R比)被设定为“100%”,其他合成比率g2、g3、g4(B/G比、G/R比)被设定为“0%”。
此外,关于B/G比、G/R比在第3范围内的像素,合成比率g2(B/G比、G/R比)被设定为“100%”,其他合成比率g1、g3、g4(B/G比、G/R比)被设定为“0%”。此外,关于B/G比、G/R比在第4范围内的像素,合成比率g3(B/G比、G/R比)被设定为“100%”,其他合成比率g1、g2、g4(B/G比、G/R比)被设定为“0%”。此外,关于B/G比、G/R比进入到第5范围内的像素,合成比率g4(B/G比、G/R比)被设定为“100%”,其他合成比率g1、g2、g3(B/G比、G/R比)被设定为“0%”。另一方面,关于B/G比、G/R比不在第2~5范围中的任意范围内的像素,合成比率g1~g4(B/G比、G/R比)被设定为“0%”。
合成部75c根据下式(7),以由合成比率设定部75b按每一像素设定的合成比率合成色差强调图像的RGB图像信号(色差强调图像(RGB))与第1~第4频率成分强调图像BPF1~4(RGB)。由此,可获得由RGB图像信号构成的色差及结构强调图像(色差及结构强调图像(RGB))。
(7):色差及结构强调图像(RGB)=色差强调图像(RGB)
+BPF1(RGB)×Gain1(RGB)×g1(B/G比、G/R比)
+BPF2(RGB)×Gain2(RGB)×g2(B/G比、G/R比)
+BPF3(RGB)×Gain3(RGB)×g3(B/G比、G/R比)
+BPF4(RGB)×Gain4(RGB)×g4(B/G比、G/R比)
另外,式(7)中的Gain1~4(RGB)根据第1~第4频率成分强调图像的边缘特性被预先确定。例如,在包含较多深层血管、较多BA的第2、第3频率成分强调图像中,这些深层血管、BA成为图像的值低于“0”的下缘(Down edge),因此优选将Gain2、3(RGB)设定为负值。
在此,关于B/G比、G/R比属于第2范围内的像素,由合成比率设定部75b将合成比率g1(B/G比、G/R比)设定为“100%”,将合成比率g2、g3、g4(B/G比、G/R比)设定为“0%”,因此与色差强调图像之中B/G比、G/R比在第2范围内的像素相比,多加了第1频率强调成分。由于在第2范围内包含较多萎缩粘膜区域的B/G比、G/R比,因此通过第1频率强调成分的加算,能够对萎缩粘膜进行结构强调。
此外,关于B/G比、G/R比属于第3范围内的像素,由合成比率设定部75b将合成比率g2(B/G比、G/R比)设定为“100%”,将合成比率g1、g3、g4(B/G比、G/R比)设定为“0%”,因此与色差强调图像之中B/G比、G/R比在第3范围内的像素相比,多加了第2频率强调成分。由于在第3范围内包含较多深层血管区域的B/G比、G/R比,因此通过第2频率强调成分的加算,能够对深层血管区域进行结构强调。
此外,关于B/G比、G/R比属于第4范围内的像素,由合成比率设定部75b将合成比率g3(B/G比、G/R比)设定为“100%”,将合成比率g1、g2、g4(B/G比、G/R比)设定为0%”,因此与色差强调图像之中B/G比、G/R比在第4范围内的像素相比,多加了第3频率强调成分。由于在第4范围内包含较多BA区域的B/G比、G/R比,因此通过第3频率强调成分的加算,能够对BA区域进行结构强调。
此外,关于B/G比、G/R比属于第5范围内的像素,由合成比率设定部75b将合成比率g4(B/G比、G/R比)设定为“100%”,将合成比率g1、g2、g3(B/G比、G/R比)设定为“0%”,因此对于色差强调图像之中B/G比、G/R比在在第5范围内的像素,多加了第4频率强调成分。由于在第4范围内包含较多发红区域的B/G比、G/R比,因此通过第4频率强调成分的加算,能够对发红区域进行结构强调。
如上所述,根据B/G比、G/R比按每一像素设定合成比率,用该按每一像素设定的合成比率在色差强调图像上合成频率成分强调图像,从而能够选择性地强调萎缩粘膜区域、深层血管区域、BA、发红区域。例如,不管B/G比、G/R比如何,在将第1或第3频率成分强调图像加算在色差强调图像的所有像素上的情况下,由于第1或第3频率成分图像为强调低频成分的图像,因此萎缩粘膜与BA均得到强调。因此,如本发明,通过只在色差强调图像之中B/G比、G/R比在第2范围的像素上加算第1频率成分强调图像,从而能够不强调BA而仅强调萎缩粘膜。相对于此,通过只在色差强调图像之中B/G比、G/R比在第4范围的像素上加算第3频率成分强调图像,从而能够不强调BA而仅强调萎缩粘膜。
逆Log转换部76对色差及结构强调图像的RGB图像信号实施逆Log转换。由此,可获得具有真数的像素值的色差及结构强调图像的RGB图像信号。伽马转换部77对具有真数的像素值的色差及结构强调图像的RGB图像信号实施伽马转换。由此,可获得具有适于显示器18等输出设备的灰度的色差及结构强调图像的RGB图像信号。该色差及结构强调图像作为特殊图像被发送到视频信号生成部66。
接着,按照图13的流程图对本实施方式中的一系列流程进行说明。首先,设定为通常观察模式,并将内窥镜12的插入部21插入到被检体内。只要插入部21的前端部24到达胃,即可诊断有无发生萎缩性胃炎。在此,能够从通常图像中读取粘膜褪色或树枝形状的深层血管的透视的部位与非透视的部位的边界(称为内窥镜下的腺边界)的情况下,医生判断为发生了由萎缩性胃炎引起胃癌等病变(基于木村·竹本分类的判断方法)的病理结果。另外,也可知这种胃癌因幽门螺杆菌(Helicobacter pylori)的感染使得胃粘膜萎缩而产生。
另一方面,在无法从通常图像中读取褪色的粘膜或存在内窥镜下的腺边界的情况下,为了进行更可靠的诊断,操作模式切换器SW22b以切换成特殊观察模式。通过该特殊观察模式的切换,发出包含蓝色激光及蓝紫色激光这两种激光的特殊光。根据发出该特殊光时所获得的RGB图像信号计算B/G比、G/R比。
接着,参考二维LUT73a求出与计算出的B/G比、G/R比相对应的色差强调量。此外,从R图像信号求出强调系数f(R)。而且,通过在B/G比、G/R比上加算乘以强调系数f(R)的色差强调量,从而获得色差强调完毕的B/G比、G/R比。
接着,将色差强调完毕的B/G比、G/R比转换成RGB图像信号。通过对该RGB图像信号进行多个频率滤波,从而获得第1~第4频率成分强调图像。此外,从B/G比、G/R比按每一像素求出合成比率g1~g4(B/G比、G/R比)。而且,将已乘以预先确定的Gain1~4(RGB)及合成比率g1~g4(B/G比、G/R比)的第1~第4频率成分强调图像加算到色差强调完毕的RGB图像信号上,从而获得色差及结构强调完毕的RGB图像信号。根据该色差及结构强调完毕的RGB图像信号,在显示器18上显示特殊图像。
当完全没有胃萎缩时,在特殊图像上粘膜显示为正常颜色。在该情况下,医生判断为没有发生由萎缩性胃炎引起胃癌等病变部的正常结果。与此相对,当胃的萎缩即使有微小的发展时,萎缩粘膜的颜色也会显示为褪色,此外,深层血管也会显示为可透视,并且萎缩粘膜和深层血管的结构被强调。由此,能够清晰地显示内窥镜的腺边界。因此,在实际胃中,即使萎缩粘膜的颜色没有太多显示为褪色,而且深层血管不易被透视的情况下,医生也能够判断为发生了由萎缩性胃炎引起的胃癌等病变的病理结果。
另外,在上述实施方式中,对强调正常部与异常部的色差的色差强调图像进行结构强调处理,从而生成色差及结构强调图像,但并不限于此,也可以不进行色差强调而直接进行结构强调处理来生成结构强调图像。在该情况下,代替图2的特殊图像处理部64,而使用图14所示的特殊图像处理部100。该特殊图像处理部100上并没有像特殊图像处理部64那样设置色差强调部73及RGB转换部74。此外,在特殊图像处理部100的Log转换部71与结构强调部75之间设置有基础图像制作部101。
在特殊图像处理部100中,根据由Log转换部71进行Log转换的RGB图像信号,由基础图像制作部101制作基础图像。该基础图像被发送到结构强调部75。此外,经Log转换的RGB图像信号被发送到信号比计算部72。信号比计算部72根据RGB图像信号计算B/G比、G/R比,并将计算出的B/G比、G/R比发送到结构强调部75。在结构强调部75中,根据基础图像的RGB图像信号与B/G比、G/R比,生成选择性地对萎缩粘膜、深层血管、BA进行结构强调的结构强调图像。
在上述实施方式中,对B/G比、G/R比进行极坐标转换,并且扩大极坐标转换完毕的第1范围平均值与第2~第5范围内的信号值之间的矢径差或辐角差,从而强调正常部与异常部的色差,但并不限于此,也可以利用其它坐标转换方法和色差强调方法来强调正常部与异常部的色差。另外,如上述实施方式那样,利用在极坐标上扩大矢径差或辐角差的色差强调方法获得的色差强调图像能够几乎不改变正常部的颜色而仅改变异常部的颜色,因此不会产生冲突。此外,色差强调图像上的萎缩粘膜区域及深层血管区域的颜色与发生萎缩性胃炎时粘膜的颜色或可透视血管时的颜色相同,因此能够以与萎缩性胃炎诊断(例如ABC诊疗)相同的方法进行诊断。
另外,在上述实施方式中,对正常部与异常部进行色差强调时使用了第1范围平均值,但也可以代替此而使用图像信号整体的像素值平均值。在该情况下,萎缩粘膜或深层血管的颜色可能会在每个图像上发生变化,但具有能够配合图像上的各区域的分布来扩大正常部与异常部的极小色差的优点。
另外,在上述第1实施方式中,将荧光体44设置在了内窥镜12的前端部24,但也可以代替此而将荧光体44设置在光源装置14内。在该情况下,优选在导光部41与蓝色激光光源34之间设置荧光体44。
[第2实施方式]
在上述第1实施方式中,用彩色传感器同时获取了RGB图像信号,但在第2实施方式中,用单色传感器依次获取RGB图像信号。如图15所示,在第2实施方式的内窥镜系统200的光源装置14上设置宽频带光源202、旋转滤光器204、滤光器切换部205,来代替蓝色激光光源34、蓝紫色激光光源36、光源控制部40。此外,在内窥镜12的照明光学系统24a上未设置荧光体44。此外,在摄像光学系统24b上设置未设有滤色器的单色传感器206,来代替彩色传感器48滤光器。除此之外,与第1实施方式的内窥镜系统10相同。
宽频带光源202为疝气灯、白色LED等,发出波长区域从蓝色遍及红色的白色光。旋转滤光器204具备设置于内侧的通常观察模式用滤光器208和设置于外侧的特殊观察模式用滤光器209(参考图16)。滤光器切换部205使旋转滤光器204向径向移动,当通过模式切换SW22b被设定为通常观察模式时,将旋转滤光器204的通常观察模式用滤光器208插入到白色光的光路上,当设定为特殊观察模式时,将旋转滤光器204的特殊观察模式用滤光器209插入到白色光的光路上。
如图16所示,在通常观察模式用滤光器208上沿周向设置有使白色光中的蓝色光透射的B滤光器208a、使白色光中的绿色光透射的G滤光器208b、使白色光中的红色光透射的R滤光器208c。因此,为通常观察模式时,通过旋转滤光器204的旋转,蓝色光、绿色光、红色光交替照射到被检体内。
在特殊观察模式用滤光器209上沿周向设置有使白色光中中心波长为415nm的蓝色窄频带光透射的Bn滤光器209a、使白色光中的绿色光透射的G滤光器209b、使白色光中的红色光透射的R滤光器209c。因此,为特殊观察模式时,通过旋转滤光器204的旋转,使蓝色窄频带光、绿色光、红色光交替照射到被检体内。
在内窥镜系统200中,为通常观察模式时,每当有蓝色光、绿色光、红色光照射到被检体内时,由单色传感器206拍摄被检体内部。由此,可获得RGB这三种颜色的图像信号。而且,根据这些RGB图像信号,利用与上述第1实施方式相同的方法生成通常图像。
另一方面,为特殊观察模式时,每当有蓝色窄频带光、绿色光、红色光照射到被检体内时,由单色传感器206被检体内部。由此,可获得Bn图像信号、G图像信号、R图像信号。根据这些Bn图像信号、G图像信号、R图像信号生成特殊图像。生成特殊图像时,使用Bn图像信号来代替B图像信号。除此之外,以与第1实施方式相同的方法生成特殊图像。
[第3实施方式]
在第1实施方式的内窥镜系统10中,制作特殊图像时使用了包含蓝色激光及蓝紫色激光的窄频带波长信息的窄频带信号即B图像信号,在第2实施方式的内窥镜系统200中,制作特殊图像时,使用了包含蓝色窄频带光的窄频带波长信息的窄频带信号即Bn图像信号,但在第3实施方式中,通过基于白色图像等宽频带图像的分光运算生成蓝色窄频带图像信号,并利用该蓝色窄频带图像信号来生成特殊图像。
在该第3实施方式中,在同步式内窥镜系统10的特殊观察模式下,照射宽频带光即白色光来代替特殊光。而且,如图17所示,在设置于图像处理切换部60与特殊图像处理部64之间的分光运算部300中,根据通过白色光的发光、摄像获得的RGB图像信号进行分光运算处理。由此,生成波长范围为400~420nm的分光图像即蓝色窄频带图像信号。分光运算的方法采用日本特开2003-093336号公报中记载的方法。根据由该分光运算部300生成的蓝色窄频带图像信号、G图像信号、R图像信号,以与上述第1实施方式相同的顺序生成特殊图像。另外,作为白色光,除了通过荧光体44获得的白色光之外,还可以利用从疝气灯等宽频带光源发出的宽频带光。
另外,在上述实施方式中,示出粘膜因萎缩性胃炎而褪色的例子和萎缩粘膜下的深层血管被透视的例子,但也存在因其他部位的病变(例如,食道的病变和大肠的病变等)而使粘膜褪色的情况。本发明对于这种萎缩粘膜以外的褪色的粘膜也能够强调与正常部之间的色差。此外,本发明对萎缩粘膜以外的褪色的粘膜下的深层血管的透视程度也能够进行强调显示。
另外,在上述实施方式中,作为多个颜色信息采用B/G比、G/R比,但也可以以色差信号Cr、色差信号Cb来代用。此时,利用由色差信号Cr、Cb形成的特征空间即CrCb空间来进行正常部与异常部的色差强调或异常部的结构强调。此外,作为多个颜色信息,也可以采用色相H和彩度S。此时,利用由色相H和彩度S形成的特征空间即HS空间来进行正常部与异常部的色差强调或异常部的结构强调。此外,作为多个颜色信息,也可以采用CIE Lab空间的色调的要素a*、b*。此时,利用由要素a*、b*形成的特征空间即ab空间来进行正常部与异常部的色差强调或异常部的结构强调。
另外,在上述实施方式中,在利用内窥镜来进行诊断的过程中实施本发明,但并不限于此,也可以在利用内窥镜诊断之后,根据记录在内窥镜系统的记录部中的内窥镜图像实施本发明,此外,还可以根据用胶囊内窥镜获取的胶囊内窥镜图像实施本发明。
标号说明
16-处理器装置(图像处理装置),48、206-传感器,72-信号比计算部,73-色差强调部,75a-频率强调部,75b-合成比率设定部,75c-合成部,101-基础图像制作部。
Claims (16)
1.一种图像处理装置,其特征在于,该图像处理装置具备:
图像信号输入部,其输入三种颜色的图像信号;
基础图像制作部,其根据所述三种颜色的图像信号,制作基础图像;
信号比计算部,其计算所述三种颜色的图像信号中两种颜色的图像信号之间的第1信号比和不同于所述第1信号比的两种颜色的图像信号之间的第2信号比;
频率强调部,其根据所述基础图像,生成对与不同于正常部的异常部相对应的频率成分进行了强调的频率成分强调图像;
合成比率设定部,其根据所述第1信号比及所述第2信号比,设定合成比率,所述合成比率表示在所述基础图像上合成所述频率成分强调图像的比例;及
合成部,其以由所述合成比率设定部设定的合成比率在所述基础图像上合成所述频率成分强调图像,从而生成对所述异常部进行了结构强调的结构强调图像,
所述三种颜色的图像信号为RGB图像信号,
所述第1信号比为B图像信号与G图像信号之间的B/G比,所述第2信号比为G图像信号与R图像信号之间的G/R比。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述合成比率设定部进行如下设定:
对于由所述信号比计算部计算的第1及第2信号比包含在具有所述正常部的第1及第2信号比的第1范围内的像素,将所述合成比率设定为“0%”;对于由所述信号比计算部计算的第1及第2信号比包含在具有所述异常部的第1及第2信号比的特定范围内的像素,将所述合成比率设定为“100%”。
3.根据权利要求2所述的图像处理装置,其特征在于,
所述异常部为褪色的粘膜,
所述特定范围为包含所述褪色的粘膜的第1及第2信号比的第2范围,
所述第1范围与所述第2范围的色相相同,但所述第2范围的彩度低于所述第1范围。
4.根据权利要求2所述的图像处理装置,其特征在于,
所述异常部为不仅在褪色的粘膜下有病变的发展还具有可透视的血管的血管区 域,
所述特定范围为包含所述血管区域的第1及第2信号比的第3范围,
所述第1范围与所述第3范围的彩度相同,但色相不同。
5.根据权利要求2所述的图像处理装置,其特征在于,
所述异常部为褐色区域,
所述特定范围为包含所述褐色区域的第1及第2信号比的第4范围。
6.根据权利要求2所述的图像处理装置,其特征在于,
所述异常部是发红区域,
所述特定范围为包含所述发红区域的第1及第2信号比的第5范围。
7.一种图像处理装置,其特征在于,该图像处理装置具备:
图像信号输入部,其输入彩色图像信号;
颜色信息获取部,其从所述彩色图像信号中获取多个颜色信息;
色差强调部,其在由所述多个颜色信息形成的特征空间内进行扩大第1范围与不同于所述第1范围的特定范围之间的差的扩大处理,从而生成对正常部与异常部之间的色差进行了强调的色差强调图像;
频率强调部,其根据所述色差强调图像,生成对与所述异常部相对应的频率成分进行了强调的频率成分强调图像;
合成比率设定部,其根据所述多个颜色信息,设定合成比率,所述合成比率表示在所述色差强调图像上合成所述频率成分强调图像的比例;及
合成部,其以由所述合成比率设定部设定的合成比率在所述色差强调图像上合成所述频率成分强调图像,从而生成不仅强调所述色差还对所述异常部进行了结构强调的色差及结构强调图像。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述彩色图像信号为三种颜色的图像信号,所述颜色信息获取部为信号比计算部,该信号比计算部计算所述三种颜色的图像信号中两种颜色的图像信号之间的第1信号比和不同于所述第1信号比的两种颜色的图像信号之间的第2信号比作为所述多个颜色信息。
9.根据权利要求8所述的图像处理装置,其特征在于,
所述合成比率设定部进行如下设定:
对于由所述信号比计算部计算的第1及第2信号比属于所述第1范围的像素,将所述合成比率设定为“0%”;对于由所述信号比计算部计算的第1及第2信号比属于所述特定范围的像素,将所述合成比率设定为“100%”。
10.根据权利要求9所述的图像处理装置,其特征在于,
所述异常部为褪色的粘膜,
所述特定范围为包含所述褪色的粘膜的第1及第2信号比的第2范围,
所述第1范围与所述第2范围的色相相同,但所述第2范围的彩度低于所述第1范围。
11.根据权利要求9所述的图像处理装置,其特征在于,
所述异常部为不仅在褪色的粘膜下有病变的发展还具有可透视的血管的血管区域,
所述特定范围为包含所述血管区域的第1及第2信号比的第3范围,
所述第1范围与所述第3范围的彩度相同,但色相不同。
12.根据权利要求9所述的图像处理装置,其特征在于,
所述异常部为褐色区域,
所述特定范围为包含所述褐色区域的第1及第2信号比的第4范围。
13.根据权利要求9所述的图像处理装置,其特征在于,
所述异常部是发红区域,
所述特定范围为包含所述发红区域的第1及第2信号比的第5范围。
14.根据权利要求8至13中任一项所述的图像处理装置,其特征在于,
所述三种颜色的图像信号为RGB图像信号,
所述第1信号比为B图像信号与G图像信号之间的B/G比,所述第2信号比为G图像信号与R图像信号之间的G/R比。
15.一种图像处理装置的工作方法,其特征在于,具有如下步骤:
图像信号输入部输入三种颜色的图像信号;
基础图像制作部根据所述三种颜色的图像信号,制作基础图像;
信号比计算部计算所述三种颜色的图像信号中两种颜色的图像信号之间的第1信号比和不同于所述第1信号比的两种颜色的图像信号之间的第2信号比;
频率强调部根据所述基础图像,生成对与不同于正常部的异常部相对应的频率成 分进行了强调的频率成分强调图像;
合成比率设定部根据所述第1信号比及所述第2信号比,设定合成比率,所述合成比率表示在所述基础图像上合成所述频率成分强调图像的比例;及
合成部以由所述合成比率设定部设定的合成比率在所述基础图像上合成所述频率成分强调图像,从而生成对所述异常部进行了结构强调的结构强调图像,
所述三种颜色的图像信号为RGB图像信号,
所述第1信号比为B图像信号与G图像信号之间的B/G比,所述第2信号比为G图像信号与R图像信号之间的G/R比。
16.一种图像处理装置的工作方法,其特征在于,具有如下步骤:
图像信号输入部输入彩色图像信号;
颜色信息获取部从所述彩色图像信号中获取多个颜色信息;
色差强调部在由所述多个颜色信息形成的特征空间内进行扩大第1范围与不同于所述第1范围的特定范围之间的差的扩大处理,从而生成对正常部与异常部之间的色差进行了强调的色差强调图像;
频率强调部根据所述色差强调图像,生成对与所述异常部相对应的频率成分进行了强调的频率成分强调图像;
合成比率设定部根据所述多个颜色信息,设定合成比率,所述合成比率表示在所述色差强调图像上合成所述频率成分强调图像的比例;及
合成部以由所述合成比率设定部设定的合成比率在所述色差强调图像上合成所述频率成分强调图像,从而生成不仅强调所述色差还对所述异常部进行了结构强调的色差及结构强调图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711274536.2A CN108109134B (zh) | 2013-10-28 | 2014-10-22 | 图像处理装置及其工作方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013222964 | 2013-10-28 | ||
JP2013-222964 | 2013-10-28 | ||
PCT/JP2014/078046 WO2015064435A1 (ja) | 2013-10-28 | 2014-10-22 | 画像処理装置及びその作動方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711274536.2A Division CN108109134B (zh) | 2013-10-28 | 2014-10-22 | 图像处理装置及其工作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105705075A CN105705075A (zh) | 2016-06-22 |
CN105705075B true CN105705075B (zh) | 2018-02-02 |
Family
ID=53004043
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480059325.5A Active CN105705075B (zh) | 2013-10-28 | 2014-10-22 | 图像处理装置及其工作方法 |
CN201711274536.2A Active CN108109134B (zh) | 2013-10-28 | 2014-10-22 | 图像处理装置及其工作方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711274536.2A Active CN108109134B (zh) | 2013-10-28 | 2014-10-22 | 图像处理装置及其工作方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9582878B2 (zh) |
EP (1) | EP3072439B1 (zh) |
JP (2) | JP6151372B2 (zh) |
CN (2) | CN105705075B (zh) |
WO (1) | WO2015064435A1 (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830825B (zh) | 2014-03-31 | 2022-03-25 | 富士胶片株式会社 | 内窥镜系统及其工作方法 |
USD841159S1 (en) * | 2015-06-12 | 2019-02-19 | Fujifilm Corporation | Operating grip for endoscope |
JP6461739B2 (ja) * | 2015-07-28 | 2019-01-30 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法 |
CN106687023B (zh) * | 2015-08-13 | 2018-12-18 | Hoya株式会社 | 评价值计算装置以及电子内窥镜系统 |
WO2017057680A1 (ja) * | 2015-09-30 | 2017-04-06 | Hoya株式会社 | 内視鏡システム及び評価値計算装置 |
JP6669539B2 (ja) * | 2016-03-11 | 2020-03-18 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
JP6495539B2 (ja) * | 2016-03-29 | 2019-04-03 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
US10849506B2 (en) * | 2016-04-13 | 2020-12-01 | Inspektor Research Systems B.V. | Bi-frequency dental examination |
KR102272588B1 (ko) | 2016-05-17 | 2021-07-02 | 리바운드 세라퓨틱스 코포레이션 | 뇌출혈 혈종을 찾기위한 컬러 감지 방법과 장치 |
TWI616180B (zh) * | 2016-06-29 | 2018-03-01 | 國立成功大學 | 上消化道出血偵測裝置及方法 |
US10646102B2 (en) * | 2016-08-31 | 2020-05-12 | Hoya Corporation | Processor for electronic endoscope, and electronic endoscope system |
JP6392486B1 (ja) * | 2017-02-01 | 2018-09-19 | オリンパス株式会社 | 内視鏡システム |
EP3586718B1 (en) * | 2017-02-24 | 2023-08-30 | FUJIFILM Corporation | Endoscope system and processor device |
JP7095679B2 (ja) * | 2017-03-07 | 2022-07-05 | ソニーグループ株式会社 | 情報処理装置、支援システム及び情報処理方法 |
JP6850871B2 (ja) * | 2017-03-31 | 2021-03-31 | Hoya株式会社 | 電子内視鏡システム |
JP7051845B2 (ja) * | 2017-06-15 | 2022-04-11 | 富士フイルム株式会社 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
JP6909856B2 (ja) * | 2017-08-23 | 2021-07-28 | 富士フイルム株式会社 | 内視鏡システム |
EP3620098B1 (en) | 2018-09-07 | 2021-11-03 | Ambu A/S | Enhancing the visibility of blood vessels in colour images |
US10980397B1 (en) * | 2020-02-21 | 2021-04-20 | Ambu A/S | Video processing device |
US11109741B1 (en) | 2020-02-21 | 2021-09-07 | Ambu A/S | Video processing apparatus |
US11166622B2 (en) | 2020-02-21 | 2021-11-09 | Ambu A/S | Video processing apparatus |
US10835106B1 (en) | 2020-02-21 | 2020-11-17 | Ambu A/S | Portable monitor |
JP6855610B2 (ja) * | 2020-02-27 | 2021-04-07 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
CN111345831B (zh) * | 2020-03-06 | 2023-02-28 | 重庆金山医疗技术研究院有限公司 | 一种消化道生理数据显示方法及系统 |
US11328390B2 (en) | 2020-05-13 | 2022-05-10 | Ambu A/S | Method for adaptive denoising and sharpening and visualization systems implementing the method |
CN113344860B (zh) * | 2021-05-17 | 2022-04-29 | 武汉大学 | 胃黏膜染色放大图像微结构的异常程度量化方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63173182A (ja) * | 1987-01-13 | 1988-07-16 | Olympus Optical Co Ltd | 色彩画像処理方式 |
JP3228627B2 (ja) * | 1993-03-19 | 2001-11-12 | オリンパス光学工業株式会社 | 内視鏡用画像処理装置 |
US5550582A (en) * | 1993-03-19 | 1996-08-27 | Olympus Optical Co., Ltd. | Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution |
JPH08262692A (ja) * | 1995-03-23 | 1996-10-11 | Dainippon Screen Mfg Co Ltd | 色分解方法および装置 |
US7328059B2 (en) * | 1996-08-23 | 2008-02-05 | The Texas A & M University System | Imaging of light scattering tissues with fluorescent contrast agents |
US6422994B1 (en) * | 1997-09-24 | 2002-07-23 | Olympus Optical Co., Ltd. | Fluorescent diagnostic system and method providing color discrimination enhancement |
JP4370008B2 (ja) * | 1998-11-17 | 2009-11-25 | オリンパス株式会社 | 内視鏡画像処理装置 |
JP2003093336A (ja) | 2001-09-26 | 2003-04-02 | Toshiba Corp | 電子内視鏡装置 |
US7340079B2 (en) * | 2002-09-13 | 2008-03-04 | Sony Corporation | Image recognition apparatus, image recognition processing method, and image recognition program |
JP4554647B2 (ja) * | 2003-04-25 | 2010-09-29 | オリンパス株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
JP4388318B2 (ja) * | 2003-06-27 | 2009-12-24 | オリンパス株式会社 | 画像処理装置 |
JP2007060457A (ja) * | 2005-08-26 | 2007-03-08 | Hitachi Ltd | 画像信号処理装置および画像信号処理方法 |
JP5057675B2 (ja) * | 2006-03-03 | 2012-10-24 | オリンパスメディカルシステムズ株式会社 | 生体観察装置 |
JP4855868B2 (ja) * | 2006-08-24 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置 |
CN100565582C (zh) * | 2006-12-31 | 2009-12-02 | 四川大学华西医院 | 一种筛选食管微小病变的图像处理方法 |
JP5100596B2 (ja) * | 2008-10-03 | 2012-12-19 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP5305850B2 (ja) * | 2008-11-14 | 2013-10-02 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP5541914B2 (ja) * | 2009-12-28 | 2014-07-09 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法 |
JP5371920B2 (ja) | 2010-09-29 | 2013-12-18 | 富士フイルム株式会社 | 内視鏡装置 |
JP5335017B2 (ja) * | 2011-02-24 | 2013-11-06 | 富士フイルム株式会社 | 内視鏡装置 |
JP5451802B2 (ja) * | 2011-04-01 | 2014-03-26 | 富士フイルム株式会社 | 電子内視鏡システム及び電子内視鏡システムの校正方法 |
JP5667917B2 (ja) * | 2011-04-01 | 2015-02-12 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
US9438890B2 (en) * | 2011-08-25 | 2016-09-06 | Panasonic Intellectual Property Corporation Of America | Image processor, 3D image capture device, image processing method, and image processing program |
JP5980555B2 (ja) * | 2012-04-23 | 2016-08-31 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
-
2014
- 2014-10-22 CN CN201480059325.5A patent/CN105705075B/zh active Active
- 2014-10-22 JP JP2015544939A patent/JP6151372B2/ja active Active
- 2014-10-22 WO PCT/JP2014/078046 patent/WO2015064435A1/ja active Application Filing
- 2014-10-22 EP EP14858260.4A patent/EP3072439B1/en not_active Not-in-force
- 2014-10-22 CN CN201711274536.2A patent/CN108109134B/zh active Active
-
2016
- 2016-04-27 US US15/139,940 patent/US9582878B2/en active Active
-
2017
- 2017-05-24 JP JP2017102318A patent/JP6427625B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN108109134B (zh) | 2021-12-03 |
EP3072439A1 (en) | 2016-09-28 |
JP2017176856A (ja) | 2017-10-05 |
WO2015064435A1 (ja) | 2015-05-07 |
US9582878B2 (en) | 2017-02-28 |
JP6151372B2 (ja) | 2017-06-21 |
CN108109134A (zh) | 2018-06-01 |
JP6427625B2 (ja) | 2018-11-21 |
EP3072439A4 (en) | 2017-07-05 |
US20160239965A1 (en) | 2016-08-18 |
EP3072439B1 (en) | 2018-09-05 |
CN105705075A (zh) | 2016-06-22 |
JPWO2015064435A1 (ja) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105705075B (zh) | 图像处理装置及其工作方法 | |
CN105101862B (zh) | 图像处理装置和内窥镜系统的工作方法 | |
CN103781395B (zh) | 内窥镜系统、用于所述内窥镜系统的处理设备和图像生成方法 | |
US10779714B2 (en) | Image processing apparatus, method for operating image processing apparatus, and image processing program | |
CN106388756A (zh) | 图像处理装置及其工作方法以及内窥镜系统 | |
CN105101863B (zh) | 图像处理装置 | |
CN104939792B (zh) | 医用图像处理装置及其工作方法 | |
CN105266750B (zh) | 医用图像处理装置及其工作方法、以及内窥镜系统 | |
EP2468187B1 (en) | Endoscope system and processor apparatus thereof, and method for generating images | |
CN105212885B (zh) | 医用图像处理装置及其工作方法、以及内窥镜系统 | |
CN106163367B (zh) | 医用图像处理装置及其工作方法以及内窥镜系统 | |
CN105310633B (zh) | 医用图像处理装置及其工作方法、以及内窥镜系统 | |
CN104939791B (zh) | 医用图像处理装置及其工作方法 | |
JP6054806B2 (ja) | 画像処理装置及び内視鏡システムの作動方法 | |
WO2014132741A1 (ja) | 画像処理装置及び内視鏡システムの作動方法 | |
WO2018079217A1 (ja) | 内視鏡システム及びその作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |