CN114627045A - 医用图像处理系统、医用图像处理系统的工作方法 - Google Patents
医用图像处理系统、医用图像处理系统的工作方法 Download PDFInfo
- Publication number
- CN114627045A CN114627045A CN202111487591.6A CN202111487591A CN114627045A CN 114627045 A CN114627045 A CN 114627045A CN 202111487591 A CN202111487591 A CN 202111487591A CN 114627045 A CN114627045 A CN 114627045A
- Authority
- CN
- China
- Prior art keywords
- medical image
- image
- processing system
- medical
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003902 lesion Effects 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 description 23
- 238000005286 illumination Methods 0.000 description 13
- 230000001678 irradiating effect Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005452 bending Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 244000172533 Viola sororia Species 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000008014 freezing Effects 0.000 description 3
- 238000007710 freezing Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 235000005811 Viola adunca Nutrition 0.000 description 2
- 240000009038 Viola odorata Species 0.000 description 2
- 235000013487 Viola odorata Nutrition 0.000 description 2
- 235000002254 Viola papilionacea Nutrition 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000295 emission spectrum Methods 0.000 description 2
- 230000000762 glandular Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种在防止漏看应观察的图像的同时，可以指定最适合于诊断的图像的医用图像处理系统、医用图像处理系统的工作方法。内窥镜系统(10)依次获取通过连续拍摄观察对象而生成的多个医用图像，通过对多个医用图像的每一个进行识别处理检测出关注区域，并且将多个医用图像依次输出并显示于监视器(18)，在对显示中的医用图像进行了指定操作的情况下，从显示中的医用图像和在显示中的医用图像前后的至少一方所拍摄到的医用图像中，选择关注区域的可视性最高的医用图像作为由指定操作进行指定的医用图像。
Description
技术领域
本发明涉及一种医用图像处理系统、医用图像处理系统的工作方法。
背景技术
在医疗领域中，使用内窥镜图像、超声波图像、X射线图像、CT(ComputedTomography：计算机断层成像)图像、MR(Magnetic Resonanse：磁共振)图像等医用图像进行患者的病情诊断、经过观察等图像诊断。根据这种图像诊断，医生等进行治疗方案的决定等。
例如，在下述专利文献1中记载有如下结构：在内窥镜装置中，将通过连续拍摄观察对象而生成的多个医用图像(内窥镜图像)依次输出并显示于监视器，用户(医生)获取在观察监视器的同时操作冻结开关而指定的内窥镜图像作为静止图像。
并且，在下述专利文献2中记载有如下结构：在内窥镜装置中，由学习器从内窥镜图像的每一个检测出病变部等应注意观察的异常区域(关注区域)，并且从包括共同病变部等的一系列内窥镜图像中，将关注区域的可视性最高的内窥镜图像设定为代表图像。
专利文献1：日本专利第4694255号公报
专利文献2：日本专利第6351323号公报
然而，在上述专利文献1中，存在医生指定的图像未必是最适合于诊断的图像的问题。即，由于监视器画面的更新(图像的拍摄)以每秒数十帧为单位进行，因此有时与医生操作了冻结开关时相比，数帧前(或后)的内窥镜图像是可视性更高且适合于诊断的图像。
并且，在上述专利文献2中，由于与医生的意向无关地机械地设定代表图像，因此医生仅观察代表图像，在代表图像前后存在应观察的图像的情况下，有可能导致漏看。
发明内容
本发明是鉴于上述背景而完成的，其目的在于提供一种在防止漏看应观察的图像的同时，可以指定最适合于诊断的图像的医用图像处理系统、医用图像处理系统的工作方法。
为了实现上述目的，本发明的医用图像处理系统，其具备存储程序命令的存储器和使程序命令执行的处理器，处理器进行如下处理：依次获取通过连续拍摄观察对象而生成的多个医用图像；通过对多个医用图像的每一个进行识别处理来检测关注区域，并且将多个医用图像依次输出到监视器来进行显示；及在对显示于监视器中的医用图像进行了指定医用图像的指定操作的情况下，从显示于监视器中的医用图像和在显示于监视器中的医用图像前后的至少一方所拍摄到的医用图像中，选择关注区域的可视性最高的医用图像作为通过指定操作进行指定的医用图像。
可以将对比度最高的医用图像判定为可视性最高。
可以通过识别处理检测包括病变部位的区域作为关注区域。
可以在识别处理中包括鉴别关注区域的鉴别处理。
可以从显示于监视器中的医用图像的摄像中选择从在规定期间内拍摄到的医用图像中指定的医用图像。
指定操作可以是停止监视器的画面更新而继续显示一张医用图像的冻结操作。
指定操作可以是将显示于监视器上的医用图像作为记录用图像而获取的捕获操作。
可以在识别处理中，使用Convolutional Neural Network(卷积神经网络)。
医用图像可以是从内窥镜得到的图像。
并且，为了实现上述目的，本发明的医用图像处理系统的工作方法，所述医用图像处理系统具备用于存储程序命令的存储器和用于执行程序命令的处理器，处理器进行如下处理：依次获取通过连续拍摄观察对象而生成的多个医用图像；通过对多个医用图像的每一个进行识别处理来检测关注区域，并且将多个医用图像依次输出到监视器来进行显示；及在对显示于监视器中的医用图像进行了指定医用图像的指定操作的情况下，从显示于监视器中的医用图像和在显示于监视器中的医用图像前后的至少一方所拍摄到的医用图像中，选择关注区域的可视性最高的医用图像作为通过指定操作进行指定的医用图像。
发明效果
根据本发明，能够提供一种在防止漏看应观察的图像的同时，可以指定最适合于诊断的图像的医用图像处理系统、医用图像处理系统的工作方法。
附图说明
图1是内窥镜系统的外观图。
图2是表示内窥镜系统的功能的框图。
图3是表示指定图像选择部的动作流程的流程图。
图4是表示指定图像选择处理的流程的流程图。
具体实施方式
在图1中，内窥镜系统10(医用图像处理系统)具有内窥镜12、光源装置14、处理器装置16、监视器18、UI(User InterFace：用户界面)19。内窥镜12与光源装置14光学连接，并且与处理器装置16电连接。
内窥镜12具有插入于观察对象体内的插入部12a、设置于插入部12a的基端部分的操作部12b、设置于插入部12a的前端侧的弯曲部12c及前端部12d。弯曲部12c通过操作操作部12b而进行弯曲动作。前端部12d通过弯曲部12c的弯曲动作而朝向所期望的方向。
并且，在操作部12b上设置有：指定开关12g，用于指定医用图像(本实施方式中为内窥镜图像)的指定操作；模式切换开关12h，用于观察模式的切换操作；及变焦操作部12i，用于变焦倍率的变更操作。在指定操作中有停止监视器18的画面更新以使一张(帧)医用图像继续显示的冻结操作、以及获取(在存储器件58a(参考图2)中保存)显示于监视器18上的医用图像作为记录用静止图像的捕获操作，例如对于显示于监视器18上的医用图像，通过长按指定开关12g进行冻结操作，通过短按压1次指定开关12g进行捕获操作。
另外，在本实施方式中，由一个操作部件(指定开关12g)进行冻结操作和捕获操作，但是也可以将冻结操作用操作部件和捕获操作用操作部件分开设置。并且，在本实施方式中，将冻结操作用操作部件和捕获操作用操作部件设置于操作部12b，但是也可以将这些设置于UI19。此外，在本实施方式中，对于将本发明适用于可以进行冻结操作和捕获操作两种操作的内窥镜系统的例子进行了说明，但是也可以将本发明适用于仅可以进行冻结操作和捕获操作中的一种操作的内窥镜系统。
光源装置14具备发出用于照亮观察对象的照明光的光源部20(参考图2)。来自光源部20的照明光由光导件25(参考图2)导光，以从前端部12d朝向观察对象照射。由来自光源部20的照明光照亮的观察对象由内置于前端部12d中的摄像传感器44(参考图2)拍摄。
处理器装置16与监视器18及UI19电连接。监视器18输出并显示观察对象的图像、观察对象的图像所附带的信息等。UI19具有键盘、鼠标、触控板、麦克风等，并且具有接受功能设定等输入操作的功能。另外，在处理器装置16上可以连接外置存储器(未图示)。
在图2中，光源装置14具备前述光源部20。光源部20连接于处理器装置16的光源控制部21，光源部20发出的照明光的发光光谱和发光时刻由光源控制部21控制。
在本实施方式中，光源部20发出发光光谱彼此不同的普通光和特殊光。普通光例如是白色光。白色光例如包括波长带为380～420nm的紫色光、波长带为420～500nm的蓝色光、波长带为480～600nm的绿色光、波长带为600～650nm的红色光。将普通光照射于观察对象而拍摄到的内窥镜图像(普通图像)显示于监视器18。
特殊光可以是一种类型，也可以是多种类型。作为特殊光，例如存在血液中血红蛋白的吸收系数高的紫色光(峰值波长为400nm～420nm)的发光量比普通光大的特殊光。将该特殊光照射于观察对象而拍摄到的内窥镜图像(特殊图像)用于生成显示出表层的血管结构或腺管结构的血管图像(活体信息图像)。
并且，作为特殊光，例如仅发出前述紫色光。与前述情况(使紫色光的发光量比普通光大的情况)相比，将该特殊光照射于观察对象而拍摄到的内窥镜图像(特殊图像)用于生成显示出更表层的血管结构或腺管结构的血管图像(活体信息图像)。
此外，作为特殊光，例如发出在氧化血红蛋白和还原血红蛋白的吸光系数上存在差异的蓝紫色光(峰值波长为470nm～480nm)。将该特殊光照射于观察对象而拍摄到的内窥镜图像(特殊图像)用于生成显示出血液中血红蛋白的氧饱和度的氧饱和度图像(活体信息图像)。
并且，作为特殊光，例如有前述紫色光及蓝紫光、红色光(峰值波长为62Onm～630nm)的发光量比普通光大的特殊光。将该特殊光照射于观察对象而拍摄到的内窥镜图像(特殊图像)用于生成使病变部与病变部以外的范围的色差扩展的色差扩展图像(活体信息图像)。另外，特殊光的类型及使用照射各种特殊光而拍摄到的内窥镜图像(特殊图像)生成的活体信息图像的类型并不限定于上述类型，而能够适当地变更。
来自光源部20的照明光经由由反射镜、透镜等构成的光路耦合部23入射于前述光导件25。光导件25内置于内窥镜12及通用塞绳(连接内窥镜12与光源装置14及处理器装置16的塞绳)中。光导件25将来自光路耦合部23的光传播至内窥镜12的前端部12d。
在内窥镜12的前端部12d设置有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜32，通过光导件25传播的照明光经由照明透镜32照射于观察对象。摄像光学系统30b具有物镜42、变焦透镜43、摄像传感器44。通过照射照明光，来自观察对象的光经由物镜42及变焦透镜43入射于摄像传感器44。由此，在摄像传感器44上成像观察对象的图像。变焦透镜43是用于放大观察对象的透镜，通过操作变焦操作部12i，在长焦端与广角端之间移动。
摄像传感器44是颜色传感器，在本实施方式中，使用具备具有B(蓝色)滤色器的B像素、具有G(绿色)滤色器的G像素、以及具有R(红色)滤色器的R像素这三种类型像素的原色系颜色传感器。作为这种摄像传感器44，能够使用CCD(Charge-Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)摄像传感器等。
摄像传感器44由处理器装置16的摄像传感器控制部45控制。摄像传感器控制部45以规定周期(例如每秒60次)进行拍摄(摄像传感器44的信号读取)。然后，伴随该拍摄，从摄像传感器44输出图像信号。例如，在以每秒60次的周期进行了拍摄的情况下，输出每秒60帧(张)分量的图像信号。
另外，代替设置有RGB原色滤色器的原色系摄像传感器44，也可以使用具有C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤色器的补色系摄像传感器。在使用补色系摄像传感器的情况下，输出CMYG四色图像信号。因此，通过补色-原色颜色转换，将CMYG四色图像信号转换为RGB三色图像信号，由此能够得到与摄像传感器38相同的RGB各种颜色图像信号。并且，代替摄像传感器38，也可以使用未设置有滤色器的单色传感器。
CDS/AGC(Correlated Double Sampling/Automatic Gain Control：相关双采样/自动增益控制)电路46对从摄像传感器44得到的模拟图像信号进行相关双采样(CDS)或自动增益控制(AGC)。经过CDS/AGC电路46的图像信号由A/D(Analog/Digital：模拟/数字)转换器48转换成数字图像信号。A/D转换后的数字图像信号输入到处理器装置16。
处理器装置16具备构成本发明的处理器的中央控制部68。中央控制部68是用于执行存储在存储器69中的程序命令的硬件资源，其驱动控制处理器装置16的各部以执行程序命令。通过伴随程序命令执行的中央控制部68的驱动控制，处理器装置16作为摄像控制部50、DSP(Digital Signal Processor：数字信号处理器)52、降噪部54、图像处理部58、显示控制部60发挥功能。
摄像控制部50中设置有前述光源控制部21及摄像传感器控制部45。摄像控制部50经由光源控制部21控制光源部20以照亮观察对象，并且经由摄像传感器控制部45控制摄像传感器44以拍摄观察对象(从摄像传感器44读取信号)。然后，通过该拍摄而获取从摄像传感器44输出的内窥镜图像。
摄像控制部50进行将普通光照射于观察对象进行拍摄的普通摄像，并获取普通图像。并且，摄像控制部50进行将特殊光照射于观察对象进行拍摄的特殊摄像，并获取特殊图像。对特殊光的每种类型进行特殊摄像。另外，在本实施方式中，普通图像及特殊图像之类的内窥镜图像是由从摄像传感器44的B像素、G像素、R像素输出的蓝色信号(B图像信号)、绿色信号(G图像信号)、红色信号(R图像信号)构成的彩色图像。
摄像控制部50获取的内窥镜图像发送到DSP52。DSP52对接收到的内窥镜图像进行缺陷校正处理、偏移处理、增益校正处理、矩阵处理、伽马转换处理、去马赛克处理及YC转换处理等各种信号处理。
在缺陷校正处理中，摄像传感器44的缺陷像素的信号被校正。在偏移处理中，从经实施缺陷校正处理的图像信号中除去暗电流成分，并设定正确的零电平。增益校正处理通过将偏移处理后的各种颜色的图像信号乘以特定的增益系数来调整内窥镜图像的信号电平。另外，内窥镜图像优选设为多种颜色的单色图像，该多种颜色的单色图像在将单色传感器用作摄像传感器44的情况下，每当发出特定颜色的光时，由单色传感器进行拍摄并从单色传感器输出。
增益校正处理后的各种颜色的图像信号被实施提高颜色再现性的矩阵处理。然后，通过伽马转换处理来调整内窥镜图像的明度或彩度。矩阵处理后的内窥镜图像被实施去马赛克处理(也称为各向同性处理，同步化处理)，并通过插值而生成各个像素的缺失颜色的信号。通过去马赛克处理，所有像素具有RGB各种颜色的信号。DSP52对去马赛克处理后的内窥镜图像实施YC转换处理，并将亮度信号Y、色差信号Cb及色差信号Cr输出到降噪部54。
降噪部54对由DSP52实施了去马赛克处理等的内窥镜图像，实施例如基于移动平均法、中值滤波法等的降噪处理。降低噪声的内窥镜图像输入到图像处理部58。在本实施方式中，作为内窥镜图像，照射普通光而拍摄到的内窥镜图像即普通图像和照射特殊光而拍摄到的内窥镜图像即特殊图像输入到图像处理部58。
图像处理部58具备存储器件58a，并将所输入的普通图像和特殊图像存储于存储器件58a。并且，图像处理部58具备活体信息图像生成部58b、识别处理部58c、指定图像选择部58d，由这些各部对普通图像和特殊图像实施各种处理。
活体信息图像生成部58b单独使用特殊图像、或者使用特殊图像和普通图像两者生成表示观察对象的活体信息的活体信息图像。活体信息图像是前述血管图像、氧饱和度图像、色差扩展图像等，是特殊图像或者通过对特殊图像及普通图像进行分析处理而生成的图像，并且是内窥镜图像的一种。
识别处理部58c对普通图像进行识别处理。识别处理中包括检测出病变部等关注区域的检测处理和鉴别病变部的类型或阶段(程度)的鉴别处理。并且，鉴别处理中包括对关注区域进行的处理和对进行识别处理的整个图像进行的处理。
在识别处理中，例如将内窥镜图像分割为多个小区域，并从分割的内窥镜图像算出图像特征量。然后，在检测处理中，根据所算出的特征量来判断各个小区域是否为病变部，提取被确定为相同类型的一块区域作为一个病变部，并检测出包括所提取的病变部的区域作为关注区域。并且，在鉴别处理中，关于所检测出的关注区域，根据关注区域内的特征量和关注区域的形式(位置、大小、形状等)判断病变部的类型和/或病变部的程度(阶段)。上述识别处理(检测处理、鉴别处理)中的判断优选通过卷积神经网络(ConvolutionalNeural Network)、深度学习(Deep Learning)等机械学习算法来进行。
另外，普通图像的识别处理可以使用普通图像单体来进行，除了普通图像，也可以使用特殊图像和/或活体信息图像来进行。并且，以对普通图像进行识别处理的例子进行了说明，但是也可以对特殊图像和/或活体信息图像进行识别处理。
图像处理部58在活体信息图像的生成及识别处理之后，将普通图像及活体信息图像和识别处理结果输入到显示控制部60。显示控制部60进行监视器18的显示控制，其使用所输入的普通图像及活体信息图像和识别处理结果来生成显示用画面，并显示于监视器18。另外，在显示画面中，活体信息图像重叠于普通图像上，或者并列显示于普通图像上。并且，识别处理结果例如以使表示关注区域的框重叠显示于普通图像上等方式显示。
如图3所示，指定图像选择部58d在对显示于监视器18上的普通图像(或者在普通图像上重叠了活体信息图像和/或识别处理结果的图像)进行了指定操作(指定开关12g的操作)的情况下进行工作。然后，指定图像选择部58d进行选择指定图像的指定图像选择处理。
如图4所示，在指定图像选择处理中，将进行了指定操作时在监视器18上显示中的普通图像和从该普通图像的拍摄起在规定期间(例如，指定操作的前后数秒)内拍摄到的数十帧分量的普通图像设为选择对象图像，与这些选择对象图像的关注区域相比，选择关注区域的可视性最高的图像作为指定图像。另外，在本实施方式中，对比度越高，则视为可视性也越高，通过图像分析而选择被判定为关注区域的对比度最高的图像作为指定图像。
返回到图3，指定图像选择部58d在通过指定图像选择处理选择了指定图像之后，在指定操作是冻结操作的情况下，在冻结操作持续的期间，将所选择的指定图像继续显示于监视器18。另一方面，在指定操作是捕获操作的情况下，指定图像选择部58d将所选择的指定图像作为静止图像存储于存储器件58a。
另外，在上述实施方式中，以对比度越高，则视为可视性越高的例子进行了说明，但是例如也可以进行边缘(轮廓)检测，边缘越多和/或越清楚地检测，则视为可视性越高。当然，也可以根据除了对比度、边缘以外的要素来判定可视性。并且，如根据对比度、边缘两种要素来判定可视性那样，也可以考虑多个要素来判定可视性。
并且，在上述实施方式中，以将从指定操作起在规定期间内拍摄到的图像设为选择指定图像时的选择对象的例子进行了说明，但是本发明并不限定于此。即使是从指定操作起在规定期间内拍摄到的图像，也存在对与进行了指定操作时显示于监视器18上的图像(以下，显示图像)不同的病变部等设定有关注区域的图像。如此，关于对与显示图像不同的病变部等设定有关注区域的图像，优选从指定图像的选择对象中进行排除。
具体而言，关注区域的位置(例如，关注区域的中心位置)与显示图像的关注区域分离规定距离以上的图像，优选从指定图像的选择对象中进行排除。并且，关注区域的数量(检测数量)与显示图像的关注区域不同的图像、和/或关注区域的面积与显示图像的关注区域规定大小以上不同的图像，优选从指定图像的选择对象中进行排除。此外，关注区域的鉴别结果与显示图像不同的图像，优选从指定图像的选择对象中进行排除。
并且，在从显示图像在规定期间内拍摄到的图像中包括未检测出关注区域的图像的情况下，也可以仅将从显示图像起在连续检测出关注区域的范围(期间)内拍摄到的图像设为指定图像的选择对象，将在除此以外的范围(期间)内拍摄到的图像从指定图像的选择对象中进行排除。此外，在从显示图像在规定期间内拍摄到的图像中包括关注区域的鉴别结果与显示图像不同的图像的情况下，也可以仅将从显示图像在连续检测出相同的鉴别结果的范围(期间)内拍摄到的图像设为指定图像的选择对象，将在除此以外的范围(期间)内拍摄到图像从指定图像的选择对象中进行排除。
另外，在上述实施方式中，以将本发明适用于内窥镜系统的例子(医用图像是内窥镜图像的例子)进行了说明，但是本发明并不限定于此。也可以将本发明适用于内窥镜系统以外的医疗系统(医用图像可以是内窥镜图像以外的图像)。作为内窥镜系统以外的医疗系统，可以举出使用超声波获取超声波图像的超声波检查系统、使用X射线获取X射线图像的X射线检查系统等。
在上述实施方式中，光源控制部21、摄像传感器控制部45、摄像控制部50、DSP52、降噪部54、图像处理部58、活体信息图像生成部58b、识别处理部58c、指定图像选择部58d、显示控制部60、中央控制部68等执行各种处理的处理部(processing unit：处理单元)的硬件结构是如下所示的各种处理器(processor)。各种处理器中包括：执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit：中央处理单元)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等制造之后可以变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同类型或不同类型的两个以上处理器的组合(例如多个FPGA或CPU和FPGA的组合)来构成。并且，可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第一，如以客户端、服务器等计算机为代表，由一个以上CPU和软件的组合来构成一个处理器，存在该处理器作为多个处理部发挥功能的方式。第二，如以片上系统(System On Chip：SoC)等为代表，存在使用由一个IC(Integrated Circuit：集成电路)芯片实现包括多个处理部的整个系统的功能的处理器的方式。如此，作为硬件结构，使用一个以上的上述各种处理器构成各种处理部。
而且，更具体而言，这些各种处理器的硬件结构为将半导体元件等电路元件组合的形式的电路(circuitry)。并且，存储部的硬件结构是HDD(hard disc drive：硬盘驱动器)、SSD(solid state drive：固态驱动器)等存储装置。
符号说明
10-内窥镜系统(医用图像处理系统)，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12g-指定开关，12h-模式切换开关，12i-变焦操作部，14-光源装置，16-处理器装置，18-监视器，19-UI，20-光源部，21-光源控制部，23-光路耦合部，25-光导件，30a-照明光学系统，30b-摄像光学系统，32-照明透镜，42-物镜，43-变焦透镜，44-摄像传感器，45-摄像传感器控制部，46-CDS/AGC电路，48-A/D转换器，50-摄像控制部，52-DSP，54-降噪部，58-图像处理部，58a-存储器件，58b-活体信息图像生成部，58c-识别处理部，58d-指定图像选择部，60-显示控制部，68-中央控制部(处理器)，69-存储器。
Claims (23)
1.一种医用图像处理系统，其具备存储程序命令的存储器和使所述程序命令执行的处理器，
所述处理器进行如下处理：
依次获取通过连续拍摄观察对象而生成的多个医用图像；
通过对所述多个医用图像的每一个进行识别处理来检测关注区域，并且将所述多个医用图像依次输出到监视器来进行显示；及
在对显示于所述监视器中的医用图像进行了指定医用图像的指定操作的情况下，从显示于所述监视器中的医用图像和在显示于所述监视器中的医用图像前后的至少一方所拍摄到的医用图像中，选择所述关注区域的可视性最高的医用图像作为通过所述指定操作进行指定的医用图像。
2.根据权利要求1所述的医用图像处理系统，其中，
将对比度最高的医用图像判定为可视性最高。
3.根据权利要求1所述的医用图像处理系统，其中，
通过所述识别处理检测包括病变部位的区域作为所述关注区域。
4.根据权利要求2所述的医用图像处理系统，其中，
通过所述识别处理检测包括病变部位的区域作为所述关注区域。
5.根据权利要求1所述的医用图像处理系统，其中，
在所述识别处理中包括鉴别所述关注区域的鉴别处理。
6.根据权利要求2所述的医用图像处理系统，其中，
在所述识别处理中包括鉴别所述关注区域的鉴别处理。
7.根据权利要求3所述的医用图像处理系统，其中，
在所述识别处理中包括鉴别所述关注区域的鉴别处理。
8.根据权利要求1至7中任一项所述的医用图像处理系统，其中，
从显示于所述监视器中的医用图像的摄像中选择从在规定期间内拍摄到的医用图像中指定的医用图像。
9.根据权利要求1至7中任一项所述的医用图像处理系统，其中，
所述指定操作是停止所述监视器的画面更新而继续显示一张医用图像的冻结操作。
10.根据权利要求8所述的医用图像处理系统，其中，
所述指定操作是停止所述监视器的画面更新而继续显示一张医用图像的冻结操作。
11.根据权利要求1至7中任一项所述的医用图像处理系统，其中，
所述指定操作是将显示于所述监视器上的医用图像作为记录用图像而获取的捕获操作。
12.根据权利要求8所述的医用图像处理系统，其中，
所述指定操作是将显示于所述监视器上的医用图像作为记录用图像而获取的捕获操作。
13.根据权利要求9所述的医用图像处理系统，其中，
所述指定操作是将显示于所述监视器上的医用图像作为记录用图像而获取的捕获操作。
14.根据权利要求1至7中任一项所述的医用图像处理系统，其中，
在所述识别处理中，使用卷积神经网络。
15.根据权利要求8所述的医用图像处理系统，其中，
在所述识别处理中，使用卷积神经网络。
16.根据权利要求9所述的医用图像处理系统，其中，
在所述识别处理中，使用卷积神经网络。
17.根据权利要求11所述的医用图像处理系统，其中，
在所述识别处理中，使用卷积神经网络。
18.根据权利要求1至7中任一项所述的医用图像处理系统，其中，
所述医用图像是从内窥镜得到的图像。
19.根据权利要求8所述的医用图像处理系统，其中，
所述医用图像是从内窥镜得到的图像。
20.根据权利要求9所述的医用图像处理系统，其中，
所述医用图像是从内窥镜得到的图像。
21.根据权利要求11所述的医用图像处理系统，其中，
所述医用图像是从内窥镜得到的图像。
22.根据权利要求14所述的医用图像处理系统，其中，
所述医用图像是从内窥镜得到的图像。
23.一种医用图像处理系统的工作方法，所述医用图像处理系统具备用于存储程序命令的存储器和用于执行所述程序命令的处理器，
所述处理器进行如下处理：
依次获取通过连续拍摄观察对象而生成的多个医用图像；
通过对所述多个医用图像的每一个进行识别处理来检测关注区域，并且将所述多个医用图像依次输出到监视器来进行显示；及
在对显示于所述监视器中的医用图像进行了指定医用图像的指定操作的情况下，从显示于所述监视器中的医用图像和在显示于所述监视器中的医用图像前后的至少一方所拍摄到的医用图像中，选择所述关注区域的可视性最高的医用图像作为通过所述指定操作进行指定的医用图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020203256A JP2022090759A (ja) | 2020-12-08 | 2020-12-08 | 医用画像処理システム、医用画像処理システムの作動方法 |
| JP2020-203256 | 2020-12-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114627045A true CN114627045A (zh) | 2022-06-14 |
Family
ID=81898338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111487591.6A Pending CN114627045A (zh) | 2020-12-08 | 2021-12-07 | 医用图像处理系统、医用图像处理系统的工作方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2022090759A (zh) |
| CN (1) | CN114627045A (zh) |
-
2020
- 2020-12-08 JP JP2020203256A patent/JP2022090759A/ja active Pending
-
2021
- 2021-12-07 CN CN202111487591.6A patent/CN114627045A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022090759A (ja) | 2022-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110325100B (zh) | 内窥镜系统及其操作方法 | |
| JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
| JP7135082B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム | |
| JP7531013B2 (ja) | 内視鏡システム及び医療画像処理システム | |
| JP7542585B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
| US12029384B2 (en) | Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus | |
| JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| CN111526773B (zh) | 内窥镜图像获取系统及方法 | |
| JP7289373B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム | |
| WO2020054543A1 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
| WO2019220801A1 (ja) | 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム | |
| EP4183311A1 (en) | Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device | |
| US20230029239A1 (en) | Medical image processing system and method for operating medical image processing system | |
| WO2022014258A1 (ja) | プロセッサ装置、プロセッサ装置の作動方法 | |
| CN115361898A (zh) | 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、以及医疗图像处理装置用程序 | |
| CN112752535A (zh) | 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法 | |
| WO2021095446A1 (ja) | 情報表示システムおよび情報表示方法 | |
| CN114627045A (zh) | 医用图像处理系统、医用图像处理系统的工作方法 | |
| JP2024112325A (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
| JP7447281B2 (ja) | プロセッサ装置、プロセッサ装置の作動方法 | |
| US11998165B2 (en) | Image processing device and method of operating same | |
| JP7411515B2 (ja) | 内視鏡システム及びその作動方法 | |
| US20230030057A1 (en) | Processor device and method of operating the same | |
| WO2022059233A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム | |
| WO2019202982A1 (ja) | 内視鏡装置、内視鏡操作方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |