CN103764009A - 荧光观察装置 - Google Patents
荧光观察装置 Download PDFInfo
- Publication number
- CN103764009A CN103764009A CN201280042932.1A CN201280042932A CN103764009A CN 103764009 A CN103764009 A CN 103764009A CN 201280042932 A CN201280042932 A CN 201280042932A CN 103764009 A CN103764009 A CN 103764009A
- Authority
- CN
- China
- Prior art keywords
- coefficient
- unit
- region
- input
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 claims abstract description 104
- 230000005284 excitation Effects 0.000 claims abstract description 38
- 238000005286 illumination Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 17
- 238000002073 fluorescence micrograph Methods 0.000 claims description 108
- 230000007423 decrease Effects 0.000 claims description 3
- 238000003702 image correction Methods 0.000 abstract description 8
- 238000012937 correction Methods 0.000 abstract description 5
- 230000003902 lesion Effects 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 13
- 238000003780 insertion Methods 0.000 description 11
- 230000037431 insertion Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000000799 fluorescence microscopy Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000011541 reaction mixture Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
降低校正误差,取得被摄体的定量信息。提供一种荧光观察装置(100),其具有:光源(10);荧光图像生成部(41),其取得被照射激发光的被摄体F的荧光图像(G1);白色光图像生成部(42),其取得被照射照明光的被摄体F的白色光图像(G2);通过这些图像(G1、G2)生成校正荧光图像(G3)的图像校正部(43);阈值设定部(45),其根据图像(G3)整体的灰度值的平均值及其第1系数、图像(G3)的灰度值的标准偏差及其第2系数来设定阈值;提取部(47),其将图像(G3)上的具有超过该阈值的灰度值的区域判定为关注区域并进行提取;将该关注区域与图像(G2)对应起来显示的监视器(50);以及使观察者输入提取部(47)的判定是否正确的输入部(53),阈值设定部(45)设定第1系数和第2系数中的至少一方,以反映由输入部(53)输入的输入结果。
Description
技术领域
本发明涉及荧光观察装置。
背景技术
以往,已知如下的荧光观察装置,其取得观察对象的反射光图像和荧光图像,通过用荧光图像除以反射光图像,来校正由观察距离和观察角度引起的荧光图像明亮度的变动(例如参照专利文献1、专利文献2和专利文献3)。
在先技术文献
专利文献
【专利文献1】日本特开昭62-247332号公报
【专利文献2】日本特公平3-58729号公报
【专利文献3】日本特开2006-175052号公报
发明内容
发明要解决的课题
然而,荧光和反射光在所拍摄的亮度下的对于观察距离的依赖性、对于观察角度的依赖性不同,因而,如以往那样仅通过用荧光图像除以反射光图像是无法完全校正观察距离和观察角度的影响的,会产生一定误差。而且,即便设定了用于区分癌部和正常部的阈值,若观察条件发生变化则该阈值会变得不再合适,可能引起无法显示癌部分或正常部显示得较为明亮的情况。
本发明的目的在于提供一种荧光观察装置,能够降低针对观察距离和观察角度的影响的校正误差,取得被摄体的定量信息。
用于解决课题的手段
本发明的一个方式是一种荧光观察装置,其具有:照明部,其向被摄体照射激发光和参照光;荧光图像取得部,其对由于来自该照明部的所述激发光的照射而在所述被摄体产生的荧光进行拍影,取得荧光图像;参照图像取得部,其对由于来自所述照明部的所述参照光的照射而从所述被摄体返回的返回光进行拍影,取得参照图像;校正荧光图像生成部,其使用由该参照图像取得部取得的所述参照图像,来校正由所述荧光图像取得部取得的所述荧光图像,生成校正荧光图像;阈值设定部,其根据由该校正荧光图像生成部生成的所述校正荧光图像整体的灰度值的平均值、该灰度值的标准偏差、与所述校正荧光图像整体的灰度值的平均值的加权有关的第1系数以及与所述灰度值的标准偏差的加权有关的第2系数,来设定灰度值阈值;提取部,其将所述校正荧光图像上的具有超过由该阈值设定部设定的所述灰度值阈值的灰度值的区域判定为关注区域并进行提取;显示部,其将由该提取部提取的所述关注区域与所述参照图像对应起来显示;以及对错输入部,其使观察者针对由所述提取部对该显示部中所显示的所述关注区域做出的所述判定是否正确进行输入,所述阈值设定部设定所述第1系数和所述第2系数中的至少一方,以反映由所述对错输入部输入的输入结果。
根据上述方式,当照明部发出的激发光照射在被摄体上时,荧光图像取得部取得在被摄体产生的荧光的荧光图像。当从照明部与激发光一起发出的参照光照射在被摄体上,通过参照图像取得部取得其返回光的参照图像。而且,在校正荧光图像生成部中,使用参照图像来校正对同一被摄体的荧光图像,从而能够生成减轻了依赖于观察距离和观察角度的荧光强度变化的校正荧光图像。
通过显示部将所生成的校正荧光图像内的、由提取部判定为关注区域并提取出的具有超过灰度值阈值的灰度值的区域与参照图像对应起来显示,从而观察者能够与荧光较强的区域对应地观察被摄体的形状。
在该状态下,在观察所显示的图像的观察者通过对错输入部输入关于提取部对关注区域的判定是否正确的输入后,通过阈值设定部设定为了反映该输入结果而设定的第1系数和第2系数中的至少一方。然后,根据校正荧光图像整体的灰度值的平均值与该灰度值的标准偏差、所设定的第1系数和第2系数中的至少一方,来设定新的灰度值阈值。由此,能够利用观察者的判定结果,按照每个校正荧光图像设定用于提取关注区域的灰度值阈值,能够取得降低了针对观察距离和观察角度的影响的校正误差的被摄体的定量信息。
在上述方式中,也可以是,所述校正荧光图像生成部将所述荧光图像除以所述参照图像。
通过这样构成,能够通过简单的运算处理生成定量性高的校正荧光图像。
在上述方式中,也可以是,当通过所述对错输入部输入为所述判定正确时,所述阈值设定部将所述第1系数或所述第2系数中的一方设为固定值,并维持或减小另一方。
在观察者输入了提取部对关注区域的判定正确的情况下,当关注区域的灰度值与灰度值阈值之差足够大时,该灰度值阈值是适当的。因此,这种情况下使第1系数和第2系数中的一方固定并维持另一方,即维持灰度值阈值,从而在下次关注区域的提取时也不会漏掉所需要的关注区域而将其提取出来的可能性较高。
另一方面,当关注区域的灰度值与灰度值阈值之差微小时,存在在此后的提取中应该将具有低于该灰度值阈值的灰度值的区域也作为关注区域而提取的可能性。因此,这种情况下,使第1系数和第2系数中的一方固定并减小另一方从而降低灰度值阈值,由此,在下次关注区域的提取时,能够将具有低于当前灰度值阈值的灰度值的区域也作为关注区域进行提取,防止漏掉所需要的关注区域。
在上述方式中,也可以是,当所述关注区域的灰度值超过比所述灰度值阈值高规定比例的上位灰度值阈值时,所述阈值设定部维持所述另一方,当所述关注区域的灰度值低于该上位灰度值阈值时,所述阈值设定部减小所述另一方。
通过这样构成,能够通过上位灰度值阈值区分在灰度值阈值的规定比例的范围内维持另一方系数还是减小另一方系数的情况。因此,通过适当选择灰度值阈值的规定比例,能够在防止漏掉需要观察的关注区域的同时,高效地提取关注区域。
在上述方式中,也可以是,当通过所述对错输入部输入为所述判定错误时,所述阈值设定部将所述第1系数和所述第2系数中的一方设为固定值,并增大另一方。
当观察者输入为提取部对关注区域的判定错误时,在此后的提取中应该将具有提取出该关注区域的灰度值阈值以下的灰度值的区域作为关注区域而提取的可能性较低。这种情况下,使第1系数和第2系数中的一方固定并增大另一方,从而提高灰度值阈值,由此,能够抑制错误地将无需观察的区域作为关注区域而提取出来的情况,能够高效地提取正确的关注区域。
在上述方式中,也可以是,所述阈值设定部通过下式计算所述灰度值阈值。
S0=a×m+b×σ
其中,
S0是灰度值阈值,
a是第1系数,
b是第2系数,
m是校正荧光图像整体的灰度值的平均值,
σ是校正荧光图像整体的灰度值的标准偏差。
在上述方式中,也可以是,所述提取部计算所述提取区域的灰度值的平均值,并且,所述阈值设定部根据所述提取区域的灰度值的平均值计算第3系数,该荧光观察装置具有存储部,当通过所述提取部提取出所述关注区域、并通过所述输入部输入了观察者对该关注区域的判定时,该存储部将该判定结果与所述第3系数对应起来进行存储,当通过所述对错输入部针对新的关注区域输入为所述判定正确时,所述阈值设定部将比与所输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的平均值低规定比例的下位系数、和当前的所述第1系数中较低的一方设为新的第1系数。
通过这样构成,能够通过不仅反映了最新的判定结果,还反映了过去的判定结果的第1系数来设定新的灰度值阈值。这种情况下,将比根据提取区域的灰度值的平均值计算出的过去的第3系数的平均值低规定比例的下位系数、和当前的第1系数中较低的一方设为新的第1系数,从而能够更高精度地提取出存在病变嫌疑的区域。
在上述方式中,也可以是,所述提取部计算所述提取区域的灰度值的平均值,并且,所述阈值设定部根据所述提取区域的灰度值的平均值计算第3系数,该荧光观察装置具有存储部,当通过所述提取部提取出所述关注区域、并通过所述输入部输入了观察者对该关注区域的判定时,该存储部将该判定结果与所述第3系数对应起来进行存储,当通过所述对错输入部针对新的关注区域输入为所述判定正确时,所述阈值设定部将比与所输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的平均值低规定比例的下位系数、和当前的所述第2系数中较低的一方设为新的第2系数。
通过这样构成,能够根据还反映了过去的判定结果的第2系数来设定新的灰度值阈值,能够更高精度地提取出存在病变嫌疑的区域
在上述方式中,也可以是,所述提取部计算所述提取区域的灰度值的平均值,并且,所述阈值设定部根据所述提取区域的灰度值的平均值计算第3系数,该荧光观察装置具有存储部,当通过所述提取部提取出所述关注区域、并通过所述输入部输入了观察者对该关注区域的判定时,该存储部将该判定结果与所述第3系数对应起来进行存储,当通过所述对错输入部针对新的关注区域输入为所述判定正确时,所述阈值设定部将下位系数和当前的第1系数中较低的一方设为新的第1系数,其中,该下位系数是由所述阈值设定部计算与所输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的标准偏差,并从存储于所述存储部中的过去的所述第3系数的平均值中减去计算出的所述第3系数的标准偏差后得到的。
通过这样构成,能够将被验者之间的偏差、同一被验者随时间经过出现的偏差、观察者的判定输入的偏差考虑在内来更新第1系数,能够更恰当地设定灰度值阈值。
在上述方式中,也可以是,所述提取部计算所述提取区域的灰度值的平均值,并且,所述阈值设定部根据所述提取区域的灰度值的平均值计算第3系数,该荧光观察装置具有存储部,当通过所述提取部提取出所述关注区域、并通过所述输入部输入了观察者对该关注区域的判定时,该存储部将该判定结果与所述第3系数对应起来进行存储,当通过所述对错输入部针对新的关注区域输入为所述判定正确时,所述阈值设定部将下位系数和当前的所述第2系数中较低的一方设为新的第2系数,其中,该下位系数是由所述阈值设定部计算与所输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的标准偏差,并从存储于所述存储部中的过去的所述第3系数的平均值中减去计算出的所述第3系数的标准偏差后得到的。
通过这样构成,能够将被验者之间的偏差、同一被验者随时间经过出现的偏差、观察者的判定输入的偏差考虑在内来更新第2系数。
在上述方式中,也可以是,当通过所述对错输入部输入为所述提取部的所述判定错误时,所述阈值设定部将与该输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的平均值设为新的第1系数。
通过这样构成,当提取部的判定错误时,根据由在过去被判定为错误时的第3系数的平均值所确定的第1系数来设定新的灰度值阈值。因此,能够防止徒劳地将无需观察的区域作为关注区域而进行提取,能够高效地提取关注区域。
在上述方式中,也可以是,当通过所述对错输入部输入为所述提取部的所述判定错误时,所述阈值设定部将与该输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的平均值设为新的第2系数。
通过这样构成,当提取部的判定错误时,根据由在过去被判定为错误时的第3系数的平均值所确定的第2系数来设定新的灰度值阈值,能够高效地提取关注区域。
在上述方式中,也可以是,所述阈值设定部通过下式计算所述第3系数。
a0=(m0-b×σ)/m
其中,
a0是第3系数,
m0是提取区域的灰度值的平均值,
b是第2系数,
σ是校正荧光图像整体的灰度值的标准偏差,
m是校正荧光图像整体的灰度值的平均值。
在上述方式中,也可以是,所述阈值设定部通过下式计算所述第3系数。
b0=(m0-a×m)/σ
其中,
b0是第3系数,
m0是提取区域的灰度值的平均值,
a是第1系数,
m是校正荧光图像整体的灰度值的平均值,
σ是校正荧光图像整体的灰度值的标准偏差。
在上述方式中,也可以是,所述显示部使所述关注区域和所述参照光图像重叠显示。
通过这样构成,观察者对于关注区域与参照光图像之间的对应关系能够一目了然,不仅能观察关注区域,还能观察到其周边。因此,观察者能够取得更为详细的信息,能够更准确地判定提取部的判定结果是否正确。
在上述方式中,也可以是,所述提取部将具有超过所述阈值的灰度值的区域中的、该区域的像素数超过像素数阈值的范围作为所述关注区域并进行提取。
通过这样构成,能够防止提取灰度值高但面积小的区域(噪声等)作为关注区域。由此,能够抑制由噪声导致的错误提取,能够高效地提取关注区域。
在上述方式中,也可以是,还具有将所述关注区域的灰度值和与过去的判定结果有关的信息对应起来进行保存的保存部,所述显示部按照每个所述关注区域从所述保存部中读出与该关注区域的灰度值对应的与过去的判定结果有关的信息并进行显示。
通过这样构成,在提取出关注区域时,将与过去的判定结果有关的信息显示于显示部中,因此观察者在判定提取部的判定结果是否正确时,能够参考所显示的过去的判定结果。其结果,观察者能够进行更准确的判定。
发明效果
本发明具备能够降低针对观察距离和观察角度的影响的校正误差,取得被摄体的定量信息的效果。
附图说明
图1是本发明第1实施方式的荧光观察装置的概要结构图。
图2是示出阈值的设定的流程图。
图3是示出标准偏差的系数的设定的流程图。
图4是示出图1的荧光观察装置的监视器中所显示的重叠图像以及提示提取部的提取的正确与否的选择的一例的图。
图5是示出本发明第1实施方式的变形例的荧光观察装置的标准偏差的系数设定的流程图。
图6是本发明第2实施方式的荧光观察装置的概要结构图。
图7是说明在图6的荧光观察装置的保存部中存储的数据的图。
图8是示出由本发明第2实施方式的荧光观察装置设定的系数的变化的图。
具体实施方式
【第1实施方式】
下面参照附图说明本发明第1实施方式的荧光观察装置。
如图1所示,本实施方式的荧光观察装置100具有插入到体内的细长的插入部2、发出激发光和照明光的光源(照明部)10、从插入部2的前端2a向被摄体F照射来自光源10的激发光和照明光的照明单元(照明部)20、配置于插入部2的前端部并取得作为被摄体F的活体组织的图像信息的摄像单元30、对由摄像单元30取得的图像信息进行处理的图像处理部40、显示由图像处理部40处理后的图像等的监视器(显示部)50、以及由观察者进行输入的输入部(对错输入部)53。
光源10具有发出照明光的氙气灯11、从氙气灯11发出的光中截取出激发光和白色光(参照光)的激发光滤光器13、会聚由激发光滤光器13截取的激发光和白色光的耦合透镜15。激发光滤光器13例如截取波段为400~740nm的激发光和白色光。
照明单元20具有在插入部2的长度方向的几乎整个范围内配置的光导纤维21、以及在插入部2的前端2a配置的照明光学系统23。
光导纤维21将由耦合透镜15会聚的激发光和白色光引导至插入部2的前端2a。
照明光学系统23使由光导纤维21引导的激发光和白色光扩散,照射到被摄体F。
摄像单元30具有使从被照明单元20照射激发光和白色光的被摄体F返回的返回光会聚的物镜31、以及使由物镜31会聚的返回光按照波长分支的分色镜33。
物镜31与照明光学系统23并排配置于插入部2的前端2a。
分色镜33反射返回光中的波长为激发波长以上的光(激发光和荧光),使波长比激发波长短的白色光(返回光)透射。
该摄像单元30具有遮断由分色镜33反射的激发光和荧光中的激发光而仅使荧光(例如近红外荧光)透射的激发光截止滤光器35、使透射过激发光截止滤光器35的荧光会聚的聚光透镜37A、对由聚光透镜37A会聚的荧光进行拍摄的荧光拍摄部38、使透射过分色镜33的白色光会聚的聚光透镜37B、以及对由聚光透镜37B会聚的白色光进行拍摄的白色光拍摄部39。
激发光截止滤光器35例如仅使波段为760~850nm的荧光透射。
荧光拍摄部38例如为荧光用的高感光度黑白CCD。该荧光拍摄部38通过对荧光进行拍摄来取得荧光图像信息。
白色光拍摄部39例如是白色光用的彩色CCD,具备马赛克滤光器(省略图示)。该白色光拍摄部39通过对白色光进行拍摄来取得白色光图像信息。
图像处理部40具有:荧光图像生成部(荧光图像取得部)41,其根据由荧光拍摄部38取得的荧光图像信息生成荧光图像G1;白色光图像生成部(参照图像取得部)42,其根据由白色光拍摄部39取得的白色光图像信息生成白色光图像G2;图像校正部(校正荧光图像生成部)43,其利用白色光图像G2来校正荧光图像G1,生成校正荧光图像G3;阈值设定部45,其设定校正荧光图像G3的灰度值的阈值(灰度值阈值)S0;提取部47,其从校正荧光图像G3中提取具有由阈值设定部45设定的阈值S0以上的灰度值的区域作为关注区域;以及图像合成部49,其生成将白色光图像G2与由提取部47提取的关注区域重叠得到的重叠图像G4。
图像校正部43将同一被摄体F的荧光图像G1除以白色光图像G2,从而校正荧光图像G1。由此,能够生成减轻了荧光图像G1的依赖于观察距离和观察角度等的荧光强度变化的校正荧光图像G3。图像校正部43将所生成的校正荧光图像G3发送给提取部47和阈值设定部45,并且通过提取部47将白色光图像G2和校正荧光图像G3发送给图像合成部49。
提取部47测定所提取的区域的面积(像素数)P,在面积P为一定大小以上的情况下、即面积P大于预先设定的像素数阈值P0的情况下,将该区域判定为关注区域。关于具有阈值S0以上的灰度值且其像素数超过像素数阈值P0的关注区域的提取,既可以从最初通过灰度值提取出的区域中提取像素数多的区域,也可以从最初通过像素数提取的区域中提取灰度值高的区域。
提取部47将提取出的关注区域的信息发送给阈值设定部45和图像合成部49。提取部47计算出提取的关注区域内的各像素的灰度值的平均值(以下称之为“关注区域的平均灰度值”)m0,并将其输入到阈值设定部45。
图像合成部49将由图像校正部43生成的校正荧光图像G3内去除了由提取部47提取出的关注区域以外的背景后的图像与白色光图像G2重叠,从而生成重叠图像G4。图像合成部49将所生成的重叠图像G4发送给监视器50。
监视器50显示由图像合成部49生成的重叠图像G4。监视器50显示提示医师等观察者输入所显示的重叠图像G4内的由提取部47提取的关注区域作为存在病变嫌疑的区域是否正确的判定的选择。作为提示输入的选择的显示,例如可举出“关注区域存在病变嫌疑(Y/N)?”等。
观察者目视确认在监视器7中显示的重叠图像G4,根据在校正荧光图像G3中显示的观察部位的形状和颜色等形态特征或关注区域的大小和明亮度等,判定关注区域是否为存在病变嫌疑的区域,并通过输入部53输入判定结果。
输入部53例如为键盘或鼠标等任意的输入装置。
将通过输入部53输入的观察者的判定结果输入到阈值设定部45。
阈值设定部45通过下式(1)、(2)来计算校正荧光图像G3中的各像素的灰度值的平均值(校正荧光图像G3整体的灰度值的平均。以下称为“校正荧光图像G3整体的平均灰度值”)m、校正荧光图像G3中的各像素的灰度值的标准偏差(校正荧光图像G3整体的灰度值的标准偏差。以下称为“校正荧光图像G3整体的标准偏差”)σ。
【式1】
在式(1)中,
m1是显示背景的像素的灰度值的平均值,
m2是显示病变部的像素的灰度值的平均值,
n1是显示背景的像素的总像素数,
n2是显示病变部的像素的总像素数。
【式2】
在式(2)中,
(x2)是校正荧光图像G3整体的灰度值的乘方的平均值,
(x1 2)是背景的灰度值的乘方的平均值,
(x2 2)是病变部的灰度值的乘方的平均值,
σ1是显示背景的像素的灰度值的标准偏差,
σ2是显示病变部的像素的灰度值的标准偏差。
阈值设定部45如下式(3)所示,根据校正荧光图像G3整体的平均灰度值m与标准偏差σ之和,设定阈值S0。
S0=a×m+b×σ…(3)
在式(3)中,
a是系数(第1系数),
b是系数(第2系数)。
阈值设定部45设定系数(第1系数)a和系数(第2系数)b以反映输入部53输入的输入结果,设定为新的阈值S0。
具体而言,在观察者判定为“关注区域存在病变嫌疑(Y)”、即判定为“用于由提取部47提取关注区域的阈值正确”的情况下(以下称为“Y判定”),阈值设定部45判定从提取部47输入的关注区域的平均灰度值m0是否低于比阈值S0高规定比例的上位阈值(上位灰度值阈值)。
然后,当关注区域的平均灰度值m0低于上位阈值时,阈值设定部45减小系数a、b的值,当关注区域的平均灰度值m0超过上位阈值时,维持系数a、b的值。
以下,在本实施方式中,固定为系数a=1,并随时更新系数b。
例如,设上位阈值为1.1×S0。
当m0<1.1×S0时,将系数b更新为0.9×b。
在m0≥1.1×S0时,维持系数b的值。
另一方面,在观察者判定为“关注区域不存在病变嫌疑(N)”、即判定为“用于由提取部23提取关注区域的阈值S0错误”的情况下(以下称为“N判定”),阈值设定部45增大系数b的值。
例如,将系数b更新为1.1×b。
将由阈值设定部45设定的阈值S0输入到提取部47,作为新的阈值S0在提取部47中进行设定。由此,当生成了新的校正荧光图像G3时,通过新的阈值S0提取关注区域。重复同样的步骤,通过阈值设定部45对每个校正荧光图像G3设定阈值S0。
对这样构成的本实施方式的荧光观察装置100的作用进行说明。
为了使用本实施方式的荧光观察装置100来观察作为被摄体F的患者体内的活体组织,将插入部2插入到患者体内,使插入部2的前端2a与被摄体F相对。然后使光源10动作,产生激发光和照明光,使其通过耦合透镜15射入光导纤维21。被光导纤维21引导而到达插入部2的前端2a的激发光和照明光通过照明光学系统23扩散,照射到被摄体F。
在被摄体F中,内部包含的荧光物质被激发光激发而发出荧光,并且在被摄体F的表面反射激发光的一部分和白色光。这些荧光、白色光和激发光从被摄体F返回插入部2的前端2a,其一部分被物镜31会聚。
通过分色镜33按照波长将被物镜31会聚的荧光、白色光和激发光分支。即,分色镜33反射波长为激发波长以上的光即激发光和荧光,并使波长比激发波长短的白色光透射。
通过激发光截止滤波器35去除被分色镜33反射的激发光和荧光中的激发光,仅荧光被聚光透镜37A会聚并被荧光拍摄部38拍摄。由此,在荧光拍摄部38中取得被摄体F的荧光图像信息。
透射过分色镜33的白色光被聚光透镜37B会聚并被白色光拍摄部39拍摄。由此,在白色光拍摄部39中取得被摄体F的白色光图像信息。
既可以先取得荧光图像信息和白色光图像信息之一,也可以同时取得两者。
分别将由荧光拍摄部38取得的荧光图像信息和由白色光拍摄部39取得的白色光图像信息发送给图像处理部40。在图像处理部40中,将荧光图像信息输入到荧光图像生成部41并生成荧光图像G1,将白色光图像信息输入到白色光图像生成部42并生成白色光图像G2。
将由光图像生成部41生成的荧光图像G1和由白色光图像生成部42生成的白色光图像G2发送给图像校正部43,将荧光图像G1除以白色光图像G2,从而生成校正荧光图像G3。将所生成的校正荧光图像G3从图像校正部43发送给提取部47和阈值设定部45。将白色光图像G2和校正荧光图像G3从图像校正部43经由提取部47发送给图像合成部49。
下面参照图2所示的流程图说明阈值设定部45的阈值设定。
阈值设定部45在取得从图像校正部43发送来的校正荧光图像G3(步骤SA1)后,计算校正荧光图像G3整体的平均灰度值m和标准偏差σ(步骤SA2)。
然后,通过阈值设定部45使用计算出的校正荧光图像G3整体的平均灰度值m和标准偏差σ,根据式(3)计算并设定阈值S0(步骤SA3)。将所设定的阈值S0输入到提取部47。
在本实施方式中,将上述式(3)的系数a预先设定为a=1。设为第1张校正荧光图像G3的式(3)的系数b为b=1,第2张及以后的校正荧光图像G3的式(3)的系数b如图3的流程图所示随时更新。
首先,通过提取部47提取出校正荧光图像G3中具备最初的阈值S0以上的灰度值的区域(步骤SB1)。
通过提取部47测定所提取出的区域的面积(像素数)P(步骤SB2),判定面积P是否大于阈值P0(步骤SB3)。
当面积P小于阈值P0时(步骤SB3“否”),返回步骤SB1。由此,能够防止提取灰度值高但面积小的区域(噪声等)作为关注区域。因此,能够抑制由噪声导致的错误提取,能够高效地提取关注区域。
另一方面,当面积P比阈值P0大时(步骤SB3“是”),通过提取部47将所提取出的区域判定为关注区域,将关注区域的信息发送给阈值设定部45和图像合成部49。通过提取部47计算关注区域的平均灰度值m0,并将其发送给阈值设定部45(步骤SB4)。
接着,通过图像合成部49将从校正荧光图像G3内去除关注区域以外的背景后的图像与白色光图像G2重叠(步骤SB5),生成重叠图像G4。然后,将重叠图像G4发送给监视器50,如图4所示,在监视器50中同时显示重叠图像G4和提示观察者的输入的选择。
通过由监视器50重叠显示关注区域和白色光图像G2,观察者能够对关注区域与白色光图像G2之间的对应关系一目了然,不仅能观察关注区域,还能观察其周边区域。因此,观察者能够获得更详细的信息,能够更准确地判定提取部47的判定结果正确与否。
观察者在对显示于监视器50的重叠图像G4进行观察的同时,判定所显示的关注区域是否存在病变嫌疑,将判定结果输入到输入部53(步骤SB6)。即,通过观察者的输入来确认由提取部47提取出的关注区域的判定是否正确。然后,将通过输入部53输入的判定结果输入到阈值设定部45。
在通过输入部53输入了观察者的判定结果后,阈值设定部45更新系数b以反映该输入结果。
具体而言,在由输入部53输入的判定为Y判定的情况下(步骤SB7“是”),通过阈值设定部45,使用关注区域的平均灰度值m0和比当前阈值S0高规定比例的上位阈值(1.1×S0),判定是否满足m0<1.1×S0(步骤SB8)。
当满足m0<1.1×S0时,在阈值设定部45中将系数b更新为0.9×b(步骤SB9),设定为新的系数b(步骤SB11)。
当关注区域的平均灰度值m0与阈值S0之差微小时,存在在此后的提取中应该将具有低于该阈值S0的灰度值的区域也作为关注区域而提取的可能性。因此,当满足m0<1.1×S0时减小系数b而降低阈值S0,从而在下次的关注区域的提取时,能够还提取具有低于当前阈值S0的灰度值的区域作为关注区域,防止漏掉所需要的关注区域。
即,由于在以更新前的较高的阈值S0提取出的关注区域中存在病变嫌疑,因而通过降低阈值S0,提取部47在下次提取时能够提取出更低灰度值的存在病变嫌疑的区域,能够防止漏看而提升诊断的精度。
在m0≥1.1×S0时,阈值设定部45原样维持系数b的值(步骤SB11)。
在关注区域的平均灰度值m0与阈值S0之差足够大时,该阈值S0适当,在下次的关注区域的提取时也不会漏掉所需要的关注区域而将其提取出来的可能性高。
这样,通过设定上位阈值(在本实施方式中为1.1×S0),能够区分在阈值S0的规定比例(本实施方式中为0.1)的范围内维持系数b还是减小系数b的情况。因此,通过适当选择设定上位阈值的阈值S0的规定比例,从而能够在防止漏掉需要观察的关注区域的同时,高效地提取关注区域。
另一方面,在由输入部53输入的判定为N判定的情况下(步骤SB7“否”),将系数b更新为1.1×b(步骤SB10),设定为新的系数b(步骤SB11)。
在此后的提取中还应该将具有提取出关注区域的阈值S0以下的灰度值的区域作为关注区域提取出来的可能性低。即,由于以更新前的较低阈值S0提取出的区域不存在病变嫌疑,因而通过提高阈值S0,提取部23能够在下次提取时省去将不存在病变嫌疑的区域误作为关注区域而进行提取的徒劳的工作,能够高效地进行诊断。
如上所述,根据本实施方式的荧光观察装置100,利用观察者的判定结果,按照每个校正荧光图像G3更新用于确定用于提取关注区域的阈值S0的标准偏差σ的系数b,按照每个校正荧光图像G3设定阈值S0。由此,能够取得降低了针对观察距离和观察角度的影响的校正误差的被摄体的定量信息。
这里,通过下式(4)计算关注区域的平均灰度值m0。
m0=a×m+b0×σ…(4)
在式(4)中,
b0是系数(第3系数)。
根据式(4),使用下式(5)计算系数b0。
b0=(m0-a×m)/σ…(5)
于是,在本实施方式中,在由输入部53输入的判定结果为Y判定的情况下,当满足m0<1.1×S0时将系数b更新为0.9×b,但是,取而代之,当满足m0<1.1×S0时也可以使用下式(6)更新系数b。即,如图5所示流程图的步骤SC8那样,可以对0.9×b0与b进行比较,将较小一方的值设定为新的系数。
MIN(0.9×b0,b)…(6)
在本实施方式中举例示出系数a=1来进行了说明,但只要根据观察状况变更系数a的值即可。在本实施方式中,使系数a的值固定而更新系数b的值,然而也可以通过同样的方法,更新系数a的值而使系数b的值固定,还可以更新系数a的值和系数b的值双方。在本实施方式中,根据校正荧光图像G3整体的平均灰度值m与标准偏差σ之和来设定阈值S0,然而也可以使用校正荧光图像G3整体的平均灰度值m与标准偏差σ中的任意一方来设定阈值S0。
【第2实施方式】
下面说明本发明第2实施方式的荧光观察装置。
如图6所示,本实施方式的荧光观察装置20与第1实施方式的不同之处在于,图像处理部40具有存储部55,按照过去的系数a、b的平均值和当时的判定输入结果来设定阈值S0。
以下对与第1实施方式的荧光观察装置100具有相同结构的部位赋予相同标号并省略说明。
下面,在本实施方式中,固定为系数a=1,并随时更新系数b。
当提取部47提取出关注区域、并通过输入部53输入了观察者对该关注区域的判定时,存储部55将关注区域的平均灰度值m0、阈值S0、校正荧光图像G3的平均灰度值m和标准偏差σ、系数a、b以及系数b0设为一组,并将其与该判定结果对应起来进行存储。例如,这些值作为图7所示的数据存储于存储部55中。
当输入了观察者对新的关注区域做出的判定时,阈值设定部45读出与该输入的判定结果对应地存储在存储部55中的全部过去的系数b0,并如下更新系数b。
例如,在观察者输入了Y判定的情况下,阈值设定部45计算从存储部55中读出的过去的全部Y判定时的系数b0的平均值AVE_Y(b0),针对平均值AVE_Y(b0),使用式(7)来更新系数b。
具体而言,阈值设定部45对作为比计算出的系数b0的平均值AVE_Y(b0)低规定比例的下位系数的0.9×AVE_Y(b0)的值和当前的系数b的值进行比较,将较小的一方的值设定为新的系数b。
MIN(0.9×AVE_Y(b0),b)...(7)
在式(7)中,
AVE_Y(b0)是过去的Y判定时的系数b0的平均值。
另一方面,在观察者输入了N判定的情况下,阈值设定部45计算从存储部55读出的过去的全部N判定时的系数b0的平均值AVE_N(b0),将平均值AVE_N(b0)的值设定为新的系数b。
由此,阈值S0如图8所示发生变化。
根据本实施方式的荧光观察装置200,能够利用不仅反映最新的判定结果,还反映了过去的判定结果的系数b来设定新的阈值S0。这种情况下,将比存储于存储部55中的过去的系数b0的平均值AVE_Y(b0)低规定比例的下位系数0.9×AVE_Y(b0)的值、和当前的系数b的值中较低的一方设为新的系数b,由此能够更高精度地提取存在病变嫌疑的区域。
当提取部47的判定为错误时,利用过去判定为错误时的系数b0的平均值AVE_N(b0)来设定新的阈值S0,从而能够防止徒劳地提取无需观察的区域作为关注区域,能够高效地提取关注区域。
本实施方式可如下进行变形。
例如,作为第1变形例,可以由阈值设定部45计算与所输入的判定结果对应地存储于存储部55中的过去的全部Y判定时的系数b0的标准偏差SD(b0)。然后,可以是,从过去的全部Y判定时的系数b0的平均值AVE_Y(b0)中减去计算出的过去的系数b0的标准偏差SD(b0),将作为该相减后的下位系数的AVE_Y(b0)-SD(b0)的值、和当前系数b的值中较低的一方设为新的系数b。
由此,能够将被验者之间的偏差、同一被验者随时间经过出现的偏差、观察者的判定输入的偏差考虑在内来更新系数b,能够更恰当地设定阈值S0。
例如,在重视灵敏度(不会漏掉病变)的情况下,可以将Y判定时的新阈值S0设定为MIN(AVE_Y(b0)-3×SD(b0),b)。在重视特异度(不会提取病变以外的部分)的情况下,可以将Y判定时的新阈值S0设定为MIN(AVE_Y(b0)-1×SD(b0),b)。
这样,通过任意变更SD(b0)的系数(本变形例中为系数3、系数1。),具有能够设定对应于检查目的的适当的阈值S0的优点。
作为第2变形例,图像处理部40可以具有收取由提取部47计算出的关注区域的平均灰度值m0和与由输入部8输入的过去的判定结果有关的信息,并将它们对应起来进行保存的保存部(未图示)。也可以由监视器50按照每个关注区域从保存部中读出对应于该平均灰度值m0的与过去的判定结果有关的信息并进行显示。
由此,观察者在判定提取部的判定结果正确与否时,能够参考监视器50显示的过去的判定结果。其结果,观察者能够进行更准确的判定。
在上述实施方式中,举例示出系数a=1而进行了说明,但是只要根据观察状况变更系数a的值即可。这种情况下,作为第3系数,只要代替系数b0而根据式(8)计算系数a0并变更系数a的值即可。
a0=(m0-b×σ)/m…(8)
在式(8)中,
a0是系数(第3系数)。
在上述实施方式中,使系数a的值固定而更新系数b的值,然而也可以通过同样的方法更新系数a的值而使系数b的值固定,还可以更新系数a的值和系数b的值双方。也可以计算过去的全部Y判定时的系数a0的标准偏差SD(a0),将作为下位系数的AVE_Y(a0)-SD(a0)的值和当前的系数a的值中较低的一方设为新的系数a。也可以使用校正荧光图像G3整体的平均灰度值m和标准偏差σ中的任意一方来设定阈值S0。
以上参照附图详细说明了本发明的实施方式,然而具体的结构不限于以上实施方式,还包含不脱离本发明主旨的范围内的设计变更。例如,不限于将本发明应用于上述各实施方式和变形例中,也可以将本发明应用于适当组合这些实施方式和变形例而得到的实施方式,不应做特别限定。
在上述各实施方式中,通过图像合成部49将校正荧光图像G3的关注区域与白色光图像G2重叠而显示于监视器50,然而也可以将校正荧光图像G3与白色光图像G2并列显示于监视器50。此时,也可以对关注区域进行轮廓显示等,使其显示于校正荧光图像G3上。由此,相比仅显示根据阈值S0切取的关注区域的情况,能够向观察者提供更详细的信息,能使观察者更准确地进行判定。
在上述各实施方式中,也可以由提取部47分别提取在不同的2个以上的阈值以上的区域,并以不同的显示方法将它们显示于监视器50。例如,提取部47可以提取关注区域的平均灰度值m0超过阈值S0的区域和例如超过阈值S0的80%的值的区域。
在上述各实施方式中,在提取部47中计算关注区域的平均灰度值m0,但是也可以求出其它值。例如,既可以使用关注区域内灰度值最低的最低灰度值,也可以求出关注区域内灰度值最高的最高灰度值。
在同一画面上存在多个由提取部47提取出的关注区域的情况下,也可以在图像合成部49中生成仅使要进行判定的关注区域的显示与其他关注区域不同的重叠图像G4,以使观察者明确要对哪个关注区域输入对错判定。为了与其他关注区域进行区分,例如也可以生成仅使要进行判定的关注区域的显示闪烁而使其他关注区域点亮的重叠图像G4。
这种情况下,也可以对多个关注区域确定其判定顺序,按照所确定的顺序仅使要进行判定的关注区域的显示闪烁。关于已被输入了判定的关注区域,为了防止重复的判定输入,也可以进行能够知道已完成判定的显示、例如通过改变颜色等进行显示。
标号说明
10:光源(照明部);20:照明单元(照明部);41:荧光图像生成部(荧光图像取得部);42:白色光图像生成部(参照图像取得部);43:图像校正部(校正荧光图像生成部);45:阈值设定部;47:提取部;50:监视器(显示部);53:输入部(对错输入部);55:存储部;100、200:荧光观察装置;a:系数(第1系数);b:系数(第1系数);b0:系数(第3系数);m0:提取区域的灰度值的平均值;S0:阈值(灰度值阈值)。
Claims (17)
1.一种荧光观察装置,其具有:
照明部,其向被摄体照射激发光和参照光;
荧光图像取得部,其对由于来自该照明部的所述激发光的照射而在所述被摄体产生的荧光进行拍摄,取得荧光图像;
参照图像取得部,其对由于来自所述照明部的所述参照光的照射而从所述被摄体返回的返回光进行拍摄,取得参照图像;
校正荧光图像生成部,其使用由该参照图像取得部取得的所述参照图像,来校正由所述荧光图像取得部取得的所述荧光图像,生成校正荧光图像;
阈值设定部,其根据由该校正荧光图像生成部生成的所述校正荧光图像整体的灰度值的平均值、该灰度值的标准偏差、与所述校正荧光图像整体的灰度值的平均值的加权有关的第1系数以及与所述灰度值的标准偏差的加权有关的第2系数,来设定灰度值阈值;
提取部,其将所述校正荧光图像上的具有超过由该阈值设定部设定的所述灰度值阈值的灰度值的区域判定为关注区域并进行提取;
显示部,其将由该提取部提取的所述关注区域与所述参照图像对应起来显示;以及
对错输入部,其使观察者针对由所述提取部对该显示部中所显示的所述关注区域做出的所述判定是否正确进行输入,
所述阈值设定部设定所述第1系数和所述第2系数中的至少一方,以反映由所述对错输入部输入的输入结果。
2.根据权利要求1所述的荧光观察装置,其中,
所述校正荧光图像生成部将所述荧光图像除以所述参照图像。
3.根据权利要求1或2所述的荧光观察装置,其中,
当通过所述对错输入部输入为所述判定正确时,所述阈值设定部将所述第1系数或所述第2系数中的一方设为固定值,并维持或减小另一方。
4.根据权利要求3所述的荧光观察装置,其中,
当所述关注区域的灰度值超过比所述灰度值阈值高规定比例的上位灰度值阈值时,所述阈值设定部维持所述另一方,当所述关注区域的灰度值低于该上位灰度值阈值时,所述阈值设定部减小所述另一方。
5.根据权利要求1至4中的任意一项所述的荧光观察装置,其中,
当通过所述对错输入部输入为所述判定错误时,所述阈值设定部将所述第1系数和所述第2系数中的一方设为固定值,并增大另一方。
6.根据权利要求1至5中的任意一项所述的荧光观察装置,其中,
所述阈值设定部通过下式计算所述灰度值阈值,
S0=a×m+b×σ
其中,S0是灰度值阈值,a是第1系数,b是第2系数,m是校正荧光图像整体的灰度值的平均值,σ是校正荧光图像整体的灰度值的标准偏差。
7.根据权利要求1至6中的任意一项所述的荧光观察装置,其中,
所述提取部计算所述提取区域的灰度值的平均值,并且,所述阈值设定部根据所述提取区域的灰度值的平均值计算第3系数,
该荧光观察装置具有存储部,当通过所述提取部提取出所述关注区域、并通过所述输入部输入了观察者对该关注区域的判定时,该存储部将该判定结果与所述第3系数对应起来进行存储,
当通过所述对错输入部针对新的关注区域输入为所述判定正确时,所述阈值设定部将比与所输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的平均值低规定比例的下位系数、和当前的所述第1系数中较低的一方设为新的第1系数。
8.根据权利要求1至6中的任意一项所述的荧光观察装置,其中,
所述提取部计算所述提取区域的灰度值的平均值,并且,所述阈值设定部根据所述提取区域的灰度值的平均值计算第3系数,
该荧光观察装置具有存储部,当通过所述提取部提取出所述关注区域、并通过所述输入部输入了观察者对该关注区域的判定时,该存储部将该判定结果与所述第3系数对应起来进行存储,
当通过所述对错输入部针对新的关注区域输入为所述判定正确时,所述阈值设定部将比与所输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的平均值低规定比例的下位系数、和当前的所述第2系数中较低的一方设为新的第2系数。
9.根据权利要求1至6中的任意一项所述的荧光观察装置,其中,
所述提取部计算所述提取区域的灰度值的平均值,并且,所述阈值设定部根据所述提取区域的灰度值的平均值计算第3系数,
该荧光观察装置具有存储部,当通过所述提取部提取出所述关注区域、并通过所述输入部输入了观察者对该关注区域的判定时,该存储部将该判定结果与所述第3系数对应起来进行存储,
当通过所述对错输入部针对新的关注区域输入为所述判定正确时,所述阈值设定部将下位系数和当前的第1系数中较低的一方设为新的第1系数,其中,该下位系数是由所述阈值设定部计算与所输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的标准偏差,并从存储于所述存储部中的过去的所述第3系数的平均值中减去计算出的所述第3系数的标准偏差后得到的。
10.根据权利要求1至6中的任意一项所述的荧光观察装置,其中,
所述提取部计算所述提取区域的灰度值的平均值,并且,所述阈值设定部根据所述提取区域的灰度值的平均值计算第3系数,
该荧光观察装置具有存储部,当通过所述提取部提取出所述关注区域、并通过所述输入部输入了观察者对该关注区域的判定时,该存储部将该判定结果与所述第3系数对应起来进行存储,
当通过所述对错输入部针对新的关注区域输入为所述判定正确时,所述阈值设定部将下位系数和当前的所述第2系数中较低的一方设为新的第2系数,其中,该下位系数是由所述阈值设定部计算与所输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的标准偏差,并从存储于所述存储部中的过去的所述第3系数的平均值中减去计算出的所述第3系数的标准偏差后得到的。
11.根据权利要求7或9所述的荧光观察装置,其中,
当通过所述对错输入部输入为所述提取部的所述判定错误时,所述阈值设定部将与该输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的平均值设为新的第1系数。
12.根据权利要求8或10所述的荧光观察装置,其中,
当通过所述对错输入部输入为所述提取部的所述判定错误时,所述阈值设定部将与该输入的判定结果对应地存储于所述存储部中的过去的所述第3系数的平均值设为新的第2系数。
13.根据权利要求7、9和11中的任意一项所述的荧光观察装置,其中,
所述阈值设定部通过下式计算所述第3系数,
a0=(m0-b×σ)/m
其中,a0是第3系数,m0是提取区域的灰度值的平均值,b是第2系数,σ是校正荧光图像整体的灰度值的标准偏差,m是校正荧光图像整体的灰度值的平均值。
14.根据权利要求8、10和12中的任意一项所述的荧光观察装置,其中,
所述阈值设定部通过下式计算所述第3系数,
b0=(m0-a×m)/σ
其中,b0是第3系数,m0是提取区域的灰度值的平均值,a是第1系数,m是校正荧光图像整体的灰度值的平均值,σ是校正荧光图像整体的灰度值的标准偏差。
15.根据权利要求1至14中的任意一项所述的荧光观察装置,其中,
所述显示部使所述关注区域和所述参照光图像重叠显示。
16.根据权利要求1至15中的任意一项所述的荧光观察装置,其中,
所述提取部将具有超过所述灰度值阈值的灰度值的区域中的、该区域的像素数超过像素数阈值的范围作为所述关注区域并进行提取。
17.根据权利要求1至16中的任意一项所述的荧光观察装置,其中,
该荧光观察装置还具有将所述关注区域的灰度值和与过去的判定结果有关的信息对应起来进行保存的保存部,
所述显示部按照每个所述关注区域从所述保存部中读出与该关注区域的灰度值对应的与过去的判定结果有关的信息并进行显示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011196217A JP6005918B2 (ja) | 2011-09-08 | 2011-09-08 | 蛍光観察装置 |
JP2011-196217 | 2011-09-08 | ||
PCT/JP2012/068586 WO2013035450A1 (ja) | 2011-09-08 | 2012-07-23 | 蛍光観察装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103764009A true CN103764009A (zh) | 2014-04-30 |
CN103764009B CN103764009B (zh) | 2016-08-17 |
Family
ID=47831902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280042932.1A Expired - Fee Related CN103764009B (zh) | 2011-09-08 | 2012-07-23 | 荧光观察装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9417188B2 (zh) |
EP (1) | EP2754380B1 (zh) |
JP (1) | JP6005918B2 (zh) |
CN (1) | CN103764009B (zh) |
WO (1) | WO2013035450A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112639392A (zh) * | 2019-01-11 | 2021-04-09 | 欧姆龙株式会社 | 光学测量装置及光学测量方法 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105473049B (zh) * | 2013-08-23 | 2018-07-20 | 奥林巴斯株式会社 | 荧光观察装置 |
JP6030035B2 (ja) | 2013-09-27 | 2016-11-24 | 富士フイルム株式会社 | 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法 |
KR20160047313A (ko) * | 2014-10-22 | 2016-05-02 | 삼성전자주식회사 | 디바이스 제어 방법 및 그 디바이스 |
JP6110887B2 (ja) * | 2015-03-17 | 2017-04-05 | 浜松ホトニクス株式会社 | 重畳画像生成装置及び重畳画像生成装置の作動方法 |
KR102468133B1 (ko) * | 2016-02-29 | 2022-11-18 | 엘지전자 주식회사 | 발 정맥 인증 장치 |
JP6838644B2 (ja) * | 2017-02-28 | 2021-03-03 | 日本電気株式会社 | 画像診断装置、画像診断方法、及びプログラム |
EP3649918B1 (en) * | 2017-07-03 | 2023-08-02 | FUJIFILM Corporation | Medical image processing device, endoscope device, diagnostic support device, medical service support device and report generation support device |
KR101882281B1 (ko) * | 2017-09-15 | 2018-08-24 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 생체 인증 방법 |
KR101882282B1 (ko) * | 2017-09-22 | 2018-08-24 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 생체 인증 방법 |
WO2019078237A1 (ja) | 2017-10-18 | 2019-04-25 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
JP2019180966A (ja) * | 2018-04-13 | 2019-10-24 | 学校法人昭和大学 | 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム |
WO2019231042A1 (ko) * | 2018-06-01 | 2019-12-05 | 엘지전자 주식회사 | 생체 인증 장치 |
CN110610496B (zh) * | 2019-04-24 | 2023-09-26 | 广东工业大学 | 一种对光照变化鲁棒的荧光胶缺陷分割方法 |
US11730340B2 (en) * | 2019-05-01 | 2023-08-22 | Karl Storz Imaging, Inc. | Video display system having an adaptive overlay |
TWI797785B (zh) * | 2021-10-20 | 2023-04-01 | 茂達電子股份有限公司 | 提升平均器效果的方法 |
CN115719415B (zh) * | 2022-03-28 | 2023-11-10 | 南京诺源医疗器械有限公司 | 一种视野可调双视频融合成像方法及系统 |
WO2023244661A1 (en) * | 2022-06-16 | 2023-12-21 | Intuitive Surgical Operations, Inc. | Non-visible-spectrum light image-based operations for visible-spectrum images |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010056238A1 (en) * | 2000-06-26 | 2001-12-27 | Fuji Photo Film Co., Ltd. | Fluorescent image obtaining apparatus |
JP2002345739A (ja) * | 2001-05-25 | 2002-12-03 | Fuji Photo Film Co Ltd | 画像表示装置 |
JP2006043196A (ja) * | 2004-08-05 | 2006-02-16 | Pentax Corp | 電子内視鏡システム及び電子内視鏡用プロセッサ |
CN101583304A (zh) * | 2007-01-18 | 2009-11-18 | 奥林巴斯株式会社 | 荧光观察装置和荧光观察方法 |
CN102781305A (zh) * | 2010-03-09 | 2012-11-14 | 奥林巴斯株式会社 | 荧光内窥镜装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62247232A (ja) | 1986-04-21 | 1987-10-28 | Agency Of Ind Science & Technol | 蛍光測定装置 |
JPS63252134A (ja) | 1987-04-10 | 1988-10-19 | 工業技術院長 | 螢光検出を利用したがん診断装置 |
JPS62247332A (ja) | 1987-04-17 | 1987-10-28 | Canon Inc | カラ−液晶表示セルの製造法 |
JP2904450B2 (ja) * | 1991-07-15 | 1999-06-14 | 株式会社東芝 | Mri用画像処理装置 |
JPH07129751A (ja) * | 1993-10-29 | 1995-05-19 | Hitachi Medical Corp | 医用画像処理装置 |
JP2003010101A (ja) * | 2001-04-27 | 2003-01-14 | Fuji Photo Film Co Ltd | 内視鏡装置の撮像方法および装置 |
US7256392B2 (en) * | 2003-03-03 | 2007-08-14 | Fujifilm Corporation | Inspection method of radiation imaging system and medical image processing apparatus using the same, and phantom for use of inspection of radiation imaging system |
JP2006175052A (ja) | 2004-12-22 | 2006-07-06 | Fuji Photo Film Co Ltd | 蛍光画像撮像装置 |
JP5336749B2 (ja) | 2008-03-24 | 2013-11-06 | オリンパス株式会社 | カプセル型医療装置とその作動方法 |
JP5407015B2 (ja) * | 2008-07-10 | 2014-02-05 | 国立大学法人徳島大学 | 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム |
JP5449816B2 (ja) * | 2009-03-26 | 2014-03-19 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 |
JP5396121B2 (ja) * | 2009-03-26 | 2014-01-22 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法 |
CN102753079B (zh) * | 2010-02-10 | 2015-06-03 | 奥林巴斯株式会社 | 荧光内窥镜装置 |
-
2011
- 2011-09-08 JP JP2011196217A patent/JP6005918B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-23 WO PCT/JP2012/068586 patent/WO2013035450A1/ja active Application Filing
- 2012-07-23 EP EP12830529.9A patent/EP2754380B1/en not_active Not-in-force
- 2012-07-23 CN CN201280042932.1A patent/CN103764009B/zh not_active Expired - Fee Related
-
2014
- 2014-03-05 US US14/197,614 patent/US9417188B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010056238A1 (en) * | 2000-06-26 | 2001-12-27 | Fuji Photo Film Co., Ltd. | Fluorescent image obtaining apparatus |
JP2002345739A (ja) * | 2001-05-25 | 2002-12-03 | Fuji Photo Film Co Ltd | 画像表示装置 |
JP2006043196A (ja) * | 2004-08-05 | 2006-02-16 | Pentax Corp | 電子内視鏡システム及び電子内視鏡用プロセッサ |
CN101583304A (zh) * | 2007-01-18 | 2009-11-18 | 奥林巴斯株式会社 | 荧光观察装置和荧光观察方法 |
CN102781305A (zh) * | 2010-03-09 | 2012-11-14 | 奥林巴斯株式会社 | 荧光内窥镜装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112639392A (zh) * | 2019-01-11 | 2021-04-09 | 欧姆龙株式会社 | 光学测量装置及光学测量方法 |
CN112639392B (zh) * | 2019-01-11 | 2022-09-20 | 欧姆龙株式会社 | 光学测量装置及光学测量方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2754380B1 (en) | 2017-08-30 |
JP6005918B2 (ja) | 2016-10-12 |
EP2754380A1 (en) | 2014-07-16 |
US20140184790A1 (en) | 2014-07-03 |
US9417188B2 (en) | 2016-08-16 |
WO2013035450A1 (ja) | 2013-03-14 |
CN103764009B (zh) | 2016-08-17 |
EP2754380A4 (en) | 2015-02-25 |
JP2013056040A (ja) | 2013-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103764009B (zh) | 荧光观察装置 | |
JP5802440B2 (ja) | 蛍光観察装置 | |
JP5816486B2 (ja) | 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法 | |
JP5449816B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 | |
JP6053673B2 (ja) | 蛍光観察装置とその画像表示方法 | |
US9532719B2 (en) | Fluorescence endoscope apparatus | |
US9052286B2 (en) | Fluorescence endoscope apparatus | |
EP2520211B1 (en) | Fluorescence endoscope device | |
EP2656774B1 (en) | Fluorescence observation apparatus | |
WO2010109950A1 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP5558178B2 (ja) | 蛍光観察装置 | |
JP2010227255A (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
EP2478826A1 (en) | Endoscope system | |
JP2010220894A (ja) | 蛍光観察システム、蛍光観察装置および蛍光観察方法 | |
JP5393215B2 (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法 | |
WO2012176285A1 (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 | |
JP5592700B2 (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160817 Termination date: 20180723 |
|
CF01 | Termination of patent right due to non-payment of annual fee |