CN103841876B - 荧光观察装置 - Google Patents
荧光观察装置 Download PDFInfo
- Publication number
- CN103841876B CN103841876B CN201280048230.4A CN201280048230A CN103841876B CN 103841876 B CN103841876 B CN 103841876B CN 201280048230 A CN201280048230 A CN 201280048230A CN 103841876 B CN103841876 B CN 103841876B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- correcting
- brightness
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
在手术过程中产生出血的情况下,也能够掌握所取得的图像中的病变部或血管等期望的组织区域。提供荧光观察装置(100),其具有:光源(10);荧光图像生成部(41),其生成基于激发光的照射的被检体的荧光图像;参照图像生成部(42),其生成基于参照光的照射的被检体的参照图像;校正图像生成部(43),其生成以强调参照图像中的与荧光图像中的第1阈值以上的亮度的像素对应的像素的方式进行了校正的校正图像;图像显示部(50),其显示参照图像或校正图像;出血状态判定部(44),其判定根据参照图像而检测到的被检体的出血区域是否超过规定的范围;以及显示图像切换部(45),其以如下方式进行切换,在由出血状态判定部判定为出血区域未超过规定的范围的情况下,在图像显示部中显示参照图像,在判定为出血区域超过了规定的范围的情况下,在图像显示部中显示校正图像。
Description
技术领域
本发明涉及荧光观察装置。
背景技术
近年来,广泛进行一边利用监视器观察由内窥镜装置得到的病变部的图像一边使用规定的处置器械对病变部进行处置的所谓内窥镜下外科手术。在专利文献1中记载了这种内窥镜下外科手术中使用的内窥镜装置或内窥镜观察系统。
现有技术文献
专利文献
专利文献1:日本特开2001-17387号公报
发明内容
发明要解决的课题
但是,在使用现有的内窥镜装置的内窥镜下外科手术过程中,在产生出血而使病变部和病变部周边被血液覆盖的情况下,在监视器中显示的图像中,也成为病变部和病变部周边被血液覆盖的红色区域较多的图像。因此,一旦产生出血,则可能很难掌握作为处置对象的病变部或血管、神经等应该注意的活体组织的位置。
本发明是鉴于这种情况而完成的,其目的在于,提供如下的荧光观察装置:在手术过程中产生出血的情况下,也能够在所取得的图像中掌握病变部或血管等期望的组织区域。
用于解决课题的手段
为了解决上述课题,本发明采用以下手段。
本发明的一个方式提供一种荧光观察装置,其具有:光源,其对被检体照射激发光和参照光;荧光图像生成部,其拍摄通过照射来自该光源的所述激发光而在所述被检体中产生的荧光,生成荧光图像;参照图像生成部,其拍摄通过照射来自所述光源的所述参照光而从所述被检体返回的返回光,生成参照图像;校正图像生成部,其生成以强调所述参照图像中的与所述荧光图像中的第1阈值以上的亮度的像素对应的像素的方式进行了校正的校正图像;图像显示部,其显示所述参照图像或所述校正图像;出血状态判定部,其根据所述参照图像检测所述被检体的出血区域,判定该出血区域是否超过规定的范围;以及显示图像切换部,其以如下方式进行切换,在由该出血状态判定部判定为出血区域未超过规定的范围的情况下,在所述图像显示部中显示所述参照图像,在判定为出血区域超过了规定的范围的情况下,在所述图像显示部中显示所述校正图像。
根据本方式,当从光源发出的激发光照射到被检体时,通过荧光图像生成部生成基于在被检体中产生的荧光的荧光图像,当从光源发出的参照光照射到被检体时,通过参照图像生成部生成基于其返回光的参照图像。而且,通过校正图像生成部,针对参照图像,生成对与荧光图像中的第1阈值以上的亮度的像素、即由于从被检体的病变部等发出的强荧光而成为高亮度的像素对应的参照图像的像素进行了强调后得到的校正图像。并且,通过出血状态判定部,根据参照图像判定被检体的出血区域是否超过规定的范围。其结果,在判定为出血区域未超过规定的范围的情况下,在所述图像显示部中显示所述参照图像,在判定为出血区域超过了规定的范围的情况下,显示校正图像。
即,医师等观察者在出血区域未超过规定的范围的情况下,一边观察图像显示部中显示的参照图像一边进行处置,在处置的过程中,在由于产生出血而使出血区域超过了规定的范围的情况下,对代替参照图像而在图像显示部中显示的校正图像进行观察。由此,在图像显示部中显示对荧光图像中的第1阈值以上的亮度的像素、即荧光物质特异聚集的病变部等进行了强调的校正图像,所以,在处置过程中产生出血而使病变部或血管等组织被血液覆盖的情况下,也能够掌握该病变部等的区域。
在上述方式中,优选的是,所述校正图像生成部生成以强调如下像素的方式进行了校正的校正图像,该像素位于所述参照图像中的由所述出血状态判定部检测到的出血区域,并且是与所述荧光图像的第1阈值以上的亮度值的像素对应的像素。
这样,在手术过程中产生出血的情况下,由于病变部或血管等不一定全部被血液覆盖,所以,通过生成对参照图像中的包含在由出血状态判定部检测到的出血区域中、且与荧光图像中的第1阈值以上的亮度值的像素对应的像素进行了强调的校正图像,能够削减处理或运算所需要的时间和运算量,能够掌握病变部或血管等期望的组织区域。
在上述方式中,优选的是,所述校正图像生成部通过将所述参照图像中的与所述荧光图像中的第1阈值以上的亮度的像素对应的像素的规定的颜色信号,与所述荧光图像中的第1阈值以上的亮度的像素的基于该亮度的信号值相加,来生成校正图像。
由此,能够提高与从被检体发出强荧光的病变部等对应的像素的信号强度。其结果,能够强调该像素,能够在校正图像中准确地掌握该病变部或血管等期望的组织区域。
在上述方式中,优选的是,所述校正图像生成部通过对所述参照图像中的与所述荧光图像中的第1阈值以上的亮度值的像素对应的像素进行颜色转换处理,来生成校正图像。
由此,能够强调从被检体发出强荧光的病变部等,能够在校正图像中准确地掌握该病变部等区域。
在上述方式中,优选的是,所述校正图像生成部生成将所述荧光图像除以所述参照图像的R信号而得到的除法图像,生成以强调所述参照图像中的与所述除法图像中的第2阈值以上的亮度的像素对应的像素的方式进行了校正的校正图像。
这样,通过将荧光图像除以参照图像的R信号,生成考虑到出血区域为红色、且减轻了依赖于观察距离和观察角度的荧光强度变化的除法图像。而且,针对参照图像,生成对与除法图像中的第2阈值以上的亮度的像素对应的像素进行了强调的校正图像,所以,能够更加准确地掌握该病变部或血管等期望的组织区域。
在上述方式中,优选的是,所述校正图像生成部生成以强调如下像素的方式进行了校正的校正图像,该像素位于所述参照图像中的由所述出血状态判定部检测到的出血区域,并且是与所述除法图像的第2阈值以上的亮度值的像素对应的像素。
这样,在手术过程中产生出血的情况下,由于病变部或血管等不一定全部被血液覆盖,所以,通过生成对参照图像中的包含在由出血状态判定部检测到的出血区域中、且与除法图像中的第2阈值以上的亮度值的像素对应的像素进行了强调的校正图像,能够削减处理或运算所需要的时间和运算量,能够掌握病变部或血管等期望的组织区域。
在上述方式中,优选的是,所述校正图像生成部通过将所述参照图像中的与所述除法图像中的第2阈值以上的亮度的像素对应的像素的规定的颜色信号,与所述除法图像的第2阈值以上的亮度的像素的基于该亮度的信号值相加,来生成校正图像。
由此,由于能够强调从被检体发出强荧光的病变部等,所以,能够在校正图像中准确地掌握该病变部或血管等期望的组织区域。
在上述方式中,优选的是,所述校正图像生成部通过对所述参照图像中的与所述除法图像中的第2阈值以上的亮度值的像素对应的像素进行颜色转换处理,来生成校正图像。
由此,由于能够强调从被检体发出强荧光的病变部等,所以,能够在校正图像中准确地掌握该病变部或血管等期望的组织区域。
在上述方式中,优选的是,在由所述出血状态判定部判定为出血区域未超过规定的范围的情况下,不照射所述激发光,在判定为出血区域超过了规定的范围的情况下,照射所述激发光。
这样,通过在判定为出血区域超过了规定的范围的情况下照射激发光,能够防止荧光色素褪色。即,为了得到荧光图像,需要预先对被检体投放荧光药剂,但是,当在长时间的手术过程中持续照射激发光时,荧光药剂产生的荧光会褪色。因此,通过根据需要来照射激发光,防止荧光色素的褪色,取得高品质的荧光图像,进而能够在校正图像中准确地掌握病变部或血管等期望的组织区域。
在上述方式中,优选的是,所述出血状态判定部检测包含所述参照图像的中心部附近的规定区域中的出血区域,判定该出血区域是否超过规定的范围。
由此,能够削减处理或运算所需要的时间和运算量,并且能够掌握病变部或血管等期望的组织区域。即,一般地,在手术过程中,手术医生以使病变部等处置对象部位成为显示部的中心的方式取得参照图像。并且,在产生出血的情况下,例如,有时出血区域与处置无关而位于参照图像的端部。因此,检测包含参照图像的中心部附近的规定区域中的出血区域,并且判定出血区域是否超过规定的范围,由此,能够削减处理或运算所需要的时间和运算量。
在上述方式中,优选的是,所述出血状态判定部通过对所述参照图像的各像素的针对R信号的信号强度和该各像素的G信号或B信号中的至少一方进行比较,来检测出血区域。
由此,由于有效检测血液的颜色即红色,所以,能够准确地检测出血区域。
发明效果
根据本发明,发挥如下效果:在手术过程中产生出血的情况下,也能够在所取得的图像中掌握病变部或血管等期望的组织区域。
附图说明
图1是本发明的第1实施方式的内窥镜装置的概略结构图。
图2是本发明的第1实施方式的内窥镜装置中生成的白色光图像和校正图像的说明图。
图3是在本发明的第1实施方式的内窥镜装置中判定出血状态的情况的流程图。
图4是示出本发明的第1实施方式的变形例的内窥镜装置的作用的流程图。
图5是本发明的第3实施方式的变形例的内窥镜装置的概略结构图。
图6是在本发明的第4实施方式的变形例的内窥镜装置中判定出血状态的情况的流程图。
图7是本发明的第5实施方式的内窥镜装置的概略结构图。
具体实施方式
(第1实施方式)
下面,参照附图对本发明的第1实施方式进行说明。
如图1所示,作为本实施方式的荧光观察装置的内窥镜装置100具有:细长的镜体2,其被插入体腔内;照明单元20,其具有发出从镜体2的前端2a射出的照明光的光源10;拍摄单元30,其配置在镜体2内,取得作为被检体的处置对象部位X的图像信息;图像处理部40,其对由拍摄单元30取得的图像信息进行处理;以及监视器(图像显示部)50,其显示由图像处理部40处理后的图像和图像信息等。
光源10具有发出照明光的氙灯(Xe灯)11、从由氙灯11发出的照明光中截取包含激发光的白色光的激发光滤光片13、以及使由激发光滤光片13截取的包含激发光的白色光会聚的耦合透镜15。激发光滤光片13例如截取包含波段为400~740nm的激发光的白色光。
并且,在照明单元20中具有配置在镜体2的长度方向的大致全长范围内的光导纤维21、以及配置在镜体2的前端2a的扩散透镜23。
光导纤维21将通过耦合透镜15会聚后的包含激发光的白色光引导至镜体2的前端2a。扩散透镜23使由光导纤维21引导的包含激发光的白色光扩散并对处置对象部位X进行照射。
拍摄单元30具有:物镜31,其会聚从通过照明单元20照射包含激发光的白色光的处置对象部位X返回的返回光;以及分束器33,其按照波长使由物镜31会聚后的返回光分支。
物镜31与扩散透镜23并列配置在镜体2的前端2a。分束器33使返回光中的激发波长以上的光(激发光和荧光)反射,使波长比激发波长短的白色光(返回光)透射。
并且,该拍摄单元30具有:激发光截止滤光片35,其遮断由分束器33反射的激发光和荧光中的激发光而仅使荧光(例如近红外荧光)透射;使透射过激发光截止滤光片35的荧光会聚的会聚透镜37A和使透射过分束器33的白色光会聚的会聚透镜37B;拍摄由会聚透镜37A会聚的荧光的荧光拍摄部38和拍摄由会聚透镜37B会聚的白色光的白色光拍摄部39。
激发光截止滤光片35例如仅使波段为765~850nm的荧光透射。荧光拍摄部38例如是荧光用的高感光度单色CCD,该荧光拍摄部38通过拍摄荧光而取得荧光图像信息。白色光拍摄部39例如是白色光用的彩色CCD,具有镶嵌滤光片(mosaicfilter)(图示省略)。该白色光拍摄部39通过拍摄白色光而取得白色光图像信息。
图像处理部40具有生成荧光图像的荧光图像生成部41、生成白色光图像(参照图像)的白色光图像生成部(参照图像生成部)42、对由白色光图像生成部42生成的白色光图像进行校正而生成校正图像的校正图像生成部43、根据白色光图像来判定处置对象部位X的出血状态的出血状态判定部44、以及根据出血状态判定部44的判定结果来切换监视器50中显示的图像的显示图像切换部45。
荧光图像生成部41根据由荧光拍摄部38取得的荧光图像信息来生成二维荧光图像,将所生成的荧光图像输出到校正图像生成部43。
白色光图像生成部42根据由白色光拍摄部39取得的白色光图像信息来生成二维白色光图像,将所生成的白色光图像输出到校正图像生成部43、出血状态判定部44和显示图像切换部45。另外,图2的(A)示出处置对象部位X的白色光图像的例子,图2的(B)示出在处置对象部位X出血的情况下的白色光图像的例子。
校正图像生成部43生成以强调白色光图像中的与荧光图像中的第1阈值以上的亮度的像素对应的像素的方式进行了校正的校正图像。即,生成对与由于从处置对象部位X的病变部等发出的强荧光而成为高亮度的像素对应的白色光图像的像素进行了强调的校正图像。另外,图2的(C)示出校正图像的例子。
具体而言,校正图像生成部43如下所述进行校正图像的生成。校正图像生成部43按照每个像素与预定的第1阈值进行比较,从荧光图像中提取第1阈值以上的亮度的像素,将白色光图像中的由与荧光图像中的第1阈值以上的亮度的像素对应的像素构成的区域确定为校正对象区域。
然后,例如如以下的数学式那样,将白色光图像的校正对象区域的各像素的G通道与荧光图像中的对应的各像素的信号值(例如亮度值的常数倍)相加。
Og(i)=Wg(i)+αF(i)
Or(i)=Wr(i)
Ob(i)=Wb(i)
这里,α是预定的常数,Or(i)、Og(i)、Ob(i)是校正图像的第i个像素中的R、G、B通道的信号强度,Wr(i)、Wg(i)、Wb(i)是白色光图像的第i个像素中的R、G、B通道的信号强度,F(i)是荧光图像的第i个像素中的信号强度。
这样,生成通过将校正对象区域的各像素的特定颜色信号(例如G通道)与基于荧光图像中的对应的各像素的亮度的信号值相加而对该像素进行了强调的校正图像,即,生成对校正对象区域进行了强调的校正图像。
出血状态判定部44根据从白色光图像生成部42输入的白色光图像来检测处置对象部位X的出血区域,判定出血区域是否超过规定的范围,将判定结果输出到显示图像切换部45。具体而言,出血状态判定部44从白色光图像所包含的全部像素中提取各像素的R通道的信号值超过规定的阈值A的像素,进而,将提取出的各像素的G通道的信号值相对于R通道的信号值之比低于阈值B的像素作为出血像素,检测由该出血像素构成的区域作为出血区域。
然后,在检测到的出血区域超过了规定的范围的情况下、即出血像素的总数大于规定的阈值C的情况下,由于出血区域较大,所以判定为出血状态。并且,在判定为出血区域未超过规定的范围的情况下、即出血像素的总数小于阈值C的情况下,由于出血区域较小,所以判定为不是出血状态。
显示图像切换部45根据出血状态判定部44的判定结果以如下方式进行切换,在判定为出血区域未超过规定的范围的情况下、即判定为不是出血状态的情况下,在监视器50中显示白色光图像,在判定为出血区域超过了规定的范围的情况下、即判定为是出血状态的情况下,在监视器50中显示校正图像。
根据图3的流程图,说明使用这样构成的本实施方式的内窥镜装置100对体腔内的处置对象部位X进行期望处置(手术)时、判定处置对象部位X是否出血的流程、即出血状态判定部44进行的出血状态的判定的流程。
在步骤S111中,出血状态判定部44受理由白色光图像生成部42生成的白色光图像的输入,在接下来的步骤S112中,开始进行白色光图像中的出血像素数的计数。即,在步骤S112中,出血状态判定部44针对白色光图像中的全部像素,按照每个像素判定是否是出血像素,开始计算出血像素的总数。在该计算的开始时,出血像素的总数Cnt=0,从白色光图像中的预定的第1个像素(i=1)起依次对白色光图像中的全部像素进行是否是出血像素的判定。在步骤S112~步骤S117中,出血状态判定部44通过计算出血像素的总数,检测处置对象区域中的出血区域。
在接下来的步骤S113中,首先,从第1个像素起依次对R通道的信号值(以下称为R信号)和规定的阈值A进行比较,在判定为R信号低于规定的阈值A的情况下,视为该像素未出血,进入步骤S114,进入下一个像素是否是出血像素的判定。这是因为,由于血液为红色,所以,在R信号的值较小的情况下,视为未检测到红色,能够判断为该像素未出血。另一方面,在判定为R信号超过了规定的阈值A的情况下,视为该像素可能出血,进入接下来的步骤S115。
在接下来的步骤S115中,对G通道的信号值(以下称为G信号)相对于该像素的R信号的值之比即G信号/R信号和规定的阈值B进行比较,在G信号/R信号超过阈值B的情况下,视为该像素未出血,进入步骤S114,进入下一个像素是否是出血像素的判定。另一方面,在G信号/R信号低于阈值B的情况下,视为该像素出血,进入接下来的步骤S116。这是因为,在该像素出血的情况下,R信号较高,G信号或B信号被吸收,G信号或B信号的值减小,所以,G信号/R信号的值也减小。因此,在G信号/R信号小于阈值B的情况下,能够判断为该像素出血。
在接下来的步骤S116中,在出血像素的总数中加上步骤S115中判定为出血像素的像素。在步骤S117中,通过对白色光图像的全部像素数和进行了出血像素的判定的像素数进行比较,判断是否针对白色光图像的全部像素进行了是否是出血像素的判定。在判断的结果为判定为未针对全部像素进行出血像素的判定的情况下,进入步骤S114,进入下一个像素是否是出血像素的判定。
在判断的结果为判定为针对全部像素进行了出血像素的判定的情况下,进入步骤S118。在步骤S118中,通过对在步骤S112~步骤S117中计算出血像素的总数而检测到的处置对象区域中的出血区域和规定的阈值C进行比较,判定处置对象区域的出血状态。即,在步骤S118中,出血状态判定部44对至此累加的出血像素的总数(Cnt)和规定的阈值C进行比较,在出血像素的总数高于阈值C的情况下,由于出血区域较大,所以进入步骤S119,判定为出血状态。在出血像素的总数低于阈值C的情况下,由于出血区域较小,所以进入步骤S120,判定为不是出血状态。在步骤S121中,将是出血状态或不是出血状态的任意一个判定结果输出到显示图像切换部45。
接着,根据图4的流程图,说明使用如上所述构成的本实施方式的内窥镜装置100对体腔内的处置对象部位X进行期望处置(手术)的情况下的流程。
首先,在使用内窥镜装置100对活体的体腔内的处置对象部位X进行手术时,使在癌细胞等病变部特异聚集的荧光药剂附着于处置对象部位X或被处置对象部位X吸收,然后,取得处置对象部位X的图像信息(步骤S211)。即,在使荧光药剂附着于处置对象部位X或被处置对象部位X吸收的状态下,对处置对象部位X照射激发光,由此激发荧光药剂而从处置对象部位X产生荧光。
更具体而言,在本实施方式中,在使荧光药剂附着于处置对象部位X或被处置对象部位X吸收的状态下,将镜体2插入体腔内,使前端2a与处置对象部位X对置。该状态下,通过使光源10动作而从氙灯11发出并由激发光滤光片13截取的包含激发光的白色光被耦合透镜15会聚,并通过光导纤维21引导至镜体2的前端2a。然后,该白色光通过扩散透镜23扩散,对处置对象部位X进行照射。
在处置对象部位X中,内部包含的荧光物质被激发光激发而发出荧光,并且,白色光和激发光的一部分在表面反射。这些荧光、白色光和激发光被物镜31会聚,通过分束器33反射激发波长以上的光即激发光和荧光,并使波长比激发波长短的白色光透射。
通过分束器33反射的激发光和荧光被激发光截止滤光片35去除激发光,仅荧光被会聚透镜37A会聚并被荧光拍摄部38拍摄。由此,在荧光拍摄部38中取得处置对象部位X的荧光图像信息。并且,透射过分束器33的白色光被会聚透镜37B会聚并被白色光拍摄部39拍摄。由此,在白色光拍摄部39中取得处置对象部位X的白色光图像信息。另外,可以先取得荧光图像信息和白色光图像信息中的某一方,也可以同时取得。
在接下来的步骤S212中,分别将由荧光拍摄部38取得的荧光图像信息和由白色光拍摄部39取得的白色光图像信息输入到图像处理部40的荧光图像生成部41和白色光图像生成部42。在荧光图像生成部41中,根据荧光图像信息生成二维荧光图像,将所生成的荧光图像输出到校正图像生成部43。并且,在白色光图像生成部42中,根据白色光图像信息生成二维白色光图像,将所生成的白色光图像输出到校正图像生成部43、出血状态判定部44和显示图像切换部45。
在接下来的步骤S213中,在校正图像生成部43中生成校正图像。即,校正图像生成部43按照每个像素与预定的第1阈值进行比较,从荧光图像中提取第1阈值以上的亮度的像素,将白色光图像中的与荧光图像中的第1阈值以上的亮度的像素对应的像素的G通道和荧光图像中的对应的各像素的亮度值的常数倍相加,生成校正图像,将所生成的校正图像输出到显示图像切换部45。
在接下来的步骤S214中,如上所述,通过出血状态判定部44判定处置对象部位X的出血状态,将判定结果输出到显示图像切换部45。在步骤S215中,通过显示图像切换部45,根据来自出血状态判定部44的判定结果切换显示图像。即,在步骤S215中,判断输入到显示图像切换部45的出血状态的判定结果如何,在输入了不是出血状态的判定结果的情况下,进入步骤S217,在输入了是出血状态的判定结果的情况下,进入步骤S216。
在步骤S217中,由于不是出血状态,所以在监视器50中显示白色光图像,为了取得下一个图像信息而返回步骤S211。并且,在步骤S216中,由于是出血状态,所以在监视器50中显示校正图像。
如以上说明的那样,根据本实施方式的内窥镜装置100,检测出血区域,并且,在出血区域超过了规定的范围的情况下,判定为处置对象部位处于出血状态,通过对白色光图像中的第1阈值以上的亮度的像素进行强调,在监视器中显示对因出血而被覆盖的病变部或血管等组织进行了强调的校正图像,所以,在手术过程中产生出血而使病变部或血管等组织被血液覆盖的情况下,也能够掌握该病变部或血管等期望组织的区域。
激发光和荧光优选选择难以被血液吸收的波长的光(例如近红外光700nm-1000nm)。
由此,在组织被血液覆盖的情况下,大多数激发光也能够到达包含荧光药剂的组织,组织中产生的大多数荧光也能够到达内窥镜。
(第2实施方式)
接着,对本发明的第2实施方式进行说明。
在上述第1实施方式的内窥镜装置100中,校正图像生成部43将白色光图像的校正对象区域的各像素的G信号与荧光图像中的对应的各像素的信号值的常数倍相加,而生成校正图像,但是,不限于这样的构成,例如,校正图像生成部43也可以通过对白色光图像中的与荧光图像中的第1阈值以上的亮度值的像素对应的像素进行颜色转换处理,来生成校正图像。
具体而言,校正图像生成部43按照每个像素与预定的第1阈值进行比较,从荧光图像中提取第1阈值以上的亮度的像素,将由白色光图像中的与荧光图像中的第1阈值以上的亮度的像素对应的像素构成的区域确定为校正对象区域。
然后,通过将白色光图像的校正对象区域乘以例如以下的颜色转换矩阵,将由于血液而变红的校正对象区域转换为绿色。
【式1】
这里,Or(i)、Og(i)、Ob(i)是校正图像的第i个像素中的R、G、B通道的信号强度,Wr(i)、Wg(i)、Wb(i)是白色光图像的第i个像素中的R、G、B通道的信号强度。
这样,通过将校正对象区域乘以颜色转换矩阵,能够将校正对象区域的红色转换为其他颜色,通过将校正对象区域、即由于出血而被覆盖的病变部或血管等组织改变为与出血颜色不同的颜色来显示,能够容易地对其进行掌握。另外,在将校正对象区域乘以颜色转换矩阵的情况下,能够维持与校正对象区域中包含的像素的明暗相关的信息而仅对颜色进行变更。在上述式1中,示出将校正对象区域的红色转换为绿色的例子,但是不限于此,例如也可以转换为蓝色等。
(第3实施方式)
接着,对本发明的第3实施方式进行说明。
在上述第1实施方式的内窥镜装置100中,校正图像生成部43生成以强调白色光图像中的与荧光图像中的第1阈值以上的亮度的像素对应的像素的方式进行了校正的校正图像,但是,在本实施方式中,生成以强调白色光图像中的与除法图像中的第2阈值以上的亮度的像素对应的像素的方式进行了校正的校正图像,其中,该除法图像是将荧光图像除以白色光图像的R信号而得到的。
因此,如图5所示,在本变形例的内窥镜装置200中,校正图像生成部43具有除法图像生成部46,该除法图像生成部46生成将荧光图像除以白色光图像而得到的除法图像。
在除法图像生成部46中,通过将从荧光图像生成部41输入的荧光图像除以从白色光图像生成部42输入的白色光图像的R信号,生成除法图像。然后,在校正图像生成部43中,按照每个像素与预定的第2阈值进行比较,从除法图像中提取第2阈值以上的亮度的像素,将由白色光图像中的与除法图像的第2阈值以上的亮度的像素对应的像素构成的区域确定为校正对象区域。
然后,如上述第1实施方式或第2实施方式那样,校正图像生成部43将根据除法图像而提取出的校正对象区域的各像素的G通道与荧光图像中的对应的各像素的信号值(例如亮度值的常数倍)相加,或者将校正对象区域乘以颜色转换矩阵,来生成校正图像。
这样,通过将荧光图像除以参照图像的R信号,生成考虑到出血区域为红色、且减轻了依赖于观察距离或观察角度的荧光强度变化的除法图像。而且,针对白色光图像,生成对与除法图像中的第2阈值以上的亮度的像素对应的像素进行了强调的校正图像,所以,能够更加准确地掌握该病变部或血管等期望的组织区域。
(第4实施方式)
接着,对本发明的第4实施方式进行说明。
在上述第1实施方式~第3实施方式中,在处置对象部位X整体、即白色光图像整体范围内进行出血状态的判定。但是,通常,一般在监视器的中心显示处置对象部位X中的特别是病变部等应该处置的部位来进行处置。因此,在本实施方式中,参照图6的流程图,说明出血状态判定部44针对包含白色光图像的中心部附近的规定区域来判定出血状态的例子。作为规定区域,例如例示了从显示图像的上下左右去除1/4后的中心区域。
图6示出出血状态判定部44针对包含白色光图像的中心部附近的规定区域来判定出血状态的情况下的流程。在步骤S311中,出血状态判定部44受理由白色光图像生成部42生成的白色光图像的输入,在接下来的步骤S312中,检测包含中心部附近的预定的出血判定区域,并且进行出血判定区域中的边缘检测。在病变部等应该处置的部位存在作为处置器械的钳子等,但是,钳子在白色光图像中的颜色或亮度与活体组织大不相同。因此,在步骤S312中,通过进行边缘检测,将出血判定区域划分为活体组织的区域和活体组织以外的区域。然后,在接下来的步骤S313中,计算活体组织区域中的全部像素的R信号的平均信号强度Rmv,进而,在接下来的步骤S314中,计算活体组织中的全部像素的G信号的平均信号强度Gmv。
在接下来的步骤S315中,对平均信号强度Gmv相对于平均信号强度Rmv之比(Gmv/Rmv)和规定的阈值Bmv进行比较,在Gmv/Rmv超过了阈值Bmv的情况下,视为该像素未出血,进入步骤S317,在Gmv/Rmv低于阈值Bmv的情况下,视为该像素出血,进入接下来的步骤S316。
这是因为,在出血判定区域出血的情况下,由于Rmv增大,所以Gmv/Rmv的值减小,在出血判定区域未出血的情况下,由于Rmv较小,所以Gmv/Rmv的值增大。因此,在Gmv/Rmv小于阈值Bmv的情况下,能够判定为出血判定区域为出血状态,在Gmv/Rmv大于Bmv的情况下,能够判断为出血判定区域不是出血状态。在步骤S318中,将出血状态或不是出血状态的任意一个判定结果输出到显示图像切换部45。
能够减少图像运算中的计算成本,能够减小图像显示的延迟。
(第5实施方式)
接着,对本发明的第5实施方式进行说明。
为了取得荧光图像,在处置之前,需要使在癌细胞等病变部特异聚集的荧光药剂附着于处置对象部位X或被处置对象部位X吸收。但是,在长时间进行处置或手术的情况下,当持续照射激发光时,荧光药剂产生的荧光会褪色。因此,在本实施方式中,如图7所示,示出设置有对光源10进行控制的光源控制部52的内窥镜装置300。
光源控制部52从出血状态判定部44接收出血状态的判定结果,在接收到的判定结果为是出血状态的情况下,对光源10输出用于照射激发光的指令信号。这样,通过根据需要来照射激发光,能够防止荧光色素褪色,所以,不会由于褪色而使荧光图像的质量降低,能够在校正图像中准确地掌握病变部或血管等期望组织的区域。
另外,在上述实施方式中,示出了如下例子:在判定为是出血状态的情况下,生成对白色光图像的与荧光图像的规定亮度以上的像素对应的全部像素进行了强调的校正图像,但是不限于此。例如,通过从出血状态判定部44对图像校正部输出出血状态的信息,在图像校正部43中,能够生成仅对包含在由出血状态判定部44判定为出血的区域中、并且为病变部即白色光图像的与荧光图像的规定亮度以上的像素对应的像素进行了强调的校正图像。由此,能够削减校正图像生成的处理或运算所需要的时间和运算量,并且能够掌握病变部或血管等期望组织的区域。
并且,在本实施方式中,例示内窥镜装置进行了说明,但是不限于此,也可以应用于其他任意的荧光观察装置。
标号说明
10:光源;41:荧光图像生成部;42:白色光图像生成部(参照图像生成部);43:校正图像生成部;44:出血状态判定部;45:显示图像切换部;46:除法图像生成部;50:监视器(图像显示部);52:光源控制部;100:内窥镜装置(荧光观察装置);200:内窥镜装置(荧光观察装置);300:内窥镜装置(荧光观察装置)。
Claims (11)
1.一种荧光观察装置,其具有:
光源,其对被检体照射激发光和参照光;
荧光图像生成部,其拍摄通过照射来自该光源的所述激发光而在所述被检体中产生的荧光,生成荧光图像;
参照图像生成部,其拍摄通过照射来自所述光源的所述参照光而从所述被检体返回的返回光,生成参照图像;
其特征在于,所述荧光观察装置还具有:
校正图像生成部,其生成以强调所述参照图像中的与所述荧光图像中的第1阈值以上的亮度的像素对应的像素的方式进行了校正的校正图像;
图像显示部,其显示所述参照图像或所述校正图像;
出血状态判定部,其根据所述参照图像检测所述被检体的出血区域,判定该出血区域是否超过规定的范围;以及
显示图像切换部,其以如下方式进行切换,在由该出血状态判定部判定为所述出血区域未超过规定的范围的情况下,在所述图像显示部中显示所述参照图像,在判定为出血区域超过了规定的范围的情况下,在所述图像显示部中显示所述校正图像。
2.根据权利要求1所述的荧光观察装置,其中,
所述校正图像生成部生成以强调如下像素的方式进行了校正的所述校正图像,该像素位于所述参照图像中的由所述出血状态判定部检测到的所述出血区域,并且是与所述荧光图像中的第1阈值以上的亮度值的像素对应的像素。
3.根据权利要求1或2所述的荧光观察装置,其中,
所述校正图像生成部通过将所述参照图像中的与所述荧光图像中的第1阈值以上的亮度的像素对应的像素的规定的颜色信号,与所述荧光图像中的第1阈值以上的亮度的像素的基于该亮度的信号值相加,来生成所述校正图像。
4.根据权利要求1或2所述的荧光观察装置,其中,
所述校正图像生成部通过对所述参照图像中的与所述荧光图像中的第1阈值以上的亮度值的像素对应的像素进行颜色转换处理,来生成所述校正图像。
5.根据权利要求1所述的荧光观察装置,其中,
所述校正图像生成部生成将所述荧光图像除以所述参照图像的R信号而得到的除法图像,生成以强调所述参照图像中的与所述除法图像中的第2阈值以上的亮度的像素对应的像素的方式进行了校正的所述校正图像。
6.根据权利要求5所述的荧光观察装置,其中,
所述校正图像生成部生成以强调如下像素的方式进行了校正的所述校正图像,该像素位于所述参照图像中的由所述出血状态判定部检测到的所述出血区域中,并且是与所述除法图像中的第2阈值以上的亮度值的像素对应的像素。
7.根据权利要求5或6所述的荧光观察装置,其中,
所述校正图像生成部将所述参照图像中的与所述除法图像中的第2阈值以上的亮度的像素对应的像素的规定的颜色信号,与所述除法图像中的第2阈值以上的亮度的像素的基于该亮度的信号值相加,来生成所述校正图像。
8.根据权利要求5所述的荧光观察装置,其中,
所述校正图像生成部通过对所述参照图像中的与所述除法图像中的第2阈值以上的亮度值的像素对应的像素进行颜色转换处理,来生成所述校正图像。
9.根据权利要求1或2所述的荧光观察装置,其中,
在由所述出血状态判定部判定为所述出血区域未超过规定的范围的情况下,所述光源不照射所述激发光,在判定为所述出血区域超过了规定的范围的情况下,所述光源照射所述激发光。
10.根据权利要求1或2所述的荧光观察装置,其中,
所述出血状态判定部检测包含所述参照图像的中心部附近的规定区域中的所述出血区域,判定所述出血区域是否超过规定的范围。
11.根据权利要求1或2所述的荧光观察装置,其中,
所述出血状态判定部通过对所述参照图像的各像素的针对R信号的信号强度与该各像素的G信号或B信号中的至少一方进行比较,来检测所述出血区域。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011222153 | 2011-10-06 | ||
JP2011-222153 | 2011-10-06 | ||
JPJP2011-222153 | 2011-10-06 | ||
PCT/JP2012/074560 WO2013051431A1 (ja) | 2011-10-06 | 2012-09-25 | 蛍光観察装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103841876A CN103841876A (zh) | 2014-06-04 |
CN103841876B true CN103841876B (zh) | 2016-03-09 |
Family
ID=48043593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280048230.4A Expired - Fee Related CN103841876B (zh) | 2011-10-06 | 2012-09-25 | 荧光观察装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9687158B2 (zh) |
JP (1) | JP6042817B2 (zh) |
CN (1) | CN103841876B (zh) |
WO (1) | WO2013051431A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012176285A1 (ja) * | 2011-06-21 | 2012-12-27 | オリンパス株式会社 | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
JP5926909B2 (ja) | 2011-09-07 | 2016-05-25 | オリンパス株式会社 | 蛍光観察装置 |
KR101916855B1 (ko) * | 2011-10-17 | 2019-01-25 | 삼성전자주식회사 | 병변 수정 장치 및 방법 |
US9633276B2 (en) * | 2014-07-14 | 2017-04-25 | Sony Corporation | Blood detection system with real-time capability and method of operation thereof |
JP6484336B2 (ja) * | 2015-06-17 | 2019-03-13 | オリンパス株式会社 | 撮像装置 |
WO2017199509A1 (ja) * | 2016-05-19 | 2017-11-23 | オリンパス株式会社 | 生体観察システム |
JP6834184B2 (ja) * | 2016-06-16 | 2021-02-24 | ソニー株式会社 | 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム |
JP6342598B1 (ja) * | 2016-11-01 | 2018-06-13 | オリンパス株式会社 | 画像処理装置 |
WO2018198255A1 (ja) * | 2017-04-26 | 2018-11-01 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法およびプログラム |
WO2019116947A1 (ja) * | 2017-12-15 | 2019-06-20 | Hoya株式会社 | 電子内視鏡システム |
WO2019171615A1 (ja) * | 2018-03-05 | 2019-09-12 | オリンパス株式会社 | 内視鏡システム |
JP7281308B2 (ja) * | 2019-03-07 | 2023-05-25 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
JP7147890B2 (ja) * | 2021-02-04 | 2022-10-05 | ソニーグループ株式会社 | 情報処理システム、情報処理方法及びプログラム |
WO2023276158A1 (ja) * | 2021-07-02 | 2023-01-05 | オリンパスメディカルシステムズ株式会社 | 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法 |
US20230076477A1 (en) * | 2021-09-05 | 2023-03-09 | Shimadzu Corporation | Imaging device and imaging method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4459771B2 (ja) * | 2004-09-30 | 2010-04-28 | Hoya株式会社 | 電子内視鏡用プロセッサ |
CN102170817A (zh) * | 2008-10-17 | 2011-08-31 | 奥林巴斯医疗株式会社 | 内窥镜系统和内窥镜图像处理装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001017387A (ja) | 1999-07-08 | 2001-01-23 | Olympus Optical Co Ltd | 内視鏡像観察システム |
US20020138008A1 (en) * | 2000-01-13 | 2002-09-26 | Kazuhiro Tsujita | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images |
IL157892A0 (en) * | 2001-03-14 | 2004-03-28 | Given Imaging Ltd | Method and system for detecting colorimetric abnormalities |
US20050059894A1 (en) * | 2003-09-16 | 2005-03-17 | Haishan Zeng | Automated endoscopy device, diagnostic method, and uses |
US20050065436A1 (en) * | 2003-09-23 | 2005-03-24 | Ho Winston Zonh | Rapid and non-invasive optical detection of internal bleeding |
US9220917B2 (en) * | 2006-04-12 | 2015-12-29 | The Invention Science Fund I, Llc | Systems for autofluorescent imaging and target ablation |
JP4895750B2 (ja) * | 2006-10-03 | 2012-03-14 | Hoya株式会社 | 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム |
JP5385138B2 (ja) * | 2007-07-12 | 2014-01-08 | オリンパスメディカルシステムズ株式会社 | 画像処理装置、該動作方法及び該プログラム |
JP5541914B2 (ja) * | 2009-12-28 | 2014-07-09 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法 |
-
2012
- 2012-09-25 CN CN201280048230.4A patent/CN103841876B/zh not_active Expired - Fee Related
- 2012-09-25 WO PCT/JP2012/074560 patent/WO2013051431A1/ja active Application Filing
- 2012-09-25 JP JP2013537472A patent/JP6042817B2/ja active Active
-
2014
- 2014-04-01 US US14/242,111 patent/US9687158B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4459771B2 (ja) * | 2004-09-30 | 2010-04-28 | Hoya株式会社 | 電子内視鏡用プロセッサ |
CN102170817A (zh) * | 2008-10-17 | 2011-08-31 | 奥林巴斯医疗株式会社 | 内窥镜系统和内窥镜图像处理装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2013051431A1 (ja) | 2013-04-11 |
CN103841876A (zh) | 2014-06-04 |
JPWO2013051431A1 (ja) | 2015-03-30 |
JP6042817B2 (ja) | 2016-12-14 |
US9687158B2 (en) | 2017-06-27 |
US20140213871A1 (en) | 2014-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103841876B (zh) | 荧光观察装置 | |
CN103565393B (zh) | 荧光观察装置和荧光观察系统 | |
US8358821B2 (en) | Image processing system, image processing method, and computer readable medium | |
JP5438571B2 (ja) | 電子内視鏡システム | |
JP4739242B2 (ja) | 埋込構造物の画像化 | |
US9629527B2 (en) | Endoscope system, processor device of endoscope system, and image processing method | |
US20120302847A1 (en) | Endoscope system and method for assisting in diagnostic endoscopy | |
EP2412294B1 (en) | Fluorescence observation system, fluorescence observation device, and fluorescence observation method | |
JP5887350B2 (ja) | 内視鏡システム及びその作動方法 | |
US9532719B2 (en) | Fluorescence endoscope apparatus | |
US20040148141A1 (en) | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images | |
US20130245411A1 (en) | Endoscope system, processor device thereof, and exposure control method | |
CN109195502B (zh) | 活体观察系统 | |
CN103200857B (zh) | 荧光观察装置 | |
WO2019205359A1 (zh) | 图像处理系统、荧光内窥镜照明成像装置及成像方法 | |
JP5762344B2 (ja) | 画像処理装置及び内視鏡システム | |
WO2013035694A1 (ja) | 内視鏡システム及びプロセッサ装置並びに画像表示方法 | |
EP2520212B1 (en) | Fluorescence endoscope device | |
US9596982B2 (en) | Endoscope system and composite image generation method | |
CN106659360A (zh) | 诊断支援装置和诊断支援信息显示方法 | |
US20170340273A1 (en) | Image processing device, living-body observation device, and image processing method | |
US9332897B2 (en) | Fluorescence-imaging apparatus | |
WO2021059889A1 (ja) | 内視鏡システム | |
JP2012100733A (ja) | 内視鏡診断装置 | |
JP6970777B2 (ja) | 内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160309 Termination date: 20180925 |
|
CF01 | Termination of patent right due to non-payment of annual fee |