CN113474710A - 医疗设备用颜色修正装置 - Google Patents

医疗设备用颜色修正装置 Download PDF

Info

Publication number
CN113474710A
CN113474710A CN202080014112.6A CN202080014112A CN113474710A CN 113474710 A CN113474710 A CN 113474710A CN 202080014112 A CN202080014112 A CN 202080014112A CN 113474710 A CN113474710 A CN 113474710A
Authority
CN
China
Prior art keywords
color
specific
conversion
tissue
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080014112.6A
Other languages
English (en)
Other versions
CN113474710B (zh
Inventor
荻野芳彦
杉山彻
村山雄亮
立石贵代子
前田晃宏
梶村阳一
松元丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Publication of CN113474710A publication Critical patent/CN113474710A/zh
Application granted granted Critical
Publication of CN113474710B publication Critical patent/CN113474710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

在本发明中,摄像装置用颜色变换部(140)对各医疗用摄像装置(30X~30Z)的摄像数据(Dx~Dz)进行消除每个摄像装置的颜色特性的差异的变换,生成标准色图像数据(Ds)。特定组织强调用颜色变换部(160)对该标准色图像数据(Ds)进行用于强调所指定的特定的生物体组织(例如血管)的颜色变换,生成特定组织强调图像数据(De)。监视器用颜色变换部(170)对该特定组织强调图像数据(De)进行消除每个监视器的颜色特性的差异的变换,生成显示用数据(Da~Dd)。颜色监视器(50A~50D)基于该显示用数据(Da~Dd)来进行图像显示。

Description

医疗设备用颜色修正装置
技术领域
本发明涉及医疗设备用颜色修正装置,特别涉及对通过医疗用摄像装置的摄像得到的、以生物体组织群为被摄体的图像数据进行适于向颜色监视器的显示的颜色修正的颜色修正装置。
背景技术
在手术中拍摄患者的患部周边,并将其显示于监视器画面上的医疗用图像显示系统,在大多医疗现场中被利用。例如,在一般的开腹手术的情况下,医疗用图像显示系统通过设置于手术室内的照相机拍摄开腹部,并将其显示于监视器上,能够通过利用该医疗用图像显示系统来在监视器上确认手术的情况。另一方面,在腹腔镜手术中,不进行开腹,需要将内窥镜照相机插入患者的腹腔内,一边观察在监视器上映出的影像一边进行施术,因此,医疗用图像显示系统的利用不可缺少。此外,并不限于手术,在进行对从人体切出的样品组织的检查、诊断时,也使用对其进行拍摄并显示于监视器的医疗用图像显示系统。
例如在下述的专利文献1中,公开了一种医疗用图像显示系统,将内窥镜照相机插入患者的体腔内,将体腔内图像显示于监视器,在专利文献2中,公开了一种系统,将内窥镜照相机的拍摄图像经由公共线路进行传输,将其显示在设置于远处的监视器上,由此对来自远处的手术进行支援。另一方面,还提出对手术中拍摄的图像实施什么图像处理并显示于监视器的系统。例如在专利文献3中公开了一种手术系统,对手术中的拍摄图像施加使得与施术者的观察方向一致那样的图像处理,来在监视器上进行更合适的图像显示。此外,在专利文献4中公开了一种医疗用图像显示系统,其能够根据手术中的患者的患部的拍摄数据来生成三维体数据,并基于该三维体数据在监视器上显示手术中CT图像。
在先技术文献
专利文献
专利文献1:JP特开2015-116425号公报
专利文献2:JP特开2000-237206号公报
专利文献3:JP特开2005-046200号公报
专利文献4:JP特开2011-136132号公报
发明内容
-发明要解决的课题-
上述的医疗用图像显示系统大多都是作为包含从照相机到监视器的全系统的整套的产品,由单一的供应商来提供。但在各个供应商的每一个中,所用的照相机、监视器的机种各种各样,其特性的调整基准也各种各样。根据这样的情形,当前,从多个供应商提供的医疗用图像显示系统具有相互不同的颜色特性。为此,即使在完全相同的照明环境中拍摄完全相同的被摄体,使其显示于颜色监视器上,显示于监视器上的被摄体的色彩配合也会按各个医疗用图像显示系统的每一个而不同。
一般而言,照相机、监视器具有各自针对每个设备固有的颜色特性。例如,在完全相同的照明环境下,用多台照相机拍摄完全相同的被摄体的情况下,得到的图像数据(通常,包含具有三原色R、G、B的值的像素的集合体的数据)分别不同。这是因为,各照相机的颜色特性互不相同。同样地,在将完全相同的图像数据提供给多台颜色监视器而进行图像显示的情况下,在各个监视器的每一个中,颜色的再现性不同。这是因为,各颜色监视器的颜色特性互不相同。根据这样的情形,由各个供应商提供的医疗用图像显示系统的颜色再现性相互不同。这在施术者基于颜色监视器上的图像来进行各种诊断方面成为较大的问题。
今后,通过广泛普及这样的医疗用图像显示系统,能够从大量供应商提供各种医疗用摄像装置(手术用照相机、内窥镜照相机、显微镜照相机等)、监视器,将由不同的供应商提供的各种设备组合起来,构建1台医疗用图像显示系统的示例也增加。于是,各个系统的颜色再现性的变化进一步扩展,在施术者进行正确的诊断方面成为弊端。
此外,根据手术,希望仅详细观察特定的生物体组织的情形也并不少见。如上所述,在专利文献3中,公开了通过对拍摄图像施加图像处理,在监视器上显示与施术者的观察方向一致的图像的技术,在专利文献4中,公开了基于拍摄图像生成三维体数据、在监视器上显示CT图像的技术。然而,在这些技术中,无法进行适合于特定的生物体组织的观察的视觉辨识性的图像显示。
本发明提供用于解决这些问题的新的技术。本发明的第1目的在于,即使在组合具有各种颜色特性的设备来构成医疗用图像显示系统的情况下,也能够消除每个设备的颜色特性的差异,从而进行具有统一的色调的图像显示。并且,本发明的第2目的在于,在利用医疗用图像显示系统时,能够进行适合于特定的生物体组织的观察的具有视觉辨识性的图像显示。
-用于解决课题的手段-
(1)本发明的第1方式是一种医疗设备用颜色修正装置,对通过医疗用摄像装置的摄像得到的图像数据进行适于向颜色监视器的显示的颜色修正,该医疗设备用颜色修正装置设有:摄像装置用单独变换数据存放部,其存放用于考虑特定的医疗用摄像装置所具有的固有的颜色特性来将该医疗用摄像装置的摄像数据的颜色特性变换成标准色特性的单独变换数据;特定组织强调用变换数据存放部,其存放用于进行强调特定的生物体组织的颜色变换的特定组织强调用变换数据;监视器用单独变换数据存放部,其存放用于考虑特定的颜色监视器所具有的固有的颜色特性来进行在该颜色监视器上显示具有标准色特性的图像那样的颜色变换的单独变换数据;摄像装置用颜色变换部,其对从特定的医疗用摄像装置输入的摄像数据进行利用了存放于摄像装置用单独变换数据存放部的关于该特定的医疗用摄像装置的单独变换数据的颜色变换,从而生成标准色图像数据;强调组织指定部,其接受指定成为强调显示的对象的特定的生物体组织的指定输入;特定组织强调用颜色变换部,其对标准色图像数据进行利用了存放于特定组织强调用变换数据存放部的用于进行强调通过指定输入指定的特定的生物体组织的颜色变换的特定组织强调用变换数据的颜色变换,从而生成特定组织强调图像数据;和监视器用颜色变换部,其对特定组织强调图像数据进行利用了存放于监视器用单独变换数据存放部的关于特定的颜色监视器的单独变换数据的颜色变换,从而生成显示用数据,将生成的显示用数据输出到该特定的颜色监视器。
(2)本发明的第2方式在上述的第1方式所涉及的医疗设备用颜色修正装置基础上,作为存放于摄像装置用单独变换数据存放部的单独变换数据,使用能够进行覆盖在与超高精细画质电视相关的国际标准BT.2020的规格中确定的宽色域的颜色变换的变换数据。
(3)本发明的第3方式在上述的第1或第2方式所涉及的医疗设备用颜色修正装置基础上,作为存放于摄像装置用单独变换数据存放部的单独变换数据,使用将以来自国际照明委员会所规定的D65光源的光为背景光的给定的颜色图表的透过光的颜色特性作为标准色特性的变换数据。
(4)本发明的第4方式在上述的第1~第3方式所涉及的医疗设备用颜色修正装置基础上,作为存放于摄像装置用单独变换数据存放部的单独变换数据,使用用于将摄像数据的三原色分量Rold、Gold、Bold变换成标准色图像数据的三原色分量Rnew、Gnew、Bnew的变换数据。
(5)本发明的第5方式在上述的第1~第4方式所涉及的医疗设备用颜色修正装置基础上,在摄像装置用单独变换数据存放部分别存放关于I台的多台医疗用摄像装置的单独变换数据,摄像装置用颜色变换部对从第i个(1≤i≤I)医疗用摄像装置输入的摄像数据进行利用了第i个单独变换数据的颜色变换,从而生成标准色图像数据。
(6)本发明的第6方式在上述的第1~第5方式所涉及的医疗设备用颜色修正装置基础上,摄像装置用颜色变换部被输入在无影灯或内窥镜光源下拍摄的摄像数据,进行对其的颜色变换来生成标准色图像数据。
(7)本发明的第7方式在上述的第1~第6方式所涉及的医疗设备用颜色修正装置基础上,存放于摄像装置用单独变换数据存放部的单独变换数据由将构成摄像数据的各颜色分量的组合变换成构成标准色图像数据的各颜色分量的组合的查找表构成。
(8)本发明的第8方式在上述的第1~第6方式所涉及的医疗设备用颜色修正装置基础上,存放于摄像装置用单独变换数据存放部的单独变换数据由通过将构成摄像数据的各颜色分量的组合作为变量值提供来算出构成标准色图像数据的各颜色分量的组合的函数构成。
(9)本发明的第9方式在上述的第1~第8方式所涉及的医疗设备用颜色修正装置基础上,在特定组织强调用变换数据存放部中分别存放关于J种的多种生物体组织的特定组织强调用变换数据,特定组织强调用颜色变换部在从强调组织指定部接受到指定第j个(1≤j≤J)生物体组织的指定输入的情况下,进行利用了第i个特定组织强调用变换数据的颜色变换来生成特定组织强调图像数据。
(10)本发明的第10方式在上述的第9方式所涉及的医疗设备用颜色修正装置基础上,强调组织指定部具有接受重复指定H种的多种(H≤J)生物体组织的指定输入的功能,特定组织强调用颜色变换部在从强调组织指定部接受到指定H种的多种生物体组织的指定输入的情况下,重复进行利用了与这H种的多种生物体组织对应的H种的多种特定组织强调用变换数据的颜色变换,从而生成特定组织强调图像数据。
(11)本发明的第11方式在上述的第1~第10方式所涉及的医疗设备用颜色修正装置基础上,强调组织指定部具有接受表示哪个生物体组织都不指定的空指定输入的功能,在特定组织强调用颜色变换部从强调组织指定部接受到空指定输入的情况下,不进行颜色变换,将标准色图像数据原样不变地作为特定组织强调图像数据而输出。
(12)本发明的第12方式在上述的第1~第11方式所涉及的医疗设备用颜色修正装置基础上,作为存放于特定组织强调用变换数据存放部的特定组织强调用变换数据,使用在给定的颜色空间中对特定的生物体组织所固有的局部颜色区域中包含的颜色进行特定的颜色修正的数据。
(13)本发明的第13方式在上述的第12方式所涉及的医疗设备用颜色修正装置基础上,作为存放于特定组织强调用变换数据存放部的特定组织强调用变换数据,使用在给定的二维色度图上对特定的生物体组织所固有的局部颜色区域中包含的颜色进行使横坐标值、纵坐标值或其双方增减的颜色修正的数据。
(14)本发明的第14方式在上述的第13方式所涉及的医疗设备用颜色修正装置基础上,作为存放于特定组织强调用变换数据存放部的特定组织强调用变换数据,使用在u′v′色度图上对特定的生物体组织所固有的局部颜色区域中包含的颜色进行使u′值、v′值或其双方增减的颜色修正的数据。
(15)本发明的第15方式在上述的第14方式所涉及的医疗设备用颜色修正装置基础上,强调组织指定部具有接受指定“血管”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,在特定组织强调用变换数据存放部中存放对u′v′色度图上的血管所固有的局部颜色区域中包含的颜色进行使u′值增加的颜色修正的变换数据,作为用于进行强调“血管”的颜色变换的特定组织强调用变换数据。
(16)本发明的第16方式在上述的第14或第15方式所涉及的医疗设备用颜色修正装置基础上,强调组织指定部具有接受指定“脂肪”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,在特定组织强调用变换数据存放部中存放对u′v′色度图上的脂肪所固有的局部颜色区域中包含的颜色进行使u′值减少且使v′值增加的颜色修正的变换数据,作为用于进行强调“脂肪”的颜色变换的特定组织强调用变换数据。
(17)本发明的第17方式在上述的第14~第16方式所涉及的医疗设备用颜色修正装置基础上,强调组织指定部具有接受指定“表层膜”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,在特定组织强调用变换数据存放部中存放对u′v′色度图上的表层膜所固有的局部颜色区域中包含的颜色进行使u′值增加且使v′值减少的颜色修正的变换数据,作为用于进行强调“表层膜”的颜色变换的特定组织强调用变换数据。
(18)本发明的第18方式在上述的第1~第17方式所涉及的医疗设备用颜色修正装置基础上,作为存放于监视器用单独变换数据存放部的单独变换数据,使用能够进行覆盖在与超高精细画质电视相关的国际标准BT.2020的规格中确定的宽色域的颜色变换的变换数据。
(19)本发明的第19方式在上述的第1~第18方式所涉及的医疗设备用颜色修正装置基础上,在监视器用单独变换数据存放部中分别存放关于K台的多台颜色监视器的单独变换数据,监视器用颜色变换部在生成对第k个(1≤k≤K)的颜色监视器输出的显示用数据时,进行利用了第k个单独变换数据的颜色变换。
(20)本发明的第20方式在上述的第1~第19方式所涉及的医疗设备用颜色修正装置基础上,存放于监视器用单独变换数据存放部的单独变换数据由将构成特定组织强调图像数据的各颜色分量的组合变换成构成显示用数据的各颜色分量的组合的查找表构成。
(21)本发明的第21方式在上述的第1~第19方式所涉及的医疗设备用颜色修正装置基础上,存放于监视器用单独变换数据存放部的单独变换数据由通过将构成特定组织强调图像数据的各颜色分量的组合作为变量值提供来算出构成显示用数据的各颜色分量的组合的函数构成。
(22)本发明的第22方式是一种医疗设备用颜色修正装置,对以生物体组织群为被摄体的图像数据进行强调特定的生物体组织的颜色变换,在该医疗设备用颜色修正装置中设有:特定组织强调用变换数据存放部,其存放用于进行强调特定的生物体组织的颜色变换的特定组织强调用变换数据;强调组织指定部,其接受指定成为强调显示的对象的特定的生物体组织的指定输入;和特定组织强调用颜色变换部,其对基于医疗用摄像装置的摄像得到的图像数据进行利用了存放于特定组织强调用变换数据存放部的用于进行强调通过指定输入指定的特定的生物体组织的颜色变换的特定组织强调用变换数据的颜色变换,从而生成特定组织强调图像数据。
(23)本发明的第23方式在上述的第22方式所涉及的医疗设备用颜色修正装置基础上,作为存放于特定组织强调用变换数据存放部的特定组织强调用变换数据,使用在给定的颜色空间中对特定的生物体组织所固有的特定的局部颜色区域中包含的颜色进行特定的颜色修正的数据。
(24)本发明的第24方式在上述的第23方式所涉及的医疗设备用颜色修正装置基础上,作为存放于特定组织强调用变换数据存放部的特定组织强调用变换数据,使用对给定的二维色度图上的特定的生物体组织所固有的局部颜色区域中包含的颜色进行使横坐标值、纵坐标值或其双方增减的颜色修正的数据。
(25)本发明的第25方式在上述的第24方式所涉及的医疗设备用颜色修正装置基础上,作为存放于特定组织强调用变换数据存放部的特定组织强调用变换数据,使用对u′v′色度图上的特定的生物体组织所固有的局部颜色区域中包含的颜色进行使u′值、v′值或其双方增减的颜色修正的数据。
(26)本发明的第26方式在上述的第25方式所涉及的医疗设备用颜色修正装置基础上,强调组织指定部具有接受指定“血管”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,在特定组织强调用变换数据存放部中存放对u′v′色度图上的血管所固有的局部颜色区域中包含的颜色进行使u′值增加的颜色修正的变换数据,作为用于进行强调“血管”的颜色变换的特定组织强调用变换数据。
(27)本发明的第27方式在上述的第25或第26方式所涉及的医疗设备用颜色修正装置基础上,强调组织指定部具有接受指定“脂肪”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,在特定组织强调用变换数据存放部中存放对u′v′色度图上的脂肪所固有的局部颜色区域中包含的颜色进行使u′值减少且使v′值增加的颜色修正的变换数据,作为用于进行强调“脂肪”的颜色变换的特定组织强调用变换数据。
(28)本发明的第28方式在上述的第25~第27方式所涉及的医疗设备用颜色修正装置基础上,强调组织指定部具有接受指定“表层膜”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,在特定组织强调用变换数据存放部中存放对u′v′色度图上的表层膜所固有的局部颜色区域中包含的颜色进行使u′值增加且使v′值减少的颜色修正的变换数据,作为用于进行强调“表层膜”的颜色变换的特定组织强调用变换数据。
(29)本发明的第29方式在上述的第1~第21方式所涉及的医疗设备用颜色修正装置中附加对该医疗设备用颜色修正装置提供摄像数据的至少1台医疗用摄像装置、和基于从该医疗设备用颜色修正装置输出的显示用数据来进行图像显示的至少1台颜色监视器,由此构成医疗用图像显示系统。
(30)本发明的第30方式通过在计算机组装于程序来构成上述的第1~第28方式所涉及的医疗设备用颜色修正装置。
-发明效果-
本发明的第1~第21方式所涉及的医疗设备用颜色修正装置是组装于包含医疗用摄像装置和颜色监视器的医疗用图像显示系统而使用的装置。在该颜色修正装置中,由于各个医疗用摄像装置所具有的颜色特性的差异被摄像装置用颜色变换部消除,各个颜色监视器所具有的颜色特性的差异被监视器用颜色变换部消除,因此,实现了“即使在组合具有各种颜色特性的设备来构成医疗用图像显示系统的情况下,也能够消除每个设备的颜色特性的差异来进行具有统一的色调的图像显示”这样的本发明的第1目的。进而,在该颜色修正装置中,由于通过摄像装置用颜色变换部进行的变换来生成标准色图像数据,对该标准色图像数据进行强调特定的生物体组织的颜色变换,因此还实现了“能够进行适合于特定的生物体组织的观察的视觉辨识性的图像显示”这样的本发明的第2目的。
另一方面,本发明的第22~第28方式所涉及的医疗设备用颜色修正装置也是组装于包含医疗用摄像装置和颜色监视器的医疗用图像显示系统而使用的装置。在该颜色修正装置中,由于对基于医疗用摄像装置的摄像而得到的图像数据进行强调特定的生物体组织的颜色变换,因此实现了“能够进行适合于特定的生物体组织的观察的视觉辨识性的图像显示”这样的本发明的第2目的。
附图说明
图1是表示导入现有的一般的医疗用图像显示系统的手术室的情况的框图。
图2是表示现有的一般的医疗用图像显示系统中的图像数据的流程的框图。
图3是表示包含本发明所涉及的医疗设备用颜色修正装置100的医疗用图像显示系统1000的基本结构的框图。
图4是表示存放于图3所示的摄像装置用单独变换数据存放部110的单独变换数据Cx的生成步骤的框图。
图5是表示图4所示的颜色图表70的具体例的俯视图。
图6是表示存放于图3所示的摄像装置用单独变换数据存放部110的单独变换数据以及存放于监视器用单独变换数据存放部130的单独变换数据的具体例的图。
图7是表示对医疗用图像显示系统调查颜色监视器上的颜色再现性的测定的基本步骤的图。
图8是表示通过对图5的(b)所示的多色图表72实施图7所示的测定步骤而得到的颜色分布的u′v′色度图。
图9是表示通过对图5的(c)所示的宽色域颜色图表73实施图7所示的测定步骤而得到的颜色分布的u′v′色度图。
图10是表示将图8的(b)所示的颜色分布和图9的(b)所示的颜色分布合成后的合成颜色分布的u′v′色度图(上层)以及表示关于该颜色分布的色域使用率的图(下层)。
图11是表示各光源的可视光谱的图表。
图12是表示各光源的色温的u′v′色度图。
图13是表示在无影灯下测定的大肠检体本身的各部的颜色分布的u′v′色度图。
图14是表示在内窥镜光源下(经由光纤)测定的大肠检体本身的各部的颜色分布的u′v′色度图(实际上是将图13的测定结果通过模拟变换成内窥镜光源下的测定结果)。
图15是表示在D65光源下测定的大肠检体本身的各部的颜色分布的u′v′色度图(实际上是将图13的测定结果通过模拟而变换成D65光源下的测定结果)。
图16是表示图13的测定中所用的大肠检体以及其特定组织的样品部位的俯视图。
图17是表示通过在无影灯下测定图16所示的各样品部位而得到的颜色分布的u′v′色度图。
图18是表示通过在D65光源下测定图16所示的各样品部位而得到的颜色分布的u′v′色度图。
图19是表示由图3所示的医疗设备用颜色修正装置100内的特定组织强调用变换数据Ce、Cf、Cg所定义的特定的生物体组织所固有的局部颜色区域Ae、Af、Ag以及其修正方向Me、Mf、Mg的u′v′色度图。
图20是表示构成图3所示的医疗设备用颜色修正装置100内的强调组织指定部150的指示按钮的一例的正面图。
图21是表示关于通过对具有图10所示的颜色分布的图像数据由特定组织强调用颜色变换部160执行各种强调修正而得到的图像数据的颜色分布的u′v′色度图。
具体实施方式
以下,基于图示的实施方式对本发明进行说明。
<<<§1.现有的一般的医疗用图像显示系统>>>
首先,对现有的一般的医疗用图像显示系统进行简单的说明。图1是表示导入了现有的一般的医疗用图像显示系统的手术室的情况的框图。如图示那样,在手术室中,设置有手术台10,被施行手术者(患者)P横躺于其上。在手术台10的上方设置有无影灯20,并对被施行手术者P的患部进行照明。图示的示例是对被施行手术者P进行腹腔镜手术的示例,在手术中,在被施行手术者P的腹部形成直径10mm左右的开口部,将内窥镜照相机31的前端部插入被施行手术者P的腹腔内。
内窥镜照相机31通过线缆与内窥镜控制单元41连接。内窥镜控制单元41是用于控制内窥镜照相机31的装置,具有进行对内窥镜照相机31的电源供给、从内窥镜照相机31的摄像数据的取入、安装于内窥镜照相机31的内窥镜光源的ON/OFF、摄像数据的录影等功能。另外,图中仅描绘了1台内窥镜照相机31,还有根据需要而使用多台内窥镜照相机的情况。
在图示的示例的情况下,在内窥镜控制单元41连接4台颜色监视器51~54,将内窥镜照相机31的摄像图像经由内窥镜控制单元41送往各颜色监视器51~54,显示于各画面上。施术者一边观察画面上的图像一边进行腹腔镜手术(省略关于手术用的器具的图示)。颜色监视器51~54不一定非要设置在手术室内,也可以将一部分或全部设置在其他房间(例如会议室)。在前述的专利文献2公开的系统中,将监视器配置于远处,进行基于远程操作的手术。
在该图1所示的示例的情况下,包含内窥镜照相机31、内窥镜控制单元41、颜色监视器51~54的系统构成医疗用图像显示系统。当然,在一般的开腹手术的情况下,也根据需要而导入这样的医疗用图像显示系统。在开腹手术的情况下,通常取代内窥镜照相机31而利用从上方拍摄患部的通常的照相机,但在特殊的开腹手术中,也有并用内窥镜照相机的情况。在开腹手术的情况下,由于施术者通常一边肉眼观察患部一边施术,因此将监视器上的显示图像被用作对施术助手、其他相关人员进行提示的信息。
图2是表示现有的一般的医疗用图像显示系统中的图像数据的流程的框图。在该图2中示出如下示例:用医疗用摄像装置30对成为被施行手术者P的患部的实际的脏器P1的图像进行拍摄,将得到的摄像数据经由摄像控制单元40传输到颜色监视器50,在其画面上显示脏器的显示图像P2。在图1所示那样的腹腔镜手术的情况下,将内窥镜照相机31用作医疗用摄像装置30,将内窥镜控制单元41用作摄像控制单元40。在被施行手术者P的上方配置有无影灯20,被施行手术者P被来自该无影灯20的光照明(在图2中,从无影灯20朝向实际的脏器P1的虚线的箭头表示这样的照明光)。但是,在腹腔镜手术的情况下,来自无影灯20的照明光不会到达成为被摄体的实际的脏器P1,因此接受来自安装于内窥镜照相机的内窥镜光源(内窥镜照相机附带光源)的照明(在图2中,从医疗用摄像装置30朝向实际的脏器P1的虚线的箭头表示来自该内窥镜光源的照明光)。
结果,在图2所示的示例的情况下,包含医疗用摄像装置30、摄像控制单元40、颜色监视器50的系统构成医疗用图像显示系统。在此,医疗用摄像装置30是通过对实际的脏器P1进行拍摄而进行图像输入的结构要素,摄像控制单元40是进行中转通过该图像输入得到的图像数据的处理的结构要素,颜色监视器50是通过基于提供的图像数据在画面上显示脏器的显示图像P2而进行图像输出的结构要素。
如已经叙述那样,医疗用摄像装置30、颜色监视器50在各个设备的每一个中具有固有的颜色特性。为此,通常,在显示于颜色监视器50的画面上的脏器的显示图像P2的色调与实际的脏器P1的色调(在无影灯20或内窥镜光源的照明下下的色调)之间产生差异。并且,该色调的差异根据作为医疗用摄像装置30实际使用的设备、作为颜色监视器50实际使用的设备而不同。为此,在作为医疗用摄像装置30而使用多种照相机、或作为颜色监视器50而使用多种设备的情况下,根据将用哪个照相机拍摄的图像在哪个颜色监视器进行显示、这样具体的方式,脏器的显示图像P2的色调会发生改变。
今后,预想开发大量具有各种特征的内窥镜照相机,并由各种供应商来提供,此外,预想开发大量具有各种特征的颜色监视器,并由各种供应商来提供。这样,在将具有各种颜色特性的设备组合来构成医疗用图像显示系统,脏器的显示图像P2的色调也多种多样。这在施术者基于颜色监视器50上的图像来进行各种诊断方面是较大的问题。
在前述的专利文献3所记载的系统的情况下,在相当于摄像控制单元40的装置内进行对拍摄图像的图像处理,在颜色监视器50上显示与施术者的观察方向一致的图像,但并未进行消除各设备的颜色特性的相异的处理。此外,在前述的专利文献4所记载的系统的情况下,在相当于摄像控制单元40的装置内生成三维体数据,在颜色监视器上显示CT图像,但不进行消除各设备的颜色特性的相异的处理。
这样,在现有的医疗用图像显示系统中,在将具有各种颜色特性的设备组合来构成医疗用图像显示系统的情况下,存在由于每个设备的颜色特性的差异而存在显示于颜色监视器上的图像的色调不统一这样的问题。本发明的第1目的是鉴于这样的问题而提出的,即使在将具有各种颜色特性的设备组合来构成医疗用图像显示系统的情况下,也能够消除每个设备的颜色特性的差异来进行具有统一的色调的图像显示。
此外,从实际进行手术的施术者的立场出发,有想要仅详细观察特定的生物体组织的情况,但在图1、图2所示的现有的医疗用图像显示系统中,无法回应这样的要求。例如,在某脏器的血管成为施术对象的情况下,施术者一边详细观察血管的部分一边推进手术。然而在现有的医疗用图像显示系统中,由于在颜色监视器上,血管部分整体以发红的颜色显示,因此难以从颜色监视器上的显示图像掌握关于血管部分的微妙的色调的相异、阴影。本发明的第2目的是鉴于这样的问题而提出的,能够实现适合于特定的生物体组织的观察的视觉辨识性的图像显示。
为此,在§2以后,详述能够实现上述2个目的的本发明所涉及的医疗设备用颜色修正装置。
<<<§2.本发明所涉及的医疗用图像显示系统>>>
在此说明本发明所涉及的医疗用图像显示系统、和组装于该系统来使用的医疗设备用颜色修正装置的基本结构以及基本功能。
<2.0医疗用图像显示系统的基本结构>
图3是表示包含本发明所涉及的医疗设备用颜色修正装置100的医疗用图像显示系统1000的基本结构的框图。这里例示的医疗用图像显示系统1000由3台医疗用摄像装置30X~30Z、4台颜色监视器50A~50D以及1台医疗设备用颜色修正装置100构成。若将该图3所示的医疗用图像显示系统1000与图2所示的现有的医疗用图像显示系统进行对比,则医疗用摄像装置30X~30Z与医疗用摄像装置30对应,颜色监视器50A~50D与颜色监视器50对应,医疗设备用颜色修正装置100与摄像控制单元40对应。其中,图2所示的摄像控制单元40仅具有将从医疗用摄像装置30得到的摄像数据原样不变地移交给颜色监视器50的中转功能,与此相对,图3所示的医疗设备用颜色修正装置100具有对从医疗用摄像装置30X~30Z得到的摄像数据Dx~Dz施行给定的颜色修正处理、生成适于各颜色监视器50A~50D的各显示用数据Da~Dd的功能。
医疗用摄像装置30X~30Z只要是能够拍摄医疗用图像的装置,就可以是任何装置。具体而言,例如可以是腹腔镜手术中所用的内窥镜照相机,也可以是配置于手术室的通常的视频照相机。当然,通过医疗用摄像装置30X~30Z的摄像得到的图像数据可以是静止图像数据,也可以是动态图像数据。此外,这里所示的医疗用图像显示系统1000并不限定于向手术的利用,还能够利用在拍摄从人体切出的样品组织并显示于颜色监视器来进行检查、诊断的用途中,在利用在这样的用途中时,例如还能够使用显微镜照相机作为医疗用摄像装置。
另一方面,颜色监视器50A~50D只要是具有彩色图像的显示功能的装置,就可以是任何装置。一般而言,将与计算机连接来用的彩色显示器用作颜色监视器50A~50D即可。如§1中叙述的那样,各颜色监视器50A~50D的设置场所也是任意的。
另外,在此为了说明的方便,示出通过将3台医疗用摄像装置30X~30Z和4台颜色监视器50A~50D与医疗设备用颜色修正装置100连接来构成医疗用图像显示系统1000的示例,但医疗用摄像装置的台数、颜色监视器的台数可以是任意的。为了构成本发明所涉及的医疗用图像显示系统1000,在医疗设备用颜色修正装置100连接至少1台医疗用摄像装置30和至少1台颜色监视器50即足够。
图3所示的医疗设备用颜色修正装置100如图中以一点划线包围示出的那样,具有摄像装置用单独变换数据存放部110、特定组织强调用变换数据存放部120、监视器用单独变换数据存放部130、摄像装置用颜色变换部140、强调组织指定部150、特定组织强调用颜色变换部160、监视器用颜色变换部170。实际上,这些各结构要素能够通过在计算机装上专用的程序来实现。因此,在实用方面,图3所示的医疗设备用颜色修正装置100由装上专用的程序的计算机构成,医疗用摄像装置30X~30Z、颜色监视器50A~50D与该计算机连接。另外,在图3中,用矩形块描绘各个结构要素,用椭圆块描绘在该矩形块间送受的数字数据。
该医疗设备用颜色修正装置100具有对通过医疗用摄像装置30X~30Z的摄像得到的图像数据(实际上是为了构成动态图像而在时间序列上并排的多个图像数据)进行适于向颜色监视器50A~50D的显示的颜色修正的功能。在图3的框图中,将各通过医疗用摄像装置30X~30Z的摄像得到的图像数据(输入到医疗设备用颜色修正装置100的图像数据)分别称作摄像数据Dx、Dy、Dz,将给到各颜色监视器50A~50D的图像数据(从医疗设备用颜色修正装置100输出的图像数据)分别称作显示用数据Da、Db、Dc、Dd。因此,医疗设备用颜色修正装置100起到如下作用:对输入的摄像数据Dx、Dy、Dz分别施加给定的颜色修正处理,将处理后的图像数据作为显示用数据Da、Db、Dc、Dd输出。
这样的颜色修正处理作为3个阶段的变换处理来执行。第1变换处理是对所输入的摄像数据Dx、Dy、Dz进行的处理,利用存放于摄像装置用单独变换数据存放部110的单独变换数据Cx、Cy、Cz,由摄像装置用颜色变换部140来执行。该第1变换处理的目的在于,消除各医疗用摄像装置30X、30Y、30Z所具有的每个设备的颜色特性的差异,从摄像装置用颜色变换部140输出的标准色图像数据Ds成为消除了具有每个设备的颜色特性的差异的标准色的色彩配合的图像数据。
接着进行的第2变换处理是对从摄像装置用颜色变换部140输出的标准色图像数据Ds进行的处理,利用存放于特定组织强调用变换数据存放部120的特定组织强调用变换数据(在图示的示例的情况下,血管强调数据Ce、脂肪强调数据Cf、表层膜强调数据Cg),由特定组织强调用颜色变换部160来执行。该第2变换处理的目的在于,为了进行适合于操作人员指定的特定的生物体组织的观察的视觉辨识性的图像显示,进行强调该特定的生物体组织的颜色变换。从特定组织强调用颜色变换部160输出的特定组织强调图像数据(在图中,对应于所指定的生物体组织而示出数据De、Df、Dg)成为与适合于特定的生物体组织的观察的视觉辨识性的图像对应的图像数据。
最后进行的第3变换处理是对从特定组织强调用颜色变换部160输出的特定组织强调图像数据De、Df、Dg进行的处理,利用存放于监视器用单独变换数据存放部130的单独变换数据Ca、Cb、Cc、Cd,由监视器用颜色变换部170来执行。该第3变换处理的目的在于,消除各颜色监视器50A~50D所具有的每个设备的颜色特性的差异,从监视器用颜色变换部170输出的各显示用数据Da、Db、Dc、Dd成为进行过用于消除各个设备的每一个的颜色特性的差异的修正的图像数据。
另外,在图3中,朝向下方的各箭头不是表示各个图像数据本身的流程,而是表示与色彩配合相关的变换过程的流程。例如,在摄像装置用颜色变换部140的输入级描绘有3个下方箭头,与此相对,在输出级仅描绘有1个下方箭头,这表示,输入侧的3组摄像数据Dx、Dy、Dz分别具有固有的色彩配合,与此相对,输出侧的标准色图像数据Ds具有共通的标准色。换言之,输入级的3根下方箭头表示:即使是在相同条件对相同被摄体进行拍摄的情况,也由于各个摄像装置所具有的固有的颜色特性,摄像数据Dx、Dy、Dz成为相互不同的数据(具有不同的色彩配合的数据),输出级的1根下方箭头表示:通过摄像装置用颜色变换部140的变换处理,消除了摄像数据Dx、Dy、Dz的色彩配合的差异,得到了具有共通的色彩配合的标准色图像数据Ds。
特定组织强调用颜色变换部160对应于成为强调对象的特定的生物体组织来变换该标准色图像数据Ds的色彩配合,并输出特定组织强调图像数据(图像数据De、Df、Dg中的任一者)。因此,对监视器用颜色变换部170的输入级提供描绘成1个下方箭头的特定组织强调图像数据。在监视器用颜色变换部170的输出级描绘4个下方箭头表示:给到各个颜色监视器50A~50D的显示用数据Da~Dd的色彩配合对应于各个颜色监视器50A~50D所具有的固有的颜色特性而不同。即,即使对监视器用颜色变换部170的输入级给予相同特定组织强调图像数据,在输出级也得到分别不同的显示用数据Da~Dd。
<2.1与第1变换处理相关的基本动作>
接着,依次说明关于在医疗设备用颜色修正装置100内作为矩形块而示出的各个结构要素的基本功能。首先,叙述与第1变换处理(对所输入的摄像数据Dx、Dy、Dz进行的处理)相关的摄像装置用单独变换数据存放部110以及摄像装置用颜色变换部140的基本功能。
首先,摄像装置用单独变换数据存放部110是存放用于考虑特定的医疗用摄像装置所具有的固有的颜色特性来将该医疗用摄像装置的摄像数据的颜色特性变换成标准色特性的单独变换数据的结构要素。在图3所示的实施例的情况下,在医疗设备用颜色修正装置100连接有3台医疗用摄像装置30X、30Y、30Z,在摄像装置用单独变换数据存放部110,与这3台医疗用摄像装置30X、30Y、30Z对应地分别准备单独变换数据Cx、Cy、Cz。例如,单独变换数据Cx是用于考虑医疗用摄像装置30X所具有的固有的颜色特性来将医疗用摄像装置30X的摄像数据Dx的颜色特性变换成标准色特性的变换数据。这样的变换数据的实体在§3中详述。
摄像装置用颜色变换部140是对从特定的医疗用摄像装置输入的摄像数据进行利用了存放于摄像装置用单独变换数据存放部110的关于该特定的医疗用摄像装置的单独变换数据的颜色变换、从而生成标准色图像数据的结构要素。例如,在从医疗用摄像装置30X给予摄像数据Dx的情况下,摄像装置用颜色变换部140对该摄像数据Dx执行如下处理:进行利用了存放于摄像装置用单独变换数据存放部110的关于医疗用摄像装置30X的单独变换数据Cx的颜色变换,从而生成标准色图像数据Ds。
在图示的示例的情况下,由于在医疗设备用颜色修正装置100连接有3台医疗用摄像装置30X、30Y、30Z,因此在摄像装置用单独变换数据存放部110中准备3组单独变换数据Cx、Cy、Cz,但一般若是设想I台的多台医疗用摄像装置的利用的情况,则在摄像装置用单独变换数据存放部110分别存放关于这I台医疗用摄像装置的单独变换数据即可。在该情况下,摄像装置用颜色变换部140对从第i个(1≤i≤I)医疗用摄像装置30i输入的摄像数据Di进行利用了第i个单独变换数据Ci(关于第i个医疗用摄像装置30i的单独变换数据)的颜色变换,从而生成标准色图像数据Ds。
这样,通过摄像装置用颜色变换部140的颜色变换处理得到的标准色图像数据Ds由于将各医疗用摄像装置所固有的颜色特性变换成标准色特性,因此成为消除了每个设备的颜色特性的差异的具有统一的色调的图像数据。因此,在相同摄像条件通过3台医疗用摄像装置30X、30Y、30Z拍摄相同被摄体的情况下,所得到的摄像数据Dx、Dy、Dz的内容相互不同,但通过对这些摄像数据Dx、Dy、Dz的颜色变换处理而得到的3种标准色图像数据(这里称作Dsx、Dsy、Dsz)理论上成为相同图像数据。换言之,各个摄像数据Dx、Dy、Dz表现的图像的色彩配合对应于各摄像装置所固有的颜色特性而相互不同,但通过在摄像装置用颜色变换部140的颜色变换后得到的标准色图像数据Dsx、Dsy、Dsz表现的图像的色彩配合理论上相同。
<2.2与第2变换处理相关的基本动作>
接着,叙述与第2变换处理(对从摄像装置用颜色变换部140输出的标准色图像数据Ds进行的处理)相关的特定组织强调用变换数据存放部120、强调组织指定部150、以及特定组织强调用颜色变换部160的基本功能。
图3所示的医疗设备用颜色修正装置100的重要的特征之一在于,通过摄像装置用颜色变换部140的颜色变换处理将从各医疗用摄像装置30X、30Y、30Z得到的摄像数据Dx、Dy、Dz一度变换成标准色图像数据Ds(第1变换处理),对该标准色图像数据Ds进行特定组织强调用颜色变换部160的颜色变换处理,生成强调特定的生物体组织的特定组织强调图像数据De、Df、Dg(第2变换处理),相对于此,进一步进行监视器用颜色变换部170的颜色变换处理,来生成与各颜色监视器50A~50D对应的显示数据Da~Dd(第3变换处理)。由于特定组织强调用颜色变换部160的颜色变换处理的对象是具有标准的色彩配合的标准色图像数据Ds,因此在进行特定组织强调用颜色变换部160的颜色变换处理上,不需要考虑各医疗用摄像装置30X、30Y、30Z所固有的颜色特性。
因此,在特定组织强调用变换数据存放部120中,存放用于对具有标准的色彩配合的标准色图像数据Ds进行强调特定的生物体组织的颜色变换的特定组织强调用变换数据即可。在图3所示的实施例的情况下,在特定组织强调用变换数据存放部120中存放3种特定组织强调用变换数据。具体而言,存放用于进行强调血管的颜色变换的血管强调数据Ce、用于进行强调脂肪的颜色变换的脂肪强调数据Cf、用于进行强调表层膜(构成脏器等的表面层的膜)的颜色变换的表层膜强调数据Cg这3种特定组织强调用变换数据。关于这些特定组织强调用变换数据Ce、Cf、Cg的实体、特定的生物体组织的“强调显示”的实例,在§6中进行详述。
强调组织指定部150是接受指定成为强调显示的对象的特定的生物体组织的指定输入的结构要素。该指定输入由医疗设备用颜色修正装置100的操作人员(例如若是手术中,就是施术者等)来进行。操作人员对于显示于颜色监视器50A~50D的图像进行指定想要强调显示的生物体组织的输入。总而言之,操作人员出于想要使提高了关于哪个生物体组织的视觉辨识性的图像显示、换言之想要使适于哪个生物体组织的观察的图像显示这样的观点,来指定特定的生物体组织即可。强调组织指定部150起到将来自操作人员的指定输入传达给特定组织强调用颜色变换部160的作业。
特定组织强调用颜色变换部160对标准色图像数据Ds进行利用了存放于特定组织强调用变换数据存放部120的、用于进行强调通过指定输入指定的特定的生物体组织的颜色变换的特定组织强调用变换数据的颜色变换,从而生成特定组织强调图像数据。例如,若操作人员进行了作为成为强调显示的对象的特定的生物体组织而指定“血管”的输入,就从强调组织指定部150对特定组织强调用颜色变换部160传达强调显示的对象是“血管”的意思。为此,特定组织强调用颜色变换部160从存放于特定组织强调用变换数据存放部120的3组特定组织强调用变换数据中选择血管强调数据Ce,使用该血管强调数据Ce来进行对标准色图像数据Ds的颜色变换处理,作为处理后的图像数据而输出关于血管的特定组织强调图像数据De。同样地,在作为强调显示的对象而指定了“脂肪”、“表层膜”的情况下,通过利用了脂肪强调数据Cf、表层膜强调数据Cg的颜色变换处理,来输出关于脂肪的特定组织强调图像数据Df、关于表层膜的特定组织强调图像数据Dg。
在图示的示例的情况下,作为能够指定为强调显示的对象的生物体组织而准备“血管”、“脂肪”、“表层膜”这3种,当然,此外,能够指定“骨”、“软骨”、“肌肉”等各种生物体组织作为强调显示的对象。总而言之,在将多种生物体组织作为强调显示的对象的情况下,在特定组织强调用变换数据存放部120分别存放关于J种的多种生物体组织的特定组织强调用变换数据,在特定组织强调用颜色变换部160从强调组织指定部150接受到指定第j个(1≤j≤J)生物体组织的指定输入的情况下,进行利用了第j个特定组织强调用变换数据Cj(用于强调第j个生物体组织的变换数据)的颜色变换,从而生成特定组织强调图像数据即可。
另外,对强调组织指定部150的指定输入不一定非要是指定单一的生物体组织的输入,也可以是指定多个生物体组织的输入。例如,在操作人员考虑希望对“血管”和“脂肪”双方进行强调显示的情况下,对强调组织指定部150进行指定这双方的输入即可。在该情况下,由于从强调组织指定部150对特定组织强调用颜色变换部160传达指定“血管”以及“脂肪”双方的意思,因此,特定组织强调用颜色变换部160对标准色图像数据Ds重复进行利用了血管强调数据Ce的颜色变换和利用了脂肪强调数据Cf的颜色变换,输出特定组织强调图像数据Def。利用了该特定组织强调图像数据Def的颜色监视器上的显示成为强调“血管”和“脂肪”双方的显示。
总而言之,为了能够指定多个生物体组织作为强调显示的对象,在强调组织指定部150设置接受重复指定H种的多种(H≤J)生物体组织的指定输入的功能(J是存放于特定组织强调用变换数据存放部120的特定组织强调用变换数据的总数),在特定组织强调用颜色变换部160从强调组织指定部150接受到指定H种的多种生物体组织的指定输入的情况下,重复进行利用了与这H种的多种生物体组织对应的H种的多种特定组织强调用变换数据的颜色变换,从而生成特定组织强调图像数据即可。
此外,强调组织指定部150还能够接受“哪个生物体组织都不指定”这样的指定输入(以下,称作“空指定输入”)。在有该“空指定输入”的情况下,特定组织强调用颜色变换部160不进行任何实质的颜色变换处理,将输入的标准色图像数据Ds原样不变地输出。在该情况下,将标准色图像数据Ds原样不变地作为特定组织强调图像数据Ds而输出。当然,利用该特定组织强调图像数据Ds的颜色监视器上的显示成为哪个生物体组织都不强调的图像。
总而言之,在这里叙述的实施例的情况下,强调组织指定部150具有接受表示哪个生物体组织都不指定的空指定输入的功能,特定组织强调用颜色变换部160在从强调组织指定部150接受到空指定输入的情况下,不进行颜色变换,而将标准色图像数据Ds原样不变地作为特定组织强调图像数据输出。
当然,还能够提供始终仅将特定的生物体组织作为强调显示的对象的专用的颜色修正装置100。在仅将“血管”作为强调显示的对象即足够、不需要对其他生物体组织进行强调显示的环境中所用的实施例的情况下,在特定组织强调用变换数据存放部120中仅存放血管强调数据Ce即足够。在该情况下,在特定组织强调用颜色变换部160进行颜色变换时,始终进行利用了血管强调数据Ce的颜色变换,始终输出特定组织强调图像数据De。当然,在该情况下,也能够使强调组织指定部150具有接受空指定输入的功能。这样一来,向强调组织指定部150的指定输入成为选择进行强调显示(指定血管的输入)还是不进行强调显示(空指定输入)的输入。
此外,若使强调组织指定部150具有按各个颜色监视器50A~50D的每一个接受分别不同的指定输入的功能,就能够使各个颜色监视器50A~50D的每一个分别显示强调不同生物体组织的图像。例如,对于强调组织指定部150,关于颜色监视器50A而指定空指定输入,关于颜色监视器50B而进行“血管”的指定输入,关于颜色监视器50C而进行“脂肪”的指定输入,关于颜色监视器50D而进行“表层膜”的指定输入,在这样的情况下,特定组织强调用颜色变换部160输出4种特定组织强调图像数据Ds、De、Df、Dg即可。
在该情况下,监视器用颜色变换部170对图像数据Ds进行利用了单独变换数据Ca的颜色变换,从而生成显示用数据Da,对图像数据De进行利用了单独变换数据Cb的颜色变换,从而生成显示用数据Db,对图像数据Df进行利用了单独变换数据Cc的颜色变换,从而生成显示用数据Dc,对图像数据Dg进行利用了单独变换数据Cd的颜色变换,从而生成显示用数据Dd即可。这样一来,在颜色监视器50A显示标准色的图像,在颜色监视器50B显示强调“血管”的图像,在颜色监视器50C显示强调“脂肪”的图像,在颜色监视器50D显示强调“表层膜”的图像。
<2.3与第3变换处理相关的基本动作>
最后,叙述与第3变换处理(对从特定组织强调用颜色变换部160输出的特定组织强调图像数据De、Df、Dg等进行的处理)相关的监视器用单独变换数据存放部130以及监视器用颜色变换部170的基本功能。
首先,监视器用单独变换数据存放部130是存放与各颜色监视器50A~50D对应的单独变换数据Ca~Cd的结构要素。这些单独变换数据Ca~Cd分别是用于考虑对应的特定的颜色监视器50A~50D所具有的固有的颜色特性而进行在该颜色监视器50A~50D上显示具有标准色特性的图像的颜色变换的变换数据。
另一方面,监视器用颜色变换部170是如下那样的结构要素:对从特定组织强调用颜色变换部160提供的特定组织强调图像数据进行利用了存放于监视器用单独变换数据存放部130的关于特定的颜色监视器的单独变换数据的颜色变换,从而生成显示用数据,将生成的显示用数据输出到所述特定的颜色监视器。例如,从特定组织强调用颜色变换部160对监视器用颜色变换部170提供强调“血管”的特定组织强调图像数据De,将基于该图像数据De的图像显示于第1颜色监视器50A,若以这样的情况为例,就进行如下处理:对特定组织强调图像数据De进行利用了存放于监视器用单独变换数据存放部130的关于第1颜色监视器50A的单独变换数据Ca的颜色变换,从而生成显示用数据Da,将生成的显示用数据Da输出到第1颜色监视器50A。
如上所述,存放于摄像装置用单独变换数据存放部110的各单独变换数据Cx~Cz是进行用于消除医疗用摄像装置30X~30Z所具有的固有的颜色特性的相异的变换的数据,摄像装置用颜色变换部140进行生成消除了这样的固有的颜色特性的相异的标准色图像数据Ds的处理。与此相对,存放于监视器用单独变换数据存放部130的各单独变换数据Ca~Cd是进行用于消除颜色监视器50A~50D所具有的固有的颜色特性的相异的变换的数据,监视器用颜色变换部170进行如下处理:消除这样的固有的颜色特性的相异,生成适于各个颜色监视器50A~50D的显示用数据Da~Dd,以使得在哪个颜色监视器的画面上多进行具有相同色彩配合的显示。
在图示的示例的情况下,由于在医疗设备用颜色修正装置100连接有4台颜色监视器50A~50D,因此在监视器用单独变换数据存放部130中准备4组单独变换数据Ca~Cd,但一般若是设想了K台的多台颜色监视器的利用的情况,则在监视器用单独变换数据存放部130分别存放关于这K台医疗用摄像装置的单独变换数据即可。在该情况下,监视器用颜色变换部170在生成对第k个(1≤k≤K)的颜色监视器50k输出的显示用数据Dk时,进行利用了第k个单独变换数据Ck(关于第k个颜色监视器50k的单独变换数据)的颜色变换即可。
另外,这样,在将相同图像数据给到相互色特性不同的多个颜色监视器并进行显示时,为了使在各个颜色监视器的画面中得到的显示图像的色彩配合相同,使用按各个颜色监视器的每一个准备的单独变换数据来进行对图像数据的颜色变换,这样的技术本身已经是公知的技术。特别在印刷业者等专业人士利用的颜色监视器的情况下,大多是预先准备考虑了该颜色监视器所固有的颜色特性的单独变换数据(一般称作色彩配置文件数据)的情况。这样,在颜色监视器中添附有色彩配置文件数据的情况下,将该色彩配置文件数据作为存放于监视器用单独变换数据存放部130的单独变换数据来利用即可。这样,由于生成各个颜色监视器所固有的色彩配置文件数据的方法也是已经公知的方法,因此在此省略详细的说明。
<2.4本发明所涉及的医疗设备用颜色修正装置的特征>
以上,如叙述的那样,在本发明所涉及的医疗设备用颜色修正装置100中,实施摄像装置用颜色变换部140的第1变换处理、特定组织强调用颜色变换部160的第2变换处理、监视器用颜色变换部170的第3变换处理这3个阶段的颜色变换处理。
第1变换处理和第3变换处理起到消除每个设备的颜色特性的差异的作用,通过这些处理,来实现“在将具有各种颜色特性的设备组合来构成医疗用图像显示系统的情况下,也能够消除每个设备的颜色特性的差异来进行具有统一的色调的图像显示”这样的本发明的第1目的。
此外,第2变换处理起到强调显示操作人员指定的特定的生物体组织的作用,通过该处理,来实现“在利用医疗用图像显示系统时,能够实现适合于特定的生物体组织的观察的视觉辨识性的图像显示”这样的本发明的第2目的。例如,如之后详述的那样,若操作人员将“血管”、“脂肪”、“表层膜”这样的特定的生物体组织指定为强调显示的对象,就能够得到使所指定的生物体组织的视觉辨识性更加提高的显示。例如,在现有的系统中,变得能够在颜色监视器上正确读取摄像阶段引起饱和的血液的颜色等。
并且,由于第2变换处理在第1变换处理与第3变换处理之间实施,因此能够作为针对通过第1变换处理得到的标准色图像数据Ds的处理来执行。为此,在进行第2变换处理时,不需要考虑各医疗用摄像装置的颜色特性这样的“设备所固有的颜色特性”,始终进行以具有标准的颜色特性的标准色图像数据Ds为处理对象的统一的颜色修正即足够。此外,由于在第2变换处理后进行第3变换处理,因此在进行第2变换处理时,也不需要考虑最终进行图像显示的颜色监视器的颜色特性这样的“设备所固有的颜色特性”。换言之,在特定组织强调用变换数据存放部120中,不管实际使用的医疗用摄像装置、颜色监视器的机种如何,始终准备统一的特定组织强调用变换数据即足够。
这样,不管与输入侧连接的医疗用摄像装置是由哪个制造商提供的哪个机种,也不管与输出侧连接的颜色监视器是由哪个制造商提供的哪个机种,本发明所涉及的医疗设备用颜色修正装置100都能够不考虑每个机种的颜色特性的差异地进行利用。为此,若是导入本发明所涉及的医疗用图像显示系统1000的设施,不管是哪个医院,还是哪个研究设施,都能够进行基于同样的基准的颜色判断。
<<<§3.摄像装置用单独变换数据的实体>>>
在此,更详细说明存放于作为图3所示的医疗设备用颜色修正装置100的结构要素的摄像装置用单独变换数据存放部110的摄像装置用单独变换数据Cx、Cy、Cz的实体。如已经在§2中说明的那样,单独变换数据Cx、Cy、Cz分别是用于考虑对应的医疗用摄像装置30X、30Y、30Z所具有的固有的颜色特性来将各摄像数据Dx、Dy、Dz的颜色特性变换成标准色特性的变换数据。在此,参照图4的框图来说明生成关于医疗用摄像装置30X的单独变换数据Cx的具体的步骤。
一般而言,摄像装置、颜色监视器装置中所处置的图像数据包含大量像素的集合体。并且,各个像素通常具有三原色分量R、G、B的各像素值。例如,若将1个色分量以8比特的数据来表现,则1个像素所具有的像素值以24比特的数据来表示。为此,若将构成从医疗用摄像装置30X得到的摄像数据Dx的各个像素的像素值用三原色分量Rold、Gold、Bold来表示,将构成通过摄像装置用颜色变换部140的颜色变换得到的标准色图像数据Ds的各个像素的像素值用三原色分量Rnew、Gnew、Bnew来表示,则存放于摄像装置用单独变换数据存放部110的单独变换数据Cx成为用于将摄像数据Dx的三原色分量Rold、Gold、Bold变换成标准色图像数据Ds的三原色分量Rnew、Gnew、Bnew的变换数据。即,能够将能够基于任意的值(Rold、Gold、Bold)唯一地求取其他值(Rnew、Gnew、Bnew)的任意的信息用作单独变换数据Cx。
为了生成这样的单独变换数据Cx,进行利用了提示色样的颜色图表的实测即可。现在,如图4所示那样准备白色的光源60和颜色图表70。在这里所示的示例的情况下,作为白色的光源60而使用遵循CIE标准光源D65的光源(以下,仅称作“D65光源”)。该D65光源是由国际照明委员会(CIE)定义的标准光源,设为具有相当于欧州/北欧中的平均的正午的光的光谱的虚拟的光源,相关色温设为约6500K。另外,成为“D65光源”的标准光源本身由于作为装置而实际在市售,因此实用上将发出与标准光源D65近似的光的市售的装置(例如LED光源等)用作图4所示的光源60即可。作为光源,关于使用该D65光源的理由,在§5中叙述。
另一方面,颜色图表70是排列色样的板状的物体,能够利用在关于各种图像设备的色彩再现性的检查、颜色校正等用途中。在图5的(a)、(b)、(c)示出该颜色图表70的几个具体例的俯视图。图5的(a)所示的三原色颜色图表71是配置红/蓝/绿的三原色的色样的最单纯的颜色图表。图中施加阴影而示出的3个区域是三原色的色样的部分,分别具有透过红/蓝/绿的色分量的透光性。因此,若在背面配置白色的光源60,从前方观察该三原色颜色图表71,则各区域观察为红/蓝/绿的窗。
图5的(b)所示的多色图表72将大量正方形状的色样配置在二维排列上,通常为了验证关于照相机、监视器的低彩度到中彩度中的颜色再现性而利用。在图5的(a)所示的三原色颜色图表71中仅配置红/蓝/绿的三原色的色样,与此相对,在图5的(b)所示的多色图表72中配置153个色样,能够进行更细腻的颜色校正。另一方面,图5的(c)所示的宽色域颜色图表73虽然所配置的色样的总数没有那么多,但成为覆盖以与超高精细画质电视相关的国际标准BT.2020的规格确定的宽色域的色样。该宽色域颜色图表73适于高彩度色、原色的颜色再现性的验证,关于利用其的具体的颜色校正的方法,在§4中进行说明。
另外,在图5中,例示了3种颜色图表71、72、73,当然颜色图表市售有各种产品,利用于本发明的颜色图表并不限定于图5所示的3种。例如,在补充中彩度色的基础上,一般也可以利用被称为麦克白色图表的颜色图表。
如图4所示那样,在颜色图表70的背面配置光源60,在颜色图表70的前面配置医疗用摄像装置30X(例如内窥镜照相机),用医疗用摄像装置30X对颜色图表70的前面的图像进行拍摄。在医疗用摄像装置30X的受光面入射颜色图表70的各色样区域内的透过光。图4所示的虚线的箭头表示光源60起的光的路径。将这样得到的摄像数据当中关于成为颜色图表70的各个色样的区域的三原色(R、G、B)的色分量称作摄像颜色数据Dt(Rt、Gt、Bt)。
例如,在作为颜色图表70而使用图5的(a)所示的三原色颜色图表71的情况下,得到关于红区域的摄像颜色数据Dt1(Rt1、Gt1、Bt1)、关于绿区域的摄像颜色数据Dt2(RT2、GT2、BT2)和关于红区域的摄像颜色数据Dt3(RT3、GT3、BT3)。同样地,在作为颜色图表70而使用图5的(b)所示的多色图表72的情况下,得到关于第1个色样的摄像颜色数据Dt1(Rt1、Gt1、Bt1)~关于第153个色样的摄像颜色数据Dt153(RT153、GT153、BT153)。
另一方面,对颜色图表70的各色样测定本来的颜色数据DT(RT、GT、BT)。图4的一点划线的箭头表示利用这样的测定过程来得到色数据DT。例如,在作为颜色图表70而使用图5的(a)所示的三原色颜色图表71的情况下,得到关于红区域的本来的颜色数据DT1(RT1、GT1、BT1)、关于绿区域的本来的颜色数据DT2(RT2、GT2、BT2)和关于蓝区域的本来的颜色数据DT3(RT3、GT3、BT3)。同样地,在作为颜色图表70而使用图5的(b)所示的多色图表72的情况下,得到关于第1个色样的本来的颜色数据DT1(RT1、GT1、BT1)~关于第153个色样的本来的颜色数据DT153(RT153、GT153、BT153)。
关于本来的颜色数据DT的测定,例如在图4所示的医疗用摄像装置30X的位置配置分光分析装置(测色器),并对各个色样的区域分别测定光谱(使用与后述的图7的(a)的测定系统同样的测定系统即可),基于该光谱的数据来算出三原色分量(RT、GT、BT)的值即可。本来在市售的颜色图表70中,就也有添附了在提供源中的测定得到的本来的颜色数据DT(RT、GT、BT)的情形,在这样的情形中,省略测定作业并原样不变地利用添附的本来的颜色数据DT(RT、GT、BT)即可。
这样,若关于相同颜色图表70得到摄像颜色数据Dt(Rt、Gt、Bt)和本来的颜色数据DT(RT、GT、BT),就将这些数据给到单独变换数据生成部80并求取单独变换数据Cx即可。单独变换数据生成部80实际上是在计算机组装于专用的程序而构成的装置,进行如下处理:基于关于各色样的摄像颜色数据Dt(Rt、Gt、Bt)与本来的颜色数据DT(RT、GT、BT)的相异来认识医疗用摄像装置30X所固有的颜色特性,生成用于使摄像颜色数据Dt(Rt、Gt、Bt)与本来的颜色数据DT(RT、GT、BT)一致的单独变换数据Cx。
在使用图5的(a)所示的三原色颜色图表71的情况下,由于需要基于对3个色样分别对比数据Dt(Rt、Gt、Bt)和数据DT(RT、GT、BT)的结果来生成单独变换数据Cx(能够进行关于任意的颜色的变换的数据),因此所得的单独变换数据Cx的精度比较粗糙。与此相对,在使用图5的(b)所示的多色图表72的情况下,由于需要基于对153个色样分别对比数据Dt(Rt、Gt、Bt)和数据DT(RT、GT、BT)的结果来生成单独变换数据Cx,因此能够得到精度更高的单独变换数据Cx。这样,基于对比关于几个色样的数据Dt(Rt、Gt、Bt)和数据DT(RT、GT、BT)的结果来生成单独变换数据Cx的处理本身由于作为颜色校正的方法是公知的处理,因此在此省略单独变换数据生成部80中的具体的处理算法的说明。
如上所述,单独变换数据Cx是用于将构成通过医疗用摄像装置30X得到的摄像数据Dx的各个像素的三原色分量Rold、Gold、Bold变换成构成标准色图像数据Ds的各个像素的三原色分量Rnew、Gnew、Bnew的变换数据。这样的单独变换数据Cx例如能够以图6的(a)所示那样的查找表LUT的形式准备。图6的(a)的表的左半部分表示构成变换前的图像数据(摄像数据Dx)的各个像素的三原色分量Rold、Gold、Bold,右半部分表示构成变换后的图像数据(标准色图像数据Ds)的各个像素的三原色分量Rnew、Gnew、Bnew。该示例是以8比特(0~255)的数值表现各颜色分量的示例,在表的左半部分设有到(0、0、0)~(255、255、255)为止256×256×256种栏,在表的右半部分记载了与这些各栏对应的新的色分量的值。
因此,若使用由该查找表LUT构成的单独变换数据,则在被给予表示三原色分量的任意的像素值的组合(l、m、n)的情况下,能够将其变换成给定的像素值的组合(l′、m′、n′)。这样,存放于摄像装置用单独变换数据存放部110的单独变换数据Cx能够有将构成摄像数据Dx的像素的各颜色分量的组合变换成构成标准色图像数据Ds的像素的各颜色分量的组合的查找表LUT构成。
此外,单独变换数据Cx还能够以图6的(b)所示那样的函数的形式准备。在该情况下,通过将构成摄像数据Dx的像素的各颜色分量的组合作为变量值提供,来准备算出构成标准色图像数据Ds的像素的各颜色分量的组合的函数,将该函数作为单独变换数据Cx存放到摄像装置用单独变换数据存放部110即可。
例如,若能够将图6的(a)所示的查找表LUT中的三原色分量(Rold、Gold、Bold)与(Rnew、Gnew、Bnew)的关系以
Rnew=fl(Rold、Gold、Bold)
Gnew=f2(Rold、Gold、Bold)
Bnew=f3(Rold、Gold、Bold)
这样的函数f1、f2、f3表示,就能够取代查找表LUT,将上述函数f1、f2、f3用作单独变换数据Cx。一般而言,难以找到能够进行与基于查找表LUT的变换完全相同的变换的函数,但只要是能够某种程度近似基于查找表LUT的变换的函数,则实用上用作单独变换数据Cx是没有问题的。
在关于8比特的像素值的查找表LUT的情况下,如上述那样,需要256×256×256种变换数据。因此,在将查找表LUT用作单独变换数据Cx的情况下,需要在摄像装置用单独变换数据存放部110中确保某种程度大的存放容量。与此相对,若将函数用作单独变换数据Cx,摄像装置用单独变换数据存放部110所需的存放容量就会大幅减轻。
以上,作为存放于摄像装置用单独变换数据存放部110的单独变换数据的实体而例示图6的(a)所示的查找表LUT的形态和图6的(b)所示的函数的形态,但关于存放用于监视器用单独变换数据存放部130的单独变换数据,也能够采用同样的形态。即,作为存放于监视器用单独变换数据存放部130的单独变换数据(例如数据Ca),能够使用:将构成特定组织强调图像数据(例如数据De)的像素的各颜色分量的组合变换成构成显示用数据(例如数据Da)的像素的各颜色分量的组合的查找表;通过将构成特定组织强调图像数据(例如数据De)的像素的各颜色分量的组合作为变量值提供来算出构成显示用数据(例如数据Da)的像素的各颜色分量的组合的函数。
<<<§4.向4K8K图像系统的扩展>>>
近年来,开始了4K8K卫星广播,在一般家庭中,也开始普及能够进行高精细的图像显示的4K电视、8K电视。但在当前正市售的医疗用图像显示系统中,不采用以这样的4K8K图像为对象的色彩管理平台,难以在颜色监视器上显示高精细的生物体组织图像。为此,本申请发明者尝试对图1、图2例示的现有的一般的医疗用图像显示系统调查在颜色监视器上能够得到何种程度的颜色再现性。以下,说明其测定结果。
图7是表示对医疗用图像显示系统调查颜色监视器上的颜色再现性的测定的基本步骤的图(图中的虚线表示光的路径)。在这里叙述的测定中,使用配置多个色样的颜色图表70。在图7的(a)所示的第1步骤中,测定关于该颜色图表70的各色样的本来的色。另一方面,在图7的(b)所示的第2步骤中,将该颜色图表70的各色样用医疗用图像显示系统摄像并显示于颜色监视器上,测定显示于该颜色监视器上的色。具体而言,用如下那样的方法进行测定。
首先,在第1步骤中,如图7的(a)所示那样,在颜色图表70的背面配置光源60,在颜色图表70的前面配置分光分析装置90,测定来自配置于颜色图表70上的各色样的透过光的光谱,得到光谱数据Dsp1。例如,在作为颜色图表70而使用图5的(b)所示的多色图表72的情况下,对全153组色样分别得到透过光的光谱数据Dsp1。
另一方面,在第2步骤中,如图7的(b)所示那样,在颜色图表70的背面配置光源60,在颜色图表70的前面配置医疗用摄像装置30(例如内窥镜照相机),对颜色图表70进行拍摄而得到摄像数据Dp。将该摄像数据Dp经由摄像控制单元40给到颜色监视器50满足颜色监视器50的画面上显示摄像的颜色图表70。在此,医疗用摄像装置30、摄像控制单元40、颜色监视器50如图2所示那样是医疗用图像显示系统的结构要素。进而,在颜色监视器50的前面配置分光分析装置90,测定显示于颜色监视器50上的颜色图表70的各色样的光谱,得到光谱数据Dsp2。例如,在作为颜色图表70而使用图5的(b)所示的多色图表72的情况下,对全153组色样分别得到透过光的光谱数据Dsp2。
作为图7的(a)、(b)中所用的光源60而使用相同D65光源,作为颜色图表70而使用相同多色图表72。因此,图7的(a)所示的第1步骤和图7的(b)所示的第2步骤在以相同照明环境(D65光源)照明相同被摄体(多色图表72)这点上是共通的,在前者中得到的光谱数据Dsp1是直接测定色样的透过光的光谱,与此相对,在后者中得到的光谱数据Dsp2是经营优医疗用图像显示系统(医疗用摄像装置30、摄像控制单元40、颜色监视器50)观察色样时得到的光谱。另外,作为医疗用摄像装置30而使用内窥镜照相机,在内置于该内窥镜照相机的内窥镜光源为OFF的状态下进行测定。即,在图7的(b)所示的第2步骤中,照明颜色图表70的光源仅是光源60(D65光源)。
因此,通过比较光谱数据Dsp1和光谱数据Dsp2,能够评价经过医疗用图像显示系统进行观察的情况的颜色再现性。一般在评价颜色再现性时,利用二维色度图。在此,作为二维色度图,示出使用u′v′色度图评价颜色再现性的结果。图8表示这样的评价结果的一例,是表示通过对图5的(b)所示的多色图表72实施图7所示的测定步骤而得到的颜色分布的u′v′色度图。
具体而言,图8的(a)将与通过图7的(a)所示的第1步骤得到的光谱数据Dsp1对应的色标绘到u′v′色度图上。这表示图5的(b)所示的多色图表72本身的本来的颜色分布(D65光源下的测定值)。如上所述,在多色图表72中配置合计135组色样,在图7的(a)所示的第1步骤中,关于该135组色样分别得到光谱数据Dsp1。为此,若基于各光谱数据Dsp1来算出关于各色样的u′v′值,将其标绘在u′v′色度图上,就得到图8的(a)所示的颜色分布。标绘的微小的白的正方形表示各个色样的色。另外,基于任意的光谱数据算出给定的色值(RGB值、三刺激值、u′v′值等)的方法由于是过去以来已知的公知的方法,因此在此省略具体的说明。
同样地,图8的(b)将与通过图7的(b)所示的第2步骤得到的光谱数据Dsp2对应的色标绘到u′v′色度图上。这表示通过经过现有的医疗用图像显示系统观察图5的(b)所示的多色图表72(观察颜色监视器50的画面)而得到的颜色分布(D65光源下的拍摄)。在图7的(b)所示的第2步骤中,也分别关于135组色样得到光谱数据Dsp2。为此,若基于各光谱数据Dsp2算出关于各色样的u′v′值,将其标绘到u′v′色度图上,就得到图8的(b)所示的颜色分布。标绘的微小的黑的正方形表示各个色样的颜色。
接着,尝试详细观察图8的(a)所示的u′v′色度图。该图的横轴是u′轴,纵轴是v′轴,任意的坐标点(u′,v′)与特定的色对应。因此,所标绘的微小的白的正方形分别表示特定的色样的色。在该u′v′色度图上标绘的点R、点G、点B(以白圈示出)分别与理想的红色、绿色、蓝色对应,以穿过各点R、G、B的实线包围的接近于三角形的区域表示实际存在的色所分布的实际存在颜色区域E。作为图像系统,期望覆盖该实际存在颜色区域E内的全部,但实现这样的图像系统非常困难。该实际存在颜色区域E的边界线上表示彩度最高的色,若沿着该边界线向点R→G→B前进,则维持高的彩度不变地,色相向波长660nm→440nm不断变化。图8的(a)中标注符号W的点(×印的点)是与白色对应的点。
这样,在二维u′v′色度图上能够示出色相以及彩度的分布。为了示出明度,需要追加与该u′v′色度图的平面(图的纸面)正交的明度轴,定义三维颜色空间,但在这里为了说明的方便,使用二维u′v′色度图来进行与关于色相以及彩度的颜色分布相关的说明。
在本申请中所用的u′v′色度图中描绘记作“BT.709”、“BT.2020”的虚线的三角形。在此,三角形BT.709表示在与高精细画质电视相关的国际标准BT.709的规格中确定的颜色区域,与高清电视(相当于2K)对应的颜色监视器能够显示该色区域内的任意的颜色。另一方面,三角形BT.2020表示在与超高精细画质电视相关的国际标准BT.2020的规格中确定的颜色区域,与4K8K电视对应的颜色监视器能够显示该色区域内的任意的颜色。如图示那样可知,三角形BT.2020的区域比三角形BT.709的区域大,与4K8K电视对应的颜色监视器能够进行覆盖更宽的色域的显示。
如上所述,由于图8的(a)表示图5的(b)所示的多色图表72本身的本来的颜色分布,因此配置于该多色图表72的135组色样其本身的颜色分布充分覆盖三角形BT.709的区域,进而也某种程度覆盖三角形BT.2020的区域。然而可知,若经过现有的医疗用图像显示系统观察该多色图表72,则该颜色分布如图8的(b)所示那样相当窄。换言之,可知在现有的医疗用图像显示系统的颜色监视器50上,未充分再现被摄体(生物体组织)所具有的本来的颜色分布,与用肉眼直视被摄体的情况相比,颜色再现性相当地降低。特别在该现有系统的情况下,在颜色监视器上,橙色被分开成黄和红,成为为了强调黄和红而减少中间色的状态。
本申请发明者尝试对其他颜色图表也进行图7中示出基本步骤的测定。即,图8所示的结果是关于将图5的(b)所示的多色图表72用作被摄体的示例的结果,尝试取而代之,将图5的(c)所示的宽色域颜色图表73用作被摄体来进行同样的测定。在此,宽色域颜色图表73是本申请申请人为了进行4K8K图像用的色彩管理而独自开发的,是将了覆盖三角形BT.2020的区域所需的色样进行排列的颜色图表。这样,关于与4K8K图像用的色彩管理对应的宽色域的颜色图表的结构,由于在国际公开WO2017/170910号公报、国际申请PCT/JP2018/038780号说明书中进行了详述,因此在此省略详细的说明。
图9是表示通过如此地对图5的(c)所示的宽色域颜色图表73实施图7所示的测定步骤而得到的颜色分布的u′v′色度图。具体而言,图9的(a)将与通过图7的(a)所示的第1步骤得到的光谱数据Dsp1对应的色标绘到u′v′色度图上,表示宽色域颜色图表73本身的本来的颜色分布(D65光源下的测定值)。在宽色域颜色图表73中配置合计18组色样,所标绘的白的正方形表示这些色样的色。另一方面,图9的(b)将与通过图7的(b)所示的第2步骤得到的光谱数据Dsp2对应的色标绘到u′v′色度图上,表示通过经过现有的医疗用图像显示系统观察宽色域颜色图表73(观察颜色监视器50的画面)而得到的颜色分布(D65光源下的拍摄)。所标绘的黑的正方形表示各个色样的色。
图9的(a)所示的点RR、点GG、点BB(以白的四方示出)分别表示配置于宽色域颜色图表73的红色样、绿色样、蓝色样的颜色。这样,配置于宽色域颜色图表73的18组色样其本身的颜色分布充分覆盖三角形BT.2020的区域。然而,可知若经过现有的医疗用图像显示系统观察该宽色域颜色图表73,则其色分布如图9的(b)所示那样相当窄,连三角形BT.709的区域都无法充分覆盖。具体而言,在该现有系统的情况下,在颜色监视器上,红系色彩度大幅降低,黄系色出现向绿色方向的色相变化,蓝系色彩度降低且出现向蓝绿色方向的色相变化。
图10的上层所示的图是表示将图8的(b)所示的颜色分布和图9的(b)所示的颜色分布合成后的合成颜色分布的u′v′色度图,可以说,是经过现有的医疗用图像显示系统观察包含图5的(b)所示的多色图表72上的色样和图5的(c)所示的宽色域颜色图表73上的色样双方的颜色图表时的颜色分布图。在该颜色分布图中,标绘成黑色的点表示各色样的色。图中虚线所示的多角形M是这些各点的外切多角形,表示监视器画面上的颜色分布区域。
为此,若尝试计算该颜色分布区域M的面积Area(M)与三角形BT.709的面积Area(BT.709)的比率,则如图10下层所示那样,得到Area(M)/Area(BT.709)=63%这的结果。这表示,现有的医疗用图像显示系统的颜色监视器上的显示画面仅使用高清监视器的色域的63%。同样地,若尝试计算该颜色分布区域M的面积Area(M)与三角形BT.2020的面积Area(BT.2020)的比率,则如图10下层所示那样,得到Area(M)/Area(BT.2020)=37%这样的结果。这表示,现有的医疗用图像显示系统的颜色监视器上的显示画面仅使用4K8K监视器的色域的37%。
根据这样的结果可知,现有的医疗用图像显示系统中的色域使用率相当低。因此,今后优选,关于医疗用图像显示系统,也导入处置4K8K图像的设备,将由高精细照相机取入的高精细的生物体组织图像显示在与4K8K对应的颜色监视器上。
出于这样的观点,每当构建图3所示的本发明所涉及的医疗用图像显示系统1000,优选地,作为各医疗用摄像装置30X、30Y、30Z而使用与4K8K图像的摄像对应的设备,作为颜色监视器50A~50D而使用与4K8K图像的显示对应的设备。此外,作为本发明所涉及的医疗设备用颜色修正装置100,优选地,以连接并使用与4K8K图像对应的设备为前提,来进行与4K8K图像的宽色域对应的色彩管理。这样一来,施术者就能够进行与现有的医疗用图像显示系统相比更精细的颜色判定。
具体而言,作为存放于摄像装置用单独变换数据存放部110的单独变换数据,使用能够进行覆盖在与超高精细画质电视相关的国际标准BT.2020的规格中确定的宽色域的颜色变换(能够得到覆盖该宽色域的标准色图像数据Ds色变换)的变换数据即可。为了生成这样的变换数据,在图4所示的框图中,作为颜色图表70,使用图5的(c)所示那样的宽色域颜色图表73即可。同样地,作为存放于监视器用单独变换数据存放部130的单独变换数据,使用能够进行覆盖在与超高精细画质电视相关的国际标准BT.2020的规格中确定的宽色域的颜色变换(覆盖该宽色域的色能够显示于颜色监视器上的颜色变换)的变换数据即可。
<<<§5.使用D65光源的益处>>>
在前述的§3中,参照图4的框图来说明生成关于医疗用摄像装置30X的单独变换数据Cx的具体的步骤。在该步骤中,作为光源60而使用“D65光源”。为此,在此,说明作为生成存放于摄像装置用单独变换数据存放部110的单独变换数据时的光源60而优选使用“D65光源”的理由。
首先,尝试比较各种光源的光谱。图11是表示各光源的可视光谱的图表(纵轴进行标准化,使得560nm的分光强度成为1.0)。在此,图表G1是无影灯的光谱,图表G2是内窥镜光源(其中,观测经由光纤的光)的光谱,图表G3是内窥镜光源(其中,直接观测光源的光)的光谱,图表G4是D65光源的光谱。另一方面,图12是表示各光源的色温的u′v′色度图。在此,点G1表示无影灯的色温,点G3表示内窥镜光源(直接观测光源的光)的色温,点G4表示D65光源的色温,点G5表示D50光源的色温。如上所述,三角形BT.709以及三角形BT.2020分别是在国际标准BT.709以及BT.2020的规格中确定的颜色区域(以下的u′v′色度图中也同样)。
若看图11以及图12,可知这些各光源不管关于光谱波形还是关于色温,相互都有相当的差异异。这里所示的结果是使用特定的无影灯以及特定的内窥镜光源进行测定的结果,实际上,无影灯以及内窥镜光源的光谱、色温按各个产品的每一个不同。一般而言,无影灯使用卤素灯,得到色温3400K程度的发红的照明光。此外,内窥镜光源通常是有那个氙气灯,得到色温4700K程度的白色照明光。与此相对,D65光源的光成为色温6504K的发蓝的照明光。另外,D65光源、D50光源是由国际照明委员会(CIE)定义的标准光源,其光谱、色温通过明确的基准来确定。
一般而言,被摄体的照明中所用的光源成为作用观察该被摄体时的色彩配合的重要的因素,即使是相同被摄体,若光源不同,则被观察到的被摄体的色彩配合不同。因此,在图3所示的医疗用图像显示系统的情况下,根据用哪个光源照明成为医疗用摄像装置30X~30Z的摄像对象的被摄体(生物体组织),所得到的摄像数据Dx~Dz的色彩配合变得不同。
为此,本申请发明者准备相同大肠检体作为被摄体,尝试进行比较用各种光源照明该大肠检体的情况的色彩配合的实验。图13~图15是表示其结果的u′v′色度图。首先,图13是表示无影灯的照明下的大肠检体本身的各部的颜色分布的u′v′色度图,表示在用无影灯照明大肠检体的状态下使用分光分析装置直接测定多个样品部位的色的实测结果。该图13的颜色分布图中的由大量黑点构成的标绘群表示各个样品部位的色。均表示从红色到橙色的彩度高的色。
另一方面,图14是表示内窥镜光源(经由光纤)的照明下的大肠检体本身的各部的颜色分布的u′v′色度图,表示在用经由光纤的内窥镜光源照明大肠检体的状态下测定大量样品部位的色的结果。其中,实际上,是通过取代进行内窥镜光源下的实测,基于图11所示的光谱的相异进行将图13的测定结果变换成内窥镜光源下的模拟,来得到图14的结果。在该图14中,为了方便比较,还一并刊载了图13所示的颜色分布。即,图中记作“原本的颜色分布”的由大量黑点构成的标绘群表示图13所示的无影灯下的测定结果,图记作“变换后的颜色分布”的由大量+印构成的标绘群表示内窥镜光源下的测定结果(基于模拟的变换后的结果)。如图示那样可知,与“原本的颜色分布”相比而“变换后的颜色分布”更宽。
图15是表示D65光源的照明下的大肠检体本身的各部的颜色分布的u′v′色度图,表示在用D65光源照明大肠检体的状态测定大量样品部位的色的结果。其中,在这里,实际上也是取代D65光源下的实测,通过基于图11所示的光谱的相异进行将图13的测定结果变换成D65光源下的模拟,来得到图15的结果。在该图15中,也为了方便比较而刊载了图13所示的颜色分布。即,图中记作“原本的颜色分布”的由大量黑点构成的标绘群表示图13所示的无影灯下的测定结果,图记作“变换后的颜色分布”的由大量×印构成的标绘群表示D65光源下的测定结果(基于模拟的变换后的结果)。如图示那样可知,与“原本的颜色分布”相比,“变换后的颜色分布”更宽。
该图13~图15所示的结果表示就算将完全相同的大肠检体作为被摄体,也根据所用光源而所测定的颜色分布较大不同。在此,若着眼于色的分布范围的宽窄,就能够得到“无影灯的照明下”<“内窥镜光源的照明下”<“D65光源的照明下”这样的关系。特别是若看图15所示的结果则可知,图中记作“原本的颜色分布”的黑点的标绘群(无影灯的照明下的测定结果)分布于三角形BT.2020的上边近旁,与此相对,图中记作“变换后的颜色分布”的×印的标绘群(D65光源的照明下的测定结果)广泛分布于三角形BT.2020的上半部分的区域。这里所示的示例是将特定的大肠检体作为被摄体的测定结果,但这样的倾向是不仅在大肠检体中还在各种生物体组织中看得到的倾向。
一般而言,在将什么被摄体的拍摄像显示于颜色监视器上的情况下,由于色的分布范围越宽,能够进行利用越大量色的表现,因此能够使视觉辨识性(将某部分和其他部分在视觉上区分而认识的容易性)提高。例如在图15所示的示例的情况下,在无影灯的照明下,仅能够进行仅利用了记作“原本的颜色分布”的范围内的彩度比较高的色(三角形BT.2020的上边近旁的色)的表现,但在D65光源的照明下,能够进行利用了记作“变换后的颜色分布”的更宽的范围内的还包含彩度低的色的(三角形BT.2020的上半部分的色)的表现。因此,以至少关于生物体组织使视觉辨识性提高为目的,与无影灯的照明、内窥镜光源的照明相比,更优选进行D65光源的照明。
本来图13~图15所示的结果并不一定表示作为进行手术时所用的照明是与无影灯、内窥镜光源的照明相比而D65光源的照明更卓越,只是表示出于使视觉辨识性(在手术的情况下,将某组织与其他组织区分而认识的容易性)提高的观点,优选D65光源的照明。实际中,作为照亮手术台的光源,到目前为止在经验上一直使用无影灯,作为在腹腔镜手术中照亮腹腔内的光源,到目前为止在经验上一直使用内窥镜光源。因此预想,在将这些光源突然置换成D65光源的情况下,大量施术者会由于到目前为止的经验而出现不协调感。
在§2中叙述的本发明所涉及的医疗用图像显示系统1000、用在其中的医疗设备用颜色修正装置100中,作为对被摄体(生物体组织)的照明用的光源,如从前那样,设想使用无影灯或内窥镜光源,并不强行要求将它们置换成D65光源。即,图3所示的摄像装置用颜色变换部140也可以以被输入无影灯或内窥镜光源下拍摄的摄像数据Dx~Dz为前提,进行对其的颜色变换并生成标准色图像数据Ds的处理。
其中,通过摄像装置用颜色变换部140的变换处理得到的标准色图像数据Ds优选成为以会在D65光源的照明下得到的颜色特性为标准色特性的图像数据。例如,在图3所示的系统中,设为医疗用摄像装置30X是设于手术室的X公司制的医疗用视频照相机,医疗用摄像装置30Y是Y公司制的内窥镜照相机,医疗用摄像装置30Z是Z公司制的内窥镜照相机。并且设为,从医疗用摄像装置30X提供在X公司制的无影灯的照明下摄像的摄像数据Dx,从医疗用摄像装置30Y提供在Y公司制的内窥镜光源的照明下摄像的摄像数据Dy,从医疗用摄像装置30Z提供在Z公司制的内窥镜光源的照明下摄像的摄像数据Dz。
如上述那样,无影灯、内窥镜光源的光谱按各个产品的每一个而不同,X公司制的无影灯、Y公司制的内窥镜光源、Z公司制的内窥镜光源基于各产品提供原本的设计规格而分别具有固有的颜色特性。如已经叙述的那样,摄像装置用颜色变换部140是对各摄像数据Dx~Dz进行消除各自所固有的颜色特性的相异来生成具有共通的颜色特性的标准色图像数据Ds的颜色变换的结构要素。为此,作为该共通的颜色特性的条件之一,加进D65光源的照明下的颜色特性这样的条件。这样一来,摄像数据Dx是在X公司制的无影灯的照明下得到的图像数据,摄像数据Dy是在Y公司制的内窥镜光源的照明下得到的图像数据,摄像数据Dz是在Z公司制的内窥镜光源的照明下得到的图像数据,但通过摄像装置用颜色变换部140的变换处理,对哪个摄像数据都进行使得成为在D65光源的照明下得到的图像那样的颜色变换。通过进行这样的颜色变换,最终显示于各颜色监视器50A~50D的画面上的图像使色的分布范围变宽,使关于生物体组织的视觉辨识性提高。
这样,为了进行以D65光源的照明下的颜色特性为标准的颜色特性的变换来生成标准色图像数据Ds,作为存放于摄像装置用单独变换数据存放部110的单独变换数据Cx、Cy、Cz,使用将以来自国际照明委员会所规定的D65光源的光为背景光的给定的颜色图表的透过光的颜色特性作为标准色特性的变换数据即可。具体而言,如§3中叙述的那样,在图4所示的步骤中,作为光源60而采用D65光源即可。
当然,若如此地进行以D65光源的照明下的颜色特性为标准的颜色特性的变换,则生物体组织的色彩配合与直接以肉眼观察其时的色彩配合不同。例如,在开腹手术的情况下,施术者能够以肉眼直接观察开腹部分的无影灯照明下的生物体组织。在该情况下,肉眼观察的生物体组织和显示于颜色监视器的生物体组织的色彩配合不同。换言之,显示于颜色监视器的生物体组织的色彩配合与无影灯照明下的实际的生物体组织的色彩配合不同。因此,出于忠实再现无影灯照明下的实际的生物体组织的色彩配合地显示于颜色监视器这样的观点,“将D65光源的照明下的颜色特性作为标准的颜色特性”这样的变换是相反效果。
但本来就不存在“实际的生物体组织的色彩配合”这样的绝对的基准。即,手术中肉眼观察的生物体组织的色彩配合只是作为从特定的制造商提供的特定的产品的无影灯的照明下的色彩配合,若将无影灯交换成其他产品,则色彩配合也会改变。此外,在腹腔镜手术的情况下,由于本来就无法肉眼观察实际的生物体组织,因此没有确认“实际的生物体组织的色彩配合”的方法。若考虑这样的点,就能够理解在颜色监视器上忠实再现在特定的无影灯、特定的内窥镜光源的照明下得到的色彩配合不是那么有意义。
因此,实用上优选,进行以D65光源的照明下的颜色特性为标准的颜色特性的变换,生成标准色图像数据Ds。基于这样的标准色图像数据Ds显示于颜色监视器上的图像的色彩配合虽然与无影灯、内窥镜光源的照明下观察的图像的色彩配合若干不同,但不会产生特别不协调感。例如,在图15所示的示例的情况下,“原本的颜色分布”占据彩度高的红色到橙色的区域,与此相对,“变换后的颜色分布”关于红色到橙色而占据从高的彩度至低的彩度的区域,关于色相,并未产生大的变化。
每当实施本发明,优选作为提供标准色特性的光源而使用D65光源(即,作为图4所示的光源60而使用D65光源)的第1理由在于,无影灯、内窥镜光源的色彩配合(发光光谱)按各个制造商、各个产品的每一个而不同,与此相对,D65光源的色彩配合(发光光谱)是由国际照明委员会(CIE)定义的由统一性的色彩配合。因此,若以D65光源为基准来确定标准色图像数据Ds的色彩配合,则不管用作得到各个摄像数据Dx、Dy、Dz时的光源的无影灯、内窥镜光源是哪个制造商的哪个产品,在颜色监视器50A~50D上都能够始终得到与有统一性的D65光源的色彩配合一致的显示图像。
而且,第2理由在于,通过作为提供标准色特性的光源而使用D65光源,能够扩大色的分布范围,能够使视觉辨识性提高。如已经参照图13~图15的测定结果说明的那样,关于颜色的分布范围的宽窄,能够得到“无影灯的照明下”<“内窥镜光源的照明下”<“D65光源的照明下”这样的关系。为此,若将D65光源的照明下的颜色特性设定为标准色特性,在颜色监视器上得到的图像上的颜色的分布范围就宽,就能够使视觉辨识性提高。例如,即使是具有相同橙色的色相的生物体组织,也由于具有高的彩度的部分和具有低的彩度的部分在颜色监视器上被区分显示,因此视觉上易于相互识别各部分。
<<<§6.特定组织强调用颜色变换的具体例>>>
在前述的§2.2中,作为“与第2变换处理相关的基本动作”而说明了图3所示的医疗设备用颜色修正装置100中的特定组织强调用颜色变换部160的基本动作。在该基本动作中,在特定组织强调用变换数据存放部120中存放用于进行强调血管的颜色变换的血管强调数据Ce、用于进行强调脂肪的颜色变换的脂肪强调数据Cf、用于进行强调表层膜的颜色变换的表层膜强调数据Cg这3种特定组织强调用变换数据,由特定组织强调用颜色变换部160进行如下处理:使用这些变换数据来对标准色图像数据Ds进行强调特定的生物体组织的颜色变换,生成特定组织强调图像数据De、Df、Dg。在此,关于这些特定组织强调用变换数据Ce、Cf、Cg的实体、特定的生物体组织的“强调显示”的实例,进行更详细的说明。
一般而言,构成人体的各种生物体组织分别具有固有的色彩配合,施术者能够通过肉眼相互区分认识众多生物体组织。例如,在目视人的大肠的情况下,能够在哪里观察到血管、脂肪、表层膜等多个生物体组织。图13~图15是表示大肠检体本身的各部的颜色分布的图,在此标绘的各个点表示构成大肠的各种生物体组织的色。
图16是表示图13~图15所示的颜色分布图的测定中所用的大肠检体以及其特定组织的样品部位的俯视图。如图示那样,在该大肠检体中,除了构成大肠主体的主体部以外,还包含血管部V1、V2、V3、脂肪部F1、F2等生物体组织。为此,本申请发明者尝试在该大肠检体上确定多个样品部位,使用分光分析装置来直接测定各个样品部位的颜色。图16中以带圈数字1~8示出的区域(施加阴影的圆形区域)表示各个样品部位。具体而言,以带圈数字1~3示出的区域表示关于血管部分的样品部位,以带圈数字4、5示出的区域表示关于脂肪部分的样品部位,以带圈数字6~8示出的区域表示关于表层膜部分的样品部位。
图17是表示通过在无影灯下测定图16所示的各样品部位而得到的颜色分布的u′v′色度图,图18是表示通过在D65光源下测定图16所示的各样品部位而得到的颜色分布的u′v′色度图。这些u′v′色度图上所示的带圈数字1~8与图16中以带圈数字1~8示出的各样品部位对应。若看图17、图18,可知各个样品部位分别具备固有的色彩配合。具体而言,以带圈数字1~3示出的血管部的样品部位呈现彩度高的红色,以带圈数字4、5示出的脂肪部的样品部位呈现彩度高的橙色,以带圈数字6~8示出的表层部的样品部位呈现彩度稍低的橙色。
如§5中叙述的那样,即使是相同大肠检体,根据照明所用的光源,观察到的色彩配合也不同,与用无影灯照明的情况(图17)相比,用D65光源照明的情况(图18)使颜色的分布范围更宽。在图17以及图18中,若比较关于相同样品部位的颜色的分布范围,则可知与前者相比,后者更宽。若如此地扩大颜色的分布范围,就能够使用更多颜色来表现相同生物体组织,能够得到视觉辨识性提高的益处,这点如已经在§5中说明的那样。为此,以下使用用D65光源照明的结果(图18)来继续说明。
图19的(a)是表示将图18中为了示出各个颜色而标绘的点在每个区域汇总的状态的u′v′色度图。即,在图19的(a)中,将图18中以带圈数字1~3示出的血管部的标绘群的分布区域表示为区域Ae,将图18中以带圈数字4、5示出的脂肪部的标绘群的分布区域表示为区域Af,将图18中以带圈数字6~8示出的表层膜部的标绘群的分布区域表示为区域Ag。在此,将这些各区域Ae、Af、Ag称作“特定的生物体组织所固有的局部颜色区域”。即,颜色区域Ae成为血管所固有的局部颜色区域(血管色区域Ae),颜色区域Af成为脂肪所固有的局部颜色区域(脂肪色区域Af),颜色区域Ag成为表层膜所固有的局部颜色区域(表层膜颜色区域Ag)。
这样,若考虑按各个生物体组织的每一个而u′v′色度图上的局部颜色区域的配置不同,就能够估计u′v′色度图上的任意的点是关于哪个生物体组织的测定点。例如,若是在图19的(a)的血管色区域Ae内标绘的点,就能够估计为是关于属于血管部的样品部位的测定点。当然,由于在大肠检体上还存在血管部、脂肪部、表层膜部以外的生物体组织,即使是血管部也呈现血管色区域Ae外的颜色,因此,虽然上述估计无法说100%可靠,但能够通过这样的方法来进行具有某种程度的准确度的估计。
如已经在§2中叙述的那样,图3所示的特定组织强调用颜色变换部160是对从摄像装置用颜色变换部140提供的标准色图像数据Ds进行强调通过向强调组织指定部150的指定输入而指定的特定的生物体组织的颜色变换的结构要素,但还能够将图19的(a)所示的颜色分布图作为表示该标准色图像数据Ds上的特定组织的颜色分布的图来利用。例如,在指定了成为强调显示的对象的特定的生物体组织是“血管”的情况下,特定组织强调用颜色变换部160在标准色图像数据Ds中将图19的(a)所示的血管色区域Ae内的颜色选择为变换对象即可。如上述那样,由于能够估计为血管色区域Ae内的颜色是血管部所呈现的颜色,因此,若选择血管色区域Ae内的颜色(具有该颜色的像素)来实施强调变换处理,就能够强调显示血管部。
接着,关于强调显示的方法,举出具体例进行说明。本发明中的强调显示的目的在于,进行适合于特定的生物体组织的观察的视觉辨识性的图像显示。例如,在施术对象是血管的情况下,施术者期望实施仅强调血管的图像处理从而显示适合于血管的观察的视觉辨识性的图像。这样,为了使关于血管的视觉辨识性提高,使血管部的色彩配合变化成为更具特征的色彩配合,以使得能够将血管部和其他生物体组织明确地区分即可。若作为一般见解来叙述,为了使关于某特定的生物体组织的视觉辨识性提高,使该特定的生物体组织的色彩配合变化成为更具特征的色彩配合,以使得能够将该特定的生物体组织和其他生物体组织明确地区分即可。
基于这样的思路,在这里叙述的实施例的情况下,作为强调特定的生物体组织的颜色变换的方法,对与该特定的生物体组织对应的颜色分布图上的局部颜色区域中包含的颜色进行使颜色分布图上向给定的修正方向移动的处理。图19的(b)是表示关于图19的(a)所示的局部颜色区域Ae、Af、Ag的修正方向Me、Mf、Mg的u′v′色度图。具体而言,关于血管色区域Ae中包含的颜色,进行使得向修正方向Me移动的颜色变换处理,关于脂肪色区域Af中包含的颜色,进行使得向修正方向Mf移动的颜色变换处理,关于表层膜颜色区域Ag中包含的颜色,进行使得向修正方向Mg移动的颜色变换处理。
关于图19的(b)所示的血管色区域Ae的修正方向Me成为u′v′色度图上的右方向、也就是使u′值增加的方向。这意味着,将血管色区域Ae中包含的颜色(估计为血管部所呈现的颜色)向更加增加红的程度的方向修正。根据本申请发明者所进行的实验,通过进行这样的颜色修正,能够使关于血管的视觉辨识性提高。认为这是由于,通过对血管部进行增加更红的程度的颜色修正而实现了相对于其他生物体组织的差别化。
结果,在图3所示的医疗设备用颜色修正装置100的情况下,在特定组织强调用变换数据存放部120中存放对u′v′色度图上的血管所固有的局部颜色区域中包含的颜色进行使u′值增加的颜色修正的变换数据,作为用于进行强调“血管”的颜色变换的特定组织强调用变换数据(血管强调数据)Ce即可。
具体而言,作为血管强调数据Ce,准备表示图19的(b)中的关于血管的局部颜色区域(血管色区域)Ae的数据和表示关于该血管色区域Ae的修正方向Me以及修正量的数据即可。作为表示血管色区域Ae的数据,例如能够使用表示区域Ae的边界线的数据。此外,作为表示修正方向Me以及修正量的数据,例如能够使用表示加上修正值Δu′e的修正运算的数据。另外,在实用上,优选对加法运算后的修正值设置上限,以使得不会超出在u′v′色度图上以实线表示的实际存在颜色区域E。
在此,若强调组织指定部150接受到指定“血管”作为成为强调显示的对象的特定的生物体组织的指定输入,特定组织强调用颜色变换部160就从特定组织强调用变换数据存放部120读出血管强调数据Ce,认识通过该血管强调数据Ce确定的血管色区域Ae。接着,特定组织强调用颜色变换部160从摄像装置用颜色变换部140提供的标准色图像数据Ds中提取所认识的血管色区域Ae所包含的颜色的像素,对该像素的颜色的数据实施加上修正值Δu′e的修正运算(实际进行使RGB值增减的修正),将修正运算后的数据作为强调血管的特定组织强调图像数据De输出。
另外,在上述的实施例的情况下,对血管色区域Ae中包含的颜色的u′值一律进行加上给定的修正值Δu′e的修正,但也可以对应于原本的u′值来进行改变修正值Δu′e那样的修正。例如,还能够是如下运用:在原本的u′值小的情况下(位于图19的(b)所示的血管色区域Ae的左侧的颜色的情况下),将修正值Δu′e设定得较大,在原本的u′值大的情况下(位于图19的(b)所示的血管色区域Ae的右侧的颜色的情况),将修正值Δu′e设定得较小。此外,在上述的实施例的情况下,还能够是如下运用:仅修正u′值,根据需要还一并修正v′值。
另一方面,关于图19的(b)所示的脂肪色区域Af的修正方向Mf成为u′v′色度图上的左上方向、也就是使u′值减少并使v′值增加的方向。这意味着,将脂肪色区域Af中包含的颜色(估计为脂肪部所呈现的颜色)维持彩度不变地向更增加黄色程度的方向修正。根据本申请发明者进行的实验,通过进行这样的颜色修正,能够使关于脂肪的视觉辨识性提高。认为这是因为,关于脂肪部,通过进行维持彩度不变地更增加黄色程度的颜色修正来实现相对于其他生物体组织的差别化。
因此,在图3所示的医疗设备用颜色修正装置100的情况下,在特定组织强调用变换数据存放部120中存放对u′v′色度图上的脂肪所固有的局部颜色区域中包含的颜色进行使u′值且使v′值增加的颜色修正的变换数据,作为用于进行强调“脂肪”的颜色变换的特定组织强调用变换数据(脂肪强调数据)Cf即可。
具体而言,作为脂肪强调数据Cf,准备表示图19的(b)中的关于脂肪的局部颜色区域(脂肪色区域)Af的数据和表示关于该脂肪色区域Af的修正方向Mf以及修正量的数据即可。作为表示脂肪色区域Af的数据,例如能够使用表示区域Af的边界线的数据。此外,作为表示修正方向Mf以及修正量的数据,例如能够使用减去修正值Δu′f并加上修正值Δv′f的修正运算的数据。在此,也是在实用上,优选对加减法运算后的修正值设置上下限,以使得在u′v′色度图上不超出实线所示的实际存在颜色区域E。
在此,若强调组织指定部150接受到指定“脂肪”作为成为强调显示的对象的特定的生物体组织的指定输入,特定组织强调用颜色变换部160就从特定组织强调用变换数据存放部120读出脂肪强调数据Cf,认识通过该脂肪强调数据Cf确定的脂肪色区域Af。接着,特定组织强调用颜色变换部160从摄像装置用颜色变换部140提供的标准色图像数据Ds中提取所认识的脂肪色区域Af中包含的颜色的像素,对该像素的色的数据实施减去修正值Δu′f且加上修正值Δv′f的修正运算(实际上进行使RGB值增减的修正),将修正运算后的数据作为强调脂肪的特定组织强调图像数据Df而输出。
在该实施例的情况下,对于脂肪色区域Af中包含的颜色的u′值以及v′值,也可以取代一律进行减去给定的修正值Δu′f、加上修正值Δv′f,进行对应于原本的u′值、v′值改变修正值Δu′f、Δv′f这样的运用。
同样地,关于图19的(b)所示的表层膜颜色区域Ag的修正方向Mg成为u′v′色度图上的右下方向、也就是使u′值增加且使v′值减少的方向。这意味着,将表层膜颜色区域Ag中包含的颜色(估计为表层膜部所呈现的色)在使彩度降低的同时向增加更红的程度的方向修正。根据本申请发明者进行的实验,通过进行这样的颜色修正,能够使关于表层膜的视觉辨识性提高。认为这是因为,关于表层膜部,通过进行在使彩度降低的同时增加更红的程度的颜色修正来实现相对于其他生物体组织的差别化。
因此,在图3所示的医疗设备用颜色修正装置100的情况下,在特定组织强调用变换数据存放部120中存放对u′v′色度图上的表层膜所固有的局部颜色区域中包含的颜色进行使u′值增加且使v′值减少的颜色修正的变换数据,作为用于进行强调“表层膜”的颜色变换的特定组织强调用变换数据(表层膜强调数据)Cg即可。
具体而言,作为表层膜强调数据Cg,准备表示关于图19的(b)中的表层膜的局部颜色区域(表层膜颜色区域)Ag的数据和表示关于表层膜颜色区域Ag的修正方向Mg以及修正量的数据即可。作为表示表层膜颜色区域Ag的数据,例如能够使用表示区域Ag的边界线的数据。此外,作为表示修正方向Mg以及修正量的数据,例如能够使用表示加上修正值Δu′g且减去修正值Δv′g的修正运算的数据。在此,也是在实用上优选对加减法运算后的修正值设置上下限,以使得在u′v′色度图上不会超出以实线表示的实际存在颜色区域E。
在此,若强调组织指定部150接受到指定“表层膜”作为成为强调显示的对象的特定的生物体组织的指定输入,则特定组织强调用颜色变换部160从特定组织强调用变换数据存放部120读出表层膜强调数据Cg,来认识通过该表层膜强调数据Cg确定的表层膜颜色区域Ag。接着,特定组织强调用颜色变换部160从从摄像装置用颜色变换部140提供的标准色图像数据Ds中提取所认识的表层膜颜色区域Ag中包含的颜色的像素,Udine该像素的色的数据实施加上修正值Δu′g且减去修正值Δv′g的修正运算(实际是进行使RGB值增减的修正),将修正运算后的数据作为强调表层膜的特定组织强调图像数据Dg输出。
在该实施例的情况下,也可以对于表层膜颜色区域Ag中包含的颜色的u′值以及v′值,取代一律地进行加上给定的修正值Au′g、减去修正值Δv′g,进行对应于原本的u′值、v′值来改变修正值Δu′g、Δv′g这样的运用。
这样,图3所示的医疗设备用颜色修正装置100具有对以生物体组织群为被摄体的图像数据(标准色图像数据Ds)进行强调特定的生物体组织的颜色变换的功能,在特定组织强调用变换数据存放部120中存放用于进行强调特定的生物体组织的颜色变换的特定组织强调用变换数据Ce、Cf、Cg。然后,若强调组织指定部150接受到指定成为强调显示的对象的特定的生物体组织的指定输入,特定组织强调用颜色变换部160就对基于医疗用摄像装置的摄像得到的图像数据(即基于摄像数据Dx、Dy、Dz得到的标准色图像数据Ds)进行利用了存放于特定组织强调用变换数据存放部120的用于进行强调通过指定输入指定的特定的生物体组织的颜色变换的特定组织强调用变换数据Ce、Cf、Cg的颜色变换,从而生成特定组织强调图像数据De、Df、Dg。
若作为一般见解来叙述,存放于特定组织强调用变换数据存放部120的特定组织强调用变换数据Ce、Cf、Cg成为在给定的颜色空间中对特定的生物体组织所固有的局部颜色区域中包含的颜色进行特定的颜色修正的数据。在此,作为给定的颜色空间,可以使用三维颜色空间。在该情况下,作为特定的生物体组织所固有的局部颜色区域,设定三维颜色空间上的三维区域,作为颜色的修正方向,设定三维空间上的给定方向。
在到此为止叙述的实施例中,由于通过特定组织强调用颜色变换部160来进行对色相以及彩度的颜色变换,因此作为给定的颜色空间而使用二维颜色空间。即,特定组织强调用变换数据Ce、Cf、Cg成为在给定的二维色度图上对特定的生物体组织所固有的局部颜色区域中包含的颜色进行使横坐标值、纵坐标值或其双方增减的颜色修正的数据。特别在图19所示的实施例的情况下,由于作为二维色度图而采用u′v′色度图,因此特定组织强调用变换数据Ce、Cf、Cg成为在u′v′色度图上对特定的生物体组织所固有的局部颜色区域中包含的颜色进行使u′值、v′值或其双方增减的颜色修正的数据。当然,作为二维色度图,也可以使用u′v′色度图以外的色度图(例如,xy色度图等)。
另一方面,在作为用于进行特定组织强调用颜色变换部160的颜色变换的颜色空间而使用三维颜色空间的情况下,对各生物体组织所固有的局部颜色区域(三维区域)中包含的颜色进行使三维坐标值的一部分或全部增减的颜色修正即可。例如,在二维u′v′色度图上,仅示出色相以及彩度的分布,但若对该u′v′色度图追加与其正交的明度轴L来定义Lu′v′空间(三维的颜色空间),就能够通过该三维颜色空间上的1点(u′,v′,L)来表示关于色相、彩度、明度这样的3要素的颜色分布。因此,对于特定的生物体组织所固有的局部颜色区域(三维区域)中包含的颜色,通过进行不仅使u′值、v′值还使L值增减的颜色修正,还能够强调显示该生物体组织。即,不仅能够强调关于色相以及彩度的色差,还能够进一步强调明度的差异。这样,由于关于明度也能够进行特定的生物体组织与其他生物体组织的视觉上的差别化,因此能够使该特定的生物体组织的视觉辨识性更加提高。
若进行这样的Lu′v′空间上的颜色变换,则作为图19的(b)所示的各局部颜色区域Ae、Af、Ag,定义立体的三维区域,作为各修正方向Me、Mf、Mg,分别设定加进L轴方向分量的三维方向,对各个生物体组织进行强调与其他组织的明度差的修正即可。具体而言,关于血管色区域Ae中包含的颜色,至少进行使u′值增加的修正(也可以进行使v′值、L值增减的修正)即可,关于脂肪色区域Af中包含的颜色,至少进行使u′值减少且使v′值增加的修正(也可以进行使L值增减的修正)即可,关于表层膜颜色区域Ag中包含的颜色,至少进行使u′值增加且使v′值减少的修正(也可以进行使L值增减的修正)即可。
当然,用于进行特定组织强调用颜色变换部160的颜色变换的三维颜色空间并不限定于上述的Lu′v′空间,例如还能够利用HLS色彩模型中的HLS空间、HSV色彩模型中的HSV空间等。在该情况下,将各修正方向Me、Mf、Mg对应于所利用的三维颜色空间分别设定成合适的方向。
在图19中,例示了作为特定组织强调用变换数据而使用关于血管、脂肪、表层膜这样的3种的生物体组织的具体的变换数据的实施例。在实施例中,强调组织指定部150具有接受指定“血管”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,在特定组织强调用变换数据存放部120中存放对u′v′色度图(或者也可以是Lu′v′空间)上的血管所固有的局部颜色区域Ae中包含的颜色至少进行使u′值增加的颜色修正的变换数据,作为用于进行强调“血管”的颜色变换的特定组织强调用变换数据Ce。
此外,在该实施例中,强调组织指定部150具有接受指定“脂肪”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,在特定组织强调用变换数据存放部120中存放对u′v′色度图(或者也可以是Lu′v′空间)上的脂肪所固有的局部颜色区域Af中包含的颜色至少进行使u′值减少且使v′值增加的颜色修正的变换数据,作为用于进行强调“脂肪”的颜色变换的特定组织强调用变换数据Cf。
进而,在该实施例中,强调组织指定部150具有接受指定“表层膜”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,特定组织强调用变换数据存放部120存放对u′v′色度图(或者也可以是Lu′v′空间)上的表层膜所固有的局部颜色区域Ag中包含的颜色进行至少使u′值增加且使v′值减少的颜色修正的变换数据,作为用于进行强调“表层膜”的颜色变换的特定组织强调用变换数据Cg。
图20是表示构成图3所示的医疗设备用颜色修正装置100内的强调组织指定部150的指示按钮的一例的正面图。这里所示的示例是强调组织指定部150具有指定“血管”、“脂肪”、“表层膜”作为成为强调显示的对象的特定的生物体组织的输入功能的示例。如图示那样,在强调组织指定部150中设置血管强调指示按钮Q1、脂肪强调指示按钮Q2、表层膜强调指示按钮Q3、强调解除按钮Q4。在该强调组织指定部150中,由于哪个生物体组织都不指定为强调显示的对象的空指定状态成为默认,因此在操作人员不进行任何操作的情况下,设为有“空指定输入”来进行处置,特定组织强调用颜色变换部160不进行任何实质的颜色变换处理,将输入的标准色图像数据Ds原样不变地输出。
操作人员在希望强调显示“血管”的情况下,按下血管强调指示按钮Q1,在希望强调显示“脂肪”的情况下,按下脂肪强调指示按钮Q2,在想要强调显示“表层膜”的情况下,按下表层膜强调指示按钮Q3即可。若按下强调解除按钮Q4,就解除关于全部生物体组织的强调指定。此外,在该强调组织指定部150中,还能够重复指定多个生物体组织。例如在操作人员考虑希望关于“血管”和“脂肪”双方进行强调显示的情况下,重复进行血管强调指示按钮Q1的按下操作和脂肪强调指示按钮Q2的按下操作即可。在该情况下,特定组织强调用颜色变换部160对标准色图像数据Ds重复进行利用了血管强调数据Ce的颜色变换和利用了脂肪强调数据Cf的颜色变换,输出特定组织强调图像数据Def。具体而言,在图19的(b)中,将血管色区域Ae中包含的颜色向修正方向Me进行颜色修正,将血管色区域Af中包含的颜色向修正方向Mf颜色修正。另外,在关于重复指定的多个生物体组织的局部颜色区域中存在重叠部分的情况下,会对该重叠部分内的色进行重复的颜色修正,但没有特别的问题。
另外,在使用计算机来构成医疗设备用颜色修正装置100的情况下,图20所示的强调组织指定部150能够利用计算机操作用的显示器实现。即,使计算机操作用的显示器显示图20所示的输入画面,通过触控面板的输入操作、鼠标等指向设备的输入操作来进行对各按钮Q1~Q4的按下指示的认识即可。此外,在如图3所示的示例那样连接有多个颜色监视器50A~50D的系统的情况下,能够在各个颜色监视器的每一个进行强调分别不同的生物体组织的图像显示,在该情况下,对各个颜色监视器的每一个进行图20所示的指定输入即可(例如,设置指定成为显示对象的颜色监视器的监视器指定按钮即可)。
以上叙述了作为成为强调显示的对象的生物体组织而能够处置“血管”、“脂肪”、“表层膜”这3种实施例,但除此以外,还能够将“骨”、“软骨”、“肌肉”等各种生物体组织作为强调显示的对象。
图21是表示关于通过特定组织强调用颜色变换部160对具有图10所示的颜色分布的图像数据(包含各种颜色图表70的色样的图像数据)执行各种强调修正(在对图19所示的“血管”、“脂肪”、“表层膜”的强调用颜色变换中加进对其他几个生物体组织的强调用颜色变换)而得到的图像数据的颜色分布的u′v′色度图。图21所示的黑点表示修正前的颜色分布,白色四角形表示修正后的颜色分布。由于该图21所示的示例不是将实际的生物体组织作为被摄体,而是将颜色图表70作为被摄体,因此可知,虽然修正前的颜色(黑点)也分布于某种程度的大的范围,但通过进行特定组织强调用颜色变换部160的颜色变换修正,更加扩大修正后的颜色(白色四角形)的分布范围。
这样,在进行向颜色监视器的显示时,若进行扩大色的分布范围的修正,就能够用更多的颜色表现各个生物体组织,能够得到使整体的视觉辨识性提高的效果。
-符号说明-
10:手术台
20:无影灯
30:医疗用摄像装置(例如,内窥镜照相机)
30X、30Y、30Z:医疗用摄像装置(例如,内窥镜照相机)
31:内窥镜照相机
40:摄像控制单元
41:内窥镜控制单元
50:颜色监视器
50A、50B、50C、50D:颜色监视器
51~54:颜色监视器
60:光源(D65光源)
70:颜色图表
71:三原色颜色图表
72:多色图表
73:宽色域颜色图表
80:单独变换数据生成部
90:分光分析装置
100:医疗设备用颜色修正装置
110:摄像装置用单独变换数据存放部
120:特定组织强调用变换数据存放部
130:监视器用单独变换数据存放部
140:摄像装置用颜色变换部
150:强调组织指定部
160:特定组织强调用颜色变换部
170:监视器用颜色变换部
1000:医疗用图像显示系统
Ae:血管色区域(血管所固有的局部颜色区域)
Af:脂肪色区域(脂肪所固有的局部颜色区域)
Ag:表层膜颜色区域(表层膜所固有的局部颜色区域)
B、BB:u′v′色度图上的蓝色点
Bnew:变换后的颜色数据的蓝色分量
Bold:变换前的颜色数据的蓝色分量
BT:本来的颜色数据的蓝色分量
Bt:摄像颜色数据的蓝色分量
BT.709:表示以国际标准BT.709的规格确定的颜色区域的三角形
BT.2020:表示以国际标准BT.2020的规格确定的颜色区域的三角形
Ca、Cb、Cc、Cd:监视器用单独变换数据
Ce:特定组织强调用变换数据(血管强调数据)
Cf:特定组织强调用变换数据(脂肪强调数据)
Cg:特定组织强调用变换数据(表层膜强调数据)
Cx、Cy、Cz:摄像装置用单独变换数据
Da、Db、Dc、Dd:显示用数据
De、Df、Dg:特定组织强调图像数据
Dp:摄像数据
Ds:标准色图像数据
Dsp1、Dsp2:光谱数据
DT:本来的颜色数据
Dt:摄像颜色数据
Dx、Dy、Dz:摄像数据
E:实际存在颜色区域
F1、F2:脂肪区域
f1、f2、f3:变换用的函数
G、GG:u′v′色度图上的绿色点
G1:无影灯的可视光谱/u′v′色度图上的色温点
G2:内窥镜光源(经由光纤)的可视光谱
G3:内窥镜光源(直接)的可视光谱/u′v′色度图上的色温点
G4:D65光源的可视光谱/u′v′色度图上的色温点
G5:D50光源的可视光谱/u′v′色度图上的色温点
Gnew:变换后的颜色数据的绿色分量
Gold:变换前的颜色数据的绿色分量
GT:本来的颜色数据的绿色分量
Gt:摄像颜色数据的绿色分量
l、l′:颜色数据的红色分量
LUT:查找表
M:监视器画面上的颜色分布区域
Me:关于血管色区域Ae的修正方向
Mf:关于脂肪色区域Af的修正方向
Mg:关于表层膜颜色区域Ag的修正方向
m、m′:颜色数据的绿色分量
n、n′:颜色数据的蓝色分量
P:被施行手术者(患者)
P1:实际的脏器
P2:脏器的显示图像
Q1:血管强调指示按钮
Q2:脂肪强调指示按钮
Q3:表层膜强调指示按钮
Q4:强调解除按钮
R、RR:u′v′色度图上的红色点
RT:本来的颜色数据的红色分量
Rt:摄像颜色数据的红色分量
Rold:变换前的颜色数据的红色分量
Rnew:变换后的颜色数据的红色分量
u′:u′v′色度图上的横轴
V1、V2、V3:血管区域
v′:u′v′色度图上的纵轴
W:u′v′色度图上的白色点。

Claims (30)

1.一种医疗设备用颜色修正装置,对通过医疗用摄像装置的摄像得到的图像数据进行适于向颜色监视器的显示的颜色修正,
所述医疗设备用颜色修正装置的特征在于,具备:
摄像装置用单独变换数据存放部,其存放用于考虑特定的医疗用摄像装置所具有的固有的颜色特性来将该医疗用摄像装置的摄像数据的颜色特性变换成标准色特性的单独变换数据;
特定组织强调用变换数据存放部,其存放用于进行强调特定的生物体组织的颜色变换的特定组织强调用变换数据;
监视器用单独变换数据存放部,其存放用于考虑特定的颜色监视器所具有的固有的颜色特性来进行在该颜色监视器上显示具有标准色特性的图像那样的颜色变换的单独变换数据;
摄像装置用颜色变换部,其对从所述特定的医疗用摄像装置输入的摄像数据进行利用了存放于所述摄像装置用单独变换数据存放部的关于所述特定的医疗用摄像装置的单独变换数据的颜色变换,从而生成标准色图像数据;
强调组织指定部,其接受指定成为强调显示的对象的特定的生物体组织的指定输入;
特定组织强调用颜色变换部,其对所述标准色图像数据进行利用了存放于所述特定组织强调用变换数据存放部的用于进行强调通过所述指定输入指定的特定的生物体组织的颜色变换的特定组织强调用变换数据的颜色变换,从而生成特定组织强调图像数据;和
监视器用颜色变换部,其对所述特定组织强调图像数据进行利用了存放于所述监视器用单独变换数据存放部的关于所述特定的颜色监视器的单独变换数据的颜色变换,从而生成显示用数据,将生成的显示用数据输出到所述特定的颜色监视器。
2.根据权利要求1所述的医疗设备用颜色修正装置,其特征在于,
存放于摄像装置用单独变换数据存放部的单独变换数据是能够进行覆盖在与超高精细画质电视相关的国际标准BT.2020的规格中确定的宽色域的颜色变换的变换数据。
3.根据权利要求1或2所述的医疗设备用颜色修正装置,其特征在于,
存放于摄像装置用单独变换数据存放部的单独变换数据是将以来自国际照明委员会所规定的D65光源的光为背景光的给定的颜色图表的透过光的颜色特性作为标准色特性的变换数据。
4.根据权利要求1~3中任一项所述的医疗设备用颜色修正装置,其特征在于,
存放于摄像装置用单独变换数据存放部的单独变换数据是用于将摄像数据的三原色分量Rold、Gold、Bold变换成标准色图像数据的三原色分量Rnew、Gnew、Bnew的变换数据。
5.根据权利要求1~4中任一项所述的医疗设备用颜色修正装置,其特征在于,
在摄像装置用单独变换数据存放部中分别存放关于I台的多台医疗用摄像装置的单独变换数据,
摄像装置用颜色变换部对从第i个医疗用摄像装置输入的摄像数据进行利用了第i个单独变换数据的颜色变换,从而生成标准色图像数据,其中1≤i≤I。
6.根据权利要求1~5中任一项所述的医疗设备用颜色修正装置,其特征在于,
摄像装置用颜色变换部被输入在无影灯或内窥镜光源下拍摄的摄像数据,进行对其的颜色变换来生成标准色图像数据。
7.根据权利要求1~6中任一项所述的医疗设备用颜色修正装置,其特征在于,
存放于摄像装置用单独变换数据存放部的单独变换数据由将构成摄像数据的各颜色分量的组合变换成构成标准色图像数据的各颜色分量的组合的查找表构成。
8.根据权利要求1~6中任一项所述的医疗设备用颜色修正装置,其特征在于,
存放于摄像装置用单独变换数据存放部的单独变换数据由通过将构成摄像数据的各颜色分量的组合作为变量值提供来算出构成标准色图像数据的各颜色分量的组合的函数构成。
9.根据权利要求1~8中任一项所述的医疗设备用颜色修正装置,其特征在于,
在特定组织强调用变换数据存放部中分别存放关于J种的多种生物体组织的特定组织强调用变换数据,
特定组织强调用颜色变换部在从强调组织指定部接受到指定第j个生物体组织的指定输入的情况下,进行利用了第j个特定组织强调用变换数据的颜色变换,从而生成特定组织强调图像数据,其中1≤j≤J。
10.根据权利要求9所述的医疗设备用颜色修正装置,其特征在于,
强调组织指定部具有接受重复指定H种的多种生物体组织的指定输入的功能,其中H≤J,
特定组织强调用颜色变换部在从强调组织指定部接受到指定H种的多种生物体组织的指定输入的情况下,重复进行利用了与这H种的多种生物体组织对应的H种的多种特定组织强调用变换数据的颜色变换,从而生成特定组织强调图像数据。
11.根据权利要求1~10中任一项所述的医疗设备用颜色修正装置,其特征在于,
强调组织指定部具有接受表示哪个生物体组织都不指定的空指定输入的功能,
特定组织强调用颜色变换部在从强调组织指定部接受到所述空指定输入的情况下,不进行颜色变换,将标准色图像数据原样不变地作为特定组织强调图像数据而输出。
12.根据权利要求1~11中任一项所述的医疗设备用颜色修正装置,其特征在于,
存放于特定组织强调用变换数据存放部的特定组织强调用变换数据是在给定的颜色空间中对特定的生物体组织所固有的局部颜色区域中包含的颜色进行特定的颜色修正的数据。
13.根据权利要求12所述的医疗设备用颜色修正装置,其特征在于,
存放于特定组织强调用变换数据存放部的特定组织强调用变换数据是在给定的二维色度图上对特定的生物体组织所固有的局部颜色区域中包含的颜色进行使横坐标值、纵坐标值或其双方增减的颜色修正的数据。
14.根据权利要求13所述的医疗设备用颜色修正装置,其特征在于,
存放于特定组织强调用变换数据存放部的特定组织强调用变换数据是在u′v′色度图上对特定的生物体组织所固有的局部颜色区域中包含的颜色进行使u′值、v′值或其双方增减的颜色修正的数据。
15.根据权利要求14所述的医疗设备用颜色修正装置,其特征在于,
强调组织指定部具有接受指定“血管”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,
在特定组织强调用变换数据存放部中存放对u′v′色度图上的血管所固有的局部颜色区域中包含的颜色进行使u′值增加的颜色修正的变换数据,作为用于进行强调“血管”的颜色变换的特定组织强调用变换数据。
16.根据权利要求14或15所述的医疗设备用颜色修正装置,其特征在于,
强调组织指定部具有接受指定“脂肪”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,
在特定组织强调用变换数据存放部中存放对u′v′色度图上的脂肪所固有的局部颜色区域中包含的颜色进行使u′值减少且使v′值增加的颜色修正的变换数据,作为用于进行强调“脂肪”的颜色变换的特定组织强调用变换数据。
17.根据权利要求14~16中任一项所述的医疗设备用颜色修正装置,其特征在于,
强调组织指定部具有接受指定“表层膜”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,
在特定组织强调用变换数据存放部中存放对u′v′色度图上的表层膜所固有的局部颜色区域中包含的颜色进行使u′值增加且使v′值减少的颜色修正的变换数据,作为用于进行强调“表层膜”的颜色变换的特定组织强调用变换数据。
18.根据权利要求1~17中任一项所述的医疗设备用颜色修正装置,其特征在于,
存放于监视器用单独变换数据存放部的单独变换数据是能够进行覆盖在与超高精细画质电视相关的国际标准BT.2020的规格中确定的宽色域的颜色变换的变换数据。
19.根据权利要求1~18中任一项所述的医疗设备用颜色修正装置,其特征在于,
在监视器用单独变换数据存放部中分别存放关于K台的多台颜色监视器的单独变换数据,
监视器用颜色变换部在生成对第k个颜色监视器输出的显示用数据时,进行利用了第k个单独变换数据的颜色变换,其中1≤k≤K。
20.根据权利要求1~19中任一项所述的医疗设备用颜色修正装置,其特征在于,
存放于监视器用单独变换数据存放部的单独变换数据由将构成特定组织强调图像数据的各颜色分量的组合变换成构成显示用数据的各颜色分量的组合的查找表构成。
21.根据权利要求1~19中任一项所述的医疗设备用颜色修正装置,其特征在于,
存放于监视器用单独变换数据存放部的单独变换数据由通过将构成特定组织强调图像数据的各颜色分量的组合作为变量值提供来算出构成显示用数据的各颜色分量的组合的函数构成。
22.一种医疗设备用颜色修正装置,对以生物体组织群为被摄体的图像数据进行强调特定的生物体组织的颜色变换,
所述医疗设备用颜色修正装置的特征在于,具备:
特定组织强调用变换数据存放部,其存放用于进行强调特定的生物体组织的颜色变换的特定组织强调用变换数据;
强调组织指定部,其接受指定成为强调显示的对象的特定的生物体组织的指定输入;和
特定组织强调用颜色变换部,其对基于医疗用摄像装置的摄像得到的图像数据进行利用了存放于所述特定组织强调用变换数据存放部的用于进行强调通过所述指定输入指定的特定的生物体组织的颜色变换的特定组织强调用变换数据的颜色变换,从而生成特定组织强调图像数据。
23.根据权利要求22所述的医疗设备用颜色修正装置,其特征在于,
存放于特定组织强调用变换数据存放部的特定组织强调用变换数据是在给定的颜色空间中对特定的生物体组织所固有的特定的局部颜色区域中包含的颜色进行特定的颜色修正的数据。
24.根据权利要求23所述的医疗设备用颜色修正装置,其特征在于,
存放于特定组织强调用变换数据存放部的特定组织强调用变换数据是对给定的二维色度图上的特定的生物体组织所固有的局部颜色区域中包含的颜色进行使横坐标值、纵坐标值或其双方增减的颜色修正的数据。
25.根据权利要求24所述的医疗设备用颜色修正装置,其特征在于,
存放于特定组织强调用变换数据存放部的特定组织强调用变换数据是对u′v′色度图上的特定的生物体组织所固有的局部颜色区域中包含的颜色进行使u′值、v′值或其双方增减的颜色修正的数据。
26.根据权利要求25所述的医疗设备用颜色修正装置,其特征在于,
强调组织指定部具有接受指定“血管”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,
在特定组织强调用变换数据存放部中存放对u′v′色度图上的血管所固有的局部颜色区域中包含的颜色进行使u′值增加的颜色修正的变换数据,作为用于进行强调“血管”的颜色变换的特定组织强调用变换数据。
27.根据权利要求25或26所述的医疗设备用颜色修正装置,其特征在于,
强调组织指定部具有接受指定“脂肪”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,
在特定组织强调用变换数据存放部中存放对u′v′色度图上的脂肪所固有的局部颜色区域中包含的颜色进行使u′值减少且使v′值增加的颜色修正的变换数据,作为用于进行强调“脂肪”的颜色变换的特定组织强调用变换数据。
28.根据权利要求25~27中任一项所述的医疗设备用颜色修正装置,其特征在于,
强调组织指定部具有接受指定“表层膜”作为成为强调显示的对象的特定的生物体组织的指定输入的功能,
在特定组织强调用变换数据存放部中存放对u′v′色度图上的表层膜所固有的局部颜色区域中包含的颜色进行使u′值增加且使v′值减少的颜色修正的变换数据,作为用于进行强调“表层膜”的颜色变换的特定组织强调用变换数据。
29.一种医疗用图像显示系统,其特征在于,具备:
权利要求1~21中任一项所述的医疗设备用颜色修正装置;
对所述医疗设备用颜色修正装置提供摄像数据的至少1台医疗用摄像装置;和
基于从所述医疗设备用颜色修正装置输出的显示用数据来进行图像显示的至少1台颜色监视器。
30.一种程序,其特征在于,
使权利要求1~28中任一项所述的医疗设备用颜色修正装置作为计算机发挥功能。
CN202080014112.6A 2019-02-14 2020-02-14 医疗设备用颜色修正装置、医疗用图像显示系统和记录介质 Active CN113474710B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-024677 2019-02-14
JP2019024677 2019-02-14
PCT/JP2020/005770 WO2020166697A1 (ja) 2019-02-14 2020-02-14 医療機器用色修正装置

Publications (2)

Publication Number Publication Date
CN113474710A true CN113474710A (zh) 2021-10-01
CN113474710B CN113474710B (zh) 2023-10-27

Family

ID=72044244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080014112.6A Active CN113474710B (zh) 2019-02-14 2020-02-14 医疗设备用颜色修正装置、医疗用图像显示系统和记录介质

Country Status (5)

Country Link
US (1) US20220095891A1 (zh)
EP (1) EP3929647A4 (zh)
JP (2) JP7447821B2 (zh)
CN (1) CN113474710B (zh)
WO (1) WO2020166697A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087557A1 (en) * 2004-10-20 2006-04-27 Fuji Photo Film Co., Ltd. Electronic endoscope apparatus
JP2006142002A (ja) * 2004-10-20 2006-06-08 Fuji Photo Film Co Ltd 電子内視鏡装置
CN101175433A (zh) * 2005-05-12 2008-05-07 奥林巴斯医疗株式会社 生物体观测装置
JP2012147928A (ja) * 2011-01-19 2012-08-09 Fujifilm Corp 電子内視鏡システム
CN102727158A (zh) * 2011-04-01 2012-10-17 富士胶片株式会社 内窥镜系统以及校准方法
JP2013202167A (ja) * 2012-03-28 2013-10-07 Fujifilm Corp 画像処理装置及び内視鏡システム
CN103444170A (zh) * 2011-03-24 2013-12-11 奥林巴斯株式会社 图像处理装置
US20170340273A1 (en) * 2015-03-04 2017-11-30 Olympus Corporation Image processing device, living-body observation device, and image processing method
CN107847117A (zh) * 2015-04-30 2018-03-27 富士胶片株式会社 图像处理装置、方法及程序
CN108113630A (zh) * 2013-09-23 2018-06-05 富士胶片株式会社 内窥镜系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01138876A (ja) * 1987-11-26 1989-05-31 Toshiba Corp カラー画像処理装置
JP2000237206A (ja) 1999-02-18 2000-09-05 Olympus Optical Co Ltd 遠隔手術支援システム
US7184057B2 (en) * 2002-06-24 2007-02-27 Microsoft Corpoartion Systems and methods for providing color management
JP2005046200A (ja) 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
WO2006030731A1 (ja) * 2004-09-13 2006-03-23 Hitachi Medical Corporation 超音波撮像装置及び投影像生成方法
JP2006311352A (ja) * 2005-04-28 2006-11-09 Olympus Corp 色再現システム
JP2008093225A (ja) * 2006-10-13 2008-04-24 Olympus Medical Systems Corp 内視鏡システム及び内視鏡システムにおける画像処理方法
JP5331394B2 (ja) * 2008-06-30 2013-10-30 オリンパス株式会社 内視鏡装置
JP5624328B2 (ja) 2010-01-04 2014-11-12 株式会社東芝 医用画像診断装置および画像処理装置
EP2979617B1 (en) * 2013-03-27 2020-02-19 FUJIFILM Corporation Image processing device, and method for operating endoscope system
JP2015066262A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 画像処理装置、画像処理システム、及び画像処理方法
JP5950245B2 (ja) 2013-12-19 2016-07-13 諒治 塩川 内視鏡手術用システム
WO2016116946A2 (en) * 2015-01-20 2016-07-28 Indian Institute Of Technology, Bombay A system and method for obtaining 3-dimensional images using conventional 2-dimensional x-ray images
US11058288B2 (en) * 2015-10-22 2021-07-13 Covidien Lp Systems and methods for amplifying changes in a region of interest in a surgical environment
WO2017170910A1 (ja) 2016-03-31 2017-10-05 大日本印刷株式会社 透過型色較正用チャートおよび較正用スライドガラス
CN113766087A (zh) * 2016-06-30 2021-12-07 株式会社隆创 颜色变换装置
US10646102B2 (en) * 2016-08-31 2020-05-12 Hoya Corporation Processor for electronic endoscope, and electronic endoscope system
WO2018079205A1 (ja) * 2016-10-27 2018-05-03 富士フイルム株式会社 プロセッサ装置及び内視鏡システム
CN110352035B (zh) * 2017-02-27 2023-09-08 皇家飞利浦有限公司 经由信号变化放大的静脉穿刺和动脉线引导
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
JP2020533039A (ja) * 2017-08-07 2020-11-19 イマーゴ・システムズ,インコーポレーテッド 画像中の物体の視覚化および特徴づけのためのシステムおよび方法
US20190069957A1 (en) * 2017-09-06 2019-03-07 Verily Life Sciences Llc Surgical recognition system
US11562487B2 (en) * 2017-10-18 2023-01-24 Koninklijke Philips N.V. Landmark visualization for medical image segmentation
CN111565620A (zh) * 2017-12-27 2020-08-21 爱惜康有限责任公司 缺光环境中的荧光成像

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087557A1 (en) * 2004-10-20 2006-04-27 Fuji Photo Film Co., Ltd. Electronic endoscope apparatus
JP2006142002A (ja) * 2004-10-20 2006-06-08 Fuji Photo Film Co Ltd 電子内視鏡装置
CN101175433A (zh) * 2005-05-12 2008-05-07 奥林巴斯医疗株式会社 生物体观测装置
JP2012147928A (ja) * 2011-01-19 2012-08-09 Fujifilm Corp 電子内視鏡システム
CN103444170A (zh) * 2011-03-24 2013-12-11 奥林巴斯株式会社 图像处理装置
CN102727158A (zh) * 2011-04-01 2012-10-17 富士胶片株式会社 内窥镜系统以及校准方法
JP2013202167A (ja) * 2012-03-28 2013-10-07 Fujifilm Corp 画像処理装置及び内視鏡システム
CN108113630A (zh) * 2013-09-23 2018-06-05 富士胶片株式会社 内窥镜系统
US20170340273A1 (en) * 2015-03-04 2017-11-30 Olympus Corporation Image processing device, living-body observation device, and image processing method
CN107847117A (zh) * 2015-04-30 2018-03-27 富士胶片株式会社 图像处理装置、方法及程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALDO BADANO 等: "Consistency and standardization of color in medical imaging a consensus report", DIGIT IMAGING, vol. 28, no. 1, pages 41 - 52, XP035434546, DOI: 10.1007/s10278-014-9721-0 *
ALDO BADANO 等: "Consistency and standardization of color in medical imaging a consensus report", DIGIT IMAGING,SPRINGER, vol. 28, no. 1, pages 41 - 52, XP035434546, DOI: 10.1007/s10278-014-9721-0 *

Also Published As

Publication number Publication date
US20220095891A1 (en) 2022-03-31
EP3929647A1 (en) 2021-12-29
EP3929647A4 (en) 2022-11-23
JP2024063096A (ja) 2024-05-10
JPWO2020166697A1 (ja) 2021-12-16
WO2020166697A1 (ja) 2020-08-20
JP7447821B2 (ja) 2024-03-12
CN113474710B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US10708478B2 (en) Image transformation and display for fluorescent and visible imaging
EP1759631B1 (en) Fluorescent-light image display method and apparatus therefor
CN105266750B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
EP3269295A1 (en) Image processing device
JP5594711B2 (ja) 生体内画像コントラストを強化するための方法
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
JP4807412B2 (ja) 変換マトリックス決定方法、画像処理装置、画像処理プログラム、撮像装置
WO2008044732A1 (fr) Dispositif, procédé et programme de traitement d&#39;image
JP2003000536A (ja) 電子内視鏡装置
WO2007072956A1 (en) Dental colorimetry apparatus
JPH09214787A (ja) 画像処理装置及び方法
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
JP4327380B2 (ja) 蛍光画像表示方法および装置
JP5280026B2 (ja) 画像処理装置および内視鏡システム
JP5173130B2 (ja) 電子内視鏡装置
JP2008093225A (ja) 内視鏡システム及び内視鏡システムにおける画像処理方法
CN113474710B (zh) 医疗设备用颜色修正装置、医疗用图像显示系统和记录介质
CN111936031B (zh) 医疗图像处理装置
JP4606838B2 (ja) 電子内視鏡装置
WO2018079217A1 (ja) 内視鏡システム及びその作動方法
JPH0678947B2 (ja) Crtカラーディスプレイの発光制御信号と物体色cie三刺激値の相互変換法
EP4275581A1 (en) Method, processor, and medical fluorescence observation device for toggling images
US11793391B2 (en) Image processing device, image processing method, endoscope system, and endoscope observation method
EP4275578A1 (en) Method, processor, and medical fluorescence observation device using a color-dependent color conversion function
JP5885652B2 (ja) 撮像装置、内視鏡装置、及び生体パターン強調処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant