CN107613839B - 内窥镜装置和内窥镜装置的工作方法 - Google Patents

内窥镜装置和内窥镜装置的工作方法 Download PDF

Info

Publication number
CN107613839B
CN107613839B CN201580080748.XA CN201580080748A CN107613839B CN 107613839 B CN107613839 B CN 107613839B CN 201580080748 A CN201580080748 A CN 201580080748A CN 107613839 B CN107613839 B CN 107613839B
Authority
CN
China
Prior art keywords
region
photographed images
image
display control
prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580080748.XA
Other languages
English (en)
Other versions
CN107613839A (zh
Inventor
岩城秀和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107613839A publication Critical patent/CN107613839A/zh
Application granted granted Critical
Publication of CN107613839B publication Critical patent/CN107613839B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

内窥镜装置包含图像获取部(310)、关注区域检测部(320)、移动矢量推断部(340)以及显示控制部(350)，该显示控制部(350)根据关注区域和移动矢量而显示提示图像，在将第1摄像图像中的、提示图像和关注区域重叠的区域设为第1图像上区域、将与第1图像上区域对应的区域设为第1被摄体区域、将第2摄像图像中的、与第1被摄体区域对应的图像上区域和提示图像重叠的区域设为第2图像上区域、将与第2图像上区域对应的区域设为第2被摄体区域的情况下，显示控制部(350)以使第2被摄体区域成为比第1被摄体区域狭窄的区域的方式进行第2摄像图像中的提示图像的显示控制。

Description

内窥镜装置和内窥镜装置的工作方法
技术领域
本发明涉及内窥镜装置和内窥镜装置的工作方法等。
背景技术
在内窥镜观察中，有时根据图像解析的结果而从系统侧进行病变检测结果等与关注区域相关的信息的提示。来自系统的信息以往是按照规定的方法重叠在观察图像上的关注区域的规定的位置而进行提示的。由于该重叠提示有时会妨碍观察，因此公开了不会妨碍观察那样的各种提示方法。
例如，在专利文献1中公开了如下方法：在关注区域的数量、大小、从最初检测起的检测经过时间中的至少1个超过了规定的阈值的情况下消除提示。
并且，在专利文献2中公开了对示出由选择单元选择的关注区域的病变部的位置的标记(图像数据)进行重叠的方法。
并且，在专利文献3中公开了能够变更重叠的窗口的大小、显示场所、显示、非显示的方法。
并且，在专利文献4中公开了如下方法：当判别为图像发生了变化时，计算各个部分的图像的偏移量，并根据该偏移量而改变所重叠的信息。
现有技术文献
专利文献
专利文献1：日本特开2011-255006号公报
专利文献2：日本特开2011-087793号公报
专利文献3：日本特开2001-104333号公报
专利文献4：日本特开2009-226072号公报
专利文献5：日本特开2007-125373号公报
非专利文献
非专利文献1："Visual SLAM for handheld monocular endoscope"Grasa,OscarG and Bernal,Ernesto and Casado,Santiago and Gil,Ismael and Montiel,MedicalImaging,Vol.33,No.1,p.135-146,2014
非专利文献2："Towards Automatic Polyp Detection with a PolypAppearance Model"Jorge Bernal,F.Javier Sanchez,&Fernando Vilarino,PatternRecognition,45(9),3166-3182
发明内容
发明要解决的课题
公知有像专利文献1～4那样将任意的信息重叠在摄像图像(显示图像、观察图像)上进行显示时的显示控制方法。但是，在以往的方法中，在从系统侧进行将病变检测结果等重叠在内窥镜的观察画面上而进行信息提示的情况下，有时无法迅速地改善对观察重叠有信息的关注区域上的规定的位置的妨碍。
例如在专利文献1中，如果关注区域的数量或大小、检测经过时间没有超过规定的阈值，则无法消除提示，因此在消除提示之前的反应迟缓，医生需要了解用于消除的流程。
并且，在专利文献2中，当对示出标记的图像数据进行控制时，产生选择关注区域这一流程。
并且，在专利文献3中，要想变更显示形态，产生进行变更用的操作这一流程。
并且，在专利文献4中，虽然公开了根据偏移量而改变提示信息的方法，但没有考虑改善所重叠的被摄体的观察状态，因此有时在改变提示信息后，观察状态也没有被改善。
根据本发明的几个方式，能够提供能够适当改善提示图像对关注区域的观察的妨碍的内窥镜装置和内窥镜装置的工作方法。
用于解决课题的手段
本发明的一个方式涉及内窥镜装置，其包含：图像获取部，其获取摄像图像，该摄像图像是摄像部拍摄被摄体而得到的图像；关注区域检测部，其根据所述摄像图像的像素的特征量来检测关注区域；移动矢量推断部，其推断所述摄像图像的至少一部分的移动矢量；以及显示控制部，其根据所述关注区域和所述移动矢量，将强调所述关注区域的提示图像重叠在所述摄像图像上进行显示，在将第1摄像图像中的、所述提示图像和所述关注区域重叠的区域设为第1图像上区域、将与所述第1图像上区域对应的所述被摄体上的区域设为第1被摄体区域、将第2摄像图像中的、与所述第1被摄体区域对应的图像上区域和所述提示图像重叠的区域设为第2图像上区域、将与所述第2图像上区域对应的所述被摄体上的区域设为第2被摄体区域的情况下，所述显示控制部以使所述第2被摄体区域成为比所述第1被摄体区域狭窄的区域的方式进行所述第2摄像图像中的所述提示图像的显示控制。
在本发明的一个方式中，在像上述那样考虑了第1被摄体区域、第2被摄体区域的情况下，进行使第2被摄体区域比第1被摄体区域狭窄那样的提示图像的显示控制。这里，第1被摄体区域对应于在第1摄像图像中因提示图像而观察困难的被摄体(应该特别注意的被摄体)，第2被摄体区域对应于在第1摄像图像和第2摄像图像双方中因提示图像而观察困难的被摄体。即，这样的话，能够适当地改善关注区域的观察状态，并且根据移动矢量而进行为此的显示控制，因此能够省略用户的繁杂的操作等。
并且，本发明的其他方式涉及内窥镜装置的工作方法，其中，进行获取摄像图像的处理，该摄像图像是摄像部拍摄被摄体而得到的图像，根据所述摄像图像的像素的特征量来检测关注区域，推断所述摄像图像的至少一部分的移动矢量，根据所述关注区域和所述移动矢量而进行将强调所述关注区域的提示图像重叠在所述摄像图像上进行显示的显示控制，在将第1摄像图像中的、所述提示图像和所述关注区域重叠的区域设为第1图像上区域、将与所述第1图像上区域对应的所述被摄体上的区域设为第1被摄体区域、将第2摄像图像中的、与所述第1被摄体区域对应的图像上区域和所述提示图像重叠的区域设为第2图像上区域、将与所述第2图像上区域对应的所述被摄体上的区域设为第2被摄体区域的情况下，在所述显示控制中，以使所述第2被摄体区域成为比所述第1被摄体区域狭窄的区域的方式进行所述第2摄像图像中的所述提示图像的显示控制。
附图说明
图1是关注区域和提示图像的关系图。
图2是内窥镜装置的结构例。
图3的(A)～图3的(D)是进行平移移动情况下的第1图像上区域、第2图像上区域的说明图。
图4的(A)、图4的(B)是进行放大的情况下的第1图像上区域和与第1图像上区域对应的第2摄像图像上区域的说明图。
图5是内窥镜装置的详细的结构例。
图6的(A)、图6的(B)是在进行了放大的情况下使提示图像不显示的方法的说明图。
图7的(A)、图7的(B)是在向图像中央部进行了平移移动的情况下使提示图像不显示的方法的说明图。
图8的(A)～图8的(E)是使提示图像旋转的方法的说明图。
图9的(A)、图9的(B)是使显示文字信息的提示图像旋转的方法的说明图。
图10是根据移动矢量的大小来设定提示图像的旋转量的方法的说明图。
图11的(A)～图11的(C)是根据摇摆和俯仰操作而将提示图像变形的方法的说明图。
图12是根据摇摆和俯仰操作而简单地将提示图像变形的方法的说明图。
图13的(A)～图13的(C)是在进行了放大的情况下缩小提示图像的尺寸的方法的说明图。
图14的(A)、图14的(B)是针对关注区域显示多个提示图像的方法和根据移动矢量而使提示图像平移移动的方法的说明图。
图15的(A)～图15的(C)是多阶段的显示控制的说明图。
具体实施方式
以下，对本实施方式进行说明。并且，以下说明的实施方式不对在权利要求书中记载的本发明的内容进行不当限定。并且，在本实施方式中说明的所有结构不一定是本发明所必需的结构要件。
1.本实施方式的方法
首先，对本实施方式的方法进行说明。以往，公知有如下方法：从使用内窥镜镜体拍摄的摄像图像中检测关注区域，对该关注区域添加给定的信息而进行显示。例如，在内窥镜检查中，医生一边观察内窥镜图像一边诊断在诊察对象的体腔内有无异常的部位。然而，仅通过该视觉确认的诊断，有可能看漏较小的病变或者与周边的差异较小的病变等难以发现的病变部。
因此，像图1的A1那样，从摄像图像中检测具有病变的可能性的区域作为关注区域AA，通过在该区域上显示图1的A2所示的提示图像AL(这里为箭头图形)来防止医生看漏，减轻医生的负担。具体而言，如图1的A3所示，考虑有将表示关注区域AA的位置的箭头图形(广义上，提示图像AL)显示在与该关注区域对应的位置的方法。这样，能够容易理解地向阅览摄像图像的用户提示检测到关注区域这一情况和所检测到的关注区域在图像上的位置。并且，通过使用包含文字等在内的提示图像，也能够提示位置以外的信息。另外，本实施方式的内窥镜装置在狭义上可以是医疗用内窥镜装置，以下的说明是以医疗用内窥镜装置为例而进行的。
但是，由于在摄像图像上显示提示图像而妨碍了对与该提示图像重叠的被摄体的观察。例如，如果提示图像采用不透明的图像，则无法在该摄像图像上确认与提示图像重叠的被摄体。尤其是，在像图1的A3所示那样关注区域AA与提示图像AL重叠的情况下，产生了如下问题：尽管在该关注区域AA内拍摄了应该关注的被摄体，但在重叠的范围的关注区域内观察被妨碍。这里的重叠的范围具体而言对应于图1的A4所示的关注区域AA中的R1区域。
针对于此，在专利文献1～4等现有的方法中公开了对在摄像图像上显示的信息进行控制的方法。但是，在现有的方法中，为了使提示图像不显示，需要满足规定的条件，或者进行规定的操作。例如，在关注区域的数量或尺寸超过了规定的阈值、或者在从检测到关注区域起的经过时间超过了规定的阈值作为消除提示图像的条件的情况下，要想进行提示图像的消除，用户需要在认识到这样的条件之后，采取增加关注区域的数量或者增大尺寸那样的措施、或者等待直至经过规定的时间。或者，有时需要特意进行例如关注区域或提示区域的选择操作、显示形态的指定操作那样的用于控制提示图像的操作，用户的操作变得繁杂。
在专利文献4中公开了根据图像上的移动、即摄像部与被摄体的相对的移动来改变所显示的信息的方法。如果是该方法，则即使不进行专门的操作也能够改变提示图像。但是，专利文献4的方法不是假设通过提示图像来改善观察状态，无法保证在信息发生变化后关注区域的观察状态也被改善。换言之，没有公开用于改善关注区域的观察状态的信息(提示图像)的变更方法。
这里，本申请人提出了控制提示图像的显示形态的方法，使得即使用户不进行繁杂的操作等也能够改善关注区域的观察状态。具体而言，如图2所示，本实施方式的内窥镜装置包含：图像获取部310，其获取摄像图像，该摄像图像是摄像部(例如后述的图5中的摄像部200)拍摄被摄体而得到的图像；关注区域检测部320，其根据摄像图像的像素的特征量来检测关注区域；移动矢量推断部340，其推断摄像图像的至少一部分的移动矢量；以及显示控制部350，其根据关注区域和移动矢量，将强调关注区域的提示图像重叠在摄像图像上进行显示。而且，在将第1摄像图像中的提示图像和关注区域重叠的区域设为第1图像上区域、将与第1图像上区域对应的被摄体上的区域设为第1被摄体区域、将第2摄像图像中的与第1被摄体区域对应的图像上区域和提示图像重叠的区域设为第2图像上区域、将与第2图像上区域对应的被摄体上的区域设为第2被摄体区域的情况下，显示控制部350以使第2被摄体区域成为比第1被摄体区域狭窄的区域的方式进行第2摄像图像中的提示图像的显示控制。
这里，关注区域是指对于用户来说观察的优先顺序相对高于其他区域的区域，例如，在用户是医生并且希望进行治疗的情况下，是指拍摄粘膜部或者病变部等的区域。并且，作为其他例子，如果医生想要观察的对象是泡或者粪便，则关注区域为拍摄该泡部分或者粪便部分的区域。即，用户应该关注的对象根据其观察目的而不同，但不论是哪个，在其观察时，对用户来说观察的优先顺序相对高于其他区域的区域便是关注区域。后面对关注区域的检测方法进行描述。并且，特征量是表示像素的特征的信息，可以是像素值(R、G、B各值中的至少一个)，也可以是亮度值或色差、色调等。并且，特征量不限于此，能够使用被摄体的边缘信息(轮廓信息)或者由边缘所包围的区域的形状信息等各种信息。并且，提示图像是像上述那样用于强调关注区域的信息，是在摄像图像上显示的图像信息。提示图像可以是在图3的(A)等中示出的箭头形状的图像，也可以像后面使用图9(A)所描述那样是包含文字信息在内的图像，也可以像后面使用图11的(A)所描述那样是旗形状的图像，也可以是这以外的图像。本实施方式的提示图像只要是强调关注区域的位置、尺寸或者该关注区域的性质等并且能够容易理解地向用户提示的信息即可，能够对其形态实施各种变形。
并且，如上所述，第1图像上区域是指摄像图像上的关注区域与提示图像重叠的区域，如果像图3的(A)那样在第1摄像图像中检测到关注区域AA1并且将提示图像AL1重叠在该摄像图像上进行显示，则第1图像上区域是图3的(A)的R1所示的区域。而且，第1被摄体区域是表示在图3的(A)的第1摄像图像中被拍摄到第1图像上区域R1内的被摄体范围的区域。
并且，在规定第2图像上区域时，首先考虑在第2摄像图像中检测到的关注区域AA2中的、拍摄到第1被摄体范围的区域R1’即可。例如，当在第1摄像图像和第2摄像图像之间像图3的(B)所示那样摄像部200和被摄体相对地平移移动的情况下，如图3的(B)所示，区域R1’是将R1平移移动后的第2摄像图像上的区域。并且，当在第1摄像图像和第2摄像图像之间像图4的(A)、图4的(B)所示那样进行了放大的情况下，如图4的(B)所示，区域R1’是将R1放大后的第2摄像图像上的区域。这样，由于R1’是所拍摄的被摄体与R1对应(狭义上，一致)的区域，因此图像上的位置、尺寸、形状并不一定要与R1一致。
第2图像上区域是区域R1’与第2摄像图像上的提示图像AL2的重叠区域，例如在像图3的(C)那样显示提示图像AL2的情况下，第2图像上区域是图3的(D)的R2所示的区域。而且，第2被摄体区域是表示在图3的(D)的第2摄像图像中被拍摄到第2图像上区域R2内的被摄体范围的区域。
这样，能够进行使在第1摄像图像中被提示图像遮蔽的被摄体范围(对应于第1被摄体区域)中的至少一部分的区域在第2摄像图像中不被提示图像遮蔽那样的提示图像的控制。即，使得能够在第2摄像图像中观察在第1摄像图像中难以观察的被摄体，因此能够适当地改善观察状态。此时，由于提示图像的显示控制是根据移动矢量而进行的，因此具有用户无需进行用于控制提示图像的繁杂操作这样的优点。
另外，后面使用图6～图15对使第2被摄体区域成为比第1被摄体区域狭窄的区域那样的第2摄像图像中的提示图像的具体显示控制方法进行描述。
并且，以上使用第1、第2被摄体区域的尺寸(面积)进行了说明，但本实施方式的方法不限于此。例如，也可以是，本实施方式的内窥镜装置包含上述的图像获取部310、关注区域检测部320、移动矢量推断部340以及显示控制部350，在将第1摄像图像中的提示图像和关注区域重叠的区域设为第1图像上区域、将第2摄像图像中的与第1图像上区域对应的区域和提示图像重叠的区域设为第2图像上区域的情况下，显示控制部350以使第2图像上区域成为比第1图像上区域狭窄的区域的方式进行第2摄像图像中的提示图像的显示控制。这里，使第2图像上区域成为比第1图像上区域狭窄的区域的显示控制是指在将第2图像上区域的面积设为SI2、将第1图像上区域的面积设为SI1的情况下使SI2＜SI1那样的显示控制。即，本实施方式的方法也可以是根据摄像图像上的区域而进行显示控制的方法。
以下，对使用了移动矢量的检测处理的具体例和提示图像的显示控制的具体例进行说明。在本发明的方法中，考虑有使用移动矢量来检测进行了怎样的移动、在检测到对象的移动的情况下如何改变提示图像这样的各种组合，因此以下首先对基本的组合的例子进行说明，然后对变形例进行说明。
2.基本实施方式
使用图5对本实施方式的内窥镜装置(内窥镜系统)进行说明。本实施方式的内窥镜装置具有处理部300、显示部400、外部I/F部500、光源部600、作为插入到体内的插入部的硬性镜100以及与硬性镜100连接的摄像部200。
光源部600具有：白色光源610，其产生白色光；以及光导缆线620，其将来自白色光源610的出射光向硬性镜引导。
硬性镜100具有：透镜系统110，其构成为包含物镜、中继透镜、目镜等；以及光导部120，其将来自光导缆线620的出射光引导到硬性镜前端。
摄像部200具有使来自透镜系统110的出射光成像的摄像透镜系统240。摄像透镜系统240构成为包含对对焦物体位置进行调节的对焦透镜220。摄像部200还具有：摄像元件250，其对由摄像透镜系统240成像的反射光进行光电转换而生成图像；对焦透镜驱动部230，其对对焦透镜220进行驱动；以及自动对焦(以下，AF)开始/结束按钮210，其对AF的开始、结束进行控制。
摄像元件250例如是RGB中的任意滤色镜按照拜耳排列配置而成的原色拜耳型的摄像元件。这里，像其他的使用了补色滤色镜的摄像元件、不使用滤色镜而能够利用一个像素接受不同的波长的光的层叠型的摄像元件、不使用滤色镜的单色摄像元件等，只要能够拍摄被摄体而获得图像，就能够使用任意摄像元件。对焦透镜驱动部230例如是音圈马达(VCM)等任意的致动器。
像以上使用图2所描述那样，处理部300具有图像获取部310、关注区域检测部320、图像保存部(存储部)330、移动矢量推断部340以及显示控制部350。
图像获取部310获取由摄像部200拍摄的摄像图像。这里所获取的摄像图像狭义上是在时间上连续的(按照时间序列的)图像。图像获取部310例如可以是A/D转换部，A/D转换部进行将从摄像元件250依次输出的模拟信号转换为数字图像的处理。并且，也可以在图像获取部310(或者未图示的预处理部)中对摄像图像进行预处理。这里的预处理是指例如白平衡、插值处理(去马赛克处理)等图像处理。
关注区域检测部320从摄像图像中检测关注区域。图像保存部330存储(保存)摄像图像。移动矢量推断部340根据处理对象时机的摄像图像和保存在图像保存部330中的过去的(狭义上，前一时机的)摄像图像来推断移动矢量。显示控制部350根据关注区域的检测结果和推断出的移动矢量来进行提示图像的显示控制。另外，也可以在显示控制部350中进行提示图像以外的显示控制，例如可以进行颜色转换、灰度转换、边缘增强、缩放处理、降噪等图像处理。后面对提示图像的具体的显示控制进行描述。
显示部400例如是液晶监视器，显示从显示控制器350依次输出的图像。
处理部300(控制部)与外部I/F部500、摄像元件250、AF开始/结束按钮210、光源部600彼此连接，进行控制信号的输入和输出。外部I/F部500是用户对内窥镜装置进行输入等用的接口，例如构成为包含用于设定AF区域的位置和尺寸的设定按钮、用于调节图像处理的参数的调节按钮等。
并且，在图5中以在腹腔镜手术等中使用的硬性镜为例进行了说明，但内窥镜装置的结构不限于此，也可以是上部内窥镜或下部内窥镜等其他内窥镜装置。并且，内窥镜装置不限于图5的结构，能够实施省略其一部分的结构要素或者添加其他结构要素等各种变形。例如，在图5中，由于假设为进行AF的内窥镜装置，因此包含对焦透镜220等，但本实施方式的内窥镜装置也可以是不进行AF的结构，能够省略这些结构要素。并且，如后所述，在本实施方式中可以进行放大操作，该放大可以由摄像透镜系统240实现。在该情况下，摄像透镜系统240可以是包含未在图5中图示的变焦透镜在内的结构。
接下来，对关注区域检测部320、移动矢量推断部340、显示控制部350中的具体的处理进行说明。
提出有各种检测关注区域(尤其是活体的病变部)的方法，例如可以使用非专利文献1那样的方法，也可以像专利文献5所公开那样使用区域的形状和颜色。在专利文献5中，从摄像图像中提取椭圆状的形状，根据所提取的椭圆内的颜色与预先定义的病变模型的颜色的比较处理来检测关注区域。或者，也可以使用窄带光观察(NBI，Narrow bandimaging)。在NBI中，通过使用比通常的RGB窄的波段的光(例如B2(390nm～445nm)或者G2(530nm～550nm))，给定的病变能够以与通常不同的颜色(例如红褐色)显示。即，通过在使用了窄带光之后判定被摄体的颜色信息等，也能够检测关注区域。此外，能够在本实施方式中广泛使用各种检测方法。
在关注区域检测部320检测到关注区域的情况下，如图1的A3所示，显示控制部350将提示图像AL重叠在检测到关注区域AA的位置进行显示。在该时刻，无法观察到被提示图像AL遮蔽的区域。这里，提示图像AL不限于箭头图形，也可以是使用文字、形状、颜色等来提示患者背景、所检测到的病变的种类、通过其他影像采集设备(医用图像装置、医学影像装置)观察到的信息等的图像。
并且，当在时间上连续的下一个图像中也检测到了关注区域的情况下，显示控制部350以使能够观察到在之前的图像中被提示图像AL遮蔽的区域的方式改变提示图像的形态。
具体而言，在移动矢量推断部340中，使用保存在图像保存部330中的过去的图像来推断关于至少一组对应点的移动矢量。具体而言，内窥镜装置包含存储摄像图像的存储部(图像保存部330)，移动矢量推断部340根据处理时机的摄像图像与存储在存储部中的比处理时机靠前的摄像图像的比较处理，检测至少一个对应像素(对应点)，并根据对应像素来推断移动矢量即可。
提出有各种推断关于图像间的对应点的移动矢量的方法，例如可以使用专利文献4所公开的方法。并且，移动矢量推断除了推断关于图像间的对应点的移动矢量的方法以外，还公知有根据预先获取的三维数据来推断内窥镜的前端位置和方向的方法、以及通过使用外部的传感器直接检测内窥镜的移动而进行推断的方法，在本实施方式的移动矢量推断中能够广泛使用这些方法。而且，显示控制部350通过推断出的移动矢量来改变提示图像的形态。
在图6的(A)～图7的(B)中示出了更具体的实施方式。移动矢量推断部340推断由关注区域检测部320检测到的关注区域周边的至少一个对应点的移动矢量，显示控制部350根据该移动矢量来控制是否使提示图像消失。即，本实施方式的第2摄像图像中的提示图像的显示控制也可以是消除在第1摄像图像中显示的提示图像的控制。
如上所述，在本实施方式中改善了观察被提示图像妨碍了的被摄体的观察状态。因此，如果在第2摄像图像中消除了提示图像(使提示图像不显示)，则在第2摄像图像中关注区域不会被提示图像遮蔽。即，由于上述第2图像上区域和第2被摄体区域的尺寸(面积)均为0，因此能够使第2拍摄体区域成为比第1被摄体区域狭窄的区域。
但是，由于提示图像自身是向用户提示关注区域的位置及其详细信息等的，因此如果消除该提示图像，则向用户提示的信息的量变少。例如，有可能由于在关注区域的视觉确认性低的状态下消除了提示图像而导致用户漏看关注区域，或有可能在用户想要阅读关注区域的详细信息的状态下该详细信息被消除。即，如果要消除提示图像，则最好考虑是否是不会由于该消除控制而产生问题的状况。
因此，在本实施方式中，也可以根据移动矢量来推断用户的观察状态。具体而言，只要推断用户是否想要对作为对象的关注区域进行详细的观察即可。在要进行详细的观察的状况下，由于关注区域被提示图像遮蔽而无法观察关注区域的一部分这一情况会导致产生了病变的漏诊等问题，用户的压力也很大。由此，只要在推断出用户想要进行详细观察的情况下进行提示图像的消除即可。
例如，在对关注区域进行了变焦(放大)的情况下，推断出用户希望详细观察该关注区域。具体而言，推断关于在图6的(A)的过去的图像(第1摄像图像)中检测到的病变部和在图6的(B)的当前的图像(第2摄像图像)中检测到的病变部的周边的至少两个对应点的移动矢量，在该两个对应点之间的距离增大的情况下，判断为用户将内窥镜向病变部变焦。而且，由于判断为进行了变焦，因此在图6的(B)的第2摄像图像中使在第1摄像图像中显示的提示图像消失。图6的(B)是与图4的(B)对应的状况，但由于不显示提示图像AL2，因此在图4的(B)中示出的与第1被摄体区域对应的图像上区域R1’和提示图像AL2不重叠，第2图像上区域和第2被摄体区域的面积均为0。
或者也可以是，推断关于在图7的(A)的过去的图像中检测到的病变部和在图7的(B)的当前的图像中检测到的病变部的周边的至少一个对应点的移动矢量，在移动矢量朝向图像中心的情况下，判断为用户注意到病变而要开始详细观察。在该情况下也是，在图7的(B)的第2摄像图像中使在第1摄像图像中显示的提示图像消失。图7的(B)是与图3的(B)对应的状况，但由于不显示提示图像AL2，因此在图3的(B)中示出的与第1被摄体区域对应的图像上区域R1’和提示图像AL2不重叠，第2图像上区域和第2被摄体区域的面积仍然均是0。
另外，在图7的(A)、图7的(B)中示出了关注区域朝向图像中心方向平移移动的例子，但不限于此，在通过旋转移动而朝向图像中心方向移动的情况下，也可以使提示图像消失。这里的旋转移动例如是通过使内窥镜装置的硬性镜100(插入部)绕光轴旋转而实现的。
在以上的本实施方式中，可以是，在将上述第1被摄体区域的面积设为S1、将上述第2被摄体区域的面积设为S2的情况下，显示控制部350以满足S2＜S1的方式进行第2摄像图像中的提示图像的显示控制。即，使第2被摄体区域比第1被摄体区域狭窄可以是指规定各被摄体区域的面积为S1、S2并满足S2＜S1的关系。这里，各被摄体区域的面积可以是在各区域内拍摄的被摄体的表面积，也可以是将各被摄体向给定的平面(例如与摄像部200的光轴方向垂直的平面)投影而成的区域(被摄体平面)的面积。无论如何，由于本实施方式的被摄体区域表示实际空间上的被摄体的尺寸，因此不限于与图像上的尺寸(面积)一致。例如，像以上使用图4的(A)、图4的(B)所描述那样，即使是相同的被摄体区域，如果被摄体与摄像部200的距离或者放大倍率等光学系统的条件不同，则图像上的面积会发生变化。
并且，可以是，当根据移动矢量而判定为在第1摄像图像和第2摄像图像之间摄像部200针对被摄体进行了变焦的情况下，显示控制部350以使第2被摄体区域成为比第1被摄体区域狭窄的区域的方式对第2摄像图像中的提示图像进行显示控制。
或者可以是，当根据移动矢量而判定为在第1摄像图像和第2摄像图像之间进行了摄像部200相对于被摄体的相对平移移动和旋转移动中的至少一方的情况下，显示控制部350以使第2被摄体区域成为比第1被摄体区域狭窄的区域的方式对第2摄像图像中的提示图像进行显示控制。
由此，能够使用移动矢量来判定变焦和平移、旋转移动，并根据判定结果来对提示图像进行显示控制。即，用户只要执行进行变焦和平移、旋转移动那样的操作即可。关于变焦，例如如果摄像透镜系统240具有变焦透镜，则能够通过该变焦透镜的控制(变焦倍率的控制)而实现变焦，也能够通过拉近摄像部200与被摄体的距离而实现变焦。并且，关于平移移动，只要使摄像部200(硬性镜100)沿着与光轴交叉的方向(狭义上是垂直的方向)移动即可，关于旋转移动，只要使摄像部(硬性镜100)绕着光轴旋转即可。这些操作是在使用内窥镜装置观察被摄体时自然进行的。例如是在探索关注区域时或为了容易观察所发现的关注区域而选取位置时进行的操作。即，在变更提示图像的显示形态时，无需进行变更专用的繁杂的操作，能够通过内窥镜观察中的自然的操作来变更显示形态。
此时，显示控制部350可以进行使在第2摄像图像中不显示提示图像的控制。更具体而言，如上所述，可以是，在根据移动矢量而判定为在第1摄像图像与第2摄像图像之间对关注区域进行了放大的情况下，显示控制部350进行使在第2摄像图像中不显示提示图像的控制。或者可以是，在根据移动矢量而判定为在第1摄像图像与第2摄像图像之间关注区域移动到了摄像图像的中央部的情况下，显示控制部350进行使在第2摄像图像中不显示提示图像的控制。
并且，如上所述，本实施方式的移动矢量只要是表示被摄体在摄像图像上移动的信息即可，不限定于从图像中求取的信息。例如，也可以是，将任意的移动传感器(作为一例，加速度传感器或者陀螺仪传感器)搭载于硬性镜100，根据来自该移动传感器的传感器信息而求取本实施方式的移动矢量。并且，如果是通过变焦透镜的控制来实现放大的情况，则可以根据该变焦透镜的控制信息而求取移动矢量，从而判定是否进行了放大。并且，也可以像根据传感器信息和图像信息双方来求取移动矢量那样，通过组合多个方法来求取移动矢量。
这样，能够在检测到对关注区域的放大或者关注区域向图像中央方向的移动的情况下，消除提示图像。由此，判定用户是否想要进行关注区域的观察，能够在判定为想要进行观察的情况下消除提示图像。在用户打算观察关注区域的情况下，考虑到由于关注区域被提示图像遮蔽引起的弊端较大，因此进行消除提示图像是很有利的。并且，在进行详细观察的情况下，详细信息和表示位置的箭头图形等的重要程度相对下降，因此可以认为由消除提示图像引起的问题不容易产生。例如，既然注视着关注区域，就不可能不了解位置，因此可以消除箭头图形。并且，在进行变焦等的状况下，用户应该是打算视觉确认关注区域的被摄体，同时看文字信息等详细的提示图像的必要性也较低。
并且，本实施方式的内窥镜装置可以包含处理器和存储器。这里的处理器例如可以是CPU(Central Processing Unit：中央处理单元)。但是，处理器不限于CPU，能够使用GPU(Graphics Processing Unit：图像处理单元)或者DSP(Digital Signal Processor：数字信号处理器)等各种处理器。并且，处理器也可以是基于ASIC(application specificintegrated circuit：专用集成电路)的硬件电路。并且，存储器保存能够由计算机读取的指令，通过由处理器执行该指令，能够实现本实施方式的内窥镜装置的各部分。这里的存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器或硬盘等。并且，这里的指令可以是构成程序的指令集的指令，也可以是向处理器的硬件电路指示动作的指令。
如上所述，由于在本实施方式中操作人员能够通过移动摄像部200(硬性镜100)而对标注在关注区域上的标记(提示图像)的变形、显示、不显示进行控制，因此在操作人员想要移动标注在关注区域上的标记的情况下，无需特殊的开关，能够以自然的动作进行控制。此时，操作人员能够通过对关注区域进行变焦、或者将其向中心移动而使标记不显示，因此在操作人员想要移动标注在关注区域上的标记的情况下，无需特殊的开关，能够以自然的动作进行控制。
3.变形例
本实施方式中的使用了移动矢量的判定和提示图像的显示控制不限于上述方式。以下，对几个变形例进行说明。
3.1旋转显示
可以如图8的(A)、图8的(B)所示，显示控制部350根据移动矢量来进行使第1摄像图像中的提示图像旋转移动而显示在第2摄像图像上的控制。以下，进行具体说明。在以图8的(A)所示的第1摄像图像为基准的情况下，在图8的(B)所示的第2摄像图像中考虑如下情况：摄像部200(硬性镜100)相对地向左上方向(DR1)移动，伴随于此，在摄像图像上关注区域向右下方向(DR2)移动。这里DR2是DR1的相反方向。
移动矢量变成了检测DR1或者DR2，但这里假设是从针对摄像图像的图像处理中求取移动矢量的情况，对检测到DR2作为移动矢量的情况进行说明。
在以不改变第1摄像图像中的关注区域AA1与提示图像AL1的相对关系的方式将提示图像显示在第2摄像图像上的情况下，该提示图像为图8的(B)的AL1’。例如，作为提示图像的箭头图形的前端位置为关注区域的规定的位置(例如中心、重心等位置)，如果采用使箭头图形的姿势(角度、方向)不变的配置，则能够确定在假设为不改变相对位置关系的情况下的提示图像AL1’在第2摄像图像上的位置。
在本实施方式中，例如以AL1’为基准(旋转的开始点)旋转AL1’，使用推断出的移动矢量的方向DR2来决定在第2摄像图像上显示的提示图像AL2。作为一例，也可以是，以提示图像的给定的位置为中心进行使提示图像的方向与移动矢量的方向DR2的相反方向DR1一致那样的旋转。
例如，在提示图像是轴和在该轴的一端设置有箭头的箭头图像的情况下，如图8的(C)所示，只要使用箭头的前端(P0)作为旋转的中心即提示图像的给定的位置即可。并且，提示图像的方向只要使用从箭头的前端P0朝向箭头图形的轴中的与箭头不同侧的端点的方向(DRA)即可。在该情况下，提示图像的旋转是在图8的(B)中以P0为中心使DRA与DR1一致那样的旋转，旋转后的提示图像如AL2所示。
这样，在第1摄像图像和第2摄像图像中，提示图像相对于关注区域的相对位置发生变化。因此，如图8的(D)所示，与第1被摄体区域对应的图像上区域R1’的至少一部分和第2摄像图像上的提示图像AL2不重复，因此能够在第2摄像图像上容易观察与第1被摄体区域对应的被摄体(即，在第1被摄体图像中观察困难的被摄体)。尤其是，在图8的(B)、图8的(D)的例子中，R1’和AL2不重复(第2图像上区域和第2被摄体区域的尺寸＝0)。当然，根据P0和DRA、DR1的关系，R1’和AL2有可能重复(即，产生在第1摄像图像中无法观察并且在第2摄像图像也无法观察的关注区域)。但是，在图8的(A)～图8的(D)的方法中，通过提示图像旋转移动，第2摄像图像中的关注区域AA2与关注图像AL2的相对关系和第1摄像图像中的关注区域AA1与提示图像AL1的相对关系不同。由此，第2被摄体区域成为比第1被摄体区域狭窄的区域，因此在第1摄像图像中无法观察的区域的至少一部分在第2摄像图像中为能够观察的状态，实现了观察状态的改善。
并且，由图8的(B)可知，在本变形例中，即使在第2摄像图像中也不消除提示图像，因此有可能由于在第2摄像图像中关注区域AA2和提示图像AL2重复而导致产生观察困难的区域(图8的(E)的R3)。而且，根据状况，也有可能产生(与R3对应的被摄体区域的尺寸)＞(与R1对应的第1被摄体区域的尺寸)的情况。但是，本实施方式的方法进行使在用户进行移动操作前(在第1摄像图像中)无法观察的被摄体在移动操作后(在第2摄像图像中)易于观察的显示控制。因此，允许由于该显示控制而使之前能够观察的被摄体被提示图像遮蔽。即使假设在第2摄像图像中无法观察关注区域的一部分(R3)，只要用户进一步进行放大或者平移、旋转移动，也能够进行在再下一个的摄像图像(第3摄像图像)中改善该一部分区域的观察状态的显示控制，因此这方面不会构成大问题。
并且，通过本变形例的方法进行显示控制的提示图像不限于箭头图形。例如，在包含文字等在内的提示图像像图9的(A)那样在第1摄像图像中相对于基准位置显示在DRA侧的情况下，当像图9的(B)那样在与第2摄像图像之间关注区域向DR2侧移动了时，可以实施使得在第2摄像图像中包含文字等在内的提示图像相对于基准位置显示在DRA侧这样的变形。
并且，也可以是，将旋转的目标设为移动矢量的方向DR1，旋转量由移动量(移动矢量的大小)决定。作为一例，也可以是，在移动量为给定的阈值Mth以上的情况下，与图8的(A)、图8的(B)同样地进行使DRA与DR1一致的旋转，在移动量为M(＜Mth)的情况下，旋转量为θ×M/Mth。这里的θ是旋转前的DRA和DR1所成的角度。例如，如果移动量M＝Mth/2，则提示图像的旋转量为θ/2，因此在图10所示的位置显示提示图像AL2。这样，能够根据移动矢量的大小(移动量)而对使提示图像旋转移动时的移动量(旋转量)进行控制。
像以上那样，在本变形例中，在根据移动矢量而判定为在第1摄像图像和第2摄像图像之间关注区域向第1方向(与图8的(B)等的DR2对应)进行了平移移动的情况下，显示控制部350进行以第2摄像图像中的关注区域为基准使提示图像向第1方向的相反方向(DR1)侧旋转移动而显示在第2摄像图像上的控制。
这样，能够通过用户移动摄像部200而使标注在关注区域上的提示图像(标记)旋转，因此在操作人员希望提示图像移动的情况下，不需要特殊的开关，能够以自然的动作进行控制。此时，通过根据移动矢量的方向来设定旋转方向，进行遵守实际空间中的物理法则的提示图像的移动，因此能够实现直观的操作。关于图8的(A)、图8的(B)等的控制，想象例如举着旗杆移动的情况，就会容易理解。在举着旗子向给定的方向移动了的情况下，安装在杆的前端的素材(布、纸等)由于受到与移动方向相反的方向的气流而向与移动方向相反的方向舒展。
在图8的(A)、图8的(B)的例子中也是，通过使关注区域向DR2的方向移动，提示图像进行旋转从而位于作为DR2的相反方向的DR1的方向侧。这也能够认为是虽然关注区域向DR2方向移动，但提示图像想要留在原来的位置。不论如何，由于在上述的旗子的例子或者很强的惯性发挥作用的情况等时物体被向与移动方向相反的方向拖拽(想要留下)这一物理现象是很常见的，因此在摄像图像中，只要使提示图像按照同样的方针移动，就能够实现用户对提示图像的直观的控制。此时，只要将旋转量与移动矢量的大小对应起来，就能够实现更符合物体在实际空间中的移动的控制，因此能够进行更容易理解的控制。例如，只稍微移动旗杆的话布的舒展也很小是能够容易理解的现象，能够进行遵循这样的现象的提示图像的控制。
并且，以上，对根据移动矢量而检测到摄像部200与被摄体的相对的平移移动的情况进行了说明，但也可以在检测到摄像部200与被摄体相对的旋转移动的情况下，进行旋转提示图像而进行显示的控制。在该情况下，也可以根据移动矢量的方向和大小来设定提示图像的旋转方向和旋转量，这点是相同的。
并且，在以上的变形例中，由于在第2摄像图像中也继续显示提示图像，并且根据移动矢量来控制所显示的位置姿势，因此根据移动矢量进行检测的移动不限于关注区域朝向图像中央方向的移动。例如，本变形例的话，也充分考虑了出于变更提示图像相对于关注区域的相对位置姿势的意图(改善观察状态的意图)而进行将关注区域向图像边缘部方向移动那样的操作。
3.2摇摆和俯仰
并且，以上，作为摄像部200与被摄体的相对的移动，对变焦、平移移动、旋转移动(狭义上，绕光轴的旋转，与滚动对应)进行了说明，但相对的移动不限于此。例如，也可以是，规定基于摄像部200的光轴和与该光轴垂直的2个轴构成的垂直3轴，根据移动矢量来检测表示绕着与光轴垂直的2个轴的各轴的旋转的移动，并用于显示控制。这里的移动具体而言是与摇摆(pan)、俯仰(tilt)对应的移动。
在本变形例中，内窥镜装置(狭义上，处理部300)可以包含在图5等中没有图示的关注区域法线推断部。关注区域法线推断部根据由移动矢量推断部340推断出的对应点及其移动矢量来推断关注区域周边的与内窥镜的视线方向相应的三维的切面的法线方向。提出有各种推断与内窥镜的视线方向相应的三维的切面的法线方向的方法，例如可以使用在非专利文献2中公开的方法。并且，不限于此，本实施方式中的关注区域法线推断部的法线方向的推断处理能够广泛使用各种方法。
在显示控制部350中，根据推断出的法线方向，通过使提示图像的形态变形而进行提示。使用图11的(A)、图11的(B)对更具体的动作进行说明。假设像图11的(A)的第1摄像图像那样推断出关注区域AA的切面F并且将旗型的提示图像沿着切面F的法线方向显示的情况。
在该情况下，观察困难的第1图像上区域、第1被摄体区域是相当于旗的背侧的区域。当用户打算观察旗的背侧而以像图11的(B)的第2摄像图像那样接近切面F的方式移动摄像部200(硬性镜100)时，法线方向发生变化。在本变形例中，根据该法线方向的变化来改变旗型的提示图像的形态，从而能够像图11的(B)那样观察背侧。在该情况下，与第1被摄体区域对应的第2摄像图像的图像上区域R1’为在图11的(C)中示出的区域，因此将第2图像上区域R2当作R1’与图11的(B)的AL2重复的区域即可，显然，R2是R1’中的至少一部分的区域。即，在本变形例中也能够使第2被摄体区域成为比第1被摄体区域狭窄的区域。
即，在以上的本变形例中，在根据移动矢量而判定为在第1摄像图像和第2摄像图像之间进行了改变摄像部200的光轴方向和被摄体的法线方向所成的角度的移动的情况下，显示控制部350以使第2被摄体区域成为比第1被摄体区域狭窄的区域的方式进行第2摄像图像中的提示图像的显示控制。
具体而言，只要将提示图像当作在三维空间内存在的假想的物体，在第2摄像图像上显示以由摄像部200的位置而决定的假想的视点来观察该提示图像的情况下的图像即可。另外，关于将物体配置在假想的三维空间并且生成从给定的视点观察该物体而得的二维图像的方法，广泛公知有CG(computer graphics：计算机图形)等方法，因此省略详细说明。并且，如果是图11的(B)那样的旗形状的提示图像的例子，则显示控制部350只要进行简单的运算即可，无需严格地运算三维物体朝向二维图像的投影。例如，可以如图12所示，显示控制部350根据移动矢量来推断关注区域的面的法线方向，进行改变法线方向上的线段的长度的显示控制。在像图12的B1那样进行了使摄像部200(硬性镜100)绕向切面侧的移动(即，使摄像部200的光轴接近包含在切面的面内的方向的移动)的情况下，只要像图11的(B)所示那样使法线方向的线段的长度大于移动前即可。并且，在像图12的B2那样进行了使摄像部200的光轴接近切面的法线方向的移动的情况下，只要使法线方向的线段的长度小于移动前即可。
这样，通过操作人员移动摄像部200，能够使标注在关注区域上的提示图像(标记)变形，因此在操作人员希望移动提示图像的情况下，无需特殊的开关，能够以自然的动作进行控制。而且，在本变形例中，由于将提示图像显示为宛如在三维空间上存在的物体那样，或者由于简单地实现了这样的显示，因此用户能够容易地理解为了观察被提示图像遮蔽的(位于提示图像的背侧的)被摄体而应该如何移动摄像部200。即，能够通过直观易懂的操作来改善关注区域的观察状态。
并且，以上，作为检测到摇摆和俯仰操作的情况下的提示图像的显示控制，采用了改变其形状的方法，但不限于此。例如，在检测到摇摆和俯仰操作的情况下，也可以消除提示图像或者将其旋转移动而显示。对于该情况下的消除的基准或者旋转移动的方向、移动量，只要像上述那样根据移动矢量的方向和大小来决定即可。
3.3尺寸变化
并且，以上，作为提示图像的变化，对消除、旋转移动、形状变化(尤其是将假想的三维物体向二维图像投影时的投影方向的变化)进行了说明，但也可以使用这之外的变化。例如，显示控制部350也可以根据移动矢量而进行变更第1摄像图像中的提示图像的尺寸而显示在第2摄像图像上的显示控制。
例如，在根据移动矢量而判定为在第1摄像图像和第2摄像图像之间摄像部200针对被摄体进行了放大的情况下，显示控制部350进行将第1摄像图像中的提示图像的尺寸缩小而显示在第2摄像图像上的控制。
在图13的(A)～图13的(C)中示出具体例。图13的(A)与图4的(A)等同样地表示第1摄像图像。如图13的(B)所示，当在第2摄像图像中进行了放大的情况下，与第1被摄体区域对应的图像上区域R1’成为被放大得比第1图像上区域R1大的状态。这一点如以上使用图4的(B)所述。因此，如果将尺寸与第1摄像图像相等的提示图像显示在第2摄像图像上，则像图13的(B)所示那样该提示图像AL2只与R1’的一部分重复，因此第2被摄体区域能够成为比第1被摄体区域狭窄的区域。
但是，在本变形例中，在这样的情况下，通过缩小提示图像的尺寸，与将提示图像的尺寸保持为恒定相比，进一步改善观察状态。具体而言，通过像图13的(C)所示那样将提示图像AL2的尺寸缩小得比第1摄像图像中的提示图像AL1(相当于图13的(C)中的AL1”)小，能够使与R1’的重复区域比图13的(B)更窄，能够实现观察状态的进一步的改善。如上所述，进行放大的情况被假定为用户希望对给定的被摄体进行详细的观察，因此能够认为由于提示图像的尺寸变小而引起的问题不容易产生。
并且，以上，对变焦(尤其是放大)进行了说明，但变更提示图像的尺寸时的移动不限于此。具体而言，在摄像部200与被摄体相对地进行平移移动或旋转移动的情况下、或者在进行摇摆和俯仰操作的情况下等，也可以变更提示图像的尺寸。并且，虽然以上省略了说明，但可以根据移动矢量的大小等来决定变更尺寸时的变更倍率。
3.4多个提示图像
并且，以上示出了针对一个关注区域显示一个提示图像的例子，但不限于此，也可以针对一个关注区域显示多个提示图像。
在图14的(A)、图14的(B)中示出了具体例。在图14的(A)中，针对一个关注区域，显示了四个提示图像(箭头图形)。例如，只要以包围关注区域的方式(以使四个箭头图形的前端部的中心处于关注区域的给定的位置的方式)显示提示图像即可。
并且，也可以如图14的(B)所示，在根据移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间对所述关注区域进行了放大的情况下，显示控制部350进行使提示图像向朝向摄像图像的周边部的方向平移移动而显示在第2摄像图像上的控制。
这样，在放大前(在第1摄像图像中)，能够采用使由多个提示图像所示的位置容易被理解的显示形态，因此能够使关注区域的位置容易被理解等。而且，在放大后(在第2摄像图像中)，由于提示图像相对地向摄像图像的周边部移动，因此能够在继续显示多个提示图像的同时实现观察状态的改善。这里的朝向周边部的移动，例如可以是使提示图像的基准位置(箭头图形的前端等)位于比第1摄像图像中的位置靠近摄像图像的周边(端部)的位置的显示控制。
并且，这里，对提示图像为多个的例子进行了说明，但在上述的提示图像为1个的情况下，也可以进行使提示图像平移移动的显示控制。即，显示控制部350可以根据移动矢量而进行使第1摄像图像中的提示图像进行平移移动从而显示在第2摄像图像上的控制。
在该情况下，平移移动的方向不限于朝向周边部的方向，也可以是其他方向。具体而言，可以根据推断出的移动矢量的方向和大小来决定提示图像的平移移动的移动方向和移动量。并且，使提示图像平移移动的控制不限于进行了变焦的情况，也可以与摄像部200和被摄体的相对的平移移动、旋转移动(滚动)、摇摆、俯仰等组合。
3.5阶段处理
并且，以上对根据第1摄像图像和第2摄像图像之间的移动矢量的推断结果来进行第2摄像图像中的提示图像的显示控制的例子进行了说明。但不限于此，也可以根据三个以上的时机的摄像图像来进行显示控制。
例如，也可以是，在根据移动矢量而判定为在第1摄像图像和第2摄像图像之间进行了针对关注区域的变焦、摄像部200相对于被摄体的相对的平移移动、摄像部200相对于被摄体的相对的旋转移动以及改变摄像部200的光轴方向与被摄体的法线方向所成的角度的移动中至少一个的情况下，显示控制部350进行将使第2被摄体区域成为比第1被摄体区域狭窄的区域的提示图像重叠在第2摄像图像上进行显示的控制，在判定为在第2摄像图像和第3摄像图像之间进行了变焦、平移移动、旋转移动以及改变角度的移动中的至少一个的情况下，显示控制部350进行使在第3摄像图像中不显示提示图像的控制。
在图15的(A)～图15的(C)中示出了具体的显示控制的流程。图15的(A)示出第1摄像图像，图15的(B)示出第2摄像图像，图15的(C)示出第3摄像图像。如上所述，第2摄像图像是比第1摄像图像在时间上靠后的(狭义上，下一时机的)图像，第3摄像图像是比第2摄像图像在时间上靠后的(狭义上，下一时机的)图像。在图15的(B)中，进行了放大，因此缩小提示图像的尺寸作为改善观察状态的显示控制。然后，在图15的(C)中进行了进一步的变焦，因此消除提示图像作为改善观察状态的显示控制。
这样，能够分成多个阶段进行用于改善观察状态的显示控制。如上所述，在用户想要对关注区域进行详细的观察的状况下，即使消除提示图像，也不容易产生问题。但是，也考虑到即使在给定的时机进行了放大等操作，也有可能是误操作等，用户并没有打算进行关注区域的详细观察的情况。该情况下，有可能由于消除提示图像而产生问题。
由此，在本变形例中，不是在检测到一次放大后立即消除提示图像，而是首先作为第1阶段，进行与消除不同的提示图像的显示控制(平移移动、旋转移动、变形、尺寸的变更等)。在该情况下，虽然提示图像的显示形态发生了变化，但是继续显示，因此即使是用户想要参照提示图像的情况也不容易产生问题。如果在此基础上进一步进行了放大，则能够判定为用户想要对关注区域进行详细观察的可能性非常高，因此作为第2阶段的处理，进行提示图像的消除。这样，通过以多个阶段进行处理，能够抑制进行了与用户的意图相悖的提示图像的显示控制的可能性。并且，在图15的(A)～15的(C)中选取了变焦作为例子，但不限于此，也可以检测其他移动。并且，不限于在第1阶段和第2阶段中检测相同种类的移动。例如，也可以实施在第2摄像图像中检测变焦、在第3摄像图像中检测关注区域朝向摄像图像中央部的平移移动这样的变形。
并且，像以上那样对本实施方式进行了详细说明，但本领域技术人员能够容易地理解可以进行实际上不偏离本发明的修改超范围和效果的大量变形。因此，这样的变形例全部包含在本发明的范围内。例如，在说明书或附图中，至少一次与更广义或同义的不同的词语一起记载的词语在说明书或附图的任何部位都能置换成该不同的词语。并且，内窥镜装置的结构、动作也不限于在本实施方式中进行了说明的内容，能够实施各种变形。而且，不限于分别单独进行上述的各种实施方式，能够自由地组合多个实施方式。
标号说明
100：硬性镜；110：透镜系统；120：光导部；200：摄像部；210：AF开始/结束按钮；220：对焦透镜；230：对焦透镜驱动部；240：摄像透镜系统；250：摄像元件；300：处理部；310：图像获取部；320：关注区域检测部；330：图像保存部；340：移动矢量推断部；350：显示控制部；400：显示部；500：外部I/F部；600：光源部；610：白色光源；620：光导缆线；AA：关注区域；AL：提示图像；F：切面。

Claims (16)

1.一种内窥镜装置，其特征在于，该内窥镜装置包含：
图像获取部，其获取摄像图像，该摄像图像是摄像部拍摄被摄体而得到的图像；
关注区域检测部，其根据所述摄像图像的像素的特征量来检测关注区域；
移动矢量推断部，其推断所述摄像图像的至少一部分的移动矢量；以及
显示控制部，其根据所述关注区域和所述移动矢量，将强调所述关注区域的提示图像重叠在所述摄像图像上进行显示，
在将第1摄像图像中的、所述提示图像和所述关注区域重叠的区域设为第1图像上区域、将与所述第1图像上区域对应的所述被摄体上的区域设为第1被摄体区域、
将第2摄像图像中的、与所述第1被摄体区域对应的图像上区域和所述提示图像重叠的区域设为第2图像上区域、将与所述第2图像上区域对应的所述被摄体上的区域设为第2被摄体区域的情况下，
所述显示控制部以使所述第2被摄体区域成为比所述第1被摄体区域狭窄的区域的方式进行所述第2摄像图像中的所述提示图像的显示控制。
2.根据权利要求1所述的内窥镜装置，其特征在于，
在根据所述移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间所述摄像部针对所述被摄体进行了变焦的情况下，
所述显示控制部以使所述第2被摄体区域成为比所述第1被摄体区域狭窄的区域的方式进行所述第2摄像图像中的所述提示图像的显示控制。
3.根据权利要求1所述的内窥镜装置，其特征在于，
在根据所述移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间所述摄像部相对于所述被摄体进行了相对的平移移动和旋转移动中的至少一方的情况下，
所述显示控制部以使所述第2被摄体区域成为比所述第1被摄体区域狭窄的区域的方式进行所述第2摄像图像中的所述提示图像的显示控制。
4.根据权利要求1所述的内窥镜装置，其特征在于，
在根据所述移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间进行了改变所述摄像部的光轴方向与所述被摄体的法线方向所成的角度的移动的情况下，
所述显示控制部以使所述第2被摄体区域成为比所述第1被摄体区域狭窄的区域的方式进行所述第2摄像图像中的所述提示图像的显示控制。
5.根据权利要求2至4中的任意一项所述的内窥镜装置，其特征在于，
所述显示控制部进行使在所述第2摄像图像中不显示所述提示图像的控制。
6.根据权利要求5所述的内窥镜装置，其特征在于，
在根据所述移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间对所述关注区域进行了放大的情况下，
所述显示控制部进行使在所述第2摄像图像中不显示所述提示图像的控制。
7.根据权利要求5所述的内窥镜装置，其特征在于，
在根据所述移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间所述关注区域移动到所述摄像图像的中央部的情况下，
所述显示控制部进行使在所述第2摄像图像中不显示所述提示图像的控制。
8.根据权利要求2至4中的任意一项所述的内窥镜装置，其特征在于，
所述显示控制部根据所述移动矢量，进行使所述第1摄像图像中的所述提示图像旋转移动而显示在所述第2摄像图像上的控制。
9.根据权利要求8所述的内窥镜装置，其特征在于，
在根据所述移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间所述关注区域向第1方向进行了平移移动的情况下，
所述显示控制部进行使所述提示图像向所述第2摄像图像中的所述关注区域的所述第1方向的相反方向侧旋转移动而显示在所述第2摄像图像上的控制。
10.根据权利要求2至4中的任意一项所述的内窥镜装置，其特征在于，
所述显示控制部根据所述移动矢量，进行使所述第1摄像图像中的所述提示图像平移移动而显示在所述第2摄像图像上的控制。
11.根据权利要求10所述的内窥镜装置，其特征在于，
在根据所述移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间对所述关注区域进行了放大的情况下，
所述显示控制部进行使所述提示图像向朝向所述摄像图像的周边部的方向进行平移移动而显示在所述第2摄像图像上的控制。
12.根据权利要求2至4中的任意一项所述的内窥镜装置，其特征在于，
所述显示控制部根据所述移动矢量，进行变更所述第1摄像图像中的所述提示图像的尺寸而显示在所述第2摄像图像上的控制。
13.根据权利要求2所述的内窥镜装置，其特征在于，
在根据所述移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间所述摄像部针对所述被摄体进行了放大的情况下，
所述显示控制部进行缩小所述第1摄像图像中的所述提示图像的尺寸而显示在所述第2摄像图像上的控制。
14.根据权利要求1所述的内窥镜装置，其特征在于，
在根据所述移动矢量而判定为在所述第1摄像图像和所述第2摄像图像之间进行了针对所述关注区域的变焦、所述摄像部相对于所述被摄体的相对的平移移动、所述摄像部相对于所述被摄体的相对的旋转移动以及改变所述摄像部的光轴方向与所述被摄体的法线方向所成的角度的移动中的至少一个的情况下，
所述显示控制部进行将使所述第2被摄体区域成为比所述第1被摄体区域狭窄的区域的所述提示图像重叠在所述第2摄像图像上而显示的控制，
当判定为在所述第2摄像图像和第3摄像图像之间进行了所述变焦、所述平移移动、所述旋转移动以及改变所述角度的移动中的至少一个的情况下，
所述显示控制部进行使在所述第3摄像图像中不显示所述提示图像的控制。
15.根据权利要求1至4中的任意一项所述的内窥镜装置，其特征在于，
所述内窥镜装置包含存储所述摄像图像的存储部，
所述移动矢量推断部根据处理时机的所述摄像图像与存储在所述存储部中的比所述处理时机靠前的所述摄像图像的比较处理，检测至少一个对应像素，并根据所述对应像素来推断所述移动矢量。
16.一种内窥镜装置的工作方法，其特征在于，
根据摄像图像的像素的特征量来检测关注区域，所述摄像图像是从摄像部获取的；
推断所述摄像图像的至少一部分的移动矢量，
根据所述关注区域和所述移动矢量而进行将强调所述关注区域的提示图像重叠在所述摄像图像上进行显示的显示控制，
在将第1摄像图像中的、所述提示图像和所述关注区域重叠的区域设为第1图像上区域、将与所述第1图像上区域对应的被摄体上的区域设为第1被摄体区域、
将第2摄像图像中的、与所述第1被摄体区域对应的图像上区域和所述提示图像重叠的区域设为第2图像上区域、将与所述第2图像上区域对应的所述被摄体上的区域设为第2被摄体区域的情况下，
在所述显示控制中，以使所述第2被摄体区域成为比所述第1被摄体区域狭窄的区域的方式进行所述第2摄像图像中的所述提示图像的显示控制。
CN201580080748.XA 2015-06-11 2015-06-11 内窥镜装置和内窥镜装置的工作方法 Expired - Fee Related CN107613839B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066887 WO2016199273A1 (ja) 2015-06-11 2015-06-11 内視鏡装置及び内視鏡装置の作動方法

Publications (2)

Publication Number Publication Date
CN107613839A CN107613839A (zh) 2018-01-19
CN107613839B true CN107613839B (zh) 2019-10-01

Family

ID=57504887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080748.XA Expired - Fee Related CN107613839B (zh) 2015-06-11 2015-06-11 内窥镜装置和内窥镜装置的工作方法

Country Status (5)

Country Link
US (1) US20180098690A1 (zh)
JP (1) JP6549711B2 (zh)
CN (1) CN107613839B (zh)
DE (1) DE112015006531T5 (zh)
WO (1) WO2016199273A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
KR102661990B1 (ko) 2015-09-18 2024-05-02 아우리스 헬스, 인크. 관형 조직망의 탐색
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
CN110325100B (zh) * 2017-03-01 2021-09-24 富士胶片株式会社 内窥镜系统及其操作方法
US10127631B1 (en) 2017-03-02 2018-11-13 Snap Inc. Automatic image inpainting using local patch statistics
JP6833978B2 (ja) * 2017-03-30 2021-02-24 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人系统
WO2018198327A1 (ja) * 2017-04-28 2018-11-01 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法
JP6716853B2 (ja) * 2017-05-25 2020-07-01 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
WO2019012586A1 (ja) * 2017-07-10 2019-01-17 オリンパス株式会社 医用画像処理装置及び医用画像処理方法
WO2019065111A1 (ja) * 2017-09-26 2019-04-04 富士フイルム株式会社 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
JP7059297B2 (ja) 2017-10-20 2022-04-25 富士フイルム株式会社 医療画像処理装置
WO2019118767A1 (en) 2017-12-14 2019-06-20 Auris Health, Inc. System and method for estimating instrument location
KR20200101334A (ko) 2017-12-18 2020-08-27 아우리스 헬스, 인코포레이티드 관강내 조직망 내 기구 추적 및 항행을 위한 방법 및 시스템
CN110891469B (zh) 2018-03-28 2023-01-13 奥瑞斯健康公司 用于定位传感器的配准的系统和方法
KR102500422B1 (ko) 2018-03-28 2023-02-20 아우리스 헬스, 인코포레이티드 기구의 추정된 위치를 디스플레이하기 위한 시스템 및 방법
JP6956853B2 (ja) * 2018-03-30 2021-11-02 オリンパス株式会社 診断支援装置、診断支援プログラム、及び、診断支援方法
JP2022010368A (ja) * 2018-04-13 2022-01-14 学校法人昭和大学 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
JP2019180966A (ja) 2018-04-13 2019-10-24 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
JP6981915B2 (ja) * 2018-04-19 2021-12-17 富士フイルム株式会社 内視鏡用光学系および内視鏡
EP3795063A4 (en) * 2018-05-14 2021-07-07 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD AND ENDOSCOPE SYSTEM
EP3801190A4 (en) 2018-05-30 2022-03-02 Auris Health, Inc. SYSTEMS AND METHODS FOR SENSOR-BASED BRANCH LOCATION PREDICTION
JP7214757B2 (ja) * 2018-05-31 2023-01-30 オーリス ヘルス インコーポレイテッド 生理学的ノイズを検出する管腔網のナビゲーションのためのロボットシステム及び方法
KR102455671B1 (ko) 2018-05-31 2022-10-20 아우리스 헬스, 인코포레이티드 이미지-기반 기도 분석 및 매핑
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
CN112334056B (zh) * 2018-06-27 2024-05-14 奥林巴斯株式会社 图像显示装置和图像显示方法
CN112367898A (zh) * 2018-07-10 2021-02-12 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
EP3838109A4 (en) * 2018-08-17 2021-10-06 FUJIFILM Corporation ENDOSCOPIC SYSTEM
GB2576574B (en) * 2018-08-24 2023-01-11 Cmr Surgical Ltd Image correction of a surgical endoscope video stream
WO2020054541A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
WO2020066941A1 (ja) 2018-09-26 2020-04-02 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
EP3875022A4 (en) * 2018-11-01 2021-10-20 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING PROCESS AND PROGRAM, AND DIAGNOSIS ASSISTANCE DEVICE
WO2020174747A1 (ja) * 2019-02-26 2020-09-03 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
JP7060536B2 (ja) 2019-03-13 2022-04-26 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理装置の作動方法及びプログラム、内視鏡システム
WO2021039438A1 (ja) * 2019-08-27 2021-03-04 富士フイルム株式会社 医療画像処理システム及びその動作方法
EP4021331A4 (en) 2019-08-30 2023-08-30 Auris Health, Inc. SYSTEMS AND METHODS FOR WEIGHT-BASED REGISTRATION OF POSITION SENSORS
EP4021329A4 (en) 2019-08-30 2023-05-03 Auris Health, Inc. SYSTEM AND METHOD FOR INSTRUMENT IMAGE RELIABILITY
JP7373335B2 (ja) * 2019-09-18 2023-11-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
US11298195B2 (en) 2019-12-31 2022-04-12 Auris Health, Inc. Anatomical feature identification and targeting
US11602372B2 (en) 2019-12-31 2023-03-14 Auris Health, Inc. Alignment interfaces for percutaneous access
KR20220123076A (ko) 2019-12-31 2022-09-05 아우리스 헬스, 인코포레이티드 경피 접근을 위한 정렬 기법
EP4094672A4 (en) * 2020-01-21 2023-01-11 NEC Corporation OPERATING ASSIST DEVICE, OPERATING ASSISTING METHOD AND COMPUTER READABLE RECORDING MEDIA
WO2022004056A1 (ja) * 2020-07-03 2022-01-06 富士フイルム株式会社 内視鏡システム及びその作動方法
CN116322560A (zh) * 2020-10-15 2023-06-23 索尼奥林巴斯医疗解决方案公司 医用图像处理装置及医用观察系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101677756A (zh) * 2007-05-17 2010-03-24 奥林巴斯医疗株式会社 图像信息的显示处理装置以及显示处理方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
CN103298393A (zh) * 2011-05-17 2013-09-11 奥林巴斯医疗株式会社 医疗设备、医疗图像中的标记显示控制方法以及医疗用处理器
WO2013179905A1 (ja) * 2012-05-30 2013-12-05 オリンパスメディカルシステムズ株式会社 医療用３次元観察装置
CN103491850A (zh) * 2011-04-28 2014-01-01 奥林巴斯株式会社 荧光观察装置及其图像显示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
JP6485694B2 (ja) * 2015-03-26 2019-03-20 ソニー株式会社 情報処理装置および方法
EP3357407A4 (en) * 2015-10-26 2019-04-17 Olympus Corporation PROCESSING DEVICE FOR ENDOSCOPIC IMAGES
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101677756A (zh) * 2007-05-17 2010-03-24 奥林巴斯医疗株式会社 图像信息的显示处理装置以及显示处理方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
CN103491850A (zh) * 2011-04-28 2014-01-01 奥林巴斯株式会社 荧光观察装置及其图像显示方法
CN103298393A (zh) * 2011-05-17 2013-09-11 奥林巴斯医疗株式会社 医疗设备、医疗图像中的标记显示控制方法以及医疗用处理器
WO2013179905A1 (ja) * 2012-05-30 2013-12-05 オリンパスメディカルシステムズ株式会社 医療用３次元観察装置

Also Published As

Publication number Publication date
US20180098690A1 (en) 2018-04-12
JPWO2016199273A1 (ja) 2018-03-29
JP6549711B2 (ja) 2019-07-24
DE112015006531T5 (de) 2018-02-15
WO2016199273A1 (ja) 2016-12-15
CN107613839A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107613839B (zh) 内窥镜装置和内窥镜装置的工作方法
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
JP5597021B2 (ja) 画像処理装置及びプログラム
US20140046131A1 (en) Endoscope system and method for operating endoscope system
EP3914139A1 (en) Augmented medical vision systems and methods
US11531151B2 (en) Imaging apparatus and image generating method that detects an orientation of an imaging section and generates an image corresponding to a polarization direction corresponding to the orientation the imaging section
JP5993515B2 (ja) 内視鏡システム
JP6943246B2 (ja) 内視鏡装置及び内視鏡装置の制御方法
US20150363942A1 (en) Image processing device, endoscope apparatus, image processing method, and information storage device
US11141050B2 (en) Autofocus control device, endoscope apparatus, and operation method of autofocus control device
CN110099599A (zh) 医学图像处理设备、医学图像处理方法和程序
US20180249092A1 (en) Imaging device, endoscope apparatus, and method for operating imaging device
JP6168876B2 (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JP5940306B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US20150363929A1 (en) Endoscope apparatus, image processing method, and information storage device
JPWO2018221041A1 (ja) 医療用観察システム及び医療用観察装置
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
JP6150617B2 (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JP6476610B2 (ja) ダーモスコピー用撮像装置及びその制御方法並びにプログラム
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US20220375089A1 (en) Endoscope apparatus, information processing method, and storage medium
WO2020246181A1 (ja) 画像処理装置、画像処理方法、プログラム
WO2023013080A1 (ja) アノテーション支援方法、アノテーション支援プログラム及びアノテーション支援装置
CN105899123A (zh) 用于内窥镜的视频处理器和具有该视频处理器的内窥镜系统
US20150003700A1 (en) Image processing device, endoscope apparatus, and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191001

Termination date: 20210611

CF01 Termination of patent right due to non-payment of annual fee