CN116507261A - 处理器装置、处理器装置的工作方法、处理器装置用程序及内窥镜系统 - Google Patents

处理器装置、处理器装置的工作方法、处理器装置用程序及内窥镜系统 Download PDF

Info

Publication number
CN116507261A
CN116507261A CN202180077382.6A CN202180077382A CN116507261A CN 116507261 A CN116507261 A CN 116507261A CN 202180077382 A CN202180077382 A CN 202180077382A CN 116507261 A CN116507261 A CN 116507261A
Authority
CN
China
Prior art keywords
movement
endoscope
display
processor
processor device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180077382.6A
Other languages
English (en)
Inventor
弓部央奈
石川成利
小田明美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116507261A publication Critical patent/CN116507261A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/062—Measuring instruments not otherwise provided for penetration depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种在内窥镜的前端部在体内的折回位置往复移动的情况下，能够准确地显示与当前位置相关的信息的处理器装置、处理器装置的工作方法、处理器装置用程序及内窥镜系统。移动轨迹计算部(31)使用内窥镜(12)的移动状况，计算表示内窥镜(12)移动的轨迹的移动轨迹。第一识别处理部(32)根据由内窥镜(12)获得的内窥镜图像，进行内窥镜的前端部(12d)到达折回位置的识别、及移动轨迹符合去程或回程中的哪一个的识别。显示控制部(33)在显示器(15)上显示将移动轨迹分为去程或回程来表示的移动轨迹显示画面(50)。

Description

处理器装置、处理器装置的工作方法、处理器装置用程序及内 窥镜系统
技术领域
本发明涉及内窥镜的前端部在体内移动时的处理器装置、处理器装置的工作方法、处理器装置用程序及内窥镜系统。
背景技术
在当前的医疗领域中，具备光源装置、内窥镜及处理器装置的内窥镜系统正在普及。在内窥镜系统中，通过在显示器上显示由内窥镜获得的内窥镜图像，能够掌握体内的情形。另外，如专利文献1所示，在显示器上显示当前位置的图像时，用表示插入长度的进度条结合与当前位置对应的部分进行显示。由此，能够掌握在显示器上显示中的图像是体内的哪个位置的图像。
以往技术文献
专利文献
专利文献1：日本特开2003－93326号公报
发明内容
发明要解决的技术课题
在内窥镜系统中，当观察胃、大肠等体内的消化道时，进行使内窥镜的前端部在折回位置往复移动的操作。例如，当观察大肠时，一边拉直或折叠内窥镜一边将其插入大肠，使其移动到折回位置。当内窥镜的前端部到达折回位置时，进行拔出内窥镜的操作。因此，在内窥镜的插入时和拔出时，内窥镜的插入长度、大肠的形状不同。对于此，专利文献1的进度条由于没有考虑插入时和拔出时的大肠的变形等而难以准确地显示当前位置。
本发明的目的在于，提供一种在内窥镜的前端部在体内的折回位置往复移动的情况下，准确地显示与当前位置相关的信息的处理器装置、处理器装置的工作方法、处理器装置用程序及内窥镜系统。
用于解决技术课题的手段
本发明提供一种处理器装置，该处理器装置具有处理器，其中，处理器获取在体内移动的内窥镜的移动状况，使用内窥镜的移动状况计算表示内窥镜移动的轨迹的移动轨迹，在内窥镜的前端部在体内的折回位置往复移动的情况下，根据由内窥镜获得的内窥镜图像，进行前端部到达折回位置的识别、及移动轨迹符合去程或回程中的哪一个的识别，在显示器上显示将移动轨迹分为去程或回程来表示的移动轨迹显示画面。
优选的是，在移动轨迹显示画面上，显示表示去程的移动轨迹的去程显示用直线及表示回程的移动轨迹的回程显示用直线。优选的是，去程显示用直线和回程显示用直线由表示折回位置的折回显示用标记(mark)连接。优选的是，在移动轨迹显示画面上，针对去程显示用直线或回程显示用直线，显示表示内窥镜的插入长度的插入长度显示用读数。优选的是，在移动轨迹显示画面上，显示表示去程的移动轨迹的去程显示用曲线及表示回程的移动轨迹的回程显示用曲线。
优选的是，处理器在内窥镜的插入口和折回位置之间识别至少包括第一部位及第二部位的多个部位，在移动轨迹显示画面中，将移动轨迹分类成根据多个部位确定的多个区间进行显示。优选的是，在移动轨迹显示画面中，用消息显示前端部当前所在的区间。
优选的是，处理器从内窥镜图像识别关注区域，在移动轨迹显示画面中，在移动轨迹上显示关注区域的位置。优选的是，处理器对关注区域的类别进行分类，在移动轨迹显示画面中，根据类别的分类结果而用不同的显示方式在移动轨迹上显示关注区域的位置。优选的是，在移动轨迹显示画面中，针对移动轨迹显示包括关注区域的类别的类别信息。
优选的是，处理器在内窥镜的插入口和折回位置之间识别至少包括第一部位及第二部位的多个部位，根据多个部位确定多个区间，移动轨迹由按区间分别设置的多个分区间移动轨迹构成，移动轨迹显示画面分别显示分区间移动轨迹显示画面，该分区间移动轨迹显示画面显示各分区间移动轨迹。优选的是，移动状况为内窥镜的前端部的移动量，前端部的移动量至少基于内窥镜的插入长度来计算。
本发明提供一种内窥镜系统，该内窥镜系统具备处理器及显示器，其中，处理器获取在体内移动的内窥镜的移动状况，使用内窥镜的移动状况，计算表示内窥镜移动的轨迹的移动轨迹，在内窥镜的前端部在体内的折回位置往复移动的情况下，根据由内窥镜获得的内窥镜图像，进行前端部到达折回位置的识别、及移动轨迹符合去程或回程中的哪一个的识别，在显示器上显示将移动轨迹分为去程或回程来表示的移动轨迹显示画面。
本发明提供一种处理器装置的工作方法，该处理器装置具有处理器，其中，处理器获取在体内移动的内窥镜的移动状况，使用内窥镜的移动状况，计算表示内窥镜移动的轨迹的移动轨迹，在内窥镜的前端部在体内的折回位置往复移动的情况下，根据由内窥镜获得的内窥镜图像，进行前端部到达折回位置的识别、及移动轨迹符合去程或回程中的哪一个的识别，在显示器上显示将移动轨迹分为去程或回程来表示的移动轨迹显示画面。
本发明的处理器装置用程序使计算机执行：获取在体内移动的内窥镜的移动状况的功能；使用内窥镜的移动状况，计算表示内窥镜移动的轨迹的移动轨迹的功能；在内窥镜的前端部在体内的折回位置往复移动的情况下，根据由内窥镜获得的内窥镜图像进行前端部到达折回位置的识别、及移动轨迹符合去程或回程中的哪一个的识别的功能：以及在显示器上显示将移动轨迹分为去程或回程来表示的移动轨迹显示画面的功能。
发明效果
根据本发明，在内窥镜的前端部在体内的折回位置往复移动的情况下，能够准确显示与当前位置相关的信息。
附图说明
图1是内窥镜系统的概略图。
图2是表示处理器装置的功能的框图。
图3是用于表示内窥镜的前端部的移动方向的说明图。
图4是获取时机不同的2帧内窥镜图像的图像图。
图5是表示用于计测内窥镜的插入长度的标记物(marker)及标记物检测传感器的说明图。
图6是大肠的示意图。
图7是将移动轨迹按去程和回程划分并用直线显示的移动轨迹显示画面的图像图。
图8是将移动轨迹分为去程和回程并用曲线显示的移动轨迹显示画面的图像图。
图9是表示分类成三个区间来显示的移动轨迹((A)、(B)、(C))、即当前位置、移动完成及移动预定的移动轨迹的说明图。
图10是表示分类成三个区间来显示的移动轨迹((A)、(B)))、即当前位置及移动完成的移动轨迹的说明图。
图11是将移动轨迹按去程和回程划分并用直线显示，且在移动轨迹上显示关注区域的位置的移动轨迹显示画面的图像图。
图12是将移动轨迹按去程和回程划分并用直线及曲线显示，且在移动轨迹上显示关注区域的位置的移动轨迹显示画面的图像图。
图13是表示与三个区间对应的分区间移动轨迹显示画面的图像图。
图14是表示移动轨迹的显示方法的一系列流程的流程图。
具体实施方式
如图1所示，内窥镜系统10具有内窥镜12、光源装置13、处理器装置14、显示器15、以及用户界面16。内窥镜12与光源装置13光学连接，且与处理器装置14电连接。内窥镜12具有插入观察对象的体内的插入部12a、设置在插入部12a的基端部分的操作部12b、以及设置在插入部12a的前端侧的弯曲部12c及前端部12d。弯曲部12c通过对操作部12b进行操作而进行弯曲动作。前端部12d通过弯曲部12c的弯曲动作而朝向所希望的方向。
在操作部12b设置有用于用户进行的各种操作的操作开关18a、18b。对各操作开关18a、18b分配有用于经由用户界面16执行各种操作的操作命令。另外，在操作部12b设置有用于观察对象的放大或缩小的变焦操作部19。
光源装置13生成用于对观察对象照明的照明光，并将生成的照明光供给至内窥镜12。内窥镜12朝向观察对象照射来自光源装置13的照明光，拍摄被照明光照亮的观察对象。内窥镜12将通过拍摄观察对象而获得的内窥镜图像发送到处理器装置14。
处理器装置14与显示器15及用户界面16电连接。在处理器装置14中，对来自内窥镜12的图像实施色调调节处理或结构强调处理等各种图像处理。实施了各种图像处理的图像被发送到显示器15。显示器15输出显示观察对象的图像、观察对象的图像所附带的信息等。用户界面16具有键盘、鼠标、触摸板、麦克风等，具有接受功能设定等输入操作的功能。
此外，在处理器装置14上，也可以连接用于执行由AI(Artificial Intelligence)检测病变部的AI处理等的扩展处理器装置(未图示)。在该情况下，为了显示由扩展处理器装置处理后的图像等，也可以将与显示器15分体的扩展显示器(未图示)与扩展处理器装置连接。因此，本发明的“处理器装置”除处理器装置14之外，还对应于扩展处理器装置。同样地，本发明的“显示器”除显示器15之外，还对应于扩展显示器。
如图2所示，处理器装置14具备移动状况获取部30、移动轨迹计算部31、第一识别处理部32、显示控制部33、第二识别处理部34、以及类别分类部35。在处理器装置14中，用于执行各种处理的处理器装置用程序装入程序用存储器(未图示)中。在处理器装置14中设置有由处理器构成的中央控制部(未图示)。中央控制部执行程序用存储器内的处理器装置用程序，由此，实现上述的移动状况获取部30、移动轨迹计算部31、第一识别处理部32、显示控制部33、第二识别处理部34及类别分类部35的功能。
移动状况获取部30获取在体内移动的内窥镜的移动状况。具体而言，移动状况获取部30优选基于内窥镜的前端部12d的移动量来获取移动状况。作为前端部12d的移动量，如图3所示，优选用前端部12d的上下左右方向(X轴方向或Y轴方向)相对于前端部12d的移动方向(Z轴方向)的移动量、及前端部12d的旋转量(θ(以Z轴为旋转中心时))表示(X、Y、Z、θ的参数)。
对于前端部12d的移动量，例如，如图4所示，移动状况获取部30优选从对内窥镜的获取时机不同的至少2帧内窥镜图像(第N帧内窥镜图像P(N)、第N+1帧内窥镜图像P(N+1))进行比较来计算。对内窥镜图像P(N)和P(N+1)进行比较时，区域X移动了特定的距离。在使用内窥镜图像的前端部12d的移动量的计算中，优选使用内窥镜图像P(N)与内窥镜图像P(N+1)的对位处理。
在对位处理中。包括使内窥镜图像P(N)或内窥镜图像P(N+1)平行移动的平行移动处理和将内窥镜图像P(N)或内窥镜图像P(N+1)放大或缩小的放大缩小处理。通过平行移动处理，能够计算前端部12d的X轴方向或Y轴方向上的移动量、及以Z轴为旋转中心的前端部12d的旋转量θ。另外，通过放大缩小处理，能够计算前端部12d相对于移动方向Z的插入时或拔出时的移动量。
另外，移动状况获取部30也可以基于向体内插入的插入部12a的插入长度来获取前端部12d的移动量。在该情况下，如图5所示，使用以恒定间隔等设置有磁体等标记物40的插入部12a和对内窥镜12的插入口(在体内为大肠的情况下为肛门44(参照图6))检测标记物的标记物检测传感器41，通过插入部12a的移动(向Z轴方向的移动)，标记物检测传感器41检测标记物40，基于其检测结果来计算插入部12a的插入长度。此外，对于前端部12d的X轴方向或Y轴方向上的移动量，优选使用设置在操作部12b的移动量计测传感器42进行计算。移动量计测传感器42根据对弯曲部12c的操作量，计算前端部12d的X轴方向或Y轴方向上的移动量。此外，也可以用插入形状观察装置(コロナビ、endoscope positiondetecting unit)等磁传感器计测内窥镜的前端部12d的移动量。
移动轨迹计算部31使用内窥镜12的移动状况，计算表示内窥镜12移动的轨迹的移动轨迹。具体而言，通过累积内窥镜12的移动状况，能够计算移动轨迹。在用前端部12d的移动量(X、Y、Z、θ)来表示内窥镜12的移动状况的情况下，通过使用全部四个参数(X、Y、Z、θ)，移动轨迹能够用三维曲线表示。另外，也可以通过对三维曲线进行射影处理，将移动轨迹表示为二维曲线(参照图8)。此外，通过仅使用四个参数(X、Y、Z、θ)中的Z，能够用直线表示移动轨迹(参照图7)。
在内窥镜的前端部12d在体内的折回位置往复运动的情况下，第一识别处理部32根据由内窥镜12获得的内窥镜图像，进行前端部12d到达折回位置的识别、及移动轨迹符合去程或回程中的哪一个的识别。具体而言，如图6所示，在体内为大肠的情况下，折回位置相当于回盲部43。第一识别处理部32根据内窥镜图像，进行识别回盲部43的处理。因此，直至第一识别处理部32识别回盲部43为止期间(未识别回盲部43)，第一识别处理部32识别为移动轨迹符合去程。另一方面，在第一识别处理部32识别出回盲部43之后(已识别回盲部43)，第一识别处理部32识别为移动路径符合回程。此外，第一识别处理部32优选为利用成为输入图像的内窥镜图像和正解(部位、位置等)进行了机器学习的学习完成模型。
另外，第一识别处理部32在内窥镜12的插入口和折回位置之间识别至少包括第一部位或第二部位的多个部位。具体而言，在体内为大肠的情况下，内窥镜12的插入口相当于肛门44，折回位置相当于回盲部43。另外，肛门侧的第一部位相当于脾弯曲部45，回盲部侧的第二部位相当于肝弯曲部46。通过这样识别多个部位，能够识别根据多个部位确定的多个区间。如果体内为大肠，则通过识别脾弯曲部45和肝弯曲部46，能够识别降结肠47、横结肠48、及升结肠49这三个区间。
在脾弯曲部45及肝弯曲部46均未识别出的情况下，识别移动轨迹处于去程的降结肠47的区间。另外，在识别出脾弯曲部45而未识别出肝弯曲部46的情况下，识别移动轨迹处于去程的横结肠48的区间。另外，在识别出肝弯曲部46的情况下，识别移动轨迹处于去程或回程的升结肠49的区间。另外，在识别出肝弯曲部46后再次识别到肝弯曲部46的情况下，识别移动轨迹处于回程的横结肠48。另外，在识别出肝弯曲部46后识别到脾弯曲部45的情况下，识别移动轨迹处于回程的降结肠47。
显示控制部33在显示器15上显示将移动轨迹分为去程或回程来表示的移动轨迹显示画面。由此，由于将内窥镜12的插入(去程)或拔出(回程)分开且前端部12d的轨迹可见，因此能够减轻体内的形状变化的影响。在显示控制部33，具体而言，在用直线表示移动轨迹的情况下，如图7所示，在移动轨迹显示画面50上显示表示去程的移动轨迹的去程显示用直线51和表示回程的移动轨迹的回程显示用直线52。
另外，去程显示用直线51和回程显示用直线52由表示折回位置的折回显示用标记53连接。折回显示用标记设为半圆，但也可以是其他形状(例如直线(参照图9(A)等))。此外，去程显示用直线51、回程显示用直线52及折回显示用标记53中的实线部分LX表示前端部12d当前所在的位置，虚线部分LY表示前端部12d移动完成的部分或将移动的预定的部分。
另外，在移动轨迹显示画面50上，针对去程显示用直线51或回程显示用直线52，也可以显示表示内窥镜12的插入长度的插入长度显示用读数54。优选的是，插入长度显示用读数54配置于去程显示用直线51或回程显示用直线52的侧方，切换插入长度显示用读数54的显示(滚动显示)，以使其适合内窥镜的前端部12d的移动，成为与实际的插入长度对应的读数。例如，在图7的情况下，由于前端部12d为折回位置附近，因此插入长度显示用读数54表示折回位置附近的插入长度(100cm～120cm)。另一方面，如果是刚刚插入之后的降结肠区间，则插入长度显示用读数54的插入长度表示(0～30cm左右)。
另外，在用二维曲线表示移动轨迹的情况下，如图8所示，在移动轨迹显示画面50上，显示表示去程的移动轨迹的去程显示用曲线56和表示回程的移动轨迹的回程显示用曲线57。此外，去程显示用曲线56、回程显示用曲线57中的实线部分LM表示前端部12d当前所在的位置，虚线部分LN表示前端部12d移动完成的部分或将移动的预定的部分。
另外，在移动轨迹显示画面50中，也可以将移动轨迹分类成根据多个部位确定的多个区间进行显示。如果体内为大肠，则优选分类成根据脾弯曲部(第一部位)及肝弯曲部(第二部位)确定的降结肠、横结肠、升结肠这三个区间进行显示。具体而言，在由去程显示用直线51或回程显示用直线52表示移动轨迹的情况下，如图9(A)所示，使用表示脾弯曲部45的第一部位显示用标记物58a、58b和表示肝弯曲部46的第二部位显示用标记物59a、59b，表示去程中的降结肠的区间47a、横结肠的区间48a、升结肠的区间49a及回程中的降结肠的区间47b、横结肠的区间48b、升结肠的区间49b。此外，以上的降结肠的区间47a、47b、横结肠的区间48a、48b、升结肠的区间49a、49b优选分别改变颜色而显示。此外，由于在去程和回程中大肠的形状不同，因此去程侧的第一部位显示用标记物58a及第二部位显示用标记物59a和回程侧的第一部位显示用标记物58b及第二部位显示用标记物59b在直线上稍微偏移来显示。
另外，如图9(B)所示，优选的是，不使用第一部位显示用标记物58a、58b和表示肝弯曲部46的第二部位显示用标记物59a、59b，而是在各区间之间设置切缝60a、60b、60c、60d，以了解去程中的降结肠的区间47a、横结肠的区间48a、升结肠的区间49a及回程中的降结肠的区间47b、横结肠的区间48b、升结肠的区间49b。
另外，如图9(C)所示，也可以使用第一部位显示用标记物58a、58b及第二部位显示用标记物59a、59b和切缝60a、60b、60c、60d双方进行显示，以了解去程中的降结肠的区间47a、横结肠的区间48a、升结肠的区间49a及回程中的降结肠的区间47b、横结肠的区间48b、升结肠的区间49b。
此外，在图7或图8中，用实线部分LX、LM表示内窥镜的前端部12d当前所在的位置，用虚线部分LY、LN表示前端部12d移动完成的部分或将移动的预定的部分，但也可以用其他方法表示。例如，如图10(A)、图10(B)所示，在移动轨迹显示画面50中，用实线LP仅表示出前端部12d的当前位置及移动完成的部分，未显示将移动的预定的部分。另外，在该情况下，也可以是，为了显示前端部12d当前位于哪一个区间，使用第一部位显示用标记物58a、58b及第二部位显示用标记物59a、59b和切缝60a、60b、60c、60d中的至少一方，以了解各区间47a、47b、48a、48b、49a、49b，同时用消息M1、M2显示前端部12d当前所在的区间。
例如，图10(A)表示在时刻t的移动轨迹，通过消息M1的显示，表示当前位置处于“横结肠”。另外，图10(B)表示在比时刻t靠后的时刻t+α的移动轨迹，通过消息M2的显示，表示当前位置处于“升结肠”。此外，内窥镜的前端部12d的当前位置用移动轨迹的前端即前端部位置61来显示。前端部位置61在前端部12d位于各区间的中途时切掉一部分来显示，在前端部12d位于各区间的边界时不切口来显示。
第二识别处理部34从内窥镜图像识别关注区域。此外，关注区域例如是包括以癌症为代表的病变部、处理的疤痕、手术的疤痕、出血部位、良性肿瘤部、炎症部(除所谓的炎症之外，还包括有出血或萎缩等变化的部分)、通过加热引起的灼烧疤痕或者基于着色剂、荧光药剂等的着色而标示的标示部、或者实施了生物体检查(所谓的活检)的活检实施部的区域。即，包括病变的区域、可能产生病变的区域、进行了活检等某种处理的区域、夹子或镊子等处置器具、或者暗部区域(由于是褶皱(皱纹)的背面、管腔里侧而观察光难以到达的区域)等无论是否会发生病变都需要详细的观察的区域等可成为关注区域。第二识别处理部34将包括病变部、处理的疤痕、手术的疤痕、出血部位、良性肿瘤部、炎症部、标示部、或活检实施部中至少任一个的区域作为关注区域进行检测。此外，第二识别处理部34与第一识别处理部32同样，优选是利用作为输入图像的内窥镜图像和正解(病变的有无等)进行了机器学习的已学习模型。
类别分类部35对由第二识别处理部34识别出的关注区域的类别进行分类。要进行分类的类别为摄影部位、作为关注区域之一的病变的有无或种类、处置器具的使用状态、色素剂的散布状态等中的任一个或它们的组合。例如，作为关注区域的类别，有“HyperPlastic(增生)”或“Neo Plastic(肿瘤)”等。
如上所述，在由第二识别处理部34识别出关注区域的情况下，在移动轨迹显示画面50中，优选在移动轨迹上显示关注区域的位置。具体而言，在用直线和曲线双方表示移动轨迹的情况下，如图11所示，针对去程显示用直线51、回程显示用直线52或折回显示用标记53，在识别出关注区域的位置显示关注区域检测点BP。另外，针对去程显示用曲线56或回程显示用曲线57，在识别出关注区域的位置显示关注区域检测点BP。
另外，在对关注区域的类别进行分类的情况下，在移动轨迹显示画面50中，也可以根据类别的分类结果而用不同的显示方式在移动轨迹上显示关注区域的位置。具体而言，在用直线和曲线双方表示移动轨迹的情况下，如图12所示，对于去程显示用直线51、回程显示用直线52，在识别出类别A的关注区域的位置显示有类别A的关注区域检测点BPA，在识别出类别B(与类别A不同)的关注区域的位置显示有类别B的关注区域检测点BPB。例如，优选将关注区域检测点BPA的颜色设为黄色，将关注区域检测点BPB的颜色设为绿色。另外，类别A例如为“Neo Plastic”，类别B例如为“Hyper Plastic”。此外，对于曲线曲线的移动轨迹，在类别不同的情况下，也使用显示方式不同的关注区域检测点BPA、BPB来显示。
另外，在对关注区域的类别进行了分类的情况下，在移动轨迹显示画面50中，对于移动轨迹，也可以显示包括关注区域的类别的类别信息。具体而言，在去程显示用直线51、回程显示用直线52中，在识别出类别A的关注区域的位置显示类别A的关注区域检测点BPA，且在关注区域检测点BPA的侧方显示关注区域为类别A、及包括关注区域的尺寸的类别信息CA。另外，在识别出类别B的关注区域的位置显示类别B的关注区域检测点BPB，且在关注区域检测点BPB的侧方显示关注区域为类别B、及包括关注区域的尺寸的类别信息CB。此外，也可以在类别信息CA、CB中分别包括关注区域的图像GA、GB进行显示。
此外，在移动轨迹显示画面50中，显示由多个部位确定的全部区间(例如，如果体内为大肠，则是降结肠、横结肠、升结肠的全部区间)，但在使用内窥镜图像制作报告的情况等在检查结束后显示检查结果的情况下，也可以是，由设置于各分区间的多个分区间移动轨迹构成移动轨迹，且在移动轨迹显示画面中，分别显示分区间移动轨迹显示画面，该分区间移动轨迹显示画面显示各分区间移动轨迹。
例如，在体内为大肠，且识别出脾弯曲部(第一部位)和肝弯曲部(第二部位)的情况下，如图13所示，降结肠的区间的移动轨迹由分区间移动轨迹显示画面70显示，横结肠的区间的移动轨迹用分区间移动轨迹显示画面71显示，升结肠的区间的移动轨迹用分区间移动轨迹显示画面72显示。通过这样分为三个区间来显示，每一个显示画面的移动轨迹或关注区域的信息量减少，因此，用户的可见度提高。此外，在用一个画面显示全部区间的信息的情况下，当关注区域的数量较多时，有时对一个移动轨迹标注许多标记(关注区域检测点BP A等)，用户难以看见。
分区间移动轨迹显示画面70具备用直线表示移动轨迹的直线区域部70a和用曲线表示移动轨迹的曲线区域部70b。在直线区域部70a，优选仅对移动轨迹中识别出关注区域的部分进行显示。另外，在曲线区域部70b，用实线部分LS表示降结肠的区间，用虚线部分LT表示其他区间。关于其他，关注区域的显示方法等与上述情况(参照图11、图12)同样。
此外，关于分区间移动轨迹显示画面71及分区间移动轨迹显示画面72，与分区间移动轨迹显示画面70同样，也分别具备直线区域部71a、72a和曲线区域部71b、72b，另外，利用与分区间移动轨迹显示画面70同样的方法显示移动轨迹或关注区域等。
接下来，沿着图14的流程图对移动轨迹的显示进行说明。设置在处理器装置14中的移动状况获取部30获取在体内移动的内窥镜的移动状况。移动轨迹计算部31使用内窥镜的移动状况，计算表示内窥镜移动的轨迹的移动轨迹。第一识别处理部32根据由内窥镜12获得的内窥镜图像，识别前端部12d是否到达折回位置。
在识别为前端部12d未到达折回位置的情况下，第一识别处理部32识别为移动轨迹符合去程。另一方面，在识别为前端部12d到达折回位置的情况下，第一识别处理部32识别为移动轨迹符合回程。显示控制部33在显示器15上显示将移动轨迹分为去程或回程来表示的移动轨迹显示画面50。
在上述实施方式中，移动状况获取部30、移动轨迹计算部31、第一识别处理部32、显示控制部33、第二识别处理部34、类别分类部35等执行各种处理的处理部(processingunit)的硬件结构为如下所示的各种处理器(processo r)。在各种处理器中，包括执行软件(程序)作为各种处理部发挥功能的通用处理器即CPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA(Field Programmable Gate Array)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、为了执行各种处理而具有专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA、CPU和FPGA的组合、或CPU与GPU的组合等)构成。另外，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，首先，有以客户端或服务器等计算机为代表，由一个以上的CPU与软件的组合构成一个处理器的方式，该处理器作为多个处理部发挥功能。其次，有以片上系统(System On Chip：SoC)等为代表，使用利用一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的方式。这样，各种处理部作为硬件结构使用一个以上的上述各种处理器来构成。
此外，更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合而成的方式的电路(circuitry)。另外，存储部的硬件结构是HDD(ha rd disc drive：硬盘驱动器)或SSD(solid state drive：固态硬盘)等存储装置。
符号说明
10内窥镜系统
12内窥镜
12a插入部
12b操作部
12c弯曲部
12d前端部
13光源装置
14处理器装置
15显示器
16用户界面
18a、18b操作开关
19变焦操作部
30移动状况获取部
31移动轨迹计算部
32第一识别处理部
33显示控制部
34第二识别处理部
35类别分类部
40标记物
41标记物检测传感器
42移动量计测传感器
43回盲部
44肛门
45脾弯曲部
46肝弯曲部
47降结肠
47a去程中的降结肠的区间
47b回程中的降结肠的区间
48横结肠
48a去程中的横结肠的区间
48b回程中的横结肠的区间
49升结肠
49a去程中的升结肠的区间
49b回程中的升结肠的区间
50移动轨迹显示画面
51去程显示用直线
52回程显示用曲线
53折回显示用标记
54插入长度显示用读数
56去程显示用曲线
57回程显示用曲线
58a、58b第一部位显示用标记物
59a、59b第二部位显示用标记物
60a、60b、60c、60d切缝
61前端部位置
70、71、72分区间移动轨迹显示画面
70a、71a、72a直线区域部
70b、71b、72b曲线区域部
LX、LM、LS、LP实线部分
LY、LN、LT虚线部分
M1、M2消息
BPA、BPB关注区域检测点
CA、CB类别信息
P(N)、P(N+1)内窥镜图像
GA、GB关注区域的图像

Claims (15)

1.一种处理器装置，具有处理器，其中，
所述处理器，
获取在体内移动的内窥镜的移动状况，
使用所述内窥镜的移动状况，计算表示所述内窥镜移动的轨迹的移动轨迹，
在所述内窥镜的前端部在所述体内的折回位置往复移动的情况下，根据由所述内窥镜获得的内窥镜图像，进行所述前端部到达所述折回位置的识别、及所述移动轨迹符合去程或回程中的哪一个的识别，
在显示器上显示将所述移动轨迹分为所述去程或所述回程来表示的移动轨迹显示画面。
2.根据权利要求1所述的处理器装置，其中，
在所述移动轨迹显示画面上显示表示所述去程的移动轨迹的去程显示用直线及表示所述回程的移动轨迹的回程显示用直线。
3.根据权利要求2所述的处理器装置，其中，
所述去程显示用直线和所述回程显示用直线由表示所述折回位置的折回显示用标记连接。
4.根据权利要求2或3所述的处理器装置，其中，
在所述移动轨迹显示画面上，针对所述去程显示用直线或所述回程显示用直线，显示表示所述内窥镜的插入长度的插入长度显示用读数。
5.根据权利要求1所述的处理器装置，其中，
在所述移动轨迹显示画面上显示表示所述去程的移动轨迹的去程显示用曲线及表示所述回程的移动轨迹的回程显示用曲线。
6.根据权利要求1至5中任一项所述的处理器装置，其中，
所述处理器在所述内窥镜的插入口和所述折回位置之间识别至少包括第一部位及第二部位的多个部位，
在所述移动轨迹显示画面上，将所述移动轨迹分类成根据所述多个部位确定的多个区间进行显示。
7.根据权利要求6所述的处理器装置，其中，
在所述移动轨迹显示画面中，用消息显示所述前端部当前所在的区间。
8.根据权利要求1至7中任一项所述的处理器装置，其中，
所述处理器从所述内窥镜图像识别关注区域，
在所述移动轨迹显示画面中，在所述移动轨迹上显示所述关注区域的位置。
9.根据权利要求8所述的处理器装置，其中，
所述处理器对所述关注区域的类别进行分类，
在所述移动轨迹显示画面中，根据所述类别的分类结果而用不同的显示方式在所述移动轨迹上显示所述关注区域的位置。
10.根据权利要求9所述的处理器装置，其中，
在所述移动轨迹显示画面中，针对所述移动轨迹显示包括所述关注区域的类别的类别信息。
11.根据权利要求1至5中任一项所述的处理器装置，其中，
所述处理器在所述内窥镜的插入口和所述折回位置之间识别至少包括第一部位及第二部位的多个部位，
根据所述多个部位确定多个区间，
所述移动轨迹由按所述区间分别设置的多个分区间移动轨迹构成，
所述移动轨迹显示画面分别显示分区间移动轨迹显示画面，所述分区间移动轨迹显示画面显示各分区间移动轨迹。
12.根据权利要求1至11中任一项所述的处理器装置，其中，
所述移动状况为所述内窥镜的前端部的移动量，
所述前端部的移动量至少基于所述内窥镜的插入长度来计算。
13.一种内窥镜系统，具备处理器及显示器，其中，
所述处理器，
获取在体内移动的内窥镜的移动状况，
使用所述内窥镜的移动状况，计算表示所述内窥镜移动的轨迹的移动轨迹，
在所述内窥镜的前端部在所述体内的折回位置往复移动的情况下，根据由所述内窥镜获得的内窥镜图像，进行所述前端部到达所述折回位置的识别、及所述移动轨迹符合去程或回程中的哪一个的识别，
在所述显示器上显示将所述移动轨迹分为所述去程或所述回程来表示的移动轨迹显示画面。
14.一种处理器装置的工作方法，所述处理器装置具有处理器，其中，
处理器，
获取在体内移动的内窥镜的移动状况，
使用所述内窥镜的移动状况，计算表示所述内窥镜移动的轨迹的移动轨迹，
在所述内窥镜的前端部在所述体内的折回位置往复移动的情况下，根据由所述内窥镜获得的内窥镜图像，进行所述前端部到达所述折回位置的识别、及所述移动轨迹符合去程或回程中的哪一个的识别，
在显示器上显示将所述移动轨迹分为所述去程或所述回程来表示的移动轨迹显示画面。
15.一种处理器装置用程序，使计算机执行：
获取在体内移动的内窥镜的移动状况的功能；
使用所述内窥镜的移动状况，计算表示所述内窥镜移动的轨迹的移动轨迹的功能；
在所述内窥镜的前端部在所述体内的折回位置往复移动的情况下，根据由所述内窥镜获得的内窥镜图像进行所述前端部到达所述折回位置的识别、及所述移动轨迹符合去程或回程中的哪一个的识别的功能；以及
在显示器上显示将所述移动轨迹分为所述去程或所述回程来表示的移动轨迹显示画面的功能。
CN202180077382.6A 2020-11-17 2021-10-11 处理器装置、处理器装置的工作方法、处理器装置用程序及内窥镜系统 Pending CN116507261A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020190900 2020-11-17
JP2020-190900 2020-11-17
PCT/JP2021/037522 WO2022107492A1 (ja) 2020-11-17 2021-10-11 プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム

Publications (1)

Publication Number Publication Date
CN116507261A true CN116507261A (zh) 2023-07-28

Family

ID=81708891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180077382.6A Pending CN116507261A (zh) 2020-11-17 2021-10-11 处理器装置、处理器装置的工作方法、处理器装置用程序及内窥镜系统

Country Status (5)

Country Link
US (1) US20230277036A1 (zh)
EP (1) EP4248832A4 (zh)
JP (1) JPWO2022107492A1 (zh)
CN (1) CN116507261A (zh)
WO (1) WO2022107492A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024028925A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093326A (ja) 2001-09-25 2003-04-02 Pentax Corp 可撓性電子内視鏡装置
EP2700351A4 (en) * 2012-03-06 2015-07-29 Olympus Medical Systems Corp ENDOSCOPIC SYSTEM
WO2015089013A1 (en) * 2013-12-09 2015-06-18 Intuitive Surgical Operations, Inc. Systems and methods for device-aware flexible tool registration
CN107708521B (zh) * 2015-06-29 2020-06-12 奥林巴斯株式会社 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
JPWO2017006404A1 (ja) * 2015-07-03 2018-04-19 オリンパス株式会社 内視鏡システム
KR102420386B1 (ko) * 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
JP6710284B2 (ja) * 2016-10-12 2020-06-17 オリンパス株式会社 挿入システム
JP6465452B2 (ja) * 2016-12-22 2019-02-06 オリンパス株式会社 内視鏡挿入形状観測装置
EP3773131B1 (en) * 2018-03-28 2024-07-10 Auris Health, Inc. Systems for registration of location sensors
JP7135082B2 (ja) * 2018-05-17 2022-09-12 富士フイルム株式会社 内視鏡装置、内視鏡装置の作動方法、及びプログラム
CN112423645B (zh) * 2018-07-20 2023-10-31 富士胶片株式会社 内窥镜系统
JP7060536B2 (ja) * 2019-03-13 2022-04-26 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理装置の作動方法及びプログラム、内視鏡システム

Also Published As

Publication number Publication date
WO2022107492A1 (ja) 2022-05-27
EP4248832A1 (en) 2023-09-27
EP4248832A4 (en) 2024-05-08
US20230277036A1 (en) 2023-09-07
JPWO2022107492A1 (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN109998678A (zh) 在医学规程期间使用增强现实辅助导航
JP4388958B2 (ja) 内視鏡的パスプランニングのための方法及びシステム
US9036882B2 (en) Diagnosis assisting apparatus, diagnosis assisting method, and recording medium having a diagnosis assisting program stored therein
JP4408794B2 (ja) 画像処理プログラム
US20100094085A1 (en) Device for Displaying Assistance Information for Surgical Operation, Method for Displaying Assistance Information for Surgical Operation, and Program for Displaying Assistance Information for Surgical Operation
EP2245983A2 (en) Insertion support system
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
US20230190136A1 (en) Systems and methods for computer-assisted shape measurements in video
US20150356732A1 (en) Image display device and method
US20230277036A1 (en) Processor device, operation method of processor device, non-transitory computer readable medium, and endoscope system
JP2009195343A (ja) 画像処理装置および画像処理プログラム
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
CN114022548A (zh) 一种内窥镜碰撞检测方法、装置、设备及存储介质
US20100034436A1 (en) Image processing apparatus, computer program product and image processing method
US20220257102A1 (en) System and method for endoscopic imaging and analyses
US9934569B2 (en) Image processing method and apparatus for tracking a site in a series of images
JP6476125B2 (ja) 画像処理装置、及び手術顕微鏡システム
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
CN114830638A (zh) 用于具有空间记忆的远程图解的系统和方法
US20100142783A1 (en) Axial centerline following display of ct colonography images
WO2022191128A1 (ja) 内視鏡システム及びその作動方法
CN118078443B (zh) 手术导航系统的处理方法、软件系统和手术导航系统
WO2022191129A1 (ja) 内視鏡システム及びその作動方法
JP2004016721A (ja) 画像診断支援装置
US11657547B2 (en) Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination