CN115192192A - 医疗辅助装置以及医疗辅助方法 - Google Patents

医疗辅助装置以及医疗辅助方法 Download PDF

Info

Publication number
CN115192192A
CN115192192A CN202210202704.1A CN202210202704A CN115192192A CN 115192192 A CN115192192 A CN 115192192A CN 202210202704 A CN202210202704 A CN 202210202704A CN 115192192 A CN115192192 A CN 115192192A
Authority
CN
China
Prior art keywords
medical
processor
image
guidance display
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210202704.1A
Other languages
English (en)
Inventor
山元翔太
小川量平
B·恩德斯
P·苏帕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN115192192A publication Critical patent/CN115192192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供医疗辅助装置以及医疗辅助方法。医疗辅助装置具有1个以上的处理器，处理器构成为：取得医疗图像，根据医疗图像，生成用于重叠于医疗图像上的引导显示，该引导显示表示医疗图像中的医疗处置的推荐度的高低不同的段间的边界。

Description

医疗辅助装置以及医疗辅助方法
技术领域
本公开涉及用于对腹腔镜手术等医疗处置进行辅助的医疗辅助装置以及医疗辅助方法。
背景技术
手术目前依然很大程度上依赖于医生的解剖学知识。在腹腔镜手术中，该倾向变得更强。在腹腔镜手术中，医生不具有用于掌握患者体内的结构的触觉反馈，而仅依赖于视觉信息。
腹腔镜下胆囊摘除术是以摘除胆囊为目的的手术。因此，需要鉴别胆囊管和胆囊动脉这2个构造，并将它们依次切除。在解剖学上困难的状况下，医生要注意以不误认解剖学结构。医生尤其需要注意以不误认总胆管和胆囊管。腹腔镜下胆囊摘除术是研修后的经验浅的医生实施的手术之一，有可能由必要的解剖学知识、一般的解剖学变化的经验还不充分的医生实施。
为了弥补医生的解剖学知识和经验不足，考虑使用用于将医生引导至推荐的处置区域的手术辅助系统。例如，提出了在腹腔镜手术时通过在腹腔镜图像上重叠切除面的虚拟图像来辅助医师的手术的手术辅助系统(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2005-278888号公报
如上所述，在腹腔镜下胆囊摘除术中，为了弥补医生的解剖学知识和经验不足，要求进一步改善现有的手术辅助系统。
发明内容
发明所要解决的课题
本公开是鉴于这样的状况而完成的，其目的在于提供一种在进行手术时能够使医生认知处置的推荐度高的区域的技术。
用于解决课题的手段
为了解决上述课题，本公开的某个方式的医疗辅助装置具有1个以上的处理器，处理器构成为：取得医疗图像，根据医疗图像，生成用于重叠于医疗图像上的引导显示，该引导显示表示医疗图像中的医疗处置的推荐度的高低不同的段间的边界。
本公开的另一方式的医疗辅助方法具有如下步骤：取得医疗图像；以及根据医疗图像，生成用于重叠于医疗图像上的引导显示，该引导显示表示医疗图像中的医疗处置的推荐度高低不同的段间的边界。
另外，将以上的构成要素的任意组合、本公开的表现在方法、装置、系统、记录介质、计算机程序等之间变换后的方式，作为本公开的方式也是有效的。
附图说明
图1是示出实施例的医疗辅助系统的结构的图。
图2是概略地示出腹腔镜下胆囊摘除术的整体流程的图。
图3是用于说明实施例的机器学习模型的生成方法的图。
图4是示出映有B-SAFE标志(landmark)的腹腔镜图像的一例的图。
图5是示出映有Rouviere沟和肝门板的腹腔镜图像的一例的图。
图6是示出实施例的医疗辅助装置的基本动作的流程图。
图7是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠线图形而得到的图像的一例的图。
图8是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠不安全区域图形而得到的图像的一例的图。
图9是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠安全区域图形而得到的图像的一例的图。
图10是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠引导显示而得到的图像的另一例的图。
图11是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像内的4个检测对象的一例的图。
图12是示出将图11所示的腹腔镜图像放大后的腹腔镜图像的图。
图13是示出由腹腔镜的位移引起的腹腔镜图像的变化的一例的图。
图14A至14B是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠表示待切除的胆囊管的位置的切除区域而得到的图像的一例的图。
图15是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠3条线图形而得到的图像的一例的图。
图16是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠3条线图形而得到的图像的另一例的图。
图17是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠动画图形而得到的图像的一例的图。
符号说明
1医疗辅助系统、2腹腔镜、3处置器具、10医疗辅助装置、11医疗图像取得部、12段信息生成部、13处置器具识别部、14学习模型保持部、15显示生成部、20视频处理器、30监视器、GB胆囊、DU十二指肠、CD胆囊管、HD肝管、HA肝动脉、CBD总胆管、RS Rouviere沟、S4b肝S4的下缘。
具体实施方式
图1示出实施例的医疗辅助系统1的结构。医疗辅助系统1是用于辅助在外科部门中使用的腹腔镜手术的系统。在腹腔镜手术中，从在患者的腹部开设的多个孔插入腹部外科手术用的内窥镜(以下，称为腹腔镜2)和处置器具3。腹腔镜2不是用于胃或大肠的检查等的软性镜，而是由金属制的硬性镜构成。作为处置器具3，使用钳子、套管针、能量设备等。
医疗辅助系统1设置于手术室，具备医疗辅助装置10、视频处理器20以及监视器30。医疗辅助装置10具备医疗图像取得部11、段信息生成部12、处置器具识别部13、学习模型保持部14以及显示生成部15。
医疗辅助装置10的结构在硬件上能够通过任意的处理器(例如CPU、GPU)、存储器、辅助存储装置(例如HDD、SSD)、其他LSI来实现，在软件上通过加载到存储器的程序等来实现，但在此描绘了通过它们的协作来实现的功能块。因此，本领域技术人员当理解这些功能块能够仅通过硬件、仅通过软件、或者通过它们的组合以各种形式实现。
腹腔镜2具有用于传送从光源装置供给的照明光来对患者的体内进行照明的光导，在前端部设置有：照明窗，其用于将由光导传送的照明光射出到被摄体；以及摄像部，其以规定的周期对被摄体进行摄像并将摄像信号输出到视频处理器20。摄像部包括将入射光转换为电信号的固体摄像元件(例如CCD图像传感器或CMOS图像传感器)。
视频处理器20对由腹腔镜2的固体摄像元件光电转换后的摄像信号实施图像处理而生成腹腔镜图像。视频处理器20除了A/D转换、噪声去除等通常的图像处理之外，还能够实施强调显示等效果处理。
由视频处理器20生成的腹腔镜图像被输出到医疗辅助装置10，在由医疗辅助装置10重叠引导显示之后，显示于监视器30。另外，作为失效恢复功能，也能够绕过医疗辅助装置10，从视频处理器20直接向监视器30输出腹腔镜图像。另外，在图1中示出了医疗辅助装置10和视频处理器20分离为不同的设备的结构，但医疗辅助装置10和视频处理器20也可以合并为1个设备。
图2是概略地示出腹腔镜下胆囊摘除术的整体流程的图。首先，在手术室中准备器材(P1)。在该步骤中启动医疗辅助系统1。接着，使患者进入手术室(P2)。接着，麻醉医生对患者给予全身麻醉(P3)。接着，手术团队全员实施暂停确认(time out)(P4)。具体而言，通过团队确认患者、手术部位、手术方式等。接着，外科医师设置向腹腔的接入端口(P5)。具体是在腹部开小孔、插入套管针设置接入端口。通过跟踪器将腹腔镜、钳子、能量设备插入腹腔内。从气腹装置向腹腔内输送二氧化碳并用气体充满，确保手术作业空间。
接着，外科医师对胆囊内进行减压(P6)，用把持钳子牵引胆囊(P7)。接着，外科医生用剥离钳子剥离覆盖胆囊的腹膜(P8)。接着，外科医师使胆囊管和胆囊动脉露出(P9)，使胆囊床露出(P10)。接着，外科医生用夹子将胆囊管和胆囊动脉固定(P11)，用剪刀钳子将胆囊管和胆囊动脉切离(P12)。最后，外科医生用剥离钳子从胆囊床剥离胆囊，将剥离后的胆囊放入回收袋中进行回收。
实施例所涉及的医疗辅助装置10在步骤P8～P11中，通过将引导显示重叠在实时显示于监视器30的腹腔镜图像上，来辅助手术中的外科医师确认安全区域。
在实施例的医疗辅助系统1中，使用为了从手术中的实时取景图像中识别重要的解剖学标志而训练的机器学习模型。
图3是用于说明实施例的机器学习模型的生成方法的图。在简单情况下，医生等具有专业知识的注释者对映在多个腹腔镜图像中的解剖学标志赋予注释。AI/机器学习系统将对解剖学标志赋予了注释的腹腔镜图像的有示教数据集作为训练数据进行机器学习，生成标志检测用的机器学习模型。例如，作为机器学习，能够使用作为深度学习的一种的CNN、RNN、LSTM等。
在挑战情况下，生成用于从未映出解剖学标志的复杂病例的腹腔镜图像中检测安全区域的机器学习模型。对未映出解剖学标志的多个腹腔镜图像内的安全区域，由熟练医生等具有高度专业知识的注释者赋予注释。例如，在腹腔镜图像内绘制安全区域线。另外，也可以对被脂肪组织等覆盖而未映到腹腔镜图像内的解剖学标志的估计位置赋予注释。AI/机器学习系统将被赋予了与安全区域相关的注释的腹腔镜图像的有示教数据集作为训练数据进行机器学习，生成安全区域检测用的机器学习模型。
用于检测如以上那样生成的解剖学标志和安全区域中的至少1方的机器学习模型被登记在医疗辅助装置10的学习模型保持部14中。
在腹腔镜下胆囊摘除术中拍摄的映有胆囊的腹腔镜图像或映有胆囊的周边组织的腹腔镜图像中，作为解剖学标志，能够使用B-SAFE标志。在B-SAFE标志中，胆管(B)、Rouviere沟(S)、肝S4的下缘(S)、肝动脉(A)、脐裂(Umbilicial Fissure)(F)及肠结构(十二指肠)(E)被用作标志。进而，作为解剖学标志，也能够使用肝门板(Hiular Plate)。图4是示出映有B-SAFE标志的腹腔镜图像的一例的图。图5是示出映有Rouviere沟和肝门板的腹腔镜图像的一例的图。另外，映有胆囊的周边组织的腹腔镜图像是指映有上述B-SAFE标志中的任意一个、胆囊管、胆囊动脉中的至少1个的腹腔镜图像。
图6是示出实施例的医疗辅助装置10的基本动作的流程图。医疗图像取得部11从视频处理器20取得医疗图像(在本实施例中，为映有胆囊的腹腔镜图像或映有胆囊周边组织的腹腔镜图像)(S10)。段信息生成部12根据由医疗图像取得部11取得的医疗图像，生成按区域定义了医疗处置(在本实施例中，为腹腔镜下胆囊摘除)的安全性的高低的段信息(S20)。显示生成部15基于段信息生成部12生成的段信息，生成用于重叠在医疗图像上的引导显示(S30)。显示生成部15将所生成的引导显示重叠在从视频处理器20输入的医疗图像上(S40)。以下，具体地进行说明。
段信息生成部12基于从视频处理器20输入的医疗图像，估计2个以上的解剖学标志的位置。段信息生成部12使用从学习模型保持部14读出的学习模型，从输入的医疗图像中检测2个以上的解剖学标志的位置。段信息生成部12基于检测出的2个以上的解剖学标志的位置(具体而言，该2个以上的解剖学标志彼此的相对位置)，生成段信息。段信息是在医疗图像内定义了实施医疗处置时的、映在医疗图像中的区域的安全度的信息。
显示生成部15能够生成表示由段信息定义的多个段间的边界的线图形，作为重叠于医疗图像上的引导显示。显示生成部15将所生成的线图形作为OSD(On Screen Display：屏幕显示)重叠于医疗图像上。
图7是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠线图形L1而得到的图像的一例的图。在图7所示的例子中，段信息生成部12从映有胆囊GB的腹腔镜图像中，作为解剖学标志，检测出Rouviere沟RS和肝S4的下缘S4b。另外，也可以代替肝S4的下缘S4b，而使用位于肝S4的下缘S4b的附近的肝门板(Hiular Plate)或脐裂(UmbilicialFissure)。
在腹腔镜下胆囊摘除术中，需要将与胆囊GB相连的胆囊管CD在与和肝脏相连的总肝管(右肝管RHD和左肝管汇合后的肝管)汇合之前的位置处切除。若错误地切除胆囊管CD与总肝管合流后的总胆管CBD，则无法使胆汁从肝脏流向十二指肠DU。
段信息生成部12生成在检测出的Rouviere沟RS和肝S4的下缘S4b通过的线(以下适当称为R4U线)，将比R4U线靠上侧的段设定为安全区域段，将比R4U线靠下侧的段设定为不安全区域段。显示生成部15生成表示安全区域段与不安全区域段之间的边界(R4U行)的线图形L1，并将其重叠于腹腔镜图像上。
显示生成部15能够生成表示由段信息定义的1个段的区域的面图形，作为重叠于医疗图像上的引导显示。显示生成部15将生成的面图形作为OSD重叠在医疗图像上。
图8是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠不安全区域图形USZ而得到的图像的一例的图。图9是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠安全区域图形SZ而得到的图像的一例的图。
在图8所示的例子中，显示生成部15在比R4U线靠下侧的段生成不安全区域图形USZ，并将其重叠在腹腔镜图像上。另外，也可以使不安全区域图形USZ和线图形L1双方重叠在腹腔镜图像上。不安全区域图形USZ优选用唤起医生注意的颜色(例如红色)生成。在图8中，不安全区域图形USZ由长方形的面形成，但面的上缘(上边)沿着R4U线即可，也可以由平行四边形的面、包含曲线的面形成。不安全区域图形USZ的尺寸被设定为至少覆盖总胆管CBD的尺寸。
在图9所示的例子中，显示生成部15在比R4U线靠上侧的段生成安全区域图形SZ，并重叠在腹腔镜图像上。注意，可以将安全区域图形SZ和线图形L1两者重叠在腹腔镜图像上。安全区域图形SZ优选由提醒医生是应实施处置的推荐区域的颜色(例如绿色)生成。在图9中，安全区域图形SZ由长方形的面形成，但面的下缘(下边)沿着R4U线即可，也可以由平行四边形的面或包含曲线的面形成。
另外，在以不同的颜色显示不安全区域图形USZ和安全区域图形SZ的情况下，显示生成部15也可以将不安全区域图形USZ和安全区域图形SZ双方重叠在腹腔镜图像上。
图10是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠引导显示而得到的图像的另一例的图。医生在观察腹腔镜图像的同时在表示R4U线的线图形L1上方的区域中执行用于摘除胆囊的手术。
图1所示的处置器具识别部13根据医疗图像识别处置器具3。处置器具识别部13通过对照在腹腔镜手术中拍摄到的腹腔镜图像和处置器具3的模板图像，从腹腔镜图像中检测处置器具3。作为模板图像，针对每个处置器具，准备方向、突出长度、开闭状态分别不同的多个图像。另外，关于图像上的形状因旋转而变化的非对称形状的处置器具，准备旋转角度不同的多个图像。
处置器具识别部13生成强调了腹腔镜图像的边缘的边缘图像，使用模板匹配、Hough变换等从边缘图像内检测线段形状。处置器具识别部13对检测出的线段形状和模板图像进行对照，将一致度最高的模板图像的处置器具作为检测结果。另外，也可以使用利用了SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)等特征量的图案检测算法来识别处置器具3。并且，也可以根据对处置器具的位置(边缘、显示区域)赋予注释而进行机器学习所得到的学习模型来识别处置器具3。
显示生成部15根据由处置器具识别部13识别出的处置器具3与由段信息定义的段之间的相对位置关系，生成不同的引导显示。显示生成部15根据识别出的处置器具3与不安全区域段的相对位置关系，生成警报性的引导显示。
例如，在识别出的处置器具3的前端的突出部收于不安全区域段内的情况下，显示生成部15生成更强调的(例如，更浓的红色的)不安全区域图形USZ作为警报性的引导显示。
在图7～图9所示的例子中，从腹腔镜图像检测出剪刀钳子3a和把持钳子3b。在剪刀钳子3a的前端的突出部收在不安全区域段内的情况下，显示生成部15生成更加强调的不安全区域图形USZ。
另外，在处置器具3的前端的突出部位于R4U线的附近的情况下，警报的开启/关闭频繁地切换。作为其对策，也可以设置将R4U线在宽度方向上扩展而得到的R4U区域，将R4U区域作为不灵敏区域。显示生成部15在处置器具3的前端的突出部收于R4U区域内的期间，停止警报的开启/关闭。显示生成部15在处置器具3的前端的突出部从R4U区域脱离到安全区域段时关闭警报，在脱离到不安全区域段时开启警报。
另外，基于处置器具3的识别的警报显示不是必须功能，能够省略。在该情况下，能够省略医疗辅助装置10的处置器具识别部13。另外，显示生成部15也可以在通常状态下不将引导显示重叠于腹腔镜图像，在预测出变为了警报状态或者要变为警报状态时，重叠警报性的引导显示。在该情况下，处置器具3接近不安全区域才出现引导显示。
段信息生成部12能够从医疗图像中除了提取上述2个以上的解剖学标志以外，还提取2个以上的特征点。段信息生成部12检测SIFT、SURF等的特征量，从医疗图像中提取特征点。特征点只要是段信息生成部12能够跟踪的点即可，使用患者固有的伤痕、具有特别的颜色的点等。
段信息生成部12基于2个以上的解剖学标志的位置和2个以上的特征点的位置，生成段信息。段信息生成部12基于这4个以上的检测对象的相对位置关系来定义特定的段。
图11是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像内的4个检测对象的一例的图。4个检测对象是Rouviere沟RS、肝S4的下缘S4b、第一特征点FA以及第二特征点FB。
在解剖学标志的至少1个的检测中断时，段信息生成部12基于至少该2个以上的特征点的位置，生成解剖学标志的至少1个的检测中断后的段信息。显示生成部15根据解剖学标志的至少1个的检测中断后的段信息，使重叠于医疗图像的引导显示变化。即，即使在通过腹腔镜2的放大或移动而使解剖学标志的至少1个偏离了腹腔镜2的视野的情况下，段信息生成部12也能够至少基于该2个以上的特征点的位置来估计2个以上的解剖学标志彼此的相对的位置关系。
图12是示出将图11所示的腹腔镜图像放大后的腹腔镜图像的图。在图12所示的腹腔镜图像中，作为解剖学标志之一的Rouviere沟RS从腹腔镜2的视野偏离。在该情况下，段信息生成部12也能够根据肝S4的下缘S4b、第一特征点FA以及第二特征点FB的相对位置关系来制作R4U线。
在腹腔镜2的视野发生了变化的情况下，段信息生成部12还能够不跟踪至少该2个以上的特征点的相对位置关系，而是跟踪该2个以上的特征点的运动来制作R4U线。在该情况下，段信息生成部12利用KLT(Kanade-Lucas-Tomasi Feature Tracker)法、Mean-Shift搜索等，跟踪从医疗图像提取的2个以上的特征点的位置。
在解剖学标志的至少1个的检测中断时，段信息生成部12基于至少该2个以上的特征点的位置变化，估计解剖学标志的至少1个的检测中断后的、由段信息定义的段的位置变化。显示生成部15根据解剖学标志的至少1个的检测中断后的段的位置变化，使重叠于医疗图像上的引导显示的位置变化。
在使用腹腔镜手术辅助机器人的情况下，医疗辅助装置10能够根据机器人臂的各驱动关节的可动量取得安装于机器人臂的腹腔镜2的位置变化信息(以下，称为运动信息)。在该情况下，段信息生成部12在解剖学标志的至少1个的检测中断时，从机器人系统取得腹腔镜2的运动信息。段信息生成部12根据所取得的腹腔镜2的运动信息，估计解剖学标志的至少1个的检测中断后的、由段信息定义的段的位置变化。显示生成部15根据解剖学标志的至少1个的检测中断后的段的位置变化，使重叠于医疗图像上的引导显示的位置变化。
图13是示出由腹腔镜2的位移引起的腹腔镜图像的变化的一例的图。腹腔镜2的视野F1通过由机器人臂引起的腹腔镜2的位移而变化为视野F1’。在视野F1’中，看不到作为解剖学标志之一的Rouviere沟RS。段信息生成部12根据腹腔镜2的运动信息MV，确定R4U线的位置变化。由此，显示生成部15能够使基于R4U线的线图形L1追随腹腔镜2的位移。
在不使用腹腔镜手术辅助机器人的情况下，通过利用图像处理跟踪腹腔镜图像内的特定的标记来检测腹腔镜2的动作。段信息生成部12还能够将通过该图像处理检测出的腹腔镜2的运动信息用于腹腔镜图像内的段的位移估计。另外，在使用腹腔镜手术辅助机器人的情况下，可以取得腹腔镜2的更准确的运动和操作信息，因此可以更准确地估计解剖学标志记在视野外的位置。
在从腹腔镜图像检测到多个特征点的情况下，期望段信息生成部12选定沿着R4U线的位置或者接近R4U线的位置的特征点。如果能够沿着R4U线在2个解剖学标志的内侧检测2个特征点，则即使在由于医师的放大操作等而从腹腔镜2的视野看不到解剖学标志的情况下，也能够容易地制作R4U线。并且，如果跟踪腹腔镜2的运动，则能够提高R4U线的估计精度。也能够容易地估计位于视野外的解剖学标志(例如，Rouviere沟RS、肝S4的下缘S4b)的位置。
段信息生成部12可以跟踪映在医疗图像中的组织的运动。该组织也可以是切除对象的组织(例如胆囊管)。在学习模型中学习了切除对象的组织的情况下，段信息生成部12使用该学习模型来检测切除对象的组织。在切除对象的组织被登记为其他词典数据的情况下，段信息生成部12使用该词典数据来检测切除对象的组织。
段信息生成部12能够通过运动跟踪功能来跟踪检测出的切除对象的组织。显示生成部15根据该组织的运动的跟踪结果，生成追随该组织的运动的引导显示。
图14A至14B是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠表示待切除的胆囊管CD的位置的切除区域Acd而得到的图像的一例的图。显示生成部15根据腹腔镜图像中的待切除的胆囊管CD的运动来改变表示胆囊管CD的位置的切除区域Acd的位置。切除区域Acd例如用绿色的标记重叠于腹腔镜图像。
另外，段信息生成部12也能够通过运动跟踪功能来跟踪检测出的2个以上的解剖学标志的运动。虽然在图14A～14B中未示出，但显示生成部15能够基于该2个以上的解剖学标志的运动的跟踪结果，使基于该2个以上的解剖学标志的引导显示(例如，线图形L1)变化。
作为要重叠在医疗图像上的引导显示，显示生成部15可以生成阶段性地表示由段信息定义的多个段之间的边界的多个线图形。显示生成部15将所生成的多个线图形重叠在医疗图像上。该多个线图形也可以是分别通过2个解剖学标志的位于彼此不同的位置的3个以上的线图形。该3个以上的线图形优选以彼此不同的颜色生成。
图15是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠3条线图形L1a～L1c而得到的图像的一例的图。在图15所示的例子中，段信息生成部12检测出Rouviere沟RS和肝S4的下缘S4b作为解剖学标志。显示生成部15在Rouviere沟RS和肝S4的下缘S4b上分别重叠有不同颜色的彩色块(tile)。
在图15所示的例子中，显示生成部15将通过Rouviere沟RS的上端和肝S4的下缘S4b的上端的绿色的第一线图形L1a、通过Rouviere沟RS的下端和肝S4的下缘S4b的下端的黄色的第三线图形L1c、通过第一线图形L1a与第三线图形L1c的中间的黄绿色的第二线图形L1b重叠于腹腔镜图像。
图16是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠3条线图形L1a～L1c而得到的图像的另一例的图。在图15中，示出了3条线图形L1a～L1c由直线形成的例子，但如图16所示，3条线图形L1a～L1c也可以由曲线形成。
在图15～图16所示的例子中，比第一线图形L1a靠上侧的部分是第一段(安全区域段)，比第三线图形L1c靠下侧的部分是安全性比第一段低的第二段(不安全区域段)。通过3条线条图形L1a～L1c，阶段性地划分第一段和第二段。
显示生成部15还可以在第一段和第二段之间的边界区域中生成多个线图形从第二段向第一段移动的动画图形，作为引导显示。
图17是示出在腹腔镜下胆囊摘除中拍摄到的腹腔镜图像上重叠动画图形而得到的图像的一例的图。虽然在图17中未示出，但是段信息生成部12作为解剖学标志而检测出Rouviere沟RS和脐裂(Umbilicial Fissure)。
在图17所示的例子中，显示生成部15在第一段与第二段之间的边界区域中，从下开始依次将红色的线图形Lr、黄色的线图形Ly、绿色的线图形Lg这3条重叠于腹腔镜图像。3条线条图形从边界区域的下端向上端移动。具体而言，红色的线图形Lr从边界区域的下端涌出，随着朝向边界区域的上端的移动，以红色→黄色→绿色的方式变化，当到达边界区域的上端时消失。另外，显示于边界区域的线图形也可以是4条以上。
通过在边界区域中在从不安全区域到安全区域的方向上显示多个线图形如波浪那样运动的动画图形，能够在视觉上引导医生从不安全区域向安全区域的方向离开。
在以上说明的实施例中，在段信息生成部12无法检测到R4U线的情况下，显示生成部15也可以在监视器30上显示警报消息，唤起处置中的医生的注意。以该警报消息为契机，经验浅的医生能够咨询熟练的医生，或者由熟练的医生接替处置，有助于将总胆管的损伤风险抑制为最小限度。
如上所述，根据本实施例，当执行腹腔镜手术时，可以使医生充分地识别哪个部分更安全，哪个部分更不安全。医生可以通过在第一段上执行手术来安全地执行腹腔镜手术。通过将上述各种引导显示重叠在腹腔镜图像上，能够防止在腹腔镜下胆囊摘除术中错误地切除总胆管，能够促使在适当的位置切除胆囊管和胆囊动脉。例如，通过作为引导显示来显示R4U线，即使是经验浅的医生也能够始终意识到R4U线，在比R4U线靠上部的位置实施手术。
以上，基于多个实施例说明了本公开。这些实施例是例示，本领域技术人员当理解这些各构成要素、各处理过程的组合可以有各种变形例，并且这样的变形例也在本公开的范围内。
在上述实施例中，使用机器学习模型从所拍摄的腹腔镜图像中检测出解剖学标志。关于这一点，也可以根据所拍摄的腹腔镜图像，检测SIFT、SURF、边缘、角部等特征量，根据腹腔镜图像的特征描述，检测解剖学标志。
此外，在如上述的挑战情况那样准备了安全区域检测用的机器学习模型的情况下，能够不经过解剖学标志的检测而直接生成段信息。在该情况下，即使在腹腔镜图像中未映出解剖学标志的情况下，也能够确定腹腔镜图像内的安全区域和不安全区域。
产业上的可利用性
本公开能够利用于显示腹腔镜图像的技术领域。

Claims (22)

1.一种医疗辅助装置，其中，
该医疗辅助装置具有1个以上的处理器，
所述处理器构成为：
取得医疗图像，
根据所述医疗图像，生成用于重叠于所述医疗图像上的引导显示，该引导显示表示所述医疗图像中的医疗处置的推荐度的高低不同的段间的边界。
2.根据权利要求1所述的医疗辅助装置，其中，
所述处理器根据所述医疗图像，估计2个以上的解剖学标志的位置，
所述处理器根据估计出的所述2个以上的解剖学标志的位置，生成所述引导显示。
3.根据权利要求2所述的医疗辅助装置，其中，
所述处理器取得映有胆囊的所述医疗图像，
在所述2个以上的解剖学标志中，包含Rouviere沟、肝S4的下缘、肝门板、肝动脉以及脐裂中的至少1个。
4.根据权利要求1所述的医疗辅助装置，其中，
所述处理器生成线图形和面中的至少1方作为所述引导显示，该线图形表示所述段间的边界，该面表示1个段的区域，该面的边缘表示所述段间的边界。
5.根据权利要求2所述的医疗辅助装置，其中，
所述处理器根据所述2个以上的解剖学标志彼此的相对位置，生成所述引导显示。
6.根据权利要求1所述的医疗辅助装置，其中
所述处理器从所述医疗图像中识别处置器具，
所述处理器根据所述处置器具与所述段的相对位置关系，来变更所述引导显示的有无或显示的方式。
7.根据权利要求6所述的医疗辅助装置，其中，
所述处理器根据所述处置器具与所述段的相对位置关系，生成作为警报的所述引导显示。
8.根据权利要求2所述的医疗辅助装置，其中，
所述处理器还从所述医疗图像中提取2个以上的特征点，
所述处理器根据所述2个以上的解剖学标志的位置和所述2个以上的特征点的位置，生成所述引导显示。
9.根据权利要求8所述的医疗辅助装置，其中，
所述处理器在所述解剖学标志中的至少1个的检测中断时，根据所述解剖学标志中的至少1个的检测中断后的至少所述2个以上的特征点的位置，使所述引导显示变化。
10.根据权利要求2所述的医疗辅助装置，其中，
所述处理器从所述医疗图像中提取2个以上的特征点，跟踪所述2个以上的特征点的位置变化，在所述解剖学标志中的至少1个的检测中断时，根据所述2个以上的特征点的所述位置变化，估计所述解剖学标志中的至少1个的检测中断后的所述段的位置变化，
所述处理器根据所述解剖学标志中的至少1个的检测中断后的所述段的位置变化，使所述引导显示的位置变化。
11.根据权利要求2所述的医疗辅助装置，其中，
所述处理器取得由内窥镜拍摄到的所述医疗图像，
所述处理器在所述解剖学标志中的至少1个的检测中断时，取得所述内窥镜的运动信息，
所述处理器根据所述解剖学标志中的至少1个的检测中断后的所述内窥镜的运动信息，使所述引导显示的位置变化。
12.根据权利要求1所述的医疗辅助装置，其中，
所述处理器跟踪映在所述医疗图像中的组织的运动，
所述处理器根据所述组织的运动的跟踪结果，生成追随所述组织的运动的引导显示。
13.根据权利要求1所述的医疗辅助装置，其中，
所述处理器在与所述医疗辅助装置连接的监视器上显示重叠有所述引导显示的所述医疗图像。
14.根据权利要求4所述的医疗辅助装置，其中，
所述处理器取得映有胆囊或所述胆囊的周边组织的所述医疗图像，
所述线或所述面的边缘通过映在所述医疗图像中的Rouviere沟和肝S4的下缘。
15.根据权利要求4所述的医疗辅助装置，其中，
所述处理器取得映有胆囊或所述胆囊的周边组织的所述医疗图像，
所述线或所述面的边缘通过映在所述医疗图像中的Rouviere沟和脐裂。
16.根据权利要求1所述的医疗辅助装置，其中，
所述处理器生成阶段性地表示所述段间的边界的多个线，作为所述引导显示。
17.根据权利要求16所述的医疗辅助装置，其中，
所述多个线是分别通过2个解剖学标志的、且位于彼此不同的位置的3条以上的线。
18.根据权利要求17所述的医疗辅助装置，其中，
所述3条以上的线的颜色彼此不同。
19.根据权利要求16所述的医疗辅助装置，其中，
所述处理器在第一段与医疗处置的推荐度比所述第一段低的第二段之间的边界区域中，生成多条线从所述第二段朝向所述第一段移动的动画，作为所述引导显示。
20.根据权利要求1所述的医疗辅助装置，其中，
所述医疗图像中映有胆囊或所述胆囊的周边组织。
21.一种医疗辅助方法，其具有如下步骤：
取得医疗图像；以及，
根据所述医疗图像，生成用于重叠于所述医疗图像上的引导显示，该引导显示表示所述医疗图像中的医疗处置的推荐度的高低不同的段之间的边界。
22.根据权利要求21所述的医疗辅助方法，其中，
所述段包括第一段和医疗处置的推荐度比所述第一段低的第二段，
所述医疗辅助方法还包含在所述第一段上实施手术的步骤。
CN202210202704.1A 2021-04-14 2022-03-02 医疗辅助装置以及医疗辅助方法 Pending CN115192192A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163174717P 2021-04-14 2021-04-14
US63/174,717 2021-04-14
US17/678,244 2022-02-23
US17/678,244 US20220335668A1 (en) 2021-04-14 2022-02-23 Medical support apparatus and medical support method

Publications (1)

Publication Number Publication Date
CN115192192A true CN115192192A (zh) 2022-10-18

Family

ID=81449172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210202704.1A Pending CN115192192A (zh) 2021-04-14 2022-03-02 医疗辅助装置以及医疗辅助方法

Country Status (4)

Country Link
US (1) US20220335668A1 (zh)
EP (1) EP4074277A1 (zh)
JP (1) JP2022163690A (zh)
CN (1) CN115192192A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4698966B2 (ja) 2004-03-29 2011-06-08 オリンパス株式会社 手技支援システム
US20190069957A1 (en) * 2017-09-06 2019-03-07 Verily Life Sciences Llc Surgical recognition system
JP7127785B2 (ja) * 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
AU2020219858A1 (en) * 2019-02-08 2021-09-30 The Board Of Trustees Of The University Of Illinois Image-guided surgery system
US11065079B2 (en) * 2019-02-21 2021-07-20 Theator inc. Image-based system for estimating surgical contact force
JP7480477B2 (ja) * 2019-07-10 2024-05-10 ソニーグループ株式会社 医療用観察システム、制御装置及び制御方法

Also Published As

Publication number Publication date
JP2022163690A (ja) 2022-10-26
EP4074277A1 (en) 2022-10-19
US20220335668A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
JP6931121B2 (ja) 外科用認識システム
US11937770B2 (en) Method of using imaging devices in surgery
JP7308936B2 (ja) インジケータシステム
US20220331052A1 (en) Cooperation among multiple display systems to provide a healthcare user customized information
US20210015343A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
JPWO2020110278A1 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
US11625825B2 (en) Method for displaying tumor location within endoscopic images
JP2020058674A (ja) ロボット手術支援装置、ロボット手術支援方法、及びプログラム
JP7081862B1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
US20210298848A1 (en) Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system
US11937883B2 (en) Guided anatomical visualization for endoscopic procedures
US20210295980A1 (en) Medical image processing apparatus, trocar, medical observation system, image processing method, and computer readable recording medium
CN115192192A (zh) 医疗辅助装置以及医疗辅助方法
JP4785127B2 (ja) 内視鏡視野拡張システム、内視鏡視野拡張装置及び内視鏡視野拡張用プログラム
US20220409300A1 (en) Systems and methods for providing surgical assistance based on operational context
JP2020058672A (ja) ロボット手術支援装置、ロボット手術支援方法、及びプログラム
US20230105111A1 (en) System and Method for Teaching Minimally Invasive Interventions
US20220395337A1 (en) Surgery assistance system, operating method for surgery assistance system, and control device of surgery assistance system
WO2023162657A1 (ja) 医療支援装置、医療支援装置の作動方法及び作動プログラム
KR102099563B1 (ko) 최소 침습 수술을 위한 수술로봇 시스템 및 이를 이용한 충돌방지 방법
US20230147826A1 (en) Interactive augmented reality system for laparoscopic and video assisted surgeries
JP7182127B2 (ja) ロボット手術支援装置、情報出力方法、及びプログラム
US20210177531A1 (en) Robotic surgical system and methods of use thereof
CA3239159A1 (en) Surgery assisting system, surgery assisting method, and surgery assisting program
EP4178473A1 (en) System comprising a camera array deployable out of a channel of a tissue penetrating surgical device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination