CN111295127A - 检查支持装置、内窥镜装置、检查支持方法及检查支持程序 - Google Patents

检查支持装置、内窥镜装置、检查支持方法及检查支持程序 Download PDF

Info

Publication number
CN111295127A
CN111295127A CN201880070441.5A CN201880070441A CN111295127A CN 111295127 A CN111295127 A CN 111295127A CN 201880070441 A CN201880070441 A CN 201880070441A CN 111295127 A CN111295127 A CN 111295127A
Authority
CN
China
Prior art keywords
processing
captured image
image data
region
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880070441.5A
Other languages
English (en)
Other versions
CN111295127B (zh
Inventor
林伸治
大酒正明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN111295127A publication Critical patent/CN111295127A/zh
Application granted granted Critical
Publication of CN111295127B publication Critical patent/CN111295127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Abstract

提供一种使用了内窥镜的能够兼顾检查的精度及效率的检查支持装置、内窥镜装置、检查支持方法及检查支持程序。系统控制部(44)作为如下各部而发挥功能：摄像图像数据获取部(44A)，获取通过内窥镜(1)拍摄受检体内而获得的摄像图像数据；视线检测部(44B)，检测朝向显示基于该摄像图像数据的摄像图像的显示装置(7)的视线；处理部(44C)，对上述摄像图像数据进行用于进行来自该摄像图像数据的病变部位的检测及该检测到的病变部位的识别的识别处理；及显示控制部(44D)，将基于处理部(44C)的识别处理的结果显示于显示装置(7)。处理部(44C)根据通过视线检测部(44B)检测到的视线，控制对摄像图像数据的识别处理的内容。

Description

检查支持装置、内窥镜装置、检查支持方法及检查支持程序
技术领域
本发明涉及一种检查支持装置、内窥镜装置、检查支持方法及检查支持程序。
背景技术
随着CT(Computed Tomography/计算机断层扫描)、MRI(Magnetic ResonanceImaging/磁共振成像)、取入病理标本的虚拟玻片扫描仪或内窥镜装置等医疗设备的发展，能够大量获取被数字化的高清晰的医用图像。
近年，随着保存医用图像的PACS(Picture Archiving and CommunicationSystems/医学影像存档与传输系统)的普及，与医生的诊断意见一同依次存储这些图像。随着这种医用图像的数字化、病例的储存的推进，例如如专利文献1-3中所记载，逐渐能够使用计算机进行病变的检测或识别。
专利文献1中记载有如下系统，即，若用户在医用图像上指定关心区域，则对该关心区域内的图像执行详细的分析，并显示分析结果。
专利文献2中记载有如下系统，即，从医用图像提取病变候选区域，根据通过机器学习生成的识别模型对所提取的病变候选区域进行病变的识别。
专利文献3中记载有如下系统，即，分析通过内窥镜拍摄的摄像图像而检测病变部位，并将检测到的病变部位重叠显示于摄像图像。在该系统中仅限定于观察者在摄像图像上所关注的区域能够进行上述分析。
现有技术文献
专利文献
专利文献1：日本特开2014-094157号公报
专利文献2：日本特开2005-034211号公报
专利文献3：日本特开2001-258820号公报
发明内容
发明要解决的技术课题
在上述医疗设备中，在使用了内窥镜装置的检查中，需要以将内窥镜的插入部插入于受检者体内的状态一边确认显示于显示装置的摄像图像，一边进行有无病变部位的判断及病变部位的切除等。因此，在使用了内窥镜装置的检查中，需要在检查中实时进行使用了计算机的病变的检测或识别的处理。
这种实时处理中，计算机的处理负荷大。专利文献1-2中记载有限定于医用图像的特定区域执行分析的技术，但其设想成在检查后分析通过检查等已保存的图像数据，而未设想实时检测病变或进行识别的情况。
专利文献3中记载有在进行使用内窥镜的检查时限定于摄像图像上的所关注的区域进行分析的内容。但是，对需如何选择该区域未给予考虑。
内窥镜需要利用双手进行操作，在进行检查时，操作者成为双手被占满的状态。因此，在实时显示的摄像图像中，如何判断需要基于计算机的病变的检测或识别的处理的区域在确保检查的精度及效率上变得非常重要。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够兼顾使用了内窥镜的检查的精度及效率的检查支持装置、内窥镜装置、检查支持方法及检查支持程序。
用于解决技术课题的手段
本发明的检查支持装置具备：摄像图像数据获取部，获取通过内窥镜拍摄受检体内而获得的摄像图像数据；视线检测部，检测朝向显示基于上述摄像图像数据的摄像图像的显示装置的视线；处理部，对上述摄像图像数据进行用于进行来自上述摄像图像数据的病变部位的检测及上述检测到的上述病变部位的识别中的至少上述检测的处理；及显示控制部，将基于上述处理部的上述处理的结果显示于上述显示装置，上述处理部根据通过上述视线检测部检测到的视线，控制对上述摄像图像数据的上述处理的内容。
本发明的内窥镜装置具备上述检查支持装置及上述内窥镜。
本发明的检查支持方法具备：摄像图像数据获取步骤，获取通过内窥镜拍摄的受检体内而获得的摄像图像数据；视线检测步骤，检测朝向显示基于上述摄像图像数据的摄像图像的显示装置的视线；处理步骤，对上述摄像图像数据进行用于进行来自上述摄像图像数据的病变部位的检测及上述检测到的上述病变部位的识别中的至少上述检测的处理；及显示控制步骤，将基于上述处理步骤的上述处理的结果显示于上述显示装置，在上述处理步骤中，根据通过上述视线检测步骤检测到的视线，控制对上述摄像图像数据的上述处理的内容。
本发明的检查支持程序为用于使计算机执行如下步骤的程序：摄像图像数据获取步骤，获取通过内窥镜拍摄的受检体内而获得的摄像图像数据；视线检测步骤，检测朝向显示基于上述摄像图像数据的摄像图像的显示装置的视线；处理步骤，对上述摄像图像数据进行用于进行来自上述摄像图像数据的病变部位的检测及上述检测到的上述病变部位的识别中的至少上述检测的处理；及显示控制步骤，将基于上述处理步骤的上述处理的结果显示于上述显示装置，在上述处理步骤中，根据通过上述视线检测步骤检测到的视线，控制对上述摄像图像数据的上述处理的内容。
发明效果
根据本发明，能够提供一种使用了内窥镜的能够兼顾检查的精度及效率的检查支持装置、内窥镜装置、检查支持方法及检查支持程序。
附图说明
图1是表示本发明的一实施方式即内窥镜装置100的概略结构的图。
图2是表示图1所示的内窥镜装置100的内部结构的示意图。
图3是表示图2所示的控制装置4的系统控制部44的功能框的图。
图4是用于说明图3所示的系统控制部44中的处理部44C的动作的图。
图5是表示通过图3所示的系统控制部44中的显示控制部44D的控制显示于显示装置7的图像的一例的图。
图6是用于说明图4所示的系统控制部44的动作的流程图。
图7是用于说明图4所示的系统控制部44的动作的第1变形例的流程图。
图8是表示在图7所示的步骤S4a中显示于显示装置7的图像的一例的图。
图9是用于说明图4所示的系统控制部44的动作的第2变形例的流程图。
图10是表示在图9所示的步骤S4b中显示于显示装置7的图像的一例的图。
图11是用于说明图4所示的系统控制部44的动作的第3变形例的流程图。
图12是用于说明图4所示的系统控制部44的动作的第4变形例的流程图。
图13是用于说明图4所示的系统控制部44的动作的第5变形例的流程图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。
图1是表示本发明的一实施方式即内窥镜装置100的概略结构的图。
如图1所示，内窥镜装置100具备内窥镜1和包括该内窥镜1连接的控制装置4及光源装置5的主体部2。
控制装置4中连接有显示通过内窥镜1拍摄受检体内而获得的摄像图像等的显示装置7、设置于显示装置7附近的摄像装置8及用于对控制装置4输入各种信息的接口即输入部6。控制装置4控制内窥镜1、光源装置5、显示装置7及摄像装置8。
显示装置7具有显示像素以二维状排列的显示面，通过对该显示面的各显示像素描绘构成图像数据的像素数据，进行基于该图像数据的图像的显示。
摄像装置8为了检测观察显示于显示装置7的显示面的图像的观察者的视线而设置，且配置成能够拍摄该显示面的前方。通过摄像装置8拍摄被摄体而获得的视线检测用图像数据传输至控制装置4。
内窥镜1具备：插入部10，是沿一方向延伸的管状部件，且插入于受检体内；操作部11，设置于插入部10的基端部，且设置有用于进行观察模式切换操作、摄影记录操作、钳子操作、供气供水操作及抽吸操作等的操作部件；弯角钮12，与操作部11相邻设置；及通用塞绳13，包含将内窥镜1装卸自如地分别与光源装置5及控制装置4连接的连接器部13A、13B。
另外，虽然在图1中省略，但在操作部11及插入部10的内部设置有插入用于采集细胞或息肉等活体组织的钳子的钳道孔、供气及供水用通道以及抽吸用通道等各种通道。
插入部10由具有挠性的软性部10A、设置于软性部10A前端的弯曲部10B及设置于弯曲部10B前端的硬质前端部10C构成。
弯曲部10B构成为通过弯角钮12的转动操作弯曲自如。该弯曲部10B根据使用内窥镜1的受检体的部位等，能够以任意的方向及任意的角度弯曲，并且能够使前端部10C朝向所期望的方向。
图2是表示图1所示的内窥镜装置100的内部结构的示意图。
光源装置5具备光源控制部51及光源部52。
光源部52产生用于照射于被摄体的照明光。从光源部52射出的照明光入射于内置于通用塞绳13的光导件53，并通过设置于插入部10的前端部10C的照明用透镜50而照射于被摄体。
作为光源部52，使用射出白色光的白色光源或包含白色光源及射出其他颜色的光的光源(例如射出蓝色光的蓝色光源)的多个光源等。在前端部10C的前端面也可以根据从光源部52射出的光的种类设置有多个照明用透镜50。
光源控制部51与控制装置4的系统控制部44连接。光源控制部51根据来自系统控制部44的指令，控制光源部52。
在内窥镜1的前端部10C设置有包含物镜21及透镜组22的摄像光学系统、通过该摄像光学系统拍摄被摄体的成像元件23、模数转换电路(ADC)24、RAM(Random AccessMemory/随机存取存储器)等存储器25、通信接口(I/F)26、摄像控制部27及用于将从光源部52射出的照明光引向照明用透镜50的光导件53。
光导件53从前端部10C延伸至通用塞绳13的连接器部13A。在通用塞绳13的连接器部13A与光源装置5连接的状态下，成为从光源装置5的光源部52射出的照明光能够入射于光导件53的状态。
成像元件23使用CCD(Charge Coupled Device/电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor/互补金属氧化物半导体)图像传感器等。
成像元件23具有多个像素以二维状配置的受光面，且在各像素中将通过上述摄像光学系统成像于该受光面的光学像转换为电信号(摄像信号)，并输出至ADC24。成像元件23例如使用搭载原色或补色等滤色器的成像元件。将从成像元件23的受光面的各像素输出的摄像信号的集合称为摄像图像信号。
另外，作为光源部52，当使用将从白色光源射出的白色光通过多个颜色的滤色器来分时分光而生成照明光的光源时，成像元件23也可以使用没有搭载滤色器的成像元件。
成像元件23可以以受光面相对于物镜21的光轴Ax成为垂直的状态配置于前端部10C，也可以以受光面相对于物镜21的光轴Ax成为平行的状态配置于前端部10C。
设置于内窥镜1的摄像光学系统由位于成像元件23与物镜21之间的来自被摄体的光的光路上的透镜及棱镜等光学部件(包含上述透镜组22)和物镜21构成。摄像光学系统有时仅由物镜21构成。
ADC24将从成像元件23输出的摄像信号转换为规定的比特数的数字信号。
存储器25临时记录通过ADC24数字转换的摄像信号。
通信I/F26与控制装置4的通信接口(I/F)41连接。通信I/F26将记录于存储器25的摄像信号通过通用塞绳13内的信号线传输至控制装置4。
摄像控制部27经由通信I/F26与控制装置4的系统控制部44连接。摄像控制部27根据通过通信I/F26接收的来自系统控制部44的指令，控制成像元件23、ADC24及存储器25。
控制装置4具备通过通用塞绳13与内窥镜1的通信I/F26连接的通信I/F41、信号处理部42、显示控制器43、系统控制部44及记录介质45。
通信I/F41接收从内窥镜1的通信I/F26传输过来的摄像信号并传递至信号处理部42。
信号处理部42内置有临时记录从通信I/F41接收的摄像信号的存储器，并对记录于存储器的摄像信号的集合即摄像图像信号进行处理(去马赛克处理或γ校正处理等图像处理)而生成能够进行后述的识别处理的格式的摄像图像数据。通过信号处理部42生成的摄像图像数据记录于硬盘或闪存等记录介质45。
显示控制器43将基于通过信号处理部42生成的摄像图像数据的摄像图像显示于显示装置7。构成通过信号处理部42生成的摄像图像数据的各像素数据的坐标与构成显示装置7的显示面的任一个显示像素的坐标建立对应关联地被管理。
系统控制部44控制控制装置4的各部，并且向内窥镜1的摄像控制部27及光源装置5的光源控制部51发送指令，并集中控制内窥镜装置100的整体。
系统控制部44经由摄像控制部27进行成像元件23的控制。并且，系统控制部44经由光源控制部51进行光源部52的控制。
系统控制部44包含执行程序而进行处理的各种处理器、RAM(Random AccessMemory/随机存取存储器)及ROM(Read Only Memory/只读存储器)。
作为各种处理器，包含执行程序而进行各种处理的通用处理器即CPU(CentralProcessing Unit/中央处理器)、FPGA(Field Programmable Gate Array/现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)或ASIC(Application Specific Integrated Circuit/专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电气电路等。
更具体而言，这些各种处理器的结构为组合了半导体元件等电路元件的电气电路。
系统控制部44可以由各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。
图3是表示图2所示的控制装置4的系统控制部44的功能框的图。
系统控制部44的处理器通过执行存储于内置于系统控制部44的ROM的检查支持程序，作为具备摄像图像数据获取部44A、视线检测部44B、处理部44C及显示控制部44D的检查支持装置而发挥功能。
摄像图像数据获取部44A依次获取通过信号处理部42对通过成像元件23拍摄受检体内而获得的摄像信号进行处理而获得的摄像图像数据。
视线检测部44B获取从摄像装置8传输过来的视线检测用图像数据，根据该视线检测用图像数据中所包含的人的双眼的图像，检测朝向显示装置7的观察者(内窥镜1的操作者)的视线。视线检测部44B将在显示装置7的显示面中视线交叉的坐标的信息作为视线检测结果来输出。
处理部44C对通过摄像图像数据获取部44A获取的摄像图像数据进行用于进行来自该摄像图像数据的病变部位的检测及该检测到的病变部位的识别的处理即识别处理。在该识别处理中，将用于检测病变部位的处理称为检测处理，将用于识别病变部位的处理称为识别处理。
病变部位的检测是指，从摄像图像数据中找出恶性肿瘤或良性肿瘤等疑似病变的部位(病变候选区域)。
病变部位的识别是指，区分通过检测处理检测到的病变部位是恶性还是良性、若为恶性是哪种程度的疾病、该疾病的恶化程度是哪种程度等鉴别检测到的病变部位的种类或性质等。
上述的检测处理及识别处理分别根据用于提取通过机器学习或深度学习等确定的特征量的具有参数及层次结构的图像识别模型(例如，神经网络或支持向量机等)进行。
处理部44C根据通过视线检测部44B检测到的视线，控制对摄像图像数据进行的上述识别处理的内容。
显示控制部44D对显示控制器43发出指令而进行将基于记录于记录介质45的摄像图像数据的摄像图像作为实时取景图像来显示于显示装置7的控制及将基于处理部44C的上述识别处理的结果显示于显示装置7的控制。
图4是用于说明图3所示的系统控制部44中的处理部44C的动作的图。在图4中示出了通过摄像图像数据获取部44A获取的摄像图像数据IM。图4所示的摄像图像数据IM中包含病变部位P1～P3。
处理部44C根据从视线检测部44B输出的显示装置7的显示面中的与操作者的视线交叉的显示像素的坐标的信息，判定通过摄像图像数据获取部44A获取的摄像图像数据IM中所关注的区域(以下，称为关注区域)。
例如，如图4所示，处理部44C将摄像图像数据IM分割为分割区域AR1、分割区域AR2、分割区域AR3及分割区域AR4共计四个区域。
处理部44C以一定期间重复进行根据从视线检测部44B输出的显示像素的坐标确定与该坐标对应的摄像图像数据IM的像素数据的处理。而且，处理部44C在分割区域AR1～AR4中，将包含该一定期间内确定的像素数据最多的分割区域判定为关注区域。
处理部44C仅对如此判定的摄像图像数据IM的关注区域执行使用了上述图像识别模型的识别处理，而对摄像图像数据IM中的除了该关注区域以外的区域(以下，称为非关注区域)不执行上述识别处理。
在图4中，以分割区域AR4判定为关注区域的情况为例。在该情况下，分割区域AR4内的像素数据输入于图像识别模型而执行识别处理，而对分割区域AR1～AR3内的像素数据不进行识别处理。
若分割区域AR4内的像素数据输入于图像识别模型而进行识别处理，则通过该识别处理检测分割区域AR4中所包含的病变部位P1，进而进行该病变部位P1的识别。
若通过处理部44C检测到病变部位P1且获得病变部位P1的识别结果，则如图5所示，显示控制部44D在基于摄像图像数据IM的摄像图像im中，强调显示病变部位P1的部分(在图5的例子中由粗框包围的强调)，并且与摄像图像im一同显示识别结果(在图5的例子中，“癌，阶段2”的文字)。
另一方面，对分割区域AR1～AR3不进行识别处理。因此，如图5所示，对病变部位P2、P3不会强调显示或显示识别结果。
如此，处理部44C根据通过视线检测部44B检测到的视线，决定需对摄像图像数据的哪一区域进行识别处理。
参考流程图对如上构成的内窥镜装置100的动作进行说明。
图6是用于说明图4所示的系统控制部44的动作的流程图。
若通过操作部11的操作开始基于成像元件23的动态图像的拍摄，则从成像元件23输出摄像图像信号，该摄像图像信号得到处理而依次生成动态图像的一帧份的摄像图像数据，并记录于记录介质45。并且，基于该生成的摄像图像数据的摄像图像作为实时取景图像依次显示于显示装置7。而且，通过视线检测部44B开始操作者视线的检测处理。
若开始该动态图像的拍摄，则摄像图像数据获取部44A获取通过信号处理部42生成的摄像图像数据(步骤S1)。
接着，处理部44C根据通过视线检测部44B检测到的操作者的视线，判定在步骤S1中获取的摄像图像数据中的关注区域(步骤S2)。
接着，处理部44C仅对判定出的关注区域执行上述识别处理(检测处理及识别处理)(步骤S3)。
若步骤S3的识别处理结束，则通过显示控制部44D的控制，如图5所例示，检测处理的结果即检测结果及识别处理的结果即识别结果与摄像图像一同显示于显示装置7(步骤S4)。
在步骤S4之后，若发出基于成像元件23的拍摄的结束命令而结束检查(步骤S5：“是”)，则系统控制部44结束处理。另一方面，若继续进行检查(步骤S5：“否”)，则处理返回到步骤S1，并重复之后的处理。
如上所述，根据内窥镜装置100，限定于操作内窥镜1的操作者的视线集中的关注区域进行识别处理。即使在双手被占满的状况下，操作者仅改变视线朝向摄像图像的位置，便能够获得所关注的部位中的检测结果及识别结果，从而能够有效地且以高精度进行检查。
并且，根据内窥镜装置100，能够使进行识别处理的范围变窄。因此，在内窥镜检查时实时进行病变部位的检测及病变部位的识别的情况下，能够减轻系统控制部44的处理负荷。如此，能够减轻处理负荷，因此作为识别处理中所使用的图像识别模型，能够使用病变部位的检测精度或识别精度更高的图像识别模型，从而能够实现提高内窥镜检查的精度。
图7是用于说明图4所示的系统控制部44的动作的第1变形例的流程图。
图7所示的流程图除了步骤S3变更为步骤S3a及步骤S3b且步骤S4变更为步骤S4a的点以外，与图6相同。在图7中，对与图6相同的处理标注相同的符号并省略说明。
若在步骤S2中判定关注区域，则处理部44C分别对摄像图像数据中的该关注区域及除了该关注区域以外的区域即非关注区域进行基于相同的图像识别模型的检测处理而进行病变部位的检测。即，在步骤S3a中，对摄像图像数据的整体进行病变部位的检测处理(步骤S3a)。
通过步骤S3a的处理检测到病变部位之后，处理部44C仅对在步骤S2中判定的关注区域进行识别处理(步骤S3b)。
在步骤S3b之后，显示控制部44D将步骤S3a的检测处理的结果及步骤S3b的识别处理的结果与摄像图像一并显示于显示装置7(步骤S4a)。在步骤S4a之后转移到步骤S5。
图8是表示在图7所示的步骤S4a中显示于显示装置7的图像的一例的图。如图8所示，关于摄像图像im上的病变部位P1～P3，作为病变部位的检测结果进行了强调显示。而且，仅对操作者的视线所致的病变部位P1显示有识别结果。
如此，在图7所示的第1变形例中，系统控制部44的处理部44C关于检测处理对摄像图像数据的整体进行，而关于识别处理仅对关注区域进行。
如此，在操作者所关注的区域中，若病变部位位于哪一处便显示病变部位的识别结果，因此有助于判断之后的处置。
并且，在操作者并未关注的区域中，当存在病变部位时，也明确地提示其情况。因此，能够减少导致漏看病变部位的可能性，从而能够提高检查精度。
并且，关于识别处理，通过仅对关注区域进行，能够减轻系统控制部44的处理负荷，或通过采用高精度的识别处理提高检查精度。
在该第1变形例中，在图8所示的状态下，例如当操作者想知道病变部位P2的识别结果时，通过将视线从病变部位P1朝向病变部位P2，能够显示其识别结果。如此，通过仅在必要时显示识别结果，能够有效地进行检查。
图9是用于说明图4所示的系统控制部44的动作的第2变形例的流程图。
图9所示的流程图除了步骤S3变更为步骤S3c且步骤S4变更为步骤S4b的点以外，与图6相同。在图9中，对与图6相同的处理标注相同的符号并省略说明。
若在步骤S2中判定关注区域，则处理部44C根据不同的性能分别对摄像图像数据中的该关注区域及除了该关注区域以外的区域即非关注区域进行识别处理(步骤S3c)。
即，在步骤S3c中，处理部44C在摄像图像数据的关注区域及非关注区域中使识别处理的内容(图像识别模型的结构或参数中的至少一个)不同。
具体而言，处理部44C将对关注区域的识别处理的内容控制成该识别处理的性能高于对非关注区域的识别处理的性能。
例如，若为检测处理，则图像识别模型能够进行分析的图像数据的分辨率越高，检测处理的性能越高。或者，图像识别模型的层次数越多，检测处理的性能越高。
并且，若为识别处理，则图像识别模型作为结果能够输出的信息的种类越多，识别处理的性能越高。或者，图像识别模型的层次数越多，识别处理的性能越高。或者，图像识别模型能够进行分析的图像数据的分辨率越高，识别处理的性能越高。
在步骤S3c之后，显示控制部44D将步骤S3c的识别处理的结果与摄像图像一并显示于显示装置7(步骤S4b)。在步骤S4b之后转移到步骤S5。
图10是表示在图9所示的步骤S4b中显示于显示装置7的图像的一例的图。
如图10所示，关于摄像图像im上的病变部位P1～P3，作为它们的检测结果进行了强调显示。而且，关于操作者的视线所致的病变部位P1，作为识别结果除了肿瘤的种类(癌)以外，还显示有癌的阶段的信息。另一方面，关于操作者的视线所不致的病变部位P2、P3，仅显示有肿瘤的种类。
如此，通过对操作者的视线所致的摄像图像的区域进行相对较高的性能的识别处理，能够更有效地推进检查。并且，通过对操作者的视线所不致的摄像图像的区域也进行相对较低的性能的识别处理，能够防止漏看病变部位，或提高检查效率。
图11是用于说明图4所示的系统控制部44的动作的第3变形例的流程图。
图11所示的流程图除了步骤S3变更为步骤S31且步骤S4变更为步骤S41的点以外，与图6相同。在图11中，对与图6相同的处理标注相同的符号并省略说明。
若在步骤S2中判定关注区域，则处理部44C仅对摄像图像数据中的除了该关注区域以外的非关注区域进行识别处理(步骤S31)。
在步骤S31之后，显示控制部44D将步骤S31的识别处理的结果与摄像图像一并显示于显示装置7(步骤S41)。在步骤S41之后转移到步骤S5。
在该第3变形例中，仅对操作者并未关注的摄像图像的区域进行识别处理并显示其结果。操作者为熟练的医生的情况居多。因此，关于由操作者目视的摄像图像的区域，能够认为通过操作者的经验以高精度进行病变的检测及病变的识别。
因此，如第3变形例，通过仅对视线所不致的区域进行识别处理，能够防止漏看如凭操作者的经验无法检测的病变部位，从而能够提高检查精度。并且，根据第3变形例，进行识别处理的范围变窄，因此能够提高识别处理的精度，或减轻系统控制部44的处理负荷。
图12是用于说明图4所示的系统控制部44的动作的第4变形例的流程图。
图12所示的流程图除了步骤S3b变更为步骤S32且步骤S4a变更为步骤S42的点以外，与图7相同。在图12中，对与图7相同的处理标注相同的符号并省略说明。
通过步骤S3a的处理检测到病变部位之后，处理部44C仅对除了在步骤S2中判定的关注区域以外的区域即非关注区域进行识别处理(步骤S32)。
在步骤S32之后，显示控制部44D将步骤S3a的检测处理的结果及步骤S32的识别处理的结果与摄像图像一并显示于显示装置7(步骤S42)。
根据第4变形例，在操作者并未关注的区域中，若病变部位位于哪一处便显示该病变部位的识别结果。因此，能够有助于判断之后的处置。
并且，在操作者所关注的区域中，当存在病变部位时，也明确地提示其情况。因此，能够减少导致漏看病变部位的可能性，从而能够提高检查精度。
并且，关于识别处理，通过仅对非关注区域进行，能够减轻系统控制部44的处理负荷，或通过采用高精度的识别处理提高检查精度。
图13是用于说明图4所示的系统控制部44的动作的第5变形例的流程图。
图13所示的流程图除了步骤S3c变更为步骤S33的点及步骤S4b变更为步骤S43的点以外，与图9相同。在图13中，对与图9相同的处理标注相同的符号并省略说明。
若在步骤S2中判定关注区域，则处理部44C根据不同的性能分别对摄像图像数据中的该关注区域及除了该关注区域以外的区域即非关注区域进行识别处理(步骤S33)。
即，在步骤S33中，处理部44C在摄像图像数据的关注区域及非关注区域中使识别处理的内容(图像识别模型的结构或参数中的至少一个)不同。
具体而言，处理部44C将对非关注区域的识别处理的内容控制成该识别处理的性能高于对关注区域的识别处理的性能。
在步骤S33之后，显示控制部44D将步骤S33的识别处理的结果与摄像图像一并显示于显示装置7(步骤S43)。在步骤S43之后转移到步骤S5。
根据第5变形例，对操作者的视线所不致的摄像图像的区域进行相对较高的性能的识别处理，因此能够有效地防止漏看病变部位，从而能够有效地推进检查。并且，通过对操作者的视线所致的摄像图像的区域也进行相对较低的性能的识别处理，能够防止漏看病变部位，或提高检查效率。
在除了图7及图12中进行说明的变形例以外的结构中，作为处理部44C进行的识别处理，识别处理并不是必须的。即使在处理部44C仅进行检测处理的情况下，也能够获得减轻系统控制部44的处理负荷，或提高检测处理的精度，或提高检查效率等效果。
在以上进行的说明中，设成根据通过摄像装置8拍摄被摄体而获得的图像数据检测操作者的视线，但检测视线的方法并不限于此，能够采用公知的各种方法。例如，也能够根据搭载于操作者佩戴的眼镜型可佩戴式终端的加速度传感器的检测信息检测视线。
如以上进行的说明，在本说明书中公开有以下事项。
(1)一种检查支持装置，其具备：摄像图像数据获取部，获取通过内窥镜拍摄受检体内而获得的摄像图像数据；视线检测部，检测朝向显示基于上述摄像图像数据的摄像图像的显示装置的视线；处理部，对上述摄像图像数据进行用于进行来自上述摄像图像数据的病变部位的检测及上述检测到的上述病变部位的识别中的至少上述检测的处理；及显示控制部，将基于上述处理部的上述处理的结果显示于上述显示装置，上述处理部根据通过上述视线检测部检测到的视线，控制对上述摄像图像数据的上述处理的内容。
(2)在(1)所记载的检查支持装置中，上述处理部根据通过上述视线检测部检测到的视线，判定上述摄像图像数据中所关注的关注区域，对上述摄像图像数据中的除了上述关注区域以外的区域即非关注区域不执行上述处理，仅对上述关注区域执行上述处理。
(3)在(1)所记载的检查支持装置中，上述处理部对上述摄像图像数据的整体进行用于进行上述病变部位的检测的上述处理，根据通过上述视线检测部检测到的视线，判定上述摄像图像数据中所关注的关注区域，仅对上述关注区域进行用于进行上述病变部位的识别的上述处理。
(4)在(1)所记载的检查支持装置中，上述处理部根据通过上述视线检测部检测到的视线，判定上述摄像图像数据中所关注的关注区域，对上述摄像图像数据的整体执行上述处理，使对上述摄像图像数据中的上述关注区域的上述处理的内容及对上述摄像图像数据中的除了上述关注区域以外的区域即非关注区域的上述处理的内容不同。
(5)在(4)所记载的检查支持装置中，上述处理部将对上述关注区域的上述处理的内容控制成该处理的性能高于对上述非关注区域的上述处理的性能。
(6)在(1)所记载的检查支持装置中，上述处理部根据通过上述视线检测部检测到的视线，判定上述摄像图像数据中所关注的关注区域，对上述关注区域不执行上述处理，仅对上述摄像图像数据中的除了上述关注区域以外的区域即非关注区域执行上述处理。
(7)在(1)所记载的检查支持装置中，上述处理部根据通过上述视线检测部检测到的视线，判定上述摄像图像数据中所关注的关注区域，对上述摄像图像数据的整体进行用于进行上述病变部位的检测的上述处理，仅对上述摄像图像数据中的除了上述关注区域以外的区域即非关注区域进行用于进行上述病变部位的识别的上述处理。
(8)在(4)所记载的检查支持装置中，上述处理部将对上述非关注区域的上述处理的内容控制成该处理的性能高于对上述关注区域的上述处理的性能。
(9)一种内窥镜装置，其具备(1)～(8)中的任一个所记载的检查支持装置及上述内窥镜。
(10)一种检查支持方法，其具备：摄像图像数据获取步骤，获取通过内窥镜拍摄的受检体内而获得的摄像图像数据；视线检测步骤，检测朝向显示基于上述摄像图像数据的摄像图像的显示装置的视线；处理步骤，对上述摄像图像数据进行用于进行来自上述摄像图像数据的病变部位的检测及上述检测到的上述病变部位的识别中的至少上述检测的处理；及显示控制步骤，将基于上述处理步骤的上述处理的结果显示于上述显示装置，在上述处理步骤中，根据通过上述视线检测步骤检测到的视线，控制对上述摄像图像数据的上述处理的内容。
(11)一种检查支持程序，其为用于使计算机执行如下步骤的程序：摄像图像数据获取步骤，获取通过内窥镜拍摄的受检体内而获得的摄像图像数据；视线检测步骤，检测朝向显示基于上述摄像图像数据的摄像图像的显示装置的视线；处理步骤，对上述摄像图像数据进行用于进行来自上述摄像图像数据的病变部位的检测及上述检测到的上述病变部位的识别中的至少上述检测的处理；及显示控制步骤，将基于上述处理步骤的上述处理的结果显示于上述显示装置，在上述处理步骤中，根据通过上述视线检测步骤检测到的视线，控制对上述摄像图像数据的上述处理的内容。
产业上的可利用性
根据本发明，能够提供一种使用了内窥镜的能够兼顾检查的精度及效率的检查支持装置、内窥镜装置、检查支持方法及检查支持程序。
符号说明
100-内窥镜装置，1-内窥镜，2-主体部，10-插入部，10A-软性部，10B-弯曲部，10C-前端部，11-操作部，12-弯角钮，13-通用塞绳，13A、13B-连接器部，6-输入部，7-显示装置，8-摄像装置，21-物镜，Ax-光轴，22-透镜组，23-成像元件，24-ADC，25-存储器，26-通信接口，27-摄像控制部，4-控制装置，41-通信接口，42-信号处理部，43-显示控制器，44-系统控制部，44A-摄像图像数据获取部，44B-视线检测部，44C-处理部，44D-显示控制部，45-记录介质，5-光源装置，50-照明用透镜，51-光源控制部，52-光源部，53-光导件，IM-摄像图像数据，im-摄像图像，AR1、AR2、AR3、AR4-分割区域，P1、P2、P3-病变部位。

Claims (11)

1.一种检查支持装置，其中，该检查支持装置具备：
摄像图像数据获取部，其获取通过内窥镜拍摄受检体内而获得的摄像图像数据；
视线检测部，其检测朝向显示基于所述摄像图像数据的摄像图像的显示装置的视线；
处理部，其对所述摄像图像数据进行用于进行来自所述摄像图像数据的病变部位的检测以及所检测到的所述病变部位的识别中的至少所述检测的处理；以及
显示控制部，其将基于所述处理部的所述处理的结果显示于所述显示装置，
所述处理部根据通过所述视线检测部检测到的视线，控制针对所述摄像图像数据的所述处理的内容。
2.根据权利要求1所述的检查支持装置，其中，
所述处理部根据通过所述视线检测部检测到的视线，判定所述摄像图像数据中所关注的关注区域，对所述摄像图像数据中的作为除了所述关注区域以外的区域的非关注区域不执行所述处理，仅对所述关注区域执行所述处理。
3.根据权利要求1所述的检查支持装置，其中，
所述处理部对所述摄像图像数据的整体进行用于进行所述病变部位的检测的所述处理，根据通过所述视线检测部检测到的视线，判定所述摄像图像数据中所关注的关注区域，仅对所述关注区域进行用于进行所述病变部位的识别的所述处理。
4.根据权利要求1所述的检查支持装置，其中，
所述处理部根据通过所述视线检测部检测到的视线，判定所述摄像图像数据中所关注的关注区域，对所述摄像图像数据的整体执行所述处理，使对所述摄像图像数据中的所述关注区域的所述处理的内容与对所述摄像图像数据中的作为除了所述关注区域以外的区域的非关注区域的所述处理的内容不同。
5.根据权利要求4所述的检查支持装置，其中，
所述处理部将对所述关注区域的所述处理的内容控制成该处理的性能高于对所述非关注区域的所述处理的性能。
6.根据权利要求1所述的检查支持装置，其中，
所述处理部根据通过所述视线检测部检测到的视线，判定所述摄像图像数据中所关注的关注区域，对所述关注区域不执行所述处理，仅对所述摄像图像数据中的作为除了所述关注区域以外的区域的非关注区域执行所述处理。
7.根据权利要求1所述的检查支持装置，其中，
所述处理部根据通过所述视线检测部检测到的视线，判定所述摄像图像数据中所关注的关注区域，对所述摄像图像数据的整体进行用于进行所述病变部位的检测的所述处理，仅对所述摄像图像数据中的作为除了所述关注区域以外的区域的非关注区域进行用于进行所述病变部位的识别的所述处理。
8.根据权利要求4所述的检查支持装置，其中，
所述处理部将对所述非关注区域的所述处理的内容控制成该处理的性能高于对所述关注区域的所述处理的性能。
9.一种内窥镜装置，其中，该内窥镜装置具备：
权利要求1至8中任意一项所述的检查支持装置；以及
所述内窥镜。
10.一种检查支持方法，其中，该检查支持方法具备：
摄像图像数据获取步骤，获取通过内窥镜拍摄受检体内而获得的摄像图像数据；
视线检测步骤，检测朝向显示基于所述摄像图像数据的摄像图像的显示装置的视线；
处理步骤，对所述摄像图像数据进行用于进行来自所述摄像图像数据的病变部位的检测以及所检测到的所述病变部位的识别中的至少所述检测的处理；以及
显示控制步骤，将基于所述处理步骤的所述处理的结果显示于所述显示装置，
在所述处理步骤中，根据通过所述视线检测步骤检测到的视线，控制针对所述摄像图像数据的所述处理的内容。
11.一种检查支持程序，其为用于使计算机执行如下步骤的程序：
摄像图像数据获取步骤，获取通过内窥镜拍摄受检体内而获得的摄像图像数据；
视线检测步骤，检测朝向显示基于所述摄像图像数据的摄像图像的显示装置的视线；
处理步骤，对所述摄像图像数据进行用于进行来自所述摄像图像数据的病变部位的检测以及所检测到的所述病变部位的识别中的至少所述检测的处理；以及
显示控制步骤，将基于所述处理步骤的所述处理的结果显示于所述显示装置，
在所述处理步骤中，根据通过所述视线检测步骤检测到的视线，控制针对所述摄像图像数据的所述处理的内容。
CN201880070441.5A 2017-10-31 2018-10-18 检查支持装置、内窥镜装置及记录介质 Active CN111295127B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017210379 2017-10-31
JP2017-210379 2017-10-31
PCT/JP2018/038754 WO2019087790A1 (ja) 2017-10-31 2018-10-18 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム

Publications (2)

Publication Number Publication Date
CN111295127A true CN111295127A (zh) 2020-06-16
CN111295127B CN111295127B (zh) 2022-10-25

Family

ID=66333201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070441.5A Active CN111295127B (zh) 2017-10-31 2018-10-18 检查支持装置、内窥镜装置及记录介质

Country Status (5)

Country Link
US (1) US11302092B2 (zh)
EP (1) EP3705024A4 (zh)
JP (1) JP6967602B2 (zh)
CN (1) CN111295127B (zh)
WO (1) WO2019087790A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11998220B2 (en) 2020-08-10 2024-06-04 Kunnskap Medical, LLC Systems and devices for endoscopic procedure analysis

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427060A (zh) * 2018-10-30 2019-03-05 腾讯科技（深圳）有限公司 一种影像识别的方法、装置、终端设备和医疗系统
JP7015275B2 (ja) * 2018-12-04 2022-02-02 Hoya株式会社 モデルの生成方法、教師データの生成方法、および、プログラム
US20210407077A1 (en) * 2018-12-04 2021-12-30 Hoya Corporation Information processing device and model generation method
CN110132547A (zh) * 2019-05-14 2019-08-16 杭州电子科技大学 一种内窥镜头光学性能检测装置及检测方法
JP7420916B2 (ja) * 2019-07-16 2024-01-23 サティスファイ ヘルス インコーポレイテッド 機械学習システムのリアルタイム展開
WO2021029117A1 (ja) * 2019-08-09 2021-02-18 富士フイルム株式会社 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム
JP7373335B2 (ja) * 2019-09-18 2023-11-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
JP7315033B2 (ja) * 2020-01-21 2023-07-26 日本電気株式会社 施術支援装置、施術支援方法、及びプログラム
US20230036851A1 (en) * 2021-07-27 2023-02-02 International Business Machines Corporation Path planning

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8404885D0 (en) * 1983-03-07 1984-03-28 Savapa Srl Determining oxidizing activity of biological liquid
US20050240882A1 (en) * 2004-04-21 2005-10-27 Ge Medical Systems Information Technologies, Inc. Method and system for displaying regions of pathological interest
CN101185603A (zh) * 2007-06-22 2008-05-28 北京眼吧科技有限公司 立体视觉训练系统及方法
CA2587804A1 (en) * 2007-05-08 2008-11-08 William K. Mccroskey Modular multi-modal tomographic detector and system
CN101317749A (zh) * 2007-06-06 2008-12-10 奥林巴斯医疗株式会社 内窥镜图像处理装置
US20090312817A1 (en) * 2003-11-26 2009-12-17 Wicab, Inc. Systems and methods for altering brain and body functions and for treating conditions and diseases of the same
JP2011072374A (ja) * 2009-09-29 2011-04-14 Fujifilm Corp 医用画像診断支援装置
JP2012095274A (ja) * 2010-10-28 2012-05-17 Fujifilm Corp 立体視画像表示装置および立体視画像表示方法
US20130023767A1 (en) * 2011-05-12 2013-01-24 Mammone Richard J Low-cost, high fidelity ultrasound system
CN103908294A (zh) * 2012-12-28 2014-07-09 佳能株式会社 对象信息获取装置
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
CN104335580A (zh) * 2012-06-14 2015-02-04 奥林巴斯株式会社 图像处理装置和立体图像观察系统
WO2016057960A1 (en) * 2014-10-10 2016-04-14 Radish Medical Solutions, Inc. Apparatus, system and method for cloud based diagnostics and image archiving and retrieval
CN105992546A (zh) * 2015-01-21 2016-10-05 Hoya株式会社 内窥镜系统
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2017057574A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017104233A1 (ja) * 2015-12-17 2017-06-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4298151B2 (ja) 2000-01-13 2009-07-15 富士フイルム株式会社 蛍光画像表示方法および装置
JP2001258802A (ja) 2000-03-16 2001-09-25 Matsushita Electric Ind Co Ltd ガス駆動掃除機
JP2005034211A (ja) 2003-07-16 2005-02-10 Fuji Photo Film Co Ltd 画像判別装置、方法およびプログラム
DE102009010263B4 (de) 2009-02-24 2011-01-20 Reiner Kunz Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5663283B2 (ja) * 2010-12-02 2015-02-04 オリンパス株式会社 内視鏡画像処理装置及びプログラム
JP6113460B2 (ja) 2012-11-09 2017-04-12 東芝メディカルシステムズ株式会社 医用画像処理装置および医用画像診断装置
JP6389299B2 (ja) * 2013-09-26 2018-09-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
US10139624B2 (en) * 2014-02-21 2018-11-27 Sony Corporation Head mounted display, control device, and control method
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
JP6132984B2 (ja) * 2014-12-12 2017-05-24 オリンパス株式会社 カプセル内視鏡システム及びその撮像方法
JPWO2016170604A1 (ja) * 2015-04-21 2018-03-15 オリンパス株式会社 内視鏡装置
JP2017070636A (ja) * 2015-10-09 2017-04-13 ソニー株式会社 手術システム、並びに、手術用制御装置および手術用制御方法
CN108348145B (zh) * 2015-11-10 2020-06-26 奥林巴斯株式会社 内窥镜装置
JP6355875B2 (ja) * 2016-04-19 2018-07-11 オリンパス株式会社 内視鏡システム

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8404885D0 (en) * 1983-03-07 1984-03-28 Savapa Srl Determining oxidizing activity of biological liquid
US20090312817A1 (en) * 2003-11-26 2009-12-17 Wicab, Inc. Systems and methods for altering brain and body functions and for treating conditions and diseases of the same
US20050240882A1 (en) * 2004-04-21 2005-10-27 Ge Medical Systems Information Technologies, Inc. Method and system for displaying regions of pathological interest
CA2587804A1 (en) * 2007-05-08 2008-11-08 William K. Mccroskey Modular multi-modal tomographic detector and system
CN101317749A (zh) * 2007-06-06 2008-12-10 奥林巴斯医疗株式会社 内窥镜图像处理装置
CN101185603A (zh) * 2007-06-22 2008-05-28 北京眼吧科技有限公司 立体视觉训练系统及方法
JP2011072374A (ja) * 2009-09-29 2011-04-14 Fujifilm Corp 医用画像診断支援装置
JP2012095274A (ja) * 2010-10-28 2012-05-17 Fujifilm Corp 立体視画像表示装置および立体視画像表示方法
US20130023767A1 (en) * 2011-05-12 2013-01-24 Mammone Richard J Low-cost, high fidelity ultrasound system
CN104335580A (zh) * 2012-06-14 2015-02-04 奥林巴斯株式会社 图像处理装置和立体图像观察系统
CN103908294A (zh) * 2012-12-28 2014-07-09 佳能株式会社 对象信息获取装置
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
WO2016057960A1 (en) * 2014-10-10 2016-04-14 Radish Medical Solutions, Inc. Apparatus, system and method for cloud based diagnostics and image archiving and retrieval
CN105992546A (zh) * 2015-01-21 2016-10-05 Hoya株式会社 内窥镜系统
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2017057574A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017104233A1 (ja) * 2015-12-17 2017-06-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAN DONGYI: "《Hearing preservation in acoustic neuroma surgery》", 《JOURNAL OF OTOLOGY》 *
宋秀华: "宫腔镜检查流产后手术并发症68例临床分析", 《中国医药科学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11998220B2 (en) 2020-08-10 2024-06-04 Kunnskap Medical, LLC Systems and devices for endoscopic procedure analysis
US12011181B2 (en) 2020-08-10 2024-06-18 Kunnskap Medical, LLC Endoscopic system with pump control
US12023044B2 (en) * 2020-08-10 2024-07-02 Kunnskap Medical, LLC Endoscopic system with medium management system control
US12070232B2 (en) 2020-08-10 2024-08-27 Kunnskap Medical, LLC Endoscopic system with component control
US12096945B2 (en) 2020-08-10 2024-09-24 Kunnskap Medical, LLC Systems and devices for endoscopic procedure analysis based on state data

Also Published As

Publication number Publication date
WO2019087790A1 (ja) 2019-05-09
CN111295127B (zh) 2022-10-25
US20200234070A1 (en) 2020-07-23
EP3705024A4 (en) 2020-11-11
EP3705024A1 (en) 2020-09-09
US11302092B2 (en) 2022-04-12
JPWO2019087790A1 (ja) 2020-11-12
JP6967602B2 (ja) 2021-11-17

Similar Documents

Publication Publication Date Title
CN111295127B (zh) 检查支持装置、内窥镜装置及记录介质
WO2016143312A1 (ja) 分岐構造判定装置、方法およびプログラム
EP3936026B1 (en) Medical image processing device, processor device, endoscopic system, medical image processing method, and program
JP6949999B2 (ja) 画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
US11423318B2 (en) System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JPWO2020170791A1 (ja) 医療画像処理装置及び方法
JP7335157B2 (ja) 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
JP6840263B2 (ja) 内視鏡システム及びプログラム
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
US20230419517A1 (en) Shape measurement system for endoscope and shape measurement method for endoscope
JP2009198787A (ja) 内視鏡装置
JP6199267B2 (ja) 内視鏡画像表示装置、その作動方法およびプログラム
KR101626802B1 (ko) 내시경기반의 특정병변 추적 및 모니터링 시스템
JP6745748B2 (ja) 内視鏡位置特定装置、その作動方法およびプログラム
EP4302681A1 (en) Medical image processing device, medical image processing method, and program
WO2022208615A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023039493A1 (en) System and methods for aggregating features in video frames to improve accuracy of ai detection algorithms
KR101630364B1 (ko) 내시경을 이용한 의료 영상 시스템 및 이의 제어 방법
CN114302035A (zh) 一种图像处理方法、装置、电子设备及内窥镜系统
CN112739250A (zh) 医用图像处理装置、处理器装置、医用图像处理方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant