CN118076279A - 程序、信息处理方法、信息处理装置以及诊断支持系统 - Google Patents
程序、信息处理方法、信息处理装置以及诊断支持系统 Download PDFInfo
- Publication number
- CN118076279A CN118076279A CN202280067133.3A CN202280067133A CN118076279A CN 118076279 A CN118076279 A CN 118076279A CN 202280067133 A CN202280067133 A CN 202280067133A CN 118076279 A CN118076279 A CN 118076279A
- Authority
- CN
- China
- Prior art keywords
- image
- endoscope
- dimensional medical
- lung field
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 107
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003745 diagnosis Methods 0.000 title description 19
- 210000004072 lung Anatomy 0.000 claims abstract description 204
- 230000000241 respiratory effect Effects 0.000 claims abstract description 133
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000003780 insertion Methods 0.000 claims description 68
- 230000037431 insertion Effects 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 48
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 37
- 230000007246 mechanism Effects 0.000 claims description 20
- 230000001360 synchronised effect Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000002594 fluoroscopy Methods 0.000 claims description 9
- 238000001727 in vivo Methods 0.000 abstract description 23
- 238000005452 bending Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 22
- 210000000621 bronchi Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000003902 lesion Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- JVTAAEKCZFNVCJ-UHFFFAOYSA-N lactic acid Chemical compound CC(O)C(O)=O JVTAAEKCZFNVCJ-UHFFFAOYSA-N 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 210000000013 bile duct Anatomy 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 235000014655 lactic acid Nutrition 0.000 description 2
- 239000004310 lactic acid Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 210000000277 pancreatic duct Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pulmonology (AREA)
- Otolaryngology (AREA)
- Physiology (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种程序，其使计算机执行以下处理，即，获取受试者呼吸相位的相关信息，获取与所述呼吸相位同步对所述受试者体内进行拍摄而得到的三维医用图像，从肺野用内窥镜获取所述受试者的内窥镜图像，确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置，将确定的所述肺野用内窥镜的位置与所述三维医用图像建立关联后输出。
Description
技术领域
本技术涉及一种程序、信息处理方法、信息处理装置以及诊断支持系统。
本申请主张基于2021年10月18日提交的日本申请第2021-170434号的优先权，并引用所述日本申请中记载的全部公开内容。
背景技术
内窥镜是能够通过将其插入受试者体腔内来对想要观察的部位进行观察、治疗的医疗用设备，其具备：摄像部，所述摄像部被组装到插入体腔内的插入管的前端部；照明装置，所述照明装置对该摄像部的拍摄视野进行照明。专利文献1作为观察胆管、胰管内等的内窥镜装置，公开了具有能够插入到十二指肠的插入部的父级观测器、以及可将子级观测器插入到该父级观测器的钳子通道中对胆管、胰管进行观察和治疗的父子观测器方式内窥镜装置。
现有技术文献
专利文献
专利文献1日本特开平4-354929号公报
发明内容
发明所要解决的课题
但是，在文献1记载的内窥镜装置中，以肺(支气管)为观察对象时，没有考虑对应该肺产生的呼吸相位来确定肺中内窥镜装置(肺野用内窥镜装置)的位置这点。
一方面，本发明的目的在于提供一种程序等，其能够对应观察对象肺产生的呼吸相位来确定该肺中肺野用内窥镜装置的位置。
用于解决课题的方案
本公开的一个实施方式中的程序使计算机执行以下处理，即，获取受试者呼吸相位的相关信息，获取与所述呼吸相位同步对所述受试者体内进行拍摄而得到的三维医用图像，从肺野用内窥镜获取所述受试者的内窥镜图像，确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置，将确定的所述肺野用内窥镜的位置与所述三维医用图像建立关联后输出。
本公开的一个实施方式中的信息处理方法使计算机执行以下处理，即，获取受试者呼吸相位的相关信息，获取与所述呼吸相位同步对所述受试者体内进行拍摄而得到的三维医用图像，从肺野用内窥镜获取所述受试者的内窥镜图像，确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置，将确定的所述肺野用内窥镜的位置与所述三维医用图像建立关联后输出。
本公开的一个实施方式中的信息处理装置具备：相位信息获取部，所述相位信息获取部获取受试者呼吸相位的相关信息；三维医用图像获取部，所述三维医用图像获取部获取与所述呼吸相位同步对所述受试者体内进行拍摄而得到的三维医用图像；内窥镜图像获取部，所述内窥镜图像获取部从肺野用内窥镜获取所述受试者的内窥镜图像；位置确定部，所述位置确定部确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置；输出部，所述输出部将确定的所述肺野用内窥镜的位置与所述三维医用图像建立关联后输出。
本公开的一个实施方式中的诊断支持系统具备：肺野用内窥镜；自动操作机构，所述自动操作机构对所述肺野用内窥镜进行自动操作；控制部，所述控制部对所述自动操作机构进行控制，所述控制部获取受试者呼吸相位的相关信息，获取与所述呼吸相位同步对所述受试者体内进行拍摄而得到的三维医用图像，从所述肺野用内窥镜获取所述受试者的内窥镜图像，确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置，根据所述肺野用内窥镜的位置被确定的所述三维医用图像，将所述肺野用内窥镜操作的相关操作支持信息输出到所述自动操作机构。
发明效果
本公开能够提供一种程序等，其对应观察对象肺产生的呼吸相位来确定该肺中肺野用内窥镜装置的位置。
附图说明
图1是示出实施方式1所涉及的诊断支持系统概要的示意图。
图2是示出诊断支持系统中所包括的肺野用内窥镜的结构例的框图。
图3是示出诊断支持系统中所包括的信息处理装置的结构例的框图。
图4是例示内窥镜图像DB的数据布局的说明图。
图5是示出肺野用内窥镜插入距离(S坐标值)的说明图。
图6是例示信息处理装置的控制部中所包括的功能部的功能框图。
图7是示出由信息处理装置的控制部执行的处理步骤的一例的流程图。
图8是示出集成图像显示画面的一个形态的说明图。
图9是示出由实施方式2(实际时间三维图像)所涉及的信息处理装置的控制部执行的处理步骤的一例的流程图。
图10是示出实施方式3(自动操作机构)所涉及的诊断支持系统概要的示意图。
图11是例示信息处理装置的控制部中所包括的功能部的功能框图。
具体实施方式
(实施方式1)
在下文中，将参照示出其实施方式的附图来具体说明本发明。图1是示出实施方式1所涉及的诊断支持系统S概要的示意图。诊断支持系统S输出受试者肺(支气管)诊断等的相关支援信息，包括：内窥镜装置10，所述内窥镜装置10具备肺野用内窥镜40；以及，信息处理装置6，所述信息处理装置6与内窥镜装置10可通信地连接。
内窥镜装置10将由肺野用内窥镜40的摄像元件445拍摄的图像(拍摄图像)传送到内窥镜用处理器20，由内窥镜用处理器20进行伽马校正、白平衡校正、阴影校正、减轻图像失真的几何校正等各种图像处理，从而生成操作者容易目视的状态的内窥镜图像。内窥镜装置10将生成的内窥镜图像输出(发送)到信息处理装置6。信息处理装置6获取了从内窥镜装置10发送的内窥镜图像后，基于这些内窥镜图像进行各种信息处理，并输出诊断支持的相关信息。
内窥镜装置10包括内窥镜用处理器20、肺野用内窥镜40和显示装置50。显示装置50例如是液晶显示装置或有机EL(Electro Luminescence，电致发光)显示装置。
显示装置50设置在带脚轮的收容架16的上层。内窥镜用处理器20收纳在收容架16的中层。收容架16配置在省略图示的内窥镜检查用床的附近。收容架16具有抽屉式棚架，该抽屉式棚架用于装载与内窥镜用处理器20连接的键盘15。
内窥镜用处理器20呈大致长方体形状，并且在一面上具备触摸面板25。在触摸面板25的下部配置有读取部28。读取部28例如是USB连接器、SD(Secure Digital，安全数字)卡槽或者CD-ROM(Compact Disc Read Only Memory，光盘只读存储器)驱动器等用于进行便携式记录介质的读写的连接用接口。
肺野用内窥镜40具有插入部44、操作部43、通用软线49以及观测器用连接器48。操作部43设置有控制按钮431。插入部44是细长的，一端经由止弯部45与操作部43连接。插入部44从操作部43侧起依次具有柔性部441、弯曲部442以及前端部443。弯曲部442应弯曲旋钮433的操作而弯曲。在插入部44中安装有3轴加速度传感器、陀螺仪传感器、地磁传感器、磁线圈传感器或者内窥镜插入形状观测装置(Colonavi)等物理检测装置，将肺野用内窥镜40插入受试者体内时，就可以获取这些物理检测装置的检测结果。
通用软线49是细长的，其中第一端连接到操作部43，第二端连接到观测器用连接器48。通用软线49是柔性的。观测器用连接器48呈大致长方体形状。
图2是示出诊断支持系统S中所包括的内窥镜装置10的结构例的框图。控制部21是用于执行本实施方式中的程序的运算控制装置。控制部21使用一个或多个CPU(CentralProcessing Unit，中央处理单元)、GPU(Graphics Processing Unit，图形处理单元)或者多核CPU等。控制部21经由总线与构成内窥镜用处理器20的硬件各部相连接。
主存储装置22例如是SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、闪存等存储装置。主存储装置22暂时保存由控制部21进行处理过程中所需的信息、以及在控制部21中正在执行的程序。辅助存储装置23例如是SRAM、闪存或硬盘等存储装置，是容量比主存储装置22大的存储装置。例如可以将获取的拍摄图像、生成的内窥镜图像作为中间数据保存于辅助存储装置23中。
通信部24是用于通过有线或无线方式经由网络与信息处理装置6进行通信的通信模块或通信接口，例如wifi(注册商标)、Bluetooth(注册商标)等窄带无线通信模块或4G、LTE等宽带无线通信模块。触摸面板25包括液晶显示面板等显示部和层叠在显示部上的输入部。通信部24可与X射线CT装置92、MRI装置、超声波诊断装置或用于保存从这些装置输出的数据的存储装置(未图示)通信。
显示装置I/F26是用于连接内窥镜用处理器20和显示装置50的接口。输入装置I/F27是用于连接内窥镜用处理器20和键盘15等输入装置的接口。
光源33例如是白色LED、氙气灯等高亮度的白色光源。光源33经由省略图示的驱动器与总线连接。光源33的点亮、熄灭以及亮度的变更由控制部21控制。从光源33照射的照明光入射到光学连接器312上。光学连接器312与观测器用连接器48卡接，并且向肺野用内窥镜40提供照明光。
以下说明与内窥镜用处理器20连接的肺野用内窥镜40的功能概要。在观测器用连接器48、通用软线49、操作部43以及插入部44的内部，插入有纤维束、线缆束、供气管等。从光源33射出的照明光经由光学连接器312及纤维束，从设置于前端部443上的照明窗发射。利用设置在前端部443上的摄像元件拍摄由照明光照射的范围。从摄像元件经由线缆束及电连接器311向内窥镜用处理器20传送拍摄图像。光源33可以是设置于前端部443上的LED，在这种情况下，不需要光学连接器312及纤维束。
内窥镜用处理器20的控制部21通过执行主存储装置22中所存储的程序，从而发挥图像处理部211的功能。图像处理部211对从肺野用内窥镜40输出的图像(拍摄图像)进行伽马校正、白平衡校正、阴影校正、减轻图像失真的几何校正等各种图像处理，并作为内窥镜图像输出。
图3是示出诊断支持系统S中所包括的信息处理装置6的结构例的框图。信息处理装置6包括控制部62、通信部61、存储部63以及输入输出I/F64。信息处理装置6例如是服务器装置、个人计算机等。服务器装置不仅包括单个服务器装置，还包括由多台计算机构成的云服务器装置或虚拟服务器装置。信息处理装置6也可以设置为云服务器，位于可从内窥镜用处理器20访问的外部网络上。
控制部62包括一个或多个CPU(Central Processing Unit，中央处理器)、MPU(Micro-Processing Unit，微处理器)、GPU(Graphics Processing Unit，图像处理器)等具备计时功能的运算处理装置，通过读出并执行存储在存储部63中的程序P，可以进行涉及信息处理装置6的各种信息处理、控制处理等。或者，控制部62也可以由量子计算机用芯片构成，信息处理装置6可以是量子计算机。
存储部63包括SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、闪存等挥发性存储区域以及EEPROM或硬盘等非挥发性存储区域。在存储部63中预先存储有程序P(程序产品)以及处理时要参照的数据。关于存储在存储部63中的程序P(程序产品)，也可以存储从信息处理装置6能够读取的记录介质632读出的程序P(程序产品)。另外，也可以从与未图示的通信网相连接的未图示的外部计算机下载程序P，并存储到存储部63中。在存储部63中存储有后述内窥镜图像DB631(DataBase，数据库)。或者，在存储部63中保存有构成后述各种学习模型的实际文件(神经网络(NN)的实例文件)。
通信部61是用于通过有线或无线方式与内窥镜装置10进行通信的通信模块或通信接口，例如wifi(注册商标)、Bluetooth(注册商标)等窄带无线通信模块或4G、5G等宽带无线通信模块。通信部61可以与X射线CT装置92、MRI装置(参照图6)、超声波诊断装置或用于保存从这些装置输出的数据的存储装置(未图示)通信。
输入输出I/F64符合例如USB或DSUB等通信标准，并且是用于与连接到输入输出I/F64的外部设备进行串行通信的通信接口。输入输出I/F64连接有例如显示器等显示部7、键盘等输入部8，控制部62将基于从输入部8输入的执行命令或事件而进行的信息处理结果输出到显示部7。输入输出I/F64也可以连接有呼吸同步装置91(参照图6)。
呼吸同步装置91由安装在被检者腹部等的标记等构成，是输出与呼吸的周期(呼吸周期)对应的信号(呼吸同步信号)的装置。信息处理装置6通过经由输入输出I/F64从呼吸同步装置91接收呼吸同步信号，可获取呼吸周期中的相位、最大吸气状态(100％状态)或最大呼气状态(0％状态)等的时刻、呼吸波形等被检者呼吸状态的相关信息。
图4是例示内窥镜图像DB631的数据布局的说明图。内窥镜图像DB631存储在信息处理装置6的存储部63中，由安装于信息处理装置6中的RDBMS(Relational DataBaseManagement System，关系数据库管理系统)等数据库管理软件构成。或者，内窥镜图像DB631也可以存储在与信息处理装置6可通信地连接的存储装置等能从信息处理装置6访问的预定存储区域中。或者，内窥镜图像DB631也可以存储在内窥镜装置10的主存储装置22中。也就是说，预定存储区域包括信息处理装置6的存储部63、内窥镜装置10的主存储装置22以及可从信息处理装置6或内窥镜装置10访问的存储装置。信息处理装置6可以获取内窥镜用处理器20输出的内窥镜图像、检查日期时间以及受试者的属性信息，并登录到检查结果DB631中。或者，也可以将从内窥镜用处理器20直接输出的内窥镜图像、检查日期时间以及受试者的属性信息直接登录到检查结果DB631中。
内窥镜图像DB631例如包括受试者主表以及图像表，利用受试者主表和图像表中共同包括的项目(元数据)即受试者ID，对两表建立关联。
受试者主表包括例如受试者ID、性别、出生日期和年龄作为管理项目(元数据)。在受试者ID的项目(字段)中，存储用于唯一确定接受内窥镜检查的受试者的ID信息。在性别及出生日期的项目(字段)中存储该受试者ID的性别及出生日期的生物属性，在年龄的项目(字段)中存储由出生日期计算出的当前时刻的年龄。这些性别、年龄作为受试者的生物信息，通过受试者主表进行管理。
图像表包括例如受试者ID、检查日期时间、内窥镜图像、帧号、S坐标(插入距离)、相位角和三维医用图像作为管理项目(元数据)。
受试者ID的项目(字段)用于与由受试者主表所管理的受试者生物属性相关联，存储相关该受试者各自的ID值。在检查日期时间的项目(字段)中，存储相关该受试者ID的受试者接受内窥镜检查的日期时间。在内窥镜图像的项目(字段)中，将相关受试者ID的内窥镜图像作为对象数据进行存储。内窥镜图像也可以是1帧的例如jpeg格式静止图像或者是数帧的例如avi格式运动图像。在内窥镜图像的项目(字段)中，也可以存储表示作为文件而保存的该内窥镜图像的保存位置(文件路径)的信息。
在帧号的项目(字段)中，如果内窥镜图像是运动图像，则存储该运动图像的帧号。通过存储运动图像的帧号，即使内窥镜图像为运动图像，也可以和静止图像一样地进行处理，并且可以和后述三维医用图像的位置信息(体内坐标系中的坐标)相关联。
在S坐标(插入距离)的项目(字段)中，作为S坐标的值，存储同一记录中存储的内窥镜图像拍摄时刻的肺野用内窥镜40的插入距离。插入距离(S坐标)的导出等将在后面叙述。
在相位角的项目(字段)中，存储同一记录中存储的内窥镜图像拍摄时刻的相位角(呼吸相位的相位角)。详情在后面叙述，信息处理装置6(控制部62)与获取内窥镜图像并行地从呼吸同步装置91获取呼吸同步信号，根据获取的呼吸同步信号确定呼吸相位(呼吸周期)中的相位角。信息处理装置6(控制部62)通过将确定的相位角存储到该相位角的项目(字段)中，从而每个内窥镜图像与相位角建立关联后进行存储。
在三维医用图像的项目(字段)中，将基于从X射线CT装置92(X射线CT、X射线锥形束CT)或MRI装置(MRI-CT)、超声波诊断装置等能够用三维图像对体内进行拍摄的单元输出的数据而生成的、例如DICOM(Digital Imaging and Communications in Medicine，医学数字成像与通信)格式的三维医用图像作为对象数据进行存储。或者，也可以存储表示作为文件而保存的该三维医用图像的保存位置(文件路径)的信息。
图像表还可以包括弯曲历史、视点位置和视点方向的项目(字段)。这种情况下，在弯曲历史的项目(字段)中，存储例如利用与内窥镜用处理器20连接的内窥镜插入形状检测装置检测到的弯曲历史信息。在视点位置的项目(字段)中，存储内窥镜图像拍摄时刻的肺野用内窥镜40在体内的坐标，即三维医用图像坐标系(体内坐标系)中的坐标。在视点方向的项目(字段)中，存储内窥镜图像拍摄时刻的肺野用内窥镜40的方向，即三维医用图像坐标系(体内坐标系中的坐标)中的旋转角。
图5是示出肺野用内窥镜40插入距离(S坐标值)的说明图。如图所示，通过三维医用图像，由肺野用内窥镜40拍摄的肺部支气管等以三维形状展现。在支气管等的内壁内侧形成有空间，该空间成为插入肺野用内窥镜40的插入路径。肺野用内窥镜40的插入距离即S坐标在该插入路径的内侧(支气管等的内壁的内侧)，是插入路径的路径长度大致等于该插入距离的位置，因此，基于S坐标，可以导出位于支气管等的内壁内侧的肺野用内窥镜40的前端部443的坐标。插入距离例如在配置于受试者口部的咬嘴上设置由辊编码器等构成的测量部，对肺野用内窥镜40插入体内的距离进行测量而得到。设置测量部的位置不限于咬嘴，也可以在受试者喉部配置使用非接触类传感器的测量部。S坐标还可以使用弯曲历史信息进行校正。
图6是例示信息处理装置6的控制部62中所包括的功能部的功能框图。内窥镜用处理器20(内窥镜装置10)的控制部21通过执行主存储装置22中所存储的程序，从而发挥图像处理部211的功能。信息处理装置6的控制部62通过执行存储部63中所存储的程序P，从而发挥获取部621、呼吸相位确定部622、位置导出部623以及操作支持信息输出部624的功能。
内窥镜用处理器20的图像处理部211对从肺野用内窥镜40输出的图像(拍摄图像)进行伽马校正、白平衡校正、阴影校正等各种图像处理，并作为内窥镜图像输出。图像处理部211将所生成的内窥镜图像及基于内窥镜图像的拍摄时刻的检查日期时间输出(发送)到信息处理装置6。图像处理部211还可以将从键盘15输入的受试者ID输出到信息处理装置6。为了测量肺野用内窥镜40的周边环境，图像处理部211还可以向信息处理装置6输出从配置在肺野用内窥镜40的插入部44(柔性管)上的传感器输出的肺野用内窥镜40的插入距离(S坐标)的相关信息。图像处理部211也可以将从传感器获取的肺野用内窥镜40的插入距离的相关信息例如叠加于内窥镜图像上并显示于显示装置中。
用于获取肺野用内窥镜40插入体内的距离即S坐标的传感器，例如包括温度传感器、光传感器、压力传感器、润湿传感器(电极)及湿度传感器。例如，当该传感器为光传感器时，光传感器配置在插入部44(柔性管)的内部，即使插入部44(柔性管)被插入体内，仍然能够受光。因此，可以将光传感器接收到更多光的部分识别为体外，将接收到较少光的部分识别为体内。继而，内窥镜用处理器20的控制部21可以基于光传感器所获取的信号，确定位于体腔插入部位即边界位置的光传感器，从而导出插入体内的插入部44(柔性管)的距离(长度)即S坐标。
内窥镜用处理器20的控制部21获取插入体内的肺野用内窥镜40的弯曲历史信息，根据所获取的弯曲历史信息，判断肺野用内窥镜40的插入状况。例如，内窥镜用处理器20的控制部21可以利用连接到内窥镜用处理器20的内窥镜插入形状检测装置(未图示)来检测弯曲历史信息。该内窥镜插入形状检测装置可以是如下的装置：例如，如日本特开2019-37643号公报所公开，在肺野用内窥镜40的插入部44的内部，沿该插入部44的长度方向以预定间隔配置多个磁线圈的装置。弯曲历史信息表示弯曲角度、弯曲方向等弯曲相关的物理参数或信息。
获取部621获取内窥镜用处理器20输出的受试者ID、检查日期时间、内窥镜图像、S坐标(插入距离)及弯曲历史信息。获取部621基于获取的受试者ID，获取该受试者的三维医用图像，所述三维医用图像从可通信地连接的X射线CT装置92、锥形束CT装置或MRI装置、超声波诊断装置等能够用三维图像对体内进行拍摄的单元输出。当从X射线CT装置92、锥形束CT装置或MRI装置、超声波诊断装置等能够用三维图像对体内进行拍摄的其他检查装置输出的三维医用图像已被保存在例如外部服务器(未图示)中时，信息处理装置6可以访问该外部服务器，并基于从内窥镜用处理器20输出的受试者ID，获取该受试者的三维医用图像。
三维医用图像是从例如X射线CT装置92、锥形束CT装置以及MRI装置、超声波诊断装置等能够用三维图像对体内进行拍摄的单元等输出的、由断层像数据构成的体数据所表示的图像，以及从Multi SliceX射线CT装置及采用X射线平板的X射线锥形束CT装置输出的、由体数据所表示的图像。采用X射线CT装置92或锥形束CT装置时，图像可以用例如X射线CT进行Dual Energy拍摄，通过有效质量数(effective-Z)知晓三维医用图像各像素的组成(体组成)。采用MRI装置时，图像可以附加脂肪或乳酸等三维医用图像的各像素组成(体组成)的相关信息。
所获取的三维医用图像是对应呼吸相位重新构成的图像，例如是基于在与通常终末呼气(呼气时：0％状态)对应的预定相位角(2π)时刻所拍摄的CT数据群生成的图像。因此，与该呼吸相位对应的三维医用图像是例如表示通常终末呼气(相位角：2π)肺状态的图像，因此可降低检查对象肺呼吸产生的体动的影响。
三维医用图像是利用肺野用内窥镜40检查前进行的X射线CT装置92检查所重新构成(生成)的图像，如果检查对象肺中存在肿瘤等感兴趣区域(RI)，该感兴趣区域利用三维医用图像的体内坐标系确定位置。基于三维医用图像确定有无肿瘤等感兴趣区域时，如果输入了三维医用图像，则也可以利用输出该三维医用图像所包含的感兴趣区域位置及种类的感兴趣区域模型(学习模型)。该感兴趣区域模型例如也可以由R-CNN或YOLO等具有分段功能的神经网络等构成。
获取部621还从呼吸同步装置91获取与呼吸的周期(呼吸周期)对应的信号(呼吸同步信号)。呼吸同步装置91输出呼吸同步信号，即检测呼吸相位与获取(拍摄)内窥镜图像同时并行执行。获取部621将获取的呼吸同步信号与内窥镜图像建立关联后，输出到呼吸相位确定部622。
呼吸相位确定部622根据获取部621输出的呼吸同步信号和内窥镜图像，确定拍摄该内窥镜图像的时刻(拍摄时刻)的呼吸相位的相位角。呼吸相位确定部622也可以基于获取的呼吸同步信号，生成具有周期性的呼吸波形。呼吸相位确定部622基于获取的呼吸同步信号确定呼吸相位的相位角(内窥镜图像拍摄时刻的相位角)，判定当前时刻拍摄(获取)的内窥镜图像的相位角与三维医用图像的相位角是否一致。呼吸相位确定部622也可以将基于呼吸同步信号确定的相位角与该呼吸同步信号获取时刻拍摄的内窥镜图像建立关联后，保存到存储部63所存储的内窥镜图像DB631中。通过在如此拍摄的内窥镜图像(内窥镜图像为运动图像时为各帧)中分别关联该内窥镜图像拍摄时刻的呼吸相位的相位角后进行保存，从而可对该内窥镜图像执行与呼吸相位(呼吸周期)同步的各种操作或处理。
由获取部621获取的呼吸同步信号与内窥镜图像在时间轴上对应。由此，内窥镜图像获取时刻(拍摄时刻)的呼吸相位的相位角根据该时刻(拍摄时刻)获取(检测)的呼吸同步信号进行确定。因此，呼吸同步信号相当于使连续获取的内窥镜图像分别与呼吸相位(呼吸周期)同步的同步信号。当然，如果内窥镜图像是运动图像，则内窥镜图像的获取时刻是构成该运动图像的帧(静止图像)的获取时刻。通过如此与肺野用内窥镜40检查(拍摄内窥镜图像)并行地(同时)从呼吸同步装置91获取呼吸同步信号，可在按时间序列即随时间变化连续获取的内窥镜图像中分别关联该内窥镜图像拍摄时刻的呼吸相位的相位角。三维医用图像基于预定相位角(例如与通常终末呼气对应的相位角：2π)重新构成(生成)。因此，通过使用关联与三维医用图像相位角相同的相位角的内窥镜图像，可降低呼吸产生的体动的影响，高精度地确定该三维医用图像(体内坐标系)中肺野用内窥镜40(前端部443)的位置。
位置导出部623基于获取部621输出的肺野用内窥镜40的插入距离(S坐标)及弯曲历史等，导出在呼吸相位中为预定相位角的三维医用图像(体内坐标系)中肺野用内窥镜40的前端部443的位置。位置导出部623在导出肺野用内窥镜40的前端部443的位置时，也可以使用与三维医用图像相位角为相同相位角的内窥镜图像拍摄时刻的插入距离(S坐标)等，导出该肺野用内窥镜40(前端部443)的位置。S坐标还可以使用弯曲历史信息进行校正。
三维医用图像的相位角与内窥镜图像拍摄时刻的相位角相同并不限于这些相位角完全一致的情况，其含义为处于医生等操作肺野用内窥镜40所允许的角度范围内，例如内窥镜图像拍摄时刻的相位角相对于三维医用图像的相位角控制在例如±5°等预定角度范围内的情况等。
操作支持信息输出部624输出肺野用内窥镜40的前端部443的位置、以及从该前端部443位置到病变等感兴趣区域位置的路径的相关信息，作为操作支持信息。操作支持信息输出部624也可以将这些肺野用内窥镜40(前端部443)的位置以及到感兴趣区域的路径的相关信息例如叠加或附加到三维医用图像及内窥镜图像等，建立关联后再进行输出和显示。
操作支持信息输出部624叠加肺野用内窥镜40(前端部443)输出三维医用图像时，如果内窥镜图像及三维医用图像的相位角一致，则叠加显示在该三维医用图像上的肺野用内窥镜40(前端部443)的位置不受呼吸产生的体动的影响，适用性较高。如果内窥镜图像及三维医用图像的相位角不一致，则认为叠加显示在该三维医用图像上的肺野用内窥镜40(前端部443)的位置受到呼吸产生的体动的影响，与实际位置不同的可能性较高。操作支持信息输出部624也可以在内窥镜图像及三维医用图像的相位角一致和不一致的情况中，对叠加显示在内窥镜图像或三维医用图像上的肺野用内窥镜40(前端部443)采用不同的显示形态。例如，也可以内窥镜图像及三维医用图像的相位角一致时，肺野用内窥镜40(前端部443)采用蓝色显示，不一致时，肺野用内窥镜40(前端部443)采用黄色显示。操作支持信息输出部624等各功能部也可以将获取或输出的各种数据保存在内窥镜图像DB631中。
在本实施方式等中，将各功能部的处理划分为由内窥镜用处理器20的控制部21执行的处理和由信息处理装置6的控制部62执行的处理并进行说明，但是这些处理的分工只是示例，并不限定于此。内窥镜用处理器20的控制部21可以作为由信息处理装置6的控制部62执行的所有功能部而发挥功能。或者，内窥镜用处理器20的控制部21和信息处理装置6的控制部62可以通过例如开展进程间通信而协作地作为一系列处理中的各功能部来发挥功能。
图7是示出由信息处理装置6的控制部62执行的处理步骤的一例的流程图。例如，信息处理装置6的控制部62基于从与本装置相连接的输入部8输入的内容，开始该流程图的处理。
信息处理装置6的控制部62获取从内窥镜用处理器20输出的检查日期时间、受试者ID、内窥镜图像以及插入距离等的相关信息(S101)。信息处理装置6的控制部62除插入距离(S坐标)外，还可以从内窥镜用处理器20获取插入体内的肺野用内窥镜40的弯曲历史信息。
信息处理装置6的控制部62从X射线CT装置92等获取基于预定相位角重新构成的三维医用图像(S102)。信息处理装置6的控制部62从X射线CT装置92等获取基于预定相位角重新构成的三维医用图像、即与呼吸相位同步的三维医用图像。该三维医用图像是基于对同一受试者利用肺野用内窥镜40对肺(支气管)进行检查(拍摄内窥镜图像)前所实施的X射线CT装置92等的检查结果生成的CT图像(断层像数据)重新构成的图像。信息处理装置6的控制部62使用获取的受试者ID，访问X射线CT装置92或三维医用图像的数据管理服务器等，获取肺野用内窥镜40受试者以前接受X射线CT装置92等的检查结果即三维医用图像。
在以肺为对象利用X射线CT装置92进行的检查中，肺呼吸产生的体动使拍摄的CT图像(断层像数据)中所包含的体动发生变化，从而本实施方式中的三维医用图像(X射线CT三维图像)为基于预定相位角重新构成的三维医用图像(与呼吸相位同步的三维医用图像)。即，与以肺为对象利用X射线CT装置92进行检查(拍摄CT图像)并行地基于从呼吸同步装置91获取的呼吸同步信号对呼吸波形(呼吸相位)进行测量或计量，通过将成为预定呼吸相位的CT图像(断层像数据)统一排序，重新构成该预定呼吸相位的三维医用图像。通过使用如此基于预定相位角(例如与通常终末呼气对应的相位角：2π)重新构成的三维医用图像，可降低呼吸产生的体动的影响。
三维医用图像不限于由单一呼吸相位(相位角)重新构成的情况，也可以基于多个呼吸相位(相位角)重新构成。例如，对于利用X射线CT装置92拍摄的CT图像(断层像数据)，一个呼吸周期中可以用最大吸气状态(100％状态：π)及最大呼气状态(0％状态：2π)两个呼吸相位分别重新构成2套(2相)三维医用图像。该呼吸相位的相数可以为2相以上，例如可以将处理单位角设为π/6，重新构成12套(12相)的三维医用图像。如此利用多相重新构成的三维医用图像以多个相位单位进行划分，也可以作为与各相位角关联的三维医用图像群的存档文件构成。按该划分的各三维医用图像确定肺野用内窥镜的位置。
如上所述，三维医用图像在利用肺野用内窥镜40进行检查前拍摄，该三维医用图像包含受试者的整个肺。因此，如果肺存在肿瘤等病变或病变候补等感兴趣区域(ROI：Region of Interest)，则该感兴趣区域包含在该三维医用图像中。如此包含在三维医用图像中的感兴趣区域例如根据医生等的诊断确定该三维医用图像中的感兴趣区域的位置(体内坐标系的坐标)(附加到三维医用图像)。确定感兴趣区域也可以使用在输入三维医用图像时输出感兴趣区域的区域及种类的学习模型(感兴趣区域模型)。
信息处理装置6的控制部62从呼吸同步装置91获取与呼吸的周期(呼吸周期)对应的信号(呼吸同步信号)(S103)。信息处理装置6的控制部62基于呼吸同步信号确定呼吸相位中的相位角(S104)。呼吸同步装置91由安装在肺野用内窥镜40的被检者腹部等的标记等构成，输出与呼吸的周期(呼吸周期)对应的信号(呼吸同步信号)。信息处理装置6的控制部62与获取内窥镜图像并行地从呼吸同步装置91获取呼吸同步信号，根据获取的呼吸同步信号确定呼吸相位中的相位角。或者，也可以使用从拍摄受试者的视频图像(运动图像)中测量体动来求出呼吸相位的装置。
拍摄(获取)内窥镜图像与利用呼吸同步信号确定相位角并行地连续进行，所以信息处理装置6的控制部62可连续确定内窥镜图像拍摄时刻的相位角。信息处理装置6的控制部62也可以将确定的相位角与内窥镜图像建立关联后存储到存储部63(保存到内窥镜图像DB631)中。内窥镜图像为运动图像时，也可以将构成该运动图像的帧(静止图像)的拍摄时刻的相位角与该帧(静止图像)建立关联后存储。如此对于各内窥镜图像通过与该内窥镜图像拍摄时刻的相位角建立关联，可以实现该内窥镜图像与呼吸相位的同步。而且，内窥镜图像关联有该内窥镜图像拍摄时刻的插入距离(S坐标)及弯曲历史，所以呼吸相位也与这些插入距离(S坐标)及弯曲历史建立了关联。
信息处理装置6的控制部62导出三维医用图像中的肺野用内窥镜40的位置(S105)。三维医用图像与预定相位角对应，信息处理装置6的控制部62提取相位角与三维医用图像相位角相同的内窥镜图像。由此，可基于相位角使获取的内窥镜图像与三维医用图像同步(根据相同相位角建立关联)。三维医用图像的相位角与内窥镜图像拍摄时刻的相位角相同并不限于这些相位角完全一致的情况，也可以是内窥镜图像拍摄时刻的相位角相对于三维医用图像的相位角控制在例如±5°等预定角度范围内的情况。该提取的内窥镜图像与三维医用图像的相位角相同，所以这些图像间呼吸产生的体动的影响较小，可以提高该三维医用图像中的肺野用内窥镜40(前端部443)的位置的导出精度。
信息处理装置6的控制部62基于提取的内窥镜图像(相位角与三维医用图像相同的内窥镜图像)拍摄时刻的插入距离(S坐标)及弯曲历史，确定该三维医用图像(体内坐标系)中的肺野用内窥镜40的前端部443的位置。通过使用肺野用内窥镜40的插入距离(S坐标)及弯曲历史，可确定插入肺野用内窥镜40的插入路径(肺的支气管等)的路径长度及插入方向，由此便可分别导出位于支气管等的内壁内侧的肺野用内窥镜40的前端部443的坐标。信息处理装置6的控制部62基于肺野用内窥镜40的插入距离(S坐标)等导出三维医用图像(体内坐标系)中的肺野用内窥镜40的前端部443的位置时，也可以如国际公开编号WO2021/054360公报公开所示，使用虚拟内窥镜图像。
信息处理装置6的控制部62基于导出的肺野用内窥镜40的位置及三维医用图像中所包含的感兴趣区域的位置，输出操作支持信息(S106)。信息处理装置6的控制部62在三维医用图像(体内坐标系)中，基于肺野用内窥镜40的前端部443的位置(体内坐标系的坐标)与感兴趣区域的位置(体内坐标系的坐标)，确定当前时刻的肺野用内窥镜40的前端部443的位置到感兴趣区域的位置的路径。
三维医用图像所示的肺的支气管被定义为用三维定义的体内坐标系中的立体对象，信息处理装置6的控制部62通过使用支气管内侧的路径的空间信息，算出从肺野用内窥镜40的前端部443的位置到感兴趣区域的位置的方向矢量等，从而确定该路径。该方向矢量包括肺野用内窥镜40的插入方向、插入量、插入速度，包括到病变等感兴趣区域的路径的相关信息。
在输出操作支持信息时，信息处理装置6的控制部62可以生成将该操作支持信息叠加在内窥镜图像或三维医用图像上而获取的图像数据，并且将该图像数据输出到例如显示部7。显示部7基于从信息处理装置6的控制部62输出的图像数据，显示叠加有操作支持信息的内窥镜图像或三维医用图像。
三维医用图像基于多个呼吸相位重新构成(以多个相位单位进行划分)时，信息处理装置6的控制部62可以对应基于从呼吸同步装置91获取的呼吸同步信号确定的呼吸相位，切换三维医用图像，执行一系列处理。例如，三维医用图像基于12相的呼吸相位重新构成时，信息处理装置6的控制部62也可以通过在一个呼吸周期内按呼吸相位的相数即12次进行切换，从而基于与各呼吸相位对应的三维医用图像执行处理。通过增加如此重新构成三维医用图像过程中的呼吸相位的相数，从而可增加内窥镜图像的同步时序(同步点)，扩充向医生等提供的操作支持信息。
图8是示出集成图像显示画面的一个形态的说明图。如上所述，信息处理装置6的控制部62生成包括叠加有肺野用内窥镜40的插入方向等操作支持信息的内窥镜图像或三维医用图像的图像数据，并输出到显示部7。集成图像显示画面71是由该图像数据构成的显示画面的一例，显示部7基于该图像数据显示该集成图像显示画面71。
集成图像显示画面71例如包括：显示受试者ID等书目事项的区域、显示内窥镜图像的区域、显示三维医用图像的区域、显示呼吸波形的区域、显示当前所显示的内窥镜图像的相关信息以及拍摄内窥镜图像的视点位置(前端部443的位置)等的区域。
在显示受试者ID等书目事项的区域，显示用于确定与内窥镜图像对应的三维医用图像的受试者ID、肺野用内窥镜40的检查日期时间、三维医用图像的生成日期等数据管理方面的书目事项。
在显示内窥镜图像的区域，实时显示当前时刻肺野用内窥镜40所拍摄的内窥镜图像。内窥镜图像中叠加显示肺野用内窥镜40的插入方向等操作支持信息。根据后述显示选项的设定，内窥镜图像可以为半透明显示，通过虚线等显示位于内窥镜图像中所显示的体内壁面里侧的体内部位。如此在半透明显示中通过虚线等显示的体内部位可以是例如基于三维医用图像所确定的体内部位的形状信息而提取的病变候选部位。
在显示三维医用图像的区域，三维医用图像所表示的肺(支气管)等体内部位作为三维对象而被显示，叠加显示肺野用内窥镜40的前端部443的位置(视点位置)以及以该前端部443的位置(视点位置)为起点的插入方向等操作支持信息。通过拖动该三维对象的任意部位，可以旋转三维对象。三维医用图像中，基于由该三维医用图像而确定的体内部位的形状信息所提取的病变候选部位的位置例如可以用高亮状态显示。
内窥镜图像对应拍摄时刻实时显示，随时间经过而变化。该内窥镜图像拍摄时刻的相位角与重新构成三维医用图像时使用的相位角一致时，这些内窥镜图像与三维医用图像为同一相位角，实现同步。信息处理装置6的控制部62也可以在这些相位角相同时(同步时)和不同时(非同步时)，对叠加显示在内窥镜图像及三维医用图像上的肺野用内窥镜40的前端部443及表示插入方向的箭头等采用不同的显示形态。例如，也可以这些相位角相同时(同步时)，肺野用内窥镜40的前端部443等采用蓝色叠加显示，不同时(非同步时)，采用黄色叠加显示。由此，可高效地通知医生等肺野用内窥镜40的操作者当前时刻拍摄的内窥镜图像的相位角与三维医用图像的相位角是否一致(是否处于同步状态)。
三维医用图像基于多个呼吸相位重新构成时，信息处理装置6的控制部62可以对应基于从呼吸同步装置91获取的呼吸同步信号确定的呼吸相位，切换显示三维医用图像。由此，一个呼吸周期内按呼吸相位的相数切换显示三维医用图像，能够以对应被检者呼吸周期的方式切换显示该三维医用图像。通过对应呼吸相位切换显示三维医用图像，从而可增加三维医用图像与内窥镜图像的同步时序(同步点)，扩充向医生等提供的操作支持信息(增加输出频率)。
在显示呼吸波形的区域，显示示出基于从呼吸同步装置91获取的呼吸同步信号而生成的呼吸波形的曲线图。该呼吸同步装置91例如是株式会社Varian Medical Systems公司制造的RGSC呼吸同步系统、或者Anzai Medical株式会社制造的呼吸同步系统AZ-733VI。该呼吸波形的曲线图中的横轴表示时间，纵轴表示肺的体积(吸入空气的量)。在呼吸波形中，呼吸周期的前半表示吸气时间，后半表示呼气时间，该呼吸周期中的相位角可以定义为0(吸气开始时)到2π(呼气结束时)。三维医用图像用预定相位角重新构成，呼吸波形的曲线图显示有表示该三维医用图像相位角的图表等对象。由此，可以向医生等高效提供重新构成三维医用图像时用到的相位角与呼吸周期之间关系的相关信息。
呼吸波形的曲线图中，也可以显示表示当前时刻所显示内窥镜图像的相位角的箭头等对象。所获取的内窥镜图像关联有该内窥镜图像拍摄时刻的相位角，所以通过在呼吸波形的曲线图上示出所显示内窥镜图像的相位角，可以向医生等高效地提供内窥镜图像的相位角与呼吸周期之间关系的相关信息。内窥镜图像为运动图像时，随着运动图像的播放(时间经过)，表示内窥镜图像相位角的箭头也随时间滑动(沿时间轴的横轴向右移动)显示。
在显示拍摄内窥镜图像的视点位置等的区域，显示在显示内窥镜图像的区域中所显示的内窥镜图像拍摄时刻肺野用内窥镜40在体内的位置(视点位置)以及视点方向(旋转角)。如上所述，信息处理装置6的控制部62(获取部621)从内窥镜用处理器20连续地获取内窥镜图像、表示肺野用内窥镜40的插入距离的S坐标和弯曲历史，并基于所获取的S坐标等，连续地导出该肺野用内窥镜40的前端部443的位置(视点位置)。因此，在显示拍摄内窥镜图像的视点位置等的区域，相应于医生等对肺野用内窥镜40的操作，实时显示该肺野用内窥镜40的前端部443的位置视点位置及视点方向(体内坐标系中的坐标和旋转角)。
在显示当前所显示的内窥镜图像的信息的区域，例如显示当前所显示的内窥镜图像的图像中心处体内部位(支气管)或像素的相关信息。如上所述，该体内部位(像素)的相关信息包括三维医用图像中基于X射线的物质辨别信息即有效质量数(effective-Z)，或者脂肪或乳酸等三维医用图像的各像素组成(体组成)的相关信息。因此，可以在该区域中显示基于表示内窥镜图像的图像中心的体内坐标系的坐标，从三维医用图像中提取的有效质量数(effective-Z)、体组成的相关信息。另外，关于当前所显示的内窥镜图像中所包括的体内部位有无病变，也可以通过使用输入该内窥镜图像并输出关于有无病变的信息的感兴趣区域模型(学习模型)，从而在该区域进行显示。这种基于输入的内窥镜图像来输出关于有无病变等感兴趣区域的信息的感兴趣区域模型(学习模型)，可以使用例如CNN或RCNN(Regions with Convolutional Neural Network，具有卷积神经网络的区域)、Fast-RCNN、Faster RCNN或SSD(Single Shot Multibox Detector，单发多盒探测器)、YOLO(You OnlyLook Once，只看一次)等具有分割网络功能的任意物体检测算法。关于当前所显示的内窥镜图像的相位角，用显示呼吸波形的区域中的曲线图进行显示，进而在本区域中，还可以显示当前所显示的内窥镜图像的相位角与三维医用图像的相位角是否一致。
集成图像显示画面也可以配置设定显示选项的显示选项字段。在显示选项字段中，设置有用于设定是否对内窥镜图像进行半透明显示的切换开关。通过勾选该切换开关，可以基于三维医用图像中所包括的体内部位的形状数据等，对内窥镜图像所显示的体内壁面(支气管的内壁面)进行半透明化处理，并用虚线等显示位于该体内壁面里侧的体内部位。如上所述，位于该体内壁面里侧的体内部位可以是例如基于三维医用图像所确定的体内部位的形状信息而提取的病变等感兴趣区域的部位。
根据本实施方式，信息处理装置6的控制部62确定与呼吸相位同步的三维医用图像中的肺野用内窥镜40的位置，所以可对应观察对象肺的呼吸相位，确定三维医用图像中的肺野用内窥镜40的位置。X射线CT装置92等的三维医用图像的拍摄对象是肺时，该拍摄对象(肺)会伴随呼吸产生的体动。与此相对，通过使用与呼吸相位同步变为预定相位角的三维医用图像，从而可降低该呼吸产生的体动的影响，确定三维医用图像中的肺野用内窥镜40的位置，提高确定该位置的精度。确定肺野用内窥镜40的位置用到内窥镜图像拍摄时刻插入受试者体内的肺野内窥镜的插入距离(S坐标)及弯曲历史等，所以可高效地确定与该插入距离(S坐标)等对应的三维医用图像上的位置。
根据本实施方式，内窥镜图像作为例如帧率为60张等的运动图像获取，在多帧中确定呼吸相位中的相位角例如为270°(相位0％：排气)的最初帧。根据使三维医用图像与内窥镜图像同步的呼吸同步装置91输出的同步信号(与预定相位角对应)，确定相位角与该三维医用图像相同的内窥镜图像。或者，也可以基于确定的最初帧的拍摄时刻与呼吸周期的关系，对后面的帧执行附加相位角(相位)的处理。与呼吸相位同步后获取的三维医用图像例如是270°(相位0％：排气)等预定相位角(相位)。通过对该预定相位角(相位)的三维医用图像适用附加相同相位角(相位)的帧(内窥镜图像)的拍摄时刻的插入距离(S坐标)，从而基于呼吸相位使三维医用图像与内窥镜图像同步，可确定该三维医用图像中的肺野用内窥镜40的前端部443的位置。
根据本实施方式，信息处理装置6的控制部62以例如90°(吸气：50％)、180°(吸气：100％)、270°(排气(呼气)：50％)、360°(排气(呼气)：100％)四个划分的多个相位单位对获取的多个三维医用图像进行划分，按划分后的各三维医用图像确定肺野用内窥镜40的位置。由此，可以在呼吸相位的一个周期中，按该划分的个数进行采样，提高内窥镜图像相对于三维医用图像的同步频率。按该多个相位单位划分的三维医用图像对应呼吸相位进行切换后被输出，所以可向医生等肺野用内窥镜40的操作者高效地提供与受试者肺呼吸产生的体动对应的信息。
根据本实施方式，操作支持信息包括肺野用内窥镜40的插入方向、插入量、插入速度以及表示插入目的地的目标点坐标等(病变等感兴趣区域的坐标)的相关信息，因此可以向医生等肺野用内窥镜40的操作者提供有用的信息，并且可以向医生等提供诊断支持。
(实施方式2)
图9是示出实施方式2(实际时间三维图像)所涉及的信息处理装置6的控制部62执行的处理步骤的一例的流程图。信息处理装置6的控制部62与实施方式1相同，例如，基于从与本装置相连接的输入部8输入的内容，开始该流程图的处理。
信息处理装置6的控制部62获取从内窥镜用处理器20输出的检查日期时间、受试者ID以及内窥镜图像(S201)。信息处理装置6的控制部62与实施方式1的处理S101相同，获取从内窥镜用处理器20输出的检查日期时间、受试者ID以及内窥镜图像。本实施方式中，信息处理装置6的控制部62无需获取插入距离(S坐标)及弯曲历史。
信息处理装置6的控制部62从X射线CT装置92获取基于预定相位角重新构成的X射线CT三维图像(S202)。本实施方式中，信息处理装置6的控制部62获取的三维医用图像包括X射线CT所拍摄的X射线CT三维图像、以及利用后述CT透视(fluoroscopy)功能所拍摄的实际时间三维图像。该X射线CT三维图像相当于实施方式1中说明的三维医用图像，是基于对同一受试者利用肺野用内窥镜40对肺(支气管)进行检查(拍摄内窥镜图像)前所实施的X射线CT装置92等的检查结果生成的CT图像(断层像数据)重新构成的图像。与实施方式1的处理S102同样地执行S202处理，从X射线CT装置92获取基于预定相位角重新构成的X射线CT三维图像。
信息处理装置6的控制部62从X射线CT装置92获取实际时间三维图像(S203)。该X射线CT装置92例如是高速X射线CT装置，安装有CT透视功能。信息处理装置6的控制部62从X射线CT装置92获取利用CT透视功能所拍摄的实际时间三维图像。通过利用X射线CT装置92(高速X射线CT装置)所安装的CT透视功能，从而可连续重新构成秒单位等的实际时间(实时)的三维图像，拍摄(重新构成)实际时间三维图像。
利用CT透视功能拍摄以及重新构成实际时间三维图像与拍摄(获取)内窥镜图像同时并行地进行，重新构成该实际时间三维图像与拍摄(获取)内窥镜图像在相同时间轴上连续处理。因此，实际时间三维图像中包括插入肺的支气管的肺野用内窥镜40。
信息处理装置6的控制部62从呼吸同步装置91获取与呼吸的周期(呼吸周期)对应的信号(呼吸同步信号)(S204)。信息处理装置6的控制部62基于呼吸同步信号确定呼吸相位中的相位角(S205)。信息处理装置6的控制部62与实施方式1的处理S103及S104相同，执行S204及S205的处理。信息处理装置6的控制部62也可以将确定的相位角与内窥镜图像及实际时间三维图像建立关联。
信息处理装置6的控制部62确定实际时间三维图像中的肺野用内窥镜40的位置(S206)。实际时间三维图像也与X射线CT三维图像同样，用三维所示体内坐标系进行定义。与拍摄内窥镜图像同时并行地重新构成的实际时间三维图像中包含有拍摄该内窥镜图像的肺野用内窥镜40。信息处理装置6的控制部62通过对实际时间三维图像执行边缘检测或图案检测等，从而确定肺野用内窥镜40的前端部443，通过算出该前端部443的位置(体内坐标系的坐标)，从而确定该实际时间三维图像中的肺野用内窥镜40(前端部443)的位置。
信息处理装置6的控制部62通过执行X射线CT三维图像与实际时间三维图像的一致处理，从而确定X射线CT三维图像中的肺野用内窥镜40的位置(S207)。执行X射线CT三维图像与实际时间三维图像的一致处理的过程中，信息处理装置6的控制部62对两种图像执行例如使用余弦相似度的对比处理，如果对比结果的图像一致度(相似度)达到预定值以上，则判定为这些图像一致。或者，X射线CT三维图像与实际时间三维图像的一致处理也可以在输入X射线CT三维图像及实际时间三维图像时，使用输出(推测)这些图像的一致度(相似度)的图像一致度模型，判定为这些图像一致。即，图像一致度模型输出的一致度(相似度)达到预定值以上时，也可以判定为这些图像一致。或者，X射线CT三维图像与实际时间三维图像的一致处理也可以使用这些三维图像的坐标系(体内坐标系)彼此之间的整合处理。也可以通过执行该坐标系间的整合处理，从而将用实际时间三维图像确定的肺野用内窥镜40(前端部443)的位置(坐标)转换成X射线CT三维图像的坐标系中的位置(坐标)，确定X射线CT三维图像中的肺野用内窥镜40的位置(前端部443)。
信息处理装置6的控制部62也可以用分辨率高于实际时间三维图像的X射线CT三维图像，叠加确定的肺野用内窥镜40(前端部443)的位置后输出。X射线CT三维图像与呼吸相位同步，因此可降低呼吸产生的体动的影响，确定X射线CT三维图像中的肺野用内窥镜40的位置，可提高确定位置的精度。
信息处理装置6的控制部62基于导出的肺野用内窥镜40的位置及三维医用图像(X射线CT三维图像、实际时间三维图像)中所包含的感兴趣区域的位置，输出操作支持信息(S208)。信息处理装置6的控制部62与实施方式1的处理S106相同，执行S208的处理。
根据本实施方式，三维医用图像包括在肺野用内窥镜40检查前利用X射线CT所拍摄的X射线CT三维图像、以及在肺野用内窥镜40检查的同时利用CT透视功能所拍摄的实际时间三维图像。通过利用例如高速X射线CT装置中所安装的CT透视功能，从而可连续重新构成秒单位等的实际时间(实时)的三维图像，拍摄(重新构成)实际时间三维图像。拍摄该实际时间三维图像与利用肺野用内窥镜40进行检查即利用肺野用内窥镜40拍摄肺的支气管同时进行，因此肺野用内窥镜40的前端部443包含在实际时间三维图像中。由此，基于该实际时间三维图像的图像坐标系中的肺野用内窥镜40(前端部443)的坐标，可确定用实际时间三维图像所示的肺(支气管)中的肺野用内窥镜40(前端部443)的位置。基于实际时间三维图像中所包含的肺野用内窥镜40确定肺野用内窥镜40的位置的过程中，也可以通过执行X射线CT三维图像与实际时间三维图像的一致处理，从而确定X射线CT三维图像中的肺野用内窥镜40的位置。
信息处理装置6的控制部62用实际时间三维图像和分辨率高于实际时间三维图像的X射线CT三维图像，叠加确定的肺野用内窥镜40(前端部443)的位置后输出。X射线CT三维图像与呼吸相位同步，因此可降低呼吸产生的体动的影响，确定X射线CT三维图像中的肺野用内窥镜40的位置，可提高确定该位置的精度。
根据本实施方式，X射线CT三维图像在利用实际时间三维图像及肺野用内窥镜40进行检查前拍摄，该X射线CT三维图像包含受试者的整个肺。因此，如果肺存在肿瘤等病变或病变候补等感兴趣区域(ROI：Region of Interest)，则该感兴趣区域包含在X射线CT三维图像中。与呼吸相位同步的X射线CT三维图像中，已经确定当前时刻(内窥镜的拍摄时刻)的肺野用内窥镜40(前端部443)的位置(当前地点)，因此可使用该X射线CT三维图像确定从当前地点到感兴趣区域所处地点的路径，并且导出沿该路径插入肺野用内窥镜40的操作支持信息。
(实施方式3)
图10是示出实施方式3(自动操作机构434)所涉及的诊断支持系统概要的示意图。图11是例示信息处理装置6的控制部中所包括的功能部的功能框图。实施方式3的诊断支持系统S中所包括的肺野用内窥镜40具备自动操作机构434，其基于从信息处理装置6的控制部62(操作支持信息输出部624)输出的操作支持信息，自动操作控制按钮431和弯曲旋钮433。
自动操作机构434与信息处理装置6可通信地连接，获取(接收)从信息处理装置6输出(发送)的操作支持信息。自动操作机构434例如包括：根据所获取的操作支持信息生成控制按钮431或弯曲旋钮433的接通/断开信号或脉冲信号的微机(未图示)；以及基于从微机输出的这些信号，操作或驱动控制按钮431或弯曲旋钮433的电动机及凸轮机构(未图示)。如此基于从信息处理装置6输出的操作支持信息，自动操作机构434、控制按钮431及弯曲旋钮433等互相配合，根据该操作支持信息进行将肺野用内窥镜40自动插入受试者体内等自动操作。
操作支持信息包含从当前时刻的肺野用内窥镜40的前端部443的位置到病变等感兴趣区域的位置的路径的相关信息，因此通过执行与该操作支持信息对应的自动操作，从而可使肺野用内窥镜40的前端部443到达感兴趣区域的位置。操作支持信息在内窥镜图像和三维用医用图像的相位角一致时被导出，因此可降低肺呼吸产生的体动(体动)的影响，执行肺野用内窥镜40的自动插入等自动操作。
自动操作机构434从信息处理装置6的控制部62(操作支持信息输出部624)获取的操作支持信息并不限定于插入部44的插入及弯曲等操作支持信息。例如，可以在肺野用内窥镜40的插入部44设置空气注入部(未图示)或手部(未图示)，操作支持信息中包括通过空气注入部注入空气或者通过手部摘除(采样)病变部位等操作的相关信息。也就是说，操作支持信息输出部624基于所获取的三维用医用图像所确定的体内部位(支气管)的形状信息以及距离图像信息，生成空气注入部或手部操作的相关信息，并将相关信息包括在操作支持信息中，输出到自动操作机构434。自动操作机构434可以基于所获取的该操作支持信息，自动操作空气注入部或手部。另外，包括在操作支持信息中的空气注入部或手部操作的相关信息也可以在集成图像显示画面71上叠加显示于内窥镜图像等上。
根据本实施方式，基于用与呼吸相位同步的三维医用图像确定的肺野用内窥镜40的位置，可高效地输出肺野用内窥镜40的操作的相关操作支持信息，自动操作机构434根据信息处理装置6输出的操作支持信息对肺野用内窥镜40进行自动操作。因此，可以提供诊断支持系统S，向医生等操作肺野用内窥镜40的操作者有效地支持该操作。
应该理解的是，本次公开的实施方式在所有方面均为例示性的，而非限制性的。可以相互组合各个实施例中所记载的技术特征，并且旨在将落在权利要求的等同要件的含义及范围内的所有变化囊括在本发明范围内。
符号说明
S 诊断支持系统
10 内窥镜装置
15 键盘
16 收容架
20 内窥镜用处理器
21 控制部
211 图像处理部
22 主存储装置
23 辅助存储装置
24 通信部
25 触摸面板
26显示装置I/F
27输入装置I/F
28 读取部
31 内窥镜用连接器
311 电连接器
312 光学连接器
33 光源
40 肺野用内窥镜
43 操作部
431 控制按钮
433 弯曲旋钮
434 自动操作机构
44插入部(柔性管)
441 柔性部
442 弯曲部
443 前端部
444 摄像部
445 摄像元件
446 拍摄用光源
45 止弯部
48 观测器用连接器
49 通用软线
50 显示装置
6 信息处理装置
61 通信部
62 控制部
621 获取部
622 呼吸相位确定部
623 位置导出部
624 操作支持信息输出部
63 存储部
631内窥镜图像DB
632记录介质
P程序(程序产品)
64输入输出I/F
7 显示部
8 输入部
91 呼吸同步装置
92X射线CT装置。
Claims (13)
1.一种程序，其使计算机执行以下处理，即，
获取受试者呼吸相位的相关信息，
获取与所述呼吸相位同步对所述受试者体内进行拍摄而得到的三维医用图像，
从肺野用内窥镜获取所述受试者的内窥镜图像，
确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置，
将确定的所述肺野用内窥镜的位置与所述三维医用图像建立关联后输出。
2.如权利要求1所述的程序，其中，
确定所述肺野用内窥镜的位置的处理包括以下处理，即，
获取所述内窥镜图像拍摄时刻插入所述受试者体内的所述肺野用内窥镜插入距离的相关信息，并与所述呼吸相位建立关联，
根据与所述呼吸相位建立关联的所述插入距离的相关信息，确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置。
3.如权利要求1或权利要求2所述的程序，其中，
所述三维医用图像由所述呼吸相位中的预定相位角重新构成，
输出获取的所述内窥镜图像在拍摄时刻的相位角与所述三维医用图像的相位角的对应情况的相关信息。
4.如权利要求3所述的程序，其中，
以所述呼吸相位中的多个相位单位对获取的多个所述三维医用图像进行划分，
按所述划分后的三维医用图像确定所述肺野用内窥镜的位置。
5.如权利要求4所述的程序，其中，
对应所述呼吸相位，切换以所述多个相位单位进行划分的三维医用图像后输出。
6.如权利要求1至权利要求5中任一项所述的程序，其中，
所述三维医用图像包括实际时间三维图像，所述实际时间三维图像与利用所述肺野用内窥镜拍摄所述内窥镜图像并行地利用CT透视功能拍摄而得到，
根据所述实际时间三维图像中所包含的所述肺野用内窥镜，确定所述肺野用内窥镜的位置。
7.如权利要求6所述的程序，其中，
所述三维医用图像包括利用X射线CT装置拍摄的X射线CT三维图像和所述实际时间三维图像，
通过执行所述X射线CT三维图像与所述实际时间三维图像的一致处理，根据所述实际时间三维图像中所包含的所述肺野用内窥镜，确定所述X射线CT三维图像中的所述肺野用内窥镜的位置。
8.如权利要求1至权利要求7中任一项所述的程序，其中，
根据所述肺野用内窥镜的位置被确定的所述三维医用图像，输出所述肺野用内窥镜操作的相关操作支持信息。
9.如权利要求8所述的程序，其中，
所述操作支持信息包括基于所述三维医用图像导出的到感兴趣区域的路径的相关信息。
10.如权利要求8或权利要求9所述的程序，其中，
将所述操作支持信息输出到对所述肺野用内窥镜进行自动操作的自动操作机构。
11.一种信息处理方法，其使计算机执行以下处理，即，
获取受试者呼吸相位的相关信息，
获取与所述呼吸相位同步对所述受试者体内进行拍摄而得到的三维医用图像，
从肺野用内窥镜获取所述受试者的内窥镜图像，
确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置，
将确定的所述肺野用内窥镜的位置与所述三维医用图像建立关联后输出。
12.一种信息处理装置，其具备：
相位信息获取部，所述相位信息获取部获取受试者呼吸相位的相关信息；
三维医用图像获取部，所述三维医用图像获取部获取与所述呼吸相位同步对所述受试者体内进行拍摄而得到的三维医用图像；
内窥镜图像获取部，所述内窥镜图像获取部从肺野用内窥镜获取所述受试者的内窥镜图像；
位置确定部，所述位置确定部确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置；
输出部，所述输出部将确定的所述肺野用内窥镜的位置与所述三维医用图像建立关联后输出。
13.一种诊断支持系统，其具备：
肺野用内窥镜；
自动操作机构，所述自动操作机构对所述肺野用内窥镜进行自动操作；
控制部，所述控制部对所述自动操作机构进行控制，
所述控制部
获取受试者呼吸相位的相关信息，
获取与所述呼吸相位同步对所述受试者体内进行拍摄而得到的三维医用图像，
从所述肺野用内窥镜获取所述受试者的内窥镜图像，
确定与所述呼吸相位同步的所述三维医用图像中的所述肺野用内窥镜的位置，
根据所述肺野用内窥镜的位置被确定的所述三维医用图像，将所述肺野用内窥镜操作的相关操作支持信息输出到所述自动操作机构。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-170434 | 2021-10-18 | ||
| JP2021170434A JP2023060702A (ja) | 2021-10-18 | 2021-10-18 | プログラム、情報処理方法、情報処理装置及び診断支援システム |
| PCT/JP2022/031644 WO2023067885A1 (ja) | 2021-10-18 | 2022-08-23 | プログラム、情報処理方法、情報処理装置及び診断支援システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118076279A true CN118076279A (zh) | 2024-05-24 |
Family
ID=86059004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280067133.3A Pending CN118076279A (zh) | 2021-10-18 | 2022-08-23 | 程序、信息处理方法、信息处理装置以及诊断支持系统 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4420589A1 (zh) |
| JP (1) | JP2023060702A (zh) |
| CN (1) | CN118076279A (zh) |
| WO (1) | WO2023067885A1 (zh) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3034641B2 (ja) | 1991-05-31 | 2000-04-17 | オリンパス光学工業株式会社 | 内視鏡 |
| US7179220B2 (en) * | 2001-02-07 | 2007-02-20 | Siemens Corporate Research, Inc. | Method for guiding flexible instrument procedures |
| US7283652B2 (en) * | 2002-11-27 | 2007-10-16 | General Electric Company | Method and system for measuring disease relevant tissue changes |
| JP5405284B2 (ja) * | 2009-12-11 | 2014-02-05 | 株式会社東芝 | 医用画像診断装置 |
| US9861271B2 (en) * | 2010-02-18 | 2018-01-09 | Koninklijke Philips N.V. | System and method for tumor motion simulation and motion compensation using tracked bronchoscopy |
| JP5611667B2 (ja) * | 2010-05-21 | 2014-10-22 | 株式会社東芝 | Ｘ線コンピュータ断層撮影装置 |
| JP2015208443A (ja) * | 2014-04-25 | 2015-11-24 | コニカミノルタ株式会社 | 放射線撮影システム |
| JP2019037643A (ja) | 2017-08-28 | 2019-03-14 | Hoya株式会社 | 内視鏡挿入形状検出装置及び内視鏡システム |
| US20220198742A1 (en) | 2019-09-20 | 2022-06-23 | Hoya Corporation | Processor for endoscope, program, information processing method, and information processing device |
| JP7408362B2 (ja) * | 2019-11-29 | 2024-01-05 | キヤノンメディカルシステムズ株式会社 | 医用情報提供装置、医用情報提供装置の制御方法、及びプログラム |
| JP7254742B2 (ja) * | 2020-03-26 | 2023-04-10 | Hoya株式会社 | プログラム、情報処理方法、情報処理装置及び診断支援システム |
| JP2021170434A (ja) | 2020-04-14 | 2021-10-28 | 双葉電子工業株式会社 | 有機ｅｌデバイス |
-
2021
- 2021-10-18 JP JP2021170434A patent/JP2023060702A/ja active Pending
-
2022
- 2022-08-23 EP EP22883197.0A patent/EP4420589A1/en active Pending
- 2022-08-23 WO PCT/JP2022/031644 patent/WO2023067885A1/ja active Application Filing
- 2022-08-23 CN CN202280067133.3A patent/CN118076279A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023060702A (ja) | 2023-04-28 |
| EP4420589A1 (en) | 2024-08-28 |
| WO2023067885A1 (ja) | 2023-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7313512B2 (ja) | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 | |
| US10092216B2 (en) | Device, method, and non-transitory computer-readable medium for identifying body part imaged by endoscope | |
| JP7254742B2 (ja) | プログラム、情報処理方法、情報処理装置及び診断支援システム | |
| US20130281821A1 (en) | Intraoperative camera calibration for endoscopic surgery | |
| EP3506827A1 (en) | Respiration motion stabilization for lung magnetic navigation system | |
| JP6049202B2 (ja) | 画像処理装置、方法、及びプログラム | |
| WO2021250951A1 (ja) | プログラム、情報処理方法及び情報処理装置 | |
| US11488313B2 (en) | Generating a motion-compensated image or video | |
| JP4855901B2 (ja) | 内視鏡挿入形状解析システム | |
| JP2012165838A (ja) | 内視鏡挿入支援装置 | |
| EP4177664A1 (en) | Program, information processing method, and endoscope system | |
| US20180263527A1 (en) | Endoscope position specifying device, method, and program | |
| CN113749767A (zh) | 使用传感器融合的手术工具导航 | |
| JP3919799B2 (ja) | 放射線画像処理装置、放射線画像用装置、放射線画像用システム、プログラム、コンピュータ可読記憶媒体、及び放射線画像処理方法 | |
| US11056149B2 (en) | Medical image storage and reproduction apparatus, method, and program | |
| CN118076279A (zh) | 程序、信息处理方法、信息处理装置以及诊断支持系统 | |
| WO2024096084A1 (ja) | 医療支援装置、内視鏡、医療支援方法、及びプログラム | |
| WO2022239518A1 (ja) | プログラム、情報処理方法及び内視鏡システム | |
| JP2003290193A (ja) | 放射線画像処理装置、放射線画像用装置、放射線画像用システム、プログラム、コンピュータ可読記憶媒体、及び放射線画像処理方法 | |
| EP3788981B1 (en) | Systems for providing surgical guidance | |
| JP2018153345A (ja) | 内視鏡位置特定装置、方法およびプログラム | |
| JP6327695B2 (ja) | 手術支援プログラム及び手術支援システムの作動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |