CN117062571A - 图像处理装置、图像处理系统、图像显示方法及图像处理程序 - Google Patents

Abstract

图像处理装置参照使用在生物体组织的内腔中移动的传感器得到的数据集即断层数据，使表示与上述传感器的移动方向正交的上述生物体组织的截面的截面图像显示于显示器，该图像处理装置具备控制部，该控制部获取对与上述断层数据对应的空间内的至少一个部位进行指定的指定数据，并进行以下控制：在显示有上述截面图像时，在上述截面图像中的与上述至少一个部位对应的位置，显示根据上述移动方向上的上述至少一个部位与上述截面之间的距离而不同的标记。

Description

图像处理装置、图像处理系统、图像显示方法及图像处理程序

技术领域

本公开涉及图像处理装置、图像处理系统、图像显示方法及图像处理程序。

背景技术

在专利文献1至专利文献3中，记载了使用US图像系统生成心腔或血管的三维图像的技术。“US”是ultrasound(超声波)的略语。

在专利文献4中记载了将表示带电极导管的顶端位置的环或正方形显示于三维图像上的技术。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2010/0215238号说明书

专利文献2：美国专利第6385332号说明书

专利文献3：美国专利第6251072号说明书

专利文献4：日本特开2020-078551号公报

发明内容

对心腔内、心脏血管及下肢动脉区域等使用IVUS的治疗广泛进行。“IVUS”是intravascular ultrasound(血管内超声)的略语。IVUS是指提供相对于导管长轴垂直的平面的二维图像的设备或方法。

现状是，手术实施者需要通过在脑海中层叠IVUS的二维图像，一边再构筑立体构造一边进行手术，尤其是对于年轻阶层的医生或经验少的医生而言存在障碍。为了消除这样的障碍，考虑从IVUS的二维图像自动生成表现心腔或血管等生物体组织的构造的三维图像，并将所生成的三维图像向手术实施者显示。

最近，通过利用消融导管(ablation catheter)对心腔内进行烧灼而进行电气性阻断的手术不断普及。在该手术中主要使用在导管上装载位置传感器并使用位置传感器接触到心肌组织时的位置信息来描绘三维图像的3D映射系统，但该系统非常高价，花费成本。在进行PV或SVC的圆周隔离的情况下，要求标记对哪一部位进行了烧灼的操作，若能够使用IVUS完成这样的操作，则存在可降低成本的可能性。“PV”是pulmonary vein(肺静脉)的略语。“SVC”是superior vena cava(上腔静脉)的略语。

在用于对生物体组织的已被烧灼的部位等至少一个部位进行标记的系统中，若仅仅是简单地显示标记，则对于手术实施者等用户来说不能说系统的有用性是充分的。

本公开的目的在于，提高用于对与生物体组织相关联的至少一个部位进行标记(marking)的系统的有用性。

作为本公开的一个形态的图像处理装置参照使用在生物体组织的内腔中移动的传感器得到的数据集即断层数据，使表示与上述传感器的移动方向正交的上述生物体组织的截面的截面图像显示于显示器，该图像处理装置具备控制部，该控制部获取对与上述断层数据对应的空间内的至少一个部位进行指定的指定数据，并进行以下控制：在显示有上述截面图像时，在上述截面图像中的与上述至少一个部位对应的位置，显示根据上述移动方向上的上述至少一个部位与上述截面之间的距离而不同的标记。

作为一个实施方式，上述控制部根据上述距离而改变上述标记的颜色、明度、透明度、图案、大小、形状或朝向。

作为一个实施方式，上述控制部在进行显示上述标记的控制时，还进行显示上述距离的控制。

作为一个实施方式，在上述距离超过阈值的情况下，上述控制部将上述标记设为非显示。

作为一个实施方式，上述控制部根据上述至少一个部位存在于上述移动方向上的上述截面的前后哪一方，来改变上述标记。

作为一个实施方式，上述至少一个部位是上述生物体组织的已被烧灼的部位，上述控制部还进行以下控制：在显示有上述截面图像时，显示用于烧灼上述生物体组织的导管与上述至少一个部位之间的距离。

作为一个实施方式，上述控制部还进行以下控制：在上述至少一个部位仅为一个部位的情况下，在上述截面图像上显示插入至上述生物体组织的导管与上述一个部位之间的距离的控制；以及在上述至少一个部位为多个部位的情况下，在上述截面图像上显示上述导管与上述多个部位中的距上述导管最近的部位之间的距离的控制。

作为一个实施方式，上述控制部还进行以下控制：在上述至少一个部位仅为一个部位的情况下，在上述截面图像上显示将插入至上述生物体组织的导管与上述一个部位连结的线的控制；以及在上述至少一个部位为多个部位的情况下，在上述截面图像上显示将上述导管与上述多个部位中的距上述导管最近的部位连结的线的控制。

作为一个实施方式，上述控制部参照上述断层数据生成表示上述生物体组织的三维数据，使所生成的三维数据作为三维图像显示于上述显示器，上述控制部还进行以下控制：在上述至少一个部位仅为一个部位的情况下，在上述三维图像上显示插入至上述生物体组织的导管与上述一个部位之间的距离的控制；以及在上述至少一个部位为多个部位的情况下，在上述三维图像上显示上述导管与上述多个部位中的距上述导管最近的部位之间的距离的控制。

作为一个实施方式，上述控制部参照上述断层数据生成表示上述生物体组织的三维数据，使所生成的三维数据作为三维图像显示于上述显示器，上述控制部还进行以下控制：在上述至少一个部位仅为一个部位的情况下，在上述三维图像上显示将插入至上述生物体组织的导管与上述一个部位连结的线的控制；以及在上述至少一个部位为多个部位的情况下，在上述三维图像上显示将上述导管与上述多个部位中的距上述导管最近的部位连结的线的控制。

作为一个实施方式，上述控制部受理在上述截面图像上对上述至少一个部位进行指定的用户操作。

作为一个实施方式，上述控制部在每次使用上述传感器得到新的数据集时，都使表示与上述传感器的位置对应的截面的新的图像作为上述截面图像显示于上述显示器。

作为本公开的一个形态的图像处理系统具备上述图像处理装置和上述传感器。

作为一个实施方式，上述图像处理系统还具备上述显示器。

作为本公开的一个形态的图像显示方法参照利用在生物体组织的内腔中移动的传感器得到的数据集即断层数据，使表示与上述传感器的移动方向正交的上述生物体组织的截面的截面图像显示于显示器，在该图像显示方法中，计算机获取对与上述断层数据对应的空间内的至少一个部位进行指定的指定数据，上述计算机进行以下控制：在显示有上述截面图像时，在上述截面图像中的与上述至少一个部位对应的位置，显示根据上述移动方向上的上述至少一个部位与上述截面之间的距离而不同的标记。

作为本公开的一个形态的图像处理程序使计算机执行以下处理，上述计算机参照利用在生物体组织的内腔中移动的传感器得到的数据集即断层数据，使表示与上述传感器的移动方向正交的上述生物体组织的截面的截面图像显示于显示器，上述处理为，获取对与上述断层数据对应的空间内的至少一个部位进行指定的指定数据的处理；以及进行以下控制的处理：在显示有上述截面图像时，在上述截面图像中的与上述至少一个部位对应的位置，显示根据上述移动方向上的上述至少一个部位与上述截面之间的距离而不同的标记。

发明效果

根据本公开，用于对与生物体组织相关联的至少一个部位进行标记的系统的有用性提高。

附图说明

图1是本公开的实施方式的图像处理系统的立体图。

图2是表示通过本公开的实施方式的图像处理系统而显示于显示器上的三维图像及截面图像的例子的图。

图3是表示通过本公开的实施方式的图像处理系统形成的切断区域的例子的图。

图4是表示本公开的实施方式的图像处理装置的结构的框图。

图5是本公开的实施方式的探头及驱动单元的立体图。

图6是表示本公开的实施方式的图像处理系统的动作的流程图。

图7是表示本公开的实施方式的图像处理系统的动作的流程图。

图8是表示在本公开的实施方式的图像处理系统中指定的部位的例子的图。

图9是表示在本公开的实施方式的图像处理系统中指定的部位的例子的图。

图10是表示在本公开的实施方式的图像处理系统中指定的部位的例子的图。

图11是表示在本公开的实施方式的图像处理系统中指定的部位的例子的图。

图12是表示本公开的实施方式的图像处理系统的动作的流程图。

图13是表示在本公开的实施方式中将生物体组织的截面图像二值化的结果的图。

图14是表示在本公开的实施方式中提取生物体组织的内壁面的点群得到的结果的图。

图15是表示在本公开的实施方式中计算生物体组织的截面的重心位置得到的结果的图。

图16是表示在本公开的实施方式中计算生物体组织的多个截面的重心位置得到的结果的图。

图17是表示对图16的结果执行了平滑化的结果的图。

图18是表示在本公开的实施方式的图像处理系统中指定的部位的例子的图。

图19是表示在本公开的实施方式的图像处理系统中指定的部位的例子的图。

图20是通过本公开的实施方式的图像处理系统而显示于显示器上的标记的例子的图。

图21是表示本公开的实施方式的图像处理系统的动作的流程图。

图22是表示在本公开的实施方式的变形例的图像处理系统中指定的部位的例子的图。

图23是表示在本公开的实施方式的变形例的图像处理系统中指定的部位的例子的图。

图24是通过本公开的实施方式的变形例的图像处理系统而显示于显示器上的标记的例子的图。

图25是表示通过本公开的实施方式的另一变形例的图像处理系统而显示于显示器上的标记的例子的图。

图26是表示通过本公开的实施方式的又另一变形例的图像处理系统而显示于显示器上的三维图像及截面图像的例子的图。

具体实施方式

以下，参照附图来说明本公开的几个实施方式。

在各图中，对相同或相当的部分标注相同的附图标记。在各个实施方式的说明中，对于相同或相当的部分适当省略或简化说明。

对本公开的一个实施方式进行说明。

参照图1至图4来说明本实施方式的概要。

本实施方式的图像处理装置11是参照使用在生物体组织60的内腔61中移动的传感器得到的数据集即断层数据51使截面图像54显示于显示器16的计算机，其中该截面图像54表示与传感器的移动方向正交的生物体组织60的截面64。

图像处理装置11获取将与断层数据51对应的空间内的至少一个部位指定为点Pd的指定数据。在图2的例子中，生物体组织60的内壁面65的、利用导管63烧灼后的6个部位被指定为点P1、P2、P3、P4、P5、P6。

图像处理装置11进行以下控制：在显示有截面图像54时，在截面图像54中的与点Pd对应的位置，显示根据传感器的移动方向上的点Pd与截面64之间的距离而不同的标记55。截面图像54中的与点Pd对应的位置是指，使点Pd在传感器的移动方向上移动到与截面64相同的位置而得到的位置。在图2的例子中，在截面图像54中的与点P1、P2、P3、P4、P5、P6对应的位置，分别显示有标记M1、M2、M3、M4、M5、M6。由于点P5、P6存在于截面64上，所以标记M5、M6以最深的颜色显示。由于点P4在传感器的移动方向上从截面64分离距离Db，所以标记M4以比标记M5、M6浅的颜色显示。由于点P2、P3在传感器的移动方向上从截面64分离距离Dc，且距离Dc比距离Db长，所以标记M2、M3以最浅的颜色显示。由于点P1在传感器的移动方向上从截面64分离距离Da，且距离Da与距离Db相等，所以标记M1以与标记M4相同的颜色显示。

根据本实施方式，在用于对与断层数据51对应的空间内的至少一个部位进行标记的系统中，用户能够直观地理解该部位在传感器的移动方向上的相对位置。因此，系统的有用性提高。

在本实施方式中，图像处理装置11参照使用传感器得到的数据集即断层数据51，生成及更新表示生物体组织60的三维数据52。图像处理装置11将三维数据52设为三维图像53并使其与截面图像54一起显示于显示器16。即，图像处理装置11参照断层数据51使三维图像53及截面图像54显示于显示器16。

图像处理装置11在三维图像53中将使生物体组织60的内腔61露出的开口62形成于三维数据52。在图2的例子中，以能看到全部的点P1、P2、P3、P4、P5、P6的方式形成有开口62。并且，根据开口62的位置，调整将三维图像53显示于画面时的视点。视点是指配置于三维空间的假想的摄像头的位置。

根据本实施方式，在三维图像53中，通过切除生物体组织60的构造的一部分，能够探视生物体组织60的内腔61。

生物体组织60例如包括血管或心脏等脏器。生物体组织60在解剖学上不仅仅限于单一的器官或其一部分，也包括跨多个器官具有内腔的组织。作为这样的组织的一例，具体而言可列举从下腔静脉的上部穿过右心房到达上腔静脉的下部的血管系统组织的一部分。在图2及图3的例子中，生物体组织60是血管。

在图2中，Z方向相当于传感器的移动方向，但如图3所示，方便起见，Z方向也可以视为相当于生物体组织60的内腔61的长度方向。与Z方向正交的X方向、以及与Z方向及X方向正交的Y方向可以分别视为相当于生物体组织60的内腔61的短边方向。

在图3的例子中，图像处理装置11使用三维数据52计算出生物体组织60的截面C1、C2、C3、C4各自的重心B1、B2、B3、B4的位置。图像处理装置11将以从重心B1、B2、B3、B4的位置穿过的一根线Lb相交的一对面设定为剖切面D1、D2。图像处理装置11将在三维图像53中夹于剖切面D1、D2且使生物体组织60的内腔61露出的区域设为切断区域66而形成于三维数据52。在三维图像53中，通过将切断区域66设为非显示或透明，从而形成图2那样的开口62。

在如图3那样弯曲的血管的三维模型的情况下，若以一个平面切断三维模型而显示内腔61，则存在无法正确地对血管内进行显示的情形(case)。在本实施方式中，通过如图3那样连续捕捉血管的重心，能够以能可靠地对血管之中进行显示的方式切断三维模型。

在图3中，方便起见，作为与Z方向正交的生物体组织60的多个截面而示出了四个截面C1、C2、C3、C4，但成为重心位置的计算对象的截面的数量不限于四个，优选与利用IVUS获取的截面图像的数量相同。

参照图1来说明本实施方式的图像处理系统10的结构。

图像处理系统10具备图像处理装置11、缆线12、驱动单元13、键盘14、鼠标15及显示器16。

图像处理装置11在本实施方式中是专门用于图像诊断的专用的计算机，但也可以是PC等通用的计算机。“PC”是personal computer(个人计算机)的略语。

缆线12为了将图像处理装置11与驱动单元13连接而使用。

驱动单元13与图5所示的探头20连接而使用，是驱动探头20的装置。驱动单元13也被称为MDU。“MDU”是motor drive unit(马达驱动单元)的略语。探头20适用于IVUS。探头20也被称为IVUS导管或图像诊断用导管。

键盘14、鼠标15及显示器16经由任意的缆线或以无线方式与图像处理装置11连接。显示器16例如是LCD、有机EL显示器或HMD。“LCD”是liquid crystal display(液晶显示器)的略语。“EL”是electro luminescence(电致发光)的略语。“HMD”是head-mounteddisplay(头戴式显示器)的略语。

图像处理系统10作为可选项还具备连接端子17及手推车单元18。

连接端子17为了将图像处理装置11与外部设备连接而使用。连接端子17例如是USB端子。“USB”是Universal Serial Bus(通用串行总线)的略语。外部设备例如是磁盘驱动器、光磁盘驱动器或光盘驱动器等记录介质。

手推车单元18是带移动用小脚轮的手推车。在手推车单元18的手推车主体上设置图像处理装置11、缆线12及驱动单元13。在手推车单元18的最上部的台子上设置键盘14、鼠标15及显示器16。

参照图5来说明本实施方式的探头20及驱动单元13的结构。

探头20具备驱动轴21、座部22、鞘管23、外管24、超声波振子25及中继连接器26。

驱动轴21从插入至生物体的体腔内的鞘管23、和与鞘管23的基端连接的外管24中穿过，延伸至设于探头20基端的座部22的内部。驱动轴21在顶端具有收发信号的超声波振子25，并以能够旋转的方式设于鞘管23及外管24内。中继连接器26将鞘管23与外管24。

座部22、驱动轴21及超声波振子25以分别一体地沿轴向进退的方式相互连接。因此，例如，若进行了将座部22朝向顶端侧推动的操作，则驱动轴21及超声波振子25在鞘管23的内部向顶端侧移动。例如，若进行了将座部22向基端侧拉动的操作，则驱动轴21及超声波振子25如箭头所示在鞘管23的内部向基端侧移动。

驱动单元13具备扫描仪单元31、滑动单元32及底罩33。

扫描仪单元31经由缆线12与图像处理装置11连接。扫描仪单元31具备与探头20连接的探头连接部34和作为使驱动轴21旋转的驱动源的扫描仪马达35。

探头连接部34经由设于探头20基端的座部22的插入口36而与探头20装拆自如地连接。在座部22的内部，驱动轴21的基端旋转自如地被支承，扫描仪马达35的旋转力向驱动轴21传递。另外，经由缆线12在驱动轴21与图像处理装置11之间收发信号。在图像处理装置11中，基于从驱动轴21传递的信号，进行生物体管腔的断层图像的生成以及图像处理。

滑动单元32将扫描仪单元31以进退自如的方式载置，并与扫描仪单元31机械连接且电连接。滑动单元32具备探头夹持部37、滑动马达38及开关组39。

探头夹持部37在比探头连接部34靠顶端侧的位置与探头连接部34同轴地配置而设置，对与探头连接部34连接的探头20进行支承。

滑动马达38是产生轴向的驱动力的驱动源。扫描仪单元31通过滑动马达38的驱动而进退动作，与此相伴，驱动轴21沿轴向进退动作。滑动马达38例如是伺服马达。

开关组39中包括例如在扫描仪单元31的进退操作时被按压的前进开关及拉回开关、以及在图像描绘的开始及结束时被按压的扫描开关。不限定于此处的例子，根据需要开关组39包括各种开关。

若前进开关被按压，则滑动马达38正转，扫描仪单元31前进。另一方面，若拉回开关被按压，则滑动马达38反转，扫描仪单元31后退。

若扫描开关被按压则图像描绘开始，扫描仪马达35驱动，并且滑动马达38驱动而使扫描仪单元31后退。手术实施者等用户事先将探头20连接于扫描仪单元31，在图像描绘开始的同时驱动轴21旋转并向轴向基端侧移动。若扫描开关被再此按压则扫描仪马达35及滑动马达38停止，图像描绘结束。

底罩33覆盖滑动单元32的底面及底面侧的侧面整周，相对于滑动单元32的底面接近远离自如。

参照图4来说明图像处理装置11的结构。

图像处理装置11具备控制部41、存储部42、通信部43、输入部44和输出部45。

控制部41包括至少一个处理器、至少一个可编程电路、至少一个专用电路或它们的任意组合。处理器是CPU或GPU等通用处理器、或者专用于特定处理的专用处理器。“CPU”是central processing unit(中央处理单元)的略语。“GPU”是graphics processing unit(图形处理单元)的略语。可编程电路例如是FPGA。“FPGA”是field-programmable gatearray(现场可编程门阵列)的略语。专用电路例如是ASIC。“ASIC”是application specificintegrated circuit(专用集成电路)的略语。控制部41一边控制包括图像处理装置11在内的图像处理系统10的各部分，一边执行与图像处理装置11的动作相关的处理。

存储部42包括至少一个半导体存储器、至少一个磁存储器、至少一个光存储器或它们的任意组合。半导体存储器例如是RAM或ROM。“RAM”是random access memory(随机存取存储器)的略语。“ROM”是read only memory(只读存储器)的略语。RAM例如是SRAM或DRAM。“SRAM”是static random access memory(静态随机存取存储器)的略语。“DRAM”是dynamic random access memory(动态随机存取存储器)的略语。ROM例如是EEPROM。“EEPROM”是electrically erasable programmable read only memory(电可擦可编程只读存储器)的略语。存储部42例如作为主存储装置、辅助存储装置或高速缓冲存储器发挥功能。在存储部42中存储断层数据51等在图像处理装置11的动作中使用的数据、和三维数据52及三维图像53等通过图像处理装置11的动作得到的数据。

通信部43包括至少一个通信用接口。通信用接口例如是有线LAN接口、无线LAN接口或对IVUS的信号进行接收及A/D转换的图像诊断用接口。“LAN”是local area network(局域网)的略语。“A/D”是analog to digital(模拟到数字)的略语。通信部43接收在图像处理装置11的动作中使用的数据，另外发送通过图像处理装置11的动作得到的数据。在本实施方式中，在通信部43所包含的图像诊断用接口连接驱动单元13。

输入部44包括至少一个输入用接口。输入用接口例如是USB接口、HDMI(注册商标)接口或Bluetooth(注册商标)等与近距离无线通信标准对应的接口。“HDMI(注册商标)”是High-Definition Multimedia Interface(高清晰度多媒体接口)的略语。输入部44受理对在图像处理装置11的动作中使用的数据进行输入的操作等用户的操作。在本实施方式中，在输入部44所包含的USB接口或与近距离无线通信对应的接口连接键盘14及鼠标15。在触摸屏与显示器16一体地设置的情况下，可以在输入部44所包含的USB接口或HDMI(注册商标)接口连接显示器16。

输出部45包括至少一个输出用接口。输出用接口例如是USB接口、HDMI(注册商标)接口或Bluetooth(注册商标)等与近距离无线通信标准对应的接口。输出部45输出通过图像处理装置11的动作得到的数据。在本实施方式中，在输出部45所包含的USB接口或HDMI(注册商标)接口连接显示器16。

图像处理装置11的功能通过利用作为控制部41的处理器执行本实施方式的图像处理程序而实现。即，图像处理装置11的功能由软件实现。图像处理程序通过使计算机执行图像处理装置11的动作而使计算机作为图像处理装置11发挥功能。即，计算机通过按照图像处理程序执行图像处理装置11的动作，而作为图像处理装置11发挥功能。

程序能够存储于非暂时性计算机可读介质。非暂时性计算机可读介质例如是闪存、磁记录装置、光盘、光磁记录介质或ROM。程序的流通例如通过贩卖、转让或出借存储有程序的SD卡、DVD或CD－ROM等可移动型介质而进行。“SD”是Secure Digital(安全数字)的略语。“DVD”是digital versatiledisc(数字多功能光盘)的略语。“CD－ROM”是compactdisc read only memory(只读存贮性光盘)的略语。也可以通过将程序保存于服务器的存储器、并从服务器向其他计算机传送程序而使程序流通。也可以将程序作为程序产品提供。

计算机例如将存储在可移动型介质中的程序或从服务器传送的程序暂时保存于主存储装置。然后，计算机利用处理器读取主存储装置中所保存的程序，并利用处理器执行按照所读取的程序的处理。计算机也可以从可移动型介质直接读取程序并执行按照程序的处理。计算机也可以在每次从服务器向计算机传送了程序时，逐次执行按照所接收的程序的处理。也可以是，利用不执行从服务器向计算机的程序传送、而是仅通过执行指示及结果获取来实现功能的所谓ASP型的服务来执行处理。“ASP”是application service provider(应用服务提供商)的略语。程序中包括是供基于电子计算机的处理用的信息且比照为程序的信息。例如，虽然并非针对计算机的直接指令但具有对计算机的处理进行规定的性质的数据符合“比照为程序的信息”。

图像处理装置11的一部分或全部功能也可以由作为控制部41的可编程电路或专用电路实现。即，图像处理装置11的一部分或全部功能也可以由硬件实现。

参照图6来说明本实施方式的图像处理系统10的动作。图像处理系统10的动作相当于本实施方式的图像显示方法。

在图6的流程开始前，由用户对探头20进行启动。之后，探头20被嵌入至驱动单元13的探头连接部34及探头夹持部37，连接及固定于驱动单元13。然后，探头20被插入至血管或心脏等生物体组织60内的目标部位。

在步骤S101中，通过按压开关组39所包含的扫描开关、进一步按压开关组39所包含的拉回开关，进行所谓的拉回操作。探头20在生物体组织60的内部利用通过拉回操作而沿轴向后退的超声波振子25发送超声波。超声波振子25一边在生物体组织60的内部移动一边以放射线状发送超声波。超声波振子25接收所发送的超声波的反射波。探头20将由超声波振子25接收到的反射波的信号向图像处理装置11输入。图像处理装置11的控制部41对所输入的信号进行处理并依次生成生物体组织60的截面图像，由此获取包含多个截面图像的断层数据51。

具体而言，探头20一边在生物体组织60的内部使超声波振子25沿周向旋转且沿轴向移动，一边通过超声波振子25向从旋转中心朝向外侧的多个方向发送超声波。探头20在生物体组织60的内部利用超声波振子25接收来自分别存在于多个方向的反射物的反射波。探头20将接收到的反射波的信号经由驱动单元13及缆线12向图像处理装置11发送。图像处理装置11的通信部43接收从探头20发送的信号。通信部43对接收到的信号进行A/D转换。通信部43将A/D转换后的信号向控制部41输入。控制部41对所输入的信号进行处理，计算出来自在超声波振子25的超声波发送方向上存在的反射物的反射波的强度值分布。控制部41将具有与计算出的强度值分布相当的亮度值分布的二维图像依次生成为生物体组织60的截面图像，由此获取作为截面图像的数据集的断层数据51。控制部41使所获取的断层数据51存储于存储部42。

在本实施方式，超声波振子25接收的反射波的信号相当于断层数据51的原始数据，图像处理装置11对反射波的信号进行处理而生成的截面图像相当于断层数据51的加工数据。

作为本实施方式的一个变形例，图像处理装置11的控制部41也可以使从探头20输入的信号直接作为断层数据51存储于存储部42。或者，控制部41也可以使对从探头20输入的信号进行处理而计算出的表示反射波的强度值分布的数据作为断层数据51存储于存储部42。即，断层数据51不限于生物体组织60的截面图像的数据集，只要是以某种形式表示超声波振子25的各移动位置处的生物体组织60的截面的数据即可。

作为本实施方式的一个变形例，也可以代替一边沿周向旋转一边向多个方向发送超声波的超声波振子25，而使用在不旋转的情况下向多个方向发送超声波的超声波振子。

作为本实施方式的一个变形例，断层数据51也可以代替使用IVUS获取而使用OFDI或OCT获取。“OFDI”是optical frequency domain imaging(光学频域成像)的略语。“OCT”是optical coherence tomography(光学相干断层扫描)的略语。在使用OFDI或OCT的情况下，作为一边在生物体组织60的内腔61中移动一边获取断层数据51的传感器，取代在生物体组织60的内腔61中发送超声波并获取断层数据51的超声波振子25，而使用在生物体组织60的内腔61中放射光并获取断层数据51的传感器。

作为本实施方式的一个变形例，也可以取代由图像处理装置11生成生物体组织60的截面图像的数据集，而由其他装置生成同样的数据集，且图像处理装置11从该其他装置获取该数据集。即，也可以是，取代图像处理装置11的控制部41对IVUS的信号进行处理而生成生物体组织60的截面图像，而是由其他装置对IVUS的信号进行处理而生成生物体组织60的截面图像，并将所生成的截面图像向图像处理装置11输入。

在步骤S102中，图像处理装置11的控制部41基于在步骤S101中获取到的断层数据51而生成生物体组织60的三维数据52。即，控制部41基于由传感器获取到的断层数据51而生成三维数据52。在此，在存在已生成完毕的三维数据52的情况下，优选的是，并非从头开始重新生成全部三维数据52，而是仅对所更新的断层数据51所对应的部位的数据进行更新。该情况下，能够削减生成三维数据52时的数据处理量，使之后的步骤S103中的三维图像53的实时性提高。

具体而言，图像处理装置11的控制部41将存储于存储部42的断层数据51所包含的生物体组织60的截面图像层叠而三维化，由此生成生物体组织60的三维数据52。作为三维化的方法，可以使用面绘制或体绘制等绘制方法、以及附随于此的、包括环境映射的纹理映射、及凹凸映射等各种处理中的任意方法。控制部41使所生成的三维数据52存储于存储部42。

在消融导管等IVUS导管之外的导管63被插入至生物体组织60的情况下，在断层数据51中与生物体组织60的数据同样地包含导管63的数据。因此，在步骤S102中，在由控制部41生成的三维数据52中也与生物体组织60的数据同样地包含导管63的数据。

图像处理装置11的控制部41将在步骤S101中获取到的断层数据51所包含的截面图像的像素组分类为两个以上的类别(class)。这两个以上的类别中至少包括生物体组织60所属的“组织”的类别、和导管63所属的“导管”的类别，也可以还包括“血球”的类别、导丝等“导管”以外的“医疗器具”的类别、留置支架等“留置物”的类别、或者钙化或斑块等“病变”的类别。作为分类方法，可以使用任意的方法，在本实施方式中，使用通过学习完毕模型对截面图像的像素组进行分类的方法。学习完毕模型通过事先进行机器学习，而被训练为能够从由样本构成的IVUS的截面图像检测出与各类别相符的区域。

在步骤S103中，图像处理装置11的控制部41使在步骤S102中生成的三维数据52作为三维图像53显示于显示器16。在该时间点下，控制部41可以将使三维图像53显示的角度设定为任意的角度。控制部41使在步骤S101中获取到的断层数据51所包含的最新的截面图像54与三维图像53一起显示于显示器16。

具体而言，图像处理装置11的控制部41从存储于存储部42的三维数据52生成三维图像53。控制部41使存储于存储部42中的断层数据51所包含的生物体组织60的截面图像中的、最新的截面图像54和所生成的三维图像53经由输出部45显示于显示器16。

参照图7来说明在步骤S103中进一步执行的处理的顺序。

在与断层数据51对应的空间内的至少一个部位已被指定为点Pd的情况下，执行步骤S301及步骤S302的处理。在没有已指定部位的情况下，跳过步骤S301及步骤S302的处理。

在步骤S301中，图像处理装置11的控制部41计算出传感器的移动方向上的、从点Pd到在截面图像54中表示的生物体组织60的截面64为止的距离。

在步骤S302中，图像处理装置11的控制部41进行在截面图像54中的与点Pd对应的位置显示根据在步骤S301中计算出的距离而不同的标记55的控制。控制部41在本实施方式中根据计算出的距离而改变标记55的颜色，但也可以与颜色一起或者取代颜色，而改变明度、透明度、图案、大小、形状、朝向或它们的任意组合。例如，可以是，点Pd越接近截面64则使标记55越大，越远离截面64则使标记55越小。或者，也可以是，若点Pd存在于截面64则将标记55设为矩形，若点Pd存在于其他截面则将标记55设为圆形等矩形以外的形状。或者，也可以是，若点Pd存在于截面64，则用白框包围标记55或使标记55闪烁。根据这些例子，能够利用一个画面明确地示出过去的烧灼位置以何种程度远离、以及已经在哪个角度方向进行了烧灼。

在图2的例子中，若设为点P1、P2、P3、P4、P5已指定完毕，则图像处理装置11的控制部41针对点P1计算出距离Da，针对点P2、P3计算出距离Dc，针对点P4计算出距离Db，针对点P5计算出距离0。若设为距离Da与距离Db相等且距离Dc比距离Db长，则控制部41进行以下控制：在截面图像54中的与点P5对应的位置显示最深颜色的标记M5，在截面图像54中的与点P1、P4对应的位置显示比标记M5浅的颜色的标记M1、M4，在截面图像54中的与点P2、P3对应的位置显示最浅颜色的标记M2、M3。

作为本实施方式的一个变形例，图像处理装置11的控制部41也可以在进行显示标记55的控制时，还进行使传感器的移动方向上的点Pd与截面64之间的距离进行显示的控制。所显示的距离的单位例如是毫米。在图2的例子中，控制部41也可以进行以下控制：在标记M1的旁边显示距离Da，在标记M2、M3的旁边显示距离Dc，在标记M4的旁边显示距离Db。

作为本实施方式的一个变形例，图像处理装置11的控制部41也可以在传感器的移动方向上的点Pd与截面64之间的距离超过阈值的情况下，将标记55设为非显示。在图2的例子中，也可以是，若阈值小于距离Dc，则控制部41将标记M2、M3设为非显示。

作为本实施方式的一个变形例，图像处理装置11的控制部41也可以根据点Pd存在于传感器的移动方向上的截面64的前后哪一方来改变标记55。在图2的例子中，点P1存在于传感器的移动方向上的截面64的前方、即截面64的上方。点P2、P3、P4存在于传感器的移动方向上的截面64的后方、即截面64的下方。因此，控制部41可以将标记M1的颜色、明度、透明度、图案、大小、形状、朝向或它们的任意组合设定为不同于标记M2、M3、M4。例如，也可以将标记M1设为向上凸起的三角形，将标记M2、M3、M4设为向下凸起的三角形。在将标记M1的颜色设定为与标记M2、M3、M4不同的颜色的情况下，可以以也能够确保与距离相应的差异的方式设定颜色。例如，若将标记M1的颜色设定为红色、将标记M2、M3、M4的颜色设定为蓝色，则可以将标记M1的红色的浓度(深度)设定为与标记M4的蓝色的浓度为同程度，将标记M2、M3的蓝色的浓度设定为比标记M4的蓝色浅。根据这些例子，能够利用一个画面明确地示出过去的烧灼位置在上下哪一方向以何种程度远离。

作为本实施方式的一个变形例，图像处理装置11的控制部41也可以还进行使导管63与点Pd之间的距离显示的控制。所显示的距离的单位例如是毫米。所显示的距离可以是平面上的距离，但为三维空间内的距离、即实际的距离。在图2的例子中，控制部41也可以进行在距导管63为最短距离的点P5的旁边显示从导管63到点P5的距离的控制。控制部41也可以还进行在截面图像54中的与导管63的顶端对应的位置显示与标记55不同的标记的控制。

在步骤S303中，图像处理装置11的控制部41判定导管63是否正在与生物体组织60的内壁面65接触。具体而言，控制部41对截面图像54进行解析，检测截面图像54内的生物体组织60及导管63。并且，控制部41通过计测生物体组织60与导管63的顶端之间的距离，来判定生物体组织60与导管63的顶端是否正在接触。或者，控制部41对三维数据52进行解析，检测三维数据52所包含的导管63的顶端。并且，控制部41通过计测生物体组织60与导管63的顶端之间的距离，来判定生物体组织60与导管63的顶端是否正在接触。控制部41也可以从使用设于导管63顶端的电极来判定导管63的顶端是否正在与生物体组织60的内壁面65接触的外部系统，经由通信部43或输入部44而接收表示导管63的顶端所接触的位置的位置数据的输入。并且，控制部41也可以参照所输入的位置数据，对截面图像54或三维数据52的解析结果进行修正。

步骤S303的处理也可以使用AI来执行。“AI”是artificial intelligence(人工智能)的略语。作为本实施方式的一个变形例，也可以取代执行步骤S303的处理，而由人来判定导管63是否正在与生物体组织60的内壁面65接触。

在判定为导管63正在与生物体组织60的内壁面65接触的情况下，执行步骤S304及步骤S305的处理。在判定为导管63未与生物体组织60的内壁面65接触的情况下，跳过步骤S304及步骤S305的处理。

在步骤S304中，图像处理装置11的控制部41获取将生物体组织60的内壁面65的、导管63所接触的部位指定为点Pd的指定数据。于在该时间点之前已经将与断层数据51对应的空间内的至少一个部位指定为点Pd的情况下，对于被指定为点Pd的部位追加一个部位。控制部41在本实施方式中通过受理在截面图像54上将至少一个部位指定为点Pd的用户操作，来获取对点Pd进行指定的数据作为指定数据，但也可以通过将在步骤S303中导管63的顶端所接触的位置自动地检测为点Pd，而将对点Pd进行指定的数据作为指定数据获取。

在步骤S305中，图像处理装置11的控制部41进行在截面图像54中的、与由在步骤S304中获取到的指定数据指定的部位对应的位置显示新的标记的控制。

在图2的例子中，若设为点P6已被烧灼，则图像处理装置11的控制部41将对点P6进行指定的数据作为指定数据获取。控制部41进行在截面图像54中的与点P6对应的位置显示与标记M5相同颜色的标记M6的控制。

在本实施方式中，图像处理装置11的控制部41每次使用传感器得到新的数据集，都使表示与传感器的位置对应的截面64的新图像作为截面图像54显示于显示器16。因此，若通过拉回操作使传感器移动，则传感器的移动方向上的从点Pd到截面64的距离发生变化，随着该距离的变化，标记55也变化。用户通过确认该标记55的变化，能够获得通过拉回操作而传感器向点Pd接近的感觉或传感器从点Pd远离的感觉。

作为本实施方式的一个变形例，也可以标记生物体组织60的内壁面65的、由导管63烧灼后的部位以外的部位。即，点Pd不限于消融点(烧灼点)。例如，若设为生物体组织60是血管，则如图8所示，也可以将血管的分支72的根部指定为点Pd。或者，如图9所示，也可以将血管中产生的动脉瘤74的根部指定为点Pd。或者，如图10所示，也可以将神经75的与血管交叉的部位指定为点Pd。或者，如图11所示，也可以将在血管周边产生的肿瘤76的一个部位指定为点Pd。

在图8中，上侧示出实际作为截面图像54而显示于显示器16上的血管的各横截面的图像，下侧是血管的纵截面的示意图。在该示意图中，各点线表示作为截面64的各横截面的位置。关于图9，也与图8是同样的。图10是血管的纵截面的示意图。关于图11，也与图10是同样的。

在图8至图11的例子中，标记55的大小根据传感器的移动方向上的从点Pd到截面64为止的距离而变化。在图8的例子中，用户若希望以不会钩挂分支72的方式隔开一定距离而留置支架71，则能够通过一边进行拉回操作一边确认标记55的大小的变化，而简单地确定应留置支架71的位置。在图9的例子中，用户若希望以覆盖动脉瘤74的方式使支架型人工血管(stent-graft)73跨越一定距离而留置，则能够通过一边进行拉回操作一边确认标记55的大小的变化，而简单地确认应留置支架型人工血管73的位置。作为一个变形例，用户若希望使支架型人工血管73的孔与血管的分支一致而留置支架型人工血管73，则能够通过一边进行拉回操作一边确认标记55的大小的变化，而简单地确定应留置支架型人工血管73的位置。根据该例，放置支架型人工血管73的位置的、距分支的距离及方向也能够简单地确认。在图10的例子，若用户希望避开与血管交叉的神经75而进行消融，或者希望进行神经75周边的消融，则能够通过一边进行拉回操作一边确认标记55的大小的变化，而简单地确定应进行消融的位置。神经75也可以是与血管交叉的其他血管。在图11的例子中，用户若希望从位于血管周边的肿瘤76隔开一定距离而注射药物，则能够通过一边进行拉回操作一边确认标记55的大小的变化，而简单地确定应注射药物的位置。在任一例子中均是，也可以利用数值来显示传感器的移动方向上的从点Pd到截面64的距离。或者，在传感器的移动方向上的从点Pd到截面64的距离成为目标距离时，可以改变标记55的颜色等的显示方式，或者也可以将标记55设为非显示。

在步骤S104中，若作为用户的变更操作存在对使三维图像53显示的角度进行设定的操作，则执行步骤S105的处理。若没有用户的变更操作，则执行步骤S106的处理。

在步骤S105中，图像处理装置11的控制部41经由输入部44受理对使三维图像53显示的角度进行设定的操作。控制部41将使三维图像53显示的角度调整为所设定的角度。而且，在步骤S103中，控制部41使三维图像53以在步骤S105中设定的角度显示于显示器16。

具体而言，图像处理装置11的控制部41经由输入部44受理用户使用键盘14、鼠标15或与显示器16一体设置的触摸屏使显示于显示器16的三维图像53旋转的操作。控制部41根据用户的操作而交互地调整使三维图像53显示于显示器16的角度。或者，控制部41经由输入部44受理用户使用键盘14、鼠标15或与显示器16一体设置的触摸屏输入使三维图像53显示的角度的数值的操作。控制部41与所输入的数值相匹配地调整使三维图像53显示于显示器16的角度。

在步骤S106中，若存在断层数据51的更新，则执行步骤S107及步骤S108的处理。若没有断层数据51的更新，则在步骤S104中再次确认有无用户的变更操作。

在步骤S107中，图像处理装置11的控制部41与步骤S101的处理同样地，对从探头20输入的信号进行处理而新生成生物体组织60的截面图像54，由此获取至少包含一个新的截面图像54的断层数据51。

在步骤S108中，图像处理装置11的控制部41基于在步骤S107中获取到的断层数据51而更新生物体组织60的三维数据52。即，控制部41基于由传感器获取到的断层数据51而更新三维数据52。而且，在步骤S103中，控制部41使在步骤S108中更新后的三维数据52作为三维图像53显示于显示器16。控制部41使在步骤S107中获取到的断层数据51所包含的最新的截面图像54与三维图像53一起显示于显示器16。在步骤S108中，优选仅对所更新的断层数据51所对应的部位的数据进行更新。该情况下，能够削减生成三维数据52时的数据处理量，在步骤S108中提高三维图像53的实时性。

如上所述，在本实施方式中，图像处理装置11的控制部41参照使用在生物体组织60的内腔61中移动的传感器得到的数据集即断层数据51，使表示与传感器的移动方向正交的生物体组织60的截面64的截面图像54显示于显示器16。控制部41获取将与断层数据51对应的空间内的至少一个部位指定为点Pd的指定数据。控制部41进行如下控制：在显示有截面图像54时，在截面图像54中的与点Pd对应的位置，显示根据传感器的移动方向上的点Pd与截面64之间的距离而不同的标记55。因此，根据本实施方式，用于标记与生物体组织60相关联的点Pd的系统的有用性提高。

根据本实施方式，能够引导消融手术，标记烧灼点。通过利用截面图像54确认消融点，与利用三维图像53确认消融点的情况相比，能够获知细致且准确的信息。有时并非在同一平面上进行圆周隔离，而是相对于IVUS导管的轴倾斜地进行圆周隔离，但在本实施方式中，即使在这样的情况下，也能够确认全部消融点。而且，能够确认各消融点是否位于以截面图像54表示的截面64，另外若没有位于截面64，则能够确认各消融点以何种程度远离截面64。

在本实施方式中，断层数据51针对每个超声波图像将超声波图像上的各像素分类为“组织”、“血球”或“内腔”、以及IVUS导管以外的“导管”等的类别，并针对每个类别将使像素组在传感器的移动方向上层叠得到的体数据(volume data)作为数据集包含。该体数据相当于体素信息。作为指定数据，表示点Pd的位置的数据也作为与“组织”、“血球”或“内腔”、以及“导管”等的类别不同的“标记部位”这一类别的体数据而组入至数据集中，基于该体数据显示标记55。如后所述，也可以是，在求出从重心起的向量并调整标记部位的情况下，在计算出向量后，作为“标记部位”并非将表示点Pd的位置的数据本身、而是将向量、即表示朝向的数据组入至数据集中。

在本实施方式中，作为对点Pd进行指定的方法，可以使用手术实施者等用户在二维图像上对点Pd的位置进行指定的方法。例如，使用用户利用鼠标15在二维图像上对点Pd进行点击的方法。作为本实施方式的一个变形例，也可以使用用户在三维图像53上对点Pd的位置进行指定的方法。例如，也可以使用用户利用鼠标15在三维图像53上对点Pd进行点击的方法。或者，也可以使用基于已执行了烧灼这一信息自动地将消融导管所接触的区域指定为点Pd的方法。已执行了烧灼这一信息可以手动输入至图像处理装置11，或者也可以从控制消融导管的装置输入至图像处理装置11。在任一变形例中均是，在以二维坐标或三维坐标指定1点的情况下，将以所指定的点为中心的一定范围标记为一个部位。在指定以某个点为中心的一个范围的情况下，将所指定的范围标记为一个部位。例如，可以利用圆形或球形的点将一定大小的范围指定为消融点。作为传感器的移动方向上的点Pd与截面64之间的距离，也可以计算从所指定的范围的中心到截面64的距离。

参照图12来进一步说明本实施方式的图像处理系统10的动作。

在步骤S111中，若作为用户的设定操作而存在对切断区域66进行设定的操作，则执行步骤S112的处理。

在步骤S112中，图像处理装置11的控制部41经由输入部44受理对切断区域66进行设定的操作。

在步骤S113中，图像处理装置11的控制部41使用存储于存储部42的最新的三维数据52，计算出生物体组织60的内腔61的短边方向的多个截面的重心位置。对于最新的三维数据52，若未执行步骤S108的处理，则是在步骤S102中生成的三维数据52；若执行了步骤S108的处理，则是在步骤S108中更新后的三维数据52。在此，在存在已经生成完毕的三维数据52的情况下，优选并非从头开始全部重新生成三维数据52，而是仅对所更新的断层数据51所对应的部位的数据进行更新。该情况下，能够削减生成三维数据52时的数据处理量，使之后的步骤S117中的三维图像53的实时性提高。

具体而言，图像处理装置11的控制部41如图13所示，若在步骤S107中生成了对应的新的截面图像54，则将在步骤S101中生成的多个截面图像分别置换为该新的截面图像54并将其二值化。控制部41如图14所示从二值化后的截面图像提取生物体组织60的内壁面65的点群。例如，控制部41沿着将r轴设为横轴、将θ轴设为纵轴的截面图像的纵向一个一个地提取与主血管的内壁面相符的点，由此提取血管的内壁面的点群。控制部41也可以仅仅是求出所提取的内壁面的点群的重心，但在该情况下，由于点群在内壁面的范围内未均匀地采样，所以重心位置产生偏移。因此，在本实施方式中，控制部41计算出所提取的内壁面的点群的凸包，使用如以下那样求出多边形的重心的式子而计算出重心位置C_n＝(C_x，C_y)。其中，在以下的式子中，作为图14所示那样的内壁面的点群，设为n个顶点(x₀，y₀)、(x₁，y₁)、···、(x_n－1，y_n－1)逆时针地存在于凸包上，(x_n，y_n)视为(x₀，y₀)。

[数式1]

将作为结果得到的重心位置示于图15。在图15中，点Cn是截面图像的中心。点Bp是内壁面的点群的重心。点Bv是多边形的顶点的重心。点Bx是作为凸包的多边形的重心。

作为计算血管的重心位置的方法，也可以使用计算作为凸包的多边形的重心位置的方法以外的方法。例如，也可以使用在未二值化的原始截面图像中，将收束于主血管的最大圆的中心位置计算为重心位置的方法。或者，也可以使用在将r轴设为横轴、将θ轴设为纵轴的二值化的截面图像中，将主血管区域的像素的平均位置计算为重心位置的方法。即使在生物体组织60并非血管的情况下，也能够使用与这些相同的方法。

在步骤S114中，图像处理装置11的控制部41对步骤S113的重心位置的算出结果执行平滑化(smoothing)。

如图16所示，可知在将重心位置的计算结果作为时间函数观察的情况下，搏动的影响大幅产生。因此，在本实施方式中，图像处理装置11的控制部41如图17中以虚线所示，通过利用移动平均而对重心位置的计算结果执行平滑化。

作为平滑化的方法，也可以利用移动平均之外的方法。例如，可以利用指数平滑法、核方法、局部回归、Ramer-Douglas-Peucker算法、Savitzky-Golay法、平滑样条曲线或SGM。或者，也可以利用在执行快速傅里叶变换后除去高频成分的方法。或者，也可以利用卡尔曼滤波器或巴特沃斯滤波器、切比雪夫滤波器、数字滤波器、椭圆滤波器或者KZ滤波器等低通滤波器。“SGM”是stretched grid method(拉伸网格法)的略语。“KZ”是Kolmogorov-Zurbenko的略语。

若仅仅是执行平滑化，则存在重心位置进入组织中的情况。该情况下，控制部41也可以根据Z方向上的、与Z方向正交的生物体组织60的多个截面的位置而将重心位置的计算结果分割，并针对分割后的每个计算结果执行平滑化。即，控制部41也可以在如图17中以虚线所示那样的重心位置的曲线与组织区域重叠的情况下，将重心位置的曲线分割成多个区间，针对每个区间执行单独的平滑化。或者，控制部41也可以根据Z方向上的、与Z方向正交的生物体组织60的多个截面的位置调整对重心位置的计算结果执行的平滑化的程度。即，控制部41也可以在如图17中以虚线所示那样的重心位置的曲线与组织区域重叠的情况下，使针对包含重叠的点在内在一部分区间执行的平滑化的程度减少。

在步骤S115中，图像处理装置11的控制部41如图3所示将以从在步骤S113中计算出的重心位置穿过的一根线Lb相交(交叉)的两个平面设定为剖切面D1、D2。在本实施方式中，控制部41在步骤S114中对重心位置的计算结果执行了平滑化的基础上设定剖切面D1、D2，但步骤S114的处理也可以省略。

具体而言，图像处理装置11的控制部41将作为步骤S114的平滑化的结果而得到的重心位置的曲线设定为线Lb。控制部41将以所设定的线Lb相交的一对面设定为剖切面D1、D2。控制部41在存储于存储部42的最新的三维数据52中，将与生物体组织60的剖切面D1、D2交叉的三维坐标确定为在三维图像53中使生物体组织60的内腔61露出的开口62的缘的三维坐标。控制部41使确定出的三维坐标存储于存储部42。

在步骤S116中，图像处理装置11的控制部41将在三维图像53中被剖切面D1、D2夹持且使生物体组织60的内腔61露出的区域作为切断区域66而形成于三维数据52。

具体而言，图像处理装置11的控制部41在存储于存储部42的最新的三维数据52中，将以存储于存储部42的三维坐标确定的部分设定为在使三维图像53显示于显示器16时成为非显示或透明。即，控制部41形成在步骤S112中设定的切断区域66。

在步骤S117中，图像处理装置11的控制部41使在步骤S116中形成了切断区域66的三维数据52作为三维图像53显示于显示器16。控制部41使在步骤S103中显示于显示器16的截面图像54、即二维图像与三维图像53一起显示于显示器16。

具体而言，图像处理装置11的控制部41生成以存储于存储部42的三维坐标确定的部分成为非显示或透明的、图2所示那样的三维图像53。控制部41经由输出部45使存储于存储部42的断层数据51所包含的生物体组织60的截面图像中的、最新的截面图像54和所生成的三维图像53显示于显示器16。

在步骤S117中，与步骤S103同样地进一步执行图7所示的处理。

在步骤S118中，若作为用户的变更操作而存在设定切断区域66的操作，则执行步骤S119的处理。若不存在用户的变更操作，则执行步骤S120的处理。

在步骤S119中，图像处理装置11的控制部41与步骤S112的处理同样地，经由输入部44受理设定切断区域66的操作。然后，执行步骤S115以后的处理。

在步骤S120中，若存在断层数据51的更新，则执行步骤S121及步骤S122的处理。若不存在断层数据51的更新，则在步骤S118中再次确认有无用户的变更操作。

在步骤S121中，图像处理装置11的控制部41与步骤S101或步骤S107的处理同样地，通过对从探头20输入的信号进行处理新生成生物体组织60的截面图像54，从而获取包含至少一个新的截面图像54的断层数据51。

在步骤S122中，图像处理装置11的控制部41基于在步骤S121中获取到的断层数据51，更新生物体组织60的三维数据52。之后，执行步骤S113以后的处理。在步骤S122中，优选仅对所更新的断层数据51所对应的部位的数据进行更新。该情况下，能够削减生成三维数据52时的数据处理量，使步骤S113以后的数据处理的实时性提高。

在本实施方式中，使用二维图像进行标记，但作为本实施方式的一个变形例，也可以使用三维图像53进行标记。在使用二维图像进行标记的情况下，即使如图18那样标记了点Pd，若如图19所示探头20的轴偏移，则三维空间的轴也偏移而标记变得没有意义。例如，在图18中，截面图像54的中心Pc的位置与截面图像54的重心Pb的位置一致，但在图19中，截面图像54的中心Pc的位置从截面图像54的重心Pb的位置大幅偏移。因此，虽然在图18中点Pd存在于内壁面65，但在图19中，点Pd从内壁面65大幅偏移。为了应对这样的课题，在本实施方式中，如图20所示，在将点Pd和内腔61的重心Pb连结的直线、与生物体组织60的内壁面65的交点处显示标记55。即使在如图20那样探头20的轴偏移的情况下，重心Pb的位置也不变，从重心Pb向点Pd的方向没有变化，因此，能够消除图19那样的标记的偏移。即使假设轴未偏移，也存在因搏动的影响而内壁面65移动的情况，即使在该情况下，也能够消除标记的偏移。同样地，在使用三维图像53进行标记的情况下，即使如图22那样标记了点Pd，若如图23那样中心Pc的位置偏移，则点Pd的位置也会偏移。因此，与本实施方式同样地，如图24所示，例如通过在相对于截面C2的重心B2而言的相对位置处显示标记55，能够消除图23那样的标记的偏移。

参照图21来说明标记处理的顺序。

关于步骤S311的处理，由于与图7的步骤S303的处理相同，所以省略说明。

在判定为导管63正在与生物体组织60的内壁面65接触的情况下，执行步骤S312以后的处理。在判定为导管63未与生物体组织60的内壁面65接触的情况下，结束图21的流程。

在步骤S312中，图像处理装置11的控制部41与图7的步骤S304同样地，获取将生物体组织60的内壁面65的、导管63所接触的部位指定为点Pd的指定数据。控制部41在本实施方式中通过受理在截面图像54上将至少一个部位指定为点Pd的用户操作，将对点Pd进行指定的数据获取为指定数据，但也可以通过在步骤S311中将导管63的顶端所接触的位置自动地检测为点Pd，而将对点Pd进行指定的数据获取为指定数据。

在步骤S313中，图像处理装置11的控制部41参照断层数据51，将从截面64中的重心Pb朝向以在步骤S304中获取到的指定数据指定的点Pd的方向确定为指定方向。

在步骤S314中，图像处理装置11的控制部41根据在步骤S313中确定出的指定方向、和重心Pb的位置，将截面64中的与点Pd对应的位置确定为对应位置。具体而言，图像处理装置11的控制部41参照断层数据51，检测存在于截面64上的生物体组织60的内壁面65。控制部41在截面图像54中将从重心Pb的位置向在步骤S313中确定出的指定方向延伸的直线与所检测出的内壁面65交叉的位置确定为对应位置。

在步骤S315中，图像处理装置11的控制部41进行于在步骤S314中确定出的对应位置显示标记55的控制。

作为本实施方式的一个变形例，在步骤S314中，图像处理装置11的控制部41也可以在截面图像54中将从如下直线与所检测出的内壁面65交叉的位置向内腔61的一侧偏移的位置确定为对应位置，该直线是从重心Pb的位置向在步骤S313中确定出的指定方向延伸的直线。即，在比将点Pd和重心Pb连结的直线与生物体组织60的内壁面65的交点稍靠壁的外侧的位置显示标记55。根据该变形例，可避免内壁面65的边缘被标记55隐藏而边缘部分的信息消失的情况。在该变形例中，内壁面65与标记55的显示位置之间的距离存储于存储部42，在每次显示标记55时被读出并适用。

作为本实施方式的一个变形例，在步骤S314中，图像处理装置11的控制部41在截面图像54中将从如下直线与所检测出的内壁面65交叉的位置向内腔61的相反侧偏移的位置确定为对应位置，该直线是从重心Pb的位置向在步骤S313中确定出的指定方向延伸的直线。即，也可以在比将点Pd和重心Pb连结的直线、与生物体组织60的内壁面65的交点稍靠壁的内侧处显示标记55。根据该变形例，可避免内壁面65的边缘被标记55隐藏而边缘部分的信息消失的情况。在该变形例中，内壁面65与标记55的显示位置之间的距离、或生物体组织60的外壁面与标记55的显示位置之间的距离存储于存储部42，在每次显示标记55时被读出并适用。或者，内壁面65与外壁面之间的标记55的相对显示位置存储于存储部42，在每次显示标记55时被读出并适用。例如，用户在向左心室的壁注入iPS细胞时，即使因搏动而壁的厚度发生变动，由于标记55始终显示于壁内，所以也能够简单地确定应注入细胞的位置。

在该变形例中，如图25所示，标记55也可以表示烧灼位置。在图25的例子中，生物体组织60的内腔61显示为三维物体，生物体组织60成为非显示以使得获知内腔61的形状。表示内腔61的三维物体的外表面相当于生物体组织60的内壁面65。通过在比该外表面稍靠外侧的位置并列配置作为标记55的球体，相比于在外表面或比外表面靠内侧的位置放置球体的情况，容易看到烧灼位置。

作为本实施方式的一个变形例，在步骤S314中，图像处理装置11的控制部41也可以参照断层数据51计算出截面64中的从重心Pb到点Pd的距离。控制部41也可以在截面图像54中在从重心Pb的位置向指定方向延伸的直线上，将以计算出的距离从重心Pb的位置向指定方向远离的位置确定为对应位置。

如上所述，在本实施方式中，图像处理装置11的控制部41参照使用在生物体组织60的内腔61中移动的传感器得到的数据集即断层数据51，使表示生物体组织60的图像显示于显示器16。控制部41获取将与断层数据51对应的空间内的至少一个部位指定为点Pd的指定数据。控制部41参照断层数据51，将包含点Pd在内的与传感器的移动方向正交的生物体组织60的截面64上的从重心Pb起的点Pd的方向确定为指定方向。控制部41根据确定出的指定方向、和重心Pb的位置，将表示生物体组织60的图像中的与点Pd对应的位置确定为对应位置。控制部41进行在显示有表示生物体组织60的图像时，在确定出的对应位置显示标记55的控制。因此，根据本实施方式，能够在用于对生物体组织60的点Pd进行标记的系统中消除标记的偏移。

在本实施方式中，作为“表示生物体组织60的图像”，使用截面图像54，但也可以取代截面图像54而使用三维图像53。该情况下，图像处理装置11的控制部41也可以进行以下控制：在表示生物体组织60的图像中，将生物体组织60的内壁面整体中的、包含对应位置的第1区域、和该第1区域周围的第2区域设定为不同颜色，由此显示标记55。在指定点Pd时，在以二维坐标或三维坐标指定1个点的情况下，将以所指定的点为中心的一定范围标记为第1区域。在指定以某个点为中心的一个范围的情况下，将所指定的范围标记为第1区域。例如，可以利用圆形或球形的指针将一定大小的范围指定为第1区域。

在本实施方式中，在生物体组织60的多个部位已被指定为点Pd的情况下，在与该多个部位对应的位置分别显示标记55，但作为本实施方式的一个变形例，也可以仅针对该多个部位中的、存在于与传感器的位置对应的截面64上的部位显示标记55。该情况下，也可以存储设定有标记55的图像的信息，并在作为截面图像54显示有相同的图像时，显示所设定的标记55。

本公开不限定于上述的实施方式。例如，也可以将框图中记载的两个以上的框合并，或者也可以对一个框进行分割。也可以取代按照记述以时间序列执行流程图所记载的两个以上的步骤，而根据执行各步骤的装置的处理能力或根据需要并列地或以不同顺序执行。另外，能够在不脱离本公开的主旨的范围内进行变更。

例如，图像处理装置11控制部41也可以如图26所示还进行以下控制：在多个部位被指定为点Pd的情况下，在截面图像54上显示插入至生物体组织60的导管63与该多个部位中的距导管63最近的部位之间的距离。或者，控制部41也可以还进行以下控制：在仅一个部位被指定为点Pd的情况下，在截面图像54上显示导管63与该一个部位之间的距离。所显示的距离的单位例如是毫米。所显示的距离可以是平面上的距离，但为三维空间内的距离、即实际的距离。在图26的例子中，生物体组织60的内壁面65的、由导管63烧灼后的6个部位被指定为点P1、P2、P3、P4、P5、P6。若设为这6个部位中的、被指定为点P6的部位距导管63最近，则在截面图像54上显示导管63与截面图像54中的对应于点P6的位置之间的距离。在图26的例子中，作为距离而显示有“15.7mm”这一文本。控制部41也可以如图26所示还进行在截面图像54中的与导管63对应的位置显示与标记55不同的标记的控制。

图像处理装置11的控制部41也可以如图26所示还进行以下控制：在多个部位被指定为点Pd的情况下，在截面图像54上显示将导管63与该多个部位中的距导管63最近的部位连结的线56。或者，控制部41也可以还进行以下控制：在仅一个部位被指定为点Pd的情况下，在截面图像54上显示将导管63与该一个部位连结的线。在图26的例子中，生物体组织60的内壁面65的、由导管63烧灼后的6个部位被指定为点P1、P2、P3、P4、P5、P6。若设为这6个部位中的、被指定为点P6的部位距导管63最近，则作为线56，在截面图像54上显示将导管63与截面图像54中的对应于点P6的位置连结的直线。在图26的例子中，在截面图像54中的对应于导管63的位置，显示有与标记55不同的标记，并显示有将该标记与标记M6连结的直线。

在心律不齐导管消融术中，目标是通过使用消融导管将可疑的电产生源以线状或圆周状烧灼而使产生源与心脏区域断开。然而，在Point by Point的术式中，存在烧灼点间过度远离而断开失败、无法实现手术目标的可能性。因此，需要使烧灼点彼此的间隔紧密。根据上述的例子，能够一边在二维图像中观察消融导管与距消融导管最近的烧灼点之间的距离，一边决定下一烧灼点。因此，易于使烧灼点彼此的间隔紧密。其结果是，能够提高实现手术目标的可能性。

例如，图像处理装置11的控制部41也可以如图26所示还进行以下控制：在多个部位被指定为点Pd的情况下，在三维图像53上显示导管63与该多个部位中的距导管63最近的部位之间的距离。或者，控制部41也可以还进行以下控制：在仅一个部位被指定为点Pd的情况下，在三维图像53上显示导管63与该一个部位之间的距离。所显示的距离的单位例如是毫米。所显示的距离是三维空间内的距离、即实际的距离。在图26的例子中，生物体组织60的内壁面65的、由导管63烧灼后的6个部位被指定为点P1、P2、P3、P4、P5、P6。若设为这6个部位中的被指定为点P6的部位距导管63最近，则在三维图像53上显示导管63与点P6之间的距离。在图26的例子中，作为距离而显示有“15.7mm”这一文本。

图像处理装置11的控制部41也可以如图26所示还进行以下控制：在多个部位被指定为点Pd的情况下，在三维图像53上显示将导管63与该多个部位中的距导管63最近的部位连结的线57。或者，控制部41也可以还进行以下控制：在仅一个部位被指定为点Pd的情况下，在三维图像53上显示将导管63与该一个部位连结的线。在图26的例子中，生物体组织60的内壁面65的、由导管63烧灼后的6个部位被指定为点P1、P2、P3、P4、P5、P6。若设为这6个部位中的、被指定为点P6的部位距导管63最近，则作为线57，在三维图像53上显示将导管63与截面图像54中的对应于点P6的位置连结的直线。在图26的例子中，显示有将三维图像53中的导管63的顶端与点P6连结的直线。

根据上述的例子，能够一边在三维图像53中观察消融导管与距消融导管最近的烧灼点之间的距离，一边决定下一烧灼点。因此，易于使烧灼点彼此的间隔紧密。其结果是，能够提高实现手术目标的可能性。

附图标记说明

10图像处理系统

11图像处理装置

12缆线

13驱动单元

14键盘

15鼠标

16显示器

17连接端子

18手推车单元

20探头

21驱动轴

22座部

23鞘管

24外管

25超声波振子

26中继连接器

31扫描仪单元

32滑动单元

33底罩

34探头连接部

35扫描仪马达

36插入口

37探头夹持部

38滑动马达

39开关组

41控制部

42存储部

43通信部

44输入部

45输出部

51断层数据

52三维数据

53三维图像

54截面图像

55标记

56线

57线

60生物体组织

61内腔

62开口

63导管

64截面

65内壁面

66切断区域

71支架

72分支

73支架型人工血管

74动脉瘤

75神经

76肿瘤。

Claims (16)

1.一种图像处理装置，其参照使用在生物体组织的内腔中移动的传感器得到的数据集即断层数据，使表示与所述传感器的移动方向正交的所述生物体组织的截面的截面图像显示于显示器，该图像处理装置的特征在于，

具备控制部，该控制部获取对与所述断层数据对应的空间内的至少一个部位进行指定的指定数据，并进行以下控制：在显示有所述截面图像时，在所述截面图像中的与所述至少一个部位对应的位置，显示根据所述移动方向上的所述至少一个部位与所述截面之间的距离而不同的标记。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述控制部根据所述距离而改变所述标记的颜色、明度、透明度、图案、大小、形状或朝向。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述控制部在进行显示所述标记的控制时，还进行显示所述距离的控制。

4.根据权利要求1至3中任一项所述的图像处理装置，其特征在于，

在所述距离超过阈值的情况下，所述控制部将所述标记设为非显示。

5.根据权利要求1至4中任一项所述的图像处理装置，其特征在于，

所述控制部根据所述至少一个部位存在于所述移动方向上的所述截面的前后哪一方，来改变所述标记。

6.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，

所述至少一个部位是所述生物体组织的已被烧灼的部位，

所述控制部还进行以下控制：在显示有所述截面图像时，显示用于烧灼所述生物体组织的导管与所述至少一个部位之间的距离。

7.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，

所述控制部还进行以下控制：在所述至少一个部位仅为一个部位的情况下，在所述截面图像上显示插入至所述生物体组织的导管与所述一个部位之间的距离的控制；以及在所述至少一个部位为多个部位的情况下，在所述截面图像上显示所述导管与所述多个部位中的距所述导管最近的部位之间的距离的控制。

8.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，

所述控制部还进行以下控制：在所述至少一个部位仅为一个部位的情况下，在所述截面图像上显示将插入至所述生物体组织的导管与所述一个部位连结的线的控制；以及在所述至少一个部位为多个部位的情况下，在所述截面图像上显示将所述导管与所述多个部位中的距所述导管最近的部位连结的线的控制。

9.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，

所述控制部参照所述断层数据生成表示所述生物体组织的三维数据，使所生成的三维数据作为三维图像显示于所述显示器，所述控制部还进行以下控制：在所述至少一个部位仅为一个部位的情况下，在所述三维图像上显示插入至所述生物体组织的导管与所述一个部位之间的距离的控制；以及在所述至少一个部位为多个部位的情况下，在所述三维图像上显示所述导管与所述多个部位中的距所述导管最近的部位之间的距离的控制。

10.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，

所述控制部参照所述断层数据生成表示所述生物体组织的三维数据，使所生成的三维数据作为三维图像显示于所述显示器，所述控制部还进行以下控制：在所述至少一个部位仅为一个部位的情况下，在所述三维图像上显示将插入至所述生物体组织的导管与所述一个部位连结的线的控制；以及在所述至少一个部位为多个部位的情况下，在所述三维图像上显示将所述导管与所述多个部位中的距所述导管最近的部位连结的线的控制。

11.根据权利要求1至10中任一项所述的图像处理装置，其特征在于，

所述控制部通过受理在所述截面图像上对所述至少一个部位进行指定的用户操作，而获取所述指定数据。

12.根据权利要求1至11中任一项所述的图像处理装置，其特征在于，

所述控制部在每次使用所述传感器得到新的数据集时，都使表示与所述传感器的位置对应的截面的新的图像作为所述截面图像显示于所述显示器。

13.一种图像处理系统，其特征在于，具备：

权利要求1至12中任一项所述的图像处理装置；和

所述传感器。

14.根据权利要求13所述的图像处理系统，其特征在于，

还具备所述显示器。

15.一种图像显示方法，参照利用在生物体组织的内腔中移动的传感器得到的数据集即断层数据，使表示与所述传感器的移动方向正交的所述生物体组织的截面的截面图像显示于显示器，该图像显示方法的特征在于，

计算机获取对与所述断层数据对应的空间内的至少一个部位进行指定的指定数据，

所述计算机进行以下控制：在显示有所述截面图像时，在所述截面图像中的与所述至少一个部位对应的位置，显示根据所述移动方向上的所述至少一个部位与所述截面之间的距离而不同的标记。

16.一种图像处理程序，其特征在于，使计算机执行以下处理，

所述计算机参照利用在生物体组织的内腔中移动的传感器得到的数据集即断层数据，使表示与所述传感器的移动方向正交的所述生物体组织的截面的截面图像显示于显示器，

所述处理为，

获取对与所述断层数据对应的空间内的至少一个部位进行指定的指定数据的处理；以及

进行以下控制的处理：在显示有所述截面图像时，在所述截面图像中的与所述至少一个部位对应的位置，显示根据所述移动方向上的所述至少一个部位与所述截面之间的距离而不同的标记。