CN113645907B - 诊断支援装置、诊断支援系统以及诊断支援方法 - Google Patents

Abstract

诊断支援装置具备控制部，所述控制部进行下述的控制，将利用在血液通过的生物组织的内部发送的超声波的反射波的信号而生成的、包括所述生物组织的二维图像所包含的多个像素，与包括生物组织类型在内的两个以上的类型相关联，由与所述生物组织类型相关联的像素群生成所述生物组织的三维图像，显示所生成的所述生物组织的三维图像。

Description

诊断支援装置、诊断支援系统以及诊断支援方法

技术领域

本发明涉及诊断支援装置、诊断支援系统以及诊断支援方法。

背景技术

专利文献1至专利文献3中记载了如下述这样的技术，其中，对通过MRI系统、X射线CT图像系统或者US图像系统等的医疗图像系统而取得的图像中捕获的心腔或血管的轮廓进行检测，并将心腔或血管的图像区域与其它的图像区域分割。“MRI”是magneticresonance imaging(磁共振成像)的缩写。“CT”是computed tomography(计算机断层扫描)的缩写。“US”是ultrasound(超声波)的缩写。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2010/0215238号说明书

专利文献2：美国专利第6385332号说明书

专利文献3：美国专利第6251072号说明书

发明内容

发明所要解决的课题

针对心腔内、心脏血管和下肢动脉区域等使用IVUS的治疗被广为进行。“IVUS”是intravascular ultrasound(血管内超声)的缩写。IVUS是指提供相对于导管长轴垂直的平面的二维图像的器械或方法。

作为现状，施术者需要一边通过在头脑中层叠IVUS的二维图像而重构立体结构一边进行手术，特别地对于年轻的医生或者经验浅的医生而言存在障碍。为了消除这样的障碍，考虑由IVUS的二维图像自动生成表示心腔或血管等生物组织的结构的三维图像，并向施术者显示所生成的三维图像。

IVUS使用从约6MHz至60MHz的高频段，因此，在IVUS的二维图像中拍进了微小的颗粒，特别地，强烈地反映了血细胞噪音。因此，对于以往这样的对在图像中捕获的心腔或血管的轮廓进行检测的方法而言，其不能精度优良地将IVUS的二维图像中所包含的生物组织的图像区域与血细胞等其它图像区域区分。即使假设通过那样的方法能够生成三维图像，被表示的生物组织的结构也不准确，因此，可能对手术的安全带来障碍。

本发明的目的在于，提高由超声波的二维图像中生成的、表示生物组织的结构的三维图像的准确性。

用于解决课题的手段

对于作为本发明的一个方面的诊断支援装置而言，其具备控制部，所述控制部进行下述的控制，将利用在血液通过的生物组织的内部发送的超声波的反射波的信号而生成的、包括所述生物组织的二维图像所包含的多个像素，与包括生物组织类型在内的两个以上的类型相关联，由与所述生物组织类型相关联的像素群生成所述生物组织的三维图像，显示所生成的所述生物组织的三维图像。

作为本发明的一实施方式，在所述两个以上的类型中还包括血细胞类型，所述控制部从所述多个像素中排除与所述血细胞类型相关联的像素群，生成所述生物组织的三维图像。

作为本发明的一实施方式，所述控制部进行下述的控制，对与所述生物组织类型相关联的像素群和生成的所述生物组织的三维图像中的任一项进行分析，算出所述生物组织的厚度，并显示算出的所述生物组织的厚度。

作为本发明的一实施方式，在所述两个以上的类型中还包括医疗器具类型，所述控制部进行下述控制，由与所述医疗器具类型相关联的一个以上的像素生成所述医疗器具的三维图像，以能够相互区分的形式显示生成的所述生物组织的三维图像与所述医疗器具的三维图像。

作为本发明的一实施方式，所述控制部执行第1分类处理和第2分类处理，所述第1分类处理将所述二维图像所包含的所述多个像素与所述医疗器具类型和其它的一个以上的类型相关联，所述第2分类处理将除了通过所述第1分类处理与所述医疗器具类型相关联的一个以上的像素以外的所述二维图像平滑化，并将平滑化后的二维图像所包含的像素群与包括所述生物组织类型在内的一个以上的类型相关联。

作为本发明的一实施方式，所述控制部执行第1分类处理和第2分类处理，所述第1分类处理将所述二维图像平滑化，并将平滑化前的所述二维图像所包含的所述多个像素与所述医疗器具类型和其它的一个以上的类型相关联的第1分类处理，所述第2分类处理将除了通过所述第1分类处理与所述医疗器具类型相关联的一个以上的像素以外的、平滑化后的二维图像所包含的像素群与包括所述生物组织类型在内的一个以上的类型相关联。

作为本发明的一实施方式，所述控制部进行下述的控制，在与所述医疗器具类型相关联的一个以上的像素中包含显示了相互不同的医疗器具的两个以上的像素的情况下，按每个医疗器具生成所述医疗器具的三维图像，以按每个医疗器具可以区分的形式显示所生成的所述医疗器具的三维图像。

作为本发明的一实施方式，一边变更在所述生物组织的内部的所述超声波的发送位置，一边依次生成所述二维图像，所述控制部基于在前生成的所述二维图像所包含的所述多个像素的相关联结果，决定是否将新生成的所述二维图像所包含的所述多个像素的一个以上的像素与所述医疗器具类型相关联。

作为本发明的一实施方式，所述控制部使用学得模型而对所述二维图像所包含的所述多个像素赋予关联。

作为本发明的一实施方式，所述控制部对所述反射波的信号进行处理从而生成所述二维图像，每次生成新的所述二维图像时，在接着生成所述二维图像之前，生成与新生成的所述二维图像相对应的所述生物组织的三维图像。

作为本发明的一实施方式，所述控制部以每秒15次以上且90次以下的速度生成所述二维图像。

作为本发明的一个方面的诊断支援系统，其具备所述诊断支援装置，和在所述生物组织的内部发送所述超声波、向所述控制部输入所述反射波的信号的探针。

作为本发明的一个方面的诊断支援方法中，探针在血液通过的生物组织的内部发送超声波，诊断支援装置将通过所述超声波的反射波的信号生成的、包括所述生物组织的二维图像所包含的多个像素与包括生物组织类型在内的两个以上的类型相关联，所述诊断支援装置由与所述生物组织类型相关联的像素群生成所述生物组织的三维图像，显示器显示通过所述诊断支援装置生成的所述生物组织的三维图像。

发明效果

根据本发明的一实施方式，提高了由超声波的二维图像中生成的、表示生物组织的结构的三维图像的准确性。

附图说明

[图1]为本发明的一实施方式涉及的诊断支援系统的立体图。

[图2]为示出本发明的一实施方式涉及的二维图像中所包含的多个像素的分类例的图。

[图3]为本发明的一实施方式涉及的探针和驱动单元的立体图。

[图4]为示出本发明的一实施方式涉及的诊断支援装置的构成的框图。

[图5]为示出本发明的一实施方式涉及的诊断支援系统的动作的流程图。

[图6]为示出本发明的一实施方式涉及的诊断支援装置的数据流的图。

[图7]为示出本发明的一实施方式涉及的学得模型的输入输出例的图。

[图8]为示出本发明的一实施方式涉及的学得模型的安装示例的图。

[图9]为示出本发明的一实施方式涉及的学得模型的安装示例的图。

[图10]为示出本发明的一实施方式涉及的学得模型的安装示例的图。

[图11]为示出本发明的一实施方式涉及的三维图像的示例的图。

[图12]为示出本发明的一实施方式涉及的三维图像的示例的图。

[图13]为示出本发明的一实施方式涉及的三维图像的示例的图。

[图14]为示出本发明的一实施方式的变形例涉及的诊断支援装置的数据流的图。

具体实施方式

在下文中，针对本发明的一实施方式参见附图进行说明。

各图中，对相同的或相当的部分标注相同附图标记。在本实施方式的说明中，针对相同的或相当的部分，适当地省略或简化说明。

参见图1和图2，说明本实施方式的概要。

在本实施方式中，诊断支援装置11将包括生物组织的二维图像中所包含的多个像素与包括生物组织类型的两个以上的类型相关联，所述二维图像是通过在血液通过的生物组织的内部发送的超声波的反射波的信号被处理而生成。将二维图像中所包含的多个像素“与类型相关联”与下述内容含义相同：为了识别在二维图像的各像素中显示的生物组织等对象物的种类，对各像素赋予生物组织标签等的标签、或者按生物组织类型等类型将各像素分类。本实施方式中，诊断支援装置11由与生物组织类型相关联的像素群中生成生物组织的三维图像。即，诊断支援装置11由分类为生物组织类型的像素群中生成生物组织的三维图像。然后，显示器16显示通过诊断支援装置11生成的生物组织的三维图像。图2的示例中，将512像素×512像素的二维图像中所包含的多个像素，即，262,144个像素分类为包括生物组织类型和血细胞类型等其它类型的两个以上的类型。在于图2中放大显示的4像素×4像素的区域中，所有16个像素之中，一半的8个像素为被分类为生物组织类型的像素群，剩下的8个像素为被分类为不同于生物组织类型的其它类型的像素群。在图2中，将512像素×512像素的二维图像中所包含的多个像素的一部分即4像素×4像素的像素群放大显示，为方便说明，对分类为生物组织类型的像素群标注影线。

根据本实施方式，提高了由超声波的二维图像生成的、表示生物组织的结构的三维图像的准确性。

在本实施方式中，诊断支援装置11使用IVUS的二维图像作为超声波的二维图像。

对于IVUS而言，例如，可在介入治疗期间使用。作为其理由，可举出例如以下的理由。

·为了判定心腔内等的生物组织性状。

·为了确认配置支架等留置物的位置，或留置物被配置的位置。

·为了一边即时地利用二维图像，一边确认IVUS导管以外的导管以及导丝等的位置。

作为上述的“IVUS导管以外的导管”，例如有用于支架留置的导管或消融导管。

根据本实施方式，施术者不需要一边在头脑中层叠IVUS的二维图像而重构立体结构一边进行手术。特别是对于年轻的医生或者经验浅的医生而言不再成为障碍。

在本实施方式中，诊断支援装置11以下述方式构成，其中，在术中利用三维图像能够判断IVUS导管以外的导管、或留置物等的位置关系或者生物组织性状。

在本实施方式中，诊断支援装置11特别地以下述方式构成：为了引导IVUS导管，而能够即时地更新三维图像。

在消融等的手术中，存在想考虑血管或心肌区域的厚度而决定消融的能量这样的要求。另外，使用切除术(Atherectomy)器械等削除石灰或斑块时，也存在想考虑生物组织的厚度而进行手术这样的需求。在本实施方式中，诊断支援装置11以能够显示厚度的方式构成。

在本实施方式中，诊断支援装置11以下述方式构成，其中，通过使用随时更新的IVUS连续图像、持续更新三维图像，从而能够持续提供经血管可能观察的部位的三维结构。

为了由IVUS的二维图像中表示心腔结构，必须区分在血细胞区域、心肌区域和心腔内的IVUS导管以外的导管等。在本实施方式中，有可能能够仅显示心肌区域。

IVUS使用从6MHz至60MHz左右的高频段，因此，强烈地反映了血细胞噪音，但在本实施方式中，有可能产生生物组织区域与血细胞区域的差异。

为了即时地执行从以15FPS以上且90FPS以下的速度被更新的IVUS的二维图像表示心腔结构的处理，用于处理1个图像的时间被限为11msec以上且66msec以下。在本实施方式中，诊断支援装置11以能够对应于那样的限制的方式构成。

在本实施方式中，诊断支援装置11以下述方式构成，其中，能够将进行了特定化生物组织性状、除去血细胞区域或者特定化IVUS导管以外的导管位置等的图像落入三维空间内，在下一帧图像到来之前的期间完成计算画出三维图像的处理，即，能够在即时性成立的时间内进行计算。

在本实施方式中，诊断支援装置11以下述方式构成，其中，能够提供不仅为结构，还包括石灰或斑块的信息等、满足医生的要求的附加信息。

参见图1，说明本实施方式涉及的诊断支援系统10的构成。

诊断支援系统10具备诊断支援装置11、电缆12、驱动单元13、键盘14、鼠标15和显示器16。

诊断支援装置11为在本实施方式中在图像诊断中专门专用的计算机，但也可以是PC等的通用的计算机。“PC”为personal computer(个人计算机)的缩写。

电缆12用于连接诊断支援装置11和驱动单元13。

驱动单元13为用于与如图3所示的探针20连接、驱动探针20的装置。驱动单元13也被称为MDU。“MDU”是motor drive unit(电机驱动单元)的缩写。探针20适用于IVUS中。探针20也被称为IVUS导管或图像诊断用导管。

键盘14、鼠标15和显示器16经过任意的电缆或通过无线方式与诊断支援装置11连接。显示器16为例如LCD、有机EL显示器或HMD。“LCD”是liquid crystal display(液晶显示器)的缩写。“EL”是electro luminescence(电发光)的缩写。“HMD”是head-mounteddisplay(头盔式显示器)的缩写。

作为一选项，诊断支援系统10进一步具备连接端子17和车单元(cart unit)18。

连接端子17用于连接诊断支援装置11与外部机器。连接端子17为例如USB端子。“USB”是Universal Serial Bus(通用串行总线)的缩写。作为外部机器，能够使用例如磁盘驱动器、磁光盘驱动器或光盘驱动器等的记录介质。

车单元18为带有用于移动的脚轮的车(cart)。车单元18的车本体中设置了诊断支援装置11、电缆12和驱动单元13。车单元18的最上部的桌(table)上设置了键盘14、鼠标15和显示器16。

参见图3，说明本实施方式涉及的探针20和驱动单元13的构成。

探针20具备驱动轴21、毂部22、鞘层23、外管24、超声波振子25和中继连接器26。

对于驱动轴21而言，其穿过被插入于生物体的体腔内的鞘层23和连接于鞘层23的基端的外管24，延伸至在探针20的基端内设置的毂部22的内部。驱动轴21的前端具有接收发送信号的超声波振子25，并且驱动轴21被设置为能够在鞘层23和外管24内旋转。中继连接器26连接鞘层23和外管24。

毂部22、驱动轴21和超声波振子25以各自整体地在轴向上进退移动的方式而相互连接。因此，当进行例如毂部22被向前端侧向按压的操作时，驱动轴21和超声波振子25在鞘层23的内部向前端侧移动。例如当进行将毂部22向基端侧拉的操作时，如箭头所示，驱动轴21和超声波振子25在鞘层23的内部向基端侧移动。

驱动单元13具备扫描单元31、滑动单元32和底盖33。

扫描单元31经过电缆12与诊断支援装置11连接。扫描单元31具备与探针20连接的探针连接部34、作为使驱动轴21旋转的驱动源的扫描电动机35。

对于探针连接部34而言，其经由在探针20的基端设置的毂部22的插入口36，与探针20可拆卸地连接。驱动轴21的基端被旋转自如地支承在毂部22的内部，扫描电动机35的旋转力传至驱动轴21。另外，驱动轴21与诊断支援装置11之间经由电缆12接收发送信号。在诊断支援装置11中，基于从驱动轴21传达的信号，进行生物体管腔的断层图像的生成以及图像处理。

滑动单元32以使扫描单元31进退自如的方式承载扫描单元31，并与扫描单元31机械连接且电连接。滑动单元32具备探针夹部37、滑动电动机38和开关组39。

探针夹部37以在比探针连接部34更靠前端侧的位置与探针连接部34同轴配置的方式设置，并对连接至探针连接部34的探针20进行支承。

滑动电动机38是产生轴向驱动力的驱动源。通过滑动电动机38的驱动从而扫描单元31进退动作，伴随着该进退动作，驱动轴21在轴向进退动作。滑动电动机38例如为伺服电动机。

开关组39中包括例如在扫描单元31的进退操作时按下的正向开关和返回开关(pullback switch)、和图像描写的开始以及终止时按下的扫描开关。此处的示例中没有特别限定，根据需要开关组39包含各种开关。

当按下正向开关时，滑动电动机38正旋转，扫描单元31前进。另一方面，当按下返回开关时，滑动电动机38逆旋转，扫描单元31后退。

当按下扫描开关时开始图像描写，扫描电动机35驱动，并且滑动电动机38驱动而使扫描单元31进行后退。施术者事先将探针20连接至扫描单元31，开始图像描写，并且使驱动轴21一边旋转一边向轴向基端侧移动。对于扫描电动机35和滑动电动机38而言，再度按下扫描开关则停止并终止图像描写。

底盖33覆盖滑动单元32的底面和底面侧的侧面全周，且相对于滑动单元32的底面自由接近分离。

参照图4，说明本实施方式涉及的诊断支援装置11的构成。

诊断支援装置11具备控制部41、存储部42、通信部43、输入部44和输出部45等构成要素。

控制部41为一个以上的处理器。作为处理器，可以使用CPU或GPU等通用处理器、或者在特定的处理中专门专用的处理器。“CPU”是central processing unit(中央处理单元)的缩写。“GPU”是graphics processing unit(图形处理单元)的缩写。在控制部41中可以包括一个以上的专用电路，或者在控制部41中，可以将一个以上的处理器置换为一个以上的专用电路。作为专用电路，例如可以使用FPGA或者ASIC。“FPGA”是field-programmablegate array(现场可编程门阵列)的缩写。“ASIC”是application specific integratedcircuit(专用集成电路)的缩写。控制部41一边控制包括诊断支援装置11的诊断支援系统10的各部分，一边执行涉及诊断支援装置11的动作的信息处理。

存储部42是一个以上的存储器(memory)。作为存储器，例如可以使用半导体存储器、磁存储器或者光存储器。作为半导体存储器，例如可使用RAM或ROM。“RAM”是randomaccess memory(随机存取存储器)的缩写。“ROM”是read only memory(只读存储器)的缩写。作为RAM，例如可以使用SRAM或DRAM。“SRAM”是static random access memory(静态随机存取存储器)的缩写。“DRAM”是dynamic random access memory(动态随机存取存储器)的缩写。作为ROM，例如可以使用EEPROM。“EEPROM”是electrically erasableprogrammable read only memory(电可擦只读存储器)的缩写。存储器例如用于主存储装置、辅助存储装置或高速缓冲存储器。在存储部42中，存储了用于诊断支援装置11的动作的信息和根据诊断支援装置11的动作而得到的信息。

通信部43是一个以上的通信用接口。作为通信用接口，能够使用有线LAN接口、无线LAN接口或接收IVUS的信号以及进行A/D转换的图像诊断用接口。“LAN”是local areanetwork(局域网)的缩写。“A/D”是analog to digital(模数转换)的缩写。通信部43接收用于诊断支援装置11的动作的信息，另外，发送根据诊断支援装置11的动作而得到的信息。在本实施方式中，驱动单元13连接至通信部43所包含的图像诊断用接口。

输入部44是一个以上的输入用接口。作为输入用接口，可使用例如USB接口或HDMI(注册商标)接口。“HDMI”是High-Definition Multimedia Interface(高清多媒体接口)的缩写。输入部44接受如下述的操作，其中，所述操作为输入用于诊断支援装置11的动作的信息的操作。在本实施方式中，键盘14和鼠标15连接至输入部44所包含的USB接口，键盘14和鼠标15也可以连接至通信部43所包含的无线LAN接口。

输出部45为一个以上的输出用接口。作为输出用接口，可以使用例如USB接口或HDMI(注册商标)接口。输出部45输出根据诊断支援装置11的动作而得到的信息。在本实施方式中，显示器16连接至输出部45所包含的HDMI(注册商标)接口。

通过利用控制部41所包含的处理器执行本实施方式涉及的诊断支援程序，从而可实现诊断支援装置11的功能。即，诊断支援装置11的功能可通过软件而实现。诊断支援程序为如下程序：用于通过利用计算机执行诊断支援装置11的动作所包含的步骤的处理，从而使计算机实现与该步骤的处理相对应的功能。即，诊断支援程序是使计算机作为诊断支援装置11发挥功能的程序。

程序能够记录于计算机可读取记录介质内。作为计算机可读取记录介质，可使用例如，磁记录装置、光盘、磁光记录介质或半导体存储器。程序的分发可例如通过出售、转让或出借记录有程序的DVD或CD-ROM等便携型记录介质而进行。“DVD”是digital versatiledisc(数字光盘)的缩写。“CD-ROM”是compact disc read only memory(只读存储光盘)的缩写。可以在服务器的存储器(storage)中存储程序，经过网络从服务器向其它的计算机中传送程序，从而来分发程序。可作为程序产品来提供程序。

计算机例如将记录于便携型记录介质中的程序或从服务器传送的程序暂时存储在存储器中。然后，计算机用处理器读取在存储器中存储的程序，利用处理器按照读取的程序执行处理。计算机可以直接从便携型记录介质读取程序，按照程序执行处理。计算机也可以在每次从服务器将程序传送至计算机时，依次按照已收到的程序执行处理。可以不进行从服务器向计算机的程序的传送，通过仅按照执行指示及结果取得而实现功能的、所谓的ASP型的服务而执行处理。“ASP”是application service provider(应用服务提供商)的缩写。在程序中包含了作为为电子计算机进行处理而提供的信息、且依照程序的内容。例如，具有不是对计算机直接的指令但规定计算机处理的性质的数据相当于“依照程序的内容”。

诊断支援装置11的部分或全部的功能可以通过控制部41所包含的专用电路而实现。即，诊断支援装置11的部分或全部的功能可以通过硬件而实现。

参见图5，说明本实施方式涉及的诊断支援系统10的动作。诊断支援系统10的动作相当于本实施方式涉及的诊断支援方法。

图5的流程开始前，由施术者对探针20进行预冲(priming)。其后，探针20嵌入在驱动单元13的探针连接部34及探针夹部37中，并连接及固定至驱动单元13。然后，探针20被插入至心腔或血管等、血液通过的生物组织内的目标部位。

步骤S1中，通过按下开关组39所包含的扫描开关，以及进一步按下开关组39所包含的返回开关，进行所谓的返回操作。探针20在生物组织的内部利用通过返回操作在轴向上后退的超声波振子25发送超声波。

步骤S2中，探针20向诊断支援装置11的控制部41输入在步骤S1中发送的超声波的反射波的信号。

具体而言，探针20将在生物组织的内部反射的超声波的信号经由驱动单元13和电缆12发送至诊断支援装置11。诊断支援装置11的通信部43接收从探针20发送的信号。通信部43对已接收的信号进行A/D转换。通信部43将A/D转换后的信号输入至控制部41。

步骤S3中，诊断支援装置11的控制部41对在步骤S2中输入的信号进行处理而生成超声波的二维图像。

具体而言，如图6所示，控制部41执行至少管理图像处理P1、图像处理P2和图像处理P3的任务管理处理PM。对于任务管理处理PM的功能而言，例如其作为OS的一个功能而被安装。“OS”是operating system(操作系统)的缩写。控制部41取得通过在步骤S2中由通信部43进行了A/D转换后的信号作为信号数据51。控制部41通过任务管理处理PM启动图像处理P1，对信号数据51进行处理而生成IVUS的二维图像。控制部41取得作为图像处理P1的结果的IVUS的二维图像，将其作为二维图像数据52。

步骤S4中，诊断支援装置11的控制部41将在步骤S3生成的二维图像所包含的多个像素分类为包括与显示生物组织的像素相对应的生物组织类型在内的两个以上的类型。在本实施方式中，所述的两个以上的类型还包括与显示血液所含血细胞的像素相对应的血细胞类型。所述的两个以上的类型还包括与显示IVUS导管以外的导管或导丝等医疗器具的像素相对应的医疗器具类型。所述的两个以上的类型还可以包括与显示支架等留置物的像素相对应的留置物类型。所述的两个以上的类型还可以包括与显示石灰或斑块等病变的像素相对应的病变类型。对各类型可以进行细分。可以例如将医疗器具类型分为导管类型、导丝类型、和其它的医疗器具类型。

具体而言，如图6和图7所示，控制部41由任务管理处理PM启动图像处理P2，使用学得模型61将在步骤S3取得的二维图像数据52所包含的多个像素分类。控制部41取得了作为图像处理P2的结果的二维图像作为分类结果62，所述二维图像是对二维图像数据52的各像素赋予生物组织类型、血细胞类型和医疗器具类型的任一种分类而成的二维图像。

步骤S5中，诊断支援装置11的控制部41由在步骤S4分类为生物组织类型的像素群生成生物组织的三维图像。在本实施方式中，控制部41从在步骤S3生成的二维图像所包含的多个像素中排除在步骤S4分类为血细胞类型的像素群，从而生成生物组织的三维图像。另外，控制部41由在步骤S4分类为医疗器具类型的一个以上的像素生成医疗器具的三维图像。进一步地，控制部41在步骤S4分类为医疗器具类型的一个以上的像素中包含了显示相互不同的医疗器具的两个以上的像素的情况下，针对每个医疗器具生成医疗器具的三维图像。

具体而言，如图6所示，控制部41通过任务管理处理PM而执行图像处理P2，将在步骤S4中取得的、对二维图像数据52的各像素赋予分类而成的二维图像层叠并三维化。控制部41取得了作为图像处理P2的结果的、表示每个分类的立体结构的体数据53。然后，控制部41通过任务管理处理PM启动图像处理P3，将取得的体数据53可视化。控制部41取得作为图像处理P3的结果的、表示每个分类的立体结构的三维图像作为三维图像数据54。

作为本实施方式的一变形例，控制部41可以基于在步骤S4分类为医疗器具类型的一个以上的像素的坐标，生成医疗器具的三维图像。具体而言，控制部41可以对示出在步骤S4分类为医疗器具类型中的一个以上的像素的坐标的数据加以保持，作为沿着驱动单元13的扫描单元31的移动方向而存在的多个点的坐标，并生成沿着扫描单元31的移动方向而连接该多个点的线状三维模型作为医疗器具的三维图像。例如，针对如导管这样的横截面小的医疗器具，控制部41可以在分类为医疗器具类型的一个像素的中心、或分类为医疗器具类型的像素群的中心的坐标上，配置圆形横截面的三维模型作为医疗器具的三维图像。即，在导管等小物体的情况下，可以不将像素或作为像素集合的区域作为分类结果，而是将坐标作为分类结果62返回。

步骤S6中，诊断支援装置11的控制部41进行控制以显示在步骤S5生成的生物组织的三维图像。在本实施方式中，控制部41进行控制，以能够相互区分的形式显示在步骤S5生成的生物组织的三维图像与医疗器具的三维图像。控制部41进行控制，若在步骤S5按每个医疗器具生成医疗器具的三维图像，则以每个医疗器具可以区分的形式显示所生成的医疗器具的三维图像。显示器16被控制部41控制而显示生物组织的三维图像和医疗器具的三维图像。

具体而言，如图6所示，控制部41执行3D显示处理P4，使在步骤S6取得的三维图像数据54经由输出部45显示在显示器16中。标注不同的颜色等从而可以区分地显示心腔或血管等生物组织的三维图像和导管等医疗器具的三维图像。可以通过键盘14或鼠标15选择在生物组织的三维图像和医疗器具的三维图像之中的任意的图像。在这种情况下，控制部41经由输入部44接受选择图像的操作。控制部41使被选择的图像经由输出部45而显示在显示器16中，且不显示未被选择的图像。另外，可以通过键盘14或鼠标15设定任意的切断面。在这种情况下，控制部41经由输入部44接受选择切断面的操作。控制部41使在被选择的切断面切断的三维图像经由输出部45显示在显示器中。

步骤S7中，当开关组39所包含的扫描开关未被再度按下，则退回步骤S1且继续返回操作。其结果为，一边变更在生物组织的内部超声波的发送位置一边依次生成IVUS的二维图像。另一方面，当扫描开关被再度按下时，返回操作被停止，终止了图5的流程。

在本实施方式中，在CPU上执行图像处理P1和3D显示处理P4，在GPU上执行图像处理P2和图像处理P3。体数据53可以保存在CPU内的存储区域中，但为了省去CPU和GPU之间的数据传送，其保存在GPU内的存储区域中。

特别地，对于图像处理P2所包含的分类、导管检测、图像插补、和三维化的各处理而言，能够在本实施方式的GP-GPU中被执行，但也可以在FPGA或ASIC等集成电路中执行。“GP-GPU”是general purpose graphics processing unit(通用处理器)的缩写。各处理可以是被串行执行，也可以是被并行执行。各处理也可以通过网络而被执行。

在步骤S4中，代替现有的那样的边缘提取，诊断支援装置11的控制部41基于区域识别而提取生物组织区域。针对其原因进行说明。

认为是在IVUS图像中，以去除血细胞区域为目标而提取示出血细胞区域和生物组织区域的边界的边缘，并使其边缘反映在三维空间，从而作出三维图像。然而，边缘提取在以下的方面难度非常高。

·血细胞区域和生物组织区域的边界的亮度梯度不固定，难以利用一样的算法全部解决。

·用边缘作出三维图像时，在不仅是血管壁而是以心腔整体为对象的情况下等不能表示复杂的结构。

·在血细胞区域不仅包含于在生物组织内侧、也包含于左心房和右心房两者都可见的部分等生物组织外侧中这样的图像中，仅通过边缘提取是不充分的。

·仅通过提取边缘不能特定导管。特别地，生物组织壁与导管相接时，不可能获取与生物组织的边界。

·夹着薄壁时，仅通过边缘难以知晓哪一侧真正是生物组织。

·难以计算厚度。

从步骤S2到步骤S6中，诊断支援装置11的控制部41在进行三维化时，必须除去血细胞成分、提取器官部分、使其信息反映至三维空间、描画三维图像，但为了即时地持续更新三维图像，在发送图像的时间Tx以内能够完成这些处理。时间Tx是1/FPS。在提供三维图像的现有技术中，不能实现即时处理。通过现有方法逐帧进行处理，在下一帧到来之前的期间不能持续更新三维图像。

如上所述，在本实施方式中，控制部41每次新生成二维图像时，在接着生成二维图像之前，生成与新生成的二维图像相对应的生物组织的三维图像。

具体而言，控制部41以每秒15次以上且90次以下的速度生成IVUS的二维图像，以每秒15次以上且90次以下的速度更新三维图像。

在步骤S4中，诊断支援装置11的控制部41不是现有这样的边缘提取，而是利用根据区域识别也提取生物组织以外的物品的区域，能够特定导管等特别小的物品，因此，能够应对以下的课题。

·如果导管与壁相接，则仅从1张图像中，人会判定为生物组织。

·由于将导管误认为是血栓或气泡，仅从1张图像难以区分判断导管。

如同正常人将过去的连续图像作为参考信息而推定导管位置这样的方式，控制部41为了特定导管位置，也可以使用过去信息。

在步骤S4中，诊断支援装置11的控制部41即使在二维图像中心的探针20本体和壁面相接的情况下，根据区域识别而非现有的边缘提取，也提取了生物组织以外的物品的区域，由此能够对其进行区分。即，控制部41能够区分IVUS导管其自身与生物组织区域。

在步骤S4中，为了表示复杂的结构，判定生物组织性状，寻找导管等小物品，诊断支援装置11的控制部41提取了生物组织区域和导管区域而非边缘提取。因此，在本实施方式中采用机器学习的方法。控制部41使用学得模型61，对于图像各自的像素，直接评价其部分是具有什么样的性质的部分，使被赋予了分类的图像反映于在规定的条件下设定的三维空间中。控制部41在三维空间中层叠其信息，以在三维配置的存储器空间内保存的信息作为基准进行三维化，从而显示三维图像。另外，这些处理被即时地更新，与二维图像相对应的位置的三维信息被更新。依次或并行进行计算。特别地通过并行进行处理，能够实现时间上的效率化。

机器学习是指使用算法解析输入数据，从其解析结果中提取有用的规则或判断基准等，并使算法发展。机器学习的算法通常被分类为监督学习、无监督学习和强化学习等。监督学习的算法中，给出了将成为样本的生物体音的声音数据和超声波图像作为输入、和将与其相对应的疾病数据作为结果的数据集，并基于数据集进行机器学习。无监督学习的算法中，仅大量地给出了输入数据而进行机器学习。强化学习的算法基于算法输出的解使环境变化，基于对输出的解以何种程度准确的奖励来加入修正。这样得到的机器学习完的模型被用作学得模型61。

学得模型61通过在事前进行机器学习而被训练，以使得能够由成为样本的二维图像特定类型。在医疗机构中，例如在聚集了许多患者的大学医院等的医疗机构中，收集成为样本的超声波图像及针对其图像预先由人实施了附加标签的分类而成的图像。

在IVUS图像中具有血细胞区域这样的高噪音，还具有系统噪音。因此，在步骤S4中，诊断支援装置11的控制部41在插入学得模型61前，对图像实施预处理。作为预处理，可进行使用例如简单模糊(simple blur)、平均模糊(median blur)、高斯模糊(Gaussianblur)、双边滤波器(bilateral filter)、中值滤波器(median filter)或者组平均(blockaveraging)等各种滤波器的滤波(smoothing)或进行膨胀腐蚀(dilation and erosion)、开闭(opening and closing)、形态梯度(morphological gradient)或者顶帽与黑帽(tophat and black hat)等图像形态(image morphology)或填色(flood fill)、尺寸调节(resize)、图像金字塔(image pyramids)、阈值(threshold)、低通滤波(low pathfilter)、高通滤波(high path filter)或者离散子波变换(discrete wavelettransform)。其中，在通常的CPU上进行这样的处理时，即使仅这个处理也可能在66msec以内无法完成。因此，在GPU上进行这个处理。特别地在被称为深度学习的、多个层构建的机器学习的方法中，通过构建算法作为其层，已验证了可以进行具有即时性的预处理。在这个验证中，使用512像素×512像素以上的图像而实现了分类精度97％以上、42FPS。

在以预处理的有无进行比较的情况下，期望在生物组织区域的提取中加入预处理的层，但在判定二维图像内的导管这样的小物品时，最好没有预处理的层。因此，作为本实施方式的一变形例，每个类型可以准备不同的图像处理P2。例如，如图14所示，可以准备用于生物组织类型的、包含预处理的层的图像处理P2a和用于导管类型或用于特定导管位置的、不包含预处理的层的图像处理P2b。

该变形例中，诊断支援装置11的控制部41对二维图像进行平滑化。平滑化是使像素群的浓淡变动平滑化的处理。在平滑化中包含上述的滤波。控制部41执行将平滑化前的二维图像所包含的多个像素分类为医疗器具类型和其它的一个以上的类型的第1分类处理。控制部41执行将除了在第1分类处理中分类为医疗器具类型的一个以上的像素以外的、平滑化后的二维图像所包含的像素群分类为包括生物组织类型在内的一个以上的类型的第2分类处理。控制部41通过将在第1分类处理中分类的一个以上的像素和在第2分类处理中分类的像素群重叠，从而能够精度良好地在三维图像中显示医疗器具。作为该变形例的进一步的变形例，控制部41可执行如下述的第1分类处理和第2分类处理，所述第1分类处理将在平滑化前的二维图像所包含的多个像素分类为医疗器具类型和其它的一个以上的类型，所述第2分类处理将除了在第1分类处理中分类为医疗器具类型的一个以上的像素以外的二维图像平滑化，并将平滑化后的二维图像所包含的像素群分类为包括生物组织类型在内的一个以上的类型。

在步骤S5中，诊断支援装置11的控制部41根据图像处理P2的分类结果，使用取得的生物组织区域的信息，计算测量生物组织的厚度。另外，控制部41通过使其计算测量结果反映在三维信息中而表示厚度。在步骤S6中，控制部41通过加入使用分层等而区分立体结构的颜色等的处理，而表示厚度。控制部41可以通过如下述方式给出附加信息，即，进一步地将生物组织性状的差别等通过使三维中生物组织结构按每个类型变化颜色等的显示方法而给出附加信息。

如上所述，在本实施方式中，控制部41分析在步骤S4中分类为生物组织类型的像素群，算出生物组织的厚度。控制部41进行控制以显示算出的生物组织的厚度。显示器16被控制部41控制而显示生物组织的厚度。作为本实施方式的一变形例，控制部41可以对生成的所述生物组织的三维图像进行分析，算出生物组织的厚度。

针对本实施方式中三维空间的定义进行说明。

作为三维化的方法，可使用面绘制(surface rendering)或体绘制(volumerendering)等渲染方法、和其附带的纹理映射(texture mapping)、凹凸处理(bumpmapping)或环境映射(environment mapping)等各种操作。

在本实施方式中利用的三维空间被限定为能够进行即时处理的尺寸。该尺寸需要以取得在系统中规定的超声波图像的FPS为基准。

在本实施方式中使用能够逐一取得其位置的驱动单元13。驱动单元13的扫描单元31能够在一轴上移动，使其轴为z轴，某一瞬间的扫描单元31的位置为z。另外，z轴与预先规定的三维空间的某一轴相互关联，使该轴为Z轴。Z轴与z轴相互关联，因此预先规定Z轴上的点Z成为Z＝f(z)。

在Z轴上反映根据图像处理P2得到的分类结果62的信息。在此处定义的三维空间的XY轴平面中，需要能够将在图像处理P2中可分类的类型信息全部保存。进而，希望同时包含原超声波图像中的亮度信息。根据图像处理P2而得到的分类结果62的信息，其全部的类型信息被反映至相当于当前的扫描单元31的位置的三维上Z轴位置中的XY平面。

另外，期望对于三维空间而言，每个Tx(＝1/FPS)使用体绘图(volume rendering)等而被三维化，但由于限定了处理时间，因此不能无限地变大。即，需要三维空间是在Tx(＝1/FPS)以内可计算得到的尺寸。

当想将驱动单元13上的较长范围转换为三维时，考虑了超出可计算得到的尺寸的可能性。因此，为了将以驱动单元13显示的范围抑制在上述的范围内，Z＝f(z)被规定作为适当的转换。其有必要进行下述的设定，即，在Z轴上的驱动单元13的扫描单元31的移动范围和在z轴上的体数据53的可保存的范围这两者的限制内，设定将Z轴上的位置转换为z轴上的位置的函数。

如上所述，在本实施方式中，诊断支援装置11的控制部41将通过在血液通过的生物组织的内部发送的超声波的反射波的信号被处理而生成的二维图像所包含的多个像素，分类为包括与显示生物组织的像素相对应的生物组织类型在内的两个以上的类型。控制部41由分类为生物组织类型的像素群生成生物组织的三维图像。控制部41进行控制以显示生成的生物组织的三维图像。因此，根据本实施方式，提高了由超声波的二维图像中生成的、表示生物组织的结构的三维图像的准确性。

根据本实施方式，即时地显示三维图像，使施术者无需在头脑中将二维图像向三维空间转换就能进行手术，从而能够预期减轻施术者的疲劳和缩短手术时间。

根据本实施方式，导管等插入物、或支架等留置物的位置关系变得明确，从而减少手术的失败。

根据本实施方式，能够三维地获得生物组织的性状，从而能够进行准确的手术。

根据本实施方式，通过在图像处理P2的内部插入预处理的层，从而提高了精度。

根据本实施方式，使用分类的生物组织区域的信息，能够计算测量生物组织厚度，使其信息反映至三维信息。

在本实施方式中，使输入图像为超声波图像，将输出以每1像素、或被视为集合了多个像素的区域内进行如下述的分类，其中，该分类为具有导管本体的区域、血细胞区域、石灰化区域、纤维化区域、导管区域、支架区域、心肌坏死区域、脂肪生物组织或器官间的生物组织等的2类型以上的分类，通过上述分类，从1张图像内中能够判定什么部分为什么部分。

在本实施方式中，至少预先规定与心脏和血管区域相对应的生物组织类型的分类。将如下的监督学习数据作为机器学习的材料，从而能够提高学习效率，所述监督学习数据为在已经通过在每1像素、或被视为集合了多个像素的区域内，使其以具有包括该生物组织类型的2类型以上的分类的方式被分类而成的数据。

本实施方式中，学得模型61被构建作为以CNN、RNN和LSTM为首的任意的用于深度学习的神经网络。“CNN”是convolutional neural network(卷积神经网络)的缩写。“RNN”是recurrent neural network(循环神经网络)的缩写。“LSTM”是long short-term memory(记忆网络)的缩写。

图8示出学得模型61被构建作为RNN的示例。

在该示例中，在分类中考虑了时间序列。正常人在判定导管等小物品的位置时，一边变更超声波元件的位置，一边变更拍摄位置，由此考虑其连续性。在图像处理P2中也相同地，能够考虑时间轴的数据而特定导管等的小物体。为了考虑过去的信息，将一定期间的过去信息与当前得到的图像一起输入至图像处理P2中，基于此而进行当前的分类。在该示例中的学得模型61至少是接受一个在前生成的二维图像和新生成的二维图像作为输入、且输出新生成的二维图像的分类结果62的模型。在图8中，时刻t-1的输入图像是一个在前生成的二维图像，时刻t的输入图像是新生成的二维图像，时刻t的输出图像是新生成的二维图像的分类结果62。

图9为示出学得模型61被构建作为LSTM的示例。

在该示例中，学得模型61具有存储2个以上的在前生成的二维图像的存储器模块。存储器模块具有保存过去的信息的功能。

图10示出进一步地考虑未来信息的示例。

在该示例中，使实际的当前时刻为未来的时刻t，将时刻t以前的一定期间的图像输入至图像处理P2，使实际的前一段的时刻为当前时刻t-1，进行与时刻t-1的图像相对应的分类。在该示例中的学得模型61是至少接受一个在前生成的二维图像和新生成的二维图像作为输入、并输出一个在前生成的二维图像的分类结果62的模型。在图10中，时刻t-1的输入图像是一个在前生成的二维图像，时刻t的输入图像是新生成的二维图像，时刻t-1的输出图像是一个在前生成的二维图像的分类结果62。图10的方法可以适用于图8或图9的示例中。

作为通过深度学习提取图像内的导管等小物品的方法，可以适用R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN、YOLO或SSD等方法。“R-CNN”是region-basedconvolutional network(区域卷积神经网络)的缩写。“YOLO”是You Only Look Once的缩写。“SSD”是Single Shot MultiBox Detector的缩写。

作为本实施方式的一变形例，如图11或图12所示，诊断支援装置11的控制部41基于在前生成的二维图像所包含的多个像素的分类结果，可以决定是否将新生成的二维图像所包含的多个像素之中的一个以上的像素分类为医疗器具类型。在这种情况下，控制部41对比在前生成的二维图像与新生成的二维图像。然后，例如，在新生成的二维图像中包含下述这样的一个以上的像素的情况下，其中，所述一个以上的像素为与在前生成的二维图像所包含的多个像素之中分类为医疗器具类型的一个以上的像素的一致度为90％以上的像素，控制部41将新生成的二维图像所包含的该一个以上的像素分类为医疗器具类型。

图11示出分组的示例。

在该示例中，对于控制部41而言，在三维空间内，预计导管等会连续地存在的物品的类型的目标为多个时，使用图像处理P2而暂时保存提取的结果。控制部41进一步按时间序列考虑判定的结果，以预先给出的导管根数的信息为基础，将提取的目标群分类。在图11中，血管63、第1导管64和第2导管65各自独立地反映在三维图像数据54中。

图12示出噪音修正的示例。

即使使用图像处理P2来提取导管等的位置，并非其全部都是准确的解。因此，在该示例中，控制部41进一步地按时间序列考虑判定的结果，去除明显错误。在图12中，血管63、第1导管64和第2导管65各自独立地反映在三维图像数据54中。为了方便说明而在图12中记载了噪音66，但实际上没有反映在三维图像数据54中。

作为本实施方式的一变形例，可以变更生物组织的内部中医疗器具的有无或配置而多次生成IVUS的二维图像。在这种情况下，如图13所示，诊断支援装置11的控制部41基于在前生成的二维图像所包含的多个像素的分类结果，决定是否将新生成的二维图像所包含的多个像素之中的一个以上的像素分类为医疗器具类型。

在图13的示例中，通过对在血管63内的相同的位置对是否有导管而标出区别D1并拍摄的图像进行比较，能够可靠地检测出第1导管64和第2导管65。另外，还通过对在血管63内的相同的位置对导管配置而标出区别D2并拍摄的图像进行比较，能够可靠地检测出第1导管64和第2导管65。

作为本实施方式的一变形例，可以是，取代诊断支援装置11进行步骤S3的处理，而以其它的装置进行步骤S3的处理，诊断支援装置11取得生成的二维图像作为步骤S3的处理的结果，并进行步骤S4以后的处理。即，对于诊断支援装置11的控制部41而言，可以取代对IVUS的信号进行处理并生成二维图像，而以其它的装置对IVUS的信号进行处理并生成二维图像，并将生成的二维图像输入于控制部41。

本发明不限于上述的实施方式。例如，可以将框图中记载的多个框集成，或可以将一个框分割。可以取代按照描述以时间序列执行基于流程图中记载的多个步骤，而根据执行各步骤的装置的处理能力或根据需要，并行地或以不同的顺序进行执行。另外，在不脱离本发明的宗旨的情况下可以进行变更。

例如，可并行执行在图6中所示图像处理P1、图像处理P2和图像处理P3。

附图标记说明

10 诊断支援系统

11 诊断支援装置

12 电缆

13 驱动单元

14 键盘

15 鼠标

16 显示器

17 连接端子

18 车单元

20 探针

21 驱动轴

22 毂部

23 鞘层

24 外管

25 超声波振子

26 中继连接器

31 扫描单元

32 滑动单元

33 底盖

34 探针连接部

35 扫描电动机

36 插入口

37 探针夹部

38 滑动电动机

39 开关组

41 控制部

42 存储部

43 通信部

44 输入部

45 输出部

51 信号数据

52 二维图像数据

53 体数据

54 三维图像数据

61 学得模型

62 分类结果

63 血管

64 第1导管

65 第2导管

66 噪音

Claims (11)

1.诊断支援装置，其具备控制部，所述控制部进行下述控制：

将利用在血液通过的生物组织的内部发送的超声波的反射波的信号生成的、包括所述生物组织的二维图像所包含的多个像素，与包括生物组织类型在内的两个以上的类型相关联，由与所述生物组织类型相关联的像素群生成所述生物组织的三维图像，显示所生成的所述生物组织的三维图像，

所述控制部以每秒15次以上且90次以下的速度对所述反射波的信号进行处理从而生成所述二维图像，

通过在图形处理单元即GPU对1个二维图像进行11msec以上且66msec以下的处理，从而每次新生成二维图像时，在接着生成二维图像之前，以每秒15次以上且90次以下的速度生成与新生成的所述二维图像相对应的所述生物组织的三维图像，以实时更新所述三维图像。

2.如权利要求1所述的诊断支援装置，其中，

在所述两个以上的类型中还包括血细胞类型，

所述控制部从所述多个像素中排除与所述血细胞类型相关联的像素群并生成所述生物组织的三维图像。

3.如权利要求1或2所述的诊断支援装置，其中，

所述控制部进行下述控制：对与所述生物组织类型相关联的像素群和所生成的所述生物组织的三维图像中的任一项进行分析，算出所述生物组织的厚度，并显示所算出的所述生物组织的厚度。

4.如权利要求1至3中任一项所述的诊断支援装置，其中，

在所述两个以上的类型中还包括医疗器具类型，

所述控制部进行下述控制：由与所述医疗器具类型相关联的一个以上的像素生成所述医疗器具的三维图像，以能够相互区分的形式显示所生成的所述生物组织的三维图像与所述医疗器具的三维图像。

5.如权利要求4所述的诊断支援装置，其中，

所述控制部执行第1分类处理和第2分类处理，所述第1分类处理将所述二维图像所包含的所述多个像素与所述医疗器具类型和其它的一个以上的类型相关联，

所述第2分类处理将除了通过所述第1分类处理而与所述医疗器具类型相关联的一个以上的像素以外的所述二维图像平滑化，并将平滑化后的二维图像所包含的像素群与包括所述生物组织类型在内的一个以上的类型相关联。

6.如权利要求4所述的诊断支援装置，其中，所述控制部执行第1分类处理和第2分类处理，所述第1分类处理将所述二维图像平滑化，并将平滑化前的所述二维图像所包含的所述多个像素与所述医疗器具类型和其它的一个以上的类型相关联，

所述第2分类处理将除了通过所述第1分类处理而与所述医疗器具类型相关联的一个以上的像素以外的、平滑化后的二维图像所包含的像素群与包括所述生物组织类型在内的一个以上的类型相关联。

7.如权利要求4至6中任一项所述的诊断支援装置，其中，所述控制部进行下述控制：

在与所述医疗器具类型相关联的一个以上的像素中包含显示了相互不同的医疗器具的两个以上的像素的情况下，按每个医疗器具生成所述医疗器具的三维图像，以能够按每个医疗器具进行区分的形式显示所生成的所述医疗器具的三维图像。

8.如权利要求4至7中任一项所述的诊断支援装置，其中，

一边在所述生物组织的内部变更所述超声波的发送位置，一边依次生成所述二维图像，

所述控制部基于在前生成的所述二维图像所包含的所述多个像素的关联结果，决定是否将新生成的所述二维图像所包含的所述多个像素之中的一个以上的像素与所述医疗器具类型相关联。

9.如权利要求1至8中任一项所述的诊断支援装置，其中，

所述控制部使用学得模型对所述二维图像所包含的所述多个像素赋予关联。

10.诊断支援系统，其具备：

权利要求1至9中任一项所述的诊断支援装置；和

探针，其在所述生物组织的内部发送所述超声波、并向所述控制部输入所述反射波的信号。

11.诊断支援方法，其中，

探针在血液通过的生物组织的内部发送超声波，

诊断支援装置将利用所述超声波的反射波的信号生成的、包括所述生物组织的二维图像所包含的多个像素与包括生物组织类型在内的两个以上的类型相关联，

所述诊断支援装置由与所述生物组织类型相关联的像素群生成所述生物组织的三维图像，

显示器显示通过所述诊断支援装置生成的所述生物组织的三维图像，

以每秒15次以上且90次以下的速度对所述反射波的信号进行处理从而生成所述二维图像，

通过在图形处理单元即GPU对1个二维图像进行11msec以上且66msec以下的处理，从而每次新生成二维图像时，在接着生成二维图像之前，以每秒15次以上且90次以下的速度生成与新生成的所述二维图像相对应的所述生物组织的三维图像，以实时更新所述三维图像。