CN116137028A - 医用图像处理装置、医用图像处理方法及存储介质 - Google Patents

Abstract

有关实施方式的医用图像处理装置具有处理电路。处理电路取得作为处理对象的医用图像数据；基于医用图像数据，从医用图像数据中确定作为使画质提高的超分辨率处理的对象的对象区域；输出与确定出的对象区域有关的信息。

Description

医用图像处理装置、医用图像处理方法及存储介质

本申请基于2021年11月18日提出的日本专利申请第2021－188179号主张优先权，这里引用其全部内容。

技术领域

本发明涉及医用图像处理装置、医用图像处理方法及存储介质。

背景技术

以往，对于由医用图像诊断装置收集到的医用图像，进行使用包括深度学习的机器学习等AI(Artificial Intelligence，人工智能)技术的提高图像的分辨率的超分辨率处理。

例如，通过将由X射线CT装置三维重建的医用图像向通过AI技术制作出的超分辨率模型(已学习模型)输入，进行使医用图像高画质化的处理。

附图说明

图1是表示有关实施方式的医用图像处理系统的结构的一例的框图。

图2是表示有关实施方式的X射线CT装置的结构的一例的框图。

图3是表示有关实施方式的对象部位的选择处理的一例的说明图。

图4是表示有关实施方式的切片图像数据的分割处理的一例的说明图。

图5是表示有关实施方式的基于机器学习的超分辨率模型的生成方法的一例的说明图。

图6是表示有关实施方式的超分辨率模型的输入输出形象的一例的图。

图7是表示有关实施方式的医用信息处理装置执行的处理的一例的流程图。

图8是表示有关变形例3的医用图像处理系统的结构的一例的框图。

图9是表示有关变形例3的遮挡处理的一例的说明图。

图10是表示有关变形例3的医用图像处理装置的处理的概要的一例的说明图。

图11是表示有关变形例3的医用信息处理装置执行的处理的一例的流程图。

具体实施方式

有关实施方式的医用图像处理装置具有处理电路。处理电路取得作为处理对象的医用图像数据；基于医用图像数据，从医用图像数据中确定作为使画质提高的超分辨率处理的对象的对象区域；输出与确定出的对象区域有关的信息。

以下，一边参照附图一边对医用图像处理装置、医用图像处理方法及程序的实施方式详细地进行说明。

在本实施方式中，如图1所示，以包括X射线CT装置1及医用图像处理装置2的医用图像处理系统S为例进行说明。图1是表示有关实施方式的医用图像处理系统S的结构的一例的框图。在本实施方式中，假设基于由图1所示的X射线CT装置1收集到的投影数据执行后述的各处理而进行说明。X射线CT装置1及医用图像处理装置2经由网络NW相互连接。

另外，只要能够经由网络NW连接，则设置X射线CT装置1及医用图像处理装置2的场所是任意的场所。例如，X射线CT装置1及医用图像处理装置2可以设置在相互不同的施设内。即，网络NW既可以由在施设内封闭的局域网构成，也可以是经由因特网的网络。

此外，X射线CT装置1与医用图像处理装置2之间的通信既可以经由图像保管装置等其他装置进行，也可以不经由其他装置而直接进行。作为这样的图像保管装置的例子，例如可以举出PACS(Picture Archiving and Communication System，影像归档和通信系统)的服务器。

首先，使用图2对X射线CT装置1进行说明。图2是表示有关实施方式的X射线CT装置1的结构的一例的框图。如图2所示，X射线CT装置1具有架台装置10、床装置30和控制台装置40。

另外，在本实施方式中，分别将非倾斜状态下的旋转框架13的旋转轴的长边方向定义为Z轴方向，将与Z轴方向正交并且从旋转中心朝向支承旋转框架13的支柱的方向定义为X轴方向，将与该Z轴及X轴正交的方向定义为Y轴方向。

架台装置10具有用来拍摄用于诊断的医用图像的摄影系统19。摄影系统19例如由X射线管11、X射线检测器12、楔形部16及准直仪17构成。即，架台装置10是具有向被检体P照射X射线、从透过了被检体P的X射线的检测数据收集投影数据的摄影系统19的装置。

此外，架台装置10具有用来收容被检体P的开口部。载置了被检体P的顶板33将设置床装置30的一侧作为入口向开口部收容。

架台装置10具有X射线管11、楔形部16、准直仪17、X射线检测器12、X射线高电压装置14、DAS(Data Acquisition System，数据采集系统)18、旋转框架13、控制装置15和床装置30。

X射线管11是通过来自X射线高电压装置14的高电压的施加而从阴极(灯丝)朝向阳极(靶)照射热电子的真空管。例如，在X射线管11存在通过向旋转的阳极照射热电子而产生X射线的旋转阳极型的X射线管。

楔形部16是用来调节从X射线管11照射的X射线的X射线量的滤波器。具体而言，楔形部16是以使从X射线管11向被检体P照射的X射线成为预先设定的分布的方式使从X射线管11照射的X射线透射并衰减的滤波器。

楔形部16例如是楔形滤波器(wedge filter)或蝴蝶结形滤波器(bow－tiefilter)，是将铝加工成为规定的目标角度和规定的厚度的滤波器。

准直仪17是用来将透射过楔形部16的X射线的照射范围缩减的铅板等，通过多个铅板等的组合形成狭缝。另外，有时也将准直仪17称作X射线光阑。

X射线检测器12检测从X射线管11照射并穿过了被检体P的X射线，将与该X射线量对应的电信号向数据收集装置(DAS 18)输出。X射线检测器12例如具有多个以X射线管11的焦点为中心沿着1个圆弧在通道方向上排列多个X射线检测元件的X射线检测元件列。另外，通道方向是指旋转框架13的圆周方向。

X射线检测器12例如具有在切片方向(也称作体轴方向、列方向)上排列多个在通道方向上排列有多个X射线检测元件的X射线检测元件列的构造。

此外，X射线检测器12例如是具有格栅、闪烁器阵列和光传感器阵列的间接转换型的检测器。闪烁器阵列具有多个闪烁器，闪烁器具有输出与入射X射线量对应的光子量的光的闪烁器结晶。格栅配置在闪烁器阵列的X射线入射侧的面，具有X射线遮挡版，X射线遮挡版具有将散射X射线吸收的功能。

光传感器阵列具有转换与来自闪烁器的光量对应的电信号的功能，例如具有光电增倍管(PMT)等光传感器。另外，X射线检测器12也可以是具有将入射的X射线转换为电信号的半导体元件的直接转换型的检测器。

X射线高电压装置14具有：高电压产生装置，具有变压器及整流器等电路，具有产生向X射线管11施加的高电压的功能；以及X射线控制装置，进行与X射线管11照射的X射线对应的输出电压的控制。高电压产生装置既可以是变压器方式，也可以是逆变器方式。

另外，X射线高电压装置14既可以设置在旋转框架13，也可以设置在架台装置10的固定框架(未图示)侧。另外，固定框架是将旋转框架13可旋转地支承的框架。

DAS 18具有对从X射线检测器12的各X射线检测元件输出的电信号进行放大处理的放大器和将电信号转换为数字信号的A/D转换器，生成检测数据。DAS 18生成的检测数据向控制台装置40转送。检测数据例如是正弦图。

正弦图是将针对每个X射线管11的位置(以下也称作观察角度)并且针对每个X射线检测元件生成的投影数据与观察方向及通道方向建立对应关系而表示的数据。这里，观察方向对应于观察角度，是指X射线的照射方向。

另外，在仅使用X射线检测器12的1个检测元件列执行了单扫描的情况下，能够对1个扫描生成1个正弦图。此外，在使用X射线检测器12的多个检测元件列执行了螺旋扫描或体扫描的情况下，能够对1个扫描生成多个正弦图。

旋转框架13是将X射线管11和X射线检测器12对置支承、通过控制装置15使X射线管11和X射线检测器12旋转的圆环状的框架。另外，旋转框架13除了X射线管11和X射线检测器12以外，还支承X射线高电压装置14及DAS 18。

旋转框架13由架台装置的非旋转部分(例如固定框架。图2中的图示省略)可旋转地支承。旋转机构例如包括产生旋转驱动力的电动机和将该旋转驱动力传递给旋转框架13而使其旋转的轴承。电动机例如设置在该非旋转部分，轴承与旋转框架13及该电动机物理地连接，旋转框架13对应于电动机的旋转力而旋转。

在旋转框架13和非旋转部分分别设置非接触方式或接触方式的通信电路，由此进行由旋转框架13支承的单元与该非旋转部分或架台装置10的外部装置的通信。

例如，在作为非接触的通信方式而采用光通信的情况下，DAS 18生成的检测数据从设置在旋转框架13的具有发光二极管(LED)的发送机通过光通信发送给设置在架台装置的非旋转部分的具有光电二极管的接收机，进而通过发送器从该非旋转部分向控制台装置40转送。

另外，作为通信方式，除此以外除了电容结合式或无线电方式等非接触型的数据传送，还可以采用使用了集电环和电极刷的接触型的数据传送方式。

控制装置15具有马达及致动器等驱动机构，驱动机构具有CPU等处理电路。控制装置15具有接收来自安装在控制台装置40或架台装置10的后述的输入接口43的输入信号、进行架台装置10及床装置30的动作控制的功能。

例如，控制装置15进行接收输入信号而使旋转框架13旋转的控制、使架台装置10倾斜的控制以及使床装置30及顶板33动作的控制。另外，使架台装置10倾斜的控制通过控制装置15根据由安装在架台装置10的输入接口输入的倾斜角度(倾斜角度)信息以与X轴方向平行的轴为中心使旋转框架13旋转来实现。

另外，控制装置15既可以设置在架台装置10，也可以设置在控制台装置40。

床装置30是载置作为扫描对象的被检体P并使其移动的装置，具有基台31、床驱动装置32、顶板33和支承框架34。基台31是将支承框架34可在铅直方向上移动地支承的框体。床驱动装置32是使载置有被检体P的顶板33在其长轴方向(图2的Z轴方向)上移动的电动机或致动器。

设置在支承框架34的上表面的顶板33是载置被检体P的板。另外，床驱动装置32可以除了顶板33以外还使支承框架34在顶板33的长轴方向上移动。

床驱动装置32按照来自控制装置15的控制信号使基台31在上下方向上移动。此外，床驱动装置32按照来自控制装置15的控制信号使顶板33在长轴方向(Z轴方向)上移动。

控制台装置40是受理由操作者进行的X射线CT装置1的操作、并且根据由架台装置10收集到的X射线检测数据重建X射线CT图像数据的装置。控制台装置40具有存储器41、显示器42、输入接口43和处理电路45。

存储器41例如由RAM(Random Access Memory，随机存取存储器)、闪存存储器等半导体存储器元件、硬盘、光盘等实现。存储器41例如存储投影数据或重建图像数据。此外，存储器41存储摄影协议。

这里，摄影协议规定了用来对摄影系统19进行控制、拍摄被检体P并取得图像的次序等。摄影协议例如是摄影部位、摄影条件、摄影范围、重建条件、架台装置10(摄影系统19)的动作、床装置30的动作等的参数组。

此外，存储器41保存用来实现后述的系统控制功能451、前处理功能452、重建处理功能453及图像处理功能454的专用程序。

显示器42是操作者参照的监视器，显示各种信息。例如，显示器42输出由处理电路45生成的医用图像(CT图像)或用来受理来自操作者的各种操作的GUI(Graphical UserInterface，图形用户界面)等。例如，显示器42是液晶显示器或CRT(Cathode Ray Tube，阴极射线管)显示器。

输入接口43受理来自操作者的各种输入操作，将所受理的输入操作转换为电信号并向处理电路45输出。例如，输入接口43从操作者受理收集投影数据时的收集条件、重建CT图像时的重建条件、根据CT图像生成后处理图像时的图像处理条件等。

此外，例如输入接口43由鼠标或键盘、跟踪球、开关、按钮、摇杆等实现。此外，输入接口43也可以设置在架台装置10。此外，输入接口43也可以由能够与控制台装置40主体进行无线通信的平板终端等构成。

处理电路45对X射线CT装置1整体的动作进行控制。处理电路45例如具有系统控制功能451、前处理功能452、重建处理功能453及图像处理功能454。

在实施方式中，由作为构成要素的系统控制功能451、前处理功能452、重建处理功能453及图像处理功能454进行的各处理功能以能够由计算机执行的程序的形态向存储器41存储。处理电路45是通过将程序从存储器41读出并执行来实现与各程序对应的功能的处理器。

换言之，读出了各程序的状态的处理电路45具有在图2的处理电路45内表示的各功能。

另外，在图2中，假设通过单一的处理电路45实现由系统控制功能451、前处理功能452、重建处理功能453及图像处理功能454进行的处理功能而进行了说明，但也可以将多个独立的处理器组合而构成处理电路45，通过各处理器执行程序来实现功能。

换言之，既可以是将上述的各个功能构成为程序、1个处理电路执行各程序的情况，也可以是将特定的功能安装在专用的独立的程序执行电路中的情况。

系统控制功能451基于经由输入接口43从操作者受理的输入操作，对处理电路45的各种功能进行控制。例如，系统控制功能451经由输入接口43，受理用于登入的用户信息(例如用户ID等)、被检体信息等的输入。此外，例如系统控制功能451经由输入接口43受理摄影协议的输入。

前处理功能452生成对从DAS 18输出的检测数据实施了对数转换处理及偏移处理、通道间的灵敏度修正处理、线束硬化修正等前处理的数据。另外，有时也将前处理前的数据(检测数据)及前处理后的数据统称作投影数据。

重建处理功能453基于从后述的医用图像处理装置2发送的关于作为超分辨率处理的对象的被检体P的部位的信息，对于由前处理功能452生成的投影数据，按照重建条件进行使用了滤波器修正逆投影法或渐次逼近重建法等的重建处理，生成多个切片图像数据(CT图像数据)。将所生成的切片图像数据发送给医用图像处理装置2，由医用图像处理装置2进行超分辨率处理。另外，切片图像数据是医用图像数据的一例。

此外，重建处理功能453在从医用图像处理装置2接收到参照用图像数据的发送请求的情况下，对投影数据进行重建处理，生成参照用图像数据。参照用图像是为了进行超分辨率处理的对象部位的选择处理而使用的切片图像。参照用图像由于不用于诊断，所以可以是低画质的图像。将所生成的参照用图像数据通过处理电路45发送给医用图像处理装置2。

图像处理功能454基于经由输入接口43从操作者受理的输入操作，将从医用图像处理装置2接收到的实施了超分辨率处理的切片图像数据(以下也称作超分辨率切片图像数据)通过公知的方法转换为任意截面的断层像数据或三维图像数据。另外，三维图像数据的生成也可以由重建处理功能453进行。

另外，后处理由控制台装置40或医用图像处理装置2的哪个实施都可以。此外，也可以由控制台装置40和医用图像处理装置2的两者同时进行处理。

这里定义的后处理，是指针对从医用图像处理装置2接收到的多个超分辨率切片图像数据的处理的概念。例如，后处理是包括噪声的除去、多个超分辨率切片图像的多平面重建(MPR)显示、以及体数据的渲染等的处理。

回到图1，对医用图像处理装置2进行说明。医用图像处理装置2是对通过由X射线CT装置1进行的被检体P的扫描生成的切片图像数据进行使画质提高的超分辨率处理的装置。在本实施方式中，作为一例，说明对在X射线CT装置1中生成的切片图像数据进行由医用图像处理装置2进行的超分辨率处理的情况。

医用图像处理装置2例如如图1所示，具有存储器21、显示器22、输入接口23及处理电路24。

存储器21存储各种信息。存储器21例如存储超分辨率模型211。超分辨率模型211例如是以对应于切片图像数据的输入而输出超分辨率切片图像数据的方式赋予了功能的已学习模型。另外，超分辨率模型211也可以存储在经由网络NW与医用图像处理装置2连接的服务器等外部装置。关于超分辨率模型211在后面叙述。

此外，例如存储器21存储用于医用图像处理装置2所包含的电路实现其功能的程序。此外，例如存储器21存储从X射线CT装置1接收到的数据以及由处理电路24生成的数据。

另外，存储器21由RAM(Random Access Memory，随机存取存储器)、闪存存储器等半导体存储器元件、硬盘、光盘等实现。此外，存储器21也可以由经由网络NW与医用图像处理装置2连接的服务器组(云)实现。

显示器22显示各种信息。例如，显示器22显示用来经由输入接口23从用户受理各种指示及设定等的GUI(Graphical User Interface，图形用户界面)。

例如，显示器22是液晶显示器或CRT(Cathode Ray Tube，阴极射线管)显示器。显示器22既可以是台式，也可以由能够与医用图像处理装置2主体进行无线通信的平板终端等构成。

输入接口23受理来自用户的各种输入操作，将所受理的输入操作转换为电信号并向处理电路24输出。例如，输入接口23由鼠标或键盘、跟踪球、开关、按钮、摇杆、通过向操作面触碰而进行输入操作的触控板、将显示画面和触控板一体化的触摸屏、使用光学传感器的非接触输入电路、声音输入电路等实现。

另外，输入接口23也可以由能够与医用图像处理装置2主体进行无线通信的平板终端等构成。此外，输入接口23也可以是通过运动捕获器受理来自用户的输入操作的电路。举例来说，输入接口23能够通过对经由追踪装置取得的信号或关于用户收集到的图像进行处理，受理用户的身体运动或视线等作为输入操作。

此外，输入接口23并不仅限于鼠标或键盘等具有物理操作零件的结构。例如，从与医用图像处理装置2分体设置的外部的输入机器接收与输入操作对应的电信号并将该电信号向处理电路24输出的电信号的处理电路也包含在输入接口23的例子中。

处理电路24通过执行选择功能241、取得功能242、分割功能243、确定功能244及超分辨率处理功能245，对医用图像处理装置2整体的动作进行控制。这里，取得功能242是取得部的一例。此外，选择功能241是选择部的一例。此外，分割功能243及确定功能244是确定部的一例。此外，超分辨率处理功能245是处理部的一例。

在图1所示的医用图像处理装置2，各处理功能以能够由计算机执行的程序的形态向存储器21存储。处理电路24是通过从存储器21将程序读出并执行来实现与各程序对应的功能的处理器。换言之，将程序读出的状态的处理电路24具有与所读出的程序对应的功能。

另外，在图1中假设由单一的处理电路24实现选择功能241、取得功能242、分割功能243、确定功能244及超分辨率处理功能245而进行了说明，但也可以将多个独立的处理器组合而构成处理电路24，通过各处理器执行程序来实现。此外，处理电路24具有的各处理功能也可以通过适当分散或合并到单一或多个处理电路中来实现。

此外，处理电路24也可以利用经由网络NW连接的外部装置的处理器来实现功能。例如，处理电路24通过从存储器21将与各功能对应的程序读出并执行，并且利用经由网络NW与医用图像处理装置2连接的服务器组(云)作为计算资源，实现图1所示的各功能。

选择功能241从切片图像数据中选择作为超分辨率处理的对象的被检体P的对象部位。具体而言，首先，选择功能241向X射线CT装置1发送参照用图像数据的发送请求。接着，从X射线CT装置1接收参照用图像数据。接着，选择功能241将该参照用图像数据向显示器22输出。

接着，选择功能241从用户受理对象部位的选择指示的输入。图3是表示选择处理的一例的说明图。图3的参照用图像数据RI是表示被检体P的特定的截面的切片图像数据。用户使用选择框SF进行参照图像数据RI上的对象部位的选择指示。另外，选择框SF的位置、大小及形状等可以由用户自由地调整。

选择功能241按照从用户受理的对象部位的选择指示的输入，选择对象部位。例如，在图3中，选择功能241将由选择框SF包围的区域选择为作为对象部位的选择区域SE。

另外，选择功能241也可以基于被检体P的摄影部位等自动地选择对象部位。在此情况下，选择功能241基于用来决定摄影部位的拍摄的定位图像数据来选择对象部位。此外，在从定位图像数据导出了多个对象部位作为候选的情况下，选择功能241也可以从用户受理指示将多个候选的哪个作为对象部位的输入。

此外，选择功能241也可以基于被检体P的过往历史来自动地选择对象部位。例如，在被检体P的过往历史中包含肺部疾病的情况下，选择功能241可以将肺部选择为对象部位。另外，在从过往历史导出多个对象部位作为候选的情况下，选择功能241可以从用户受理指示将多个候选的哪个作为对象部位的输入。

用户的对象部位的选择输入的内容(在图2中是选择区域SE的信息)通过处理电路24向X射线CT装置1发送。X射线CT装置1的重建处理功能453基于用户的选择输入的内容进行重建处理，生成多个切片图像数据。

取得功能242取得作为处理对象的多个切片图像数据。具体而言，取得功能242基于用户的对象部位的选择输入的内容取得由X射线CT装置1的重建处理功能453生成的多个切片图像数据。另外，取得功能242取得存在由选择功能241选择出的对象部位的多个切片图像数据。

分割功能243将1个切片图像数据分割为多个子切片图像数据。子切片图像数据是子数据的一例。具体而言，分割功能243将由取得功能242取得的各切片图像数据分割为多个子切片图像数据。图4是表示切片图像数据的分割处理的一例的图。如图4所示，分割功能243将切片图像LI分割为纵5×横5的格子状的区域。

表示这样由分割功能243分割出的各区域的图像数据成为子切片图像数据。在图4中，从1个切片图像数据生成25个子切片图像数据。

另外，在图4中，分割功能243将切片图像LI分割为纵5×横5的区域，但分割的方法并不限定于此。例如，分割功能243也可以将切片图像LI分割为纵2×横2的区域，也可以将切片图像LI分割为纵10×横5的区域。

确定功能244基于切片图像数据，确定切片图像数据中的作为使画质提高的超分辨率处理的对象的对象区域和作为超分辨率处理的对象外的对象外区域。具体而言，确定功能244关于由分割功能243生成的多个子切片图像数据，针对每个子切片图像数据确定对象区域和非对象区域。

更具体地讲，确定功能244基于由选择功能241选择出的对象部位、针对每个人体的部位预先设定的基准特征量和子切片图像数据中包含的特征量的分布来确定对象区域。另外，特征量是数据值的一例。

作为特征量，例如使用边缘量。作为一例，在对象部位是肝脏的情况下，确定功能244计算子切片图像数据的边缘量，与预先设定的表示肝脏的边缘量(以下也称作基准边缘量)比较。另外，边缘量可以通过使用离散微分后的微分值、二维傅里叶变换后的高频的振幅、通过滤波而特征提取出的值等的既有的方法来计算。

在计算出的边缘量与基准边缘量类似的情况下，确定功能244将该子切片图像数据表示的切片图像数据上的特定的区域确定为对象区域。另一方面，在计算出的边缘量与基准边缘量不类似的情况下，确定功能244将该子切片图像数据表示的切片图像数据上的特定的区域确定为对象外区域。

另外，计算出的边缘量与基准边缘量是否类似，例如通过设定两者的差值的阈值等来判断。在此情况下，当差值小于阈值时，确定功能244判断为计算出的边缘量与基准边缘量类似。另一方面，当差值为阈值以上时，确定功能244判断为计算出的边缘量与基准边缘量不类似。

此外，确定功能244也可以在对切片图像数据进行极坐标转换后，对距离方向进行一维傅里叶变换，以高频的振幅为预先设定的阈值以下的最小的距离来确定对象区域。这是因为，在切片图像的中心处包含重要的信息的可能性高。

另外，在上述记载中作为特征量而使用边缘量，但特征量例如也可以是CT值等。此外，例如也可以如CT值及边缘量那样将两个要素组合而作为特征量使用。

确定功能244对于存在由选择功能241选择出的对象部位的多个切片图像数据，进行确定对象区域和对象外区域的处理(以下也简称作确定处理)。另外，确定功能244对于与进行了确定处理的切片图像数据相邻的切片图像数据，可以将确定处理省略。

这是因为，例如在某个切片图像数据中包含对象区域的情况下，在与该切片图像数据相邻的切片图像数据中也包含对象区域的可能性高。此外，在将确定处理省略的情况下，也可以预先设定从某个切片图像数据到后几张切片图像数据为止省略确定处理。在此情况下，可以根据对象部位而变更省略的张数。

另外，确定功能244也可以生成确定处理用的确定处理用图像数据。例如，确定功能244以能够判别对象部位的范围将子切片图像数据降采样而生成确定处理用图像数据。通过生成降采样的确定处理用图像数据，能够减轻处理电路24的处理负担。

此外，确定功能244也可以使用强调了边缘的确定处理用图像数据来进行确定处理。在此情况下，例如X射线CT装置1的重建处理功能453对于正弦图进行对象部位的边缘提取，基于提取结果进行重建处理，生成强调了边缘的确定处理用图像数据。通过强调边缘，容易进行对象区域的确定。

超分辨率处理功能245基于关于对象区域的信息，对切片图像数据进行超分辨率处理。例如，超分辨率处理功能245使用超分辨率模型211进行超分辨率处理。

这里，使用图5对超分辨率模型211的生成处理进行说明。图5是表示基于机器学习的超分辨率模型211的生成方法的一例的说明图。另外，超分辨率模型211既可以由医用图像处理装置2生成，也可以由医用图像处理装置2以外的外部装置生成。以下，将生成超分辨率模型211的装置称作学习装置。

例如，学习装置如图5所示，将作为输入侧教师数据的“低画质切片图像数据”和作为输出侧教师数据的将低画质切片图像数据高画质化的“高画质切片图像数据”作为学习用数据集向机器学习引擎输入，进行机器学习。

这里，低画质切片图像数据例如是将以高射线剂量拍摄的高画质切片图像数据进行先缩小再放大等加工而使其低画质化的数据。另外，低画质切片图像数据的收集方法并不限定于此。例如，也可以将被检体P的相同的部位以低射线剂量和高射线剂量的双方进行拍摄，将以低射线剂量拍摄的切片图像数据作为低画质切片图像数据。

另外，作为机器学习引擎，例如可以应用公知的非专利文献“克里斯托弗M.比舍普(Christopher M.Bishop)著，‘模式识别和机器学习(Pattern recognition and machinelearning)’，(美国)，第1版，斯普林格(Springer)出版社，2006年，P.225－290”中记载的神经网络(Neural Network)等。

此外，关于机器学习引擎，除了上述的神经网络以外，也可以使用例如深度学习、逻辑(Logistic)回归分析、非线性判别分析、支持向量机(Support Vector Machine：SVM)、随机森林(Random Forest)、朴素贝叶斯(Naive Bayes)等各种算法。

以对应于切片图像数据(低画质切片图像数据)的输入而输出超分辨率切片图像数据(高画质切片图像数据)的方式对上述的学习装置生成的超分辨率模型211赋予功能。

图6是表示超分辨率模型211的输入输出形象的一例的图。如图6所示，超分辨率模型211对应于切片图像数据的输入而输出将切片图像数据高画质化的超分辨率切片图像数据。超分辨率处理功能245使用该超分辨率模型211进行超分辨率处理。

首先，超分辨率处理功能245将从子切片图像数据裁剪出确定为对象区域的区域而得到的图像数据向超分辨率模型211输入。超分辨率处理功能245取得从超分辨率模型211输出的超分辨率图像数据。

另外，在该例中，将从子切片图像数据裁剪出确定为对象区域的区域而得到的子切片图像数据向超分辨率模型211输入，但也可以将对确定为对象区域的区域进行了极坐标转换后的信息向超分辨率模型211输入。该情况下的超分辨率模型211例如是将极坐标转换后的结果作为输入侧教师数据进行了学习的已学习模型。

接着，超分辨率处理功能245将表示没有输入到超分辨率模型211中的区域(子切片图像数据上的受到裁剪的区域以外的区域)的图像数据与从超分辨率模型211输出的超分辨率图像数据合并，生成超分辨率子切片图像数据。

接着，超分辨率处理功能245对包括确定为对象区域的区域的全部子切片图像数据进行同样的处理。并且，将所生成的全部超分辨率子切片图像数据与不包含确定为对象区域的区域的全部子切片图像数据合并，生成超分辨率切片图像数据。将所生成的超分辨率切片图像数据发送给X射线CT装置1，由X射线CT装置1进行后处理。

另外，在超分辨率模型211存储在外部装置的情况下，超分辨率处理功能245向该外部装置发送表示确定为对象区域的区域的子切片图像数据。并且，从外部装置取得从超分辨率模型211输出的超分辨率子切片图像数据。在此情况下，超分辨率处理功能245由于对存储超分辨率模型211的外部装置输出与切片图像数据的对象区域有关的信息，所以可以认为是输出部的一例。

此外，在医用图像处理装置2存储有超分辨率模型211的情况下，可以认为超分辨率处理功能245对超分辨率模型211输出了与切片图像数据的对象区域有关的信息，所以在此情况下超分辨率处理功能245也可以认为是输出部的一例。

接着，对医用图像处理装置2执行的处理进行说明。图7是表示医用图像处理装置2执行的处理的一例的流程图。

首先，选择功能241选择超分辨率处理的对象部位(步骤S1)。具体而言，选择功能241从X射线CT装置1取得参照用图像数据。选择功能241使用该参照用图像数据，从用户受理对象部位的选择输入。接着，选择功能241将从用户受理的对象部位的选择输入的内容向X射线CT装置1发送(步骤S2)。

接收到对象部位的选择输入的内容的X射线CT装置1基于对象部位的选择输入的内容，设为投影数据而执行重建处理，生成多个切片图像数据。由X射线CT装置1的处理电路45将所生成的多个切片图像数据向医用图像处理装置2发送。

接着，取得功能242取得作为处理对象的多个切片图像数据(步骤S3)。具体而言，取得功能242取得从X射线CT装置1发送的、包含对象部位的多个切片图像数据。接着，分割功能243将切片图像数据分割为子切片图像数据(步骤S4)。具体而言，分割功能243将切片图像分割为格子状，将表示分割出的各区域的图像设为子切片图像。

接着，确定功能244对于各子切片图像数据，确定对象区域和对象外区域。具体而言，确定功能244基于由选择功能241选择的对象部位和针对每个人体的部位预先设定的基准边缘量，确定对象区域和对象外区域。并且，确定功能244确定各子切片图像数据是否包含确定为对象区域的区域(步骤S5)。

在通过确定功能244判定为不包含确定为对象区域的区域的情况下(步骤S5：否)，转移到步骤S8的处理。另一方面，在由确定功能244判定为包含确定为对象区域的区域的情况下(步骤S5：是)，超分辨率处理功能245将裁剪了该子切片图像数据的确定为对象区域的区域而得到的图像数据向超分辨率模型211输入(步骤S6)。

接着，超分辨率处理功能245生成超分辨率子切片图像数据(步骤S7)。具体而言，超分辨率处理功能245取得从超分辨率模型211输出的超分辨率图像数据。并且，超分辨率处理功能245通过将超分辨率图像数据和表示对象外区域的图像数据合并，生成将对象区域高分辨率化的超分辨率子切片图像数据。

接着，超分辨率处理功能245确认没有进行确定处理的(未处理的)子切片图像数据的有无(步骤S8)。在存在未处理的子切片图像数据的情况下(步骤S8：是)，转移到步骤S5的处理。

另一方面，在不存在未处理的子切片图像数据的情况下(步骤S8：否)，超分辨率处理功能245将所生成的全部超分辨率子切片图像数据和仅包含确定为对象外区域的区域的全部子切片图像数据合并，生成超分辨率切片图像数据(步骤S9)。超分辨率处理功能245将该超分辨率切片图像数据向X射线CT装置1发送，结束本处理(步骤S10)。

以上叙述的有关实施方式的医用图像处理装置2取得作为处理对象的切片图像数据，在该切片图像数据中，确定作为超分辨率处理的对象的对象区域和作为超分辨率处理的对象外的对象外区域，输出与确定出的对象区域有关的信息。

由此，能够确定对象区域并输出与对象区域有关的信息，所以不再对对象外的区域进行超分辨率处理。因而，能够缩短超分辨率处理所花费的时间。即，根据有关本实施方式的医用图像处理装置2，能够使医用图像的超分辨率处理的效率提高。

此外，有关本实施方式的医用图像处理装置2基于与输出的对象区域有关的信息，对切片图像数据进行超分辨率处理。由此，能够减少与外部装置的数据的收发次数。因而，能够进一步提高医用图像的超分辨率处理的效率。

此外，有关本实施方式的医用图像处理装置2选择作为超分辨率处理的对象的被检体P的部位即对象部位。由此，例如对于作为诊断的对象外的被检体P的部位能够不进行超分辨率处理。因而，能够提高医用图像的超分辨率处理的效率。

此外，有关本实施方式的医用图像处理装置2可以按照用户的选择指示来选择前对象部位。由此，能够仅对用户指示的被检体P的部位进行超分辨率处理。

此外，有关本实施方式的医用图像处理装置2可以基于通过定位摄影生成的定位图像数据来选择对象部位。由此，即使不选择对象部位也自动地选择对象部位，所以能够减轻用户的负担。

此外，有关本实施方式的医用图像处理装置2在被检体P存在过去的过往历史的情况下，可以基于该过往历史来选择对象部位。由此，例如将过去作为诊断的对象的被检体P的部位自动地选择为对象部位，所以能够减轻用户的负担。

此外，有关本实施方式的医用图像处理装置2基于表示预先设定的对象部位的特征量的基准值和切片图像数据中包含的特征量的分布来确定对象区域。由此，能够正确地确定对象区域。并且，通过正确地确定对象区域，不再对不需要超分辨率处理的区域进行超分辨率处理，能够提高医用图像的超分辨率处理的效率。

此外，在本实施方式中，特征量至少包括CT值及边缘量的某1个。由此，能够通过计算CT值或边缘量等既有的数据值，正确地确定对象区域。

此外，有关本实施方式的医用图像处理装置2将切片图像数据分割为多个子切片图像数据，基于该多个子切片图像数据来确定对象区域。由此，进行一次次的确定处理的区域变小，所以能够减轻处理负担。

另外，上述的实施方式也可以通过将各装置具有的结构或功能的一部分变更而适当地变形来实施。所以，以下将上述的有关实施方式的几个变形例作为其他的实施方式进行说明。另外，以下主要说明与上述的实施方式不同的点，关于与已经说明的内容共通的点省略详细的说明。此外，以下说明的变形例既可以单独地实施，也可以适当组合来实施。

(变形例1)

在上述的实施方式中，以医用图像诊断装置1是X射线CT装置的情况为例进行了说明，但并不限定于此。医用图像诊断装置1例如也可以是MRI(Magnetic ResonanceImaging，磁共振成像)装置、血管造影CT系统、断层合成装置、SPECT(Single PhotonEmission Computed Tomography，单光子发射计算机断层扫描)装置、PET(PositronEmission computed Tomography，正电子发射计算机断层扫描)装置等。

根据本变形例，并不限于X射线CT装置，能够将以低画质拍摄的医用图像数据高画质化。由此，能够减轻由医用图像的摄影给被检体P带来的负担。

(变形例2)

在上述的实施方式中，对将与X射线CT装置1的控制台装置40分体的信息处理装置设为医用图像处理装置2的形态进行了说明。但是，控制台装置40也可以具有医用图像处理装置2所具有的功能结构。根据本变形例，由于能够由1个装置进行重建处理及超分辨率处理等处理，所以能够提高医用图像的超分辨率处理的效率。

(变形例3)

在上述的实施方式中，对关于由选择功能241选择出的对象部位以外的区域及表示空气的空气区域也进行确定处理的形态进行了说明。但是，也可以将对象部位以外的区域或空气区域遮挡，关于所遮挡的区域(以下也称作遮挡区域)省略确定处理。

图8是表示有关变形例3的医用图像处理系统S的结构的一例的框图。如图8所示，有关变形例3的医用图像处理装置2具有遮挡功能246作为功能部。此外，在图8的例子中，医用图像处理装置2不具有分割功能243。

遮挡功能246将切片图像数据上的对象部位以外的区域及空气区域遮挡。例如，遮挡功能246裁剪由选择功能241选择出的对象部位，将裁剪出的区域以外的区域设定为遮挡区域。

此外，遮挡功能246基于构成切片图像数据的各像素的CT值来检测空气区域。这是因为，在切片图像中将空气描绘得黑。因而，通过设定CT值的阈值，能够将呈现小于阈值的CT值的区域检测为空气区域。并且，遮挡功能246将检测出的空气区域设定为遮挡区域。以下，使用图9对遮挡处理进行说明。

图9是表示遮挡处理的一例的图。首先，遮挡功能246从切片图像数据LI中裁剪由选择功能241选择出的选择区域SE。由此，将切片图像数据LI分割为作为表示选择区域SE以外的区域的图像数据的对象部位外图像数据MI和裁剪图像数据CL。遮挡功能246将对象部位外图像数据MI整体设定为遮挡区域ME。

此外，遮挡功能246从裁剪图像数据CL中检测空气区域。另外，在图9中，在裁剪图像数据CL中不存在空气区域，但在存在空气区域的情况下，遮挡功能246将该空气区域遮挡，设定遮挡区域。

接着，使用图10对本变形例的超分辨率处理进行说明。图10是表示有关变形例3的超分辨率处理的概要的一例的图。首先，确定功能244对于裁剪图像数据CL确定对象区域。超分辨率处理功能245裁剪确定为对象区域的区域，向超分辨率模型211输入。

超分辨率处理功能245将从超分辨率模型211输出的超分辨率图像数据与表示不包含确定为对象区域的区域的图像数据合并，生成超分辨率裁剪图像数据CH。超分辨率处理功能245将设定有遮挡区域ME的对象部位外图像数据MI与超分辨率裁剪图像数据CH合并，生成超分辨率切片图像数据CI。

另外，在裁剪图像数据CL上设定有遮挡区域ME的情况下，超分辨率处理功能245将来自裁剪图像数据CL的遮挡区域ME去除，输入到超分辨率模型211中而进行超分辨率处理。在此情况下，将表示裁剪图像数据CL的遮挡区域ME的图像数据、对象部位外图像数据MI和去除遮挡区域ME后的超分辨率裁剪图像数据CH合并，生成超分辨率切片图像数据CI。

另外，在该例中，不进行将切片图像数据分割为子切片图像数据的分割处理，但也可以将上述的遮挡处理与分割处理一起进行。在此情况下，在将切片图像数据分割为子切片图像数据之后，遮挡功能246从子切片图像数据中裁剪包含由选择功能241选择出的对象部位的区域，对子切片图像数据设定遮挡区域。

此外，遮挡功能246对于包含裁剪出的对象部位的区域，检测空气区域，设定遮挡区域。然后，确定功能244及超分辨率处理功能245针对每个子切片图像数据进行对象区域的确定处理及超分辨率处理。

接着，对有关本变形例的医用图像处理装置2执行的处理进行说明。图11是表示有关变形例3的医用图像处理装置2执行的处理的一例的流程图。另外，关于步骤S11至步骤S13，是与图7的步骤S1至步骤S3同样的处理，所以省略说明。

在切片图像数据的取得后，遮挡功能246对于切片图像数据设定遮挡区域(步骤S14)。具体而言，遮挡功能246裁剪由选择功能241选择出的对象部位，将裁剪出的区域以外的区域设定为遮挡区域。进而，遮挡功能246基于构成切片图像数据的各像素的CT值，从切片图像数据中检测空气区域，将该空气区域设定为遮挡区域。

接着，确定功能244对于切片图像数据中的遮挡区域以外的区域，确定对象区域和对象外区域。具体而言，确定功能244对于切片图像数据中的遮挡区域以外的区域，基于由选择功能241选择出的对象部位和针对每个人体的部位预先设定的基准边缘量，确定对象区域和对象外区域。

并且，确定功能244判定切片图像数据中的遮挡区域以外的区域是否包含确定为对象区域的区域(步骤S15)。在判定为不包含确定为对象区域的区域的情况下(步骤S15：否)，转移到步骤S18的处理。

另一方面，在由确定功能244判定为包含确定为对象区域的区域的情况下(步骤S15：是)，超分辨率处理功能245将从切片图像数据中的遮挡区域以外的区域裁剪出确定为对象区域的区域而得到的裁剪图像数据向超分辨率模型211输入(步骤S16)。

接着，超分辨率处理功能245取得从超分辨率模型211输出的超分辨率裁剪图像数据(步骤S17)。接着，超分辨率处理功能245通过将表示遮挡区域的图像数据和超分辨率裁剪图像数据合并，生成将对象区域高分辨率化的超分辨率切片图像数据(步骤S18)。接着，超分辨率处理功能245将该超分辨率切片图像数据向X射线CT装置1发送，结束本处理(步骤S19)。

根据有关本变形例的医用图像处理装置2，通过从切片图像数据裁剪除了遮挡区域以外的区域，能够使确定处理高速化。即，能够提高医用图像的超分辨率处理的效率。

(变形例4)

在上述的实施方式中，对使用1个超分辨率模型211进行超分辨率处理的形态进行了说明。但是，也可以针对每个作为超分辨率处理的对象的部位使用不同的超分辨率模型进行超分辨率处理。在此情况下，超分辨率处理功能245如在对象部位是肺的情况下使用肺用的超分辨率模型，在对象部位是心脏的情况下使用心脏用的超分辨率模型…那样，使用与对象部位对应的超分辨率模型进行超分辨率处理。

例如，肺用的超分辨率模型是通过以“拍摄了肺的低画质切片图像数据”为输入侧教师数据、以“拍摄了肺的高画质切片图像数据”为输出侧教师数据的机器学习生成的已学习模型。肺用的超分辨率模型由于仅使用拍摄了肺的切片图像数据进行机器学习，所以生成适合于使拍摄了肺的切片图像数据高画质化的超分辨率模型。

在本变形例中，例如确定功能244基于边缘量，确定存在于切片图像数据内的部位(肺、心脏、肝等)。并且，超分辨率处理功能245使用与确定出的部位对应的超分辨率模型进行超分辨率处理。

根据有关本变形例的医用图像处理装置2，能够针对每个切片图像数据使用最优的超分辨率模型进行超分辨率处理。此外，在1个切片图像数据中存在多个部位的情况下，能够对于各个部位使用最优的超分辨率模型进行超分辨率处理。

(变形例5)

在上述的实施方式中，对确定对象区域和对象外区域的形态进行了说明。但是，例如也可以如作为第1处理的对象的第1处理对象区域、作为第2处理的对象的第2处理对象区域及对象外区域那样，确定多个区域，进行与各个区域对应的处理。这里，假设第2处理是对于处理电路24的负担比第1处理小的处理。

在本变形例中，例如确定功能244基于由选择功能241选择出的对象部位和根据切片图像数据计算出的边缘量来确定第1处理对象区域、第2处理对象区域及对象外区域。具体而言，对于表示对象部位的基准边缘量与根据切片图像数据计算出的边缘量的差值，预先设定第1阈值及第2阈值(其中，假设第1阈值<第2阈值)。

并且，确定功能244将差值<第1阈值的区域确定为第1处理对象区域，将第1阈值≤差值≤第2阈值的区域确定为第2处理对象区域，将差值>第2阈值的区域确定为对象外区域。接着，超分辨率处理功能245对于第1处理对象区域进行第1处理，对于第2处理对象区域进行第2处理。另外，超分辨率处理功能245对于对象外区域不进行任何处理。

另外，在该例中，确定功能244确定了第1处理对象区域、第2处理对象区域及对象外区域，但也可以确定4个以上的区域。例如，确定功能244也可以确定第1处理对象区域、第2处理对象区域、作为第3处理的对象的第3处理对象区域及对象外区域。这里，假设第3处理是对于处理电路24的负担比第2处理更小的处理。

根据有关本变形例的医用图像处理装置2，由于能够对需要负担重的处理的区域进行重的处理，对不需要那么重的处理的区域进行轻的处理，所以能够提高处理速度。此外，确定进行超分辨率处理的区域和不进行的区域这两个，在进行了超分辨率处理的情况下，用户例如有可能对两区域的边界附近等区域感到不协调。但是，通过如本变形例那样确定作为进行轻的处理的对象的区域，能够期待减轻上述的不协调的效果。

根据以上说明的至少实施方式及变形例等，能够提高医用图像的超分辨率处理的效率。

在上述说明中使用的“处理器”的词语，例如是指CPU(Central Processing Unit，中央处理器)、GPU(Graphical Processing Unit，图形处理器)，或者面向特定用途的集成电路(Application Specific Integrated Circuit：ASIC)、可编程逻辑器件(例如，简单可编程逻辑器件(Simple Programmable Logic Device：SPLD)、复合可编程逻辑器件(Complex Programmable Logic Device：CPLD)及现场可编程门阵列(Field ProgrammableGate Array：FPGA))等电路。

处理器通过将保存在存储器41中的程序读出并执行而实现功能。另外，也可以代替向存储器41保存程序，而构成为向处理器的电路内直接嵌入程序。在此情况下，处理器通过将嵌入在电路内的程序读出并执行来实现功能。

说明了本发明的几个实施方式，但这些实施方式是作为例子提示的，不是要限定发明的范围。这些实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种各样的省略、替换、变更。这些实施方式及其变形包含在发明的范围或主旨中，同样包含在权利要求书所记载的发明和其等价的范围中。

Claims (12)

1.一种医用图像处理装置，其具有处理电路，

所述处理电路取得作为处理对象的医用图像数据；

所述处理电路基于所述医用图像数据，从所述医用图像数据中确定作为使画质提高的超分辨率处理的对象的对象区域；

所述处理电路输出与确定出的所述对象区域有关的信息。

2.如权利要求1所述的医用图像处理装置，其中，

所述处理电路基于与所述对象区域有关的信息，对所述医用图像数据的所述对象区域进行所述超分辨率处理。

3.如权利要求1所述的医用图像处理装置，其中，

所述处理电路从所述医用图像数据中选择作为所述超分辨率处理的对象的被检体的对象部位；

所述处理电路基于是否包含所述对象部位，从所述医用图像数据中确定所述对象区域。

4.如权利要求3所述的医用图像处理装置，其中，

所述处理电路选择用户指示的所述被检体的部位作为所述对象部位。

5.如权利要求3所述的医用图像处理装置，其中，

所述处理电路基于所述被检体的摄影部位选择所述对象部位。

6.如权利要求3所述的医用图像处理装置，其中，

所述处理电路基于所述被检体的过往历史选择所述对象部位。

7.如权利要求3所述的医用图像处理装置，其中，

所述处理电路基于预先设定的表示所述对象部位的数据值的基准值和所述医用图像数据中包含的数据值的分布，确定所述对象区域。

8.如权利要求7所述的医用图像处理装置，其中，

所述处理电路基于至少包括像素值或边缘量的任1个的所述数据值的基准值和所述医用图像数据中包含的数据值的分布，确定所述对象区域。

9.如权利要求1所述的医用图像处理装置，其中，

所述处理电路将所述医用图像数据分割为多个子数据，基于该多个子数据确定所述对象区域。

10.如权利要求9所述的医用图像处理装置，其中，

所述处理电路基于所述多个子数据中包含的数据值的分布，确定所述对象区域。

11.一种医用图像处理方法，其中，

取得作为处理对象的医用图像数据；

基于所述医用图像数据，从所述医用图像数据中确定作为使画质提高的超分辨率处理的对象的对象区域；

输出与确定出的所述对象区域有关的信息。

12.一种存储介质，是能够由计算机读取的存储介质，其中，

存储有程序，所述程序用来使计算机执行：

取得作为处理对象的医用图像数据；

基于所述医用图像数据，从所述医用图像数据中确定作为使画质提高的超分辨率处理的对象的对象区域；

输出与确定出的所述对象区域有关的信息。

Images