CN115205107A

CN115205107A - 医用图像处理方法、医用图像处理装置、存储介质

Info

Publication number: CN115205107A
Application number: CN202210337889.7A
Authority: CN
Inventors: 李子正; 周健; 蔡良; 余宙; 松浦正和; 根本拓也; 田口博基
Original assignee: Canon Medical Systems Corp
Current assignee: Canon Medical Systems Corp
Priority date: 2021-04-07
Filing date: 2022-03-31
Publication date: 2022-10-18
Also published as: JP2022161003A; EP4071705A1; US20220327750A1

Abstract

本实施方式的医用图像处理方法在具有第一像素尺寸的检测器的第一CT装置中，使用检测器的第一成像区域执行针对被检体的第一CT扫描，从而取得第一投影数据组，通过对第一投影数据组进行重构处理，取得具有第一分辨率的第一CT图像，通过将用于提高分辨率的机器学习模型应用于第一CT图像，取得分辨率比第一分辨率高的处理后CT图像，输出处理后CT图像用于进行显示或者解析处理。在医用图像处理方法中，机器学习模型是通过使用了基于第二投影数据组的第二CT图像的机器学习而获得的，该第二投影数据组是在具有比第一像素尺寸小的第二像素尺寸的检测器的第二CT装置中使用检测器的比第一成像区域小的第二成像区域来执行针对被检体的第二CT扫描而获得的。

Description

医用图像处理方法、医用图像处理装置、存储介质

技术领域

本申请通常涉及医用图像处理以及图像诊断的领域，特别是涉及使用深度学习模型来提高计算机断层摄影(Computer Tomography：CT)图像的空间分辨率。

背景技术

计算机断层摄影用检测器在摄影范围与空间分辨率上得到了改进，例如以小型的检测元件的大小实现了较大的检测范围等。作为大范围CT检测系统的优点之一，可列举摄影范围的扩大。由此，能够实现包含心脏、大脑的脏器的更高速的扫描与动态摄影。大范围CT检测系统通过延长每次旋转的摄影范围，从而缩短扫描时间，不需要进行多次的数据收集。通过使用大范围CT检测系统，在一瞬间的仅一次的旋转中，便能够以Z轴上的高均匀性且低辐射剂量收集心脏整体、新生儿的胸部、以及脚部、脚踝的扫描。

另一方面，高空间分辨率CT系统例如提供在肿瘤分类、疾病诊断等方面可改进的诊断图像。

然而，即便大范围超高分辨率(ultra-high resolution：UHR)CT检测系统能够商购，其系统成本也价高，可能产生与复杂的信号处理、图像重构相关的问题。大范围超高分辨率CT检测系统虽然具有更大的摄影范围与较高的分辨率这一优点，但在商业性的环境中，高成本、复杂性等缺点也可能超过优点。

超分辨率(super-resolution：SR)技术是提高摄影系统的分辨率的技术。SR通过从低分辨率图像复原高分辨率信息从而提高摄影系统的分辨率。SR的算法包含基于预测模型的模型、基于边缘的模型、基于图像统计的模型以及基于示例的模型这四类。在该技术领域中，需求能够实现比以往的方法更优异的画质与更快的处理速度的基于深度卷积神经网络(deep convolution neural network：DCNN)的SR方法。

发明内容

本发明的实施方案之一是一种医用图像处理方法，具包括：在具有第一像素尺寸的检测器的第一CT装置中，使用所述检测器的第一成像区域执行针对被检体的第一CT扫描，从而取得第一投影数据组；通过对所述第一投影数据组进行重构处理，从而取得具有第一分辨率的第一CT图像；通过将用于提高分辨率的机器学习模型应用于所述第一CT图像，从而取得分辨率比所述第一分辨率高的处理后CT图像；以及输出所述处理后CT图像用于进行显示或者解析处理；所述机器学习模型是通过使用了基于第二投影数据组的第二CT图像的机器学习而获得的，该第二投影数据组是在具有比第一像素尺寸小的第二像素尺寸的检测器的第二CT装置中使用所述检测器的比第一成像区域小的第二成像区域来执行针对被检体的第二CT扫描而获得的。

附图说明

图1A是表示本申请所例示的实施方式的处理整体的概要的图。

图1B是基于本申请的一个以上的方式，表示用于机器学习模型的学习阶段以及推理阶段的硬件系统的概要的图。

图2是基于本申请的一个以上的方式，表示用于取得学习完毕深度机器学习模型(DCNN)并进行微调的数据制作的工作流程的图。

图3是基于本申请的一个以上的方式，用于近似于大范围UHR-CT图像的流程图。

图4是基于本申请的一个以上的方式，表示用于取得优化后的学习完毕DCNN模型的学习框架的框图。

图5A是基于一个实施方式，表示作为前馈人工神经网络(artificial neuralnetwork：ANN)的DL网络的一例的图。

图5B是基于一个实施方式，表示作为卷积神经网络(convolutional neuralnetwork：CNN)的DL网络的一例的图。

图5C是基于一个实施方式，表示在卷积层的一个神经元节点实现卷积层的一例的图。

图5D是基于一个实施方式，表示实现体(volume)图像数据用的3通道-体卷积层的一例的图。

图6是基于本申请的一个以上的方式，表示近似于大范围UHR-CT图像的第二实施方式的流程的流程图。

图7是基于本申请的一个以上的方式，表示近似于大范围UHR-CT图像的第三实施方式的流程的流程图。

图8是基于本申请的一个以上的方式，表示近似于大范围UHR-CT图像的第四实施方式的流程的流程图。

图9是基于本申请的一个以上的方式，表示用于取得学习完毕深度机器学习模型(DCNN)并进行微调的数据制作的工作流程的第五实施方式的图。

图10是基于本申请的一个以上的方式，用于取得与大范围UHR-CT图像近似的可应用DCNN的图像的第五实施方式的流程图。

图11是基于本申请的一个以上的方式，表示能够与通过生成、优化、应用模型从而生成与大范围UHR-CT图像非常相似或者近似的可应用DCNN的图像的至少一个装置、系统、方法以及/或者存储介质的一个以上的实施方式一同利用的计算机的实施方式的概略图。

图12是基于本申请的一个以上的方式，表示能够与通过生成、优化、应用模型从而生成与大范围UHR-CT图像非常相似或者近似的可应用DCNN的图像的至少一个装置、系统、方法以及/或者存储介质的一个以上的实施方式一同利用的计算机的实施方式的概略图。

图13是基于本申请的另一个实施方式，表示SR用学习完毕模型的生成方法的图。

图14是基于本申请的另一个实施方式，表示推理阶段的各种流程的流程图。

图15是基于本申请的一个实施方式的CT摄影装置的概略图。

图16是基于本申请的一个实施方式，表示中间网络所涉及的具有客户端-服务器结构的医用图像处理系统的一例的图。

具体实施方式

本申请的目的之一包括生成用于取得与大范围UHR-CT图像近似的计算机断层摄影(CT)图像的模型的方法。在一个实施方式中，根据用于取得与大范围UHR-CT图像近似的CT图像的模型生成方法，无需大范围UHR-CT检测系统，便能够实现大范围超高分辨率图像。该方法包括取得通过使用CT摄影医用设备扫描摄影对象的物体而收集到的第一投影数据集。第一投影数据集也可以包含从UHR-CT扫描仪等摄影医用设备取得的超高分辨率(ultra-high resolution：UHR)CT数据。也可以通过实施第一投影数据集的分辨率降低处理而取得第二投影数据集，来继续进行该方法。第二投影数据集也可以包含正常分辨率(normal resolution：NR)CT数据。使用基于第一投影数据集重构的第一CT图像、以及基于第二投影数据集重构的第二CT图像对机器学习模型进行学习，取得用于生成与大范围UHR-CT图像近似的CT图像的模型，从而继续进行该方法。机器学习模型也可以是深度卷积神经网络(deep convolutional neural network：DCNN)模型。第一CT图像也可以包含UHR-CT图像，第二CT图像也可以包含正常分辨率(NR)CT图像。

在本申请的一个以上的实施方式中，提供医用图像处理装置，其具备存储指示的一个以上的存储器、以及执行指示并生成能够应用机器学习模型的CT图像的一个以上的处理器。包括医用图像处理装置接收投影数据集的步骤，投影数据集是使用医用摄影设备扫描检查对象的物体而收集的。投影数据集也可以包含从作为扫描物体的摄影医用设备而使用的大范围CT检测器取得的大范围CT检测数据。医用图像处理装置基于投影数据集，重构物体的CT图像。重构后的图像也可以包含大范围CT检测图像。医用图像处理装置指定噪声降低用的第一学习完毕机器学习模型与超分辨率用的第二学习完毕机器学习模型中的一方。双方的模型能够保持在一个以上的存储器中。所指定的模型也可以是噪声降低用的深度卷积神经网络(DCNN)机器学习模型或者超分辨率用的DCNN机器学习模型。医用图像处理装置通过对重构后的CT图像应用指定的模型，从而取得处理完毕图像。重构后的CT图像也可以包含大范围CT检测图像。对大范围CT检测图像应用学习完毕DCNN模型后，生成处理完毕图像。处理完毕图像也可以包含与大范围UHR-CT图像近似或者相似的可应用DCNN的图像。

本申请的一个以上的实施方式能够用于医用摄影、研究等临床用途，但并不限定于此。

基于本申请的其他方式，来说明使用了用于生成与大范围超高分辨率CT图像近似的CT图像的深度卷积神经网络的、一个以上的追加的装置、一个以上的系统、一个以上的方法、一个以上的存储介质。本申请的进一步的特征根据参照附图的以下记载而能够被理解和明确。

为了说明本申请的各种方式，在附图中，相同的要素通过相同的参照附图标记示出，并以简化为可被理解的程度的、能够采用的形式示出，但本申请不限于通过图示的准确的配置、手段，或者不限于准确的配置、手段。对于本申请的主题的制作、利用，参照附图以辅助本领域技术人员。

在本申请中，词语“超高分辨率(ultra-high resolution：UHR)CT检测系统”能够与UHR-CT检测扫描仪或者UHR-CT检测器摄影相互替换表达。此外，在本申请中，词语“大范围CT检测系统”能够与大范围CT检测扫描仪或者大范围CT检测器摄影相互替换表达。在以下说明的例示性的实施方式中，词语“超高分辨率(UHR)”以及“正常分辨率(normalresolution：NR)”并不意指特定的分辨率。“UHR”的空间分辨率定义为比NR相对较高，“NR”的空间分辨率比UHR低。此外，在以下说明的例示性的实施方式中，词语“大范围”或者“更大范围”并不意指特定的范围、检测器的特定的大小。“大范围”意指比通常摄影范围的检测器更大的摄影范围。此外，词语“低辐射剂量(low-dose：LD)”、“高辐射剂量(high-dose：HD)”并不意指特定的辐射剂量。“低辐射剂量(LD)”意指比“高辐射剂量(HD)”相对较低的辐射剂量，“高辐射剂量(HD)”意指比“低辐射剂量(LD)”相对较高的辐射剂量。

本申请涉及使用UHR-CT检测系统构成超分辨率学习模型，来取得优化后的学习完毕深度卷积神经网络(DCNN)。该学习完毕深度卷积神经网络应用于从大范围CT检测系统取得的大范围CT检测图像。在临床现场，超分辨率学习中，通过大范围CT检测系统应用优化后的学习完毕DCNN，从而能够取得与大范围UHR-CT图像相似或者近似的DCNN能适用CT图像。即，UHR-CT检测系统虽然用于机器学习模型的训练，但在临床环境中并非必须。该优点在于在临床环境中仅利用大范围CT系统即可。即，本申请不使用大范围UHR-CT检测系统，便能够取得与大范围UHR-CT图像近似的CT图像。这在例如不能利用大范围UHR-CT检测系统的情况下特别有利。

接下来，参照附图的详细内容。图1A示出例示性的实施方式所公开的处理的概要。大范围CT数据101以及UHR-CT数据201用于取得大范围UHR-CT图像301。UHR-CT数据201是未被实施重构处理的投影数据集。也可以从大范围CT检测系统100收集大范围CT数据101。也可以从UHR-CT检测系统200收集UHR-CT数据201。UHR-CT数据201基于本申请的一个以上的方式，为了取得应用于低分辨率CT图像的学习完毕模型而在学习阶段使用。在本申请中，在学习阶段使用的UHR-CT数据201在临床环境中并非必须。即，UHR-CT检测系统200也可以放置于远离现场的场所并用于机器学习模型的训练用途。大范围CT检测系统100在临床环境中用于患者的图像诊断。基于本申请的一个以上的方式，在推理阶段中，对收集到的大范围CT数据101实施超分辨率处理。基于本申请的一方式，无需大范围UHR-CT检测系统，大范围CT检测系统100在推理阶段中，使用在学习阶段获得的学习完毕机器学习模型，来生成与能够通过大范围UHR-CT检测系统收集的图像近似或者相似的CT图像。参照图2、3、6、7、8、9、10以及13，以下对图像域的超分辨率(super resolution：SR)进行说明。以下参照图14对数据(投影)域的SR进行说明。

在实施方式的一例中，如以下参照图11以及12说明那样，大范围CT检测系统100以及UHR-CT检测系统200也可以分别具备与网络进行通信的控制台或者计算机。此外，大范围CT检测系统100以及UHR-CT检测系统200也可以经由网络连接于计算机(图11以及12所示的)附带的CPU。即，基于本申请，检测系统(100、200)中的某一个或者双方既可以经由网络连接于控制台或者计算机，也可以在内部具备计算机。以下参照图15对CT系统的构成的一例进行说明。

参照图1B对在机器学习模型的学习阶段以及推理阶段使用的硬件系统进行说明。机器学习模型的学习在具有与图12所示的计算机1200'相同的构成要素的信息处理装置400内执行。信息处理装置400从UHR-CT检测系统200经由网络I/F1212接收UHR-CT数据201。CPU或者GPU基于UHR-CT数据201使机器学习模型进行学习。在后详细说明学习过程。学习结束后，信息处理装置400取得超分辨率(SR)用学习完毕模型401。SR用学习完毕模型401被向大范围CT检测系统100内的图像处理装置150或者上述的控制台输出。图像处理装置150或者该装置150的CPU将学习完毕模型401保存在存储器中。图像处理装置150的CPU或者GPU基于通过大范围CT检测系统100收集到的大范围CT数据101以及应用于CT图像或者CT(投影)数据的学习完毕模型401，来生成大范围UHR-CT图像301。

在另一个实施方式中，取代大范围CT图像，将上述的学习完毕模型应用于通过正常范围CT检测系统收集到的CT图像，来生成提高空间分辨率的CT图像。

图2表示用于训练机器学习模型的数据制作与深度卷积神经网络(DCNN)处理的工作流程。该工作流程在步骤S100中通过取得UHR-CT数据而开始。UHR-CT数据是从超高分辨率CT检测扫描仪200收集到的重构前的投影数据。UHR-CT检测扫描仪200也可以配置于与现场不同的场所或者远离现场的场所，并用于取得机器学习模型的训练。工作流程的接下来的步骤S102包括，对UHR-CT数据实施UHR-NR模拟(或者分辨率降低处理)，并取得正常分辨率(NR)CT数据。作为从UHR向NR的模拟的一例，可列举能够利用的下采样，作为一例包括4:1的比例的数据域的合并读出(binning)。但是，其他种类的分辨率降低处理，例如平滑化、其他过滤的利用也包含在本申请的范围内。通过从UHR向NR的模拟，对从正常分辨率扫描仪(例如4比1像素合并读出)收集到的重构前CT数据进行模拟。或者，在能够利用NR-CT检测系统的情况下，也可以不进行UHR-CT数据的下采样，而是从该NR-CT检测系统直接收集NR-CT数据。在将NR-CT检测系统用于取得NR-CT数据的情况下，也可以并列或者单独执行步骤S100与S102。

在步骤S102中，在将步骤S100的UHR-CT数据下采样为NR-CT数据的情况下，进行下采样的原因是与以往的CT数据相比，UHR-CT数据的像素数较多。即，为超高分辨率数据与正常分辨率数据。在一个实施方式中，UHR-CT数据能够具有以往的CT数据(512×512)的4倍的像素(1024×1024)。即，为了使UHR-CT的像素小于以往的CT的4倍，对UHR-CT的像素进行下采样，使其与以往CT的像素尺寸一致。

接下来的步骤S104与S106包括在步骤S100与S102中收集到的数据的重构。具体而言，在步骤S104中，UHR-CT数据重构为UHR-CT图像。在步骤S106中，NR-CT数据重构为NR-CT图像。UHR-CT图像是指来自UHR-CT检测扫描仪200的重构图像，被用作DCNN的学习对象。换言之，UHR-CT图像是机器学习模型的学习对象。NR-CT图像是来自为了与学习对象一致而将画质降低(合并读出)为较小的像素尺寸的UHR-CT数据的重构图像。

图像域的DCNN例如能够应用U-NET、V-NET以及EDSR等任意种类的DCNN构造，但本申请能够应用的DCNN构造的种类不限于上述这些。在步骤S108中，NR-CT图像作为DCNN或者基于机器的学习模型的输入加以使用。UHR-CT图像作为用于优化DCNN的DCNN学习工作流程的对象加以使用。在优化的过程中，DCNN在步骤S108中输出处理完毕NR-CT图像。在步骤S110中，该处理完毕NR-CT图像用于取得损失函数。在步骤S112中，通过损失函数优化DCNN模型。在步骤S114中，信息处理装置400判断是否满足了结束基准。处理循环继续至结束基准被满足(步骤S114的“是”)。在不满足结束基准的情况下(步骤S114的“否”)，处理循环返回步骤S108。处理完毕NR-CT图像与UHR-CT图像(对象)进行比较。处理完毕NR-CT图像是将NR-CT图像作为输入的DCNN机器学习模型的学习输出图像。UHR-CT图像与处理完毕NR-CT图像之间的损失函数的目的在于减少两个图像的差异。此外，UHR-CT图像与处理完毕NR-CT图像之间的损失函数的目的还有时是通过向DCNN机器学习模型回送的各迭代处理，从而使处理完毕NR-CT图像成为高画质。对处理完毕NR-CT图像的高画质化进行优化，直至图像没有改进的余地为止，或者直至提高画质的性能无法预见上升为止。能够应用的神经网络学习的通常的损失函数的设定例如包括均方系数(mean square factor：MSA)、均方误差(meansquared error：MAE)，但本申请的能够适合神经网络学习的损失函数的种类不限于此。以下参照图4对优化学习完毕DCNN模型的损失函数以及优化处理的详细内容进行说明。

DCNN的学习过程是用于生成与大范围UHR-CT图像非常相似或者近似的可应用DCNN的计算机断层摄影(computed tomography：CT)图像的机器学习模型的制作方法。该方法包括：通过CT摄影医用设备扫描摄影对象的物体，并取得第一投影数据集(UHR-CT数据)。此外，该方法包括：通过第一投影数据集的分辨率降低处理，来取得第二投影数据集(NR-CT数据)。接下来，使用基于第一投影数据集而重构的第一CT图像、与基于第二投影数据集而重构的第二CT图像，训练机器学习模型(DCNN)，从而取得超分辨率用模型(学习完毕DCNN)。在一个实施方式中，在应用分辨率降低处理的情况下，也可以通过对第一投影数据集附加噪声数据，来取得第二投影数据集。进行噪声数据的附加是为了使第二CT图像的噪声等级高于第一CT图像的噪声等级。

进行噪声数据的附加是为了在通过学习完毕机器学习模型处理输入CT图像的情况下，学习完毕机器学习模型对输入CT图像进行降噪(denoise，去噪)，来提高其分辨率。在其他实施方式中，机器学习模型的输入为规定的尺寸的三维(3D)图像数据，机器学习模型的输出为规定的尺寸的3D图像数据。

接着参照图3的流程图。该流程图表示利用应用于大范围CT检测系统100的图2的学习完毕DCNN的、作为推理可知的框架的各种流程。出于多种原因，将大范围CT检测器与学习完毕DCNN一同利用较为有利。原因之一在于，由于能够通过一次的扫描实现心脏整体的扫描或者其他生物学的扫描，因此除了辐射剂量的削减、扫描时间的缩短、硬件以及软件的复杂性的降低之外还与成本削减相关联。通过使用学习完毕DCNN机器学习模型，能够不存在大范围UHR-CT检测系统的问题点的一部分，而使分辨率近似于UHR-CT检测系统200的分辨率。需要更多时间的两次以上的扫描由于患者的动作而受到较大的影响，结果很有可能无法获得理想的扫描，并且增大软件以及硬件的复杂性。

在步骤S200中通过收集大范围CT检测数据而开始推理框架。大范围CT检测数据是指将从大范围CT检测系统100收集到的CT投影数据预先重构后的数据。推理框架应用于使用摄影医用设备扫描患者并进行图像诊断的临床环境中。此外，大范围CT检测系统100的图像处理装置150读入收集到的大范围CT数据的重构条件。重构条件是基于摄影的身体部位或者摄影的目的而决定的。在该步骤中，从被训练成对摄影的身体部位或者摄影的目的专用的多个学习完毕DCNN中选择学习完毕DCNN。通过步骤S202的基于大范围CT数据生成大范围CT检测图像的重构而继续工作流程。在步骤S204中，通过将学习完毕DCNN应用于大范围CT检测图像，来生成处理完毕CT图像。通过将学习完毕DCNN应用于大范围CT检测图像，从而可获得与大范围UHR-CT图像近似的DCNN能适用CT图像。在步骤S206中，输出处理完毕CT图像，并显示于显示监视器从而用于画质检查以及/或者诊断。另外，应用的学习完毕DCNN在本申请的学习阶段中，由UHR-CT检测系统200生成。

在图3中，仅将基于图2的方法训练后的超分辨率(super-resolution：SR)DCNN模型应用于CT图像，但在另一个实施方式中，也可以除了SR-DCNN模型之外还应用学习完毕降噪用DCNN模型(以下叙述该模型的生成方法)。还能够在SR-DCNN之后应用降噪DCNN、或者在降噪DCNN之后应用SR-DCNN等，依次应用SR-DCNN与降噪DCNN。在其他另一个实施方式中，也可以对相同的CT图像并列应用多个DCNN，并以规定的比例将应用了SR-DCNN后的CT图像与应用了降噪DCNN后的CT图像合成。此外，也可以训练DCNN使其具有降噪与SR效果双方。以下参照图9或者图13对此进行说明。

与大范围UHR-CT图像近似的DCNN能适用CT图像是覆盖宽段的高分分辨率的图像。即，通过应用学习完毕DCNN，能够从大范围CT检测数据中生成更高分辨率的图像(UHR-CT图像)。其结果，在获得使用大范围CT检测系统100的优点(较大的扫描范围、低成本、低复杂性的信号处理)的同时，还能够获得来自UHR-CT数据的高分辨率以及将大范围UHR-CT扫描仪系统300附带的问题点(较窄的扫描范围、高成本、高复杂性的处理、辐射剂量的增加、对伪影的敏感性)中的某一个最小化这样的优点。

在另一个实施方式中，具备一个以上的存储器与一个以上的处理器的医用图像处理装置通过执行各种流程，从而应用学习完毕DCNN来生成处理完毕图像(与大范围UHR-CT图像近似的DCNN能适用CT图像)。医用图像处理装置也可以是大范围CT检测扫描仪/系统。此外，医用图像处理装置例如也可以是构成为从UHR-CT检测系统200接收数据而能够应用学习完毕机器学习模型的装置。医用图像处理装置接收通过使用医用摄影设备扫描检查对象的物体而收集到的投影数据集，并基于该投影数据集重构物体的CT图像。噪声降低用的第一学习完毕机器学习模型与超分辨率用的第二学习完毕机器学习模型保持在一个以上的存储器中，其中一方接受指定。被指定的模型应用于重构CT图像并获得处理完毕图像。

医用图像处理装置也可以构成为，在指定了第一学习完毕机器学习模型的情况下，使用第一重构过滤器将CT图像重构，在指定了第二学习完毕机器学习模型的情况下，使用第二重构过滤器将CT图像重构。医用图像处理装置能够以规定的比例将处理完毕图像与重构CT图像合成。规定的比例是基于用户输入而设定的，或者也可以根据1组的摄影条件而决定。在另一个实施方式中，医用图像处理装置构成为基于重构CT图像生成多个3D部分图像，并向指定的模型输入所生成的多个3D部分图像，从而应用指定的模型取得多个处理完毕图像，并合成所取得的多个处理完毕3D部分图像来获得处理完毕图像。在该状况下，3D部分图像中的至少两个图像局部地重复。

在本申请的另一方式中，医用图像处理装置对多个处理完毕3D部分图像中的两个相邻的处理完毕3D部分图像之间的耦合部施加过滤器。

在本申请的至少一个方式中，能够应用深度学习神经网络的大范围超高分辨率CT的一个特征在于，使用从UHR-CT检测系统200取得的学习完毕DCNN。如上述那样，作为本申请的学习完毕DCNN的应用之一，如图4概略示出那样，将优化处理用于机器学习模型的学习。

图4更详细地示出应用于图2所示的上述DCNN的学习框架的过程中的优化处理。如图4所示，通过在步骤S300中使用输入(X)而开始框架。在步骤S310中，DCNN的学习过程设计为将学习用输入(X)映射到希望的对象(Y)。在取得输入(X)后，分别在步骤S302与S304中，使用以下的DCNN(f(X/Θ))算法求出输出

(【数1】)。

【数1】

【数2】

Θ表示优化后的神经网络的参数的组，N为学习过程中的学习案例的总数。f表示被优化的神经网络，x_i表示学习用输入的第i个要素。y_i表示学习对象的第i个要素。通过对该优化式求解，从而求出使网络输出与对象图像(Y)的差分成为最小那样的最优网络参数Θ^*(【数3】)。

【数3】

Θ^*

具体而言，在取得输出

(【数4】)后，

【数4】

为了在步骤S308中取得更新后的最优网络参数，在与对象(Y)进行比较的步骤S306中，适用损失函数。步骤S308之后，更新后的优化器也可以反复执行DCNN算法被实施的步骤S302，直至步骤S304的网络输出

(【数5】)与对象图像Y的差分超过规定的阈值并成为最小，或者与步骤S306的损失函数相应的输出的提高无法再预见为止。

【数5】

通过该学习框架，可获得在推理进程中应用的优化后的机器学习模型。

图5A、5B、5C以及5D示出机器学习模型401(也称为DL网络401)的各种例子。

图5A示出具有N个输入、K个隐藏层，三个输出的通常的人工神经网络(artificialneural network：ANN)的一例。各层由节点(也称为神经元)构成，各节点进行输入的加权和计算，并将该加权和的结果与阈值相比来生成输出。ANN构成函数的类。通过使阈值、耦合权重、或者节点数以及/或者节点的耦合性等构造的详细内容发生变化来求出该类的项。ANN的节点也称为神经元(或者神经元节点)。神经元能够在ANN系统的不同层之间相互耦合。DL网络401通常具有四个以上的神经元层、以及与输入神经元数量相同的输出神经元

(【数6】)(N为重构图像的像素数)。

【数6】

突触(即，神经元间的耦合)存储在运算中操作数据的被称作“权重”(也能够与“系数”或者“权重系数”相互替换表达)的值。ANN的输出取决于以下三种参数。(1)不同神经元层之间的相互耦合模式，(2)用于更新相互耦合的权重的学习过程，(3)将神经元的加权输入转换为激活输出的激活函数。

在数学上，神经元的网络函数m(x)被定义为其他函数n_i(x)的合成。函数n_i(x)进一步能够定义为其他函数的合成。这能够简便地表示为网络构造。在图5A中，通过箭头表示变量间的依赖。例如ANN能够利用非线性加权和m(x)＝K(Σ_iw_in_i(x))。K(通常被称作激活函数)为S型函数、双曲正切函数、修正线性单元(rectified linear unit：ReLU)等预先定义的函数。

在图5A(图5B同样)中，在阈值函数的周围通过圆圈表示神经元(即，节点)。在图5A所示的非限定性的例子中，输入在线性函数的周围通过圆圈描绘，箭头表示神经元之间的耦合方向。在某实施例中，机器学习模型401为图5A、5B所例示的前馈网络(作为一例，能够表示为有向无环图)。

机器学习模型401使用一组观察结果，在进行学习的函数F的类中进行检索，从而为了实现CT图像的超分辨率处理等特定的任务而动作，并求出最优解决特定的任务的m*∈F(【数7】)。

【数7】

m*∈F

例如在某实施例中，能够以对于其最优解m^＊而【数8】成立(即，不存在所具有的成本小于最优解的成本的解)的方式定义成本函数C来实现该成本函数C。

【数8】

成本函数C是表示特定的解与应当解决的课题(例如误差)的最优解相比偏离哪种程度的尺度。学习算法重复进行解空间内的检索，以求出尽可能小的成本的函数。在某实施例中，成本相对于数据的样本(即训练数据)整体被最小化。

图5B示出机器学习模型401为卷积神经网络(CNN)的情况下的非限定性的一例。CNN为具备对图像处理有益的性质的ANN的一种。因此，特别是与图像的降噪以及正弦图的恢复用途相关。CNN根据神经元之间的耦合模式使用能够表达图像处理的卷积的前馈ANN。例如CNN通过使用对被称作输入图像的感受野的部分进行处理的小神经元集合的多个层，从而能够用于图像处理的优化。这些集合的输出以相互重叠那样设为平铺状，从而能够更适当地表现原始的图像。对交替地具有卷积层与池化(pooling)层的多个层反复进行该处理模式。另外，图5B示出使用在先的层的所有节点来定义后续的层的节点的完全耦合型网络的一例。图中所示的内容严格来说应理解为DNN的一例。关于CNN，通常为使用在先层的节点的一部分来定义后续层的节点的松耦合(部分耦合)型的网络结构。

图5C示出应用于来自输入层的值的映射的5×5核的一例，该值表示作为卷积层的第一隐藏层的二维图像。核将5×5的像素区域分别映射到第一隐藏层所对应的神经元。

在卷积层之后，CNN能够包含在卷积层中使神经元簇的输出耦合的局部性的以及/或者整体性的池化层。而且，在某实施例中，CNN也能够包含按每个点地、非线性地在各层的最后或者各层之后附加的、卷积层与完全耦合层的各种组合。

关于图像处理，CNN具有几个优点。为了削减未使用的参数的数量和一般化的提高，导入针对输入的小区域的卷积处理。CNN的某实施例的重要的优点在于对卷积层使用共通的权重。即，将相同的过滤器(权重库)用作层的各像素的系数。由此，实现了存储器的安装面积的削减与性能的提高。与其他图像处理方法相比，CNN的优点是预处理相对较少。即，意味着网络负责学习通过以往的算法手动设计的过滤器。不依赖与设计特性相关的过去的知识、人类的努力便可实现是CNN的较大的优点。

图5D示出运用三维重构图像的相邻层之间的相似性的机器学习模型401的实施例。相邻层内的信号通常相关性较高，但噪声不同。即，一般来说，由于CT的三维体(volume)图像捕捉更多的体积特征，因此与一个断层的水平二维图像相比能够提供更多的诊断信息。基于该考虑，本申请所记载的方法的实施例使用基于体(volume)的深度学习算法来改善CT图像。

如图5D所示那样，某断层图像及其相邻的断层图像(即，中央断层的上下断层)被识别为网络的3通道的输入。对于该3层，应用M次W×W×3核，生成卷积层的M个值，用于下一个的网络层/层级(例如池化层)。也能够将W×W×3核视作三个W×W核，分别作为3通道的核应用于体图像数据的三个断层图像。其结果，成为对于中央层的输出，并被用作下一个的网络层级的输入。值M表示卷积层的针对规定的断层的过滤器总数，W表示核的大小。

在另一个实施方式中，也可以取代上述的3通道法而应用不同的方法(例如3D法)。

在本申请的一个实施方式中，为了削减学习以及推理阶段的运算成本，能够将CT图像分割为较小的图像数据集，并输入机器学习模型，来进行学习以及推理。

通过数据的分割、加权以及再构建，大范围CT检测系统能够缓冲运算上的功率、数据，从而处理大范围UHR图像用的超分辨率3D网络那样的高级网络。本申请提出对其实施有益的数据的分割、加权以及再构建的数据流。例如通过将1024×1024图像以XY维(为了防止边界效应而包含重复)分解为81个128×128小图像，从而系统能够每次处理图像的小批次。而且，在网络中进行处理后，图像再构建为原始的尺寸(1024×1024等)。对于重复的像素实施加权。对于Z维也应用相同的方法。即，超高分辨率图像被分割为多个小图像，分割后的图像由大范围CT检测系统处理，并基于任意的优选的加权以及再构建的数据流而恢复成较大的图像。数据的分割、加权以及再构建的方法能够应用于各种尺寸的图像。上述的图像仅为一例，并不限定能够应用该方法的各种尺寸。

接下来，参照表示本申请的第二实施方式的图6的流程图。本实施方式提出混合处理，能够由用户调整输出纹理(弱、标准、强等)，从而能够输出与自己的喜好相应的UHR-CT系统图像或者NR-CT系统图像。在该实施方式中，学习完毕DCNN通过与上述的图2相同的方法来取得。在步骤S400中，通过收集大范围CT检测数据而开始流程。接着在步骤S402中，大范围CT检测图像被重构(更小的像素尺寸)。在步骤S404中，通过对大范围CT检测图像应用DCNN学习完毕机器学习模型，从而输出与大范围UHR-CT图像近似的DCNN能适用CT图像。然而，有时用户不满足100％的可应用DCNN的大范围UHR-CT图像的纹理。在本实施方式中，大范围CT检测系统100的用户在混合步骤S408中，能够选择与大范围UHR-CT图像近似的DCNN能适用CT图像的输出纹理。混合步骤S408例如也可以包含操作人员能够选择的弱、标准、强等三个选项。或者，用户也可以在混合步骤中选择混合率。例如在操作人员选择了50％的情况下，通过混合，输出纹理调整为由50％的原始的NR-CT检测系统图像与50％的UHR-CT检测系统图像构成。在操作人员喜好与UHR-CT检测系统图像相近的纹理的情况下，也可以选择75％的UHR-CT检测系统图像与25％的原始的NR-CT检测系统图像。原始的NR-CT检测系统图像与UHR-CT检测系统图像能够按照用户希望的混合的种类而从0至100％进行变更。在混合步骤后，在步骤S410中，与大范围UHR-CT图像近似的最终的可应用DCNN的图像按照操作人员希望的混合被输出，并被显示于监视器。

考虑当前能够商业利用的大范围CT检测系统。有时这些系统不具有用来处理大范围UHR图像用的高级网络(例如超分辨率3D网络)的运算上的功率或者数据缓冲性能。如图7的流程图所示，提出第三实施方式。图7所示的推理进程包含尺寸变更运算符。在正常分辨率-大范围CT检测系统中适当地进行处理，尺寸变更运算符读出硬件以及相关的软件规格(系统信息等)，并变更输出图像的尺寸(例如XY维或者Z维内的下采样)。

根据图7，该进程在步骤S500中通过从大范围CT检测系统100收集大范围CT检测数据而开始。接着在步骤S502中，大范围CT检测数据被重构为大范围CT检测图像。大范围CT检测图像在步骤S504被输入学习完毕DCNN，并作为与大范围UHR-CT图像近似的DCNN能适用CT图像而输出。该方法也可以通过如下方式继续进行，即，考虑到特定的系统规格等步骤S508的系统信息，基于系统信息来决定能够由系统处理的与大范围UHR-CT图像近似的DCNN能适用CT图像的尺寸。该工作流程虽然示出在与大范围UHR-CT图像近似的DCNN能适用CT图像的输出后，取得系统信息，但也可以并行于输出与大范围UHR-CT图像近似的DCNN能适用CT图像的处理、或者在生成与大范围UHR-CT图像近似的DCNN能适用CT图像的处理之前取得系统信息。在系统信息的取得之后的步骤S510中，使用尺寸变更运算符，基于从系统信息获得的信息，变更与大范围UHR-CT图像近似的、所生成的DCNN能适用CT图像的尺寸。由此，在步骤S512中，输出能够在正常分辨率-大范围CT检测系统中适当地处理的、与大范围UHR-CT图像近似的最终的DCNN能适用CT图像，并显示于监视器。在本申请的一个实施方式中，从大范围CT检测系统100取得系统信息。

接着参照图8对本申请的第四实施方式进行说明。图8示出在最终的DCNN能适用CT图像的生成前，实施混合以及尺寸变更处理，来生成与大范围UHR-CT图像近似的DCNN能适用CT图像的至少一个实施方式的流程图。最初的步骤S600包括从大范围CT检测扫描仪100收集大范围CT检测数据的步骤。接下来，在步骤S602中大范围CT检测数据被重构为大范围CT检测图像，并在步骤S604中被输入学习完毕DCNN。学习完毕DCNN输出与大范围UHR-CT图像近似的DCNN能适用CT图像。通过S608的混合步骤，操作人员能够根据自己的喜好，以更近似于大范围CT检测图像以及与大范围UHR-CT图像非常相似的DCNN能适用CT图像中的一方的方式调整输出纹理。在混合步骤的执行后，在步骤S610中，为了适当地进行尺寸变更，通过读出硬件以及相关的软件规格(系统信息等)而取得检测系统100的系统信息。通过步骤S612的尺寸变更处理，正常分辨率-大范围CT检测系统100能够可靠且适当地处理输出图像(与大范围UHR-CT图像近似的最终的DCNN能适用CT图像)。在尺寸变更步骤后，在步骤S614中，输出与大范围UHR-CT图像近似的最终的DCNN能适用CT图像，并显示于监视器。

参照图9对本申请的第五实施方式进行说明。图9示出DCNN的学习过程的工作流程，其中，最小限度地抑制UHR-CT数据附带的噪声等级，同时执行用于实现大范围CT检测系统100的超高分辨率的降噪任务。本申请的该实施方式在步骤S700中通过UHR低辐射CT数据(LD-CT数据)的收集而开始。UHR-LD-CT数据是指从被设定为低辐射剂量的(实际的或者模拟的)超高分辨率CT扫描仪200收集到的重构前的CT数据。在步骤S710中，取得对象图像。对象图像是指UHR高辐射(HD)CT图像。UHR-HD-CT图像是指来自UHR-CT扫描仪200的重构后的高辐射图像，是被用作学习对象的图像。在本实施方式中，UHR-HD-CT图像以及UHR-LD-CT图像从相同的UHR-HD-CT数据中生成。在另一个实施方式中，UHR-HD-CT图像从与生成UHR-LD-CT数据的CT数据不同的CT数据中生成。

在步骤S702中，对UHR-LD-CT数据执行上述步骤S102的UHR-NR模拟，取得NR-LD-CT数据。步骤S702的NR-LD-CT数据对从正常分辨率扫描仪系统收集到的重构前CT数据进行模拟。接着在步骤S704中，NR-LD-CT数据被重构为NR-LD-CT图像，并在步骤S706中被用作DCNN的输入图像。NR-LD-CT图像是从为了与学习对象一致而将画质降低为小像素尺寸(合并读出后的)的低辐射UHR-CT数据得到的重构图像。在步骤S706中，大范围CT检测系统100内的图像处理装置150对输入图像之一应用DCNN，并输出处理完毕NR-LD-CT图像，通过步骤S712中的输出图像(处理完毕NR-LD-CT图像)与学习对象图像(UHR-HD-CT图像)之间的损失函数分析，从而在步骤S714中优化DCNN学习。在步骤S716中，基于基准判断优化循环的继续。在不满足基准的情况下，继续步骤S706的优化循环。或者，在满足DCNN的优化基准的情况下，结束优化循环。处理完毕NR-LD-CT图像成为将低辐射NR-CT图像作为输入的DCNN的学习输出图像。在输出图像与对象图像之间应用的损失函数与参照图2以及4说明的函数相同。通过损失函数，使输出图像与对象图像之间的差异最小化，可获得最适合推理进程内的应用的学习完毕DCNN。由此，能够结束目的在于抑制与大范围UHR-CT检测图像近似的DCNN能适用CT图像的噪声与提高分辨率的DCNN的学习部分。

接下来，参照表示学习完毕DCNN的取得后的、噪声抑制与分辨率提高的推理部分的图10的流程图。该流程图在步骤S800中，通过收集低辐射剂量(LD)的大范围CT检测数据而开始。大范围检测CT数据是从大范围CT检测扫描仪100收集的重构前的CT数据。在步骤S802中，大范围CT检测数据(LD)被重构为大范围CT检测LD图像。大范围CT检测LD图像是重构为与UHR-CT数据的像素尺寸对应的小像素尺寸的CT图像。接下来，在步骤S804中，通过将学习完毕DCNN应用于大范围CT检测LD图像，从而生成与大范围UHR-CT图像近似的降噪完毕的DCNN能适用CT图像。在步骤S806中，输出处理完毕CT图像(DCNN能适用CT图像)，并显示于监视器。与大范围UHR-CT图像相似的DCNN能适用CT图像(降噪后)在提供具备宽段范围与高分辨率的噪声降低图像这点上有利。

本申请的各种实施方式适用于与大范围检测CT数据相关的UHR-CT学习完毕DCNN。这出于几个原因而有利。本实施方式与当前的大范围CT检测图像相比，提供从UHR-CT学习完毕网络以及更细微地重构后的像素尺寸获得的、优异的分辨率以及噪声降低性能。与当前的UHR-CT图像相比，本实施方式由于诊视床位置处的一次扫描的检测范围(S-I方向)较宽，因此带来了辐射剂量、图像的均匀性、时间分辨率、更简易的扫描工作流程等的利益。此外，从大范围的CT获得的收集/检测的较大的像素尺寸与优异的噪声性能相关。与当前商业上不存在的大范围UHR-CT系统相比，本实施方式在硬件、软件双方中提供非常低的成本以及显著减轻了复杂性的信号处理。

本申请以用于能够应用深度学习神经网络的大范围-超高分辨率CT的系统、方法以及/或者装置为对象。DCNN由现有的UHR-CT检测扫描仪训练，并适用于大范围CT检测系统数据，在提高分辨率、降低噪声的同时，维持大范围扫描的边缘。具体而言，本申请通过组合两个不同医用设备(UHR-CT检测扫描仪以及大范围CT检测扫描仪)的优点，与无法商业获得的大范围UHR-CT检测系统300相比，能够带来成本与系统的复杂性方面的优点。

接下来，参照图11以及图12。在至少一个实施方式中，也可以将控制台、计算机1200、1200'等计算机专用于生成与大范围UHR-CT图像近似的DCNN能适用CT图像。

也可以经由线缆或者布线113等(参照图11)(但不限于此)线缆或者布线向下述说明的计算机1200、1200'等(但不限于此)一个以上的处理器发送摄影所使用的电信号。

计算机系统1200的各种构成要素如图11所示。计算机系统1200具备中央处理装置(central processing unit：CPU)1201、ROM 1202、RAM 1203、通信接口1205、硬盘(以及/或者其他存储装置)1204、屏幕(或者监视器接口)1209、键盘(或者输入接口、除了键盘之外也可以还具备鼠标、其他输入装置)1210、以及将一个以上的上述构成要素(例如图11所示)之间连接的总线、其他连接线(例如连接线1213)。而且，计算机系统1200也可以具备上述构成要素之中的一个以上。例如计算机系统1200也可以具备CPU 1201、RAM 1203、输入/输出(I/O)接口(通信接口1205等)以及总线(也可以包括作为计算机系统1200的构成要素之间的通信系统的一个以上的布线1213)。在一个以上的实施方式中，计算机系统1200以及至少CPU1201也可以与超高分辨率检测扫描仪以及/或者大范围CT检测扫描仪或者使用相同的超高分辨率检测扫描仪200、大范围CT检测扫描仪100(但不限于此)的装置、系统的一个以上的上述构成要素进行通信。一个以上的其他计算机系统1200也可以具备其他上述的构成要素的一个以上的组合。CPU 1201构成为读出在存储介质中保存的计算机能够执行的指示并执行。计算机能够执行的指示也可以包含本申请所记载的方法以及/或者运算的执行指示。计算机系统1200也可以除了CPU 1201之外还具备一个以上的处理器。也可以将包含CPU 1201的该处理器用于相同的用途或者用于生成本申请所记载的与大范围UHR-CT图像近似的DCNN能适用CT图像的装置、系统或者存储介质的控制以及/或者制造。系统1200还可以具备经由网络(例如网络1206)连接的一个以上的处理器。由系统1200使用的CPU 1201与追加的处理器既可以位于相同的通信网络上，也可以位于不同的通信网络上(例如能够远程控制执行、制造、控制以及/或者技术利用)。

I/O或者通信接口1205对输入输出装置提供通信接口。该输入输出装置也可以具备超高分辨率检测扫描仪200、大范围CT检测扫描仪100、通信线缆以及网络(有线或者无线)、键盘1210、鼠标(参照图12的鼠标1211)、触摸屏幕或者屏幕1209、光笔等。监视器接口或者屏幕1209对输入输出装置提供通信接口。

本申请的方法以及/或者数据、例如相同用途的装置、系统或者存储介质的利用方法以及/或者制造方法、以及/或者本申请所记载的与大范围UHR-CT图像近似的DCNN能适用CT图像的生成方法等，保持在计算机可读取的存储介质中。计算机可读取以及/或者可写入的存储介质在以下所述中通用，但不限于这些。一个以上的硬盘(硬盘1204、磁盘等)、闪存、CD、光盘(compact disc(CD)、数字多功能光盘(digital versatile disc：DVD)、蓝光(注册商标)光盘等)、光磁盘、RAM(random access memory：随机存储器)(RAM 1203等)、DRAM、ROM(read only memory：只读存储器)、分布式运算系统的存储装置、存储卡等(例如非易失性存储卡、固体摄影元件(solid state drive：SSD、参照图12的SSD 1207)、SRAM等其他半导体存储器，但不限于此)、这些的任意组合、以及服务器/数据库等。也可以将计算机可读取/可写入的存储介质用于使上述计算机系统1200的处理器、CPU 1201等处理器执行本申请所记载的方法的流程。计算机可读取的存储介质也可以是非暂时性的计算机可读取介质，以及/或者也可以具备仅除了暂时性的传输信号之外全部可读取的介质。计算机可读取的存储介质也可以具备规定地、限定性地、或者短时间的存储信息以及/或者仅有电时存储信息的RAM(random access memory)、寄存器存储器、处理器缓存等(不限于这些)的介质。此外，本申请的实施方式既可以读出并执行记录介质(更准确地也称为非暂时性计算机可读取的存储介质)中记录的计算机能够执行的指示(作为一例为一个以上的程序)，并由执行上述实施方式中的一个以上的功能的系统、装置的计算机来实现，以及/或者也可以具备一个以上的电路(专用集成电路(ASIC))并由执行上述实施方式中的一个以上的功能的系统、装置的计算机来实现。本申请的实施方式也可以通过下述方法来实现：系统、装置的计算机例如从存储介质读出计算机能够执行的指示并执行、从而执行本申请的实施方式的方法以及/或者通过控制上述一个以上的电路、由此执行上述实施方式中的一个以上的功能的方法。

基于本申请的至少一个方式，方法、装置、系统以及上述的计算机1200的处理器、计算机1200'的处理器(不限于这些)等处理器相关的计算机可读取的存储介质，能够运用附图所示那样的适当的硬件来实现。能够通过运用标准数字电路、能够执行软件以及/或者固件程序的任意的公知的处理器、可编程ROM(programmable read only memory：PROM)、可编程阵列逻辑装置(programmable array logic：PAL)等一个以上的可编程数字装置或者系统等任意的公知技术来实现该硬件。CPU 1201(如图11或者12所示)也可以具备一个以上的微处理器、纳米处理器、一个以上的GPU(graphics processing unit：图形处理单元，也称为VPU(visual processing unit：视觉处理单元))、一个以上的FPGA(fieldprogrammable gate array：现场可编程门阵列)、或者其他种类的处理组件(例如专用集成电路(application-specific integrated circuits：ASIC))等，以及/或者也可以由这些等构成。而且，本申请的各种方式也可以由能够在适当的存储介质(例如计算机可读取的存储介质、硬盘驱动器等)、可便携以及/或者可分布的介质(软盘、存储器芯片等)中保存的软件以及/或者固件实现。计算机也可以具备读出并执行计算机能够执行的指示的单独的计算机、处理器的网络。也可以例如从网络、存储介质对计算机赋予计算机能够执行的指示。

如上述那样，计算机或者控制台1200'的另一个实施方式的硬件构造如图12所示。计算机1200'具备中央处理装置(CPU)1201、GPU 1215、RAM 1203、网络接口1212、USB(Universal Serial Bus：通用串行总线)等操作接口1214、硬盘驱动器、固体摄影元件(SSD)1207等存储器。优选的是，计算机或者控制台1200'具备显示器1209。计算机1200'也可以经由网络接口1212或者操作接口1214而与超高分辨率检测扫描仪200以及/或者大范围CT检测扫描仪100以及/或者系统的一个以上的其他构成要素连接。在一个以上的实施方式中，计算机1200、1200'等计算机也可以具备超高分辨率检测扫描仪200以及/或者大范围CT检测扫描仪100。操作接口1214与鼠标装置1211、键盘1210或者触摸面板装置等操作部连接。计算机1200'也可以具备每种两个以上的各构成要素。或者，也可以根据计算机1200、1200'等计算机的设计，将CPU 1201或者GPU 1215置换为FPGA(field programmable gatearray)、专用集成电路(ASIC)或者其他种类的处理部。

计算机程序保存于SSD 1207。CPU 1201向RAM 1203读入程序，并执行程序内的指示，将本申请所记载的一个以上的处理与基本的输入、输出、运算、向存储器的写入以及读出处理一同执行。

计算机1200、1200'等计算机与超高分辨率检测扫描仪200以及/或者大范围CT检测扫描仪进行通信，进行摄影，并生成与大范围UHR-CT图像近似的DCNN能适用CT图像。监视器或者显示器1209显示与大范围UHR-CT图像近似的DCNN能适用CT图像，但也可以显示与摄影条件、摄影对象的物体相关的其他信息。监视器1209例如在生成与大范围UHR-CT图像近似的DCNN能适用CT图像时，提供用于供用户操作系统的图形用户界面(GUI)。动作信号从操作部(例如鼠标装置1211、键盘1210或者触摸面板装置等，但不限于此)被输入到计算机1200'的操作接口1214。根据动作信号，计算机1200'对系统指示摄影条件的设定或变更和摄影的开始或结束、以及/或者DCNN的学习或用于生成与大范围UHR-CT图像近似的DCNN能适用CT图像的推理进程的开始或结束。

参照图13对SR用学习完毕模型的生成方法的其他例示性的实施方式进行说明。该方法包括图2所示的从UHR-CT数据生成UHR-CT图像与NR-CT图像这两方的方法的特征之一。此外，该方法与图9所示的使用NR低辐射CT图像与UHR高辐射CT图像训练SR用DCNN的方法相同。只要未特别说明，则以下的步骤由信息处理装置400执行。CPU或者GPU(以下，处理电路)执行各步骤。

在步骤S1301中，取得UHR-CT数据即高分辨率的CT数据。在步骤S1302中，基于UHR-CT数据重构UHR-CT图像即高分辨率的CT图像。该重构的方法可以为能够生成比过滤器反投影法(FBP)更高分辨率的图像的迭代重构法中的一个。UHR-CT图像在学习阶段被用作对象图像。在步骤S1303中，处理电路通过对UHR-CT数据附加噪声，来生成噪声附加UHR-CT数据。也可以通过附加高斯噪声以及/或者泊松噪声，更适当地模拟低辐射CT数据。在步骤S1304中，对噪声附加UHR-CT数据实施分辨率降低处理(n：1合并读出处理、平滑化、其他过滤等)从而生成并模拟低分辨率的CT数据。在步骤S1305中，基于低分辨率的CT数据重构低分辨率的CT图像。这里，重构法可以是过滤器反投影法(FBP)、在临床环境中通常使用的任意的重构法。通常，重构函数以及FBP过滤器具有各种选项，但在步骤S1305的FBP重构中，为了尽可能维持信号，能够选择无噪声降低效果或者噪声降低效果较小的重构函数。此外，能够选择无归一化效果或者归一化效果较小的过滤器之一。将低分辨率的CT图像用作输入图像使SR-DCNN进行学习。对应的输入图像与从UHR数据生成的对象图像彼此建立关联，成为训练数据的对。对不同的UHR数据重复执行S1301至S1305的步骤，从而生成多对训练数据。在步骤S1306中，通过将DCNN应用于输入图像之一来取得处理完毕CT图像。在步骤S1307中，获得在图4的步骤S306中说明的损失函数。在步骤S1308中，DCNN被优化，并作为改善后的DCNN在下次的步骤S1306中使用。步骤S1306、S1307、S1308的循环继续，以使超分辨率处理用DCNN学习直至满足结束基准(S1309的“是”)为止。

步骤S1303的合并读出处理虽然具有某种程度的噪声降低效果，但由于步骤S1303的噪声附加处理以及重构法的差异，导致对象图像(高分辨率CT图像)具有比输入图像(低分辨率CT图像)更高的空间分辨率与更高的噪声特性。学习完毕SR-DCNN发挥噪声降低效果以及超分辨率效果。在另一个实施方式中，也可以取代对CT数据附加噪声或者除了附加噪声之外，对低分辨率的重构CT图像附加噪声，在投影域中取得输入图像。上述DCNN以发挥降噪与超分辨率这两方的效果的方式进行训练，在至少某状况下，能够比应用分别训练后的降噪DCNN与SR-DCNN双方更有益。这里对推理阶段的处理的其他实施方式进行说明。该处理包括其他种类的、CT图像的降噪专用DCNN模型的应用、以及选择(1)降噪DCNN和(2)通过参照图7或者图13的上述方法训练后的DCNN中的一方。另外，DCNN(以下，有时也称作SR以及降噪DCNN)能够发挥噪声降低效果以及超分辨率效果。也可以将推理阶段的实施处理组入大范围CT检测系统100内的图像处理装置150、其他种类的CT摄影系统的控制台、或者CT摄影系统外部的图像处理装置，例如医院的工作站、或接收医用图像、分析医用数据并重构医用图像的图像处理服务器等。在以下的说明中，各步骤由图像处理装置、控制台、工作站或者图像处理服务器所含的作为CPU或者GPU的处理电路执行。

能够使用多对训练图像使降噪DCNN进行学习。在一个实施方式中，也可以将输入图像设为低辐射CT图像，将对应的对象图像设为高辐射CT图像。低辐射CT图像能够通过检查对象的物体的CT扫描来收集。同样，高辐射CT图像能够通过检查对象的物体的CT扫描来收集。此外，低辐射CT图像也能够通过附加噪声并模拟低辐射图像而从由CT扫描收集到的高辐射CT图像中生成。高辐射CT图像能够通过模拟高辐射图像的图像处理而从由CT扫描收集到的低辐射CT图像中生成。在另一个实施方式中，能够通过由检查对象的物体的CT扫描收集到的CT数据的迭代重构处理，来取得对象图像，并通过基于FBP法对CT数据附加噪声并重构噪声附加CT数据，来取得输入图像。另外，降噪模型能够发挥各种伪影的减少效果。

在第一步骤中，在CT摄影系统内执行的情况下，从CT检测器取得CT数据。在工作站、图像处理服务器内执行的情况下，能够从CT摄影系统取得CT数据。此外，在CT摄影系统、工作站、或者图像处理服务器内执行的情况下，也能够从存储器取得CT数据。

在第二步骤中，处理电路判断是否将降噪模型(降噪DCNN)或者SR模型(降噪以及SR-DCNN)应用于所获得的图像的重构处理。在选择了降噪模型的情况下，处理电路按照第一重构条件重构第一CT图像，按照第二重构条件重构第二CT图像。与第一重构条件相比，第二重构条件包含被选择用于FBP重构的、为了维持重构函数以及图像信息而无噪声降低效果或者效果较小的过滤器。此外，由于第二重构条件的重构区域的像素密度或者像素数比第一重构条件大，因此在第二CT图像的SR处理中进一步提高了分辨率。在第一以及第二CT图像双方的重构中实施了特定的噪声降低处理的情况下，为了维持第二CT图像的图像信息，也可以使第二CT图像的噪声降低度低于第一CT图像。

在接下来的步骤中，将降噪DCNN应用于第一CT图像从而获得降噪完毕CT图像。接下来，将SR以及降噪DCNN应用于第一CT图像从而获得SR-CT图像。所获得的CT图像被输出、显示或者分析。在输出并显示所获得的CT图像的情况下，处理电路生成包含所获得的CT图像的图形用户界面，并向显示器发送。在显示器与图像处理装置或者工作站连接的情况下，处理电路使显示装置显示所获得的CT图像。

上述的处理虽然未包括不选择应用的DCNN模型的情况，但在该情况下，处理电路选择与第一重构条件、或者与第一以及第二重构条件都不同的第三重构条件。

在一个实施方式中，能够基于身体部位制作多个SR(以及降噪)DCNN与多个DCNN模型。即，与SR用、降噪用无关地，通过仅使用特定的身体部位用以及/或者特定的临床用途的图像，从而能够在特定的身体部位以及/或者特定的临床用途中训练DCNN模型。

在多个SR-DCNN保存在存储器中的情况下，处理电路根据所摄影的身体部位指定其中一个。

能够基于扫描信息在CT数据取得前或者取得后选择重构条件以及DCNN。

参照图14对本申请的另一例示性的实施方式进行说明。在该实施方式中，在投影域中对CT数据(CT投影数据)适用DCNN模型，由此重构图像。在一个实施方式中，能够使用分别包含作为UHR-CT数据的对象数据与作为NR-CT数据的输入数据的训练数据的多个对，来训练DCNN。NR-CT数据能够通过与UHR-CT数据不同的扫描来收集，或者通过上述的UHR-NR模拟的执行来生成。在另一个实施方式中，对象数据为HD-UHR-CT数据，输入数据为LD-NR-CT数据。LD-NR-CT数据能够通过与HD-UHR-CT数据不同的扫描来收集，或者通过参照图13说明的噪声的附加与UHR-NR模拟的执行来生成。

以下所示的步骤由图像处理装置150(处理电路)的CPU或者GPU执行，但也能够由工作站或者图像处理服务器的处理电路执行。

在步骤S1400中，取得大范围CT数据。在另一个实施方式中，CT数据也可以是正常范围CT数据。在步骤S1402中，将学习完毕DCNN应用于大范围CT数据来取得大范围SR-CT数据。在步骤S1404中，对大范围SR-CT数据实施重构处理，取得大范围SR-CT图像。在步骤S1406中，大范围SR-CT图像被输出、显示或者进一步分析。

图15示出与大范围CT检测系统对应的CT摄影系统中包含的X射线架台装置的实施方式的一例。如图15所示，从侧面图示的X射线架台装置1500具备X射线管1501、圆环状框架1502、以及多个列或者二维阵列型X射线检测器1503。X射线管1501与X射线检测器1503相对于圆环状框架1502上的物体OBJ正相反地配置。圆环状框架1502被支承为能够绕旋转轴RA旋转。旋转部1507在物体OBJ沿着旋转轴RA向图内或者图外移动的期间，使圆环状框架1502以规定的速度旋转。控制台或者图像处理装置1550具备重构装置1514、存储装置1512、显示装置1516、输入装置1515、以及预处理装置1506。

X射线CT装置具有各种类型。例如可列举X射线管与X射线检测器均在检查对象的物体的周围旋转的旋转-旋转型装置，大量检测元件排列为环状或者平面状的、仅X射线管在检查对象的物体的周围旋转的静止-旋转型装置等。本发明能够应用于任一类型的装置。这里，例示出当前主流的旋转-旋转型装置。

多层X射线CT装置还具备生成管电压的高电压生成装置1509。管电压经由集电环1508被施加给X射线管1501，以使X射线管生成X射线。X射线向物体OBJ射出。通过圆圈表示物体OBJ的断层区域。例如，最初的扫描中的X射线管的平均X射线能量小于第二次扫描中的平均X射线能量。即，与不同的X射线能量对应地取得两次以上的扫描。X射线检测器1503相对于物体OBJ位于X射线管1501的相反一侧，对射出并透射物体OBJ的X射线进行检测。X射线检测器1503还具备单独的检测元件或者检测单元。

CT装置还具备用于处理来自X射线检测器1503的检测信号的其他装置。数据收集电路或者数据收集系统(data acquisition system：DAS)1504按照每个通道将从X射线检测器1503输出的信号转换/放大为电压信号后，进一步转换为数字信号。X射线检测器1503以及DAS 1504构成为处理每转投影数(TPPR)。

上述的数据被发送到预处理装置1506，预处理装置1506经由非接触型数据发送机1505收容于X射线架台装置1500外的控制台。预处理装置1506对原始(raw)数据进行灵敏度校正等规定的校正。存储器1512保存作为结果获得的数据(也被称作重构处理之前的阶段的投影数据)。存储器1512与重构装置1514、输入装置1515、显示装置1516一起经由数据/控制总线1511连接于系统控制器1510。系统控制器1510控制将电流限制为CT系统的驱动所需的电平的电流调整装置1513。

在CT摄影装置的该构成例中，重构装置1514执行图3、6、7、8、10、14所记载的处理以及方法。

检测器在CT扫描仪系统进行各种生成的期间，相对于患者旋转以及/或者静止。在一个实施例中，上述的CT系统为第三代形状的系统与第四代形状的系统的结合系统的一例。在第三代系统中，X射线管1501与X射线检测器1503在圆环状框架1502上设于正相反的位置，与圆环状框架1502绕旋转轴RA的旋转相应地旋转。在第四代系统中，检测器固定地配置于患者周围，X射线管绕患者周围旋转。在另一个实施方式中，X射线架台装置1500具备C型臂、以及在支承于基台的圆环状框架1502上配置的多个检测器。

存储器1512能够保存X射线检测器1503中的表示X射线的辐照度的测量值。

而且，重构装置1514能够根据需要执行体绘制处理、图像差分处理等重构前图像处理。

预处理装置1506执行的投影数据的重构前处理例如也可以包含对检测器校准、检测器的非线性以及极性效应的校正。

重构装置1514执行的重构后处理能够根据需要而包含图像的过滤以及平滑化、体绘制(volume rendering)处理以及图像差分处理。重构装置1514例如能够将投影数据、重构图像、校准数据、参数、以及计算机程序等保存在存储器中。

重构装置1514能够具备CPU(处理电路)。CPU能够作为单独逻辑门、专用集成电路(ASIC)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)、其他复杂可编程逻辑器件(Complex Programmable Logic Device：CPLD)而实现。FPGA或CPLD的安装也可以通过VHDL、Verilog或其他硬件描述语言进行加密。密码既可以直接保存在FPGA、CPLD内的电子存储器中，或者也可以保持在其他电子存储器中。而且，存储器1512也可以是ROM、EPROM、EEPROM、或者闪存等非易失性存储器。存储器1512也可以为静态或者动态RAM等易失性存储器。此外，也能够设置微控制器、微处理器等处理器，能够管理电子存储器，并且还能够管理FPGA或者CPLD与存储器之间的相互的动作。

此外，重构装置1514的CPU能够执行计算机程序，该计算机程序包含执行本申请所记载的功能的一组计算机可读取的指示。该计算机程序保持于上述的非暂时性电子存储器以及/或者硬盘驱动器、CD、DVD、闪存驱动器、或者其他公知的存储介质。而且，计算机可读取的指示能够作为与规定的处理器以及规定的操作系统或者本领域技术人员公知的任意的操作系统协作执行的、实用程序、后台守护进程(background daemon)、操作系统的组件、或者其组合来提供。此外，CPU能够作为通过协作并行地动作来执行指示的多个处理器实现。

在一个实施例中，能够将重构图像显示于显示装置1516。显示装置1516能够使用LCD显示器、CRT显示器、等离子显示器、OLED、LED、或者其他公知的显示装置。

存储器1512能够使用硬盘驱动器、CD-ROM驱动器、DVD驱动器、闪存驱动器、RAM、ROM、或者其他公知的电子存储装置。

图16示出具有与中间网络相关的客户端-服务器结构的医用图像处理系统的一例。如图16所示，医用图像处理系统具备医用图像诊断装置1601作为客户端侧装置，具备经由网络N与医用图像诊断装置1601连接的医用图像处理装置1610作为服务器侧装置。

医用图像诊断装置1601通常可以为图15所示的X射线CT装置或者图2所示的大范围CT检测系统100等。

医用图像处理装置1610具备发送机/接收机1611、存储器1612、以及处理电路1613。处理电路1613具备包含重构处理器16141以及图像处理器16142的重构装置1614。发送机/接收机1611经由网络N在与医用图像诊断装置1601之间收发数据。存储器1612保存从医用图像诊断装置1601接收的医用图像数据等信息、以及用于执行上述的重构处理、降噪处理等的各种专用程序。处理电路1613是实现上述的重构装置1614的功能的处理器。

根据这些构成，医用图像诊断装置1601无需实现图15的重构装置1514的功能。因此，能够削减医用图像诊断装置1601的处理负荷以及医用图像诊断装置1601附带的成本。此外，重构处理以及降噪处理通过由作为服务器侧的医用图像处理装置1610统一后的方法来执行。由此，能够防止在现场的医用图像诊断装置各自中进行重构处理以及降噪处理时的运算符的差异而可能引起的画质等的偏差。

参照几个实施方式说明了本申请，但这些实施方式是作为本申请的原理与用途的例子而提示的，并无意限定发明的范围。这些实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、替换、变更、实施方式彼此的组合。这些实施方式及其变形包含在发明的范围、主旨内，同样也包含在权利要求书所记载的发明及其等同的范围内。

关于以上的实施方式等，作为发明的一方面以及选择性的特征而公开以下的附记。

(附记1)

一种医用图像处理方法，包括：

在具有第一像素尺寸的检测器的第一CT装置中，使用所述检测器的第一成像区域执行针对被检体的第一CT扫描，从而取得第一投影数据组；

通过对所述第一投影数据组进行重构处理，从而取得具有第一分辨率的第一CT图像；

通过将用于提高分辨率的机器学习模型应用于所述第一CT图像，从而取得分辨率比所述第一分辨率高的处理后CT图像；以及

输出所述处理后CT图像用于进行显示或者解析处理；

所述机器学习模型是通过使用了基于第二投影数据组的第二CT图像的机器学习而获得的，该第二投影数据组是在具有比第一像素尺寸小的第二像素尺寸的检测器的第二CT装置中使用所述检测器的比第一成像区域小的第二成像区域来执行针对被检体的第二CT扫描而获得的。

(附记2)

所述医用图像处理方法也可以是，在应用所述机器学习模型的情况下，通过使用所述第一投影数据组，以第一矩阵尺寸进行重构处理，从而生成所述第一CT图像，在不应用所述机器学习模型的情况下，通过使用所述第一投影数据组，以比第一矩阵尺寸小的第二矩阵尺寸进行重构处理，从而生成其他CT图像。

(附记3)

所述第一矩阵尺寸也可以是512×512、1024×1024、2048×2048、4096×4096中的任一个。

(附记4)

所述第二矩阵尺寸也可以是256×256、512×512、1024×1024、2048×2048中的任一个。

(附记5)

所述第一矩阵尺寸也可以是1024×1024以上，所述第二矩阵尺寸也可以是512×512以上。

(附记6)

所述医用图像处理方法也可以是，

在应用所述机器学习模型的情况下，通过使用所述第一投影数据组，基于第一重构函数进行重构处理，从而生成所述第一CT图像，

在取代应用所述机器学习模型而应用与所述机器学习模型不同的用于降低噪声的其他机器学习模型的情况下，通过使用所述第一投影数据组，基于噪声降低效果比所述第一重构函数大的第二重构函数进行重构处理，从而生成其他CT图像，并对所述其他CT图像应用所述其他机器学习模型。

(附记7)

所述医用图像处理方法也可以是，在所述处理后CT图像的取得中，通过以规定的比例合成所述第一CT图像、以及对所述第一CT图像应用所述机器学习模型而获得的图像，从而取得所述处理后CT图像。

(附记8)

所述规定的比例也可以基于用户输入来获得，或者从一组的摄影条件集中获得。

(附记9)

所述医用图像处理方法也可以是，在所述机器学习模型的应用中，

基于所述第一CT图像生成多个3D部分图像，

通过对所述机器学习模型与所述其他机器学习模型中的被指定的模型输入所述多个3D部分图像，从而应用所述被指定的模型，取得多个处理完毕3D部分图像，

通过合成所述多个处理完毕3D部分图像从而取得处理完毕图像。

(附记10)

所述医用图像处理方法也可以是，在所述多个3D部分图像的生成中，以所述多个3D部分图像中的至少两个3D部分图像局部地重复的方式来生成所述多个3D部分图像。

(附记11)

所述医用图像处理方法也可以是，在合成所述多个处理完毕3D部分图像时，对所述多个处理完毕3D部分图像中的两个相邻的处理完毕3D部分图像之间的耦合部应用过滤处理，从而合成所述多个处理完毕3D部分图像。

(附记12)

所述机器学习模型也可以是用于对所述第一CT图像应用超分辨率处理的机器学习模型。

(附记13)

所述机器学习模型也可以是用于对所述第一CT图像应用超分辨率处理与噪声降低处理的机器学习模型。

(附记14)

所述医用图像处理方法也可以是，在所述机器学习模型的生成中，将所述第二CT图像、以及基于所述第二CT图像或者所述第二投影数据组中的任一个生成的、分辨率比所述第二CT图像低且噪声比所述第二CT图像大的第三CT图像作为训练图像，使用所述训练图像训练所述机器学习模型。

(附记15)

所述医用图像处理方法也可以是，在所述机器学习模型的生成中，将所述第二CT图像、以及基于对所述第二投影数据组应用噪声附加处理进而应用分辨率降低处理而获得的第三投影数据组的CT图像用作训练图像，使用所述训练图像训练所述机器学习模型。

(附记16)

一种医用图像处理装置，具备：

取得部，取得在具有第一像素尺寸的检测器的第一CT装置中使用所述检测器的第一成像区域执行针对被检体的第一CT扫描从而获得的第一投影数据组；

处理部，通过对所述第一投影数据组进行重构处理，从而取得具有第一分辨率的第一CT图像，并且通过将用于提高分辨率的机器学习模型应用于所述第一CT图像，从而取得分辨率比所述第一分辨率高的处理后CT图像；以及

输出部，输出所述处理后CT图像用于进行显示或者解析处理，

(附记17)

X射线CT装置也可以具有附记16所记载的医用图像处理装置。

(附记18)

一种存储医用图像处理程序的计算机可读取的非易失性存储介质，所述医用图像处理程序使计算机实现：

输出所述处理后CT图像用于进行显示或者解析处理，

Claims

1.一种医用图像处理方法，其中，包括：

输出所述处理后CT图像用于进行显示或者解析处理；

2.如权利要求1所述的医用图像处理方法，其中，

在应用所述机器学习模型的情况下，通过使用所述第一投影数据组，以第一矩阵尺寸进行重构处理，从而生成所述第一CT图像，

在不应用所述机器学习模型的情况下，通过使用所述第一投影数据组，以比第一矩阵尺寸小的第二矩阵尺寸进行重构处理，从而生成其他CT图像。

3.如权利要求1或2所述的医用图像处理方法，其中，

4.如权利要求1所述的医用图像处理方法，其中，

在所述处理后CT图像的取得中，通过以规定的比例合成所述第一CT图像、以及对所述第一CT图像应用所述机器学习模型而获得的图像，从而取得所述处理后CT图像。

5.如权利要求4所述的医用图像处理方法，其中，

所述规定的比例基于用户输入来获得，或者从一组的摄影条件集中获得。

6.如权利要求3所述的医用图像处理方法，其中，

在所述机器学习模型的应用中，

基于所述第一CT图像生成多个3D部分图像，

7.如权利要求6所述的医用图像处理方法，其中，

在所述多个3D部分图像的生成中，以所述多个3D部分图像中的至少两个3D部分图像局部地重复的方式来生成所述多个3D部分图像。

8.如权利要求6所述的医用图像处理方法，其中，

在合成所述多个处理完毕3D部分图像时，对所述多个处理完毕3D部分图像中的两个相邻的处理完毕3D部分图像之间的耦合部应用过滤处理，从而合成所述多个处理完毕3D部分图像。

9.如权利要求1所述的医用图像处理方法，其中，

所述机器学习模型是用于对所述第一CT图像应用超分辨率处理的机器学习模型。

10.如权利要求1所述的医用图像处理方法，其中，

所述机器学习模型是用于对所述第一CT图像应用超分辨率处理与噪声降低处理的机器学习模型。

11.如权利要求1所述的医用图像处理方法，其中，

在所述机器学习模型的生成中，将所述第二CT图像、以及基于所述第二CT图像或者所述第二投影数据组中的任一个生成的、分辨率比所述第二CT图像低且噪声比所述第二CT图像大的第三CT图像作为训练图像，使用所述训练图像训练所述机器学习模型。

12.如权利要求11所述的医用图像处理方法，其中，

在所述机器学习模型的生成中，将所述第二CT图像、以及基于对所述第二投影数据组应用噪声附加处理进而应用分辨率降低处理而获得的第三投影数据组的第四CT图像作为训练图像，使用所述训练图像训练所述机器学习模型。

13.一种医用图像处理装置，其中，具备：

14.一种X射线CT装置，其中，具有权利要求13所述的医用图像处理装置。

15.一种计算机可读取的非易失性存储介质，其中，存储医用图像处理程序，所述医用图像处理程序使计算机实现：

输出所述处理后CT图像用于进行显示或者解析处理，