CN112102223B - 用于自动设置扫描范围的方法和系统 - Google Patents

用于自动设置扫描范围的方法和系统 Download PDF

Info

Publication number
CN112102223B
CN112102223B CN201910524760.5A CN201910524760A CN112102223B CN 112102223 B CN112102223 B CN 112102223B CN 201910524760 A CN201910524760 A CN 201910524760A CN 112102223 B CN112102223 B CN 112102223B
Authority
CN
China
Prior art keywords
rgb
depth
prediction result
confidence
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910524760.5A
Other languages
English (en)
Other versions
CN112102223A (zh
Inventor
徐嫣然
孟凡波
黄煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Priority to CN201910524760.5A priority Critical patent/CN112102223B/zh
Priority to US16/890,353 priority patent/US11386593B2/en
Priority to JP2020103471A priority patent/JP7102463B2/ja
Publication of CN112102223A publication Critical patent/CN112102223A/zh
Application granted granted Critical
Publication of CN112102223B publication Critical patent/CN112102223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及用于自动设置扫描范围的方法和系统。所述方法包括：由RGB图像预测模型和深度图像预测模型分别接收定位在扫描床上的对象的RGB图像和深度图像；由所述RGB图像预测模型和所述深度图像预测模型分别生成关于所述对象的预定关键点的基于所述RGB图像的RGB预测结果和基于所述深度图像的深度预测结果；从所述RGB预测结果和所述深度预测结果中选择用于设置扫描范围的预测结果；以及基于选定的预测结果自动设置所述扫描范围。

Description

用于自动设置扫描范围的方法和系统
技术领域
本发明涉及计算机成像领域，特别是涉及用于在医学成像过程中自动设置扫描范围的方法和系统。
背景技术
在传统的医学成像过程中，诸如在计算机断层扫描(CT)设备的扫描过程中，在将对象(例如，患者)定位到扫描床上之后，操作者将扫描床移动到机架的孔中并使用激光对准来手动地设置扫描标志从而确定扫描范围，以开始进行扫描。此类扫描准备工作流程是非常繁复且耗时的。同时，由于人难免会犯错，因此传统CT扫描的准备工作流程不可避免地会出现错误和偏差。即使操作者没有犯错，但不同操作者对具体的扫描标志可能有不同的理解，从而造成扫描准备工作流程中的错误和偏差。为此，通过自动化使扫描准备工作流程简化一直是医疗设备领域的研究热点之一。
扫描准备工作流程的自动化可借助计算机预测模型来实现。通常可以由3D相机来采集待扫描对象的RGB图像和深度图像(depth image)，然后在RGB图像的基础上，利用深度图像来配合定位，使得预测模型最终输出唯一的预测结果。然而，待扫描对象的不同体形、姿势，复杂的临床环境，以及配件、设备和操作者的可能干扰等都会影响预测模型的预测结果的可靠性，从而影响扫描范围设置的鲁棒性。
因此，本领域需要改进的用于自动设置扫描范围的方法和系统以在简化扫描准备工作流程的同时提供扫描范围设置的改善的可靠性和鲁棒性。
发明内容
根据本发明的一个方面，提供了一种用于自动设置扫描范围的方法。该方法可以包括：由RGB图像预测模型和深度图像预测模型分别接收定位在扫描床上的对象的RGB图像和深度图像；由所述RGB图像预测模型和所述深度图像预测模型分别生成关于所述对象的预定关键点的基于所述RGB图像的RGB预测结果和基于所述深度图像的深度预测结果；从所述RGB预测结果和所述深度预测结果中选择用于设置扫描范围的预测结果；以及基于选定的预测结果自动设置所述扫描范围。
上述方法通过利用两个预测模型(即，RGB图像预测模型和深度图像预测模型)的预测结果自动设置扫描范围而简化了扫描准备工作流程，减轻了操作者的工作负担，使得扫描的准备过程能够在更短的时间内更加容易地完成。扫描范围的自动设置还减少了人为造成的错误和偏差，使得最终的扫描范围能够更加准确并且在不同扫描过程之间保持更好的一致性。上述方法还在RGB图像和深度图像上均产生预测结果并从中选择一个用于自动设置扫描范围。也就是说，本发明不是只依赖于一个预测结果，而是只要RGB图像预测模型和深度图像预测模型中的任一者能够输出预测结果，便可执行扫描范围的自动设置。而当RGB图像预测模型和深度图像预测模型均有输出预测结果时，上述方法可从这两个预测结果中选择更可靠的预测结果用于扫描范围的自动设置。因此，本发明在面对关键点预测的各种挑战(例如，复杂的临床环境，待扫描对象的不同体形、姿势，以及配件、设备和操作者的可能干扰等)时能够提供改善的可靠性和鲁棒性。
在实施例中，所述RGB预测结果和所述深度预测结果可以是互相独立的。
在实施例中，所述RGB图像预测模型和所述深度图像预测模型中的每一个可以是深度学习模型。
在实施例中，所述方法可以进一步包括：分别计算所述RGB预测结果的RGB置信度和所述深度预测结果的深度置信度，其中所述选择用于设置扫描范围的预测结果的步骤基于所述RGB置信度和所述深度置信度的比较。
在实施例中，所述选择用于设置扫描范围的预测结果的步骤可以基于所述RGB预测结果的RGB预定权重和所述深度预测结果的深度预定权重的比较。
在实施例中，所述选择用于设置扫描范围的预测结果的步骤可以进一步包括：如果所述RGB置信度小于第一阈值且所述深度置信度小于第二阈值，则可重复执行分别接收RGB图像和深度图像的步骤、分别生成RGB预测结果和深度预测结果的步骤、以及分别计算RGB置信度和深度置信度的步骤，直到所述RGB置信度和所述深度置信度中的至少一个大于等于相应的阈值。
在实施例中，所述选择用于设置扫描范围的预测结果的步骤可以进一步包括：如果所述RGB置信度大于等于所述第一阈值或所述深度置信度大于等于所述第二阈值，则可选择大于等于相应阈值的置信度所对应的预测结果作为所述用于设置扫描范围的预测结果。
在实施例中，所述选择用于设置扫描范围的预测结果的步骤可以进一步包括：如果所述RGB置信度大于等于所述第一阈值且所述深度置信度大于等于所述第二阈值，则可进一步比较所述RGB预测结果的RGB预定权重和所述深度预测结果的深度预定权重，其中，如果所述RGB预定权重与所述深度预定权重不等，则可选择预定权重较大的预测结果作为所述用于设置扫描范围的预测结果；以及如果所述RGB预定权重与所述深度预定权重相等，则可基于所述RGB置信度和所述深度置信度的所述比较的结果选择所述用于设置扫描范围的预测结果。
在一实施例中，所述第一阈值和所述第二阈值可以相同。在另一实施例中，所述第一阈值和所述第二阈值可以不同。
在实施例中，通过使用所述RGB图像预测模型在所述RGB图像上识别所述关键点来生成所述RGB预测结果，以及通过使用所述深度图像预测模型在所述深度图像上识别所述关键点来生成所述深度预测结果。
在实施例中，所述关键点可以包括：头部、胸部、腹部、骨盆、左膝关节、右膝关节、左踝关节和右踝关节。
在实施例中，基于选定的预测结果自动设置所述扫描范围的步骤可以包括：利用转换矩阵将所述选定的预测结果的所述关键点的2D位置映射到3D空间中以生成所述对象的扫描标志。
在实施例中，可以通过显示器向操作者显示所述RGB图像和所述扫描范围，以及可以任选地显示所述深度图像、所述RGB预测结果、所述深度预测结果、所述RGB置信度、所述深度置信度、和/或所述选定的预测结果。
在实施例中，一旦操作者新建扫描任务就可以开始实时地执行所述方法，直到所述操作者确认所述扫描范围，其中所述实时地执行可以包括每当感测到所述对象的体位变化时便执行所述方法。
因此，本发明可以在确定最终的扫描范围之前及时地响应于待扫描对象的体位调整而重新输出预测结果以供选择和进一步的扫描范围设置。
根据本发明的另一个方面，提供了一种用于自动设置扫描范围的系统。该系统可以包括：图像接收装置，用于由RGB图像预测模型和深度图像预测模型分别接收定位在扫描床上的对象的RGB图像和深度图像；预测结果生成装置，用于由所述RGB图像预测模型和所述深度图像预测模型分别生成关于所述对象的预定关键点的基于所述RGB图像的RGB预测结果和基于所述深度图像的深度预测结果；预测结果选择装置，用于从所述RGB预测结果和所述深度预测结果中选择用于设置扫描范围的预测结果；以及扫描范围设置装置，用于基于选定的预测结果自动设置所述扫描范围。
在实施例中，所述RGB预测结果和所述深度预测结果可以是互相独立的。
在实施例中，所述RGB图像预测模型和所述深度图像预测模型中的每一个可以是深度学习模型。
在实施例中，所述系统可以进一步包括：置信度计算装置，用于分别计算所述RGB预测结果的RGB置信度和所述深度预测结果的深度置信度，其中所述预测结果选择装置可以进一步包括：置信度比较装置，所述置信度比较装置用于所述RGB置信度和所述深度置信度的比较。
在实施例中，所述预测结果选择装置可以进一步包括：权重比较装置，所述权重比较装置用于所述RGB预测结果的RGB预定权重和所述深度预测结果的深度预定权重的比较。
在实施例中，所述预测结果选择装置可以进一步包括：置信度阈值比较装置，所述置信度阈值比较装置用于在所述RGB置信度与第一阈值之间以及在所述深度置信度与第二阈值之间进行比较，其中所述预测结果选择装置用于：在所述RGB置信度小于所述第一阈值且所述深度置信度小于所述第二阈值时，可重复使所述图像接收装置分别接收RGB图像和深度图像、使所述预测结果生成装置分别生成RGB预测结果和深度预测结果、以及使所述置信度计算装置分别计算RGB置信度和深度置信度，直到所述RGB置信度和所述深度置信度中的至少一个大于等于相应的阈值。
在实施例中，所述预测结果选择装置用于：在所述RGB置信度大于等于所述第一阈值或所述深度置信度大于等于所述第二阈值时，可选择大于等于相应阈值的置信度所对应的预测结果作为所述用于设置扫描范围的预测结果。
在实施例中，所述预测结果选择装置可以进一步包括：权重比较装置，所述权重比较装置用于在所述RGB置信度大于等于所述第一阈值且所述深度置信度大于等于所述第二阈值时进一步比较所述RGB预测结果的RGB预定权重和所述深度预测结果的深度预定权重，其中所述预测结果选择装置用于：在所述RGB预定权重与所述深度预定权重不等时，可选择预定权重较大的预测结果作为所述用于设置扫描范围的预测结果；以及在所述RGB预定权重与所述深度预定权重相等时，可基于所述置信度比较装置的所述比较的结果选择所述用于设置扫描范围的预测结果。
在一实施例中，所述第一阈值和所述第二阈值可以相同。在另一实施例中，所述第一阈值和所述第二阈值可以不同。
在实施例中，所述预测结果生成装置用于：通过使用所述RGB图像预测模型在所述RGB图像上识别所述关键点来生成所述RGB预测结果，以及通过使用所述深度图像预测模型在所述深度图像上识别所述关键点来生成所述深度预测结果。
在实施例中，所述关键点可以包括：头部、胸部、腹部、骨盆、左膝关节、右膝关节、左踝关节和右踝关节。
在实施例中，所述扫描范围设置装置用于：利用转换矩阵将所述选定的预测结果的所述关键点的2D位置映射到3D空间中以生成所述对象的扫描标志。
在实施例中，所述系统可以进一步包括显示器，所述显示器用于向操作者显示所述RGB图像和所述扫描范围，以及任选地显示所述深度图像、所述RGB预测结果、所述深度预测结果、所述RGB置信度、所述深度置信度、和/或所述选定的预测结果。
在实施例中，一旦操作者新建扫描任务，所述系统就可以开始实时地运行，直到操作者确认所述扫描范围，其中所述实时地运行可以包括每当感测到所述对象的体位变化时便运行所述系统。
根据本发明的又一个方面，提供一种计算机可读介质，其上具有指令，所述指令在被处理器执行时使得所述处理器执行如上所述的方法的步骤。
根据本发明的又一个方面，提供一种医学成像设备，其包括如上所述的系统。
通过下面参考附图进行的详细描述，本发明的这些以及其他的特征和方面会变得更加清楚。
附图说明
为了能够详细地理解本发明，可参考实施例得出上文所简要概述的本发明的更具体的描述，一些实施例在附图中示出，为了促进理解，已尽可能使用相同附图标记来标示各图所共有的相同要素。然而，应当注意，附图仅仅示出本发明的典型实施例，并且因此不应视为限制本发明的范围，因为本发明可允许其他等效实施例，在附图中：
图1是示出根据本发明的实施例的用于自动设置扫描范围的方法100的流程图。
图2A-2D示出根据本发明的实施例的人类身体上的示例性的8个关键点。
图3示出了根据本发明的实施例的选择用于设置扫描范围的预测结果的示例方法。
图4示出了根据本发明的实施例的选择用于设置扫描范围的预测结果的另一示例方法。
图5示出了根据本发明的实施例的选择用于设置扫描范围的预测结果的又一示例方法。
图6是示出根据本发明的实施例的用于自动设置扫描范围的示例系统的框图。
图7示出了本发明的实施例中可使用的一个示例性深度学习模型。
可以预期的是，本发明的一个实施例中的要素可有利地适用于其他实施例而无需赘述。
具体实施方式
以下将描述本发明的具体实施方式，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的实施方式的所有特征均作详尽的描述。应当可以理解的是，在任意一种实施方式的实际实施过程中，正如在任意一个工程项目或者设计项目的过程中，为了实现开发者的具体目标，为了满足系统相关的或者商业相关的限制，常常会做出各种各样的具体决策，而这也会从一种实施方式到另一种实施方式之间发生改变。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本发明揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本发明的内容不充分。
除非另作定义，权利要求书和说明书中使用的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“一个”或者“一”等类似词语并不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同元件，并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，也不限于是直接的还是间接的连接。
本发明的实施例可以自动地设置用于待扫描对象的扫描范围。待扫描对象可以是，例如人类患者、动物、物件(诸如零部件)、或存在于体内的各种外来物(诸如牙植入体、支架、造影剂)，等等。此外，虽然结合CT设备来描述本发明，但应当理解，本发明也可用于其他适当类型的医学成像设备，例如磁共振成像(MRI)设备、C形臂成像设备、正电子发射断层扫描(PET)设备、单光子发射计算机断层扫描(SPECT)设备，等等。进一步地，还应当理解，本发明还可适用于医学成像设备之外的其他合适的成像设备。
图1是示出根据本发明的实施例的用于自动设置扫描范围的方法100的流程图。方法100是一种双分支的方法，包括RGB分支和深度分支。在本发明的优选实施例中，方法100可以是基于深度学习的方法。在一个实施例中，方法100可包括如下步骤：
步骤122和124：由RGB图像预测模型和深度图像预测模型分别接收定位在扫描床上的对象的RGB图像和深度图像；
步骤132和134：由所述RGB图像预测模型和所述深度图像预测模型分别生成关于所述对象的预定关键点的基于所述RGB图像的RGB预测结果和基于所述深度图像的深度预测结果；
步骤140：从所述RGB预测结果和所述深度预测结果中选择用于设置扫描范围的预测结果；以及
步骤150：基于选定的预测结果自动设置所述扫描范围。
在方法100中，步骤122和132属于RGB分支；步骤124和134属于深度分支。两个分支可以是互相独立的。
在本发明的一个实施例中，可以利用图像采集装置(例如，3D相机)来采集待扫描对象的RGB-D图像，RGB-D图像包括RGB图像和深度图像。RGB图像的每个像素的值对应于该像素的RGB信息(即，红、绿、蓝)，深度图像的每个像素的值对应于该像素的深度信息(即，像素离相机的距离)。3D相机可以是基于结构光的相机、立体相机或飞行时间相机，在本文中统称为RGB-D相机，诸如Intel RealSense系列。在一个实施例中，可以将RGB-D相机安装在扫描床上。在其他实施例中，也可以将RGB-D相机安装在射线管上或成像系统的任何其他合适位置处。
在将待扫描对象定位在扫描床上之后，RGB-D相机就可以开始采集该对象的RGB图像和深度图像。可替代地，也可以设置用于开始图像采集的触发条件，例如，设置一个按钮，当操作者按下该按钮时开始采集待扫描对象的RGB图像和深度图像，又例如，可以在操作者新建扫描任务时联动地开始图像采集。所采集的RGB图像和深度图像分别被输入到RGB图像预测模型和深度图像预测模型中。RGB图像预测模型和深度图像预测模型可以彼此独立运行，其中RGB图像预测模型用于分析待扫描对象的RGB图像，而深度图像预测模型用于分析待扫描对象的深度图像。RGB图像预测模型和深度图像预测模型可以是基于机器学习的任何合适的模型，例如深度学习模型(诸如卷积模型)、线性模型、决策树模型、随机森林模型、基于聚类的模型、概率图模型(诸如贝叶斯分级模型)等。
在一个优选实施例中，RGB图像预测模型和深度图像预测模型可以是两个经过训练的深度学习模型。图7示意性地描绘了示例性人工神经网络50，其可被训练成可在本发明的实施例中使用的深度学习模型。如图7所示，人工神经网络50是多层模型，包括例如可用于接收或采集输入数据51的输入层52、多个隐藏层诸如58A、58B和58C等、以及输出层60。此外，模型50还可包括在训练过程中使用的训练目标数据64。在图7所示的示例中，每一个层由多个神经元56组成。神经元56的数量在不同层之间可以是相同的，也可以如图7所示是不同的。每一个层中的神经元56产生相应的输出，该输出用作模型50的下一个层中的神经元56的输入。在实践中，可以计算具有附加偏差的输入的加权和以根据激活函数(诸如，S形激活函数、线性整流函数(ReLU)等)来激活模型50的层中的每一个相应的神经元56。在训练过程中，将模型50的输出层60的输出(即，模型50的预测结果)与训练目标数据64相比较并计算损失或误差函数62，损失函数62可反过来用于指导模型50的进一步训练(使用SGD或其他方法)。在一些实施例中，损失函数62可以是均方误差(MSE)和/或可以考虑到其他图像/数据特征的差异。或者，损失函数62可以由与特定任务相关联的其他度量来定义。虽然图7示出了具有清晰的逐层架构的简单的完全连接的示例模型50，但也可以为单个层、多个层、或整个模型选择其他架构。举例而言，模型中的一个或多个层可以由卷积神经网络(CNN)来表示。类似地，模型中的一些部分可以使用不是根据严格的逐层处理架构来配置的混合架构。例如，一些连接可跳过一个或多个层(即，将非连续层中的节点直接连接)；或者，可以选择不对应于清晰的逐层架构的网络架构。
现在参考图1描述方法100的RGB分支。首先，在步骤122处，RGB图像预测模型可接收所采集的待扫描对象的RGB图像。在RGB图像预测模型接收对象的RGB图像之后，可以任选地对图像进行预处理。所述预处理可以包括但不限于：改变图像的尺寸、对图像进行平滑处理、剪裁图像、对图像去噪等。
接着，在步骤132处，RGB图像预测模型可生成关于该对象的预定关键点的基于RGB图像的RGB预测结果。在一个实施例中，利用RGB图像预测模型在该对象的RGB图像上识别预定关键点从而生成关于该对象的关键点的RGB预测结果。关键点的定义可取决于临床需求。在实施例中，可将关键点定义为重要的关节、面部的常用特征点等。就生命体而言，不同的关键点对应于不同的解剖结构协议。在实施例中，关键点的具体位置可以限定在针对特定部位实施传统的激光扫描时所对标的位置。关键点的数量可以是任意合适的数量，具体亦取决于临床需求。在图2A-2D所示的人类患者的示例性实施例中，关键点的数量为8个，在图2A-2D中由点P1-P8示出，分别是头部、胸部、腹部、骨盆、左膝关节、右膝关节、左踝关节和右踝关节。在其他实施例中，可以有不同数量的关键点，诸如18个，亦可以将关键点定位在其他部位。
在步骤132处检测、定位从而识别待扫描对象的关键点时需要考虑诸多附加因素，例如，扫描环境状况、待扫描对象的姿势等。在一个实施例中，可以考虑的因素有：头先进入机架孔还是脚先进入机架孔；对象是仰卧、俯卧、左侧卧还是右侧卧；有没有覆盖物，诸如毯子、病号服等；有没有使用延长器，诸如头部支撑件；等等。图2A示意性地示出了头先、对象仰卧、无覆盖物、使用头部支撑件的情况下的上述8个示例性关键点P1-P8。图2B示意性地示出了头先、对象仰卧、有覆盖物、使用头部支撑件的情况下的上述8个示例性关键点P1-P8。图2C示意性地示出了头先、右侧卧、无覆盖物、不使用延长器的情况下的上述8个示例性关键点P1-P8。图2D示意性地示出了脚先、仰卧、无覆盖物、不使用延长器的情况下的上述8个示例性关键点P1-P8。
关键点的识别从而RGB预测结果的生成可以基于例如热力图。所生成的RGB预测结果可包括但不限于：所识别的关键点的2D位置、待扫描对象的姿势。
方法100的深度分支与RGB分支类似。如图1所示，首先，在步骤124处，深度图像预测模型可接收所采集的待扫描对象的深度图像。在深度图像预测模型接收对象的深度图像之后，也可以任选地对图像进行预处理。所述预处理可以包括但不限于：改变图像的尺寸、对图像进行平滑处理、剪裁图像、对图像去噪等。
接着，在步骤134处，深度图像预测模型可生成关于该对象的预定关键点的基于深度图像的深度预测结果。在一个实施例中，利用深度图像预测模型在该对象的深度图像上识别预定关键点从而生成关于该对象的关键点的深度预测结果。值得注意的是，在深度分支中进行识别的关键点与RGB分支中识别的关键点相同。
此外，在步骤134处检测、定位从而识别待扫描对象的关键点时需要考虑与RGB分支的步骤132相同的诸多附加因素，例如，扫描环境状况、待扫描对象的姿势等。
关键点的识别从而深度预测结果的生成可以基于例如热力图。所生成的深度预测结果可包括但不限于：所识别的关键点的2D位置、待扫描对象的姿势。
由此，针对相同对象的相同关键点，方法100的RGB分支输出了RGB预测结果，深度分支输出了深度预测结果。RGB分支和深度分支可以是互相独立的，相应地，所生成的RGB预测结果和深度预测结果也可以是互相独立的。
继续参考图1，接下来，在步骤140处，从RGB预测结果和深度预测结果中选择用于设置扫描范围的预测结果。
这种选择可以通过各种合适的方式来实现。在实施例中，可以根据RGB预测结果和深度预测结果之间的关于一个或多个因素的比较来选择用于设置扫描范围的预测结果，所述因素例如：置信度、预定权重、热力图的最大峰值、热力图的所有峰值的加权平均、热力图的峰值分散程度等。通过这种比较，可以找出两个分支所输出的预测结果中更为可靠的那个预测结果。下面进一步参考图3-5来详细描述示例性的比较过程。
图3示出了根据本发明的实施例的选择用于设置扫描范围的预测结果的示例方法300。方法300基于RGB预测结果和深度预测结果的置信度比较结果来选择用于自动设置扫描范围的预测结果。RGB预测结果的置信度(以下称为“RGB置信度”)和深度预测结果的置信度(以下称为“深度置信度”)可以分别计算，例如由RGB图像预测模型和深度图像预测模型自动地分别计算。在本发明的实现中，不同的临床环境状况、不同的照明条件等因素可能影响预测模型预测结果的准确度，从而影响计算出的RGB置信度和深度置信度。
本文所使用的术语“置信度”是指预测模型所生成的预测结果中的各个关键点在预测结果所指示的坐标位置上的概率。在本文中，以0～1.0来表示置信度的值，但也可以使用任何其他合适的方式来表示置信度的值，例如百分比。
如图3所示，方法300可以在步骤310处比较RGB置信度与深度置信度。在一个实施例中，如果RGB置信度小于深度置信度(步骤310的比较结果为“否”)，则可选择深度预测结果作为用于设置扫描范围的预测结果，如框320所示；反之，如果RGB置信度大于等于深度置信度(步骤310的比较结果为“是”)，则可选择RGB预测结果作为用于设置扫描范围的预测结果，如框330所示。
图4示出了根据本发明的实施例的选择用于设置扫描范围的预测结果的另一示例方法400。方法400进一步引入了对RGB预测结果的预定权重(以下称为“RGB预定权重”)和深度预测结果的预定权重(以下称为“深度预定权重”)的比较，进一步提高了本发明的可靠性和鲁棒性。
在本文中，“预定权重”是临床专家根据临床实践和临床经验针对不同的扫描部位预先设置的。通常，如果待扫描部位的细节信息比较多的(诸如头部扫描)，则倾向于赋予RGB预测结果更大的权重。如果待扫描部位的细节信息不是那么重要，反而是其轮廓走向更为重要的(诸如胸部扫描、腹部扫描)，则倾向于赋予深度预测结果更大的权重。在其他情况下，则可赋予RGB预测结果和深度预测结果相等的权重。
在图4所示的示例中，可以在步骤410处比较RGB预定权重与深度预定权重。在一个实施例中，如果RGB预定权重不等于深度预定权重(步骤410的比较结果为“否”)，则可选择预定权重较大的预测结果作为用于设置扫描范围的预测结果，如框430所示；反之，如果RGB预定权重等于深度预定权重(步骤410的比较结果为“是”)，则可进一步在步骤420处比较RGB置信度与深度置信度。与图3类似，如果RGB置信度小于深度置信度(步骤420的比较结果为“否”)，则可选择深度预测结果作为用于设置扫描范围的预测结果，如框440所示；反之，如果RGB置信度大于等于深度置信度(步骤420的比较结果为“是”)，则可选择RGB预测结果作为用于设置扫描范围的预测结果，如框450所示。
在本发明的其他实施例中，也可以先比较RGB置信度与深度置信度，再进一步比较RGB预定权重和深度预定权重。
现在参考图5，图5示出了根据本发明的实施例的选择用于设置扫描范围的预测结果的又一示例方法500。方法500又进一步引入了RGB置信度和深度置信度的阈值，使得本发明的可靠性和鲁棒性得以进一步提高。
在本发明的实施例中，可以基于临床实践和临床经验预先设定置信度的阈值。当预测结果的置信度小于所设定的阈值时，可认为该预测结果是不可信的；当预测结果的置信度大于等于所设定的阈值时，可认为该预测结果是可信的。要注意的是，对于不同的待扫描对象和/或不同的待扫描部位，置信度的阈值可以有不同的设定。例如，对于人类患者的头部进行的扫描，可以设定置信度阈值为0.8，即当预测结果的置信度大于等于0.8时才能认为是可信的。又例如，对于人类患者的胸部进行的扫描，可以设定置信度阈值为0.6，即当预测结果的置信度大于等于0.6时便是可信的。
在图5所示的优选实施例中，可以在步骤510处确定RGB置信度是否小于第一阈值以及深度置信度是否小于第二阈值。在一个实施例中，可以将第一阈值和第二阈值设定为相同的值，例如，0.5、0.8等。在另一个实施例中，可以将第一阈值和第二阈值设定为不同的值，例如，将第一阈值设定为0.8，将第二阈值设定为0.5。
如图5所示，当RGB置信度小于第一阈值并且深度置信度小于第二阈值时(即，步骤510的确定结果为“是”)，RGB预测结果和深度预测结果均不可信。在这种情况下，可以认为方法100没有可供选择的预测结果，因此需要采集待扫描对象的新RGB图像和新深度图像，并重新执行方法100的RGB分支和深度分支。在一个实施例中，可以通过显示器上的用户界面(UI)向操作者发出两个分支的预测结果均不可信的通知。在实施例中，操作者可以指令待扫描对象调整体位或者通过UI调整工作参数，从而采集新的RGB图像和深度图像以生成新的RGB预测结果和深度预测结果并计算新的RGB置信度和深度置信度以供比较和选择。
当步骤510的确定结果为“否”时，即RGB置信度和深度置信度中至少有一者大于等于其阈值，也就是说，RGB预测结果和深度预测结果中至少有一个是可信的，则可进一步在步骤520处确定是否RGB置信度大于等于第一阈值并且深度置信度大于等于第二阈值，即确定RGB置信度和深度置信度中是否只有一个大于等于其阈值。
如果RGB置信度大于等于第一阈值或深度置信度大于等于第二阈值(步骤520的确定结果为“否”)，即RGB置信度和深度置信度中只有一个大于等于其阈值，则可选择大于等于阈值的置信度所对应的预测结果作为用于设置扫描范围的预测结果，如框550所示。
如果RGB置信度和深度置信度均大于等于其阈值(步骤520的确定结果为“是”)，则可进一步在步骤530处比较RGB预定权重与深度预定权重。在图5所示的示例中，如果RGB预定权重不等于深度预定权重(步骤530的比较结果为“否”)，则可选择预定权重较大的预测结果作为用于设置扫描范围的预测结果，如框560所示；反之，如果RGB预定权重等于深度预定权重(步骤530的比较结果为“是”)，则可进一步在步骤540处比较RGB置信度与深度置信度。如图5所示，如果RGB置信度小于深度置信度(步骤540的比较结果为“否”)，则可选择深度预测结果作为用于设置扫描范围的预测结果，如框570所示；反之，如果RGB置信度大于等于深度置信度(步骤540的比较结果为“是”)，则可选择RGB预测结果作为用于设置扫描范围的预测结果，如框580所示。
以头部扫描为例，可以将RGB置信度的第一阈值和深度置信度的第二阈值均设置为0.8。当RGB置信度和深度置信度均大于等于0.8时，由于对头部扫描而言，RGB预测结果具有比深度预测结果更大的预定权重，因此应当选择RGB预测结果，即使深度置信度比RGB置信度还要高。然而，如果只有深度置信度大于等于0.8，则应当选择深度预测结果。此外，如果RGB置信度和深度置信度均小于0.8，则不选择任何预测结果。
方法300、400和500仅为示例性的，而非限制性。本发明还可以使用任何其他合适的因素来实现两个分支之间预测结果的选择。
现在返回参考图1，在步骤150处，基于步骤140处选定的预测结果自动设置扫描范围。
在一个实施例中，可以通过利用转换矩阵将所选定的预测结果的关键点的2D位置映射到3D空间中以生成待扫描对象的扫描标志来实现待扫描对象的扫描范围的自动设置。具体而言，对于预先确定的待扫描部位，通过转换矩阵，可以利用RGB-D图像的深度信息将该部位所对应的关键点的2D位置转换成相机坐标系下的3D空间坐标(即，扫描标志)。在实施例中，坐标转换所需要的参数和矩阵可以通过相机及其校准过程获得。另外，对于该预先确定的待扫描部位，可以检索扫描协议库以匹配扫描协议，并接着从选定的扫描协议中读取预设的扫描起点值和扫描终点值。根据所获得的扫描标志和扫描起终点值，可以计算出用于该待扫描部位的扫描范围。例如，当将扫描标志规定为扫描范围的0点时，如果所读取的扫描起终点值分别为-10mm和20mm，那么得到的扫描范围可以是在扫描床的移动方向上从扫描标志向前浮动10mm处到扫描标志向后浮动20mm处(头先进入机架孔的情况下)，或者可以是在扫描床的移动方向上从扫描标志向前浮动20mm处到扫描标志向后浮动10mm处(脚先进入机架孔的情况下)。在其他示例中，也可以参考其他取向来计算扫描范围。
此外，在本发明的实施例中，可以通过显示器向操作者显示待扫描对象的RGB图像和自动设置的相应扫描范围。在进一步的实施例中，除了RGB图像和扫描范围，显示器还可以显示待扫描对象的深度图像、所生成的RGB预测结果、深度预测结果、所计算出的RGB置信度、深度置信度、以及选定的预测结果中的一个或多个。
虽然按上述顺序描述了本发明的方法，但本发明的方法的执行不应受限于上述顺序。相反，可以使本发明的方法的一些步骤按不同的顺序执行或同时执行，或者在一些实施例中可以不执行某些步骤。另外，本发明的方法的任何步骤可以用模块、单元、电路或用于执行这些步骤的任何其他合适手段来执行。
本发明基于RGB分支和深度分支的双分支方法在面对复杂的临床环境等干扰因素时具有良好的鲁棒性。例如，不同医院、不同位置的临床照明条件可能不同，这会直接影响相机所采集的图像的质量。当照明条件好时，RGB图像的质量较高，而深度图像较差；反过来，当照明条件差时，深度图像的质量会比较高，而RGB图像会比较暗。在这种情况下，如果只依赖于RGB图像或深度图像，则预测模型能否输出有效预测结果会受到照明条件的极大影响。相较之下，本发明的RGB分支和深度分支均生成预测结果，因此只要其中一个分支有预测结果输出便可执行扫描范围的自动设置。而当RGB分支和深度分支均有输出预测结果时，本发明的方法可从这两个预测结果中选择更可靠的预测结果用于扫描范围的自动设置。因此，本发明的方法具有改善的可靠性和鲁棒性。另外，可以通过设置多个比较因素来进一步提高本发明的可靠性和鲁棒性。同时，通过自动而非依赖于操作者手动设置扫描范围，本发明的方法简化了扫描范围的设置过程并减少了设置过程中人为造成的错误和偏差。
此外，本发明的方法显著减轻了操作者的工作负担，在显示器输出方法执行的结果之后，操作者只需要核对所输出的结果。如果该输出结果表示的待扫描对象的体位、设定的扫描范围以及任选的当前预测过程和结果是合适的，则操作者确认该结果从而开始进行扫描，反之，则再次执行本发明的方法。
本发明的方法可以在操作者新建扫描任务时便开始持续地执行，并且可以在每当感测到待扫描对象的体位变化时执行，直到操作者确认显示器上所输出的结果。因此，本发明的方法是实时的，对于待扫描对象的体位调整能够作出及时的响应，使得整个扫描过程更加流畅，并且提升了扫描对象的体验。
在实践中，当操作者确认显示器上所输出的结果之后，可以进一步通过将相机坐标系下的3D空间坐标转换到扫描中心坐标系下的3D空间坐标来计算关键点与扫描中心(即，医学成像设备的机架孔的圆心)之间的距离。以人类头部扫描为例，可以计算待扫描对象的眉心到扫描中心的距离。在一个实施例中，待扫描对象的头先进入机架孔，关键点与扫描中心之间的距离为1米，且扫描范围为在扫描床的移动方向上从扫描标志向前浮动0.1米处到扫描标志向后浮动0.2米处，则可以自扫描床向机架孔内部移动0.9米时开始执行对待扫描部位的扫描到扫描床向机架孔内部移动1.2米时结束该扫描。
下面参考图6描述本发明的另一个方面。图6是示出根据本发明的实施例的用于自动设置扫描范围的示例系统600的框图。示例系统600可以包括图像接收装置620、预测结果生成装置630、预测结果选择装置640和扫描范围设置装置650。
在本发明的实施例中，图像接收装置620和预测结果生成装置630可以用于实现本发明的RGB分支和深度分支。图像接收装置620可用于由RGB图像预测模型和深度图像预测模型分别接收待扫描对象的RGB图像和深度图像。预测结果生成装置630可用于由RGB图像预测模型和深度图像预测模型分别生成关于待扫描对象的预定关键点的RGB预测结果和深度预测结果。具体而言，预测结果生成装置630使用RGB图像预测模型在待扫描对象的RGB图像上识别该对象的关键点从而生成RGB预测结果，并且使用深度图像预测模型在该对象的深度图像上识别相同的关键点从而生成深度预测结果。
系统600还可以包括置信度计算装置660，置信度计算装置660可用于分别计算RGB预测结果的RGB置信度和深度预测结果的深度置信度。
预测结果选择装置640可用于从RGB预测结果和深度预测结果中选择用于设置扫描范围的预测结果。在一个实施例中，预测结果选择装置640可以进一步包括置信度比较装置670、权重比较装置680和置信度阈值比较装置690。置信度比较装置670可用于比较RGB预测结果的RGB置信度和深度预测结果的深度置信度。权重比较装置680可用于比较RGB预测结果的RGB预定权重和深度预测结果的深度预定权重。置信度阈值比较装置690可用于在RGB置信度与第一阈值之间以及在深度置信度与第二阈值之间进行比较。
扫描范围设置装置650可用于基于选定的预测结果自动设置扫描范围。在一个实施例中，扫描范围设置装置650可通过利用转换矩阵将所选定的预测结果的关键点的2D位置映射到3D空间中以生成待扫描对象的扫描标志来实现待扫描对象的扫描范围的自动设置。
此外，系统600还可包括显示器(未图示)，用于向操作者显示待扫描对象的RGB图像和自动设置的相应扫描范围。任选地，显示器还可以显示待扫描对象的深度图像、所生成的RGB预测结果、深度预测结果、所计算出的RGB置信度、深度置信度、以及选定的预测结果中的一个或多个。
系统600与本发明的方法100、300、400和/或500相对应，因此本文在描述方法100、300、400和500时所叙述的许多细节同样适用于系统600，此处不再赘述。
根据本发明的实施例，还提供一种计算机可读介质，其上具有指令，所述指令在被处理器执行时使得处理器执行本发明的方法的步骤。该计算机可读介质可以包括但不限于通过机器或设备制造或形成的物品的非瞬态的有形安排，其包括存储介质，诸如：硬盘；任何其他类型的盘，包括软盘、光盘、只读光盘存储器(CD-ROM)、可读写光盘存储器(CD-RW)以及磁光盘；半导体器件，诸如只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)之类的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。该计算机可读介质可以安装在CT设备中，也可以安装在远程操控CT设备的单独的控制设备或计算机中。
根据本发明的实施例，还提供一种医学成像设备，该医学成像设备包括结合图6所描述的系统。
本发明中所描述的技术可至少部分地以硬件、软件、固件或其任何组合来实现。例如，可在一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或任何其他等效的集成或分立逻辑电路、以及体现在编程器(诸如，医师或患者编程器、刺激器、或其他设备)中的此类部件的任何组合内实现所述技术的各方面。术语“处理器”、“处理电路”、“控制器”或“控制模块”通常可以指任何上述逻辑电路(单独或与其他逻辑电路组合)，或任何其他等效电路(并且单独或与其他数字或模拟电路组合)。
上面已经描述了本发明的一些示例性实施例。然而，应该理解的是，在不脱离本发明精神和范围的情况下，还可以对上述示例性实施例做出各种修改。例如，如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同方式被组合和/或被另外的组件或其等同物替代或补充，也可以实现合适的结果，那么相应地，这些修改后的其它实施方式也落入权利要求书的保护范围内。

Claims (32)

1.一种用于自动设置扫描范围的方法，所述方法包括：
由RGB图像预测模型和深度图像预测模型分别接收定位在扫描床上的对象的RGB图像和深度图像；
由所述RGB图像预测模型和所述深度图像预测模型分别生成关于所述对象的预定关键点的基于所述RGB图像的RGB预测结果和基于所述深度图像的深度预测结果；
从所述RGB预测结果和所述深度预测结果中选择用于设置扫描范围的预测结果；以及
基于选定的预测结果自动设置所述扫描范围。
2.根据权利要求1所述的方法，其特征在于，所述RGB预测结果和所述深度预测结果是互相独立的。
3.根据权利要求1所述的方法，其特征在于，所述RGB图像预测模型和所述深度图像预测模型中的每一个是深度学习模型。
4.根据权利要求1所述的方法，其特征在于，进一步包括：
分别计算所述RGB预测结果的RGB置信度和所述深度预测结果的深度置信度，其中所述选择用于设置扫描范围的预测结果的步骤基于所述RGB置信度和所述深度置信度的比较。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述选择用于设置扫描范围的预测结果的步骤基于所述RGB预测结果的RGB预定权重和所述深度预测结果的深度预定权重的比较。
6.根据权利要求4所述的方法，其特征在于，如果所述RGB置信度小于第一阈值且所述深度置信度小于第二阈值，则重复执行分别接收RGB图像和深度图像的步骤、分别生成RGB预测结果和深度预测结果的步骤、以及分别计算RGB置信度和深度置信度的步骤，直到所述RGB置信度和所述深度置信度中的至少一个大于等于相应的阈值。
7.根据权利要求6所述的方法，其特征在于，如果所述RGB置信度大于等于所述第一阈值或所述深度置信度大于等于所述第二阈值，则选择大于等于相应阈值的置信度所对应的预测结果作为所述用于设置扫描范围的预测结果。
8.根据权利要求6所述的方法，其特征在于，如果所述RGB置信度大于等于所述第一阈值且所述深度置信度大于等于所述第二阈值，则进一步比较所述RGB预测结果的RGB预定权重和所述深度预测结果的深度预定权重，其中，
如果所述RGB预定权重与所述深度预定权重不等，则选择预定权重较大的预测结果作为所述用于设置扫描范围的预测结果；以及
如果所述RGB预定权重与所述深度预定权重相等，则基于所述RGB置信度和所述深度置信度的所述比较的结果选择所述用于设置扫描范围的预测结果。
9.根据权利要求6所述的方法，其特征在于，所述第一阈值和所述第二阈值相同。
10.根据权利要求6所述的方法，其特征在于，所述第一阈值和所述第二阈值不同。
11.根据权利要求1所述的方法，其特征在于，通过使用所述RGB图像预测模型在所述RGB图像上识别所述关键点来生成所述RGB预测结果，以及通过使用所述深度图像预测模型在所述深度图像上识别所述关键点来生成所述深度预测结果。
12.根据权利要求1所述的方法，其特征在于，所述关键点包括：头部、胸部、腹部、骨盆、左膝关节、右膝关节、左踝关节和右踝关节。
13.根据权利要求1所述的方法，其特征在于，基于选定的预测结果自动设置所述扫描范围的步骤包括：
利用转换矩阵将所述选定的预测结果的所述关键点的2D位置映射到3D空间中以生成所述对象的扫描标志。
14.根据权利要求1所述的方法，其特征在于，通过显示器向操作者显示所述RGB图像和所述扫描范围，以及任选地显示所述深度图像、所述RGB预测结果、所述深度预测结果、RGB置信度、深度置信度、和/或所述选定的预测结果。
15.根据权利要求1-4和6-14中任一项所述的方法，其特征在于，一旦操作者新建扫描任务就开始实时地执行所述方法，直到所述操作者确认所述扫描范围，其中所述实时地执行包括每当感测到所述对象的体位变化时便执行所述方法。
16.一种用于自动设置扫描范围的系统，所述系统包括：
图像接收装置，用于由RGB图像预测模型和深度图像预测模型分别接收定位在扫描床上的对象的RGB图像和深度图像；
预测结果生成装置，用于由所述RGB图像预测模型和所述深度图像预测模型分别生成关于所述对象的预定关键点的基于所述RGB图像的RGB预测结果和基于所述深度图像的深度预测结果；
预测结果选择装置，用于从所述RGB预测结果和所述深度预测结果中选择用于设置扫描范围的预测结果；以及
扫描范围设置装置，用于基于选定的预测结果自动设置所述扫描范围。
17.根据权利要求16所述的系统，其特征在于，所述RGB预测结果和所述深度预测结果是互相独立的。
18.根据权利要求16所述的系统，其特征在于，所述RGB图像预测模型和所述深度图像预测模型中的每一个是深度学习模型。
19.根据权利要求16所述的系统，其特征在于，进一步包括：
置信度计算装置，用于分别计算所述RGB预测结果的RGB置信度和所述深度预测结果的深度置信度，
其中所述预测结果选择装置进一步包括：置信度比较装置，所述置信度比较装置用于所述RGB置信度和所述深度置信度的比较。
20.根据权利要求16-19中任一项所述的系统，其特征在于，所述预测结果选择装置进一步包括：权重比较装置，所述权重比较装置用于所述RGB预测结果的RGB预定权重和所述深度预测结果的深度预定权重的比较。
21.根据权利要求19所述的系统，其特征在于，所述预测结果选择装置进一步包括：置信度阈值比较装置，所述置信度阈值比较装置用于在所述RGB置信度与第一阈值之间以及在所述深度置信度与第二阈值之间进行比较，其中所述预测结果选择装置用于：
在所述RGB置信度小于所述第一阈值且所述深度置信度小于所述第二阈值时，重复使所述图像接收装置分别接收RGB图像和深度图像、使所述预测结果生成装置分别生成RGB预测结果和深度预测结果、以及使所述置信度计算装置分别计算RGB置信度和深度置信度，直到所述RGB置信度和所述深度置信度中的至少一个大于等于相应的阈值。
22.根据权利要求21所述的系统，其特征在于，所述预测结果选择装置用于：在所述RGB置信度大于等于所述第一阈值或所述深度置信度大于等于所述第二阈值时，选择大于等于相应阈值的置信度所对应的预测结果作为所述用于设置扫描范围的预测结果。
23.根据权利要求21所述的系统，其特征在于，所述预测结果选择装置进一步包括：权重比较装置，所述权重比较装置用于在所述RGB置信度大于等于所述第一阈值且所述深度置信度大于等于所述第二阈值时进一步比较所述RGB预测结果的RGB预定权重和所述深度预测结果的深度预定权重，其中所述预测结果选择装置用于：
在所述RGB预定权重与所述深度预定权重不等时，选择预定权重较大的预测结果作为所述用于设置扫描范围的预测结果；以及
在所述RGB预定权重与所述深度预定权重相等时，基于所述置信度比较装置的所述比较的结果选择所述用于设置扫描范围的预测结果。
24.根据权利要求21所述的系统，其特征在于，所述第一阈值和所述第二阈值相同。
25.根据权利要求21所述的系统，其特征在于，所述第一阈值和所述第二阈值不同。
26.根据权利要求16所述的系统，其特征在于，所述预测结果生成装置用于：通过使用所述RGB图像预测模型在所述RGB图像上识别所述关键点来生成所述RGB预测结果，以及通过使用所述深度图像预测模型在所述深度图像上识别所述关键点来生成所述深度预测结果。
27.根据权利要求16所述的系统，其特征在于，所述关键点包括：头部、胸部、腹部、骨盆、左膝关节、右膝关节、左踝关节和右踝关节。
28.根据权利要求16所述的系统，其特征在于，所述扫描范围设置装置用于：利用转换矩阵将所述选定的预测结果的所述关键点的2D位置映射到3D空间中以生成所述对象的扫描标志。
29.根据权利要求16所述的系统，其特征在于，进一步包括显示器，所述显示器用于向操作者显示所述RGB图像和所述扫描范围，以及任选地显示所述深度图像、所述RGB预测结果、所述深度预测结果、RGB置信度、深度置信度、和/或所述选定的预测结果。
30.根据权利要求16-19和21-29中任一项所述的系统，其特征在于，一旦操作者新建扫描任务，所述系统就开始实时地运行，直到所述操作者确认所述扫描范围，其中所述实时地运行包括每当感测到所述对象的体位变化时便运行所述系统。
31.一种计算机可读介质，其上具有指令，所述指令在被处理器执行时使得所述处理器执行如权利要求1-15中任一项所述的方法的步骤。
32.一种医学成像设备，包括如权利要求16-30中任一项所述的系统。
CN201910524760.5A 2019-06-18 2019-06-18 用于自动设置扫描范围的方法和系统 Active CN112102223B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910524760.5A CN112102223B (zh) 2019-06-18 2019-06-18 用于自动设置扫描范围的方法和系统
US16/890,353 US11386593B2 (en) 2019-06-18 2020-06-02 Method and system for automatically setting scan range
JP2020103471A JP7102463B2 (ja) 2019-06-18 2020-06-16 走査範囲を自動的に設定するための方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910524760.5A CN112102223B (zh) 2019-06-18 2019-06-18 用于自动设置扫描范围的方法和系统

Publications (2)

Publication Number Publication Date
CN112102223A CN112102223A (zh) 2020-12-18
CN112102223B true CN112102223B (zh) 2024-05-14

Family

ID=73748747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910524760.5A Active CN112102223B (zh) 2019-06-18 2019-06-18 用于自动设置扫描范围的方法和系统

Country Status (3)

Country Link
US (1) US11386593B2 (zh)
JP (1) JP7102463B2 (zh)
CN (1) CN112102223B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247573A (zh) * 2013-06-11 2016-01-13 高通股份有限公司 用于数据库创建目的的交互式且自动3d对象扫描方法
CN106949848A (zh) * 2017-03-15 2017-07-14 深圳市深视智能科技有限公司 一种高精度激光3d轮廓手机结构件检测方法
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN108629291A (zh) * 2018-04-13 2018-10-09 深圳市未来媒体技术研究院 一种抗网格效应的人脸深度预测方法
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN109033946A (zh) * 2018-06-08 2018-12-18 东南大学 融合方向图的人体姿态估计方法
CN109255783A (zh) * 2018-10-19 2019-01-22 上海摩象网络科技有限公司 一种多人图像上的人体骨骼关键点的位置排布检测方法
CN109344702A (zh) * 2018-08-23 2019-02-15 北京华捷艾米科技有限公司 基于深度图像和彩色图像的行人检测方法及装置
CN109584362A (zh) * 2018-12-14 2019-04-05 北京市商汤科技开发有限公司 三维模型构建方法及装置、电子设备和存储介质
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008161234A (ja) 2006-12-27 2008-07-17 Hitachi Medical Corp Ｘ線断層撮影装置
JP5985970B2 (ja) 2012-11-30 2016-09-06 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 放射線断層撮影装置およびプログラム
US10331850B2 (en) * 2014-01-28 2019-06-25 Siemens Healthcare Gmbh Estimating body surface models of patients
US9524582B2 (en) * 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
JP2015219868A (ja) 2014-05-21 2015-12-07 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9895131B2 (en) 2015-10-13 2018-02-20 Siemens Healthcare Gmbh Method and system of scanner automation for X-ray tube with 3D camera
US10311648B2 (en) * 2016-06-22 2019-06-04 Aquifi, Inc. Systems and methods for scanning three-dimensional objects
US11478212B2 (en) * 2017-02-16 2022-10-25 Siemens Healthcare Gmbh Method for controlling scanner by estimating patient internal anatomical structures from surface data using body-surface and organ-surface latent variables
US20180330194A1 (en) 2017-05-15 2018-11-15 Siemens Aktiengesellschaft Training an rgb-d classifier with only depth data and privileged information
US10445886B2 (en) * 2017-05-30 2019-10-15 General Electric Company Motion-gated medical imaging
US10649439B2 (en) * 2017-09-21 2020-05-12 Hangzhou Regenovo Biotechnology Co., Ltd. On-line monitoring method and system for three-dimensional printing

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247573A (zh) * 2013-06-11 2016-01-13 高通股份有限公司 用于数据库创建目的的交互式且自动3d对象扫描方法
CN106949848A (zh) * 2017-03-15 2017-07-14 深圳市深视智能科技有限公司 一种高精度激光3d轮廓手机结构件检测方法
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN108629291A (zh) * 2018-04-13 2018-10-09 深圳市未来媒体技术研究院 一种抗网格效应的人脸深度预测方法
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN109033946A (zh) * 2018-06-08 2018-12-18 东南大学 融合方向图的人体姿态估计方法
CN109344702A (zh) * 2018-08-23 2019-02-15 北京华捷艾米科技有限公司 基于深度图像和彩色图像的行人检测方法及装置
CN109255783A (zh) * 2018-10-19 2019-01-22 上海摩象网络科技有限公司 一种多人图像上的人体骨骼关键点的位置排布检测方法
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN109584362A (zh) * 2018-12-14 2019-04-05 北京市商汤科技开发有限公司 三维模型构建方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112102223A (zh) 2020-12-18
US11386593B2 (en) 2022-07-12
JP2021006993A (ja) 2021-01-21
JP7102463B2 (ja) 2022-07-19
US20200402272A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
CN111724904B (zh) 用于针对医学扫描的患者建模的多任务渐进式网络
EP3100236B1 (en) Method and system for constructing personalized avatars using a parameterized deformable mesh
CN111557665B (zh) 用于医学成像中的患者定位的根据相机数据的密集身体标记估计
US10521927B2 (en) Internal body marker prediction from surface data in medical imaging
KR101864380B1 (ko) 수술영상데이터 학습시스템
CN109937012B (zh) 为成像系统选择采集参数
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
EP3804624B1 (en) Synthetic parameterized computed tomography from surface data in medical imaging
KR20190088375A (ko) 수술영상데이터 학습시스템
DK3102154T3 (en) Method of Preparing a Surgical Kit for Cartilage Repair
KR20200089146A (ko) 의료 영상 처리 장치 및 방법
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
CN110689521B (zh) 一种医学影像所属人体部位的自动识别方法及系统
CN111311655B (zh) 多模态图像配准方法、装置、电子设备、存储介质
US11540788B2 (en) Medical imaging system, method for identifying body position of detection object, and storage medium
JP6469731B2 (ja) 画像をセグメント化するためのパラメータの最適化
US11703373B2 (en) Patient weight estimation from surface data using a patient model
KR102442093B1 (ko) 수술용 내비게이션 시스템에서의 표면 정합 개선 방법
CN112529919A (zh) 用于生成受试者的心脏的牛眼图生成的系统和方法
CN112102223B (zh) 用于自动设置扫描范围的方法和系统
CN116824173A (zh) 医学图像的处理方法、设备及存储介质
US11837352B2 (en) Body representations
CN114299019A (zh) 一种用于核医学设备的扫描方法、系统和装置
CN115700740A (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN116152143A (zh) 剂量形变评估方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant