CN116434269A - 一种放射性医疗设备的摆位方法和系统 - Google Patents

一种放射性医疗设备的摆位方法和系统 Download PDF

Info

Publication number
CN116434269A
CN116434269A CN202111679878.9A CN202111679878A CN116434269A CN 116434269 A CN116434269 A CN 116434269A CN 202111679878 A CN202111679878 A CN 202111679878A CN 116434269 A CN116434269 A CN 116434269A
Authority
CN
China
Prior art keywords
target
image
optical image
frame
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111679878.9A
Other languages
English (en)
Inventor
徐亮
钟健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202111679878.9A priority Critical patent/CN116434269A/zh
Priority to PCT/CN2022/143012 priority patent/WO2023125720A1/en
Priority to EP22914970.3A priority patent/EP4330935A1/en
Publication of CN116434269A publication Critical patent/CN116434269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/542—Control of apparatus or devices for radiation diagnosis involving control of exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种放射性医疗设备的摆位方法和系统，方法包括：所述方法包括：获取待拍摄的目标对象的至少一帧光学图像；基于所述至少一帧光学图像，通过机器学习模型确定所述至少一帧光学图像中的所述目标对象的至少一个部位的部位边界和所述至少一帧光学图像中的所述目标对象的至少一个关键点；对于所述至少一帧光学图像中的每一帧图像：在所述至少一个部位的部位边界中确定至少一个目标部位边界以及在所述至少一个关键点中确定至少一个目标关键点；根据所述至少一个目标部位边界和所述至少一个目标关键点，确定目标区域；根据所述至少一帧光学图像的所述目标区域对应的位置确定放射性医疗设备的摆位目标。

Description

一种放射性医疗设备的摆位方法和系统
技术领域
本申请涉及设备摆位技术领域，尤其涉及一种放射性医疗设备的摆位方法和系统。
背景技术
对于各种拍摄设备，例如X射线拍摄设备(例如DR)或其他放射性医疗设备，在对人、动物等生物体进行拍摄成像时，需要对对象的某些特定部位进行拍摄成像，例如拍摄人体胸部影片、拍摄人体腰部影片等。为了令设备可以准确地对特定部位进行拍摄成像，需要对设备进行摆位，即调整设备的设备各部件的位置，令摆位后的设备可以准确地对特定部位进行拍摄成像。为了高效且准确地对放射性医疗设备进行摆位以令放射性医疗设备可以完成拍摄目标，亟需提供一种放射性医疗设备的摆位方法和系统。
发明内容
本说明书的目的在于提供一种放射性医疗设备的摆位方法和系统，基于目标对象的至少一帧光学图像，通过机器学习模型确定至少一帧光学图像中的目标对象的至少一个部位的部位边界和目标对象的至少一个关键点，进而基于目标部位边界和目标关键点确定目标区域，根据至少一帧光学图像的目标区域确定放射性医疗设备的摆位目标，从而实现可以高效、自动、准确地控制放射性医疗设备的摆位。
本说明书实施例之一提供一种放射性医疗设备的摆位方法，所述方法包括：获取待拍摄的目标对象的至少一帧光学图像；基于所述至少一帧光学图像，通过机器学习模型确定所述至少一帧光学图像中的所述目标对象的至少一个部位的部位边界和所述至少一帧光学图像中的所述目标对象的至少一个关键点；对于所述至少一帧光学图像中的每一帧图像：在所述至少一个部位的部位边界中确定至少一个目标部位边界以及在所述至少一个关键点中确定至少一个目标关键点；根据所述至少一个目标部位边界和所述至少一个目标关键点，确定目标区域；根据所述至少一帧光学图像的所述目标区域对应的位置确定放射性医疗设备的摆位目标。
本说明书实施例之一提供一种放射性医疗设备的摆位系统，所述系统包括：图像获取模块，用于获取待拍摄的目标对象的至少一帧光学图像；图像识别模块，用于基于所述至少一帧光学图像，通过机器学习模型确定所述至少一帧光学图像中的所述目标对象的至少一个部位的部位边界和所述至少一帧光学图像中的所述目标对象的至少一个关键点；目标区域确定模块，用于对于所述至少一帧光学图像中的每一帧光学图像：在所述至少一个部位的部位边界中确定至少一个目标部位边界以及在所述至少一个关键点中确定至少一个目标关键点；根据所述至少一个目标部位边界和所述至少一个目标关键点，确定目标区域；摆位目标确定模块，用于根据所述至少一帧光学图像的所述目标区域对应的位置确定放射性医疗设备的摆位目标。
本说明书实施例之一提供一种放射性医疗设备的摆位装置，所述装置包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当所述至少一个处理器执行所述指令时，实现所述放射性医疗设备的摆位方法。
本说明书实施例中的放射性医疗设备的摆位方法、系统和装置可能带来的有益效果包括但不限于：(1)可以通过机器学习模型识别得到图像中目标对象的各个部位边界和各个关键点，进而基于目标部位边界和目标关键点确定目标区域，进一步可以根据目标区域准确地确定放射性医疗设备的摆位目标，可以实现在对目标对象进行指定部位拍摄的场景下，放射性医疗设备的自动摆位、高效摆位和准确摆位；(2)通过本说明书一些实施例提出的部位识别模型，可以准确、高效地识别出图像中目标对象的各个部位边界；(3)通过本说明书一些实施例提出的关键点识别模型，可以准确地识别出图像中目标对象的各个关键点。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的放射性医疗设备的摆位系统的应用场景示意图；
图2是根据本说明书一些实施例所示的放射性医疗设备的摆位系统的模块图；
图3是根据本说明书一些实施例所示的放射性医疗设备的摆位方法的示例性流程图；
图4是根据本说明书一些实施例所示的确定目标区域的示例性示意图；
图5是根据本说明书一些实施例所示的部位识别模型的示例性示意图；
图6是根据本说明书一些实施例所示的关键点识别模型的示例性示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本说明书一些实施例所披露的设备的摆位方法和系统，可以应用于多种拍摄设备，例如各种摄像机、X射线拍摄设备(包括但不限于计算机X线摄影仪(CR)、数字化X线摄影仪(DR)、计算机断层扫描仪(CT)、平片X射线机、移动X射线设备(比如移动C臂机)、数字减影血管造影扫描仪(DSA)、发射型计算机断层扫描仪(ECT)等中的一种或其任意组合)、放疗设备(包括但不限于医用直线加速器(RT)等)等等。其中，放疗设备可以包括用于拍摄以定位目标区域的拍摄设备。仅出于方便说明的目的，在本说明书一些实施例中，将以放射性医疗设备(例如DR、DSA等X射线拍摄设备)为例，对披露的技术方案进行详细描述。
图1是根据本说明书一些实施例所示的放射性医疗设备的摆位系统的应用场景示意图。
如图1所示，放射性医疗设备的摆位系统的应用场景100可以包括放射性医疗设备110、网络120、终端130、处理设备140和摄像机150。
放射性医疗设备110可以包括X射线拍摄设备(包括但不限于计算机X线摄影仪(CR)、数字化X线摄影仪(DR)、计算机断层扫描仪(CT)、平片X射线机、移动X射线设备(比如移动C臂机)、数字减影血管造影扫描仪(DSA)、发射型计算机断层扫描仪(ECT)等中的一种或其任意组合)、放疗设备(包括但不限于医用直线加速器(RT)等)中的用于拍摄以定位目标区域的放射性医疗设备等中的一种或多种的组合。
终端130可以包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中，移动设备131可以包括智能家居装置、可穿戴设备、移动装置、虚拟现实装置、增强现实装置等或其任意组合。在一些实施例中，终端130可以是处理设备140的一部分。在一些实施例中，终端130可以具有显示页面。所述显示页面可以显示目标对象的图像、可以显示图像中目标对象的一个或多个部位的部位边界框、可以显示图像中目标对象的一个或多个关键点、可以显示图像中的目标区域等信息。
在一些实施例中，处理设备140可以处理从应用场景100中的其他组件或其他外部组件获得的数据和/或信息。在一些实施例中，处理设备140可以包括单个服务器或服务器组。服务器组可以是集中式的，也可以是分布式的。在一些实施例中，处理设备140可以是本地的或远程的。在一些实施例中，处理设备140可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等其中一种或几种的组合。
在一些实施例中，处理设备140可以包括存储设备，存储设备可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备150可包括大容量存储器、可移除存储器、易失性读写存储器、只读存储器(ROM)等其中一种或几种的组合。大容量存储可以包括磁盘、光盘、固态硬盘、移动存储等。可移除存储器可以包括闪存驱动器、软盘、光盘、存储卡、ZIP磁盘、磁带等。易失性读写存储器可以包括随机存取存储器(RAM)。在一些实施例中，存储设备可以通过本申请中云平台实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等其中一种或几种的组合。在一些实施例中，存储设备可以是处理设备140的一部分，也可以是独立的并与处理设备140直接或间接相连。
网络120可以包括能够促进应用场景100的信息和/或数据交换的任何合适的网络。在一些实施例中，应用场景100的一个或多个组件(例如，拍摄设备110、终端130、处理设备140、摄像机150等)可以通过网络120与应用场景100的其他一个或多个组件之间交换信息和/或数据。网络120可以包括公共网络(如互联网)、私人网络(例如，局域网(LAN)、广域网(WAN))等)、有线网络(如以太网)、无线网络(例如，802.11网络、无线Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络、电话网络、路由器、集线器、服务器计算机等其中一种或几种组合。例如，网络120可以包括有线网络、光纤网络、电信网络、局域网、无线局域网(WLAN)、城域网(MAN)，公用交换电话网(PSTN)、蓝牙TM网络，ZigBeeTM网络、近场通信(NFC)网络等其中一种或几种的组合。在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可以包括有线和/或无线网络接入点，例如基站和/或因特网交换点，通过所述接入点，应用场景100的一个或多个组件可以连接网络120以交换数据和/或信息。
摄像机150可以包括一个或多个摄像机。摄像机150可以包括但不限于长焦数码相机、数码单反相机、全景相机、3D相机、彩色摄像机、黑白摄像机、红外线摄像机或其任意组合。所述3D相机可以是单镜头、双镜头或多镜头。在一些实施例中，摄像机150可以位于拍摄设备110上，例如摄像机150可以位于拍摄设备110的机架或外壳上。在一些实施例中，摄像机150可以位于空间中的某位置处，例如位于CT拍摄室内的某一位置处。摄像机150可以获取目标对象的静态图像、动态图像、实时监控图像等。所述图像可以是待扫描物体多个角度的图像、待扫描物体的全景图像或局部图像。所述图像可以包括二维图像、三维图像、红外图像等。所述图像可以是黑白图像、彩色图像或两者的结合。所述图像可以是单次拍摄的图像、多次拍摄后整合得到的图像、连续拍摄的图像等。
在一些实施例中，摄像机150可以获取目标对象的一帧或多帧图像。应用场景100中的其他组件(例如放射性医疗设备110、终端130、处理设备140)可以通过网络120从摄像机150处获取目标对象的一帧或多帧图像。在一些实施例中，处理设备140可以基于目标对象的一帧或多帧图像，通过机器学习模型确定各帧图像中的目标对象的至少一个部位的部位边界和目标对象的至少一个关键点。在一些实施例中，处理设备140还可以对于每一帧图像，在至少一个部位的部位边界中确定至少一个目标部位边界。在一些实施例中，处理设备140还可以对于每一帧图像，在至少一个关键点中确定至少一个目标关键点。在一些实施例中，处理设备140还可以根据至少一个目标部位边界和至少一个目标关键点，确定目标区域。在一些实施例中，处理设备140还可以根据至少一帧图像的目标区域对应的位置确定拍摄设备的摆位目标。在一些实施例中，处理设备140还可以根据摆位目标，控制所述拍摄设备进行摆位以完成所述摆位目标。在一些实施例中，终端130可以通过网络120从处理设备140处获取各帧图像中的目标对象的至少一个部位的部位边界和目标对象的至少一个关键点，还可以从处理设备140处获取各帧图像的目标区域。
图2是根据本申请一些实施例所示的放射性医疗设备的摆位系统的模块图。
如图2所示，放射性医疗设备的摆位系统200可以包括图像获取模块210、图像识别模块220、目标区域确定模块230和摆位目标确定模块240。在一些实施例中，放射性医疗设备的摆位系统200还可以包括控制模块250。
在一些实施例中，图像获取模块210可以用于获取待拍摄的目标对象的至少一帧图像。
在一些实施例中，图像识别模块220可以用于基于所述至少一帧图像，通过机器学习模型确定所述至少一帧图像中的所述目标对象的至少一个部位的部位边界框和所述至少一帧图像中的所述目标对象的至少一个关键点。在一些实施例中，所述机器学习模型包括部位识别模型和关键点识别模型。在一些实施例中，图像识别模块220还可以用于对于所述至少一帧图像中的每一帧图像：通过所述部位识别模型处理所述图像，确定所述图像中的所述目标对象的所述至少一个部位的所述部位边界；通过所述关键点识别模型处理所述图像或所述图像中的所述目标对象的部分图像，确定所述图像中的所述目标对象的所述至少一个关键点；其中，所述图像中的所述目标对象的所述部分图像是根据所述图像中的所述目标对象的至少一个所述部位的所述部位边界在所述图像中获取得到的。
在一些实施例中，所述部位识别模型包括：用于处理所述图像，并得到特征图的主干网络；以及，用于处理所述主干网络得到的特征图，并确定所述图像中的所述目标对象的所述至少一个部位的所述部位边界、各所述部位边界对应的类别和各所述部位边界框对应的置信度的检测网络。在一些实施例中，所述主干网络包括多个串接的CSP(Cross StagePartial)模块和与所述多个串接的CSP模块连接的多尺度融合模块。在一些实施例中，所述多尺度融合模块包括：第一卷积单元、分别与所述第一卷积单元的输出端连接的多个第二卷积单元和与所述多个第二卷积单元的输出端连接的连接单元；其中，所述多个第二卷积单元中包括卷积核大小不同的多个第二卷积单元，所述连接单元用于对所述连接单元的输入图像进行合并。
在一些实施例中，所述关键点识别模型包括Alpha Pose模型。在一些实施例中，所述关键点识别模型包括：用于处理所述图像或所述部分图像，并得到特征图的特征提取网络；以及，用于处理所述特征提取网络得到的特征图，并得到所述图像或所述部分图像中的所述至少一个关键点的采样网络；其中，所述特征提取网络包括池化模块和与所述池化模块的输出端连接的串接的多个特征提取模块。在一些实施例中，所述多个特征提取模块中的至少一个特征提取模块包括：残差单元，用于对所述残差单元的输入图像进行处理并得到残差图像；连接单元，用于对所述残差图像进行处理并得到所述残差图像中各特征值的权重；合并单元，用于将所述残差图像中的各特征值与其对应的所述权重相乘，进而得到合并图像；叠加单元，用于将所述残差单元的所述输入图像和所述合并图像进行叠加。在一些实施例中，所述连接单元包括：全局池化层、与所述全局池化层的输出端连接的至少一个卷积层和与所述至少一个卷积层的输出端连接的激活层。
在一些实施例中，目标区域确定模块230可以用于对于所述至少一帧图像中的每一帧图像：在所述至少一个部位的部位边界框中确定至少一个目标部位边界以及在所述至少一个关键点中确定至少一个目标关键点；根据所述至少一个目标部位边界和所述至少一个目标关键点，确定目标区域。在一些实施例中，目标区域确定模块230可以用于根据预设目标在所述至少一个部位的部位边界中确定至少一个目标部位边界以及在所述至少一个关键点中确定至少一个目标关键点。
在一些实施例中，摆位目标确定模块240可以用于根据所述至少一帧图像的所述目标区域对应的位置确定放射性医疗设备的摆位目标。在一些实施例中，摆位目标确定模块240还可以用于获取所述多帧图像中间隔预设帧数的两帧图像的所述目标区域的位移；确定所述位移是否满足预设条件；若确定所述位移满足预设条件，则根据所述至少一帧图像中某一帧图像的所述目标区域对应的位置确定所述放射性医疗设备的所述摆位目标。在一些实施例中，所述放射性医疗设备为射线放射性医疗设备，所述射线放射性医疗设备的所述摆位目标包括以下中的至少一种：所述射线设备的至少一个部件的目标位置、所述射线放射性医疗设备的目标光野。
在一些实施例中，控制模块250可以用于根据所述摆位目标，控制所述放射性医疗设备进行摆位以完成所述摆位目标。
关于图像获取模块210、图像识别模块220、目标区域确定模块230、摆位目标确定模块240和控制模块250的更多详细描述可以参见本申请图3、图5和图6及其相关说明，在此不再赘述。
可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图2中披露的获取模块210和图像识别模块220可以是由一个模块来实现上述两个模块的功能。又例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本申请的保护范围之内。
图3是根据本说明书一些实施例所示的放射性医疗设备的摆位方法的示例性流程图。
在一些实施例中，流程300中的一个或多个操作可以通过处理设备140实现。例如，流程300可以以指令的形式存储在存储设备中，并由处理设备140执行调用和/或执行。
如图3所示，流程300可以包括以下操作。
步骤310，获取待拍摄的目标对象的至少一帧图像。
在一些实施例中，步骤310可以由图像获取模块210执行。
对象可以是人、动物、植物等各种生物体，也可以是其它模体(例如人体模体、动物模体等)。仅为了说明方便，在本说明书一些实施例中，以对象是人为例进行说明。
在一些场景下，需要通过拍摄设备(例如放射性医疗设备110)对对象进行拍摄，例如对人或动物等对象拍摄身体的胸部影片、腰部影片等某一部位的影片，该待拍摄的对象可以称为目标对象。其中，影片可以包括但不限于光学图像，光学图像可以包括可见光图像(例如RGB图像)。
在一些实施例中，可以通过摄像机(例如摄像机150)拍摄目标对象以获得目标对象的一帧或多帧图像。在一些实施例中，目标对象可以保持静止，此时获取的多帧图像中目标对象的位置可以保持不变。在一些实施例中，目标对象也可以进行移动(例如走动、转动等)或晃动(例如左右晃动、上下晃动等)，此时获取的多帧图像中目标对象的位置会随着移动或晃动而发生变化。
其中，目标对象的位置可以是指目标对象在图像中的位置(例如，以图像的左下角起点像素为原点建立坐标系，目标对象或目标对象上某一点在该坐标系中的位置坐标)，也可以是指目标对象在空间中的位置，例如可以是以空间中某一点或某一物体为参照物，目标对象相对于参照物的位置(例如，以参照物或参照物的某一点为原点建立坐标系，目标对象或目标对象上某一点在该坐标系中的位置坐标)。
在一些实施例中，可以对获取的一帧或多帧图像进行图像预处理，以便于图像进行后续处理。其中，图像预处理可以包括但不限于以下中的一种或多种：图像的标准化(例如分辨率、大小等标准化)、图像的填充(例如图像像素的填充等)、图像的翻转、图像的旋转等。
步骤320，基于所述至少一帧图像，通过机器学习模型确定所述至少一帧图像中的所述目标对象的至少一个部位的部位边界和所述至少一帧图像中的所述目标对象的至少一个关键点。
在一些实施例中，步骤320可以由图像识别模块220执行。
目标对象可以包括一个或多个部位。例如，人可以包括头部、颈部、躯干、胸部、腰部、臀部、左臂、右臂、手部、左下肢、右下肢、脚部等多个部位。又例如，狗可以包括头部、颈部、胸部、左前肢、右前肢、左后肢、右后肢、尾部等多个部位。
在一些实施例中，可以在图像中用部位边界框来标识目标对象的各个部位的相应区域，也即标识目标对象的各个部位的边界(一个部位可以包括多个边界，例如上边界、下边界、左边界、右边界等)。部位边界框可以是矩形、圆形、多边形等任意形状的边界框。在一些实施例中，每一个部位都对应一个部位边界框。在一些实施例中，目标对象中包括的一个或多个部位以及各部位的相应区域可以是预设的(例如根据实际经验或需求预设)。
目标对象可以包括一个或多个关键点。关键点可以是指对象身上的感兴趣的点或关键的点。例如，人可以包括一个或多个头部关键点(例如后脑勺关键点等)、一个或多个颈部关键点(例如颈中部关键点等)、一个或多个腰部关键点(例如腰椎关键点等)等。在一些实施例中，目标对象中包括的一个或多个关键点可以是预设的(例如根据实际经验或需求预设)。
在一些实施例中，对于获取的一帧或多帧图像，可以确定每一帧图像中的目标对象的一个或多个部位的部位边界框。
在一些实施例中，对于获取的一帧或多帧图像，可以确定每一帧图像中的目标对象的一个或多个关键点。
在一些实施例中，可以基于目标对象的一帧或多帧图像，通过机器学习模型得到每一帧图像的目标对象的一个或多个部位的部位边界框，还可以得到每一帧图像的目标对象的一个或多个关键点。在一些实施例中，机器学习模型可以包括NN、CNN、RNN等各种神经网络模型中的一种或多种的组合。将目标对象的图像输入机器学习模型，机器学习模型可以得到图像中目标对象的一个或多个部位的部位边界框和/或目标对象的一个或多个关键点。对于一帧或多帧图像中的每一帧图像，机器学习模型都可以对其进行相同的处理，得到每一帧图像中目标对象的一个或多个部位的部位边界框和目标对象的一个或多个关键点，仅为了说明方便，在本说明一些实施例中，以机器学习模型处理一帧图像为例进行说明。
在一些实施例中，这里所述的机器学习模型可以包括部位识别模型和关键点识别模型。
在一些实施例中，部位识别模型可以包括NN、CNN、RNN等各种神经网络模型中的一种或多种的组合。将前述的一帧图像输入部位识别模型，模型可以对该图像进行处理，得到该图像中的目标对象的一个或多个部位的部位边界框(也即一个或多个部位边界框和各个部位边界框对应的部位(可以理解为部位边界框对应的类别))。
在一些实施例中，部位识别模型还可以得到各个部位边界框对应的位置信息，位置信息可以包括以下中的一种或多种：部位边界框的中心点坐标、部位边界框的宽、部位边界框的高等信息。
在一些实施例中，部位识别模型还可以得到各个部位边界框对应的置信度，该置信度可以表征对应的部位边界框所标识的部位图像是前景或背景的可信度。其中，前景可以是指图像中感兴趣的目标，例如目标对象的一个或多个部位，背景可以是指图像中不感兴趣的景物，例如目标对象的身后的器械、墙体等。在一些实施例中，置信度可以用分数、概率等各种可行的数据形式来表示。在一些实施例中，前景的置信度取值越大或背景的置信度取值越小，部位边界框所标识的部位图像是前景即是目标对象的部位的可信度越大，反之可信度越小。
在一些实施例中，部位识别模型可以包括YOLO模型，例如YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等。
在一些实施例中，部位识别模型可以包括主干网络，所述主干网络可以用于对前述的一帧图像进行特征提取处理，得到对应的特征图。主干网络可以包括各种可以用于对图像进行特征提取处理的网络，例如CNN、VGG系列网络、YOLO模型中的backbone网络、Faster R-CNN中的特征提取网络等网络。
在一些实施例中，部位识别模型还可以包括检测网络，所述检测网络可以用于处理主干网络得到的特征图以对图像中的目标对象的一个或多个部位进行检测，得到图像中的目标对象的一个或多个部位的部位边界框。检测网络可以包括各种可以用于处理图像的特征图，得到图像中的目标对象的一个或多个部位的部位边界框的网络，例如CNN、YOLO模型中的head网络或者head网络+neck网络、又例如Faster R-CNN中的目标检测网络。
在一些实施例中，检测网络(例如YOLO模型中的head网络或者head网络+neck网络、又例如FasterR-CNN中的目标检测网络)还可以得到各个部位边界框的对应的位置信息。在一些实施例中，检测网络(YOLO模型中的head网络或者head网络+neck网络、又例如Faster R-CNN中的目标检测网络)还可以得到各个部位边界框对应的置信度。
关于部位识别模型的更多具体内容可以参见图5及其相关说明。
在一些实施例中，部位识别模型可以基于对应的训练样本进行训练，其中，部位识别模型的训练样本可以包括样本图像，样本图像中标识了目标对象(例如人、动物、植物等生物体)的一个或多个部位的部位边界框。在一些实施例中，样本图像中还标识了各部位边界框的位置信息。在一些实施例中，样本图像中还标识了各个部位边界框对应的置信度。在一些实施例中，具体地，可以将样本图像输入部位识别模型，模型输出图像中的目标对象的一个或多个部位的预测部位边界框。在一些实施例中，部位识别模型还可以输出各部位边界框的预测位置信息、各部位边界框的预测置信度。在一些实施例中，根据部位识别模型输出的预测部位边界框与样本图像中标识的部位边界框的差异可以建立损失函数，部位识别模型训练时的优化目标可以是调整部位识别模型的参数使得损失函数值减小(例如最小化损失函数值)。在一些实施例中，部位识别模型的损失函数可以是由多个损失函数的和构成的总损失函数，其中总损失函数除了前述损失函数外，还可以包括基于各部位边界框的预测位置信息与样本图像中标识的各部位边界框的位置信息的差异建立的损失函数，还可以包括基于各部位边界框的预测置信度与样本图像中标识的各部位边界框的置信度的差异建立的损失函数。
在一些实施例中，关键点识别模型可以包括NN、CNN、RNN等各种神经网络模型中的一种或多种的组合。
在一些实施例中，可以将前述的一帧图像输入关键点识别模型，模型可以对该图像进行处理，得到该图像中的目标对象的一个或多个关键点(可以包括一个或多个关键点和各个关键点对应的类别，例如可以得到图像中的人的颈部关键点、腰椎关键点等多个关键点)。在一些实施例中，关键点识别模型还可以得到图像中的目标对象的各个关键点对应的概率，该概率可以反映相应点为关键点的概率。在一些实施例中，关键点识别模型得到的前述一个或多个关键点可以用热区图来表示。
在一些实施例中，也可以根据部位识别模型得到的图像中的目标对象的一个或多个部位边界框获取图像中目标对象对应的部分图像，进而将获取的目标对象对应的部分图像输入关键点识别模型，模型得到图像中的目标对象的一个或多个关键点。在一些实施例中，具体地，可以根据图像中目标对象的一个或多个部位边界框，将目标对象对应的部分图像标识出来，进而可以获取到目标对象对应的部分图像。例如目标对象为人，确定了人的头部、颈部、躯干、胸部、腰部、臀部、左臂、右臂、手部、左下肢、右下肢、脚部等各个身体部位的部位边界框后，这些边界框可以将人的基础轮廓标识出来，根据标识出来的人的轮廓，便可以在图像中将人对应的部分图像分割出来。通过本实施例，关键点识别模型可以不必对整张图像进行处理，可以通过处理目标对象对应的部分图像，得到图像中目标对象的一个或多个关键点，可以进一步提高关键点检测的效率。
在一些实施例中，关键点识别模型可以包括Alpha Pose模型。
在一些实施例中，关键点识别模型可以包括特征提取网络，所述特征提取网络可以用于对前述一帧图像或目标对象对应的部分图像进行特征提取处理，得到对应的特征图。在一些实施例中，特征提取网络可以包括各种可以用于对图像进行特征提取处理的网络，例如CNN、VGG系列网络、Alpha Pose模型的特征提取网络等网络。
在一些实施例中，关键点识别模型还可以包括采样网络，所述采样网络可以用于对特征提取网络得到的特征图进行采样处理(例如上采样处理)，得到前述一帧图像或目标对象的部分图像中的目标对象的一个或多个关键点。在一些实施例中，采样网络可以包括各种可以用于对特征图进行采样处理的网络，例如可以包括NN、CNN、Alpha Pose模型的采样网络等网络。
在一些实施例中，采样网络还可以得到图像中各个关键点对应的概率，该概率反映相应点为关键点的概率。
关于关键点识别模型的更多具体内容可以参见图6及其相关说明。
在一些实施例中，关键点识别模型可以基于对应的训练样本进行训练，其中，关键点识别模型的训练样本可以包括样本图像和样本图像中标识的目标对象的一个或多个关键点(可以用样本图像的热区图表示)。在一些实施例中，样本图像还可以有对应的标识的各关键点的概率。在一些实施例中，具体地，可以将样本图像输入关键点识别模型，模型输出图像中的目标对象的一个或多个预测关键点。在一些实施例中，关键点识别模型还可以输出各关键点的预测概率。在一些实施例中，根据关键点识别模型输出的一个或多个预测关键点与样本图像中标识的各关键点的差异可以建立损失函数，关键点识别模型训练时的优化目标可以是调整关键点识别模型的参数使得损失函数值减小(例如最小化损失函数值)。在一些实施例中，关键点识别模型的损失函数可以是由多个损失函数的和构成的总损失函数，其中总损失函数除了可以包括前述损失函数外，还可以包括基于关键点识别模型输出的各预测关键点的预测概率和样本图像对应的各关键点的概率的差异建立的损失函数。
步骤330，对于所述至少一帧图像中的每一帧图像：在所述至少一个部位的部位边界中确定至少一个目标部位边界以及在所述至少一个关键点中确定至少一个目标关键点；根据所述至少一个目标部位边界和所述至少一个目标关键点，确定目标区域。
在一些实施例中，步骤330可以由目标区域确定模块230执行。
在一些实施例中，可以对获取的一帧或多帧图像中的每一帧图像都可以根据本说明书一些实施例所述的确定目标区域的方法来确定目标区域。
在一些实施例中，对于一帧图像，可以在确定的一个或多个部位边界框中确定一个或多个所需的部位边界框，以及可以在确定的一个或多个关键点中确定一个或多个所需的关键点。在本说明书一些实施例中，所需的部位边界框可以称为目标部位边界框，所需的关键点可以称为目标关键点。
在一些实施例中，可以预先设置拍摄目标(例如拍摄协议)，拍摄目标可以用于指示拍摄的目标部位例如拍摄胸部影片、拍摄腰部影片等。在一些实施例中，拍摄目标(例如拍摄协议)可以包括拍摄的目标部位、目标部位对应的拍摄范围等目标部位的相关信息。例如，拍摄目标包括拍摄人的胸部影片，以及包括胸部对应的拍摄范围包括从颈部到腰椎这一部分的躯干。在一些实施例中，可以通过处理设备基于拍摄协议在一个或多个部位边界框中确定一个或多个目标部位边界框。在一些实施例中，也可以通过处理设备基于拍摄协议在一个或多个关键点中确定一个或多个目标关键点。例如，拍摄目标指示拍摄人的胸部影片，且胸部对应的拍摄范围为从颈部到腰椎这一部分的躯干，基于该拍摄目标，可以从图像中的人的多个部位边界框中确定目标部位边界框为胸部边界框，以及从图像中的人的多个关键点中确定目标关键点为颈部关键点和腰椎关键点。
在一些实施例中，可以由用户或操作人员根据拍摄目标在一个或多个部位边界框中确定一个或多个目标部位边界框。在一些实施例中，也可以由用户或操作人员根据拍摄目标在一个或多个关键点中确定一个或多个目标关键点。
根据确定的一个或多个目标边界框和一个或多个关键点，可以确定相应的一个区域，该区域可以称为目标区域。可以理解，目标区域即为拍摄设备需要拍摄的区域。
在一些实施例中，具体地，可以根据一个或多个目标部位边界框中的至少一个边界(例如目标部位边界框的左右边界)确定目标区域的至少一个边界(例如确定目标区域的左右边界)，以及可以根据一个或多个目标关键点确定目标区域的其它至少一个边界(例如将一个目标关键点所在的水平线确定为目标区域的上边界，另一个目标关键点所在的水平线确定为目标区域的下边界)，由此可以确定出目标区域的多个边界，该多个边界可以构成所需的目标区域。
在一些实施例中，也可以在一个或多个部位边界框中确定一个或多个目标部位边界框，以及根据一个或多个目标部位边界框确定目标区域。例如，可以将确定的一个目标部位边界框相应的区域确定为目标区域。又例如，可以将多个目标部位边界框共同构成的区域确定为目标区域。
图4是根据本说明书一些实施例所示的确定目标区域的示例性示意图。如图4所示，放射性医疗设备的拍摄目标是拍摄人的胸部影片，且胸部对应的拍摄范围为从颈部到腰椎这一部分的躯干，根据拍摄目标确定的目标部位边界框是胸部边界框，目标关键点是颈部关键点A和腰椎关键点B(where are A and B，x)，根据胸部边界框的左右边界、颈部关键点A所在水平线和腰椎关键点B所在水平线，可以确定得到目标区域X。
步骤340，根据所述至少一帧图像的所述目标区域对应的位置确定拍摄设备的摆位目标。
在一些实施例中，步骤340可以由摆位目标确定模块240执行。
在一些实施例中，为了拍摄目标对象的指定部位的影像，需要将拍摄设备例如放射性医疗设备的位置、拍摄设备的一个或多个部件(例如放射性医疗设备的射线源球管、限束器等拍摄部件、平板等部件)的位置移动到指定拍摄位置。可以理解，拍摄设备的摆位目标可以包括拍摄设备移动的目标位置、拍摄设备的一个或多个部件(例如放射性医疗设备的球管、限束器等拍摄部件)移动的目标位置。
在一些实施例中，放射性医疗设备可以为例如DR等各种X射线拍摄设备或其他种类的射线拍摄设备。放射性医疗设备为了拍摄目标对象的指定部位的影像，还需要调整射线的覆盖区域即设备的光野，使得放射性医疗设备的光野覆盖指定的拍摄区域，例如使得光野与指定的拍摄区域重合。在一些实施例中，可见，放射性医疗设备的摆位目标还可以包括射线放射性医疗设备的目标光野。其中，光野是指射线的照射范围。
在一些实施例中，如前所述，目标区域即为拍摄设备需要拍摄的区域，则某一帧图像中的目标区域对应的位置便可以作为拍摄设备移动的目标位置以及拍摄设备的一个或多个部件(例如放射性医疗设备的球管、限束器等拍摄部件、平板等部件)移动的目标位置(此时可以认为目标区域是静止或近乎静止的，即多帧图像中的目标区域的位置无变化或变化微小不影响拍摄)，以及目标区域对应的区域即可以作为放射性医疗设备的目标光野。
在一些实施例中，目标区域对应的位置可以是目标区域在图像中的位置，也可以是目标区域在空间中的位置，关于图像中位置的表示和空间中位置的表示可以参见步骤310及其相关说明，此处不再赘述。
在一些实施例中，当获取了目标对象的多帧图像时，可以根据多帧图像中的目标区域判断目标区域是否静止或近乎静止。在一些实施例中，若目标区域静止或近乎静止则可以根据图像(指多帧图像中的某一帧图像，例如最近的一帧图像或者中间的某一帧图像)中的目标区域确定摆位目标，以及控制拍摄设备进行摆位以完成摆位目标。在一些实施例中，若目标区域不是静止或近乎静止(近乎静止可以理解为多帧图像中的目标区域的位置变化较小或小于预设值而不影响拍摄)，此时目标区域的位置变化较大，不能确认准确的拍摄位置，则还不能根据图像中的目标区域确定摆位目标来控制拍摄设备摆位。
在一些实施例中，若目标区域不是静止或近乎静止，可以继续拍摄目标对象以获得更多的一帧或多帧图像，以及可以根据本说明书中一些实施例中所述的确定目标区域的方法确定每一帧图像的目标区域，以及可以根据多帧图像中的目标区域判断目标区域是否静止或近乎静止。该过程可以一直进行，直到判断目标区域静止或近乎静止，便可以根据图像中的目标区域确定摆位目标，以及控制拍摄设备例如放射性医疗设备进行摆位以完成摆位目标。
在一些实施例中，可以获取目标对象的多帧图像中间隔预设帧数的两帧图像的所述目标区域的位移，以及根据目标区域的位移判断目标区域是否静止或近乎静止。其中，目标区域的位移可以根据两帧中一帧图像中的目标区域的位置与两帧中另一帧图像中的目标区域的位置的差值或距离确定。
在一些实施例中，具体地，可以确定位移是否满足预设条件。预设条件可以包括位移小于预设阈值，预设阈值可以根据经验或实际需求进行设置，例如为7cm、8cm等。在一些实施例中，若位移满足预设条件则可以认为目标区域静止或近乎静止，若位移不满足预设条件则可以认为目标区域不是静止或近乎静止。
在一些实施例中，多帧图像中间隔预设帧数的两帧图像可以是间隔帧数较大的两帧图像，例如间隔6帧、7帧等。
在一些实施例中，多帧图像中间隔预设帧数的两帧图像可以是间隔帧数较小的两帧图像，例如间隔1帧、2帧等。
在一些实施例中，确定了拍摄设备的摆位目标后，便可以根据摆位目标控制拍摄设备例如放射性医疗设备进行摆位以完成该摆位目标。在一些实施例中，该流程可以由控制模块250执行。例如，控制放射性医疗设备移动到对应的目标位置，控制放射性医疗设备的一个或多个部件(例如放射性医疗设备的球管、限束器等拍摄部件、平板等部件)移动到对应的目标位置，以及调节设备放射性医疗设备的光野以令光野为目标光野。
在一些实施例中，可以根据摆位目标生成控制指令，并通过控制指令控制设备进行摆位以完成摆位目标。在一些实施例中，还可以由操作人员控制拍摄设备进行摆位以完成摆位目标。
应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域技术人员来说，在本申请的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本申请的范围之内。
图5是根据本说明书一些实施例所示的部位识别模型的示例性示意图。
在一些实施例中，部位识别模型可以包括主干网络和检测网络。其中，主干网络可以用于对输入的目标对象的图像进行处理，得到对应的特征图，检测网络可以用于处理主干网络得到的特征图以对图像中的目标对象的一个或多个部位进行检测，得到图像中的目标对象的一个或多个部位的部位边界框。在一些实施例中，检测网络还可以得到各个部位边界框的对应的位置信息。在一些实施例中，检测网络还可以得到各个部位边界框的对应的置信度。
在一些实施例中，如图5所示，主干网络可以包括多个(例如3个、4个等)串接的CSP(Cross Stage Partial)模块和与所述多个串接的CSP模块连接的多尺度融合模块。其中，CSP模块可以用于对输入的图像或特征图进行特征提取，得到特征图，多尺度融合模块(可以称为Spatial Pyramid Convolutional模块，简称SPC模块)可以用于对输入的图像或特征图提取多尺度图像特征，并将不同尺度的特征图进行合并得到特征图。
在一些实施例中，如图5所示，CSP模块可以包括一个卷积单元(可以包括一个或多个串接的卷积层，卷积层的卷积核大小可以根据经验或实际需求设置)、与卷积单元的输出端连接的第一处理单元和第二处理单元、与第一处理单元和第二处理单元的输出端连接的连接单元(连接单元可以表示为concat)、与连接单元的输出端连接的激活函数单元和与激活函数单元的输出端连接的卷积单元(可以包括一个或多个串接的卷积层，卷积层的卷积核大小可以根据经验或实际需求设置)。
其中，第一处理单元可以包括一个或多个卷积层以及与一个或多个卷积层的输出端连接的激活函数层，第二处理单元的结构可以与第一处理单元相同。
其中，激活函数单元可以包括BN层和与BN层连接的激活函数层(其中，激活函数可以采用ReLU或其他可用的激活函数)。
其中，连接单元用于对连接单元的输入图像进行合并，例如对第一处理单元的输出图像和第二处理单元的输出图像进行合并(例如对两个输出图像在通道维度上合并)。
通过CSP模块，可以解决数据处理过程中推理计算量大的问题，具体地，CSP模块通过将基础层的特征映射划分为两部分(即第一处理单元的输入图像和第二处理单元的输入图像)，然后通过跨阶段层次结构(即第一处理单元和第二处理单元)将两部分合并，实现了减少计算量的同时还可以保证准确率。
在一些实施例中，如图5所示，SPC模块可以包括第一卷积单元(可以包括一个或多个串接的卷积层，卷积层的卷积核大小可以根据经验或实际需求设置，例如卷积核大小为1*1)、分别与第一卷积单元的输出端连接的多个第二卷积单元和与多个第二卷积单元的输出端连接的第一连接单元(连接单元可以表示为concat)。其中，连接单元用于对第一卷积单元的输出图像和多个第二卷积单元输出的多个输出图像进行合并(例如对第一卷积单元的输出图像和多个输出图像在通道维度上合并)。在一些实施例中，SPC模块还可以包括与第一连接单元的输出端连接的第三卷积单元(第三卷积单元可以包括一个或多个串接的卷积层，卷积层的卷积核大小可以根据经验或实际需求设置，例如卷积核大小为1*1)。
其中，多个第二卷积单元中包括卷积核大小不同的多个第二卷积单元。其中，每个第二卷积单元可以包括一个或多个串接的卷积层，不同第二卷积单元中的卷积层的卷积核大小可以不同。例如，SPC模块中包括3个第二卷积单元，其中一个第二卷积单元包括一个或多个串接的卷积核大小为5*5的卷积层，一个第二卷积单元包括一个或多个串接的卷积核大小为9*9的卷积层，还有一个第二卷积单元包括一个或多个串接的卷积核大小为13*13的卷积层。需要说明的是，这里所述的卷积核大小仅为一种示例，卷积核大小可以根据经验或实际需求进行设置。
通过本说明一些实施例的SPC模块，可以通过不同卷积核大小的多个第二卷积单元提取多种尺度的图像特征，进一步将多种尺度的图像特征融合，可以更好地学习图像的不同尺度的特征，提高后续检测网络的处理效果。
在一些实施例中，检测网络可以包括各种可以用于处理图像的特征图，得到图像中的目标对象的一个或多个部位的部位边界框的网络，例如YOLO模型中的head网络或者head 网络+neck网络。
在一些实施例中，如图5所示，主干网络中的两个CSP模块和SPC模块可以分别输出一种特征图到检测网络进行处理。检测网络(例如YOLO模型中的head网络或者head网络+neck网络)可以对这3种特征图进行处理，输出得到3种尺度的特征图。其中，每一种特征图都可以包括目标对象的一个或多个部位的部位边界框、各个部位边界框的位置信息和各个部位边界框对应的置信度。基于这3种尺度的特征图，可以最终确定得到图像中的目标对象的一个或多个部位的部位边界框、各个部位边界框的位置信息和各个部位边界框对应的置信度。
关于基于检测网络输出的3种特征图，得到最终的目标对象的一个或多个部位的部位边界框、各个部位边界框的位置信息和各个部位边界框对应的置信度，可以采用现有的各种方法实现。例如，可以对3种特征图中的部位边界框信息进行解码，得到最终的目标对象的一个或多个部位的部位边界框、各个部位边界框的位置信息和各个部位边界框对应的置信度。
图6是根据本说明书一些实施例所示的关键点识别模型的示例性示意图。
在一些实施例中，关键点识别模型可以包括特征提取网络和采样网络。其中，特征提取网络可以用于对前述一帧图像或目标对象对应的部分图像进行特征提取处理，得到对应的特征图。采样网络可以用于对特征提取网络得到的特征图进行采样处理(例如上采样处理)，得到前述一帧图像或目标对象的部分图像中的目标对象的一个或多个关键点。
在一些实施例中，如图6所示，特征提取网络可以包括池化模块和与所述池化模块的输出端连接的串接的多个特征提取模块(例如4个、5个等)。
其中，池化模块可以包括池化层(例如最大池化层、平均池化层等)。
其中，如图6所示，多个特征提取模块中的至少一个特征提取模块可以包括残差单元、第二连接单元、合并单元和叠加单元。其中，残差单元(可以表示为Residual)可以用于对所述残差单元的输入图像(例如池化模块的输出图像)进行处理并得到残差图像，第二连接单元可以用于对残差单元输出的残差图像进行处理并得到残差图像中各特征值的权重；合并单元(可以表示为mul)可以用于将残差单元输出的残差图像中的各特征值与其对应的所述权重相乘，进而得到合并图像，叠加单元可以用于将输入残差单元的输入图像和由合并单元输出的合并图像进行叠加，得到特征提取模块的输出图像。
在一些实施例中，如图6所示，第二连接单元可以包括全局池化层、与全局池化层的输出端连接的至少一个卷积层和与至少一个卷积层的输出端连接的激活层(其中的激活函数可以采用sigmoid函数或其他可行的激活函数)。其中，至少一个卷积层的卷积核大小可以根据经验或需求设置。
通过本说明书一些实施例所述(如图6所示)的特征提取模块，通过第二连接单元(例如包括全局池化层、卷积层和激活层的第二连接单元)可以获取到图像中各特征值对应的权重以表征各特征值对应的重要程度(并且利用第二连接单元中的卷积层在训练时的参数迭代更新，可以提升对任务有用的特征通道的权重，抑制对当前任务不重要的特征通道的权重)，然后通过将残差单元输出的残差图像中的各特征值与其对应的所述权重相乘得到合并图像，可以实现依照这个重要程度去提升图像中有用的特征并抑制对当前任务用处不大的特征，令特征提取的效果更好，进一步可以令后续的采样网络的关键点检测更准确。
在一些实施例中，采样网络可以包括各种可以用于对特征图进行采样处理的网络，例如Alpha Pose模型的采样网络(例如上采样网络)。
在一些实施例中，如图6所示，特征提取网络的输出图像输入到采样网络进行处理，采样网络可以得到图像中的目标对象的一个或多个关键点，以及还可以得到图像中各个关键点对应的概率，该概率反映相应点为关键点的概率。在一些实施例中，图像中的目标对象的一个或多个关键点可以用热区图表示。
需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，对本领域技术人员来说在阅读本详细公开之后十分显然的是，之前的详细公开旨在仅作为示例来给出，而并不构成限定。各种变更、改善和修改可发生且为本领域技术人员所预期，尽管未在本文中明确陈述。这些变更、改善和修改旨在为本公开所建议，并且落入本公开的示例性实施例的精神和范围之内。
此外，已使用特定术语来描述本公开的各实施例。例如，术语“一个实施例”、“一实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。因此，强调并应领会，在本说明书的各个部分中对“一实施例”或“一个实施例”或“替换实施例”的两个或更多个引述未必全都指向同一实施例。此外，特定的特征、结构或特性在本公开的一个或多个实施例中可被适当地组合。
此外，本领域技术人员将领会，本公开的各方面在本文中可以在数个可专利类别或上下文中的任何一者中进行说明和描述，包括任何新的和有用的过程、机器、制造、或物质的组成，或其任何新的和有用的改进。此外，本公开的各方面可采取实施在一个或多个计算机可读介质中的计算机程序产品的形式，该一个或多个计算机可读介质上实施有计算机可读程序代码。
计算机可读信号介质可包括被传播的数据信号，其具有被实施在其中(例如，在基带中或作为载波的一部分)的计算机可读程序代码。此类被传播的信号可采取各种形式中的任何形式，包括电磁、光学等等、或其任何合适组合。计算机可读信号介质可以是并非计算机可读存储介质的、并且可以传达、传播、或传输程序以供指令执行系统、装置或设备执行或结合其来执行的任何计算机可读介质。实施在计算机可读信号介质上的程序代码可使用任何恰适的介质来传送，包括无线、有线、光纤电缆、RF等等、或前述的任何合适的组合来传送。
用于执行本公开的各方面的操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写，包括面向对象编程语言，诸如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等等，常规的过程式编程语言，诸如“C”编程语言、VisualBasic、Fortran2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言，诸如Python、Ruby和Groovy，或其他编程语言。程序代码可完全地在用户的计算机上、部分地在用户的计算机上、作为独立软件包、部分地在用户的计算机上且部分地在远程计算机上、或完全地在远程计算机或服务器上执行。在后一场景中，可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))将远程计算机连接到用户的计算机，或可作出至外部计算机的连接(例如，使用因特网服务提供商通过因特网)或在云计算环境中或被提供作为服务(诸如软件即服务(SaaS))。
此外，处理元素或序列、或使用数字、字母或其他标号的所叙述次序因此并非旨在将所要求保护的过程和方法限定于任何次序，除非可能在权利要求书中指明。尽管以上公开贯穿各种示例讨论了当前被认为是本公开的各种有用实施例的内容，但是应理解，此类细节仅仅是为了该目的，并且所附权利要求书并不被限定于所公开的实施例，而是反之旨在覆盖落在所公开的实施例的精神和范围内的修改和等效布置。例如，尽管以上描述的各种组件的实现可被实施在硬件设备中，但是它也可被实现为仅软件解决方案——例如，安装在现有服务器或移动设备上。
类似地，应当领会，在对本公开的实施例的以上描述中，出于精简本公开以帮助理解各创造性实施例中的一者或多者的目的，各个特征有时被一起编组在单个实施例、附图、或其描述中。然而，这种公开的方法不应被解释为反映所要求保护的主题需要比在每项权利要求中所明确记载的更多特征的意图。相反，创造性的实施例存在于比单个前述公开的实施例的全部特征更少的特征。
在一些实施例中，表达用于描述并要求保护本申请的某些实施例的数量或属性的数字应当被理解为在一些实例中由术语“大约”、“近似”或“基本上”来修饰。例如，“大约”、“近似”或“基本上”可指示所描述的值的±20％的变化，除非另外声明。因此，在一些实施例中，在书面描述和所附权利要求书中所阐述的数值参数是可取决于力图通过特定实施例而获得的期望属性而改变的近似值。在一些实施例中，应当根据所报告的有效数字的数目并且应用普通的舍入技术来解释这些数值参数。尽管阐述本申请的一些实施例的广泛范围的数值范围和参数是近似值，但是在特定示例中阐述的数值是以实践上尽可能精确的方式被报告的。
本文引用的每个专利、专利申请、专利申请公开以及其它材料(诸如文章、书籍、说明书、出版物、文献、物品等)在此出于所有目的引用整体并入本文，与上述材料相关联的任何起诉文件历史记录、上述材料中与本文件不一致或相冲突的材料、或上述材料中可能对现在或之后与本文件相关联的权利要求最大保护范围有限定影响的材料除外。作为示例，假如与任何所纳入的材料相关联的术语的描述、定义和/或使用和与本文件相关联的术语的描述、定义和/或使用之间存在任何不一致或冲突，则以本文件中的术语的描述、定义和/或使用为准。
最后，应该理解，本文公开的应用的实施例是对本申请的实施例的原理的解说。可以采用的其他修改可以落入本申请的范围内。由此，作为示例而非限制，根据本文的教导可以利用本申请的实施例的替换配置。因此，本申请的实施例并不限于如精确地所示和所描述的那样。

Claims (19)

1.一种放射性医疗设备的摆位方法，所述方法包括：
获取待拍摄的目标对象的至少一帧光学图像；
基于所述至少一帧光学图像，通过机器学习模型确定所述至少一帧光学图像中的所述目标对象的至少一个部位的部位边界和所述至少一帧光学图像中的所述目标对象的至少一个关键点；
对于所述至少一帧光学图像中的每一帧图像：在所述至少一个部位的部位边界中确定至少一个目标部位边界以及在所述至少一个关键点中确定至少一个目标关键点；根据所述至少一个目标部位边界和所述至少一个目标关键点，确定目标区域；
根据所述至少一帧光学图像的所述目标区域对应的位置确定放射性医疗设备的摆位目标。
2.根据权利要求1所述的方法，所述机器学习模型包括部位识别模型和关键点识别模型。
3.根据权利要求2所述的方法，所述基于所述至少一帧光学图像，通过机器学习模型确定所述至少一帧光学图像中的所述目标对象的至少一个部位的部位边界框和所述光学图像中的所述目标对象的至少一个关键点包括：
对于所述至少一帧光学图像中的每一帧光学图像：
通过所述部位识别模型处理所述光学图像，确定所述光学图像中的所述目标对象的所述至少一个部位的所述部位边界。
4.根据权利要求2所述的方法，所述基于所述至少一帧光学图像，通过机器学习模型确定所述至少一帧光学图像中的所述目标对象的至少一个部位的部位边界和所述光学图像中的所述目标对象的至少一个关键点包括：
对于所述至少一帧光学图像中的每一帧光学图像：
通过所述关键点识别模型处理所述光学图像，确定所述光学图像中的所述目标对象的所述至少一个关键点。
5.根据权利要求3所述的方法，所述基于所述至少一帧光学图像，通过机器学习模型确定所述至少一帧光学图像中的所述目标对象的至少一个部位的部位边界和所述光学图像中的所述目标对象的至少一个关键点包括：
对于所述至少一帧光学图像中的每一帧光学图像：
通过所述关键点识别模型处理所述光学图像中的所述目标对象的部分图像，确定所述光学图像中的所述目标对象的所述至少一个关键点；其中，所述光学图像中的所述目标对象的所述部分图像是根据所述光学图像中的所述目标对象的至少一个所述部位的所述部位边界在所述光学图像中获取得到的。
6.根据权利要求2所述的方法，所述部位识别模型包括：
用于处理所述光学图像，并得到特征图的主干网络；以及，
用于处理所述主干网络得到的特征图，并确定所述光学图像中的所述目标对象的所述至少一个部位的所述部位边界、各所述部位边界对应的类别和各所述部位边界对应的置信度的检测网络。
7.根据权利要求6所述的方法，所述主干网络包括多个串接的CSP(Cross StagePartial)模块和与所述多个串接的CSP模块连接的多尺度融合模块。
8.根据权利要求7所述的方法，所述多尺度融合模块包括：
第一卷积单元、分别与所述第一卷积单元的输出端连接的多个第二卷积单元和与所述多个第二卷积单元的输出端连接的第一连接单元；
其中，所述多个第二卷积单元中包括卷积核大小不同的多个第二卷积单元，所述第一连接单元用于对所述第一卷积单元的输出图像和所述多个第二卷积单元的多个输出图像进行合并。
9.根据权利要求2所述的方法，所述关键点识别模型包括Alpha Pose模型。
10.根据权利要求9所述的方法，所述关键点识别模型包括：
用于处理所述光学图像或所述光学图像中的所述目标对象的部分图像，并得到特征图的特征提取网络；以及，
用于处理所述特征提取网络得到的特征图，并得到所述光学图像或所述部分光学图像中的所述至少一个关键点的采样网络；
其中，所述特征提取网络包括池化模块和与所述池化模块的输出端连接的串接的多个特征提取模块。
11.根据权利要求10所述的方法，所述多个特征提取模块中的至少一个特征提取模块包括：
残差单元，用于对所述残差单元的输入图像进行处理并得到残差图像；
第二连接单元，用于对所述残差图像进行处理并得到所述残差图像中各特征值的权重；
合并单元，用于将所述残差图像中的各特征值与其对应的所述权重相乘，进而得到合并图像；
叠加单元，用于将所述残差单元的所述输入图像和所述合并图像进行叠加。
12.根据权利要求11所述的方法，所述第二连接单元包括：
全局池化层、与所述全局池化层的输出端连接的至少一个卷积层和与所述至少一个卷积层的输出端连接的激活层。
13.根据权利要求1所述的方法，所述在所述至少一个部位的部位边界中确定至少一个目标部位边界以及在所述至少一个关键点中确定至少一个目标关键点根据预设拍摄协议进行。
14.根据权利要求1所述的方法，所述至少一帧光学图像包括多帧光学图像，所述根据所述至少一帧光学图像的所述目标区域确定放射性医疗设备的摆位目标包括：
获取所述多帧光学图像中间隔预设帧数的两帧光学图像的所述目标区域的位移；
确定所述位移是否满足预设条件；
若确定所述位移满足预设条件，则根据所述至少一帧光学图像中某一帧光学图像的所述目标区域对应的位置确定所述放射性医疗设备的所述摆位目标。
15.根据权利要求1所述的方法，所述放射性医疗设备的所述摆位目标包括以下中的至少一种：所述放射性医疗设备的射线源、探测器、限束器。
16.根据权利要求1所述的方法，所述方法还包括：
根据所述摆位目标，控制所述放射性医疗设备进行摆位以完成所述摆位目标。
17.根据权利要求1所述的方法，所述放射性医疗设备包括以下中的一种或多种：DR设备、DSA设备。
18.一种放射性医疗设备的摆位系统，所述系统包括：
图像获取模块，用于获取待拍摄的目标对象的至少一帧光学图像；
图像识别模块，用于基于所述至少一帧光学图像，通过机器学习模型确定所述至少一帧光学图像中的所述目标对象的至少一个部位的部位边界和所述至少一帧光学图像中的所述目标对象的至少一个关键点；
目标区域确定模块，用于对于所述至少一帧光学图像中的每一帧光学图像：在所述至少一个部位的部位边界中确定至少一个目标部位边界以及在所述至少一个关键点中确定至少一个目标关键点；根据所述至少一个目标部位边界和所述至少一个目标关键点，确定目标区域；
摆位目标确定模块，用于根据所述至少一帧光学图像的所述目标区域对应的位置确定放射性医疗设备的摆位目标。
19.一种放射性医疗设备的摆位装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如权1-17中任一项所述的方法。
CN202111679878.9A 2021-12-29 2021-12-31 一种放射性医疗设备的摆位方法和系统 Pending CN116434269A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111679878.9A CN116434269A (zh) 2021-12-31 2021-12-31 一种放射性医疗设备的摆位方法和系统
PCT/CN2022/143012 WO2023125720A1 (en) 2021-12-29 2022-12-28 Systems and methods for medical imaging
EP22914970.3A EP4330935A1 (en) 2021-12-29 2022-12-28 Systems and methods for medical imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111679878.9A CN116434269A (zh) 2021-12-31 2021-12-31 一种放射性医疗设备的摆位方法和系统

Publications (1)

Publication Number Publication Date
CN116434269A true CN116434269A (zh) 2023-07-14

Family

ID=87093059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111679878.9A Pending CN116434269A (zh) 2021-12-29 2021-12-31 一种放射性医疗设备的摆位方法和系统

Country Status (1)

Country Link
CN (1) CN116434269A (zh)

Similar Documents

Publication Publication Date Title
US11559221B2 (en) Multi-task progressive networks for patient modeling for medical scans
EP3444776B1 (en) Topogram prediction from surface data in medical imaging
CN109937012B (zh) 为成像系统选择采集参数
KR102605969B1 (ko) 이미지 분류 방법, 장치 및 디바이스, 저장 매체, 그리고 의료 전자 디바이스
US10856832B2 (en) Imaging systems and methods thereof
US10849585B1 (en) Anomaly detection using parametrized X-ray images
US10783655B2 (en) System and method for assisted patient positioning
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
CN109060849B (zh) 一种确定辐射剂量调制线的方法、系统和装置
US20220277836A1 (en) Sensing device for medical facilities
US10475538B2 (en) System for predicting computed tomography data from surface data
US20210312629A1 (en) Methods, systems and apparatus for processing medical chest images
US20220061781A1 (en) Systems and methods for positioning
KR102053527B1 (ko) 이미지 처리 방법
US11676305B2 (en) Systems and methods for automated calibration
CN111540025A (zh) 预测用于图像处理的图像
US11625813B2 (en) Automatically removing moving objects from video streams
Singh et al. Estimating a patient surface model for optimizing the medical scanning workflow
CN114299547A (zh) 一种目标对象所处区域确定方法和系统
CN112540672A (zh) 智能投影方法、设备和存储介质
CN116434269A (zh) 一种放射性医疗设备的摆位方法和系统
CN111161371A (zh) 成像系统和方法
US11734849B2 (en) Estimating patient biographic data parameters
CN115767049A (zh) 一种基于图像追踪的几何校正方法及系统
US10425629B2 (en) System for dense registration of two-dimensional depth images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication