一种控制医用诊疗设备曝光的方法及系统
技术领域
本申请涉及医用射线领域,具体涉及一种控制医用射线设备曝光的系统和方法。
背景技术
医用诊疗设备通常依靠设备内部各部件依据定义的曝光时序实现的曝光。整个曝光过程中没有引入患者这个最主要的参与要素,使得系统与患者是隔离状态。即使通过可视化设备获取了患者的实时视频,但还是依赖操作技师密切观察视频中,患者的位置,姿态和运动状态,手工地选择最佳时机进行曝光。而人为判断可能出现的失误和延迟,导致成像质量较低,甚至需要进行重拍,使得患者受到更多射线的照射。因此,为医用诊疗设备自动确定最佳曝光时机成为医用诊疗领域需要解决的一个问题。
发明内容
本申请的一个方面涉及一种控制医用射线设备曝光的方法。所述方法包括获取曝光参数;获取患者相关信息,所述患者相关信息至少反映所述患者的当前状态;根据所述患者的相关信息,确定曝光时机;以及根据所述曝光参数及所述曝光时机控制医用诊疗设备进行曝光。
本申请的又一方面涉及一种控制医用诊疗设备曝光的系统。所述系统包括:获取模块、曝光时机确定模块及曝光控制模块,其中:所述获取模块用于获取曝光参数和获取患者相关信息,所述患者相关信息至少反映所述患者的当前状态;所述曝光时机确定模块用于根据所述患者的相关信息,确定曝光时机;以及所述曝光控制模块用于根据所述曝光参数及所述曝光时机控制医用诊疗设备进行曝光。
本申请的又一个方面涉及一种计算机可读存储介质,所述存储介质用于存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行所述的控制医用诊疗设备曝光的方法。
本申请的又一个方面涉及一种控制医用诊疗设备曝光的装置,所述装置包括至少一个处理器以及至少一个存储介质;所述至少一个存储介质用于存储计算机指令;所述至少一个处理器用于执行所述计算机指令以实现所述的控制医用诊疗设备曝光的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构和操作。
图1为根据本申请的一些实施例所示的一个示例性医用诊疗系统的示意图;
图2为根据本申请的一些实施例所示的一个示例性的计算装置的示例性硬件和/或软件组件的示意图;
图3为根据本申请的一些实施例所示的一个示例性处理引擎的框图;
图4为根据本申请的一些实施例所示的一个示例性曝光时机确定模块的框图;
图5为根据本申请的一些实施例所示的控制医用诊疗设备进行曝光的一个示例性流程图;
图6为根据本申请的一些实施例所示的确定曝光时机的一个示例性流程图;
图7为根据本申请的一些实施例所示的根据曝光参数控制医用诊疗设备进行曝光的一个示例性流程图;
图8为根据本申请的一些实施例所示的基于所述患者的骨架信息,确定患者的位置、姿态或运动状态中的至少一种的一个示例性流程图;
图9为根据本申请的一些实施例所示的训练骨架识别模型一个示例性流程图;
图10为根据本申请的一些实施例所示的一个VGG-16网络结构的示意图;
图11为根据本申请的一些实施例所示的一个ResNet网络结构的示意图;
图12为根据本申请的一些实施例所示的一个迭代CNN网络结构的示意图;
图13为根据本申请的一些实施例所示的一个人体标识点的示意图;
图14为根据本申请的一些实施例所示的一个原始图片的示意图;
图15为根据本申请的一些实施例所示的一个肢体矢量示意图;
图16为根据本申请的一些实施例所示的一种姿势对应的患者骨架示意图;
图17为根据本申请的一些实施例所示的另一种姿势对应的患者骨架示意图;
图18为根据本申请的一些实施例所示的另一种姿势对应的患者骨架示意图;以及
图19为根据本申请的一些实施例所示的另一种姿势对应的患者骨架示意图。
具体实施方式
在下面的详细描述中,为了提供对相关申请的透彻理解,通过实施例阐述了实施例的具体细节。然而,对于本领域技术人员来说显而易见的是,本申请可以在没有这些具体细节的情况下被实现。在其他情况下,为了避免不必要地模糊本申请的各方面,已经以较高级别(没有细节)描述了众所周知的方法、程序、系统、部件和/或电路。对本申请的实施例的各种修改对于本领域技术人员将是显而易见的,并且在不脱离本申请的精神和范围的情况下,本申请定义的一般原理可以应用于其他实施例和应用场景中。因此,本申请不限于所示的实施例,而是符合与权利要求一致的最广范围。
本申请使用的术语仅用于描述特定示例性实施例的目的,而不是限制性的。如本申请所使用的,除非上下文明确提示例外情形,单数形态的“一”,“一个”和“该”也可以包括复数。应当进一步理解的是,在本说明书中使用的术语“包括”和/或“包含”时,指存在所述特征、整形常量、步骤、操作、元素和/或组件,但不排除存在或添加一个或多个其他特征、整形常量、步骤、操作、元件、组件和/或其组合。
应当理解的是,本申请使用的术语“系统”、“引擎”、“单元”、“模块”和/或“区块”是一种以升序的形式来区分不同组件、元件、部件、部件或组件的级别方法。然而,如果其他表达方式达到相同的目的,则这些术语可能被其他表达方式所取代。
通常,如本申请所使用的“模块”、“单元”或“区块”是指以硬件或固件或软件指令的集合体现的逻辑。本申请描述的模块、单元或区块可以在软件和/或硬件上被执行,并且可以被存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中,软件模块、单元、区块可以被编译并连接到可执行程序中。应当理解的是,软件模块可以从其他模块、单元、区块或其自身调用和/或可以响应于检测到的事件或中断而被调用。配置用于在计算设备上执行的软件模块/单元/区块(例如,如图1所示的处理引擎122)可以被提供在计算机可读介质上,诸如光盘、数字视频盘、闪存驱动器、磁盘或任何其他有形介质或作为数字下载(并且可以原始地以压缩或可安装的格式存储,在执行之前需要安装、解压缩或解密)。软件代码可以部分或全部存储在执行计算设备的存储设备上供计算设备执行。软件指令可以被嵌入到固件当中,例如EPROM。应当理解的是,硬件模块、单元或区块可以包括在连接的逻辑组件中,例如门和触发器和/或可以包括在诸如可编程门阵列或处理器之类的可编程单元中。本申请描述的模块、单元、区块或计算设备功能可以被实现为软件模块/单元/区块,但是可以用硬件或固件来表示。通常,这里描述的模块、单元、区块是指可以与其他模块、单元、区块组合或者分成子模块、子单元、子区块的逻辑模块、单元、区块,尽管它们的物理组织或存储。所述描述可以适用于系统、引擎或其一部分。
应当理解的是,当单元、引擎、模块或区块被称为“在…上”、“连接到”或“耦合到”另一单元、引擎、模块或区块时,其可以直接在另一单元、引擎、模块或区块通信、或者可以存在单元、引擎、模块或区块,除非上下文明确提示例外情形。如本申请所使用的,术语“和/或”包括一个或多个相关所列项目的任何一种和所有的组合。
参照附图并考虑以下描述,本申请的这些和其他特征以及相关的结构元件以及制造的部件和经济的结合的操作和功能的方法可以变得更加明显,且都构成本申请的一部分。然而,应当明确地理解,附图仅仅是为了说明和描述的目的,并不意图限制本申请的范围。应当理解附图不是按比例的。
图1为根据本申请的一些实施例所示的一个示例性医用诊疗系统的示意图。如图1所示,医用诊疗系统100可以包括诊疗设备110、网络120、终端130、处理设备140和存储设备150。医用诊疗系统100中的组件可以通过多种方式彼此连接。例如,诊疗设备110可以经由网络120连接至处理设备140。再例如,诊疗设备110可以直接连接至处理设备140。又例如,存储设备150可以直接或经由网络120连接至处理设备140。又例如,终端130可以直接或经由网络120连接至处理设备140。
诊疗设备110可以是计算机断层扫描(CT)设备、直接数字化X射线摄影(DR)设备、正电子发射计算机断层(PET-CT)扫描设备或者核磁共振计算机断层扫描(NMR-CT)设备等。诊疗设备110中可以包括机架111、射线源112和扫描床113。射线源112可以安装于机架111。物体可以放置在扫描床113上并移动到诊疗设备110的探测通道中。在一些实施例中,射线源112可以发出射线以照射放置在扫描床113上的物体。所述物体可以是生物体(例如,病人、动物)或非生物体(例如,人造的物体)。所述射线可以包括X射线、γ射线、β射线等。
在一些实施例中,在机架111上可以设置有一个或多个患者信息获取装置。所述患者信息获取装置可以获取患者的相关信息,所述患者的相关信息至少反映所述患者的当前状态。
在一些实施例中,患者信息获取装置可以包括图像信息获取装置用于获取患者的图像信息。所述图像信息获取装置可以包括可见光摄像设备、红外线摄像设备等。在一些实施例中,所述图像获取装置可以集成于医用诊疗系统100中,例如,红外图像获取装置可以集成于医用诊疗系统100的机架111上。在一些实施例中,所述图像获取装置可以独立设置在医用诊疗系统100外部。例如,所述摄像头可以独立设置于医用诊疗系统100外部的任意其他地方。所述患者的图像信息包括红外图像、可见光图像或其任意组合。
在一些实施例中,患者信息获取装置可以包括位置获取装置用于获取患者的位置信息。所述位置获取装置可以包括一个或多个具有定位功能的传感器(例如:激光测距传感器、红外传感器、压力传感器等)或其任意组合。
在一些实施例中,患者信息获取装置可以包括姿态获取装置,用于获取患者的姿态信息。所述姿态获取装置可以包括一个或多个设置于患者身上的传感器(例如:姿态传感器、热释电人体红外传感器、压力传感器等)。所述传感器可以设置于人体的不同部位(例如:头部、胸部、腹部、四肢等),以标记并识别人体的姿势。
在一些实施例中,患者信息获取装置可以包括检测患者的呼吸状态的呼吸传感器。所述呼吸传感器可以获取与呼吸相关的参数,例如,气流量、气流方向、气压、患者胸廓的变化等参数。
网络120可以促进信息和/或数据的交换。在一些实施例中,医用诊疗系统100中的至少一个组件(例如,诊疗设备110、终端130,处理设备140或存储设备150)可以通过网络120向所述医用诊疗系统100中的另一组件发送信息和/或数据。例如,所述处理设备140可以通过所述网络120从所述诊疗设备110获得扫描数据。再例如,所述处理设备140可以通过所述网络120从所述终端130获得用户指令。在一些实施例中,网络120可以是任何类型的有线或无线网络,或其组合。网络120可以包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN)、广域网(WAN))、有线网络(例如,以太网)、无线网络(例如,802.11网络、Wi-Fi网络)、蜂窝网络(例如,长期演进网络(LTE))、帧中继网络、虚拟专用网络(VPN)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机,或其组合。仅作为示例,所述网络120可以包括电缆网络、无线网络、光纤网络、电信网络,内联网、因特网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等,或其任何组合。在一些实施例中,所述网络120可以包括至少一个网络接入点。例如,所述网络120可以包括有线或无线网络接入点,例如基站和/或互联网交换点,所述医用诊疗系统100的所述组件可以通过该网络接入点与所述网络120连接,以便交换数据和/或信息。
终端130包括移动设备130-1、平板电脑130-2、笔记本电脑130-3等,或其任何组合。在一些实施例中,移动设备130-1可以包括智能家庭设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备等,或其任何组合。在一些实施例中,所述智能家庭设备可以包括智能照明设备、智能电器的控制设备、智能监控设备、智能电视、智能摄像机、对讲机等,或其任何组合。在一些实施例中,所述可穿戴设备可以包括智能手链、智能鞋袜、智能眼镜、智能头盔、智能手表、智能服装、智能背包、智能配件等,或其任何组合。在一些实施例中,所述智能移动设备可以包括智能手机、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备等,或其任何组合。在一些实施例中,所述虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等,或其任何组合。例如,所述虚拟现实设备和/或所述增强现实设备可以包括Google Glass、OculusRift、Hololens、Gear VR等。在一些实施例中,终端130可以远程操作诊疗设备110。例如,所述终端130可以通过无线连接来操作诊疗设备110。在一些实施例中,终端130可以接收由用户输入的信息和/或指令,并经由所述网络120将接收到的信息和/或指令发送到诊疗设备110或处理设备140。在一些实施例中,所述终端130可以从处理设备140接收数据和/或信息。在一些实施例中,所述终端130可以是处理设备140的一部分。在一些实施例中,所述终端130可以被省略。
在一些实施例中,处理设备140可以处理从诊疗设备110、终端130或存储设备150获得的数据和/或信息。例如,处理设备140可以获取对应多个机架角的多个投影图像。所述处理设备140还可以校正所述投影图像,以生成对应所述机架角的多个校正的投影图像。在一些实施例中,所述处理设备140可以根据获取的图像信息对预设的预测模型进行训练。例如,处理设备140可以根据获取的患者图像信息对初始的机器学习模型进行训练,得到可以识别人体骨架信息的人体骨架识别模型。在一些实施例中,所述处理设备140可以根据获取的患者相关信息,确定曝光时机。
处理设备140可以是中央处理单元(CPU)、数字信号处理器(DSP)、系统芯片(SoC)、微处理器(MCU)等,或其任意组合。在一些实施例中,处理设备140可以是本地的或远程的。例如,所述处理设备140可以通过网络120访问存储在诊疗设备110、终端130和/或存储设备150中的信息和/或数据。再例如,所述处理设备140可以直接与诊疗设备110、终端130和/或存储设备150连接,以便访问存储在其中的信息和/或数据。在一些实施例中,所述处理设备140可以在云平台上实现。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等,或其任何组合。在一些实施例中,所述处理设备140可以在本发明图2所示的具有至少一个组件的计算设备200上实现。
存储设备150可以存储数据和/或指令。在一些实施例中,所述存储设备150可以存储从终端130和/或处理设备140获得的数据。在一些实施例中,所述存储设备150可以存储所述处理设备140可以执行或用于执行在本发明中描述的示例性方法的数据和/或指令。在一些实施例中,存储设备150可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等,或其任何组合。示例性的大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可以包括闪存盘、软盘、光盘、存储卡、压缩盘、磁带等。示例性的易失性读写存储器可以包括随机存取存储器(RAM)。示例性的RAM可以包括动态RAM(DRAM)、双倍数据传输率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)、零电容RAM(Z-RAM)等。示例性的ROM可以包括掩模型ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、数字通用盘ROM等。在一些实施例中,所述存储设备150可以在云平台上实现。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等,或其任何组合。
在一些实施例中,存储设备150可以与网络120连接,以便与医用诊疗系统100的至少一个组件(例如,终端130、处理设备140)进行通信。所述医用诊疗系统100的至少一个组件可以通过所述网络120访问存储在所述存储设备150的数据或指令。在一些施例中,所述存储设备150可以直接与所述医用诊疗系统100的至少一个组件(例如,终端130、处理设备140)连接或通信。在一些实施例中,所述存储设备150可以是处理设备140的一部分。
图2为根据本申请的一些实施例的一个示例性的计算装置200的示例性硬件和/或软件组件的示意图。如图2所示,计算装置200可以包括处理器210、存储器220、输入/输出端(I/O)230以及通信端口240。
处理器210可以根据本文中描述的技术执行计算机指令(例如,程序代码)并且执行处理引擎的功能。计算机指令可以包括例如例程、程序、物体、组件、数据结构、工序、模块和功能,其执行本文中描述的特定功能。例如,处理器210可以处理从服务器110、终端130、存储设备150和/或医用诊疗系统100的任何其它组件中获取的数据。在一些实施例中,处理器210可以包括一个或多个硬件处理器,如微控制器、微处理器、精简指令计算机(RISC)、特殊应用集成电路(ASIC)、特殊应用指令集处理器(ASIP)、中央处理器(CPU)、图形处理器(GPU)、物理处理器(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级精简指令系统计算机(ARM)、可编程逻辑装置(PLD)、能够执行一个或多个功能的任何电路或处理器等等,或其任意组合。
仅用于说明,只描述计算装置200中的一个处理器。然而,应该注意的是,本申请中的计算装置200也可以包括多个处理器,因此本申请中描述的由一个处理器执行的操作和/或方法步骤也可以共同或独立地由多个处理器执行。例如,如果在本申请中,计算装置200的处理器执行处理A和处理B,应理解处理A和处理B也可以由计算装置200中的两个或两个以上不同的处理器共同或独立地执行(例如,第一处理器执行处理A,第二处理器执行处理B;或第一处理器和第二处理器共同执行处理A和B)。
存储器220可以存储从服务器110、终端130、存储设备150和/或医用诊疗系统100的任何其它组件获取的数据/信息。在一些实施例中,存储器220可以包括大容量储存器、移动储存器、挥发性读写记忆体、只读存储器(ROM)等等或其任意组合。示例性的大容量储存器可以包括磁盘、光盘、固态硬盘等。示例性移动储存器可以包括闪存、软盘、光盘、记忆卡、压缩盘、磁带等。示例性挥发性读写记忆体可以包括随机存储器(RAM)。示例性RAM可包括动态RAM(DRAM)、双倍速率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、闸流体RAM(T-RAM)以及零电容RAM(Z-RAM)等。示例性ROM可以包括屏蔽式ROM(MROM)、可编程ROM(PROM)、可清除可变成ROM(PEROM)、电可清除可变成ROM(EEPROM)、光盘ROM(CD-ROM)以及数位通用磁盘ROM等。在一些实施例中,存储器220可以存储一个或多个程序和/或指令以执行本申请中描述的示例性方法。例如,存储器220可以存储一个程序,该程序可使得处理引擎122确定患者的位于检测床113上的位置信息。
I/O 230可以输入和/或输出信号、数据、信息等。在一些实施例中,I/O230可以实现与处理引擎的交互。在一些实施例中,I/O 230可以包括一个输入装置和一个输出装置。示例性输入装置可以包括键盘、鼠标、触摸屏、麦克风等等或其任意组合。示例性输出装置可以包括显示装置、扬声器、打印机、投影仪等等或其任意组合。示例性显示装置可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视装置、阴极射线管(CRT)、触摸屏等等或其任意组合。
通信端口240可以连接至网络(例如,网络120)以促进数据通信。通信端口240可以建立处理引擎与服务器110、终端130、存储器150和/或医用诊疗系统100中其他任意组件之间的连接。所述连接可以是有线连接、无线连接、能够实现数据传输和/或接收的任何其它通信连接和/或这些连接的任意组合。有线连接可以包括例如电缆、光缆、电话线等等或其任意组合。无线连接可以包括BluetoothTM连接、Wi-FiTM连接、WiMaxTM连接、WLAN连接、ZigBee连接、移动网络连接(例如,3G、4G、5G等)等等或其任意组合。在一些实施例中,通信端口240可以是(或包括)一个标准化通信端口,如RS232、RS485等。在一些实施例中,通信端口240可以是一个专门设计的通信端口。
图3为根据本申请的一些实施例所示的一个示例性处理引擎的框图。处理引擎可以包括获取模块310、曝光时机确定模块320以及曝光模块330。处理引擎的至少一部分可以在如图2所示的计算装置上实施。
获取模块310可以获取曝光参数。在一些实施例中,获取模块310可以从服务器110、终端130、存储设备150和/或外部数据源(未示出)获取曝光参数。在一些实施例中,曝光参数可以包括系统数据(例如,系统电学数据)、指令等等,或其组合。例如,可以基于患者的诊疗方案确定系统曝光时的电学参数(曝光电压、曝光电流等)、患者相关参数(曝光位置、曝光强度、曝光持续时间等)等。指令可以由处理引擎122的处理器执行以实施本申请中描述的示例性方法。在一些实施例中,已获取的数据可以传输至存储设备150进行存储。
获取模块310还可以获取患者相关信息。所述患者的相关信息可以反映患者的当前状态信息(例如,患者的位置、姿势、运动状态等)。获取模块310可以通过一个或多个患者信息获取装置获取患者的相关信息。所述患者信息获取装置可以包括图像信息获取装置用于获取患者的图像信息。所述患者的图像信息包括红外图像、可见光图像或其任意组合。在一些实施例中,患者信息获取装置可以包括位置获取装置用于获取患者的位置信息。所述位置获取装置可以包括一个或多个具有定位功能的传感器(例如:激光测距传感器、红外传感器、压力传感器等)或其任意组合。
曝光时机确定模块320可以根据所述患者的相关信息,确定曝光时机。例如,曝光时机确定模块320可以基于所述患者的相关信息,确定患者的位置、姿态或运动状态,判断所述患者的位置、姿态或运动状态是否满足预设的曝光条件。如不满足曝光条件,可以通知系统向医务人员或患者发出提示信息。如满足所述曝光条件,则确定此时为合适的曝光时机,系统将根据所述曝光参数控制医用诊疗设备进行曝光。在一些实施例中,曝光是指控制CT设备或DR设备的高压发生器发出高压信号,激活球管产生射线,以照射检测对象。
在一些实施例中,在确定确定患者的位置、姿态或运动状态时,曝光时机确定模块320可以识别所述患者图像信息中患者的骨架信息,并基于此确定所述患者的位置、姿态或运动状态。所述患者图像中的骨架信息可以通过骨架识别模型进行识别。
曝光模块330可以用于控制医用诊疗设备进行曝光。在一些实施例中,确定曝光时机后,曝光模块330可以根据所述曝光参数进行曝光。例如,曝光模块330可以控制高压发生器发出高压信号,激活球管,释放射线以对患者进行诊疗或者实现对患者病症部位的医学呈现。同时,医用诊疗系统100可以激活电离室及探测器,接受通过人体后的射线,进而获取患者的医疗图像(如:CT图像、DR图像,或其任意组合)。在一些实施例中,曝光模块330可以响应于曝光时机确定模块320确定的曝光时机控制医用诊疗设备根据曝光参数进行曝光。
在一些实施例中,曝光模块330可以包括同步单元。所述同步单元可以将曝光时机与数据采集时机进行同步。例如,在确定曝光时机后,曝光模块330可以控制高压发生器发出高压信号以激活球管。同时,同步单元可以基于所述高压信号,产生一个同步信号以控制探测器进行数据采集。需要注意的是,传统的曝光过程中,曝光模块可以根据预设的参数及操作人员发出的指令进行曝光。曝光过程中医用诊疗系统100没有对患者的状态进行确定其是否符合曝光条件,及没有曝光时机确定的步骤。本发明相对于传统的曝光过程增加了曝光时机确定过程,所述曝光时机确定过程可以与操作人员发出曝光指令这一动作串行和/或并行于曝光过程中。当曝光时机确定过程与操作人员发出曝光指令动作串行于曝光过程中时,在医用诊疗系统100接收到操作人员发出的曝光指令后,曝光模块可以启动曝光过程,但此时不释放射线。曝光时机确定模块在此过程中,确定患者的当前状态是否满足预设的曝光条件,当满足所述预设条件时,医用诊疗系统100释放射线,对患者进行曝光。当曝光时机确定过程与操作人员发出曝光指令动作并行于曝光过程时,曝光时机确定模块可以周期性地(例如,每隔0.2秒、0.5秒等)判断是否符合曝光时机,并将判断结果发送给曝光模块。此时若未接收到操作人员发出的曝光指令时,即使满足曝光条件,医用诊疗系统100也不会释放射线。仅当操作人员发出曝光指令后,并且接收到曝光时机确定模块确定的满足预设条件的曝光时机时,医用诊疗系统100才会释放射线,对患者进行曝光。
在一些实施例中,图3所示的一个或多个模块可以在图1所示的医用诊疗系统100的至少一部分中实施。例如,获取模块310、曝光时机确定模块320和/或曝光模块330可以集成到终端130中。在一些实施例中,通过终端130,操作技师可以设定曝光的相关参数等。在一些实施例中,医用诊疗系统100可以根据操作技师设定的曝光的相关参数,为患者进行曝光。在一些实施例中,图3所示的一个或多个模块还可以在处理设备140中实现。
图4为根据本申请的一些实施例所示的一个示例性曝光时机确定模块320的框图。曝光时机确定模块320可以包括骨架信息识别单元410及状态确定单元420。曝光时机确定模块320可以在多个组件(例如,如图2所示的计算装置200的处理器210)上实施。例如,曝光时机确定模块320的至少一部分可以在如图2所示的计算装置上实施。
骨架信息识别单元410可以确定患者的骨架信息。在一些实施例中,骨架信息识别单元410可以确定患者图像中的标识点及肢体矢量,并进一步确定出患者的骨架信息。例如,骨架信息识别单元410可以通过一个训练后的迭代的卷积神经网络模型,确定获取的患者图像中人体的标识点和肢体矢量信息,并通过匈牙利算法(H.W.Kuhn.The hungarianmethod for the assignment problem.In Naval research logistics quarterly.WileyOnline Library,1955)将所述标识点进行连接以得到患者的骨架信息。
状态确定单元420可以基于患者的骨架信息,进一步确定患者位于检测床上的位置、患者的姿势和/或患者的运动状态。在一些实施例中,状态确定单元420可以通过骨架信息中标识点的位置信息,确定患者位置患者的姿势和/或患者的运动状态。例如,判断患者的姿势是仰卧或者俯卧时,状态确定单元420可以通过骨架信息中显示的是患者的腹部或者背部进行判断,其中,患者背部和腹部的标识点可以通过颜色(例如:红色表示背部,黄色表示腹部)或者形状(例如:实心圆形表示背部,空心方形表示腹部)进行区分。
在一些实施例中,所述曝光时机确定模块320还可以包括曝光时机确定单元430。所述曝光时机确定单元430可以进一步判断患者的位置、患者的姿势和/或患者的运动状态是否满足预设的曝光条件。当满足所述预设曝光时机时,曝光时机确定单元430可以确定此时为曝光时机,并输出一个电信号(例如,高压信号),以激活球管,释放射线,对患者进行曝光。
应该注意的是,上述关于曝光时机确定模块320的描述仅出于说明性目的,并不用于限制本申请的范围。对于本领域的技术人员来说,可以在本申请的指示下做出多种变体或修改。然而,这些变体和修改不会脱离本申请的范围。
图5为根据本申请的一些实施例所示的控制医用诊疗设备进行曝光的一个示例性流程图。在一些实施例中,流程500可以包括:
获取曝光参数510;
获取患者相关信息,所述患者相关信息至少反映所述患者的当前状态520;
根据所述患者的相关信息,确定曝光时机530;和
根据所述曝光参数及所述曝光时机控制医用诊疗设备进行曝光540。
在一些实施例中,图5所示的流程500的控制医用诊疗设备进行曝光的一项或多项操作可以在图1所示的医用诊疗系统100中实施。例如,图5所示的流程500可以以指令的形式存储于存储设备150,并且由处理设备140(例如,图2所示的计算装置200的处理器210)调用和/或执行。
在步骤510中,可以获取曝光参数。步骤510可以由获取模块310执行。所述曝光参数可以包括曝光强度、曝光持续时间、曝光位置等。所述曝光参数与患者的诊疗方案相关联。患者的诊疗方案中包含患者的相关信息,例如,患者的性别、年龄、病症类型、历史诊疗记录等。所述曝光参数可以根据患者诊疗方案中的患者信息进行调整。例如,患者A的年龄为40岁,曝光强度可以为第一数值。患者B的年龄为70岁,曝光强度可以为不同于(如:小于)第一数值的第二数值。又例如,患者C的病症类型为脑部肿瘤,曝光持续时间可以为第三数值。患者D的病症类型为肺部肿瘤,曝光持续时间可以为不同于(如:大于)第三数值的第四数值。
在一些实施例中,所述曝光参数可以是系统预设的。系统可以根据患者的诊疗方案直接生成相关的曝光参数。在一些实施例中,所述曝光参数可以根据患者的实时状态进行调整。例如,患者在接受诊疗后,肿瘤部位相对上次诊疗时缩小了,此时,系统需要重新对准直器进行调整,以对接受射线照射的位置进行调整,避免对正常组织的伤害。
在步骤520中,可以获取患者相关信息,所述患者相关信息至少反映所述患者的当前状态。步骤520可以由获取模块310执行。在一些实施例中,所述患者相关信息可以包括患者位于检测床上的位置、患者的姿势、患者的运动状态等信息。
在一些实施例中,患者信息获取装置可以包括图像信息获取装置,用于获取患者的图像信息。所述图像信息获取装置可以包括可见光摄像设备、红外线摄像设备等。例如,通过上述摄像设备可以获取患者的实时视频图像。进一步地,根据所述患者的实时视频图像,可以判断患者的位置、姿势和/或运动状态等信息。
在一些实施例中,患者信息获取装置可以包括位置获取装置用于获取患者的位置信息。所述位置获取装置可以包括一个或多个具有位置检测功能的传感器(例如:激光测距传感器、红外传感器、压力传感器等)或其任意组合。
在一些实施例中,患者信息获取装置可以包括姿态获取装置用于获取患者的姿态信息。所述姿态获取装置可以包括一个或多个设置于患者身上的传感器(例如:红外传感器、压力传感器等)。所述传感器可以设置于人体的不同部位(例如:头部、胸部、腹部、四肢等),以标记并识别人体的姿势。
在步骤530中,可以根据所述患者的相关信息,确定曝光时机。步骤530可以由曝光时机确定模块320执行。
在一些实施例中,可以通过获取的患者相关信息,确定患者的位置信息。例如,处理器可以通过图像信息获取装置,例如,摄像头,获取患者的视频图像,并通过机器学习算法确定患者的实时位置信息。具体的,通过多个摄像头可以获取多个角度的视频图像。进一步地,可以通过机器学习算法,如经过训练的神经网络模型,识别出患者在所述多个角度的视频图像画面中的相对位置,例如,患者位于视频图像画面中一个长40毫米、宽20毫米的矩形区域内,所述矩形区域的上边框距离视频图像画面的上边框10毫米,并且所述矩形区域的右边框距离视频图像画面的右边框10毫米。对于每一个摄像头,确定患者在其视频图像画面中的位置后,可以确定所述患者相对该摄像头的空间位置,即通过所述矩形框在视频图像画面中的相对位置,可以确定患者在实际空间中相对摄像头的空间角度。不同角度的摄像头可以获取患者相对不同摄像头的空间角度信息。进一步地,根据不同摄像头的实际位置及空间角度做延长线,并求其交点,即可得到患者在空间中的的实际位置。又例如,处理器可以通过图像信息获取装置获取的图片图像,通过图像处理算法对所述图像进行处理,确定患者位于检测床113上的位置信息。再例如,可以将单个图像信息获取装置固定设置于机架111上,并在所述单个图像信息获取装置的视野范围内设置参照物(如:在检测床上设置一个或多个参照标记)。通过对比图像信息获取装置获取的图像中,患者与参照物相对位置,确定患者在检测床上的实际位置。在一些实施例中,处理器还可以通过不同角度设置的多个图像信息获取装置获取患者在检测床上的图像,基于这些图像重建出患者在物理空间中的实际位置。其中图像处理算法包括但不限于:二值化处理、直方图处理、亮度映射、加法运算、翻转运算、尺度运算、对数运算、指数运算、模板卷积运算、滤波运算(均值滤波、最大值滤波、最小值滤波)、各项异性扩散、形态学操作(膨胀和腐蚀)、力场变换等。例如,可以通过两个或者更多的经过参数(如,焦距、光学中心或失真系数)标定的摄像镜头(cameracalibration),基于立体视觉原理进行三维重建(3D reconstruction from stereoimages)。可以理解为,根据同一病人的骨架关节点在通过两个或者多个摄像镜头获取的不同图像上的各自位置信息,计算得出该病人的骨架关节点在三维空间中的具体位置。获得了该病人骨架在三维空间中的具体位置后,可以进一步确定该病人的待诊疗部位是否处于合适的曝光位置或者是否处于合适的曝光区域内。同时也可以确定出病人的姿态,或者待诊疗部位的具体姿态。如,确定出所述病人的左手臂是否水平放置于曝光区域中。
在一些实施例中,不同的诊疗方案可以针对患者不同的位置信息。例如,腿部受伤的患者需要确定患者的腿部的位置信息。又例如,脑部肿瘤患者需要确定患者的头部的位置信息。
在一些实施例中,可以通过获取的患者相关信息,确定患者的姿势。例如,在获取患者的视频图像后,处理器可以根据一个骨架识别模型确定患者的骨架信息,并基于此进一步的确定患者的姿势。在一些实施例中,不同的患者可以对应于不同的患者姿势。例如,当患者腿部受伤需要做CT扫描时,处理器需要确定患者为第一姿势(仰卧),以进行曝光。当患者腰背部受伤时,处理器需要确定患者为不同于第一姿势的第二姿势(俯卧),以进行曝光。
在一些实施例中,可以通过获取的患者相关信息,确定患者的运动状态。例如,在获取患者的视频图像后,处理器可以根据患者在一定时间段内在视频图像的不同视频帧中的位置的变化情况确定患者的运动状态。又例如,通过设置于检测床113上的压力传感器,处理器可以根据一定时间段内检测床113上压力分布的变化情况确定患者的运动状态。在确定患者位置、姿势及运动状态后,可以进一步判断是否满足曝光时机。例如,患者的位置是否在预设的位置范围内,患者的姿势是否为仰卧以及患者是否处于静止状态等等。更多关于判断是否满足预设曝光条件的内容可以参看本申请其他地方的描述(例如,图6和图7及其相关描述)。
在一些实施例中,处理器可以通过呼吸传感器获取患者的呼吸状态信息。所述呼吸传感器可以包括气体流量传感器、气体压力传感器等。所述呼吸传感器可以设置于呼吸面罩上,对患者的呼吸气进行探测,以判断患者的呼吸状态。例如,使用气体流量传感器确定患者呼吸状态时,当气体流量传感器显示正值,代表患者处于呼气状态。当气体流量传感器显示负值,代表患者处于吸气状态。当气体流量传感器显示的数据等于零或处于接近零值的预设数值范围内(例如,最大呼气和/或吸气显示流量数值的10%)时,确定此时患者处于换气(即,呼气与吸气转换)状态。再例如,使用气体压力传感器确定患者呼吸状态时,与气体流量传感器类似,通过其显示的数值也可以判断患者的呼吸状态。当气体压力传感器显示的数值大于正常大气压时,表示患者处于呼气状态,当气体压力传感器显示的数值小于正常大气压时,表示患者处于吸气状态,当气体压力传感器显示的数值等于或接近正常大气压时,表示患者处于换气状态。在一些实施例中,所述呼吸传感器还可以是胸廓传感器。患者吸气时,胸廓增大,患者吸气时,胸廓缩小,患者换气时,胸廓基本保持不变。在一些实施例中,所述胸廓传感器可以贴片的形式,贴附在患者的胸部皮肤上。在一些实施例中,所述胸廓传感器可以胸带的形式,环绕在于患者的胸部。在一些实施例中,可以直接通过获取的患者的实时视频图像,识别患者胸廓的变化,确定患者的呼吸状态。
在步骤540中,可以根据所述曝光参数及所述曝光时机控制医用诊疗设备进行曝光。步骤540可以由曝光模块330执行。
在一些实施例中,当确定曝光时机后,医用诊疗系统100将根据确定曝光参数进行曝光。例如,医用诊疗系统100将通过高压发生器发出高压信号,以激活球管,释放射线。同时,医用诊疗系统100将激活电离室及探测器,以接收通过人体后的射线,进而获取患者的医疗图像(如:CT图像、DR图像等,或其任意组合)。
应该注意的是,以上描述仅出于说明性目的,并不用于限制本申请的保护范围。对于本领域的技术人员来说,可以在本申请的指示下做出多种变体或修改。然而,这些变体和修改不会脱离本申请的保护范围。例如,流程500可以在530前包括一项对所述患者信息进行进一步处理,以方便处理器识别患者状态的步骤。
图6为根据本申请的一些实施例所示的确定曝光时机的一个示例性流程图。流程600可以由曝光时机确定模块320执行。在一些实施例中,图5所示的步骤530可以根据流程600执行。在一些实施例中,图6所示的流程600的一项或多项操作可以在图1所示的医用诊疗系统100中实施。例如,图6所示的流程600可以以指令的形式存储于存储设备150,并且由处理设备140(例如,图2所示的计算装置200的处理器210)调用和/或执行。
在步骤610中,可以基于所述患者的相关信息,确定所述患者的位置、姿态或运动状态中的至少一种。步骤610可以由曝光时机确定模块320执行。在一些实施例中,可以通过摄像头获取患者的实时的视频图像信息。曝光时机确定模块320可以根据所述视频图像确定患者的位置、姿态及运动状态。在一些实施例中,通过获取患者的医学图像信息,曝光时机确定模块310可以确定患者的位置、姿态及运动状态。
在一些实例中,对应于不同的患者,需要确定的患者位置、姿态或运动状态也不相同。例如,对于需要进行腿部扫描的患者,需要确定患者腿部的位置、姿态或运动状态,而对于其手部、头部的位置、姿态或运动状态并不关心。关于患者的相关信息的获取过程将在图8和图9的相关说明中详细阐述。
在步骤620中,可以基于所述患者的定位、姿态或运动状态中的至少一种,确定所述曝光时机。步骤620可以由曝光时机确定模块320执行。在一些实施例中,当所述患者的定位、姿态或运动状态中的至少一种满足预设条件时,确定此时为符合条件的曝光时机。例如,当需要对患者的头部进行CT扫描时,曝光时机确定模块320可以通过一个骨架识别模型确定患者的骨架信息。所述骨架信息可以包括患者的头部骨架信息。进一步地,根据患者头部骨架信息可以确定患者头部的具体位置。例如,根据患者头部骨架信息可以确定患者的头部轮廓。并进一步根据所述患者头部轮廓确定头部中心点位置,进而确定患者头部的具体位置。在一些实施例中,可以根据患者头部轮廓确定患者的头顶位置,进而确定患者头部的具体位置。在确定患者头部位置后,曝光时机确定模块320可以判断头部的位置是否处于预设的视野范围内(预设的视野范围对应于预设的检测床位置),若患者头部的位置处于预设的视野范围内,判断此时符合曝光条件。又例如,患者的背部受伤,需要以俯卧的姿势进行CT扫描。此时,曝光时机确定模块320在确定了患者位置信息后,需要进一步根据患者的骨架信息确定其姿势。在一些实施例中,在骨架识别模型的输出中可以对背部与腹部的进行区分标记。例如,当患者仰卧姿势进行诊疗时,骨架识别模型可以输出的患者骨架可以是红色。当患者俯卧姿势进行诊疗时,骨架识别模型可以输出的患者骨架可以是绿色。当确定患者的姿势为俯卧时,判断此时符合曝光条件。还例如,患者为婴儿(婴儿在哭闹时,病患部位可能处于运动状态,因而可能导致获取的医学图像质量较低)时,曝光时机确定模块320需要进一步确认患者的运动状态。在一些实施例中,可以通过摄像头获取婴儿检测时的视频图像。曝光时机确定模块320可以对所述的视频图像进行分析,当检测到婴儿在视频图像中的一段时间内(如:0.5秒、1秒、3秒、5秒、10秒等),特定位置(病患部位,例如,头部、手部、腿部等)的运动状态未发生改变,判断此时婴儿的运动状态为静止,符合曝光条件。
在一些实施例中,如果是对患者的胸部进行扫描时,可以进一步判断患者的呼吸状态。在患者的位置、姿势以及运动状态均满足预设条件,且判断出患者的处于换气状态,则认为符合曝光条件,确定此时为曝光时机。
在一些实施例中,所述判断患者的定位、姿态或运动状态中的至少一种是否满足设定条件的过程也可以基于机器学习的模型进行确定。以判断患者运动状态是否满足设定条件为例,所述设定的条件为患者的特定部位处于静止状态。例如,患者因右手部骨折而需要进行手部CT扫描时,在确定该患者的右手部位置后(如,通过骨架识别模型确定患者右手部关节点),机器学习模型可以进一步地生成与患者右手部处于静止状态对应的关节点的运动阈值。在不同的时间帧图像中,该机器学习模型可以检测患者的右手部关节点位置信息。当检测到连续的两幅或两幅以上帧图像中,患者手部关节点的位置信息的改变超过所述运动阈值时,机器模型判断此时患者的右手部处于运动状态,进一步,可以基于机器模型的判断结果确定当前时机不适合曝光。当检测到连续的两幅或两幅以上帧图像中,患者手部关节点的位置信息的改变小于所述运动阈值时,机器模型判断此时患者的右手部处于禁止状态,进一步,可以基于机器模型的判断结果确定当前时机满足设定的曝光条件。
在一些实施例中,也可以采用经过训练的机器学习模型对所述患者的定位、姿态或运动状态等信息进行进一步处理,直接输出当下是否是曝光时机的识别结果。具体的,所述机器学习模型可以是一个分类模型,训练数据可以是大量的正负样本的定位、姿态或运动状态等信息及其标注结果(是否为曝光时机),其中正样本的定位、姿态或运动状态等信息符合曝光时机,负样本的定位、姿态或运动状态等信息不符合曝光时机。
在一些实施例中,所述预设的曝光条件可以实时或者定期的进行更新。具体的,在实际应用时,当曝光时机确定模块320或工作人员确定当前时机满足预设的曝光条件时,可以将当前患者的相关信息(如,根据患者图像确定的患者位置、姿态和/或运动)及其标注结果记录下来,作为模型训练集的补充正样本,以在后续对所述模型进一步训练时使用,使得机器模型在投入使用后还可以定期更新,提高曝光时机判断的准确性。应该注意的是,关于流程600的描述出于说明性目的,并不用于限制本申请的保护范围。对于本领域的技术人员来说,可以在本申请的指示下做出多个变体和修改。然而,这些变体和修改不会脱离本申请的保护范围。
图7为根据本申请的一些实施例所示的确定曝光时机的一个示例性流程图。流程700可以由曝光模块330执行。在一些实施例中,图5所示的步骤540可以根据流程700执行。在一些实施例中,图7所示的流程700的一项或多项操作可以在图1所示的医用诊疗系统100中实施。例如,图7所示的流程700可以以指令的形式存储于存储设备150,并且由处理器140(例如,图2所示的计算装置200的处理器210)调用和/或执行。
在步骤710中,可以基于步骤620或曝光时机确定模块320的处理结果确定所述患者的定位、姿态或运动状态中的至少一种是否满足设定条件。若满足预设条件则,则执行步骤720,根据所述曝光参数进行曝光。在又一些实施例中,若不满足曝光条件,医用诊疗系统100将发出提示信息,以使其满足曝光条件。例如,当处理器检测到患者的位置信息不满足预设条件时,系统可以直接向患者发出提示信息,要求患者调整检测部位的位置。系统也可以直接通过调节检测床113的位置信息,以使起满足预设的位置条件。又例如,当处理器检测到患者的姿势信息不满足预设条件时,系统可以直接向患者发出提示信息,要求患者调整姿势。再例如,当处理器检测到患者的未处于静止状态时,系统可以直接向患者发出提示信息,要求患者保持静止。
应该注意的是,关于流程700的描述出于说明性目的,并不用于限制本申请的保护范围。对于本领域的技术人员来说,可以在本申请的指示下做出多个变体和修改。然而,这些变体和修改不会脱离本申请的保护范围。
图8为根据本申请的一些实施例所示的基于所述患者的骨架信息,确定患者的位置、姿态或运动状态中的至少一种的一个示例性流程图。流程800可以由曝光时机确定模块310执行。在一些实施例中,图6所示的步骤610可以根据流程800执行。在一些实施例中,图8所示的流程800的一项或多项操作可以在图1所示的医用诊疗系统100中实施。例如,图8所示的流程800可以以指令的形式存储于存储设备150,并且由处理器140(例如,图2所示的计算装置200的处理器210)调用和/或执行。
在步骤810中,可以识别所述患者图像信息中患者的骨架信息。步骤810可以进一步由骨架信息识别单元410执行。在一些实施例中,骨架信息识别单元410在获取患者的图像信息后,可以根据预设的骨架识别模型识别图像信息中患者的骨架信息。例如,骨架信息识别单元410可以基于初始的特征提取算法确定患者图像中的特征,并进一步通过机器模型(如:迭代的卷积神经网络CNN、循环神经网络RNN、深度神经网络DNN,或其任意组合)确定患者的标识点及肢体矢量特征。
如图13所示,在一些实施例中,所述标识点可以是人体的关节点,如:头顶,颈部,肩部,手肘,手腕,胸部,腰部,膝盖,脚踝等。在一些实施例中,所述患者图像中标识点的数量及密度可以根据患者的诊疗方案进行调整。例如,当需要对患者的胸部进行CT扫描时,系统可以通过多标识点对患者的胸部进行识别,而对于患者的四肢部分可以仅通过膝部、肘部等少数几个标识点进行识别。又例如,当需要对患者的腿部进行扫描时,可以仅通过一个或少数几个标识点对患者的胸部进行识别,而对患者的腿部,可通过多个标识点进行识别。
图14和图15显示了人体的肢体矢量。人体肢体的矢量场定义了连接相邻两个关节点之间的肢体位置和方向信息。图15显示了连接从肩膀到手肘的肢体矢量。矢量的方向代表从肩膀到手肘的连接方向,而矢量幅度的大小代表了像素离开肩膀到手肘的连接线的距离。距离越远,矢量的幅度越小。当距离超过一定阈值后,矢量幅度衰减为零。肢体矢量可以帮助提高标记点识别的鲁棒性,并且在一图多人的情况下提高连接属于同一个人的相邻关节点的正确性。
在一些实施例中,在确定患者图像中人体的标识点及肢体矢量特征后,骨架信息识别单元410可以基于肢体矢量特征将相应的标识点进行连接,以形成包含人体骨架信息的骨架图。具体地,将每一对相邻位置(即,距离小于预设阈值)的标识点进行两两匹配,计算肢体矢量沿着连接两个相邻标识点的连线上的平均积分值。由于属于同一个人的两个相邻关节点之间的连线对应的是真正的肢体,所以其在矢量的响应会比较高。利用匹配算法可以找出总体积分最大的组合,从而可以将属于同一个人的相邻标识点连接起来得到对应真正肢体的骨架信息。典型的匹配算法包括匈牙利算法、最大匹配算法、完美匹配算法等等。例如,在将所述标识点进行连接时,可以将同一张患者图像中的任意两个标识点进行连接,并与所述肢体矢量对比,确定属于同一个人的相邻的标识点。例如:患者图像中有1(头部)、2(颈部)和3(右肩)三个标识点,以及A(头部到颈部)和B(颈部到右肩部)两个肢体矢量。骨架信息识别单元410可以将标识点1和2、1和3、2和3分别连接,并与肢体矢量对比,确定标识点1和2的连线与肢体矢量A相似,标识点2和3的连线与肢体矢量B相似。而没有肢体矢量与标识点1和3的连线相似。因此,保留标识点1和2以及标识点2和3的连线,作为患者图像中的骨架信息。
在步骤820中,可以基于所述患者的骨架信息,确定患者的位置、姿态或运动状态中的至少一种。步骤820可以由状态确定单元420执行。在一些实施例中,状态确定单元420可以基于患者的骨架信息确定患者的位置。例如,状态确定单元420可以通过识别骨架信息中患者的标志点的位置在患者图像中的相对位置,确定患者在检测床113上的实际位置。例如,获取患者视频图像的摄像头的实际位置可以是固定的。状态确定单元420可以根据患者在视频画面中出现的相对位置,进而,计算出患者相对摄像头的实际位置。
在一些实施例中,状态确定单元420可以根据患者的骨架信息确定患者的姿势。如图16至19所示,患者的不同姿势,具有不同的骨架信息(例如标识点的位置、标识点连线的方向等)。图16至图19分别显示了患者平躺于检测床上并且双手放置于身体两侧时、平躺于检测床上并且双手叠放于腹部时、平躺于检测床上并且双手放置于头部两侧时以及平躺于检测床上并且双手交叉举过头顶时的骨架信息示意图。从这些图中可以看出,不同的姿势对应于不同个骨架信息、不同的标识点位置以及不同的肢体矢量方向。在一些实施例中,状态确定单元420可以根据患者的骨架信息与不同姿势的模板或掩模进行匹配,进而确定患者的姿势。例如,在仰卧时,患者的骨架信息中,手臂与躯干部分的骨架间隔一段距离,而在侧卧时,患者的骨架信息中,手臂与躯干部分的骨架可以部分重合。又例如,根据骨架信息中膝关节弯曲的方向可以判断出患者侧卧的方向。在一些实施例中,骨架识别模型可以在输出的骨架信息中对患者的姿势进行区分。例如,患者仰卧进行诊疗时,骨架识别模型输出的患者骨架信息中可以包含标识俯卧姿势的特征,例如,骨架的颜色为特征颜色(红色、绿色、蓝色等)。又例如,状态确定单元420还可以通过训练好的姿态识别模型对患者的骨架信息进行识别,确定患者的姿态类型。
在一些实施例中,状态确定单元420可以根据患者的骨架信息确定患者的运动状态。例如,在确定患者图像中的骨架信息后,可以根据一定时间间隔(如:1秒)内标识点位置的变化情况,确定患者是否处于静止状态。例如,根据视频图像中的连续若干帧图像中患者骨架信息中标识点的相对位置,确定患者是否处于静止状态。在一些实施例中,对于具有不同诊疗方案的患者,可以根据特定的标识点确定患者特定部位的运行状态。例如,对于需要进行手部CT扫描的患者,仅需要确定其手部是否处于静止状态,此时若该患者的其他部位出于运动状态(如,患者正在说话或者摇头),仍可以认为患者处于静止状态,并执行后续扫描。
应该注意的是,关于流程800的描述出于说明性目的,并不用于限制本申请的保护范围。对于本领域的技术人员来说,可以在本申请的指示下做出多个变体和修改。然而,这些变体和修改不会脱离本申请的保护范围。
图9为根据本申请的一些实施例所示的训练骨架识别模型一个示例性流程图。流程900可以由训练模块执行。在一些实施例中,图9所示的流程900的一项或多项操作可以在图1所示的医用诊疗系统100中实施。例如,图9所示的流程900可以以指令的形式存储于存储设备150,并且由处理器140(例如,图2所示的计算装置200的处理器210)调用和/或执行。
在步骤910中,可以获取多个患者的图像信息。在一些实施例中,所述患者的图像可以是患者的视频图像。在一些实施例中,所述患者的图像可以患者的医学图像,如,CT图像、DR图像等,或其任意组合。在一些实施例中,所述患者的图像中可能包含多名患者。在一些实施例中,可以通过图像的特征值来表达图像的图像信息,例如图像的灰度特征值、颜色特征值、纹理特征值、边缘特征以及通过变换或处理可以得到的矩、直方图、主成份特征等等。在又一些实施例中,所述患者的图像可以通过预先训练过的具有人体特征识别能力深度神经网络进行图像特征提取,得到包含多种图像特征信息的特征图。可以理解为,利用这些已有的人体识别模型对多个患者的原始图像进行预处理,将这些模型的中间输出或最终输出作为所述患者图像的特征信息。利用这些模型的中间或最终结果作为图像的特征信息进行模型训练有助于提高模型训练的效率及精度。
在步骤920中,可以获取所述多个患者图像中的患者的人体标识点及肢体矢量。在一些实施例中,所述多个患者图像信息中的患者的人体标识点及肢体矢量信息可以通过人工标注得到,也可以借助图像特征提取算法得到。典型的特征提取算法可以包括HOG特征提取算法、LBP特征提取算法、Haar特征提取算法、LoG特征提取算法、Harris角点特征提取算法、SIFT特征提取算法、SURF特征提取算法等,或其任意组合。在又一些实施例中,所述患者的图像还可以通过其他的经过训练的具备人体识别能力的机器模型进行处理,得到包含人体标识点及肢体矢量的特征图,进而可以将人体标识点及矢量信息作为患者图像的标注信息。
在步骤930中,可以将所述多个患者图像信息及对应的人体标识点及肢体矢量作为样本输入到初始模型中进行训练。在一些实施例中,所述初始模型可以是一个迭代的卷积神经网络(CNN)(Z.Cao,T.Simon,S.-E.Wei,and Y.Sheikh.In CVPR,2017),整个网络构架由多个子CNN网络链接而成,例如两个或者更多个子CNN网络链接而成。通过大量样本的训练,确定各个子CNN网络中参数的值,得到训练好的骨架识别模型。
模型训练好后,可以将待预测的患者图像信息输入到骨架识别模型中。例如,迭代的卷积神经网络的输入是特征图F。其中,F可以基于待预测患者图像抽取的图像特征,经过骨架识别模型的运算,最后得到待预测患者图像的人体标识点及肢体矢量特征。S代表网络识别到的人体标识点的概率图,概率越高的位置表示对应的关节点在那里出现的可能性越高,L表示网络识别到的人体肢体矢量场。
如方程(1)和方程(2)所示:
St+1=ρt(F,St,Lt) (1)
其中ρt和分别代表图12迭代网络架构第t个CNN网络中上支路人体标识点识别网络以及下支路人体肢体矢量识别网络的推理函数。St表示前一个网络输出的概率图,Lt表示前一个网络输出的肢体矢量场,St+1表示当前网络输出的概率图,Lt+1表示当前网络输出的肢体矢量场。随着迭代网络的深入,得到的关节点检测概率图S和肢体矢量场L会更加精确。
应该注意的是,关于流程900的描述出于说明性目的,并不用于限制本申请的保护范围。对于本领域的技术人员来说,可以在本申请的指示下做出多个变体和修改。然而,这些变体和修改不会脱离本申请的保护范围。例如,可以使用其他机器模型替代迭代卷积神经网络,如朴素贝叶斯分类器算法、K均值聚类算法、支持向量机学习算法、Apriori机器学习算法、线性回归机器学习算法、决策树机器学习算法、随机森林机器学习算法、逻辑回归算法等等。图10和图11为根据本申请的一些实施例所示的另一些卷积神经网络的结构的示意图。图10展示了卷积神经网络VGG-16模型的网络结构。图11展示了卷积神经网络ResNet模型的网络结构。在一些实施例中,可以使用经过训练的VGG-16卷积神经网络模型(K.Simonyan.,et al.In ICLR,2015)和/或ResNet(He K,Zhang X,Ren S,et al.DeepResidual Learning for Image Recognition[J].Computer vision and patternrecognition,2016:770-778)卷积神经网络模型提取图像的特征信息。在又一些实施例中,也可以对如图10和图11所示的卷积神经网络进行训练,使其具备识别人体骨架信息的能力,进而用于对患者的图像进行处理,以提取出包含标识点及人体肢体矢量的人体骨架信息。
与现有技术相比,本申请以上各实施例可能带来的有益效果包括但不限于:
一、采用人工智能的方法自动确定曝光时机,减轻了操作技师的工作负担,降低了由于人为判断可能造成的失误和延迟,提高成像质量,减少重拍概率而保护病人免受不必要的辐射。
二、基于卷积神经网络对患者的骨架信息进行识别,有效提高识别效率,提升曝光时机的准确性。需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
本领域技术人员能够理解,本申请所披露的内容可以出现多种变型和改进。例如,以上所描述的不同系统组件都是通过硬件设备所实现的,但是也可能只通过软件的解决方案得以实现。例如:在现有的服务器上安装系统。此外,这里所披露的位置信息的提供可能是通过一个固件、固件/软件的组合、固件/硬件的组合或硬件/固件/软件的组合得以实现。
以上内容描述了本申请和/或一些其他的示例。根据上述内容,本申请还可以作出不同的变形。本申请披露的主题能够以不同的形式和例子所实现,并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述属性、数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档、物件等,特将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外,对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是,如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方,以本申请的描述、定义和/或术语的使用为准。
最后,应当理解的是,本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不限于本申请明确介绍和描述的实施例。