CN110415291A

CN110415291A - 图像处理方法及相关设备

Info

Publication number: CN110415291A
Application number: CN201910727148.8A
Authority: CN
Inventors: 吴及; 张开来; 傅湘玲; 杨国胜; 吕萍
Original assignee: Tsinghua University; Beijing University of Posts and Telecommunications
Current assignee: Tsinghua University; Beijing University of Posts and Telecommunications
Priority date: 2019-08-07
Filing date: 2019-08-07
Publication date: 2019-11-05

Abstract

本公开的实施例提供了一种图像处理方法及相关设备，属于计算机技术领域。所述方法包括：获取待处理脊柱图像；通过第一神经网络模型对所述待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果；通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点；根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度。本公开实施例的技术方案提供了图像处理方法，能够提高脊柱弯曲角度测量的测量准确性。

Description

图像处理方法及相关设备

技术领域

本公开涉及计算机和通信技术领域，具体而言，涉及一种图像处理方法及相关设备。

背景技术

医学是关系到人类生命健康的重要学科，其中脊柱侧弯是医学领域的一类重要疾病。具体而言，脊柱侧弯是指由于脊椎椎体在冠状位、矢状位或轴位上偏离正常位置，造成脊柱在三维空间内发生序列形态异常的一类疾病。脊柱侧弯患者的常见表现包括体态改变和腰背疼痛，严重者可出现下肢神经损害，甚至可能影响心肺功能并缩短患者预期寿命。脊柱侧弯的发病率相对较高，以最常见的青少年特发性脊柱侧弯为例，其在10-16岁的人群中发病率约为3～4％。对脊柱侧弯患者来说，根据脊柱正位照X光片上脊柱向侧方偏斜的最大弯曲角度(Cobb角)的不同，可以进行疾病的诊断和初步治疗方案选择，因此，需要对脊柱X光片进行分析以得到最终的Cobb角计算结果。

与其他部位的X光图像不同，脊柱X光片的分析较为复杂。目前Cobb角的测量主要由脊柱外科医生手动完成。对专业的脊柱外科医生而言，完成上述测量所需要的时间可达15分钟以上，使得处理大量患者的X光图像需要大量的时间。此外，手动测量不可避免地带来不同医生测量结果之间的差异。据统计，Cobb角的测量者内部(intra-rater)标准误差为3～5度，测量者间(inter-rater)标准误差为5～7度，这些误差因素均可能对治疗方案和手术方案产生影响。

因此，需要一种新的图像处理方法及相关设备。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例提供一种图像处理方法及装置、计算机可读存储介质及电子设备，能够提高脊柱弯曲角度的测量准确度。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种图像处理方法，包括：获取待处理脊柱图像；通过第一神经网络模型对所述待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果；通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点；根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度。

根据本公开的一个方面，提供一种图像处理装置，包括：待处理图像获取模块，配置为获取待处理脊柱图像；脊椎区域定位模块，配置为通过第一神经网络模型对所述待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果；关键点预测模块，配置为通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点；弯曲角度获得模块，配置为根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度。

根据本公开实施例的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的图像处理方法。

根据本公开实施例的一方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。

在本公开的一些实施例所提供的技术方案中，通过第一神经网络模型对待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果，再通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点，从而可以根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度。一方面，在第一阶段可以定位待处理脊柱图像中的脊椎骨区域，从而限制了在第二阶段进行关键点检测时的区域，排除了待处理脊柱图像中的其他区域的噪声对关键点检测的影响，因而能够减小关键点预测时的噪声，提高其预测准确性，从而能够得到准确的脊柱弯曲角度；另一方面，使用神经网络模型自动进行脊柱弯曲角度的测量，能够节省专业的脊柱外科医生的时间，提高诊断效率，并且能够消除测量影像学参数的主观误差，对于提高外科手术方案的准确性和一致性有着重要的意义。同时，也能帮助患者和基层非专科医师方便快捷地实现及时和准确的诊断，尽早规范化患者的治疗，最大程度地避免出现因疾病加重而不得不接受创伤大、风险高的手术治疗的情况，这对于医疗条件欠发达地区或就医困难的患者而言尤其重要。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；

图3示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图4示意性示出了根据本公开的另一实施例的图像处理方法的流程图；

图5示出了图4中所示的步骤S410在一实施例中的处理过程示意图；

图6示意性示出了根据本公开的又一实施例的图像处理方法的流程图；

图7示意性示出了根据本公开的再一实施例的图像处理方法的流程图；

图8示出了图3中所示的步骤S330在一实施例中的处理过程示意图；

图9示意性示出了根据本公开的一实施例的第二神经网络模型的示意图；

图10示意性示出了根据本公开的再一实施例的图像处理方法的流程图；

图11示出了图3中所示的步骤S340在一实施例中的处理过程示意图；

图12示意性示出了根据本公开的再一实施例的图像处理方法的流程图；

图13示意性示出了根据本公开的一实施例的图像处理方法的示意图；

图14示意性示出了根据本公开的一实施例的可视化脊柱图像的示意图；

图15示意性示出了根据本公开的一实施例的Cobb角的示意图；

图16示意性示出了根据本公开的一实施例的图像处理装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机、数字电影放映机等等。

服务器105可以是提供各种服务的服务器。例如用户利用终端设备103(也可以是终端设备101或102)向服务器105发送各种请求。服务器105可以基于该请求中携带的待处理脊柱图像的相关信息，通过第一神经网络模型对所述待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果；通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点；根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度，并将响应于所述请求的脊柱弯曲角度给终端设备103，进而用户可以在终端设备103上查看显示的脊柱弯曲角度。

又如终端设备103(也可以是终端设备101或102)可以是智能电视、VR(VirtualReality，虚拟现实)/AR(Augmented Reality，增强现实)头盔显示器、或者其上安装有即时通讯、视频应用程序(application，APP)等的移动终端例如智能手机、平板电脑等，用户可以通过该智能电视、VR/AR头盔显示器或者该即时通讯、视频APP向服务器105发送各种请求。服务器105可以基于该请求，获取响应于所述请求的反馈信息(例如脊柱弯曲角度和/或包含关键点的可视化脊柱图像)返回给该智能电视、VR/AR头盔显示器或者该即时通讯、视频APP，进而通过该智能电视、VR/AR头盔显示器或者该即时通讯、视频APP将返回的反馈信息显示。

图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(CPU，Central Processing Unit)201，其可以根据存储在只读存储器(ROM，Read-Only Memory)202中的程序或者从储存部分208加载到随机访问存储器(RAM，Random Access Memory)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和/或装置中限定的各种功能。

需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF(RadioFrequency，射频)等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块和/或单元也可以设置在处理器中。其中，这些模块和/或单元的名称在某种情况下并不构成对该模块和/或单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3或图4或图5或图6或图7或图8或图10或图11或图12所示的各个步骤。

相关技术中，根据脊柱X光片计算Cobb角主要使用以下两种框架：

直接框架：直接框架类似于医生进行手动测量的方式，其首先直接在X光图像中预测每一块脊椎骨的四个关键点，基于这四个关键点进行连线，就可以形成类似于医生绘制的粗略脊椎骨轮廓；在测量Cobb角时，直接通过脊椎骨轮廓的上边缘和下边缘引出直线，然后按照规则进行直线之间的角度测量，就可以得到最终的计算结果，这类方法实际上可以看成是对脊椎骨关键点的回归问题。

间接框架：间接框架是指在X光图像中，首先通过传统目标分割算法或者神经网络算法，识别出所有脊椎骨的轮廓，然后基于这些脊椎骨轮廓，使用直线拟合算法(如最小二乘法)进行直线的拟合，对所有的拟合直线，基于规则进行一一比对，从而得到Cobb角的计算结果，其核心是针对于X光图像的分割算法，以及基于图像分割结果的直线拟合算法。

对于直接框架来说，其直接在X光图像上预测每一块脊椎骨的四个关键点并计算Cobb角，由于脊柱X光图像背景噪声较大，每个关键点本身很容易受到噪声的影响，预测的关键点可能和真实关键点相差特别远，从而使得引出的直线存在较大误差，导致Cobb角计算的误差较大，这是直接框架存在的主要问题。

对于间接框架而言，无论是传统的图像分割方法还是深度学习方法，分割结果不可能达到百分百准确率，由于间接法需要进行直线拟合，而直线拟合对脊椎骨轮廓的形状非常敏感，且与图像分割的准确率没有显式的关系，即使神经网络输出的图像分割结果能够和真实的脊椎骨轮廓有较大面积的重合率，缺失的那一小部分也可能导致直线拟合时产生较大的斜率误差，从而对Cobb角的测量产生严重影响，这种影响较难进行量化，是间接框架存在的主要问题。

图3示意性示出了根据本公开的一实施例的图像处理方法的流程图。本公开实施例所提供的方法可以由任意具备计算处理能力的电子设备处理，例如上述图1实施例中的服务器105和/或终端设备101、102、103和/或云端服务器，在下面的实施例中，以服务器105为执行主体为例进行举例说明，但本公开并不限定于此。

如图3所示，本公开实施例提供的图像处理方法可以包括以下步骤。

在步骤S310中，获取待处理脊柱图像。

本公开实施例中，所述待处理脊柱图像可以是给某位患者拍摄的包含该患者的脊柱标准全长的正位相的X光图像，但本公开并不限定于此。

在步骤S320中，通过第一神经网络模型对所述待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果。

其中，脊椎骨由椎体、椎弓、髓棘、椎体横突、前关节突和后关节突等各部构成。脊椎骨构成脊柱，但不等于脊柱。人类脊柱由33块椎骨(颈椎7块，胸椎12块，腰椎5块，骶骨、尾骨共9块)借韧带、关节及椎间盘连接而成。本公开实施例中，脊椎骨区域包括12块胸椎和5块腰椎共17块。可以清洗不满足脊柱弯曲角度例如Cobb角计算要求的图像，即图中脊椎骨数量不足17块的情况，这样的图像在实际测量中也不会使用。

在示例性实施例中，所述第一神经网络模型可以包括Mask R-CNN(Region-basedConvolutional Neural Networks，区域卷积神经网络)模型。利用预先训练好的第一神经网络模型对所述待处理脊柱图像进行处理，可以输出所述预处理脊柱图像中的各个脊椎骨所在的区域，例如可以是一个一个包含脊椎骨的四边形窗，但本公开并不限定于此。

其中，Mask R-CNN可以用来做目标检测。由于Mask R-CNN提出了用于解决ROIPooling(Region of Interest Pooling，感兴趣区域池化)中所存在的像素偏差问题的ROIAlign策略，加上FCN(Fully Convolutional Networks，全卷积网络)精准的像素MASK，使得其可以获得高准确率。ROI Pooling和ROIAlign最大的区别是：前者使用了两次量化操作，而后者并没有采用量化操作，使用了线性插值算法。整个过程中没有用到量化操作，没有引入误差，即原图中的像素和feature map(特征图)中的像素是完全对齐的，没有偏差，这会提高检测的精度。同时，整个Mask R-CNN算法的思路很简单，就是在原始Faster-rcnn算法的基础上增加了FCN来产生对应的MASK分支。

需要说明的是，虽然在举例说明中均以Mask R-CNN作为第一神经网络模型为例，但本公开并不限定于此，任意能够进行目标检测的神经网络均可用于本公开实施例提供的方案中，例如还可以采用Fast R-CNN，Faster R-CNN，YOLO等等。

在步骤S330中，通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点。

本公开实施例中，采用两阶段框架，即首先进行脊椎骨所在的四边形窗的定位，然后在脊椎骨定位的四边形窗内检测脊椎骨的例如四个关键点，这样相比于相关技术中直接在待处理脊柱图像进行脊椎骨关键点检测而言，一个脊椎骨区域的四边形窗受噪声影响更小，因此可以以较高的准确率获得脊椎骨的关键点的位置信息，即脊椎骨区域的定位实际上为脊椎骨的关键点检测提供了一个区域限制，脊椎骨的关键点只能出现在脊椎骨区域内部，从而可以将脊椎骨区域外的噪声排除，在脊椎骨区域上检测脊椎骨关键点就能够获得更高的准确率。

其中，脊椎骨的关键点可以为脊椎骨的四个角点，但本公开并不限定于此，可以根据实际情况而定。上述定位脊椎骨区域的过程中，是在脊椎骨所在的位置画一个四边形窗，因此，脊椎骨区域的定位可以确定四边形窗的四个顶点，但四边形窗的四个顶点不一定是脊椎骨的关键点。每个四边形窗内包含一块脊椎骨，可以在其上检测例如四个关键点。

在步骤S340中，根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度。

本公开实施例中，经过上述步骤获得各个脊椎骨区域上的关键点后，可以在所述待处理脊柱图像标注各个关键点的位置，并将每块脊椎骨区域内的四个关键点进行顺序连线，以描述各块脊椎骨的位置，从而可以根据脊椎骨的位置计算得到所述脊柱弯曲角度，这里以Cobb角为例。

本公开实施方式提供的图像处理方法，通过第一神经网络模型对待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果，再通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点，从而可以根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度。一方面，在第一阶段可以定位待处理脊柱图像中的脊椎骨区域，从而限制了在第二阶段进行关键点检测时的区域，排除了待处理脊柱图像中的其他区域的噪声对关键点检测的影响，因而能够减小关键点预测时的噪声，提高其预测准确性，从而能够得到准确的脊柱弯曲角度；另一方面，使用神经网络模型自动进行脊柱弯曲角度的测量，能够节省专业的脊柱外科医生的时间，提高诊断效率，并且能够消除测量影像学参数的主观误差，对于提高外科手术方案的准确性和一致性有着重要的意义。同时，也能帮助患者和基层非专科医师方便快捷地实现及时和准确的诊断，尽早规范化患者的治疗，最大程度地避免出现因疾病加重而不得不接受创伤大、风险高的手术治疗的情况，这对于医疗条件欠发达地区或就医困难的患者而言尤其重要。

图4示意性示出了根据本公开的另一实施例的图像处理方法的流程图。

如图4所示，本公开实施例提供的图像处理方法与上述实施例相比，其不同之处在于，还可以包括以下步骤。

在步骤S410中，获取第一训练数据集，所述第一训练数据集包括历史脊柱图像及其标注的脊椎骨区域。

在步骤S420中，利用所述第一训练数据训练所述第一神经网络模型。

本公开实施例中，对于脊椎骨区域定位而言，可以采用Mask R-CNN目标检测技术，这是一种深度神经网络，使用原始的脊柱图像数据作为输入，待检测的目标区域例如脊椎骨区域作为输出，分为训练和测试两个阶段：在训练阶段，使用原始的历史脊柱图像数据作为输入，经过网络传播后得到输出结果，将输出结果和预先标注的脊椎骨区域进行对比，得到两者之间的误差，使用反向传播算法对网络结构中的参数进行更新，直到误差足够小为止；在测试阶段，对于新输入的待处理脊柱图像，使其经过神经网络后得到输出结果，输出结果为该待处理脊柱图像的所有脊椎骨区域的左上顶点坐标[x_l,y_l]以及其宽和高[w,h]，代表脊椎骨的四边形轮廓，作为脊椎骨区域的定位结果。

图5示出了图4中所示的步骤S410在一实施例中的处理过程示意图。本公开实施例中，所述历史脊柱图像可以包括原始脊柱图像。这里的原始脊柱图像可以是指通过医学采集设备直接从各个病人拍摄获取的脊椎图像，未对其进行图像处理工作。

如图5所示，本公开实施例中，上述步骤S410可以进一步包括以下步骤中的至少一项。

在步骤S411中，随机裁剪所述原始脊柱图像，获得包含第一预设数量的脊椎骨在内的裁剪脊柱图像，并标注所述裁剪脊柱图像的脊椎骨区域。

本公开实施例中，所述第一预设数量例如可以为17。

在步骤S412中，给所述原始脊柱图像随机加入噪声，获得噪声脊柱图像，并标注所述噪声脊柱图像的脊椎骨区域。

在步骤S413中，旋转所述原始脊柱图像，获得旋转脊柱图像，并标注所述旋转脊柱图像的脊椎骨区域。

本公开实施例中，如果存在用于训练第一神经网络模型的样本图像数据量不足的情况，可以对样本图像数据进行一定的扩增，可以包括但不限于以下方式：(1)数据裁剪，即从原始脊柱图像中随机裁剪包含17块脊椎骨在内的部分图像作为新的裁剪脊柱图像数据，并对其进行标注。(2)数据加噪，对所述原始脊柱图像随机加入功率较小的高斯噪声得到新的噪声脊柱图像作为新的样本图像数据，并对其进行标注。(3)数据旋转，对所述原始脊柱图像旋转一个小角度生成新的旋转脊柱图像数据，并对其进行标注。这样，通过使用原始数据和生成的新数据，可以用于后续第一神经网络模型的网络训练。

图6示意性示出了根据本公开的又一实施例的图像处理方法的流程图。

如图6所示，本公开实施例提供的图像处理方法与上述实施例相比，其不同之处在于，还可以包括以下步骤。

在步骤S610中，获取预训练数据集，所述预训练数据集包括历史自然图像及其标注的目标区域。

例如，所述预训练数据集可以采用ImageNet。ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的自然图像被ImageNet手动注释，以指示图片中的对象；在至少一百万个图像中，还提供了边界框。ImageNet包含2万多个类别。一个典型的类别，如“气球”或“草莓”作为目标区域，包含数百个图像。

在步骤S620中，利用所述预训练数据集预训练所述第一神经网络模型，对所述第一神经网络模型的参数进行初始化。

本公开实施例中，由于用于训练Mask R-CNN模型的脊柱正位照X光图像较少，导致第一训练数据集中的数据量缺乏，可以在网络训练使用在ImageNet上样本数据对Mask R-CNN模型进行预训练，得到模型的初始化模型参数，之后，可以再利用第一训练数据集中标注的脊柱正位照X光图像对预训练之后的Mask R-CNN模型进行例如40轮的网络训练，从而可以在第一训练数据集中样本数据较少的情况下，使得网络得到充分的训练，得到较好的网络输出结果。

图7示意性示出了根据本公开的再一实施例的图像处理方法的流程图。

如图7所示，本公开实施例提供的图像处理方法与上述实施例相比，其不同之处在于，还可以包括以下步骤。

在步骤S710中，统计所述第一神经网络模型定位的脊椎骨区域的个数。

在步骤S720中，若所述脊椎骨区域的个数大于第二预设数量，则计算每相邻两个脊椎骨区域之间的距离。

例如，所述第二预设数量可以为17。

在步骤S730中，若脊椎骨区域与其相邻两个脊椎骨区域之间的距离均大于距离阈值，则剔除相应的脊椎骨区域，直至剩余所述第二预设数量的脊椎骨区域。

例如，所述距离阈值可以为50个像素，但本公开并不限定于此，可以根据实际应用场景中待处理脊柱图像的分辨率而定。

本公开实施例中，在得到第一神经网络模型输出的脊椎骨区域的定位结果之后，虽然Mask R-CNN模型已经能够得到较好的目标定位结果，为了进一步优化定位结果，还可以对输出的定位结果进行后处理。由于人只有17块脊椎骨(包括胸椎和腰椎)，且相邻脊椎骨之间的距离较小，因此，可以首先统计Mask R-CNN模型输出的脊椎骨区域的个数，如果其多于17个，则对所有脊椎骨按照所在位置从高到低排列，并计算相邻两个脊椎骨的距离，将与两侧脊椎骨距离都较大的脊椎骨作为错误的定位结果进行排除，直到剩余17个脊椎骨为止；如果其少于17个，则说明出现了漏检，由于脊椎骨之间的角度变化较小，因此个别漏检不会对最后结果产生较大影响，较多漏检在实际情况中很难发生，通过Mask R-CNN模型以及相应的后处理技术，可以得到较为纯净的脊椎骨区域输出序列。

图8示出了图3中所示的步骤S330在一实施例中的处理过程示意图。

如图8所示，本公开实施例中，上述步骤S330可以进一步包括以下步骤。

在步骤S331中，将各个脊椎骨区域大小调整为预定尺寸。

例如，所述预定尺寸为64×64，但本公开并不限定于此，可以根据实际情况而定。

在步骤S332中，将调整后的各个脊椎骨区域分别输入至所述第二神经网络模型，分别输出各个脊椎骨区域上的第三预设数量的关键点的相对坐标。

例如，所述第三预设数量可以为4，即每个脊椎骨区域上输出4个关键点的相对坐标。

本公开实施例中，在得到所有脊椎骨区域之后，使用脊椎骨区域作为限制，从而可以去除脊椎骨区域外的绝大部分背景噪声，然后可以在每一个脊椎骨区域上进行关键点检测，每一个脊椎骨包含四个关键点。

图9示意性示出了根据本公开的一实施例的第二神经网络模型的示意图。本公开实施例中，所述第二神经网络模型可以为轻量级神经网络模型。采用轻量级神经网络模型可以使得整个系统的结构简单。但本公开并不限定于此，其他的非轻量级神经网络结构也可以用于关键点的检测。

轻量级神经网络，也称微型神经网络，是指需要参数数量较少和计算代价较小的神经网络模型。由于微型神经网络计算开销小，微型神经网络模型可以部署在计算资源有限的设备上，如智能手机、平板电脑或其他嵌入式设备。微型神经网络简单来说是对原来神经网络结构进行优化和网络裁剪。构建和生成微型神经网络模型有利于将更多深度学习算法应用到移动端，降低对设备性能的要求。

如图9所示，使用轻量级神经网络模型对每一个脊椎骨区域进行关键点检测，一个预先设计的轻量级神经网络模型可以包括：5个依次级联的卷积结构、1个重塑(reshaping)层和2个全连接(full connection)层；其中，所述卷积结构可以包括依次级联的1个3×3卷积(conv)层、1个激活(例如Rectified Linear Unit，ReLU，线性整流函数)层和1个2×2最大池化(max pooling)层。

具体的，首先将每一个脊椎骨区域大小调整为64×64，再将调整为64×64大小的每一个脊椎骨区域输入至该轻量级神经网络模型，经过5个卷积结构的处理后，获得脊椎骨区域的特征图(feature map)，将特征图输入至最大池化层后，获得脊椎骨区域2048维的特征向量(feature vector)，再将2048维的特征向量输入至第一个全连接层，获得脊椎骨区域1024维的特征向量，再将1024维的特征向量输入至第二个全连接层，最终获得一个8维特征向量T作为该轻量级神经网络模型的输出，分别代表每一个脊椎骨区域的4个关键点的横坐标和纵坐标，可以从左上角按顺时针方向表示，考虑到不同脊椎骨区域在调整大小前的清晰度不同，此处T的坐标均为归一化坐标，取值在0到1之间，表示关键点在脊椎骨区域上的相对位置。

图10示意性示出了根据本公开的再一实施例的图像处理方法的流程图。

如图10所示，本公开实施例提供的图像处理方法与上述实施例相比，其不同之处在于，还可以包括以下步骤。

在步骤S1010中，获取第二训练数据集，所述第二训练数据集包括历史脊椎骨区域及其标注的关键点的相对坐标。

在步骤S1020中，利用所述第二训练数据集训练所述第二神经网络模型。

其中，与用于定位脊椎骨区域的第一神经网络模型类似，用于进行脊椎骨关键点检测的第二神经网络模型仍然分为训练阶段和测试阶段，在训练阶段，首先在原始的历史脊柱图像上裁剪出每个脊椎骨区域，这里脊椎骨区域大小可能不同，假设原始的关键点在调整前脊椎骨区域的绝对坐标为：[x1,y1,x2,y2,x3,y3,x4,y4]，那么其相对坐标可以表示为：[x1/w,y1/h,x2/w,y2/h,x3/w,y3/h,x4/w,y4/h]，其中w，h分别表示这个调整前的脊椎骨区域的宽和高，将所有脊椎骨区域大小调整为64×64后，使用调整后的脊椎骨区域作为第二神经网络模型的网络数据输入，得到8维向量T后，计算其和真实的相对坐标向量的误差，使用反向传播算法更新网络参数，直到网络收敛。

图11示出了图3中所示的步骤S340在一实施例中的处理过程示意图。本公开实施例中，所述第三预设数量可以为4。

如图11所示，本公开实施例中，上述步骤S340可以进一步包括以下步骤。

在步骤S341中，根据各个脊椎骨区域的定位结果和各个关键点的相对坐标，获得各个关键点在所述待处理脊柱图像上的绝对坐标。

在步骤S342中，根据各个脊椎骨区域的四个关键点的绝对坐标进行连线，生成各个脊椎骨区域的四边形轮廓。

在测试阶段，将待处理脊柱图像的每一个脊椎骨区域输入网络，得到其四个关键点预测的相对坐标[x1_p,y1_p,x2_p,y2_p,x3_p,y3_p,x4_p,y4_p]，通过如下公式就可以计算出每个脊椎骨关键点在原始的待处理脊柱图像上的绝对坐标：

xi_a＝xi_p*w+x_l

yi_a＝yi_p*h+y_l

其中，i＝1，2，3，4。

在得到该待处理脊柱图像的所有脊椎骨关键点的绝对坐标以后，就可以进行Cobb角的计算。

在步骤S343中，计算任意两个四边形轮廓之间的夹角。

在步骤S344中，选取最大的夹角作为所述脊柱弯曲角度。

具体的，在得到每一块脊椎骨的四个关键点以后，顺序对四个关键点进行连线可以获得每一块脊椎骨的四边形轮廓，引出每一块脊椎骨对应的四边形轮廓的上边缘和下边缘两条直线，然后对于任意两块脊椎骨，计算位置靠上脊椎骨的上边缘直线和位置靠下的脊椎骨的下边缘直线之间的夹角，作为每一对脊椎骨之间的夹角，然后选取最大的那个夹角作为最终的Cobb角测量结果。

在其他实施例中，也可以对任意两块脊椎骨，计算位置靠上脊椎骨的上边缘直线的垂线与位置靠下的脊椎骨的下边缘直线的垂线之间的夹角，取其补角作为Cobb角。这两种方法计算出来的值是一样的。

图12示意性示出了根据本公开的再一实施例的图像处理方法的流程图。

如图12所示，本公开实施例提供的图像处理方法与上述实施例相比，其不同之处在于，还可以包括以下步骤。

在步骤S1210中，将各个脊椎骨区域上的关键点展示于所述待处理脊柱图像上，生成可视化脊柱图像。

在步骤S1220中，显示所述可视化脊柱图像。

本公开实施例中，获得了各个脊椎骨区域上的每个关键点的绝对坐标后，根据其绝对坐标，可以将关键点标记在原始的待处理脊柱图像上，获得可视化脊柱图像，即可以提供可视化的中间结果供医生进行检查，如果存在个别关键点错误也可以进行手动调整，一个完整的脊椎骨关键点示例如下图14所示。

图13示意性示出了根据本公开的一实施例的图像处理方法的示意图。

如图13所示，左侧为待处理脊柱图像，中间为定位的脊椎骨区域，右侧为在定位的脊椎骨区域上检测的关键点。

图14示意性示出了根据本公开的一实施例的可视化脊柱图像的示意图。

如图14所示，将关键点标记在原始的待处理脊柱图像上以供医生检查。

继续参考图14，白色部分是病人做手术后留在体内的支架，表明采用本公开实施例提供的方案，即使脊椎骨存在遮挡，也可以进行关键点检测。

图15示意性示出了根据本公开的一实施例的Cobb角的示意图。

如图15所示，示出了一个Cobb角。这里可以首先确定侧弯的端椎。上、下端椎是指侧弯中向脊柱侧弯凹侧倾斜度最大的椎体。脊柱侧弯凸侧的椎间隙较宽，而在凹侧椎间隙开始变宽的第一个椎体被认为不属于该弯曲的一部分，因此其相邻的一个椎体被认为是该弯曲的端椎。然后，在上端椎的椎体上缘划一横线，同样在下端椎椎体的下缘划一横线。对此两横线各做一垂直线。该二垂直线的交角就是Cobb角。对于较大的侧弯，上述两横线的直接交角亦等同于Cobb角。侧弯的角度由此而测得此角。

若Cobb角<25度，无需手术治疗，可以在康复治疗师的指导下进行姿势矫正的动作训练，每隔4～6个月随访一次，进行动态观察；若25度<Cobb角<45度，建议手术治疗。

本公开实施方式提供的图像处理方法，提供了一种脊柱弯曲角度的计算方式，使用基于区域限制的深度学习方法，提出了一种基于区域限制的两阶段Cobb角自动计算框架，即先进行脊椎骨区域定位，再进行脊椎骨关键点预测，从而实现自动进行Cobb角的测量。同时，还能解决相关技术中存在的脊椎骨关键点的高噪声影响，以及直线拟合的敏感性问题，整个系统构建更加高效，能够提高Cobb角的测量准确率。在一些实施例中，还能够提供可供分析和修正的中间可视化结果，避免了人工智能技术中经常存在的黑盒问题。一方面，能够节省专业的脊柱外科医生的时间，提高诊断效率，并且消除测量影像学参数的主观误差，对于提高外科手术方案的准确性和一致性有着重要的意义。另一方面，也能帮助患者和基层非专科医师方便快捷地实现及时和准确的诊断，尽早规范化患者的治疗，最大程度地避免出现因疾病加重而不得不接受创伤大、风险高的手术治疗的情况，这对于医疗条件欠发达地区或就医困难的患者而言尤其重要。因此，自动化的脊柱影像学参数测量和初步诊断能同时为医生和患者服务，缓解医患关系，并促进相关医疗产业的建设，对社会发展具有重要的意义。

图16示意性示出了根据本公开的一实施例的图像处理装置的框图。本公开实施例所提供的装置可以由任意具备计算处理能力的电子设备实现，例如上述图1实施例中的服务器105和/或终端设备101、102、103和/或云端服务器，在下面的实施例中，以服务器105实现所述装置为例进行举例说明，但本公开并不限定于此。

如图16所示，本公开实施方式提供的图像处理装置1600可以包括：待处理图像获取模块1610、脊椎区域定位模块1620、关键点预测模块1630以及弯曲角度获得模块1640。

其中，待处理图像获取模块1610可以配置为获取待处理脊柱图像。脊椎区域定位模块1620可以配置为通过第一神经网络模型对所述待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果。关键点预测模块1630可以配置为通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点。弯曲角度获得模块1640可以配置为根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度。

在示例性实施例中，图像处理装置1600还可以包括：第一训练集获取模块，可以配置为获取第一训练数据集，所述第一训练数据集包括历史脊柱图像及其标注的脊椎骨区域；第一模型训练模块，可以配置为利用所述第一训练数据训练所述第一神经网络模型。

在示例性实施例中，图像处理装置1600还可以包括：预训练集获取模块，可以配置为获取预训练数据集，所述预训练数据集包括历史自然图像及其标注的目标区域；模型预训练模块，可以配置为利用所述预训练数据集预训练所述第一神经网络模型，对所述第一神经网络模型的参数进行初始化。

在示例性实施例中，所述历史脊柱图像可以包括原始脊柱图像。其中，所述第一训练集获取模块包括以下中的至少一项：图像裁剪单元，可以配置为随机裁剪所述原始脊柱图像，获得包含第一预设数量的脊椎骨在内的裁剪脊柱图像，并标注所述裁剪脊柱图像的脊椎骨区域；图像加噪单元，可以配置为给所述原始脊柱图像随机加入噪声，获得噪声脊柱图像，并标注所述噪声脊柱图像的脊椎骨区域；图像旋转单元，可以配置为旋转所述原始脊柱图像，获得旋转脊柱图像，并标注所述旋转脊柱图像的脊椎骨区域。

在示例性实施例中，图像处理装置1600还可以包括：数量统计模块，可以配置为统计所述第一神经网络模型定位的脊椎骨区域的个数；距离计算模块，可以配置为若所述脊椎骨区域的个数大于第二预设数量，则计算每相邻两个脊椎骨区域之间的距离；脊椎骨剔除模块，可以配置为若脊椎骨区域与其相邻两个脊椎骨区域之间的距离均大于距离阈值，则剔除相应的脊椎骨区域，直至剩余所述第二预设数量的脊椎骨区域。

在示例性实施例中，关键点预测模块1630可以包括：尺寸调整单元，可以配置为将各个脊椎骨区域大小调整为预定尺寸；相对坐标输出单元，可以配置为将调整后的各个脊椎骨区域分别输入至所述第二神经网络模型，分别输出各个脊椎骨区域上的第三预设数量的关键点的相对坐标。

在示例性实施例中，所述第三预设数量可以为4。其中，弯曲角度获得模块可以包括：绝对坐标获得单元，可以配置为根据各个脊椎骨区域的定位结果和各个关键点的相对坐标，获得各个关键点在所述待处理脊柱图像上的绝对坐标；四边形轮廓生成单元，可以配置为根据各个脊椎骨区域的四个关键点的绝对坐标进行连线，生成各个脊椎骨区域的四边形轮廓；夹角计算单元，可以配置为计算任意两个四边形轮廓之间的夹角；弯曲角度选取单元，可以配置为选取最大的夹角作为所述脊柱弯曲角度。

在示例性实施例中，图像处理装置1600还可以包括：第二训练集获取模块，可以配置为获取第二训练数据集，所述第二训练数据集包括历史脊椎骨区域及其标注的关键点的相对坐标；第二模型训练模块，可以配置为利用所述第二训练数据集训练所述第二神经网络模型。

在示例性实施例中，图像处理装置1600还可以包括：可视化图像生成模块，可以配置为将各个脊椎骨区域上的关键点展示于所述待处理脊柱图像上，生成可视化脊柱图像；图像显示模块，可以配置为显示所述可视化脊柱图像。

在示例性实施例中，所述第一神经网络模型可以包括Mask R-CNN模型。

在示例性实施例中，所述第二神经网络模型可以为轻量级神经网络模型。

在示例性实施例中，所述轻量级神经网络模型可以包括：5个依次级联的卷积结构、1个重塑层和2个全连接层；其中，所述卷积结构可以包括依次级联的1个3×3卷积层、1个激活层和1个2×2最大池化层。

本公开实施例提供的图像处理装置中的各个模块和单元的具体实现可以参照上述图像处理方法中的内容，在此不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块和单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块和单元的特征和功能可以在一个模块和单元中具体化。反之，上文描述的一个模块和单元的特征和功能可以进一步划分为由多个模块和单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种图像处理方法，其特征在于，包括：

获取待处理脊柱图像；

通过第一神经网络模型对所述待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果；

通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点；

根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取第一训练数据集，所述第一训练数据集包括历史脊柱图像及其标注的脊椎骨区域；

利用所述第一训练数据训练所述第一神经网络模型。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取预训练数据集，所述预训练数据集包括历史自然图像及其标注的目标区域；

利用所述预训练数据集预训练所述第一神经网络模型，对所述第一神经网络模型的参数进行初始化。

4.根据权利要求2所述的方法，其特征在于，所述历史脊柱图像包括原始脊柱图像；其中，获取第一训练数据集包括以下中的至少一项：

随机裁剪所述原始脊柱图像，获得包含第一预设数量的脊椎骨在内的裁剪脊柱图像，并标注所述裁剪脊柱图像的脊椎骨区域；

给所述原始脊柱图像随机加入噪声，获得噪声脊柱图像，并标注所述噪声脊柱图像的脊椎骨区域；

旋转所述原始脊柱图像，获得旋转脊柱图像，并标注所述旋转脊柱图像的脊椎骨区域。

5.根据权利要求1所述的方法，其特征在于，还包括：

统计所述第一神经网络模型定位的脊椎骨区域的个数；

若所述脊椎骨区域的个数大于第二预设数量，则计算每相邻两个脊椎骨区域之间的距离；

若脊椎骨区域与其相邻两个脊椎骨区域之间的距离均大于距离阈值，则剔除相应的脊椎骨区域，直至剩余所述第二预设数量的脊椎骨区域。

6.根据权利要求1所述的方法，其特征在于，通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点，包括：

将各个脊椎骨区域大小调整为预定尺寸；

将调整后的各个脊椎骨区域分别输入至所述第二神经网络模型，分别输出各个脊椎骨区域上的第三预设数量的关键点的相对坐标。

7.根据权利要求6所述的方法，其特征在于，所述第三预设数量为4；其中，根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度，包括：

根据各个脊椎骨区域的定位结果和各个关键点的相对坐标，获得各个关键点在所述待处理脊柱图像上的绝对坐标；

根据各个脊椎骨区域的四个关键点的绝对坐标进行连线，生成各个脊椎骨区域的四边形轮廓；

计算任意两个四边形轮廓之间的夹角；

选取最大的夹角作为所述脊柱弯曲角度。

8.根据权利要求1所述的方法，其特征在于，还包括：

获取第二训练数据集，所述第二训练数据集包括历史脊椎骨区域及其标注的关键点的相对坐标；

利用所述第二训练数据集训练所述第二神经网络模型。

9.根据权利要求1所述的方法，其特征在于，还包括：

将各个脊椎骨区域上的关键点展示于所述待处理脊柱图像上，生成可视化脊柱图像；

显示所述可视化脊柱图像。

10.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型包括Mask R-CNN模型。

11.根据权利要求1所述的方法，其特征在于，所述第二神经网络模型为轻量级神经网络模型。

12.根据权利要求11所述的方法，其特征在于，所述轻量级神经网络模型包括：5个依次级联的卷积结构、1个重塑层和2个全连接层；其中，所述卷积结构包括依次级联的1个3×3卷积层、1个激活层和1个2×2最大池化层。

13.一种图像处理装置，其特征在于，包括：

待处理图像获取模块，配置为获取待处理脊柱图像；

脊椎区域定位模块，配置为通过第一神经网络模型对所述待处理脊柱图像进行处理，定位所述待处理脊柱图像中的脊椎骨区域，获得定位结果；

关键点预测模块，配置为通过第二神经网络模型对所述定位结果进行处理，获得各个脊椎骨区域上的关键点；

弯曲角度获得模块，配置为根据各个脊椎骨区域上的关键点获得所述待处理脊柱图像的脊柱弯曲角度。

14.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至12中任一项所述的图像处理方法。

15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的图像处理方法。