CN108697375B - 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序 - Google Patents

脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序 Download PDF

Info

Publication number
CN108697375B
CN108697375B CN201780011447.0A CN201780011447A CN108697375B CN 108697375 B CN108697375 B CN 108697375B CN 201780011447 A CN201780011447 A CN 201780011447A CN 108697375 B CN108697375 B CN 108697375B
Authority
CN
China
Prior art keywords
image
spine
arrangement
spine arrangement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780011447.0A
Other languages
English (en)
Other versions
CN108697375A (zh
Inventor
松本守雄
渡边航太
青木义满
崔兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keio University
Original Assignee
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keio University filed Critical Keio University
Publication of CN108697375A publication Critical patent/CN108697375A/zh
Application granted granted Critical
Publication of CN108697375B publication Critical patent/CN108697375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4566—Evaluating the spine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature

Abstract

一种脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序。该脊柱排列推定装置能够根据表示人体表面的立体形状的图像，推定存在于人体内部的脊柱元素的排列的科布角和旋转角中的至少一方，使医生对脊柱侧弯症的诊断、判断者对脊柱的确认等变得容易，并且能够减少由不必要的X射线检查带来的医疗照射。脊柱排列推定装置具备：图像获取部(11)，获取表示人体表面的立体形状的图像；脊柱排列推定部(12)，利用累积的数据，推定人体的脊柱排列；以及角度计算部(13)，根据所推定的脊柱排列，计算科布角和旋转角中的至少一方。

Description

脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序
技术领域
本发明涉及脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序。
背景技术
脊柱侧弯症是指，通常从正面观察时，呈直线排列的脊梁骨(脊柱)向侧方、前后方向发生变形的一种疾病。在日本，根据学校保健安全法，在就学时以及定期诊查时，脊柱和胸廓有无疾病和异常的确认被作为义务。第一次诊查在以地方机关为中心的各学校进行，第一次诊查的结果，如果怀疑有侧弯症的情况，则进入第二次诊查，实施X射线摄影确定侧弯症的诊断。
在第一次诊查中，为了判定有无侧弯，利用莫尔检查的地方机关较多。在莫尔检查中，利用莫尔条纹测定装置，对儿童的背部进行摄像，根据映入所得到莫尔图像中的莫尔条纹数的不同等，评价背部左右的高低差，判定有无侧弯(参照非专利文献1和2。)。
但是，通过莫尔图像判定有无侧弯的全国统一标准并不存在，莫尔检查在各地方机关独自展开，在有无侧弯的判定上存在偏差。例如，报告显示：莫尔检查的灵敏度一般为100％，特异度为86％(Karachalios，Spine 1999)，但在平成2009年，东京都预防医学协会实施的两次诊查中，因第一次诊查怀疑侧弯症，实施2次诊查的X射线摄影的32％的学童被否定患有侧弯症，期望减轻这种情况下X射线摄影带来的医疗照射。
现有技术文件
非专利文件
非专利文献1：威尔纳(Willner)S.《莫尔轮廓：侧弯症的学校诊查方法(Moire′topography：a method for school screening of scoliosis)》.《矫形外科与创伤外科学文献集》(Arch Orthop Trauma Surg).1979年；第95巻：p181-185。
非专利文献2：达鲁瓦拉(Daruwarlla)JS，巴拉苏布鲁曼(Balasubrmanian)P.《侧弯症的莫尔轮廓：曲线的位置以及尺寸检测中的精度(Moire′topography in scoliosis：its accuracy in detecting the site and size of the curve)》.《骨与关节外科学杂志》(J Bone Joint Surg(Br)).1985年；第67巻：p211-213。
发明内容
发明所要解决的技术问题
本发明的目的是提供一种脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序，能够根据表示人体表面的立体形状的图像，推定存在于人体内部的脊柱元素的排列，使医生对脊柱侧弯症的诊断、判断者对脊柱的确认等变得容易，并且减少由不必要的X射线检查带来的医疗照射。
用于解决技术问题的手段
根据本发明的一方式，脊柱排列推定装置具备：(a)图像获取部，获取表示人体表面的立体形状的图像；(b)脊柱排列推定部，利用累积的数据并根据所获取的图像，推定脊柱排列；以及(c)角度计算部，基于所推定的脊柱排列，计算脊柱排列的科布角和旋转角中的至少一方。
根据本发明的另一方式，脊柱排列推定方法包括如下步骤：(a)获取表示人体表面的立体形状的图像；(b)利用累积的数据并根据所获取的图像，推定脊柱排列；以及(c)基于所推定的脊柱排列，计算脊柱排列的科布角和旋转角中的至少一方。
根据本发明的再另一方式，脊柱排列推定程序，其特征在于，使计算机执行如下流程：(a)使图像获取部获取表示人体表面的立体形状的图像；(b)使脊柱排列推定部利用累积的数据并根据所获取的图像，推定脊柱排列；以及(c)使角度计算部基于所推定的脊柱排列，计算脊柱排列的科布角和旋转角中的至少一方。
在本发明中，“累积的数据”是指，根据在临床场所获取的临床图像数据进行了机器学习的学习数据。作为临床图像数据，例如可例举X射线图像数据、CT图像数据等，但并不限定于此。作为机器学习，例如可例举深度学习(Deep Learning)等，但并不限定于此。
发明效果
根据本发明，能够提供一种脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序，能够根据表示人体表面的立体形状的图像，推定存在于人体内部的脊柱元素的排列，使医生对脊柱侧弯症的诊断、判断者对脊柱的确认等变得容易，并且减少由不必要的X射线检查带来的医疗照射。
附图说明
图1是示出本发明的第一实施方式的脊柱排列推定装置的一例的概略图。
图2是示出用于说明脊柱侧弯症的脊柱元素的排列的一例的概略图。
图3是示出本发明的第一实施方式的摄像装置的一例的概略图。
图4是示出本发明的第一实施方式的机器学习用的莫尔图像的一例的概略图。
图5是示出用于说明本发明的第一实施方式的机器学习方法的一例的流程图。
图6是示出本发明的第一实施方式的机器学习用的X射线图像的一例的概略图。
图7是示出本发明的第一实施方式的X射线图像上的脊柱的一例的概略图。
图8是示出本发明的第一实施方式的X射线图像的标记的一例的概略图。
图9是示出本发明的第一实施方式的莫尔图像与X射线图像对齐的一例的概略图。
图10是示出本发明的第一实施方式的机器学习方法的一例的概略图。
图11是示出本发明的第一实施方式的未知莫尔图像的一例的概略图。
图12是示出包括本发明的第一实施方式的脊柱排列的推定结果的莫尔图像的一例的概略图。
图13是用于说明本发明的第一实施方式的科布角计算方法的一例的概略图。
图14是示出包括本发明的第一实施方式的脊柱排列的推定结果以及科布角的计算结果的莫尔图像的一例的概略图。
图15是用于说明本发明的第一实施方式的脊柱排列推定方法的一例的流程图。
图16中的(a)及图16中的(b)分别是从彼此不同的方向观察时的本发明的第二实施方式的机器学习用的3D图像的一例的概略图。
图17是用于说明本发明的第二实施方式的机器学习方法的一例的流程图。
图18中的(a)～图18中的(c)分别是从彼此不同的方向观察时的本发明的第二实施方式的机器学习用的CT图像的一例的概略图。
图19中的(a)及图19中的(b)分别是从彼此不同的方向观察时的本发明的第二实施方式的未知3D图像的一例的概略图。
图20中的(a)及图20中的(b)分别是从彼此不同的方向观察时的包括本发明的第二实施方式的脊柱排列的推定结果的3D图像的一例的概略图。
图21是用于说明本发明的第二实施方式的脊柱排列推定方法的一例的流程图。
图22中的(a)是示出本发明的第二实施方式的变形例的椎体的一例的俯视图，图22中的(b)是示出从与图22中的(a)相差90°的方向观察时的椎体的一例的侧视图。
图23是示出本发明的第二实施方式的变形例的椎体的旋转角的计算方法的一例的概略图。
具体实施方式
接着，参照附图对本发明的第一实施方式及第二实施方式进行说明。在以下附图的记载中，相同或类似的部分被标注相同或类似的附图标记。其中，需要注意的是，附图是示意性的，厚度与平面尺寸的关系、厚度的比率等与现实中的并不同。另外，理所当然的，在附图之间也包括相互的尺寸关系、比率不同的部分。
另外，以下所示的第一实施方式及第二实施方式例示了用于将本发明的技术思想具体化的装置、方法，本发明的技术思想并不将构成部件的材质、形状、结构、配置等限定于下述方式。在权利要求书记载的权利要求所规定的技术范围内，可以对本发明的技术思想进行各种变更。
(第一实施方式)
<脊柱排列推定装置>
如图1所示，本发明的第一实施方式的脊柱排列推定装置具备图像处理装置10、摄像装置3以及输出装置4。图像处理装置10可以由具备中央处理单元(CPU)1以及存储装置2的计算机或等价于计算机的处理器、FPGA等可编程逻辑器件(PLD)、集成电路等构成。
通过本发明的第一实施方式的脊柱排列推定装置推定的脊柱元素的排列，对脊柱有无侧弯的判定、脊柱侧弯症的诊断等有效。人类的脊椎(脊梁骨)一般从头部开始依次以7个颈椎、12个胸椎、5个腰椎作为脊柱元素构成。在健康人的情况下，脊柱相对于人类的正面或背面大致呈直线，但在脊柱侧弯症者的情况下，如图2所示，脊柱随着扭曲而显著地呈现向侧方弯曲的症状。在图2中，例示了脊柱中的12个胸椎B1～B12以及5个腰椎B13～B17。以下，在本说明书中，将作为构成脊柱的元素的“颈椎”、“胸椎”、“腰椎”统称为“脊柱元素”。需要说明的是，在作为统称的“脊柱元素”的定义中，还可以包括比腰椎靠下侧的“骶椎”、“尾椎”。
图1所示的摄像装置3可以对表示人体表面的立体形状的图像进行摄像的装置。在本发明的第一实施方式中，对摄像装置3是摄像包括表示人体的背部的立体形状的莫尔条纹的莫尔图像的莫尔图像摄像装置(莫尔条纹测定装置)的情况进行说明。例如，如图3所示，作为摄像装置3的莫尔摄像装置具备：投光部31，向人体100的背部投射图案；以及相机32，对人体100的背部进行摄影。需要说明的是，作为摄像装置3，例如也可以使用三维(3D)扫描仪、CCD相机等，只要是可以对莫尔图像或等价于莫尔图像的二维(2D)图像进行摄像的装置，则不受特别限定。
摄像装置3对例如图4所示那样的莫尔图像101进行摄像。莫尔图像101中映有表示人体背部的立体形状的莫尔条纹。在脊柱侧弯症者的情况下，人体背部的高低差在左右变大，并且在左右莫尔条纹的条数、形状不同。
CPU1具备图像获取部11、脊柱排列推定部12、角度计算部13以及图像输出控制部14作为硬件资源即逻辑电路(模块)。其中，脊柱排列推定部12是构成执行深度学习(DeepLearning)等机器学习的人工智能的逻辑电路(模块)，并执行根据通过图像获取部11获取的莫尔图像而自动地、直接地推定脊柱排列(脊柱形状)的运算处理。
作为构成脊柱排列推定部12的人工智能(硬件资源)，可以使用执行卷积神经网络(CNN)等分层型神经网络、支持向量机(SVM)等计算机软件程序的硬件资源。
作为存储装置2，例如可以使用半导体存储器、磁盘、光盘等。如图1所示，存储装置2具备：X射线图像存储部21，存储多个用于脊柱排列推定部12进行机器学习的过去的X射线图像；学习用图像存储部22，存储多个用于脊柱排列推定部12进行机器学习的过去的莫尔图像；学习数据存储部23，存储通过脊柱排列推定部12的机器学习进行修正过的权值参数等学习数据；以及推定数据存储部24，存储脊柱排列推定部12得到的脊柱元素的推定结果等推定数据。
存储装置2还可以包括存储CPU1执行的脊柱排列推定程序、脊柱排列推定程序的执行中所需要的各种数据的CPU1内的寄存器、或在CPU1内或与CPU1相邻的高速缓冲存储器、或其他的虚拟存储装置等。图1是逻辑表示，作为包括寄存器、高速缓冲存储器的硬件资源而示意地表示了存储装置2，但并不一定与物理结构一致。
作为输出装置4，例如可以使用个人计算机(PC)、平板电脑终端等的液晶显示器(LCD)等显示器、打印机，投影仪、扬声器等。
<学习阶段>
在此，边参照图5的流程图边对包括本发明的第一实施方式的脊柱排列推定部12的机器学习方法的“学习阶段”的一例进行说明。在此，例示脊柱排列推定部12由CNN构成的情况。
步骤S11中，作为脊柱排列推定部12的机器学习的事先准备，准备多个(例如，数千集)过去对同一人物进行摄像而得的莫尔图像以及X射线图像的数据集。需要说明的是，作为数据集，优选现实中对同意人物进行摄像而得的莫尔图像以及X射线图像，但并不限定于此。例如，也可以采用对体型类似的不同人物分别进行摄像而得的莫尔图像以及X射线图像作为数据集。多个莫尔图像以及X射线图像分别储存于存储装置2的学习用图像存储部22以及X射线图像存储部21。
例如，将如图4中所例示性地示出1张(1个集合)那样的莫尔图像101的多个集合储存于学习用图像存储部22，并将如图6中所例示性的示出1张(1个集合)那样的X射线图像102的多个集合储存于X射线图像存储部21。如图6所示，1张(1个集合)X射线图像102是从站立者的背部观察的站立X射线正面图像。X射线图像102映有脊柱元素中的12个胸椎B1～B12以及5个腰椎B13～B17。
接着，在图5的步骤S12中，进行用于机器学习的正解数据的标记。脊柱排列推定部12从X射线图像存储部21提取并读取1张(1个集合)X射线图像102，提取X射线图像102上的胸椎B1～B12以及腰椎B13～B17的解剖学特征点(标识)。
例如，脊柱排列推定部12对X射线图像102进行边缘提取，并进行2值化。如图7所示，脊柱排列推定部12进一步对映入X射线图像102的胸椎B1进行矩形近似，将与矩形近似过的胸椎B1的4角对应的4点F1～F4提取为解剖学特征点(标识)，并计算4点F1～F4在X射线图像102上的坐标。所计算的4点F1～F4在X射线图像102上的坐标储存于学习数据存储部23。对于其他的多个集合，同样地，从X射线图像存储部21读取X射线图像，并将作为各自的解剖学特征点(标识)的坐标储存于学习数据存储部23。
脊柱排列推定部12进一步从学习数据存储部23读取特定集中的4点F1～F4在X射线图像102上的坐标，将矩形近似过的胸椎B1的重心C1提取为解剖学特征点(标识)，并计算重心C1在X射线图像102上的坐标(Xr1，Yr1)。所计算出的重心C1在X射线图像102上的坐标(Xr1，Yr1)储存于学习数据存储部23。
需要说明的是，在本发明的第一实施方式中，脊柱排列推定部12对胸椎B1进行矩形近似，并将矩形近似过的胸椎B1的重心C1提取为解剖学特征点，但并不限定于此，也可以提取其他的解剖学特征点。
如图8所示，脊柱排列推定部12对其他的胸椎B2～B12、腰椎B13～B17同样地提取重心C2～C17，并计算重心C2～C17在X射线图像102上的坐标(Xri，Yri)(i＝2～17)。所计算出的重心C2～C17在X射线图像102上的坐标(Xri，Yri)(i＝2～17)储存于学习数据存储部23。
如图8所示，脊柱排列推定部12进一步使用胸椎B1～B12以及腰椎B13～B17的重心C1～C17的坐标(Xri，Yri)(i＝1～17)，计算使胸椎B1～B12以及腰椎B13～B17的重心C1～C17连续的曲线L1。作为曲线L1，例如，例如可以采用B样条曲线等。所计算出的曲线L1储存于学习数据存储部23。上述步骤S12的处理针对存储于X射线图像存储部21的多个X射线图像中的每个进行，对各自的集合所计算出的曲线L1分别储存于学习数据存储部23。
接着，在图5的步骤S13中，脊柱排列推定部12从学习用图像存储部22以及X射线图像存储部21分别读取数据集并将莫尔图像与X射线图像进行对齐，作为该数据集例如为针对同一人物的莫尔图像和X射线图像。针对同一人物的莫尔图像和X射线图像只要是同时以相同姿势摄像的话，则该步骤S12的对齐步骤不必要，但一般情况下，莫尔图像与X射线图像在不同时刻被摄像，姿势通常也发生偏差。
因此，例如如图8所示，脊柱排列推定部12将映入从X射线图像存储部21读取到的X射线图像102中人体颈根部的两个点N1、N2提取为对齐用标记，并将两个点N1、N2在X射线图像102上的坐标储存于学习数据存储部23。如图9所示，脊柱排列推定部12进一步对从学习用图像存储部22读取到的莫尔图像101，将人体颈根部的两个点N3、N4提取为对齐用标记，并将两个点N3、N4在莫尔图像101上的坐标储存于学习数据存储部23。
脊柱排列推定部12进一步使莫尔图像101和X射线图像102的大小一致、并对其进行旋转及平行移动等，以使得从学习数据存储部23读取到的莫尔图像101的颈根部的两个点N1、N2与X射线图像102的颈根部的两个点N3、N4一致，。
其结果，如图9所示，莫尔图像101与X射线图像102被对齐，莫尔图像101的坐标系与X射线图像102的坐标系相关联。在图9中，例示了莫尔图像101与图8所示的对应于X射线图像102上的胸椎B1～B12及腰椎B13～B17的重心C1～C17的曲线L1重叠的情况。需要说明的是，作为对齐用标记，并不限定于颈根部的两个点，可以采用可将莫尔图像101和X射线图像102对齐的解剖学特征点。
在图9中，脊柱排列推定部12进一步将胸椎B1～B12及腰椎B13～B17的重心C1～C17在莫尔图像101上的坐标(Xmi，Ymi)(i＝1～17)作为正解数据进行计算。所计算出的重心C1～C17在莫尔图像101上的坐标(Xmi，Ymi)(i＝1～17)的正解数据储存于学习数据存储部23。上述步骤S13的处理针对存储于X射线图像存储部21的多个X射线图像以及存储于学习用图像存储部22中多个莫尔图像的各自的数据集进行，对各个数据集计算出的正解数据储存于学习数据存储部23。
接着，在图5的步骤S14中，脊柱排列推定部12在从学习用图像存储部22读取莫尔图像101后，以输出脊柱元素的排列信息的方式进行机器学习。在此，说明对构成脊柱排列推定部12的算法的CNN的权值进行调整的情况。
首先，如图10所示，脊柱排列推定部12将从学习用图像存储部22读取到的640×440像素的莫尔图像101的一部分进行剪切而作为莫尔图像101a。脊柱排列推定部12进一步将莫尔图像101a调整到220×220像素，将该调整后的莫尔图像101b的数据作为向CNN的计算机软件程序的输入数据。调整后的莫尔图像101b的数据不进行边缘提取等，以256级灰度被输入由脊柱排列推定部12执行的CNN的程序中。
在由CPU1的脊柱排列推定部12执行的CNN中，以输入莫尔图像101b后则输出脊柱元素的排列信息的方式构成网络算法。如图10所示，由脊柱排列推定部12执行的CNN具有能够学习的权值参数，并具备对图像上的每个位置进行特征提取(过滤处理)的例如5层卷积层CL1～CL5、以及将多有的单元连接而进行识别的例如3层全连接层FCL1～FCL3，从而构成分层型网络。卷积层CL1～CL5以及全连接层FCL1～FCL3的数据被依次储存于学习数据存储部23。
需要说明的是，虽省略图示，但由脊柱排列推定部12执行的CNN还可以具有池化层(降采样层)和局部响应归一化层，池化层具有自由参数并针对局部的平行移动进行不变的输出，局部响应归一化层将输出进行局部规格化。在局部响应归一化层中，例如执行扫描附近的值并进行平方和，并该值以线性变换后的值进行归一化等处理。
图10所示的卷积层CL1的过滤器尺寸为11×11，卷积层CL2的过滤器尺寸为5×5，卷积层CL3～CL5的过滤器尺寸为3×3，一边逐步改变尺度一边提取局部相关图案。卷积层CL1、CL2分别输出55×55×48维、27×27×128维的数据。卷积层CL3～CL5分别输出13×13×192维的数据。全连接层FCL1～FCL3对前层的单元上连接所有权值，全连接层FCL1、FCL2分别输出4096维的数据。最后的全连接层FCL3成为输出层。
由脊柱排列推定部12执行的CNN从位于图10的最后段的全连接层FCL3将17个胸椎B1～B12及腰椎B13～B17的重心C1～C17在莫尔图像101c上的坐标(Xpi，Ypi)(i＝1～17)作为推定数据进行计算。所计算出的胸椎B1～B12及腰椎B13～B17的重心C1～C17在莫尔图像101c上的坐标(Xpi，Ypi)(i＝1～17)储存于学习数据存储部23。
脊柱排列推定部12从学习数据存储部23读取作为推定数据的胸椎B1～B12及腰椎B13～B17的重心C1～C17在莫尔图像101c上的坐标(Xpi，Xpi)(i＝1～17)、以及作为正解数据的胸椎B1～B12及腰椎B13～B17的重心C1～C17在莫尔图像101上的坐标(Xmi，Ymi)(i＝1～17)，对胸椎B1～B12及腰椎B13～B17的重心C1～C17中的每个，计算推定数据与正解数据的误差(Xpi-Xmi，Ypi-Ymi)(i＝1～17)。
脊柱排列推定部12对于推定数据与正解数据的误差(Xpi-Xmi，Ypi-Ymi)(i＝1～17)，使用误差反向传播法(BP)对由脊柱排列推定部12执行的CNN卷积层CL1～CL5及全连接层FCL1～FCL3的权值参数进行修正，以使得减小误差(Xpi-Xmi，Ypi-Ymi)(i＝1～17)。在误差反向传播法中，从作为输出层的全连接层FCL3到作为输入层的卷积层CL1，通过反向传播误差的梯度从而修正权值。在修正该权值的误差反向传播法的学习算法中，可以使用梯度下降优化法等。
脊柱排列推定部12通过使用储存于学习用图像存储部22及X射线图像存储部21的多个莫尔图像与X射线图像的数据集，重复上述的误差反向传播法的处理而修正权值，从而进行学习。其结果，脊柱排列推定部12在从学习用图像存储部22读取未知莫尔图像时，能够将输出脊柱元素的排列信息的CNN算法作为学习数据(累积的数据)加以获取。
<推定阶段>
接着，对本发明的第一实施方式的脊柱排列推定装置执行根据未知莫尔图像推定脊柱排列的推定阶段时的、本发明的第一实施方式的脊柱排列推定装置的脊柱排列推定装置的结构及功能进行说明。
图1所示CPU1的图像获取部11获取通过摄像装置3进行摄像而得的图12所示那样的未知莫尔图像103。所获取的未知莫尔图像103储存于学习用图像存储部22。例如，图10所示，莫尔图像103以640×440像素、256级灰度构成。
CPU1的脊柱排列推定部12执行通过上述学习阶段而进行了机器学习的CNN。脊柱排列推定部12读取储存于学习用图像存储部22的莫尔图像103，剪切所读取的莫尔图像103的一部分。并且，通过将剪切的莫尔图像103调整成与图10所示的机器学习时同样的220×220像素，从而进行归一化。调整后的莫尔图像103储存于推定数据存储部24。
脊柱排列推定部12从推定数据存储部24读取调整后的莫尔图像103，并如图13所示那样，将17个胸椎B1～B12及腰椎B13～B17的重心P1～P17在莫尔图像103上的坐标(xmi，ymi)(i＝1～17)推定为脊柱排列。所推定的重心P1～P17在莫尔图像103上的坐标(xmi，ymi)(i＝1～17)作为推定数据储存于推定数据存储部24。
脊柱排列推定部12进一步将使计算出的胸椎B1～B12及腰椎B13～B17的重心P1～P17在莫尔图像103上的坐标(xmi，ymi)(i＝1～17)连续的曲线L2作为脊柱排列进行计算(推定)。作为曲线L2，例如可以是B样条曲线、将相邻重心P1～P17用直线相互连接而成的曲线。所计算出的曲线L2作为推定数据储存于推定数据存储部24。
图1所示的CPU1的角度计算部13从推定数据存储部24，读取由脊柱排列推定部12推定的胸椎B1～B12及腰椎B13～B17的重心P1～P17在莫尔图像103上的坐标(xmi，ymi)(i＝1～17)以及曲线L2，从而计算科布角(Cobb angle)。科布角通过科布(Cobb)法定义为脊柱元素的弯曲角，是脊柱侧弯症的判断标准之一。在目标的脊柱排列的弯曲(curve)中，从水平面最为倾斜的上下椎体(终椎)的倾斜水平面绘制直线延长线，科布角作为该2条延长线所的角度而被计算。在目前的侧弯症的治疗中，主要根据站立X射线正面图像进行判断，并根据站立X射线正面图像中的科布角的大小，选择保守治疗、支具治疗或手术。
例如，如图13所示，角度计算部13由脊柱排列推定部12推定的胸椎B1～B12以腰椎B13～B17的重心P1～P17中的每个，计算相对于曲线L2垂直且通过重心P1～P17的垂线V1～V17。角度计算部13进一步将与相对于水平方向倾斜最大的垂线V7，V11对应的胸椎B7、B11提取为基准点(终椎)。角度计算部13进一步将与基准点的胸椎B7、B11的重心P7、P11对应的垂线V7、V11的交差部分所成的角度作为科布角θ1进行计算。所计算出的科布角θ1储存于推定数据存储部24。
需要说明的是，作为科布角θ1的计算方法，也可以不是通过基准点的胸椎B7、B11的重心P7、P11的垂线V7、V11，而采用通过胸椎B7，B11的上端或下端的垂线，但在本发明的第一实施方式中，由于推定了胸椎B7，B11的重心P7，P11，因此以其代替。
图1所示CPU1的图像输出控制部14从推定数据存储部24读取由脊柱排列推定部12推定的17个胸椎B1～B12及腰椎B13～B17的重心P1～P17以及曲线L2，并以如图13所示那样在未知莫尔图像103上重叠的方式，将胸椎B1～B12和腰椎B13～B17的重心P1～P17以及曲线L2作为脊柱元素的排列信息的推定结果，向构成输出装置4的显示器等输出(显示)。
图像输出控制部14也可以进一步通从推定数据存储部24读取由角度计算部13计算出的科布角θ1，并将由角度计算部13计算出的科布角θ1与如图14所示那样在莫尔图像103上由脊柱排列推定部12推定的胸椎B1～B12和腰椎B13～B17的重心P1～P17以及曲线L2一起，向构成输出装置4的显示器等输出(显示)。科布角θ1可以将由角度计算部13计算出的具体度数(数值)向输出装置4输出(显示)。
需要说明的是，角度计算部13也可以在计算出科布角θ1后，判定所计算出的科布角θ1是否为预定阈值(例如，20度)以上。科布角θ1的判定结果储存于推定数据存储部24。并且，图像输出控制部14从推定数据存储部24读取科布角θ1的判定结果，并将该判定结果向构成输出装置4的显示器等输出(显示)。
另外，在脊柱排列为S字状侧弯症的情况下，在一个脊柱排列中，存在两个弯曲。此时，角度计算部13可以对两个弯曲分别确定两个终椎，并计算科布角θ1。两个科布角θ1的计算结果储存于推定数据存储部24。而且，图像输出控制部14从推定数据存储部24读取两个科布角θ1的判定结果，并将该判定结果向构成输出装置4的显示器等输出(显示)。
<脊柱排列推定方法>
接着，一边参照图15的流程图一边对本发明的第一实施方式的脊柱排列推定方法的一例进行说明。需要说明的是，以下所示的脊柱排列推定方法仅是一例，其流程并不限定于此。
在步骤S21中，摄像装置3摄像莫尔图像。进行摄像而得的未知莫尔图像储存于存储装置2的学习用图像存储部22。需要说明的是，未知莫尔图像可以不通过摄像装置3，而是经由互联网、内联网等信息网等被预先储存于存储装置2的学习用图像存储部22。或者，可以通过将3D扫描仪等获取的图像转换为莫尔图像或等价于莫尔图像的2D图像的图像处理装置10而被预先储存于学习用图像存储部22。图像获取部11从学习用图像存储部22读取并获取未知莫尔图像。
在步骤S22中，CPU1的脊柱排列推定部12使用储存于学习数据存储部23的机器学习后的学习数据(累积的数据)，根据图像获取部11所获取的未知莫尔图像推定脊柱排列。脊柱排列的推定结果储存于推定数据存储部24。
在步骤S23中，CPU1的角度计算部13从推定数据存储部24读取由脊柱排列推定部12推定的脊柱排列，并计算科布角。所计算出的科布角储存于推定数据存储部24。
在步骤S24中，CPU1的图像输出控制部14从推定数据存储部24读取由脊柱排列推定部12推定的脊柱排列，以及由角度计算部13计算出的科布角，并例如在输出装置4显示器的画面中进行显示。
如上所述，根据本发明的第一实施方式的脊柱排列推定装置以及脊柱排列推定方法，使用CPU1通过机器学习的手法执行的人工智能，能够高精度地根据莫尔图像推定脊柱元素的排列。因此，医生参照所推定的脊柱排列以及科布角，能够高精度地诊断侧弯症的有无及其程度，并能够医生间的诊断偏差。学校诊查中的判断者，也同样容易地进行有无侧弯的判定。
进一步地，由于可以高精度地推定脊柱元素的排列，所以能够减少在第一次诊查中怀疑侧弯症而通过第二次诊查中的X射线摄影否定侧弯症的情况那样的、本来不必要的X射线图像的实施，能够降低儿童的医疗照射。
<脊柱排列推定程序>
本发明的第一实施方式的脊柱排列推定程序，使构成图像处理装置10的计算机执行图15所示的脊柱排列推定方法的流程。即，本发明的第一实施方式的脊柱排列推定程序使构成图像处理装置10的计算机执行以下流程：(a)使图像获取部11获取表示人体的背面等人体表面的立体形状的图像(莫尔图像)的流程；(b)使脊柱排列推定部12使用根据过去进行摄像而得的莫尔图像及X射线图像的数据集而进行过机器学习的学习数据，根据所获取的未知莫尔图像，推定人体的脊柱排列的流程；(c)使角度计算部13使用所推定的脊柱排列，计算人体的科布角的流程；以及(d)使图像输出控制部14向输出装置4输出表示所推定的脊柱排列以及在所计算出的科布角的信号的流程等。本发明的第一实施方式的脊柱排列推定程序例如可以储存于存储装置2。
(第二实施方式)
在本发明的第一实施方式中，例示了二维上推定脊柱排列的情况，但脊柱侧弯症是伴随三维脊柱扭曲的变形。因此，在脊柱侧弯症的评价中，不仅从正面观察的变形(侧弯)，从侧面观察的变形(前弯及后弯)、椎体的扭曲(旋转)也是重要的因素。因此，本发明的第二实施方式中，例示三维上推定脊柱排列的情况。
<脊柱排列推定装置>
本发明的第二实施方式的脊柱排列推定装置，与本发明的第一实施方式的脊柱排列推定装置同样地如图1所示那样，具备图像处理装置10、摄像装置3以及输出装置4。在本发明的第二实施方式中，与本发明的第一实施方式的不同点在于，摄像装置3是摄像表示人体表面的立体形状的三维(3D)图像的3D摄像机。作为摄像装置3，例如可以使用3D扫描仪，只要是能摄像3D图像的装置，则不受特别限定。
例如，作为摄像装置3的3D扫描仪通过扫描人体背部，从而摄像人体背部的3D图像(距离图像)。或者，作为摄像装置3的3D扫描仪也可以通过在利用转台使人物旋转360°的同时进行扫描，从而摄像包括人体前面、侧面以及背面的360°的3D图像。并且，也可以从360°的3D图像中选择性地使用人体背部侧的数据。
摄像装置3例如摄像图16中的(a)及图16中的(b)中示意性所示人体表面的3D图像201。图16中的(a)示出了从背面侧观察人体的3D图像201，图16中的(b)示出了从与图16中的(a)错开90°的不同方向即侧面观察人体时的背部侧的3D图像201。如图16中的(a)及图16中的(b)所示，3D图像201包含从人体的背面观察时作为左右方向的x轴方向、作为上下方向的y轴方向、作为进深方向的z轴方向的三维信息。在图16中的(a)及图16中的(b)中，根据z轴方向上摄像装置3与人体背面之间的距离而示意地分阶区分开阴影。在脊柱侧弯症者的情况下，特别是，人体背部的高低差在左右增大，z轴方向上的距离在左右的分布不对称。
<学习阶段>
在此，一边参照图17的流程图一边对包括本发明的第二实施方式的脊柱排列推定部12的机器学习方法的“学习阶段”的一例进行说明。在此，例示脊柱排列推定部12由CNN构成的情况。
在步骤S31中，作为脊柱排列推定部12的机器学习的事先准备，准备多个(例如，数千集)过去对同一人物等进行摄像而得的表示人体背面的立体形状的3D图像以及与此对应的X射线图像的数据集。多个3D图像以及X射线图像分别储存于存储装置2的学习用图像存储部22以及X射线图像存储部21。
例如，将如图16中的(a)及图16中的(b)中所例示性地示出1张(1个集合)那样的3D图像201的多个集合储存于学习用图像存储部22，并将作为如图18中的(a)～图18中的(c)中所例示性地示出1张(1个集合)那样的X射线图像的计算机断层摄影(CT)图像202的多个集合储存于X射线图像存储部21。CT图像202以卧位被摄像，图18中的(a)示出了从背面观察人体的特定剖面的CT图像202，图18中的(b)示出了从侧面观察人体的特定剖面的CT图像202，图18中的(c)示出了从上侧观察人体的特定剖面的CT图像202。图如18中的(a)～图18中的(c)所示，CT图像202由从人体的背面观察时作为左右方向的x轴方向、作为上下方向的y轴方向、作为进深方向的z轴方向的三维体素数据构成。
接着，在图17的步骤S32中，进行用于机器学习的正解数据的标记。脊柱排列推定部12从X射线图像存储部21读取1张(1个集合)CT图像202，使用解剖学特征点计算CT图像202上的脊柱元素的重心的3D坐标。例如，如图18中的(a)～图18中的(c)所示，对从人体正面(z轴方向)以及侧面(x轴方向)观察时的腰椎B14分别进行矩形近似，计算腰椎B14的重心C14在CT图像202上的坐标(Xct14，Yct14，Zct14)。与腰椎B14同样地，对于其他的胸椎B1～B12及腰椎B13、B15～B17，也从CT图像202的体素数据中提取胸椎B1～B12及腰椎B13、B15～B17，并计算胸椎B1～B12及腰椎B13、B15～B17的重心C1～C13、C15～C17在CT图像202上的坐标(Xcti，Ycti，Zcti)(i＝1～17)。所计算出的重心C1～C17在CT图像202上的坐标(Xcti，Ycti，Zcti)(i＝1～17)储存于学习数据存储部23。
接着，在图17的步骤S33中，脊柱排列推定部12从学习用图像存储部22以及X射线图像存储部21分别读取作为数据集的3D图像201和CT图像202，将3D图像201和CT图像202在三维上进行对齐。例如，对于3D图像201及CT图像202，分别将从人体正面(z轴方向)观察时的人体颈部的左右根部位置、以及从人体侧面(x轴方向)观察时的背面侧的颈根部的位置等特征点作为对齐用标记，从而分别进行提取。
并且，使3D图像201和CT图像202的大小一致，并对其进行旋转以平移移动等，以使得3D图像201及CT图像202各自的对齐用标记彼此一致。其结果，3D图像201和CT图像202在三维上重叠，3D图像201的坐标系与CT图像202的坐标系相关联。
脊柱排列推定部12进一步将胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(X3di，Y3di，Z3di)(i＝1～17)作为正解数据进行计算。所计算出的重心C1～C17在3D图像201上的坐标(X3di，Y3di，Z3di)(i＝1～17)的正解数据储存于学习数据存储部23。上述步骤S33的处理针对存储于X射线图像存储部21的多个CT图像以及存储于学习用图像存储部22的多个3D图像的各自的数据集进行，针对各自的数据集计算出的正解数据储存于学习数据存储部23。
接着，在图17的步骤S34中，与本发明的第一实施方式同样地，脊柱排列推定部12在从学习用图像存储部22读取3D图像201后，以输出脊柱元素的排列信息的方式进行机器学习。脊柱排列推定部12例如将从学习用图像存储部22读取的3D图像201的一部分剪切并进行调整，并将该调整后的3D图像201的数据作为向CNN的计算机软件程序的输入数据。
在由CPU1的脊柱排列推定部12执行的CNN中，以输入调整过的3D图像201后则输出脊柱元素的排列信息的方式构成网络算法。由脊柱排列推定部12执行的CNN将17个胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(Xpi，Ypi，Zpi)(i＝1～17)作为推定数据进行计算。所计算出的胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(Xpi，Ypi，Zpi)(i＝1～17)储存于学习数据存储部23。
脊柱排列推定部12从学习数据存储部23读取作为推定数据的胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(Xpi，Ypi，Zpi)(i＝1～17)、和作为正解数据的胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(X3di，Y3di，Z3di)(i＝1～17)，对胸椎B1～B12以及腰椎B13～B17的重心C1～C17中的每个，计算推定数据与正解数据的误差(Xpi-X3di，Ypi-Y3di，Zpi-Z3di)(i＝1～17)。推定数据与正解数据的误差(Xpi-X3di，Ypi-Y3di，Zpi-Z3di)(i＝1～17)储存于学习数据存储部23。
脊柱排列推定部12从学习数据存储部23读取推定数据与正解数据的误差(Xpi-X3di，Ypi-Y3di，Zpi-Z3di)(i＝1～17)，使用误差反向传播法(BP)对权值参数进行修正，以使得减小推定数据与正解数据的误差(Xpi-X3di，Ypi-Y3di，Zpi-Z3di)(i＝1～17)。
脊柱排列推定部12通过使用储存于学习用图像存储部22以及X射线图像存储部21的多个3D图像和CT图像的数据集，重复上述的误差反向传播法的处理而修正权值，从而进行学习。其结果，脊柱排列推定部12在从学习用图像存储部22读取未知3D图像后，能够将输出脊柱元素的排列信息的CNN的算法作为学习数据(累积的数据)加以获取。
<推定阶段>
接着，对本发明的第二实施方式的脊柱排列推定装置执行根据未知3D图像推定脊柱排列的推定阶段时的、本发明的第二实施方式的脊柱排列推定装置的脊柱排列推定装置的结构及功能进行说明。
图1所示CPU1的图像获取部11获取通过摄像装置3进行摄像而得的图19中的(a)及图19中的(b)所示那样的未知3D图像203。图19中的(a)示出了从背面侧观察人体时的3D图像203，图19中的(b)示出了从与图19中的(a)错开90°的不同方向即侧面侧观察人体时的背部侧的3D图像203。所获取的未知3D图像203储存于学习用图像存储部22。
CPU1的脊柱排列推定部12执行通过上述学习阶段而进行了机器学习的CNN。脊柱排列推定部12读取储存于学习用图像存储部22的3D图像203，剪切所读取的3D图像203的一部分。并且，通过将剪切的3D图像203调整成与机器学习时同样的尺寸，从而进行正规化。调整后的3D图像203储存于推定数据存储部24。
脊柱排列推定部12从推定数据存储部24读取调整后的3D图像203，并如图20中的(a)及图20中的(b)所示那样，将17个胸椎B1～B12及腰椎B13～B17的重心P1～P17在3D图像203上的坐标(x3di，y3di，z3di)(i＝1～17)作为脊柱排列进行推定。所推定的重心P1～P17在3D图像203上的坐标(x3di，y3di，z3di)(i＝1～17)作为推定数据储存于推定数据存储部24。
脊柱排列推定部12进一步将使计算出的胸椎B1～B12及腰椎B13～B17的重心P1～P17在3D图像203上的坐标(x3di，y3di，z3di)(i＝1～17)连续的三维曲线L3作为脊柱排列进行计算(推定)。作为曲线L3，例如可以是B样条曲线、将相邻重心P1～P17用直线相互连接而成的曲线。所计算出的曲线L3作为推定数据储存于推定数据存储部24。
图1所示的CPU1的角度计算部13从推定数据存储部24，读取由脊柱排列推定部12推定的胸椎B1～B12及腰椎B13～B17的重心P1～P17在3D图像203上的坐标(x3di，y3di，z3di)(i＝1～17)以及曲线L3，并利用与本发明的第一实施方式同样的方法来计算科布角θ2。在本发明的第二实施方式中，由于胸椎B1～B12及腰椎B13～B17的重心P1～P17在3D图像203上的坐标(x3di，y3di，z3di)(i＝1～17)以及曲线L3在三维上计算，因此科布角θ2也在三维上计算。所计算出的科布角θ2储存于推定数据存储部24。
图1所示CPU1的图像输出控制部14从推定数据存储部24，读取由脊柱排列推定部12推定的17个胸椎B1～B12及腰椎B13～B17的重心P1～P17在3D图像203上的坐标(x3di，y3di，z3di)(i＝1～17)以及曲线L3，比以如图20中的(a)及图20中的(b)所示那样在未知3D图像203上重叠的方式，将胸椎B1～B12及腰椎B13～B17的重心P1～P17在3D图像203上的坐标(x3di，y3di，z3di)(i＝1～17)以及曲线L3作为脊柱元素的排列信息的推定结果，向构成输出装置4的显示器等输出(显示)。
图像输出控制部14也可以进一步从推定数据存储部24读取由角度计算部13计算处的科布角θ2，并以如图20中的(a)及图20中的(b)所示那样在3D图像203上重叠的方式，将科布角θ2与由脊柱排列推定部12推定的胸椎B1～B12及腰椎B13～B17的重心P1～P17以及曲线L3一起，向构成输出装置4的显示器等输出(显示)。
<脊柱排列推定方法>
接着，一边参照图21的流程图一边对根据本发明的第二实施方式的脊柱排列推定方法的一例进行说明。需要说明的是，以下所示的脊柱排列推定方法仅是一例，其流程并不限定于此。
在步骤S41中，摄像装置3摄像表示人体表面的立体形状的3D图像。进行摄像而得的未知3D图像储存于存储装置2的学习用图像存储部22。需要说明的是，未知3D图像可以不通过摄像装置3，而是经由互联网、内联网等信息网等被预先储存于存储装置2的学习用图像存储部22。另外，未知3D图像也可以不是使用与机器学习时的数据集的3D图像相同的3D摄像机进行摄像而得的图像，只要是表示人体表面的立体形状的3D图像即可。图像获取部11从学习用图像存储部22读取并获取未知3D图像。
在步骤S42中，CPU1的脊柱排列推定部12使用储存于学习数据存储部23的机器学习后的学习数据(累积的数据)，根据图像获取部11所获取的未知3D图像推定脊柱排列。脊柱排列的推定结果储存于推定数据存储部24。
在步骤S43中，CPU1的角度计算部13从推定数据存储部24读取由脊柱排列推定部12推定的脊柱排列，并计算科布角。所计算出的科布角储存于推定数据存储部24。
在步骤S44中，CPU1的图像输出控制部14从推定数据存储部24读取由脊柱排列推定部12推定的脊柱排列，以及由角度计算部13计算出的科布角，并例如在输出装置4显示器的画面中进行显示。
如上所述，根据本发明的第二实施方式的脊柱排列推定装置以及脊柱排列推定方法，与本发明的第一实施方式同样地，使用CPU1通过机器学习的手法执行的人工智能，能够高精度地根据3D图像推定脊柱元素的排列。因此，医生参照所推定的脊柱排列以及科布角，能够高精度地诊断侧弯症的有无及其程度，并能够医生间的诊断偏差。
进一步地，根据本发明的第二实施方式的脊柱排列推定装置以及脊柱排列推定方法，使用将3D图像和CT图像用作数据集而得到的学习数据，根据3D图像能够在三维上推定脊柱元素的排列，能够计算三维上最大的科布角。因此，能够更高精度地推定脊柱排列以及科布角。
另外，莫尔图像摄像机已经停产，需要不使用莫尔图像摄像机的新的脊柱排列推定装置。与此相对，由于能够根据利用3D摄像机进行摄像而得的3D图像在三维上推定脊柱元素的排列，因此能够期待作为新的脊柱排列推定装置的活用。
<脊柱排列推定程序>
本发明的第二实施方式的脊柱排列推定程序，使构成图像处理装置10的计算机执行图21所示的脊柱排列推定方法的流程。即，本发明的第二实施方式的脊柱排列推定程序使构成图像处理装置10的计算机执行以下流程：(a)使图像获取部11获取表示人体的背面等人体表面的立体形状的3D图像(莫尔图像)的流程；(b)使脊柱排列推定部12使用根据过去进行摄像而得的3D图像及X射线图像(CT图像)的数据集而进行过机器学习的学习数据，根据所获取的未知3D图像，推定人体的脊柱排列的流程；(c)使角度计算部13使用所推定的脊柱排列，计算人体的科布角的流程；(d)以及(d)使图像输出控制部14向输出装置4输出表示所推定的脊柱排列以及在所计算出的科布角的信号的流程等。本发明的第二实施方式的脊柱排列推定程序例如可以储存于存储装置2。
(第二实施方式的变形例)
作为本发明的第二实施方式的变形例，例示推定椎骨的扭曲(旋转)的情况。脊柱侧弯症的评价主要基于站立X射线图像(正面像以及侧面像)和CT图像进行。具体地，使用站立X射线正面像评价从正面观察时的变形(侧弯)，利用站立X射线侧面像评价前弯、后弯。关于旋转，通过Nash&Moe法等根据站立X射线正面像上的椎骨外观来评价旋转程度，但并不是直接评价旋转的角度。另一方面，在CT图像中，能够直接评价椎骨的旋转，但通常导致X射线图像中摄像时间以上的过曝。因为脊柱侧弯症的患者大多为儿童，因此存在损害将来健康的可能性。对此，本发明的第二实施方式的变形例中，不进行CT图像的摄像，而是高精度地推定椎骨的旋转。
<学习阶段>
在图17所示的学习阶段的步骤S31中，作为脊柱排列推定部12的机器学习的事先准备，准备多个(例如，数千集)过去摄像而得的表示人体背面的立体形状的3D图像以及与之对应的X射线图像(CT图像)的数据集。多个3D图像以及X射线图像分别储存于存储装置2的学习用图像存储部22以及X射线图像存储部21。
接着，在图17的步骤S32中，进行用于机器学习的正解数据的标记。脊柱排列推定部12根据CT图像202，计算17个胸椎B1～B12及腰椎B13～B17的重心C1～C17在CT图像202上的坐标(Xcti，Ycti，Zcti)(i＝1～17)，并计算胸椎B1～B12及腰椎B13～B17的各自棘突的3D坐标。例如，如图22中的(a)及图22中的(b)所示，棘突SP1是指椎骨(胸椎)B1的后端隆起突出的部分。棘突SP1可以从CT图像202确定为特征点。脊柱排列推定部12计算胸椎B1的棘突SP1在CT图像202上的3D坐标(Xsp1，Ysp1，Zsp1)。虽省略图示，但同样也可以计算其他胸椎B2～B12及腰椎B13～B17的棘突SP2～SP17在CT图像202上的3D坐标(Xctspi，Yctspi，Zctspi)(i＝2～17)。所计算出的重心C1～C17在CT图像202上的坐标(Xcti，Ycti，Zcti)(i＝1～17)和胸椎B1～B12及腰椎B13～B17的棘突SP1～SP17在CT图像202上的3D坐标(Xctspi，Yctspi，Zctspi)(i＝1～17)储存于学习数据存储部23。
接着，在图17的步骤S33中，脊柱排列推定部12从学习用图像存储部22以及X射线图像存储部21分别读取作为数据集的3D图像201和CT图像202，将3D图像201和CT图像202在三维上进行对齐，并将3D图像201的坐标系与CT图像202的坐标系相关联。
脊柱排列推定部12进一步将胸椎B1～B12以及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(X3di，Y3di，Z3di)(i＝1～17)作为正解数据进行计算。所计算出的重心C1～C17在3D图像201上的坐标(X3di，Y3di，Z3di)(i＝1～17)的正解数据储存于学习数据存储部23。脊柱排列推定部12进一步将胸椎B1～B12及腰椎B13～B17的棘突SP1～SP17在3D图像201上的3D坐标(X3dspi，Y3dspi，Z3dspi)(i＝1～17)作为正解数据进行计算。所计算出的棘突SP1～SP17在3D图像201上的3D坐标(X3dspi，Y3dspi，Z3dspi)(i＝1～17)的正解数据储存于学习数据存储部23。上述步骤S33的处理针对存储于X射线图像存储部21的多个CT图像以及存储于学习用图像存储部22的多个3D图像的各自的数据集进行，对各自的数据集计算出的正解数据储存于学习数据存储部23。
接着，在图17的步骤S34中，脊柱排列推定部12在从学习用图像存储部22读取3D图像201后，以除了17个胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(Xpi，Ypi，Zpi)(i＝1～17)之外，还输出17个胸椎B1～B12及腰椎B13～B17的棘突SP1～SP17在3D图像201上的3D坐标(Xspi，Yspi，Zspi)(i＝1～17)的方式进行机器学习。
由脊柱排列推定部12执行的CNN，将17个胸椎B1～B12及腰椎B13～B17的棘突SP1～SP17在3D图像201上的3D坐标(Xspi，Yspi，Zspi)(i＝1～17)与17个胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(Xpi，Ypi，Zpi)(i＝1～17)一并作为推定数据进行计算。所计算出的胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(Xpi，Ypi，Zpi)(i＝1～17)和胸椎B1～B12及腰椎B13～B17的棘突SP1～SP17在3D图像201上的3D坐标(Xspi，Yspi，Zspi)(i＝1～17)储存于学习数据存储部23。
脊柱排列推定部12读取作为推定数据的胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(Xpi，Ypi，Zpi)(i＝1～17)、和胸椎B1～B12及腰椎B13～B17的棘突SP1～SP17在3D图像201上的3D坐标(Xspi，Yspi，Zspi)(i＝1～17)，使用误差反向传播法(BP)对权值参数进行修正，以使得减小关于重心C1～C17的推定数据与正解数据的误差(Xpi-X3di，Ypi-Y3di，Zpi-Z3di)(i＝1～17)、以及关于棘突SP1～SP17的推定数据与正解数据的误差(Xspi-X3dspi，Yspi-Y3dspi，Zspi-Z3dspi)(i＝1～17)。
脊柱排列推定部12通过使用储存于学习用图像存储部22以及X射线图像存储部21的多个3D图像和CT图像的数据集，重复上述的误差反向传播法的处理而修正权值，从而进行学习。其结果，脊柱排列推定部12在从学习用图像存储部22读取未知3D图像后，能够将处除了17个胸椎B1～B12及腰椎B13～B17的重心C1～C17在3D图像201上的坐标(Xpi，Ypi，Zpi)(i＝1～17)之外、还输出17个胸椎B1～B12及腰椎B13～B17的棘突SP1～SP17在3D图像201上的3D坐标(Xspi，Yspi，Zspi)(i＝1～17)的CNN的算法加以获取。
<推定阶段>
接着，在图21的推定阶段的步骤S41中，摄像装置3摄像表示人体背面的立体形状的3D图像。进行摄像而得的未知3D图像储存于存储装置2的学习用图像存储部22。图像获取部11从学习用图像存储部22读取并获取未知3D图像。
在步骤S42中，CPU1的脊柱排列推定部12利用储存于学习数据存储部23的机器学习过的学习数据，根据图像获取部11获取的未知3D图像，推定由17个胸椎B1～B12及腰椎B13～B17的重心P1～P17的3D坐标构成的脊柱排列，并推定17个胸椎B1～B12及腰椎B13～B17的各自棘突的3D坐标。例如，如图23所示，脊柱排列推定部12推定胸椎B1的棘突SP1的位置p1的3D坐标。需要说明的是，其他胸椎B2～B12及腰椎B13～B17的各自棘突SP2～SP17的位置p2～p17的3D坐标也同样地进行推定。脊柱排列以及棘突的3D坐标的推定结果储存于推定数据存储部24。
在步骤S43中，CPU1的角度计算部13从推定数据存储部24读取由脊柱排列推定部12推定的脊柱排列，并计算科布角θ2。所计算出的科布角θ2储存于推定数据存储部24。进一步地，CPU1的角度计算部13根据由脊柱排列推定部12推定的脊柱排列以及棘突的3D坐标，计算胸椎B1～B12及腰椎B13～B17的旋转角。胸椎B1～B12及腰椎B13～B17的旋转角作为使人体在上下方向垂直的平面中、胸椎B1～B12及腰椎B13～B17的正中线相对于人体的前后方向所倾斜的角度进行计算，是判断侧弯症时的指标。
例如，如图23所示，将通过胸椎B1的重心P1的3D坐标以及棘突SP1的位置p1的3D坐标的直线L4作为正中线进行计算。并且，将正中线L4与平行于3D图像的z轴方向的直线L5所成的角θ3作为旋转角进行计算。对于其他胸椎B2～B12及腰椎B13～B17，角度计算部13也同样地计算旋转角θ3。所计算出的胸椎B1～B12及腰椎B13～B17的各自的旋转角θ3储存于推定数据存储部24。
在步骤S44中，CPU1的图像输出控制部14从推定数据存储部2读取由脊柱排列推定部12推定的脊柱排列、由角度计算部13计算的科布角θ2、胸椎B1～B12及腰椎B13～B17的各自的旋转角θ3，并例如在输出装置4显示器的画面进行显示。
如上所述，根据本发明的第二实施方式的脊柱排列推定装置以及脊柱排列推定方法，与本发明的第一实施方式同样地，使用CPU1通过机器学习的手法执行的人工智能，能够高精度地根据3D图像推定脊柱元素的排列。因此，医生参照所推定的脊柱排列以及科布角，能够高精度地诊断侧弯症的有无及其程度，并能够医生间的诊断偏差。
进一步地，根据本发明的第二实施方式的脊柱排列推定装置以及脊柱排列推定方法，使用将3D图像和CT图像用作数据集而得到的学习数据，根据3D图像能够在三维上推定脊柱元素的排列，能够计算三维上最大的科布角。因此，处理X射线图像的科布角的大小这样的当前评价基准，还可以得到站立时的三维脊柱排列、三维最大科布角、各椎体的旋转角的信息，因此能够进行侧弯发展的预测、以后预测、病理解读等，具有确立新的治疗法、治疗体系的可能性。
需要说明的是，在本发明的第二实施方式的变形例中，例示了根据三维上的脊柱元素的排列计算科布角θ2以及脊柱元素的旋转角θ3的情况，但也可以仅计算脊柱元素的旋转角θ3。通过计算脊柱元素的旋转角θ3并进行输出(显示)，能够作为医生判断侧弯症时的材料加以活用。
另外，CPU1的角度计算部13也可以从推定数据存储部24读取胸椎B1～B12及腰椎B13～B17的各自的旋转角θ3，将胸椎B1～B12及腰椎B13～B17的各自的旋转角θ3与预定阈值进行比较而判定大小、提取胸椎B1～B12及腰椎B13～B17的各自的旋转角θ3中的最大值、使用预定阈值对胸椎B1～B12及腰椎B13～B17的各自的旋转角θ3分级地进行分类。并且，CPU1的角度计算部13的运算结果可以适当地在输出装置4显示器的画面进行显示。
(其他实施方式)
如上所述，本发明通过第一实施方式及第二实施方式进行了记载，但并不应理解为，构成该公开的一部分的论述以及附图对本发明进行了限定。根据该公开，本领域的技术人员自然可知晓各种替代实施方式、实施例以及运用技术。
例如，在本发明的第一实施方式及第二实施方式中，对由12个胸椎和5个腰椎组成的17个胸椎B1～B12及腰椎B13～B17的脊柱元素的排列进行推定的情况进行了说明，但推定的脊柱元素的排列并不限于17个脊柱元素。例如，也可以将17个以下的胸椎、腰椎作为对象，也可以将包括胸椎上侧的颈椎、腰椎下侧的仙椎、尾椎的17个以上的脊柱元素作为对象。
另外，在本发明的第一实施方式中，例示了利用作为二维数据的莫尔图像以及作为X射线图像的二维数据的站立X射线正面图像的数据集而得到学习数据，并利用该学习数据且根据未知莫尔图像在二维上推定脊柱排列等的情况。另外，在本发明的第二实施方式中，例示了利用作为三维数据的3D图像、以及作为X射线图像的三维数据的CT图像的数据集而得到学习数据，并利用该学习数据且根据未知3D图像在三维上推定脊柱元素等的情况。在此，也可以结合本发明的第一实施方式及第二实施方式，利用莫尔图像以及作为X射线图像的CT图像的数据集而得到学习数据，并利用该学习数据且根据未知莫尔图像而在二维或三维上推定脊柱排列等。或者，也可以利用3D图像以及作为X射线图像的站立X射线正面图像的数据集而得到学习数据，并利用该学习数据且根据未知3D图像而在二维上推定脊柱排列等。
进一步地，在本发明的第二实施方式中，例示了分开准备通过3D摄像机进行摄像而得的3D图像、以及作为X射线图像的CT图像的情况，但是也可以从CT图像中将人体背部等人体表面的立体形状作为3D图像进行提取。能够利用将该提取出的3D图像和CT图像作为数据集而得到学习数据，并使用该学习数据且根据由3D摄像机得到的未知3D图像而在三维上推定脊柱排列等。
进一步地，在本发明的第一实施方式及第二实施方式中，着眼于人体背部(人体后面侧)的立体形状进行了说明，但表示人体后面侧的人体表面形状的3D图像也可以是从人体后面侧利用距离图像传感器进行摄像而得的距离图像。需要说明的是，推定脊柱排列等所需要的3D图像并不一定限定于于人体后面侧的3D图像。如果是包括反应了脊柱排列的位置的3D图像，则也可以将包括人体前面侧的从360°方向对人体的全面观察而得的表面图像作为源数据。另外，也可以从所获取的从360°方向观察的表面图像的源数据，选择人体后面侧的立体形状的数据。
进一步地，因为脊柱排列在人体背面侧体现最为明显，因此优选利用人体背面侧的3D图像，但如果累积有足够的数据存储，则也可以利用人体前面侧的3D图像，并能够通过使用将人体前面侧的3D图像作为CT图像等和数据集而得到的学习数据等，在三维上推定脊柱排列等。即，只要是能够反映三维上脊柱排列的人体表面的3D图像的数据，则能够推定脊柱排列等，因此并不限定于人体背部的3D图像。
另外，作为本发明的第二实施方式的摄像装置3的、用于3D图像摄像的3D摄像机，只要其波长为红外线、亚毫米波，则能够透过薄布而获取人体表面的3D图像。因此，即使是穿着衣服的状态，也能够高精度地对人体表面的3D图像进行摄像，并能够推定脊柱排列等。另外，即使是红外线、亚毫米波以外波长的3D摄像机，通过去除噪声，则即使是在穿着衣服的状态，也可以对人体表面的3D图像进行摄像。
工业上的可利用性
本发明能够应用在脊柱排列推定装置、脊柱排列推定方法和脊柱排列推定程序中，能够根据3D图像、莫尔图像推定脊柱元素的排列，使医生对脊柱侧弯症的诊断、判断者对脊柱的确认等变得容易，并能够减少由不必要的X射线检查带来的医疗照射。
附图标记说明：
1…中央处理单元(CPU)；2…存储装置；3…摄像装置；4…输出装置；10…图像处理装置；11…图像获取部；12…脊柱排列推定部；13…角度计算部；14…图像输出控制部；21…X射线图像存储部；22…学习用图像存储部；23…学习数据存储部；24…推定数据存储部；31…投光部；32…相机；100…人体；101、101a、101b、101c、103…莫尔图像；102…X射线图像(站立X射线正面图像)；201、203…3D图像；202…X射线图像(CT图像)；B1～B12…脊柱元素(胸椎)；B13～B17…脊柱元素(腰椎)；C1～C17、P1～P17…重心；F1～F4…胸椎的4角的点；L1、L2、L3…曲线；N1～N4…颈根部点；V1～V17…垂线；θ1、θ2…科布角；θ3…旋转角。

Claims (10)

1.一种脊柱排列推定装置，其特征在于，具备：
图像获取部，获取表示至少包含人体的背部的人体表面的立体形状的图像；
学习数据存储部，将通过机器学习而经修正的构成卷积神经网络即CNN的卷积层及全连接层的权值参数存储为学习数据；
脊柱排列推定部，利用所述图像获取部拍摄的多个所述图像和脊柱排列信息的数据集执行机器学习，使用存储的所述学习数据对通过所述图像获取部所获取的脊柱排列未知的图像的脊柱排列进行运算，从而进行推定，所述脊柱排列信息由包含与各图像同一人物的脊柱排列的X射线或CT图像内的所述脊柱排列的解剖学特征点的坐标构成；以及
角度计算部，由所推定的所述脊柱排列计算所述脊柱排列的科布角和旋转角中的至少一方。
2.根据权利要求1所述的脊柱排列推定装置，其特征在于，
所述脊柱排列推定部将多个脊柱元素的重心坐标推定为所述脊柱排列，所述多个脊柱元素构成被获取所述图像的所述人体的脊柱。
3.根据权利要求2所述的脊柱排列推定装置，其特征在于，
所述脊柱排列推定部计算使所述多个脊柱元素的所述重心坐标连续的曲线。
4.根据权利要求2或3所述的脊柱排列推定装置，其特征在于，
所述脊柱排列推定部推定所述多个脊柱元素的棘突坐标，
基于所述多个脊柱元素的所述重心坐标以及所述棘突坐标，推定所述旋转角。
5.根据权利要求1至3中任一项所述的脊柱排列推定装置，其特征在于，
所述图像获取部获取的图像为通过三维摄像机摄像而得的三维图像。
6.根据权利要求4所述的脊柱排列推定装置，其特征在于，
所述图像获取部获取的图像为通过三维摄像机摄像而得的三维图像。
7.根据权利要求1至3中任一项所述的脊柱排列推定装置，其特征在于，
所述图像获取部获取的图像为莫尔图像，所述莫尔图像包含通过莫尔摄像机摄像而得的人体背面的莫尔条纹。
8.根据权利要求4所述的脊柱排列推定装置，其特征在于，
所述图像获取部获取的图像为莫尔图像，所述莫尔图像包含通过莫尔摄像机摄像而得的人体背面的莫尔条纹。
9.一种脊柱排列推定方法，其特征在于，包括如下步骤：
图像获取部获取表示至少包含人体的背部的人体表面的立体形状的图像；
使学习数据存储部将通过机器学习而经修正的构成卷积神经网络即CNN的卷积层及全连接层的权值参数存储为学习数据；
利用所述图像获取部拍摄的多个所述图像和脊柱排列信息的数据集执行机器学习，使用存储的所述学习数据对通过所述图像获取部所获取的脊柱排列未知的所述图像的脊柱排列进行运算，从而进行推定，所述脊柱排列信息由包含与各图像同一人物的脊柱排列的X射线或CT图像内的所述脊柱排列的解剖学特征点的坐标构成；以及
由所推定的所述脊柱排列计算所述脊柱排列的科布角和旋转角中的至少一方。
10.一种存储介质，存储有脊柱排列推定程序，其特征在于，所述程序使计算机执行如下流程：
使图像获取部获取表示至少包含人体的背部的人体表面的立体形状的图像；
使学习数据存储部将通过机器学习而经修正的构成卷积神经网络即CNN的卷积层及全连接层的权值参数存储为学习数据；
利用所述图像获取部拍摄的多个所述图像和脊柱排列信息的数据集执行机器学习，使用存储的所述学习数据使脊柱排列推定部对通过所述图像获取部所获取的脊柱排列未知的所述图像的脊柱排列进行运算，从而进行推定，所述脊柱排列信息由包含与各图像同一人物的脊柱排列的X射线或CT图像内的所述脊柱排列的解剖学特征点的坐标构成；以及
使角度计算部由所推定的所述脊柱排列计算所述脊柱排列的科布角和旋转角中的至少一方。
CN201780011447.0A 2016-02-15 2017-02-15 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序 Active CN108697375B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-025824 2016-02-15
JP2016025824 2016-02-15
PCT/JP2017/005504 WO2017141958A1 (ja) 2016-02-15 2017-02-15 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム

Publications (2)

Publication Number Publication Date
CN108697375A CN108697375A (zh) 2018-10-23
CN108697375B true CN108697375B (zh) 2022-03-01

Family

ID=59626091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780011447.0A Active CN108697375B (zh) 2016-02-15 2017-02-15 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序

Country Status (6)

Country Link
US (1) US11331039B2 (zh)
EP (1) EP3417776A4 (zh)
JP (1) JP6280676B2 (zh)
KR (1) KR102199152B1 (zh)
CN (1) CN108697375B (zh)
WO (1) WO2017141958A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962033B1 (ko) * 2017-10-24 2019-03-25 김홍래 척추 측만도 검사 장치
US20210225491A1 (en) * 2017-11-17 2021-07-22 Young Saem AHN Diagnostic image converting apparatus, diagnostic image converting module generating apparatus, diagnostic image recording apparatus, diagnostic image converting method, diagnostic image converting module generating method, diagnostic image recording method, and computer recordable recording medium
CN108309334B (zh) * 2017-12-08 2023-05-30 李书纲 一种脊柱x线影像的数据处理方法
JP6607364B2 (ja) * 2018-01-10 2019-11-20 株式会社Ｉｆ 予測システム
US10885629B2 (en) * 2018-01-31 2021-01-05 Ricoh Company, Ltd. Medical image processing apparatus, medical image processing method, medium, and medical image processing system
US10902587B2 (en) * 2018-05-31 2021-01-26 GE Precision Healthcare LLC Methods and systems for labeling whole spine image using deep neural network
CN108986891A (zh) * 2018-07-24 2018-12-11 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
US20210345945A1 (en) 2018-08-28 2021-11-11 Technion Research & Development Foundation Limited Detecting spinal shape from optical scan
EP4276753A3 (en) * 2018-09-10 2024-02-07 Kyocera Corporation Estimation device, estimation system, and estimation program
WO2020095343A1 (ja) 2018-11-05 2020-05-14 株式会社島津製作所 Ｘ線撮像装置
JP6741305B2 (ja) * 2018-11-07 2020-08-19 株式会社スペースビジョン 脊椎骨姿勢推定装置
SG11202106762UA (en) * 2018-12-24 2021-07-29 Body Composition Tech Pty Ltd Analysing a body
WO2020259600A1 (en) * 2019-06-24 2020-12-30 Conova Medical Technology Limited A device, process and system for diagnosing and tracking of the development of the spinal alignment of a person
KR102268758B1 (ko) * 2019-07-03 2021-06-24 제이피아이헬스케어 주식회사 X-선 영상 처리 방법 및 컴퓨터 판독 가능한 저장매체
EP3760125A1 (en) * 2019-07-05 2021-01-06 Koninklijke Philips N.V. Self-learning distributed system with automated ground-truth generation
KR102218900B1 (ko) * 2020-04-17 2021-02-23 주식회사 딥노이드 질환 진단 장치 및 진단 방법
KR102163701B1 (ko) * 2020-04-17 2020-10-12 주식회사 딥노이드 척추 분류 장치 및 분류 방법
JP6738506B1 (ja) * 2020-05-29 2020-08-12 株式会社日本医療機器開発機構 背部画像の読影支援装置、読影支援方法、及びプログラム
KR102610915B1 (ko) 2020-06-22 2023-12-06 한국전자통신연구원 의료영상 분석 방법 및 장치
JP7076154B1 (ja) 2020-12-17 2022-05-27 株式会社スペースビジョン 脊柱配列推定装置、方法及びプログラム
CN112535489B (zh) * 2020-12-25 2023-12-05 四川大学华西医院 一种利用波形图测量脊柱侧弯Cobb角的方法及其系统
CN116916822A (zh) * 2021-02-19 2023-10-20 国立大学法人东北大学 脊柱排列估计装置、脊柱排列估计系统、脊柱排列估计方法、脊柱排列估计程序及记录了脊柱排列估计程序的计算机可读取的记录介质
WO2022185644A1 (ja) * 2021-03-03 2022-09-09 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム、並びに学習方法
CN112915472B (zh) * 2021-04-22 2023-11-10 上海铼锶信息技术有限公司 一种健腹轮及其行程计数方法、装置
CN113951874B (zh) * 2021-10-25 2023-12-26 中国科学院长春光学精密机械与物理研究所 一种脊柱侧弯风险评估系统
WO2023074880A1 (ja) * 2021-10-29 2023-05-04 Jsr株式会社 椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム
CN114557681B (zh) * 2022-04-27 2023-01-10 深圳市中医院 一种脊柱侧凸检测装置及方法
WO2024033897A1 (en) * 2022-08-11 2024-02-15 Momentum Health Inc. Method and system for determining spinal curvature
JP7261342B1 (ja) * 2022-09-22 2023-04-19 三菱ケミカルグループ株式会社 情報処理装置、方法、プログラム、およびシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3480884A (en) * 1983-10-28 1985-05-02 Yoshizawa, T. Rachioscoliosis medical examination
CN101518447A (zh) * 2009-03-02 2009-09-02 北京积水潭医院 一种提高脊柱外科手术计算机导航系统精度的方法
US20140303522A1 (en) * 2011-11-29 2014-10-09 Toyo University Scoliosis evaluation system and evaluation apparatus applied to the same system
CN104395930A (zh) * 2012-03-15 2015-03-04 爱克发医疗保健公司 用于定位脊柱的方法、设备和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10306793A1 (de) * 2002-05-21 2003-12-04 Plus Endoprothetik Ag Rotkreuz Anordnung und Verfahren zur intraoperativen Festlegung der Lage eines Gelenkersatzimplantats
US20050113663A1 (en) 2003-11-20 2005-05-26 Jose Tamez-Pena Method and system for automatic extraction of load-bearing regions of the cartilage and measurement of biomarkers
CN1956692A (zh) * 2004-02-05 2007-05-02 莫托里卡股份有限公司 用于康复和训练的方法和装置
US9820658B2 (en) * 2006-06-30 2017-11-21 Bao Q. Tran Systems and methods for providing interoperability among healthcare devices
CA2580726A1 (en) * 2004-09-16 2006-03-30 Imaging Therapeutics, Inc. System and method of predicting future fractures
JP4734631B2 (ja) * 2005-06-07 2011-07-27 独立行政法人理化学研究所 神経細胞の三次元形態解析方法
CN1969756A (zh) * 2005-09-07 2007-05-30 美国西门子医疗解决公司 用图像和测角来计算机辅助检测脊柱弯曲度的系统和方法
US8081811B2 (en) * 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
US20090276051A1 (en) * 2008-05-05 2009-11-05 Spinalmotion, Inc. Polyaryletherketone Artificial Intervertebral Disc
CN201260672Y (zh) * 2008-07-25 2009-06-24 黄祖武 全脊柱、长腿x线摄影定位标尺
JP2011250998A (ja) * 2010-06-02 2011-12-15 Kyushu Institute Of Technology 対称性判定装置、その方法、及びプログラム
WO2013041445A1 (en) * 2011-09-20 2013-03-28 Brian Francis Mooney Apparatus and method for analysing a golf swing
KR101280821B1 (ko) * 2011-09-27 2013-07-02 주식회사 모든넷 모아레 이미지 기반 척추 변형 검출 시스템 및 방법
WO2014056098A1 (en) 2012-10-12 2014-04-17 École De Technologie Supérieure System and method for predicting scoliosis progression
DE102012111385B4 (de) 2012-11-23 2018-05-03 Diers Engineering Gmbh Bestimmen der räumlichen Lage und Orientierung der Wirbelkörper der Wirbelsäule
WO2014115735A1 (ja) * 2013-01-22 2014-07-31 株式会社東芝 推定装置、ｘ線診断装置及び推定プログラム
CN104800039B (zh) * 2014-01-29 2017-09-05 余木村 脊椎复健器
CN104851107B (zh) * 2015-06-08 2017-11-28 武汉联影医疗科技有限公司 基于ct序列图像的脊椎定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3480884A (en) * 1983-10-28 1985-05-02 Yoshizawa, T. Rachioscoliosis medical examination
CN101518447A (zh) * 2009-03-02 2009-09-02 北京积水潭医院 一种提高脊柱外科手术计算机导航系统精度的方法
US20140303522A1 (en) * 2011-11-29 2014-10-09 Toyo University Scoliosis evaluation system and evaluation apparatus applied to the same system
CN104395930A (zh) * 2012-03-15 2015-03-04 爱克发医疗保健公司 用于定位脊柱的方法、设备和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《A new system for measuring three-dimensional back shape in scoliosis》;Berryman F，et a;《European Spine Journal》;20080205;正文第664-668页，图1-2，6 *

Also Published As

Publication number Publication date
KR20180105703A (ko) 2018-09-28
JP6280676B2 (ja) 2018-02-14
CN108697375A (zh) 2018-10-23
EP3417776A4 (en) 2019-07-10
KR102199152B1 (ko) 2021-01-06
WO2017141958A1 (ja) 2017-08-24
JPWO2017141958A1 (ja) 2018-03-01
EP3417776A1 (en) 2018-12-26
US11331039B2 (en) 2022-05-17
US20200069243A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
CN108697375B (zh) 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序
EP1718206B1 (en) Time-dependent three-dimensional musculo-skeletal modeling based on dynamic surface measurements
US9378550B2 (en) Image processing device for finding corresponding regions in two image data sets of an object
Grant et al. Accuracy of 3D surface scanners for clinical torso and spinal deformity assessment
Nguyen et al. Validation of 3D surface reconstruction of vertebrae and spinal column using 3D ultrasound data–A pilot study
CHOI et al. CNN-based spine and Cobb angle estimator using moire images
CN110891488B (zh) 矢状旋转确定
Zhang et al. 3-D reconstruction of the spine from biplanar radiographs based on contour matching using the hough transform
JP2020074876A (ja) 脊椎骨姿勢推定装置
Novosad et al. Three-dimensional (3-D) reconstruction of the spine from a single X-ray image and prior vertebra models
Pino-Almero et al. Quantification of topographic changes in the surface of back of young patients monitored for idiopathic scoliosis: correlation with radiographic variables
JP2015154913A (ja) 画像処理装置、画像診断システム、画像処理方法およびプログラム
JP2015154914A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
Chang et al. A Photogrammetric system for 3D reconstruction of a scoliotic torso
Groisser et al. 3D Reconstruction of Scoliotic Spines from Stereoradiography and Depth Imaging
CHOI et al. Measurement of vertebral rotation from moire image for screening of adolescent idiopathic scoliosis
Borotikar et al. Augmented statistical shape modeling for orthopedic surgery and rehabilitation
Fujinuma et al. Evaluation of tibiofibular joint alignment in ankle osteoarthritis based on 3D bone thickness
US20230298186A1 (en) Combining angiographic information with fluoroscopic images
Song et al. A novel iterative matching scheme based on homography method for X-ray image
Jiao et al. Deep learning for automatic detection of cephalometric landmarks on lateral cephalometric radiographs using the Mask Region-based Convolutional Neural Network: A pilot study
Guo et al. Back asymmetry index extraction algorithm based on ICP alignment
McCane Model-based estimation of vertebrae from uncalibrated bi-Planar Xrays
MONTEIRO DEEP LEARNING APPROACH FOR THE SEGMENTATION OF SPINAL STRUCTURES IN ULTRASOUND IMAGES
Adibatti et al. Design and performance analysis of Cobb angle measurement from X-ray images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant