CN114173642A - 用于诊断和跟踪人的脊柱排列的发展的设备、方法和系统 - Google Patents
用于诊断和跟踪人的脊柱排列的发展的设备、方法和系统 Download PDFInfo
- Publication number
- CN114173642A CN114173642A CN202080046794.9A CN202080046794A CN114173642A CN 114173642 A CN114173642 A CN 114173642A CN 202080046794 A CN202080046794 A CN 202080046794A CN 114173642 A CN114173642 A CN 114173642A
- Authority
- CN
- China
- Prior art keywords
- subject
- images
- medical
- region
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000011161 development Methods 0.000 title description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 236
- 238000012549 training Methods 0.000 claims abstract description 218
- 230000003287 optical effect Effects 0.000 claims abstract description 138
- 238000011156 evaluation Methods 0.000 claims abstract description 88
- 238000004891 communication Methods 0.000 claims abstract description 22
- 210000000988 bone and bone Anatomy 0.000 claims description 76
- 238000012545 processing Methods 0.000 claims description 36
- 230000036544 posture Effects 0.000 claims description 18
- 239000011436 cob Substances 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000002591 computed tomography Methods 0.000 claims description 12
- 238000010191 image analysis Methods 0.000 claims description 12
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 11
- 238000007408 cone-beam computed tomography Methods 0.000 claims description 10
- 210000004197 pelvis Anatomy 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 5
- 206010039722 scoliosis Diseases 0.000 description 27
- 238000011282 treatment Methods 0.000 description 19
- 238000003745 diagnosis Methods 0.000 description 12
- 230000018109 developmental process Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 208000032170 Congenital Abnormalities Diseases 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000036541 health Effects 0.000 description 8
- 208000022567 adolescent idiopathic scoliosis Diseases 0.000 description 7
- 238000002059 diagnostic imaging Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 206010061818 Disease progression Diseases 0.000 description 6
- 230000005750 disease progression Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 208000008035 Back Pain Diseases 0.000 description 5
- 208000007623 Lordosis Diseases 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000003412 degenerative effect Effects 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 208000019901 Anxiety disease Diseases 0.000 description 4
- 208000000875 Spinal Curvatures Diseases 0.000 description 4
- 230000036506 anxiety Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 206010023509 Kyphosis Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000366 juvenile effect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 206010061619 Deformity Diseases 0.000 description 2
- 241000662429 Fenerbahce Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 206010028836 Neck pain Diseases 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 2
- 208000020307 Spinal disease Diseases 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 208000034783 hypoesthesia Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000003903 pelvic floor Anatomy 0.000 description 2
- 210000001991 scapula Anatomy 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 208000036119 Frailty Diseases 0.000 description 1
- 208000008930 Low Back Pain Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010029174 Nerve compression Diseases 0.000 description 1
- 206010058907 Spinal deformity Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003698 anagen phase Effects 0.000 description 1
- 206010003549 asthenia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000002612 cardiopulmonary effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000009251 neurologic dysfunction Effects 0.000 description 1
- 208000015015 neurological dysfunction Diseases 0.000 description 1
- 231100000862 numbness Toxicity 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 208000013220 shortness of breath Diseases 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 210000001032 spinal nerve Anatomy 0.000 description 1
- 208000005198 spinal stenosis Diseases 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Physical Education & Sports Medicine (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种使用用于提供对象的脊柱区域的一个或多个输出图像的计算机化系统能操作的方法,在预先训练的神经网络(120a、120b)中为所述一个或多个输出图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,计算机化系统(100a、100b)包括经由通信链路能操作地互连在一起的图像数据获取设备(110a)、预先训练的神经网络(120a、120b)和输出模块(140a),所述方法包括以下步骤:(i)由图像数据获取设备(110a)获取指示对象的脊柱区域的一个或多个数据输入集,其中,一个或多个数据输入集中的每个数据输入集指示所述对象在对象的一个或多个对应姿势下的光学图像;(ii)在预先训练的神经网络(120a、120b)中,向所述一个或多个数据输入集的解剖界标提供标记,所述一个或多个数据输入集中的每个数据输入集指示在步骤(i)期间获取的在对象的所述一个或多个姿势下的对象的所述光学图像以便提供一个或多个光学输出图像用于所述对象的脊柱的后续临床评估,其中,预先训练的神经网络(120a、120b)已经利用从多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集来预先训练,其中,所述一个或多个预定姿势是用于对象的脊柱的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的脊柱的解剖界标已经由至少一个临床医生预先标记;并且其中,在步骤(i)期间获取对象的一个或多个数据输入集所针对的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及(iii)由输出模块(140a)显示所述对象的脊柱区域的一个或多个光学输出图像以用于临床评估,所述一个或多个输出图像具有通过预先训练的神经网络(120a、120b)提供其的所述标记。
Description
技术领域
本发明涉及用于诊断和跟踪人的脊柱排列的发展的设备、方法和系统。更具体地,本发明提供了一种用于诊断和跟踪患有脊柱畸形的患者的脊柱排列的发展的设备、方法和系统。
背景技术
脊柱健康是人的整体健康的关键因素。脊柱为我们的身体提供关键的结构支撑,并且因此其中的任何病症或异常可能对人的身体外观和心血管、肺和神经系统两者导致严重的不利影响。
从临床背景角度来看,脊柱排列不齐包括两个患者群:
(i)患有脊柱侧凸的患者,
(ii)以及患有退化性脊柱疾病和畸形以及可能颈或背痛的患者。
脊柱侧凸通常被认为是3维畸形,其特征在于具有或不具有矢状排列不齐的脊柱的异常侧向弯曲。其最常见的形式发生在青春期,并且通常被称为青少年特发性脊柱侧凸(AIS)。基于香港脊柱侧凸学校的筛查数据(占学生人口总数的78%),在书写时,多达2.2%的男孩和4.8%的女孩患有脊柱侧凸。因此,它是儿科群体中最常见的脊柱病症。
AIS的进展与自然生长一起发生。在没有迅速干预的情况下,这种畸形可能恶化,并且在严重的情况下导致外观缺陷、背痛和心肺损害。脊柱弯曲的恶化也可能在这样的幼儿中引起侮辱和自尊心差。
此外,在脊柱排列不齐的范围的另一端,由于我们的老年人群的改善的医学和预期的生活质量,脊柱疾病现在处于大多数脊柱实践的最前沿。
发病率在成年人中高达32%,在老年人中高达60%[1-3]。因此,如将理解的,背痛和/或颈痛现在可以被认为是许多诊所中最常见的表现症状,并且对患者和保健具有巨大的经济和社会负担[4,5]。
在2015年,它已被确定为大多数国家的全球性残疾的主要原因,并且很大百分比可促成畸形[4]。
因此,全球公认这种疾病对越来越多的患有背痛和畸形的患者的影响,对提高我们对其发病机理、最佳矫正手术和对健康相关的生活质量的影响的认识的兴趣增加。
因此,在过去的十年中,已经进行了许多努力来确定理想的排列参数[6-9]、融合水平选择、校正技术和仪器策略[10-15]。
发明内容
本发明的目的
本发明的目的是提供一种用于诊断和跟踪人的脊柱排列的发展的设备、方法和系统,其克服或至少部分地改善与现有技术相关联的一些缺陷。
发明的概述
在第一方面,本发明提供了一种使用用于提供对象的脊柱区域的一个或多个输出图像的计算机化系统能操作的方法,在预先训练的神经网络中为所述一个或多个输出图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的图像数据获取设备、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)由图像数据获取设备获取指示对象的脊柱区域的一个或多个数据输入集,其中,一个或多个数据输入集中的每个数据输入集指示在对象的一个或多个对应姿势下的所述对象的光学图像;
(ii)在预先训练的神经网络中,向所述一个或多个数据输入集的解剖界标提供标记,一个或多个数据输入集中的每个数据输入集指示在步骤(i)期间获取的在对象的所述一个或多个姿势下的对象的所述光学图像以便提供一个或多个光学输出图像用于所述对象的脊柱的后续临床评估,
其中,所述预先训练的神经网络已经利用从多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集来预先训练,
其中,所述一个或多个预定姿势是用于对象的脊柱的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的脊柱的解剖界标已经由至少一个临床医生预先标记;并且
其中,在步骤(i)期间针对其获取对象的一个或多个数据输入集的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由输出模块显示所述对象的脊柱区域的一个或多个光学输出图像以用于临床评估,所述一个或多个输出图像具有通过预先训练的神经网络提供给该一个或多个输出图像的所述标记。
预先训练的神经网络可以进一步利用在从多个训练对象获取一个或多个数据输入集时同时获取的一个或多个X射线图像来训练,并且其中,神经网络提供与对象的脊柱区域的获取的一个或多个数据输入集相对应的一个或多个模拟X射线图像以用于临床评估,获取的一个或多个数据输入集具有由预先训练的神经网络提供给其的所述标记。
预先训练的神经网络可以进一步利用当从多个训练对象获取一个或多个数据输入集时同时获取的一个或多个X射线图像来训练,并且其中,神经网络提供与所述对象的脊柱区域的获取的一个或多个数据输入集相对应的一个或多个模拟X射线图像,该一个或多个模拟X射线图像具有由预先训练的神经网络提供给其的所述标记,并且其中,与所述对象的脊柱区域的获取的一个或多个光学输入图像相对应的具有提供给其的所述标记的所述一个或多个模拟X射线图像由处理模块处理,其中,所述处理模块提供对所标记图像的分析和计算并且提供对所述对象的脊柱的排列不齐的分析和临床评估。
图像数据获取设备可以是光学图像获取设备,并且其中,数据输入集是光学输入图像。
光学图像获取设备可以是安装在诊所或医院中的待获取输入图像的房间或环境中的固定CCD/CMOS相机。
光学图像获取设备可以是专用移动设备或移动设备的内置相机。
图像数据获取设备可以是深度传感器,并且深度传感器是深度相机。
从所述多个训练对象获取的所述一个或多个训练数据输入集的脊柱的解剖界标可以已经由两个或多个临床医生预先标记,其中,在所述两个或多个临床医生之间寻求一致性。在所述两个或多个临床医生之间未达到一致性的情况下,一个或多个另外的临床医生预先标记所述一个或多个训练数据输入集,直到达到一致性阈值为止。
在第二方面,本发明提供了一种使用用于提供对象的脊柱区域的一个或多个输出图像的计算机化系统能操作的方法,针对所述一个或多个输出图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,计算机化系统包括经由通信链路能操作地互连在一起的输入接口、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)获取对象的一个或多个医学输入图像,其中,一个或多个医学输入图像中的每个医学输入图像是在一个或多个对应姿势下的所述对象的图像;
(ii)在预先训练的神经网络中,向在步骤(i)期间获取的在对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记以用于提供通过输入接口输入到预先训练的神经网络中的一个或多个医学输出图像以用于所述对象的脊柱的后续临床评估;
其中,预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像来预先训练;
其中,所述一个或多个预定姿势是用于所述对象的脊柱的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的脊柱的解剖界标已经由至少一个临床医生预先标记;并且
其中,在步骤(i)期间针对其获取对象的一个或多个医学输入图像的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由输出模块显示所述对象的脊柱区域的一个或多个医学输出图像以用于临床评估,该一个或多个医学输出图像具有通过预先训练的神经网络提供给其的所述标记。
医学图像可以选自包括CT(计算机断层摄影)扫描、X射线、MRI(磁共振成像、CBCT(锥束计算的断层摄影)等的组。
在第三方面,本发明提供了一种使用用于提供对象的脊柱区域的一个或多个图像的计算机化系统能操作的方法,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,计算机化系统包括经由通信链路能操作地互连在一起的输入接口、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)获取对象的一个或多个医学输入图像,其中,一个或多个医学输入图像中的每个医学输入图像是在所述对象的一个或多个姿势下的所述对象的图像;
(ii)在预先训练的神经网络中,向在步骤(i)期间获取的在对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记以用于所述对象的脊柱的后续临床评估,该一个或多个医学输入图像通过输入接口输入到预先训练的神经网络中;
其中,预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像来预先训练,
其中,所述一个或多个预定姿势是用于所述对象的脊柱的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的脊柱的解剖界标已经由临床医生预先标记;并且
其中,在步骤(i)期间针对其获取对象的一个或多个医学输入图像的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)在处理器模块中,基于所标记的解剖界标通过一个或多个基于规则的评估标准处理所述对象的脊柱区域的一个或多个医学输入图像以便提供评估数据,所述一个或多个医学输入图像具有通过预先训练的神经网络提供给其的所述标记;以及
(iv)由输出模块显示来自步骤(iii)的所述评估数据以用于临床评估。
基于规则的评估标准优选是临床评估标准。
临床评估标准可以是Cobb角评估。
在第四方面,本发明提供了一种用于提供对象的脊柱区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,所述计算机化系统包括:
图像数据获取设备,用于获取对象的脊柱区域的一个或多个数据输入集,其中,一个或多个数据输入集中的每个数据输入集i指示所述对象在对象的一个或多个对应姿势处的光学图像;
预先训练的神经网络,用于向指示在从图像数据获取设备获取的在对象的所述一个或多个姿势下的对象的所述一个或多个数据输入集的解剖界标提供标记,所述图像数据获取设备用于提供光学输出图像以用于所述对象的脊柱的后续临床评估,
其中,预先训练的神经网络已经预先训练了与从多个训练对象获取的训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集,
其中,所述一个或多个预定姿势是用于对象的脊柱的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的脊柱的解剖界标已经由至少一个临床医生预先标记;并且
其中,针对其获取指示所述对象的所述一个或多个数据输入集的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
输出模块,用于显示所述对象的脊柱区域的一个或多个光学输出图像以用于临床评估,所述一个或多个光学输出图像具有通过所述预先训练的神经网络提供给该一个或多个光学输出图像的所述标记。
预先训练的神经网络可以进一步利用在从多个训练对象获取一个或多个数据输入集时同时获取的一个或多个X射线图像来训练,并且其中,神经网络提供与对象的脊柱区域的获取的一个或多个数据输入集相对应的一个或多个模拟X射线图像以用于临床评估,获取的一个或多个模拟X射线图像具有由预先训练的神经网络提供给其的所述标记。
预先训练的神经网络可以进一步利用当从多个训练对象获取一个或多个数据输入集时同时获取的一个或多个X射线图像来训练,并且其中,神经网络提供与所述对象的脊柱区域的获取的一个或多个数据输入集相对应的一个或多个模拟X射线图像,一个或多个模拟X射线图像具有由预先训练的神经网络提供给其的所述标记,并且其中,与所述对象的脊柱区域的获取的一个或多个光学输入图像相对应的所述一个或多个模拟X射线图像由处理模块处理,所述一个或多个模拟X射线图像具有提供给其的所述标记,其中,所述处理模块提供对标记的图像的图像分析和计算并且提供对所述对象的脊柱的排列不齐的分析和临床评估。
图像数据获取设备可以是光学图像获取设备,并且其中数据输入集是光学输入图像。
光学图像获取设备可以是安装在诊所或医院中的待获取所述图像的房间或环境中的固定CCD/CMOS相机。
光学图像获取设备可以是专用移动设备或移动设备的内置相机。
图像数据获取设备可以是深度传感器。深度传感器落是深度相机。
从所述多个训练对象获取的所述一个或多个训练数据输入集的脊柱的解剖界标可以已经由两个或多个临床医生预先标记,其中,在所述两个或多个临床医生之间寻求一致性。在所述两个或多个临床医生之间未达到一致性的情况下,一个或多个另外的临床医生预先标记所述一个或多个训练数据输入集,直到达到一致性阈值为止。
光学图像获取设备还可以包括输出模块。输出模块是视觉显示单元。
光学图像获取设备可以在其上承载在其上可执行的用于与所述神经网络通信的软件。
光学图像获取设备可以包括用于引导用户关于所述预定姿势的获取以及其图像的获取的用户界面。
在第五方面,本发明提供了一种用于提供对象的脊柱区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的后续临床评估,所述计算机化系统包括:
输入接口,用于接收对象的一个或多个医学输入图像,其中,一个或多个医学输入图像中的每个医学输入图像是在一个或多个对应姿势下的所述对象的图像,
预先训练的神经网络,用于向从输入接口接收到的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,并且用于提供通过输入接口输入到预先训练的神经网络中的一个或多个医学输出图像以用于所述对象的脊柱的后续临床评估;
其中,预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像来预先训练,
其中,所述一个或多个预定姿势是用于对象的脊柱的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的脊柱的解剖界标已经由临床医生预先标记;并且
其中,针对其获取对象的一个或多个医学输入图像的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
输出模块,用于显示所述对象的脊柱区域的所述一个或多个医学输出图像以用于临床评估,该一个或多个医学输出图像具有通过预先训练的神经网络提供给其的所述标记。
所述医学图像可以选自包括CT(计算机断层摄影)扫描、X射线、MRI(磁共振成像、CBCT(锥束计算的断层摄影)等的组。
在第六方面,本发明提供一种用于提供对象的脊柱区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,所述计算机化系统包括:
输入接口,用于接收对象的一个或多个医学图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在所述对象的一个或多个姿势下的所述对象的图像;
预先训练的神经网络,用于向从输入接口接收到的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,并且用于提供通过输入接口输入到预先训练的神经网络中的一个或多个医学输出图像以用于所述对象的脊柱的后续临床评估;
其中,预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像来预先训练,
其中,一个或多个预定姿势是用于所述对象的脊柱的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的脊柱的解剖界标已经由临床医生预先标记;并且
其中,针对其获取对象的一个或多个医学输入图像的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;
处理器模块,用于基于所标记的解剖界标通过一个或多个基于规则的评估标准处理所述对象的脊柱区域的所述一个或多个医学输入图像以便提供评估数据,所述一个或多个医学输入图像具有通过预先训练的神经网络提供给其的所述标记;以及
输出模块,用于显示所述评估数据以用于临床评估。
基于规则的评估标准优选是临床评估标准。临床评估标准可以是Cobb角评估。
在第七方面,本发明提供了一种使用用于提供对象的感兴趣区域的一个或多个输出图像的计算机化系统能操作的方法,在预先训练的神经网络中为所述一个或多个输出图像标记适用于临床评估的解剖界标以用于在所述感兴趣区域处的对象的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的图像数据获取设备、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)由图像数据获取设备获取指示对象的脊柱区域的一个或多个数据输入集,其中,一个或多个数据输入集中的每个数据输入集指示在对象的一个或多个对应姿势下的所述对象的光学图像;
(ii)在预先训练的神经网络中,向所述一个或多个数据输入集的解剖界标提供标记,所述一个或多个数据输入集中的每个数据输入集指示在步骤(i)期间获取的在对象的一个或多个姿势下的对象的所述光学图像,以便提供一个或多个光学输出图像用于所述对象的感兴趣区域的后续临床评估,
其中,预先训练的神经网络已经利用从多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集来预先训练,
其中,所述一个或多个预定姿势是用于所述感兴趣区域处的对象的骨结构的排列不齐的姿势的临床评估;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的骨结构的解剖界标已经由至少一个临床医生预先标记;并且
其中,在步骤(i)期间针对其获取对象的一个或多个数据输入集的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由所述输出模块显示所述对象的感兴趣区域的一个或多个光学输出图像以用于临床评估,所述一个或多个光学输出图像具有由预先训练的神经网络提供给其的所述标记。
在第八方面,本发明提供了一种使用用于提供对象的脊柱区域的一个或多个输出图像的计算机化系统能操作的方法,针对所述一个或多个输出图像标记适用于临床评估的解剖界标以用于对象的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的输入接口、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)获取对象的一个或多个医学输入图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在一个或多个对应姿势下的所述对象的图像;
(ii)在预先训练的神经网络中,向在步骤(i)期间获取的在对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记以用于提供通过输入接口输入到预先训练的神经网络中的一个或多个医学输出图像以用于所述对象的感兴趣区域的后续临床评估;
其中,预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像来预先训练;
其中,所述一个或多个预定姿势是用于所述对象的感兴趣区域处的骨结构的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的感兴趣区域处的骨结构的解剖界标已经由至少一个临床医生预先标记;并且
其中,在步骤(i)期间针对其获取对象的一个或多个医学输入图像的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由输出模块显示所述对象的脊柱区域的一个或多个医学输出图像以用于临床评估,所述一个或多个医学输出图像具有通过预先训练的神经网络提供给其的所述标记。
在第九方面,本发明提供了一种使用用于提供对象的感兴趣区域的一个或多个图像的计算机化系统能操作的方法,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的所述感兴趣区域处的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的输入接口、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)获取对象的一个或多个医学输入图像,其中,一个或多个医学输入图像中的每个医学输入图像是在所述对象的一个或多个姿势下的所述对象的图像;
(ii)在预先训练的神经网络中,向在步骤(i)期间获取的在对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记以用于后续临床评估,该一个或多个医学输入图像通过输入接口被输入到预先训练的神经网络中;
其中,预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像来预先训练,
其中,所述一个或多个预定姿势是用于所述对象的感兴趣区域处的所述骨结构的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的所述感兴趣区域处的骨结构的解剖界标已经由临床医生预先标记;并且
其中,在步骤(i)期间针对其获取所述对象的一个或多个医学输入图像的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)在处理器模块中,基于所标记的解剖界标通过一个或多个基于规则的评估标准处理所述对象的脊柱区域的所述一个或多个医学输入图像以便提供评估数据,所述一个或多个医学输入图像具有通过所述预先训练的神经网络提供给该一个或多个医学输入图像的所述标记;以及
(iv)由所述输出模块显示来自步骤(iii)的评估数据以用于临床评估。
所述感兴趣区域可以是对象的脊柱区域、对象的骨盆区域、对象的股骨-骨盆区域或对象的腿部区域。
在第十方面,本发明提供一种用于提供对象的脊柱区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的感兴趣区域的排列不齐的临床评估,所述计算机化系统包括:
图像数据获取设备,用于获取对象的脊柱区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在对象的一个或多个对应姿势下的所述对象的光学图像;
预先训练的神经网络,用于向指示在从图像数据获取设备获取的对象的所述一个或多个姿势下的对象的所述一个或多个数据输入集的解剖界标提供标记,所述图像数据获取设备用于提供光学输出图像以用于所述对象的所述感兴趣区域处的所述骨结构的后续临床评估,
其中,预先训练的神经网络已经预先训练了与从多个训练对象获取的训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集,
其中,所述一个或多个预定姿势是用于对象的感兴趣区域处的骨结构的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的感兴趣区域处的骨结构的解剖界标已经由至少一个临床医生预先标记;并且
其中,针对其获取指示对象的一个或多个数据输入集的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
输出模块,用于显示所述对象的所述脊柱区域的所述一个或多个光学输出图像以用于临床评估,所述一个或多个光学输出图像具有通过所述预先训练的神经网络提供给其的所述标记。
在第十一方面,本发明提供了一种用于提供对象的脊柱区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的感兴趣区域处的骨结构的排列不齐的后续临床评估,所述计算机化系统包括:
输入接口,用于接收对象的一个或多个医学输入图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在一个或多个对应姿势下的所述对象的图像,
预先训练的神经网络,用于向从输入接口接收到的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,并且用于提供通过输入接口输入到预先训练的神经网络中的一个或多个医学输出图像以用于所述对象的感兴趣区域处的骨结构的后续临床评估;
其中,预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练者获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像来预先训练,
其中,所述一个或多个预定姿势是用于所述对象的感兴趣区域处的骨结构的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的感兴趣区域处的骨结构的解剖界标已经由临床医生预先标记;并且
其中,针对其获取对象的一个或多个医学输入图像的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
输出模块,用于显示所述对象的脊柱区域的所述一个或多个医学输出图像以用于临床评估,所述一个或多个医学输出图像具有通过预先训练的神经网络提供给其的所述标记。
在第十二方面,本发明提供一种用于提供对象的脊柱区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的感兴趣区域处的骨结构的排列不齐的临床评估,所述计算机化系统包括:
输入接口,用于接收对象的一个或多个医学图像,其中,一个或多个医学输入图像中的每个医学输入图像是在所述对象的一个或多个姿势下的所述对象的图像;
预先训练的神经网络,用于向从输入接口接收到的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,并且用于提供通过输入接口输入到所述预先训练的神经网络中的一个或多个医学输出图像以用于所述对象的感兴趣区域处的骨结构的后续临床评估;
其中,预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像来预先训练,
其中,所述一个或多个预定姿势是用于所述对象的感兴趣区域处的骨结构的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的感兴趣区域处的骨结构的解剖界标已经由临床医生预先标记;并且
其中,针对其获取对象的一个或多个医学输入图像的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;
处理器模块,用于基于所标记的解剖界标通过一个或多个基于规则的评估标准处理所述对象的脊柱区域的所述一个或多个医学输入图像以便提供评估数据,所述一个或多个医学输入图像通过预先训练的神经网络提供给该一个或多个医学输入图像的所述标记;以及
输出模块,用于显示所述评估数据以用于临床评估。
所述感兴趣区域可以是对象的脊柱区域、对象的骨盆区域、对象的股骨-骨盆区域或对象的腿部区域。
第十三方面,本发明提供了一种使用用于提供对象的感兴趣区域的一个或多个输出图像的计算机化系统能操作的方法,在预先训练的神经网络中为所述一个或多个输出图像标记适用于临床评估的解剖界标以用于在所述感兴趣区域处的对象的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的图像数据获取设备、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)由图像数据获取设备获取指示对象的感兴趣区域的一个或多个数据输入集,其中,一个或多个数据输入集中的每个数据输入集指示在对象的一个或多个对应姿势下的所述对象的光学图像;
(ii)在预先训练的神经网络中,向所述一个或多个数据输入集的解剖界标提供标记,所述一个或多个数据输入集中的每个数据输入集指示在步骤(i)期间获取的在对象的所述一个或多个姿势下的对象的所述光学图像以便提供一个或多个光学输出图像用于所述对象的感兴趣区域的后续临床评估,
其中,预先训练的神经网络已经利用从多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集来预先训练,
其中,所述一个或多个预定姿势是用于所述感兴趣区域处的对象的骨结构的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的骨结构的解剖界标已经基于对所述一个或多个训练数据输入集的骨结构的解剖界标的标识利用一个或多个基于规则的标准来预先标记;并且
其中,在步骤(i)期间针对其获取对象的一个或多个数据输入集的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由输出模块显示所述对象的感兴趣区域的一个或多个光学输出图像以用于临床评估,所述一个或多个光学输出图像具有通过预先训练的神经网络提供给其的所述标记。
在第十四方面,本发明提供了一种使用用于提供对象的感兴趣区域的一个或多个模拟医学输出图像的计算机化系统能操作的方法,在预先训练的神经网络中针对所述一个或多个模拟医学输出图像标记适用于临床评估的解剖界标以用于所述感兴趣区域处的对象的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的图像数据获取设备、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)由图像数据获取设备获取指示对象的感兴趣区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在对象的一个或多个对应姿势下的所述对象的光学图像;
(ii)在预先训练的神经网络中,向一个或多个模拟医学图像的解剖界标提供标记,其中,所述一个或多个医学图像和所述解剖界标基于在步骤(i)期间获取的所述一个或多个数据输入集来生成以便提供与所述对象的感兴趣区域的获取的一个或多个数据输入集相对应的一个或多个模拟医学图像,所述一个或多个模拟医学图像具有通过所述预先训练的神经网络提供其的所述标记,
其中,预先训练的神经网络已经利用一个或多个训练数据输入集和在从多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个医学图像来预先训练,其中,所述一个或多个训练数据输入集对应于从多个训练对象获取的所述训练对象的一个或多个预定姿势,并且其中,所述一个或多个训练数据输入集和所述一个或多个医学图像中的至少一个的解剖界标已经被预先标记;
其中,所述一个或多个预定姿势是用于所述感兴趣区域处的对象的骨结构的排列不齐的临床评估的姿势;并且
其中,在步骤(i)期间针对其获取对象的一个或多个数据输入集的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由输出模块显示所述对象的感兴趣区域的一个或多个模拟医学输出图像以用于临床评估,所述一个或多个模拟医学输出图像具有通过预先训练的神经网络提供给其的所述标记。
由至少一个临床医生预先标记从所述多个训练对象获取的所述一个或多个训练数据输入集的骨结构的解剖界标。
可以预先标记从所述多个训练对象获取的所述一个或多个医学图像的骨结构的解剖界标已经利用一个或多个基于规则的标准。
可以预先标记所述一个或多个训练数据输入集的解剖界标和从所述多个训练对象获得的所述一个或多个医学图像的骨结构。
从所述多个训练对象获取的所述一个或多个训练数据输入集的骨结构的解剖界标基于对所述一个或多个训练数据输入集的骨结构的解剖界标的标识利用一个或多个基于规则的标准来预先标记。
感兴趣区域可以是对象的脊柱区域、对象的骨盆区域、对象的股骨-骨盆区域或对象的腿部区域。
在第十五方面,本发明提供一种用于提供对象的感兴趣区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标,以用于对象的感兴趣区域的排列不齐的临床评估,所述计算机化系统包括:
图像数据获取设备,用于获取对象的感兴趣区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在所述对象的一个或多个对应姿势下的所述对象的光学图像;
预先训练的神经网络,用于提供所述对象的感兴趣区域的一个或多个模拟医学输出图像,所述一个或多个模拟医学输出图像具有由预先训练的神经网络提供其的标记,
其中,预先训练的神经网络已经利用一个或多个训练数据输入集和在从多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个医学图像来预先训练,其中,所述一个或多个训练数据输入集对应于从多个训练对象获取的所述训练对象的一个或多个预定姿势,并且其中,所述一个或多个训练数据输入集和所述一个或多个医学图像中的至少一个的解剖界标已经被预先标记;
其中,所述一个或多个预定姿势是用于所述感兴趣区域处的对象的骨结构的排列不齐的临床评估的姿势;并且
其中,针对其获取对象的一个或多个数据输入集的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
输出模块,用于显示所述对象的感兴趣区域的一个或多个模拟以用于临床评估,所述一个或多个模拟具有通过预先训练的神经网络提供给其的所述标记。
在第十六方面,本发明提供了一种用于获取对象的感兴趣区域的一个或多个数据输入集的图像数据获取设备,针对所述一个或多个数据输入集标记适用于临床评估的解剖界标以用于对象的感兴趣区域的排列不齐的临床评估,其中,所述设备用在用于提供对象的感兴趣区域的一个或多个图像的系统中,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的感兴趣区域的排列不齐的临床评估,所述计算机化的系统包括:
图像数据获取设备,用于获取对象的感兴趣区域的一个或多个数据输入集,其中,一个或多个数据输入集中的每个数据输入集指示在对象的一个或多个对应姿势下的所述对象的光学图像;
预先训练的神经网络,用于提供所述对象的感兴趣区域的一个或多个模拟医学输出图像,所述一个或多个模拟医学输出图像具有由预先训练的神经网络提供给其的标记,
其中,预先训练的神经网络已经利用一个或多个训练数据输入集和在从多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个医学图像来预先训练,其中,所述一个或多个训练数据输入集对应于从多个训练对象获取的所述训练对象的一个或多个预定姿势,并且其中,所述一个或多个训练数据输入集和所述一个或多个医学图像中的至少一个的解剖界标已经被预先标记;
其中,所述一个或多个预定姿势是用于所述感兴趣区域处的对象的骨结构的排列不齐的临床评估的姿势;并且
其中,针对其获取对象的一个或多个数据输入集的所述对象的一个或多个姿势对应于所述预定姿势中的一个或多个。
设备可以包括输出模块,用于显示所述对象的感兴趣区域的一个或多个模拟以用于临床评估,所述一个或多个模拟具有由预先训练的神经网络提供其的所述标记。
附图说明
为了能够获得对上述发明的更精确理解,将通过参考在附图中示出的本发明的特定实施例来呈现上文简要描述的本发明的更具体的描述。这里呈现的附图可以不按比例绘制,并且附图或以下描述中对尺寸的任何参考是针对所公开的实施例的。
图1a示出了根据本发明的用于诊断和跟踪人的脊椎排列的发展的系统的实施例的示意图。
图1b示出了根据本发明的用于诊断和跟踪人的脊椎排列的发展的系统的另一实施例的示意图。
图2a(i)描绘了示出通过使用如图1a所示的系统来诊断和跟踪人的脊柱排列的发展的方法的实施例的流程图。
图2a(ii)描绘了示出通过使用如图1a所示的系统来诊断和跟踪人的脊柱排列的发展的方法的另一个实施例的流程图。
图2b是指示使用如图1b所示的系统来诊断和跟踪人的脊柱排列的发展的方法的流程图。
图3示出了根据本发明的用于诊断和跟踪脊柱排列不齐的方法。
图4示出了根据本发明的诊断系统内的神经网络的工作机制。
图5示出了图示根据本发明的使用安装在智能手机中的移动应用来执行脊柱评估的方法的流程图。
具体实施方式
本发明人已经认识到现有技术的问题的缺点,并且已经提供了一种更一致和可靠的系统,并且克服了现有技术的问题。
本发明的具体背景
人类的脊柱通常由33块椎骨构成,这些椎骨彼此堆叠,由盘隔开以在移动期间的震动吸收。正是这些椎骨的组合允许脊柱在许多不同方向动态地移动。
人类脊柱中的椎骨被分成不同的区域,这些区域对应于脊柱的弯曲。这些区域从上到下是颈椎、胸椎、腰椎、骶骨和尾骨。
如已知的,正常和健康的脊柱不表现为绝对的直柱,而是定义为当从侧面观察时的自然S形(矢状图)。这种形状允许重量的均匀分布和直立活动的移动灵活性。
然而,在脊柱的不同区域的弯曲可能是过度的和夸张的,导致极端情况下的疼痛、畸形和神经功能障碍、心血管和肺部病症。脊柱的这种异常弯曲通常被称为脊柱排列不齐。
轻微的脊柱排列不齐可以是无症状的,并且当人处于正常站立姿势时甚至可能是不可见的。然而,当脊柱的异常弯曲太过而导致对神经、尤其是脊神经和/或脊髓的压迫时,它可能导致颈、背和向下至肢体的僵硬、麻木或甚至严重疼痛。
脊柱排列不齐可根据其畸形图案进行分类。常见的脊柱弯曲病症包括脊柱侧凸、脊柱后凸、脊柱前凸和脊柱后凸,并且在这些病症中,脊柱侧凸是最常见的脊柱病症之一,发生在0.5%的世界人口中。
脊柱侧凸是一种其中人的脊柱具有异常侧向弯曲使得当从背部观察时患者的脊柱呈现“S”或“C”形状的医学病症。
通常,这种异常曲线是温和的,并且不影响人的外观或健康。轻微的脊柱侧凸的症状可包括向前弯曲时的肩部不平、腰围不平和后背不平。
然而,当脊柱侧凸随时间发展时,它也可能引起背痛、呼吸短促、移动受限、肢体麻木,并且在一些严重的情况下,甚至可能导致骨和关节损伤。
临床上注意到大多数脊柱侧凸病例发生在年龄在九至十五岁之间的青少年中,此时脊柱的异常弯曲变得更加明显。青少年在青春期间的脊柱侧凸通常被称为青少年特发性脊柱侧凸(AIS)。
AIS如此常见,以致于在100个青少年中可以发现多达4个。通常,在患者的快速生长期,AIS曲线会发展。虽然大多数曲线在骨骼成熟时显著减慢其进展,但一些曲线,尤其是大于60度的曲线,在成年期期间继续进展。
早期脊柱侧凸的快速诊断对于成功治疗脊柱弯曲和年轻成人的最佳长期结果是重要的。由于脊柱的异常进展是永久性的,任何未治疗的早期发作的脊柱侧凸将可能对年轻成人的整体健康产生更深远的负面影响。
因此,对于年龄在九岁到十五岁之间的青少年来说,经常建议对他们的脊柱弯曲进行定期检查,以便确保脊柱健康成长。
站着检查背部的对称性,评价人应当从前、后和侧方面适当暴露患者。记录肩部高度、腰部不对称、胸腔不对称、肋骨和乳房畸形。
亚当斯前屈测试在进一步成像诊断之前常用于脊柱侧凸诊断。在测试期间,患有脊柱侧凸的患者可能在脊柱所在的位置呈现突出的线。进一步的X射线成像对于确认脊柱侧凸的诊断是必要的。
在患者处于前屈位置中时的亚当斯前屈测试期间,将脊柱侧凸测量器放置在患者的脊柱上以测量躯干不对称性。脊柱侧凸患者通常具有一定程度的高于另一侧的背部一侧,并且这种程度由脊柱侧凸测量器读取,其用作脊柱侧凸的初始评估。
发明人的观察:
尽管使用脊柱侧凸测量器用于测量在提供脊柱侧凸的初始评估时是有用的,但已经注意到,由于患者的脊柱侧凸测量器读数可能由于他/她的姿势变化而不同,因此评估可能会有误差。
此外,由于这是由诸如医生和外科医生的受过训练的从业者执行的手动测量,每个从业者可以与其他从业者稍微不同地执行评估程序,并且因此提供患者的脊柱侧凸测量器读数的变化。
用于脊柱排列的当前评估工具包括身体检查和医学成像。
身体检查在诊断神经压迫中是必要的。然而,在这种身体检查中,它不能检测特定潜在病理。因此,医学成像技术评估是必要的。
常见的医学成像技术包括x射线、计算机断层摄影(CT)和磁共振成像(MRI)。X射线和CT图像和数据可以用于显示由于骨的高X射线吸收率而导致的椎管狭窄和脊柱排列不齐。另外,MRI产生软组织的高质量图像集,用于跟踪它们的扩大、退化和迁移。
虽然医学成像产品是客观的,但是成像数据的解释是相对主观的,因此可能导致对评价者之间的差异。
另一个明显的不利方面是在管理脊柱排列时需要重复的辐射暴露,这可能潜在地增加癌症的风险,特别是在年轻的成长中的儿童中。
目前的诊断和随访评估需要大量的临床经验和专门技术。所有的决定主要基于X射线上的曲线外观。
因此,要求年幼的儿童每6个月具有X射线以密切监测畸形并提供及时的干预。这固有地增加了成长中的儿童的辐射暴露。
这也增加了父母或护理者的焦虑,他们必须在疾病进展或治疗进展更新之前等待半年X射线检查。
患者(通常是儿童)的背部的外观会变化,并且人眼难以辨别哪个弯曲已经恶化或者弯曲如何负面地影响身体姿势。
在临床上,本发明人已经注意到,缺乏量化年轻成长患者的体型变化的视觉工具或方法,如儿童和青少年的情况。
这种缺乏和不足是本发明人所确定的临床实践,并且对于临床评估以及治疗计划和进展监测的简易性和改进来说,认为对这种工具或方法的需要是适当的。
本发明人认为,现有技术中缺乏的这种工具和方法对于实施是重要的,因为它可以帮助临床医生:
(i)增加了诊断的一致性,
(ii)增加的程序(手术介入或非手术介入)的效率和准确性;
(iii)治疗和程序计划;
(iv)监测治疗进展和结果;
(v)通过证明纵向治疗改善来改善患者对治疗的顺从性;以及
(vi)减少患者和护理者对患者病症的焦虑。
由于包括脊柱侧凸患者在内的所有患者都需要在诊所和医院进行定期检查和监测,因此产生了每天到这些保健机构的高患者流量,从而导致每个医师的工作量巨大并且减少了患者的诊疗时间。同时,对于患者来说,总是安排就诊到诊所或医院进行定期检查是非常耗时和成本低效的。
此外,在站立测试或亚当斯前屈测试期间,患者需要脱衣服以便将裸背部上的脊柱棘突暴露给从业者以进行检查。
这对于患者,尤其是青少年患者来说可能是高度不舒服的,因为没有人希望在不熟悉的环境中并且在另一个人的前面或附近脱衣服,
此外,这些儿童在使其背部被陌生人触摸时通常感觉不舒适。
不利的是,除了使儿童和护理者都不能参加临床设施进行这种评估和随访之外,这种评估的急迫和不舒服的环境可能导致评估不是最佳的。
本发明人已经进行了类似观察,对可能患有变性脊柱侧凸(异常Cobb角和躯干移位)或矢状排列不齐(异常脊柱后凸角、腰部脊柱前凸、骨盆发病、骨盆倾斜度和/或骶骨倾斜度)的变性排列不齐(下背痛)患者群的患者进行评估,面临类似的不便和困难,并且本发明不仅可用于脊柱侧凸患者,而且适用于包括特发性和变性群的整个脊柱排列不齐群。
本发明人,总地来说考虑到他们对临床一致性、数据获取的容易性和可靠性与一致性的需求以及对患者(特别是儿童及其护理者)的社会影响的观察,并且考虑到上述内容,因此提供了一种新的方法和系统,其寻求解决至少一些缺陷,并且提供了解决或改进如本发明人所确定的与现有技术相关的缺陷的系统和方法。
本发明的详细描述
参考图1a,其示出了根据本发明的系统100a的实施例,用于基于对象的背部的所获取的光学图像来评估人的脊柱排列,通常地是儿童的脊柱排列。
如图1a所示,评估系统100a包括图像数据获取设备110a。
当患者准备进行脊柱评估时,图像数据获取设备110a获取指示对象的脊柱区域的一个或多个数据输入集,其可以是患者的后部和矢状(sagittal)方面的多个光学图像,其清楚地示出身体的外围和脊柱排列。这种数据输入集可以基于当前临床评估和评价技术,如本领域已知的并且包括如上所述的那些。
在本发明的实施例中,图像数据获取设备可以是光学图像获取设备,并且,其中数据输入集是光学输入图像。
光学图像获取设备110a可以是例如在其中要获取图像的房间或环境中、安装在门诊部或医院中的的固定CCD/CMOS相机。
或者,光学图像获取设备110a也可为专门设计的移动设备或甚至日常使用的移动设备(例如,智能电话及平板计算机)的内置相机。
或者,图像数据获取设备可以是深度传感器,诸如深度相机。值得注意且有利的是,通过使用这种便携式图像数据获取设备(诸如相机),脊柱的评价或评估的图像获取方面不必一定在诊所或医院中完成,而是在患者感到舒适的任何地方完成。
这具有显著优点,包括如下:
(i)对于可能距医院远距离生活的患者或对象,因此不需要护理者行进和中断护理者的时间表以及失去儿童上学的几天;
(ii)由于图像在家中获取或进行更舒适的环境进展监测和评估,所以可能存在随着时间的推移而进行的更准确的图像获取以重新拍摄图像;
(iii)再次,鉴于更放松的环境,避免了上述和标识的社交和个人焦虑相关问题。
应当注意和理解,在当前临床实践中,不获取各种情况下的对象的图像以用于评估的测量,并且先前获取的测量不能容易地被验证或者甚至被重新评估。
由图像获取设备110a获取的光学图像优选地是RGB彩色图像。
或者,只要光学图像中所示的身体和脊柱特征足够清晰以用于图像分析,所获取的光学图像也可以是灰度的。
如上所述,从其后部和矢状方面获得患者的裸背部的光学图像,因为形成任一方面的光学图像仅能提供关于患者的身体形状和脊柱排列的有限信息。通过组合来自后部和矢状方面的光学图像,可以收集更多的图像数据用于彻底的分析和诊断。
患有脊柱排列不齐的患者通常具有沿着身体的额状面向身体的任一侧横向扭曲的身体。因此,通过从患者的后部方面获取光学图像,可以获得关于患者的身体的周边、平衡和身体对称性的信息,以用于进一步分析和评估。
可以从人的背部的后部图像识别指示患者的脊柱排列不齐的更多症状,这些症状包括:
(i)骨盆底的侧向倾斜;
(ii)肩胛骨的垂直位移;
(iii)脊柱的曲率(脊柱棘突);以及
(iv)脊柱棘突的线性。
此外,患者的矢状方面的光学图像提供了与脊柱排列有关的不同组的信息。可以从患者的矢状方面观察到的症状包括:
(i)骨盆底的额倾;
(ii)肩胛骨的水平位移;以及
(iii)脊柱的额部曲率;
因此,通过组合从患者的后部和矢状方面的光学图像获得的数据,可以容易地收集指示不同解剖平面上的脊柱倾斜的更多数据,并且可以执行更彻底的图像分析和脊柱诊断。
然后,将患者的背部的所获取的光学图像输入到已经预先训练的第一神经网络120a,以便使用人工智能进行图像分析和椎骨界标检测。
可以利用“利用特征提取的大数据(几千幅图像)”和/或“利用关键点检测的小数据(几百幅图像)”来训练预先训练的神经网络。
在本发明的实施例中,神经网络120a还可以包括两个不同分量,包括卷积神经网络(CNN)和递归神经网络(RNN)。
在本发明的实施例中,对于基于光学图像的排列不齐评估和X射线模拟,利用基于卷积神经网络(CNN)的框架来提取图像特征和方法回归,以便评估患者的脊柱排列。可以应用专门设计的标准化和校正算法,以便标准化输入图像并且减少来自不同图像质量的误差。
也可以应用图像增强算法以提高我们提出的框架的鲁棒性和准确性。在CNN模型中应用批量归一化和残差块以获得网络的改进配置。
为了在本发明的实施例中估计疾病进展,基于递归神经网络(RNN)的模型可以用于采用特征选择的主分量分析,使用电子健康记录来估计时间序列中的排列不齐进展。
几个指标可以用于模型训练,包括医学图像、性别、年龄、身高、体重、用长期短期机器(LSTM)估计进展而随访的排列测量。
均方差(MSE)用作损失函数,并且反向传播时间(BPTT)被选择用于模型优化。例如,在3个月、6个月和1年的时间范围内估计未来脊柱侧凸曲线行为的预后。
必须注意,神经网络120a需要被训练,使得在先前的足够量的输入数据之后,它可以自动地定位患者或对象的背部的光学图像上的基本椎骨界标。
再次,可以利用“利用特征提取的大数据(几千幅图像)”和/或“利用关键点检测的小数据(几百幅图像)”来训练预先训练的神经网络。
优选地,在神经网络120a的结果变得准确之前,优选地用至少1000组数据对该神经网络进行训练。
为了训练神经网络120a,需要医学专家,通常是骨科或康复领域的医生、脊柱外科医生或受过训练的人员,在多个患者的后部和矢状方面的所获取的光学图像上手动标记和标示重要椎骨界标的位置。
由受过训练的从业者执行的原始光学图像的手动标记可以简单地通过将点和线应用于脊柱的基本特征或突出部来实现,如所示的并且可以在所获取的光学图像上看到的。需要人工标记的临床上有用的和适当的椎骨界标可以包括:
-C7:脊椎前突
-T3:在连接两肩胛棘的线的水平上
-T7:在连接两肩胛骨下角的线的平面
-T12:第十二(第12)肋的正下方
-L4:在连接髂嵴顶的线的水平
-S2:在连接髂后上棘的线的水平
在完成手动标记方法时,患者的背部的所获取的光学图像连同标记图像150a一起都被输入到神经网络120a以用于经由机器学习方法进行训练,该机器学习方法可以包括但不限于深度学习或元学习。
仍然参考图1a,神经网络120a与光学图像获取设备110a通信,在获取患者的背部和侧面的光学图像时,图像将被发送到训练良好的神经网络120a,用于椎骨界标的检测和识别。
基于实现的计算机的人工智能,未评估的输入光学图像将被自动标记有在其上由神经网络120a识别和定位的基本界标,而无需任何经训练过的从业者的帮助。这一特征将帮助临床医生和患者更客观地评估外观。
在实施例中,以对象的相同姿势与光学图像同时拍摄的成对X射线图像可以用于训练神经网络。
因此,在这样的实施例中,当光学图像获取设备(110a)获取随后被输入到神经网络120a中的对象的新光学图像时,可以产生模拟X射线作为神经网络120a的输出。
然后,从神经网络120a输出的模拟X射线被发送到如箭头122a所示的与神经网络120a通信的处理模块130a。处理模块130a提供对标记图像的图像分析和计算,并且提供关于患者脊柱排列不齐的分析结果。
由处理模块130a执行的图像分析计算之一可以是Cobb角测量,其示出了患者的脊柱排列不齐水平,并且基于此,受过训练的从业者将决定患者需要什么类型的治疗。
Cobb角通常地通过最上面倾斜(末端)椎骨的上终板和最下面倾斜(末端)椎骨的下终板之间的角度来测量;腰部脊柱前凸通过L1的角度上端板和S1的角度上端板来测量;骶斜倾斜度在S1的上端板的切线与水平面之间被测量;骨盆倾斜度是从股骨头中心的中点到骶骨上终板中心所画的线与垂直面之间的角度;骨盆入射被定义为在骶骨板的中点处垂直于骶骨板的线和将该点连接到股骨头中心的中点的线之间的角度。
在处理模块130a内进行数据处理时,诸如脊柱的侧向倾斜角和Cobb角的值的医学结果将被输出到输出模块140a,以用于医生的医学决定和评估。
在另一实施例中,处理模块130a不提供任何诊断,并且可以不必存在,如图1a中由箭头124a所表示的。在这样的实施例中,系统100a被用作筛选型系统,以确定是由人还是由处理器确定,如果:
-患者不需要进一步的评估,或
-是否可能诸如通过医学成像需要进一步临床检查/评价。输出模块140a可以是安装在医院或诊所的固定的监视显示器,用于向医生显示图像分析结果以供他们的医学决定。
输出模块140a也可以用于向患者说明他/她的背部的光学图像,使得患者可以大致了解脊柱排列不齐如何影响他/她。
此外,通过在整个治疗方法中保持患者的所有光学图像的记录,患者和医生都可以利用它来对脊柱排列不齐进行进展跟踪,以确定在适当的治疗后该排列不齐是否恶化或改善。
在本发明的实施例中,一种特别设计的移动设备或已经由患者拥有的包括智能电话或平板电脑的移动设备,其中患者的脊柱发展的图像跟踪可以经由访问安装在该移动设备的移动应用来跟踪。
在这种情况下,特别设计的移动设备或移动设备可以包括光学图像获取设备110a和输出模块140a,在单一设备中,其可以是便携式的并且可由患者的护理者或父母或由临床医生使用,这取决于实现方式。
现在参考图1b,其示出了系统100b,其被设计用于基于患者的背部的所获取的医学图像来诊断和跟踪患者的脊柱排列的发展。这些医学图像可以包括CT扫描、X射线、MRI、CBCT(锥束计算的断层摄影)等。
与图1a中描述的系统100a类似,患者的后部和矢状方面的清楚地示出患者的脊柱棘突的医学图像110b被输入到系统100b。
用于脊柱评估的医学图像被输入到系统100b的第二神经网络120b,用于经由人工智能的自动界标检测。
再次,第二神经网络120b在使用前应被充分训练。包括医生和脊柱外科医生在内的经过训练的从业者需要在多个患者的医学图像上识别和手动标记基本椎骨界标。
然后,原始医学图像与由经训练的专家150b手动标记的医学图像一起由输入接口112b输入到第二神经网络120b中,以用于经由使用机器学习方法进行训练,机器学习方法包括但不限于深度学习或元学习。
在充分训练后,第二神经网络120b也适于自动识别和定位任何输入医学图像的基本和相关的椎骨或骨界标。
然后,将第二神经网络120b输出的标记医学图像发送到处理模块130b,以通过基于规则的评估进行进一步分析。
以脊柱侧凸为例,在本发明的实现中可以建立并实现一种新脊柱侧凸风险评估(SRA)模型。
为了评估该模型,与指定的地面实况相关联地测试标准化应用获取的患者图像。放射科医师从X射线图像测量包括Cobb Angel(CA)和/或腰部脊柱前凸角度(LL)的地面实况标记。
对于预处理,通过强度归一化和数据增强来处理输入图像。为了提高学习能力,最小-最大(min-max)归一化用于处理每个通道中的数据图像,它保持原始数据分布,但将像素强度值置于从“0”到“1”的公共范围内。每个图像被调整大小到512×512×3尺寸,其中颜色通道例如是RGB格式。单个灰度或GBR通道图像可以被转换成RGB格式。
CA和LL的最大值在应用中设置为90度,最小值设置为0度,以包括具有呼吸并发症的严重情况。因为这些大于90度(罕见条件),为了计算效率,将其认为是90度。应用最大-最小归一化以处理CA和LL数据,值范围在“0”到“1”之间,0度转换到“0”和90度转换到“1”。因此,0到90之间的度在“0”到“1”之间标准化。
数据增强算法可以用于提高卷积神经网络(CNN)的鲁棒性并改进数据信息,以最小化由各种摄影技术和设备引起的不准确模型训练。输入图像根据不同空间分辨率、角度、亮度、对比度、位置通过数据增强算法来处理,并且不同噪声(例如高斯噪声)被添加到图像中以模拟图像捕获期间的握手效果。
参考图2(i),示出了根据本发明的方法200a的实施例,其用于示出第一神经网络,其中,需要患者的后部和矢状方面的光学图像(诸如参考图1a所描述的)作为输入。
方法200a的步骤包括:
(i)获取人的后部和矢状方面的光学图像(201a);
(ii)将所获取的光学图像输入到经训练的第一神经网络中(202a);
(iii)从第一神经网络输出用脊柱排列的界标标记的光学图像(203a);以及
(iv)然后,通过机器或临床医生(204a)做出确定,如果:
-患者不需要进一步的评估,或
-是否可能诸如通过医学成像来需要进一步的临床检查/评估。
来自神经网络的输出也可用于跟踪疾病进展或治疗进展。
参考图2a(ii),示出了根据本发明的方法200aa的实施例,其用于示出第一神经网络,其中,光学图像例如参考图1a所描述的。
在本实施例中,以对象的相同姿势与对应光学图像同时获取成对X射线图像可以用于训练如以上参考图1a所描述的神经网络并且用于随后仅基于患者身体的输入摄影图像来提供模拟X射线,这允许生成模拟的和可选地标记的X射线以用于随后的临床评估。
方法200aa的步骤包括:
(i)获取人的后部和矢状方面的光学图像(201aa);
(ii)将所获取的光学图像输入到经训练的第一神经网络中(202aa);
(iii)基于所获取的光学图像的模拟X射线图像可选地用界标标记并且从所述神经网络输出(203aa);以及
(iv)然后,如果存在以下条件,通过机器或临床医生从输出中做出确定(204aa),所述以下条件是:
-患者不需要进一步的评估,
-是否可能诸如通过医学成像需要进一步的临床检查/评估,或
-任何现有的或先前识别的ORT诊断的排列不齐已经被有效校正,或者如果需要正在进行的治疗或疗法。
来自神经网络的输出也可用于跟踪疾病进展或治疗进展。
因此,在这样的实施例中,当由光学图像获取设备(110a)获取随后被输入到神经网络120a中的对象的新光学图像时,可以产生模拟X射线作为神经网络120a的输出。
然后,从神经网络120a输出的模拟X射线被发送到如箭头122a所示的与神经网络120a通信的处理模块130a。处理模块130a提供对标记图像的图像分析和计算,并且提供关于患者的脊柱排列不齐的分析结果。类似地,图2b示出了本发明的方法200b的实施例,其基于医学图像的输入使用第二神经网络。
方法200b的步骤包括:
(i)将人的脊柱的医学图像输入到经训练的第二神经网络中(201b);
(ii)从第二神经网络输出用脊柱排列的界标标记的医学图像(202b);
(iii)在处理模块中经由基于规则的评估进一步处理从第二神经网络输出的标记的医学图像(203b);以及
(iv)医学专家以基于规则的评估结果为基础做出医学决定。
现在参考图3,示出了根据本发明的用于诊断脊柱排列不齐的方法300的流程图。
如参照图1a和1b所述,系统100a和100b包括用于自动检测关于患者的脊柱的输入光学或医学图像的任何基本椎骨界标的神经网络120a和120b,从而其不需要来自包括医生和脊柱外科医生的受过训练的从业者的帮助来为每个患者手动标记图像上的椎骨界标。
如将理解的,神经网络在使用前需要被良好地训练。如图3所示,神经网络330在多个标记的光学图像320和标记的医学图像325上被训练,其中的基本椎骨界标都是由经过训练的从业者手动识别和标记的。
在经由机器学习(例如但不限于深度学习或元学习)进行充分训练之后,神经网络330然后准备好用于任何输入图像的自动界标检测。
在根据本发明的实施例的脊柱评估期间,获得患者的后部方面的光学图像310,在图像中清楚地示出患者的脊柱棘突。然后,将所获取的图像310输入到经训练的神经网络330,以用于自动界标检测。
在神经网络330内进行处理之后,输出具有标记和定位的所有基本椎骨界标的标记图像340。如标记图像340所示,多个点345指示由神经网络330基于人工智能自动检测和标记的基本界标。
仍然参考标记图像340,通过将象征基本椎骨界标的所有点345连接在一起,形成模拟患者的实际脊柱棘突的曲线346。患者的模拟脊柱棘突可以用于进一步的计算和分析。
然后,将标记图像340发送到处理模块,以便通过基于规则的评估标准(诸如Cobb角评估的临床评估标准)进行进一步的图像分析和计算,例如基于标记的图像340来计算患者的Cobb角。这可以在图像350中示出,其中,Cobb角通过测量最上部倾斜椎骨的上终板的界标和最下部倾斜椎骨的下终板的界标之间的角度来计算。
计算出的Cobb角值可以输出到经过训练的从业者,以便他们决定对于患者来说哪种类型的治疗是必要的。
Cobb角是单位为度的脊柱曲度的量度。这有助于评估脊柱的排列不齐,并且还确定需要何种类型的治疗。通常,10度的Cobb角被认为是限定脊柱侧凸的最小角度。
本领域技术人员将理解,用于临床应用和评估的其它基于规则的评估标准同样适用于本发明。
参考图4,其示出了神经网络设计400的示意性表示。
如图所示,示出了用于本申请的利用CNN的基于深度学习的模型,其具有两个主要功能:特征提取和特征回归。
首先,深度残差网络用于特征提取,因为残差学习可以增加表示的深度,这增加了视觉识别任务的准确性和效率。
此外,提出最大池化层以避免过拟合现象,以及批量归一化以减少隐藏单元值的移位。
在模型训练方法中,例如,70%的图像用于训练,10%用于交叉验证。亚当斯优化算法用于训练权重和偏移,其具有避免局部最小化的函数,具有损失函数的均方误差。剩余数据用于模型试验方法,并且估计精度可以经由SRA模型通过比较地面实况值和估计值来提高。
参考图5,其示出了根据本发明的使用安装在智能电话513中的移动应用来执行脊柱评估的方法500的流程图。
如图5中的第一步骤510所示,智能手机513的内置相机被用作光学图像获取设备,以获取患者的背部的光学图像515,无论是在后部还是在矢状方面。
这允许图像获取方法可以在患者感觉舒适的任何地方执行,但不必在诊所或医院中执行,并且满足与如上所述的现有技术相关联的已识别的缺陷。
图像获取设备可以是用于图像获取的定制的和专门建造的物品,并且还可以包括用于家庭监视和/或从业者使用的视觉显示单元。
这对于在不熟悉的环境中、在未知从业者面前对于脱衣服容易感觉不舒服的患者、尤其是青少年患者是有益的。通过使用智能手机513作为光学图像获取设备,青少年患者的护理者可以在熟悉环境下(诸如在患者的卧室或学校诊所)容易地获取图像,因此减少在脊柱评估期间给患者带来的任何不适。
为了向没有经过医学训练的护理者提供指导以正确地获取用于脊柱评估的合适光学图像,在移动应用中提供了参考线511和512,使得当利用智能手机拍照时,患者的肩部应当与参考线511排列,并且患者的骨盆应当与参考线512排列。
在获取患者的背部的光学图像时,方法500进入第二步骤520,其中患者的光学图像被发送到远程训练的神经网络以用于自动界标检测,并且被发送到处理模块以用于经由无线通信(例如蓝牙或wifi)进行进一步的图像分析。之后,计算和分析结果将由处理模块输出。
如第三步骤530所示,由处理模块输出的计算和分析结果经由例如蓝牙或wifi的无线通信从远程神经网络和处理模块发送回智能电话类型的设备。
然后,经由智能手机513将关于是否需要患者回到诊所进行密切监测以及患者自己的进展跟踪的信息输出给用户。
电子健康记录数据集
通过本移动应用纵向获取的个体的电子健康记录(eHR)可以用于使用递归神经网络(RNN)的疾病进展估计。eHR包含可用于提取脊柱排列不齐相关危险因素的信息(包括纵向收集的X射线图像、性别、年龄、身高、体重、随访Cobb角度(CA)和/或腰椎脊柱前凸角度(LL))。
疾病的各种特征可以由递归神经网络(RNN)自动提取,RNN是用于利用基于序列数据的聚类和降维进行分类的神经网络家族。RNN参数共享使得能够进行序列数据处理,因此可以训练模型以识别和学习随随访的纵向变化的特征。来自处理先前记录的输出可以被放回隐藏层,并且来自先前记录的信息可以影响整个模型。因此,可以估计患者在随访期的排列参数。
数据处理
通过eHR数据库,可以从患者实现许多特征。主成分分析(PCA)可以用于降维以移除无用和冗余信息,从而获得更好效率。为了更好学习能力,包括患者的年龄、患者的性/性别的特征在“0”到“1”之间被归一化。如前所述,最大-最小归一化用于处理排列参数数据,值范围在“0”到“1”之间,其中数据增强提高了RNN模型的鲁棒性。
RNN框架设计
长短期机器(LSTM)被适配为疾病进展估计模型,其是用于防止消失梯度问题的特定递归神经网络。在该模型中使用残差学习框架(ResNet)来随时间添加跳过连接,因为更深的神经网络可以为模型训练提供更好的性能。反向传播时间(BPTT)优化了该模型,并且均方误差(MSE)被选择作为损失函数。Fast-RNN可以用于这种耗时工作以减少RNN模型的运行时间,将区域提案计算作为瓶颈暴露。
这种基于规则的结果将被输出到输出模块140,以便医疗专家为患者做出医疗决定。
应注意和理解,尽管本发明特别参照脊柱侧凸的临床评估进行描述,但本发明也可用于包括特发性和变性群体的整个脊柱排列不齐的相关患者,并且在这方面没有限制。
发明优点
本发明在医疗管理和诊断、恢复、康复、筛选和患者治疗领域内提供了许多优点和益处。
本发明以广泛的形式提供了一种系统和方法,其可以提供输出图像,该输出图像可以用于关于对象的感兴趣区域中的骨排列不齐的对象选择的临床评估或诊断。
对象的感兴趣区域可以是对象的身体的骨骼系统的任何部分,例如,包括脊柱的颈胸部和腰部的对象的脊柱区域、对象的骨盆附近的脊柱区域、对象的骨盆区域、对象的股骨骨盆区域和对象的腿部部分或区域。
如本领域技术人员所知和理解的,在患者的身体内的骨或骨结构的排列不齐或未对准的情况下,通常需要康复、随访、进一步的成像和监测,特别是用于诸如在脊柱区域中例如包括脊柱侧凸的畸形的管理和维护以及治疗。
本领域技术人员还将知道,对于这样的常规随访,对于对象,特别是儿童或常见的青春期以及老年人,不方便前往诊所定期进行随访检查和诊断。对于年幼的儿童和年长的儿童以及成年人来说,为了进行包括X射线的这种日常随访和身体检查而参加诊所也是相当创伤性的,由于这种检查的性质,通常需要移除对象的衣服或外衣,这在一些情况下会导致尴尬和脆弱感。
此外,在某些地区,定期去城市或区域中心的诊所是不方便的,并且对于儿童错过延长的上学时间也是不方便的,例如,在远处或甚至在本地去诊所以便随访和评估以及日常检查。
本发明在其实施例中通过提供一种允许借助于光学或距离或死亡类型获取设备获取对象的身体的感兴趣区域的图像的方法和系统克服或至少减少了这种不便,所述光学或距离或死亡类型获取设备获取指示对象身体的图像或轮廓的数据。
众所周知,特别是对于常规随访和治疗效果和康复的评估,在对象的身体上的骨突出部,例如在肩胛骨区域和脊柱区域,通常用于评估对象的脊柱部分以及骨盆和股骨骨盆区域的倾斜、扭转变形和排列不齐。
如本发明所提供的,通过诸如数字相机或深度测量设备的便携式获取设备,可以在家中或诊所方便地获取图像,而不必去医院或大型诊所以及与之相关的创伤。这可以是专用设备。
可以在不同姿势下获取若干图像,这些图像被认为是用于评估例如脊柱侧凸的骨排列的标准,并且可以提供可以根据本发明进行处理的图像,并且具有它们的应用的界标以用于由临床医生或者通过在诸如Cobb角评估的已知系统上应用基于规则的评估系统来进行的后续评估,用于确定和评估脊柱的排列不齐程度。
本发明的实施例和方面特别方便,因为它避免了儿童特别地到诊所就诊、与其他儿童或其他患者排行以及等待陌生人的临床评估的必要性,这种临床评估由于这种检查的性质可能是不舒服的、令人不安的常见尴尬,以及给可能被陌生人评估的儿童或青少年提供焦虑,以及给这种儿童的父母或监护人造成担心或潜在担心。
已经发现深度传感器或相机对于检测对象中的骨突起是有用的并且可应用于本发明,因为其通常独立于环境或周围光而操作,并且不取得错误读数,不会由于阴影而造成太大的阻碍,从而给出骨突起离开对象的身体的不正确放置。
此外,热成像型图像获取设备也适用于本发明,并且提供对指示输入图像的数据的获取。
本发明允许在例如远离大型诊所的环境中也易于筛查,例如通过获取感兴趣区域中的对象的身体的外部部分的图像,可以筛查畸形在诸如在脊柱侧凸中的脊柱排列不齐评估中的特定变化阈值之内或之外的存在,以及利用评估标准,诸如冷角或其他这样的临床评估标准或基于规则的评估方案。
通过利用经训练的神经网络,本发明允许高精度,如将理解的,这在从临床或治疗观点评估对象中是关键和重要的。
在本发明的实施例中,经训练的神经网络可以提供模拟医学图像,诸如通常X射线,或模拟MRI或其它医学图像,其可以具有由神经网络标记的解剖界标,用于临床医生或其它适当的有经验的或有资格的人随后的评估或筛选。
神经网络的训练可以利用临床医生例如一个或多个临床医生的评估来完成,所有这些都是通过规则间隔评估和学习系统,由此解剖界标由神经网络检测,并且应用基于骨隆起识别的规则,以便标记适用的解剖界标,用于后续评估。
在本发明的实施例中,神经网络可以通过输入对象在适用于评估的各种姿势下的对应光学和医学图像来训练,并且由此标记可以被应用于光学图像、医学图像或两者以用于神经网络的训练。
如本领域技术人员将理解的,本发明具有用于评估筛选和确定适当的治疗方案的多种应用,包括用于对象的骨结构的排列不齐的复原和校正。
参考文献
[1]F.Schwab,A.Dubey,L.Gamez,A.B.El Fegoun,K.Hwang,M.Pagala,andJ.P.Farcy,“Adult scoliosis:prevalence,SF-36,and nutritional parameters in anelderly volunteer population,”Spine(Phila Pa 1976),vol.30,no.9,pp.1082-5,May01,2005.
[2]F.Schwab,A.Dubey,M.Pagala,L.Gamez,and J.P.Farcy,“Adult scoliosis:ahealth assessment analysis by SF-36,”Spine(Phila Pa 1976),vol.28,no.6,pp.602-6,Mar 15,2003.
[3]F.J.Schwab,V.Lafage,J.P.Farcy,K.H.Bridwell,S.Glassman,andM.R.Shainline,“Predicting outcome and complications in the surgical treatmentof adult scoliosis,”Spine(Phila Pa 1976),vol.33,no.20,pp.2243-7,Sep 15,2008.
[4]G.B.D.Disease,I.Injury,and C.Prevalence,“Global,regional,andnational incidence,prevalence,and years lived with disability for 310diseasesand injuries,1990-2015:a systematic analysis for the Global Burden of DiseaseStudy 2015,”Lancet,vol.388,no.10053,pp.1545-1602,Oct 8,2016.
[5]T.Jackson,S.Thomas,V.Stabile,M.Shotwell,X.Han,and K.McQueen,“ASystematic Review and Meta-Analysis of the Global Burden of Chronic PainWithout Clear Etiology in Low-and Middle-Income Countries:Trends inHeterogeneous Data and a Proposal for New Assessment Methods,”Anesth Analg,vol.123,no.3,pp.739-48,Sep,2016.
[6]E.Ferrero,B.Liabaud,V.Challier,R.Lafage,B.G.Diebo,S.Vira,S.Liu,J.M.Vital,B.Ilharreborde,T.S.Protopsaltis,T.J.Errico,F.J.Schwab,and V.Lafage,“Role of pelvic translation and lower-extremity compensation to maintaingravity line position in spinal deformity,”J Neurosurg Spine,vol.24,no.3,pp.436-46,Mar,2016.
[7]S.D.Glassman,M.P.Coseo,and L.Y.Carreon,“Sagittal balance is morethan just alignment:why PJK remains an unresolved problem,”Scoliosis SpinalDisord,vol.11,pp.1,2016.
[8]R.Lafage,F.Schwab,V.Challier,J.K.Henry,J.Gum,J.Smith,R.Hostin,C.Shaffrey,H.J.Kim,C.Ames,J.Scheer,E.Klineberg,S.Bess,D.Burton,V.Lafage,andG.International Spine Study,“Defining Spino-Pelvic Alignment Thresholds:Should Operative Goals in Adult Spinal Deformity Surgery Account for Age?,”Spine(Phila Pa 1976),vol.41,no.1,pp.62-8,Jan,2016.
[9]J.K.Scheer,V.Lafage,J.S.Smith,V.Deviren,R.Hostin,I.M.McCarthy,G.M.Mundis,D.C.Burton,E.Klineberg,M.Gupta,K.Kebaish,C.I.Shaffrey,S.Bess,F.Schwab,C.P.Ames,and G.International Spine Study,“Maintenance ofradiographic correction at 2 years following lumbar pedicle subtractionosteotomy is superior with upper thoracic compared with thoracolumbarjunction upper instrumented vertebra,”Eur Spine J,vol.24Suppl 1,pp.S121-30,Jan,2015.
[10]K.J.Cho,S.I.Suk,S.R.Park,J.H.Kim,S.S.Kim,T.J.Lee,J.J.Lee,andJ.M.Lee,“Short fusion versus long fusion for degenerative lumbar scoliosis,”Eur Spine J,vol.17,no.5,pp.650-6,May,2008.
[11]M.C.Gupta,E.Ferrero,G.Mundis,J.S.Smith,C.I.Shaffrey,F.Schwab,H.J.Kim,O.Boachie-Adjei,V.Lafage,S.Bess,R.Hostin,D.C.Burton,C.P.Ames,K.Kebaish,E.Klineberg,and G.International Spine Study,“Pedicle SubtractionOsteotomy in the Revision Versus Primary Adult Spinal Deformity Patient:IsThere a Difference in Correction and Complications?,”Spine(Phila Pa 1976),vol.40,no.22,pp.E1169-75,Nov,2015.
[12]R.E.Isaacs,J.Hyde,J.A.Goodrich,W.B.Rodgers,and F.M.Phillips,“Aprospective,nonrandomized,multicenter evaluation of extreme lateral interbodyfusion for the treatment of adult degenerative scoliosis:perioperativeoutcomes and complications,”Spine(Phila Pa 1976),vol.35,no.26 Suppl,pp.S322-30,Dec 15,2010.
[13]V.Lafage,F.Schwab,S.Vira,R.Hart,D.Burton,J.S.Smith,O.Boachie-Adjei,A.Shelokov,R.Hostin,C.I.Shaffrey,M.Gupta,B.A.Akbarnia,S.Bess,andJ.P.Farcy,“Does vertebral level of pedicle subtraction osteotomy correlatewith degree of spinopelvic parameter correction?,”J Neurosurg Spine,vol.14,no.2,pp.184-91,Feb,2011.
[14]R.Patel,S.N.Khan,M.C.McMains,and M.Gupta,“Technique for LumbarPedicle Subtraction Osteotomy for Sagittal Plane Deformity in Revision,”Am JOrthop(Belle Mead NJ),vol.44,no.6,pp.261-4,Jun,2015.
[15]A.A.Theologis,G.M.Mundis,Jr.,S.Nguyen,D.O.Okonkwo,P.V.Mummaneni,J.S.Smith,C.I.Shaffrey,R.Fessler,S.Bess,F.Schwab,B.G.Diebo,D.Burton,R.Hart,V.Deviren,C.Ames,and G.for the International Spine Study,“Utility ofmultilevel lateral interbody fusion of the thoracolumbar coronal curve apexin adult deformity surgery in combination with open posterior instrumentationand L5-S1 interbody fusion:a case-matched evaluation of 32 patients,”JNeurosurg Spine,pp.1-12,Oct 21,2016.
Claims (61)
1.一种使用用于提供对象的脊柱区域的一个或多个输出图像的计算机化系统能操作的方法,在预先训练的神经网络中针对所述一个或多个输出图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的图像数据获取设备、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)由图像数据获取设备获取指示对象的脊柱区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在所述对象的一个或多个对应姿势下的所述对象的光学图像;
(ii)在预先训练的神经网络中,向所述一个或多个数据输入集的解剖界标提供标记以便提供用于所述对象的脊柱的后续临床评估的一个或多个光学输出图像,所述一个或多个数据输入集中的每个数据输入集指示在步骤(i)期间获取的在所述对象的所述一个或多个姿势下的所述对象的所述光学图像,
其中,所述预先训练的神经网络已经利用从多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集被预先训练,
其中,所述一个或多个预定姿势是用于对象的脊柱的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的脊柱的解剖界标已经由至少一个临床医生预先标记;并且
其中,在步骤(i)期间获取所述对象的所述一个或多个数据输入集所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由所述输出模块显示所述对象的脊柱区域的所述一个或多个光学输出图像以用于临床评估,所述一个或多个输出图像具有通过所述预先训练的神经网络提供给所述一个或多个输出图像的所述标记。
2.根据权利要求1所述的方法,其中,进一步利用在从所述多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个X射线图像来训练所述预先训练的神经网络,并且其中,所述神经网络提供与所述对象的脊柱区域的获取的所述一个或多个数据输入集相对应的一个或多个模拟X射线图像以用于临床评估,所述一个或多个模拟X射线图像具有由所述预先训练的神经网络提供给所述一个或多个模拟X射线图像的所述标记。
3.根据权利要求1所述的方法,其中,进一步利用当从所述多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个X射线图像来训练所述预先训练的神经网络,并且其中,所述神经网络提供与所述对象的脊柱区域的获取的所述一个或多个数据输入集相对应的一个或多个模拟X射线图像,所述一个或多个模拟X射线图像具有由所述预先训练的神经网络提供给所述一个或多个模拟X射线图像的所述标记,并且其中,与所述对象的脊柱区域的获取的所述一个或多个光学输入图像相对应的、具有提供给所述一个或多个模拟X射线图像的所述标记的所述一个或多个模拟X射线图像由处理模块处理,其中,所述处理模块提供对被标记的图像的图像分析和计算并且提供对所述对象的脊柱的排列不齐的分析和临床评估。
4.根据权利要求1至3中任一项所述的方法,其中,所述图像数据获取设备是光学图像获取设备,并且其中,所述数据输入集是光学输入图像。
5.根据权利要求4所述的方法,其中,所述光学图像获取设备是安装在要获取输入图像的房间或环境中的诊所或医院中的固定CCD/CMOS相机。
6.根据权利要求4中的任一项所述的方法,其中,所述光学图像获取设备是专用移动设备或移动设备的内置相机。
7.根据权利要求1至3中的任一项所述的方法,其中,所述图像数据获取设备是深度传感器。
8.根据权利要求7所述的方法,其中,所述深度传感器是深度相机。
9.根据前述权利要求中的任一项所述的方法,其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的脊柱的解剖界标已经由两个或多个临床医生预先标记,其中,在所述两个或多个临床医生之间寻求一致性。
10.根据权利要求9所述的方法,其中,在所述两个或多个临床医生之间未达到一致性的情况下,一个或多个另外的临床医生预先标记所述一个或多个训练数据输入集,直到达到一致性阈值为止。
11.一种使用用于提供对象的脊柱区域的一个或多个输出图像的计算机化系统能操作的方法,针对所述一个或多个输出图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的输入接口、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)获取对象的一个或多个医学输入图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在一个或多个对应姿势下的所述对象的图像;
(ii)在预先训练的神经网络中,向在步骤(i)期间获取的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,以用于提供用于所述对象的脊柱的后续临床评估的一个或多个医学输出图像,所述一个或多个医学输出图像是通过输入接口输入到预先训练的神经网络中的;
其中,所述预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像被预先训练;
其中,所述一个或多个预定姿势是用于所述对象的脊柱的排列不齐的临床评估的姿势,并且其中,从所述多个训练对象获取的所述一个或多个医学训练图像的脊柱的解剖界标已经由至少一个临床医生预先标记;并且
其中,在步骤(i)期间获取所述对象的所述一个或多个医学输入图像所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由所述输出模块显示所述对象的脊柱区域的所述一个或多个医学输出图像以用于临床评估,所述一个或多个医学输出图像具有通过所述预先训练的神经网络提供给所述一个或多个医学输出图像的所述标记。
12.根据权利要求11所述的方法,其中,所述医学图像选自包括CT(计算机断层摄影)扫描、X射线、MRI(磁共振成像)、CBCT(锥束计算的断层摄影)等的组。
13.一种使用用于提供对象的脊柱区域的一个或多个图像的计算机化系统能操作的方法,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的输入接口、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)获取对象的一个或多个医学输入图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在所述对象的一个或多个姿势下的所述对象的图像;
(ii)在预先训练的神经网络中,向在步骤(i)期间获取的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记以用于所述对象的脊柱的后续临床评估,所述一个或多个医学输入图像是通过输入接口输入到预先训练的神经网络中的;
其中,所述预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像被预先训练,
其中,所述一个或多个预定姿势是用于所述对象的脊柱的排列不齐的临床评估的姿势,并且其中,从所述多个训练对象获取的所述一个或多个医学训练图像的脊柱的解剖界标已经由临床医生预先标记;并且
其中,在步骤(i)期间获取所述对象的所述一个或多个医学输入图像所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)在处理器模块中,基于标记的所述解剖界标,通过一个或多个基于规则的评估标准处理所述对象的脊柱区域的所述一个或多个医学输入图像以便提供评估数据,所述一个或多个医学输入图像具有通过所述预先训练的神经网络提供给所述一个或多个医学输入图像的所述标记;以及
(iv)由所述输出模块显示来自步骤(iii)的所述评估数据以用于临床评估。
14.根据权利要求13所述的方法,其中,所述基于规则的评估标准是临床评估标准。
15.根据权利要求14所述的方法,其中,所述临床评估标准是Cobb角评估。
16.一种用于提供对象的脊柱区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,所述计算机化系统包括:
图像数据获取设备,所述图像数据获取设备用于获取对象的脊柱区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集i指示在所述对象的一个或多个对应姿势下的所述对象的光学图像;
预先训练的神经网络,所述预先训练的神经网络用于向指示从所述图像数据获取设备获取的在所述对象的所述一个或多个姿势下的所述对象的所述一个或多个数据输入集的解剖界标提供标记,以用于提供用于所述对象的脊柱的后续临床评估的光学输出图像,
其中,所述预先训练的神经网络已经预先训练了与从多个训练对象获取的训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集,
其中,所述一个或多个预定姿势是用于对象的脊柱的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的脊柱的解剖界标已经由至少一个临床医生预先标记;
其中,获取指示所述对象的所述一个或多个数据输入集所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;并且
输出模块,所述输出模块用于显示所述对象的脊柱区域的一个或多个光学输出图像以用于临床评估,所述一个或多个光学输出图像具有通过所述预先训练的神经网络提供给所述一个或多个光学输出图像的所述标记。
17.根据权利要求16所述的系统,其中,进一步利用在从所述多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个X射线图像来训练所述预先训练的神经网络,并且其中,所述神经网络提供与所述对象的脊柱区域的获取的所述一个或多个数据输入集相对应的一个或多个模拟X射线图像以用于临床评估,所述一个或多个模拟X射线图像具有由所述预先训练的神经网络提供给所述一个或多个模拟X射线图像的所述标记。
18.根据权利要求16所述的系统,其中,进一步利用当从所述多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个X射线图像来训练所述预先训练的神经网络,并且其中,所述神经网络提供与所述对象的脊柱区域的获取的所述一个或多个数据输入集相对应的一个或多个模拟X射线图像,所述一个或多个模拟X射线图像具有由所述预先训练的神经网络提供给所述一个或多个模拟X射线图像的所述标记,并且其中,与所述对象的脊柱区域的获取的所述一个或多个光学输入图像相对应的所述一个或多个模拟X射线图像由处理模块处理,所述一个或多个模拟X射线图像具有提供给所述一个或多个模拟X射线图像的所述标记,其中,所述处理模块提供对被标记的图像的图像分析和计算并且提供对所述对象的脊柱的排列不齐的分析和临床评估。
19.根据权利要求16至18中的任一项所述的系统,其中,所述图像数据获取设备是光学图像获取设备,并且其中所述数据输入集是光学输入图像。
20.根据权利要求19所述的系统,其中,所述光学图像获取设备是安装在要获取图像的房间或环境中的诊所或医院中的固定CCD/CMOS相机。
21.根据权利要求19所述的系统,其中,所述光学图像获取设备是专用移动设备或移动设备的内置相机。
22.根据权利要求16至18中的任一项所述的系统,其中,所述图像数据获取设备是深度传感器。
23.根据权利要求22所述的系统,其中,所述深度传感器是深度相机。
24.根据权利要求16至23中的任一项所述的系统,其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的脊柱的解剖界标已经由两个或多个临床医生预先标记,其中,在所述两个或多个临床医生之间寻求一致性。
25.根据权利要求24所述的系统,其中,在所述两个或多个临床医生之间未达到一致性的情况下,一个或多个另外的临床医生预先标记所述一个或多个训练数据输入集,直到达到一致性阈值为止。
26.根据权利要求21所述的系统,其中,所述光学图像获取设备还包括所述输出模块。
27.根据权利要求26所述的系统,其中,所述输出模块是视觉显示单元。
28.根据权利要求21、26或27中的任一项所述的系统,其中,所述光学图像获取设备在其上承载在其上可执行的用于与所述神经网络通信的软件。
29.根据权利要求28所述的系统,其中,所述光学图像获取设备包括用于引导用户关于所述预定姿势的获取以及其图像的获取的用户界面。
30.一种用于提供对象的脊柱区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的后续临床评估,所述计算机化系统包括:
输入接口,所述输入接口用于接收对象的一个或多个医学输入图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在一个或多个对应姿势下的所述对象的图像,
预先训练的神经网络,所述预先训练的神经网络用于向从所述输入接口接收到的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,并且用于提供通过输入接口输入到所述预先训练的神经网络中的用于所述对象的脊柱的后续临床评估的一个或多个医学输出图像;
其中,所述预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像被预先训练,
其中,所述一个或多个预定姿势是用于所述对象的脊柱的排列不齐的临床评估的姿势,并且其中,从所述多个训练对象获取的所述一个或多个医学训练图像的脊柱的解剖界标已经由临床医生预先标记;并且
其中,获取所述对象的所述一个或多个医学输入图像所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
输出模块,所述输出模块用于显示所述对象的脊柱区域的所述一个或多个医学输出图像以用于临床评估,所述一个或多个医学输出图像具有通过所述预先训练的神经网络提供给所述一个或多个医学输出图像的所述标记。
31.根据权利要求30所述的系统,其中,所述医学图像选自包括CT(计算机断层摄影)扫描、X射线、MRI(磁共振成像)、CBCT(锥束计算的断层摄影)等的组。
32.一种用于提供对象的脊柱区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的脊柱的排列不齐的临床评估,所述计算机化系统包括:
输入接口,所述输入接口用于接收对象的一个或多个医学图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在所述对象的一个或多个姿势下的所述对象的图像;
预先训练的神经网络,所述预先训练的神经网络用于向从所述输入接口接收到的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,并且用于提供通过输入接口输入到所述预先训练的神经网络中的用于所述对象的脊柱的后续临床评估的一个或多个医学输出图像;
其中,所述预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像被预先训练,
其中,所述一个或多个预定姿势是用于所述对象的脊柱的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的脊柱的解剖界标已经由临床医生预先标记;并且
其中,获取所述对象的所述一个或多个医学输入图像所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;
处理器模块,所述处理器模块用于基于被标记的解剖界标,通过一个或多个基于规则的评估标准处理所述对象的脊柱区域的所述一个或多个医学输入图像以便提供评估数据,所述一个或多个医学输入图像具有通过所述预先训练的神经网络提供给所述一个或多个医学输入图像的所述标记;以及
输出模块,所述输出模块用于显示所述评估数据以用于临床评估。
33.根据权利要求32所述的系统,其中,所述基于规则的评估标准是临床评估标准。
34.根据权利要求33的系统,其中,所述临床评估标准是Cobb角评估。
35.一种使用用于提供对象的感兴趣区域的一个或多个输出图像的计算机化系统能操作的方法,在预先训练的神经网络中针对所述一个或多个输出图像标记适用于临床评估的解剖界标以用于在所述感兴趣区域处的对象的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的图像数据获取设备、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)由图像数据获取设备获取指示对象的所述感兴趣区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在所述对象的一个或多个对应姿势下的所述对象的光学图像;
(ii)在预先训练的神经网络中,向所述一个或多个数据输入集的解剖界标提供标记,以便提供一个或多个光学输出图像用于所述对象的所述感兴趣区域的后续临床评估,所述一个或多个数据输入集中的每个数据输入集指示在步骤(i)期间获取的在所述对象的所述一个或多个姿势下的所述对象的所述光学图像,
其中,所述预先训练的神经网络已经利用从多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集被预先训练,
其中,所述一个或多个预定姿势是用于所述感兴趣区域处的对象的骨结构的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的骨结构的解剖界标已经由至少一个临床医生预先标记;并且
其中,在步骤(i)期间获取所述对象的所述一个或多个数据输入集所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由所述输出模块显示所述对象的所述感兴趣区域的所述一个或多个光学输出图像以用于临床评估,所述一个或多个光学输出图像具有由所述预先训练的神经网络提供给所述一个或多个光学输出图像的所述标记。
36.一种使用用于提供对象的感兴趣区域的一个或多个输出图像的计算机化系统能操作的方法,针对所述一个或多个输出图像标记适用于临床评估的解剖界标以用于对象的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的输入接口、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)获取对象的一个或多个医学输入图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在一个或多个对应姿势下的所述对象的图像;
(ii)在预先训练的神经网络中,向在步骤(i)期间获取的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,以用于提供通过所述输入接口输入到预先训练的神经网络中的用于所述对象的所述感兴趣区域的后续临床评估的一个或多个医学输出图像;
其中,所述预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像被预先训练;
其中,所述一个或多个预定姿势是用于所述对象的所述感兴趣区域处的所述骨结构的排列不齐的临床评估的姿势,并且其中,从多个训练对象获取的所述一个或多个医学训练图像的所述感兴趣区域处的所述骨结构的所述解剖界标已经由至少一个临床医生预先标记;并且
其中,在步骤(i)期间获取所述对象的所述一个或多个医学输入图像所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由所述输出模块显示所述对象的所述感兴趣区域的所述一个或多个医学输出图像以用于临床评估,所述一个或多个医学输出图像具有通过所述预先训练的神经网络提供给所述一个或多个医学输出图像的所述标记。
37.一种使用用于提供对象的感兴趣区域的一个或多个图像的计算机化系统能操作的方法,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的所述感兴趣区域处的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的输入接口、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)获取对象的一个或多个医学输入图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在所述对象的一个或多个姿势下的所述对象的图像;
(ii)在预先训练的神经网络中,向在步骤(i)期间获取的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记以用于所述对象的所述感兴趣区域的后续临床评估,所述一个或多个医学输入图像通过输入接口被输入到预先训练的神经网络中;
其中,所述预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像被预先训练,
其中,所述一个或多个预定姿势是用于所述对象的所述感兴趣区域处的所述骨结构的排列不齐的临床评估的姿势,并且其中,从所述多个训练对象获取的在所述一个或多个医学训练图像的所述感兴趣区域处的所述骨结构的所述解剖界标已经由临床医生预先标记;并且
其中,在步骤(i)期间获取所述对象的所述一个或多个医学输入图像所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)在处理器模块中,基于所标记的解剖界标,通过一个或多个基于规则的评估标准处理所述对象的所述感兴趣区域的所述一个或多个医学输入图像以便提供评估数据,所述一个或多个医学输入图像具有通过所述预先训练的神经网络提供给所述一个或多个医学输入图像的所述标记;以及
(iv)由所述输出模块显示来自步骤(iii)的所述评估数据以用于临床评估。
38.根据权利要求35至37中的任一项所述的方法,其中,所述感兴趣区域是对象的脊柱区域。
39.根据权利要求35至37中的任一项所述的方法,其中,所述感兴趣区域是对象的骨盆区域。
40.根据权利要求35至37中的任一项所述的方法,其中,所述感兴趣区域是对象的股骨-骨盆区域。
41.根据权利要求35至37中的任一项所述的方法,其中,所述感兴趣区域是对象的腿部区域。
42.一种用于提供对象的感兴趣区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的感兴趣区域的排列不齐的临床评估,所述计算机化系统包括:
图像数据获取设备,所述图像数据获取设备用于获取对象的感兴趣区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在所述对象的一个或多个对应姿势下的所述对象的光学图像;
预先训练的神经网络,所述预先训练的神经网络用于向指示从所述图像数据获取设备获取的在所述对象的所述一个或多个姿势下的所述对象的所述一个或多个数据输入集的解剖界标提供标记,用于提供用于所述对象的所述感兴趣区域处的所述骨结构的后续临床评估的光学输出图像,
其中,所述预先训练的神经网络已经被预先训练了与从多个训练对象获取的训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集,
其中,所述一个或多个预定姿势是用于在对象的所述感兴趣区域处的所述骨结构的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的在所述一个或多个训练数据输入集的所述感兴趣区域处的所述骨结构的所述解剖界标已经由至少一个临床医生预先标记;并且
其中,获取指示所述对象的所述一个或多个数据输入集的所述对象所针对的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
输出模块,所述输出模块用于显示所述对象的所述感兴趣区域的所述一个或多个光学输出图像以用于临床评估,所述一个或多个光学输出图像具有通过所述预先训练的神经网络提供给所述一个或多个光学输出图像的所述标记。
43.一种用于提供对象的感兴趣区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于在对象的所述感兴趣区域处的骨结构的排列不齐的后续临床评估,所述计算机化系统包括:
输入接口,所述输入接口用于接收对象的一个或多个医学输入图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在一个或多个对应姿势下的所述对象的图像,
预先训练的神经网络,所述预先训练的神经网络用于向从所述输入接口接收到的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,并且用于提供通过输入接口输入到所述预先训练的神经网络中的用于在所述对象的所述感兴趣区域处的所述骨结构的后续临床评估的一个或多个医学输出图像;
其中,所述预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练者获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像被预先训练,
其中,所述一个或多个预定姿势是用于在所述对象的所述感兴趣区域处的所述骨结构的排列不齐的临床评估的姿势,并且其中,从所述多个训练对象获取的在所述一个或多个医学训练图像的所述感兴趣区域处的所述骨结构的所述解剖界标已经由临床医生预先标记;并且
其中,获取所述对象的所述一个或多个医学输入图像所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
输出模块,所述输出模块用于显示所述对象的所述感兴趣区域的所述一个或多个医学输出图像以用于临床评估,所述一个或多个医学输出图像具有通过所述预先训练的神经网络提供给所述一个或多个医学输出图像的所述标记。
44.一种用于提供对象的感兴趣区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的所述感兴趣区域处的骨结构的排列不齐的临床评估,所述计算机化系统包括:
输入接口,所述输入接口用于接收对象的一个或多个医学图像,其中,所述一个或多个医学输入图像中的每个医学输入图像是在所述对象的一个或多个姿势下的所述对象的图像;
预先训练的神经网络,所述预先训练的神经网络用于向从所述输入接口接收到的在所述对象的所述一个或多个姿势下的所述对象的一个或多个医学输入图像的解剖界标提供标记,并且用于提供通过输入接口输入到所述预先训练的神经网络中的用于所述对象的所述感兴趣区域处的所述骨结构的后续临床评估的一个或多个医学输出图像;
其中,所述预先训练的神经网络已经利用从在一个或多个预定姿势下的多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个医学训练图像被预先训练,
其中,所述一个或多个预定姿势是用于在所述对象的所述感兴趣区域处的所述骨结构的排列不齐的临床评估的姿势,并且其中,从所述多个训练对象获取的在所述一个或多个医学训练图像的所述感兴趣区域处的所述骨结构的所述解剖界标已经由临床医生预先标记;并且
其中,获取所述对象的所述一个或多个医学输入图像所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;
处理器模块,所述处理器模块用于基于被标记的解剖界标,通过一个或多个基于规则的评估标准处理所述对象的所述感兴趣区域的所述一个或多个医学输入图像以便提供评估数据,所述一个或多个医学输入图像具有通过所述预先训练的神经网络提供给所述一个或多个医学输入图像的所述标记;以及
输出模块,所述输出模块用于显示所述评估数据以用于临床评估。
45.根据权利要求42至44中的任一项所述的系统,其中,所述感兴趣区域是对象的脊柱区域。
46.根据权利要求42至44中的任一项所述的系统,其中,所述感兴趣区域是对象的骨盆区域。
47.根据权利要求42至44中的任一项所述的系统,其中,所述感兴趣区域是对象的股骨-骨盆区域。
48.根据权利要求42至44中的任一项所述的系统,其中,所述感兴趣区域是对象的腿部区域。
49.一种使用用于提供对象的感兴趣区域的一个或多个输出图像的计算机化系统能操作的方法,在预先训练的神经网络中针对所述一个或多个输出图像标记适用于临床评估的解剖界标以用于在所述感兴趣区域处的对象的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的图像数据获取设备、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)由图像数据获取设备获取指示对象的所述感兴趣区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在所述对象的一个或多个对应姿势下的所述对象的光学图像;
(ii)在预先训练的神经网络中,向所述一个或多个数据输入集的解剖界标提供标记,用于所述对象的所述感兴趣区域的后续临床评估,所述一个或多个数据输入集中的每个数据输入集指示在步骤(i)期间获取的在所述对象的所述一个或多个姿势下的所述对象的所述光学图像以便提供一个或多个光学输出图像,
其中,所述预先训练的神经网络已经利用从多个训练对象获取的与训练对象的一个或多个预定姿势相对应的一个或多个训练数据输入集被预先训练,
其中,所述一个或多个预定姿势是用于在所述感兴趣区域处的对象的所述骨结构的排列不齐的临床评估的姿势;其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的骨结构的解剖界标已经基于对所述一个或多个训练数据输入集的骨结构的解剖界标的识别利用一个或多个基于规则的标准来预先标记;并且
其中,在步骤(i)期间获取所述对象的所述一个或多个数据输入集所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由所述输出模块显示所述对象的所述感兴趣区域的所述一个或多个光学输出图像以用于临床评估,所述一个或多个光学输出图像具有通过所述预先训练的神经网络提供给所述一个或多个光学输出图像的所述标记。
50.一种使用用于提供对象的感兴趣区域的一个或多个模拟医学输出图像的计算机化系统能操作的方法,在预先训练的神经网络中针对所述一个或多个模拟医学输出图像标记适用于临床评估的解剖界标以用于在所述感兴趣区域处的对象的骨结构的排列不齐的临床评估,所述计算机化系统包括经由通信链路能操作地互连在一起的图像数据获取设备、预先训练的神经网络和输出模块,所述方法包括以下步骤:
(i)由图像数据获取设备获取指示对象的所述感兴趣区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在所述对象的一个或多个对应姿势下的所述对象的光学图像;
(ii)在预先训练的神经网络中,向一个或多个模拟医学图像的解剖界标提供标记,其中,所述一个或多个医学图像和所述解剖界标基于在步骤(i)期间获取的所述一个或多个数据输入集来生成以便提供与所述对象的所述感兴趣区域的获取的所述一个或多个数据输入集相对应的一个或多个模拟医学图像,所述一个或多个模拟医学图像具有通过所述预先训练的神经网络提供给所述一个或多个模拟医学图像的所述标记;
其中,所述预先训练的神经网络已经利用一个或多个训练数据输入集和在从多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个医学图像被预先训练,其中,所述一个或多个训练数据输入集对应于从多个训练对象获取的所述训练对象的一个或多个预定姿势,并且其中,所述一个或多个训练数据输入集和所述一个或多个医学图像中的至少一个的解剖界标已经被预先标记;
其中,所述一个或多个预定姿势是用于所述感兴趣区域处的对象的所述骨结构的排列不齐的临床评估的姿势;并且
其中,在步骤(i)期间获取所述对象的所述一个或多个数据输入集针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
(iii)由所述输出模块显示所述对象的所述感兴趣区域的所述一个或多个模拟医学输出图像以用于临床评估,所述一个或多个模拟医学输出图像具有通过所述预先训练的神经网络提供给所述一个或多个模拟医学输出图像的所述标记。
51.根据权利要求50所述的方法,其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的所述骨结构的所述解剖界标已经由至少一个临床医生预先标记。
52.根据权利要求50所述的方法,其中,从所述多个训练对象获取的所述一个或多个医学图像的所述骨结构的所述解剖界标已经利用一个或多个基于规则的标准来预先标记。
53.根据权利要求50所述的方法,其中,所述一个或多个训练数据输入集和从所述多个训练对象获得的所述一个或多个医学图像的所述骨结构的所述解剖界标已经被预先标记。
54.根据权利要求50至53中的任一项所述的方法,其中,从所述多个训练对象获取的所述一个或多个训练数据输入集的所述骨结构的所述解剖界标基于对所述一个或多个训练数据输入集的所述骨结构的所述解剖界标的标识利用一个或多个基于规则的标准来预先标记。
55.根据权利要求50至54中的任一项所述的方法,其中,所述感兴趣区域是对象的脊柱区域。
56.根据权利要求50至54中的任一项所述的方法,其中,所述感兴趣区域是对象的骨盆区域。
57.根据权利要求50至54中的任一项所述的方法,其中,所述感兴趣区域是对象的股骨-骨盆区域。
58.根据权利要求50至54中的任一项所述的方法,其中,所述感兴趣区域是对象的腿部区域。
59.一种用于提供对象的感兴趣区域的一个或多个图像的计算机化系统,针对所述一个或多个图像标记适用于临床评估的解剖界标,以用于对象的感兴趣区域的排列不齐的临床评估,所述计算机化系统包括:
图像数据获取设备,所述图像数据获取设备用于获取对象的所述感兴趣区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在所述对象的一个或多个对应姿势下的所述对象的光学图像;
预先训练的神经网络,所述预先训练的神经网络用于提供所述对象的所述感兴趣区域的一个或多个模拟医学输出图像,所述一个或多个模拟医学输出图像具有由所述预先训练的神经网络提供所述一个或多个模拟医学输出图像的标记,
其中,所述预先训练的神经网络已经利用一个或多个训练数据输入集和在从多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个医学图像被预先训练,其中,所述一个或多个训练数据输入集对应于从多个训练对象获取的所述训练对象的一个或多个预定姿势,并且其中,所述一个或多个训练数据输入集和所述一个或多个医学图像中的至少一个的解剖界标已经被预先标记;
其中,所述一个或多个预定姿势是用于在所述感兴趣区域处的对象的所述骨结构的排列不齐的临床评估的姿势;并且
其中,获取所述对象的所述一个或多个数据输入集所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个;以及
输出模块,所述输出模块用于显示所述对象的所述感兴趣区域的一个或多个模拟以用于临床评估,所述一个或多个模拟具有通过所述预先训练的神经网络提供给所述一个或多个模拟的所述标记。
60.一种用于获取对象的感兴趣区域的一个或多个数据输入集的图像数据获取设备,针对所述一个或多个数据输入集标记适用于临床评估的解剖界标以用于所述对象的感兴趣区域的排列不齐的临床评估,其中,所述设备用在用于提供对象的感兴趣区域的一个或多个图像的系统中,针对所述一个或多个图像标记适用于临床评估的解剖界标以用于对象的感兴趣区域的排列不齐的临床评估,所述计算机化的系统包括:
图像数据获取设备,所述图像数据获取设备用于获取对象的所述感兴趣区域的一个或多个数据输入集,其中,所述一个或多个数据输入集中的每个数据输入集指示在所述对象的一个或多个对应姿势下的所述对象的光学图像;
预先训练的神经网络,所述预先训练的神经网络用于提供所述对象的感兴趣区域的一个或多个模拟医学输出图像,所述一个或多个模拟医学输出图像具有由所述预先训练的神经网络提供给所述一个或多个模拟医学输出图像的标记,
其中,所述预先训练的神经网络已经利用一个或多个训练数据输入集和在从多个训练对象获取所述一个或多个数据输入集时同时获取的一个或多个医学图像来预先训练,其中,所述一个或多个训练数据输入集对应于从多个训练对象获取的所述训练对象的一个或多个预定姿势,并且其中,所述一个或多个训练数据输入集和所述一个或多个医学图像中的至少一个的解剖界标已经被预先标记;
其中,所述一个或多个预定姿势是用于所述感兴趣区域处的对象的所述骨结构的排列不齐的临床评估的姿势;并且
其中,获取所述对象的所述一个或多个数据输入集所针对的所述对象的所述一个或多个姿势对应于所述预定姿势中的一个或多个。
61.根据权利要求60所述的设备,其中,所述设备包括输出模块,所述输出模块用于显示所述对象的所述感兴趣区域的所述一个或多个模拟以用于临床评估,所述一个或多个模拟具有由所述预先训练的神经网络提供给所述一个或多个模拟的所述标记。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
HK19125755.9 | 2019-06-24 | ||
HK19125755 | 2019-06-24 | ||
PCT/CN2020/098157 WO2020259600A1 (en) | 2019-06-24 | 2020-06-24 | A device, process and system for diagnosing and tracking of the development of the spinal alignment of a person |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114173642A true CN114173642A (zh) | 2022-03-11 |
Family
ID=74060720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080046794.9A Pending CN114173642A (zh) | 2019-06-24 | 2020-06-24 | 用于诊断和跟踪人的脊柱排列的发展的设备、方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US12056874B2 (zh) |
CN (1) | CN114173642A (zh) |
WO (1) | WO2020259600A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3760125A1 (en) * | 2019-07-05 | 2021-01-06 | Koninklijke Philips N.V. | Self-learning distributed system with automated ground-truth generation |
CN113538533B (zh) * | 2021-06-22 | 2023-04-18 | 南方医科大学 | 一种脊柱配准方法、装置、设备及计算机存储介质 |
CN113781453B (zh) * | 2021-09-15 | 2024-04-02 | 南京大学 | 一种基于x线片的脊柱侧凸进展预测及方法和装置 |
WO2023143625A1 (en) * | 2022-01-31 | 2023-08-03 | Conova Medical Technology Limited | Process and system for three-dimensional modelling of tissue of a subject, and surgical planning process and system |
US11544850B1 (en) * | 2022-05-06 | 2023-01-03 | Ortho AI LLC | System and method for patient-specific anatomical analyses |
WO2024033897A1 (en) * | 2022-08-11 | 2024-02-15 | Momentum Health Inc. | Method and system for determining spinal curvature |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150313566A1 (en) * | 2012-11-23 | 2015-11-05 | Diers Engineering Gmbh | Determining the Spatial Position and Orientation of the Vertebrae in the Spinal Column |
CN107481228A (zh) * | 2017-07-28 | 2017-12-15 | 电子科技大学 | 基于计算机视觉的人体背部脊柱侧弯角度测量方法 |
CN108697375A (zh) * | 2016-02-15 | 2018-10-23 | 学校法人庆应义塾 | 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序 |
CN109464148A (zh) * | 2018-11-12 | 2019-03-15 | 深圳码隆科技有限公司 | 测量脊柱弯曲的装置及系统 |
CN109493334A (zh) * | 2018-11-12 | 2019-03-19 | 深圳码隆科技有限公司 | 测量脊柱弯曲的方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6442287B1 (en) | 1998-08-28 | 2002-08-27 | Arch Development Corporation | Method and system for the computerized analysis of bone mass and structure |
EP2385792A1 (en) | 2008-08-12 | 2011-11-16 | Wyeth Pharmaceuticals Inc. | Morphometry of the human knee joint and prediction for ostearthritis |
KR101883258B1 (ko) | 2010-08-13 | 2018-07-31 | 스미스 앤드 네퓨, 인크. | 해부학적 계측점의 검출 방법 |
US20200205900A1 (en) * | 2018-12-31 | 2020-07-02 | Motion Insights, Inc. | Dynamic 3d motion capture for surgical implant orientation |
CN109886320B (zh) | 2019-01-30 | 2020-04-21 | 姜姿君 | 一种人体股骨x光片智能识读方法及系统 |
US11610305B2 (en) * | 2019-10-17 | 2023-03-21 | Postureco, Inc. | Method and system for postural analysis and measuring anatomical dimensions from a radiographic image using machine learning |
-
2020
- 2020-06-24 CN CN202080046794.9A patent/CN114173642A/zh active Pending
- 2020-06-24 WO PCT/CN2020/098157 patent/WO2020259600A1/en active Application Filing
- 2020-06-24 US US17/622,723 patent/US12056874B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150313566A1 (en) * | 2012-11-23 | 2015-11-05 | Diers Engineering Gmbh | Determining the Spatial Position and Orientation of the Vertebrae in the Spinal Column |
CN108697375A (zh) * | 2016-02-15 | 2018-10-23 | 学校法人庆应义塾 | 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序 |
CN107481228A (zh) * | 2017-07-28 | 2017-12-15 | 电子科技大学 | 基于计算机视觉的人体背部脊柱侧弯角度测量方法 |
CN109464148A (zh) * | 2018-11-12 | 2019-03-15 | 深圳码隆科技有限公司 | 测量脊柱弯曲的装置及系统 |
CN109493334A (zh) * | 2018-11-12 | 2019-03-19 | 深圳码隆科技有限公司 | 测量脊柱弯曲的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US12056874B2 (en) | 2024-08-06 |
US20220254018A1 (en) | 2022-08-11 |
WO2020259600A1 (en) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12056874B2 (en) | Device, process and system for diagnosing and tracking of the development of the spinal alignment of a person | |
de Oliveira et al. | Validity and reproducibility of the measurements obtained using the flexicurve instrument to evaluate the angles of thoracic and lumbar curvatures of the spine in the sagittal plane | |
Harlick et al. | Palpation identification of spinous processes in the lumbar spine | |
Aroeira et al. | Non-invasive methods of computer vision in the posture evaluation of adolescent idiopathic scoliosis | |
Kotwicki | Evaluation of scoliosis today: examination, X-rays and beyond | |
Chaise et al. | Validation, repeatability and reproducibility of a noninvasive instrument for measuring thoracic and lumbar curvature of the spine in the sagittal plane | |
Poncet et al. | Clinical impact of optical imaging with 3-D reconstruction of torso topography in common anterior chest wall anomalies | |
Moreira et al. | Mobile applications for assessing human posture: a systematic literature review | |
D'Amico et al. | Normative 3D opto-electronic stereo-photogrammetric posture and spine morphology data in young healthy adult population | |
Takacs et al. | Comparison of spinal curvature parameters as determined by the ZEBRIS spine examination method and the Cobb method in children with scoliosis | |
Gipsman et al. | Evaluating the reproducibility of motion analysis scanning of the spine during walking | |
López-de-Uralde-Villanueva et al. | Relationships between craniocervical posture and pain-related disability in patients with cervico-craniofacial pain | |
Pino-Almero et al. | Quantification of topographic changes in the surface of back of young patients monitored for idiopathic scoliosis: correlation with radiographic variables | |
Azadinia et al. | Validity and test–retest reliability of photogrammetry in adolescents with hyperkyphosis | |
Mrozkowiak et al. | Comparison of spinal curvatures in the sagittal plane, as well as body height and mass in polish children and adolescents examined in the late 1950s and in the early 2000s | |
Kılınç et al. | Evaluation and comparison of smartphone application tracing, web based artificial intelligence tracing and conventional hand tracing methods | |
D’Amico et al. | A self-contained 3D biomechanical analysis lab for complete automatic spine and full skeleton assessment of posture, gait and run | |
Kinel et al. | Normative 3D opto-electronic stereo-photogrammetric sagittal alignment parameters in a young healthy adult population | |
Mostafaee et al. | Examining accuracy of and determining the best cutoff point for photographic-based postural angles to discriminate between slight and moderate-to-severe forward head posture | |
Breen et al. | A reference database of standardised continuous lumbar intervertebral motion analysis for conducting patient-specific comparisons | |
KR102521958B1 (ko) | 골 성장성 평가 또는 예측 방법 및 시스템 | |
Berthonnaud et al. | Spino-pelvic postural changes between the standing and sitting human position: Proposal of a method for its systematic analysis | |
Yan et al. | Sagittal intervertebral rotational motion: a deep learning-based measurement on flexion–neutral–extension cervical lateral radiographs | |
Charoenlap et al. | Digital image processing technique to measure the range of motion of the elbow | |
Bayoglu et al. | Clinical validation of a novel musculoskeletal modeling framework to predict postoperative sagittal alignment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |