CN110322550B - 三维成像数据的显示处理方法和三维超声成像方法及系统 - Google Patents
三维成像数据的显示处理方法和三维超声成像方法及系统 Download PDFInfo
- Publication number
- CN110322550B CN110322550B CN201910522216.7A CN201910522216A CN110322550B CN 110322550 B CN110322550 B CN 110322550B CN 201910522216 A CN201910522216 A CN 201910522216A CN 110322550 B CN110322550 B CN 110322550B
- Authority
- CN
- China
- Prior art keywords
- section
- cross
- brain
- image
- anatomical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 210000004556 brain Anatomy 0.000 claims abstract description 310
- 238000000034 method Methods 0.000 claims abstract description 133
- 210000001638 cerebellum Anatomy 0.000 claims description 112
- 239000000523 sample Substances 0.000 claims description 69
- 210000003140 lateral ventricle Anatomy 0.000 claims description 44
- 210000001103 thalamus Anatomy 0.000 claims description 38
- 238000010586 diagram Methods 0.000 claims description 32
- 238000012285 ultrasound imaging Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 20
- 239000003550 marker Substances 0.000 claims description 9
- 238000002592 echocardiography Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000000052 comparative effect Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 121
- 230000001605 fetal effect Effects 0.000 description 78
- 238000000605 extraction Methods 0.000 description 64
- 238000001514 detection method Methods 0.000 description 42
- 239000011159 matrix material Substances 0.000 description 39
- 210000001519 tissue Anatomy 0.000 description 21
- 210000003754 fetus Anatomy 0.000 description 20
- 238000003062 neural network model Methods 0.000 description 20
- 238000012549 training Methods 0.000 description 20
- 239000013598 vector Substances 0.000 description 19
- 241000361919 Metaphire sieboldi Species 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 15
- 238000005259 measurement Methods 0.000 description 15
- 238000002604 ultrasonography Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 210000003625 skull Anatomy 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 125000001475 halogen functional group Chemical group 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000013145 classification model Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 241000243684 Lumbricus Species 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005481 NMR spectroscopy Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007917 intracranial administration Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 102100022704 Amyloid-beta precursor protein Human genes 0.000 description 3
- 101000823051 Homo sapiens Amyloid-beta precursor protein Proteins 0.000 description 3
- DZHSAHHDTRWUTF-SIQRNXPUSA-N amyloid-beta polypeptide 42 Chemical compound C([C@@H](C(=O)N[C@@H](C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@H](C(=O)NCC(=O)N[C@@H](CO)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CCCCN)C(=O)NCC(=O)N[C@@H](C)C(=O)N[C@H](C(=O)N[C@@H]([C@@H](C)CC)C(=O)NCC(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](C(C)C)C(=O)NCC(=O)NCC(=O)N[C@@H](C(C)C)C(=O)N[C@@H](C(C)C)C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H](C)C(O)=O)[C@@H](C)CC)C(C)C)NC(=O)[C@H](CC=1C=CC=CC=1)NC(=O)[C@@H](NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@H](CC=1N=CNC=1)NC(=O)[C@H](CC=1N=CNC=1)NC(=O)[C@@H](NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)CNC(=O)[C@H](CO)NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CC=1N=CNC=1)NC(=O)[C@H](CCCNC(N)=N)NC(=O)[C@H](CC=1C=CC=CC=1)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](C)NC(=O)[C@@H](N)CC(O)=O)C(C)C)C(C)C)C1=CC=CC=C1 DZHSAHHDTRWUTF-SIQRNXPUSA-N 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002861 ventricular Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 210000000877 corpus callosum Anatomy 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000004055 fourth ventricle Anatomy 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 206010020649 Hyperkeratosis Diseases 0.000 description 1
- 208000028571 Occupational disease Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000542 thalamic effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Clinical applications
- A61B8/0808—Clinical applications for diagnosis of the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Clinical applications
- A61B8/0866—Clinical applications involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Gynecology & Obstetrics (AREA)
- Pregnancy & Childbirth (AREA)
- Neurology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种三维成像数据的显示处理方法和三维超声成像方法及系统,其方法包括:获取受测体头部的三维体数据;根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测所述脑部解剖位置处的横切面;显示检测出的横切面。本发明能够对受测体头部进行三维成像、并且能够自动检测脑部标准横切面。
Description
技术领域
本发明涉及医学三维成像数据的显示处理技术,特别是涉及一种三维成像数据的显示处理方法和三维超声成像方法及系统。
背景技术
核磁共振检测仪器或超声仪器一般用于医生观察人体的内部组织结构,例如医生将超声仪器的超声探头放在人体部位对应的皮肤表面,可以得到该部位的超声图像。对于超声由于其安全、方便、无损、廉价等特点,已经成为医生诊断的主要辅助手段之一,其中,产科是超声诊断应用最广泛的领域之一,在该领域,超声避免了X射线等母体及胎儿的影响,其应用价值明显优于其他影像学检查设备。超声不仅能对进行胎儿形态学的观察和测量,还能获得胎儿呼吸、泌尿等生理、病例方面的多种信息,以评价胎儿的健康及发育状况。其中,在产科超声检查中,应用最广泛的技术包括灰阶成像技术、彩色血流成像技术、PW技术及3D\4D技术。
在超声诊断设备中,通常需要显示的常用标准切面包括胎儿正中矢状面、小脑切面、丘脑切面、侧脑室切面。在常规的二维超声诊断设备中,由于胎儿体位、声影、医生技术手法等的关系,有些标准切面很难获取(如胎儿正中矢状面),通常需要不停改变探头的位置来寻找标准切面,有时甚至要让孕妇下床走动走动来改变胎儿的体位,,并且如果位置定位不准确,将无法获得较为精确的图像数据显示,所以说这种方式操作并不简单,并且对操作者要求很高,绝非易事,不标准的定位切面会最终影响超声诊断设备图像显示的精确度,无法提供给医护人员比较精确的数据参考。而且,二维超声下要获取上述4个切面,需要花费很长的检查时间,效率低下。
可见,在目前的超声诊断设备中如果要获取较为精确的切面剖面图像,一方面很浪费时间,另一方面,重复的按键操作容易导致医生身体的劳损,长期工作容易发展成为职业病。虽然近年来,随着三维超声在临床上的广泛应用,三维超声的图像分辨率也越来越高,理论上,三维超声采集到的体数据中包含了医生所需要的某个结构的所有标准切面。但是,医生通过采集的一个体数据,通过手动旋转、平移等几何变换,在3D体数据中调节出需要的标准切面,并通过该标准切面进行相应的测量,也对操作者要求很高,不仅需要具有3D空间想象力,而且还需要对医学解剖学知识具有一定的认知,这绝非易事。并且,从一个体数据中手动调节出所需要的切面,即便能获取,也需要花费很长的时间,效率低下。此外,通过手动调节获得的切面的标准程度因人而已,无法统一,导致利用超声诊断设备所获取切面图像的精度有所下降,无法提供用户所需,降低了设备使用效果,导致无法大范围使用或普及到家庭中。
同理,在核磁共振检测仪器等可以获取受测体三维图像数据的设备中,同样存在上述超声仪器中的问题,即无法精确、高效地从三维图像数据中获得标准切面的剖面位置。因此,还有进一步地提高现有技术中的医学三维成像数据的显示处理技术。
发明内容
本发明的目的之一是提供一种能够对受测体头部进行三维成像、并且能够自动检测脑部标准横切面的三维成像数据的显示处理方法和三维超声成像方法及系统。
本发明实施例公开的技术方案包括:
一种三维成像数据的显示处理方法,其包括:
获取受测体头部的三维体数据;
根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测所述脑部解剖位置处的横切面;
显示检测出的横切面。
一种三维超声成像方法,其包括:
向受测体头部发射超声波;
接收超声回波,获得超声回波信号;
根据所述超声回波信号,获得受测体头部的三维体数据;
根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测所述脑部解剖位置处的横切面;
显示检测出的横切面。
一种三维超声成像系统,其包括:
探头,所述探头向受测体头部发射超声波并接收超声回波,获得超声回波信号;
三维成像模块,所述三维成像模块根据所述超声回波信号获得三维体数据,并根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测所述脑部解剖位置处的横切面;
显示器,所述显示器显示所述横切面。
一种三维成像数据的显示处理方法,其包括:
获取受测体头部的三维体数据;
根据受测体头部与脑部解剖位置相关的切面的图像特征,从所述三维体数据中检测所述脑部解剖位置处的切面;
标记所述检测出的切面对应的脑部解剖位置,生成所述脑部解剖位置对应的标识;
显示检测出的切面和标识。
一种三维超声成像系统,其包括:
探头,所述探头向受测体头部发射超声波并接收超声回波,获得超声回波信号;
三维成像模块,所述三维成像模块所述超声回波信号获得三维体数据,并根据受测体头部与脑部解剖位置相关的切面的图像特征,从所述三维体数据中检测所述脑部解剖位置处的切面,并标记所述检测出的切面对应的脑部解剖位置,生成所述脑部解剖位置对应的标识;
显示器,所述显示器显示检测出的切面和所述标识。
一种三维成像数据的显示处理方法,其包括:
获取受测体头部的三维体数据;
根据受测体头部与脑部解剖位置相关的切面的图像特征,从所述三维体数据中检测所述脑部解剖位置处的切面;
检测所述切面中的特定结构特征;
测量所述特定结构特征的结构参数;
标记所述特定结构特征和/或所述结构参数,用以显示。
一种三维超声成像系统,其包括:
探头,所述探头向受测体头部发射超声波并接收超声回波,获得超声回波信号;
三维成像模块,所述三维成像模块根据所述超声回波信号获得三维体数据,并根据受测体头部与脑部解剖位置相关的切面的图像特征、从所述三维体数据中检测所述脑部解剖位置处的切面,并检测所述切面中的特定结构特征和测量所述特定结构特征的结构参数,标记所述特定结构特征和/或所述结构参数;
显示器,所述显示器显示所述特定结构特征和/或所述结构参数。
本发明的实施例中的超声成像方法中,可以对胎儿等受测体头部进行超声扫描获得受测体头部的三维体数据,并根据获得的三维体数据,自动检测受测体脑部的特定脑部解剖位置处的横切面并予以显示。更进一步的,本发明还可将此三维体数据的显示分析处理过程应用于所有三维体数据上,并不限定一定是超声获得的三维体数据。更进一步地,本发明的方法中还可以基于自动检测的横切面、矢状切面等切面进行感兴趣区域的分割和参数计算,并予以显示。更进一步地,本发明的方法还可以基于自动检测的横切面、矢状切面等切面进行剖切位置的标识和显示。本发明解决了医生手动难以准确定位特定脑部解剖位置处的横切面的问题,使得医生可以方便地观察胎儿脑部横切面的情况,可以为医师提供大量重要的关键信息。还可以为医生提供更加精确定位的切面图像,以及图像中各个感兴趣区域及相关参数信息,并还未医生提供更加友好的显示和操作方式。
此外,本发明提供了一种从三维/4维胎儿体数据中自动识别胎儿颅内标准切面的方法和系统,所获取的标准切面包括胎儿正中矢状面、小脑切面、丘脑切面、侧脑室切面。医生在完成3D\4D数据采集后,系统可自动显示胎儿正中矢状面、小脑切面、丘脑切面、侧脑室切面。同时,自动测量双顶径,枕额径,头围,小脑横径,后颅窝池宽度,侧脑室宽度,小脑蚓部横径、纵径及小脑蚓部面积等指标,大大降低了对医生技术水平的依赖程度,节约检查时间。
附图说明
图1为本发明一个实施例的三维超声成像系统的框图示意图。
图2为本发明一个实施例的方法流程示意图。
图3为本发明一个实施例的三维体数据的示意图。
图4为胎儿脑部的正中矢状切面的位置示意图。
图5为胎儿脑部的正中矢状切面的示意图。
图6为本发明其中一个实施例的方法流程示意图。
图7为本发明其中一个实施例的方法流程示意图。
图8为从图3所示的三维体数据中提取候选横切面图像集的一个实施例示意图。
图9为神经网络示意图。
图10为胎儿脑部的正中矢状切面的示意图。
图11为图10中的L1切面的示意图。
图12为图10中的L2切面的示意图。
图13为本发明一个实施例中的检测正中矢状面的步骤的流程示意图。
图14为三维空间中的平面及其平面参数的示意图。
图15为本发明一个实施例中的三维Hough矩阵的示意图。
图16为本发明另一个实施例的检测正中矢状面的步骤的流程示意图。
图17为本发明再一个实施例的检测正中矢状面的步骤的流程示意图。
图18为本发明又一个实施例的检测正中矢状面的步骤的流程示意图。
图19为本发明一个实施例中显示器显示界面的显示效果示意图。
图20为小脑切面的自动测量的显示效果示意图。
图21为本发明其中一个实施例的方法流程示意图。
图22为本发明其中一个实施例中切面结构示意图与横切面的对比显示效果图。
图23为本发明一个实施例中在切面结构示意图中标记相交线的示意图。
图24为本发明其中一个实施例的方法流程示意图。
图25为本发明其中一个实施例的方法流程示意图。
图26为本发明其中一个实施例的方法流程示意图。
图27为本发明一个实施例中标识展示的效果示意图。
具体实施方式
基于现有技术中的医学三维成像数据的显示处理技术,本发明利用图像识别技术提供了一种可以从三维图像数据中自动识别受测体头部标准横切面的方法和系统,提升了从三维图像数据中获得横切面的脑部解剖位置的精确性、高效性。以下将结合附图详细说明本发明技术方案的各个具体实现方式,下文将以三维超声成像系统为例详细解释三维体数据的获取方式。
如图1所示,为三维超声成像系统的结构框图。三维超声成像系统包括探头2、发射/接收选择开关3、发射电路4、接收电路5、波束合成模块6、信号处理模块7、三维成像模块8、显示器9。发射电路4将一组经过延迟聚焦的脉冲发送到探头2,探头2向受测机体组织(图中未示出)发射超声波,经一定延时后接收从受测机体组织反射回来的带有组织信息的超声回波,并将此超声回波重新转换为电信号。接收电路5接收这些电信号,并将这些超声回波信号送入波束合成模块6。超声回波信号在波束合成模块6完成聚焦延时、加权和通道求和,再经过信号处理模块7进行信号处理。经过信号处理模块7处理的信号送入三维成像模块8,经过三维成像模块8处理,得到三维图像等可视信息,然后送入显示器9进行显示。
当探头2扫描一个扫描周期后,经过信号处理模块7处理后的信号在三维成像模块8中形成一卷极坐标下的三维体数据,该极坐标下的三维体数据经过重建处理,将极坐标体数据转换成直角坐标体数据,从而获得一卷直角坐标下的三维体数据。然后,三维成像模块8对该直角坐标下的三维体数据使用可视化算法进行计算,从而获得可视信息,并在显示设备上进行显示。
本发明的实施例中,三维超声成像系统的三维成像模块8还包括用于自动检测受测体头部的横切面的子模块,该子模块能够根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测横切面并显示(下文中详述)。本文提到的受测体头部包括胎儿头部、人体头部等动物体的头部。这里的脑部解剖位置是指在受测体头部获得相应横切面的剖切位置。
同理,在本发明的一个实施例中,提供了一种磁共振成像系统,该系统包括:用于产生主磁场和梯度场的磁场控制装置,用于施加射频脉冲信号并接收FID信号的射频收发装置,信号检测模块和图像重建模块;
信号检测模块用于对接收的FID信号经A/D转换器,把模拟信号转换成数学信号,并进行适当的滤波、放大等预处理;经信号检测模块处理后的信号在图像重建模块中根据与观察层面各体素的对应关系,经计算机处理,得出层面图像数据,并形成三维体数据。然后图像重建模块使用可视化算法进行计算,从而获得可视信息,并在显示设备上进行显示,按核磁共振的大小,用不同的灰度等级显示出欲观察层面的图像。有关磁共振成像系统中的三维体数据获取参照磁共振成像中的三维立体造影技术,在此不累述。在本发明的一个实施例中,磁共振成像系统中的图像重建模块还包括用于自动检测受测体头部的横切面的子模块,该子模块能够根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测横切面并显示(下文中详述)。
如图2所示,基于上述磁共振成像系统或者三维超声成像系统等设备获取的三维体数据(即可以实现三维立体成像显示的图像数据),在本发明的其中一个实施例中提供了一种三维成像数据的显示处理方法,其如图2所示。
本实施例中,在步骤S10中,获取受测体头部的三维体数据。此三维体数据包括通过上述三维超声成像系统或上述磁共振成像系统等设备获得的三维体数据。例如,以通过上述三维超声成像系统获取上述三维体数据为例,首先使用三维超声成像系统对受测体头部(例如胎儿头部)进行三维扫描,向受测体头部发射超声波,接收超声回波获得超声回波信号;超声回波信号经过如前文所述的处理,从而获得受测体头部的三维体数据(下文中简称为“三维体数据”)。对扫描目标进行三维扫描并且处理超声回波信号获得三维体数据的具体步骤可以与本领域内常用的三维扫描和成像的方法相同或者类似,在此不再详述。
经过步骤S10,可以获得受测体头部(例如胎儿头部)的至少一卷三维体数据。
例如,一卷三维体数据的示意图可以如图3所示。从图3可见,该卷体数据可以是由F帧大小为W×H的图像帧构成,其中W为图像帧的宽度,H为图像帧的高度。此外,由图3中可见,图3中将图像帧的宽度方向定义为X方向,将图像帧的高度方向定义为Y方向,多针图像帧排列的方向定义为Z方向。可以理解,其中X、Y和Z方向也可以以不同的方式定义。
步骤S10中获得了三维体数据之后,本发明的方法中,期望能够自动从三维体数据中检测出受测体相应脑部解剖位置处的横切面,例如,小脑切面、丘脑切面、侧脑室切面等多个标准横切面中的一个或者几个的组合。标准横切面具有正确的脑部解剖位置,正确表征了尽可能多的脑部目标组织的观测视野,为医生提供良好的图像信息和分析数据。通常在医学上为了减少切面,都期望在同一个切面上尽可能多的展示多个目标组织的观测视野,所以,标准横切面上通常展示有多个目标组织的观测视野。在本发明的系统中,用户可以通过选择待观测的目标组织(即脑内的各种组织结构,如小脑、丘脑、侧脑室、胼胝体、小脑蚓部、透明隔腔、小脑延髓池、丘脑黏合、第四脑室等等)来确定所需要的脑部解剖位置,从而确定需要检测的标准横切面,或者系统默认至少展示小脑切面、丘脑切面和侧脑室切面这三个标准横切面;或者,还可以根据用户选择的脑部解剖位置来确定需要检测的标准横切面,或者也可以直接通过输入标准横切面的名称来直接确定待检测的横切面。当然,上述标准横切面的解剖学名称均是基于对人体脑部的解剖学认知,如果受测体替换为其他动物体,则上述标准横切面也应当替换为基于相应动物体脑部的解剖学认知,例如针对狗脑部的各种水平切面等。以下将以人类胎儿为受测体,举例说明对于人类大脑而言几个标准横切面的位置。
若受测体为人类胎儿,则胎儿脑部的正中矢状切面的位置如图4所示,图4中的线D即代表胎儿脑部的正中矢状切面的位置。胎儿脑部的正中矢状切面的一个示意图显示在图5中。可见,在这个正中矢状切面上,包含了关于胎儿的胼胝体、小脑蚓部、透明隔腔等各个目标组织的重要信息,此外,从胎儿脑部的正中矢状切面上,也能够观察胎儿的小脑延髓池、丘脑黏合、第四脑室等等目标组织结构。基于图5所示的正中矢状切面示意图,则在图中还显示了上述几个标准横切面的正确脑部解剖位置,小脑切面、丘脑切面和侧脑室切面这三个标准横切面均和正中矢状面垂直,其中,图5中双点划线表示的TCP标记了小脑切面的正确脑部解剖位置(双点划线即为TCP切面和正中矢状面的垂直相交线,下同),从小脑切面可以看到脑中线、透明隔腔、小脑及上下小脑联合处(小脑蚓部);图5中单点划线表示的TTP标记了丘脑切面的正确脑部解剖位置(单点划线即为TTP切面和正中矢状面的垂直相交线,下同),可以看到丘脑,脑中线,透明隔腔等结构;图5中实线表示的TVP标记了侧脑室切面的正确脑部解剖位置(实线即为TVP切面和正中矢状面的垂直相交线,下同),可以看到侧脑室、透明隔腔等结构。因此,自动检测出胎儿脑部或人脑部的标准横切面并将其显示出来,可以为医师提供大量重要的关键信息,极大地方便医师对胎儿状况的观察。当然根据医学的发展医师可能需要更多的脑部横切面来观察胎儿或者人脑部的现状,而不一定仅限于上述三个标准横切面。本文中提到的从三维体数据中检测出的相应脑部解剖位置处的横切面(以下简称待测横切面)可以包括:任意一个或多个从正确的脑部解剖位置处获得的标准横切面。从脑部解剖学上来看,上述标准横切面垂直于任意一脑部矢状切面和/或冠状切面,例如,小脑切面、丘脑切面和侧脑室切面这三个标准横切面均垂直于脑部正中矢状切面。
在图2所示的步骤S20中,根据受测体头部与脑部解剖位置相关的横切面的图像特征,从上述三维体数据中检测所述脑部解剖位置处的横切面。
本实施例中的图像特征可以包括图像的颜色特征、纹理特征、形状特征、空间关系特征、投影特征等中的一种或几种。其中,颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质,例如可以通过颜色直方图、颜色集、颜色矩等特征量度量。与颜色特征不同,纹理特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算,例如,可以通过灰度共生矩阵分析提取纹理特征、从图像的自相关函数(即图像的能量谱函数)提取纹理特征、或者基于随机场模型提取纹理特征,等等。形状特征是指基于感兴趣目标区域的形状进行检测或拟合提取的特征,例如,基于Hough变换检测法和边界方向直方图方法等提取的形状特征,Hough变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法;边界方向直方图法首先利用微分图像求得图像边缘,然后做出关于边缘大小和方向的直方图,比如构造图像灰度梯度方向矩阵。空间关系特征,即所谓空间关系,是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系,这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类:相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况,如上下左右关系等,后一种关系强调的是目标之间的距离大小以及方位。例如,首先基于从图像中分割出的颅骨光环及感兴趣目标区域,然后以感兴趣目标区域之间和/或感兴趣目标区域相对颅骨光环各点位置之间的位置关系作为空间关系特征。投影特征即通过定义或计算一个投影变换,将图像投影到该变换对应的空间中,投影后的值即为投影特征。例如,定义或计算一个矩阵H,将图像和该变换矩阵H相乘,即为该图像的投影特征。于是,在本发明的一个实施例中,在上述步骤S20中,根据受测体头部与脑部解剖位置相关的横切面的图像灰度特征,从上述三维体数据中检测横切面。本实施例中的图像灰度特征可以包括:用于度量灰度图像中纹理变化的特征,还可以包括利用卷积算法、空间域投影等方法对原始图像灰度进行变形或变换而获得的灰度特征表述,例如,灰度值、灰度梯度变化量、图像灰度梯度方向矩阵、灰度统计学特征(如图像灰度的投影特征)等等。
此外,根据受测体头部与脑部解剖位置相关的横切面的图像特征,从上述三维体数据中检测所述脑部解剖位置处的横切面的方法,亦是基于受测体头部与脑部解剖位置相关的横切面的图像特征,从三维体数据中检测出具有所述图像特征的横切面。上述与脑部解剖位置相关的横切面的图像特征包括:小脑切面、丘脑切面或侧脑室切面等标准横切面的图像特征。比如,在上述步骤S20中,根据受测体头部上与一处脑部解剖位置相关的横切面的图像特征(如小脑切面的图像特征),从上述三维体数据中可以检测出一个横切面(如小脑切面);或者,根据受测体头部上与多处脑部解剖位置相关的横切面的图像特征(如小脑切面、丘脑切面和侧脑室切面等标准横切面的图像特征),从上述三维体数据中可以检测出的多个横切面(如小脑切面、丘脑切面和侧脑室切面等标准横切面)。因此,在本发明的一个实施例中,根据受测体头部上与至少一处脑部解剖位置相关的横切面的图像特征,从上述三维体数据中可以检测所述至少一处脑部解剖位置处的至少一个横切面。
上述图像特征可以从至少一个标准横切面对应的图像(即从正确的脑部解剖位置处获得的切面图像,下文简称标准横切面图像)中提取,也可以结合至少一个非标准横切面对应的图像(即偏离标准横切面对应的脑部解剖位置处获得的切面图像,下文简称非标准横切面图像)提取,因此,与脑部解剖位置相关的横切面至少包括:在至少一个样本体上与脑部解剖位置相关的标准横切面,或者还可以包括至少一个非标准横切面。而这里所述的“与一处脑部解剖位置相关的横切面”包括:从至少一个样本体上的同一处正确的脑部解剖位置处获得的至少一个标准横切面,或者上述至少一个标准横切面和从至少一个样本体上的至少一处偏离所述正确的脑部解剖位置处获得的至少一个非标准横切面。上述样本体是指与受测体属于同一物种的头部,而不同的样本体则表示不同物种的头部,下文同。
例如,在利用上述步骤S20自动检测小脑切面时,可以根据样本体上图5中双点划线表示的小脑切面的正确脑部解剖位置处的标准横切面图像来提取小脑切面的图像特征,或者还可以根据样本体上图5中双点划线表示的小脑切面的正确脑部解剖位置处的标准横切面图像和偏离图5中双点划线所示的正确脑部解剖位置处的非标准横切面图像来提取小脑切面的图像特征。
为了根据受测体头部与脑部解剖位置相关的横切面提取到相应的图像特征,在本发明的一个实施例中,还包括:
首先,预先从至少一个样本体上采集上述与脑部解剖位置相关的横切面,形成横切面模板图像。采集与脑部解剖位置相关的横切面所对应形成的横切面模板图像至少包括:从至少一个样本体上采集的与脑部解剖位置相关的标准横切面图像,或者还可以包括:从至少一个样本体上采集的非标准横切面图像。
然后,从横切面模板图像中提取相应的图像特征。这个横切面模板图像可以预先存储在存储设备中,本发明实施例的三维成像过程中,直接从该存储设备中读取获得;也可以是在本发明实施例的三维成像过程中生成。
为了从三维体数据中检测至少一个横切面,则需要预先从至少一个样本体上采集与至少一处脑部解剖位置相关的横切面,形成横切面模板图像。一个样本体上与一处脑部解剖位置相关有一个标准横切面图像。因此,此时形成的横切面模板图像包括:从至少一个样本体上的至少一处正确的脑部解剖位置处获得的至少一个标准横切面图像,或者上述标准横切面图像和从至少一个样本体上的至少一处偏离所述正确的脑部解剖位置处获得的至少一个非标准横切面图像。
为了便于提取相应脑部解剖位置对应的横切面或横切面模板图像进行图像特征的提取,则在本发明的一个实施例中,可以对脑部解剖位置和横切面模板图像进行关联标记并存储,或者还可以对脑部解剖位置、横切面模板图像、待检测横切面标识和/或横切面模板图像中标准横切面图像及非标准横切面图像的类别标记进行关联标记并存储,等等。以便可根据用户的需求自动对横切面模板图像进行调取、使用。例如,可以对不同样本体上同一处正确的脑部解剖位置处获得多个标准横切面图像进行关联,并与正确的脑部解剖位置进行关联标记。或者,还可以对不同样本体上同一处脑部解剖位置处获得至少一个标准横切面图像和至少一个非标准横切面图像进行关联,并与脑部解剖位置(包括正确的或者偏离位置)和/或小脑切面标识进行关联标记。以小脑切面为例说明,从不同样本体上提取的所有小脑切面图像,与小脑切面的正确的脑部解剖位置和/或小脑切面标识进行关联存储,统一作为小脑切面模板图像;或者,从不同样本体上提取的小脑切面的至少一个标准横切面图像和至少一个非标准横切面图像,也与小脑切面的正确的脑部解剖位置和/或小脑切面标识进行关联存储,统一作为小脑切面模板图像。
因此,在本发明的另一个实施例中,在上述步骤S20中,可以利用从受测体头部上与脑部解剖位置相关的横切面模板图像中提取的图像特征,从三维体数据中检测具有所述图像特征的横切面作为待测横切面。例如,通过胎儿头部横切面的小脑切面模板图像、丘脑切面模板图像和/或侧脑室切面图像模板等标准横切面的模板图像,从这些模板图像中提取图像特征用以从上述候选横切面图像集中检测具有所述图像特征的横切面图像,作为上述待测横切面。
根据不同的图像特征提取方式,选择使用横切面模板图像中的不同类别。此外,在本发明的一个实施例中,步骤S20中利用从受测体头部上与脑部解剖位置相关的横切面模板图像中提取的图像特征包括:
利用从至少一个样本体上采集的、与脑部解剖位置相关的标准横切面图像提取上述图像特征,或者
利用上述标准横切面图像、和从至少一个样本体上采集的与脑部解剖位置相关的非标准横切面图像提取上述图像特征。
基于上述横切面模板图像,在本发明的一个实施例中,如图6所示,上述步骤S20可以包括以下步骤S21至步骤S24。
本发明实施例中的步骤S21中,从上述三维体数据中提取候选横切面图像集,该候选横切面图像集可以是包括至少一个从上述三维体数据中提取的候选横切面的二维图像集合,也可以是从上述三维体数据中截取的部分三维体数据。那么从该候选横切面图像集或者三维体数据中提取候选横切面的方式均可以参照以下内容。
候选横切面的选择方式可以根据需要确定。例如,可以选择三维体数据中一定范围内在一个或者多个特定方向上相距一定的间隔(或者步长)的所有横切面。这里,所说的“一定范围”可以是相对于三维体数据中的一个或者多个线和/或面的角度范围,也可以是相对于三维体数据中的一个或者多个点、线和或面的距离的范围;所说的“在一个或者多个方向上”是指切面的法线在该一个或者多个方向上;所说的“间隔”或者“步长”可以是距离间隔或者步长,也可以是角度间隔或者步长。还可以设定所选候选横切面的满足条件,例如所选候选横切面可以是垂直于任意一脑部矢状切面或冠状切面的所有切面。
本发明的实施例中,可以是选择三维体数据的全部范围内在一个或者多个方向上相距一定的间隔或者步长的全部横切面;或者,本发明的实施例中,也可以根据一些先验知识来选择候选横切面,去除明显不在正确的脑部解剖位置上的图像,例如利用检测出来的正中矢状面来筛选候选横切面(下文将详细说明)。
或者,本发明的实施例中,也可以接收用户的输入,该用户输入指示所需要的横切面所处的可能的范围,然后选择这个用户指出的范围内的横切面作为候选横切面。
本发明的实施例中,也可以选择三维体数据中相距一定步长的所有切面,即以一定的步长遍历搜索三维体数据的全部范围内的所有切面。
基于此,在本发明的一个实施例中,为了缩小从三维体数据中检测横切面的范围,上述步骤S21中从上述三维体数据中提取候选横切面图像集的步骤可以包括:
步骤S211,基于上述三维体数据中任意一脑部矢状切面或冠状切面上的直线方程,按照预设间隔提取直线或提取通过特定目标区域的直线;例如,任意一脑部矢状切面或冠状切面可以是正中矢状切面,而特定目标区域可以是胼胝体、透明隔腔、小脑蚓部等感兴趣区域。
步骤S212,从上述三维体数据中获取上述直线所在的、且垂直于上述任意一脑部矢状面或冠状面的横切面,构成上述候选横切面图像集。
或者还可以是,首先,在上述步骤S211中,提取特定目标区域边界的切线,然后,在步骤S212中,利用切线所在的、且垂直于上述任意一脑部矢状面或冠状面的横切面从上述三维体数据中截取包含所述特定目标区域的部分三维体数据,构成上述候选横切面图像集。这里的切线可以是一条,也可以是两条,或者更多条。在本发明的其中一个实施例中,利用两条切线所在的、且垂直于上述任意一脑部矢状面或冠状面的横切面从上述三维体数据中截取包含上述特定目标区域的部分三维体数据。更进一步,该两条切线平行。
横切面均与脑部矢状切面或冠状切面垂直,横切面在矢状切面或冠状切面上的投影即为一根直线。下面以在脑部矢状面上的极坐标系下的直线方程为例举例说明。极坐标系下的直线方程可以用如下公式表达:
-90°≤θ≤90° 公式(2)
其中,w,h为矢状面图像的宽和高,(ρ,θ)确定矢状面上的一根直线,也即对应垂直于矢状面的一个横切面,通过按一定间隔采样(ρ,θ),可以确定多个候选横切面,构成上述候选横切面图像集。
在具体实施例中,也可根据应用场合的先验知识,将候选横切面定位在更小的搜索空间,提高后续检测的速度和准确度。申请人经研究发现,上述提到的三个标准切面均穿过透明隔腔,因而,可先检测出透明隔腔的位置,进而缩小后续搜索范围,透明隔呈现低回声,边界清晰,可通过常规的阈值分割方法进行检测,获得透明隔腔位置后,候选横切面可在穿过透明隔腔的横切面中选择,从而缩小切面搜索范围,提升自动检测的速度和准确性。
于是,在本发明的其中一个实施例中,如图7所示,上述三维成像数据的显示处理方法还包括:
步骤S11,可以通过用户手动确定正中矢状切面的解剖位置,来从三维体数据中获得正中矢状切面。或者,根据受测体头部正中矢状切面的特征,从上述三维体数据中检测正中矢状切面。有关正中矢状切面的自动检测方法将在下文详述。
步骤S12,显示上述正中矢状切面,和/或根据受测体头部与脑部解剖位置相关的横切面的图像特征,利用上述正中矢状切面从上述三维体数据中检测上述脑部解剖位置处的横切面。
本实施例中通过显示上述正中矢状切面可以观察脑部的主要目标组织,为医护人员提供更为全面和精确的图像数据。此外,本实施例中还可以利用检测获得的正中矢状切面来缩小有关上述横切面的检测范围,即在上述步骤S21中变更为,利用正中矢状切面从上述三维体数据中提取上述候选横切面图像集(有关候选横切面图像集的含义可参见前文所述)。具体地,在本发明的其中一个实施例中,利用检测到的正中矢状切面从上述三维体数据中提取上述候选横切面图像集的步骤包括以下步骤:
首先,从正中矢状切面中分割出参考目标区域。例如,参考目标区域包括:透明隔腔感兴趣区域等,可利用透明隔呈现低回声,边界清晰,通过阈值分割法从从正中矢状切面中分割出透明隔腔感兴趣区域,如图5所示;
然后,从上述三维体数据中提取垂直于上述正中矢状切面并通过参考目标区域的横切面,构成上述候选横切面图像集。此时的提取,也可以是按照一定的间隔提取垂直于上述正中矢状切面并通过参考目标区域的横切面或者是所有通过参考目标区域的横切面,用以构成上述候选横切面图像集。
例如,如图5所示,如果检测的是小脑切面、丘脑切面和侧脑室切面这三个标准横切面,则从上述三维体数据中提取垂直于上述正中矢状切面、并通过透明隔腔感兴趣区域的横切面,构成上述候选横切面图像集,用以从此候选横切面图像集中检测出小脑切面、丘脑切面和侧脑室切面这三个标准横切面。或者,如图8所示,还可以是:在三维体数据中,利用垂直于正中矢状切面(图8中虚线构成的切面100)的横切面(图8中单点划线构成的切面104和双点划线构成的切面103)从三维体数据中截取包含参考目标区域(101和/或102)的三维体数据(即在三维体数据中位于切面103和104之间的三维体数据),构成所述候选横切面图像集。而在本发明的另一个实施例中,还可以利用垂直于正中矢状切面的平行横切面从三维体数据中截取包含参考目标区域的三维体数据,构成所述候选横切面图像集。从这一截取的三维体数据中提取上述候选横切面图像集的方式可以是通过随机提取任意数量的横切面,或者还可以依据上述步骤S211和步骤S212来实现,或者还可以参照前文中有关从三维体数据中提取候选横切面图像集的其他方式,在此不再累述。
从步骤S10中获得的三维体数据中检测小脑切面、丘脑切面和侧脑室切面这三个标准横切面时,可以基于同一个候选横切面图像集,也就是说,可以仅执行一次上述步骤21获得一个候选横切面图像集,并从该候选横切面图像集中检测小脑切面、丘脑切面和侧脑室切面这三个标准横切面。同理,在检测其他与脑部解剖位置相关的多个标准横切面时,则可以重复执行上述步骤21获得多个不同的候选横切面图像集,其中对应的参考目标区域或者特定目标区域都将随着标准横切面所期望展现的目标组织而进行调整,同样可以从一个候选横切面图像集检测至少2个标准横切面,或者也可以从一个候选横切面图像集检测一个标准横切面。
本发明的实施例中,步骤S22中,获取根据至少一个样本体上的脑部结构位置处采集的图像生成的横切面模板图像。横切面模板图像的获取可参见上述相关说明,在此不再累述。
本发明的实施例中,步骤S23中,计算上述候选横切面图像集中的每个候选横切面与上述横切面模板图像的相似度指数,获得一组相似度指数。从上述候选横切面图像集中提取候选横切面的方式可以采用任意方式,例如,按照预定间隔提取任意数量(包括所有)的候选横切面,或者将上述候选横切面图像集作为三维体数据参照前述有关步骤S21的说明。
相似度指数用于衡量候选横切面与横切面模板图像的相似性。本发明的实施例中,相似度指数可以用多种方式计算。
例如,一个实施例中,相似度指数可以是候选横切面和横切面模板图像中对应的点的灰度值的差的绝对值之和,即:
其中,E为相似度指数,Ω为候选横切面的图像空间,IL为候选横切面的点的数据值,IR为与候选横切面中的点对应的横切面模板图像中的点的数据值。这里,“候选横切面和横切面模板图像中对应的点”是指在候选横切面中和在横切面模板图像中具有相同位置的点。
或者,本发明另外的实施例中,相似度指数也可以是候选横切面和横切面模板图像的相关系数,即:
其中,E为相似度指数,Ω为候选横切面的图像空间,IL为候选横切面的点的数据值,IR为与候选横切面中的点对应的横切面模板图像中的点的数据值。
相似度指数的定义包括但不局限于上述两种方法,也可以使用其它类似的定义,例如候选横切面和横切面模板图像之间的欧式距离、候选横切面和横切面模板图像之间的余弦相似度,等等。本发明不限于如何定义上述相似度指数的具体计算方式,只要是基于衡量候选横切面和横切面模板图像之间相似度的相似度指数均可用于本发明的各个实施例中。
此外,在上述步骤S23中亦可以基于图像间的相似度判别,来具体实现候选横切面和横切面模板图像之间相似度指数的计算。而对于不同的图像间相似度判别的方法,具有不同类型的相似度指数计算方式。
例如,在本发明的一个实施例中,基于依据图像提取的特征表述来计算图像间的相似度,具体可包括以下步骤:
首先,从上述横切面模板图像中提取图像特征,形成第一特征量;
然后,从上述候选横切面图像集中的每个候选横切面中提取图像特征,形成一组第二特征量。第二特征量提取的方式可以与第一特征量的提取方式相同,即从上述横切面模板图像中提取图像特征的方法与从每个候选横切面中提取图像特征的方法可以相同。
最后,计算上述一组第二特征量中的每个第二特征量与上述第一特征量的似然度,获得一组似然度,形成上述一组相似度指数。
在实施例中利用第一特征量和第二特征量之间的似然度来衡量候选横切面和横切面模板图像之间的相似度指数。
本实施中,基于不同的图像特征提取算法,则第一特征量和第二特征量的表现形式可以不同。第一特征量和第二特征量表示为利用图像特征提取算法针对分析对象进行训练或分析后获得的图像特征表述。
比如,一种实施例中,基于模板匹配方法,提取上述横切面模板图像的图像灰度特征、或者利用特征提取算子与上述横切面模板图像进行卷积等算数处理后提取的图像灰度特征、或者是前两者的组合图像灰度特征等,作为第一特征量;提取每个候选横切面的图像灰度特征、或者利用特征提取算子与上述候选横切面图像集进行卷积等算数处理后提取的图像特征、或者是前两者组合的图像灰度特征等,作为第二特征量,形成一组第二特征量,用以计算第一特征量和第二特征量之间的似然度来表征图像间的相似度指数。
基于特征提取算子与图像数据(例如横切面模板图像或者候选横切面图像集)进行卷积,得到卷积后的图像,该卷积后的图像中即包含了提取出的切面特征区域。例如,一个模板图像的大小为M*N,即其展开成一个M*N大小的列向量,即为该模板图像的灰度特征,也可采用一些模板(设有n个)对该图像进行卷积,得到n幅M*N大小的卷积图像,将这些图像展开成M*N大小的列向量,加到灰度特征之后,形成(n+1)*M*N的列向量,作为该模板图像的图像灰度特征。那么,可以对一个横切面模板图像展开形成列向量,获得横切面模板图像的灰度特征M*N大小的列向量作为第一特征量;也可以,利用特征提取算子与上述横切面模板图像进行卷积等算数处理后,加入图像灰度特征进行特征提取,获得横切面模板图像的图像灰度特征,即横切面模板图像卷积之后展开的(n+1)*M*N维列向量作为第一特征量,前者可以基于一个标准横切面图像,后者可以基于从多个样本体上采集的同一处脑部解剖位置处的多个标准横切面图像。
本发明的实施例中,用特征提取算子对纳入横切面模板图像或者候选横切面图像集中的三维体数据做卷积时,可以分别对组成三维体数据的每个图像帧分别用二维特征提取算子做卷积,然后将卷积后的图像帧组合成卷积后的三维体数据;或者,也可以直接设计三维特征提取算子,直接用三维特征提取算子与三维体数据做卷积。卷积运算的具体步骤是本领域内熟知的,在此不再详述。
本发明的实施例中,特征提取算子可以根据需要提取的图像特征而设计。如采用如下算子(包括但不限于),可以提取图像的边沿特征,可以使用下列特征提取算子中的一个或者多个:
本发明的实施例中,也可以使用上述特征提取算子经过转置(矩阵转置)、旋转等变形或者相互之间组合之后获得的特征提取算子,也可以使用其它适合的特征提取算子,比如Roberts算子、拉普拉斯高斯算子及其变形、等等。
本发明的实施例中,类似地,也可直接设计三维特征提取算子,在此不再详述。
本发明的实施例中,特征提取算子(二维的或者三维的)的大小可以根据需要设定。
当基于上述各个实施例提取到第一特征量,比如上述M*N大小的列向量或者(n+1)*M*N的列向量时,再基于上述同样的特征提取方法提取上述候选横切面图像集中的每个候选横切面对应的第二特征量,每个第二特征量同样可以用M*N大小的列向量或者(n+1)*M*N的列向量表述,基于上述同样的特征提取方法对上述候选横切面图像集进行分析后获得一组第二特征量。基于第一特征量和第二特征量来分析计算上述候选横切面图像集中的每个候选横切面与上述模板图像的相似度指数,获得一组相似度指数。对上述候选横切面图像集中的每个候选横切面对应的第二特征量均需要与上述获得的第一特征量进行似然度的计算,利用计算第一特征量和第二特征量的似然度来衡量每个候选横切面与上述模板图像之间的相似度指数。例如,在本发明的一个实施例中,将第二特征量和第一特征量的似然度定义为第二特征量和第一特征量之差的绝对值。若第一特征量和第二特征量采用上述N维列向量(N大于等于1)表示,则在具体求解计算时,可以采用下述公式(9)所述的,第二特征量和第一特征量的似然度之间的似然度E表示为第二特征量和第一特征量中各个相应位置处元素值之差的绝对值之和,
E=∑|ILi-IRi|,ILi∈IL,IRi∈IR 公式(9)
其中,IL表示第二特征量,ILi表示第二特征量中第i个位置处的元素值,IR表示第一特征量,IRi表示第一特征量中第i个位置处的元素值。从定义中可以看出,利用上述公式(9)计算获得的E值越小,说明第二特征量和第一特征量越相似,即候选横切面与上述模板图像越相似。
而,在本发明的另一个实施例中,利用第二特征量和第一特征量之间的相关系数来定义第二特征量和第一特征量之间的似然度E,具体如下述公式(10)所示,
其中,IL表示第二特征量,IR表示第一特征量。此时E值越接近1,说明第二特征量和第一特征量越相似,即候选横切面与上述模板图像越相似。
除了上述几种关于似然度的定义方法外,还包括如上述相似度指数中的计算方法,例如第二特征量和第一特征量之间的欧式距离(Euclidean Distance)、Cosine相似度指数(Cosine Similarity)等方法,均可以达到相似的效果。本发明不限于如何定义上述似然度的具体计算方式,只要是基于第一特征量与第二特征量构建的似然度均可用于本发明的各个实施例中。
又例如,另一种实施例中,基于线性投影特征抽取方法或非线性投影特征抽取方法,提取图像的灰度、或者灰度在空间域的变换等投影特征,来表述上述第一特征量和第二特征量。将基于主分量分析和Fisher线性鉴别分析所获得的特征抽取方法,统称为线性投影分析,而非线性投影特征抽取方法包括:核主分量分析法(KPCA)等。进一步地,在上述步骤23中计算每个候选横切面与横切面模板图像的相似度指数时,可以基于投影特征提取方法分别从横切面模板图像中提取图像灰度的投影特征形成第一特征量、从每个候选横切面中提取图像灰度的投影特征形成第二特征量。例如,在本发明的一个实施例中,基于主成分分析法(PCA)通过寻找最小均方意义下最能代表原始数据的投影特征作为提取的图像灰度特征来分析图像间的相似性,也就是说,基于主成分分析法提取上述投影特征。以下以从横切面模板图像中提取投影特征为例,具体说明投影特征的提取过程,如下所示。
首先,提取上述横切面模板图像中、从N个样本体上同一处脑部解剖位置处采集的N个标准横切面,作为N个训练样本,构成训练样本库,其中N大于等于1。
然后,对于训练样本库中的每个训练样本进行展开后用矩阵表述,并计算训练样本库中每个训练样本减去平均样本后获得的第一矩阵的协方差矩阵。比如,假设训练样本库中共有N个训练样本,每个训练样本的图像分辨率为W×H,把每幅图像展开成一个M维的长向量,M=W×H,则该训练库的图像可以表示成一个M×N的矩阵,记成[I1,…,IN]M×N,其中Ii是训练样本向量。m为训练样本的平均值,即平均样本。训练样本库中的训练样本减去平均样本,得到均值为0的新的训练样本L,即第一矩阵,如公式(11)所示:
L=[I1-m,…,IN-m] 公式(11)
则第一矩阵的协方差矩阵C表示为下述公式(12):
其中,LT为第一矩阵L的转置。
其次,计算协方差矩阵C的特征值及正交化的特征向量E(例如PCA的基),然后将特征向量E的转置矩阵与第一矩阵之乘积,作为各训练样本在平均样本上的投影结果(具体见下述公式(13)),并将该投影结果作为第一特征量。只需要保留最大的n个特征值极其对应的特征向量,然后求出各训练样本在平均样本上的投影结果Fi(即各训练样本的特征或主成分)为:
Fi=ET(Ii-m) 公式(13)
其中,ET为特征向量E的转置,Fi为Ii的第一特征量,该投影将M*1维的样本降到了n*1,从而消除了高维数据之间的相关性,且该n*1维的数据在最小均方意义下最能够代表原始数据,可以作为第一特征量,用以表示从图像中提取的灰度统计特征。以上仅仅是基于一种投影特征抽取方法PCA来实现的特征提取,同理还可以采用不同的投影特征抽取方法来获得不同的特征向量E,并利用上述公式(13)获得第一特征量,这里提到的投影特征抽取方法还可以是LLP(Locality Preserving Projections),ICA(独立成分分析),KPCA(Kernel PCA)等。
通过上述多个模板图像基于上述公式(11)至(13)的特征提取方法,获得了特征向量E和平均样本m以及第一特征量,同理,基于上述相同的特征提取方法将候选横切面图像集中的每个候选横切面展开成一M维的向量Itest,并投影到特征向量E上,即上述公式(13)变形为下述公式(14)所述的形式。
Fj=ET(Itest-m) 公式(14)
其中,Fj表示每个候选横切面展开成一M维的向量Itest所对应的特征,简称第二特征量,j表示上述候选横切面图像集中的每个候选横切面对应的序号。然后再计算第一特征量和第二特征量的似然度,用以获得一组相似度指数,具体参见前文中有关第一特征量和第二特征量的似然度计算方法,在此不再累述。
基于上述实施例,无论是基于模板匹配方法或者是投影特征提取方法,在本发明的又一个实施例中,从横切面模板图像中提取图像特征的步骤包括:从横切面模板图像中的标准横切面图像中提取图像灰度特征,形成上述第一特征量。此外,利用从上述标准横切面图像中提取图像灰度特征的同样方法,从每个候选横切面中提取图像灰度特征,形成上述一组第二特征量。
同样地,结合横切面模板图像中的标准横切面图像和非标准横切面图像同样也可以提取相应的图像特征,用以计算每个候选横切面与横切面模板图像的相似度指数。具体如下所示。
在本发明的另一个实施例中,基于图像分类模型(例如图像分类器或者神经网络模型)来自动筛选与模板图像相似度高的切面图像,具体可参见以下步骤:
首先,构建图像分类模型,利用横切面模板图像对上述图像分类模型进行训练,获得训练后的图像分类模型。这里的横切面模板图像包括:从至少一个样本体上采集的、与脑部解剖位置相关的至少一个标准横切面图像和从至少一个样本体上采集的、与脑部解剖位置相关的至少一个非标准横切面图像。上述图像分类模型是指可自动对输入的图像进行分类标记获得类别标记的模型,例如图像分类器或者神经网络模型。
然后,将上述候选横切面图像集中的每个候选横切面分别输入上述训练后的图像分类模型,获得每个候选横切面对应的类别标记,形成一组类别标记作为上述一组相似度指数。
在本实施例中,利用图像分类模型获得的类别标记来衡量上述图像间的相似性,用以计算候选横切面与横切面模板图像间的相似度指数。训练后的图像分类模型具有已知的参数配置,可用于对输入图像的自动分类。利用训练后的特征提取模型对上述候选横切面图像集中的每个候选横切面是否与标准横切面图像相似进行自动辨识,获得相应的类别标记,该分类标记用以表征输入的候选横切面是否与标准横切面图像相似。
例如,以下以基于图像分类方法构建的神经网络模型为例,详细说明其具体实现方式。
首先,基于多个样本体收集的多个标准横切面图像(下称正样本,设有N1个)和非标准横切面图像(下称负样本,设有N2个),构成N个样本并同时赋予对应的类别标记。例如,N个样本N=N1+N2,为了表述方便,N个样本用xj表示,样本的类别标记用tj表示,tj=1表示该样本为负样本,tj=0表示该样本为正样本。
然后,将上述N个样本及其对应的类别标记输入至神经网络模型,使得根据神经网络模型得到的输出类别标记和实际标记(即输入的类别标记)之间的误差最小,获得训练后的神经网络模型,此时神经网络模型已配置了相关参数的值。
图9为神经网络示意图,以三层网络为例,输入样本xj,经过网络映射yj=f(W1xj),zj=f(W2yj),得到输出值zj表示类别标记,其中,通过构建函数模型f(x)来构架神经网络模型,函数模型f(x)可以根据需要设置,例如采用sigmoid函数,即下述公式(15)所示。
定义最小化神经网络输出的误差,如下述公式(16)所示:
也可以采用另一种方法,即计算上述神经网络模型的权重W1和W2的方法为随机化的方法,如下所示。
首先,将神经网络模型y=f(W1x)中的权重W1设置为一个随机矩阵,即W1中的值是随机产生的;
然后,利用上述N个样本x=[x1,x2,…xN]输入神经网络模型y=f(W1x)中,计算yi,yi∈[y1,y2,…yN];
其次,根据公式t=f(W2y)表示的类别标记函数,计算权重W2;其中,y=[y1,y2,…yN],t=[t1,t2,…tN]表示样本的类别标记。
通过上述方法随机产生了权重W1之后,权重W2只需要通过解方程得到,不需要迭代,速度快。
将上述候选横切面图像集中的每个候选横切面分别输入已训练后的神经网络模型(即权重W1和权重W2均已知的神经网络模型)之后,输出相应的类别标记,将输出的类别标记结果视为计算获得的该输入的候选横切面与模板图像之间的相似度指数,或者依据该输出的类别标记结果定义相似度指数。针对所有的候选横切面,对应获得一组相似度指数。比如,当一个候选横切面输入已训练后的神经网络模型之后,输出的类别标记z=1,则表示该候选横切面被判为负样本,其相似度指数可以定义为0;反之,输出的类别标记z=0,则表示该候选横切面被判为正样本,其相似度指数可以定义为1。
值得注意的是,采用神经网络的方法网络的层数及中间节点的个数等都是可调节的参数。
同理,诸如SVM图像分类器或者其变形均可以基于上述神经网络模型类似的方式利用多个标准横切面图像和多个非标准横切面图像对其进行训练,并基于训练后的SVM图像分类器对候选横切面图像集中的候选横切面进行分类标记,用以衡量候选横切面图像与模板图像之间的相似度。当然,还可以利用不同脑部解剖位置处获取的标准横切面图像的图像特征,对上述SVM图像分类器、神经网络模型或者其变形形式进行约束,形成改进后的图像分类模型,依然也可以作为上述构建的图像分类模型,并应用于本发明的各个实施例中。
本发明的实施例中,步骤S24中,对于所有的候选横切面,均计算出其相似度指数,即可获得一组相似度指数。然后,从该组相似度指数中选择满足图像特征条件的相似度指数。本发明的实施例中,认为该满足图像特征条件的相似度指数所对应的候选横切面即为上述待测横切面。这里,所说的“图像特征条件”可以是表明候选横切面与模板图像的相似性最优的条件。该图像特征条件可以根据相似度指数的计算方法的不同而不同。例如,对于前述按照公式(4)和(9)计算的相似度指数,可以看出,E值(即相似度指数)越小,说明候选横切面与模板图像的图像像素越相似,即相似性越好,因此,此时,图像特征条件可以是“相似度指数最小”。
而对于前述按照式(5)和(10)计算的相似度指数,E值(即相似度指数)越大(对于式(5),也就是E值越接近1),说明候选横切面与模板图像的图像像素越相似,即相似性越好,因此,此时,图像特征条件可以是“相似度指数最大”或者“相似度指数最接近1”。
当按照其它方式计算相似度指数时,图像特征条件也可以类似地定义。例如,当相似度指数为候选横切面和模板图像的欧式距离或者第一特征量和第二特征量之间的欧式距离时,图像特征条件可以为“相似度指数最小”,即此时相似度指数越小(即欧式距离越小),则候选横切面和模板图像越相似;当相似度指数为候选横切面和模板图像或者第一特征量和第二特征量之间的的余弦相似度指数时,图像特征条件可以为“相似度指数最大”,即此时相似度指数越大(即余弦相似度指数越大),则候选横切面和模板图像越相似;等等。
还比如,基于图像分类方法构建如图像分类器(比如SVM图像分类器)、或者神经网络模型等特征提取模型,然后利用训练后的特征提取模型输出的类别标记作为相似度指数时,若用“1”表示被判定为正样本、用“0”表示被判定为负样本,图像特征条件可以为“相似度指数为1”,即此时相似度指数为1(即被判定为正样本),若被判定为正样本,则候选横切面和正确表征目标组织的标准横切面图像越相似。但是,在实际实现中,实际最佳切面(即正确脑部解剖位置处的切面)附近的样本图像通常也会被判为正样本,于是,当有至少两个候选横切面被判为正样本时,可以选择被判为正样本最集中的区域作为待测横切面输出,例如,对被判为正样本的候选横切面所在位置计算平均位置,依据此平均位置从三维体数据中选择相应的横切面输出,作为上述待测横切面用以显示。还可以,依据被判定为正样本的所有样本,采用kmeans算法计算出所有正样本的中心,将中心所对应的候选横切面作为上述待测横切面用以显示。kmeans算法属现有技术,在此不再详述。
也就是说,当根据同一处脑部解剖位置相关的横切面模板图像检测出的横切面不唯一时,即从一组相似度指数中选择满足图像特征条件的相似度指数大于一时,则从选择的相似度指数对应的候选横切面中选择上述待测横切面。比如,基于被选择的相似度指数对应的候选横切面位于三位体数据中的位置或者位于任意一矢状切面和/或冠状切面上的位置,计算平均位置,依据该平均位置从三维体数据中选择相应的横切面输出,作为上述待测横切面用以显示。或者,将被选择的相似度指数对应的候选横切面纳入一个样本集,采用kmeans算法等计算该样本集的中心,取该中心对应的候选横切面输出作为上述待测横切面,用以显示。
经过上述步骤S20后,即可获得待测横切面,然而,根据同一处脑部解剖位置相关的横切面模板图像中提取的图像特征,可以从上述候选横切面图像集中选出具有上述图像特征的候选横切面为一个待测横切面。为了利用本发明同时自动检测多个待测横切面,则在利用从受测体头部上与至少一处脑部解剖位置相关的横切面模板图像中提取的图像特征,从候选横切面图像集中选出具有相应图像特征的候选横切面为多个待测横切面时,基于与不同脑部解剖位置相关的横切面模板图像重复执行上述步骤S22。而对于候选横切面图像集,可以采用基于一次执行上述步骤S21获得的候选横切面图像集,或者在每次执行步骤S22时,重新执行上述步骤S21获得一次候选横切面图像集。例如,在进行小脑切面自动检测显示时,可以先基于上述步骤S21获得候选横切面图像集,然后再基于小脑切面模板图像执行上述步骤S22获得小脑切面用以显示,同时还要显示侧脑室切面时,则可以基于之前获得的候选横切面图像集,再基于侧脑室切面模板图像执行上述步骤S22获得侧脑室切面用以显示。
以下以胎儿脑部的超声图像为例详细介绍一下有关正中矢状切面的自动检测方法。
图10至图12分别示意性地图示了胎儿脑部的与正中矢状切面垂直的切面L1和L2的示意图。
申请人经过研究发现,在胎儿脑部的三维图像中,正中矢状切面具有一些特别的特征,例如,在胎儿脑部的三维图像中的所有切面中,正中矢状切面整体具有比周围区域的灰度值更大的灰度值,也就是说,在胎儿脑部的三维图像中,正中矢状切面表现为灰度值明显大于其附近区域的灰度值的切面,或者说,正中矢状切面在三维胎儿脑部的三维图像中表现为一个比周围的区域更亮的切面;或者,在胎儿脑部中,正中矢状面两侧的结构是近似对称的,因此在胎儿脑部的三维图像中,在正中矢状切面两侧的图像数据将表现出近似的对称性;或者,在胎儿脑部中,正中矢状面位于脑部中间位置,而在胎儿脑部的三维图像中,与正中矢状切面相交的其它切面中都会包含该切面与该正中矢状切面的相交位置处的信息,在其它切面的图像中,该切面与正中矢状切面的交线表现为比较亮的线,即脑中线,这些脑中线的集合即构成了正中矢状切面;等等。本发明的一些实施例中,即利用胎儿脑部的正中矢状切面的这些特征来检测或者识别胎儿脑部的三维体数据中的正中矢状切面。
因此,本发明的一些实施例中,在步骤S11,即根据胎儿脑部的正中矢状切面的特征(例如,如前文所述的图像特征,例如灰度特征),在步骤S10中获得的三维体数据中检测该三维体数据中的正中矢状切面。
本发明的实施例中,前述的“在步骤S11中获得的三维体数据中检测该三维体数据中的正中矢状切面”,可以是在全部胎儿头部的三维体数据中检测,也可以是在胎儿头部的三维体数据中的一部分中检测,例如,可以是在正中矢状切面最可能存在于其中的区域内检测,而去除正中矢状切面明显不可能存在于其中的区域。例如,由于胎儿头部的正中矢状切面是位于胎儿头部中间位置的纵切面(即在从头顶部分到颈部部分的方向上的切面),因此位于头部边缘处的一些区域中明显不可能存在正中矢状切面,这样的区域可以剔除在检测范围之外。
本发明的实施例中,可以使用多种方法根据该三维体数据检测其中的正中矢状面。例如,如前文所述,在三维体数据中,正中矢状切面表现出该正中矢状切面内的灰度值(例如,灰度值,等等)大于周围区域的灰度值的特征。因此,本发明的一个实施例中,利用正中矢状切面的这个特征从三维体数据中检测正中矢状面。
本发明的一个实施例中,根据三维体数据检测正中矢状面的流程示意图如图13所示。
本发明的实施例中,在步骤80,可以首先在三维体数据中提取代表满足平面内的灰度值大于平面两侧的灰度值的条件的平面的矢状面特征区域。
也就是说,本发明的实施例中,在三维体数据中提取一些特征区域,并且本发明的实施例的方法中,这些需要的特征区域是代表着三维体数据中满足平面内的灰度值大于平面两侧的灰度值的条件的平面的区域,这种提取出来的特征区域即为本发明实施例的方法所需要的矢状面特征区域。这样,充分利用“正中矢状切面表现为灰度值明显大于其附近区域的灰度值的切面”的特征,能够获得良好的正中矢状切面的检测效果。
本发明的实施例中,可以使用多种适合的方法从三维体数据中提取这种矢状面特征区域。例如,一种实施例中,可以使用特征提取算子与该三维体数据做卷积,得到卷积后的图像,该卷积后的图像中即包含了提取出的矢状面特征区域。
本发明的实施例中,用特征提取算子对三维体数据做卷积时,可以分别对组成三维体数据的每个图像帧分别用二维特征提取算子做卷积,然后将卷积后的图像帧组合成卷积后的三维体数据;或者,也可以直接设计三维特征提取算子,直接用三维特征提取算子与三维体数据做卷积。卷积运算的具体步骤是本领域内熟知的,在此不再详述。
本发明的实施例中,特征提取算子可以根据需要提取的图像特征而设计。例如,如前文所述的实施例中,需要提取区域内的灰度值大于区域两侧的灰度值的矢状面特征区域。此时,可以使用下列特征提取算子中的一个或者多个:
本发明的实施例中,也可以使用上述特征提取算子经过转置(矩阵转置)、旋转等变形或者相互之间组合之后获得的特征提取算子,具体也可参见前文中有关特征提取算子的相关说明。
在步骤80中提取了矢状面特征区域之后,在步骤81中,可以从这些提取出的矢状面特征区域中选择其值满足特定条件的特征点,通常,选择至少三个特征点。记录选择出的特征点的特征点参数,这些特征点的特征点参数将用于后续步骤。
本发明的实施例中,这里的特征点参数可以包括特征点的坐标和/或特征点的值(例如,灰度值或者卷积后的结果值,等等)。
本发明的实施例中,前述的特定条件可以根据所采用的特征提取算子的性质确定。例如,如果采用前述的特征提取算子(16)~(20),可将前述的特定条件设置为卷积结果中值大于某个阈值的点,该阈值可以为经验参数,可以根据实际需要确定。
此外,本发明的实施例中,为了减少后续平面检测步骤(下文详述)的压力,尽量减少噪声的影响,可以根据一定的先验知识去除一些明显不可能是头部内的点。例如,头部一般都位于三维体数据的中间。因此,可以只选择以三维体数据的中心为球心、以某个阈值为半径的球或椭球内的点为特征点。这里的阈值也可以根据经验或者实际情况确定。
步骤81中选择了特征点之后,这些选择的特征点通常可以确定一个平面,本发明的实施例中,认为这个平面即为正中矢状切面所在的平面,三维体数据中与该平面重合的切面即为胎儿脑部的正中矢状切面。因此,本发明的实施例中,在步骤82中,检测出这些选择的特征点确定的平面,也就确定出了胎儿脑部的正中矢状切面所在的平面。
根据多个特征点确定一个平面可以使用多种方法实现,例如加权Hough变换法、随机Hough变换法、最小二乘估计法、Radon变换法等等。
例如,一个实施例中,可以使用加权Hough变换的方法检测这些选择的特征点确定的平面,下面进行详细描述。
在三维空间中,平面方程可以用一般表达式aX+bY+cZ+d=0或Z=aX+bY+c或Y=aX+bZ+c表示,其中a、b、c和d即为确定一个平面的平面参数。
三维空间中,平面方程也可以用如下的平面标准表达式进行表达:
例如,图14所示的实施例中,参数ρ的取值范围可以如下式所示:
W、H、F为三维体数据的尺寸,其中F为三维体数据中的图像帧的数量,W为图像帧的宽度,H为图像帧的高度。
在三维体数据对应的三维空间中,过一个点有无数个平面,即对应无数个这样可以构造一个新的参数空间,这里称为空间,也即Hough空间,Hough变换的思想为将三维体数据对应的原三维空间中的各个点投影到Hough空间中,通过检测Hough空间的峰值,峰值点就对应了三维体数据对应的原三维空间中的平面。
本发明的实施例中,也可以根据一些先验知识缩小取值范围。
S112:生成Hough矩阵并初始化。生成Hough矩阵并初始化为0,一种三维的Hough矩阵的大小可以为:
其中(Xi,Yi,Zi)为第i个特征点Pi的坐标。
并将Hough矩阵更新为:
其中Vi为第i个特征点Pi的值(例如,灰度值或者卷积后的结果值,等等)。
本实施例中,加权Hough变换考虑到了选择的特征点中每个特征点Pi对平面检测的贡献值是不同的,其对应的值Vi越大,其在Hough矩阵上对应的贡献也越大。
本发明的实施例中,也可以不考虑每个特征点的贡献的差异,即可将前述方法中的每个特征点的Vi值都设置为1。此时,仍然可以检测出这些特征点确定的一个平面。实际上,此时前述的带权重的Hough变换方法退化为传统的Hough变换算法。
本发明的实施例中,也可以使用其它的平面检测方法。例如,一个实施例中,可以使用随机Hough变换方法检测选择出的特征点确定的一个平面。随机Hough变换方法的具体步骤可以如下:
S122:生成Hough矩阵并初始化为0。生成3维Hough矩阵并初始化为0,该步骤可以与前述方法中的S112步骤相同或者类似。
S123:随机选点。从选择出的特征点中随机选择3个点。
S126:重复N次步骤123至步骤125。这里N为预先设置的参数,可根据实际需要设置。例如,一个实施例中,N可以取50000。当然,这里N也可以取其它的值。
本发明的实施例中,另一种检测选择出的特征点确定的平面的方法(本文中称为随机最优能量法)的步骤可以如下:
S131:初始化最优能量E_best=0
S132:随机选点。从选择出的特征点中随机选择3个点
S134:当前能量E计算。计算选择出的特征点中到步骤S133中求解出的平面距离小于ε的能量E。
该步骤的具体步骤可以为对选择出的特征点中的每个特征点Pi,计算该点到步骤S33中求解出的平面的距离,如果距离小于ε,则将当前特征点对应的值Vi累加到能量E中,即E=E+Vi。ε为一参数,可根据需要进行设置,例如一个实施例中可以设置ε=5,这里,ε也可以设置为其它的值。
S135:能量更新。如果当前能量E>E_best,则将E_best修改为E,同时将当前平面方程参数更新为最优平面方程参数,否则转到步骤136。
S136:重复步骤132至步骤135N次,这里N为迭代次数,可根据需要设置。
S137:输出方程参数。步骤S136完成后,能量最大的一次迭代对应的平面方程参数即为检测出的平面方程参数。
这样,即检测出了选择出的特征点确定的一个平面。
本实施例中,在步骤134中,也可不累加特征点的值Vi,而直接判断如果点Pi到平面的距离小于ε,则E=E+1,即认为选择的特征点中的每个特征点对平面检测结果的贡献是一样的。
上述实施例中,采用了式21的平面方程表示方法,平面检测即计算方程的系数但是方程的表示形式并不影响本发明所述算法的执行,事实上,对于其它形式的方程表示方法,如aX+bY+cZ+d=0或Z=aX+bY+c或Y=aX+bZ+c,上述方法仍然适用,只需做简单的修改即可。
如前文所述,并且参考图4、图10至图12,在胎儿脑部的三维图像中,正中矢状切面是位于胎儿头部正中的纵向切面,与正中矢状切面相交的其它切面中都会包含该切面与该正中矢状切面的相交位置处的信息,也就是包含交线处的信息。在其它切面的图像中,该切面与正中矢状切面的交线表现为比较亮的线(因为如前文所述,在胎儿脑部的三维图像或者三维体数据中,正中矢状切面表现为比周围区域更亮的平面),即脑中线,这些脑中线的集合即构成了正中矢状切面。因此,本发明的一些实施例中,可以利用这个特征从三维体数据中检测正中矢状切面。
例如,本发明的一个实施例中,根据三维体数据检测正中矢状面的流程示意图如图16所示。
本实施例中,在步骤110,在三维体数据中提取至少两个切面。切面的提取可以有不同的提取方式,例如,可以提取平行于图10中的切面L2和/或平行于图10中的切面L1的平面;或者提取任何其它的切面,例如与L2和/或L1成一定角度的切面。提取的切面的数量也没有限制,至少两个切面即可。
提取了切面之后,在步骤111中,在提取出的每个切面中提取脑中线,从而获得多条代表脑中线的直线。
脑中线在切面上表现为直线,并且其灰度值比两侧的灰度值高。因此,脑中线的提取可以利用这个特征实现。
本发明的一个实施例中,对于每个提取出的切面,在其中提取脑中线可以包括下列步骤:
S40:提取脑中线特征区域。
本实施例中,可以首先在该切面中提取出符合前述的脑中线特征的脑中线特征区域,也就是在切面中提取代表满足线上的灰度值大于线两侧的灰度值的线的脑中线特征区域。脑中线特征区域提取的方法可以与前文所述的和矢状面特征区域提取方法类似。例如,可以使用特征提取算子对切面进行卷积,卷积后的切面中即包含了提取出的脑中线特征区域。
应该理解,这里所说的“线”和“脑中线”不应该理想化地解释为理论上的“线”,而是实际上有一定的宽度和/或厚度的区域。
这里,特征提取算子可以根据需要提取的脑中线的特征设计。本实施例中,脑中线的特征与前文所述的正中矢状面特征类似,因此,这里可以使用与前文中的特征提取算子类似的算子,例如与前文中式(16)至式(20)中任何一个类似的算子。
提取了脑中线特征区域中之后,在脑中线特征区域中选择满足特定条件的至少两个特征点,并记录该至少两个特征点的特征点参数。这里,特征点的特征点参数可以包括特征点的坐标和/或特征点的值(例如,灰度值或者卷积后的值,等等)或者其它适合的参数。
这里所说的特定条件可以根据所采用的特征提取算子的性质确定。例如,如果采用与前述的特征提取算子(16)~(20)类似的算子,可将前述的特定条件设置为卷积结果中值大于某个阈值的点,该阈值可以为经验参数,可以根据实际需要确定。
S41:直线检测。
这些选择出的特征点通常确定了直线。本发明的实施例中,可以检测这些选择出的特征点确定的直线,认为该直线即为该切面内的脑中线直线。
前文所述的在三维空间中检测选择出的特征点确定的平面的方法中所提到的加权Hough变换方法、随机Hough变换方法、随机最优能量法等方法均可用于本步骤中的直线检测,只需要在细节上做简单修改即可。
例如,直线的标准方程为ρ=cosθX+sinθY,共有两个参数θ,ρ,相比于平面方程,少一个参数例如,在采用加权Hough变换和随机Hough变换方法时,Hough矩阵为二维的ρ_θ矩阵,在随机Hough变换及随机能量最优法中,每次迭代只想要从选择出的特征点中随机选取两个点,即可计算一条直线。算法的其余部分和三维平面检测方法基本一致,在此不再详述。
此外,本发明的实施例中,也可以使用其它的方法来检测选择出的特征点确定的直线,例如,包括但不限于randon变换法、相位编码法、最小二乘估计等等。
基于胎儿脑部的三维图像中正中矢状切面的特征,这些提取出的脑中线直线将确定一个平面,它们确定的平面即为正中矢状切面所在的平面。
因此,在步骤111中获得了提取出的各个切面中的脑中线直线之后,在步骤112中,检测这些脑中线直线确定的平面,即可获得正中矢状面所在的平面,也就是胎儿脑部的正中矢状切面所在的平面。
可以使用多种方法检测这些脑中线直线确定的平面。例如,一个实施例中,可以在所检测到的脑中线直线中取3个不共线的点,代入平面方程中,即可计算出平面方程的参数;也可执行该方法若干次,最后对检测结果做平均作为最终的检测结果。
另一种方法可以是在所检测到的脑中线直线中取N个点,然后通过最小二乘估计拟合出平面方程的参数;也可以将提取的N个点作为输入,采用三维平面检测所提到的Hough变换方法、随机Hough变换方法、随机最优能量法等方法检测出平面方程。
如前文所述,并且参考图4,可见在胎儿脑部中,正中矢状面两侧的结构是近似对称的,因此在胎儿脑部的三维图像中,在正中矢状切面两侧的图像数据将表现出近似的对称性。因此,本发明的一些实施例中,可以利用胎儿脑部正中矢状切面的这个特征来检测三维体数据中的正中矢状面。例如,可以在三维体数据中选择一些备选切面,然后计算这些备选切面两侧的区域的对称性,认为两侧的对称性最好的备选切面即为所需要的正中矢状切面。
例如,本发明的一个实施例中,根据三维体数据检测正中矢状面的流程示意图如图17所示。
在步骤120中,可以在三维体数据中选择一组备选切面。备选切面的选择方式可以根据需要确定。例如,可以选择三维体数据中一定范围内在一个或者多个特定方向上相距一定的间隔(或者步长)的所有切面。这里,所说的“一定范围”可以是相对于三维体数据中的一个或者多个线和/或面的角度范围,也可以是相对于三维体数据中的一个或者多个点、线和或面的距离的范围;所说的“在一个或者多个方向上”是指切面的法线在该一个或者多个方向上;所说的“间隔”或者“步长”可以是距离间隔或者步长,也可以是角度间隔或者步长。
本发明的实施例中,可以是选择三维体数据的全部范围内在一个或者多个方向上相距一定的间隔或者步长的全部切面;或者,本发明的实施例中,也可以根据一些先验知识来选择备选切面,去除正中矢状面明显不可能包含于其中的备选切面。例如,由于胎儿头部的正中矢状面是位于胎儿头部中间位置的纵切面(即在从从三维体数据中胎儿头顶部分到胎儿颈部部分的方向上的切面),因此根据三维体数据中胎儿图像的大致方向,选择大体上在头部中间位置的纵切面作为备选切面。本文中,将三维体数据中或者三维体数据的至少一部分中在从从三维体数据中胎儿头顶部分到胎儿颈部部分的方向上的切面(也就是大体上平行于从三维体数据中胎儿头顶部分到胎儿颈部部分的方向的切面,或者其法线大体上垂直于从从三维体数据中胎儿头顶部分到胎儿颈部部分的方向的切面)称为该三维体数据的“纵切面”。
因此,本发明的实施例中,可以选择三维体数据中的一组纵切面作为前述的一组备选切面,例如,选择大体上在头部中间位置的一组纵切面(例如,头部中间位置特定区域内以特定步长或者间距的所有纵切面)作为该一组备选切面。
或者,本发明的实施例中,也可以接收用户的输入,该用户输入指示正中矢状切面所处的可能的范围,然后选择这个用户指出的范围内的切面作为备选切面。
本发明的实施例中,也可以选择三维体数据中相距一定步长的所有切面,即以一定的步长遍历搜索三维体数据的全部范围内的所有切面。
类似地,当采用一般表达式aX+bY+cZ+d=0或Z=aX+bY+c或Y=aX+bZ+c表示切面方程时,选定其中的平面参数a、b、c和d的范围和各自的步长,即实现了对备选切面的选择。
例如,当选择的三维体数据中的以一定步长的所有切面为备选切面时,参数ρ的取值范围如式(22)所示,最大的取值范围例如可以为0°≤θ<360°,(参考图14)。容易理解,当坐标系设置方式不同时,参数的取值范围也会变化。
对称性指数主要用于衡量备选切面两侧的数据的相似性。
因此,例如,一个实施例中,对于每个备选切面,可以在三维体数据中该备选切面的两侧选择至少一对第一区域和第二区域,并且该第一区域和该第二区域关于该备选切面对称,然后用第一区域中的数据和第二区域中的数据来计算该备选切面的对称性指数。
这里,“第一区域中的数据”是指落入第一区域中的三维体数据中的数据点的值,类似地,“第二区域中的数据”是指落入第二区域中的三维体数据中的数据点的值。
本发明的实施例中,对于每个备选切面,也可以选择多对第一区域和第二区域,对于每对第一区域和第二区域分别计算对称性指数,然后根据多对第一区域和第二区域对应的多个对称性指数,获得最终的该备选切面的对称性指数。例如,将该多个对称性指数取平均值作为对应的备选切面的对称性指数;或者将该多个对称性指数的加权平均值作为对应的备选切面的对称性指数,其中加权系数可以根据选择的第一区域和第二区域对的位置或者其它性质确定;等等。本发明的实施例中,最终的该备选切面的对称性指数可以是分别根据多对第一区域和第二区域计算获得的对称性指数的函数。
对称性指数可以用多种方法计算。
例如,一个实施例中,可以用前述的第一区域和第二区域中对应的点的灰度值的差的绝对值之和作为对称性指数,即:
其中,E为对称性指数,Ω为平面两侧选定的对称的第一区域和第二区域,IL为第一区域中的点的数据值,IR为与第一区域中的点关于备选切面对称的第二区域中的点的数据值。这里,“第一区域和第二区域中对应的点”是指第一区域和第二区域中关于备选切面对称的点。
本发明的实施例中,备选切面的对称性指数也可以是前述的第一区域和第二区域的相关系数,即:
其中,E为对称性指数,Ω为平面两侧选定的对称的第一区域和第二区域,IL为第一区域中的点的数据值,IR为与第一区域中的点关于备选切面对称的第二区域中的点的数据值。
对称性指数的定义包括但不局限于上述两种方法,也可以使用其它类似的定义,如第一区域和第二区域的欧式距离(Euclidean Distance),第一区域和第二区域的余弦相似度指数(Cosine Similarity)等等。
对于所有备选切面,均计算出其对称性指数,即可获得一组对称性指数。然后,从该组对称性指数中选择满足特征条件的特征对称性指数,本发明的实施例中,认为该特征对称性指数所对应的备选切面即为所需要的胎儿头部的正中矢状切面。
这里,所说的“特征条件”可以是表明备选切面的对称性最优的条件。该特征条件可以根据对称性指数的计算方法的不同而不同。例如,对于前述按照式(27)计算的对称性指数,可以看出,E值(即对称性指数)越小,说明备选切面两侧的图像像素越相似,即对称性越好,因此,此时,特征条件可以是“对称性指数最小”。而对于前述按照式(28)计算的对称性指数,E值(即对称性指数)越大(对于式(28),也就是E值越接近1),说明备选切面两侧的图像像素越相似,即对称性越好,因此,此时,特征条件可以是“对称性指数最接近1”或者“对称性指数最大”。
当按照其它方式计算对称性指数时,特征条件也可以类似地定义。例如,当对称性指数为第一区域和第二区域的欧式距离时,特征条件可以为“对称性指数最小”,即此时对称性指数越小(即欧式距离越小),则第一区域和第二区域对称性越好;当对称性指数为第一区域和第二区域的余弦相似度指数时,特征条件可以为“对称性指数最大”,即此时对称性指数越大(即余弦相似度指数越大),则第一区域和第二区域对称性越好;等等。
如前文所述,胎儿头部的正中矢状切面中将表现一些特定的结构,也就是说,胎儿头部的正中矢状切面的图像将具有一些特有的结构特征。因此,本发明的另一些实施例中,也可以利用胎儿头部的正中矢状切面的这个特征,通过先前已经获得的其它的胎儿头部的正式矢状切面的图像,生成胎儿头部正中矢状面的模板图像(或者标准参考图像),然后在三维成像过程中,将获得的三维体数据中的切面与该模板图像进行匹配,计算三维体数据中的切面与目标图像的相似性指数,认为三维体数据中与模板图像相似性指数最高的切面即为胎儿头部的正中矢状切面。
例如,本发明的一个实施例中,根据三维体数据检测正中矢状面的流程示意图如图18所示。
在步骤130中,可以获取胎儿头部的正中矢状面的模板图像。本发明的实施例中,这个模板图像可以是预先根据先前已经获得的其它的胎儿头部的正中矢状切面的图像生成并且存储在存储设备中,本发明实施例的三维成像过程中,直接从该存储设备中读取获得;也可以是在本发明实施例的三维成像过程中生成。
本发明的实施例中,模板图像可以是一个,也可以是多个,例如,这里的多个模板可以是每个用于与不同尺寸的三维体数据中的切面匹配。
当是多个模板图像时,后续的匹配过程中可以用每个备选切面与每个模板图像匹配。
获得了模板图像后,在步骤131中,即可在三维体数据中选择一组备选切面。备选切面的选择方式可以根据需要确定,也可以根据一些先验知识来选择备选切面,去除正中矢状面明显不可能包含于其中的备选切面。例如,由于胎儿头部的正中矢状面是位于胎儿头部中间位置的纵切面(即在从头顶部分到颈部部分的方向上的切面),因此根据三维体数据中胎儿图像的大致方向,可以选择三维体数据中的一组纵切面作为前述的一组备选切面,例如,选择大体上在头部中间位置的一组纵切面(例如头部中间位置特定区域内以特定步长或者间距的所有纵切面)作为该组备选切面。
本发明的实施例中,也可以选择三维体数据中相距一定步长的所有切面,即以一定的步长遍历匹配三维体数据的全部范围内的所有切面与模板图像。
类似地,当采用一般表达式aX+bY+cZ+d=0或Z=aX+bY+c或Y=aX+bZ+c表示切面方程时,选定其中的平面参数a、b、c和d的范围和各自的步长,即实现了对备选切面的选择。
例如,当选择的三维体数据中的以一定步长的所有切面为备选切面时,参数ρ的取值范围如式(22)所示,最大的取值范围例如可以为0°≤θ<360°,(参考图14)。容易理解,当坐标系设置方式不同时,参数的取值范围也会变化。
其他具体的备选切面的选择方式还可参照前文中有关候选横切面的选择方式,在此不再累述。
如前文所述,本发明的实施例中,上述横切面模板图像或上述者模板图像也可以是一个,在这种情况下,上述横切面模板图像或者上述模板图像在一个特定的尺寸下生成。此时,在三维体数据中选择备选切面或候选横切面之前、或者在从候选横切面图像集中选出具有图像特征的候选横切面为待测横切面之前、或者计算上述候选横切面图像集中的每个候选横切面与上述横切面模板图像的相似度指数之前,还包括将三维体数据与横切面模板图像或者模板图像对齐的步骤,该步骤是将三维体数据和横切面模板图像或者模板图像对齐到同一尺度空间,也就是说使得三维体数据中和横切面模板图像或者模板图像中的各个结构的大小是近似一致的。或者,还可以是,将上述候选横切面图像集中的每个候选横切面和上述横切面模板图像对齐到同一尺度空间。经过这种对齐,三维体数据与模板图像中的各个结构具有近似一致的尺寸,从而后续匹配过程更容易实现,匹配效果更好,并且减小了匹配过程的计算量。
使三维体数据或上述候选横切面图像集中的每个候选横切面与横切面模板图像或者模板图像对齐的方法可以是检测三维体数据或上述候选横切面图像集中的切面图像(例如,可以取最中间一帧图像,即第F/2帧的图像,也可取其临近的帧或者其它的帧的图像或者其它的切面图像)中的特定结构特征(例如颅骨光环,等的),然后根据检测到的特定结构特征的大小将三维体数据通过旋转、平移和/或缩放等方式变换到与模板图像的尺寸相同的尺寸水平。
这里,将三维体数据或上述候选横切面图像集中的每个候选横切面变换到与横切面模板图像或者模板图像的尺寸相同的尺寸水平是指通过变换使三维图数据或候选横切面中和横切面模板图像或模板图像中相同或者相应的结构特征具有相同的尺寸。
这里,“相同”是指大体上或者基本上相同或者相近,不是严格限制是绝对地相同,而是可以允许有一定的差别。也就是说,这里的“相同”不应该严格地理想化地解释。
本发明的实施例中,也可以使用任何其它适合的方法将三维体数据与横切面模板图像或者模板图像对齐到同一尺度空间。
这里,“同一”是指大体上或者基本上相同或者相近,不是严格限制是绝对地相同,而是可以允许有一定的差别。也就是说,这里的“同一”不应该严格地理想化地解释。
相似性指数用于衡量备选切面与模板图像的相似性。本发明的实施例中,相似性指数可以用多种方式计算,具体可参见前文中有关候选横切面与横切面模板图像之间的相似度指数的相关计算说明,在此不再累述。
对于所有备选切面,均计算出其相似性指数,即可获得一组相似性指数。然后,从该组相似性指数中选择满足特征条件的特征相似性指数,本发明的实施例中,认为该特征相似性指数所对应的备选切面即为所需要的胎儿头部的正中矢状切面。这里,所说的“特征条件”可以是表明备选切面与模板图像的相似性最优的条件。该特征条件可以根据相似性指数的计算方法的不同而不同,具体与可参照前文中有关“图像特征条件”的相关说明,在此不再累述。
本发明的实施例中,步骤S30中,在显示器上显示横切面。或者,还可以,基于上述步骤S20中的内容,将“横切面”替换为“冠状切面”亦可获得根据受测体头部与脑部解剖位置相关的冠状切面的图像特征,从上述三维体数据中检测所述脑部解剖位置处的冠状切面的技术方案。同理,基于上述步骤S20中的内容,将“横切面”替换为“矢状切面”亦可获得根据受测体头部与脑部解剖位置相关的矢状切面的图像特征,从上述三维体数据中检测所述脑部解剖位置处的矢状切面的技术方案。
无论是检测与脑部解剖位置相关的任何一类切面,均可以基于上述步骤S20的技术方案获得,而只需将“横切面”替换为相应的切面名称,在此不再针对每一类切面的自动检测详述步骤S20的过程,具体可参见前文中的相关说明。此外,因为矢状切面的特殊结构性,在检测矢状切面还可参照前文中关于“从所述三维体数据中检测正中矢状切面”的具体实施例。
因此,在步骤S30中,还可以在显示器上,显示从上述三维体数据中检测出的脑部解剖位置处的切面,而这些切面,均可以依据上述步骤S20根据受测体头部与脑部解剖位置相关的切面的图像特征,从上述三维体数据中检测出来。
为了突出显示切面与脑部解剖位置之间的关系,如图21所示,在发明的一个实施例中,在执行步骤S92根据受测体头部与脑部解剖位置相关的切面的图像特征,从执行步骤S91获得的三维体数据中检测所述脑部解剖位置处的切面之后,还包括以下步骤S93和步骤S94。有关步骤S92的具体执行过程可参见前文中有关步骤S20和步骤S11的相关说明,有关步骤S91的具体执行过程可参见前文中有关步骤S10的相关说明,在此不再累述。
本实施例中,步骤S93中,标记上述检测出的切面对应的脑部解剖位置,生成与脑部解剖位置对应的标识。并在步骤S94中,利用显示器显示检测出的切面和标识。
例如,一个实施例中,在切面结构示意图上标记上述检测出的切面对应的脑部解剖位置,生成上述标识;并在步骤S94中,对比显示上述切面结构示意图和检测出的切面,以及在切面结构示意图上显示上述标识。
这里提到的切面结构示意图包括脑部矢状切面、冠状切面、横切面这三类切面的结构示意图中的至少一个,或者还可以包括受测体头部任意一剖切面的示意图。当然为了更加清晰的展示上述检测出的切面对应的脑部解剖位置,则可以根据需要选择合适的切面结构示意图。比如,若要标记的是正中矢状切面,则可以采用图4作为切面结构示意图;或者如图22所示,若要标记的是横切面,则如图22所示,在正中矢状切面的结构示意图(图22中的左上方所示)上,标记上述步骤S92中检测出的横切面对应的脑部解剖位置,生成相应标识;在步骤S94中对比显示正中矢状切面的结构示意图和横切面,以及在正中矢状切面的结构示意图上显示上述标识。
又例如,另一个实施例中,在上述三维体数据中的脑部矢状切面、冠状切面、横切面三类切面中的至少一类切面上,标记此三类切面中其他类切面对应的脑部解剖位置,生成相应标识;并在步骤S94中,对比显示所述至少一类切面和所述其他类切面,以及在所述至少一类切面上显示所述标识。如图19所示,可以利用左上方图示的从三维体数据中检测出的脑部矢状切面来与横切面进行对比显示,并在脑部矢状切面上标记横切面对应的脑部解剖位置。又比如,还可以将图19中左上方图示的脑部矢状切面替换为冠状切面,用以在脑部冠状切面上标记横切面对应的脑部解剖位置。在本发明的其中一个实施例中,如图19所示,在上述步骤S92中检测出的切面中的正中矢状切面上,标记上述步骤S92中检测出的横切面对应的脑部解剖位置,生成相应标识;并在步骤S94中对比显示正中矢状切面和横切面,以及在正中矢状切面上显示上述标识。
本实施例中的步骤S93中,可采用在对比图像上标记某一切面对应的脑部解剖位置的方式来标记上述检测出的切面对应的脑部解剖位置。此处的对比图像是指用以在其上绘制标识的图像载体,其可以从用于表征脑部矢状切面、冠状切面、横切面等的切面结构示意图和所述三维体数据中的脑部矢状切面、冠状切面、横切面等的切面中选择。例如,可以利用该切面与对比图像所展示的切面之间的相交线,来表征该切面对应的脑部解剖位置。在本发明的一个实施例中,在上述步骤S93中,可以通过标记上述相交线来生成上述标识。一个切面对应的脑部解剖位置用一条相交线对应的标识表示。比如,通过标记横切面与正中矢状切面的相交线来生成用于标记横切面对应的脑部解剖位置的标识。
如图19和图22所示,通过在相应脑部解剖位置处添加的参考线来示意,比如图中与TCP、TTP、TVP相关的直线。图19和图22所绘制的参考线即一种用以表示上述相交线的标识。这些参考线的颜色还可以根据用户的需求进行调整,利用不同的颜色来区分表示标记的不同横切面,也就是说,根据受测体头部上与至少一处脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测出来的至少一个横切面利用不同颜色的参考线来表示。还可以,在相应横切面的显示窗口中用对应颜色的文字或其它标识来显示该横切面名称,例如在图19中右上方图中用“TCP”表示小脑切面,右下方图中用“TVP”表示侧室脑切面,左下方图中用“TTP”表示丘脑切面,左上方图中显示区域用以显示正中矢状切面,图19中给出了本发明的一个显示实施例,其中在显示器的同一个界面上对比显示正中矢状切面以及侧室脑切面、丘脑切面、小脑切面这三个标准横切面,并在正中矢状切面中利用不同颜色或者不同线型的参考线标记侧室脑切面、丘脑切面、小脑切面这三个标准横切面对应的脑解剖位置。上述参考线的长度可根据实际需要设置。
图19和图22中均是通过绘制参考线,来作为标记的上述相交线而生成的标识。当然,表示上述相交线的方式不限于上述参考线,比如还可以是:不连续的线段,如机械制度中的剖面位置指示线,例如,图23中从上述参考线的两端截选两段线段表示,并通过粗细或者颜色进行区分,等等。或者,还可以是:在颅骨光环外侧相应的脑部解剖位置处标记的两个对应的“┻”、“┏”、或“┛”等符号来替代上述参考线。或者还可以是:如图23所示,利用符号标注(如图中的TCP、TTP、TVP)来表示被标记切面的位置,而当鼠标移动到符号标注或者相关切面显示图像上时,将用于标记上述相交线的标识或者该切面对应的标识的属性从不可见改为可见。比如,当鼠标指到图23中矢状切面结构示意图中TVP这个符号标注时,中间的虚线将从不可见变为可见,以便用户能看到脑部解剖位置的标记,避免因为用于标记切面的标识过多而导致显示画面的质量下降(下文关于可见和不可见的属性定义参见此处描述)。因此,本发明的实施例中可以通过对用于标记上述相交线或脑部解剖位置的标识配置不同的参数和/或属性来区分标记出的不同切面,这里提到的参数和/或属性包括:标识颜色、标识形状(例如,图19中参考线的各种线型,比如,虚线、实线、点划线等等)、符号标注、指引标注(包括通过标记指引线及备注符号)、标识比例、标识可见性等中的至少一种或者两种以上的组合。本发明包括但不限制上述标识的参数或者属性设置,只要是用于标记上述切面与所述对比图像所展示的切面之间的相交线,来表征该切面对应的脑部解剖位置的标识,均可以应用于本发明的各个实施例中。
上述步骤S92中,还包括通过在显示界面上设置用以接收用户输入指令的控件、或者按键、或者提示框、或者直接通过轨迹球输入等多种人机交互方式来允许用户手动旋转和平移来修改切面(包括矢状切面,如正中矢状切面)的位置、或者通过调整上述标识来改变脑部解剖位置、或者允许用户选择上述对比图像等等。比如,在图19和图22中,允许用户手动更改参考线TCP、TTP、TVP的位置来修改横切面(例如小脑切面、丘脑切面和侧脑室切面)的显示画面。
例如,在本发明的一个实施例中,上述步骤S93包括以下步骤:
首先,获取用户选择对比图像的选择指令;这里的对比图像的定义参见前文所述;
然后,根据选择指令,在选择的对比图像上标记上述检测出的切面对应的脑部解剖位置。本实施例给予了用户一定的自主选择性,提供了更加友好的使用界面。
又例如,还可以针对上述标识,提供用户一定的自主选择,并提供更加友好的图像显示效果。在本发明的另一个实施例中,上述步骤S93包括以下步骤:
首先,获取用户选中上述标识或者选中至少一切面而生成的信号。这里的选中上述标识或者选中至少一切面,包括在显示界面中利用人机交互方式选择上述标识或者显示界面中显示的至少一个切面;或者还可以包括,利用人机交互方式在显示界面中以一定的速度移动时光标所在位置处的上述标识或者至少一个切面。
然后,根据上述选中生成的信号,将选中的标识的属性从不可见变为可见,或者将用于标记上述至少一个切面对应的脑部解剖位置而生成的标识的属性从不可见变为可见。
还例如,在本发明的其中一个实施例中,如图24所示,上述方法还包括以下步骤:
步骤S95,获取关于脑部解剖位置的调整指令。例如,基于显示的对比图像,用户可利用人机交互方式在对比图像中调整被标记的脑部解剖位置。
步骤S96,根据上述调整指令,更新与调整后的脑部解剖位置对应的切面的显示图像。如图19所示,当用户利用人机交互方式调整左上图中与TCP、TTP、TVP相关的参考线位置时,即产生了相应的调整指令。依据相应调整指令中的变化信息,调整图19中其余三个图的显示画面。也就是说,依据调整指令,提取调整后的脑部解剖位置对应切面的图像数据。在本发明的一个实施例中,还可以是,利用调整后的脑部解剖位置从上述三维体数据中提取切面,并予以显示,作为更新后的显示图像。
本实施例中允许用户手动校正自动检测图像的失误,使得获得图像更加精确,能为医护人员提供更加精确的图像显示数据。基于此,当上述方法中需要利用矢状切面或者冠状切面从所述三维体数据中检测所述脑部解剖位置处的所述横切面时,比如在上述步骤S12和步骤S20中,则如图25所示,在上述步骤S92中包括:
步骤S921,从上述三维体数据中检测矢状切面或者冠状切面;
步骤S922,根据受测体头部与脑部解剖位置相关的横切面的图像特征,利用所述矢状切面或者冠状切面从所述三维体数据中检测所述脑部解剖位置处的横切面(参照前文中有关S21中的相关说明);并上述步骤S96包括:
步骤S961,根据关于所述矢状切面或者冠状切面的脑部解剖位置的调整指令,获得调整后的矢状切面或者冠状切面;
步骤S962,基于调整后的矢状切面或者冠状切面,返回上述步骤S922,从所述三维体数据中重新检测所述脑部解剖位置处的横切面;
在步骤S94中,显示调整后的矢状切面或者冠状切面、和重新检测出的横切面。因此,在本发明的其中一个实施例中,根据用户调整正中矢状切面的调整指令,根据该调整指令获取调整后的正中矢状切面,并根据受测体头部与脑部解剖位置相关的横切面的图像特征,利用调整后的正中矢状切面从上述三维体数据中检测上述待测横切面。
上述实施例中,除了可对显示后的正中矢状切面进行调整,还可对显示的横切面进行调整。在本发明的一个实施例中,提供了一种手动修改矢状面或者横切面的方法,包括:
首先,根据显示窗口的激活信号,接收用户通过上述控件、按键或者提示框、或者轨迹球的调整指令;
然后,解析所述调整指令,获得操作类型以及调整量,该操作类型包括对图像进行平移、旋转等操作;
其次,依据操作类型以及调整量,对被激活的显示窗口中的切面图像或用于标记切面对应的脑部解剖位置的标识进行相应操作类型的操作,根据操作之后的切面图像进行显示。调整之后的显示切面中有关脑部解剖位置的标记也对应进行改变。例如,在本发明的其中一个实施例中,还包括:依据上述步骤S96中更新显示的切面图像,重新确定该切面图像中所标记的脑部解剖位置。当切面图像中具有显示标识时,当切面图像更新,则其上的标识也对应改变。
本实施例可以应用于上述获取用户调整正中矢状切面的调整指令、并根据该调整指令获取调整后的正中矢状切面,也可以应用于获取用户调整显示的横切面的调整指令、并根据该调整指令获取调整后的横切面。或者还可以应用于基于对比图像获取关于脑部解剖位置的调整指令后执行操作的各个实施例中。
例如,在矢状切面(如正中矢状切面)自动检测完,并在矢状切面显示窗口进行显示后,用户激活矢状切面显示窗口,接收用户通过上述控件、按键或者提示框、或者轨迹球输入的平移或旋转等调整指令,若采用轨迹球进行平移,采用X,Y,Z旋转键进行对应方向的旋转。依据调整指令,获得调整后的正中矢状切面,基于调整后的正中矢状切面可重新调用上述步骤S20的横切面自动检测算法,重新计算横切面用以显示。
在本发明的另一个实施例中,用户还可通过移动如轨迹球等人机交互设备到所要修改横切面对应的参考线上,通过单击等方式激活参考线,激活后参考线可基于用户的选择用不同颜色或线形(虚线、实线)来表示激活状态,此时利用如轨迹球、旋钮、菜单按键等人机交互设备或界面控件来对参考线进行平移或旋转,参考线和对应的横切面是联动关系,因而所对应的横切面也进行了相应的变化。或者,用户还可以激活某个标准横切面的窗口,然后通过利用如轨迹球、旋钮、菜单按键等人机交互设备或界面控件来对该横切面进行平移或旋转,此时所对应的横切面参考线也需要做相应的平移和旋转。
在上述各个实施例中对比显示切面结构示意图和检测出的切面或者对比显示三维体数据中的脑部矢状切面、冠状切面、横切面三类切面中的至少两类切面时,还提供了一种新的图像显示方式,并可以基于此方式充分展示相关目标组织的各个位置的信息。即,在本发明的其中一个实施例中,还包括:
首先,获取在上述对比图像上标记的初始位置和终止位置,例如获取在上述正中矢状切面(图19中的左上图)或切面结构示意图(如图19中右下角的小图)中标记的初始位置和终止位置。这里的初始位置和终止位置可以根据用户输入而标记的用上述相交线等标识表征的脑部解剖位置,也可以是,依据前文中步骤S24中从一组相似度指数中选择满足图像特征条件的相似度指数时获得的多个候选横切面(当利用前文步骤S20对待测切面(比如待测横切面、待测矢状切面、待测冠状切面等)进行检测时,则此处应当替换为多个候选切面)来确定,比如在上述三维体数据中初始位置和终止位置之间包含被选择的相似度指数对应的所有候选横切面。
其次,依次播放从上述初始位置到上述终止位置处多个相互平行的切面。例如,依次播放从上述初始位置到上述终止位置处多个相互平行且均垂直于所述正中矢状切面的横切面。如图8所示,上述初始位置和上述终止位置分别为图8中切面103和切面104在上述正中矢状切面或受测体头部的结构示意图的相应脑部解剖位置,那么依据上述方法,在确定上述初始位置和上述终止位置后,则在显示器界面上的相应区域内,自动播放依次从上述初始位置到上述终止位置之间的多个相互平行且均垂直于所述正中矢状切面的横切面,用以为用户充分展示选择范围目标组织的三维立体结构的完整切面视野,为医护人员完整展示了目标组织的病变或生长情况,提升了本发明的使用体验效果。此外,还可以完全展示依据步骤S24自动检测到的所有候选横切面,并再依据用户的经验自行选择位置更加精确的候选横切面作为最终的待测横切面。当用户确定需要提取相应横切面时,可以通过按键等人机交互方式输入暂停播放或显示、或者提取当前播放的横切面等指令信息,根据该指令信息,在显示器上维持当前横切面,或者提取当前横切面进行保存,或者保存当前显示的横切面对应的脑部解剖位置。本文中用于标记或者记录脑部解剖位置、以及用于标记脑部解剖位置而生成的标识,它们为了信息存储和/或显示上,所需要存储的数据内容至少包括:在对比图像上的位置信息,还可以包括标识的参数和/或属性。或者还可以,根据显示器上的当前横切面确定横切面的正确脑部解剖位置并记录用以标记。因此,在本发明的一个实施例中,上述步骤S93还包括,记录并保存所属标识对应在对比图像上的位置信息、和标识的参数和/或属性。
此外,从上述初始位置到上述终止位置之间的多个相互平行的切面还可以采用采用在显示器上对比显示的方式。对比显示的方式如图19和图22所示的,在同一个显示界面上显示多个图像的方式,上文同。同理,对比显示时,也可以是在同一个显示界面上同时显示或滚动显示依据上述步骤S24自动检测到的所有切面。
为了区分在依次播放或者对比显示时的不同切面,利用在上述初始位置到终止位置之间移动的标识来标记当前显示的切面对应的脑部解剖位置,也就是说,在依次播放或者对比显示的同时,依次播放用于标记所述多个相互平行的切面对应的脑部解剖位置的标识。例如,如图27所示,在切面结构示意图中标记出初始位置B1和终止位置B2时,它们之间多个相互平行的切面所对应的脑部解剖位置,利用初始位置B1和终止位置B2两个实线之间的多个虚线表征,而虚线比例的不同表示可见化的时刻不同,从而令人眼看到的是移动的标识。当然本实施例中标识包括但不限于采用图27所示的线段,具体参见前文中有关标识的相关说明,在此不再累述。
当然,在依次播放或者对比显示的同时,还可以通过配置不同参数的标识来标记所述多个相互平行的切面对应的脑部解剖位置。这一点可参见前文中的相关说明,在此不再累述。
基于上述实施例,本发明还提供了一种可自动显示相关目标组织的结构参数的显示方法,如图26所示。本实施例中提到的特定结构特征包括期望在标准切面上自动测量的一些重要解剖结构,例如,颅骨光环、丘脑、小脑、侧脑室等等。而上述特定结构特征的结构参数包括如图19中虚线标记的常用的测量项目,即在丘脑切面自动测量双顶径(BPD),枕额径(OFD),头围(HC),在小脑切面测量自动测量小脑横径(CTI),后颅窝池宽度(CM),在侧脑室切面自动测量侧脑室宽度(LV),在矢状面上自动测量小脑蚓部前后径(CVAP)、小脑蚓部上下径(CVCC)及小脑蚓部面积(CVSA)等等。
在本实施例中,步骤181中,获取受测体头部的三维体数据;具体参见前文步骤S10的相关说明,在此不再累述。
在本实施例中,步骤182中,根据受测体头部与脑部解剖位置相关的切面的图像特征,从上述三维体数据中检测上述脑部解剖位置处的切面;具体参见前文步骤S92的相关说明,在此不再累述。
在本实施例中,步骤183中,检测上述切面中的特定结构特征。根据特定结构特征的形状特征,利用与特定结构特征的形状特征等特征相匹配的模型,拟合切面中的感兴趣区域,获得所述特定结构特征。例如,利用椭圆模型,拟合从上述切面中的横切面中检测到的感兴趣区域,获得最大的椭圆,用以表征颅骨光环区域。利用椭圆模型对分割出的小脑蚓部感兴趣区域进行拟合,获得小脑蚓部的测量区。
在本发明的其中一个实施例中,步骤183包括:检测正中矢状切面和/或横切面中的特定结构特征,所述横切面至少包括丘脑切面、小脑切面和侧脑室切面中之一。这里的正中矢状切面和/或横切面依据步骤182检测获得,具体方式可参见前文说明。
在本实施例中,在步骤185中,在所述特定结构特征所在的切面上,标记所述特定结构特征和/或所述结构参数,用以在显示器上显示。可以显示所述特定结构特征和/或所述结构参数。例如,图19和图22中,在横切面中的丘脑切面、小脑切面和侧脑室切面上分别绘制上述步骤183中检测的椭圆,并在丘脑切面、小脑切面和侧脑室切面上绘制椭圆,用以标记颅骨光环区域。或者,还用线条表示分割出来的丘脑、小脑等特定结构特征的边界。
此外,图中还用线段标记相应结构参数的含义,例如,图19和图22中在线段表示步骤184中测量BPD、OFD等距离含义,用以标记结构参数。
在本发明的一个实施例中,在标记特定结构特征时可以采用绘制特定结构特征边界的方式,还可以利用不同颜色或线型来绘制特定结构特征边界,以示区别。
在本发明的一个实施例中,在标记所述结构参数时,利用不同的标识来表示不同的结构参数,例如线段表示距离参数,具有颜色的曲线表示头围,不同颜色块表示面积等,或者还可以利用符号标注的方式,在显示界面上备注相关结构参数。此外,对于采用不同标识来区分不同结构参数的,在本发明的另一个实施例中,上述步骤185中还包括:
首先,获取用户选中的所述特定结构特征而生成选择信号。这里选中特定结构特征的含义可参见前文的相关描述,包括在显示界面中利用人机交互方式点击选择上述特定结构特征;或者还可以包括,利用人机交互方式在显示界面中以一定的速度移动时光标所在位置处的上述特定结构特征。
然后,根据该选择信号,将用以标记所述特定结构特征对应的结构参数的标识属性从不可见变为可见。这里的用以标记所述特定结构特征对应的结构参数的标识包括:前文提到的线段、颜色块、有颜色的曲线、指引线、符号标注(如利用文字或数字标注的有关结构参数的名称和/值)等中的一种或两种以上的组合。
在上述步骤185中包括但不限于上述列举的标记方式或标识类型,还可以参照前文中有关标记的方式,或者还可以采用任何一种用以将特定结构特征从显示图像中凸显出来以及用以将结构参数从显示图像中展示出来的任何一种标记方式,均可以应用于本文中的各个实施例中。
上述步骤183至步骤185中,以分别自动检测横切面和/或正中矢状切面中的相关目标组织的结构参数进行显示为例,进行详细说明。
其中,HC,BPD、OFD的自动测量主要在丘脑切面上进行。上述步骤183至步骤185分别如下述Step411至Step413所示,具体可以包括以下步骤:
Step411:利用椭圆拟合从根据上述步骤S10至步骤S20获得的丘脑切面中检测出来的感兴趣区域,并在丘脑切面中绘制最大的椭圆,用来表征颅骨光环。本实施例中用绘制的椭圆表征颅骨光环。头围(HC)采用椭圆来包络颅骨光环的外侧,颅骨光环表现为高亮回声,可前文中提到的Hough变换、随机Hough变换、随机能量最优化、Randon变换法、最小二乘估计方法等等来进行椭圆拟合。椭圆方程可采用标准的一般方程:
x2+ay2+bz2+cxy+dyz+exz+f=0
由于横切面均垂直于矢状面,此时的横切面中椭圆的旋转角度可以认为是0°,因而,检测时也可以采用标准椭圆方程:
得到椭圆方程后,即可将椭圆绘制在丘脑切面图像中,并计算椭圆的周长及根据周长推算胎儿的孕周。
基于上述方法,在本发明的一个实施例中,利用椭圆模型拟合从横切面中检测到的感兴趣区域,并在显示的横切面中绘制最大的椭圆,用以表征颅骨光环。该椭圆表征颅骨光环。
Step412:测量上述椭圆的周长用以表征头围(HC),测量上述椭圆的短轴或者短轴两端上附近位置点之间的距离用以表征双顶径(BPD),和/或测量上述椭圆的长轴或者长轴两端上附近位置点之间的距离用以表征枕额径(OFD)。
双顶径(BPD)临床上采用两个点的距离来描述,近场点位于颅骨光环外侧,远场点位于颅骨光环内侧(如图19中左下角BPD所示)。可采用HC中椭圆的短轴来描述BPD。或者还可以采用短轴两端上的附近位置点之间的距离来描述BPD,其中第一个点直接采用椭圆短轴的上端点,或在椭圆短轴的上端点附近搜索从下往上方向亮度下降最剧烈的点作为BPD的上端点。同样,在椭圆短轴的下端点附近搜索从下往上方向亮度下降最剧烈的点作为BPD的下端点。同理,长轴附近位置点是指长轴端点附近从左往右亮度下降最距离的点。可见,附近位置点是指短轴或长轴的端点附近沿短轴或长轴所在方向亮度下降最剧烈的点。
枕额径(OFD)也可直接采用HC中椭圆的长轴两个端点作为OFD的两个端点即可。
Step413:在上述丘脑切面中标记上述头围(HC)、双顶径(BPD)、和/或枕额径(OFD)。
其中,CTI,CM自动测量主要在小脑切面上进行。上述步骤183至步骤185分别如下述Step421至Step423所示,具体可以包括以下步骤:
Step421:采用上述步骤Step411的方式,利用椭圆拟合从根据上述步骤S10至步骤S20获得的小脑切面中检测出来的感兴趣区域,并在小脑切面中绘制最大椭圆,用以表征颅骨光环。
根据先验位置设置一个搜索区域ROI或者在上述椭圆区域内搜索,依据小脑边界的特征检测小脑的上下边界,分割获得小脑边界,标记并显示;比如搜索区域ROI可以是椭圆内的低回声区域或者是非低回声等。
Step422:选择小脑边界内竖距离(竖直方向)最宽的两个点作为CTI的两个端点,测量此两个端点之间的距离,用以表征小脑横径(CTI)。后颅窝池(CM)是由液体组成,在超声上表现为低回声,而椭圆长轴上小脑一侧都是非低回声,因而后颅窝池的边界明显,一种自动测量CM的方法为:在上述椭圆长轴上从任意一点开始(可根据先验位置设置)由椭圆中心往外搜索灰度由亮变暗变化最剧烈的点或区域作为第一点(如图20中的P1),再由第一点P1开始往外搜索灰度由暗变亮变化最剧烈的点或区域作为第二点(如图中的P2),测量此第一点与第二点之间的距离用以表征后颅窝池宽度(CM)。当然,在长轴上由外向里搜索也可以达到相同的效果。如果是搜索区域则可以通过区域内多个像素的灰度平均值来表征该区域的灰度,进行灰度由亮变暗或由暗变亮的上述搜索过程。
Step423:在小脑切面中标记小脑横径(CTI)和/或后颅窝池宽度(CM)。
其中,在侧脑室切面自动测量侧脑室宽度(LV)。侧脑室在超声上表现为低回声区域,而周围组织都是非低回声。以胎儿脑部为例,不同胎儿的小脑及后颅窝池在椭圆内的大致位置是固定的,因而,可以在一个较小的范围,如上述椭圆内的低回声区域内依据侧脑室的特征,将侧脑室分割出来,然后选择最宽区域的两个端点作为LV的两个端点。上述步骤183至步骤185分别如下述Step431至Step433所示,具体包括以下步骤:
Step431:采用上述步骤Step411的方式,利用椭圆拟合从根据上述步骤S10至步骤S20获得的侧脑室切面中检测出来的感兴趣区域,并在小脑切面中绘制椭圆,用以表征颅骨光环。
根据先验位置设置一个搜索区域ROI或者在上述椭圆区域内搜索,依据侧脑室的特征检测侧脑室的边界,分割获得侧脑室区域,并标记显示;例如此处的搜索区域ROI可以是图像中的低回声区域。
Step432:如图19所示,测量侧脑室区域竖直距离最宽的两个端点之间的距离用以表征侧脑室宽度(LV)。
Step433:在侧脑室切面中标记侧脑室宽度(LV)。
还有,在正中矢状面上自动测量小脑蚓部前后径(CVAP)、小脑蚓部上下径(CVCC)及小脑蚓部面积(CVSA)。
小脑蚓部在空间上为上下小脑的联合体,即位于两个小脑中间,因而,通过Step421至423小脑横径的自动测量及小脑切面在矢状面上的参考线,小脑横径的X方向坐标对应在矢状面上正好位于小脑蚓部上,而小脑蚓部在超声上的表现比周围组织要亮,因而,可以采用这个特征选择包含小脑蚓部的先验ROI,然后将小脑蚓部分割出来,具体的分割方法有很多,如区域生长、自动阈值分割、Graph Cut、Level Set、Snake等,在此不再详述。分割出小脑蚓部后,即可计算出小脑蚓部的面积(CVSA)。上述步骤183至步骤185分别如下述Step441至Step443所示,具体可包括以下步骤:
Step441:基于小脑切面在正中矢状面上标记的脑部解剖位置和小脑切面上测得的小脑横径划定小脑蚓部感兴趣区域的搜索范围,利用小脑蚓部在超声上的表现比周围组织要亮,从搜索范围中分割小脑蚓部感兴趣区域,并标记用以表征小脑蚓部。若基于核磁共振等设备获得的灰度图像,则可以参考小脑蚓部的其他图像特征进行分割。
Step442:计算上述小脑蚓部感兴趣区域的面积,用以表征小脑蚓部的面积(CVSA)。
可以选择上述小脑蚓部感兴趣区域中水平方向和竖直方向距离最大的两点,分别测量水平方向的最大距离和竖直方向的最大距离,用以分别表征小脑蚓部前后径和上下径。或者还可以,利用椭圆模型对分割出的上述小脑蚓部感兴趣区域进行拟合,测量拟合椭圆的长轴和短轴,用以分别表征小脑蚓部前后径和上下径。而拟合方法可以为最小二乘估计等方法。
Step443:在正中矢状面上标记小脑蚓部前后径(CVAP)、小脑蚓部上下径(CVCC)和/或小脑蚓部面积(CVSA)。
值得注意的是,本发明在前文中提供的有关结构参数的自动测量的项目,只是为了方便表述,实现时并无先后顺序之分。并且其中的各个子步骤或者阶段也不限其先后顺序之分。
此外,本发明在前文中提供的有关结构参数的自动测量的项目,在实际应用时,可以根据用户需要自动测量一项结构参数或其中几项结构参数并用以显示,也可在本系统的基础上,采用类似的方法增加一些临床上有意义的结构参数的自动测量项。有关结构参数的自动测量项的增减、变更均属于本发明的保护范围。
本发明的上述各个实施例中,可以用于对一个时刻对应的三维体数据的计算和显示,也可以对多个或者多个连续的三维体数据进行计算分析和显示。本发明提供了完整自动检测颅内标准切面和自动测量颅内常用解剖结构参数的方法。但其中的一个或几个的组合也可形成独立的解决某个问题的方案。例如,上述各个实施例中可以利用自动检测和人工输入相结合的方式,使图像的获取和显示更加精确,使本发明的用户使用体验更加美好。并且上述有关结构参数的检测也可以结合自动和人工输入的方式,充分满足临床需要,且提供了更加多变的灵活操作方案。
以上各个实施例在具体说明中仅只针对相应步骤的实现方式进行了阐述,然后在逻辑不相矛盾的情况下,上述各个实施例是可以相互组合的而形成新的技术方案的,而该新的技术方案依然在本具体实施方式的公开范围内。
本发明的实施例的方法中,矢状切面和/或横切面的自动检测结果本质上为标记出矢状切面和/或横切面在三维体数据坐标系中的位置,但有表现形式可以有多种,如平面方程、矢状切面或横切面相对于坐标系原点平移(X、Y、Z方向的平移量)及旋转量(绕X、Y、Z轴的旋转量)、矢状切面或横切面相对于原始坐标系的变换矩阵(通常1个4×4矩阵即可表示两个坐标系的变换关系)、甚至空间上三个点的坐标(三个点即确定一个平面)等等。这些表示方式本质均为在三维体数据坐标系中标记出平面的位置,各种表示方式可以相互转换。
本发明的前述的各个实施例中,为了表述的方便,统一采用了平面方程表示方法。但是本发明不限制在平面方程表示方法上,而是也包含前述的或者本领域内其它的表示方法。任何矢状切面或横切面检测结果表达方式仅仅是表现形式上的差异,不影响本发明的实质,均属于本发明的保护范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品承载在一个非易失性计算机可读存储载体(如ROM、磁碟、光盘,服务器存储空间)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法步骤。
基于上述实施例本发明的其中一个实施例中,其包括以下步骤:
步骤501,向受测体头部发射超声波;
步骤502,接收超声回波,获得超声回波信号;
步骤503,根据所述超声回波信号,获得受测体头部的三维体数据;
步骤504,根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测横切面;
步骤505,显示检测出的横切面。
上述步骤503至步骤505的具体实现方式可参见上述步骤S10至步骤S30的相关说明,在此不再累述。
又如,基于上述实施例本发明的其中一个实施例中,其包括以下步骤:
步骤601,向受测体头部发射超声波;
步骤602,接收超声回波,获得超声回波信号;
步骤603,根据所述超声回波信号,获得受测体头部的三维体数据;
步骤604,根据受测体头部与脑部解剖位置相关的切面的图像特征,从所述三维体数据中检测所述脑部解剖位置处的切面;
步骤605,标记所述检测出的切面对应的脑部解剖位置,生成所述脑部解剖位置对应的标识。
步骤606,显示检测出的切面和标识。
上述步骤604至步骤606的具体实现方式可参见上述步骤S91至步骤S94的相关说明,在此不再累述。
还比如,基于上述实施例本发明的其中一个实施例中,其包括以下步骤:
步骤701,向受测体头部发射超声波;
步骤702,接收超声回波,获得超声回波信号;
步骤703,根据所述超声回波信号,获得受测体头部的三维体数据;
步骤704,根据受测体头部与脑部解剖位置相关的切面的图像特征,从所述三维体数据中检测所述脑部解剖位置处的切面;
步骤705,检测所述切面中的特定结构特征。
步骤706,测量所述特定结构特征的结构参数。
步骤707,标记所述特定结构特征和/或所述结构参数,用以显示。
上述步骤704至步骤707的具体实现方式可参见上述步骤182至步骤185的相关说明,在此不再累述。
前述的各个实施例的三维超声成像方法可以在参考图1描述的三维超声成像系统中实现。该三维超声成像系统中,包括探头2、三维成像模块8和显示器9。探头2向受测体头部发射超声波并接收超声回波,获得超声回波信号。三维成像模块8根据超声回波信号获得胎儿头部等受测体头部的三维体数据,并按照前文中描述的任何一个实施例中的方法,根据用户的选择或者受测体头部正中矢状切面的特性,检测三维体数据中的正中矢状切面,和/或根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测横切面。显示器9显示检测出的正中矢状切面和/或横切面。
或者,在本发明的一个实施例中,三维成像模块8根据超声回波信号获得胎儿头部等受测体头部的三维体数据,并按照前文中描述的任何一个实施例中的方法,根据受测体头部与脑部解剖位置相关的切面的图像特征、从三维体数据中检测脑部解剖位置处的切面,并标记检测出的切面对应的脑部解剖位置,生成该脑部解剖位置对应的标识。显示器9显示检测出的切面以及上述标识。
又或者,在本发明的一个实施例中,三维成像模块8根据超声回波信号获得胎儿头部等受测体头部的三维体数据,并按照前文中描述的任何一个实施例中的方法,根据受测体头部与脑部解剖位置相关的切面的图像特征、从三维体数据中检测脑部解剖位置处的切面,并检测该切面中的特定结构特征和测量特定结构特征的结构参数,标记前述特定结构特征和/或结构参数。显示器9显示前述特定结构特征和/或前述结构参数。
本发明的实施例中,该三维超声成像系统还可以包括其它元件,例如如图1所示的发射/接收选择开关3、发射电路4、接收电路5、波束合成模块6、信号处理模块7等等。这些元件在此不再详细描述。
本发明的实施例中,实现前述各个实施例中的方法的三维超声成像系统不限于通常的集成为一个整体装置的超声成像系统(例如台车式超声成像系统或者便携式超声成像系统),也可以是分布式的系统。例如,前述各个实施例的方法中的至少一部分步骤或者功能(例如,从三维体数据中检测正中矢状切面的步骤,等等)可以在通过数据通信装置(有线的或者无线的)连接到通常的台车式超声成像系统或者便携式超声成像系统的其它设备(例如,数据处理工作站、个人电脑、各种智能便携设备、其它超声成像设备、各种网络服务器,等等)上实现,从而与台车式超声成像系统或者便携式超声成像系统整体形成本发明实施例中的三维超声成像系统。
通过本发明的方法,系统即可自动显示胎儿正中矢状面、小脑切面、丘脑切面、侧脑室切面等切面,并自动测量所述切面中的解剖结构,节约了检查时间,同时大大降低了对医生技术水平的依赖程度。
本发明的实施例中的超声成像方法中,可以对胎儿进行超声扫描获得胎儿头部的三维体数据,并根据获得的三维体数据,自动检测胎儿脑部的正中矢状切面并予以显示,解决了医生手动难以准确定位正中矢状切面的问题,使得医生可以方便地观察胎儿脑部正中矢状切面的情况,可以为医师提供大量重要的关键信息。
本发明特别提供了一种从三维/4维胎儿体数据中自动识别胎儿颅内标准切面的方法和系统,所获取的标准切面包括胎儿正中矢状面、小脑切面、丘脑切面、侧脑室切面。在完成3D\4D数据采集后,只需要按一个按钮/菜单,系统即可自动显示胎儿正中矢状面、小脑切面、丘脑切面、侧脑室切面。同时,自动测量双顶径,枕额径,头围,小脑横径,后颅窝池宽度,侧脑室宽度,小脑蚓部横径、纵径及小脑蚓部面积等指标,大大降低了对医生技术水平的依赖程度,节约检查时间。
以上通过具体的实施例对本发明进行了说明,但本发明并不限于这些具体的实施例。本领域技术人员应该明白,还可以对本发明做各种修改、等同替换、变化等等,这些变换只要未背离本发明的精神,都应在本发明的保护范围之内。此外,以上多处所述的“一个实施例”表示不同的实施例,当然也可以将其全部或部分结合在一个实施例中。
Claims (14)
1.一种三维成像数据的显示处理方法,其特征在于,所述方法包括:
获取受测体头部的三维体数据;
根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测具有所述图像特征的所述脑部解剖位置处的横切面;所述横切面包括小脑切面、丘脑切面以及侧脑室切面的任意一种或多种;
标记所述检测出的横切面对应的脑部解剖位置,生成所述脑部解剖位置对应的标识;所述脑部解剖位置是指在所述受测体头部获得的相应横切面的剖切位置;
显示检测出的横切面和标识。
2.根据权利要求1所述的三维成像数据的显示处理方法,其特征在于,所述标记所述检测出的横切面对应的脑部解剖位置的步骤中,在对比图像上标记所述横切面对应的脑部解剖位置,利用该横切面与所述对比图像所展示的横切面之间的相交线,来表征该横切面对应的脑部解剖位置。
3.根据权利要求1所述的三维成像数据的显示处理方法,其特征在于,所述标记所述检测出的横切面对应的脑部解剖位置、生成所述脑部解剖位置对应的标识和显示检测出的横切面和标识的步骤包括:
在切面结构示意图上标记所述检测出的横切面对应的脑部解剖位置,生成所述标识;
对比显示所述切面结构示意图和所述检测出的横切面,以及在切面结构示意图上显示所述标识。
4.根据权利要求1所述的三维成像数据的显示处理方法,其特征在于,所述标记所述检测出的横切面对应的脑部解剖位置、生成所述脑部解剖位置对应的标识和显示检测出的横切面和标识的步骤包括:
在所述三维体数据中的脑部矢状切面、冠状切面、横切面三类切面中的至少一类切面上,标记所述三类切面中其他类切面对应的脑部解剖位置,生成所述标识;
对比显示所述至少一类切面和所述其他类切面,以及在所述至少一类切面上显示所述标识。
5.根据权利要求4所述的三维成像数据的显示处理方法,其特征在于,所述标记所述检测出的横切面对应的脑部解剖位置、生成所述脑部解剖位置对应的标识和显示检测出的横切面和标识的步骤包括:
在所述检测出的横切面中的正中矢状切面上,标记所述检测出的横切面对应的脑部解剖位置,生成所述标识;
对比显示所述正中矢状切面和所述横切面,以及在所述正中矢状切面上显示所述标识。
6.根据权利要求4所述的三维成像数据的显示处理方法,其特征在于,所述标记所述检测出的横切面对应的脑部解剖位置、生成所述脑部解剖位置对应的标识和显示检测出的横切面和标识的步骤包括:
在正中矢状切面的结构示意图上,标记所述检测出的横切面对应的脑部解剖位置,生成所述标识;
对比显示所述正中矢状切面的结构示意图和所述横切面,以及在所述正中矢状切面的结构示意图上显示所述标识。
7.根据权利要求5或6所述的三维成像数据的显示处理方法,其特征在于,所述标记所述检测出的切面对应的脑部解剖位置、生成所述脑部解剖位置对应的标识的步骤中,通过标记横切面与正中矢状切面的相交线来生成所述标识。
8.根据权利要求1所述的三维成像数据的显示处理方法,其特征在于,所述标记所述检测出的横切面对应的脑部解剖位置的步骤中,通过对所述标识配置不同的参数和/或属性来区分标记出的不同切面。
9.根据权利要求8所述的三维成像数据的显示处理方法,其特征在于,所述标记所述检测出的横切面对应的脑部解剖位置的步骤还包括:
获取用户选中所述标识或者选中至少一个横切面而生成的信号;
根据该信号,将所述标识的属性从不可见变为可见,或者将用于标记所述至少一个横切面对应脑部解剖位置而生成的标识的属性从不可见变为可见。
10.根据权利要求1所述的三维成像数据的显示处理方法,其特征在于,所述方法还包括:
获取关于脑部解剖位置的调整指令;
根据调整指令,更新与调整后的脑部解剖位置对应的横切面的显示图像。
11.根据权利要求10所述的三维成像数据的显示处理方法,其特征在于,所述根据受测体头部与脑部解剖位置相关的横切面的图像特征、从所述三维体数据中检测所述脑部解剖位置处的横切面的步骤包括:
从所述三维体数据中检测矢状切面或者冠状切面;
根据受测体头部与脑部解剖位置相关的横切面的图像特征,利用所述矢状切面或者冠状切面从所述三维体数据中检测所述脑部解剖位置处的横切面;并
所述根据调整指令、更新与调整后的脑部解剖位置对应的横切面的显示图像的步骤包括:
根据关于所述矢状切面或者冠状切面的脑部解剖位置的调整指令,获得调整后的矢状切面或者冠状切面;
基于调整后的矢状切面或者冠状切面,返回所述根据受测体头部与脑部解剖位置相关的横切面的图像特征、利用所述矢状切面或者冠状切面从所述三维体数据中检测所述脑部解剖位置处的横切面的步骤,从所述三维体数据中重新检测所述脑部解剖位置处的横切面;
显示调整后的矢状切面或者冠状切面、和重新检测出的横切面。
12.根据权利要求2所述的三维成像数据的显示处理方法,其特征在于,所述方法还包括:
获取在所述对比图像上标记的初始位置和终止位置;
依次播放从所述初始位置到所述终止位置之间的多个相互平行的横切面;或者
对比显示从所述初始位置到所述终止位置之间的多个相互平行的横切面。
13.根据权利要求12所述的三维成像数据的显示处理方法,其特征在于,在所述依次播放或者对比显示的同时,利用在所述初始位置到所述终止位置之间移动的标识来标记当前显示的切面对应的脑部解剖位置;或者
配置不同参数的标识来标记所述多个相互平行的横切面对应的脑部解剖位置。
14.一种三维超声成像系统,其特征在于,包括:
探头,所述探头向受测体头部发射超声波并接收超声回波,获得超声回波信号;
三维成像模块,所述三维成像模块根据所述超声回波信号获得三维体数据,并根据受测体头部与脑部解剖位置相关的横切面的图像特征,从所述三维体数据中检测具有所述图像特征的所述脑部解剖位置处的横切面,并标记所述检测出的横切面对应的脑部解剖位置,生成所述脑部解剖位置对应的标识;所述脑部解剖位置是指在所述受测体头部获得的相应横切面的剖切位置;所述横切面包括小脑切面、丘脑切面以及侧脑室切面的任意一种或多种;
显示器,所述显示器显示检测出的横切面和所述标识。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910522216.7A CN110322550B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/073209 WO2016131185A1 (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
CN201580009363.4A CN106102585B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
CN201910522216.7A CN110322550B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580009363.4A Division CN106102585B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110322550A CN110322550A (zh) | 2019-10-11 |
CN110322550B true CN110322550B (zh) | 2023-06-20 |
Family
ID=56691939
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910521624.0A Active CN110338840B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
CN201910521613.2A Active CN110338844B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
CN201910521625.5A Active CN110338841B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
CN201910522216.7A Active CN110322550B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
CN201580009363.4A Active CN106102585B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910521624.0A Active CN110338840B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
CN201910521613.2A Active CN110338844B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
CN201910521625.5A Active CN110338841B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580009363.4A Active CN106102585B (zh) | 2015-02-16 | 2015-02-16 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11229419B2 (zh) |
CN (5) | CN110338840B (zh) |
WO (1) | WO2016131185A1 (zh) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110338840B (zh) | 2015-02-16 | 2022-06-21 | 深圳迈瑞生物医疗电子股份有限公司 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
KR102446343B1 (ko) * | 2015-06-15 | 2022-09-22 | 삼성메디슨 주식회사 | 초음파 장치 및 그 제어방법 |
GB2542114B (en) * | 2015-09-03 | 2018-06-27 | Heartfelt Tech Limited | Method and apparatus for determining volumetric data of a predetermined anatomical feature |
US9792531B2 (en) * | 2015-09-16 | 2017-10-17 | Siemens Healthcare Gmbh | Intelligent multi-scale medical image landmark detection |
JP6639523B2 (ja) * | 2015-12-22 | 2020-02-05 | オリンパス株式会社 | 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム |
CN106681594A (zh) * | 2016-12-30 | 2017-05-17 | 上海联影医疗科技有限公司 | 医学图像界面交互方法和医学图像打印方法 |
CN108324318B (zh) * | 2017-01-20 | 2021-07-23 | 深圳开立生物医疗科技股份有限公司 | 超声图像处理方法、装置及超声诊断设备 |
JP6885896B2 (ja) * | 2017-04-10 | 2021-06-16 | 富士フイルム株式会社 | 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム |
CN110087551A (zh) * | 2017-04-27 | 2019-08-02 | 深圳迈瑞生物医疗电子股份有限公司 | 一种胎心超声检测方法及超声成像系统 |
JP7319248B2 (ja) * | 2017-08-28 | 2023-08-01 | コーニンクレッカ フィリップス エヌ ヴェ | 位置追跡型インターベンショナルデバイスの自動視野更新 |
CN107569257A (zh) * | 2017-09-29 | 2018-01-12 | 深圳开立生物医疗科技股份有限公司 | 超声图像处理方法及系统、超声诊断设备 |
GB2568081B (en) * | 2017-11-03 | 2022-01-19 | Imagination Tech Ltd | End-to-end data format selection for hardware implementation of deep neural network |
GB2568083B (en) | 2017-11-03 | 2021-06-02 | Imagination Tech Ltd | Histogram-based per-layer data format selection for hardware implementation of deep neutral network |
CN112634470B (zh) * | 2018-01-31 | 2022-09-02 | 哈尔滨学院 | 三维阈值立体图形展开方法 |
US11090069B2 (en) * | 2018-02-08 | 2021-08-17 | Lento Medical, Inc. | Patient-specific, mechanical self-locking, femoral and tibial surgical cutting jigs |
CN108399651B (zh) * | 2018-02-09 | 2021-08-06 | 武汉技兴科技有限公司 | 一种人体发型三维建模及模型复用的方法 |
CN108428209B (zh) * | 2018-03-28 | 2022-02-15 | 深圳大学 | 高维数据可视化方法、装置及系统 |
EP3590436A1 (en) * | 2018-07-06 | 2020-01-08 | Koninklijke Philips N.V. | Identifying an optimal image from a number of ultrasound images |
EP3613352A1 (en) * | 2018-08-21 | 2020-02-26 | Koninklijke Philips N.V. | Systems and methods for performing bi-plane imaging |
CN117017342A (zh) * | 2018-08-22 | 2023-11-10 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声成像的方法及相关设备 |
EP3636161A1 (en) * | 2018-10-08 | 2020-04-15 | Koninklijke Philips N.V. | Methods and systems for determining complementary ultrasound views |
CN114305499B (zh) * | 2018-10-19 | 2024-11-08 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像方法、设备和存储介质 |
US20210382157A1 (en) * | 2018-10-25 | 2021-12-09 | Koninklijke Philips N.V. | Method and system for adaptive beamforming of ultrasound signals |
SG10201810322YA (en) | 2018-11-19 | 2020-06-29 | Medo Dx Pte Ltd | Method and system for generating a three-dimensional ultrasound image of a tissue volume |
CN109464163B (zh) * | 2018-12-07 | 2021-11-02 | 广州莲印医疗科技有限公司 | 胎头方向测量装置、测算方法及测量装置模拟器 |
CN111345842B (zh) * | 2018-12-20 | 2024-11-08 | 深圳迈瑞生物医疗电子股份有限公司 | 一种医疗成像设备及其剖面成像方法 |
CN111368586B (zh) * | 2018-12-25 | 2021-04-20 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像方法及系统 |
US10834306B2 (en) * | 2019-01-15 | 2020-11-10 | International Business Machines Corporation | Method for a remote control of a radiation detection apparatus |
CN110604592B (zh) * | 2019-03-04 | 2024-04-02 | 北京大学第三医院 | 一种髋关节的成像方法以及髋关节成像系统 |
US20200315569A1 (en) * | 2019-04-02 | 2020-10-08 | General Electric Company | System and method for determining condition of fetal nervous system |
CN111060006A (zh) * | 2019-04-15 | 2020-04-24 | 深圳市易尚展示股份有限公司 | 一种基于三维模型的视点规划方法 |
CN110188706B (zh) * | 2019-06-03 | 2022-04-19 | 南京邮电大学 | 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法 |
US20200405264A1 (en) * | 2019-06-27 | 2020-12-31 | Siemens Medical Solutions Usa, Inc. | Region of interest positioning for longitudinal montioring in quantitative ultrasound |
CN114173673A (zh) * | 2019-08-05 | 2022-03-11 | 皇家飞利浦有限公司 | 使用图像数据进行的超声系统声学输出控制 |
CN110652317B (zh) * | 2019-09-24 | 2020-12-29 | 深圳度影医疗科技有限公司 | 一种产前胎儿超声容积图像中标准切面的自动定位方法 |
CN112568933B (zh) * | 2019-09-29 | 2022-11-22 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像方法、设备和存储介质 |
CN110910401A (zh) * | 2019-10-31 | 2020-03-24 | 五邑大学 | 半自动化图像分割数据标注方法、电子装置及存储介质 |
CN110742654B (zh) * | 2019-11-05 | 2020-11-17 | 深圳度影医疗科技有限公司 | 一种基于三维超声图像的标准切面的定位和测量方法 |
CN110989884A (zh) * | 2019-11-29 | 2020-04-10 | 北京市商汤科技开发有限公司 | 图像定位的操作显示方法及装置、电子设备和存储介质 |
CN113449755B (zh) * | 2020-03-26 | 2022-12-02 | 阿里巴巴集团控股有限公司 | 数据处理方法、模型训练方法、装置、设备和存储介质 |
CN111766305A (zh) * | 2020-05-14 | 2020-10-13 | 北京工业大学 | 一种用于界面接触状态评价的超声信号相似度分析方法 |
CN111768379B (zh) * | 2020-06-29 | 2024-06-21 | 深圳度影医疗科技有限公司 | 一种子宫三维超声图像的标准切面检测方法 |
CN111862014A (zh) * | 2020-07-08 | 2020-10-30 | 深圳市第二人民医院(深圳市转化医学研究院) | 一种基于左右侧脑室分割的alvi自动测量方法及装置 |
CN113515988B (zh) * | 2020-07-09 | 2023-05-23 | 腾讯科技(深圳)有限公司 | 掌纹识别方法、特征提取模型训练方法、设备及介质 |
CN112155603B (zh) * | 2020-09-24 | 2023-06-09 | 广州爱孕记信息科技有限公司 | 胎儿结构特征的权重值确定方法及装置 |
CN112386282B (zh) * | 2020-11-13 | 2022-08-26 | 声泰特(成都)科技有限公司 | 一种超声自动容积扫描成像方法与系统 |
CN112669938B (zh) * | 2020-12-11 | 2023-11-21 | 苏州景昱医疗器械有限公司 | 颅脑医学影像中脑内分片电极的方位识别方法及设备 |
CN112508941A (zh) * | 2020-12-25 | 2021-03-16 | 上海深博医疗器械有限公司 | 三维超声扫描完整性检测方法及装置 |
CN113516754B (zh) * | 2021-03-16 | 2024-05-03 | 哈尔滨工业大学(深圳) | 一种基于磁异常模量数据的三维可视化成像方法 |
CN114264997B (zh) * | 2021-12-14 | 2024-03-22 | 武汉联影生命科学仪器有限公司 | 梯度灵敏度校准方法、装置及磁共振设备 |
CN114360695B (zh) * | 2021-12-24 | 2023-07-28 | 上海杏脉信息科技有限公司 | 乳腺超声扫查分析辅助系统、介质及设备 |
CN114418981A (zh) * | 2022-01-14 | 2022-04-29 | 汕头市超声仪器研究所股份有限公司 | 超声颅脑标准面成像和异常区域自动检测显示方法 |
CN117159145B (zh) * | 2023-10-24 | 2024-02-23 | 北京昭衍新药研究中心股份有限公司 | 非人灵长类实验动物脑立体定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007092316A2 (en) * | 2006-02-03 | 2007-08-16 | The University Of Florida Research Foundation, Inc. | Image guidance system for deep brain stimulation |
CN102132321A (zh) * | 2008-08-04 | 2011-07-20 | 皇家飞利浦电子股份有限公司 | 用于医学图像的配准的自动预对准 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1024162C (zh) * | 1987-12-25 | 1994-04-13 | 西安电力中心医院 | 调整b型超探查区域的装置 |
US7520857B2 (en) * | 2002-06-07 | 2009-04-21 | Verathon Inc. | 3D ultrasound-based instrument for non-invasive measurement of amniotic fluid volume |
US8083678B2 (en) * | 2003-04-16 | 2011-12-27 | Eastern Virginia Medical School | System, method and medium for acquiring and generating standardized operator independent ultrasound images of fetal, neonatal and adult organs |
US7244233B2 (en) * | 2003-07-29 | 2007-07-17 | Ntd Laboratories, Inc. | System and method for utilizing shape analysis to assess fetal abnormality |
US8012090B2 (en) * | 2004-06-22 | 2011-09-06 | General Electric Company | Method and apparatus for real time ultrasound multi-plane imaging |
KR100697728B1 (ko) * | 2004-10-22 | 2007-03-21 | 주식회사 메디슨 | 초음파 단면 영상의 화질 개선 장치 및 방법 |
TWI318874B (en) * | 2005-03-29 | 2010-01-01 | Ein Yiao Shen | Methods for constructing three-dimensional tissue images |
US7783095B2 (en) * | 2005-08-11 | 2010-08-24 | Siemens Medical Solutions Usa, Inc. | System and method for fetal biometric measurements from ultrasound data and fusion of same for estimation of fetal gestational age |
KR100859434B1 (ko) * | 2005-11-01 | 2008-09-23 | 주식회사 메디슨 | 다중 단면영상을 이용한 컨투어 편집 기능을 제공하는 영상처리 시스템 및 방법 |
CN100448409C (zh) * | 2007-02-01 | 2009-01-07 | 上海交通大学 | 三维超声心动图四腔切面图像自动检测的方法 |
US8041088B2 (en) * | 2007-02-05 | 2011-10-18 | General Electric Company | Brain image alignment method and system |
CN101238987A (zh) * | 2007-09-06 | 2008-08-13 | 深圳先进技术研究院 | 一种关于ct脑出血图像的处理方法 |
US8059911B2 (en) * | 2008-09-30 | 2011-11-15 | Himax Technologies Limited | Depth-based image enhancement |
RU2529481C2 (ru) * | 2008-10-23 | 2014-09-27 | Конинклейке Филипс Электроникс Н.В. | Система получения изображений с кардио-и/или дыхательной синхронизацией и способ 2-мерной визуализации в реальном времени с дополнением виртуальными анатомическими структурами во время процедур интервенционной абляции или установки кардиостимулятора |
US20100217123A1 (en) * | 2009-02-23 | 2010-08-26 | Aharon Eran | Methods and systems of managing ultrasonographic diagnosis |
CN201516047U (zh) * | 2009-06-05 | 2010-06-30 | 中国人民解放军第三军医大学第一附属医院 | 一种虚拟肝脏超声成像装置 |
KR101121379B1 (ko) * | 2009-09-03 | 2012-03-09 | 삼성메디슨 주식회사 | 복수의 뷰에 대한 복수의 단면 영상을 제공하는 초음파 시스템 및 방법 |
CN101692286B (zh) * | 2009-09-15 | 2013-01-02 | 上海交通大学 | 医学图像三视图获取方法 |
GB0917154D0 (en) * | 2009-09-30 | 2009-11-11 | Imp Innovations Ltd | Method and apparatus for processing medical images |
JP5586203B2 (ja) * | 2009-10-08 | 2014-09-10 | 株式会社東芝 | 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム |
RU2565510C2 (ru) * | 2009-12-10 | 2015-10-20 | Конинклейке Филипс Электроникс Н.В. | Система для быстрой и точной количественной оценки черепно-мозговой травмы |
CN101791231A (zh) * | 2010-01-28 | 2010-08-04 | 深圳市妇幼保健院 | 一种从超声图像上自动判断胎儿脑积水的图像处理方法 |
US9134420B2 (en) * | 2010-03-10 | 2015-09-15 | Samsung Medison Co., Ltd. | Three-dimensional (3D) ultrasound system for scanning object inside human body and method for operating 3D ultrasound system |
JP5394299B2 (ja) * | 2010-03-30 | 2014-01-22 | 富士フイルム株式会社 | 超音波診断装置 |
CN101940498B (zh) * | 2010-09-10 | 2012-05-09 | 中山大学 | 一种用于虚拟导航评价肿瘤消融安全边界的模型 |
US8798342B2 (en) * | 2011-05-10 | 2014-08-05 | General Electric Company | Method and system for ultrasound imaging with cross-plane images |
US9286547B2 (en) * | 2011-06-26 | 2016-03-15 | UNIVERSITé LAVAL | Quality control and assurance of images |
KR20130072810A (ko) * | 2011-12-22 | 2013-07-02 | 삼성전자주식회사 | 초음파 영상을 이용하여 정중 시상면을 자동으로 검출하는 방법 및 그 장치 |
CN102688071A (zh) * | 2012-06-15 | 2012-09-26 | 华东医院 | 超声浅表组织与器官容积扫描断层成像方法 |
WO2014038812A1 (en) * | 2012-09-06 | 2014-03-13 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying stereoscopic information related to ultrasound sectional plane of target object |
CN104146766B (zh) * | 2013-05-13 | 2016-09-28 | 东芝医疗系统株式会社 | 扫描装置、扫描方法和医学图像设备 |
CN104414680B (zh) * | 2013-08-21 | 2017-06-13 | 深圳迈瑞生物医疗电子股份有限公司 | 一种三维超声成像方法及系统 |
KR20150103956A (ko) * | 2014-03-04 | 2015-09-14 | 삼성전자주식회사 | 의료 영상 처리 장치, 방법, 및 컴퓨터 판독가능 기록매체 |
CN110338840B (zh) * | 2015-02-16 | 2022-06-21 | 深圳迈瑞生物医疗电子股份有限公司 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
-
2015
- 2015-02-16 CN CN201910521624.0A patent/CN110338840B/zh active Active
- 2015-02-16 CN CN201910521613.2A patent/CN110338844B/zh active Active
- 2015-02-16 WO PCT/CN2015/073209 patent/WO2016131185A1/zh active Application Filing
- 2015-02-16 CN CN201910521625.5A patent/CN110338841B/zh active Active
- 2015-02-16 CN CN201910522216.7A patent/CN110322550B/zh active Active
- 2015-02-16 CN CN201580009363.4A patent/CN106102585B/zh active Active
-
2017
- 2017-08-16 US US15/678,985 patent/US11229419B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007092316A2 (en) * | 2006-02-03 | 2007-08-16 | The University Of Florida Research Foundation, Inc. | Image guidance system for deep brain stimulation |
CN102132321A (zh) * | 2008-08-04 | 2011-07-20 | 皇家飞利浦电子股份有限公司 | 用于医学图像的配准的自动预对准 |
Also Published As
Publication number | Publication date |
---|---|
CN106102585B (zh) | 2019-07-09 |
CN110338844A (zh) | 2019-10-18 |
US20170367685A1 (en) | 2017-12-28 |
CN110338841B (zh) | 2022-04-15 |
CN106102585A (zh) | 2016-11-09 |
CN110338841A (zh) | 2019-10-18 |
CN110338840A (zh) | 2019-10-18 |
WO2016131185A1 (zh) | 2016-08-25 |
US11229419B2 (en) | 2022-01-25 |
CN110338840B (zh) | 2022-06-21 |
CN110338844B (zh) | 2022-04-19 |
CN110322550A (zh) | 2019-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110322550B (zh) | 三维成像数据的显示处理方法和三维超声成像方法及系统 | |
US11534134B2 (en) | Three-dimensional ultrasound imaging method and device | |
CN110945560B (zh) | 胎儿超声图像处理 | |
US20160081663A1 (en) | Method and system for automated detection and measurement of a target structure | |
US20150003706A1 (en) | Probability mapping for visualisation and analysis of biomedical images | |
Nurmaini et al. | Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation | |
KR20190061041A (ko) | 이미지 프로세싱 | |
CN111374712B (zh) | 一种超声成像方法及超声成像设备 | |
CN104143047B (zh) | 血管内超声灰阶图像的自动组织标定方法 | |
Zhang et al. | Automatic image quality assessment and measurement of fetal head in two-dimensional ultrasound image | |
CN112672691B (zh) | 一种超声成像方法及设备 | |
US20210319880A1 (en) | Diagnostic Support System and a Diagnostic Support Method | |
Yaqub et al. | Volumetric segmentation of key fetal brain structures in 3D ultrasound | |
US20220249060A1 (en) | Method for processing 3d image data and 3d ultrasonic imaging method and system | |
CN116977410A (zh) | 一种脑血肿定位检测系统 | |
WO2023133929A1 (zh) | 一种基于超声的人体组织对称性检测分析方法 | |
CN111862014A (zh) | 一种基于左右侧脑室分割的alvi自动测量方法及装置 | |
Doerfler et al. | Blood vessel detection in navigated ultrasound: An assistance system for liver resections | |
CN116762093A (zh) | 超声检测方法和超声成像系统 | |
CN116138807A (zh) | 一种超声成像设备及腹主动脉的超声检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |