CN109452941B - 基于图片正畸与边界提取的肢体周径测量方法及系统 - Google Patents
基于图片正畸与边界提取的肢体周径测量方法及系统 Download PDFInfo
- Publication number
- CN109452941B CN109452941B CN201811410151.9A CN201811410151A CN109452941B CN 109452941 B CN109452941 B CN 109452941B CN 201811410151 A CN201811410151 A CN 201811410151A CN 109452941 B CN109452941 B CN 109452941B
- Authority
- CN
- China
- Prior art keywords
- image
- limb
- boundary
- circumference
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims description 105
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 238000000691 measurement method Methods 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 201000010099 disease Diseases 0.000 abstract description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 2
- 210000003414 extremity Anatomy 0.000 description 134
- 230000008569 process Effects 0.000 description 14
- 206010025282 Lymphoedema Diseases 0.000 description 10
- 208000002502 lymphedema Diseases 0.000 description 10
- 206010030113 Oedema Diseases 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 208000017667 Chronic Disease Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 208000014987 limb edema Diseases 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 201000006353 Filariasis Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010061336 Pelvic neoplasm Diseases 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 241000244005 Wuchereria bancrofti Species 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 238000011549 displacement method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 208000006036 elephantiasis Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及测量算法技术领域,尤其涉及一种基于图片正畸与边界提取的肢体周径测量方法及系统,旨在解决肢体不同位置的周径长快速、便捷获取的问题,本发明方法包括获取包含待测量肢体图像信息的输入图像;通过透视变换对输入图像进行去畸变处理,得到矫正图像;对所述矫正图像进行肢体边界区域提取,得到肢体的上边界和下边界;基于上边界和下边界,获取所有位置的对应点肢体周径。通过本发明可以快速、便捷的获取被测肢体不同位置的周径长,可以让患者在家中进行测量,并记录病情发展状况。
Description
技术领域
本发明涉及测量算法技术领域,尤其涉及一种基于图片正畸与边界提取的肢体周径测量方法及系统。
背景技术
肢体淋巴水肿是恶性肿瘤(如,乳腺癌、盆腔肿瘤等)及其放射治疗后常见且最严重的并发症之一。肢体淋巴水肿可导致肢体功能障碍,影响患者生活质量,甚至影响患者心理及生理健康。如果早期没有得到恰当的治疗,晚期患肢可形成象皮肿并导致残疾。目前,还没有针对淋巴水肿发病原因的治疗药物,常根据水肿程度分期有序地采用肢体减容手术、肢体深淋巴管静脉吻合术、淋巴管移植术等,结合弹力套、空气压力波治疗仪等手段综合消肿治疗肢体淋巴水肿。然而,肢体淋巴水肿是一种不能根治的慢性疾病,和其他的慢性疾病一样,淋巴水肿需要长期地跟踪水肿情况,及时制定护理方案并采取有效的辅助治疗措施,才能达到和维持最佳的治疗效果。因此,定期测量肢体周径是评估肢体淋巴水肿患者术后水肿变化情况以及肿瘤患者术后或放射治疗后肢体水肿并发情况的必要工作,是制定以及调整患者康复方案的重要依据。
常见的测量肢体水肿的方法主要有:1)周径测量法。检查者使用无弹性的卷尺每间隔一定距离测量并比较双肢不同部位周径。此方法简单,花费少,适用于任何场合,可重复性高,是最常用的评定淋巴水肿的方法。但卷尺的宽窄度,松紧度和精度等因素会影响测量的准确性,尤其对于肥胖患者,测量时皮尺的松紧会影响测量结果,且很耗时。因此,最大程度控制测量误差,确保测量的信度和效度是一个较难解决的问题。2)水置换法。将肢体放入盛满水的容器,通过溢出水的体积代表肢体的容积,可以判断两侧肢体的容量差异。此方法需要特殊容器,每次测定需要注水,不同患者之间测评还需要换水,不便清洁处理,不适用于临床。也不能用于肢体有开放性创口的患者。3)红外线容量分析法。用矩阵式的红外光对患者肢体进行扫描,建一个患者肢体的三维图像,相关数据导入计算机后,通过专用软件进行处理和分析,可以得到肢体的容积情况。此方法简单,精度高,定位性和重复性好,数据储存方便,是理想方法,但需要专门设备,价格较为昂贵。4)生物电阻抗法。借助置于体表的电极系统向检测对象送入一微小的交流测量电流或电压,检测相应的电阻抗及其变化,获取相关的生理和病理信息通过测量机体的电阻值,可以精确地测定机体成分、反映机体液体轻微的变化,而且精确,重复性好。但基于该方法的产品如biospace公司生产的Inbody3.0人体成分分析仪,体积庞大,价格昂贵,且分析结果与性别、年龄、体重等因素强相关。
上述方法皆不适合于普通患者居家定期实现测量肢体水肿的目的。如何协助患者便捷地、相对准确地、低廉地测量肢体水肿,成为一个亟待解决的问题。
鉴于上述原因,有必要提出一种新的肢体周径测量方法。
发明内容
为了解决上述技术问题,即为了解决肢体不同位置的周径长快速、便捷获取问题,本发明的一方面,基于图片正畸与边界提取提供了一种基于图片正畸与边界提取的肢体周径测量方法,所述方法包括如下步骤:
步骤S10,获取包含待测量肢体图像信息的输入图像;
步骤S20,通过透视变换对输入图像进行去畸变处理,得到矫正图像;
步骤S30,对所述矫正图像进行肢体边界区域提取,得到肢体的上边界和下边界;
步骤S40,基于步骤S30获取得上边界和下边界,获取所有位置的对应点肢体周径。
在一些优选实施例中,所述输入图像还包括标定板图像,所述标定板图像位于所述待测量肢体图像的一侧原始图像。
在一些优选实施例中,所述输入图像为通过摄像装置获取的原始图像,或者
所述输入图像所述原始图像经过如下步骤处理后的图像,步骤包括:
步骤S11,将所述原始图像的预设部位框定在预设框内;所述预设部位包括所述标定板和所述待测量肢体图像信息;
步骤S12,将步骤S11中所述预设框内的图像片变换至预设尺寸,得到第一图像,将第一图像作为输入图像。
在一些优选实施例中,所述步骤S12中“将步骤S11中所述预设框内的图像片变换至预设尺寸”,其变换方法为双线性插值法。
在一些优选实施例中,所述步骤S20之前还包括:
步骤S13,对第一图像的图像进行二值化处理,得到第二图像;并将输入图像更新为第二图像;
步骤S14,对第二图像进行轮廓查找,识别所述标定板的图像。
在一些优选实施例中,所述步骤S13包括:
步骤S131,将第一图像转换为灰度图像;
步骤S132,使用预设的高斯核对步骤S131中获取的灰度图像进行高斯模糊处理;
步骤S133,使用二值阈值化方法对步骤S132中进行高斯模糊处理后的灰度图像进行处理。
在一些优选实施例中,所述步骤S20中透视变换包括:
步骤S21,基于预先建立的等级树结构的轮廓,压缩水平方向、垂直方向、对角线方向的元素,然后保留该方向的终点,识别原图中的标定板四角点坐标{(xi,yi)|i=1,2,3,4};
步骤S22,通过计算步骤S21中识别出的四边形面积获得四边形的边长l,以步骤S21中的点(x1,y1)为起点,通过横纵坐标变化l,得到标准正方形四点坐标{(x'i,y'i)|i=1,2,3,4};
通过下式计算透视变化矩阵A,A∈R3×3:
(tix'i,tiy'i,ti)T=A·(xi,yi,1)T
通过上式对待畸变处理的图像中的像素点进行坐标变换实现去畸变处理。
在一些优选实施例中,所述步骤S30中“肢体边界区域提取”,其方法为:
通过二值化边界方法与GrabCut方法分别进行边界区域提取,取两对边界中较小部分进行融合。
在一些优选实施例中,所述二值化边界方法包括:
提取标注的肢体部分图像,将图像转换为HSV颜色空间,其中,H是色相、S是饱和度、V是明度,当S=0时,只有灰度;
通过如下公式提取饱和度信息S,
其中,R、G、B为像素点的三原色信息。
并依据饱和度信息S将图片转化为基于饱和度信息的灰度图像进行处理,得到灰度处理后的图像。
本发明的另一方面,提供了一种基于图片正畸与边界提取的肢体周径测量系统,所述系统包括:图像获取模块、去畸变模块、肢体区域提取模块、肢体周径获取模块;
所述图像获取模块,用于获取包含待测量肢体图像信息的输入图像;所述去畸变模块,用于通过透视变换对输入图像进行去畸变处理,得到矫正图像;
肢体区域提取模块,用于对所述矫正图像进行肢体边界区域提取,得到肢体的上边界和下边界;
肢体周径获取模块,基于所述肢体区域提取模块中获取的上边界和下边界,获取所有位置的对应点肢体周径。
本发明基于图片正畸与边界提取的肢体周径测量方法实现了以下功能:获取包含患者肢体和标定板的图像并统一到固定尺寸,对图像进行二值化处理;在二值化的图像上检测标定板位置,对根据标定板形状、大小对图像进行去畸变、尺寸标定,然后对肢体区域进行提取,计算肢体宽度,然后回归获得肢体周径大小。该方法将先进的计算机视觉技术应用到医疗服务领域,实现无医疗器械测量淋巴水肿测量。患者可以在家中进行测量,并记录病情发展状况。
附图说明
附图作为本发明的一部分,用来提供对本发明的进一步的理解,本发明的示意性实施例及其说明用于解释本发明,但不构成对本发明的不当限定。显然,下面描述中的附图仅仅是一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。在附图中:
图1是本发明一个实施例带有标定板的手臂照片示例图;
图2为本发明一个实施例手臂图像采集示例图;该图左侧为一种是用户接入应用程序,在采集照片过程中自行调整远近等位置,使得待测手臂置于事先给定的方框内;右侧是用户点击鼠标/触摸屏幕,框出手臂区域;
图3是本发明一个实施例去畸变模块中对图1实施透视变换后的图片示例;
图4是本发明一个实施例使用GrabCut方法后得到的手臂区域及其mask图像示例;
图5是本发明一个实施例二值化边界方法中,基于饱和度信息灰度处理后的图片s的实例;
图6是本发明一个实施例二值化边界方法中,得到的二值化边界图像示例;
图7是本发明一个实施例手臂宽度与周径关系的回归曲线示例;
图8为本发明一个实施例的基于图片正畸与边界提取的肢体周径测量方法流程示意图;
图9为本发明基于图片正畸与边界提取的肢体周径测量系统模块示意图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然,所描述的实施例仅仅是本申请的一部分实施例,并不是全部实施例。基于本申请中的实施例,本领域普通技术人员在不付出创造性劳动的前提下,所获得的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。
需要说明的是,在下面的描述中,为了方便理解,给出了许多具体细节。但是很明显,本发明的实现可以没有这些具体细节。
需要说明的是,在没有明确限定或不冲突的情况下,本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。
本发明的一种基于图片正畸与边界提取的肢体周径测量方法,包括如下步骤:
步骤S10,获取包含待测量肢体图像信息的输入图像;
步骤S20,通过透视变换对输入图像进行去畸变处理,得到矫正图像;
步骤S30,对所述矫正图像进行肢体边界区域提取,得到肢体的上边界和下边界;
步骤S40,基于步骤S30获取得上边界和下边界,获取所有位置的对应点肢体周径。
为了更清晰地对本发明基于图片正畸与边界提取的肢体周径测量方法进行说明,下面结合图1-图8对本方发明方法一种实施例中各步骤进行展开详述。下面实施例结合人体上肢采集图片进行说明,但并不限定本发明方法适用对象,对其他肢体部位仍然适合,作为拓展应用,其他生物体相应部位的周径测量同样适用,因此本发明主题名称的肢体包含但不限于常规意义上的人或动物的肢体部位。下面仅以人体上肢的周径测量作为示例进行详细步骤的说明。
在本发明一实施例中,参照图1~8,所述方法包括如下步骤:
步骤S10,获取包含待测量肢体图像信息的输入图像;
本实施例中,所述输入图像还包括标定板图像,所述标定板图像位于所述待测量肢体图像的一侧。
为了获取满足需求的图像,本实施例在步骤S10之前通过摄像装置获取包含待测量肢体和标定板的采集图像作为原始图像,或者采用已有照片作为原始图像;
通过拍摄获取原始图像时,所述标定板置于所述待测量肢体的一侧,具体为:
将一块标定板(为方便用户获取,标定板为一张绘制有黑色正方形方格的白纸)置于待测肢体一侧(本发明实施例将以手臂的测量举例),如将标定板贴在墙壁上,用户靠白墙站立,使得标定板和用户待测肢体在同一水平面,拍摄包含患者肢体和标定板的图像。
本实施例中,在获取原始图像后,还需要进行进一步的处理,包括以下步骤:
步骤S11,将所述原始图像的预设部位框定在预设框内;所述预设部位包括所述标定板和所述待测量肢体图像信息。
对现场拍摄原始照片和已有原始照片两种场景在实际应用中可以采用不同交互方式。一种是用户接入应用程序,在采集照片过程中自行调整远近等位置,使得待测肢体置于事先给定的方框内;另一种是用户采集图片后,点击鼠标/触摸屏幕,框出肢体区域,降低了复杂背景下肢体区域提取的难度,增强了本发明方法的鲁棒性。
步骤S12,将步骤S11中所述预设框内的图像片变换至预设尺寸,得到第一图像。
在一些实施例中,“将步骤S11中所述预设框内的图像片变换至预设尺寸”,其变换方法优选为双线性插值法来实现任意图像至固定尺寸(640X480)的统一变换,以避免用户使用不同拍照设备对测量精度的影响,满足此方法对多种设备的兼容性。获取到统一格式的图像后,使用机器视觉方法对图像进行处理,智能地识别图片中地肢体边界,进而进行计算。
步骤S13,对第一图像的图像进行二值化处理,得到第二图像;并将第二图像作为输入图像。该步骤可以进一步细化为以下步骤:
步骤S131,将第一图像转换为灰度图像;
步骤S132,使用预设的高斯核对步骤S131中获取的灰度图像进行高斯模糊处理;在一些实施例中,预设的高斯核的高宽可以为5×5。
步骤S133,使用二值阈值化方法对步骤S132中进行高斯模糊处理后的灰度图像进行处理。
经过步骤S13的处理后,得到滤除噪声的黑白图像。
步骤S14,对第二图像进行轮廓查找,识别所述标定板的图像。
对所得到的图像进行轮廓查找,找到的最大四边形轮廓即为我们所放置的标定板。
在不同的实施例中,可以将原始图像作为输入图像,也可将第一图像作为输入图像,还可以将第二图像作为输入图像,不同选择不影响技术方案的实现,但上述三者越靠后获取的测量效果越好。
步骤S20,通过透视变换对输入图像进行去畸变处理,得到矫正图像;在实际中,受限于拍摄设备的畸变、拍摄角度的偏差,输入图像中的标定板图像可能呈现为非标准正方形,因此,将以标准正方形为参照物,对图像通过透视变换实现去畸变处理。变换过程如下:
步骤S21,基于建立的等级树结构的轮廓,压缩水平方向、垂直方向、对角线方向的元素,然后保留该方向的终点,识别出输入图像中的标定板四角点坐标为{(xi,yi)|i=1,2,3,4};
步骤S22,通过计算步骤S21中识别出的四边形面积获得四边形的边长l,以步骤S21中的点(x1,y1)为起点,通过横纵坐标变化l,(x2,y2)=(x1+l,y1),(x3,y3)=(x1+l,y1+l),(x4,y4)=(x1,y1+l),得到标准正方形四点坐标{(x'i,y'i)|i=1,2,3,4};
通过公式(1)计算透视变化矩阵A,A∈R3×3:
(tix'i,tiy'i,ti)T=A·(xi,yi,1)T (1)
上式中点(xi,yi)是在笛卡尔坐标下输入图像的点,使用2D齐次坐标表示时,在输入图像坐标基础上加入的新分量设为1,ti∈R,这样变换后得到的坐标即为(tix'i,tiy'i,ti),(x'i,y'i)即为我们所需求解的点坐标。
通过公式(1)将输入图像中所有像素点进行透视变换进行去畸变处理,从而得到矫正后的图像。
步骤S30,对所述矫正图像进行肢体边界区域提取,得到肢体的上边界和下边界;
本发明优选实施例中,“肢体边界区域提取”方法为:通过二值化边界方法与GrabCut方法分别进行边界区域提取,取两对边界中较小部分进行融合。
(1)GrabCut方法:
是微软剑桥研究院2004年提出的图像分割算法,对肢体区域地前景背景进行提取,前景即为肢体区域。获得前景肢体区域的mask图像,mask区域为肢体区域。
(2)二值化边界方法:
通过标注的提取患者肢体部分图像,将图像转换为HSV颜色空间,这个模型就是按色彩、深浅、明暗来描述的,H是色相,S是饱和度,S=0时,只有灰度,V是明度,表示色彩的明亮程度,提取S通道信息,对于原本RGB颜色空间编码的图像,在每个像素点都有三种颜色信息,提取S信息的规则如式(2)所示:
S的取值范围为0到255,也就是说,借助HSV中的饱和度信息,将图片转化为基于饱和度信息的灰度图像进行处理,得到灰度处理后的图像。
在二值图像中,所有像素点的值为0或255,对肢体图像区域所有像素点进行遍历找到其内边界,对于图像内点(xi,yi),设置index=0,找到白色边界,index=1。
处理得到的二值化图像白色内边界包含部分即为肢体区域,遍历图像所有像素,找到内边界所有点的坐标,分为上边界和下边界两个部分。
在一些实施例中,该步骤还包括将二值化边界方法与GrabCut方法得到的边界进行对比,取两对边界中较小部分进行融合形成待测边界的步骤。融合过程中也加入一些限制规则,优选地制定肢体流线型规则,对于肢体以N(阈值)个像素为边界,横向相邻像素,如果纵向相差N像素以上,称为存在断层,如出现断层,使用线性插值法通过两侧符合流线型的像素补齐。
步骤S40,基于步骤S30获取得上边界和下边界,获取所有位置的对应点肢体周径。
进一步使用得到的上边界和下边界,得到所有位置的对应点肢体周径。具体过程如下:
取肢体关节处为中间线,左右两侧增加各k(阈值)个取样线,作为典型特征点的来源,即对肢体取2k+1个典型特征处采样,在每个取样位置计算竖直方向的肢体宽度。
通过在实验数据集上,以三次函数为特征函数,拟合肢体不同特征处的宽度与肢体周径之间的映射关系。以估测肢体不同特征处的周径为例,取k个样本,对肢体特定位置周径进行回归,发现在不同位置对应肢体的宽度,肢体宽度与周长存在一定的映射关系。
本发明基于图片正畸与边界提取的肢体周径测量方法实现了以下功能:获取包含患者肢体和标定板的图像并统一到固定尺寸,对图像进行二值化处理;在二值化的图像上检测标定板位置,对根据标定板形状、大小对图像进行去畸变、尺寸标定,然后对肢体区域进行提取,计算肢体宽度,然后回归获得肢体周径大小。该方法将先进的计算机视觉技术应用到医疗服务领域,实现无医疗器械测量淋巴水肿测量。患者可以轻松在家中进行测量,并记录病情发展状况。
此外,本发明还提出一种基于图片正畸与边界提取的肢体周径测量系统,包括:图像获取模块、去畸变模块、肢体区域提取模块、肢体周径获取模块。
在一些实施例中图像获取模块包括交互式标定模块、Resize模块。优选的图像获取模块还进一步包括标定板检测模块。
在一些实施例中,肢体区域提取模块还包括融合模块。
上述基于图片正畸与边界提取的肢体周径测量系统各实施例中的模块,可以通过如下实施例进行详细描述。
本发明一种实施例的基于图片正畸与边界提取的肢体周径测量系统如图9所示,包括:图像获取模块100、去畸变模块200、肢体区域提取模块300、肢体周径获取模块400。其中图像获取模块包括交互式标定模块101、Resize模块102、标定板检测模块103;肢体区域提取模块包括融合模块301。
图像获取模块100,用于获取包含待测量肢体图像信息的输入图像。该模块中:
交互式标定模块101,用于将所述原始图像的预设部位框定在预设框内。该模块对现场拍摄原始照片和已有原始照片两种场景提供了不同交互方式。一种是用户接入应用程序,在采集照片过程中自行调整远近等位置,使得待测肢体置于事先给定的方框内;另一种是用户采集图片后,点击鼠标/触摸屏幕,框出肢体区域。该模块降低了复杂背景下肢体区域提取的难度,增强了本发明方法的鲁棒性。
Resize模块102,用于将所述预设框内的图像片变换至预设尺寸,得到第一图像。该模块通过双线性插值法,实现任意图像至固定尺寸(640X480)的统一变换,以避免用户使用不同拍照设备对测量精度的影响,满足此方法对多种设备的兼容性。获取到统一格式的图像后,使用机器视觉方法对图像进行处理,智能地识别图片中地肢体边界,进而进行计算。
标定板检测模块103,用于对第一图像的图像进行二值化处理,得到第二图像,并第二图像作为输入图像,对第二图像进行轮廓查找,识别所述标定板的图像。首先对图像进行二值化处理:其优选方法包括将图像转换为灰度颜色;使用宽高为5×5的高斯核对图像进行高斯模糊处理;使用二值阈值化处理图像。经过上述操作后,得到滤除噪声的黑白图像。然后,对所得到的图像进行轮廓查找,找到的最大四边形轮廓即为我们所放置的标定板。
在不同的实施例中,可以将原始图像作为输入图像,也可将第一图像作为输入图像,还可以将第二图像作为输入图像,不同选择不影响技术方案的实现,但上述三者越靠后获取的测量效果越好。
去畸变模块200,用于通过透视变换对输入图像进行去畸变处理,得到矫正图像。
受限于拍摄设备的畸变、拍摄角度的偏差,标定板可能呈现为非标准正方形,因此,将以标准正方形为参照物,对图像通过透视变换实现去畸变处理。去畸变处理的变换过程在上述方法实施例中已经详细描述,此处不再赘述。
肢体区域提取模块300,用于对所述矫正图像进行肢体边界区域提取,得到肢体的上边界和下边界。该模块优选采用GrabCut方法、二值化边界方法两种方法对图像中肢体边界进行提取。GrabCut方法、二值化边界方法上文已进行详细描述,此处不再赘述。
肢体区域提取模块300中设置有融合模块301,用于通过二值化边界方法与GrabCut方法分别进行边界区域提取,取两对边界中较小部分进行融合。
通常受到背景和肢体自身阴影的影响,上述肢体提取模块得到的肢体区域一般过大。因此,将二值化边界方法与GrabCut方法得到的边界进行对比,取两对边界中较小部分进行融合。融合过程中也加入一些限制规则,优选地制定肢体流线型规则,对于肢体以N(阈值)个像素为边界,横向相邻像素,如果纵向相差N像素以上,称为存在断层,如出现断层,使用线性插值法通过两侧符合流线型的像素补齐。
肢体周径获取模块400,配置为基于所述肢体区域提取模块中获取的上边界和下边界,获取所有位置的对应点肢体周径。所有位置的对应点肢体周径的获取过程在上述方法实施例中已经详细描述,此处不再赘述。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的于图片正畸与边界提取的肢体周径测量系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明使用手臂测量作为示例性实施例:
根据要求获得原始图像,如图1。
首先进入交互式标定模块,如图2分别对应现场拍摄照片(左侧)和已有照片(右侧)两种场景提供两种方式。现场拍摄照片通过移动拍照设备或者被拍手臂移动的方式使手臂落入拍摄框,已有照片则移动选图框选择手臂图像。在Resize模块中,实现尺寸统一变换。
标定板检测模块,识别检测标定板。检测完成后,执行去畸变模块,将图像中所有点进行透视变换,从而得到矫正后的图像,如图3。
完成矫正后,肢体区域提取模块采用两种方法对图像中肢体边界进行提取:GrabCut方法提取结果如图4左图,二值化边界方法通过颜色空间对手臂区域提取如图4右图,提取只含有HSV颜色空间中S通道信息的图像如图5。后经处理,得到边界如图6。
融合模块负责融合上述的两个边界,得到最终的待测边界。肢体周径获取模块,使用得到的上下边界,得到所有位置的对应点肢体周径。以手臂为例,如图7所示,实测共342个样本,取k=4,得到如下映射关系,映射关系表示为Linear model Poly3(三次多项式线性模型),其中Coefficients(with 95%confidence bounds)为模型系数(95%置信区间):
图7中,x坐标轴表示手臂上下边界宽度平面长度,y坐标轴表示手臂周径,“×”点表示离群点,“·”点表示有效数据点,实线表示拟合的曲线。
本发明一个实施例的一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的图片正畸与边界提取的肢体周径测量方法。
本发明一个实施例的一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的图片正畸与边界提取的肢体周径测量方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明的各个步骤可以用通用的计算装置来实现,例如,它们可以集中在单个的计算装置上,例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置,也可以分布在多个计算装置所组成的网络上,它们可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此,本发明不限于任何特定的硬件和软件或者其结合。
本发明提供的方法可以使用可编程逻辑器件来实现,也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等),例如根据本发明的实施例可以是一种计算机程序产品,运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质,该介质上包含计算机程序逻辑或代码部分,用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如:采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器,例如:RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于:光存储介质(例如:CD-ROM和DVD)、磁光存储介质(例如:MO)、磁存储介质(例如:磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如:存储卡)和具有内置ROM的媒体(例如:ROM盒)。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于图片正畸与边界提取的肢体周径测量方法,其特征在于,所述方法包括如下步骤:
步骤S10,获取包含待测量肢体图像信息的输入图像并统一到固定尺寸;
步骤S20,通过透视变换对输入图像进行去畸变处理,得到矫正图像;
步骤S30,对所述矫正图像进行肢体边界区域提取,得到肢体的上边界和下边界;
步骤S40,基于步骤S30获取得上边界和下边界,获取所有位置的对应点肢体周径;
其中,步骤S20中进行所述去畸变处理时,以标准正方形为参照物;
其中,所述步骤S30中“肢体边界区域提取”,其方法为:
通过二值化边界方法与GrabCut方法分别进行边界区域提取,取两对边界中较小部分进行融合;
其中,融合过程中制定肢体流线型规则,对于肢体以N个像素为边界,横向相邻像素,如果纵向相差N像素以上,称为存在断层,如出现断层,使用线性插值法通过两侧符合流线型的像素补齐,其中N为阈值;
其中,所述二值化边界方法包括:
提取标注的肢体部分图像,将图像转换为HSV颜色空间,其中,H是色相、S是饱和度、V是明度,当S=0时,只有灰度;
通过如下公式提取饱和度信息S,
其中,R、G、B为像素点的三原色信息;
并依据饱和度信息S将图片转化为基于饱和度信息的灰度图像进行处理,得到灰度处理后的图像。
2.根据权利要求1所述的基于图片正畸与边界提取的肢体周径测量方法,其特征在于,所述输入图像还包括标定板图像,所述标定板图像位于所述待测量肢体图像的一侧原始图像。
3.根据权利要求2所述的基于图片正畸与边界提取的肢体周径测量方法,其特征在于,所述输入图像为通过摄像装置获取的原始图像,
或者
所述输入图像所述原始图像经过如下步骤处理后的图像,步骤包括:
步骤S11,将所述原始图像的预设部位框定在预设框内;所述预设部位包括所述标定板和所述待测量肢体图像信息;
步骤S12,将步骤S11中所述预设框内的图像片变换至预设尺寸,得到第一图像,将第一图像作为输入图像。
4.根据权利要求3所述的基于图片正畸与边界提取的肢体周径测量方法,其特征在于,所述步骤S12中“将步骤S11中所述预设框内的图像片变换至预设尺寸”,其变换方法为双线性插值法。
5.根据权利要求3所述的基于图片正畸与边界提取的肢体周径测量方法,其特征在于,所述步骤S20之前还包括:
步骤S13,对第一图像的图像进行二值化处理,得到第二图像;并将输入图像更新为第二图像;
步骤S14,对第二图像进行轮廓查找,识别所述标定板的图像。
6.根据权利要求5所述的基于图片正畸与边界提取的肢体周径测量方法,其特征在于,所述步骤S13包括:
步骤S131,将第一图像转换为灰度图像;
步骤S132,使用预设的高斯核对步骤S131中获取的灰度图像进行高斯模糊处理;
步骤S133,使用二值阈值化方法对步骤S132中进行高斯模糊处理后的灰度图像进行处理。
7.根据权利要求2-6任一项所述的基于图片正畸与边界提取的肢体周径测量方法,其特征在于,所述步骤S20中透视变换包括:
步骤S21,基于预先建立的等级树结构的轮廓,压缩水平方向、垂直方向、对角线方向的元素,然后保留该方向的终点,识别原图中的标定板四角点坐标{(xi,yi)|i=1,2,3,4};
步骤S22,通过计算步骤S21中识别出的四边形面积获得四边形的边长l,以步骤S21中的点(x1,y1)为起点,通过横纵坐标变化l,得到标准正方形四点坐标{(x′i,y′i)|i=1,2,3,4};
通过下式计算透视变化矩阵A,A∈R3×3:
(tix′i,tiy′i,ti)T=A·(xi,yi,1)T
通过上式对待畸变处理的图像中的像素点进行坐标变换实现去畸变处理。
8.一种基于图片正畸与边界提取的肢体周径测量系统,其特征在于,所述系统包括:图像获取模块、去畸变模块、肢体区域提取模块、肢体周径获取模块;
所述图像获取模块,用于获取包含待测量肢体图像信息的输入图像并统一到固定尺寸;
所述去畸变模块,用于通过透视变换对输入图像进行去畸变处理,得到矫正图像;
肢体区域提取模块,用于对所述矫正图像进行肢体边界区域提取,得到肢体的上边界和下边界;
肢体周径获取模块,基于所述肢体区域提取模块中获取的上边界和下边界,获取所有位置的对应点肢体周径;
其中,所述去畸变模块中进行所述去畸变处理时,以标准正方形为参照物;
其中,所述肢体区域提取模块包括:
通过二值化边界方法与GrabCut方法分别进行边界区域提取,取两对边界中较小部分进行融合;
其中,融合过程中制定肢体流线型规则,对于肢体以N个像素为边界,横向相邻像素,如果纵向相差N像素以上,称为存在断层,如出现断层,使用线性插值法通过两侧符合流线型的像素补齐,其中N为阈值;
其中,所述二值化边界方法包括:
提取标注的肢体部分图像,将图像转换为HSV颜色空间,其中,H是色相、S是饱和度、V是明度,当S=0时,只有灰度;
通过如下公式提取饱和度信息S,
其中,R、G、B为像素点的三原色信息;
并依据饱和度信息S将图片转化为基于饱和度信息的灰度图像进行处理,得到灰度处理后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811410151.9A CN109452941B (zh) | 2018-11-23 | 2018-11-23 | 基于图片正畸与边界提取的肢体周径测量方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811410151.9A CN109452941B (zh) | 2018-11-23 | 2018-11-23 | 基于图片正畸与边界提取的肢体周径测量方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109452941A CN109452941A (zh) | 2019-03-12 |
CN109452941B true CN109452941B (zh) | 2021-04-23 |
Family
ID=65611502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811410151.9A Active CN109452941B (zh) | 2018-11-23 | 2018-11-23 | 基于图片正畸与边界提取的肢体周径测量方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109452941B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059702B (zh) * | 2019-03-29 | 2021-10-22 | 北京奇艺世纪科技有限公司 | 一种物体轮廓识别方法及装置 |
CN110037649A (zh) * | 2019-04-30 | 2019-07-23 | 南京泰立瑞信息科技有限公司 | 一种瞳距测量方法及系统 |
CN110349154A (zh) * | 2019-07-26 | 2019-10-18 | 浙江医院 | 一种基于机器视觉的压疮伤口测量方法和装置 |
CN111528579A (zh) * | 2020-04-29 | 2020-08-14 | 成都信息工程大学 | 一种基于机器视觉的非接触式测脚方法 |
CN112545566A (zh) * | 2020-12-07 | 2021-03-26 | 武汉中旗生物医疗电子有限公司 | 一种胎儿颈部透明层测量方法及装置 |
CN114052724B (zh) * | 2022-01-13 | 2022-09-09 | 西安交通大学医学院第一附属医院 | 基于人工智能的骨科牵引异常检测系统 |
CN114777658A (zh) * | 2022-03-31 | 2022-07-22 | 深圳禾思众成科技有限公司 | 半导体器件的对位检测方法与对位检测设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101620060A (zh) * | 2009-08-13 | 2010-01-06 | 上海交通大学 | 颗粒大小分布自动检测方法 |
CN102930547A (zh) * | 2012-11-13 | 2013-02-13 | 中国农业大学 | 风力传送条件下棉花异性纤维图像在线分割方法及系统 |
CN105247342A (zh) * | 2013-02-28 | 2016-01-13 | 尼尔·M·戴 | 用于确定颗粒尺寸的方法及设备 |
CN106780308A (zh) * | 2016-12-20 | 2017-05-31 | 武汉理工大学 | 一种图像透视变换方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10872408B2 (en) * | 2014-05-02 | 2020-12-22 | Etreat Medical Diagnostics Inc. | Method and system for imaging and analysis of anatomical features |
CN108830873B (zh) * | 2018-06-29 | 2022-02-01 | 京东方科技集团股份有限公司 | 深度图像物体边缘提取方法、装置、介质及计算机设备 |
-
2018
- 2018-11-23 CN CN201811410151.9A patent/CN109452941B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101620060A (zh) * | 2009-08-13 | 2010-01-06 | 上海交通大学 | 颗粒大小分布自动检测方法 |
CN102930547A (zh) * | 2012-11-13 | 2013-02-13 | 中国农业大学 | 风力传送条件下棉花异性纤维图像在线分割方法及系统 |
CN105247342A (zh) * | 2013-02-28 | 2016-01-13 | 尼尔·M·戴 | 用于确定颗粒尺寸的方法及设备 |
CN106780308A (zh) * | 2016-12-20 | 2017-05-31 | 武汉理工大学 | 一种图像透视变换方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109452941A (zh) | 2019-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109452941B (zh) | 基于图片正畸与边界提取的肢体周径测量方法及系统 | |
CN109859203B (zh) | 基于深度学习的缺陷牙齿图像识别方法 | |
CN110889005B (zh) | 搜索医学参考图像 | |
JP6595474B2 (ja) | 創傷アセスメントおよびマネジメントのための方法およびシステム | |
US20210174505A1 (en) | Method and system for imaging and analysis of anatomical features | |
CN107886508B (zh) | 差分减影方法和医学图像处理方法及系统 | |
Kolar et al. | Hybrid retinal image registration using phase correlation | |
DK2807630T3 (en) | Processing and display of a breast image | |
CN107665497B (zh) | 一种医学图像中计算心胸比的方法 | |
US20100254584A1 (en) | Automated method for assessment of tumor response to therapy with multi-parametric mri | |
JP2017515106A (ja) | 液体キャニスタ内の血液成分量の推定方法 | |
CN107665486A (zh) | 一种应用于x射线图像的自动拼接方法、装置及终端设备 | |
CN111415419A (zh) | 基于多源图像的牙体修复模型制作方法和系统 | |
Mirzaalian Dastjerdi et al. | Measuring surface area of skin lesions with 2D and 3D algorithms | |
US9763636B2 (en) | Method and system for spine position detection | |
EP3745950A1 (en) | System and method for detecting anatomical regions | |
EP3699667A1 (en) | Optical fibre bundle image processing method and apparatus | |
WO2015040547A1 (en) | Method and system for spine position detection | |
WO2021012520A1 (zh) | 三维mra医学图像拼接方法、装置、电子设备及计算机可读存储介质 | |
Cazzolato et al. | Semi-automatic ulcer segmentation and wound area measurement supporting telemedicine | |
Dalya et al. | Design of smartphone-based wound assessment system | |
CN114708283A (zh) | 图像目标的分割方法、装置、电子设备及存储介质 | |
CN114298986A (zh) | 一种基于多视点无序x光片的胸腔骨骼三维构建方法及系统 | |
CN107424151A (zh) | 可读存储介质及正位胸片自动检测方法、系统、装置 | |
Mesanovic et al. | Application of lung segmentation algorithm to disease quantification from CT images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |