CN108742519A - 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统 - Google Patents

机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统 Download PDF

Info

Publication number
CN108742519A
CN108742519A CN201810281891.0A CN201810281891A CN108742519A CN 108742519 A CN108742519 A CN 108742519A CN 201810281891 A CN201810281891 A CN 201810281891A CN 108742519 A CN108742519 A CN 108742519A
Authority
CN
China
Prior art keywords
wound
dimensional
ulcer
skin
skin ulcer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810281891.0A
Other languages
English (en)
Inventor
李福伦
段彦娟
吴闽枫
郭冬婕
熊若鑫
李斌
宋元斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yueyang Hospital of Integrated Traditional Chinese and Western Medicine Shanghai University of TCM
Original Assignee
Yueyang Hospital of Integrated Traditional Chinese and Western Medicine Shanghai University of TCM
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yueyang Hospital of Integrated Traditional Chinese and Western Medicine Shanghai University of TCM filed Critical Yueyang Hospital of Integrated Traditional Chinese and Western Medicine Shanghai University of TCM
Priority to CN201810281891.0A priority Critical patent/CN108742519A/zh
Publication of CN108742519A publication Critical patent/CN108742519A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,采用标定方法,分别得到两个摄像机的内、外参数;再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系,通过三维重建模型,数字化提取曲面创面的颜色特征、三维表面积特征以及创面的纹理特征,同时将溃疡创面的中医色泽特征进行数字化转换,利用患者皮肤创面特征变化对治疗效果进行动态评估。其优点表现在:用于直接计算出慢性创面的曲面形状和表面积信息,为溃疡在中医里的辨证论治提供数字化依据,为临床慢性溃疡的诊治创造更为直观、简便的研究观测和评估手段,同时积累有标注的三维图像信息,从而在治疗全过程动态建立首个皮肤溃疡数字化辨证AI资源库。

Description

机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统
技术领域
本发明涉及医疗器械技术领域,具体地说,是机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统。
背景技术
各种原因导致的慢性难愈性创面,因皮肤缺损,功能受限,严重影响患者生活质量,给患者及家庭都带来极大的负担。目前最常见的原因包括糖尿病溃疡,压迫性溃疡,创伤性溃疡,静脉曲张性溃疡等。
在皮肤缺损修复的过程中,准确测量创面对于评估治疗效果和判断预后至关重要。目前,临床常用的创面评估技术主要有无菌薄膜勾边法、直尺法、填充法、三维重建测量方法、溃疡创面比色卡等。然而,传统的创面测量方法存在以下缺陷和不足:
关于无菌薄膜勾边法(如图5,图6所示):
测量创面面积时,临床上更侧重于使用无菌薄膜勾边法,许多研究表明,这种方法所得创面面积与实际面积无明显统计学差异,但无菌薄膜勾边法的使用难点在于薄膜之下边缘模糊不清,测量时受测量者主观判断的影响,且使用无菌薄膜容易导致患者疼痛且增加感染风险。此种测量方法只能反应创面的二维面积大小,不能反应创面的深浅及表面弧度。
无菌薄膜勾边法的优势是:对平面与曲面创面均可以客观测量,是目前的金标准。缺陷是:操作麻烦,不能反应创面深度、增加感染风险、测量误差大。
关于NIH Image J标尺测量法(如图7,图8所示):
NIH Image J法通过标尺与创面在同一平面条件下拍照,再通过Image J软件勾勒,像素转换定量创面大小,该方法避免了实物接触,对于较为平整的二维创面测量较精确,但若标尺与创面不在同一平面时,测量误差明显偏大。且对于创面边界的划分也是人为划分,主观影响较大。
标尺测量法的优势是:临床操作相对快速,可以快速定量化,但缺陷是:平面创面误差小,但曲面创面无法测量,操作步骤多。
关于填充法:
国外研究者通过使用(一种速干型牙膏),通过在创面内填充这种速干型牙膏,牙膏会很快的干燥并凝固,然后取出牙膏并称重。通过重量转换比较创面的实际体积。此方法所得体积与实际体积相符,但是由于与创面直接接触,存在污染创面的危险,且与创面接触时会引起患者疼痛,因此临床实用性较差。此外,临床上还有应用0.9%氯化钠溶液进行体积测量。在创面上使用无菌薄膜敷料密封创面,通过向创面内注入0.9%氯化钠溶液,最后填充所得0.9%氯化钠溶液体积变为创面体积。该方法简易行,但同样容易增加创面感染风险,且去除无菌薄膜时易引起患者疼痛甚至出血。
填充法的优势是:可以反映皮肤缺损的实际体积,以及深部缺损的形态大小,但缺陷是:操作复杂,患者有疼痛,有潜在的感染风险。
关于三维测量方法(如图9所示):
创面的测量一直以来无统一的方法以及标准,虽然当前已有许多方法以及仪器设备用于创面的测量,然而要在临床推广,必须要具备成本低廉、经济高效,且克服传统创面测量方法的不足,避免引起患者疼痛,且适合于所有操作者。因此,在三维扫描设备不断发展的情况下,三维测量有望成为更容易被接受的测量方法。三维重建扫描设备可以避免医师测量时的主观误差偏倚、获取创面深度数据、动态记录同一位患者的创面数据、避免诱发创面感染、且操作步骤便捷易推广。
三维创面测量方法的优势是:能测量曲面创面,反映创面深度、数据准确客观、操作便捷,测量速度快,但缺陷是设备要求高。
关于溃疡创面比色卡(如图10、图11、图12所示):
溃疡创面根据中医辨证标准,分为热证、瘀证和虚证。热证:皮肤溃疡疮面脓腐较多,或表面组织有污秽的伪膜,或其分泌物常伴有恶臭气味,或疮周炎症浸润明显,或溃疡疼痛,或伴有口干舌燥,心烦易怒,便干溲黄。舌质红,舌苔黄腻,脉滑数;瘀证:溃疡表面色泽暗红,或组织呈颗粒状肉芽,或坚硬的基底,或紫蓝色的肉芽,疮周皮肤紫黯或灰黑,僵硬不活,或有胬肉,或伴有麻木。舌质暗红或见有瘀点、瘀斑,脉细缓或脉涩;虚证:溃疡日久不愈,疮口下陷,疮面脓腐已尽,疮面肉色灰白或暗红或灰黄,或伴有乏力、早消暮肿,舌质紫黯或淡,苔薄白,脉弦细。现有技术中提高临床评估标准和数据可靠性的一种途径就是设计标准色卡用于溃疡创面评估比较和参考。最老式的比色卡是Munsel色卡,它用色调和饱和度两个指标来定义每一种颜色。尽管这些比色卡为研究者们提供许多有用的数据,由于缺乏与正常肤色的相似性,两个连续色度的间距太大以及条件等色现象等导致比色卡的评估结果不甚理想。
综上所述,传统创面测量方法导致误差的因素较多,不能精准反应个体客观化情况。尤其是对创面色泽的中医辨证,由于评估者个人因素导致的误差更大。此外,皮肤缺损形状的不规则和分布不同,创面中各类深度不同,也会导致判断及认识存在显著误差,从而使得重复性和可比性差,不利于建立统一的评价标准。亟需一种直接计算出慢性创面的曲面形状和表面积信息,建立中国人慢性溃疡创面的数字化图文库,为溃疡在中医里的辨证论治提供数字化依据,为临床慢性溃疡的中医辨证论治创造更为直观、简便的诊断系统及测量方法。而关于这种诊断系统及测量方法目前还未见报道。
发明内容
本发明的目的是针对现有技术中的不足,提供一种直接计算出慢性创面的曲面形状和表面积信息,建立中国人慢性溃疡创面的数字化图文库,为溃疡在中医里的辨证论治提供数字化依据,为临床慢性溃疡的中医辨证论治创造更为直观、简便的诊断系统的测量方法。
本发明的再一的目的是,提供一种器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统。
本发明的第输尿目的是,提供一种溃疡创面比色卡建立方法。
为实现上述目的,本发明采取的技术方案是:
一种机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,其特征在于,所述的辅助诊断系统的测量方法如下:
步骤S1.采用单摄像相机的标定方法,获取摄像机外参数和摄像机内参数;
步骤S11.根据摄像机外参数和摄像机外参数,通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系,获得摄像机投影矩阵;
步骤S2.经摄像机采集皮肤溃疡图像;
步骤S21.对采集的图像依次进行特征点提取,并进行图像匹配,建立图像匹配点对集;
步骤S3.根据摄像机投影矩阵和图像匹配点对进行三维重建,建立皮肤溃面三维模型;
步骤S4.进行精度与效度检测,数字化提取曲面创面的颜色特征、三维表面积特征以及创面的纹理特征,同时将溃疡创面的中医色泽特征进行数字化转换;
步骤S5.利用创面的颜色特征、三维表面积特征以及创面的纹理特征的特征变化对治疗效果进行动态评估;
步骤S6.存储患者皮肤溃疡诊断图像,积累有标注的三维图像信息,建立皮肤溃疡数字化辩证AI资源库。
作为一种优选的技术方案,步骤S1中单摄像相机的标定方法具体采用透视变换矩阵法。
作为一种优选的技术方案,步骤S2中采集皮肤溃疡图像具体是:由不同位置的两台摄像机经过移动或旋转拍摄同一幅场景,获取立体图像对。
作为一种优选的技术方案,步骤S3三维模型的重建方法具体如下:首先需要从多幅图像提取特征点,得到图像匹配点对集,通过计算本质矩阵及其奇异值分解得到摄像机外参数,再从摄像机标定得到摄像机内参数,通过求得的外参数和内参数就可以得到摄像机投影矩阵,根据透视投影的关系和最小二乘法,由摄像机投影矩阵和匹配点对集将物体在空间坐标系的三维坐标恢复出来,进而重建出物体的三维模型。
作为一种优选的技术方案,所述方法还包括基于深度学习技术的步骤,获取不同创面的立体表面与面积。
作为一种优选的技术方案,所述方法还包括将多次空间分析数据按时间排列分析的步骤。
作为一种优选的技术方案,所述方法还包括对三维创面模型的任意放大、缩小、360度旋转以及对比调整的步骤。
作为一种优选的技术方案,步骤S6中标注包括图像标注和效果标注两种类型。
为实现上述第二个目的,本发明采取的技术方案是:
一种机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,所述辅助诊断系统包括图像获取模块,摄像机标定模块、特征提取模块、图像匹配模块、三维重建模块、数字化提取模块、效果评估模块、数字化辩证数据库;所述的图像获取模块用于把不同位置的两台摄像机经过移动或旋转拍摄同一幅场景,获取立体图像对;所述的摄像机标定模块用于确定摄像机属性参数和建立成像模型;所述的图像匹配模块用于将三维空间中的一点在左右摄像机的成像面和成像点相对应;所述的三维重建模块用于将摄像机投影矩阵和匹配点对集将物体在空间坐标系的三维坐标恢复出来;所述的效果评估模块根据创面的颜色特征、三维表面积特征以及创面的纹理特征的特征变化对治疗效果进行动态评估;数字化辩证数据库存储患者皮肤溃疡诊断图像,积累有标注的三维图像信息,建立皮肤溃疡数字化辩证AI资源库。
为实现上述第三个目的,本发明采用的技术方案是:
一种溃疡创面比色卡建立方法,所述方法包括以下步骤:
步骤S1.采用“创面面积、创面深度、创面色泽”三个指标评估创面愈合效果,并用“创面深度、创面色泽”进行创面类型分类;
步骤S2.根据局部皮肤创面的反射光谱将肤色按照透明度和色调不同记录在一个二维色度空间中,将这一空间按照12个透明度和6个色调划分成不同的小区,将每个小区中心作为目标来定义比色卡的颜色;
步骤S3.用软件计算上述目标色的光谱,最终的色卡颜色取决于受试者肤色的分布,通过数据颜色软件自动确定并优化每个目标色的色度组合;
步骤S4.把比色卡划分为52张扇形色卡组成,第一张卡上印有系统的二维色度空间和所选的颜色,每张卡上有一个直径3cm的小孔用于限定皮肤的受试区。
本发明优点在于:
1、本发明的机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统技术效果如下:采用双目立体视觉三维重建技术建立慢性皮肤溃疡创面中医辨证分型的信息采集,以及对创面中医宏观症候进行数字化客观定量分析,验证并研发一套个体化、经济实用及便携式的三维人体创面扫描仪器。用于直接计算出慢性创面的曲面形状和表面积信息,建立中国人慢性溃疡创面的数字化图文库,为溃疡在中医里的辨证论治提供数字化依据,为临床慢性溃疡的中医辨证论治创造更为直观、简便的研究观测方法。
2、数字化准确性:客观反映创面的深度以及弧度凹陷情况,避免主观的测量缺陷和盲点;不仅反应创面二维面积大小,还能反应三维的创面深度;
3、中医辨证数字化:中医临床症候在治疗过程中会呈现动态变化,本测量仪器可以按不同时间点自动对位,充分展现创面的动态愈合情况,从而量化评价治疗效果;仪器还可以积累有标注的三维图像信息,为训练数字化辨证人工智能积累大数据。从而在未来研究过程中,建立首个数字化辨证AI资源库。
4、量评估简便化:三维重建扫描测量仪器与其他传统测量方法相比,具有简单快捷、测量精度高、抗干扰能力强、立体构建图像逼真、适用范围广等优点。
5、本发明辅助诊断系统,可成为一套无创、快捷、便携、经济、精确的人体扫描仪器,可以精确测量慢性皮肤溃疡创面的面积,是一种评估慢性皮肤溃疡创面的临床新方法。三维创面扫描仪器的临床意义在于它可以成为一种评价慢性皮肤溃疡创面的通用方法,从而使糖尿病足或者褥疮患者得到更加精确、客观的评价。
6、本发明的辅助诊断系统,在独立的大型处理二维和(或)三维图像和点云数据开源工程的基础上实现的一个可视化平台,通过提供对三维创面模型的任意放大、缩小、360度旋转以及对比调整等处理,便于从多角度、多层次和多方位进行观察分析,弥补成像设备在成像上的不足,为进一步的创面面积分布分析提供可靠的基础数据。
7、基于深度学习技术,可以更好的在四肢三维重建的基础上,获取不同创面的立体表面与面积。
8、根据多次诊疗的记录,可以形成创面愈合进展情况的空间形态的准确测量,克服传统诊疗方法中单纯依靠目测造成准确度差和语言难以表述复杂空间形状的问题。
9、将多次空间分析数据按时间排列分析,可以更好地辅助医患沟通。
10、建立了一种新型的比色卡来参照溃疡创面,进而消除各种因素对创面检测的影响,新型比色卡能够帮助医生、科学研究者、市民客观地评估创面,而且这种评估的准确性不受时间、地域、使用者的影响。
附图说明
附图1是本发明的一种机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统的流程框图。
附图2本发明的一种机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统的双目摄像机测量状态示意图。
附图3是皮肤创面三维重建与色泽辨证参数的数字化标准的示意图。
附图4是通过拍照将图形转化为数字信号的示意图。
附图5是现有技术中采用无菌薄膜勾边法测量的溃疡创面示意图。
附图6现有技术中采用无菌薄膜勾边法的示意图。
附图7为现有技术中采用标尺测量法测量创面的示意图。
附图8为现有技术中采用标尺测量法测量另一种创面的示意图。
附图9现有技术中三维重建测量法测量创面大小的示意图。
附图10为典型中医热证创面示意图。
附图11典型中医瘀证创面示意图。
附图12典型中医虚证创面示意图。
具体实施方式
下面结合附图对本发明提供的具体实施方式作详细说明。
附图中涉及的附图标记和组成部分如下所示:
请参照图1,图1是本发明的一种机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统的流程框图。一种机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,所述的辅助诊断系统的测量方法如下:
步骤S1.采用单摄像相机的标定方法,获取摄像机外参数和摄像机内参数;
步骤S11.根据摄像机外参数和摄像机外参数,通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系,获得摄像机投影矩阵;
步骤S2.经摄像机采集皮肤溃疡图像;
步骤S21.对采集的图像依次进行特征点提取,并进行图像匹配,建立图像匹配点对集;
步骤S3.根据摄像机投影矩阵和图像匹配点对进行三维重建,建立皮肤溃面三维模型;
步骤S4.进行精度与效度检测,数字化提取曲面创面的颜色特征、三维表面积特征以及创面的纹理特征,同时将溃疡创面的中医色泽特征进行数字化转换;
步骤S5.利用创面的颜色特征、三维表面积特征以及创面的纹理特征的特征变化对治疗效果进行动态评估;
步骤S6.存储患者皮肤溃疡诊断图像,积累有标注的三维图像信息,建立皮肤溃疡数字化辩证AI资源库。
该实施例需要说明的是:
步骤S1中单摄像相机的标定方法是实现创面立体视觉关键的一步,单摄像相机标定的目的是确定摄像机属性参数和建立成像模型。具体采用透视变换矩阵法。这种方法基于摄像机线性模型,简单实用且可以进行实时计算。标定过程中,摄像机内外参数由一个透视变换矩阵表示,只要给定若干组标定点的空间坐标和对应的图像坐标,无需初始值就可以求得摄像机参数。
作为一种优选,步骤S1中单摄像相机的标定方法可采用相机标定的两步法,首先将摄像机模型简化为线性模型,利用透视矩阵变换的方法求解其摄像机参数,然后以参数的求解结果作为初始值,考虑畸变因素,并进一步利用最优化方法求得摄像机参数的非线性解,该标定方法具有较高的标定精度。
作为一种优选,双目立体视觉的图像获取是由不同位置的两台摄像机(CCD)经过移动或旋转拍摄同一幅场景,获取立体图像对(如图2所示)。采用单摄像机的标定方法,分别得到两个摄像机的内、外参数;再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系,通过双目视觉装置建立患者溃疡三维重建模型,数字化提取曲面创面的颜色特征(如图3所示)、三维表面积特征以及创面的纹理特征,利用患者皮肤创面特征变化对治疗效果进行动态评估。存储患者皮肤溃疡诊断图像,积累有标注的三维图像信息,建立首个皮肤溃疡数字化辩证AI资源库。
作为一种优选,步骤S3中具体方案如下:基于图像的三维重建首先需要从多幅图像提取特征点,得到图像匹配点对集,通过计算本质矩阵及其奇异值分解得到摄像机外参数,再从摄像机标定得到摄像机内参数,通过求得的外参数和内参数就可以得到摄像机投影矩阵。根据透视投影的关系和最小二乘法,我们便可以由摄像机投影矩阵和匹配点对集将物体在空间坐标系的三维坐标恢复出来,进而重建出物体的三维模型。同时,基于深度学习技术,可以更好的在四肢三维重建的基础上,获取不同创面的立体表面与面积,根据多次诊疗的记录,可以形成创面愈合进展情况的空间形态的准确测量,克服传统诊疗方法中单纯依靠目测造成准确度差和语言难以表述复杂空间形状的问题。另外,将多次空间分析数据按时间排列分析,可以更好地辅助医患沟通。
本发明的诊断系统的测量原理是:通过本发明的诊断系统检测皮肤背向散射光的光谱(400~700nm)。该系统的主要部分是一个大的球形壳,内涂一层高散射性白漆,两端是直径两端是直径相同的圆形开口,受试者的面部在一端,另一端是相机、分光辐射计及其他检测设备。氙弧灯发出的白光照在受试者皮损部,光的完全散射避免阴影留在受试区,从而能够对溃疡创面所有区域的背向散射光谱进行精确测量。入射光谱记录在一个背向散射白瓷板上。计算入射光谱和皮肤背向散射光谱之间的比值作为皮肤反射光谱。根据反射光谱评估创面色泽。受试者在相同的湿度和温度条件下进行测试,记录溃疡创面皮肤的反射光谱。根据局部皮肤创面的反射光谱将肤色按照透明度和色调不同记录在一个二维色度空间中,将这一空间按照12个透明度和6个色调划分成不同的小区,将每个小区中心作为目标来定义比色卡的颜色(如图4所示)。用自制特殊软件计算这种目标色的光谱,最终的色卡颜色取决于受试者肤色的分布。通过数据颜色软件自动确定并优化每个目标色的色度组合。新型的比色卡由52张扇形色卡组成,第一张卡上印有系统的二维色度空间和所选的颜色。每张卡上有一个直径3cm的小孔用于限定皮肤的受试区。
本发明的辅助诊断系统可成为一套无创、快捷、便携、经济、精确的人体扫描仪器,可以精确测量慢性皮肤溃疡创面的面积,是一种评估慢性皮肤溃疡创面的临床新方法。三维创面扫描仪器的临床意义在于它可以成为一种评价慢性皮肤溃疡创面的通用方法,从而使糖尿病足或者褥疮患者得到更加精确、客观的评价。因此,针对这一目的实施本项目的主要内容如下:
1.摄影技术三维重建仪器的软硬件构建;
2.摄影技术三维重建仪器的图像获取、特征提取、图像匹配和三维重建;
3.摄影技术三维重建仪器的精度与效度检测;
4.基于摄影技术三维重建仪器的中医局部辨证参数定值与数据库收集。
本发明的辅助诊断系统,用于直接计算出慢性创面的曲面形状和表面积信息,为临床慢性溃疡的诊治创造更为直观、简便的研究观测和评估手段,同时积累有标注的三维图像信息,从而在治疗全过程动态建立首个皮肤溃疡数字化辨证AI资源库,为训练数字化辨证皮肤溃疡诊断人工智能积累训练集大数据。
本发明辅助诊断系统采用了机器视觉技术,双目立体视觉是计算机视觉的一个重要分支,即由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一幅场景,通过计算空间点在两幅图像中的视差,获得该点的三维坐标值。
本发明的机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统技术效果如下:采用双目立体视觉三维重建技术建立慢性皮肤溃疡创面中医辨证分型的信息采集,以及对创面中医宏观症候进行数字化客观定量分析,验证并研发一套个体化、经济实用及便携式的三维人体创面扫描仪器。用于直接计算出慢性创面的曲面形状和表面积信息,建立中国人慢性溃疡创面的数字化图文库,为溃疡在中医里的辨证论治提供数字化依据,为临床慢性溃疡的中医辨证论治创造更为直观、简便的研究观测方法;数字化准确性:客观反映创面的深度以及弧度凹陷情况,避免主观的测量缺陷和盲点;不仅反应创面二维面积大小,还能反应三维的创面深度;中医辨证数字化:中医临床症候在治疗过程中会呈现动态变化,本测量仪器可以按不同时间点自动对位,充分展现创面的动态愈合情况,从而量化评价治疗效果;仪器还可以积累有标注的三维图像信息,为训练数字化辨证人工智能积累大数据。从而在未来研究过程中,建立首个数字化辨证AI资源库;量评估简便化:三维重建扫描测量仪器与其他传统测量方法相比,具有简单快捷、测量精度高、抗干扰能力强、立体构建图像逼真、适用范围广等优点;本发明辅助诊断系统,可成为一套无创、快捷、便携、经济、精确的人体扫描仪器,可以精确测量慢性皮肤溃疡创面的面积,是一种评估慢性皮肤溃疡创面的临床新方法。三维创面扫描仪器的临床意义在于它可以成为一种评价慢性皮肤溃疡创面的通用方法,从而使糖尿病足或者褥疮患者得到更加精确、客观的评价。本发明的辅助诊断系统,在独立的大型处理二维和(或)三维图像和点云数据开源工程的基础上实现的一个可视化平台,通过提供对三维创面模型的任意放大、缩小、360度旋转以及对比调整等处理,便于从多角度、多层次和多方位进行观察分析,弥补成像设备在成像上的不足,为进一步的创面面积分布分析提供可靠的基础数据;建立了一种新型的比色卡来参照溃疡创面,进而消除各种因素对创面检测的影响,新型比色卡能够帮助医生、科学研究者、市民客观地评估创面,而且这种评估的准确性不受时间、地域、使用者的影响。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明方法的前提下,还可以做出若干改进和补充,这些改进和补充也应视为本发明的保护范围。

Claims (9)

1.一种机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,其特征在于,所述的辅助诊断系统的测量方法如下:
步骤S1.采用单摄像相机的标定方法,获取摄像机外参数和摄像机内参数;
步骤S11.根据摄像机外参数和摄像机外参数,通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系,获得摄像机投影矩阵;
步骤S2.经摄像机采集皮肤溃疡图像;
步骤S21.对采集的图像依次进行特征点提取,并进行图像匹配,建立图像匹配点对集;
步骤S3.根据摄像机投影矩阵和图像匹配点对进行三维重建,建立皮肤溃面三维模型;
步骤S4.进行精度与效度检测,数字化提取曲面创面的颜色特征、三维表面积特征以及创面的纹理特征,同时将溃疡创面的中医色泽特征进行数字化转换;
步骤S5.利用创面的颜色特征、三维表面积特征以及创面的纹理特征的特征变化对治疗效果进行动态评估;
步骤S6.存储患者皮肤溃疡诊断图像,积累有标注的三维图像信息,建立皮肤溃疡数字化辩证AI资源库。
2.根据权利要求1所述的机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,其特征在于,步骤S2中采集皮肤溃疡图像具体是:由不同位置的两台摄像机经过移动或旋转拍摄同一幅场景,获取立体图像对。
3.根据权利要求1所述的机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,其特征在于,步骤S3三维模型的重建方法具体如下:首先需要从多幅图像提取特征点,得到图像匹配点对集,通过计算本质矩阵及其奇异值分解得到摄像机外参数,再从摄像机标定得到摄像机内参数,通过求得的外参数和内参数就可以得到摄像机投影矩阵,根据透视投影的关系和最小二乘法,由摄像机投影矩阵和匹配点对集将物体在空间坐标系的三维坐标恢复出来,进而重建出物体的三维模型。
4.根据权利要求1所述的机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,其特征在于,所述方法还包括基于深度学习技术的步骤,获取不同创面的立体表面与面积。
5.根据权利要求1所述的机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,其特征在于,所述方法还包括将多次空间分析数据按时间排列分析的步骤。
6.根据权利要求1所述的机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,其特征在于,所述方法还包括对三维创面模型的任意放大、缩小、360度旋转以及对比调整的步骤。
7.根据权利要求1所述的机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,其特征在于,步骤S6中标注包括图像标注和效果标注两种类型。
8.一种机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统,其特征在于,所述辅助诊断系统包括图像获取模块,摄像机标定模块、特征提取模块、图像匹配模块、三维重建模块、数字化提取模块、效果评估模块、数字化辩证数据库;所述的图像获取模块用于把不同位置的两台摄像机经过移动或旋转拍摄同一幅场景,获取立体图像对;所述的摄像机标定模块用于确定摄像机属性参数和建立成像模型;所述的图像匹配模块用于将三维空间中的一点在左右摄像机的成像面和成像点相对应;所述的三维重建模块用于将摄像机投影矩阵和匹配点对集将物体在空间坐标系的三维坐标恢复出来;所述的效果评估模块根据创面的颜色特征、三维表面积特征以及创面的纹理特征的特征变化对治疗效果进行动态评估;数字化辩证数据库存储患者皮肤溃疡诊断图像,积累有标注的三维图像信息,建立皮肤溃疡数字化辩证AI资源库。
9.一种溃疡创面比色卡建立方法,其特征在于,所述方法包括以下步骤:
步骤S1.采用创面面积、创面深度、创面色泽三个指标评估创面愈合效果,并用创面深度、创面色泽进行创面类型分类;
步骤S2.根据局部皮肤创面的反射光谱将肤色按照透明度和色调不同记录在一个二维色度空间中,将这一空间按照12个透明度和6个色调划分成不同的小区,将每个小区中心作为目标来定义比色卡的颜色;
步骤S3.用软件计算上述目标色的光谱,最终的色卡颜色取决于受试者肤色的分布,通过数据颜色软件自动确定并优化每个目标色的色度组合;
步骤S4.把比色卡划分为52张扇形色卡组成,第一张卡上印有系统的二维色度空间和所选的颜色,每张卡上有一个直径3cm的小孔用于限定皮肤的受试区。
CN201810281891.0A 2018-04-02 2018-04-02 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统 Pending CN108742519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810281891.0A CN108742519A (zh) 2018-04-02 2018-04-02 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810281891.0A CN108742519A (zh) 2018-04-02 2018-04-02 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统

Publications (1)

Publication Number Publication Date
CN108742519A true CN108742519A (zh) 2018-11-06

Family

ID=63980596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810281891.0A Pending CN108742519A (zh) 2018-04-02 2018-04-02 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统

Country Status (1)

Country Link
CN (1) CN108742519A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310285A (zh) * 2019-05-14 2019-10-08 武汉泓毅智云信息有限公司 一种精确的基于三维人体重建的烧伤面积计算方法
CN110960843A (zh) * 2019-12-23 2020-04-07 天水师范学院 一种篮球技巧辅助训练系统
CN110960219A (zh) * 2019-11-08 2020-04-07 上海市第七人民医院 一种皮肤溃疡创面智能辅助诊断系统
CN111067531A (zh) * 2019-12-11 2020-04-28 中南大学湘雅医院 一种伤口测量的方法及装置、存储介质
CN111184517A (zh) * 2020-01-14 2020-05-22 南方医科大学珠江医院 伤口测量及记录系统
WO2020173052A1 (zh) * 2019-02-28 2020-09-03 未艾医疗技术(深圳)有限公司 图像三维测量方法、电子设备、存储介质及程序产品
CN113951825A (zh) * 2021-10-22 2022-01-21 哈尔滨工业大学 一种创面植皮效果的评估方法
CN117711611A (zh) * 2024-02-05 2024-03-15 四川省医学科学院·四川省人民医院 一种基于场景融合和mr的MDT远程会诊系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945627A (zh) * 2006-10-20 2007-04-11 清华大学 数字舌象色偏校正方法
CN102607526A (zh) * 2012-01-03 2012-07-25 西安电子科技大学 双介质下基于双目视觉的目标姿态测量方法
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN103426200A (zh) * 2013-08-26 2013-12-04 天津大学 基于无人机航拍序列图像的树木三维重建方法
CN103815875A (zh) * 2013-10-28 2014-05-28 重庆西南医院 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统及方法
CN104000593A (zh) * 2014-06-12 2014-08-27 北京爱肌肤科技有限公司 一种色卡以及测试皮肤的方法和系统
CN104720813A (zh) * 2015-03-12 2015-06-24 西安工程大学 用于表示肤色的标准色卡的获取方法及其应用
WO2017109719A1 (en) * 2015-12-23 2017-06-29 Politecnico Di Torino Device and method for acquisition of medical images for the analysis of ulcers
CN107122593A (zh) * 2017-04-06 2017-09-01 复旦大学 基于深度扫描与信息分析的上肢淋巴水肿监测系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945627A (zh) * 2006-10-20 2007-04-11 清华大学 数字舌象色偏校正方法
CN102607526A (zh) * 2012-01-03 2012-07-25 西安电子科技大学 双介质下基于双目视觉的目标姿态测量方法
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN103426200A (zh) * 2013-08-26 2013-12-04 天津大学 基于无人机航拍序列图像的树木三维重建方法
CN103815875A (zh) * 2013-10-28 2014-05-28 重庆西南医院 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统及方法
CN104000593A (zh) * 2014-06-12 2014-08-27 北京爱肌肤科技有限公司 一种色卡以及测试皮肤的方法和系统
CN104720813A (zh) * 2015-03-12 2015-06-24 西安工程大学 用于表示肤色的标准色卡的获取方法及其应用
WO2017109719A1 (en) * 2015-12-23 2017-06-29 Politecnico Di Torino Device and method for acquisition of medical images for the analysis of ulcers
CN107122593A (zh) * 2017-04-06 2017-09-01 复旦大学 基于深度扫描与信息分析的上肢淋巴水肿监测系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
万刚等: "《无人机测绘技术及应用》", 31 December 2015, 测绘出版社 *
罗庆生: "《仿生四足机器人技术》", 30 April 2016, 北京理工大学出版社 *
鲁晋: "三维人体创面扫描系统在烧伤创面面积评估中的应用", 《中国医学装备》 *
鲁晋: "三维人体扫描系统在慢性皮肤病溃疡面积测量中的应用", 《中国医疗设备》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173052A1 (zh) * 2019-02-28 2020-09-03 未艾医疗技术(深圳)有限公司 图像三维测量方法、电子设备、存储介质及程序产品
AU2019432052B2 (en) * 2019-02-28 2023-06-01 Sheng Cao Three-dimensional image measurement method, electronic device, storage medium, and program product
CN110310285A (zh) * 2019-05-14 2019-10-08 武汉泓毅智云信息有限公司 一种精确的基于三维人体重建的烧伤面积计算方法
CN110310285B (zh) * 2019-05-14 2022-12-20 武汉泓毅智云信息有限公司 一种精确的基于三维人体重建的烧伤面积计算方法
CN110960219A (zh) * 2019-11-08 2020-04-07 上海市第七人民医院 一种皮肤溃疡创面智能辅助诊断系统
CN111067531A (zh) * 2019-12-11 2020-04-28 中南大学湘雅医院 一种伤口测量的方法及装置、存储介质
CN110960843A (zh) * 2019-12-23 2020-04-07 天水师范学院 一种篮球技巧辅助训练系统
CN111184517A (zh) * 2020-01-14 2020-05-22 南方医科大学珠江医院 伤口测量及记录系统
CN113951825A (zh) * 2021-10-22 2022-01-21 哈尔滨工业大学 一种创面植皮效果的评估方法
CN113951825B (zh) * 2021-10-22 2024-05-31 哈尔滨工业大学 一种创面植皮效果的评估方法
CN117711611A (zh) * 2024-02-05 2024-03-15 四川省医学科学院·四川省人民医院 一种基于场景融合和mr的MDT远程会诊系统及方法
CN117711611B (zh) * 2024-02-05 2024-04-19 四川省医学科学院·四川省人民医院 一种基于场景融合和mr的MDT远程会诊系统及方法

Similar Documents

Publication Publication Date Title
CN108742519A (zh) 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统
EP3449800B1 (en) Medical image processing apparatus, endoscope apparatus, diagnostic support apparatus, and medical service support apparatus
US6567682B1 (en) Apparatus and method for lesion feature identification and characterization
Plassmann et al. MAVIS: a non-invasive instrument to measure area and volume of wounds
US6101408A (en) Probe and method to obtain accurate area measurements from cervical lesions
Giancardo et al. Textureless macula swelling detection with multiple retinal fundus images
Barone et al. Assessment of chronic wounds by three-dimensional optical imaging based on integrating geometrical, chromatic, and thermal data
JPH10510187A (ja) 網膜検査及び治療のための電子造影装置
JP2005137756A (ja) 健康度測定システムおよびプログラム
AU2008202694A1 (en) Method and apparatus for measuring skin texture
CN109752377B (zh) 一种分光式双模态投影层析组织血管成像装置及方法
CN110960219A (zh) 一种皮肤溃疡创面智能辅助诊断系统
CN101564323B (zh) 基于乳腺x线摄片的乳腺病灶辅助诊断设备
CN106618506A (zh) 声光显微ct三维成像系统
Voigt et al. Computer vision and digital imaging technology in melanoma detection
CN211674190U (zh) 一种三维面诊舌诊设备
Voigt et al. Topodermatographic image analysis for melanoma screening and the quantitative assessment of tumor dimension parameters of the skin
Craine et al. Digital imaging colposcopy: corrected area measurements using shape-from-shading
CN111419194A (zh) 一种基于荧光激光和oct联合成像设备及方法
CN202069572U (zh) 一种应用于皮肤上的光学影像设备
Wang et al. Tactile mapping of palpable abnormalities for breast cancer diagnosis
Rallan et al. High‐resolution ultrasound reflex transmission imaging and digital photography: potential tools for the quantitative assessment of pigmented lesions
Peli Electro-optic fundus imaging
JP3051778B2 (ja) 皺計測システム
CN209624404U (zh) 一种分光式双模态投影层析组织血管成像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106

RJ01 Rejection of invention patent application after publication