CN110960219A - 一种皮肤溃疡创面智能辅助诊断系统 - Google Patents

Abstract

本发明涉及医疗器械技术领域，具体公开一种皮肤溃疡创面智能辅助诊断系统。所述辅助诊断系统包括图像获取模块，摄像机标定模块、特征提取模块、图像匹配模块、三维重建模块、数字化提取模块、效果评估模块、数字化辩证数据库、wifi系统和云端服务器。其优点表现在：本发明不仅可以直接计算出慢性创面的曲面形状和表面积信息，为溃疡创面中医辨证论治提供数字化依据，而且可以建立中国人慢性溃疡创面的数字化图文库。各个医疗系统在诊断检测后，可将不同医院收集到的皮肤溃疡创面的数字化结果进行整合，进行横向和纵向比较，通过对大数据结果进行分析，不仅可以建立中国人慢性溃疡创面的数字化图文库，也可进一步用于人慢性溃疡创面各影响因素或参数相关性研究。

Description

一种皮肤溃疡创面智能辅助诊断系统

技术领域

本发明涉及医疗器械技术领域，具体地说，是一种皮肤溃疡创面智能辅助诊断系统。

背景技术

各种原因导致的慢性难愈性创面，因皮肤缺损，功能受限，严重影响患者生活质量，给患者及家庭都带来极大的负担。目前最常见的原因包括糖尿病溃疡，压迫性溃疡，创伤性溃疡，静脉曲张性溃疡等。在皮肤缺损修复的过程中，准确测量创面对于评估治疗效果和判断预后至关重要。目前，临床常用的创面评估技术主要有无菌薄膜勾边法、直尺法、填充法、三维重建测量方法、溃疡创面比色卡等。然而，传统的创面测量方法存在以下缺陷和不足：

关于无菌薄膜勾边法(如图5，图6所示)：测量创面面积时，临床上更侧重于使用无菌薄膜勾边法，许多研究表明，这种方法所得创面面积与实际面积无明显统计学差异，但无菌薄膜勾边法的使用难点在于薄膜之下边缘模糊不清，测量时受测量者主观判断的影响，且使用无菌薄膜容易导致患者疼痛且增加感染风险。此种测量方法只能反应创面的二维面积大小，不能反应创面的深浅及表面弧度。无菌薄膜勾边法的优势是：对平面与曲面创面均可以客观测量，是目前的金标准。缺陷是：操作麻烦，不能反应创面深度、增加感染风险、测量误差大。

关于NIH Image J标尺测量法(如图7，图8所示)：NIH Image J法通过标尺与创面在同一平面条件下拍照，再通过Image J软件勾勒，像素转换定量创面大小，该方法避免了实物接触，对于较为平整的二维创面测量较精确，但若标尺与创面不在同一平面时，测量误差明显偏大。且对于创面边界的划分也是人为划分，主观影响较大。标尺测量法的优势是：临床操作相对快速，可以快速定量化，但缺陷是：平面创面误差小，但曲面创面无法测量，操作步骤多。

关于填充法：国外研究者通过使用

(一种速干型牙膏)，通过在创面内填充这种速干型牙膏，牙膏会很快的干燥并凝固，然后取出牙膏并称重。通过重量转换比较创面的实际体积。此方法所得体积与实际体积相符，但是由于与创面直接接触，存在污染创面的危险，且与创面接触时会引起患者疼痛，因此临床实用性较差。此外，临床上还有应用0.9％氯化钠溶液进行体积测量。在创面上使用无菌薄膜敷料密封创面，通过向创面内注入0.9％氯化钠溶液，最后填充所得0.9％氯化钠溶液体积变为创面体积。该方法简易行，但同样容易增加创面感染风险，且去除无菌薄膜时易引起患者疼痛甚至出血。填充法的优势是：可以反映皮肤缺损的实际体积，以及深部缺损的形态大小，但缺陷是：操作复杂，患者有疼痛，有潜在的感染风险。

关于三维测量方法(如图9所示)：创面的测量一直以来无统一的方法以及标准，虽然当前已有许多方法以及仪器设备用于创面的测量，然而要在临床推广，必须要具备成本低廉、经济高效，且克服传统创面测量方法的不足，避免引起患者疼痛，且适合于所有操作者。因此，在三维扫描设备不断发展的情况下，三维测量有望成为更容易被接受的测量方法。三维重建扫描设备可以避免医师测量时的主观误差偏倚、获取创面深度数据、动态记录同一位患者的创面数据、避免诱发创面感染、且操作步骤便捷易推广。三维创面测量方法的优势是：能测量曲面创面，反映创面深度、数据准确客观、操作便捷，测量速度快，但缺陷是设备要求高。

关于溃疡创面比色卡(如图10、图11、图12所示)：溃疡创面根据中医辨证标准，分为热证、瘀证和虚证。热证：皮肤溃疡疮面脓腐较多，或表面组织有污秽的伪膜，或其分泌物常伴有恶臭气味，或疮周炎症浸润明显，或溃疡疼痛，或伴有口干舌燥，心烦易怒，便干溲黄。舌质红，舌苔黄腻,脉滑数；瘀证：溃疡表面色泽暗红，或组织呈颗粒状肉芽，或坚硬的基底，或紫蓝色的肉芽，疮周皮肤紫黯或灰黑，僵硬不活，或有胬肉，或伴有麻木。舌质暗红或见有瘀点、瘀斑，脉细缓或脉涩；虚证：溃疡日久不愈，疮口下陷，疮面脓腐已尽，疮面肉色灰白或暗红或灰黄，或伴有乏力、早消暮肿，舌质紫黯或淡，苔薄白，脉弦细。现有技术中提高临床评估标准和数据可靠性的一种途径就是设计标准色卡用于溃疡创面评估比较和参考。最老式的比色卡是Munsel色卡，它用色调和饱和度两个指标来定义每一种颜色。尽管这些比色卡为研究者们提供许多有用的数据，由于缺乏与正常肤色的相似性，两个连续色度的间距太大以及条件等色现象等导致比色卡的评估结果不甚理想。

综上所述，传统创面测量方法导致误差的因素较多，不能精准反应个体客观化情况。尤其是对创面色泽的中医辨证，由于评估者个人因素导致的误差更大。此外，皮肤缺损形状的不规则和分布不同，创面中各类深度不同，也会导致判断及认识存在显著误差，从而使得重复性和可比性差，不利于建立统一的评价标准。亟需一种直接计算出慢性创面的曲面形状和表面积信息，建立中国人慢性溃疡创面的数字化图文库，为溃疡在中医里的辨证论治提供数字化依据，为临床慢性溃疡的中医辨证论治创造更为直观、简便的诊断系统及测量方法。而关于这种诊断系统目前还未见报道。

发明内容

本发明的目的是针对现有技术中的不足，提供一种皮肤溃疡创面智能辅助诊断系统。

为实现上述目的，本发明采取的技术方案是：

一种皮肤溃疡创面智能辅助诊断系统，所述辅助诊断系统包括图像获取模块，摄像机标定模块、特征提取模块、图像匹配模块、三维重建模块、数字化提取模块、效果评估模块、数字化辩证数据库、wifi系统和云端服务器；所述的图像获取模块用于把不同位置的两台摄像机经过移动或旋转拍摄同一幅场景，获取立体图像对；所述的摄像机标定模块用于确定摄像机属性参数和建立成像模型；所述的图像匹配模块用于将三维空间中的一点在左右摄像机的成像面和成像点相对应；所述的三维重建模块用于将摄像机投影矩阵和匹配点对集将物体在空间坐标系的三维坐标恢复出来；所述的效果评估模块根据创面的颜色特征、三维表面积特征以及创面的纹理特征的特征变化对治疗效果进行动态评估；数字化辩证数据库存储患者皮肤溃疡诊断图像，积累有标注的三维图像信息，建立皮肤溃疡数字化辩证AI资源库，数字化辩证数据库存通过wifi系统与云端服务器连接，将患者姓名、手机号码、性别、年龄、诊断时间、皮肤溃疡诊断图像数据传送至云端服务器。

在上述皮肤溃疡创面智能辅助诊断系统中，作为一个优选方案，所述皮肤溃疡创面智能辅助诊断系统还包括客户端，所述客户端是指用户手机APP系统，患者使用与WIFI系统连接的客户端，通过姓名和手机号登入云端服务器下载诊断结果。

在上述皮肤溃疡创面智能辅助诊断系统中，作为一个优选方案，所述方法还包括基于深度学习技术的步骤，获取不同创面的立体表面与面积。

在上述皮肤溃疡创面智能辅助诊断系统中，作为一个优选方案，所述的皮肤溃疡创面智能辅助诊断系统以EXCEL、WORD或PDF格式输出检查报告及医生诊断信息。

在上述皮肤溃疡创面智能辅助诊断系统中，作为一个优选方案，所述检查报告包括患者姓名、手机号码、性别、年龄、诊断时间、皮肤溃疡诊断图像数据、皮肤溃疡创面曲面形状和表面积信息；所述医生诊断信息包括慢性皮肤溃疡创面中医辨证分型结果。

本发明的诊断系统不仅可以直接计算出慢性创面的曲面形状和表面积信息，而且可以建立中国人慢性溃疡创面的数字化图文库。各个医疗系统在诊断检测后，同时可将不同医院收集到的皮肤溃疡创面的数字化结果进行整合，将诊断结果中患者性别、年龄、中医辨证热证、瘀证、虚证以及溃疡创面皮肤的反射光谱数据进行横向比较，对比不同性别不同年龄段和不同中医辨证皮肤溃疡创面皮肤的反射光谱数据，通过大数据分析不同性别不同年龄段和不同中医辨证皮肤溃疡创面皮肤的反射光谱数据变化趋势。将诊断结果中患者性别、年龄、中医辨证热证、瘀证、虚证以及溃疡创面皮肤的反射光谱数据进行纵向比较，对比同一患者在多次诊断中不同时间段的溃疡创面皮肤的反射光谱数据。上述大数据结果进行分析，不仅可以建立中国人慢性溃疡创面的数字化图文库，也可进一步用于人慢性溃疡创面各影响因素或参数相关性研究。

附图说明

附图1为本发明皮肤溃疡创面智能辅助诊断系统的流程框图。

附图2本发明皮肤溃疡创面智能辅助诊断系统的双目摄像机测量状态示意图。

附图3是皮肤创面三维重建与色泽辨证参数的数字化标准的示意图。

附图4是通过拍照将图形转化为数字信号的示意图。

附图5是现有技术中采用无菌薄膜勾边法测量的溃疡创面示意图。

附图6现有技术中采用无菌薄膜勾边法的示意图。

附图7为现有技术中采用标尺测量法测量创面的示意图。

附图8为现有技术中采用标尺测量法测量另一种创面的示意图。

附图9现有技术中三维重建测量法测量创面大小的示意图。

附图10为典型中医热证创面示意图。

附图11典型中医瘀证创面示意图。

附图12典型中医虚证创面示意图。

具体实施方式

下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明记载的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图1所述机器视觉三维重建技术皮肤溃疡创面智能辅助诊断流程如下：

步骤S1.采用单摄像相机的标定方法，获取摄像机外参数和摄像机内参数；

步骤S11.根据摄像机外参数和摄像机外参数，通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系，获得摄像机投影矩阵；

步骤S2.经摄像机采集皮肤溃疡图像；

步骤S21.对采集的图像依次进行特征点提取，并进行图像匹配，建立图像匹配点对集；

步骤S3.根据摄像机投影矩阵和图像匹配点对进行三维重建，建立皮肤溃面三维模型；

步骤S4.进行精度与效度检测，数字化提取曲面创面的颜色特征、三维表面积特征以及创面的纹理特征，同时将溃疡创面的中医色泽特征进行数字化转换；

步骤S5.利用创面的颜色特征、三维表面积特征以及创面的纹理特征的特征变化对治疗效果进行动态评估；

步骤S6.存储患者皮肤溃疡诊断图像，积累有标注的三维图像信息，建立皮肤溃疡数字化辩证AI资源库。

其中，步骤S1中单摄像相机的标定方法是实现创面立体视觉关键的一步，单摄像相机标定的目的是确定摄像机属性参数和建立成像模型。具体采用透视变换矩阵法。这种方法基于摄像机线性模型，简单实用且可以进行实时计算。标定过程中，摄像机内外参数由一个透视变换矩阵表示，只要给定若干组标定点的空间坐标和对应的图像坐标，无需初始值就可以求得摄像机参数。

步骤S1中单摄像相机的标定方法可采用相机标定的两步法，首先将摄像机模型简化为线性模型，利用透视矩阵变换的方法求解其摄像机参数，然后以参数的求解结果作为初始值，考虑畸变因素，并进一步利用最优化方法求得摄像机参数的非线性解，该标定方法具有较高的标定精度。

双目立体视觉的图像获取是由不同位置的两台摄像机(CCD)经过移动或旋转拍摄同一幅场景，获取立体图像对(如图2所示)。采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系，通过双目视觉装置建立患者溃疡三维重建模型，数字化提取曲面创面的颜色特征(如图3所示)、三维表面积特征以及创面的纹理特征，利用患者皮肤创面特征变化对治疗效果进行动态评估。存储患者皮肤溃疡诊断图像，积累有标注的三维图像信息，建立首个皮肤溃疡数字化辩证AI资源库。

骤S3中具体方案如下：基于图像的三维重建首先需要从多幅图像提取特征点，得到图像匹配点对集,通过计算本质矩阵及其奇异值分解得到摄像机外参数,再从摄像机标定得到摄像机内参数,通过求得的外参数和内参数就可以得到摄像机投影矩阵。根据透视投影的关系和最小二乘法,我们便可以由摄像机投影矩阵和匹配点对集将物体在空间坐标系的三维坐标恢复出来，进而重建出物体的三维模型。同时，基于深度学习技术，可以更好的在四肢三维重建的基础上，获取不同创面的立体表面与面积，根据多次诊疗的记录，可以形成创面愈合进展情况的空间形态的准确测量，克服传统诊疗方法中单纯依靠目测造成准确度差和语言难以表述复杂空间形状的问题。另外，将多次空间分析数据按时间排列分析，可以更好地辅助医患沟通。

机器视觉三维重建技术皮肤溃疡创面智能辅助诊断测量原理是：通过本发明的诊断系统检测皮肤背向散射光的光谱(400～700nm)。该系统的主要部分是一个大的球形壳，内涂一层高散射性白漆，两端是直径两端是直径相同的圆形开口，受试者的面部在一端，另一端是相机、分光辐射计及其他检测设备。氙弧灯发出的白光照在受试者皮损部，光的完全散射避免阴影留在受试区，从而能够对溃疡创面所有区域的背向散射光谱进行精确测量。入射光谱记录在一个背向散射白瓷板上。计算入射光谱和皮肤背向散射光谱之间的比值作为皮肤反射光谱。根据反射光谱评估创面色泽。受试者在相同的湿度和温度条件下进行测试，记录溃疡创面皮肤的反射光谱。根据局部皮肤创面的反射光谱将肤色按照透明度和色调不同记录在一个二维色度空间中，将这一空间按照12个透明度和6个色调划分成不同的小区，将每个小区中心作为目标来定义比色卡的颜色(如图4所示)。用自制特殊软件计算这种目标色的光谱，最终的色卡颜色取决于受试者肤色的分布。通过数据颜色软件自动确定并优化每个目标色的色度组合。新型的比色卡由52张扇形色卡组成，第一张卡上印有系统的二维色度空间和所选的颜色。每张卡上有一个直径3cm的小孔用于限定皮肤的受试区。

基于此本发明提供一种皮肤溃疡创面智能辅助诊断系统，所述辅助诊断系统包括图像获取模块，摄像机标定模块、特征提取模块、图像匹配模块、三维重建模块、数字化提取模块、效果评估模块、数字化辩证数据库、wifi系统和云端服务器；所述的图像获取模块用于把不同位置的两台摄像机经过移动或旋转拍摄同一幅场景，获取立体图像对；所述的摄像机标定模块用于确定摄像机属性参数和建立成像模型；所述的图像匹配模块用于将三维空间中的一点在左右摄像机的成像面和成像点相对应；所述的三维重建模块用于将摄像机投影矩阵和匹配点对集将物体在空间坐标系的三维坐标恢复出来；所述的效果评估模块根据创面的颜色特征、三维表面积特征以及创面的纹理特征的特征变化对治疗效果进行动态评估；数字化辩证数据库存储患者皮肤溃疡诊断图像，积累有标注的三维图像信息，建立皮肤溃疡数字化辩证AI资源库，数字化辩证数据库存通过wifi系统与云端服务器连接，将患者姓名、手机号码、性别、年龄、诊断时间、皮肤溃疡诊断图像数据传送至云端服务器。所述皮肤溃疡创面智能辅助诊断系统还包括客户端，所述客户端是指用户手机APP系统，患者使用与WIFI系统连接的客户端，通过姓名和手机号登入云端服务器下载诊断结果。所述方法还包括基于深度学习技术的步骤，获取不同创面的立体表面与面积。

本发明的机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统技术效果如下：采用双目立体视觉三维重建技术建立慢性皮肤溃疡创面中医辨证分型的信息采集，以及对创面中医宏观症候进行数字化客观定量分析，验证并研发一套个体化、经济实用及便携式的三维人体创面扫描仪器。用于直接计算出慢性创面的曲面形状和表面积信息，建立中国人慢性溃疡创面的数字化图文库，为溃疡在中医里的辨证论治提供数字化依据，为临床慢性溃疡的中医辨证论治创造更为直观、简便的研究观测方法；数字化准确性：客观反映创面的深度以及弧度凹陷情况，避免主观的测量缺陷和盲点；不仅反应创面二维面积大小，还能反应三维的创面深度；中医辨证数字化：中医临床症候在治疗过程中会呈现动态变化，本测量仪器可以按不同时间点自动对位，充分展现创面的动态愈合情况，从而量化评价治疗效果；仪器还可以积累有标注的三维图像信息，为训练数字化辨证人工智能积累大数据。从而在未来研究过程中，建立首个数字化辨证AI资源库；量评估简便化：三维重建扫描测量仪器与其他传统测量方法相比，具有简单快捷、测量精度高、抗干扰能力强、立体构建图像逼真、适用范围广等优点；本发明辅助诊断系统，可成为一套无创、快捷、便携、经济、精确的人体扫描仪器，可以精确测量慢性皮肤溃疡创面的面积，是一种评估慢性皮肤溃疡创面的临床新方法。三维创面扫描仪器的临床意义在于它可以成为一种评价慢性皮肤溃疡创面的通用方法，从而使糖尿病足或者褥疮患者得到更加精确、客观的评价。本发明的辅助诊断系统，在独立的大型处理二维和(或)三维图像和点云数据开源工程的基础上实现的一个可视化平台，通过提供对三维创面模型的任意放大、缩小、360度旋转以及对比调整等处理，便于从多角度、多层次和多方位进行观察分析，弥补成像设备在成像上的不足，为进一步的创面面积分布分析提供可靠的基础数据；建立了一种新型的比色卡来参照溃疡创面，进而消除各种因素对创面检测的影响，新型比色卡能够帮助医生、科学研究者、市民客观地评估创面，而且这种评估的准确性不受时间、地域、使用者的影响。

本发明的诊断系统不仅可以直接计算出慢性创面的曲面形状和表面积信息，而且可以建立中国人慢性溃疡创面的数字化图文库，各个医疗系统在诊断检测后，同时可将不同医院收集到的皮肤溃疡创面的数字化结果进行整合，将诊断结果中患者性别、年龄、中医辨证热证、瘀证、虚证以及溃疡创面皮肤的反射光谱数据进行横向比较，对比不同性别不同年龄段和不同中医辨证皮肤溃疡创面皮肤的反射光谱数据，通过大数据分析不同性别不同年龄段和不同中医辨证皮肤溃疡创面皮肤的反射光谱数据变化趋势。将诊断结果中患者性别、年龄、中医辨证热证、瘀证、虚证以及溃疡创面皮肤的反射光谱数据进行纵向比较，对比同一患者在多次诊断中不同时间段的溃疡创面皮肤的反射光谱数据。上述大数据结果进行分析，不仅可以建立中国人慢性溃疡创面的数字化图文库，也可进一步用于人慢性溃疡创面各影响因素或参数相关性研究。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (5)

1.一种皮肤溃疡创面智能辅助诊断系统，其特征在于，所述辅助诊断系统包括图像获取模块，摄像机标定模块、特征提取模块、图像匹配模块、三维重建模块、数字化提取模块、效果评估模块、数字化辩证数据库、wifi系统和云端服务器；所述的图像获取模块用于把不同位置的两台摄像机经过移动或旋转拍摄同一幅场景，获取立体图像对；所述的摄像机标定模块用于确定摄像机属性参数和建立成像模型；所述的图像匹配模块用于将三维空间中的一点在左右摄像机的成像面和成像点相对应；所述的三维重建模块用于将摄像机投影矩阵和匹配点对集将物体在空间坐标系的三维坐标恢复出来；所述的效果评估模块根据创面的颜色特征、三维表面积特征以及创面的纹理特征的特征变化对治疗效果进行动态评估；数字化辩证数据库存储患者皮肤溃疡诊断图像，积累有标注的三维图像信息，建立皮肤溃疡数字化辩证AI资源库，数字化辩证数据库存通过wifi系统与云端服务器连接，将患者姓名、手机号码、性别、年龄、诊断时间、皮肤溃疡诊断图像数据传送至云端服务器。

2.根据权利要求1所述皮肤溃疡创面智能辅助诊断系统，其特征在于，所述皮肤溃疡创面智能辅助诊断系统还包括客户端，所述客户端是指用户手机APP系统，患者使用与WIFI系统连接的客户端，通过姓名和手机号登入云端服务器下载诊断结果。

3.根据权利要求1所述皮肤溃疡创面智能辅助诊断系统，其特征在于，所述方法还包括基于深度学习技术的步骤，获取不同创面的立体表面与面积。

4.根据权利要求1-3任一所述皮肤溃疡创面智能辅助诊断系统，其特征在于，所述的皮肤溃疡创面智能辅助诊断系统以EXCEL、WORD或PDF格式输出检查报告及医生诊断信息。

5.根据权利要求4所述皮肤溃疡创面智能辅助诊断系统，其特征在于，所述检查报告包括患者姓名、手机号码、性别、年龄、诊断时间、皮肤溃疡诊断图像数据、皮肤溃疡创面曲面形状和表面积信息；所述医生诊断信息包括慢性皮肤溃疡创面中医辨证分型结果。

Images