CN116649953A - 一种伤口扫描方法、装置以及伤口扫描仪 - Google Patents

一种伤口扫描方法、装置以及伤口扫描仪 Download PDF

Info

Publication number
CN116649953A
CN116649953A CN202310440399.4A CN202310440399A CN116649953A CN 116649953 A CN116649953 A CN 116649953A CN 202310440399 A CN202310440399 A CN 202310440399A CN 116649953 A CN116649953 A CN 116649953A
Authority
CN
China
Prior art keywords
wound
point cloud
cloud data
model
surface structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310440399.4A
Other languages
English (en)
Inventor
娄雪娇
陈特儒
张子云
张利娟
何细飞
黄丽红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji Medical College of Huazhong University of Science and Technology
Original Assignee
Tongji Medical College of Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji Medical College of Huazhong University of Science and Technology filed Critical Tongji Medical College of Huazhong University of Science and Technology
Priority to CN202310440399.4A priority Critical patent/CN116649953A/zh
Publication of CN116649953A publication Critical patent/CN116649953A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/447Skin evaluation, e.g. for skin disorder diagnosis specially adapted for aiding the prevention of ulcer or pressure sore development, i.e. before the ulcer or sore has developed
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Dermatology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供了一种伤口扫描方法、装置以及伤口扫描仪,用于为伤口评估工作提供了一套显著提高应用上的便捷性的伤口扫描方案,不仅实现了自动化的伤口扫描目标,且也可以保障处于高水平的测量精度,可以很好地满足临床需要。方法包括:获取拍摄伤口所得到的初始3D点云数据;基于预先配置的伤口区域分割模型,对初始3D点云数据进行伤口区域分割处理,并得到伤口的目标3D点云数据,其中,伤口区域分割模型是预先通过标注有对应分割结果的样本伤口的3D点云数据训练初始模型得到的;基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据;对三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数。

Description

一种伤口扫描方法、装置以及伤口扫描仪
技术领域
本申请涉及伤口扫描领域,具体涉及一种伤口扫描方法、装置以及伤口扫描仪。
背景技术
如压疮、糖尿病足、各类创伤、造口或者免疫性伤口等类型的伤口,都会给患者带来巨大的痛苦、沉重的经济负担及心理负担。因此,在伤口治疗的漫长过程中,对于伤口的精确评估,不仅有助于准备地判断伤口的情况,也可以为伤口的治疗提供有效依据,是伤口治疗和护理过程中非常重要的一环。
在医院传统的伤口评估工作中,目前依赖于用于伤口评估的评估尺(测量尺),其具有携带、存储便携的优点,但是,本申请在现有评估尺的具体应用中,也存在一系列问题:1.不准确,靠肉眼测量,受测量者主观影响较大,不同测量者之间的测量结果有明显偏差;2.不全面,当伤口较深或合并潜行、窦道、瘘管等时,评估尺无法进行测量;3.不便捷,每次都需要手动书写伤口基本情况和测量结果,多数时候需一人执尺、一人拍照,过程繁琐、耗时、耗力,且易因测量者书写不规范或字迹模糊、潦草、笔误等原因,导致伤口信息不全或错误;4.不节约,评估尺为一次性使用,不同部位、不同时间评估均需要更换,成本约5角/个,存在较大的浪费;5.当伤口面积过大,长度或宽度超过15cm时,需多次测量,结果相加才能最终计算出伤口面积。
也就是说,现有技术中依赖于评估尺的伤口评估工作,在应用上存在极为不便的问题。
发明内容
本申请提供了一种伤口扫描方法、装置以及伤口扫描仪,用于为伤口评估工作提供了一套显著提高应用上的便捷性的伤口扫描方案,不仅实现了自动化的伤口扫描目标,且也可以保障处于高水平的测量精度,可以很好地满足临床需要。
第一方面,本申请提供了一种伤口扫描方法,方法包括:
获取拍摄伤口所得到的初始3D点云数据;
基于预先配置的伤口区域分割模型,对初始3D点云数据进行伤口区域分割处理,并得到伤口的目标3D点云数据,其中,伤口区域分割模型是预先通过标注有对应分割结果的样本伤口的3D点云数据训练初始模型得到的;
基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据;
对三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数。
结合本申请第一方面,在本申请第一方面第一种可能的实现方式中,获取拍摄伤口所得到的初始3D点云数据,包括:
通过伤口扫描仪自身配置的三维扫描仪或者深度相机,拍摄伤口并得到初始3D点云数据。
结合本申请第一方面,在本申请第一方面第二种可能的实现方式中,初始模型或者伤口区域分割模型,采用PointNet网络模型的模型架构。
结合本申请第一方面第二种可能的实现方式,在本申请第一方面第三种可能的实现方式中,初始模型或者伤口区域分割模型还配置有人机交互模式来与模型本身的深度学习能力相结合,在人机交互模式下,供医生通过人机交互软件对模型生成的预测点云进行核对以及修改。
结合本申请第一方面,在本申请第一方面第四种可能的实现方式中,基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据,包括:
在Delaunay方法的三角曲面重建处理的基础上,基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据。
结合本申请第一方面,在本申请第一方面第五种可能的实现方式中,伤口三维表面结构的重建处理中涉及的伤口附近区域点云拟合处理,包括以下内容:
采用B样条曲面对伤口附近的点云进行拟合,得到伤口区域特征参数的参考曲面,其中,曲面方程如下式:
uk≤u≤um+1,vl≤v≤vn+1
其中,Ni,k(u)和Nj,l(v)为B样条曲面的两种基函数,u和v为B样条曲面的参数,di,j为曲面控制点。
结合本申请第一方面第五种可能的实现方式,在本申请第一方面第六种可能的实现方式中,对三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数,包括:
对三维表面结构数据的伤口区域所有点云,向参考B样条曲面进行投影,得到伤口区域的投影曲面;
基于投影曲面,计算伤口的长L、伤口的宽B和伤口的深H,
伤口的长L采用下式计算:
L=max||Pi-Pj||,
其中,Pi和Pj为位于投影外包凸多边形上的点的位置,L表示伤口投影的长轴,
伤口的宽B采用下式计算:
B=max||Pi-Pj||,vec(Pi,Pj)⊥L,
其中,B为投影外包凸多边形上和长轴垂直的最大距离,
伤口的深H采用下式计算:
H=max||Pi 3d-P(u,v)||,
其中,Pi 3d表示伤口区域的点云位置,||Pi 3d-P(u,v)||表示Pi 3d到参考B样条曲面的距离。
第二方面,本申请提供了一种伤口扫描装置,装置包括:
获取单元,用于获取拍摄伤口所得到的初始3D点云数据;
分割单元,用于基于预先配置的伤口区域分割模型,对初始3D点云数据进行伤口区域分割处理,并得到伤口的目标3D点云数据,其中,伤口区域分割模型是预先通过标注有对应分割结果的样本伤口的3D点云数据训练初始模型得到的;
重建单元,用于基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据;
计算单元,用于对三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数。
结合本申请第二方面,在本申请第二方面第一种可能的实现方式中,获取单元,具体用于:
通过伤口扫描仪自身配置的三维扫描仪或者深度相机,拍摄伤口并得到初始3D点云数据。
结合本申请第二方面,在本申请第二方面第二种可能的实现方式中,初始模型或者伤口区域分割模型,采用PointNet网络模型的模型架构。
结合本申请第二方面第二种可能的实现方式,在本申请第二方面第三种可能的实现方式中,初始模型或者伤口区域分割模型还配置有人机交互模式来与模型本身的深度学习能力相结合,在人机交互模式下,供医生通过人机交互软件对模型生成的预测点云进行核对以及修改。
结合本申请第二方面,在本申请第二方面第四种可能的实现方式中,重建单元,具体用于:
在Delaunay方法的三角曲面重建处理的基础上,基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据。
结合本申请第二方面,在本申请第二方面第五种可能的实现方式中,伤口三维表面结构的重建处理中涉及的伤口附近区域点云拟合处理,包括以下内容:
采用B样条曲面对伤口附近的点云进行拟合,得到伤口区域特征参数的参考曲面,其中,曲面方程如下式:
uk≤u≤um+1,vl≤v≤vn+1
其中,Ni,k(u)和Nj,l(v)为B样条曲面的两种基函数,u和v为B样条曲面的参数,di,j为曲面控制点。
结合本申请第二方面第五种可能的实现方式,在本申请第二方面第六种可能的实现方式中,计算单元,具体用于:
对三维表面结构数据的伤口区域所有点云,向参考B样条曲面进行投影,得到伤口区域的投影曲面;
基于投影曲面,计算伤口的长L、伤口的宽B和伤口的深H,
伤口的长L采用下式计算:
L=max||Pi-Pj||,
其中,Pi和Pj为位于投影外包凸多边形上的点的位置,L表示伤口投影的长轴,
伤口的宽B采用下式计算:
B=max||Pi-Pj||,vec(Pi,Pj)⊥L,
其中,B为投影外包凸多边形上和长轴垂直的最大距离,
伤口的深H采用下式计算:
H=max||Pi 3d-P(u,v)||,
其中,Pi 3d表示伤口区域的点云位置,||Pi 3d-P(u,v)||表示Pi 3d到参考B样条曲面的距离。
第三方面,本申请提供了一种伤口扫描仪,包括处理器和存储器,存储器中存储有计算机程序,处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出,本申请具有以下的有益效果:
针对于伤口评估的测量需求,本申请基于伤口扫描仪,获取拍摄伤口所得到的初始3D点云数据,接着基于预先配置的伤口区域分割模型,对该初始3D点云数据进行伤口区域分割处理,并得到伤口的目标3D点云数据,再基于该目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据,此时对该三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数,在这伤口扫描的自动化处理过程中,从点云图像处理层面出发,为伤口评估工作提供了一套显著提高应用上的便捷性的伤口扫描方案,不仅实现了自动化的伤口扫描目标,且也可以保障处于高水平的测量精度,可以很好地满足临床需要。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请伤口扫描方法的一种流程示意图;
图2为本申请伤口扫描仪的一种结构示意图;
图3为本申请伤口扫描方法的一种场景示意图;
图4为本申请伤口扫描装置的一种结构示意图;
图5为本申请伤口扫描仪的又一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的伤口扫描方法之前,首先介绍本申请所涉及的背景内容。
本申请提供的伤口扫描方法、装置以及计算机可读存储介质,可应用于伤口扫描仪,为伤口评估工作提供了一套显著提高应用上的便捷性的伤口扫描方案,不仅实现了自动化的伤口扫描目标,且也可以保障处于高水平的测量精度,可以很好地满足临床需要。
本申请提及的伤口扫描方法,其执行主体可以为伤口扫描装置,或者集成了该伤口扫描装置的伤口扫描仪,伤口扫描仪是以硬件设备的形式配置的,主要是在现场为医护人员提供伤口扫描服务,进行自动化且高精度的伤口扫描工作。
下面,开始介绍本申请提供的伤口扫描方法。
首先,参阅图1,图1示出了本申请伤口扫描方法的一种流程示意图,本申请提供的伤口扫描方法,其用来应用在伤口扫描仪所负责的伤口扫描工作的过程中,具体可包括如下步骤S101至步骤S104:
步骤S101,获取拍摄伤口所得到的初始3D点云数据;
可以理解的是,本申请所涉及的伤口扫描工作,是从自动化的数据处理层面出发的,并且具体是基于3D点云所展开的,也因此,首先就是要通过相关的3D点云采集装置,来从患者的伤口处进行3D点云的采集,得到可以投入后续数据处理的3D点云数据(所采集的3D点云的集合),为方便指代,将此处获取的3D点云数据记为初始3D点云数据。
此外,值得注意的是,对于此处初始3D点云数据的获取处理,既可以是现成数据的获取处理,例如从本地或者其他设备处调取数据,也可以是数据的实时处理,即通过自身或者外部的3D点云采集装置直接采集3D点云,这是可以随本申请伤口扫描仪在实际情况中配置的设备形式/工作模式进行适配性调整的。
作为一种示例性的实现方式,本申请所涉及的伤口扫描仪,本身可以配置有可以提供3D点云采集功能的三维扫描仪或者深度相机,在该情况下,此处步骤S101获取拍摄伤口所得到的初始3D点云数据的过程中,则可以包括:
通过伤口扫描仪自身配置的三维扫描仪或者深度相机,拍摄伤口并得到初始3D点云数据。
可以理解,若是在伤口扫描仪内部直接搭载了三维扫描仪或者深度相机,则在实际应用中起到软硬件高度集成化的特点,通过一体化的设备组成结构,有利于医护人员等用户不用关注除了调整3D点云采集范围以外的设备控制工作,起到高度便捷的效果,保障用户的使用体验。
在具体应用中,一般可以由患者将伤口所在部位暴露在设备所能采集3D点云的空间位置/范围,或者由工作人员调整设备所能采集3D点云的空间位置/范围(一般是调整设备或者3D点云采集装置的所处空间姿态),随实际情况还有设备的具体设备形式进行灵活性调整即可。
步骤S102,基于预先配置的伤口区域分割模型,对初始3D点云数据进行伤口区域分割处理,并得到伤口的目标3D点云数据,其中,伤口区域分割模型是预先通过标注有对应分割结果的样本伤口的3D点云数据训练初始模型得到的;
在获得的所要测量的伤口的初始3D点云数据后,则可以开始进行本申请为伤口扫描工作所配置的3D点云处理。
此处是从优化点云的角度考虑的,更具体来说,是要尽可能删除伤口以外的无效点云,尽可能保留下伤口本身的3D点云,所以此处的处理可以用基于3D点云的伤口区域分割处理来理解。
对此,本申请则是引入了神经网络模型的应用,通过人工智能(ArtificialIntelligence,AI),交由训练好的伤口区域分割模型来对初始3D点云数据自主完成高效的、精确的伤口区域分割处理,输出每点的分类概率(即是伤口区域还是非伤口区域的概率),如此可以从初始的3D点云中根据预测结果分割出只属于伤口的3D点云。
对应于此处模型的应用,本申请在前期还可以涉及到模型的训练环节,具体来说,需要工作人员配置样本伤口的3D点云数据,并标注有对应分割结果供参考,再依次送入初始模型进行伤口区域分割处理,实现正向传播,接着根据模型输出的预测结果计算损失函数,并根据损失函数计算结果优化模型参数,实现反向传播,如此当达到训练时长、训练次数、识别精度等训练要求时,则可以完成模型的训练,此处的模型作为伤口区域分割模型可以投入实际使用。
此外,在具体应用中,作为又一种示例性的实现方式,本申请所涉及的模型,即上面内容中涉及的初始模型或者伤口区域分割模型,具体可以采用PointNet网络模型的模型架构。
应当理解,此处所称的采用PointNet网络模型的模型架构,既可以理解为直接采用常规的PointNet网络模型,通过其模型架构来进行本申请所需的伤口区域分割处理,也可以是在常规的PointNet网络模型的基础上,继续对其模型架构进行相关的优化,如此实现更高的模型性能。
当然,在具体应用中,也可以采用PointNet网络模型以外模型的模型架构来进行本申请所需的伤口区域分割处理,具体在此进行示例性说明。
此外,对于此处所涉及的模型的应用,本申请还从其处理精度考虑,继续引入了又一优化设置。
作为又一种示例性的实现方式,本申请所涉及的模型,即上面内容中涉及的初始模型或者伤口区域分割模型,还可以配置有人机交互模式来与模型本身的深度学习能力相结合,在该人机交互模式下,供医生通过人机交互软件对模型生成的预测点云进行核对以及修改。
可以理解,通过此处额外配置的人机交互模型,在实际应用中,有助于让医生通过其专业的判断,来实时辅助模型更好地识别伤口区域的3D点云,同时也有助于获得更高精度的伤口区域分割处理结果。
其中,该人机交互模型,既可以用于模型的训练过程中,也可以用于模型的实际使用的过程(即步骤S102的过程)中,如此有助于精确地定位伤口区域。
此外,值得补充的是,本申请对于伤口区域的定义,在具体应用中是随实际情况进行配置的,既可以是只包含伤口本身,也可以是包含伤口还有伤口附近一定距离的区域(伤口附近区域),这里涉及到临床上伤口评估的相关要求,因此本申请不再对其展开说明。
步骤S103,基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据;
在通过伤口区域分割模型得到伤口区域精准的目标3D点云数据后,则可以基于3D点云所反映的空间特征,来进行伤口区域的空间结构重建工作,即进行伤口三维表面结构的重建处理,所还原出来的三维表面结构以三维表面结构数据体现。
对于此处涉及的伤口三维表面结构的重建处理,以前面提及的伤口区域包括包含伤口还有伤口附近一定距离的区域的情况为例,其两个方面的重建处理则可以包括如下内容:
一、伤口本身的三维表面结构重建
对应的,作为又一种示例性的实现方式,此处步骤S103基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据的过程中,具体可以包括以下内容:
在Delaunay方法的三角曲面重建处理的基础上,基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据。
可以理解,Delaunay方法也可以称为Delaunay三角剖分方法,其以拟合局部的三角面片的方式来完成整个曲面的重建,具有高精度、易操作的特点,因此在具体应用中,可以有效的对伤口本身甚至伤口附近区域都有着较佳的三维表面结构重建效果。
二、伤口附近区域的三维表面结构重建
作为又一种示例性的实现方式,步骤S103中伤口三维表面结构的重建处理中涉及的伤口附近区域点云拟合处理,具体可以包括以下内容:
采用B样条曲面对伤口附近的点云进行拟合,得到伤口区域特征参数的参考曲面,其中,曲面方程如下式:
uk≤u≤um+1,vl≤v≤vn+1
其中,Ni,k(u)和Nj,l(v)为B样条曲面的两种基函数,u和v为B样条曲面的参数,di,j为曲面控制点。
可以理解,所处所涉及的B样条曲面,是以B样条基函数的张量积为加权系数对控制顶点网格进行线性组合所构造的曲面,此处是以B样条曲面为基础,通过本申请所配置的一套公式算法,来实现伤口附近区域的三维表面结构的重建处理的一套落地方案。
如此,经过对伤口本身还有伤口附近区域的重建,得到完整的伤口三维表面结构。
步骤S104,对三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数。
而在通过三维表面结构的重建,在数据层面精确还原了患者伤口的真实情况之后,则可以按照伤口评估所需的参数,对三维表面结构数据进行特征参数计算。
容易理解,伤口评估主要是从长、宽和深这三个方面来表征伤口的严重程度的,也因此,此处步骤S104主要可以针对这三者来展开相应的特征参数计算。
作为又一种示例性的实现方式,步骤S104对三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数的过程中,具体可以包括:
对三维表面结构数据的伤口区域所有点云,向参考B样条曲面进行投影,得到伤口区域的投影曲面;
基于投影曲面,计算伤口的长L、伤口的宽B和伤口的深H,
伤口的长L采用下式计算:
L=max||Pi-Pj||,
其中,Pi和Pj为位于投影外包凸多边形上的点的位置,L表示伤口投影的长轴,
伤口的宽B采用下式计算:
B=max||Pi-Pj||,vec(Pi,Pj)⊥L,
其中,B为投影外包凸多边形上和长轴垂直的最大距离,
伤口的深H采用下式计算:
H=max||Pi 3d-P(u,v)||,
其中,Pi 3d表示伤口区域的点云位置,||Pi 3d-P(u,v)||表示Pi 3d到参考B样条曲面的距离。
可以看到,此处是为伤口区域长、宽和深的参数计算,提供了一套具体的落地方案。
此外,应当理解的是,在得到了精确反映了伤口三维结构特征的三维表面结构数据后,除了可以用来计算三维结构特征的基础参数(长、宽和深),还可以用来识别是否存在潜行、窦道、瘘管、皮下脓肿、渗液等伤口症状。或者,还可以用来辅助识别是否存在潜行、窦道、瘘管、皮下脓肿、渗液等伤口症状,此时伤口扫描仪还可以配置相关的分析策略还有必要的传感器,例如气味传感器、温度传感器或者图像传感器(常规拍照使用)等。
当然,此处涉及的如是否存在潜行、窦道、瘘管、皮下脓肿、渗液等伤口症状的分析,或者是否存在气味、温度异常或者渗液的分析,也可以交由伤口扫描仪以外的设备进行处理,这其中是由伤口扫描仪来提供数据支持的。
此外,在此处介绍了伤口扫描仪可以直接内搭三维扫描仪或者深度相机等硬件结构的情况下,本申请还可以对其在实际情况中的具体硬件结构进行示例性介绍。
具体的,本申请所涉及的伤口扫描仪,其具体设备外形可以类似体温枪,包括测量探头和电子视窗这两大部分。
其中,测量探头是为3D点云的采集所配置的,可以扫描伤口提供数据支持,接着通过后续的数据处理/分析工作,自动测量伤口的长度、宽度、深度、温度、有无潜行、窦道、瘘管和皮下脓肿,伤口评估的内容中还可以包括有无气味和渗液,最终还要拍照。
而电子视窗则是从工作的可视化性所配置的,可以同步显示伤口评估的时间、结果等工作过程中涉及的内容。
此外,应当理解的是,若是存在较大规模或者说较为复杂的数据分析需求,本申请伤口扫描仪还可以配置有工作站(如物理主机、服务器、台式机、笔记本电脑等),如此通过伤口扫描仪本体的通信连接,获取数据分析所需的相关数据,即可展开相关的数据分析处理。
作为一个实例,本申请所提供的伤口扫描仪,其具体组成结构可以参考图2示出的本申请伤口扫描仪的一种结构示意图。
此外,从整体来看,上面的内容,主要涉及的4个方面,如图3示出的本申请伤口扫描方法的一种场景示意图所示,具体涉及到伤口扫描预处理、伤口区域点云分割、伤口区域三维重建和伤口特征参数计算。
总的来说,从以上方案内容中可以看出,针对于伤口评估的测量需求,本申请基于伤口扫描仪,获取拍摄伤口所得到的初始3D点云数据,接着基于预先配置的伤口区域分割模型,对该初始3D点云数据进行伤口区域分割处理,并得到伤口的目标3D点云数据,再基于该目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据,此时对该三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数,在这伤口扫描的自动化处理过程中,从点云图像处理层面出发,为伤口评估工作提供了一套显著提高应用上的便捷性的伤口扫描方案,不仅实现了自动化的伤口扫描目标,且也可以保障处于高水平的测量精度,可以很好地满足临床需要。
以上是本申请提供的伤口扫描方法的介绍,为便于更好的实施本申请提供的伤口扫描方法,本申请还从功能模块角度提供了一种伤口扫描装置。
参阅图4,图4为本申请伤口扫描装置的一种结构示意图,在本申请中,伤口扫描装置400具体可包括如下结构:
获取单元401,用于获取拍摄伤口所得到的初始3D点云数据;
分割单元402,用于基于预先配置的伤口区域分割模型,对初始3D点云数据进行伤口区域分割处理,并得到伤口的目标3D点云数据,其中,伤口区域分割模型是预先通过标注有对应分割结果的样本伤口的3D点云数据训练初始模型得到的;
重建单元403,用于基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据;
计算单元404,用于对三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数。
在一种示例性的实现方式中,获取单元401,具体用于:
通过伤口扫描仪自身配置的三维扫描仪或者深度相机,拍摄伤口并得到初始3D点云数据。
在又一种示例性的实现方式中,初始模型或者伤口区域分割模型,采用PointNet网络模型的模型架构。
在又一种示例性的实现方式中,初始模型或者伤口区域分割模型还配置有人机交互模式来与模型本身的深度学习能力相结合,在人机交互模式下,供医生通过人机交互软件对模型生成的预测点云进行核对以及修改。
在又一种示例性的实现方式中,重建单元403,具体用于:
在Delaunay方法的三角曲面重建处理的基础上,基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据。
在又一种示例性的实现方式中,伤口三维表面结构的重建处理中涉及的伤口附近区域点云拟合处理,包括以下内容:
采用B样条曲面对伤口附近的点云进行拟合,得到伤口区域特征参数的参考曲面,其中,曲面方程如下式:
uk≤u≤um+1,vl≤v≤vn+1
其中,Ni,k(u)和Nj,l(v)为B样条曲面的两种基函数,u和v为B样条曲面的参数,di,j为曲面控制点。
在又一种示例性的实现方式中,计算单元404,具体用于:
对三维表面结构数据的伤口区域所有点云,向参考B样条曲面进行投影,得到伤口区域的投影曲面;
基于投影曲面,计算伤口的长L、伤口的宽B和伤口的深H,
伤口的长L采用下式计算:
L=max||Pi-Pj||,
其中,Pi和Pj为位于投影外包凸多边形上的点的位置,L表示伤口投影的长轴,
伤口的宽B采用下式计算:
B=max||Pi-Pj||,vec(Pi,Pj)⊥L,
其中,B为投影外包凸多边形上和长轴垂直的最大距离,
伤口的深H采用下式计算:
H=max||Pi 3d-P(u,v)||,
其中,Pi 3d表示伤口区域的点云位置,||Pi 3d-P(u,v)||表示Pi 3d到参考B样条曲面的距离。
本申请还从硬件结构角度提供了一种伤口扫描仪,其在实现本申请伤口扫描方法所涉及的相关硬件结构,例如三维扫描仪等,已在上面内容中做了说明,下面则是从一个常规硬件设备的角度来对其继续进行硬件方面的说明。
参阅图5,图5示出了本申请伤口扫描仪的又一种结构示意图,具体的,本申请伤口扫描仪可包括处理器501、存储器502以及输入输出设备503,处理器501用于执行存储器502中存储的计算机程序时实现如图1对应实施例中伤口扫描方法的各步骤;或者,处理器501用于执行存储器502中存储的计算机程序时实现如图4对应实施例中各单元的功能,存储器502用于存储处理器501执行上述图1对应实施例中伤口扫描方法所需的计算机程序。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器502中,并由处理器501执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
伤口扫描仪可包括,但不仅限于处理器501、存储器502、输入输出设备503。本领域技术人员可以理解,示意仅仅是伤口扫描仪的示例,并不构成对伤口扫描仪的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如伤口扫描仪还可以包括网络接入设备、总线等,处理器501、存储器502、输入输出设备503等通过总线相连。
处理器501可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是伤口扫描仪的控制中心,利用各种接口和线路连接整个设备的各个部分。
存储器502可用于存储计算机程序和/或模块,处理器501通过运行或执行存储在存储器502内的计算机程序和/或模块,以及调用存储在存储器502内的数据,实现计算机装置的各种功能。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据伤口扫描仪的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器501用于执行存储器502中存储的计算机程序时,具体可实现以下功能:
获取拍摄伤口所得到的初始3D点云数据;
基于预先配置的伤口区域分割模型,对初始3D点云数据进行伤口区域分割处理,并得到伤口的目标3D点云数据,其中,伤口区域分割模型是预先通过标注有对应分割结果的样本伤口的3D点云数据训练初始模型得到的;
基于目标3D点云数据,进行伤口三维表面结构的重建处理,得到伤口的三维表面结构数据;
对三维表面结构数据进行特征参数计算,确定伤口在伤口评估方面所涉及的参数。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的伤口扫描装置、伤口扫描仪及其相应单元的具体工作过程,可以参考如图1对应实施例中伤口扫描方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1对应实施例中伤口扫描方法的步骤,具体操作可参考如图1对应实施例中伤口扫描方法的说明,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1对应实施例中伤口扫描方法的步骤,因此,可以实现本申请如图1对应实施例中伤口扫描方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请提供的伤口扫描方法、装置、伤口扫描仪以及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种伤口扫描方法,其特征在于,所述方法包括:
获取拍摄伤口所得到的初始3D点云数据;
基于预先配置的伤口区域分割模型,对所述初始3D点云数据进行伤口区域分割处理,并得到所述伤口的目标3D点云数据,其中,所述伤口区域分割模型是预先通过标注有对应分割结果的样本伤口的3D点云数据训练初始模型得到的;
基于所述目标3D点云数据,进行所述伤口三维表面结构的重建处理,得到所述伤口的三维表面结构数据;
对所述三维表面结构数据进行特征参数计算,确定所述伤口在伤口评估方面所涉及的参数。
2.根据权利要求1所述的方法,其特征在于,所述获取拍摄伤口所得到的初始3D点云数据,包括:
通过所述伤口扫描仪自身配置的三维扫描仪或者深度相机,拍摄所述伤口并得到所述初始3D点云数据。
3.根据权利要求1所述的方法,其特征在于,所述初始模型或者所述伤口区域分割模型,采用PointNet网络模型的模型架构。
4.根据权利要求3所述的方法,其特征在于,所述初始模型或者所述伤口区域分割模型还配置有人机交互模式来与模型本身的深度学习能力相结合,在所述人机交互模式下,供医生通过人机交互软件对模型生成的预测点云进行核对以及修改。
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标3D点云数据,进行所述伤口三维表面结构的重建处理,得到所述伤口的三维表面结构数据,包括:
在Delaunay方法的三角曲面重建处理的基础上,基于所述目标3D点云数据,进行所述伤口三维表面结构的重建处理,得到所述伤口的所述三维表面结构数据。
6.根据权利要求1所述的方法,其特征在于,所述伤口三维表面结构的重建处理中涉及的伤口附近区域点云拟合处理,包括以下内容:
采用B样条曲面对所述伤口附近的点云进行拟合,得到伤口区域特征参数的参考曲面,其中,曲面方程如下式:
uk≤u≤um+1,vl≤v≤vn+1
其中,Ni,k(u)和Nj,l(v)为B样条曲面的两种基函数,u和v为所述B样条曲面的参数,di,j为曲面控制点。
7.根据权利要求6所述的方法,其特征在于,所述对所述三维表面结构数据进行特征参数计算,确定所述伤口在伤口评估方面所涉及的参数,包括:
对所述三维表面结构数据的伤口区域所有点云,向参考B样条曲面进行投影,得到伤口区域的投影曲面;
基于所述投影曲面,计算所述伤口的长L、所述伤口的宽B和所述伤口的深H,
所述伤口的长L采用下式计算:
L=max||Pi-Pj||,
其中,Pi和Pj为位于投影外包凸多边形上的点的位置,L表示伤口投影的长轴,
所述伤口的宽B采用下式计算:
B=max||Pi-Pj||,vec(Pi,Pj)⊥L,
其中,B为所述投影外包凸多边形上和长轴垂直的最大距离,
所述伤口的深H采用下式计算:
H=max||Pi 3d-P(u,v)||,
其中,Pi 3d表示所述伤口区域的点云位置,||Pi 3d-P(u,v)||表示Pi 3d到所述参考B样条曲面的距离。
8.一种伤口扫描装置,其特征在于,所述装置包括:
获取单元,用于获取拍摄伤口所得到的初始3D点云数据;
分割单元,用于基于预先配置的伤口区域分割模型,对所述初始3D点云数据进行伤口区域分割处理,并得到所述伤口的目标3D点云数据,其中,所述伤口区域分割模型是预先通过标注有对应分割结果的样本伤口的3D点云数据训练初始模型得到的;
重建单元,用于基于所述目标3D点云数据,进行所述伤口三维表面结构的重建处理,得到所述伤口的三维表面结构数据;
计算单元,用于对所述三维表面结构数据进行特征参数计算,确定所述伤口在伤口评估方面所涉及的参数。
9.一种伤口扫描仪,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的方法。
CN202310440399.4A 2023-04-21 2023-04-21 一种伤口扫描方法、装置以及伤口扫描仪 Pending CN116649953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310440399.4A CN116649953A (zh) 2023-04-21 2023-04-21 一种伤口扫描方法、装置以及伤口扫描仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310440399.4A CN116649953A (zh) 2023-04-21 2023-04-21 一种伤口扫描方法、装置以及伤口扫描仪

Publications (1)

Publication Number Publication Date
CN116649953A true CN116649953A (zh) 2023-08-29

Family

ID=87708764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310440399.4A Pending CN116649953A (zh) 2023-04-21 2023-04-21 一种伤口扫描方法、装置以及伤口扫描仪

Country Status (1)

Country Link
CN (1) CN116649953A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115391A (zh) * 2023-10-24 2023-11-24 中科云谷科技有限公司 模型更新方法、装置、计算机设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115391A (zh) * 2023-10-24 2023-11-24 中科云谷科技有限公司 模型更新方法、装置、计算机设备及计算机可读存储介质
CN117115391B (zh) * 2023-10-24 2024-01-12 中科云谷科技有限公司 模型更新方法、装置、计算机设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11783480B2 (en) Semi-automated system for real-time wound image segmentation and photogrammetry on a mobile platform
Jørgensen et al. Methods to assess area and volume of wounds–a systematic review
US11337612B2 (en) Method and system for wound assessment and management
CN110458830B (zh) 图像处理方法、装置、服务器及存储介质
Sirazitdinova et al. System design for 3D wound imaging using low-cost mobile devices
CN110443802B (zh) 图像检测方法和装置、设备及存储介质
Mirzaalian Dastjerdi et al. Measuring surface area of skin lesions with 2D and 3D algorithms
US11749399B2 (en) Cross section views of wounds
US20220101034A1 (en) Method and system for segmenting interventional device in image
CN115170629A (zh) 一种伤口信息获取方法、装置、设备及存储介质
CN102138161A (zh) 长轴后期增强心脏mri的分割
CN116649953A (zh) 一种伤口扫描方法、装置以及伤口扫描仪
CN110175503A (zh) 长度获取方法、装置、保险理赔系统、介质及电子设备
CN113706473A (zh) 超声图像中病灶区域的长短轴确定方法和超声设备
Jørgensen et al. Monitoring wound healing of diabetic foot ulcers using two-dimensional and three-dimensional wound measurement techniques: a prospective cohort study
Khong et al. Evaluating an iPad app in measuring wound dimension: a pilot study
Naraghi et al. Mobile phone-based evaluation of latent tuberculosis infection: Proof of concept for an integrated image capture and analysis system
Malian et al. Development of a robust photogrammetric metrology system for monitoring the healing of bedsores
Barbosa et al. Accurate chronic wound area measurement using structure from motion
Malian et al. Medphos: A new photogrammetric system for medical measurement
IL262027A (en) System and methods for diagnostic image processing and image quality assessment
WO2021103048A1 (zh) 测量肌肉肌纤维束线斜率和羽状角的方法及终端设备
CN116206733B (zh) 一种眼底图像的影像云平台评估方法及系统
Billa Development of an Ultra-Portable Non-Contact Wound Measurement System
CN112950582A (zh) 一种基于深度学习的3d肺部病灶分割方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination