CN107106020A - 用于分析并且传输与哺乳动物皮损病有关的数据、图像和视频的系统与方法 - Google Patents

用于分析并且传输与哺乳动物皮损病有关的数据、图像和视频的系统与方法 Download PDF

Info

Publication number
CN107106020A
CN107106020A CN201580059317.5A CN201580059317A CN107106020A CN 107106020 A CN107106020 A CN 107106020A CN 201580059317 A CN201580059317 A CN 201580059317A CN 107106020 A CN107106020 A CN 107106020A
Authority
CN
China
Prior art keywords
image
wound
dermopathic
analysis
iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580059317.5A
Other languages
English (en)
Inventor
乔舒亚·比德曼
凯文·P·基娜安
加布里埃尔·A·布拉特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Organizational Analysis Co Ltd
Original Assignee
Organizational Analysis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Organizational Analysis Co Ltd filed Critical Organizational Analysis Co Ltd
Publication of CN107106020A publication Critical patent/CN107106020A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Dermatology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

在关注点处使用作为数据收集引擎的移动装置来部分地收集并且分析表征了哺乳动物皮损病的数据、图像和视频。该装置建立与其中信息被存储在数据库中的服务器的通信。服务器具有应用了图形处理与分析技术的图像分析部件,图像处理与分析的结果被报告给初始数据收集引擎并且在用户可以查看数据及数据中的趋势的中央门户网站处是可用的。中央门户网站配备有计费单元与用户通过其可以生成报销请求的门户。系统具有基于数据库中的数据产生预测的预测分析部件,并且预测皮损病的可能发展。预测分析还可以对于中央门户网站的用户可用。

Description

用于分析并且传输与哺乳动物皮损病有关的数据、图像和视 频的系统与方法
相关申请的交叉引用
本申请要求于2014年10月29日提交的美国临时专利申请SN 62/069,972与2014年10月29日提交的美国临时专利申请SN 62/069,993的优先权,其申请通过引用整体包含在此。
技术领域
本发明用于开发一种以下系统,其捕获在关注点处的人类皮损病的数据、一个或多个图像以及视频;以自动化方式来分析一个或多个图像与视频;并且将具有分析结果的数据、一个或多个图像和视频发送至中央位置。
背景技术
为了测量皮肤病的状态,从业者目前依赖标尺的使用或肉眼近似。研究已经示出针对慢性创伤的特定病状,这些技术具有45%的误差。(参见,Measuring wound length,width,and area:which technique?Langemo,Anderson,Hanson,Hunter,Thompson,Advances in Skin&Wound Care,January 2008,21(1):42-451879-1882)。
此外,文献报告了这些技术具有评估者间的误差,即发生在测量相同病状的两个分离个体之间的16-50%的误差。(参见,Reproducibility of Current Wound SurfaceMeasurement,Koel,Gerard,and Frits Oosterveld,European Wound ManagementConference Proceeding(2008))。该数字被以下事实提高,具有皮肤病的患者常常具有被各种各样的供应商以各种各样的设置提供给他们的照看。所有这些使供应商精确地追踪这些病状的纵向发展变得非常困难。
为了解决该问题,已经开发了一些现有的装置或系统。由WoundMatrix开发的移动创伤管理工具(Mobile Wound Management Tool)将关注点的智能手机应用与服务器托管的网络环境组合以解决供应商不能够适当地用文件记录创伤并且追踪随着时间变化的能力。然而,WoundMatrix的系统没有提供先进的且自动化的分析以使测量标准化并且相反依靠供应商的判断来手动执行这些测量。附加地,该方法仍要求标尺的出现以进行这些测量。最后,尽管WoundMatrix确实获取到关于患者的身体上的创伤的位置的信息,但是其没有聚集关于患者的治疗方法的其他方面的信息并且因此不能够帮助供应商检测当前治疗方法的疗效。
Healogram提供一种收集在关注点处的患者相片与数据并且将该信息中继至中央门户处(centralized portal)的临床医生的系统。Healogram在拍摄新图像之前还通过在照相机屏幕上覆盖创伤的旧图像来提供纵向追踪能力。然而,类似于WoundMatrix,Healogram不具有自动化图像分析能力并且不直接提高创伤测量结果与特征的精确性。Healogram相反集中于有效的照看协调性与患者的顺应性。
最近,已经利用其Silhouette系统开发了来自总部位于新西兰的公司Aranz的基于图像的测量。Silhouette的系统包括用于使用红外线(IR)与可见光范围两者中的数据来测量比如创伤的皮肤病的智能软件。部分地由于其对IR数据的依赖性,Silhouette系统的整体花费接近于6000美金,并且因此在临床设置中还没有广泛地被采纳。
另一基于图像的测量系统是由MobileHealthWare开发的WoundMAPPUMP。该装置依赖紧挨着创伤的标尺的放置并且允许个体手动定位皮肤病的边缘并且将它们与标尺上的尺寸比较。该系统遭受与利用标尺来测量皮肤病相同的缺陷,这是因为其将皮肤病近似为正方形。
尝试改进文档记录的另一系统是由Telemedicine,LLC开发的WoundRounds。WoundRounds是具有与电子病例(EMR)集成以促进设施内的创伤文档记录的能力的单独装置。像先前所描述的解决方案一样,该系统不具有改进的且自动化图像分析能力。附加地,解决方案依赖笨重的装置并且因此在设置上不适合供在创伤诊所外部的患者使用。
存在收集皮肤病的相片但是不包括向中央位置进行相片传输、也不包括图像分析能力的其他智能手机应用。这样的应用的示例包括First Derm,其在收集相片时提供匿名皮肤病学装置;以及Doctor Mole,其是基于在关注点处拍摄的相片来评估痣并且确定它们是否是癌的app。这些应用都不提供相片传输平台,它们也不具有视频分析能力。
最后基于图像的测量系统是由HealthPath开发的移动创伤分析仪(Mobile WoundAnalyzer)(MOWA)。这是分割皮肤病内的组织的移动系统。然而,该系统不具有边缘检测能力,并且依赖用户手动检测并且示出皮肤病的边缘。
此外,在收集数字图像的装置没有任何外部附件的情况下,不存在用于执行皮肤病的血流分析以及完全3D重建的商业方法。最后,没有其他现有的商业应用拥有用于始终地纵向地追踪皮肤病的图像的完全装置不可知论方式。
发明内容
本公开不限于所描述的特定系统、装置与方法,这是因为这些可以改变。本描述中所使用的术语是仅出于描述特定版本或实施例的目的,并且不意图限制范围。
如本文档中所使用的,单数形式“一”、“一个”与“该”包括复数引用除非上下文另外清楚地指示。除非另外限定,本文所使用的所有科技与科学术语具有与本领域的常规技术人员通常理解的相同的含义。在本文档中的任何内容均不得被解释为承认本文档中所描述的实施例借助先前的发明而无权提前这样的公开。如本文档中所使用的,术语“包括”意为“包括,但不限于”。
在一大体方面,实施例公开了收集关于在关注点处的人类皮损病(包括但不限于慢性创伤、急性创伤、烧伤、损伤、疤痕、牛皮癣、湿疹、粉刺、黑素瘤、红斑痤疮、疥疮、癌、白癜风、心律失常、皮炎、角化病、蚊虫叮咬、皮疹、癫痕瘤、狼疮、疱疹、蜂窝组织炎与淋病)的图像、视频与数据的系统或方法。
在另一大体方面,实施例公开了一种用于使用设置的参照物来测量具体皮肤病的表面面积并且表征由皮肤病的发作而诱发出现的精确组织的方法。该系统由拥有与正被分析的图像相同的皮肤病的图像的数据库组成。
在另一大体方面,实施例公开了分析前面提到的图形与视频的系统或方法。所提供的分析的类型包括前面提到的分析,其包括皮肤病以及皮肤病周围区域的皮肤病血流(灌注)剖面的表面面积、组织组成以及导致总体积计算的皮肤病的3D重建。
在另一大体方面,实施例公开了将经分析的图像和视频以及相关联的患者数据传送至中央位置使得其可以被专家分析的系统或方法。
在另一大体方面,实施例公开了用于在中央门户处、优选地在万维网上显示图像与视频分析的输出中的趋势的系统。
在另一大体方面,实施例公开了在中央门户处将图像和视频数据与关于患者的治疗的数据关联的系统或方法,以及用于在该中央门户处显示该关联的输出以通知临床决策的方法。
在另一大体方面,实施例公开了一种用于允许个体x通过使用来自激光多普勒成像装置(Laser Doppler Imaging device)的现有数据来通知系统所拥有的表征皮肤病的灌注的能力。
附图说明
图1示出用于包括关注点数据收集装置、图像分析节点、服务器托管的数据库与中央门户的整个系统的示例流程。
图2示出用于优化图像预处理并且使图像配准标准化的系统的图像采集硬件的定制与调整。
图3示出被放置在紧挨着被拍摄的皮肤病的示例对象,使得所述对象可以被表示为图像中的地面真值。
图4示出用于通过使用先前提到的参照物的已知参数来使图形配准标准化的示例流程。
图5示出用于采集皮肤病的精确边缘与组织组成并且针对这些字段计算精确值的方法的示例流程。
图6示出用于将不同的边缘检测机制组合以用于识别精确皮肤病边界并且用于分割所述皮肤病内的组织的方法的示例流程。
图7示出皮肤病的3D重建的示例结果的截屏(在顶部处被画出的)。
图8示出皮肤病的灌注监测的示例结果的截屏。
图9示出用于收集关于在关注点处的患者皮肤病的数据、图像与视频、将该信息发送到中央位置并且撤回信息后处理的系统的示例流程。
图10示出其中供应商可以查看患者的皮肤病的纵向发展的门户网站的示例设计。
图11示出允许供应商对使用门户网站开账单的部件的示例设计的截屏。
图12示出处理数据库处的数据并且提供预测分析的系统部件的示例流程。
具体实施方式
如本文所使用的,术语“皮肤病”或“皮损病”指代但不限于慢性创伤、急性创伤、烧伤、损伤、疤痕、牛皮癣、湿疹、粉刺、黑素瘤、红斑痤疮、疥疮、癌、白癜风、心律失常、皮炎、角化病、蚊虫叮咬、皮疹、癫痕瘤、狼疮、疱疹、蜂窝组织炎与淋病。
如本文档所使用的,术语“图像”或“医学图像”指代如上面所描述的皮肤病的电磁图像。
如本文档所使用的,术语“患者”或“受体”指代会被分类为哺乳动物的任何受体。
如本文档所使用的,术语“视频”描述迅速连续收集到的如上面所描述的图像的集合。
如本文档所使用的,术语“分析”或“图像分析”描述皮肤病的边缘的自动检测、皮肤病的总面积计算、皮肤病内的组织的分割与皮肤病内的组织的分割分析。
如本文档所使用的,术语“视频分析”描述在皮肤病中与在其周围的灌注的分析以及包括深度和体积计算的皮肤病的3D重建。
如本文档所使用的,术语“数据收集引擎”描述能够聚集图像和视频的在任何移动装置上的应用。该清单包括针对移动电话与平板的应用。
本发明涉及一种用于收集数据、相片与视频并且将它们发送到中央位置的包括了移动电话部件、服务器部件与基于网络的部件的方法或系统。
相片与视频被存储在图1中的安全服务器存储区域104中,从那里它们被托管在图1中的中央门户112上。
系统提供图1中的一个或多个服务器节点102以执行由图1中的关注点数据收集引擎100收集到的图像与视频的自动化图像分析以及视频分析。该分析然后与适当的图像以及视频被发送到图1中的中央门户网站108。
系统包括图1中的数据库或数据结构104,其集合了由数据收集引擎100收集到的患者数据并且将数据与由100收集到的并且存储在104中的适当的视频和图像匹配。
该图像可以被具有收集图像的能力的任何装置采集。对于被所描述的系统分析的图像不存在分辨率要求。
系统在分析图像或视频之前收集手动、人力输入的集合。这些输入包括不能使用数字图像来收集的创伤的方面,包括但不限于引流、气味和疼痛。
图像捕获装置配备有图2中的软件包200,其能够调整硬件以优化图像采集与配准。
尽管图像采集部件不要求闪光灯能力,但是如果图像采集部件具有这些能力,那么图2中的软件包200自动采集一对图像(有闪光灯的一个图像以及没有闪光灯的一个图像),如图2的206-210中那样。
如果如图2的204中那样适用,则图2中的软件包200还能够检测装置加速计输出,并且仅当用户运动在某个阈值以下才会采集图像,因此如图2的212中的强加了稳定性。
尽管图像分析系统不需要任何用户输入,但是系统提供图9的914的图像上创建边界框的能力以提供地面真值(ground truth)的前景-背景预处理。
一旦图像被采集,如图5的502中所示,预处理步骤的集合就发生。该预处理过程包括利用小的、圆形结构元件来进行图像的腐蚀、平滑与膨胀以平滑图像并且移除形状伪影。
图3中的参照物300允许地面真值参数归一化。使用如图4的400-404中所示的自适应颜色阈值与离心率检测的级联以自动方式来在图像的帧中检测参照物。
由于先前提到的参照物具有已知的不变的青-品红-黄-键(CMYK)值,因此颜色一致性算法可以被应用到创伤图像以如图4的410和418中的使所配准的光标准化。这些颜色一致性算法包括但不限于Bradford色度自适应变化(Bradford CAT)、Von Kries算法、白平衡与锋锐变换(Sharp Transform)。
闪光灯-没闪光灯(flash-no-flash)图像对通过如图4的408中的改变图像对的聚合的比例参数来使YCbCr颜色空间的均值标准化而允许自动化亮度校准。图像对还通过使用如图4的414中的图像对的组合输出来执行联合双边滤波器以允许图像降噪。
图3的参照物300由于先前提到的参照物的不变的尺寸而允许距离归一化。知道了在所采集的图像中的皮肤病的相对尺寸与参照物的尺寸两者,皮肤病的真实尺寸可以通过比如在数字平面几何中进行的将皮肤病的掩膜内的像素除以参照物的掩膜内的像素并且将该比率乘以参照物的真实尺寸而被计算。像参照物一样的创伤掩膜以完全自动化形式被发现,其将在随后部分中被描述。
由于先前提到的对象的不变的形状,所以图3的参照物300允许照相机角度校正。具体地,在所述参照物的长短轴之间的不变的、地面真值比率允许软件在配准之前对完整图像执行如图4的416中的仿射变换。该变换使被配准的图像的角度标准化,而不管在最初收集图像时的照相机的用户限定的角度如何,因此避免了在真实数据值计算中的任何基于角度的误差。
图3的参照物300允许闪光灯的与非闪光灯的图像的图4的自动对齐408来移除运动伪影。
图5中的系统包括决策树,借以皮肤病基于预定的类别的集合而被分类。图5的决策树506-510的每一个节点可以是二进制或非二进制分类问题。在决策树中的分类包括创伤是否是“亮的”或“暗的”、就纵横比而言的病状大体形状以及在前景(皮肤病)与背景(健康的或完整的皮肤)之间的对比的水平。可以使用许多已良好建立的监督分类算法来对这些决策进行建模,包括但不限于支持向量机(Support Vector Machines(SVM’s))、软SVM’s、Bayesian分类器、神经网络、稀疏神经网络、最近的邻近分类器、多项逻辑回归(multinomial logistic regression)以及线性回归。基于当前数据,可以看出软SVM分类器工作的最好。当有关数据的某个阈值被系统累积到5000张以上的图像时,可以使用无监督分类算法来对这些决策进行建模,包括但不限于谱聚类、均值偏移、自动编码器或深度信念网络。
一旦皮肤病已经被分类,就应用如由图5中的512-518所描述的与如由图6中的600-610进一步所描述的边缘检测方法的专家系统。在系统的该部分中,对包括RGB、HSV、YCbCr、纹理与范围的图像参数在图像上并行地运行不同的已良好建立的边缘检测方法的全体。全体由“主人方法(master method)”602引领并且后面跟着“仆人方法(servantmethod)”604-610的集合。主人方法602比仆人方法604-610中的每一个被应用了更多的时间,并且主人方法的选择被如图5的决策树506-510中所描述的皮肤病的分类支配。
涉及水平集的演变的边缘检测的任何方法从不同的初始空间坐标都被初始化,以便提供方法之间的结果的可变性。所述初始化的方法允许不同的水平集方法根据不同的基于图像的梯度进行演变,因此将变化强加到基于水平集的结果上。该不同被初始化的水平集的组合降低了与初始水平集的选择相关联的随机元素。
如图6中所描述的,详细描述的被应用到创伤的边缘检测的方法包括在皮肤病外部被初始化的距离正则化水平集演化(DRLSE)、在皮肤病内部被初始化的DRLSE、在皮肤病外部被初始化的Chan Vese、在皮肤病内部被初始化的ChanVese、K均值算法、软K均值算法、梯度矢量流(GVF)活动轮廓或简单GVF、几何活动轮廓(Geometric Active Contours)、模糊边缘检测(Fuzzy Edge)、grabCut、gPb-owt-ucm、Curfil与卷积神经网络。
一旦主人方法602与仆人方法604-610中的每一个是完整的,图6中的协定功能612就被应用到图6中的边缘检测方法的已组合的输出。该协定功能612采用先前提到的边缘检测方法创建的像素掩膜中的每一个的被加权的投票。在投票期间被分配给边缘/边界检测方法中的每一个的权重基于皮肤病的一阶与二阶特征而被分配,这是因为它们与图像训练集有关。
其次,系统使用图5中的522无监督聚类技术来将创伤分割成不同的离散区域。该过程涉及使用包括K均值聚类、软K均值聚类与分水岭变换(Watershed Transformation)的分割算法。分割使用包括RGB、HSV、纹理、范围与梯度直方图的图像参数。
分割算法的输出是在最初被分割的掩膜内的一系列子掩膜。每一个子掩膜然后如图5的524中的使用k个装袋的神经网络被分类,其中k是在50到100之间的整数。被分类的组织类型包括肉芽、蜕皮、坏死、上皮细胞、焦糖化组织、骨质、腱、水泡、硬皮、皮疹、隧道、破坏与引流。使用图3中的参照物300,该方法能够计算在皮肤病内的不同组织的每一个组织的百分比组成及这些区域中的每一个区域的面积。
此外,系统还包括用于创建由图7中702-706所示的2D表面的3D重建的方法。该方法涉及拍摄皮肤病的表面的短视频,其中比如图3中的300的参照物处于视频的每一个帧中。
系统使用被Tnio.inc外部开发的软件以通过使用比如参照物的各个表面特征来执行视频中所捕获的各个帧的镶嵌以促进该3D拼接来重建皮肤病的3D表面702-706。
在构建皮肤病的3D表面之后,如图7的702中清楚地示出的,在基底下的3D表面的边缘、即从地平面切片的“深度”边缘可以使用如图5中所描述的相同的过程而被检测到。使用来自图3的参照物300的平面尺寸,可以计算3D表面的各个部分的实际深度。使用该深度以及先前计算出的病状的表面面积,系统可以提供皮肤病的总体积、区域特异性体积与组织特异性体积(即,组织的深度)的值。
系统还包括用于识别如由图8的800-802所示的皮肤病与邻近皮肤病的区域的灌注、或血流、剖面的方法。
该方法涉及使用先前提到的皮肤病的视频并且执行在所采集的视频中的连续帧中的每一个的时间超像素分析与空间分解。一旦该分析的输出被放大,皮肤病与皮肤病周围区域的血流就可以如图8的802中的被可视化。系统允许该视觉输出的步速手动被调整。
系统还包括用于利用对相同区域的激光多普勒图像(Laser Doppler Image)进行经分析的灌注来校准区域的模块。在该过程中,通过评估包括RGB、HSV、纹理与范围的区域参数并且将这些值与激光多普勒图像的相对灌注单元(RPU)剖面比较来分析个体帧的每一个帧的颜色剖面。每次区域手动地被分析,数据就被汇集并且被存储在数据库中。每次新相片被分析,系统就适当地查询数据库并且将RPU值分配给如图8中的802所示的图像的每一个区域。
软件的前端是关注点数据收集引擎,其允许用户使用如图9的904中的基于证书的认证来登录。针对该数据收集引擎的选项包括移动电话、平板电脑以及与使用便携式或非便携式工作站的计算机组合的数字照相机。
可以是护士、助手、医师或患者的关注点用户然后可以通过如图9中的906中的阅读脚本并且输入他们的数字签名来收集患者的同意。先前提到的供应商然后基于包含与具体皮肤病有关的信息的下拉菜单来更新字段以收集基本的患者信息。尽管该数据没有直接有助于先前提到的图像分析,但是一旦其被收集,其就在数据库中被挖掘以用于将来的患者追踪。
为了给予用户精确地报告皮肤病的位置的能力,数据收集引擎的一个屏幕配备有如图9中的910中所示的哺乳动物身体的3D、可旋转图像。一旦区域手动地被选择,该区域就变得高亮。该选择被给予人类可读标签并且被发送到图1中的安全存储区域104,安全存储区域104与适当的患者信息匹配并且最终由图1中的中央的、普遍可访问的基于网络的门户112访问。
用户能够使用如图9中的912-916与918-922所示的数据收集引擎来采集皮肤病的图像与视频。在拍摄图像之后,用户被给予在皮肤病周围的图9中的914绘画框的选项以引导图像分析。
软件还提供用于在拍照装置上覆盖来自先前遭遇的皮肤病的半透明的图像以促进图像采集并且追踪病状的选项。
针对视频捕获,收集10秒的可见光视频。在视频被拍摄之后,数据收集引擎将视频捕获的输出中继回用户。该过程取决于离散区域的数量而被重复,其受用户期望对其捕获并且分析的皮肤病而影响。用户能够在图9的“发送数据页面”928上在文档系统的最后处附有条件地添加由先前提到的皮肤病所影响的离散区域。
用户还具有如图9的924-926中的报告患者治疗信息、患者皮肤病特征与任何其他说明的机会。当用户按压图9中的最后页面928上的“发送报告”时,在图9中的912-916之间收集的患者图像数据、在图9中的918-922之间收集的视频数据以及与在图9的910中收集的阴影3D绘图相关联的标记发送到图1中的安全存储区域104。在图9中,关于患者的信息同时被发送到数据库104、具体地106。另外,关于患者的信息自动地被编译成可移植文档格式(PDF)文档并且自动地被发送电子邮件到图9的904中指定的电子邮箱。被发送到安全存储区域的图像与视频数据通过服务器部件与其对应的患者数据匹配。
一旦图像与视频数据到达图1中的安全存储区域104,图1中的图像分析节点102就对存储区域中的图像与视频自动执行先前提到的分析。该分析的输出包括尺寸与组成特征及指定坐标以用于覆盖映射的元数据。该数据然后被返回至数据收集引擎,使得用户可以检查图像与视频分析的有注释的输出。在元数据输出的情况下,数据收集引擎执行自动图像映射以视觉上显示图像分析的输出。如果用户对图像与视频分析的输出不满意,则其具有再次采集图像与视频的能力。
一旦用户退出数据收集引擎,由用户收集的任何数据就从托管数据收集引擎的装置中自动地且立即被删除。
系统的示例实施例包括图10中所描述的中央门户网站的理想设计,其可以在已经访问了互联网的任何装置(包括但不限于移动电话、便携式与非便携式工作站以及平板电脑)上被访问。
在电话处接收到的所有数据(包括患者数据、图像、视频与分析)在服务器端处被匹配之后,图1中的中央门户网站112访问该信息的所有并且将其视觉上呈现给用户。在中央门户的情况下,潜在用户包括医师、护士、助手或管理员。为了访问中央门户,用户必须由图10中的1000所示被认证。在图9中,认证证书被提供并且安全地被存储在数据库104、具体地106中。
门户网站允许供应商追踪所有其患者的皮肤病的发展。这通过以下进行,在图11的主页1010上提供病状的数字描绘的发展的时间流逝图像序列及描绘了患者的病状的发展的纵向图。
使用先前提到的参照物,以为了标准化并且促进皮肤病的连续查看,软件执行在时间流逝中的每一个图像的自动缩放。这通过以下进行,从针对具体的患者的皮肤病收集的第一图像中收集参照物的实际长度与宽度并且将其存储在像素的单元中,并且针对所述患者的病状的所有图像保持这些值不变。
一旦门户网站被访问,在图10中的1010处用户就可以查看处于用户的关注中的所有患者。用户还已经访问了患者信息(包括患者的姓名、创伤病因学、创伤床上评估、疼痛、气味、压力溃疡阶段、协议与治疗方法、开始照看、医疗保健计划与关注点供应商名字)的丰富深度。该信息的所有被图1中的数据库104适当地分类。
在该阶段处,图像分析与视频分析的输出被显示给图1的中央门户112的用户,并且通过图1中的数据库104与适当的患者匹配。如果不满足如图10的1012中的最初输出,门户还给予用户手动调整图像与视频分析的输出的能力。在主页1010上的数值数据字段然后将对应于用户输入而自动地被更新。用户还可以在图10中的中央门户上直接地更新患者协议与治疗方法以帮助照看的协调。用户还可以如图11的1016中的在中央门户上与其他用户直接地通信。
中央门户的理想实施例具有中央门户的用户可以使用的以用于使用中央门户进行报销的由图11所示的示例计费门户。示例计费门户还包含用户进入关于患者的评估与管理注释的图12中的字段1100。
一旦用户完成了该决策路径1104并且填充了图12中的1102的一个或多个文本字段,门户就基于由中央门户指定的报销代码自动地生成所请求的美国国家标准协会(American National Standards Institute)(ANSI)837消息(包括门户用户的保险信息、患者的医疗保健信息与美元金额)。该ANSI 837消息然后自动地被传送至保险清算所。
中央门户网站的理想实施例然后能够从清算所自动地接收ANSI 835消息,这是因为其与被生成的ANSI 837消息有关。中央门户可以解析由ANSI 835消息提供的信息并且将其传送至图1中的存储其所处的数据库104。
系统的理想实施例包括图12中的示例预测分析引擎1204,其基于图像与视频分析的连续结果对患者发展执行自动化分析并且将该分析与患者治疗数据比较。使用已建立的机器学习算法(包括支持向量机(SVM)、软SVM、神经网络、稀疏神经网络、人造神经网络、决策树、Cox回归与生存分析、逻辑回归、Bayesian分类器以及线性回归)来建造图12中的预测分析引擎1204。预测分析引擎的理想实施例使用与大的策划数据集组合的先前提到的算法中的一个或多个来预测未来患者皮肤病发展并且基于该预测来建议治疗方法。
一旦预测分析被完成,结果就被存储在它们最终适当地被传送至图12中的中央门户网站1208的数据库上,使得中央门户网站的用户可以查看所提供的建议。
本领域的常规技术人员应理解,所公开的技术的上面没有明确描述的至少某些改变仍然被包含在本公开的精神内。因此,本公开的范围延伸至被本领域的常规技术人员所理解的这些改变。

Claims (15)

1.一种用于评估在哺乳动物受体上可视的皮肤病随时间变化的发展的方法,包括:
在连续时间处以连续迭代来获取并且处理所述皮肤病的电磁图像,以根据在所述连续时间的每一个连续时间处的参数值的集合来表征所述皮肤病,其中在所述连续时间处的相应所述参数值的差异表示变化的所述发展;
其中每一个迭代包括在所述受体上在所述皮肤病的区域中放置至少一个视觉参照模型,所述参照模型具有已知的目标视觉特征;
收集所述皮肤病的所述区域的至少一个图像以便获取表示所述皮肤病与所述参照模型两者的视觉记录,其中所述至少一个图像从透视角度和距离被收集,并且在从所述迭代中的一个到另一个至少部分可变的光照条件下被收集;
使表示创伤与所述参照模型两者的所述视觉记录归一化,使得在所述视觉记录中的所述参照模型的图像符合所述参照模型的所述已知的目标视觉特征,由此还使所述视觉记录中的所述创伤的图像归一化;
使用如由此归一化的所述视觉记录中的创伤的图像来比较在所述连续时间处的相应参数值。
2.根据权利要求1所述的方法,其中所述目标视觉特征包括已知形状、已知颜色特征与已知尺寸,并且所述归一化包括变换表示所述创伤与所述参照模型两者的所述视觉记录以产生其中所述参照模型符合所述已知形状、颜色特征与尺寸的归一化视图。
3.根据权利要求2所述的方法,其中所述归一化视图表示所述创伤的所述区域的平面图,具有符合所述目标视觉特征的形状和颜色特征并且具有与所述已知尺寸的已知比例关系。
4.根据权利要求3所述的方法,其中所述颜色特征包括亮度/饱和度/色调特征以及亮度/色差特征中的至少一个。
5.根据权利要求1所述的方法,还包括将如归一化的创伤的图像进行分割,并且针对所述图像的分割部分比较所述相应参数值。
6.根据权利要求1所述的方法,还包括根据取自所述创伤的所述光学图像的至少一个的所选的所述参数值来评估与所述创伤相关联的组织中的血液灌注。
7.根据权利要求6所述的方法,还包括在所述连续迭代中的至少一个迭代期间获取并且处理所述创伤的视频图像并且分析所述视频图像中的多个帧以用于评估所述血液灌注。
8.根据权利要求7所述的方法,其中所述多个帧的所述分析包括时间超像素分析与空间分解。
9.根据权利要求7所述的方法,还包括在连续时间处在所述连续迭代期间再次评估所述血液灌注。
10.根据权利要求1所述的方法,还包括从在所述迭代的至少一个迭代期间获取的所述创伤的多个图像生成所述创伤的三维重建。
11.根据权利要求10所述的方法,其中所述三维重建包括确定所述创伤的表面形貌并且推断组织的深度。
12.一种用于评估在哺乳动物受体上可视的皮肤病随着时间变化的发展的方法,包括:
在连续时间处以连续迭代来获取并且处理所述皮肤病的电磁图像,以根据参数值的集合来表征所述皮肤病,其中相应所述参数值随着时间的差异表示变化的所述发展;
收集所述皮肤病的所述区域的至少一个图像以便在所述连续迭代的每一个迭代处获取表示所述皮肤病的视觉记录,其中所述图像在所述连续迭代处;
至少在所述皮肤病的区域中针对透视角度、距离、亮度与色差使所述连续迭代的图像归一化;
使用如由此归一化的所述视觉记录中的创伤的图像来比较在所述连续时间处的所述相应参数值,以产生具有沿着与所述皮肤病的所述区域的至少部分进行交叉的路径前进的一系列所述参数值的至少一个水平集。
13.根据权利要求12所述的方法,其中所述连续迭代处于不规则的间隔。
14.根据权利要求12所述的方法,包括从不同空间坐标来初始化的多个所述水平集。
15.根据权利要求14所述的方法,包括比较沿着所述多个水平集的值并且基于满足预定标准的所述水平集的阈值数量来区分在创伤之内的面积以及创伤之外的面积。
CN201580059317.5A 2014-10-29 2015-10-26 用于分析并且传输与哺乳动物皮损病有关的数据、图像和视频的系统与方法 Pending CN107106020A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462069972P 2014-10-29 2014-10-29
US201462069993P 2014-10-29 2014-10-29
US62/069,972 2014-10-29
US62/069,993 2014-10-29
PCT/US2015/057344 WO2016069463A2 (en) 2014-10-29 2015-10-26 A system and method for the analysis and transmission of data, images and video relating to mammalian skin damage conditions

Publications (1)

Publication Number Publication Date
CN107106020A true CN107106020A (zh) 2017-08-29

Family

ID=55858516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580059317.5A Pending CN107106020A (zh) 2014-10-29 2015-10-26 用于分析并且传输与哺乳动物皮损病有关的数据、图像和视频的系统与方法

Country Status (3)

Country Link
US (1) US20180279943A1 (zh)
CN (1) CN107106020A (zh)
WO (1) WO2016069463A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109044845A (zh) * 2018-09-29 2018-12-21 河北盛世天昕电子科技有限公司 一种配药余量告警方法及装置
CN109464199A (zh) * 2017-09-07 2019-03-15 西门子医疗有限公司 确定用于调整检查协议的分类数据的方法和数据处理单元
CN110739046A (zh) * 2018-07-18 2020-01-31 安影科技(北京)有限公司 一种多期多参数脑灌注成像平台

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179844B2 (en) 2011-11-28 2015-11-10 Aranz Healthcare Limited Handheld skin measuring or monitoring device
US11961260B1 (en) 2013-03-15 2024-04-16 True-See Systems, Llc System for producing three-dimensional medical images using a calibration slate
US10013527B2 (en) 2016-05-02 2018-07-03 Aranz Healthcare Limited Automatically assessing an anatomical surface feature and securely managing information related to the same
US10753881B2 (en) * 2016-05-27 2020-08-25 Purdue Research Foundation Methods and systems for crack detection
US11116407B2 (en) 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
EP3606410B1 (en) 2017-04-04 2022-11-02 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
US10909680B2 (en) * 2017-08-08 2021-02-02 Med-Compliance Iq, Inc. Method and system for assessing burn wound depth
CN107464230B (zh) * 2017-08-23 2020-05-08 京东方科技集团股份有限公司 图像处理方法及装置
EP3697300A4 (en) * 2017-10-17 2020-10-14 Kronikare Pte Ltd SYSTEM AND METHOD FOR FACILITATING ANALYSIS OF A WOUND IN A TARGET SUBJECT
WO2019148265A1 (en) * 2018-02-02 2019-08-08 Moleculight Inc. Wound imaging and analysis
US11278236B2 (en) * 2018-04-03 2022-03-22 Canfield Scientific, Incorporated Imaging-based methods and apparatuses for assessing skin pigmentation
US11399779B2 (en) * 2018-05-16 2022-08-02 Case Western Reserve University System-independent quantitative perfusion imaging
US10825148B2 (en) * 2018-11-29 2020-11-03 Adobe Inc. Boundary-aware object removal and content fill
US10957043B2 (en) * 2019-02-28 2021-03-23 Endosoftllc AI systems for detecting and sizing lesions
CN110148111A (zh) * 2019-04-01 2019-08-20 江西比格威医疗科技有限公司 一种视网膜oct图像中多种视网膜病灶的自动检测方法
US11176669B2 (en) 2019-04-14 2021-11-16 Holovisions LLC System for remote medical imaging using two conventional smart mobile devices and/or augmented reality (AR)
US12014500B2 (en) 2019-04-14 2024-06-18 Holovisions LLC Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
CN110533651B (zh) * 2019-08-29 2022-04-08 维沃移动通信有限公司 一种图像处理方法及装置
US11923054B2 (en) * 2021-07-21 2024-03-05 Utech Products, Inc. AI platform for processing speech and video information collected during a medical procedure
EP4202946A1 (en) * 2021-12-21 2023-06-28 Bull SAS Method and system for tracking the evolution of a wound
EP4343694A1 (en) * 2022-09-14 2024-03-27 Tata Consultancy Services Limited Artificial intelligence (ai) based method and system for analyzing a wound
CN115661187B (zh) * 2022-12-12 2023-06-02 山东本草堂中药饮片有限公司 用于中药制剂分析的图像增强方法
CN117442190B (zh) * 2023-12-21 2024-04-02 山东第一医科大学附属省立医院(山东省立医院) 一种基于目标检测的创面自动测量方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5967979A (en) * 1995-11-14 1999-10-19 Verg, Inc. Method and apparatus for photogrammetric assessment of biological tissue
US20030085908A1 (en) * 1997-05-15 2003-05-08 Luby James H. Method and apparatus for an automated reference indicator system for photographic and video images
CN101282687A (zh) * 2005-10-14 2008-10-08 应用研究联盟新西兰有限公司 监测表面特征的方法和装置
US20100056928A1 (en) * 2008-08-10 2010-03-04 Karel Zuzak Digital light processing hyperspectral imaging apparatus
US8588893B2 (en) * 2006-09-19 2013-11-19 Kci Licensing, Inc. System and method for tracking healing progress of tissue

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5967979A (en) * 1995-11-14 1999-10-19 Verg, Inc. Method and apparatus for photogrammetric assessment of biological tissue
US20030085908A1 (en) * 1997-05-15 2003-05-08 Luby James H. Method and apparatus for an automated reference indicator system for photographic and video images
CN101282687A (zh) * 2005-10-14 2008-10-08 应用研究联盟新西兰有限公司 监测表面特征的方法和装置
US8588893B2 (en) * 2006-09-19 2013-11-19 Kci Licensing, Inc. System and method for tracking healing progress of tissue
US20100056928A1 (en) * 2008-08-10 2010-03-04 Karel Zuzak Digital light processing hyperspectral imaging apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109464199A (zh) * 2017-09-07 2019-03-15 西门子医疗有限公司 确定用于调整检查协议的分类数据的方法和数据处理单元
CN110739046A (zh) * 2018-07-18 2020-01-31 安影科技(北京)有限公司 一种多期多参数脑灌注成像平台
CN109044845A (zh) * 2018-09-29 2018-12-21 河北盛世天昕电子科技有限公司 一种配药余量告警方法及装置

Also Published As

Publication number Publication date
WO2016069463A2 (en) 2016-05-06
US20180279943A1 (en) 2018-10-04
WO2016069463A8 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
CN107106020A (zh) 用于分析并且传输与哺乳动物皮损病有关的数据、图像和视频的系统与方法
Wang et al. Smartphone-based wound assessment system for patients with diabetes
US20140316235A1 (en) Skin imaging and applications
WO2021082691A1 (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
Kolar et al. Hybrid retinal image registration using phase correlation
Amin et al. High speed detection of retinal blood vessels in fundus image using phase congruency
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
JP2017504370A (ja) 創傷アセスメントおよびマネジメントのための方法およびシステム
KR20200101540A (ko) 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
Hu et al. Color correction parameter estimation on the smartphone and its application to automatic tongue diagnosis
EP2917894B1 (en) Skin image analysis
Li et al. Automated analysis of diabetic retinopathy images: principles, recent developments, and emerging trends
KR102162683B1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
Mussi et al. A novel ear elements segmentation algorithm on depth map images
US11931166B2 (en) System and method of determining an accurate enhanced Lund and Browder chart and total body surface area burn score
Yin et al. Accurate estimation of body height from a single depth image via a four-stage developing network
Fergus et al. Pressure ulcer categorisation using deep learning: A clinical trial to evaluate model performance
CN117274278B (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
Bae et al. Robust skin-roughness estimation based on co-occurrence matrix
JP5740403B2 (ja) 網膜の異常を検出するためのシステムおよび方法
Zhong A novel visible and infrared image fusion method based on convolutional neural network for pig-body feature detection
US10997715B2 (en) System and method for implementing a medical imaging composite average and clustering technique
Ledwoń et al. Infrared and visible image fusion objective evaluation method
She et al. Lesion classification using 3D skin surface tilt orientation
Pasero et al. Leg ulcer long term analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170829

WD01 Invention patent application deemed withdrawn after publication