CN111919218B - 用于自动检测症状的鲁棒图像检测的方法和系统 - Google Patents

用于自动检测症状的鲁棒图像检测的方法和系统 Download PDF

Info

Publication number
CN111919218B
CN111919218B CN201980020792.XA CN201980020792A CN111919218B CN 111919218 B CN111919218 B CN 111919218B CN 201980020792 A CN201980020792 A CN 201980020792A CN 111919218 B CN111919218 B CN 111919218B
Authority
CN
China
Prior art keywords
image
visual signal
effluent
rank
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980020792.XA
Other languages
English (en)
Other versions
CN111919218A (zh
Inventor
杨扬
马尼什·慕克吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gyt Beijing Technology Development Co ltd
Original Assignee
Gyt Beijing Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gyt Beijing Technology Development Co ltd filed Critical Gyt Beijing Technology Development Co ltd
Publication of CN111919218A publication Critical patent/CN111919218A/zh
Application granted granted Critical
Publication of CN111919218B publication Critical patent/CN111919218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M1/00—Suction or pumping devices for medical purposes; Devices for carrying-off, for treatment of, or for carrying-over, body-liquids; Drainage systems
    • A61M1/14—Dialysis systems; Artificial kidneys; Blood oxygenators ; Reciprocating systems for treatment of body fluids, e.g. single needle systems for hemofiltration or pheresis
    • A61M1/28—Peritoneal dialysis ; Other peritoneal treatment, e.g. oxygenation
    • A61M1/287—Dialysates therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M1/00—Suction or pumping devices for medical purposes; Devices for carrying-off, for treatment of, or for carrying-over, body-liquids; Drainage systems
    • A61M1/14—Dialysis systems; Artificial kidneys; Blood oxygenators ; Reciprocating systems for treatment of body fluids, e.g. single needle systems for hemofiltration or pheresis
    • A61M1/28—Peritoneal dialysis ; Other peritoneal treatment, e.g. oxygenation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6866—Extracorporeal blood circuits, e.g. dialysis circuits
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J1/00—Containers specially adapted for medical or pharmaceutical purposes
    • A61J1/05—Containers specially adapted for medical or pharmaceutical purposes for collecting, storing or administering blood, plasma or medical fluids ; Infusion or perfusion containers
    • A61J1/10—Bag-type containers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00—General identification or selection means
    • A61J2205/10—Bar codes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3306—Optical measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3306—Optical measuring means
    • A61M2205/331—Optical measuring means used as turbidity change detectors, e.g. for priming-blood or plasma-hemoglubine-interface detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/60—General characteristics of the apparatus with identification means
    • A61M2205/6063—Optical identification systems
    • A61M2205/6072—Bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Medicine (AREA)
  • Urology & Nephrology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Hematology (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Anesthesiology (AREA)
  • Biomedical Technology (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • External Artificial Organs (AREA)

Abstract

一种用于例如使用带有图像捕获系统的移动装置在腹膜透析期间自动检测腹膜炎的症状的系统和方法。

Description

用于自动检测症状的鲁棒图像检测的方法和系统
相关申请
本申请是非临时申请，要求2018年3月20日提交的序列号为62/645,586的美国临时申请和2018年7月27日提交的序列号为62/711,382的美国临时申请的优先权，通过引用将上述临时申请的公开内容整体并入本文并用于所有目的。
技术领域
本公开内容涉及用于图像分析和使用图像分析的医疗诊断测试的系统和方法。更具体地，但非排他地，本公开内容涉及一种例如用于在腹膜透析期间自动检测腹膜炎的症状的鲁棒图像检测的系统和方法。
背景技术
患有严重慢性肾脏疾病的患者可以利用腹膜透析(PD)进行治疗。PD的常见并发症是腹膜炎，腹膜炎是可能迫使患者暂时或永久终止PD的常见原因。腹膜炎的延误诊断还可能导致死亡。
此外，存在可能在PD期间发生的许多并发症，包括例如可在https://www.slideshare.net/ssuser79d8c1/differential-diagnosis-of-cloudy-effluent-in-peritoneal-dialysis处获得的“Differential Diagnosis of Cloudy effluent inPeritoneal Dialysis”(“腹膜透析中的浑浊流出物的鉴别诊断”)中所讨论的并发症，上述幻灯片通过引用整体并入本文。
为了检测PD期间并发症的早期迹象，视觉信号之一被称为“浑浊流出物”或“浑浊袋”，“浑浊流出物”或“浑浊袋”是指在应用PD之后变得浑浊的流出液。图1示出了在各个PD阶段之后的流出液的一些示例。如图1中所示，从右到左，在横纹肌溶解发作之前的正常PD流出物被示出为在腹膜炎的各个阶段经历了变色。
如由PD制药公司证实的那样，用于在医院中和在在家治疗时间期间监视流出液的常规方法是训练患者查看位于流出物袋侧面的透明窗。该窗被专门地设计成用于人类视觉检查(或手动检查)。例如，足够浑浊的流出液会阻止患者清楚地识别放置在袋下方的任何文本、印刷品或其他视觉信号。以另一种方式说，如果患者无法透过装满的袋从视觉上确定文本图案，则这是可能存在感染的指示。在这种情况下，建议患者立即联系其护理人员进行进一步的实验室测试，以确认可能的腹膜感染。
然而，手动检查具有若干缺点。例如，手动检查需要对患者进行训练。另外，手动检查需要患者具有严格按照标准治疗过程执行检查的精神和视觉能力两者。通常，患者只是忘记了检查。作为另一个缺点，手动检查意味着护理人员可能会错过每天接收和分析重要患者健康数据的机会。
鉴于前述内容，需要一种用于医疗诊断测试的改进的系统，以致力于克服常规腹膜炎检测方法的上述障碍和不足。
发明内容
本公开内容涉及用于图像分析和医疗诊断测试的系统以及用于制造和使用其的方法。例如，本公开内容涉及一种用于鲁棒图像检测的系统和方法，例如用于在腹膜透析期间自动检测腹膜炎的症状的系统和方法。根据本文中公开的第一方面，提出了一种用于在腹膜透析期间自动检测腹膜炎的症状的系统，该系统包括：
与处理器通信的图像捕获装置；
用于在腹膜透析期间接收流出液的流出物袋，该袋具有用于视觉检查流出液的透明窗；以及
视觉信号，其设置在流出物袋的表面上以用于由图像捕获装置透过流出液进行检查，该视觉信号在不存在失真时是计算机可读信号，并且其中，图像捕获装置的捕获图像上的透过流出液的视觉信号的品质确定感染的存在。
在公开的系统的一些实施方式中，该视觉信号是快速响应(QR)码或条形码。
在公开的系统的一些实施方式中，图像捕获装置是移动装置。
在公开的系统的一些实施方式中，处理器校正图像噪声以用于视觉信号的鲁棒图像检测。
根据本文中公开的另一方面，提出了一种用于使用图像捕获装置在腹膜透析期间自动检测腹膜炎的症状的基于计算机的方法，该图像捕获装置与计算机的处理器通信，该方法包括：
经由图像捕获装置，捕获设置在流出物袋的内表面上的视觉信号的图像，该流出物袋用于在腹膜透析期间接收流出液，并且具有用于视觉检查流出液的透明窗，该视觉信号在不存在失真时是计算机可读信号并且经由透明窗透过流出液可见；以及
经由处理器确定所捕获的图像的透过流出液的视觉信号的品质，其中，所捕获的图像上的视觉信号的品质指示感染的存在。
在所公开的方法的一些实施方式中，确定步骤包括确定处理器是否能够扫描到所捕获的图像的视觉信号。
在所公开的方法的一些实施方式中，捕获视觉信号的图像步骤包括捕获快速响应(QR)码的图像或者捕获条形码的图像。
在所公开的方法的一些实施方式中，该方法还包括校正所捕获的图像的图像噪声，其中，所述校正图像噪声步骤选择性地包括：
从所捕获的图像中裁剪出视觉信号区以生成源图像，所裁剪出的视觉信号区由所捕获的图像的由视觉信号组成的区域限定；
将源图像转换为黑白图像；
将经转换的源图像分解为具有相同维度(dimensions)的两个图像，其中，第一图像是低维(low-dimensional)部分，并且第二图像是稀疏噪声误差项(sparse noise errorterm)部分；以及
选择性地使用通过使第一图像的核范数(nuclear normal)与第二图像的按元素L-1范数(element-wise L-1normal)之和最小化的低秩矩阵分解来优化经转换的源图像，
其中，所述确定步骤基于所校正的图像的透过流出液的视觉信号的品质。
在所公开的方法的一些实施方式中，优化步骤包括使用鲁棒主成分分析。
在所公开的方法的一些实施方式中，该方法还包括将源图像旋转预定的旋转次数，其中，所述转换源图像步骤包括转换旋转后的源图像。
根据本文中公开的另一方面，提出了一种用于使用图像捕获装置在腹膜透析期间自动检测腹膜炎的症状的基于计算机的方法，该图像捕获装置与计算机的处理器通信，该方法包括：
经由图像捕获装置，捕获设置在流出物袋的内表面上的视觉信号的图像，该流出物袋用于在腹膜透析期间接收流出液，并且具有用于视觉检查流出液的透明窗，该视觉信号在不存在失真时是计算机可读信号并且经由透明窗透过流出液可见；
校正所捕获的图像的图像噪声；以及
尝试经由处理器，根据所捕获的图像的视觉信号生成模拟信号，其中，根据所捕获的图像上的视觉信号生成模拟信号的尝试指示感染的存在。
在所公开的方法的一些实施方式中，捕获视觉信号的图像步骤包括捕获快速响应(QR)码的图像或者捕获条形码的图像。
在所公开的方法的一些实施方式中，校正图像噪声包括：
从所捕获的图像中裁剪出视觉信号区以生成源图像，所裁剪出的视觉信号区由所捕获的图像的由视觉信号组成的区域限定；
将源图像转换为黑白图像；
将经转换的源图像分解为具有相同维的两个图像，其中，第一图像是低维部分，并且第二图像是稀疏噪声误差项部分；以及
通过使第一图像的核范数与第二图像的按元素L-1范数之和最小化来优化经转换的源图像，
其中，所述尝试生成步骤基于所校正的图像的透过流出液的视觉信号的生成的模拟信号。
在所公开的方法的一些实施方式中，该方法还包括将源图像旋转预定的旋转次数，其中，所述转换源图像步骤包括转换旋转后的源图像。
在所公开的方法的一些实施方式中，尝试生成模拟信号步骤包括确定处理器是否能够对所捕获的图像的视觉信号进行解码。
附图说明
图1是示出了腹膜透析之后的流出液的一些实施方式的示例性照片。
图2是示出了医疗诊断测试系统的一个实施方式的示例性框图。
图3A是示出了图2的医疗诊断测试系统的一个实施方式的示例性照片。
图3B是示出了图2的医疗诊断测试系统的另一实施方式的示例性照片。
图3C是示出了图2的医疗诊断测试系统的另一实施方式的示例性照片。
图4是示出了图2的医疗诊断测试系统的又一实施方式的示例性照片。
图5A是示出了在存在感染的情况下图2的医疗诊断测试系统的另一实施方式的示例性照片。
图5B是示出了在存在感染的情况下图2的医疗诊断测试系统的另一实施方式的示例性照片。
图6是示出了用于图2的医疗诊断测试系统的鲁棒图像检测的一个实施方式的示例性照片。
应当注意，附图未按比例绘制，并且遍及附图，出于说明性目的，相似结构或功能的元件通常由相似的附图标志表示。还应当注意，附图仅旨在有利于优选实施方式的描述。附图未示出所描述的实施方式的每个方面，并且不限制本公开内容的范围。
具体实施方式
本公开内容描述了用于在腹膜透析期间自动检测腹膜炎的症状的许多方法和计算机化系统。由于当前可用的用于PD治疗的医疗系统和方法存在缺点，原因是它们需要来自患者的自主报告并且无法提供自动的医疗检查，因此用于在腹膜透析期间自动检测腹膜炎的症状及其报告的系统可以证明是期望的并且可以给广泛的医疗应用(例如防止错误的手动检查)提供依据。根据本文中公开的一个实施方式，可以通过如图2中所示的基于图像的诊断系统200来实现该结果。
转到图2，图中示出了全自动PD感染检测系统(例如，基于图像的诊断系统200)。基于图像的诊断系统200包括流出物袋250。流出物袋250收集例如在PD之后从身体去除的液体。在优选的实施方式中，流出物袋250限定了透明窗以向流出物袋250中提供透明的视觉。如图2中所示，流出物袋250的透明窗露出视觉信号260。在优选的实施方式中，视觉信号260可以是放置在流出物袋250下方的条形码(例如图2以及图4至图6中所示)。在另一实施方式中，视觉信号260可以是QR码(例如图3A至图3C中所示)。在使用时，要求患者通过透明窗拍摄视觉信号260的照片。照片将提供给在计算机上运行的自动条形码或QR码读取器程序。
在一些实施方式中，患者利用诸如相机的图像捕获装置210来拍摄视觉信号260的照片，该图像捕获装置210通信地耦接至计算机。在优选的实施方式中，图像捕获装置210和计算机是具有机载相机的智能电话。
为了区分腹膜炎的可能的阳性症状和阴性症状，可以利用如由图像捕获装置210捕获的视觉信号260的品质。例如，如果由于液体足够透明用于QR码读取的方法可以正确地对原始QR码进行解码，则计算机可以确定不存在感染。在一些实施方式中，如果用于QR码读取的方法可以根据QR码的图像正确地生成模拟信号，则可以对QR码进行充分“解码”。相反，如果QR码读取器无法识别下面的QR码图案，则液体很可能足够“浑浊”，由此指示可能的感染。
在条形码示例中，如果条形码读取算法可以正确地对原始条形码进行解码，则计算机可以确定不存在感染。在一些实施方式中，如果用于条形码读取的方法可以根据条形码的图像正确地生成模拟信号，则可以对条形码进行充分“解码”。相反，如果条形码读取算法无法识别下面的条形码图案，则液体很可能足够“浑浊”，由此指示可能的感染。
在一些实施方式中，计算机自动上传记录的流出物袋250的图像，并且自动症状检测将结果提供给医疗保健信息系统(未示出)。例如，结果可以是例如本文中所述的感染的概率或标志。有利地，基于图像的诊断系统200显著地改进了用于在家PD患者的护理的品质。
通过示例的方式，图3A至图3C示出了流出物袋250内的液体的各种状况以及视觉信号260的相应可见性。例如，图3A示出了具有足够透明的液体的流出物袋250，这提示了腹膜感染的阴性示例。相反，图3B至图3C示出了流出物袋250，每个流出物袋250示出了一些阳性症状示例，在这些示例中浑浊的袋将使QR码读取失败。
另外地和/或替选地，放置在透明窗下方的视觉信号260可以是其他条形码、文本、纹理或图像图案。在优选的实施方式中，视觉信号260包括任何具有一定清晰度的符号，该清晰度可以通过将原始图案(该原始图案由计算机已知)与图案的捕获图像进行比较来计算。
在一些实施方式中，可以经由本文中描述的任何手段来提供视觉信号260。例如，视觉信号260可以直接打印在流出物袋250上，以进一步促进该过程而无需任何附加的介质。另外，视觉信号260也可以由设置在流出物袋250后面的数字屏幕显示。在另一实施方式中，视觉信号260可以被打印在可以放置在流出物袋250下方的任何介质上。
图像捕获装置210可以包括任何相机，所述相机包括RGB相机、相机使能和/或基于光学的捕获装置，例如便携式相机、数字相机、手持游戏机、MP3播放器、笔记本计算机、平板PC、全球定位系统、事件数据记录器等。图像捕获装置210可以包括其他光谱的成像传感器，例如红外相机、黑白相机、夜视相机等。
视觉信号的识别还可以包括QR码或条形码读取器程序。因为下方的图案由计算机已知，所以合格的检测方法仅需要将真值(ground truth)与图像上的捕获图案之间的像素值水平差进行比较。如果图案图像的一部分的差足够大，则其指示袋中的液体是“浑浊”的，足以改变成像传感器下方显示的图案。
在一些实施方式中，基于图像的诊断系统200可以提供视觉信号260的鲁棒图像检测。例如，现有的条形码读取器假设条形码图案直接地露出在物体表面上。也就是说，条形码图像上的失真最小或无关紧要。
然而，在本文中公开的一些实施方式中，视觉信号260设置在介质下方(例如，在流出物袋250下方)，当透过介质进行测量时，这可能会显著地使图像的品质失真，例如图4中所示。通常，这可能并不总是提示PD的症状，原因是原始图像品质可能导致某些假阴性。对图像的浑浊是由于症状引起的情况进行比较，例如图5A至图5B中所示。
在某些医疗应用中一袋体液的情况下，条形码图像的清晰度可能会受到如下的影响：液体中的气泡、来自塑料袋的水印和/或引起反射的环境/周围环境照明，以及/或者条形码的取向。
然而，条形码对于材料介质失真是鲁棒的，原因是其图像在被视为图像矩阵时应当是低秩的，此时不存在噪声或存在可校正噪声。因此，在一些实施方式中，通过强制执行所得到的条形码图像来校正图像噪声的数值方法应该是低秩的。
如果不能充分强制执行低秩属性，则透过其获取图像的介质可以被确定为不透明。然后，在其医疗应用中，可以合理地推断出该液体指示患者被感染。
因此，在本文中提供了一种用于鲁棒图像检测的新方法。首先，从包含条形码的视觉信号260中裁剪出条形码区域，该条形码区域被称为源图像Y，例如图6中所示。
在一些实施方式中，可以通过转换为黑白图像来净化源图像Y，并且因此增加了黑色条形码图案与白色背景之间的对比度。在这种情况下，源图像Y变成具有维度w和h的单通道黑白图像。
为了校正图像缺陷，源图像Y可以被分解为相同维度的两个图像：Y＝L+S，其中L是低维部分，而S是稀疏噪声部分。这样的优化包括低秩矩阵分解，例如下式1中所示的鲁棒主成分分析(RPCA)。
(_*指示矩阵核范数，下标_1指示按元素L-1范数)。
最小化||L||*+λ||S||1
以L+S＝Y为条件。
式1
可以考虑RPCA的变化，以施加稀疏误差项S的不同模型。在一个实施方式中，源图像Y因为其图像倾斜而失真，并且因此其矩阵秩未被最小化。在这种情况下，可以应用分支定界技术来快速地缩小有关图像的倾斜算子的范围。
具体地，如果假设源图像Y通过旋转θ(theta)而失真，则源图像Y可以被旋转有限的旋转次数(例如，60度、45度、30度、15度、0度、-15度、-30度、-45度和-60度)。
在Y上的每次旋转之后，执行RPCA，并且测量所得到的低秩矩阵L的秩。最低秩L指示旋转的分支定界。该过程可以是递归的。该过程也可以应用于其他变换失真，例如仿射变换或单应性变换，或其他更复杂的非线性面变换。
在另一实施方式中，可以将S的按元素L-1范数改为其他误差范数函数。其他误差范数函数之一是按列L-1范数，即，其仅对最少数目的非零列强制执行稀疏性，但是在非零列内，其不会惩罚非零元素的数目。这对条形码图像进行去噪特别有效，误差项L中的非零列的数目应当尽可能小。然而，列中的许多非零元素可以用于校正图像失真。
尽管参考核范数和L-1范数矩阵最小化进行描述，但是本领域普通技术人员将理解的是，可以使用任何RPCA/低秩矩阵分解、最小化和/或近似。以另一种方式说，可以根据需要使用用于通过强制执行低秩矩阵属性来实现鲁棒性的任何方法。
利用本文中公开的鲁棒图像检测，在一些实施方式中，可以成功地正确读取完整的条形码编号。这表明感染的低可能性。还可以通过在S项中提取多少误差来测量低可能性。
替选地，如果存在完全的读取失败，则存在感染的高可能性。然而，如果通过仅部分正确的编号恢复条形码，则条形码读取与真值的相似性指示感染的严重性。例如，自动症状检测可以为可能的感染提供事件指示符。这可以是感染的概率或标志。例如，如果条形码完全浑浊，则很可能患者感染。替选地，如果条形码是可读的，则可以使用稀疏误差项S的分析。对于较大的稀疏误差，在非清洁液体中可能会有更多稀疏误差项分析。条形码也可以在真值与读出的条形码之间进行比较。如果读出的条形码与打印的真值相同，则感染的概率较低。如果在读出的条形码与有关真值的数字之间存在大的差别，则感染风险的概率可能是中高的。
在实际应用中，114例腹膜透析患者使用基于图像的诊断系统200，在所述114例腹膜透析患者中74例为阴性实例(即，经由实验室工作未检测到感染)，并且40例为阳性实例。当使用视觉信号通过非接触式分析进行PD感染检测时，基于图像的诊断系统200有利地产生95.2％的真阳性和仅1.4％的假阴性。
所公开的实施方式易于进行各种修改和替代形式，并且其具体示例已经在附图中通过示例的方式示出，并且在本文中进行了详细描述。然而，应当理解，所公开的实施方式将不限于所公开的特定形式或方法，恰恰相反，所公开的实施方式将覆盖所有修改、等同物和替代方案。

Claims (3)

1.一种用于在腹膜透析期间自动检测腹膜炎的症状的系统，包括：
与处理器通信的图像捕获装置,用于捕获视觉信号；
用于在腹膜透析期间接收流出液的流出物袋，所述流出物袋具有用于视觉检查所述流出液的透明窗；
设置在所述流出物袋的与所述透明窗对应的下表面上的视觉信号，所述视觉信号在不存在失真时是预定计算机可读信号，所述视觉信号的图像具有低秩属性，所述视觉信号是条形码；
其中，所述处理器被配置成执行以下步骤：
从所述图像中裁剪出视觉信号区以生成源图像，所裁剪出的视觉信号区由所述图像的所述视觉信号组成的区域限定；
将所述源图像进行旋转；
将旋转后的所述源图像转换为单通道的黑白图像；
将所述黑白图像分解为具有相同维度的低秩部分和稀疏噪声部分；
通过使所述低秩部分的矩阵核范数与所述稀疏噪声部分的按列L-1范数的加权和最小化来优化所述黑白图像，所述优化包括对最少数目的非零列强制执行稀疏性，使得所述稀疏噪声部分中的非零列的数目最小化；
将旋转、转换、分解和优化的处理迭代执行有限次数，获得最低秩的低秩部分；
对所述最低秩的低秩部分优化后的黑白图像的低秩部分执行读取，将读取值与真值进行比较，若读取值与真值相同则认定为感染概率低；其中,所述真值为不存在失真时的所述视觉信号；
如果读取值与真值不相同则认定为感染概率高，并提取所述最低秩的低秩部分优化后的黑白图像的稀疏噪声部分误差，以测量感染的可能性。
2.根据权利要求1所述的系统，其中，所述图像捕获装置是移动装置。
3.根据权利要求1所述的系统，其中，所述视觉信号与所述流出物袋一体化配置。
CN201980020792.XA 2018-03-20 2019-03-14 用于自动检测症状的鲁棒图像检测的方法和系统 Active CN111919218B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862645586P 2018-03-20 2018-03-20
US62/645,586 2018-03-20
US201862711382P 2018-07-27 2018-07-27
US62/711,382 2018-07-27
PCT/US2019/022329 WO2019182873A1 (en) 2018-03-20 2019-03-14 Method and system for robust image detection for automatic detection of symptoms

Publications (2)

Publication Number Publication Date
CN111919218A CN111919218A (zh) 2020-11-10
CN111919218B true CN111919218B (zh) 2023-05-02

Family

ID=67985430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020792.XA Active CN111919218B (zh) 2018-03-20 2019-03-14 用于自动检测症状的鲁棒图像检测的方法和系统

Country Status (4)

Country Link
US (1) US10783635B2 (zh)
CN (1) CN111919218B (zh)
DE (1) DE112019000920T5 (zh)
WO (1) WO2019182873A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3192040A1 (en) * 2020-08-21 2022-02-24 Byonyks Medical Devices, Inc. Peritonitis sensors, including peritonitis sensors for automated peritoneal dialysis systems, and associated systems, devices, and methods
CN114926347A (zh) * 2021-09-23 2022-08-19 星宸科技股份有限公司 图像校正方法及处理器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104316527A (zh) * 2014-11-07 2015-01-28 昆山韦睿医疗科技有限公司 一种对排出的透析液的自动检测方法、装置
WO2018007013A2 (de) * 2016-07-07 2018-01-11 Fresenius Medical Care Deutschland Gmbh Verfahren zur erfassung von symptomen einer peritonitis

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090149776A1 (en) * 2007-12-05 2009-06-11 Adams Scott C Optical sensor for detecting infection and other anomalous conditions associated with catheter systems
US9020827B2 (en) * 2009-10-16 2015-04-28 Baxter International Inc. Peritoneal dialysis optimized using a patient hand-held scanning device
US8608073B2 (en) * 2012-01-26 2013-12-17 Apple Inc. System and method for robust real-time 1D barcode detection
DE102015010467A1 (de) * 2015-08-11 2017-02-16 Fresenius Medical Care Deutschland Gmbh Peritonealdialysegerät
AU2017261342A1 (en) * 2016-05-06 2018-12-13 Gambro Lundia Ab Systems and methods for peritoneal dialysis having point of use dialysis fluid preparation using water accumulator and disposable set
US10561778B2 (en) * 2017-03-02 2020-02-18 Fresenius Medical Care Holdings, Inc. Split reservoir bags and method of using split reservoir bags to improve the heating and generation of dialysate

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104316527A (zh) * 2014-11-07 2015-01-28 昆山韦睿医疗科技有限公司 一种对排出的透析液的自动检测方法、装置
WO2018007013A2 (de) * 2016-07-07 2018-01-11 Fresenius Medical Care Deutschland Gmbh Verfahren zur erfassung von symptomen einer peritonitis

Also Published As

Publication number Publication date
DE112019000920T5 (de) 2020-11-05
CN111919218A (zh) 2020-11-10
US20190295256A1 (en) 2019-09-26
US10783635B2 (en) 2020-09-22
WO2019182873A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
JP6546605B2 (ja) 液体キャニスタ内の血液成分量の推定方法
US7416125B2 (en) Synthesis decoding and methods of use thereof
EP2883037B1 (en) Method and apparatus for performing and quantifying color changes induced by specific concentrations of biological analytes in an automatically calibrated environment
CN111919218B (zh) 用于自动检测症状的鲁棒图像检测的方法和系统
AU2021345448A1 (en) Diagnostic test kits and methods of analyzing the same
TWI389055B (zh) 使用極化資料之即時影像偵測
US6941026B1 (en) Method and apparatus using intensity gradients for visual identification of 2D matrix symbols
CN113454646A (zh) 用于处理图像的方法和系统
Gadermayr et al. Evaluation of different distortion correction methods and interpolation techniques for an automated classification of celiac disease
WO2021082433A1 (zh) 一种数字病理图像质控的方法及装置
WO2020008629A1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP6630341B2 (ja) シンボルの光学的検出方法
CN104902124A (zh) 图像处理装置和图像处理方法
US20080304723A1 (en) Bio-reader device with ticket identification
JP2001076072A (ja) 個体識別システム
CN116958983A (zh) 一种基于机器视觉的指针式压力表自动校验仪示值读数方法
US6980680B2 (en) Scanning system for identifying and labeling X-rays
CN114168772A (zh) 药片识别方法、可读存储介质和电子设备
CN108647549B (zh) 条码图像的处理方法、装置及系统
CN207114551U (zh) 一种胶体金检测卡及相应的胶体金读卡仪
Charles et al. Real-time screen reading: reducing domain shift for one-shot learning.
US10614333B2 (en) Method for reading graphical indicator, indicator structure and electronic apparatus thereof
US20230260125A1 (en) Digital pathology artificial intelligence quality check
GB2606136A (en) Digital assessment process
JP2891821B2 (ja) バーコードの識別方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Delaware

Applicant after: Grafti Co.

Address before: California, USA

Applicant before: Grafti Co.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220412

Address after: Room 704-705, 7 / F, 101, building a 6, yard 3, yanjingli middle street, Chaoyang District, Beijing

Applicant after: GYT (BEIJING) TECHNOLOGY DEVELOPMENT CO.,LTD.

Address before: Delaware

Applicant before: Grafti Co.

GR01 Patent grant
GR01 Patent grant