CN113286999A - 用于分析即时检验结果的图像的系统和方法 - Google Patents

用于分析即时检验结果的图像的系统和方法 Download PDF

Info

Publication number
CN113286999A
CN113286999A CN201980084328.7A CN201980084328A CN113286999A CN 113286999 A CN113286999 A CN 113286999A CN 201980084328 A CN201980084328 A CN 201980084328A CN 113286999 A CN113286999 A CN 113286999A
Authority
CN
China
Prior art keywords
image
neural network
ann
test
artificial neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980084328.7A
Other languages
English (en)
Inventor
J·朱希拉
T·罗波宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avelia Technologies
Acodimer
Original Assignee
Avelia Technologies
Acodimer
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avelia Technologies, Acodimer filed Critical Avelia Technologies
Publication of CN113286999A publication Critical patent/CN113286999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8483—Investigating reagent band
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
    • G01N21/80—Indicating pH value
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/52—Use of compounds or compositions for colorimetric, spectrophotometric or fluorometric investigation, e.g. use of reagent paper and including single- and multilayer analytical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/94—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving narcotics or drugs or pharmaceuticals, neurotransmitters or associated receptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

在电信网络中用于分析即时POC检验结果的本发明的方法包括实行即时POC检验并且获取检验结果。来自检验结果的信号用电信终端中的相机（2）检测到，并且获得图像。图像由人工神经网络ANN解译，该人工神经网络做出对图像的分析的决策。经解译的图像的分析结果被发送到最终用户的用户界面。用于分析即时POC检验结果的本发明的系统包括即时检验的检验结果、具有相机（2）和用户界面的终端，以及用于解译由相机拍摄的检验结果的图像的软件。该软件使用人工神经网络来解译图像并进行分析。

Description

用于分析即时检验结果的图像的系统和方法
技术领域
本发明涉及用于分析即时（Point-Of-Care，POC）检验结果的方法和系统。
背景技术
即时检验（POCT）或床旁检验通常被定义为在患者护理时间和地点即时或接近即时地进行医疗诊断检验，而不是将标本发送到医学实验室，然后等待数小时或数天才获得结果。
POCT有几种定义，但没有公认的通用定义。不管确切的定义如何，POCT的最关键要素是结果的快速传送，以指导临床决策以及完成相同临床遭遇中的检验和后续行动。因此，用于向护理提供人员快速报告检验结果的系统，以及将检验结果链接到适当的咨询和治疗的机制，与该技术本身一样重要。
可以通过肉眼或使用用于读取作为图像的结果的专用读取器来评估POC检验结果的读出。此类检验读取器使用的图像分析算法可以为用户提供定性、半定量和定量结果。
检验读取器中用于解译即时检验结果的算法是如何通过实行计算、数据处理和自动化推理任务来解决检验结果解译的规范。该算法可以被定义为“一组精确定义了一系列操作的规则”。该算法详细说明了计算机应该以特定次序实行从而执行指定任务的特定指令。
已经进行了一些尝试来开发用于评估检验结果的人工神经网络（ANN）。
Ferhat Denirci，MD等人的学习算法文章“Artificial Neural NetworkApproach in Laboratory Test Reporting”（Am J Clin Pathol，2016年8月，146：227-237，DOI：10.1093/AJCP/AQW104）被呈现为在基于数值的检验报告中使用算法的现有技术。在测量结果上开发通过使用人工神经网络（ANN）的决策算法模型，并且该模型可以被用来协助专家进行决策，但是不能用于医学检验结果的直接评估。
通过在例如横向流动检验中测量检验线的颜色强度以便于确定样品中分析物的数量，计算机视觉已被证明是对于定量结果的有用工具。这是通过捕获和处理检验图像以用于获得具有高重复性的检验线的客观色彩强度测量结果来发生的。
存在使用智能电话以被用于横向流动检验解译的解决方案。Adrian Carrio ;*,Carlos Sampedro 1, Jose Luis Sanchez-Lopez 1, Miguel Pimienta 2和PascualCampoy在《传感器（Sensors）》（2015, 15, 29569-29593; doi：10.3390/s151129569）中的文章“Automated Low-Cost Smartphone-Based Lateral Flow Saliva Test Reader forDrugs-of-Abuse Detection”呈现了一种基于智能电话的自动化读取器，用于药物滥用横向流动测定检验，其由灯箱和智能电话设备组成。在设备中使用计算机视觉和机器学习技术处理利用智能电话的相机捕获的检验图像，以实行对结果的自动提取。算法的发展涉及检验图像的分割，其在对表示每个分割条带的感兴趣的区域进行预处理以用于在分类步骤发生之前获得检验图像的数值数据之后。然后，已经针对数字图像数据的分类实现了基于人工神经网络（ANN）的监督型机器学习分类器，其是多层感知器（MLP）。
Shen等人（Shen L.，Hagen J. A.，Papautsky I.《实验室芯片》. 2012；12：4240–4243. doi：10.1039/c2lc40741h）开发了基于智能电话的比色检测系统。它涉及利用智能电话连同校准技术的即时比色检测，该校准技术用于补偿由于环境光的可变性所致的测量错误。
John A. Quinn等人在文章“Deep Convolutional Neural Networks forMicroscopy-Based Point-of care Diagnostics”（国际机器学习（用于卫生保健）会议论文集，2016年，JMLR W＆C Track Volume 56）中呈现了卷积神经网络（CNN）的使用，用于学习区分样品成像中病原体的特性。模型的训练需要利用注释软件对图像进行注释，包括例如病原体的位置，所述病原体诸如浓血涂片图像中的疟原虫和痰标本中呈关注对象形式的结核杆菌。在CNN完成后，所得模型能够将小图像补丁分类为包含或不包含关注对象，但是由于标识了重叠的补丁，因此需要对补丁进行特殊选择。
免疫测定技术的功效取决于对空间特征的准确和敏感的解译。因此，它们的仪器需要进行根本的修改和定制，以解决技术不断发展的需求。Onur Mudanyali，JustinWhite，Chieh-I Chen和Neven Karlovac在2015年5月8日《SPIE新闻编辑室》，DOI：10.1117/2.1201504.005861（生物医学光学和医学成像）的文章（“High-sensitivity, imaging-based immunoassay analysis for mobile applications”）呈现了一种具有基于成像的分析的读取器平台，其提高了用于实验室外诊断的免疫分析检验的灵敏度。该解决方案包括用于数据采集和解译的基于智能电话的读取器应用程序、用于读取器配置和校准的检验开发人员软件（TDS），以及用于跟踪检验结果的云数据库。
发明目的
本发明的目的是一种用于进行检验结果分析的快速且便携的解决方案，其解决了图像采集问题，并且准确地解译了即时检验结果，而无需特殊的读取器和先进的图像处理。
术语
神经网络通常基于我们按照具有神经元之间的相互连接的大脑皮层的结构，对我们大脑的生物学理解。基本水平的感知器是生物神经元的数学表示。如同在大脑皮层中一样，可以有几层感知器。但是，不同于其中任何神经元原则上可以连接到特定物理距离内的任何其他神经元的生物学大脑，这些人工神经网络具有离散的层、连接和数据传播方向。感知器是线性分类器。它是一种通过用直线分开两个类别来对输入进行分类的算法。感知器是一种旨在实行二元分类的简单算法，即，它预测输入是否属于某个感兴趣类别。
在神经网络中，每个神经元都从上一层中的一些数量的位置接收输入。在完全连接层中，每个神经元都从上一层的每个元素接收输入。在卷积层中，神经元仅从上一层的受限子区域接收输入。因此，在完全连接层中，接收场是整个上一层。在卷积层中，接收区域小于整个上一层。
深度学习（也称为深度结构化学习或分层学习）与常规的机器学习算法不同。深度学习算法的优势是，它们以递增的方式从数据中学习高级特征。这消除了常规的任务特定算法所需的特征提取需求。深度学习使用一种被叫做多层神经网络的特定类型的算法进行学习，该算法由一个输入层和一个输出层以及介于中间的至少一个隐藏层组成。在深度学习网络中，每层节点都基于上一层的输出来训练不同的特征集合。
人工神经网络（ANN）是具有多于两个层的神经网络，并且它们被组织为三个相互连接的层，它们是输入、可能包括多于一个层的隐藏和输出。
卷积神经网络（CNN）是一类深度、前馈人工神经网络（ANN），最常用于分析视觉图像。CNN由输入层和输出层以及多个隐藏层组成。
发明内容
在电信网络中用于分析即时POC检验结果的本发明的方法包括：实行即时POC检验，并且获取检验结果。利用电信终端中的相机检测来自检验结果的信号，并且获得图像。该图像由人工神经网络ANN解译，该人工神经网络做出对图像进行分析的决策。所解译的图像的分析结果被发送到最终用户的用户界面。
用于分析即时POC检验结果的本发明的系统包括：即时检验的检验结果、具有相机和用户界面的终端，以及用于解译相机拍摄的检验结果的图像的软件。该软件使用人工神经网络来解译图像并且进行分析。
本发明的优选实施例具有从属权利要求的特性。
在一个这样的实施例中，使用由属于该系统的服务提供商提供的ANN将获得的图像发送到云服务。在另一个实施例中，所获得的图像由电信终端中的应用程序接收。在最后提到的实施例中，可以将图像进一步发送到云服务以由服务提供商中的ANN解译，该应用程序有权访问tot eh云服务，或者然后该应用程序使用该ANN来通过软件进行解译。对经解译的图像的分析可以被往回发送到移动智能电话和/或作为（一个或多个）最终用户的卫生保健机构。
可以通过电信终端中的应用程序校正所获得的图像的色彩平衡，其中，软件还可以为成像目标选择图像的区域。电信终端可以例如是移动智能电话、个人计算机、平板设备或膝上型计算机。
检验结果是视觉格式的，并且发射要由相机检测到的视觉信号。替换地，通过使用特定的滤波器将来自检验结果的信号修改成视觉信号。
通过深度学习训练了人工神经网络ANN，之后再将其用于解译。利用原始格式的图像实行训练，之后再使用ANN来分析POC检验结果。关于所使用的背景、照明、共振色和/或色调范围，被用于训练的原始图像可以具有不同的质量，使得这些差异将不会影响解译。而且，来自不同相机的图像也可以用于训练。在这种情况下，可以利用标记有代码的图像来训练人工神经网络ANN算法，该代码指示所使用的设备，诸如终端的类型和/或型号和/或相机类型。
此外，人工神经网络ANN算法可以在解译中考虑发送方信息，并且因此已经利用发送方信息进行了训练。
所有训练图像和训练数据都可以存储在属于系统的数据库中。
人工神经网络ANN可以是分类器，从而可以利用训练数据进行训练，该训练数据包括通过按照较早诊断的成对阴性或阳性结果的分类所标记的图像。
人工神经网络ANN也可以是回归模型，并且通过包括图像的训练数据进行训练，这些图像被标记有要利用POC检验进行检验的物质的浓度的百分比值，其百分比值匹配较早诊断的检验结果。在这一点上，可以利用百分比值的归一化值来标记图像，从而可以通过将每个百分比值变换为其对数函数来实行归一化。此外，可以将百分比值划分为组，并且将每个组的值不同地归一化。
此外，通过将症状的患者数据与分析结果相结合，可以进一步训练人工神经网络ANN。
当人工神经网络ANN是前馈人工神经网络（诸如卷积神经网络，CNN）时，本发明是尤其有利的。这样的卷积神经网络CNN在本发明中通过语义分割进行训练，并且使用语义分割来指出要解译的图像中的感兴趣区域。
人工神经网络ANN算法优选地也已经利用标记有代码的图像进行训练，该代码指示所使用的即时POC检验的类型。
即时POC检验尤其是流通检验、横向流动检验、药物筛选检验，诸如pH或酶促检验，其产生能够以带有线、斑点或图案的条带的形式检测到的颜色或信号，在解译检验结果的图像时，其出现被用于通过人工神经网络ANN进行分析。
即时POC也可以是药物筛选检验，诸如pH检验或酶促检验，其产生可以以线、斑点或图案形式被检测到的颜色或信号。
本发明的方法旨在用于分析即时检验结果，这由用户在现场实行。利用相机从发射自检验结果的信号中拍摄图像，该信号可以是可见的，或者可以通过使用特定的滤波器修改成可见的，诸如是荧光信号或其他不可见信号。相机可以位于任何终端中，该终端诸如是移动设备，并且优选地是智能电话。智能电话优选地具有指导用户拍摄图像的应用程序，并且优选地有权访问服务提供商所提供的云服务。在那些情况下，可以将图像发送到服务以进行解译。解译由人工神经网络（ANN）实行，该人工神经网络优选地是卷积神经网络（CNN），并且通过深度学习训练，以便能够实行解译，并且做出对检验结果进行分析的决策。然后可以将分析发送到最终用户的用户界面。最终用户可以是例如患者、患者数据系统、医生或其他数据收集器中的任何一个。
本发明的用于分析即时检验的检验结果（其可以是视觉检验结果）的系统优选地包括终端，诸如移动设备，并且优选地智能电话，其具有相机、有权访问云服务的应用程序，以及用户界面，在该用户界面上示出对经解译的图像的分析。它进一步包括具有所述云服务提供软件的服务提供商，该软件用于解译相机拍摄的检验结果的图像。该软件使用已经通过深度学习训练的人工神经网络（ANN）来解译图像。
在此上下文中，电信终端是结束电信链路并且是在其处信号进入和/或离开网络的点的任何设备或装备。此类包含网络终端并在本发明中有用的装备的示例是电话，诸如移动智能电话和无线或有线计算机终端，诸如网络设备、个人计算机、膝上型计算机、平板设备（诸如Ipad）和工作站。图像也可以被扫描并发送到计算机。
在此上下文中，相机代表能够检测或接收视觉信号（包括视觉荧光信号）或者可以通过使用特定的滤波器修改成是可见的信号的任何成像仪、图像传感器、图像扫描仪或传感器。这样的滤波器可以与相机分离或可以内置。可以被修改成可见的信号包括紫外线（UV）、红外线（IR）、非可见荧光信号和其他信号（比如上转换粒子（UCP））。还可以例如通过阵列检测器检测几种波长的荧光。
即时检验（POCT）可以被认为是从例如家庭到医院的一系列技术、用户和环境（setting）。POCT内目标产品概述（TPP）的这种多样性通过以下事实说明，该事实为POCT可以在至少五个不同的环境中完成：家庭（TPP1）、社区（TPP2）、诊所（TPP3）、外围实验室（TPP4）和医院（TPP5）。唯一的障碍可能在每个水平上起作用，并且阻止POCT的采用和使用。
在这样的框架中，设备的类型并不定义POC检验。POC检验的范围可以从最简单的量油尺到复杂的自动化分子检验、便携式分析仪和成像系统。例如，可以跨所有TPP使用相同的横向流动测定。因此，该设备不会自动定义TPP，尽管某些类型的设备将立即排除一些TPP或用户，因为一些设备需要专业人士或至少经过培训的用户和质量保证机制，并且将该技术限于实验室和医院。
而且，检验的最终用户不会自动定义POC检验。跨TPP的几个用户可以实行相同设备（例如，横向流动测定），所述用户从未经培训（没有经验）的人到社区卫生工作者、到护士、到医生和化验员。
取决于最终用户和实际环境，POC检验的目的也可能从检伤分类和转介到诊断、治疗和监测有所不同。
无论如何，这些检验提供了快速的结果，从而允许及时发起适当的治疗，和/或便于与护理和转诊的联系。最重要的是，POC检验可以足够简单，以至于可以在初级保健水平和没有实验室基础设施的远程环境中使用。
POCT尤其被用于临床诊断、健康监测、食品安全和环境。它包括例如血糖检验、血液气体和电解质分析、快速凝血检验、快速心脏标志物诊断、滥用药物筛查、尿蛋白检验、妊娠检验、妊娠监测、粪便潜血分析、食物病原体筛查、血红蛋白诊断、传染性疾病检验、炎症状态分析、胆固醇筛查、代谢筛查以及许多其他生物标志物分析。
因此，POCT主要取自各种临床样品，通常被定义为非传染性的人类或动物材料，包括血液、血清、血浆、唾液、排泄物（比如粪便、尿液和汗液）、人体组织和组织液（比如腹水、阴道/宫颈、羊水和脊髓液）。
即时POC检验的示例是流通检验或横向流动检验、药物筛选检验，诸如pH或酶促检验，其产生可以检测到的颜色或信号。POC检验可以用于一种或多种分析物的定量。
流通检验或免疫浓缩测定是以诊断测定形式的一种类型的即时检验，该诊断测定允许用户在诸如血液之类的样品中迅速地检验生物标志物的存在，通常使用特异性抗体，而没有专门的实验室装备和培训。流通检验是最早开发的一种类型的免疫条（immunostrip），尽管横向流动检验后续已成为即时设备的主要免疫条。
横向流动检验（也称为横向流动免疫层析测定）是即时检验的类型，其中，简单的基于纸张的设备在无需专用且昂贵的装备的情况下检测液体样品（基质）中目标分析物的存在（或不存在），尽管存在许多由阅读和数字装备支持的基于实验室的应用程序和读取器。一种广泛传播且广为人知的应用程序是家庭妊娠检验。
横向流动测定（LFA）检验的基本性质依赖于流体通过检验条从一端到另一端的被动流动。含有分析物的样品的液体流动是通过多孔膜（诸如纸张）的毛细作用实现的，而没有外力。
通常，LF检验由硝化纤维素膜、吸收垫、样品垫和组合在塑料膜上的结合垫组成。否则，该检验条组件也可以由提供机械支撑的塑料外壳覆盖。这些类型的LF检验类型并且使得液体能够流过检验条的多孔材料。当前，LF检验的最常见的检测方法基于对分配在膜上的检验线上的颜色形成的视觉解译。颜色是通过在分析物存在时浓缩彩色检测颗粒（例如，乳胶或胶体金）而形成的，而在不存在分析物的情况下则不形成颜色。关于某些分析物（例如，小分子），该组件也可以相反（也称为竞争性），其中分析物的存在意味着没有颜色形成。
检验结果在条带的检测区域中产生。检测区域是多孔膜（通常由硝化纤维素组成），其带有固定在检验和对照线中的特定的生物成分（主要是抗体或抗原）。它们的作用是与共轭抗体结合的分析物发生反应。那些可见线的出现提供对检验结果的评估。可以用肉眼或使用专用读取器评估由以不同强度出现的线表示的读出。
基于横向流动测定（LFA）的POC设备可以用于定性和定量分析两者。然而，实际上，LF检验限于定性或半定量测定，并且它们可能缺乏分析灵敏度，而这是检测许多临床上重要的生物标志物所需要的。另外，由于缺乏兼容的读取器和低的分析灵敏度，在同一个LF检验中将几种生物标记物（多重）组合在一起具有挑战性。
POCT设备和电子病历的耦合使得检验结果能够立即与护理提供人员共享。
横向流动测定检验的定性结果通常基于人类操作员对检验中有色区域的视觉解译。这可能会导致主观性、错误的可能性以及对检验结果解译的偏见。
尽管通常将视觉检测到的测定信号视为LF测定的优势，但对读取和解译检验结果的简单廉价仪器的需求日益增长。
仅凭视觉解译，无法获得定量结果。这些检验结果也容易产生主观解译，这可能导致不清楚或错误的结果。检验条件也可能影响视觉读出的可靠性。例如，在急性情况下，在急性临床情况下的照明不佳和对象移动以及仓促可能会妨碍检验解译。为此原因，可以将基于LF检验的有色检测颗粒与光学读取器结合，该光学读取器能够测量检验中颜色形成的强度。
因此，被称为横向流动测定读取器的手持式诊断设备可以提供对检验结果的自动化解译。已知的自动化临床分析仪在提供更可靠的结果一致解决方案的同时，通常缺乏便携性。
检测可见光的读取器使得能够在狭窄的浓度范围内进行定量，但是与临床分析仪相比，其分析灵敏度相对较低。这将排除对某些新颖生物标志物的检测，对这些新颖标志物都有对于未来的高临床和POC期望。为此原因，仪器辅助的LF检验的最重要特征是增强的检验性能；例如，分析灵敏度、更宽的测量范围、定量的精度和准确性。通过在LF测定中使用其他标记（例如荧光、上转换或红外），可以生成更灵敏和定量的测定。
本发明中用于POC的另外有用的检验格式是在芯片上具有实验室的微流体芯片，因为它们允许在单个芯片上集成许多诊断检验。微流体学处理微米大小的通道内部的液体流动。微流体学研究微流体设备中的微通道中的流体行为，以用于诸如片上实验室之类的应用。微流体芯片是一组微通道，其被蚀刻或模制成材料（玻璃、硅或聚合物，诸如用于聚二甲基硅氧烷的PDMS）。形成微流体芯片的微通道连接在一起，以便实现所需的特征（混合、泵送、分类或控制生化环境）。微流体学是POC诊断设备的附加技术。存在使得能够实现与片上实验室有关的应用的微流体学的最新发展。
片上实验室（LOC）是一种将一个或数个实验室功能集成在仅几毫米到几平方厘米的单个集成电路（通常称为“芯片”）上的设备，用于实现自动化和高吞吐量筛选。LOC可以处理下至小于皮升的极其小的流体体积。片上实验室设备是微机电系统（MEMS）设备的子集。然而，严格认为“片上实验室”通常指示将单个或多个实验室过程缩小到芯片格式。许多微流体芯片都有一个区域，该区域像在LF检验中进行的那样由读取器读取。
当即时POC检验是流通检验或横向流动检验时，检验结果以带有色线的条带形式或可选地使用斑点和/或图案的形式给出。这些线、斑点或图案的出现是分析检验结果本身的基础。本发明使用人工神经网络（ANN），该人工神经网络已经通过深度学习被训练用于解译这些线。人工神经网络（ANN）优选地是前馈人工神经网络，诸如卷积神经网络（CNN）。
当使用CNN来解译POC横向流动检验的结果时，本发明尤其有用，因为除了定性和半定量结果之外，还可以以良好的准确度获得定量结果。本发明和获得定量结果对于快速心脏病生物标志物和炎症状态分析生物标志物特别有用，该快速心脏病生物标志物诸如肌钙蛋白I、肌钙蛋白T、肽素（Copeptin）、CK-MB、D-二聚体、FABP3、半乳凝素-3、髓过氧化物酶、肌红蛋白、NT-proBNP和proBNP、肾素、S100B和ST2；并且该炎症状态分析生物标志物诸如AAT、CRP、钙卫蛋白、IL-6、IL-8、乳铁蛋白、NGAL、PCT、血清淀粉样蛋白A、转铁蛋白和胰蛋白酶原2，尤其是CRP和钙卫蛋白。
当已经认为将ANN或CNN进行了足够的训练时，可以将其用于分析。它对照已知的参考结果进行了检验，并且当其结果足够准确时，便可以将其投入使用。然而，可以通过新结果不断地训练ANN或CNN，例如通过将患者的经分析的检验结果与症状联系起来，并且从而学习新的关系以进行分析。可以在不同的数据查询中呈现用户的健康状况，比如症状、健康、饮食、运动或其他日记。
代替于使用线，可以将检验结果设计为以线以外的某种其他形式给出，例如，图案的形式或以斑点的形式，诸如斑点的某种图案的形式。
在本发明的方法中使用的ANN或CNN可以用于分类和回归两者。分类预测标签（是或否），并且回归值预测数量。因此，人工神经网络可以是分类器，并且由一个或多个感知层组成，所述感知层指示阴性或阳性结果的决策，或者然后ANN或CNN是将决策作为百分比值指示的回归模型。在分类中，通过图像来训练ANN或CNN，该图像通过按照较早诊断的成对阴性或阳性结果的分类进行标记。在回归中，通过图像来训练ANN或CNN，利用用于与较早检测或已知的检验结果相匹配的百分比值标记所述图像。
在注释中，可以利用指示所使用的即时POC检验的代码和/或指示所使用的装备（诸如移动电话的类型和/或相机的类型或其他类型的信息）的代码来标记图像，所述其他类型的信息诸如检测时间、批号和检验到期日期。
在优选实施例中，已经利用来自不同相机的图像和/或关于所使用的背景、照明、共振色和/或色调范围具有不同质量的图像来训练ANN或CNN算法。
图像采集是计算机视觉应用程序中极其重要的步骤，因为所采集图像的质量将制约所有另外的图像处理步骤。图像必须在图像质量以及相机和要捕获的对象的相对方位方面满足某些要求，以使得能够实现最佳结果。移动设备是手持式的，并且因此相对于检验没有固定的方位，这具有挑战性。此外，移动设备还用于动态环境中，这意味着必须考虑环境照明以便获得可重复的结果，而不管照明条件如何。
在不同相机拍摄的图像中以及当由不同代码读取器解译时，图像的色彩平衡可能会不同。不同的色彩平衡也可能是检验批次变化的结果。因此，在本发明的一些实施例中，电信终端的应用程序中的软件可以通过诸如白平衡和QR码校正之类的某种色彩平衡方法来调整色彩强度以进行色彩校正。
在本发明的一些实施例中，电信终端的应用程序中的软件还可以为成像的目标正确地选择图像的区域。
不仅图像质量和属性可能会有所不同。而且，检验装备（诸如，横向流动条和检验批次变化）可能会有所不同，并且其属性可能会导致具有不同属性的图像。ANN或CNN也针对这些差异进行了训练。
训练ANN或CNN所用的材料越多，其通常就越准确。训练可能包括许多图像，例如100张图像到10000000张图像，以及从1到上至数百万次迭代（即，训练周期）。
在训练中，将要解译的图像发送到服务器。
在一些实施例中，ANN或CNN算法还可以在解译中考虑发送方信息。
该解译是ANN或CNN中的不同感知之间迭代的结果。
经解译的图像的分析作为分析结果被往回发送到电信终端，诸如移动智能电话和/或卫生保健机构、医生或其他数据库或最终用户。
用于分析即时检验的结果的系统包括：即时检验的视觉检验结果和诸如移动智能电话之类的电信终端。该移动智能电话具有相机、有权访问云服务的应用程序，以及用户界面，在该用户界面上示出了对经解译的图像的分析。具有云服务的服务提供商提供用于解译相机拍摄的视觉检验结果的图像的软件。该软件使用利用深度学习训练的人工神经网络算法，以能够解译图像。
该系统进一步包括数据库，该数据库具有被标记为较早诊断的阳性和阴性结果的图像和图像对或者被标记有用于与较早检测或已知的检验结果相匹配的百分比值的图像的训练数据。训练数据还可以涉及来自不同相机、背景和照明条件的图像。此外，训练数据进一步包括所使用的相机、所使用的终端/智能电话和/或界面的信息。
本发明的优点在于，它使用深度学习来解译即时检验结果，并且在解译的基础上进行分析。使用严格规则的常规机器学习已经用于通过例如在图像和文本上的分类来解译检验结果图像，但是本发明示出的是，所使用的深度学习方法比实际人类甚至更好地实行了这样的任务，因为它通过绘制特征之间的联系学会了识别某些相关特征和最佳结果之间的相关性。
本发明提供了一种用于分析（包括量化）POC检验结果的新方法，该方法能够通过使用深度学习、利用原始图像直接训练ANN/CNN，优选地使用CNN。之所以这样命名原始图像，是因为它们尚未被处理，而是包含从相机的传感器数据中产生看得见的图像所需要的信息。
在根据本发明的用于分类的横向流动检验中，训练材料由检验结果的原始图像组成，该原始图像取决于指示检验结果的有色线的出现而被标记为阳性或阴性。原始图像包括用于教导ANN/CNN以区分不同背景颜色、照明条件和来自不同相机的结果的训练材料。为了回归，训练材料由检验结果的原始图像组成，该原始图像取决于指示检验结果的有色线的强度而被标记有百分比。
本发明使用语义分割来教导ANN/CNN在检验结果的图像中找到感兴趣的区域。在分析中的某个时刻，做出关于图像的哪些图像点或区域与进一步处理相关的决策。在语义分割中，对图像的每个区域进行标记，以便将图像划分为语义上有意义的部分，并且将每个部分分类为预定类之一。
本发明中使用的网络由多层特征检测“感知”组成。每层都有许多神经元，它们对来自先前层的输入的不同组合做出响应。建立这些层，使得第一层检测输入中的一组原始模式，第二层检测模式中的模式，第三层检测那些模式中的模式，依此类推。通常使用4到1000个不同的模式识别层。
训练是使用输入的“标记”数据集实行的，该输入数据采用各种各样的代表性输入模式，利用其预期的输出响应标记了这些代表性输入模式。在用于模式识别的传统模型中，特征提取器是手工设计的。在CNN中，在训练过程期间确定被用于特征提取的卷积层以及被用于分类的完全连接层的权重。在本发明中使用的CNN中，卷积层起到不是手工设计的特征提取器的作用。
此外，所解译的图像可以与患者数据相结合，并且可以通过将患者的症状与相同患者的分析结果相结合来实行另外的训练。
在下文中，通过参考附图，借助于一些有利实施例描述了本发明。本发明不限于这些实施例的细节。
附图说明
图1是其中可以实现本发明的系统的架构视图；
图2是本发明方法的一般流程图；
图3是本发明方法的一部分的流程图，其中，人工神经网络被训练；
图4是根据本发明的卷积神经网络训练的检验示例；
图5是本发明的性能的检验示例。
具体实施方式
图1是其中可以实现本发明的系统的架构视图。
移动智能电话1具有相机2，利用相机2可以拍摄即时检验的检验结果的图像。图像被传递到移动智能电话1中的应用程序3。应用程序3进一步通过互联网5将图像发送到由服务提供商4提供的云服务。
在云服务中，所拍摄的图像由人工神经网络（ANN）6解译，该人工神经网络已经通过深度学习被训练用于解译图像以用于进行分析。人工神经网络（ANN）优选地是卷积神经网络（CNN）。
经解译的图像的分析被发送到最终用户的用户界面。最终用户可以是卫生保健系统8，经由直接链接或通过互联网5将云服务连接到该卫生保健系统。最终用户也可以是移动智能电话1的用户，由此界面可以位于智能电话1中或者可以具有到它的链接。该界面可以在云服务、智能电话和/或在卫生保健系统中。
云服务还可以连接到具有专利数据系统9和实验室数据系统10的卫生保健系统8。连接可以是直接链接或通过互联网5。该界面可以具有到卫生保健系统8的链接。
图2是可以如何实现本发明的方法的一般流程图。
用户在步骤1中用一个条实行即时（POC）检验，在所述条上，结果以不同的强度出现的可见线出现。那些可见线的出现要被分析。替换地，检验结果可以代替于线而由特定的图案、线或斑点组成，这些图案、线或斑点必定是不可见的，但是可以通过使用特定的滤波器进行过滤以使其可见。
在步骤2中，利用移动智能电话的相机拍摄检验结果条的图像。
然后在步骤3中将图像传递到移动智能电话中的应用程序。
在步骤4中，将图像进一步从应用程序发送到服务提供商提供的云服务。
在步骤5中，云服务通过使用已经利用深度学习被训练用于解译的人工神经网络（ANN），优选地通过卷积神经网络（CNN）来解译图像，以用于做出对检验结果的分析的决策。
在步骤6中，将经解译图像的分析发送到最终用户的用户界面。
图3是本发明方法的一部分的流程图，其中，训练了在本发明中使用的人工神经网络（ANN），优选地是卷积神经网络（CNN）。
在步骤1中，首先通过例如智能电话中的一个或多个相机拍摄足够数量的横向流动即时检验的检验结果的图像。由此，图像可以具有不同的背景和照明条件，并且可以利用不同智能电话中的不同相机来拍摄图像。
在步骤2中，将原始格式的图像发送到智能电话中的应用程序或发送到服务所拥有的软件。
在步骤3中，通过使用具有不同背景和照明条件的所述图像以及利用不同智能电话中的不同相机拍摄的图像，通过软件进行语义分割，从而在包含横向流动检验结果的有色线的原始格式的图像中标记感兴趣的区域。
在步骤4中，利用信息来标记图像，以便教导卷积神经网络（CNN）。
标记的方式取决于CNN是被用于创建分类模型还是回归模型。
在分类中，通过使用具有不同背景和照明条件的图像，将图像按照关于属于给定类的成对阳性或阴性进行标记。
在回归中，利用在POC检验中测量的物质的浓度的百分比值来标记图像。该百分比值与较早诊断的检验结果相匹配。在这里也优选地使用具有不同背景和照明条件的图像。
在一些回归实施例中，可以通过调整要在做标记时使用的值来对百分比值进行归一化，以便获得更准确的结果。该调整可以例如通过对数归一化来实行，其中，将每个值变换为其对数函数，从而以对数标度给出浓度。还可以实行其他归一化方式。
该值还可以在例如浓度区域的基础上被划分成多个不同的组，例如四个组中，其中，每组值可以以不同的方式归一化。
在POC检验的类型的基础上选择归一化的方式。
在步骤5中，将经标记的图像存储在数据库中。
在步骤6中，利用经标记的图像训练卷积神经网络（CNN）。
在步骤7中，在已知的检验结果上并且取决于CNN的管理方式来检验CNN，以及
通过重复步骤6（或所有步骤1-6来获取附加训练材料），继续利用附加训练材料进行训练，直到结果的分析与步骤8中的参考检验相比足够好为止，或者对CNN进行验证以供在步骤9中使用。设置了用于评估比较的质量的标准。
检验示例
作为示例，图4描述了根据本发明的卷积神经网络（CNN）的训练结果。
根据本发明，从Actim钙卫蛋白检验结果拍摄的总共1084张移动图像被用于CNN训练。ACTIM®钙卫蛋白检验是用于诊断炎性肠病IBD（诸如克罗恩病或溃疡性结肠炎）的横向流动POC检验。该检验可以用于半定量结果。
从Actim钙卫蛋白检验结果拍摄的总共1084张移动图像被用于CNN训练。根据制造商的指南激活了检验，并且通过使用两个移动相机——iPhone 7（IP7）和三星Galaxy S8（S8）拍摄了检验。
图像被传递到数据库中，被标记并且被用于CNN训练。结果在下文中呈现：
A）CNN在其训练之后以非常高的统计置信度发现在检验条的中间标记的钙卫蛋白检验的分析区域（即，检测区域）（如图像A中所示）：假阳性错误为0.06％，并且假阴性错误为0.02％。
假阳性错误是指示检测的存在，而在那里并没有这样的区域的结果，以及
假阴性错误是漏掉指示存在的检测，而实际上存在一个检测的结果。
B）图像B示出了经训练的回归值，其中，
x轴示出了经训练且已知的钙卫蛋白浓度（以µg/g为单位）并且
y轴示出了经分析的钙卫蛋白浓度（以µg/g为单位）。
经训练且已知的钙卫蛋白浓度（µg/g）与经分析的回归值高度相关，该回归值被呈现为经分析的钙卫蛋白浓度（以µg/g为单位）。
C）图像C示出了经训练的回归值，其中，
x轴示出了经训练且已知的钙卫蛋白浓度（以µg/g为单位）并且
y轴示出了经分析的钙卫蛋白浓度（以µg/g为单位）。
左列是来自利用iPhone 7（IP7）智能电话中的相机拍摄的图像的结果，并且右列是来自利用三星Galaxy S8智能电话中的相机拍摄的图像的结果。
在所使用的两部移动电话下，相关性是相似的。结论是，此处示出的经训练的CNN算法以高的分析性能、定量行为、宽广的检测范围工作，并且与所使用的移动相机足够独立。
在其中需要甚至更高的准确度的情况下，本发明中较早描述的实施例可以考虑不同相机的性能，并且关于例如色彩平衡进行必要的校正。
图5是本发明的性能的检验示例。
根据制造商的说明，通过使用Actim钙卫蛋白检验来分析总共30个粪便样品。
通过使用较早训练的CNN算法，在视觉上并且从移动图像中解译Actim钙卫蛋白检验结果。
检验结果通过使用两部移动相机（iPhone 7（IP7）和三星Galaxy S8（S8））拍照。
将移动图像传递到数据库，然后将其用于CNN分析。
在视觉上并且通过CNN分析的Actim钙卫蛋白检验的性能与定量的Bühlmann fCALELISA参考检验进行了比较。
结果呈现在这里：
A）图像A）中所示的钙卫蛋白检验的分析区域是在CNN分析之后以很好的统计置信度找到的，并且在30个研究样品中没有检测错误。
B）图像B示出了视觉解译，其中，
x轴示出了如由Actim钙卫蛋白在视觉上解译的钙卫蛋白浓度（以µg/g为单位）；并且
y轴示出了如由商业Bühlmann fCAL ELISA检验（被用作参考检验）解译的钙卫蛋白浓度（以µg/g为单位）。
x轴——Actim钙卫蛋白（以µg/g为单位）与y轴——Bühlmann fCAL ELISA（以µg/g为单位）的参考检验值高度相关（按照〜96.7％的总体一致性）。
C）图像C呈现了通过使用CNN训练算法对移动设备的分析，其中没有归一化（NoNorm）、具有对数归一化（Log Norm）以及具有面积归一化（4PI Norm）。
在与通过Bühlmannf CAL ELISA分析的参考检验结果比较时，所有这些分析均示出了统计学上的显著相关性（概率值P <0.001；*** Pearson 双边（2-tailed））。
结论是，根据本发明训练的CNN算法以100％的置信度找到Actim钙卫蛋白检验的分析区域（即，检测区域）。另外，当在视觉上或通过使用与CNN分析相结合的移动成像对Actim检验进行解译时，Actim钙卫蛋白检验结果与Bühlmann参考检验高度相关。

Claims (33)

1.电信网络中用于通过使用解译检验结果的图像的人工神经网络ANN来分析即时POC检验结果的方法，其中，人工神经网络ANN是前馈人工神经网络，它是卷积神经网络CNN，所述方法包括：
a） 利用感兴趣的区域并利用早期诊断的检验结果的信息来标记原始格式的图像，并且将标记的图像存储在数据库中，
b） 利用标记的图像训练卷积神经网络CNN，
c） 实行即时POC检验，并且获取检验结果，
d） 利用电信终端中的相机（2）从检验结果中检测信号，并且获得图像，
e） 通过卷积神经网络CNN解译图像，所述卷积神经网络指出要解译的图像中的感兴趣的区域，并且做出对图像的分析的决策，
f） 将经解译的图像的分析结果发送到最终用户的用户界面。
2.根据权利要求1所述的方法，其中，使用如服务提供商所提供的ANN，将在步骤b）中获得的图像发送到云服务（6）。
3.根据权利要求1或2所述的方法，其中，在步骤b）中获得的图像由电信终端中的应用程序（3）接收。
4.根据权利要求1所述的方法，其中，其中步骤b）中获得的图像被电信终端中的应用程序（3）接收，并且所述应用程序（3）使用ANN。
5.根据权利要求3或4所述的方法，其中，通过应用程序（3）校正所获得的图像的色彩平衡。
6.根据权利要求3-5中任一项所述的方法，其中，电信终端的应用程序（3）中的软件为成像的目标选择图像的区域。
7.根据权利要求1-6中任一项所述的方法，其中，电信终端是移动智能电话（1）、个人计算机、平板设备或膝上型计算机。
8.根据权利要求1-7中任一项所述的方法，其中，即时POC检验是流通检验或横向流动检验，其给出以具有图案、斑点或有色线的条带的形式的检验结果，在解译检验结果的图像时，条带的出现被用于由人工神经网络ANN进行分析。
9.根据权利要求1-7中任一项所述的方法，其中，即时POC检验是药物筛选检验，诸如pH检验或酶促检验，其产生可以以线、斑点或图案的形式被检测到的颜色或信号。
10.根据权利要求1-9中任一项所述的方法，其中，检验结果是视觉格式的，并且发射要由相机（2）检测到的视觉信号。
11.根据权利要求1-9中任何权利要求中的任一项所述的方法，其中，来自检验结果的信号由不可见的并且通过使用特定滤波器修改成视觉信号的特定图案、线或斑点组成。
12.根据权利要求1-11中任一项所述的方法，其中，利用关于所使用的背景、照明、共振色和/或色调范围具有不同质量的原始图像训练了人工神经网络ANN算法。
13.根据权利要求1-12中任一项所述的方法，其中，利用来自不同相机的图像训练了人工神经网络ANN算法。
14.根据权利要求1-13中任一项所述的方法，其中，利用标记有代码的图像训练了人工神经网络ANN算法，所述代码指示所使用的即时POC检验的类型。
15.根据权利要求1-14中任一项所述的方法，其中，利用标记有代码的图像训练了人工神经网络ANN算法，所述代码指示所使用的设备，诸如终端的类型和/或型号和/或相机类型。
16.根据权利要求1-15中任一项所述的方法，其中，人工神经网络ANN是分类器，并且通过按照较早诊断的成对阴性或阳性结果的分类所标记的图像来训练。
17.根据权利要求1-15中任一项所述的方法，其中，人工神经网络ANN是回归模型，并且通过图像训练，所述图像被标记有要利用POC检验进行检验的物质的浓度的百分比值，所述百分比值与较早诊断的检验结果相匹配。
18.根据权利要求17所述的方法，其中，利用百分比值的归一化值来标记图像。
19.根据权利要求18所述的方法，其中，通过将每个百分比值变换为其对数函数来实行归一化。
20.根据权利要求18所述的方法，其中，将百分比值划分为组，并且将每个组的值不同地归一化。
21.根据权利要求1-20中任一项所述的方法，其中，通过将症状的患者数据与分析结果相结合来进一步训练人工神经网络ANN。
22.根据权利要求1-21中任一项所述的方法，其中，卷积神经网络CNN通过语义分割进行训练，并且使用语义分割来指出要解译的图像中的感兴趣的区域。
23.根据权利要求1-22中任一项所述的方法，其中，对经解译的图像的分析被往回发送到作为最终用户的移动智能电话和/或卫生保健机构。
24.用于分析即时POC检验结果的系统，其包括：
即时检验的检验结果，
数据库，其存储原始格式的图像，这些图像被标记有感兴趣的区域和早期诊断的检验结果的信息，
终端，其具有
相机（2），以及
用户界面，
用于解译相机（2）拍摄的检验结果的图像的软件，所述软件使用人工神经网络ANN，通过指出要解译的图像中的感兴趣的区域并且做出对图像的分析的决策来解译图像，其中，人工神经网络ANN是前馈人工神经网络，其是卷积神经网络CNN。
25.根据权利要求24所述的系统，进一步包括：具有云服务（6）的服务提供商（4），所述云服务提供使用人工神经网络ANN来解译由相机（2）拍摄的检验结果的图像的软件。
26.根据权利要求24所述的系统，进一步包括：应用程序（3），其具有使用人工神经网络ANN来解译由相机拍摄的检验结果的图像的软件。
27.根据权利要求26所述的系统，其中，终端具有有权访问云服务的应用程序。
28.根据权利要求24-27中任一项所述的系统，其中，电信终端是移动智能电话（1）、个人计算机、平板设备或膝上型计算机。
29.根据权利要求24-28中任一项所述的系统，其中，即时检验是流通检验、横向流动检验、药物筛选检验，诸如pH或酶促检验，其产生能够以带有线、斑点或图案的条带的形式检测到的颜色或信号，在解译检验结果的图像时，条带的出现被用于由人工神经网络ANN进行分析。
30.根据权利要求24-29中任何权利要求中的任一项所述的系统，其中，检验结果是视觉格式，并且发射要由相机（2）检测到的视觉信号。
31.根据权利要求24-30中任一项所述的系统，进一步包括：一个或多个特定滤波器，用于将检验结果修改成视觉信号。
32.根据权利要求24-31中任一项所述的系统，其中，人工神经网络ANN是分类器，并且由一个或多个感知层组成，所述感知层指示阴性或阳性结果的决策。
33.根据权利要求24-32中任一项所述的系统，其中，人工神经网络ANN是指示作为百分比值的决策的回归模型。
CN201980084328.7A 2018-12-19 2019-11-11 用于分析即时检验结果的图像的系统和方法 Pending CN113286999A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20186112A FI20186112A1 (en) 2018-12-19 2018-12-19 SYSTEM AND METHOD FOR ANALYZING THE RESULT OF THE CARE SITE TEST
FI20186112 2018-12-19
PCT/FI2019/050800 WO2020128146A1 (en) 2018-12-19 2019-11-11 System and method for analysing the image of a point-of-care test result

Publications (1)

Publication Number Publication Date
CN113286999A true CN113286999A (zh) 2021-08-20

Family

ID=68621329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980084328.7A Pending CN113286999A (zh) 2018-12-19 2019-11-11 用于分析即时检验结果的图像的系统和方法

Country Status (9)

Country Link
US (1) US20210287766A1 (zh)
EP (1) EP3899504A1 (zh)
JP (1) JP2022514054A (zh)
KR (1) KR20210104857A (zh)
CN (1) CN113286999A (zh)
BR (1) BR112021010970A2 (zh)
CA (1) CA3124254A1 (zh)
FI (1) FI20186112A1 (zh)
WO (1) WO2020128146A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3989235A4 (en) * 2019-06-19 2023-06-21 H.U. Group Research Institute G.K. PROGRAM, TEST DEVICE, INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
GB2583149B (en) * 2019-07-19 2021-03-17 Forsite Diagnostics Ltd Assay reading method
KR20220101073A (ko) 2019-08-30 2022-07-19 예일 유니버시티 핵산을 세포로 전달하기 위한 조성물 및 방법
US20220003754A1 (en) * 2020-07-01 2022-01-06 Neil Mitra Two dimensional material based paper microfluidic device to detect and predict analyte concentrations in medical and non-medical applications
US20220020481A1 (en) 2020-07-20 2022-01-20 Abbott Laboratories Digital pass verification systems and methods
WO2022086945A1 (en) * 2020-10-19 2022-04-28 Safe Health Systems, Inc. Imaging for remote lateral flow immunoassay testing
US20220254458A1 (en) * 2021-02-05 2022-08-11 BioReference Health, LLC Linkage of a point of care (poc) testing media and a test result form using image analysis
CN112964712A (zh) * 2021-02-05 2021-06-15 中南大学 一种快速检测沥青路面状态的方法
GB202106143D0 (en) * 2021-04-29 2021-06-16 Adaptive Diagnostics Ltd Determination of the presence of a target species
WO2023034441A1 (en) * 2021-09-01 2023-03-09 Exa Health, Inc. Imaging test strips
KR20230034053A (ko) * 2021-09-02 2023-03-09 광운대학교 산학협력단 딥러닝 기반 분석 결과 예측 방법 및 장치
WO2024058319A1 (ko) * 2022-09-16 2024-03-21 주식회사 켈스 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
US20160274104A1 (en) * 2013-08-13 2016-09-22 Anitest Oy Test method for determinging biomarkers
CN205665697U (zh) * 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
CN106934426A (zh) * 2015-12-29 2017-07-07 三星电子株式会社 基于图像信号处理的神经网络的方法和设备
CN107292386A (zh) * 2016-04-11 2017-10-24 福特全球技术公司 使用深度学习的基于视觉的雨水检测
CN108446631A (zh) * 2018-03-20 2018-08-24 北京邮电大学 基于卷积神经网络的深度学习的智能频谱图分析方法
WO2018194525A1 (en) * 2017-04-18 2018-10-25 Yeditepe Universitesi Biochemical analyser based on a machine learning algorithm using test strips and a smartdevice

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655009B2 (en) * 2010-09-15 2014-02-18 Stephen L. Chen Method and apparatus for performing color-based reaction testing of biological materials
US20180136140A1 (en) * 2016-11-15 2018-05-17 Jon Brendsel System for monitoring and managing biomarkers found in a bodily fluid via client device
US11250601B2 (en) * 2019-04-03 2022-02-15 University Of Southern California Learning-assisted multi-modality dielectric imaging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160274104A1 (en) * 2013-08-13 2016-09-22 Anitest Oy Test method for determinging biomarkers
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN106934426A (zh) * 2015-12-29 2017-07-07 三星电子株式会社 基于图像信号处理的神经网络的方法和设备
CN205665697U (zh) * 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
CN107292386A (zh) * 2016-04-11 2017-10-24 福特全球技术公司 使用深度学习的基于视觉的雨水检测
WO2018194525A1 (en) * 2017-04-18 2018-10-25 Yeditepe Universitesi Biochemical analyser based on a machine learning algorithm using test strips and a smartdevice
CN108446631A (zh) * 2018-03-20 2018-08-24 北京邮电大学 基于卷积神经网络的深度学习的智能频谱图分析方法

Also Published As

Publication number Publication date
FI20186112A1 (en) 2020-06-20
KR20210104857A (ko) 2021-08-25
JP2022514054A (ja) 2022-02-09
WO2020128146A1 (en) 2020-06-25
CA3124254A1 (en) 2020-06-25
EP3899504A1 (en) 2021-10-27
US20210287766A1 (en) 2021-09-16
BR112021010970A2 (pt) 2021-09-08

Similar Documents

Publication Publication Date Title
US20210287766A1 (en) System and method for analysing the image of a point-of-care test result
JP7417537B2 (ja) 定量的なラテラルフロークロマトグラフィーの分析システム
EP3311163B1 (en) Micro-plate reader for elisa testing
JP6927465B2 (ja) 検体中の妨害因子を分類するためのモデルベース方法及び装置
CN105572110A (zh) 用于测量生物特征信息的方法和设备
JP2013535686A (ja) 顕微鏡画像からの自動全血試料分析のための方法および装置
WO2008065474A1 (en) Method for analyzing image data relating to agglutination assays
Tania et al. Assay type detection using advanced machine learning algorithms
Jing et al. A novel method for quantitative analysis of C-reactive protein lateral flow immunoassays images via CMOS sensor and recurrent neural networks
WO2017115775A1 (ja) 分析装置、分析方法、および、分析システム
US20220299525A1 (en) Computational sensing with a multiplexed flow assays for high-sensitivity analyte quantification
Velikova et al. Smartphone‐based analysis of biochemical tests for health monitoring support at home
Ghosh et al. A low-cost test for anemia using an artificial neural network
CN110243823B (zh) 基于支持向量机的小儿佝偻病自动筛查装置及其使用方法
Velikova et al. Fully-automated interpretation of biochemical tests for decision support by smartphones
FI20205774A1 (en) SYSTEMS AND PROCEDURES FOR ANALYSIS OF THE RESULTS OF A PATIENT TEST
WO2022123069A1 (en) Image classification of diagnostic tests
Budianto et al. Strip test analysis using image processing for diagnosing diabetes and kidney stone based on smartphone
Zeb et al. Towards the Selection of the Best Machine Learning Techniques and Methods for Urinalysis
CN114667452A (zh) 确定体液中分析物的浓度的方法
Hoque Tania et al. Assay Type Detection Using Advanced Machine Learning Algorithms
US20220082491A1 (en) Devices and systems for data-based analysis of objects
Cunningham et al. Mobile biosensing using the sensing capabilities of smartphone cameras
Sinha et al. A Cost-Effective Approach For Real-Time Anemia Diagnosis Using An Automated Image Processing Tool Interfaced Paper Sensor
TWM505918U (zh) 快篩試紙之即時辨識系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination