CN116157867A - Lfa测试条的神经网络分析 - Google Patents

Lfa测试条的神经网络分析 Download PDF

Info

Publication number
CN116157867A
CN116157867A CN202180055190.5A CN202180055190A CN116157867A CN 116157867 A CN116157867 A CN 116157867A CN 202180055190 A CN202180055190 A CN 202180055190A CN 116157867 A CN116157867 A CN 116157867A
Authority
CN
China
Prior art keywords
test strip
neural network
subset
imaging conditions
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180055190.5A
Other languages
English (en)
Inventor
马扬克·库马尔
凯文·J·米勒
史蒂文·舍夫
西达尔斯·萨蒂什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exa Health Inc
Original Assignee
Exa Health Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exa Health Inc filed Critical Exa Health Inc
Publication of CN116157867A publication Critical patent/CN116157867A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N2021/7756—Sensor type
    • G01N2021/7759—Dipstick; Test strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate

Abstract

示例方法和系统训练端到端神经网络机器以通过学习光照变化、测试条反射、双向反射分布函数、成像的角度、智能电话相机的响应曲线或其任何合适组合之间的非线性相互作用，来分析侧流测定测试条的图像。这样的示例方法和系统改进了环境光设置下的定量测试结果的精度的变异系数、定量极限和检测极限。

Description

LFA测试条的神经网络分析
相关申请
本申请要求于2020年7月8日提交的、题为“NEURAL NETWORK ANALYSIS OF LFATEST STRIPS”的美国临时专利申请第63/049,213号的优先权权益，该美国临时专利申请通过引用以其整体并入本文中。
技术领域
本文中公开的主题一般涉及促进测试条的分析的专用机器(包括这样的专用机器的软件配置的计算机化变型和对这样的变型的改进)的技术领域，以及涉及通过其这样的专用机器与促进测试条的分析的其他专用机器相比得到改进的技术。具体地，本公开内容提出了促进测试条的神经网络分析的系统和方法。
背景技术
侧流测定(LFA)是一种类型的用于检测流体样本中分析物的浓度的基于纸的平台。LFA测试条是已经在生物医学、农业、食品科学和环境科学中变得流行的成本有效、简单、快速和便携的测试(例如，包含在LFA测试装置内)，并且由于其直接向患者提供即时诊断结果的潜力已经吸引了相当大的关注。基于LFA的测试广泛用于医院、医生办公室和临床实验室中以用于特定抗原和抗体的定性和定量检测，以及用于基因扩增的产品。LFA测试具有广泛且日益增长的应用(例如，在妊娠测试、疟疾测试、针对COVID-19抗体测试的测试、COVID-10抗原测试或药物测试中)，并且非常适合于护理点(POC)应用。
附图说明
在附图的图中通过示例而非限制的方式示出了一些实施方式。
图1是示出根据一些示例实施方式的这样的端到端神经网络机器在直接预测分析物的浓度方面的性能与其他方法相比较的观察结果的一对图。
图2是示出根据一些示例实施方式的被配置成执行LFA测试条的分析的端到端神经网络机器或其他系统的架构和组成部件的框图。
图3是示出根据一些示例实施方式的识别或以其他方式确定(例如，定位)图像的描绘LFA测试装置(例如，LFA测试盒)的部分的方法的流程图，其中所识别的图像的部分描绘了LFA测试装置的LFA测试条。
图4和图5是示出根据一些示例实施方式的训练神经网络分析以分析LFA测试条的方法的流程图。
图6是示出根据一些示例实施方式的能够从机器可读介质读取指令并且执行本文中讨论的方法中的任何一个或更多个方法的机器的部件的框图。
具体实施方式
示例方法(例如，算法)促进测试条(例如，LFA测试条)的神经网络分析，并且示例系统(例如，由专用软件配置的专用机器)被配置成促进测试条的神经网络分析。示例仅代表可能的变型。除非另有明确说明，否则结构(例如，结构部件，诸如模块)是可选的并且可以进行组合或细分，并且操作(例如，在过程、算法或其他功能中)可以在顺序上变化或者进行组合或细分。在以下描述中，为了说明的目的，阐述了许多具体细节以提供对各种示例实施方式的透彻理解。然而，对于本领域技术人员将明显的是，可以在没有这些具体细节的情况下实践本主题。
LFA测试条通常具有指定的对照线区域(control line region)和测试线区域。通常，可以在将样本放入LFA测试装置的指定样本阱(sample well)内之后5分钟至30分钟内解释结果。LFA测试装置可以采用LFA测试盒的示例形式，并且LFA测试装置通常具有用于接收要施加到LFA测试装置内部的LFA测试条的样本的至少一个样本阱。结果可以由经训练的医疗保健从业者(HCP)以定性的方式、例如通过视觉地确定LFA测试条上出现的测试结果线的存在或不存在来读取。
然而，由人类HCP进行的定性评估可能是主观的且易出错的，特别是对于难以视觉地识别的微弱(faint)线。相反，对于微弱测试结果线的准确读取，可能更期望例如通过测量线强度(line intensity)或线强烈程度(line strength)的其他指示符进行的线存在或不存在的定量评估。完全或部分定量的方法直接量化测试结果线的强度(intensity)或强烈程度(strength)，或者可能可以基于测试结果线量化的强度或其他量化的强烈程度确定样本中分析物的浓度。用于获取LFA测试条的图像的专用硬件装置和用于执行比色分析以确定线强烈程度的图像处理软件通常依赖于专用照亮的控制、外部光照的阻挡以及扩展装备和软件正常工作。更灵活和更便宜的方法可能是有益的。
本文中讨论的方法和系统描述了用于基于智能电话的LFA读取和分析的技术。该技术利用计算机视觉和机器学习(例如，深度学习神经网络)使适当编程的智能电话或其他移动计算装置能够用作高端实验室级LFA读取器，该高端实验室级LFA读取器被配置成在多种环境光照条件下对多种LFA测试条执行定性测量、定量测量或二者。具体地，本文中讨论的方法和系统不依赖于控制专用光源或使用遮光外壳来准确解释LFA测试结果。本文中公开的方法和系统可以用于训练神经网络以解释LFA测试结果以用于各种应用，例如疟疾测试、COVID-19抗体测试、COVID-19抗原测试、癌症测试等，并且可以适于与任何数目的不同品牌、模型或容纳LFA测试条的其它类型的LFA测试装置(例如各种LFA测试盒)工作。
在环境光设置下使用智能电话相机来完全或部分地执行LFA测试条的定量评估的现有方法和系统通常通过对由智能电话相机捕获的图像执行线性比色光标准化来完成。然而，这样的线性比色光标准化(例如，通过将测试结果线的强度除以对照线的强度，或通过将测试线的强度除以测试条的背景颜色)可能在实际设置中产生不准确的结果，例如在环境光与测试条的相互作用由于成像的角度、不同色温的多个光源、阴影、眩光、镜面反射和消费者级相机的非线性响应曲线(例如智能电话相机的幂律伽马响应曲线(power-lawgamma-response curve))而复杂的情况下。
相反，本文中讨论的方法和系统训练端到端神经网络机器，以学习光照变化、测试条反射(例如，反照率)、测试条的双向反射分布函数(BRDF)、成像的角度、智能电话相机的响应曲线或其任何合适组合之间的这样的非线性和复杂的相互作用。方法和系统相应地改进了环境光设置下的检测极限(LOD)、定量极限(LOQ)和变异系数(COV)(例如，表示定量测试结果解释、分析物浓度预测或二者的精度)。
图1是示出在根据一些示例实施方式的这样的端到端神经网络机器在直接预测分析物的浓度方面与使用利用回归分析的线性光标准化和线强度特征的其他方法进行比较时观察到的结果的一对图。具体地，图1的上图描绘了在具有色温和成像角度的变化的变化环境光条件下基于比色分析和光标准化的方法的性能，而图1的下图描绘了在具有色温和成像角度的变化的变化环境光条件下端到端神经网络机器的示例实施方式的性能。
如图1所示的上图所示，基于比色分析和光标准化的方法导致更高的方差和更高的COV。从图1所示的下图可见，经训练的端到端神经网络机器表现更好，具有更低的方差和更好的COV，并且因此获得了用于LFA测试条的定量评估的LOD和LOQ的改进。
为了准确的性能训练神经网络机器通常使用大量标记的训练示例，例如针对测试结果线和对照线具有不同水平的强烈程度(例如，强度)的测试条图像的许多示例。例如，训练数据库可以包含描绘了针对测试结果线和对照线二者具有强线、弱线、微弱线、没有线等的混合体的LFA测试条的图像的训练集合，以及真值(ground truth)定性标记(例如，指示线的存在或不存在)、真值定量标记(例如，指示分析物的浓度)或二者。此外，训练图像也可以改变其相应的成像条件，例如光照条件(例如，颜色、强度和阴影)、曝光、成像角度、成像位置、测试条背景(例如，具有根据样本、血液或二者变化的染色剂(stain)的量)，以生成可以用于训练神经网络机器以在实践设置中执行LFA测试条的定性和定量评估的代表性训练数据集。然而，收集和标记这样大量的训练数据可能极度昂贵、耗时或者二者。
根据本文中讨论的方法和系统，可以利用广泛变化的参数来模拟用于训练神经网络机器的LFA测试条的逼真图像(realistic looking image)。这样的参数的示例包括线强烈程度(例如，其中线强烈程度参数可以在0(没有线)至1(强线)的范围内)、线颜色、线粗细、线位置或其任何合适的组合。这样的参数的其他示例指示测试条背景(例如，有或没有血迹)、光照条件、阴影或其任何合适组合的变化。这些模拟测试条图像可以由合适的机器(例如，由编程到神经网络机器中的模块或其他功能件(feature))生成，并且然后用于完全或部分地训练(例如，预训练)神经网络机器。这样的模拟图像在帮助神经网络机器检测和适当地量化最微弱的测试结果线方面特别有效，并且使这些机器做出的推断对光照条件或其他成像条件不太敏感，并且对在生成这些模拟图像时使用的线强烈程度参数更敏感。
在本文中讨论的方法和系统的一些示例实施方式中，神经网络机器根据所生成的LFA测试条的模拟图像被预训练，并且然后针对特定应用领域被微调(例如，经由进一步的训练)，例如对具有有限量的数据的实际LFA测试条的图像执行评估。这样的评估可以包括定性评估(例如，测试结果线的存在或不存在)、测试结果的直接定量评估或其任何合适的组合。神经网络机器的微调使神经网络机器能够直接预测针对特定应用的测试结果线的存在或不存在，预测一些其他应用中分析物的浓度，或二者。根据一些示例实施方式，本文中公开的方法和系统可以帮助训练神经网络机器，以检测指示针对COVID-19抗体测试、COVID-19抗原测试或二者的阳性或阴性结果的微弱测试结果线，而无需首先获得示出阳性或阴性COVID-19抗体测试条、COVID-19抗原测试条或二者的标记图像的大训练集合。因此，利用生成的照片般逼真的模拟图像(photo-realistic simulated image)对神经网络机器进行预训练，加上针对特定下游任务的进一步训练，可以减少或避免获得实际测试条的大量标记图像所涉及的成本、工作或资源使用。
本文中讨论的方法和系统的某些示例实施方式包括使用修改的相机(例如，修改的智能电话相机或其他修改的相机硬件)、修改的图像获取或二者，以进一步改进经训练的神经网络机器在检测微弱线(例如，微弱测试结果线)方面的灵敏度，以及执行LFA测试条图像的准确定量评估。特别地，对硬件、图像获取或二者的这样的修改可以包括获取具有和不具有闪光照亮的测试装置(例如，测试盒)的图像、在变化曝光以增加相机的动态范围的情况下获取多个图像、以RAW成像格式获取图像以避免来自图像处理的伪影、编程地调整一个或更多个相机参数(例如，图像传感器灵敏度(“ISO”)、曝光、增益、白平衡或焦距)，或其任何合适的组合，以优化经训练的神经网络机器在评估(例如，解释)LFA测试结果线的图像方面的性能。
为了使用带相机的智能电话执行自动LFA分析，获取LFA测试装置(例如，LFA测试盒)的图像。可以使用特定的图像获取方法来获取图像，该图像获取方法优化了微弱线(例如，出现在LFA测试装置中包括的LFA测试条上的微弱测试结果线)的检测和相机的响应的线性度。一旦获取了图像，图像分析处理中的第一步骤是定位图像的示出测试装置的区域、示出测试装置的结果阱的对应子区域或二者。在一些示例实施方式中，单独的(例如，二级)神经网络机器被配置和训练成检测出现在图像内的特定类型的测试装置。无论是否是单独的，这样的神经网络机器都可以被训练成识别若干类型(例如，品牌、模型等)的测试装置中的任何。在其他示例实施方式中，这样的神经网络机器被配置成识别仅一种独特类型的测试装置。一旦图像的描绘测试装置的结果阱的部分(例如子区域)被识别(例如，通过图像内该图像部分的位置坐标)，就可以执行测试条的位置坐标的一个或更多个进一步细化(例如，测试条的可见部分，因为该部分出现在结果阱中)，以准确地识别并且裁剪出仅图像的仅示出测试条或其部分的子子区域，以用于进一步的LFA分析。第二步骤执行图像的裁剪部分(例如，示出测试条或其部分的裁剪子子区域)的实际分析。该分析可以由端到端神经网络机器执行，该端到端神经网络机器被训练成对图像的部分执行定性评估、定量评估或二者。端到端神经网络机器可能已经根据生成的LFA测试条的模拟图像被预训练并且然后针对特定应用被微调。
图2是示出根据一些示例实施方式的被配置成执行LFA测试条的分析的端到端神经网络机器或其他系统的架构200和组成部件的框图。
在图像获取方法的一些示例实施方式中，使用在智能电话上执行的应用来获取测试装置的图像(例如，描绘LFA测试盒的图像)，并且在智能电话的闪光灯开启(例如，设置成ON(开)状态)的情况下捕获这样的图像。在闪光照亮的情况下捕获图像可以被称为“闪光成像”，并且可以被执行以避免阴影直接落在图像的测试条区域(例如，描绘测试条或其部分的子子区域)上，被执行以减少用于准确地检测测试条上的一条或更多条测试结果线的光量，或二者。
在图像获取方法的某些示例实施方式中，获取两个测试装置图像——一个在闪光灯开启的情况下获取，并且另一个在闪光灯关闭(例如，设置成OFF(关)状态)的情况下获取，并且此后经由软件通过从另一图像中减去一个图像(例如，I闪光-I不闪光)来生成示出这两个图像之间差异的增量图像(delta image)。该方法最小化或去除了环境光照对所得测试装置图像(例如，增量图像)的影响。也就是说，在所得增量图像(其可以被称为“差分图像”)中，外部光源将对测试装置的外观具有最小的影响至没有影响。这种方法可以有助于避免使用任何完整或部分外壳(例如，硬纸板或纤维板外壳或其他专用遮光硬件)以减少到达要成像的测试装置的环境光的量。
在图像获取方法的其他示例实施方式中，捕获测试装置的多个(例如，若干)图像，每个图像具有对于高动态范围(HDR)成像的不同水平的曝光、不同的ISO或其不同的组合。与仅使用单个图像的情况相比，组合的HDR图像具有高得多的灵敏度，并且可以用于检测更微弱的线。结果，HDR成像增加了微弱测试结果线的可检测极限。
另外，获取的LFA测试装置的图像可以以无损方式(例如，作为便携式网络图形(PNG)图像)存储，使得压缩伪影不会不利地影响图像质量或从所存储的图像中去除指示微弱线的小信号。在一些示例实施方式中，未处理或最小处理的原始(“RAW”)图像(例如，包含来自相机的光学传感器的原始数据)可以用于执行测试条分析。这样的RAW图像可以使用当代智能电话获取，并且可能有益于用于LFA分析，至少因为RAW图像中与伽马校正的图像或其他后处理的图像中相比针对相机的响应曲线更线性。此外，与联合图像专家组(JPEG)图像相比，RAW图像可以提供每像素更高数目的位，从而对于给定智能电话内的相同相机硬件增加可检测极限。
图3是示出识别或以其他方式确定(例如，定位)图像的描绘LFA测试装置(例如，LFA测试盒)的部分的方法300的流程图，其中所识别的图像的部分描绘了LFA测试装置的LFA测试条。例如，可以通过如下方式识别该图像的部分：识别或以其他方式确定图像的区域，其中该区域描绘了LFA测试装置，然后识别(操作310)或以其他方法确定该区域的子区域，其中该子区域描绘LFA测试装置的结果阱，然后对准(操作320)该子区域以供进一步处理，并且然后在裁剪(操作340)描绘LFA测试条的子子区域之前，识别(操作330)或以其他方式确定子区域的子子区域，其中该子子区域描绘在LFA测试装置的结果阱中可见的LFA测试条或其部分。
如图3所示，根据方法300的一些示例实施方式，执行方法300的操作(例如，操作310、320、330和340)以识别或以其他方式确定(例如，定位)以及然后裁剪出测试条子子区域以供神经网络机器的分析。示出测试装置的区域的识别可以包括使用用于神经网络的一个或更多个对象检测模型(例如，名为Yolo、SSD、Faster-RCNN、Mask-RCNN、CenterNet或其任何合适组合的对象检测模型)来预测或以其他方式确定如附图中描绘的整个结果阱周围的边界框(例如，具有纵向取向的直立矩形边界框)并且裁剪图像的该部分以获得示出测试装置的结果阱的子区域。
为了示出结果阱的子区域的坐标的进一步细化，方法300可以包括从这个裁剪的子区域提取一个或更多个边缘图，并且从提取的边缘图中去除任何小的连接成分，由于这些小的连接成分往往是噪声、不相关的或二者。然后，方法300还可以包括对这样的边缘图应用霍夫变换(Hough transform)，丢弃其取向比竖直更水平的任何霍夫线，聚集霍夫线以合并任何重复的线，去除其取向离中值太远(例如，超过与中值的阈值偏差)的任何霍夫线，并且平均剩余霍夫线的取向。因此，所得平均的取向(例如，用作估计)可以是用于旋转示出结果阱的子区域的基础，使得示出测试条或其部分的子子区域将直立或尽可能接近直立。在某些示例实施方式中，单独的(例如，第二)神经网络机器(例如，第二卷积神经网络机器)确定回归结果阱周围的紧密边界框(例如，经由回归)，如图像的该直立子区域中所描绘的。
在一些示例实施方式中，CenterNet对象检测模型的变型用于识别测试装置的图像内的示出测试装置的区域。CenterNet对象检测模型的变型可以直接检测旋转的边界框，并且因此可以被训练成定位示出测试条或其部分的子子区域。该方法与使用其他对象检测模型相比具有更少的步骤，但该方法还依赖于更多的手动标记工作，因为每个标记涉及至少三个点(例如，直立边界框的宽度和高度及其旋转角度)，而不是仅涉及两个点。
在某些示例实施方式中，CenterNet对象检测模型的另一变型充当关键点检测模型，并且可以检测任意四个坐标以定位在LFA测试装置的图像中出现结果阱的子区域。这种方法容易地处理相机平面之外的旋转，由于可以使用单应性变换(homography transform)来将四边形区域扭曲(warp)成直立的矩形形状。然而，这种方法涉及每个手动标记的四个点。
在大多数典型的使用情况下，LFA测试装置的图像中出现结果阱的子区域(例如，其中子区域被称为“结果阱区域”)、出现测试条或其部分的子子区域(例如，其中子子区域被称为“测试条区域”)或二者在视觉上足够独特以供上面讨论的方法准确地执行。然而，在这可能不是这种情况的状况下，一个或更多个对象检测模型可以被配置成检测测试装置(例如，测试盒)上的一个或更多个其他界标特征(landmark feature)，例如测试装置的壳体上的文本或标志(例如，圆圈)，并且使用测试装置的已知几何形状来推断测试条区域的角部的位置。该推断可以使用单应性变换来执行，由于测试条区域通常与测试装置的正面几乎共面。使用卷积神经网络(例如，经由回归)确定紧密边界框的技术(例如，如上所讨论的)可以用于细化该推断(例如，作为初始估计)，以考虑(account for)由测试条相对于测试装置的正面略微偏离平面而引起的任何误差。
在各种示例实施方式中，对象检测模型直接检测结果阱区域，而不预先检测图像内的整个测试装置。这样的示例实施方式在多个品牌的测试装置具有类似外观的结果阱区域的状况下，或者在要分析的图像仅示出结果阱(例如，由于原始图像捕获或由于先前的裁剪)而不示出整个测试装置的状况下可能是有利的。在一些实现方式中，神经网络机器可以根据仅一个或两个品牌的测试装置被训练，并且所得的经训练的神经网络机器可以成功地检测描绘其他品牌的测试装置的图像的结果阱区域，其中这些其他品牌的测试装置没有被描绘在图像的训练集合中。因此这种能力减少了训练数据集的大小及其获取费用。可以应用相同的原理来省略上面讨论的方法300中的一个或更多个其他操作(例如，操作320)。然而，在不同品牌的测试装置不具有类似外观的结果阱区域的状况下，可以使用一个或更多个附加界标来定位图像的测试条区域。具体地，神经网络机器可以被训练成找到出现在训练品牌和要测试的品牌两者中的界标，以检测这些界标，并且使用特定品牌的测试装置的已知几何形状来推断该特定品牌的测试装置的测试条区域的位置。这样的界标的示例包括测试装置的角部、测试装置上样本阱的角部、测试装置上出现的文本(例如“C”、“G”、“M”、“T”、“IgG”、“IgM”“COVID-19”、“SARS-Cov-2”、“Pv”、“Pf”或其任何合适的组合)、测试装置的壳体中的一个或更多个孔、一个或更多个标志(例如线或脊)或其任何合适的组合。
一旦测试条区域被准确地定位，分析中的下一个任务是在估计或不估计对照线的线强烈程度的情况下估计测试结果线的线强烈程度(例如，线强度)，以执行测试条的自动评估(例如，定性的、定量的或二者)。如上所述，端到端可训练的神经网络机器被训练成直接预测测试结果线的存在或不存在(例如，以用于定性评估)或执行分析物浓度预测(例如，以用于定量评估)。神经网络机器可以被配置成容易地学习光、测试条反射(例如，反照率)、其他光学效果(例如，阴影)或其任何合适组合之间的非线性和复杂的相互作用。经训练的神经网络机器将测试条或裁剪的测试条区域的图像作为输入。另外，神经网络机器还可以将指示辅助光照的一个或更多个参数、一个或更多个其他成像条件或其任何合适的组合作为输入。因此，经训练的神经网络机器的输出可以包括测试结果线的存在或不存在的直接确定的概率、测试结果线的强烈程度或其分析物的相关浓度(underlyingconcentration)。可以利用各种成像条件下(例如光强度的范围、色温的范围、成像角度的范围或其任何合适的组合)的测试装置的图像进一步训练神经网络机器，这样的神经网络机器学习在执行上述评估(例如，定性、定量或二者)时忽视或消除成像条件的这样的变化。通常，在训练阶段收集和使用的数据越多，在经训练的神经网络机器中得到的准确性越好。因此，可以利用在生成的训练图像中描绘的人工模拟的变化来增强训练数据，其中这样的变化包括改变图像中的亮度、对比度、色调、饱和度或其任何合适的组合，以模仿真实的变化并且增加训练数据的量。
在一些示例实施方式中，神经网络机器实现包括两个部分A和B的对象检测模型。部分A是完全卷积神经网络。部分A的输入是测试条区域的图像(例如，如上所述裁剪的)，并且其输出是激活的三维(3D)阵列。可以使用全局空间平均(例如，全局平均池化)将该输出转换成一维(1D)向量，该全局空间平均可以是均匀平均或具有可学习的权重的加权平均。替选地，1D向量可以通过使3D阵列平坦化来获得。然后，这个1D向量可以被馈送到部分B中，部分B是具有密集连接的神经网络。部分B输出目标变量的预测，例如线存在概率(例如，以用于定性评估)、线强烈程度阿尔法(alpha)(例如，以用于半定量或部分定量评估)、分析物浓度(例如，以用于定量评估)或其任何合适的组合。部分B还可以输出可以用于监督神经网络的训练的一个或更多个其他变量的预测，例如测试结果线在测试条区域的输入图像内的位置、测试结果线的顶部和底部的位置或二者。如果测试装置具有多条测试结果线(例如，COVID-19测试装置中的C-G-M测试结果线、C-IgG-IgM测试结果线或C-T测试结果线)，则测试条区域可以被划分为较小的区域以与本文中讨论的针对单条测试结果线的方法类似的方式进行独立分析。在替选的示例实施方式中，神经网络机器被训练成分析整个测试条区域(例如，作为整体)并且产生多个输出，针对测试结果线的每一条产生一个输出。
在某些示例实施方式中，神经网络机器实现与信号处理融合的深度学习。在这种方法中，对象检测模型的部分A仍然是完全卷积网络，但是其输出单个二维(2D)热图，该二维热图在水平维度(例如，平行于一条或更多条测试结果线)上被平均，以给出类似于ID强度分布的1D分布。然后，部分B是其损失函数相对于1D分布可微分的峰值检测算法。作为示例，假设部分B找到1D分布的最高强度，并且将最高强度与阈值强度(例如，强度的预定阈值)进行比较，以判定测试结果线是否存在。然后，部分B可以使用逻辑回归方程p＝1/(1+exp(-az+b))将每个分布强度z转换成概率p，其中a和b是可学习的，然后对概率施加二进制交叉熵损失，从而鼓励概率在线的中心处接近1，并且在不太靠近线的所有位置处为0。作为另一示例，假设部分B测量了分布中每个条目(entry)的地形突出度(topographicprominence)(例如，自主高度、相对高度或峰肩落差(shoulder drop))，但是部分B被修改成计算固定尺寸窗口内的最小值。然后，地形突出度将是强度分布的可微分函数，并且可以使用逻辑层和二进制交叉熵损失。如果部分B是可微分的，那么整个对象检测模型可以被端到端地训练。可以使用重建损失来鼓励部分A生成与其输入类似的图像，而来自部分B的损失应当鼓励部分B生成更有益于峰值检测的图像。部分A可以以限制部分A可以对图像进行的改变的类型(例如，限制每个输出激活的接收域)的方式进行架构。与其他方法相比，这种方法可能不太易于过度拟合。
为了使对象检测模型对环境光照变化更加鲁棒，可以将测试装置的“参考”部分的颜色给予对象检测模型(例如，作为额外输入或辅助输入)，使得对象检测模型可以在训练阶段期间使用该信息来学习针对特定测试条或测试装置的光照和成像角度的非线性效果。该“参考”部分可能是测试装置的位于结果阱之外且无文本的部分，因为这样的部分将具有恒定的颜色，并且将具有与测试条相同的取向和入射角。替选地，“参考”部分可以是测试条本身的空白部分(例如，没有任何线)。这些选项的每一个具有优点和缺点。结果阱之外的区域可能由与测试条不同的材料制成，并且其可能具有不同的BRDF，但是该区域可能不会受到流体梯度的影响，如果样本流体是血液则流体梯度可能特别明显。如果使用结果阱之外的区域，则可能有助于避免眩光或镜面光的其他强实例。这可以使用诸如最大稳定极值区域(MSER)、Otsu阈值、中值阈值或其任何合适组合的噪声去除技术来完成。替选地，可以捕获相同测试装置(例如，测试盒)在不同成像角度下的两个图像，然后经由关键点匹配将其扭曲成对准，之后是采取逐像素最小值以消除任何镜面高光(例如，镜面反射)。
存在使用“参考”颜色来学习LFA测试条的外观的光照相关的变化的若干方式。一种技术是在训练阶段期间将测试条图像和参考颜色二者馈送到神经网络中(例如，在神经网络机器中)，并且训练神经网络如何针对光照变化进行标准化和校正。因为参考颜色是向量，所以可以将参考颜色连结(concatenate)到神经网络的密集连接部分的输入上。参考颜色也可以连结到神经网络的密集连接部分的任何中间层或输出层的输入上。此外，可以将参考颜色广播到3D阵列中，并且连结到任何卷积层的输入中。参考颜色可以在被广播或连结之前被馈送通过一个或更多个密集层。
根据本文中讨论的方法和系统的一些示例实施方式，神经网络机器的训练包括用以教导神经网络如何使用参考颜色来标准化LFA测试条的图像的监督。例如，神经网络可以被配置成输出图像，并且训练处理可以惩罚该输出图像与通过参考技术(例如，通过将图像颜色除以参考颜色)标准化的参考图像之间的差异。该惩罚的权重可以在训练处理期间随着时间的推移而减小，使得神经网络学习其自身的改进的标准化技术。结果，经学习的标准化技术对由于光照、成像角度、相机响应曲线等的变化而在这样的设置中常见的非线性相互作用进行建模。在某些示例实施方式中，该输出是神经网络的末端处的单独头部。在其他示例实施方式中，神经网络的卷积部分被分割成两个部分，例如生成标准化图像的下部分和推断该标准化图像中存在或不存在线的上部分。在任何一种情况下，额外的监督可以防止参考颜色的额外输入导致过度拟合。
为了最佳结果，在训练神经网络时应当使用大量的训练数据。如上所述，当神经网络被训练成考虑光照、成像条件等的变化时，这甚至更重要。因此，在本文中讨论的方法和系统的各种示例实施方式中，用于生成LFA测试条的模拟的照片般逼真的图像的一个或更多个方法被包括在训练处理或其准备中。也就是说，在各种示例实施方式中，机器(例如，被配置成进行训练或成为神经网络机器的机器)以编程方式生成具有变化的模拟参数的大量模拟测试条图像。
为了合成LFA测试条(例如，在LFA测试装置中)的图像，执行图像合成的机器获得测试结果线的图像(如，第一图像)和空白测试条背景的图像(例如，第二图像)，然后机器组合两个图像以生成测试条的一个或更多个人造图像。在生成人造图像时，机器改变背景图像(例如，第二图像)中的颜色和亮度以模拟光照变化，人为地添加颜色涂料以模拟可能经常出现在真实LFA测试条上的流体(例如，血液)的图案或二者。以类似的方式，机器可以相对于测试结果线改变前景图像(例如，第一图像)，例如其颜色、粗细、取向、位置或其任何合适的组合。另外，机器可以改变一个或更多个阿尔法混合参数(例如，在阿尔法值的范围内，例如在0(没有线)至1(强线)之间)以模拟变化强烈程度的测试结果线，这在LFA测试条或其部分的实际图像中经常可见。
在图像合成处理的一些示例实施方式中，执行图像合成的机器访问(access)(例如，读取、请求或检索)描绘LFA测试条的(例如，如上讨论的，从LFA测试装置的较大图像中裁剪的)并且已知呈现强测试结果线的图像的集合。该机器可以实现Otsu阈值以围绕每条强测试结果线创建粗糙的边界框。粗糙的边界框可以被手动细化并标记为强的或微弱的(例如，由机器的人类操作员进行)。然后，执行图像合成的机器可以使用这些边界框来初始化测试结果线的分割(例如，使用GrabCut或类似技术)，以获得构成测试结果线的像素的精确分割。所得分割(例如，被视为输入图像的进一步裁剪部分)成为用于生成测试结果线的真实合成图像的基础。
在图像合成处理的某些示例实施方式中，执行图像合成的机器基于颜色、粗细等的真实参数直接模拟测试结果线。为了获得合适的背景图像，机器可以访问未使用的LFA测试条的图像集合以及然后对图像的已知没有测试结果线(例如，如果测试条示出阴性测试结果，则在测试结果线之间或对照线下面)的部分进行采样。替选地，机器可以执行一个或更多个绘画操作以数字地去除任何可见的线条，这可以在首先使用一个或更多个线分割掩模来标记要绘画的区域之后执行。
为了将前景测试结果线与背景组合，执行图像合成的机器可以将测试结果线的图像阿尔法混合到背景图像的一部分上，这可以使用以下方程来完成：
I合成(x+a，y+b)＝阿尔法*I线(x，y)+(1-阿尔法)*I背景(x+a，y+b)
在该方程中，阿尔法是要模拟的线强烈程度，并且a和b是指定要将线绘制到背景上的位置的偏移量。阿尔法的值落在0与1之间的范围内，其中值为1将模拟全强烈程度线，并且接近O的值将模拟极其微弱的线。a的值通常将是0，并且b的值将从反映预期找到线的竖直位置的范围的分布中采样。I线可以被略微旋转以模拟来自LFA测试条的检测的取向的小误差、由制造过程引起的取向的变化或二者。I线和I背景两者可以随机地竖直和水平地翻转以创建更多的变化。
然而，在使用从预先存在的测试条图像分割的线图像时，I线的颜色取决于源线的强烈程度和源图像的光照二者。这意味着，由于源图像是在更亮或更暗的环境光照环境中捕获的，因此对于固定的阿尔法，I合成中的线可能会看起来更强或更暗。在最坏的情况下，由于I线在非常明亮的环境中捕获，而I背景在非常黑暗的环境中捕获，因此I线可能会与I背景具有相同的颜色。为了解决该弱点，执行图像合成的机器的一些示例实施方式使用线周围的区域来执行标准化的阿尔法混合。例如，使I后面是在没有线的情况下I线看起来怎么样的估计。可以通过取源线图像中的紧接I线像素上方或下方的像素，通过取上方和下方两者的像素的平均值，或者通过在I线像素上方绘画(例如，图像修复)，来创建I后面。然后，标准化的阿尔法混合方程成为：
I合成(x+a，y+b)＝阿尔法*I线(x，y)/I后面(x，y)*I背景(x+a，y+b)+(1-阿尔法)*I背景(x+a，y+b)
在源线或源背景图像具有阴影的情况下，这种标准化的阿尔法混合可能尤其有用，因为标准化的阿尔法混合从源线图像中去除阴影并且合并来自源背景图像的阴影，使得所得合成图像将具有自然看起来的阴影。
标准化的阿尔法混合假设源线将始终一致强。然而，即使仅从对照线对源线进行采样，这种假设也可能不会始终保持真实。结果，具有相同阿尔法的模拟线可能会看起来更微弱或更暗，这可能会阻碍神经网络机器的训练。为了解决该弱点，执行图像合成的机器的一些示例实施方式仅使用已知利用类似强度生成的那些模拟测试线图像。解决该弱点的另一方法是假设结合(bound)在源线处的物质的浓度是已知的，例如在源线是从预先标记的训练集合采样的以为图像合成处理提供种子(seed)的情况下。如果浓度已知，则可以将表达比尔-朗伯特定律(Beer-Lambert law)的方程拟合到源线数据，以针对每条源线计算预先存在的阿尔法。
假设存在比尔-朗伯特函数f(conc)，其针对分析物的给定浓度conc和给定光照L(x，y)描述线的反射率。换句话说：
I线(x，y，conc)＝L(x，y)*f(conc)
该函数f可以是短的比尔-朗伯特函数f(conc)＝beta*exp(-gamma*conc)，或者函数f可以具有一个或更多个附加多项式项以考虑与理想比尔-朗伯特定律的任何物理偏差。函数f可以被拟合到其中L(x，y)已知的数据集。替选地，可以假设I后面(x，y)～＝I线(x，y，0)，因此f可以被拟合成以下关系：
I线(x，y，conc)/I后面(x,y)～＝f(conc)/f(0)
接下来，假设concref是已知用于产生看起来强的线的分析物的浓度。然后，线颜色可以被表达为concref线和零浓度(例如，空白)线的阿尔法混合：
I线(x，y，conc)＝阿尔法pre*L(x，y)*f(concref)+(1-阿尔法pre)*L(x，y)*f(0)
因此，阿尔法pre可以依据conc来表示：
阿尔法pre＝(f(cone)-f(0))/(f(concref)-f(0))
当根据具有已知浓度conc的源线生成模拟图像时，可以补偿阿尔法混合的阿尔法以考虑阿尔法pre，使得所得到的生成的合成图像的集合更加一致，即使在合成图像从测试条的不同图像(其中不同图像呈现不同的源线强烈程度)得到时也是如此。由于该方法允许两个图像集合的组合的事实，因此在源线图像中的一些具有已知浓度而源线图像的剩余源线图像具有未知浓度但具有一致线强烈程度的情况下，该方法可能特别有用。此外，该方法不依赖于具有已知分析物浓度的源背景图像。
在图像合成处理的各种示例实施方式中，执行图像合成的机器模拟背景图像而不是依赖于实际背景的图像。当LFA测试装置的物理副本短缺时，这种方法可能有用。背景变化可以通过模拟光照、反射率、碎片(debris)或其任何合适组合的变化而引起。反射率变化可能因为流体(例如，不均匀地)扩散至测试条中(例如，通过测试条的一个或更多个膜)而引起。反射率的这样的变化可以使用一种或更多种建模技术来建模。例如，对于基于血液的LFA测试条，热方程可以对血液到测试条中的扩散进行建模，而比尔-朗伯特方程可以使血液密度与颜色相关。可以实现毛细管作用的一个或更多个模型，以考虑流体扩散到干膜中的事实。另外，可以收集LFA膜材料的物理样本，并且注入一定量的贮备血液，以创建用于拟合这些或其他类型模型的用实验方法得出的参考数据。给定足够大量供应的膜材料和流体(例如血液)，可以训练一个或更多个生成对抗网络(GAN)以生成源背景，而不是对这样的流体的扩散所涉及的实际物理现象进行建模。
为了使经训练的神经网络机器对光照变化更加鲁棒，在训练数据中模拟光照变化可能是有帮助的。在图像合成处理的一些示例实施方式中，执行图像合成的机器将一个或更多个数字颜色增强应用于模拟图像。这样的增强的示例包括亮度、色温、像素值(例如，在色调饱和度值(HSV)颜色空间中)或其任何合适组合的小偏移量。增强的其他示例包括伽马校正和对比度调整，尽管增强这些可能会妨碍所得到的经训练的神经网络准确地预测阿尔法。为了确保模拟图像仍然看起来真实，训练数据的准备可以包括收集目标环境(例如，家庭、诊所或室外)中与测试装置颜色相同的任何对象的图像，并且使用颜色统计来优化增强参数。这种方法在不能在所有可能的目标环境中收集源线图像和源背景图像的情况下可能尤其有用。
阴影可以提供测试条图像的变化的具有挑战性的源，因为阴影通常在空间上不均匀。在图像合成处理的一些示例实施方式中，执行图像合成的机器通过访问(例如，恢复或以其他方式获得)测试装置的3D结构(例如，以3D点云或其他3D模型的形式)并且将该结构与一个或更多个模拟光源组合来模拟一个或更多个阴影。例如，可以使用两种不同的方法来访问3D结构。第一种方法开始于使用不同的相机位置和相机角度获取测试装置的几个图像，然后针对沿着测试装置的结果阱的顶壁和底壁的关键点找到2D点对应关系。在关键点不位于强的角部(例如，处于圆化角部的顶点)的情况下，可以手动标记这些对应关系。然后，可以使用对应关系来恢复关键点的3D坐标，这些关键点的3D坐标在大多数情况下将是足以创建测试装置(例如，其中大多数表面是平坦的、圆柱形的、圆锥形的或其一些合适的组合)的3D模型的信息。第二种方法开始于在不同的光照方向下对测试装置进行成像，并且然后使用从阴影恢复形状(shape-from-shading)技术来访问(例如，恢复或获得)测试装置的3D结构。一旦访问了3D结构，就可以使用各种技术中的一种或更多种来模拟条区域上的一个或更多个阴影。例如，如果假设光来自点源的集合，则可以通过如下方式来处理测试条图像的每个像素：基于到点源的距离和角度以及点源是否被测试装置的3D结构遮蔽而计算该像素从光的每个点源接收多少光。例如，执行图像合成的机器可以执行场景的3D渲染(例如，光线跟踪)来模拟阴影和定向光照。
碎片可以提供测试条图像的变化的另一具有挑战性的源。特别地，人类毛发的存在是常见的误差源，因为毛发可能容易被用户忽略。在图像合成处理的某些示例实施方式中，执行图像合成的机器通过随机地将光滑、细、深色的曲线绘制到模拟的图像上来模拟毛发。因为毛发通常非常细，所以毛发不需要太多的纹理数据来以足够的准确度进行模拟以用于训练神经网络机器的目的。毛发也可以通过以白色背景为背景对一些实际毛发进行成像，分割所描绘的毛发并且将分割的毛发粘贴到测试条或其部分的模拟图像上，以更加数据驱动的方式来模拟。在这两种方法中，不需要获得在它们上具有实际毛发的实际测试装置。可以使用类似的方法来模拟可能在非实验室设置中出现的其他小的、颜色均匀的碎片。
在实际场景中，模拟尽可能多的类型的变化以生成用于训练(例如，预训练)神经网络机器以进行自动LFA测试条分析的模拟测试条图像可能是有用的。在本文中讨论的方法和系统的一些示例实施方式中，利用模拟图像进行预训练之后利用真实训练图像微调神经网络。在利用模拟图像的预训练期间，神经网络机器可以被训练成与利用真实图像的稍后训练期间相比预测更多的目标。这种布置可以基于以下来实现：与利用非模拟的真实训练图像通常可获得的信息相比，利用模拟图像，已知比仅测试结果线的真值存在或不存在或真值分析物浓度更多的真值信息。在某些示例实施方式中，通过配置神经网络以不仅预测阿尔法、分析物浓度或二者，而且预测线位置、线边界(例如，线的顶部边缘和底部边缘的y坐标)、线的平均颜色、线的取向或其任何合适的组合，来训练神经网络机器。神经网络还可以被配置成例如通过预测哪些像素是线像素来预测线的分割掩模。类似地，如果要模拟碎片，那么神经网络可以被配置成预测碎片掩模。用于这些变量中的一个或更多个的监督训练可以通过为实现的每个变量添加损失函数来执行。在神经网络机器要根据真实图像和模拟图像的混合进行训练的情况下，可以在每个训练批次中省略针对真实图像的辅助损失。在一些示例实施方式中，额外的监督可以允许神经网络机器根据有限量的源数据更高效地学习。
为了准确地训练神经网络机器以识别极其微弱的测试结果线，生成具有极低阿尔法值的测试结果线的模拟图像可能是有帮助的，并且该处理可能会创建一些具有不会检测到的测试结果线的模拟图像。预先不知道哪些图像将具有不被检测到的测试结果线或不可检测到的测试结果线。因此，损失函数适度地(gracefully)处理这些边界线或其他困难的情况以使得这些情况不会主导训练可能是有益的。因此，对于非常接近零的阿尔法，阿尔法损失的梯度可以被配置成不太大。例如，平方误差可能是合理的阿尔法损失，但不是对数(阿尔法)的平方误差，对数(阿尔法)的平方误差接近零会激增。另外，针对对于不可检测到的线将未知的某些参数执行监督训练可能没有是没有帮助或不值得的。这样的参数的示例包括线位置、线边界、线颜色和线掩模。每当真值阿尔法在阿尔法的某个预定阈值以下时，可以关闭这些参数的对应损失函数(例如，通过将它们乘以零)。
如上所述，可以使用LFA测试条的模拟图像来预训练神经网络机器(例如，预训练通过由神经网络机器实现的神经网络实现的对象检测模型)，然后可以利用根据LFA测试条的真实图像的进一步训练来微调预训练的神经网络机器。如果真实图像的集合非常小或者如果真实图像的集合缺乏光照、流体梯度、碎片或其任何组合的变化，则这种两阶段训练方法可能尤其有用。微调阶段可以仅利用真实图像执行(例如，如果旨在具有少量操作、小学习率或二者)。替选地，微调阶段可以利用真实图像和合成图像的混合来执行，例如，其中对于不同类型的图像打开和关闭不同的损失函数。如果真实图像的集合极其小，那么仅微调神经网络的前几层就足够了，以防止过度拟合。在极端情况下，可以训练单独的模型以将预测的阿尔法用作该模型的与真实图像的预测(例如，定性预测、定量预测或二者)相关的唯一特征。如上所述，阿尔法与浓度之间的关系可以通过方程进行数学地建模。因此，可以使用该方程的逆或具有非线性的神经网络层来指定根据阿尔法预测浓度的模型。这样的指定模型可以以端到端的方式与网络的前几层结合训练或单独训练。
如果目标应用是描绘LFA测试条的图像的定性分析，那么为预测的阿尔法值设置阈值以确定线是否存在可能是有帮助的。该阈值可以通过基于应用的特定目标、收集描绘真实LFA测试条或模拟LFA测试条的图像的校准集合、绘制接收器操作特性(ROC)曲线以及在真阳性结果和假阳性结果之间选择最佳权衡来确定。理想地，图像的校准集合与用于临床验证的图像的测试集合是分开的，因为阿尔法的阈值已经针对该特定校准集合进行了优化。
如果目标应用是描绘LFA测试条的图像的定量分析，那么训练神经网络以直接确定分析物浓度可能是有帮助的。然而，如果浓度被标准化成平均值为0并且标准偏差为1，则梯度下降可能最有效。如果浓度指数地分布，那么其可能有助于训练神经网络来预测对数浓度，因为对数浓度将均匀地分布。结果，训练将不会被高浓度示例主导。总的来说，在阿尔法预测上再堆叠几个非线性层并且然后端到端训练神经网络以预测浓度可能是有益的。
图4和图5是示出根据一些示例实施方式的训练神经网络分析以分析LFA测试条的方法400的流程图。方法400中的操作可以由机器(例如，一个或更多个服务器计算机的云系统或其他系统)执行，并且作为结果向装置(例如，智能电话)提供适当训练的神经网络。因此，方法400中的操作可以使用计算机部件(例如，硬件模块、软件模块或其任何组合)、使用一个或更多个处理器(例如，微处理器或其他硬件处理器)或使用其任何合适组合来执行。如图4中所示，方法400包括操作410、420和430，并且如图5中所示，该方法400可以另外包括操作402、404、421、422、423、424、425和426中的一个或更多个。
在操作402中，执行方法400的机器生成合成训练图像(例如，作为训练图像的第一部分)，上述合成训练图像描绘(例如，示出)模拟成像条件下的模拟测试条。
在操作404中，执行方法400的机器访问捕获的训练图像(例如，作为训练图像的第二部分)，上述捕获的训练图像描绘(例如，示出)真实成像条件下的真实测试条。对这些捕获的训练图像中的一些或全部的访问可以包括使用一个或更多个相机捕获这样的训练图像、访问这样的训练图像的数据库或其他储存库或其任何合适的组合。
在操作410中，执行方法400的机器访问用于训练将在操作430中提供(例如，提供给装置)的神经网络的训练图像。所访问的训练图像可以包括执行操作402和404中的一个或两个的输出或其他结果中的一些或全部。
在操作420中，执行方法400的机器训练将在操作430中提供(例如，提供给装置)的神经网络。例如，可以基于在操作410中访问的训练图像来执行神经网络的训练。因此，基于所访问的训练图像，操作420的执行训练神经网络以基于未标记的图像确定预测的测试结果。
如图5中所示，操作421、422、423、424、425和426中的一个或更多个可以作为其中训练神经网络的操作420的部分(例如，前驱任务、子例程或一部分)来执行。
在操作421中，执行方法400的机器基于在色温方面变化(例如，1000K、2000K、2500K、3000K、3500K、4000K、5000K、5200K、6000K、6500K、7000K、8000K、9000K、10000K或其任何合适的组合)的图像来训练神经网络。
在操作422中，执行方法400的机器基于在其对阴影的描绘方面变化(例如，更多的阴影、更少的阴影、更暗的阴影、更亮的阴影、阴影的位置、阴影落下的方向或其任何合适的组合)的图像来训练神经网络。
在操作423中，执行方法400的机器基于在其对碎片的描绘方面变化(例如，更多的碎片、更少的碎片、更暗的碎片、更亮的碎片、碎片的位置、碎片的颜色或其任何合适的组合)的图像来训练神经网络。
在操作424中，执行方法400的机器基于在其对镜面光的描绘方面变化(例如，更多的镜面高光、更少的镜面高光、镜面高光的大小、镜面高光的位置、镜面高光的颜色或其任何合适的组合)的图像来训练神经网络。
在操作425中，执行方法400的机器基于在其对染色剂的描绘方面变化(例如，更多的染色剂、更少的染色剂、更暗的染色剂、更亮的染色剂、染色剂的位置、染色剂的颜色或其任何合适的组合)的图像来训练神经网络。
在操作426中，执行方法400的机器基于在其曝光方面变化(例如，如由亮度、对比度、峰值白水平(peak white level)、黑水平、伽马曲线或其任何合适组合所指示的更多的曝光或更少的曝光)的图像来训练神经网络。
在操作430中，执行方法400的机器提供经训练的神经网络(例如，提供给诸如智能电话的装置)，以供如本文中描述的那样用于分析LFA测试条。
根据各种示例实施方式，本文中描述的方法中的一种或更多种可以促进由神经网络(例如，在神经网络机器中实现的)对测试条的自动分析。此外，本文中描述的方法中的一种或更多种可以促进描绘模拟测试条或其部分的合成图像的生成。因此，与预先存在的系统和方法的能力相比，本文中描述的方法中的一种或更多种可以促进训练这样的神经网络，以及改进这样的经训练的神经网络在分析测试条的图像方面的性能。
当综合考虑这些效果时，本文中描述的方法中的一种或更多种可以消除对否则在由神经网络对测试条的自动分析中将涉及的某些工作或资源的需要。通过使用(例如，依赖于)实现本文中描述的方法中的一种或更多种的专用机器，可以减少用户在获得测试条的自动分析方面做出的工作。可以类似地减少由一个或更多个系统或机器(例如，网络环境内)使用的计算资源(例如，与缺少本文中讨论的结构或除此之外不能执行本文中讨论的功能的系统或机器相比)。这样的计算资源的示例包括处理器周期、网络流量、计算能力、主存储器使用、图形渲染能力、图形存储器使用、数据存储能力、功耗和冷却能力。
图6是示出根据一些示例实施方式的能够从机器可读介质1122(例如，非暂态机器可读介质、机器可读存储介质、计算机可读存储介质或其任何合适的组合)读取指令1124并且全部地或部分地执行本文中讨论的方法中的任何一种或更多种的机器1100的部件的框图。具体地，图6示出了呈计算机系统(例如，计算机)的示例形式的机器1100，在机器1100内可以全部地或部分地执行用于使机器1000执行本文中讨论的方法中的任何一种或更多种的指令1124(例如，软件、程序、应用、小应用、app或其他可执行代码)。
在替选实施方式中，机器1100作为独立装置操作或者可以通信地耦接(例如，联网)至其他机器。在联网布置中，机器1100可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力操作，或者在分布式(例如，对等)网络环境中作为对等机器操作。机器1100可以是服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、蜂窝电话、智能电话、机顶盒(STB)、个人数字助理(PDA)、web设备、网络路由器、网络交换机、网桥或者能够顺序地或以其他方式执行指定要由该机器采取的动作的指令1124的任何机器。此外，虽然示出了仅单个机器，但是术语“机器”也应当被认为包括单独地或联合地执行指令1124以执行本文中讨论的方法中的任何一种或更多种中的全部或部分的机器的任何集合。
机器1100包括被配置成经由总线1108彼此通信的处理器1102(例如，一个或更多个中央处理单元(CPU)、一个或更多个图形处理单元(GPU)、一个或更多个数字信号处理器(DSP)、一个或更多个专用集成电路(ASIC)、一个或更多个射频集成电路(RFIC)或其任何合适的组合)、主存储器1104和静态存储器1106。处理器1102包含固态数字微电路(例如，电子、光学或二者)，固态数字微电路可以由指令1124中的一些或所有临时或永久配置成使得处理器1102能够被配置成全部或部分地执行本文中描述的方法中的任何一种或更多种。例如，处理器1102的一个或更多个微电路的集合能够被配置成执行本文中描述的一个或更多个模块(例如，软件模块)。在一些示例实施方式中，处理器1102是多核CPU(例如，双核CPU、四核CPU、8核CPU或128核CPU或其任何合适的组合)，在多核CPU内多个核中的每一个表现为能够全部或部分地执行本文中讨论的方法中的任何一种或更多种的单独处理器。尽管本文中描述的有益效果可以由至少具有处理器1102的机器1100提供，但是如果不包含处理器的不同类型的机器(例如，纯机械系统、纯液压系统或混合机械-液压系统)被配置成执行本文中所描述的方法中的一种或更多种，则这些相同的有益效果可以由这样的无处理器的机器来提供。
机器1100还可以包括图形显示器1110(例如，等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪、阴极射线管(CRT)或者能够显示图形或视频的任何其他显示器)。机器1100还可以包括字母数字输入装置1112(例如，键盘或小键盘)、指针输入装置1114(例如，鼠标、触摸板、触摸屏、轨迹球、操纵杆、指示笔、运动传感器、眼睛跟踪装置、数据手套或其他指向仪器)、数据存储设备1116、音频生成装置1118(例如，声卡、放大器、扬声器、耳机插孔或其任何合适的组合)以及网络接口装置1120。
数据存储设备1116(例如，数据存储装置)包括机器可读介质1122(例如，有形的非暂态机器可读存储介质)，在其上存储有实施本文中描述的方法或功能中的任何一种或更多种的指令1124。指令1124还可以在其由机器1100执行之前或期间完全地或至少部分地驻留在主存储器1104内、静态存储器1106内、处理器1102内(例如，处理器的高速缓存存储器内)或其任何合适的组合内。因此，主存储器1104、静态存储器1106和处理器1102可以被认为是机器可读介质(例如，有形的非暂态机器可读介质)。可以经由网络接口装置1120通过网络190发送或接收指令1124。例如，网络接口装置1120可以使用任意一种或更多种传输协议(例如，超文本传输协议(HTTP))来传送指令1124。
在一些示例实施方式中，机器1100可以是便携式计算装置(例如，智能电话、平板计算机或可穿戴装置)并且可以具有一个或更多个附加输入部件1130(例如，传感器或计量器)。这样的输入部件1130的示例包括图像输入部件(例如，一个或更多个相机)、音频输入部件(例如，一个或更多个麦克风)、方向输入部件(例如，罗盘)、位置输入部件(例如,全球定位系统(GPS)接收器)、取向部件(例如，陀螺仪)、运动检测部件(例如，一个或更多个加速度计)、海拔检测部件(例如，高度计)、温度输入部件(例如，温度计)以及气体检测部件(例如，气体传感器)。由这些输入部件1130中的任何一个或更多个收集的输入数据可以是可访问的并且可用于由本文描述的模块中的任何一个使用(例如，具有根据用户偏好、适用的规章或其任何合适的组合来实现的适当的隐私通知和保护，诸如选择加入同意或选择退出同意)。
如本文中所使用的，术语“存储器”是指能够临时地或永久地存储数据的机器可读介质，并且可以被认为包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓存存储器。虽然机器可读介质1122在示例实施方式中被示出为单个介质，但是术语“机器可读介质”应当被认为包括能够存储指令的单个介质或多个介质(例如，集中式数据库或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应当被认为包括能够携载(例如，存储或传送)用于由机器1100执行的指令1124的任何介质或多个介质的组合，使得指令1124在由机器1100的一个或更多个处理器(例如，处理器1102)执行时使机器1100全部或部分地执行本文中描述的方法中的任何一种或更多种。因此，“机器可读介质”是指单个存储设备或装置，以及包括多个存储设备或装置的基于云的存储系统或存储网络。术语“机器可读介质”因此应当被认为包括但不限于以固态存储器芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或更多个有形的非暂态数据储存库(例如，数据量)。
如本文所使用的“非暂态”机器可读介质具体地排除传播信号本身。根据各种示例实施方式，用于由机器1100执行的指令1124可以经由载体介质(例如，机器可读载体介质)来传送。这样的载体介质的示例包括非瞬态载体介质(例如，非瞬态机器可读存储介质，诸如可从一个位置物理地移动至另一位置的固态存储器)和瞬态载体介质(例如，传送指令1124的载波或其他传播信号)。
某些示例实施方式在本文被描述为包括模块。模块可以构成软件模块(例如，存储或以其他方式在机器可读介质或传输介质中实施的代码)、硬件模块或其任何合适的组合。“硬件模块”是能够执行某些操作的有形(例如，非暂态)物理部件(例如，一个或更多个处理器的集合)，并且可以以某种物理方式被配置或布置。在各种示例实施方式中，可以通过软件(例如，应用或其一部分)将一个或更多个计算机系统或其一个或更多个硬件模块配置为硬件模块，该硬件模块进行操作以执行本文中针对该模块的描述的操作。
在一些示例实施方式中，硬件模块可以机械地、电子地、液压地或以其任何合适的组合来实现。例如，硬件模块可以包括被永久地配置成执行某些操作的专用电路系统或逻辑。硬件模块可以是或包括专用处理器，例如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件临时地配置以执行某些操作的可编程逻辑或电路系统。作为示例，硬件模块可以包括CPU或其他可编程处理器内所包含的软件。将认识到，可以通过成本和时间考虑来驱动机械地、液压地、在专用和永久地配置的电路系统中或者在临时地配置的电路系统(例如，由软件配置)中实现硬件模块的判定。
相应地，短语“硬件模块”应当被理解成包含有形实体，该有形实体可以是被物理地构造、永久地配置(例如，硬连线)或临时地配置(例如，编程)成以特定方式操作或者执行本文中描述的某些操作。此外，如本文中所使用的，短语“硬件实现的模块”是指硬件模块。考虑其中硬件模块被临时地配置(例如，编程)的示例实施方式，硬件模块中的每一个无需在任一时刻处均被配置或实例化。例如，在硬件模块包括由软件配置成为专用处理器的CPU的情况下，CPU可以在不同时间被配置为各自不同的专用处理器(例如，各自被包括在不同的硬件模块中)。软件(例如，软件模块)可以相应地将一个或更多个处理器配置成例如在一个时刻成为或以其他方式构成特定硬件模块并且在不同时刻成为或以其他方式构成不同的硬件模块。
硬件模块可以向其他硬件模块提供信息以及可以从其他硬件模块接收信息。因此，所描述的硬件模块可以被视为被通信地耦接。在同时存在多个硬件模块的情况下，可以通过硬件模块中的两个或更多个之间的信号传输(例如，通过电路和总线)来实现通信。在其中多个硬件模块在不同时间被配置或实例化的实施方式中，例如，可以通过将信息存储在多个硬件模块可访问的存储器结构中并且在该存储器结构中检索信息来实现这样的硬件模块之间的通信。例如，一个硬件模块可以执行操作，并且将该操作的输出存储在其通信地耦接至的存储器(例如，存储器装置)中。然后，另外的硬件模块可以稍后访问存储器，以检索和处理所存储的输出。硬件模块还可以发起与输入或输出装置的通信，并且可以对资源(例如，对来自计算资源的信息的集合)进行操作。
在本文中描述的示例方法的各种操作可以至少部分地由临时地配置(例如，由软件)或永久地配置成执行相关操作的一个或更多个处理器来执行。无论是临时地还是永久地配置，这样的处理器均可以构成处理器实现的模块，所述处理器实现的模块操作成执行本文中描述的一个或更多个操作或功能。如本文中所使用的，“处理器实现的模块”是指硬件模块，其中硬件包括一个或更多个处理器。相应地，由于处理器是硬件的示例，因此本文中描述的操作可以至少部分地是处理器实现的、硬件实现的或二者，并且本文中讨论的方法中的任何一种或更多种中的至少一些操作可以由一个或更多个处理器实现的模块、硬件实现的模块或其任何合适的组合来执行。
此外，这样的一个或更多个处理器可以在“云计算”环境中或作为服务(例如，在“软件即服务”(SaaS)实现方式内)执行操作。例如，本文中讨论的方法中的任何一种或更多种中的至少一些操作可以由一组计算机(例如，作为包括处理器的机器的示例)执行，这些操作能够经由网络(例如，因特网)以及经由一个或更多个适当的接口(例如，应用程序接口(API))来访问。某些操作的执行可以分布在一个或更多个处理器中，无论是仅驻留在单个机器内还是跨多个机器部署。在一些示例实施方式中，一个或更多个处理器或硬件模块(例如，处理器实现的模块)可以位于单个地理位置(例如，在家庭环境、办公环境或服务器场内)。在其他示例实施方式中，一个或更多个处理器或硬件模块可以跨多个地理位置分布。
遍及本说明书，多个实例可以实现被描述为单个实例的部件、操作或结构。虽然一种或更多种方法的个体操作被示出和描述为单独的操作，但是个体操作中的一个或更多个可以同时执行并且不要求以所示的顺序执行操作。在示例配置中作为单独的部件和功能呈现的结构及其功能可以被实现为具有组合功能的组合结构或部件。类似地，作为单个部件呈现的结构和功能可以被实现为单独的部件和功能。这些和其他变型、修改、添加和改进落入本文中的主题的范围内。
本文中讨论的主题的一些部分可以以对作为位或二进制数字信号存储在存储器(例如，计算机存储器或其他机器存储器)内的数据的操作的算法或符号表示的方式来呈现。这样的算法或符号表示是数据处理领域的普通技术人员用于将他们工作的实质传达给该领域的其他技术人员的技术的示例。如本文中所使用的，“算法”是引起期望结果的操作或者类似处理的自洽序列。在该上下文中，算法和操作涉及对物理量的物理操纵。典型地，但不是必须地，这样的量可以采用能够由机器存储、访问、传输、组合、比较或者以其他方式操纵的电信号、磁信号或光学信号的形式。有时，主要出于通用原因，使用诸如“数据”、“内容”、“位”、“值”、“元素”、“符号”、“字符”、“项”、“数字”、“数字符号”等单词来指代这样的信号较便捷。然而，这些单词仅是便捷标签，并且将与适当的物理量相关联。
除非另有明确说明，否则本文中使用诸如“访问”、“处理”、“检测”、“计算”、“运算”、“确定”、“生成”、“呈现”、“显示”等单词的讨论指代可由机器(例如，计算机)执行的动作或处理，该机器操纵或变换被表示为一个或更多个存储器(例如，易失性存储器、非易失性存储器或其任何合适的组合)、寄存器或者接收、存储、发送或显示信息的其他机器部件内的物理(例如，电子的、磁的或光学的)量的数据。此外，除非另外特别说明，否则如在专利文献中常见的，在本文中使用术语“一(a)”或“一个(an)”，以包括一个或多于一个实例。最后，除非另有明确说明，否则如本文中所使用的，连词“或”是指非排他性的“或”。
鉴于以上公开内容，以下阐述了方法、机器可读介质和系统(例如，机器、装置或其他设备)的各种示例。应当注意的是，在本申请的公开内容中应当单独地或组合地考虑示例的一个或更多个特征。
第一示例提供了一种方法，包括：
由机器的一个或更多个处理器访问训练图像，所述训练图像各自描绘了在成像条件的对应组合下对应测试装置的对应测试条，所述训练图像各自标记有由对应测试条示出的对应测试结果的对应指示符；
由机器的一个或更多个处理器训练神经网络以基于未标记的图像确定预测的测试结果，所述未标记的图像描绘了在成像条件的对应组合下另外的测试装置的另外的测试条，所述训练是基于所述训练图像进行的；以及
由机器的一个或更多个处理器(例如，直接地或间接地)将经训练的神经网络提供给另外的机器，所述另外的机器被配置成访问描绘了在成像条件的对应组合下另外的测试装置的另外的测试条的未标记的图像，并且通过将未标记的图像输入到经训练的神经网络中来从经训练的神经网络获得预测的测试结果。
第二示例提供了根据第一示例所述的方法，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括未标记的图像的色温；以及
基于所访问的训练图像的子集来训练神经网络，该子集在色温方面变化。
第三示例提供了根据第一示例或第二示例所述的方法，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的阴影；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上阴影的存在方面变化。
第四示例提供了根据第一示例至第三示例中任一示例所述的方法，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的碎片；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上碎片的存在方面变化。
第五示例提供了根据第一示例至第四示例中任一示例所述的方法，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的镜面光；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上镜面光的存在方面变化。
第六示例提供了根据第一示例至第五示例中任一示例所述的方法，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的染色剂；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上染色剂的存在方面变化。
第七示例提供了根据第一示例至第六示例中任一示例所述的方法，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括未标记的图像的曝光(例如，如由亮度、对比度、峰值白水平、黑水平、伽马曲线或其任何合适组合所指示的更多的曝光或更少的曝光)；以及
基于所访问的训练图像的子集来训练神经网络，该子集在曝光方面变化。
第八示例提供了根据第一示例至第七示例中任一示例所述的方法，还包括：
由机器的一个或更多个处理器通过生成第一组合成图像来生成训练图像的第一部分，所述第一组合成图像各自描绘了在模拟成像条件的对应组合下的对应模拟测试条；以及
由机器的一个或更多个处理器通过访问第二组捕获图像来访问训练图像的第二部分，所述第二组捕获图像各自描绘了在真实成像条件的对应组合下的对应真实测试条。
第九示例提供了一种系统(例如，计算机系统)，包括：
一个或更多个处理器；以及
存储指令的存储器，所述指令在由所述一个或更多个处理器执行时将所述一个或更多个处理器配置成执行操作，所述操作包括：
访问训练图像，所述训练图像各自描绘了在成像条件的对应组合下对应测试装置的对应测试条，所述训练图像各自标记有由对应测试条示出的对应测试结果的对应指示符；
训练神经网络以基于未标记的图像确定预测的测试结果，所述未标记的图像描绘了在成像条件的对应组合下另外的测试装置的另外的测试条，所述训练是基于所述训练图像进行的；以及
将经训练的神经网络提供给另外的机器，所述另外的机器被配置成访问描绘了在成像条件的对应组合下另外的测试装置的另外的测试条的未标记的图像，并且通过将未标记的图像输入到经训练的神经网络中来从经训练的神经网络获得预测的测试结果。
第十示例提供了根据第九示例所述的系统，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括未标记的图像的色温；以及
基于所访问的训练图像的子集来训练神经网络，该子集在色温方面变化。
第十一示例提供了根据第九示例或第十示例所述的系统，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的阴影；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上阴影的存在方面变化。
第十二示例提供了根据第九示例至第十一示例中任一示例所述的系统，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的碎片；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上碎片的存在方面变化。
第十三示例提供了根据第九示例至第十二示例中任一示例所述的系统，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的镜面光；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上镜面光的存在方面变化。
第十四示例提供了根据第九示例至第十三示例中任一示例所述的系统，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的染色剂；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上染色剂的存在方面变化。
第十五示例提供了根据第九示例至第十四示例中任一示例所述的系统，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括未标记的图像的曝光(例如，如由亮度、对比度、峰值白水平、黑水平、伽马曲线或其任何合适组合所指示的更多的曝光或更少的曝光)；以及
基于所访问的训练图像的子集来训练神经网络，该子集在曝光方面变化。
第十六示例提供了根据第九示例至第十五示例中任一示例所述的系统，其中，所述操作还包括：
由机器的一个或更多个处理器通过生成第一组合成图像来生成训练图像的第一部分，所述第一组合成图像各自描绘了在模拟成像条件的对应组合下的对应模拟测试条；以及
由机器的一个或更多个处理器通过访问第二组捕获图像来访问训练图像的第二部分，所述第二组捕获图像各自描绘了在真实成像条件的对应组合下的对应真实测试条。
第十七示例提供了一种包括指令的机器可读介质(例如，非暂态机器可读存储介质)，所述指令在由一个或更多个处理器执行时将所述一个或更多个处理器配置成执行操作，所述操作包括：
访问训练图像，所述训练图像各自描绘了在成像条件的对应组合下对应测试装置的对应测试条，所述训练图像各自标记有由对应测试条示出的对应测试结果的对应指示符；
训练神经网络以基于未标记的图像确定预测的测试结果，所述未标记的图像描绘了在成像条件的对应组合下另外的测试装置的另外的测试条，所述训练是基于所述训练图像进行的；以及
将经训练的神经网络提供给另外的机器，所述另外的机器被配置成访问描绘了在成像条件的对应组合下另外的测试装置的另外的测试条的未标记的图像，并且通过将未标记的图像输入到经训练的神经网络中来从经训练的神经网络获得预测的测试结果。
第十八示例提供了根据第十七示例的机器可读介质，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括未标记的图像的色温；以及
基于所访问的训练图像的子集来训练神经网络，该子集在色温方面变化。
第十九示例提供了根据第十七示例或第十八示例所述的机器可读介质，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的阴影；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上阴影的存在方面变化。
第二十示例提供了根据第十七示例至第十九示例中任一示例所述的机器可读介质，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的碎片；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上碎片的存在方面变化。
第二十一示例提供了根据第十七示例至第二十示例中任一示例所述的机器可读介质，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的镜面光；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上镜面光的存在方面变化。
第二十二示例提供了根据第十七示例至第二十一示例中任一示例所述的机器可读介质，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括另外的测试条上的染色剂；以及
基于所访问的训练图像的子集来训练神经网络，该子集在对应测试条上染色剂的存在方面变化。
第二十三示例提供了根据第十七示例至第二十二示例中任一示例所述的机器可读介质，其中：
针对另外的测试装置的另外的测试条的成像条件的对应组合包括未标记的图像的曝光(例如，如由亮度、对比度、峰值白水平、黑水平、伽马曲线或其任何合适组合所指示的更多的曝光或更少的曝光)；以及
基于所访问的训练图像的子集来训练神经网络，该子集在曝光方面变化。
第二十四示例提供了根据第十七示例至第二十三示例中任一示例所述的机器可读介质，其中，所述操作还包括：
由机器的一个或更多个处理器通过生成第一组合成图像来生成训练图像的第一部分，所述第一组合成图像各自描绘了在模拟成像条件的对应组合下的对应模拟测试条；以及
由机器的一个或更多个处理器通过访问第二组捕获图像来访问训练图像的第二部分，所述第二组捕获图像各自描绘了在真实成像条件的对应组合下的对应真实测试条。
第二十五示例提供了一种携载机器可读指令的载体介质，该机器可读指令用于控制机器执行在前述示例中任一示例中执行的操作(例如，方法操作)。

Claims (24)

1.一种方法，包括：
由一个或更多个处理器访问训练图像，所述训练图像各自描绘了在成像条件的对应组合下对应测试装置的对应测试条，所述训练图像各自标记有由所述对应测试条示出的对应测试结果的对应指示符；
由所述一个或更多个处理器训练神经网络以基于未标记的图像确定预测的测试结果，所述未标记的图像描绘了在成像条件的对应组合下另外的测试装置的另外的测试条，所述训练是基于所述训练图像进行的；以及
由所述一个或更多个处理器将经训练的所述神经网络提供给另外的机器，所述另外的机器被配置成访问描绘了在所述成像条件的对应组合下所述另外的测试装置的所述另外的测试条的未标记的图像，并且通过将所述未标记的图像输入到经训练的所述神经网络中来从经训练的所述神经网络获得所述预测的测试结果。
2.根据权利要求1所述的方法，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述未标记的图像的色温；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在色温方面变化。
3.根据权利要求1所述的方法，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的阴影；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上阴影的存在方面变化。
4.根据权利要求1所述的方法，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的碎片；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上碎片的存在方面变化。
5.根据权利要求1所述的方法，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的镜面光；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上镜面光的存在方面变化。
6.根据权利要求1所述的方法，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的染色剂；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上染色剂的存在方面变化。
7.根据权利要求1所述的方法，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述未标记的图像的曝光；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在曝光方面变化。
8.根据权利要求1所述的方法，还包括：
通过生成第一组合成图像来生成所述训练图像的第一部分，所述第一组合成图像各自描绘了在模拟成像条件的对应组合下的对应模拟测试条；以及
通过访问第二组捕获图像来访问所述训练图像的第二部分，所述第二组捕获图像各自描绘了在真实成像条件的对应组合下的对应真实测试条。
9.一种系统，包括：
一个或更多个处理器；以及
存储指令的存储器，所述指令在由所述一个或更多个处理器中的至少一个处理器执行时使所述系统执行操作，所述操作包括：
访问训练图像，所述训练图像各自描绘了在成像条件的对应组合下对应测试装置的对应测试条，所述训练图像各自标记有由所述对应测试条示出的对应测试结果的对应指示符；
训练神经网络以基于未标记的图像确定预测的测试结果，所述未标记的图像描绘了在成像条件的对应组合下另外的测试装置的另外的测试条，所述训练是基于所述训练图像进行的；以及
将经训练的所述神经网络提供给另外的机器，所述另外的机器被配置成访问描绘了在所述成像条件的对应组合下所述另外的测试装置的另外的测试条的未标记的图像，并且通过将所述未标记的图像输入到经训练的所述神经网络中来从经训练的所述神经网络获得所述预测的测试结果。
10.根据权利要求9所述的系统，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述未标记的图像的色温；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在色温方面变化。
11.根据权利要求9所述的系统，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的阴影；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上阴影的存在方面变化。
12.根据权利要求9所述的系统，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的碎片；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上碎片的存在方面变化。
13.根据权利要求9所述的系统，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的镜面光；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上镜面光的存在方面变化。
14.根据权利要求9所述的系统，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的染色剂；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上染色剂的存在方面变化。
15.根据权利要求9所述的系统，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述未标记的图像的曝光；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在曝光方面变化。
16.根据权利要求9所述的系统，其中，所述操作还包括：
通过生成第一组合成图像来生成所述训练图像的第一部分，所述第一组合成图像各自描绘了在模拟成像条件的对应组合下的对应模拟测试条；以及
通过访问第二组捕获图像来访问所述训练图像的第二部分，所述第二组捕获图像各自描绘了在真实成像条件的对应组合下的对应真实测试条。
17.一种包括指令的机器可读介质，所述指令在由机器的一个或更多个处理器执行时使所述机器执行操作，所述操作包括：
访问训练图像，所述训练图像各自描绘了在成像条件的对应组合下对应测试装置的对应测试条，所述训练图像各自标记有由所述对应测试条示出的对应测试结果的对应指示符；
训练神经网络以基于未标记的图像确定预测的测试结果，所述未标记的图像描绘了在成像条件的对应组合下另外的测试装置的另外的测试条，所述训练是基于所述训练图像进行的；以及
将经训练的所述神经网络提供给另外的机器，所述另外的机器被配置成访问描绘了在所述成像条件的对应组合下所述另外的测试装置的另外的测试条的未标记的图像，并且通过将所述未标记的图像输入到经训练的所述神经网络中来从经训练的所述神经网络获得所述预测的测试结果。
18.根据权利要求17所述的机器可读介质，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述未标记的图像的色温；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在色温方面变化。
19.根据权利要求17所述的机器可读介质，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的阴影；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上阴影的存在方面变化。
20.根据权利要求17所述的机器可读介质，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的碎片；以及
基于所访问的训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上碎片的存在方面变化。
21.根据权利要求17所述的机器可读介质，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的镜面光；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上镜面光的存在方面变化。
22.根据权利要求17所述的机器可读介质，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述另外的测试条上的染色剂；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在所述对应测试条上染色剂的存在方面变化。
23.根据权利要求17所述的机器可读介质，其中：
针对所述另外的测试装置的所述另外的测试条的所述成像条件的对应组合包括所述未标记的图像的曝光；以及
基于所访问的所述训练图像的子集来训练所述神经网络，所述子集在曝光方面变化。
24.根据权利要求16所述的机器可读介质，其中，所述操作还包括：
通过生成第一组合成图像来生成所述训练图像的第一部分，所述第一组合成图像各自描绘了在模拟成像条件的对应组合下的对应模拟测试条；以及
通过访问第二组捕获图像来访问所述训练图像的第二部分，所述第二组捕获图像各自描绘了在真实成像条件的对应组合下的对应真实测试条。
CN202180055190.5A 2020-07-08 2021-07-07 Lfa测试条的神经网络分析 Pending CN116157867A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063049213P 2020-07-08 2020-07-08
US63/049,213 2020-07-08
PCT/US2021/040665 WO2022010997A1 (en) 2020-07-08 2021-07-07 Neural network analysis of lfa test strips

Publications (1)

Publication Number Publication Date
CN116157867A true CN116157867A (zh) 2023-05-23

Family

ID=79552175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180055190.5A Pending CN116157867A (zh) 2020-07-08 2021-07-07 Lfa测试条的神经网络分析

Country Status (7)

Country Link
US (1) US20230146924A1 (zh)
EP (1) EP4179537A1 (zh)
JP (1) JP2023534175A (zh)
KR (1) KR20230042706A (zh)
CN (1) CN116157867A (zh)
CA (1) CA3185292A1 (zh)
WO (1) WO2022010997A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116484180B (zh) * 2023-06-21 2023-09-22 中国人民解放军国防科技大学 一种提取通信信号基因的系统与方法
CN116990468B (zh) * 2023-09-28 2023-12-05 国网江苏省电力有限公司电力科学研究院 模拟六氟化硫电气设备的气体状态测试评价系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018194525A1 (en) * 2017-04-18 2018-10-25 Yeditepe Universitesi Biochemical analyser based on a machine learning algorithm using test strips and a smartdevice
US20190027251A1 (en) * 2016-10-17 2019-01-24 Reliant Immune Diagnostics, Inc System and method for machine learning application for providing medical test results using visual indicia
US20190340753A1 (en) * 2018-05-07 2019-11-07 Zebra Medical Vision Ltd. Systems and methods for detecting an indication of a visual finding type in an anatomical image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211380A1 (en) * 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis
US10605741B2 (en) * 2018-06-28 2020-03-31 International Business Machines Corporation Accurate colorimetric based test strip reader system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190027251A1 (en) * 2016-10-17 2019-01-24 Reliant Immune Diagnostics, Inc System and method for machine learning application for providing medical test results using visual indicia
WO2018194525A1 (en) * 2017-04-18 2018-10-25 Yeditepe Universitesi Biochemical analyser based on a machine learning algorithm using test strips and a smartdevice
US20190340753A1 (en) * 2018-05-07 2019-11-07 Zebra Medical Vision Ltd. Systems and methods for detecting an indication of a visual finding type in an anatomical image

Also Published As

Publication number Publication date
EP4179537A1 (en) 2023-05-17
KR20230042706A (ko) 2023-03-29
WO2022010997A1 (en) 2022-01-13
US20230146924A1 (en) 2023-05-11
JP2023534175A (ja) 2023-08-08
CA3185292A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
Zhao et al. A robust adaptive spatial and temporal image fusion model for complex land surface changes
US10559081B2 (en) Method and system for automated visual analysis of a dipstick using standard user equipment
JP7247248B2 (ja) コンピュータビジョン方法及びシステム
US8179393B2 (en) Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
WO2016062159A1 (zh) 图像匹配方法及手机应用测试平台
EP3051793B1 (en) Imaging apparatus, systems and methods
Gómez et al. SpotEgg: An image‐processing tool for automatised analysis of colouration and spottiness
Pitard et al. Discrete modal decomposition: a new approach for the reflectance modeling and rendering of real surfaces
CN109087325B (zh) 一种基于单目视觉的直接法点云三维重建及尺度确定方法
US20230146924A1 (en) Neural network analysis of lfa test strips
US20230177680A1 (en) Assay reading method
CN112200848B (zh) 低光照弱对比复杂环境下的深度相机视觉增强方法及系统
CN114066857A (zh) 红外图像质量评价方法、装置、电子设备及可读存储介质
Varjo et al. Image based visibility estimation during day and night
Sivakumar et al. An automated lateral flow assay identification framework: Exploring the challenges of a wearable lateral flow assay in mobile application
US10529085B2 (en) Hardware disparity evaluation for stereo matching
KR101865886B1 (ko) 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템
CN116977341A (zh) 一种尺寸测量方法及相关装置
Mittal et al. FEMT: a computational approach for fog elimination using multiple thresholds
Babari et al. Computer vision for the remote sensing of atmospheric visibility
CN115656189A (zh) 基于光度立体与深度学习算法的缺陷检测方法及装置
US20210390286A1 (en) Measuring Quality of Depth Images in Real Time
WO2022103337A1 (en) Particulate material calculation and classification
JP2015501968A (ja) 固有画像の生成を改良するための後処理
GB2601978A (en) Assay reading method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination