CN112639482A - 以端到端训练方式使用单深度神经网络的样本容器表征 - Google Patents
以端到端训练方式使用单深度神经网络的样本容器表征 Download PDFInfo
- Publication number
- CN112639482A CN112639482A CN201980039811.3A CN201980039811A CN112639482A CN 112639482 A CN112639482 A CN 112639482A CN 201980039811 A CN201980039811 A CN 201980039811A CN 112639482 A CN112639482 A CN 112639482A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- sample
- serum
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims description 8
- 238000012512 characterization method Methods 0.000 title description 35
- 238000013528 artificial neural network Methods 0.000 title description 3
- 210000002966 serum Anatomy 0.000 claims abstract description 79
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 49
- 239000008280 blood Substances 0.000 claims abstract description 44
- 238000012360 testing method Methods 0.000 claims abstract description 44
- 210000004369 blood Anatomy 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000007689 inspection Methods 0.000 claims abstract description 22
- 206010018910 Haemolysis Diseases 0.000 claims abstract description 19
- 230000008588 hemolysis Effects 0.000 claims abstract description 19
- 150000002632 lipids Chemical class 0.000 claims abstract description 19
- 206010023126 Jaundice Diseases 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 13
- 239000000523 sample Substances 0.000 description 194
- 210000002381 plasma Anatomy 0.000 description 68
- 238000001228 spectrum Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 238000012216 screening Methods 0.000 description 12
- 230000003595 spectral effect Effects 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 9
- 238000005119 centrifugation Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 238000011068 loading method Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000003743 erythrocyte Anatomy 0.000 description 4
- 238000005194 fractionation Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 239000012491 analyte Substances 0.000 description 3
- 238000003556 assay Methods 0.000 description 3
- 239000013060 biological fluid Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- BPYKTIZUTYGOLE-IFADSCNNSA-N Bilirubin Chemical compound N1C(=O)C(C)=C(C=C)\C1=C\C1=C(C)C(CCC(O)=O)=C(CC2=C(C(C)=C(\C=C/3C(=C(C=C)C(=O)N\3)C)N2)CCC(O)=O)N1 BPYKTIZUTYGOLE-IFADSCNNSA-N 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 2
- 238000012863 analytical testing Methods 0.000 description 2
- 210000000601 blood cell Anatomy 0.000 description 2
- 210000001772 blood platelet Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000000025 interference lithography Methods 0.000 description 2
- 210000000265 leukocyte Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 102000008946 Fibrinogen Human genes 0.000 description 1
- 108010049003 Fibrinogen Proteins 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 239000006125 LAS system Substances 0.000 description 1
- VAYOSLLFUXYJDT-RDTXWAMCSA-N Lysergic acid diethylamide Chemical compound C1=CC(C=2[C@H](N(C)C[C@@H](C=2)C(=O)N(CC)CC)C2)=C3C2=CNC3=C1 VAYOSLLFUXYJDT-RDTXWAMCSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000000538 analytical sample Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003809 bile pigment Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 238000005345 coagulation Methods 0.000 description 1
- 230000015271 coagulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003722 extracellular fluid Anatomy 0.000 description 1
- 229940012952 fibrinogen Drugs 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013610 patient sample Substances 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/487—Physical analysis of biological material of liquid biological material
- G01N33/49—Blood
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
- G01N2035/0401—Sample carriers, cuvettes or reaction vessels
- G01N2035/0406—Individual bottles or tubes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
- G01N2035/0474—Details of actuating means for conveyors or pipettes
- G01N2035/0491—Position sensing, encoding; closed-loop control
- G01N2035/0493—Locating samples; identifying different tube sizes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Hematology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Ecology (AREA)
- Biophysics (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Urology & Nephrology (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
Abstract
一种表征样本容器中的样本的血清或血浆部分的方法包括：从多个视点捕获样本容器的多个图像；沿着通道维度将多个视点图像堆叠成单个堆叠的输入；以及利用单个深度卷积神经网络（SDNN）来处理该堆叠的输入。SDNN包括分割卷积神经网络，该分割卷积神经网络接收堆叠的输入并且同时输出多个标签图。SDNN还包括分类卷积神经网络，该分类卷积神经网络处理多个标签图并输出对样本的血清或血浆部分的HILN确定（溶血、黄疸和/或血脂、或正常）。还描述了被构造成实施该方法的质量检查模块和测试设备以及其他方面。
Description
相关申请的交叉引用
本申请要求2018年6月15日提交的美国临时申请序列号62/685,344的优先权，该申请的内容通过引用整体地并入本文中。
技术领域
本公开涉及用于在自动化诊断分析系统中表征样本容器（和其中的样本）的方法和设备。
背景技术
自动化诊断分析系统可使用一种或多种试剂进行测定或临床分析，以识别样本中的分析物或其他成分（诸如，尿液、血清、血浆、间质液、脑脊髓液等）。此类样本通常被包含在样本容器（例如，样本收集管）内。测试反应生成各种变化，可读取和/或操纵这些变化以确定样本中的分析物或其他成分的浓度。
自动化测试技术的改进已伴随着预分析样本制备和处理操作的对应进步，诸如通过自动化样本制备系统进行分选、批量制备、使样本容器离心以分离样本组分、移除帽以促进流体进入、预筛选HILN（溶血、黄疸和/或血脂、或正常）等，该自动化样本制备系统被称为实验室自动化系统（LAS）。LAS还可将样本容器中的样本自动地运送到若干个样本处理站，因此可以对其执行各种操作（例如，预分析或分析测试）。
LAS可处理被包含在标准的有条形码标签的样本容器中的若干不同样本，这些样本容器可具有不同的大小（例如，直径和高度）。条形码标签可包含登录号（accessionnumber），所述登录号可包含患者信息和其他信息或与患者信息和其他信息相关，该患者信息和其他信息可连同测试订单（test order）一起输入到医院的实验室信息系统（LIS）中。操作者可将有标签的样本容器放置到LAS系统上，该LAS系统可自动地路由样本容器以进行预分析操作，诸如离心、去帽（de-capping）和/或等分试样（aliquot）制备，之后使样本经受由一个或多个分析仪（例如，临床化学或测定仪器）进行的临床分析或测定，所述分析仪也可以是LAS的一部分。
对于某些测试，可分析诸如血清或血浆部分（通过离心从全血获得）之类的生物液体。在样本是全血的情况下，可将凝胶分离物（gel separator）添加到样本容器以帮助从血清或血浆部分分离沉降的血液部分。在预处理之后，可将样本容器运送到适当的分析仪，该分析仪可从样本容器提取生物流体的一部分（例如，血清或血浆部分），并将流体与一种或多种试剂以及可能地其他材料在反应器皿（例如，比色皿）中组合。然后，可通过使用询问辐射（interrogating radiation）束等经由光度或荧光吸收读数来执行分析测量。这些测量允许确定终点速率或其他值，使用众所周知的技术从其确定生物流体中的分析物或其他成分的量。
然而，样本中任何干扰物（例如，溶血、黄疸和/或血脂）的存在（其可由患者状况或样品处理造成）可对从所述一个或多个分析仪获得的分析物或成分测量的测试结果产生不利影响。例如，样本中溶血（H）的存在（其可与患者的疾病状态无关）可引起对患者的疾病状况的不同解释。此外，样本中黄疸（I）和/或血脂（L）的存在也可引起对患者的疾病状况的不同解释。
在一些系统中，熟练的实验室技术人员可目检样本的血清或血浆部分的完整性，并将其评定为正常的（N）抑或具有H、I和/或L程度（例如，通过指派指数）。这可涉及对照已知标准来审查血清或血浆部分的颜色。然而，这种人工目检是非常主观的、费力的并且充满可能的人为误差。
由于人工检验可能成问题，因此已努力不使用由实验室技术人员进行的目检，而是通过使用自动化的机器视觉检验设备来评估样本完整性，其中，此类评估是在预分析测试（下文中为“预筛选”）期间进行的。预筛选涉及对通过分馏（例如，通过离心）从全血获得的血清或血浆部分中的干扰物（诸如，H、I和/或L）的自动化检测。
然而，在一些情况下，可将上述条形码标签中的一者或多者直接贴附在样本容器上。此类标签可部分地遮盖和遮蔽样本的某些侧向视点，使得可能存在不提供视觉观测血清或血浆部分的明确机会的一些取向。因此，此类预筛选的自动化已包括例如以允许对H、I和/或L或N进行自动化预筛选这样的方式来对样本进行旋转定向（见例如美国专利号9,322,761）。在其他系统中，从多个视点使样本容器和样本成像并利用基于模型的系统对其进行处理，使得不需要旋转样本容器（见例如WO 2016/133,900）。
在一些情况下，只有血清或血浆部分的一小部分可能是可见的，使得在血清或血浆部分上获得的任何H、I和/或L或N读数都可能不涉及高置信水平。此外，此类系统可能是复杂的，并且对图像数据的处理可能是计算繁重的。
因此，存在对一种强健且高效的方法和设备的未满足需求，所述方法和设备用于表征样本的血清或血浆部分以便确定溶血（H）、黄疸（I）和/或血脂（L）的存在，或者确定样本的血清或血浆部分是否为正常的（N）。更特别地，存在对改进的方法和设备的未满足需求，所述改进的方法和设备用于确定样本是否包括H、I和/或L或者确定样本是否为正常的（N）。
发明内容
根据第一方面，提供了一种表征样本容器的方法。该方法包括：从多个视点捕获样本容器的多个图像，其中，样本容器包括在其中的样本的血清或血浆部分；将来自多个图像的图像数据输入到分割卷积神经网络并利用分割卷积神经网络处理图像数据以同时输出多个标签图；将多个标签图输入到分类卷积神经网络并利用分类卷积神经网络处理多个标签图；以及从分类卷积神经网络将对血清或血浆部分的分类输出为溶血、黄疸、血脂或正常中的一者或多者。
根据另一个方面，提供了一种质量检查模块。质量检查模块包括：多个图像捕获装置，其被构造成从样本容器的多个视点捕获多个图像，该样本容器在其中包含样本的血清或血浆部分；以及计算机，其联接到所述多个图像捕获装置。计算机被构造和操作成：将来自多个图像的图像数据输入到分割卷积神经网络并利用分割卷积神经网络处理图像数据以同时输出多个标签图；将多个标签图输入到分类卷积神经网络并利用分类卷积神经网络处理多个标签图；以及从分类卷积神经网络将对血清或血浆部分的分类输出为溶血、黄疸、血脂或正常中的一者或多者。
在另外的方面中，提供了一种样本测试设备。样本测试设备包括：轨道；载体，其能够在轨道上移动并被构造成包含样本容器，该样本容器在其中包含样本的血清或血浆部分；多个图像捕获装置，其围绕轨道布置并被构造成从样本容器和样本的血清或血浆部分的多个视点捕获多个图像；以及计算机，其联接到所述多个图像捕获装置。计算机被构造和操作成：将来自多个图像的图像数据输入到分割卷积神经网络并利用分割卷积神经网络处理图像数据以同时输出多个标签图；将多个标签图输入到分类卷积神经网络并利用分类卷积神经网络处理多个标签图；以及从分类卷积神经网络将对血清或血浆部分的分类输出为溶血、黄疸、血脂或正常中的一者或多者。
通过图示若干示例实施例和实施方式（包括被构想用于实施本发明的最佳模式），本公开的再其他方面、特征和优点可容易从以下描述来理解。本公开还可能够具有其他和不同实施例，并且其若干细节可在各个方面进行修改，所有这些都不脱离本发明的范围。本公开旨在覆盖落入所附权利要求书的范围（进一步见下文）内的所有修改、等同物和替换方案。
附图说明
下文描述的附图是出于图示性目的，并且不一定按比例绘制。因此，附图和说明书本质上将被视为是图示性的，而不是限制性的。附图不旨在以任何方式限制本发明的范围。
图1图示了根据一个或多个实施例的样本测试设备的顶部示意图，该样本测试设备包括被构造成实施HILN检测方法的一个或多个质量检查模块。
图2图示了样本容器的侧视图，该样本容器包括具有包含干扰物的血清或血浆部分的分离样本，并且其中，该样本容器包括在其上的标签。
图3A图示了样本容器的侧视图，该样本容器包括标签、包括包含干扰物的血清或血浆部分的分离样本、以及其中的凝胶分离物。
图3B图示了在保持器中被保持处于直立取向中的图3A的样本容器的侧视图。
图4A图示了根据一个或多个实施例的质量检查模块（其中顶部被移除）的示意性顶视图，该质量检查模块包括多个视点并被构造成捕获和分析多个背光图像以使得能够确定干扰物的存在。
图4B图示了根据一个或多个实施例的沿着图4A的剖面线4B-4B截取的图4A的质量检查模块（其中前围护壁被移除）的示意性侧视图。
图5图示了根据一个或多个实施例的质量检查模块的功能部件的框图，该质量检查模块包括单个深度卷积神经网络（SDNN），该SDNN被构造成确定样本中的H、I和/或L或N的存在。
图6图示了根据一个或多个实施例的图5的分割卷积神经网络（SCNN）的架构的框图。
图7图示了根据一个或多个实施例的图5的分类卷积神经网络（CCNN）的架构的框图。
图8是根据一个或多个实施例的确定样本中的H、I和/或L或N的方法的流程图。
具体实施方式
在对被包含在样本容器中的样本进行预筛选期间，诸如在下文进一步描述的质量检查模块处，根据实施例提供一种确定样本的血清或血浆部分中的干扰物的存在的方法。血清或血浆部分可以是血液的液体组分，并且可被发现位于在分馏（例如，通过离心）后的沉降的血液部分上方。沉降的血液部分可以是堆积的半固体，其由诸如白细胞（白血球）、红细胞（红血球）和血小板（凝血细胞）之类的血细胞构成。血浆和血清的凝血组分（主要是纤维蛋白原）含量可不同。血浆可以是未凝结的液体，而血清可指代已被允许在内源酶或外源组分的影响下凝结的血液血浆。
如本文中所使用的干扰物（interfered）（诸如，H、I和/或L）或正常（N）的确定（下文中为“HILN”）指代在样本的血清或血浆部分中存在溶血（H）、黄疸（I）或血脂（L）中的至少一者。“N”指代“正常”，其可被定义为包括可接受地低量的H、I和L的血清或血浆部分。溶血可被定义为血清或血浆部分中的一种状况，其中，在处理期间，红细胞被破坏，这导致血红蛋白从红细胞释放到血清或血浆部分中，使得血清或血浆部分呈现微红色彩。溶血的程度可通过指派溶血指数来量化。黄疸可被定义为血液的一种状况，其中，血清或血浆部分由胆汁色素（胆红素）的积累引起褪色，呈深黄色。黄疸的程度可通过指派黄疸指数来量化。血脂可被定义为血液中存在异常高浓度的乳化脂肪，使得血清或血浆部分具有发白或乳白色外观。血脂的程度可通过指派血脂指数来量化。
根据实施例的方法可仅确定HILN或N类别H（例如，H1、H2、H3或更多）、N类别I（例如，I1、I2、I3或更多）和/或N-类别L（例如，L1、L2、L3或更大）或N。另外，该方法可对样本容器和样本的各个区域进行分类（或“分割”），诸如血清或血浆部分、沉降的血液部分、凝胶分离物（如果使用的话）、空气、标签、样本容器的类型（指示例如高度和宽度/直径）、和/或样本容器帽的类型和/或颜色。样本容器保持器或背景也可进行分类。从包括样本容器上的一个或多个标签的区域区分出血清和血浆部分是一个特别令人烦恼的问题，因为所述一个或多个标签可在各种程度上包绕在样本容器上。因此，所述一个或多个标签可遮蔽一个或多个视图，使得可难以获得血清或血浆部分的清晰视图。
因此，由于来自所述一个或多个标签的干扰，血清或血浆部分的分类可能是具有挑战性的，标签的放置从一个样本容器到下一个样本容器可基本上不同。特别地，考虑到所述一个或多个标签可出现在背侧且因此可影响在前侧处接收的光传输，由所述一个或多个标签所引起的遮挡可严重地影响诸如来自各种视点的光谱响应。
此外，自动化诊断分析系统的质量检查模块以及在其中执行的相关联的表征方法应是计算高效的。因此，考虑到上文描述的挑战，在第一广泛方面中，本公开的实施例提供了被构造成使用单语义分割卷积神经网络（SCNN）来确定HILN的存在方法和设备，该SCNN的输出作为输入联接到分类卷积神经网络（CCNN），SCNN和CCNN在本文中被统称为单深度神经网络（SDNN）。SDNN可包括大量操作层（例如，50-100；其他数量的操作层是可能的），这在下文进一步描述。
在一些实施例中，到SCNN的输入可以是多光谱、多曝光图像数据，其可被合并和归一化，并且可从多个图像捕获装置获得。图像捕获装置可以是能够捕获用于分析的像素化图像（例如，数字图像）的任何装置，诸如数字相机、CCD（电荷耦合装置）、一个或多个CMOS（互补金属氧化物半导体）传感器、传感器阵列等。所述多个图像捕获装置可被布置和构造成从多个视点（例如，三个视点；其他数量的视点是可能的）捕获图像。本文中所描述的方法可使用样本容器和血清或血浆部分的高动态范围（HDR）图像处理作为到SCNN的输入。HDR成像可涉及在使用多个光谱照明时捕获多个曝光。在一些实施例中，训练SCNN以辨识被样本容器上的一个或多个标签遮盖的区域，使得从表征HILN的任何视点来看，SCNN都可以更好地考虑在样本容器的背侧上标签的存在。
结果，在存在标签遮挡的情况下，血清或血浆区域的更有效的分类可以是可获得的，并且可以改进血清或血浆部分的被标签遮盖的那些区域的强度读数中的置信度。因此，可以从SDNN输出对HILN和/或HIL的范围的改进的确定。
样本可被收集在样本容器（诸如，血液收集管）中，并且可包括在分馏（例如，通过离心而分离）后的沉降的血液部分以及血清和血浆部分。在一些样本容器中，可使用凝胶分离物，该凝胶分离物在离心期间将其自身定位在沉降的血液部分和血清或血浆部分之间。凝胶分离物用作两个部分（液体和半固体、沉降的血细胞）之间的物理屏障，并且可使其再混合最小化。样本容器可具有不同的大小，且因此可被供应来进行预筛选并以若干不同的构型被供应到分析仪。例如，样本容器可具有诸如13 mm×75 mm、13 mm×100 mm、16 mm×100 mm和16 mm×125 mm之类的大小。可使用其他合适的大小。
根据一个方面，表征方法可由质量检查模块并且在样本测试系统中实施，每个样本测试系统包括SDNN。SDNN可包括操作层，包括例如BatchNorm、ReLU激活、卷积（例如，2D）、析出（dropout）和解卷积（例如，2D）层以提取特征，诸如简单边缘、纹理以及血清或血浆部分和包含标签的区域的部分。顶层（诸如，全卷积层）可用来提供各部分之间的相关性。该层的输出可被馈送到SoftMax层，SoftMax层在每像素（或每块（patch）-包括n x n像素）基础上产生有关每个像素或块是否包括HILN的输出。在一些实施例中，从CCNN仅提供HILN的输出。在其他实施例中，CCNN的输出可以是细粒度HILN，诸如H1、H2、H3、11、I2、I3、L1、L2、L3或N，使得对于存在的每种干扰物，也获得了干扰物的水平（指数）的估计。
如果发现样本包含H、I和L中的一者或多者，则可将合适的通知提供给操作者，和/或可将样本容器从线上取下（1）以执行补救来纠正H、I或L中的所述一者或多者、（2）以更准确地测量存在的干扰物的范围；（3）以重新汲取样本、或（4）以执行其他处理。因此，预筛选HILN（诸如，在离心后且在通过一个或多个分析仪进行分析前的第一可能实例处）的能力可有利地：（a）最小化分析不具有用于分析的恰当质量的样本所浪费的时间、（b）可避免或最小化错误的测试结果、（c）可最小化患者测试结果延迟、和/或（d）可避免浪费患者样本。
在一些实施例中，可提供分割输出和HILN输出的组合。这些输出可由SDNN的多个分支造成。分支可包括单独的卷积层以及解卷积和SoftMax层，其中，一个分支可专用于分割，且其他分支专用于HILN检测。也可提供多分支实施例，包括HILN、分割、样本容器类型检测和/或帽类型检测。
本文中将参考图1-8来进一步描述本发明的表征方法、被构造成实施表征方法的质量检查模块、以及包括一个或多个质量检查模块的样本测试设备的另外的细节。
图1图示了样本测试设备100，其能够自动地处理包含样本212的多个样本容器102（见例如图2-3B）。可在装载区域105处将样本容器102提供在一个或多个支架104中，之后将这些样本容器运送到绕样本测试设备100布置的一个或多个分析仪（例如，分别为第一分析仪106、第二分析仪108和/或第三分析仪110）并由它们对这些样本容器进行分析。可以使用更多或更少数量的分析仪。分析仪可以是临床化学分析仪和/或测定仪器等的任何组合。样本容器102可以是任何合适的透明或半透明容器，诸如血液收集管、试管、样品杯、比色皿或能够包含样本212并允许使在其中包含的所述样本成像的其他透明或不透明玻璃或塑料容器。样本容器102的大小可以是变化的。
可将样本212（图2-3B）提供给样本容器102中的样本测试设备100，该样本容器可用帽214盖住。帽214可具有不同的类型和/或颜色（例如，红色、宝蓝色、浅蓝色、绿色、灰色、棕褐色、黄色或颜色组合），这在样本容器102被用于什么测试、在其中包括的添加物类型、容器是否包括凝胶分离物等方面可具有意义。可使用其他颜色。在一个实施例中，可通过本文中所描述的表征方法来确定帽类型。
样本容器102中的每一者可设置有标签218，该标签可包括在其上的识别信息218i（即，标记），诸如条形码、字母、数字或其组合。识别信息218i可在绕样本测试设备100的各种位置处是机器可读的。机器可读信息可比标签材料（例如，白纸）更暗（例如，黑色），使得它可以被容易地成像。识别信息218i可经由实验室信息系统（LIS）147指示以下内容或者可以以其他方式与以下内容相关：患者的身份识别（identification）以及要对样本212执行的测试。识别信息218i可指示其他或附加信息。可将此类识别信息218i提供在标签218上，该标签可粘附到管215的外部表面上或者以其他方式提供在管215的外部表面上。如图2中所示，标签218可不一直围绕样本容器102延伸，或者全部都沿着样本容器102的长度延伸，使得从所示的特定前视点来看，大部分的血清或血浆部分212SP是可视的（该部分以虚线示出）并且未被标签218遮挡。
然而，在一些实施例中，可已提供了多个标签218（诸如来自已处理了样本容器102的多个设施），并且它们可在某种程度上彼此重叠。例如，可提供两个标签（例如，制造商的标签和条形码标签），并且它们可以是重叠的，且可遮盖（遮挡）一个或多个视点中的一些或全部。
因此，应理解的是，在一些实施例中，尽管（一个或多个）标签218可遮盖样本212的某个部分（被遮盖部分），但是样本212以及血清和血浆部分212SP的某个部分仍然可从至少一个视点可视（未被遮盖部分）。因此，根据本公开的另一个方面，可以训练被构造成实施表征方法的SDNN的实施例以辨识被遮盖部分和未被遮盖部分，使得可提供改进的HILN检测。
再次参考图2，样本212可包括被包含在管215内的血清或血浆部分212SP和沉降的血液部分212SB。空气216可被提供在血清和血浆部分212SP上方，并且它们之间的分界线被定义为液体-空气界面（LA）。血清或血浆部分212SP和沉降的血液部分212SB之间的分界线被定义为血清-血液界面（SB）。空气216和帽214之间的界面被定义为管-帽界面（TC）。管的高度（HT）被定义为从管215的最底部部分到帽214的底部的高度，并且可用于确定管大小。血清或血浆部分212SP的高度是（HSP），并且被定义为从血清或血浆部分212SP的顶部到沉降的血液部分212SB的顶部的高度。沉降的血液部分212SB的高度是（HSB），并且被定义为从沉降的血液部分212SB的底部到SB处的沉降的血液部分212SB的顶部的高度。HTOT是样本212的总高度，并且等于HSP加HSB。
在使用凝胶分离物313的情况下（图3A），血清或血浆部分212SP的高度是（HSP），并且被定义为从LA处的血清或血浆部分212SP的顶部到SG处的凝胶分离物313的顶部的高度，其中，SG是血清或血浆部分212SP和凝胶分离物313之间的界面。沉降的血液部分212SB的高度是（HSB），并且被定义为从沉降的血液部分212SB的底部到BG处的凝胶分离物313的底部的高度，其中，BG是沉降的血液部分212SB和凝胶分离物313之间的界面。HTOT是样本212的总高度，并且等于HSP加HSB加凝胶分离物313的高度。在每种情况下，Tw是壁厚，W是外宽度（其也可用于确定样本容器102的大小），并且Wi是样本容器102的内宽度。
更详细地，样本测试设备100可包括基座120（图1）（例如，框架、地板或其他结构），轨道121可安装在该基座上。轨道121可以是：有轨轨道（例如，单轨或多轨）；输送带、输送链、可移动平台的集合；或任何其他合适类型的输送机构。在一些实施例中，轨道121可以是圆形或任何其他合适的形状，并且可以是闭合轨道（例如，无端轨道）。在操作中，轨道121可将样本容器102中的单个样本容器运送到载体122中绕轨道121间隔开的各种位置。
载体122可以是无源的、非机动圆盘（puck），其可被构造成在轨道121上携带单个样本容器102，或者可选地，可以是包括机载驱动马达（诸如，线性马达）的自动化载体，其被编程为绕轨道121移动并且在预编程位置处停止。可使用载体122的其他构型。载体122可各自包括保持器122H（图3B），该保持器被构造成将样本容器102保持在限定的直立位置和取向中。保持器122H可包括将样本容器102固定在载体122上的多个指状物或叶片弹簧，但是一些可以是能够移动的或柔性的以适应不同大小的样本容器102。在一些实施例中，载体122可在从所述一个或多个支架104卸载之后从装载区域105离开。装载区域105可提供双重功能，即在完成预筛选和/或分析之后还允许将样本容器102从载体122重新装载到装载区域105。
机器人124可设置在装载区域105处，并且可被构造成从所述一个或多个支架104抓取样本容器102并将样本容器102装载到载体122上，诸如装载到轨道121的输入道（inputlane）上。机器人124还可被构造成将样本容器102从载体122重新装载到所述一个或多个支架104。机器人124可包括一个或多个（例如，至少两个）机器人臂或部件，所述机器人臂或部件能够进行X（侧向）和Z（竖直——纸张外，如所示的）；Y和Z；X、Y和Z；或者r（径向）和θ（旋转）运动。机器人124可以是龙门式（gantry）机器人、关节式机器人、R-θ机器人或其他合适的机器人，其中，机器人124可装备有被定向、定大小和构造成拾取和放置样本容器102的机器人爪手（robotic gripper finger）。
在被装载到轨道121上时，由载体122携带的样本容器102可前进到第一预处理站125。例如，第一预处理站125可以是被构造成实施样本212的分馏的自动化离心机。携带样本容器102的载体122可通过流入道或其他合适的机器人转移到第一预处理站125。在离心之后，样本容器102可在流出道上离开，或者以其他方式由机器人移除，并且沿着轨道121继续。在所描绘的实施例中，接下来，可将载体122中的样本容器102运送到质量检查模块130以实施预筛选，如本文中将参考本文中的图4A-8进一步描述的。
质量检查模块130被构造成预筛选和实施本文中所描述的表征方法，并且被构造成自动地确定被包含在样本212中的H、I和/或L的存在以及可能地范围或者样本是否为正常的（N）。如果发现包含有效低量的H、I和/或L以便被认为是正常的（N），则样本212可在轨道121上继续，且然后可由所述一个或多个分析仪（例如，第一分析仪106、第二分析仪108和/或第三分析仪110）进行分析。此后，样本容器102可返回到装载区域105以便重新装载到所述一个或多个支架104。
在一些实施例中，除了对HILN的检测之外，可进行样本容器102和样本212的分割。根据分割数据，可使用后处理以便对样本212进行量化（即，确定HSP、HSB、HTOT，以及确定SB或SG以及LA的位置）。在一些实施例中，可在质量检查模块130处进行样本容器102的物理属性（例如，大小—高度和宽度/直径）的表征。此类表征可包括确定HT和W、以及可能地TC和/或Wi。根据该表征，可提取样本容器102的大小。此外，在一些实施例中，质量检查模块130还可确定帽类型，帽类型可被用作安全检查并且可了解（catch）是否已将错误的管类型用于所安排（ordered）的测试。
在一些实施例中，可在样本测试设备100上提供远程站132，该远程站不直接链接到轨道121。例如，独立机器人133（以虚线示出）可将包含样本212的样本容器102携带到远程站132，并且在测试/预处理之后使它们返回。可选地，可手动地移除和返回样本容器102。远程站132可用来测试某些成分（诸如，溶血水平），或者可用于进一步处理，以便例如通过一次或多次添加和/或通过附加的处理来降低血脂水平，或者以移除凝块、气泡或泡沫。可在远程站132处完成使用本文中所描述的HILN检测方法进行的其他预筛选。
可在轨道121上或沿着轨道121的一个或多个位置处提供（一个或多个）附加站。所述（一个或多个）附加站可包括去帽站、等分试样站、一个或多个附加的质量检查模块130等。
样本测试设备100可包括在围绕轨道121的一个或多个位置处的若干传感器116。传感器116可用来借助于读取识别信息218i或在每个载体122上提供的类似信息（未示出）来检测样本容器102在轨道121上的位置。可使用用于跟踪位置的任何合适的器件，诸如接近传感器。所有的传感器116都可与计算机143对接，使得可始终知道每个样本容器102的位置。
预处理站和分析仪106、108、110可装备有：机器人机构和/或流入道，其被构造成从轨道121移除载体122；以及机器人机构和/或流出道，其被构造成使载体122重新进入到轨道121。
样本测试设备100可由计算机143控制，该计算机可以是基于微处理器的中央处理单元CPU，其具有合适的存储器以及用于操作各种系统部件的合适的调节电子设备和驱动器。计算机143可被收容为样本测试设备100的基座120的一部分或与其分离。计算机143可进行操作以控制载体122去往和来自装载区域105的移动、绕轨道121的运动、去往和来自第一预处理站125的运动以及第一预处理站125（例如，离心机）的操作、去往和来自质量检查模块130的运动以及质量检查模块130的操作、以及去往和来自每个分析仪106、108、110的运动以及每个分析仪106、108、110的操作以便实施各种类型的测试（例如，测定或临床化学）。
对于除质量检查模块130以外的所有模块，计算机143可根据软件、固件和/或硬件命令或电路（诸如，在由纽约塔里敦的西门子医疗诊断公司（Siemens HealthcareDiagnostics Inc.）出售的dimension®临床化学分析仪上使用的那些）来控制样本测试设备100，并且此类控制对于基于计算机的机电控制编程领域的技术人员来说是典型的，并且在本文中将不进一步描述。然而，可使用用于控制样本测试设备100的其他合适的系统。质量检查模块130的控制也可由计算机143提供，但是是根据本文中详细描述的本发明的表征方法。
用于图像处理和用来实施本文中所描述的表征方法的计算机143可包括CPU或GPU、足够的处理能力和RAM、以及合适的存储装置（storage）。在一个示例中，计算机143可以是装备有多处理器的PC，其具有一个或多个GPU、8 GB Ram或更多、以及太字节或更大的存储装置（storage）。在另一个示例中，计算机143可以是装备有GPU的PC，或者可选地是以并行模式操作的装备有CPU的PC。也可使用MKL、8 GB RAM或更多、以及合适的存储装置（storage）。
可使用计算机接口模块（CIM）145来实施本公开的实施例，该CIM允许用户容易且快速地访问多种控制和状态显示屏幕。这些控制和状态显示屏幕可显示并使得能够控制用于制备和分析样本212的多个相互关联的自动化装置的一些或所有方面。CIM 145可被采用来提供关于多个相互关联的自动化装置的操作状态的信息、以及描述任何样本212的位置的信息、以及要对样本212执行或正对其执行的测试的状态。因此，CIM 145被适配成促进操作者和样本测试设备100之间的交互。CIM 145可包括显示屏幕，该显示屏幕操作成显示包括图标、滚动条、框和按钮的菜单，操作者可通过该菜单与样本测试设备100对接。菜单可包括若干功能元件，这些功能元件被编程为显示和/或操作样本测试设备100的功能方面。
图4A和图4B示出了质量检查模块130的第一实施例，该质量检查模块被构造成实施如本文中示出和描述的表征方法。质量检查模块130可被构造成预筛选样本212中（例如，在其血清或血浆部分212SP中）的干扰物（例如，H、I和/或L）的存在，之后由所述一个或多个分析仪106、108和110对干扰物进行分析。以这种方式进行的预筛选允许在不浪费宝贵的分析仪资源或可能地使干扰物的存在影响测试结果的真实性的情况下对样本212进行附加的处理、附加的量化或表征、和/或丢弃和/或重新汲取样本212。
除了本文中所描述的干扰物检测方法之外，还可在质量检查模块130处在被包含在样本容器102中的样本212上进行其他检测方法。例如，可在质量检查模块130处实施一种方法以提供分割作为来自SDNN的输出。可在后处理步骤中使用分割数据来量化样本212，即，确定样本212的某些物理尺寸特性（例如，LA和SB，和/或确定HSP、HSB和/或HTOT）。量化还可涉及估计例如血清或血浆部分的体积（VSP）和/或沉降的血液部分的体积（VSB）。还可确定其他可量化的几何特征。
此外，质量检查模块130可用来量化样本容器102的几何结构，即，量化样本容器102的某些物理尺寸特性，诸如TC的位置、样本容器102的HT和/或W或Wi。
现在参考图1、图4A和图4B，质量检查模块130可包括多个图像捕获装置440A-440C。示出了三个图像捕获装置440A-440C并且它们是优选的，但可选地可以使用两个或四个或更多个。图像捕获装置440A-440C可以是用于捕获界限清楚的数字图像的任何合适的装置，诸如能够捕获像素化图像的常规数字相机、电荷耦合装置（CCD）、光电检测器阵列、一个或多个CMOS传感器等。例如，在图4A中图示了三个图像捕获装置440A、440B、440C，并且它们被构造成从三个不同的侧向视点（被标记为1、2和3的视点）捕获图像。所捕获的图像大小可以是例如约2560 x 694像素。在另一个实施例中，图像捕获装置440A、440B、440C可捕获例如可以是约1280 x 387像素的图像大小。可使用其他图像大小和像素密度。
图像捕获装置440A、440B、440C中的每一者可被构造成并可操作以捕获样本容器102的至少一部分和样本212的至少一部分的侧向图像。例如，图像捕获装置440A-440C可捕获标签218的一部分、以及血清或血浆部分212SP的一部分或全部。在一些情况下，例如，视点1-3的一部分可被标签218部分地遮盖。在一些实施例中，视点1-3中的一者或多者可被完全地遮盖，即，血清或血浆部分212SP的清晰视图也许是不可能的。然而，即使在视点1-3的一侧（前侧或背侧）被一个或多个标签218完全遮盖的情况下，表征方法可仍然能够通过所述一个或多个遮盖标签218来区分血清或血浆部分212SP的边界。
在所示的实施例中，所述多个图像捕获装置440A、440B、440C被构造成在成像位置432处从多个视点1-3捕获样本容器102和样本212的侧向图像。视点1-3可布置成使得它们彼此近似等间隔，诸如如所示的彼此约120°。如所描绘的，图像捕获装置440A、440B、440C可围绕轨道121布置。可使用所述多个图像捕获装置440A、440B、440C的其他布置。以这种方式，在成像位置432处，可在样本容器102驻留在载体122中的同时拍摄样本容器102中的样本212的图像。由图像捕获装置440A、440B、440C获得的多个图像的视野可在周向范围（extent）内略微重叠。
在一个或多个实施例中，载体122可在质量检查模块130中的预定位置处停止，诸如在成像位置432处，即，诸如在来自图像捕获装置440A、440B、440C中的每一者的法向向量彼此相交的点处。可提供门（gate）或载体122的线性马达以使载体122在成像位置432处停止，使得可在那里捕获多个质量图像。在质量检查模块130处存在门的实施例中，可使用一个或多个传感器（比如传感器116）来确定在质量检查模块130处载体122的存在。
可紧邻成像位置432处的图像窗口提供图像捕获装置440A、440B、440C并且将它们训练或聚焦以捕获成像位置432处的图像窗口，其中，该图像窗口是包括样本容器102的预期位置的区。因此，在一些实施例中，可使样本容器102停止，使得其近似位于视图窗口（view window）的中心。在所捕获的图像内，可存在一个或多个参考基准。
在质量检查模块130的操作中，响应于可由计算机143发送的通信线路443a、443b、443c中提供的触发信号，可触发和捕获每个图像。根据一个或多个实施例，可由计算机143处理所捕获的图像中的每一者。在一种特别有效的方法中，可使用高动态范围（HDR）处理来捕获和处理来自所捕获的图像的图像数据。更详细地，在以一个或多个不同的光谱按顺序对样本212进行照明时，在质量检查模块130处以多个不同的曝光（例如，在不同的曝光时间）捕获该样本的多个图像。例如，每个图像捕获装置440A、440B、440C可在不同的曝光时间以多个光谱中的每一者拍摄包括血清或血浆部分212SP的样本容器102的4-8个图像。例如，在利用具有红色光谱的光源444A对样本212进行背光照明时，可由图像捕获装置440A在视点1拍摄4-8个图像。可在视点2和3处按顺序拍摄附加的相似图像。
在一些实施例中，可使用发射不同光谱照明的不同光源444A-444C来完成多个光谱图像。光源444A-444C可对样本容器102进行背光照明（如图所示）。在一些实施例中，光扩散器可与光源444A-444C结合使用。多个不同光谱光源444A-444C可以是RGB光源，诸如发射634nm +/- 35nm（红色）、537nm +/- 35nm（绿色）和455nm +/- 35nm（蓝色）的标称波长的LED。在其他实施例中，光源444A-444C可以是白光源。在标签218遮蔽多个视点的情况下，可使用IR背光照明或NIR背光照明。此外，即使当存在标签遮盖时，在一些情况下也可使用RGB光源。在其他实施例中，光源444A-444C可发射具有在约700 nm和约1200 nm之间的标称波长的一个或多个光谱。
通过非限制性示例，为了以第一波长捕获图像，可使用三个红色光源444A-444C（波长为约634 nm +/- 35 nm）以从三个侧向位置按顺序照明样本212。当由每个图像捕获装置440A-440C在不同的曝光时间从每个视点1-3捕获多个图像（例如，4-8个图像或更多）时，可发生由光源444A-444C进行的红色照明。在一些实施例中，曝光时间可在约0.1 ms和256 ms之间。可使用其他曝光时间。在一些实施例中，例如，可按顺序拍摄每个图像捕获装置440A-440C的相应图像中的每一者。因此，对于每个视点1-3，按顺序获得一组图像，该组图像具有红色光谱背光照明和诸如不同的曝光时间之类的多次（例如，4-8次）曝光。这些图像可以以轮循（round robin）的方式拍摄，例如，其中从视点1拍摄所有图像，接着是按顺序从视点2和3拍摄所有图像。
在每个实施例中，质量检查模块130可包括壳体446，该壳体可至少部分地包围或覆盖轨道121以使外部照明影响最小化。在图像拍摄序列期间，样本容器102可位于壳体446内部。壳体446可包括一个或多个门446d，以允许载体122进入到壳体446中和/或从壳体446离开。在一些实施例中，顶板（ceiling）可包括开口446O，以允许由包括可移动机器人指状物的机器人从上方将样本容器102装载到载体122中。
一旦在图4A-4B的实施例中捕获到红色照明图像，就可接通另一种光谱的光，例如，绿色光谱光源444A-444C（标称波长为约537 nm，其中带宽为约+/- 35 nm），并且可由每个图像捕获装置440A、440B、440C在不同的曝光时间按顺序捕获多个图像（例如，4-8个或更多个图像）。对于每个图像捕获装置440A、440B、440C，这可利用蓝色光谱光源444A-444C（标称波长为约455 nm，其中带宽为约+/- 35 nm）进行重复。例如，可通过光板来完成不同标称波长的光谱光源444A-444C，所述光板包括可以选择性地接通和切断的成排的不同所期望的光谱光源（例如，R、G、B、W、IR和/或NIR）。可使用其他用于背光照明的器件。
可快速连续地获得针对每个相应波长光谱以多个曝光（例如，曝光时间）拍摄的多个图像，使得例如可在不到几秒钟内获得来自多个视点1-3的样本容器102和样本212的背光图像的整个集合。在一个示例中，使用图像捕获装置440A、440B、440C以及利用RGB光源444A-444C进行的背光照明在三个视点1-3处针对每个波长的四个不同曝光图像将导致4个图像×3个光谱×3个图像捕获装置=36个图像。在另一个示例中，使用图像捕获装置440A、440B、440C以及利用R、G、B、W、IR和NIR光源444A-444C进行的背光照明在三个视点处针对每个波长的4个不同曝光图像将导致4个图像×6个光谱×3个相机=72个图像。
根据表征方法的实施例，图像数据的处理可涉及预处理步骤，该预处理步骤包括例如从以每个光谱波长在不同的曝光时间且针对每个图像捕获装置440A-440C捕获的多个图像中选择最佳曝光像素，以便为每个光谱且为每个视点1-3生成最佳曝光图像数据。这在本文中被称为“图像合并”。
对于每个对应的像素（或块），对于来自每个图像捕获装置440A-440C的图像中的每一者，可从每个视点1-3的不同曝光图像中的每一者中选择展现最佳图像强度的像素（或块）。在一个实施例中，最佳图像强度可以是例如落在预定强度范围内（例如，按0-255的比例尺在180-254之间）的像素（或块）。在另一个实施例中，最佳图像强度可例如按0-255的比例尺在16-254之间。如果两个曝光图像的对应像素（或块）位置中的多于一个像素（或块）被确定为是最佳曝光的，则选择两者中的较高者。
展现最佳图像强度的所选像素（或块）可通过其相应的曝光时间来归一化。其结果是用于照明光谱（例如，R、G、B、白光、IR和/或IR——取决于所使用的组合）以及用于每个图像捕获装置440A-440C的多个归一化且合并的光谱图像数据集，其中所有的像素（或块）都是最佳曝光的（例如，每个光谱一个图像数据集）。换句话说，对于每个视点1-3，由计算机143实施的数据预处理导致多个最佳曝光且归一化的图像数据集，每个所采用的照明光谱对应一个。
图5示出了包括功能部件的设备500，这些功能部件被构造成实施本文中所描述的HILN表征方法。设备500可被体现为由计算机143控制的质量检查模块130。如上文讨论的，在功能框502中，可将样本容器102设置在质量检查模块130的成像位置432（图4A和图4B）处。在功能框504中，由所述多个图像捕获装置440A-440C来捕获多视图图像。如上文讨论的，在功能框506中，可预处理多视图、多光谱、多曝光图像中的每一者的图像数据，以提供多个最佳曝光和归一化的图像数据集（下文中称为“图像数据集”）。此外，在一些实施例中，可将来自所述多个图像捕获装置440A-440C中的每一者的相应的图像数据堆叠或相关为具有附加通道的单个输入，这些附加通道对应于图像捕获装置的数量（例如，对应于三个图像捕获装置440A-440C的三倍多的通道）。例如，来自三个图像捕获装置440A-440C的图像可沿着通道维度堆叠，其中，每个图像捕获装置可生成尺寸为1272x360x6的高光谱图像。所得堆叠的图像输入然后可具有1272x360x18的尺寸，其中，第一6个通道属于图像捕获装置440A，第二6个通道属于图像捕获装置440B，并且第三6个通道属于图像捕获装置440C。可该堆叠的图像输入提供给单个深度卷积神经网络（SDNN）535。
SDNN 535与已知的技术相比是有利的，这些已知的技术经由相应的卷积神经网络来单独地处理来自每个图像捕获装置的图像。即，如果使用三个图像捕获装置，则已知的技术包括三个单独的卷积神经网络和三次单独的统计分析以确定HILN。此类技术不是存储器高效的或计算高效的。相比之下，如本文中所描述，通过将来自所述多个图像捕获装置440A-440C的图像堆叠成单个堆叠的图像输入并通过利用SDNN 535处理堆叠的图像输入，实现了更高的存储器和计算效率。
SDNN 535可包括分割卷积神经网络（SCNN）536，该SCNN接收堆叠的图像数据并且同时输出多个像素标签图537，其中，像素标签图537的数量对应于图像捕获装置的数量（例如，三个，对应于三个图像捕获装置440A-440C）。SDNN 535还可包括分类卷积神经网络（CCNN）538，该CCNN接收多个像素标签图537作为输入并输出对HILN 540H、5401、540L、540N的确定。可选地，SCNN 536可输出血清分割信息542和/或样本容器/帽类型信息544。
在从图像捕获装置440A-440C接收图像数据以用于确定HILN（和/或可选地，分割和/或帽类型信息）之前，先前可已对SDNN 535进行了训练以辨识HILN以及可选地血清分割和/或样本容器/帽类型。在一些实施例中，可首先在没有CCNN 538的情况下训练SCNN 536。可使用多组训练示例来训练SCNN 536。可通过利用质量检查模块130使包含样本212的样本容器102的大量样品成像通过以下步骤来训练SCNN 536：用图表概述具有各种样本HILN条件的样本212的大量示例的各个区域；概述被标签218遮盖的各个区域、血清或血浆部分212SP的水平等。与图表概述一起，可提供每个区域的类别表征信息。多达500或更多、1000或更多、2,000或更多、或甚至5,000或更多的图像可用于训练SCNN 536。每个训练图像可至少具有血清或血浆部分212SP、所识别的其H、I、L或N、各种指数水平（如果输出的话）以及人工概述的标签218，以识别并向SCNN 536教导属于每个类别的区域，这将是可能的输出。可利用样品样本容器间歇地测试SCNN 536，以查看SCNN 536是否以足够高的置信水平操作。如果在将正确的HILN构型确定为输出时不以100%（例如，98%的置信水平或更大）操作，则更多的训练样品可被成像并与相关联的表征信息一起被输入。在还提供了分割和/或帽类型的实施例中，训练可涉及概述输出的分割类别和/或帽类型并将类别识别信息包括作为输入。在单独训练了SCNN 536之后，可将CCNN 538添加到SCNN 536，并且可附加地对两个网络进行端到端训练，其中，任何分割和分类损失都可以在结束时进行组合。即，来自CCNN 538的损失可以反向传播到SCNN 536。
在设备500的一些实施例中，SDNN 535的输出可以是N类别溶血540H、N类别黄疸540I、N类别血脂540L或正常540N，其中，N类别是那个干扰物类别中的类别选项的数量（N）。如前所述，可将堆叠的多视图、多光谱、多曝光的经合并和归一化的图像数据集输入到SDNN535中，并且可在SCNN 536和CCNN 538上对这些图像数据集进行操作和由SCNN 536 andCCNN 538处理这些图像数据集。对于HIL中的每一者和/或对于每个视点，由SDNN 535进行的处理的输出可以是多种输出可能性（N类别）。例如，N可等于三，其中，输出可包括540H处的H1、H2和H3；540I处的I1、I2和I3；以及540L处的L1、L2、L3。
图6图示了根据一个或多个实施例的SCNN 536的架构636。SCNN 536可使用任何合适的科学计算框架、程序或工具箱来编码，诸如例如，可从伯克利视觉和学习中心（Berkley Vision and Learning Center）（BVLC）获得的Caffe、Theano、用于快速计算数学表达式的Python框架、TensorFlow、Torch等。架构636可包括以下操作层： 两个卷积层（CONV1和CONV2）602和630；五个致密块层（DB1-DB5）604、610、616、622和628；四个级联层（C1-C4）606、612、620和626；两个过渡向下层（TD1和TD2）608和614；以及两个过渡向上层（TU1和TU2），如图6中布置的，其中，输出多个像素标签图637。请注意，到每个致密块层604和610的输入与其输出级联（分别在C1和C2处），这可导致像素标签图的数量的线性增长。每个致密块层604、610、616、622和628可包括多个层（例如，3或4个），每个层包括批归一化操作、ReLu层和具有析出值（dropout）p = 0.2的3x3卷积层。第一层接收输入并输出若干像素标签图，这些像素标签图被级联到该输入。然后，第二层接收级联的输出作为其输入，并输出若干像素标签图，这些像素标签图再次被级联到先前的像素标签图。这针对致密标签块中的每个层进行重复。每个过渡向下层608和614可包括批归一化操作，接着是ReLu层，接着是具有析出值（dropout）p = 0.2的1x1卷积层，接着是2x2最大池化层。每个过渡向上层618和624可包括步长为2的3×3转置卷积层。
图7图示了根据一个或多个实施例的CCNN 538的架构738。CCNN 536可使用任何合适的科学计算框架、程序或工具箱来编码，诸如例如，可从伯克利视觉和学习中心（BerkleyVision and Learning Center）（BVLC）获得的Caffe、Theano、用于快速计算数学表达式的Python框架、TensorFlow、Torch等。架构738可包括以下操作层：五组卷积层（CONV1-CONV5）702、706、710、714和718和最大池化层（POOL1-POOL5）704、708、712、716和720，接着是两个完全连接层（FC1和FC2）722和724，接着是softmax层726。卷积层702将多个像素标签图737接收作为输入，所述像素标签图可以是多个像素标签图537 或637（分别为图5和图6）。卷积层702可以是深度为64（即，64个滤波器）的一个或多个3x3卷积层。卷积层706可以是深度为128（即，128个滤波器）的一个或多个3x3卷积层。卷积层710可以是深度为256（即，256个滤波器）的一个或多个3x3卷积层。卷积层714可以是深度为512（即，512个滤波器）的一个或多个3x3卷积层。并且，卷积层718可以是深度为512（即，512个滤波器）的一个或多个3x3卷积层。完全连接层722和724可各自具有大小4096，而softmax层可具有大小1000。
如本文中所使用的，卷积层是处理步骤，其可将滤波器（也称为内核）应用于输入的图像数据（例如，像素强度值）以输出激活图，该激活图可指示在图像数据中的某个空间位置处对某种特定类型的颜色或特征（例如，在应用几个卷积层之后，在将第一卷积层应用于稍微更复杂的特征之后，来自简单的曲线）的检测。
最大池化层是处理步骤，即，其可应用滤波器以生成出现在从卷积层接收的所述一个或多个激活图中的具有最大像素值的激活图。
ReLU（整流线性单元）层是处理步骤，其可将非线性函数应用于所接收的激活图中的所有值，从而导致例如所有负激活值都指派有零值。
完全连接层是处理步骤，其聚合先前的激活图（这些激活图中的每一者可指示对较低阶（level）特征的检测），以指示对较高阶（level）特征的检测。
softmax层通常是最终处理步骤，其输出根据图像特征的类别来突出显示或识别一个或多个图像的最可能的特征的概率分布。
通过使用单个深度卷积神经网络（诸如，SDNN 535）以用于从所有图像捕获装置440A-440C接收图像数据，而不是如在一些已知的设备中那样针对每个图像捕获装置440A-440C使用相应的卷积神经网络，并且通过将分类卷积神经网络（例如，CCNN 538和架构738）附接到分割卷积神经网络（例如，SCNN 536和架构636），与其他已知的卷积神经网络相比，单个深度卷积神经网络设计具有更高的存储器和计算效率以及增加的系统性能。
图8图示了根据本公开的实施例的表征方法800的流程图。表征方法800可由如本文中所描述的质量检查模块130来实施。特别地，根据一个或多个实施例，表征方法800可确定样本212中的干扰物的存在。表征方法800包括：在过程框802中，从多个视点（例如，视点1、2和3）捕获样本容器（例如，样本容器102）的多个图像，该样本容器包括样本（例如，样本212）的血清或血浆部分（例如，血清或血浆部分212SP）。此外，样本容器102可包括在其上的一个或多个标签（例如，标签218）。所述一个或多个图像可以是使用一个或多个图像捕获装置（例如，图像捕获装置440A-440C）捕获的数字的像素化图像。
表征方法800进一步包括：在过程框804中，将来自多个图像的图像数据（例如，堆叠的、合并的、和归一化的图像数据集）输入到分割卷积神经网络（例如，SCNN 536）并利用SCNN处理图像数据以同时输出多个标签图。在对SCNN 536进行适当训练之后，可由本文中所描述的计算机143完成该处理。
在过程框806中，表征方法800包括：将多个标签图输入到分类卷积神经网络（例如，CCNN 538）并利用CCNN处理多个标签图。在对SCNN 536和CCNN 538进行适当训练之后，可由本文中所描述的计算机143完成该处理。
表征方法800进一步包括：在过程框808中，从分类卷积神经网络（例如，CCNN 538）将对血清或血浆部分的分类输出为溶血、黄疸、血脂和正常中的一者或多者（即，H、I、L；H和I；H和L；I和L；H、l和L，或N）。
可在不同曝光时间和/或在不同光谱照明（例如，R、G、B、白光、IR和/或近IR）下捕获来自多个视点的多个图像。例如，在不同的光谱照明条件下，可存在针对每个视点在不同的曝光时间拍摄的4-8次不同的曝光或更多。
在可选的方面中，除了HILN确定之外，还可获得对图像数据集的分割。在过程框810中，方法800从SCNN（例如，SCNN 536）输出对样本容器102和样本212的分割。图像数据可被分割成N’类别（例如，7个类别），诸如（1）管、（2）凝胶分离物、（3）帽、（4）空气、（5）标签、（6）沉降的血液部分和/或（7）血清或血浆部分。可使用其他数量的类别。
可选地，表征方法800还可包括：在过程框812中，从SCNN（例如，SCNN 536）输出帽类型（544），该帽类型可以是被预训练到SCNN 536和CCNN 538中的特定帽形状或帽颜色。
因此，基于前述内容，应容易理解的是，提供了一种改进的表征方法800，其通过考虑可能遮盖所述一个或多个视点的标签来更好地表征血清或血浆部分212SP。改进的表征可用于提供对样本212中HILN的存在的快速且强健的表征，并且在一些实施例中，可评定和从CCNN 538输出干扰物水平（例如，H1、H2、H3、I1、I2、I3、L1、L2、L3）。
如应该容易理解的是，可使用质量检查模块（例如，质量检查模块130）来实施以上的表征方法，该质量检查模块包括：多个图像捕获装置（例如，图像捕获装置440A-440C），其围绕成像位置（例如，成像位置432）布置并被构造成从样本容器102的多个视点（例如，多个视点1-3）捕获一个或多个图像，该样本容器包括一个或多个标签218并包含样本212的血清或血浆部分212SP；以及计算机（例如，计算机143），其联接到所述多个图像捕获装置并被构造成处理多个图像的图像数据。计算机（例如，计算机143）可被构造成并且能够进行操作以处理和堆叠来自多个视点（例如，视点1-3）的多个图像，从而针对多个视点中的每一者提供HILN确定或与分割组合的HILN确定。
进一步地，可在包括质量检查模块130的样本测试设备100上实施表征方法800。样本测试设备100可包括轨道121和能够在轨道121上移动的载体122。载体122可被构造成：包含和支撑样本容器102，该样本容器包括所述一个或多个标签218并且包含样本212的血清或血浆部分212SP；以及将样本容器102携带到质量检查模块130以完成对干扰物的存在的表征和预筛选。
虽然本公开易受各种修改和替换形式的影响，但是特定的方法和设备实施例已在附图中通过示例而示出并在本文中进行了详细描述。然而，应理解的是，本文中所公开的特定方法和设备并不旨在限制本公开，而是相反地，旨在覆盖落入所附权利要求书的范围内的所有修改、等同物和替换方案。
Claims (20)
1.一种表征样本容器的方法，所述方法包括：
从多个视点捕获所述样本容器的多个图像，所述样本容器包括在其中的样本的血清或血浆部分；
将来自所述多个图像的图像数据输入到分割卷积神经网络并利用所述分割卷积神经网络处理所述图像数据以同时输出多个标签图；
将所述多个标签图输入到分类卷积神经网络并利用所述分类卷积神经网络处理所述多个标签图；以及
从所述分类卷积神经网络将对所述血清或血浆部分的分类输出为溶血、黄疸、血脂或正常中的一者或多者。
2.根据权利要求1所述的方法，其进一步包括首先在没有所述分类卷积神经网络的情况下训练所述分割卷积神经网络。
3.根据权利要求1所述的方法，其进一步包括：端到端训练所述分割卷积神经网络和所述分类卷积神经网络。
4.根据权利要求1所述的方法，其进一步包括：将来自每个视点的相应的所捕获的图像一起堆叠成具有附加通道的单个图像，所述附加通道对应于视点的数量。
5.根据权利要求1所述的方法，其中，来自所述多个图像的所述图像数据包括来自多次曝光的合并的像素或块数据。
6.根据权利要求1所述的方法，其中，同时输出的多个标签图的数量对应于多个视点的数量。
7.根据权利要求1所述的方法，其中，所述分割卷积神经网络包括如下架构，所述架构包括以下各者：至少两个层，其包括卷积和池化；以及至少两个完全卷积层。
8.根据权利要求1所述的方法，其中，所述分割卷积神经网络包括如下架构，所述架构包括解卷积层和SoftMax层中的至少一者。
9.根据权利要求1所述的方法，其中，所述分类卷积神经网络包括多个卷积层。
10.根据权利要求1所述的方法，其中，对所述血清或血浆部分的所述分类包括针对N类别的输出选项，每个类别为溶血、黄疸和血脂。
11.根据权利要求1所述的方法，其中，所述分类卷积神经网络进一步输出针对分割数据的N’类别的输出选项。
12.根据权利要求1所述的方法，其中，所述分类卷积神经网络进一步输出针对帽类型的N”类别的输出选项。
13.根据权利要求1所述的方法，其中，所述样本容器包括遮盖一个视点的至少一部分的一个或多个标签。
14. 一种质量检查模块，其包括：
多个图像捕获装置，其被构造成从样本容器的多个视点捕获多个图像，所述样本容器在其中包含样本的血清或血浆部分；以及
计算机，其联接到所述多个图像捕获装置，所述计算机被构造和操作成：
将来自所述多个图像的图像数据输入到分割卷积神经网络并利用所述分割卷积神经网络处理所述图像数据以同时输出多个标签图；
将所述多个标签图输入到分类卷积神经网络并利用所述分类卷积神经网络处理所述多个标签图；以及
从所述分类卷积神经网络将对所述血清或血浆部分的分类输出为溶血、黄疸、血脂或正常中的一者或多者。
15.根据权利要求14所述的质量检查模块，其中，所述计算机进一步被构造和操作成首先在没有所述分类卷积神经网络的情况下训练所述分割卷积神经网络。
16.根据权利要求14所述的质量检查模块，其中，所述计算机进一步被构造和操作成将来自每个视点的相应的所捕获的图像一起堆叠成具有附加通道的单个图像，所述附加通道对应于视点的数量。
17.一种样本测试设备，其包括：
轨道；
载体，其能够在所述轨道上移动并被构造成包含样本容器，所述样本容器在其中包含样本的血清或血浆部分；
多个图像捕获装置，其围绕所述轨道布置并被构造成从所述样本容器和所述样本的所述血清或血浆部分的多个视点捕获多个图像；以及
计算机，其联接到所述多个图像捕获装置，所述计算机被构造和操作成：
将来自所述多个图像的图像数据输入到分割卷积神经网络并利用所述分割卷积神经网络处理所述图像数据以同时输出多个标签图，
将所述多个标签图输入到分类卷积神经网络并利用所述分类卷积神经网络处理所述多个标签图；以及
从所述分类卷积神经网络将对所述血清或血浆部分的分类输出为溶血、黄疸、血脂或正常中的一者或多者。
18.根据权利要求17所述的样本测试设备，其中，所述计算机进一步被构造和操作成首先在没有所述分类卷积神经网络的情况下训练所述分割卷积神经网络。
19.根据权利要求17所述的样本测试设备，其中，所述计算机进一步被构造和操作成将来自每个视点的相应的所捕获的图像一起堆叠成具有附加通道的单个图像，所述附加通道对应于视点的数量。
20.根据权利要求17所述的样本测试设备，其中，所述计算机进一步被构造和操作成输出针对分割数据的N’类别的选项或针对帽类型的N”类别的选项。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862685344P | 2018-06-15 | 2018-06-15 | |
| US62/685344 | 2018-06-15 | ||
| PCT/US2019/036351 WO2019241134A1 (en) | 2018-06-15 | 2019-06-10 | Specimen container characterization using a single deep neural network in an end-to-end training fashion |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112639482A true CN112639482A (zh) | 2021-04-09 |
Family
ID=68843531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980039811.3A Pending CN112639482A (zh) | 2018-06-15 | 2019-06-10 | 以端到端训练方式使用单深度神经网络的样本容器表征 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11763461B2 (zh) |
| EP (1) | EP3807650A4 (zh) |
| JP (1) | JP7089071B2 (zh) |
| CN (1) | CN112639482A (zh) |
| WO (1) | WO2019241134A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592842A (zh) * | 2021-08-09 | 2021-11-02 | 南方医科大学南方医院 | 一种基于深度学习的样本血清质量识别方法及识别设备 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11657593B2 (en) * | 2017-07-28 | 2023-05-23 | Siemens Healthcare Diagnostics Inc. | Deep learning volume quantifying methods and apparatus |
| CN112673261A (zh) | 2018-09-20 | 2021-04-16 | 美国西门子医学诊断股份有限公司 | 针对血清和血浆采样两者利用深度适应网络的用于hiln确定的方法和装置 |
| EP4216170A1 (en) | 2022-01-19 | 2023-07-26 | Stratec SE | Instrument parameter determination based on sample tube identification |
| LU102902B1 (en) * | 2022-01-19 | 2023-07-19 | Stratec Se | Instrument parameter determination based on sample tube identification |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825509A (zh) * | 2016-03-17 | 2016-08-03 | 电子科技大学 | 基于3d卷积神经网络的脑血管分割方法 |
| CN106372390A (zh) * | 2016-08-25 | 2017-02-01 | 姹ゅ钩 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 |
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| WO2017102827A1 (en) * | 2015-12-16 | 2017-06-22 | Ventana Medical Systems, Inc. | Auto-focus methods and systems for digital imaging using mutli-spectral trajectories |
| WO2017132168A1 (en) * | 2016-01-28 | 2017-08-03 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for multi-view characterization |
| WO2018022280A1 (en) * | 2016-07-25 | 2018-02-01 | Siemens Healthcare Diagnostics Inc. | Systems, methods and apparatus for identifying a specimen container cap |
| WO2018089938A1 (en) * | 2016-11-14 | 2018-05-17 | Siemens Healthcare Diagnostics Inc. | Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2771219C (en) | 2009-08-13 | 2018-12-18 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for ascertaining interferents and physical dimensions in liquid samples and containers to be analyzed by a clinical analyzer |
| CA2976769C (en) | 2015-02-17 | 2023-06-13 | Siemens Healthcare Diagnostics Inc. | Model-based methods and apparatus for classifying an interferent in specimens |
| JP7110098B2 (ja) | 2015-12-18 | 2022-08-01 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化 |
| US10255522B2 (en) | 2016-06-17 | 2019-04-09 | Facebook, Inc. | Generating object proposals using deep-learning models |
| US9965863B2 (en) | 2016-08-26 | 2018-05-08 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
| JP6751773B2 (ja) | 2016-12-07 | 2020-09-09 | オリンパス株式会社 | 画像処理装置及び画像処理装置の作動方法 |
| US11238318B2 (en) | 2017-04-13 | 2022-02-01 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for HILN characterization using convolutional neural network |
| WO2018188023A1 (en) | 2017-04-13 | 2018-10-18 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for determining label count during specimen characterization |
| EP3596697B1 (en) | 2017-06-28 | 2021-03-17 | Deepmind Technologies Limited | Generalizable medical image analysis using segmentation and classification neural networks |
| CN111556961A (zh) | 2018-01-10 | 2020-08-18 | 美国西门子医学诊断股份有限公司 | 用于使用具有经缩减的训练的神经网络的生物流体试样表征的方法和装置 |
| CN108596166B (zh) | 2018-04-13 | 2021-10-26 | 华南师范大学 | 一种基于卷积神经网络分类的集装箱箱号识别方法 |
| US11927736B2 (en) * | 2018-06-15 | 2024-03-12 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for fine-grained HIL index determination with advanced semantic segmentation and adversarial training |
| CN112673261A (zh) * | 2018-09-20 | 2021-04-16 | 美国西门子医学诊断股份有限公司 | 针对血清和血浆采样两者利用深度适应网络的用于hiln确定的方法和装置 |
-
2019
- 2019-06-10 WO PCT/US2019/036351 patent/WO2019241134A1/en unknown
- 2019-06-10 EP EP19819602.4A patent/EP3807650A4/en active Pending
- 2019-06-10 CN CN201980039811.3A patent/CN112639482A/zh active Pending
- 2019-06-10 JP JP2020569857A patent/JP7089071B2/ja active Active
- 2019-06-10 US US17/251,756 patent/US11763461B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017102827A1 (en) * | 2015-12-16 | 2017-06-22 | Ventana Medical Systems, Inc. | Auto-focus methods and systems for digital imaging using mutli-spectral trajectories |
| WO2017132168A1 (en) * | 2016-01-28 | 2017-08-03 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for multi-view characterization |
| CN105825509A (zh) * | 2016-03-17 | 2016-08-03 | 电子科技大学 | 基于3d卷积神经网络的脑血管分割方法 |
| WO2018022280A1 (en) * | 2016-07-25 | 2018-02-01 | Siemens Healthcare Diagnostics Inc. | Systems, methods and apparatus for identifying a specimen container cap |
| CN106372390A (zh) * | 2016-08-25 | 2017-02-01 | 姹ゅ钩 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 |
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| WO2018089938A1 (en) * | 2016-11-14 | 2018-05-17 | Siemens Healthcare Diagnostics Inc. | Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen |
Non-Patent Citations (1)
| Title |
|---|
| SHAOQING REN等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", COMPUTER VISION AND COMPUTER RECOGNITION, 6 January 2016 (2016-01-06), pages 1137 - 1149, XP055847873, DOI: 10.1109/TPAMI.2016.2577031 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592842A (zh) * | 2021-08-09 | 2021-11-02 | 南方医科大学南方医院 | 一种基于深度学习的样本血清质量识别方法及识别设备 |
| CN113592842B (zh) * | 2021-08-09 | 2024-05-24 | 南方医科大学南方医院 | 一种基于深度学习的样本血清质量识别方法及识别设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3807650A4 (en) | 2021-11-17 |
| JP2021527219A (ja) | 2021-10-11 |
| EP3807650A1 (en) | 2021-04-21 |
| US20210164965A1 (en) | 2021-06-03 |
| WO2019241134A1 (en) | 2019-12-19 |
| JP7089071B2 (ja) | 2022-06-21 |
| US11763461B2 (en) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238318B2 (en) | Methods and apparatus for HILN characterization using convolutional neural network | |
| US11313869B2 (en) | Methods and apparatus for determining label count during specimen characterization | |
| JP7216069B2 (ja) | ディープラーニングボリューム定量化方法および装置 | |
| JP7324757B2 (ja) | 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置 | |
| JP2019537011A (ja) | 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール | |
| US11927736B2 (en) | Methods and apparatus for fine-grained HIL index determination with advanced semantic segmentation and adversarial training | |
| US11763461B2 (en) | Specimen container characterization using a single deep neural network in an end-to-end training fashion | |
| JP7386236B2 (ja) | 血清および血漿試料の両方に関してディープアダプテーションネットワークを用いてｈｉｌｎを決定するための方法および装置 | |
| JP7203206B2 (ja) | 標本分類のための仮説および検証ネットワークおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40041703 Country of ref document: HK |