CN112213503A - 样本分析系统、图像分析系统及其处理样本图像的方法 - Google Patents
样本分析系统、图像分析系统及其处理样本图像的方法 Download PDFInfo
- Publication number
- CN112213503A CN112213503A CN202010917861.1A CN202010917861A CN112213503A CN 112213503 A CN112213503 A CN 112213503A CN 202010917861 A CN202010917861 A CN 202010917861A CN 112213503 A CN112213503 A CN 112213503A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- neural network
- low
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000010191 image analysis Methods 0.000 title claims abstract description 86
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000004458 analytical method Methods 0.000 title claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 210
- 210000004369 blood Anatomy 0.000 claims abstract description 103
- 239000008280 blood Substances 0.000 claims abstract description 103
- 238000003384 imaging method Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000002360 preparation method Methods 0.000 claims description 31
- 230000002708 enhancing effect Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 210000002700 urine Anatomy 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 abstract description 3
- 238000003708 edge detection Methods 0.000 description 52
- 230000007246 mechanism Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 21
- 210000000265 leukocyte Anatomy 0.000 description 19
- 210000004027 cell Anatomy 0.000 description 17
- 210000003743 erythrocyte Anatomy 0.000 description 16
- 238000003709 image segmentation Methods 0.000 description 16
- 238000005070 sampling Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 12
- 210000001772 blood platelet Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 210000002919 epithelial cell Anatomy 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000032258 transport Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 239000013078 crystal Substances 0.000 description 6
- 210000003608 fece Anatomy 0.000 description 6
- -1 serum Substances 0.000 description 6
- 210000001185 bone marrow Anatomy 0.000 description 5
- 239000000872 buffer Substances 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000001035 drying Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002347 injection Methods 0.000 description 5
- 239000007924 injection Substances 0.000 description 5
- 239000012160 loading buffer Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000028327 secretion Effects 0.000 description 5
- 241000894006 Bacteria Species 0.000 description 4
- 210000001124 body fluid Anatomy 0.000 description 4
- 239000010839 body fluid Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005859 cell recognition Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 244000045947 parasite Species 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 241000521257 Hydrops Species 0.000 description 2
- 206010030113 Oedema Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 210000000601 blood cell Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000004276 hyalin Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003097 mucus Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000005259 peripheral blood Anatomy 0.000 description 2
- 239000011886 peripheral blood Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 210000002966 serum Anatomy 0.000 description 2
- 208000010110 spontaneous platelet aggregation Diseases 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 241000224526 Trichomonas Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000001132 alveolar macrophage Anatomy 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 210000003756 cervix mucus Anatomy 0.000 description 1
- OEYIOHPDSNJKLS-UHFFFAOYSA-N choline Chemical compound C[N+](C)(C)CCO OEYIOHPDSNJKLS-UHFFFAOYSA-N 0.000 description 1
- 229960001231 choline Drugs 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000002538 fungal effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000003714 granulocyte Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 210000005033 mesothelial cell Anatomy 0.000 description 1
- 244000000010 microbial pathogen Species 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000004908 prostatic fluid Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/2813—Producing thin layers of samples on a substrate, e.g. smearing, spinning-on
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Electro-optical investigation, e.g. flow cytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/487—Physical analysis of biological material of liquid biological material
- G01N33/49—Blood
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T5/73—
-
- G01N15/01—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00029—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor provided with flat sample substrates, e.g. slides
- G01N2035/00099—Characterised by type of test elements
- G01N2035/00138—Slides
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
- G01N2035/046—General conveyor features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明提供了样本分析系统、图像分析系统及其处理样本图像的方法,方法包括:对待测样本进行检测,以得到待测样本的各种检测参数;基于待测样本制备得到血涂片;使血涂片与成像装置相对移动,以使血涂片位于成像装置的视野区内;拍摄视野区内血涂片的特定区域,以得到样本图像;采用经训练的神经网络对样本图像进行处理以得到经增强的目标图像,用于输出给用户。本发明利用神经网络进行图像增强,能够准确地识别各种细胞或其他有形物质,显著地提高图像的质量。
Description
技术领域
本发明涉及样本分析领域,更具体地,涉及样本分析系统、图像分析系统及其处理样本图像的方法。
背景技术
在医学分析中,样本分析系统中的图像分析系统可以对待测样本进行拍摄得到样本图像,并从中识别并提取各种目标成分(例如红细胞、白细胞等),以展示给医务人员,医务人员可以通过观察目标成分的图像进行初步诊断,发现该样本是否存在异常。该系统可帮助医务人员省去人工镜下观察的工作,从而节省人力物力。
但是,在某些环境或某些拍摄模式下,图像分析系统拍摄的样本图像可能存在质量低下的情况,比如曝光不足、对焦不准确、分辨率低(比如使用40倍物镜)等问题,导致最终输出的图像不满足用户观察需求。而解决上述问题的现有的方法是使用常规图像处理算法对拍摄的图像进行处理,然而,采用上述图像处理方法处理图像无法达到令人满意的细胞识别和图像显示效果。
发明内容
为了解决上述问题而提出了本发明。根据本发明的一方面,提供了一种用于样本分析系统分析待测样本的方法,所述方法包括:将待测样本运送至所述样本分析系统中的血液分析仪,所述血液分析仪对待测样本进行检测,以得到所述待测样本的各种检测参数;将所述待测样本运送至所述样本分析系统中的涂片制备装置,所述涂片制备装置基于所述待测样本制备得到血涂片;由所述样本分析系统中的涂片保持装置使所述血涂片与所述样本分析系统中的成像装置相对移动,以使所述血涂片位于所述成像装置的视野区内;由所述成像装置拍摄视野区内所述血涂片的特定区域,以得到样本图像;由所述样本分析系统中的图像分析装置采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像。
在一个实施例中,经训练的神经网络为深度神经网络。
在一个实施例中,其中采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤包括:采用所述经训练的神经网络对整张样本图像进行增强以得到经增强的整张样本图像。
在一个实施例中,其中采用所述经训练的神经网络对整张样本图像进行增强以得到经增强的整张样本图像的步骤包括:采用所述经训练的神经网络从所述整张样本图像的图像数据中提取图像特征;采用所述经训练的神经网络对所提取的图像特征进行非线性映射处理;以及采用所述经训练的神经网络根据处理后的图像特征进行图像重建,以得到经增强的整张样本图像。
在一个实施例中,还包括:将所述经增强的整张样本图像作为经增强的目标图像;或者,对所述经增强的整张样本图像进行目标检测,并提取目标成分所在区域的所述样本图像的一部分作为经增强的目标图像。
在一个实施例中,其中采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤包括:对整张样本图像进行目标检测,并提取目标成分所在区域的所述样本图像的一部分作为目标图像;采用所述经训练的神经网络对所述目标图像进行增强以得到经增强的目标图像。
在一个实施例中,其中采用所述经训练的神经网络对所述目标图像进行增强以得到经增强的目标图像的步骤包括:采用所述经训练的神经网络从所述目标图像的图像数据中提取图像特征;采用所述经训练的神经网络对所提取的图像特征进行非线性映射处理;以及采用所述经训练的神经网络对处理后的图像特征进行图像重建,以得到所述经增强的目标图像。
在一个实施例中,所述方法还包括:根据所述检测参数确定所述待测样本是否需要进行样本图像的拍摄,若是,则执行所述将所述待测样本运送至所述样本分析系统中的涂片制备装置的步骤;若否,则不执行所述将所述待测样本运送至所述样本分析系统中的涂片制备装置的步骤。
在一个实施例中,所述成像装置拍摄得到的样本图像包括低质量图像;所述方法还包括:针对多个低质量类型的低质量图像,将多个神经网络分别训练为增强所述多个低质量类型中对应一低质量类型的低质量图像的神经网络。
在一个实施例中,其中所述采用所述经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤还包括:识别所述所述低质量图像和的低质量类型,并根据所述低质量图像的低质量类型,采用针对所述低质量类型的低质量图像的经训练的神经网络来处理所述样本图像。
根据本发明的另一方面,提供了一种用于图像分析系统处理样本图像的方法,所述方法包括:使承载有待测样本的样本载体与所述图像分析系统中的成像装置相对移动,以使所述样本载体位于所述成像装置的视野区内;由所述成像装置拍摄视野区内所述样本载体上的特定区域,以得到样本图像;由所述图像分析系统中的图像分析装置采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像。
在一个实施例中,经训练的神经网络为深度神经网络。
在一个实施例中,其中采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤包括:采用所述经训练的神经网络对整张样本图像进行增强以得到经增强的整张样本图像。
在一个实施例中,其中采用所述经训练的神经网络对整张样本图像进行增强以得到经增强的整张样本图像的步骤包括:采用所述经训练的神经网络从所述整张样本图像的图像数据中提取图像特征;采用所述经训练的神经网络对所提取的图像特征进行非线性映射处理;以及采用所述经训练的神经网络根据处理后的图像特征进行图像重建,以得到经增强的整张样本图像。
在一个实施例中,还包括:将所述经增强的整张样本图像作为经增强的目标图像;或者,对所述经增强的整张样本图像进行目标检测,并提取目标成分所在区域的所述样本图像的一部分作为经增强的目标图像。
在一个实施例中,其中采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤包括:对整张样本图像进行目标检测,并提取目标成分所在区域的所述样本图像的一部分作为目标图像;采用所述经训练的神经网络对所述目标图像进行增强以得到经增强的目标图像。
在一个实施例中,其中采用所述经训练的神经网络对所述目标图像进行增强以得到经增强的目标图像的步骤包括:采用所述经训练的神经网络从所述目标图像的图像数据中提取图像特征;采用所述经训练的神经网络对所提取的图像特征进行非线性映射处理;以及采用所述经训练的神经网络对处理后的图像特征进行图像重建,以得到所述经增强的目标图像。
在一个实施例中,所述成像装置拍摄得到的样本图像包括低质量图像;所述经增强的目标图像包括高质量图像;所述低质量图像的低质量类型包括曝光不足、图像模糊和分辨率低中的至少之一;所述高质量图像包括曝光充足、图像清晰或分辨率高的图像。
在一个实施例中,所述方法还包括:针对多个低质量类型的低质量图像,将多个神经网络分别训练为增强所述多个低质量类型中对应一低质量类型的低质量图像的神经网络。
在一个实施例中,其中所述采用所述经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤还包括:识别所述样本图像的低质量类型,并根据所述低质量图像的低质量类型,采用针对所述低质量类型的低质量图像的经训练的神经网络来处理所述样本图像。
在一个实施例中,所述待测样本包括血液或尿液,所述样本载体包括样本涂片或计数池。
根据本发明的又一方面,提供了一种样本分析系统,所述样本分析系统包括:血液分析仪,用于对待测样本进行检测,以得到所述待测样本的各种检测参数;涂片制备装置,用于基于所述待测样本制备得到血涂片;图像分析系统,包括成像装置、涂片保持装置和图像分析装置,其中,所述涂片保持装置用于使所述血涂片与所述成像装置相对移动,以使所述血涂片位于所述成像装置的视野区内;所述成像装置用于拍摄视野区内所述血涂片上的特定区域,以得到样本图像;所述图像分析装置用于采用经训练的神经网络执行如上所述的方法。
根据本发明的又一方面,提供了一种图像分析系统,其特征在于,所述图像分析系统包括成像装置、载体保持装置和图像分析装置,其中,所述载体保持装置用于使承载有待测样本的样本载体与所述成像装置相对移动,以使所述样本载体位于所述成像装置的视野区内;所述成像装置用于拍摄视野区内所述样本载体上的特定区域,以得到样本图像;所述图像分析装置用于采用经训练的神经网络执行如上所述的方法。
根据本发明的又一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被一个或更多个处理器执行时,使得能够执行如上所述的方法。
根据本发明的再一方面,提供了一种神经网络,所述神经网络被训练为能够由图像分析装置使用,以执行如上所述的方法。
根据本发明实施例的样本分析系统、图像分析系统及其处理样本图像的方法,利用神经网络进行图像增强,能够准确地识别各种细胞或其他有形物质,显著地提高图像的质量。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出了根据本发明的一个实施例的样本分析系统的结构示意图。
图2和图3示出了根据本发明的一个实施例的涂片制备装置的结构示意图。
图4示出了根据本发明的一个实施例的样本分析系统中的图像分析系统的示意性结构框图。
图5示出了根据本发明的一个实施例的样本分析系统中的控制装置的示意性结构框图。
图6示出了根据本发明的另一实施例的图像分析系统的示意性结构框图。
图7示出了根据本发明的又一实施例的用于样本分析系统分析待测样本的方法的步骤流程图。
图8示出了根据本发明的又一实施例的用于图像分析系统处理样本图像的方法的步骤流程图。
图9A示出了根据本发明的一个实施例的100倍物镜拍摄的曝光不足的样本图像。
图9B-图9C分别示出了根据本发明的一个实施例的100倍和40倍物镜拍摄的曝光充分的样本图像。
图10示出了根据本发明的一个实施例的采用经训练的神经网络对整张样本图像进行图像增强的示意图。
图11示出了根据本发明的另一个实施例的图像分析装置对样本图像进行处理的示意图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
如上所述,由于现有的图像处理方法无法达到令人满意的细胞识别和图像增强效果,因此为了更好地进行细胞识别和图像增强,本发明提供了下述样本分析系统、图像分析系统及其处理样本图像的方法。
下面结合具体实施例详细描述根据本发明的样本分析系统、图像分析系统及其处理样本图像的方法。
根据本发明的一个实施例中,提供了一种样本分析系统。参照图1,图1示出了根据本发明的一个实施例的样本分析系统100的结构示意图。
如图1所示,样本分析系统100包括血液分析仪110、涂片制备装置120、图像分析系统130和控制装置140。
血液分析仪110用于对待测样本进行检测(例如,血常规检测),涂片制备装置120用于基于待测样本制备得到血涂片,图像分析系统130用于对涂片中的细胞进行图像拍摄和分析,控制装置140与血液分析仪110、涂片制备装置120和图像分析系统130通信连接。
样本分析系统100还包括第一传输轨道150和第二传输轨道160,第一传输轨道150用于将可放置多个装载有待测样本的试管11的试管架10从血液分析仪110运送至涂片制备装置120,第二传输轨道160用于将可装载多个制备好的血涂片21的玻片篮20从涂片制备装置120运送至图像分析系统130。
控制装置140与第一传输轨道150和第二传输轨道160电连接并控制其动作。
样本分析系统100还包括分别对应于血液分析仪110和涂片制备装置120设置的进给机构170和180,各进给机构170和180包括装载缓存区171和181、进给检测区172和182以及卸载缓存区173和183。
当试管架10上的待测样本需要被运送至血液分析仪110进行检测时,试管架10首先从第一传输轨道150被运送到装载缓存区171,然后从装载缓存区171被运送到进给检测区172由血液分析仪110进行检测,在检测结束之后,再从进给检测区172被卸载到卸载缓存区173,最后再从卸载缓存区173进入第一传输轨道150。
同理,当试管架10上的待测样本需要进行镜检时,需要将试管架10运送至涂片制备装置120制备血涂片,试管架10首先从第一传输轨道150被运送到装载缓存区181,然后从装载缓存区181被运送到进给检测区182由涂片制备装置120制备血涂片,在血涂片制备结束之后,再从进给检测区182被卸载到卸载缓存区183,最后再从卸载缓存区183进入第一传输轨道150。涂片制备装置120将制备好的血涂片收纳在玻片篮20中,通过第二传输轨道160将收纳有待测血涂片的玻片篮20运送至图像分析系统130,图像分析系统130对待测血涂片上的样本中的细胞进行图像拍摄并进行分析。
样本分析系统100可还包括用于显示样本检测结果的显示装置(未示出),可设置在血液分析仪110、涂片制备装置120、图像分析系统130或控制装置140上,或者另外设置。
血液分析仪110对待测样本(例如,全血、血清、外周血等)进行检测,得到待测样本的各种检测参数,例如白细胞、红细胞、血红蛋白、血小板等血常规参数,以根据各种检测参数初步判断待测样本是否存在异常。
示例性地,可以根据检测参数确定待测样本是否需要进行样本图像的拍摄。具体地,如果是,即检测参数表明待测样本的血细胞存在异常,例如白细胞低值、血小板聚集、脂血等,则需要拍摄细胞的图像,则将待测样本运送至涂片制备装置120的步骤,以制备血涂片,然后拍摄得到样本图像,从而对细胞形态进行进一步识别,从而进行更准确的诊断;如果否,则不执行将待测样本运送至涂片制备装置120的步骤。该过程可以由涂片制备装置120、图像分析系统130和控制装置140配合执行。
涂片制备装置120用于基于待测样本(即,血液)制备得到血涂片。参考图2和图3,其示出了涂片制备装置120的结构示意图。该涂片制备装置120可以包括用于抽取样本的取样机构121、用于将玻片移至工作线的玻片装载机构122、用于将样本加载到玻片的加样机构123、用于将玻片上的样本抹平的推片机构124、用于对玻片上血膜进行干燥的干燥机构(图中未标示出)以及用于对玻片进行染色的染色机构125。
取样机构121进行样本提取时,先进行样本混匀,然后利用取样机构121中的采样装置(例如采样针)吸样,根据样本容器的不同,吸样可以是穿刺吸样(样本容器具有盖体,采样装置穿过样本容器的盖体),也可以是开放吸样(样本容器敞开,采样装置直接从敞口部吸样)。必要时,可进行血样信息检测,以获取信息和比对信息。某些实施例中,还包括微量进样机构126,该微量进样机构126可以将操作人员放入的试管直接向采样装置的方向移动,或者,采样装置也可以向操作人员放入的试管的方向移动。其他实现方式中,微量进样机构126还可以将试管直接向加样机构123的方向移动,或者,加样机构123也可以向操作人员放入的试管的方向移动,直接经由加样机构123(例如滴血针)吸取血样后进行样本加载,由于无需通过取样机构121抽取血液,可以减少血样的需求,从而实现微量及优先进样。当取样完成后,经由加样机构123准备将血液滴落到玻片上。
相应地,玻片装载机构122提取玻片,并将玻片装载到相应位置,以便于进行滴血操作。一些实施例中,在完成提取玻片操作后,还可以进行玻片左右检测和玻片清洁等操作,之后再装载玻片。装载后的玻片可以打印相关信息,同时进行玻片正反检测等操作。
加样机构123的滴血针将样本滴落到玻片上后进行推片操作,通过推片机构124将血液在玻片上推成血膜形状。通常,在完成推片动作后,可对玻片上的血膜进行干燥,稳定其形态。在一些实施例中,可在对进行血膜干燥前,驱动玻片翻转,以满足相应需求。一些实施例中,干燥后的血涂片还可进行干燥检测,用来判定血膜干燥效果。一些实施例中,干燥后的血涂片还可以进行血膜展开检测,用以判断血膜是否展开以及展开状态是否符合要求。推片完成后玻片(血涂片)可进行染色(可通过染色机构125实现)或者直接输出(例如放置到玻片篮20内输出)。
如图4所示,图像分析系统130至少包括成像装置131、涂片保持装置132和图像分析装置133。其中,涂片保持装置132用于使涂片与成像装置131相对移动,以使血涂片位于成像装置131的视野区内;成像装置131包括相机1312和透镜组1311,用于拍摄视野区内血涂片上的特定区域,以得到样本图像。
透镜组1311可以包括第一物镜和第二物镜。第一物镜例如可以为10倍物镜,第二物镜例如可以为100倍物镜。透镜组1311还可以包括第三物镜,第三物镜例如可以为40倍物镜。透镜组1311还可以包括目镜。
图像分析系统130还包括识别装置134、玻片夹取装置135和涂片回收装置136。识别装置134用于识别血涂片的身份信息,玻片夹取装置135用于将血涂片从识别装置134夹取到涂片保持装置132上进行检测,涂片回收装置136用于放置经检测的血涂片。
图像分析系统130还包括玻片篮装载装置137,用于装载装有待测血涂片的玻片篮,玻片夹取装置135还用于将玻片篮装载装置137上装载的玻片篮中的待测玻片夹取到识别装置134进行身份信息识别。玻片篮装载装置137与第一传输轨道150连接,以便由涂片制备装置120制备的血涂片能够运送至图像分析系统130。
由于各种原因,拍摄得到的样本图像可能存在各种低质量问题,例如曝光不足、图像模糊、分辨率低等,因此需要对样本图像进行图像增强。
图像分析装置133可用于采用经训练的神经网络对拍摄得到的样本图像进行处理以得到经增强的目标图像,用于输出给用户。
示例性地,神经网络可以为本领域公知的任何深度神经网络(DNN),例如生成对抗网络(GAN)、超分辨率卷积神经网络(SRCNN)等,本发明对此不作限定。深度神经网络包含一个输入层、多个隐含层和一个输出层,其利用大量的样本自动学习,发现数据的分布式特征表示。相对于传统的机器学习算法,深度神经网络的好处是不用手动提取分类特征,自动学习并挖掘数据特征,且能获得更高的识别准确率。
具体地,图像分析装置133可以确定拍摄得到的样本图像为低质量图像(参见图9A,其示出了100倍物镜拍摄的曝光不足的样本图像),确定该低质量图像所对应的拍摄位置,然后调整成像装置131的拍摄参数,在该拍摄位置重新进行拍摄,以得到该拍摄位置的高质量图像(参见图9B和图9C,其分别示出了100倍和40倍物镜拍摄的曝光充分的样本图像),然后用该高质量图像的图像数据训练神经网络以得到经训练的神经网络,使得该经训练的神经网络能够增强该低质量图像。
示例性地,可根据相机的曝光时间判断是否为曝光不足的图像,比如曝光时间小于100us为曝光不足的样本图像;可根据图像的像素分辨率以及物理尺寸判断是否为低分辨率的样本图像,当样本图像的一个像素代表的距离大于一定值(例如0.05um)时为低分辨率的样本图像;可根据图像的梯度信息判断样本图像是否为模糊图像,比如图像梯度小于某一阈值(例如100),或根据频域的高低频分量的分布来判断是否为模糊图像,比如低频分量占比超过一定阈值(例如60%)。
深度神经网络需要大量已标记样本进行训练,其目的就是优化网络中各个神经元的权值,以使神经网络性能达到最佳。神经网络的训练可使用梯度下降法,根据当前神经网络的预测输出与目标结果的误差(比如均方误差),不断调整所有神经元的权值,最终使得神经网络的预测输出与目标结果的误差最小化。
具体地,训练过程可以包括:获取成像装置131对同一样本区域拍摄得到的低质量图像和高质量图像,根据该低质量图像和高质量图像对神经网络进行训练,得到所述神经网络的参数。
示例性地,当成像装置拍摄得到的样本图像包括不同低质量类型的低质量图像时,针对多个低质量类型的低质量图像,可以将多个神经网络分别训练为增强所述多个低质量类型中对应一低质量类型的低质量图像的神经网络。示例性地,针对多个低质量类型的低质量图像,可以将一个神经网络训练为增强所有低质量类型的低质量图像的神经网络。
具体地,本发明中可使用大量的曝光不足图像和对应曝光充足的图像训练神经网络,进而得到针对曝光不足图像的经训练的神经网络;或者使用大量的模糊图像和对应的清晰图像训练神经网络,进而得到针对模糊图像的经训练的神经网络;或者使用大量的低分辨率图像和对应的高分辨率图像训练神经网络,进而得到针对低分辨率图像的经训练的神经网络;进一步地,可以同时选取两种或三种类型的低质量图像以及对应的高质量图像进行训练神经网络,最终得到可同时适用于两种或三种低质量类型的低质量图像的神经网络。
示例性地,针对曝光不足的图像,神经网络可以为DnCNN、LLCNN、LLNet等神经网络;针对模糊图像,神经网络可以为GAN、FCN、DnCNN等神经网络;针对低分辨率图像,神经网络可以为EDSN、SRCNN、RCAN等神经网络。
示例性地,还可以针对低质量图像中所包含的不同目标成分,将多个神经网络分别训练为增强多个目标成分中对应一目标成分的神经网络。示例性地,目标成分即为所需检测或分析的任何一种或更多种细胞,例如红细胞、白细胞、血小板等。
示例性地,图像分析装置133可以识别低质量图像的低质量类型,并根据该低质量图像的低质量类型,采用针对该低质量类型的低质量图像的经训练的神经网络来处理样本图像。
示例性地,低质量图像的低质量类型包括曝光不足、图像模糊、分辨率低等的至少之一,所述高质量图像包括曝光充足、图像清晰或分辨率高的图像等,本发明对此不作限定。
在一个实施例中,图像分析装置133可以采用经训练的神经网络对整张样本图像进行图像增强以得到经增强的整张样本图像(该过程示意图参见图10)。示例性地,经增强的整张样本图像可以包括高质量图像。
示例性地,图像分析装置133采用经训练的神经网络对整张样本图像进行图像增强可以包括如下步骤:
步骤S1:从整张样本图像的图像数据中提取图像特征。
步骤S2:对所提取的图像特征进行非线性映射处理。
步骤S3:根据处理后的图像特征进行图像重建,以得到经增强的整张样本图像。
具体地,以SRCNN网络包含三个卷积层,其对低质量图像进行增强为例进行说明:
首先,将低质量图像输入第一卷积层,其从低质量图像中提取多个图像块,并通过卷积操作得到N1(比如64)维特征矩阵;其公式如下,其中F1(Y)表示第一卷积层的输出,W1表示第一卷积层的卷积核,B1表示第一卷积层的偏差。
F1(Y)=max(0,W1*Y+B1)
然后,第二卷积层通过卷积实现非线性映射,将N1的特征矩阵映射成N2(比如32)维特征矩阵;其公式如下:其中F2(Y)表示第二卷积层的输出,F1(Y)表示第一卷积层的输出,W2表示第二卷积层的卷积核,B2表示第二卷积层的偏差。
F2(Y)=max(0,W2*F1(Y)+B2)
最后,第三卷积层对N2维的特征矩阵进行卷积操作,实现图像重建;即将N2维的特征矩阵还原为高质量图像,并进行输出。其公式如下:其中F3(Y)表示第三卷积层的输出,F2(Y)表示第二卷积层的输出,W3表示第三卷积层的卷积核,B3表示第三卷积层的偏差。
F3(Y)=W3*F2(Y)+B3
示例性地,根据用户需要,图像分析装置133可以将经增强的整张样本图像作为经增强的目标图像,用于输出给用户。
示例性地,根据用户需要,图像分析装置133还可以对经增强的整张样本图像进行目标检测,并提取目标成分所在区域的样本图像的一部分作为经增强的目标图像,用于输出给用户。具体地,可采用本领域公知的任何方法来对经增强的整张样本图像进行目标检测和图像分割,示例性地,可以利用神经网络自动地进行目标检测和图像分割,也可以利用常规方法进行目标检测和图像分割,还可以用户手动地进行图像分割,本发明对此不作限定。例如,可以采用基于边缘检测的检测分割方法等。采用基于边缘检测的检测分割方法的过程可以为:先对样本图像进行灰度处理,得到灰度图像,再采用边缘检测算法识别图像中各种成分的边缘,然后基于检测到的边缘对各种成分(例如,红细胞、白细胞、血小板、上皮细胞、结晶、管型等)进行分割,并根据各种成分的大小、灰度等获取其中的感兴趣的成分作为兴趣物。示例性地,边缘检测算法可以包括本领域公知的任何边缘检测算法,例如,差分边缘检测算法、Roberts(罗伯茨)边缘检测算法、Sobel(索贝尔)边缘检测算法、Prewitt(普利维特)边缘检测算法、Laplace(拉普拉斯)边缘检测算法、LOG(高斯拉普拉斯)边缘检测算法、Canny边缘检测算法等,本发明对此不作限定。
在另一实施例中,图像分析装置133还可以先对拍摄得到的整张样本图像进行目标检测和图像分割,并提取目标成分所在区域的样本图像的一部分作为目标图像,然后采用经训练的神经网络对目标图像进行增强以得到经增强的目标图像(该过程示意图参见图11)。示例性地,经增强的目标图像包括高质量图像。
具体地,可采用本领域公知的任何方法来对整张样本图像进行目标检测和图像分割,例如,如上所述的基于边缘检测的检测分割方法等,本发明对此不作限定。
示例性地,图像分析装置133对目标图像进行增强以得到经增强的目标图像的步骤可以包括:
步骤S4:采用经训练的神经网络从目标图像的图像数据中提取图像特征;
步骤S5:采用经训练的神经网络对所提取的图像特征进行非线性映射处理;以及
步骤S6:采用经训练的神经网络对处理后的图像特征进行图像重建,以得到经增强的目标图像。
控制装置140与血液分析仪110、涂片制备装置120和图像分析系统130通信连接。如图5,控制装置140至少包括:处理组件141、RAM142、ROM143、通信接口144、存储器146和I/O接口145,其中,处理组件141、RAM142、ROM143、通信接口144、存储器146和I/O接口145通过总线147进行通信。
处理组件可以为CPU、GPU或其它具有运算能力的芯片。
存储器146中装有操作系统和应用程序等供处理组件141执行的各种计算机程序及执行该计算机程序所需的数据。另外,在样本检测过程中,如有需要本地存储的数据,均可以存储到存储器146中。
I/O接口145由例如USB、IEEE1394或RS-132C等串行接口、SCSI、IDE或IEEE1284等并行接口以及由D/A转换器和A/D转换器等组成的模拟信号接口构成。I/O接口145上连接有由键盘、鼠标、触摸屏或其它控制按钮构成的输入设备,用户可以用输入设备直接向控制装置140输入数据。另外,I/O接口145上还可以连接由具有显示功能的显示器,例如:液晶屏、触摸屏、LED显示屏等,控制装置140可以将处理的数据以图像显示数据输出到显示器上进行显示,例如:分析数据、仪器运行参数等。
通信接口144是可以是目前已知的任意通信协议的接口。通信接口144通过网络与外界进行通信。控制装置140可以通过通信接口144以一定的通信协议,与通过该网连接的任意装置之间传输数据。
根据本发明的另一实施例,提供了一种图像分析系统,参照图6,图6示出了根据本发明的一个实施例的图像分析系统600的示意性结构框图。
如图6所示,图像分析系统600可以包括成像装置601、载体保持装置602和图像分析装置603。
其中,载体保持装置602用于使承载有待测样本的样本载体与成像装置601相对移动,以使样本载体位于成像装置601的视野区内。
示例性地,待测样本可以为血液、尿液、体液、骨髓以及其他排泄物和分泌物等,本发明对此不作限定。示例性地,样本载体可以为样本涂片、计数池等。其中,血液、骨髓、体液以及其他排泄物和分泌物等可以由涂片制备装置制成样本涂片(即玻片),而尿液可以用计数池承载。
示例性地,载体保持装置602可以为驱动装置,用于驱动样本载体或成像装置的透镜组移动,以使样本载体位于成像装置601的视野区内;示例性地,载体保持装置602还可以为抓取装置,用于抓取样本载体并将其放置在成像装置601的视野区内。
成像装置601包括相机和透镜组,透镜组可以包括第一物镜和第二物镜。其中,第一物镜例如可以为10倍物镜,第二物镜例如可以为100倍物镜。透镜组还可以包括第三物镜,第三物镜例如可以为40倍物镜。透镜组还可以包括目镜。
成像装置601用于拍摄该视野区内样本载体上的特定区域,以得到样本图像。具体地,成像装置601可以采用任意一个物镜进行拍摄以得到样本图像。
由于各种原因,拍摄得到的样本图像可能存在各种低质量问题,例如曝光不足、图像模糊、分辨率低等,因此需要对样本图像进行图像增强。
图像分析装置603可用于采用经训练的神经网络对拍摄得到的样本图像进行处理以得到经增强的目标图像,用于输出给用户。
示例性地,神经网络可以为本领域公知的任何深度神经网络(DNN),例如生成对抗网络(GAN)、超分辨率卷积神经网络(SRCNN)等,本发明对此不作限定。深度神经网络包含一个输入层、多个隐含层和一个输出层,其利用大量的样本自动学习,发现数据的分布式特征表示。相对于传统的机器学习算法,深度神经网络的好处是不用手动提取分类特征,自动学习并挖掘数据特征,且能获得更高的识别准确率。
具体地,图像分析装置603可以确定拍摄得到的样本图像为低质量图像,确定该低质量图像所对应的拍摄位置,然后调整成像装置601的拍摄参数,在该拍摄位置重新进行拍摄,以得到该拍摄位置的高质量图像,然后用该高质量图像的图像数据训练神经网络以得到经训练的神经网络,使得该经训练的神经网络能够增强该低质量图像。
具体地,训练过程可以包括:获取成像装置601对同一样本区域拍摄得到的低质量图像和高质量图像,根据该低质量图像和高质量图像对神经网络进行训练,得到所述神经网络的参数。
示例性地,当成像装置拍摄得到的样本图像包括不同低质量类型的低质量图像时,针对多个低质量类型的低质量图像,可以将多个神经网络分别训练为增强所述多个低质量类型中对应一低质量类型的低质量图像的神经网络。示例性地,针对多个低质量类型的低质量图像,可以将一个神经网络训练为增强所有低质量类型的低质量图像的神经网络。
示例性地,还可以针对低质量图像中所包含的不同目标成分,将多个神经网络分别训练为增强多个目标成分中对应一目标成分的神经网络。示例性地,目标成分即为所需检测或分析的任何一种或更多种有形成分,例如:当待测样本为血液或骨髓时,目标成分可以为红细胞、白细胞、血小板等细胞;当待测样本为尿液时,目标成分可以为红细胞、白细胞、白细胞团、细菌、酵母样菌、上皮细胞、小圆上皮细胞、结晶、透明管型、非透明管型、粘液丝等;当待测样本为其他排泄物与分泌物时,目标成分可以为粪便、阴道分泌物、精液、前列腺液、痰液等样本中的细胞成份:常见的红细胞、白细胞、结晶、病原微生物、上皮细胞、寄生虫、精子、滴虫、前列腺胆碱小体、前列腺颗粒细胞、肺泡巨噬细胞,肿瘤细胞等;当待测样本为体腔液时,目标成分可以为脑脊液、浆膜腔积液、关节腔积液、羊水中的细胞成份:常见的红细胞、白细胞、白细胞团、细菌、酵母样菌、上皮细胞、寄生虫等;当待测样本为脱落细胞时,目标成分可以为上皮细胞、间皮细胞、癌细胞、红细胞、白细胞、巨噬细胞或组织细胞、坏死物(黏液、细菌团、真菌团、植物细胞、棉絮及染料残渣等)、寄生虫等。
示例性地,图像分析装置603可以识别低质量图像的低质量类型,并根据该低质量图像的低质量类型,采用针对该低质量类型的低质量图像的经训练的神经网络来处理样本图像。
示例性地,低质量图像的低质量类型包括曝光不足、图像模糊、分辨率低等,所述高质量图像包括曝光充足、图像清晰、分辨率高的图像等,本发明对此不作限定。
在一个实施例中,图像分析装置603可以采用经训练的神经网络对整张样本图像进行图像增强以得到经增强的整张样本图像。示例性地,经增强的整张样本图像可以包括高质量图像。
示例性地,图像分析装置603采用经训练的神经网络对整张样本图像进行图像增强可以包括如下步骤:
步骤S1:从整张样本图像的图像数据中提取图像特征。
步骤S2:对所提取的图像特征进行非线性映射处理。
步骤S3:根据处理后的图像特征进行图像重建,以得到经增强的整张样本图像。
上述步骤S1-S3的具体处理过程可参考前述实施例,在此不再赘述。
示例性地,根据用户需要,图像分析装置603可以将经增强的整张样本图像作为经增强的目标图像,用于输出给用户。
示例性地,根据用户需要,图像分析装置603还可以对经增强的整张样本图像进行目标检测,并提取目标成分所在区域的样本图像的一部分作为经增强的目标图像,用于输出给用户。
具体地,可采用本领域公知的任何方法来对增强后的整张样本图像进行目标检测和图像分割,示例性地,可以利用神经网络自动地进行目标检测和图像分割,也可以利用常规方法进行目标检测和图像分割,还可以用户手动地进行图像分割,本发明对此不作限定。例如,可以采用基于边缘检测的检测分割方法等。采用基于边缘检测的检测分割方法的过程可以为:先对样本图像进行灰度处理,得到灰度图像,再采用边缘检测算法识别图像中各种成分的边缘,然后基于检测到的边缘对各种成分(例如,红细胞、白细胞、血小板、上皮细胞、结晶、管型等)进行分割,并根据各种成分的大小、灰度等获取其中的感兴趣的成分作为兴趣物。示例性地,边缘检测算法可以包括本领域公知的任何边缘检测算法,例如,差分边缘检测算法、Roberts(罗伯茨)边缘检测算法、Sobel(索贝尔)边缘检测算法、Prewitt(普利维特)边缘检测算法、Laplace(拉普拉斯)边缘检测算法、LOG(高斯拉普拉斯)边缘检测算法、Canny边缘检测算法等,本发明对此不作限定。
在另一实施例中,图像分析装置603还可以先对拍摄得到的整张样本图像进行目标检测,并通过如图像分割等方式,提取目标成分所在区域的样本图像的一部分作为目标图像,然后采用经训练的神经网络对目标图像进行增强以得到经增强的目标图像。示例性地,经增强的目标图像包括高质量图像。
具体地,可采用本领域公知的任何方法来对整张样本图像进行目标检测和图像分割,例如,如上所述的基于边缘检测的检测分割方法等,本发明对此不作限定。
示例性地,图像分析装置603对目标图像进行增强以得到经增强的目标图像的步骤可以包括:
步骤S4:采用经训练的神经网络从目标图像的图像数据中提取图像特征;
步骤S5:采用经训练的神经网络对所提取的图像特征进行非线性映射处理;以及
步骤S6:采用经训练的神经网络对处理后的图像特征进行图像重建,以得到经增强的目标图像。
根据本发明的又一实施例,提供了一种用于样本分析系统分析待测样本的方法。参考图7,图7示出了根据一个实施例的用于样本分析系统分析待测样本的方法700的步骤流程图。
如图7所示,方法700可以包括如下步骤:
步骤S710:将待测样本运送至样本分析系统中的血液分析仪,血液分析仪对该待测样本进行检测,以得到该待测样本的各种检测参数,以根据各种检测参数初步判断待测样本是否存在异常。
示例性地,待测样本可以包括全血、血清、外周血等。示例性地,检测参数可以包括例如白细胞、红细胞、血红蛋白、血小板等血常规参数,还可以包括其他血液参数。
示例性地,方法700还可以包括:根据检测参数确定待测样本是否需要进行样本图像的拍摄。具体地,如果是,即检测参数表明待测样本的血细胞存在异常,例如白细胞低值、血小板聚集、脂血等,则需要拍摄细胞的图像,则执行以下步骤,从而对细胞形态进行进一步识别,从而进行更准确的诊断;如果否,则不执行以下步骤。
步骤S720:将待测样本运送至样本分析系统中的涂片制备装置,涂片制备装置基于待测样本制备得到血涂片。
具体地,将待测样本运送至涂片制备装置后,可以采用以下步骤制备得到血涂片:先进行样本混匀,然后采样装置(例如采样针)进行吸样,加样机构将吸取的血液低落到玻片上,推片机构进行推片操作,将血液在玻片上推成血膜形状。通常,在完成推片动作后,可对玻片上的血膜进行干燥,稳定其形态。
步骤S730:由样本分析系统中的涂片保持装置使血涂片与样本分析系统中的成像装置相对移动,以使血涂片位于成像装置的视野区内。
示例性地,涂片保持装置用于放置或夹持血涂片,可以由驱动装置来驱动涂片保持装置或成像装置移动,以使血涂片位于成像装置的视野区内;示例性地,涂片保持装置还可以包括抓取装置,用于抓取血涂片并将其放置在成像装置的视野区内。
步骤S740:由成像装置拍摄视野区内血涂片的特定区域,以得到样本图像。
示例性地,成像装置可以根据需要采用不同(例如,放大倍数为40倍、100倍等)的物镜进行拍摄,以得到血涂片的特定区域的样本图像。由于各种原因,拍摄得到的样本图像可能存在各种低质量问题,例如曝光不足、图像模糊、分辨率低等,因此需要对样本图像进行图像增强。
步骤S750:由样本分析系统中的图像分析装置采用经训练的神经网络对样本图像进行处理以得到经增强的目标图像。
得到目标图像后,还可以基于目标图像进行目标分类,也可将分类结果和/或目标图像输出给用户。
示例性地,神经网络可以为本领域公知的任何深度神经网络(DNN),例如生成对抗网络(GAN)、超分辨率卷积神经网络(SRCNN)等,本发明对此不作限定。深度神经网络包含一个输入层、多个隐含层和一个输出层,其利用大量的样本自动学习,发现数据的分布式特征表示。相对于传统的机器学习算法,深度神经网络的好处是不用手动提取分类特征,自动学习并挖掘数据特征,且能获得更高的识别准确率。
在一个实施例中,该步骤可以包括:图像分析装置采用经训练的神经网络对整张样本图像进行图像增强以得到经增强的整张样本图像。示例性地,经增强的整张样本图像可以包括高质量图像。
示例性地,图像分析装置采用经训练的神经网络对整张样本图像进行图像增强可以包括如下步骤:
步骤S1:从整张样本图像的图像数据中提取图像特征。
步骤S2:对所提取的图像特征进行非线性映射处理。
步骤S3:根据处理后的图像特征进行图像重建,以得到经增强的整张样本图像。
上述步骤S1-S3的具体处理过程可参考前述实施例,在此不再赘述。
示例性地,根据用户需要,可以将经增强的整张样本图像作为经增强的目标图像,用于输出给用户。
示例性地,根据用户需要,还可以对经增强的整张样本图像进行目标检测,并提取目标成分所在区域的样本图像的一部分作为经增强的目标图像,用于输出给用户。
具体地,可采用本领域公知的任何方法来对增强后的整张样本图像进行目标检测和图像分割,示例性地,可以利用神经网络自动地进行目标检测和图像分割,也可以利用常规方法进行目标检测和图像分割,还可以用户手动地进行图像分割,本发明对此不作限定。例如,可以采用基于边缘检测的检测分割方法等。采用基于边缘检测的检测分割方法的过程可以为:先对样本图像进行灰度处理,得到灰度图像,再采用边缘检测算法识别图像中各种成分的边缘,然后基于检测到的边缘对各种成分(例如,红细胞、白细胞、血小板、上皮细胞、结晶、管型等)进行分割,并根据各种成分的大小、灰度等获取其中的感兴趣的成分作为兴趣物。示例性地,边缘检测算法可以包括本领域公知的任何边缘检测算法,例如,差分边缘检测算法、Roberts(罗伯茨)边缘检测算法、Sobel(索贝尔)边缘检测算法、Prewitt(普利维特)边缘检测算法、Laplace(拉普拉斯)边缘检测算法、LOG(高斯拉普拉斯)边缘检测算法、Canny边缘检测算法等,本发明对此不作限定。
在另一实施例中,该步骤可以包括:图像分析装置先对拍摄得到的整张样本图像进行目标检测和图像分割,并提取目标成分所在区域的样本图像的一部分作为目标图像,然后采用经训练的神经网络对目标图像进行增强以得到经增强的目标图像。示例性地,经增强的目标图像包括高质量图像。
具体地,可采用本领域公知的任何方法来对整张样本图像进行目标检测和图像分割,例如,如上所述的基于边缘检测的检测分割方法等,本发明对此不作限定。
示例性地,图像分析装置对目标图像进行增强以得到经增强的目标图像的步骤可以包括:
步骤S4:采用经训练的神经网络从目标图像的图像数据中提取图像特征;
步骤S5:采用经训练的神经网络对所提取的图像特征进行非线性映射处理;以及
步骤S6:采用经训练的神经网络对处理后的图像特征进行图像重建,以得到经增强的目标图像。
示例性地,方法700还可以包括:确定拍摄得到的样本图像为低质量图像,获取该低质量图像所对应的拍摄位置,然后调整成像装置的拍摄参数,在该拍摄位置重新进行拍摄,以得到该拍摄位置的高质量图像,然后用该低质量图像和该高质量图像的图像数据训练神经网络以得到经训练的神经网络,使得该经训练的神经网络能够增强该低质量图像。
具体地,训练过程可以包括:获取成像装置对同一样本区域拍摄得到的低质量图像和高质量图像,根据该低质量图像和高质量图像对神经网络进行训练,得到所述神经网络的参数。
示例性地,当成像装置拍摄得到的样本图像包括不同低质量类型的低质量图像时,方法700还可以包括:针对多个低质量类型的低质量图像,可以将多个神经网络分别训练为增强所述多个低质量类型中对应一低质量类型的低质量图像的神经网络。示例性地,针对多个低质量类型的低质量图像,可以将一个神经网络训练为增强所有低质量类型的低质量图像的神经网络。
示例性地,方法700还可以包括:还可以针对低质量图像中所包含的不同目标成分,将多个神经网络分别训练为增强多个目标成分中对应一目标成分的神经网络。示例性地,目标成分可以为前述实施例提到的任何一种或更多种有形成分,例如红细胞、白细胞、血小板等。
示例性地,方法700还可以包括:识别样本图像的低质量类型,并根据该低质量图像的低质量类型,采用针对该低质量类型的低质量图像的经训练的神经网络来处理样本图像。
示例性地,低质量图像的低质量类型包括曝光不足、图像模糊、分辨率低等,所述高质量图像包括曝光充足、图像清晰、分辨率高的图像等,本发明对此不作限定。
根据本发明的又一个实施例,提供了一种用于图像分析系统处理样本图像的方法。参考图8,图8示出了根据一个实施例的用于图像分析系统处理样本图像的方法800的步骤流程图。
如图8所示,方法800可以包括如下步骤:
步骤S810:使承载有待测样本的样本载体与图像分析系统中的成像装置相对移动,以使样本载体位于成像装置的视野区内。
示例性地,待测样本可以为血液、尿液、体液、骨髓以及其他排泄物和分泌物等,本发明对此不作限定。示例性地,样本载体可以为样本玻片、计数池等。其中,血液、骨髓、体液以及其他排泄物和分泌物等可以制成样本玻片(如血涂片),而尿液可以用计数池承载。
步骤S820:由成像装置拍摄视野区内样本载体上的特定区域,以得到样本图像。
示例性地,成像装置可以根据需要采用不同(例如,放大倍数为40倍、100倍等)的物镜进行拍摄,以得到血涂片的特定区域的样本图像。由于各种原因,拍摄得到的样本图像可能存在各种低质量问题,例如曝光不足、图像模糊、分辨率低等,因此需要对样本图像进行图像增强。
步骤S830:由图像分析系统中的图像分析装置采用经训练的神经网络对样本图像进行处理以得到经增强的目标图像。
得到目标图像后,可以基于目标图像进行目标分类,也可将目标图像或由目标分类得到的分类结果输出给用户。
示例性地,神经网络可以为本领域公知的任何深度神经网络(DNN),例如生成对抗网络(GAN)、超分辨率卷积神经网络(SRCNN)等,本发明对此不作限定。深度神经网络包含一个输入层、多个隐含层和一个输出层,其利用大量的样本自动学习,发现数据的分布式特征表示。相对于传统的机器学习算法,深度神经网络的好处是不用手动提取分类特征,自动学习并挖掘数据特征,且能获得更高的识别准确率。
在一个实施例中,该步骤可以包括:图像分析装置采用经训练的神经网络对整张样本图像进行图像增强以得到经增强的整张样本图像。
示例性地,图像分析装置采用经训练的神经网络对整张样本图像进行图像增强可以包括如下步骤:
步骤S1:从整张样本图像的图像数据中提取图像特征。
步骤S2:对所提取的图像特征进行非线性映射处理。
步骤S3:根据处理后的图像特征进行图像重建,以得到经增强的整张样本图像。示例性地,经增强的整张样本图像可以包括高质量图像。
上述步骤S1-S3的具体处理过程可参考前述实施例,在此不再赘述。
示例性地,根据用户需要,可以将经增强的整张样本图像作为经增强的目标图像,用于输出给用户。
示例性地,根据用户需要,还可以对经增强的整张样本图像进行目标检测,并提取目标成分所在区域的样本图像的一部分作为经增强的目标图像,用于输出给用户。
具体地,可采用本领域公知的任何方法来对增强后的整张样本图像进行目标检测和图像分割,示例性地,可以利用神经网络自动地进行目标检测和图像分割,也可以利用常规方法进行目标检测和图像分割,还可以用户手动地进行图像分割,本发明对此不作限定。例如,可以采用基于边缘检测的检测分割方法等。采用基于边缘检测的检测分割方法的过程可以为:先对样本图像进行灰度处理,得到灰度图像,再采用边缘检测算法识别图像中各种成分的边缘,然后基于检测到的边缘对各种成分(例如,红细胞、白细胞、血小板、上皮细胞、结晶、管型等)进行分割,并根据各种成分的大小、灰度等获取其中的感兴趣的成分作为兴趣物。示例性地,边缘检测算法可以包括本领域公知的任何边缘检测算法,例如,差分边缘检测算法、Roberts(罗伯茨)边缘检测算法、Sobel(索贝尔)边缘检测算法、Prewitt(普利维特)边缘检测算法、Laplace(拉普拉斯)边缘检测算法、LOG(高斯拉普拉斯)边缘检测算法、Canny边缘检测算法等,本发明对此不作限定。
在另一实施例中,该步骤可以包括:图像分析装置对拍摄得到的整张样本图像进行目标检测和图像分割,并提取目标成分所在区域的样本图像的一部分作为目标图像,然后采用经训练的神经网络对目标图像进行增强以得到经增强的目标图像。示例性地,经增强的目标图像包括高质量图像。
具体地,可采用本领域公知的任何方法来对整张样本图像进行目标检测和图像分割,例如,如上所述的基于边缘检测的检测分割方法等,本发明对此不作限定。
示例性地,图像分析装置对目标图像进行增强以得到经增强的目标图像的步骤可以包括:
步骤S4:采用经训练的神经网络从目标图像的图像数据中提取图像特征;
步骤S5:采用经训练的神经网络对所提取的图像特征进行非线性映射处理;以及
步骤S6:采用经训练的神经网络对处理后的图像特征进行图像重建,以得到经增强的目标图像。
示例性地,方法800还可以包括:确定拍摄得到的样本图像为低质量图像,获取该低质量图像所对应的拍摄位置,然后调整成像装置的拍摄参数,在该拍摄位置重新进行拍摄,以得到该拍摄位置的高质量图像,然后用该低质量图像和该高质量图像的图像数据训练神经网络以得到经训练的神经网络,使得该经训练的神经网络能够增强该低质量图像。
具体地,训练过程可以包括:获取成像装置在同一样拍摄位置拍摄得到的低质量图像和高质量图像,根据该低质量图像和高质量图像对神经网络进行训练,得到所述神经网络的参数。
示例性地,方法800还可以包括:针对多个低质量类型的低质量图像,可以将多个神经网络分别训练为增强所述多个低质量类型中对应一低质量类型的低质量图像的神经网络。示例性地,针对多个低质量类型的低质量图像,可以将一个神经网络训练为增强所有低质量类型的低质量图像的神经网络。
示例性地,方法800还可以包括:还可以针对低质量图像中所包含的不同目标成分,将多个神经网络分别训练为增强多个目标成分中对应一目标成分的神经网络。示例性地,目标成分可以为前述实施例提到的任何一种或更多种有形成分,例如红细胞、白细胞、血小板等。
示例性地,方法800还可以包括:识别低质量图像的低质量类型,并根据该低质量图像的低质量类型,采用针对该低质量类型的低质量图像的经训练的神经网络来处理样本图像。
示例性地,低质量图像的低质量类型包括曝光不足、图像模糊、分辨率低等的至少之一,所述高质量图像包括曝光充足、图像清晰、分辨率高的图像等,本发明对此不作限定。
在又一实施例中,提供了一种计算机可读介质,该计算机可读介质上存储有计算机程序,所述计算机程序在运行时执行如上述实施例所述的方法。任何有形的、非暂时性的计算机可读介质皆可被使用,包括磁存储设备(硬盘、软盘等)、光存储设备(CD-ROM、DVD、蓝光光盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器,使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中,该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行,这样存储在计算机可读存储器中的指令就可以形成一件制造品,包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上,从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程,使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
在再一实施例中,提供了一种神经网络,该神经网络被训练为能够由图像分析系统使用,以执行如上所述的方法。
示例性地,神经网络可以为本领域公知的任何深度神经网络(DNN),例如生成对抗网络(GAN),超分辨率卷积神经网络(SRCNN)等,本发明对此不作限定。
深度神经网络的主要结构为卷积层、激活层、池化层和全连接层的组合堆叠。比如常见的SRCNN网络,通过卷积层和激活层提取图像相关特征,再通过另一卷积层和激活层对特征进行非线性映射,最后利用卷积层重建得到增强后的图像。
示例性地,可以将一个神经网络训练为能够增强所有低质量类型(例如,曝光不足、图像模糊、分辨率低等)的样本图像。
示例性地,针对拍摄得到的样本图像的不同低质量类型,还可以将多个神经网络分别训练为增强不同低质量类型中一低质量类型的样本图像。
示例性地,还可以针对低质量图像中所包含的不同目标成分,将多个神经网络分别训练为增强多个目标成分中对应一目标成分的神经网络。示例性地,目标成分可以为前述实施例提到的任何一种或更多种有形成分,例如红细胞、白细胞、血小板等。
本发明的技术效果:
本发明的方案利用神经网络进行图像增强,从而能够准确地识别各种细胞或其他有形物质,显著地提高图像的质量。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (23)
1.一种用于样本分析系统分析待测样本的方法,其特征在于,所述方法包括:
将待测样本运送至所述样本分析系统中的血液分析仪,所述血液分析仪对待测样本进行检测,以得到所述待测样本的各种检测参数;
将所述待测样本运送至所述样本分析系统中的涂片制备装置,所述涂片制备装置基于所述待测样本制备得到血涂片;
由所述样本分析系统中的涂片保持装置使所述血涂片与所述样本分析系统中的成像装置相对移动,以使所述血涂片位于所述成像装置的视野区内;
由所述成像装置拍摄视野区内所述血涂片的特定区域,以得到样本图像;
由所述样本分析系统中的图像分析装置采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像。
2.如权利要求1所述的方法,其特征在于,其中采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤包括:
采用所述经训练的神经网络对整张样本图像进行增强以得到经增强的整张样本图像。
3.如权利要求2所述的方法,其特征在于,其中采用所述经训练的神经网络对整张样本图像进行增强以得到经增强的整张样本图像的步骤包括:
采用所述经训练的神经网络从所述整张样本图像的图像数据中提取图像特征;
采用所述经训练的神经网络对所提取的图像特征进行非线性映射处理;以及
采用所述经训练的神经网络根据处理后的图像特征进行图像重建,以得到经增强的整张样本图像。
4.如权利要求2所述的方法,其特征在于,还包括:
将所述经增强的整张样本图像作为经增强的目标图像;或者,
对所述经增强的整张样本图像进行目标检测,并提取目标成分所在区域的所述样本图像的一部分作为经增强的目标图像。
5.如权利要求1所述的方法,其特征在于,其中采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤包括:
对整张样本图像进行目标检测,并提取目标成分所在区域的所述样本图像的一部分作为目标图像;
采用所述经训练的神经网络对所述目标图像进行增强以得到经增强的目标图像。
6.如权利要求5所述的方法,其特征在于,其中采用所述经训练的神经网络对所述目标图像进行增强以得到经增强的目标图像的步骤包括:
采用所述经训练的神经网络从所述目标图像的图像数据中提取图像特征;
采用所述经训练的神经网络对所提取的图像特征进行非线性映射处理;以及
采用所述经训练的神经网络对处理后的图像特征进行图像重建,以得到所述经增强的目标图像。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:根据所述检测参数确定所述待测样本是否需要进行样本图像的拍摄,
若是,则执行所述将所述待测样本运送至所述样本分析系统中的涂片制备装置的步骤;
若否,则不执行所述将所述待测样本运送至所述样本分析系统中的涂片制备装置的步骤。
8.如权利要求1-7中任一项所述的方法,其特征在于,所述经训练的神经网络为深度神经网络;所述成像装置拍摄得到的样本图像包括低质量图像;
所述方法还包括:针对多个低质量类型的低质量图像,将多个神经网络分别训练为增强所述多个低质量类型中对应一低质量类型的低质量图像的神经网络。
9.如权利要求8所述的方法,其特征在于,其中所述采用所述经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤还包括:
识别所述样本图像的低质量类型,并根据所述低质量图像的低质量类型,采用针对所述低质量类型的低质量图像的经训练的神经网络来处理所述样本图像。
10.一种用于图像分析系统处理样本图像的方法,其特征在于,所述方法包括:
使承载有待测样本的样本载体与所述图像分析系统中的成像装置相对移动,以使所述样本载体位于所述成像装置的视野区内;
由所述成像装置拍摄视野区内所述样本载体上的特定区域,以得到样本图像;
由所述图像分析系统中的图像分析装置采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像。
11.如权利要求10所述的方法,其特征在于,其中采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤包括:
采用所述经训练的神经网络对整张样本图像进行增强以得到经增强的整张样本图像。
12.如权利要求11所述的方法,其特征在于,其中采用所述经训练的神经网络对整张样本图像进行增强以得到经增强的整张样本图像的步骤包括:
采用所述经训练的神经网络从所述整张样本图像的图像数据中提取图像特征;
采用所述经训练的神经网络对所提取的图像特征进行非线性映射处理;以及
采用所述经训练的神经网络根据处理后的图像特征进行图像重建,以得到经增强的整张样本图像。
13.如权利要求11所述的方法,其特征在于,还包括:
将所述经增强的整张样本图像作为经增强的目标图像;或者,
对所述经增强的整张样本图像进行目标检测,并提取目标成分所在区域的所述样本图像的一部分作为经增强的目标图像。
14.如权利要求10所述的方法,其特征在于,其中采用经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤包括:
对整张样本图像进行目标检测,并提取目标成分所在区域的所述样本图像的一部分作为目标图像;
采用所述经训练的神经网络对所述目标图像进行增强以得到经增强的目标图像。
15.如权利要求14所述的方法,其特征在于,其中采用所述经训练的神经网络对所述目标图像进行增强以得到经增强的目标图像的步骤包括:
采用所述经训练的神经网络从所述目标图像的图像数据中提取图像特征;
采用所述经训练的神经网络对所提取的图像特征进行非线性映射处理;以及
采用所述经训练的神经网络对处理后的图像特征进行图像重建,以得到所述经增强的目标图像。
16.如权利要求10-15中任一项所述的方法,其特征在于,所述经训练的神经网络为深度神经网络;所述成像装置拍摄得到的样本图像包括低质量图像;所述经增强的目标图像包括高质量图像;
所述低质量图像的低质量类型包括曝光不足、图像模糊和分辨率低中的至少之一;所述高质量图像包括曝光充足、图像清晰或分辨率高的图像。
17.如权利要求16所述的方法,其特征在于,所述方法还包括:针对多个低质量类型的低质量图像,将多个神经网络分别训练为增强所述多个低质量类型中对应一低质量类型的低质量图像的神经网络。
18.如权利要求17所述的方法,其特征在于,其中所述采用所述经训练的神经网络对所述样本图像进行处理以得到经增强的目标图像的步骤还包括:
识别所述样本图像的低质量类型,并根据所述低质量图像的低质量类型,采用针对所述低质量类型的低质量图像的经训练的神经网络来处理所述样本图像。
19.如权利要求10所述的方法,其特征在于,所述待测样本包括血液或尿液;所述样本载体包括样本涂片或计数池。
20.一种样本分析系统,其特征在于,所述样本分析系统包括:
血液分析仪,用于对待测样本进行检测,以得到所述待测样本的各种检测参数;
涂片制备装置,用于基于所述待测样本制备得到血涂片;
图像分析系统,包括成像装置、涂片保持装置和图像分析装置,其中,
所述涂片保持装置用于使所述血涂片与所述成像装置相对移动,以使所述血涂片位于所述成像装置的视野区内;
所述成像装置用于拍摄视野区内所述血涂片上的特定区域,以得到样本图像;
所述图像分析装置用于采用经训练的神经网络执行如权利要求1-9中任一项所述的方法。
21.一种图像分析系统,其特征在于,所述图像分析系统包括成像装置、载体保持装置和图像分析装置,其中,
所述载体保持装置用于使承载有待测样本的样本载体与所述成像装置相对移动,以使所述样本载体位于所述成像装置的视野区内;
所述成像装置用于拍摄视野区内所述样本载体上的特定区域,以得到样本图像;
所述图像分析装置用于采用经训练的神经网络执行如权利要求10-19中任一项所述的方法。
22.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序在被一个或更多个处理器执行时,使得能够执行如权利要求1-19中任一项所述的方法。
23.一种神经网络,其特征在于,所述神经网络被训练为能够由图像分析装置使用,以执行如权利要求1-19中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010917861.1A CN112213503A (zh) | 2020-09-03 | 2020-09-03 | 样本分析系统、图像分析系统及其处理样本图像的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010917861.1A CN112213503A (zh) | 2020-09-03 | 2020-09-03 | 样本分析系统、图像分析系统及其处理样本图像的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112213503A true CN112213503A (zh) | 2021-01-12 |
Family
ID=74050265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010917861.1A Pending CN112213503A (zh) | 2020-09-03 | 2020-09-03 | 样本分析系统、图像分析系统及其处理样本图像的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112213503A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114236140A (zh) * | 2021-12-27 | 2022-03-25 | 江苏贝索生物工程有限公司 | 基于试管法的血型智能判读方法 |
CN116152216A (zh) * | 2023-03-03 | 2023-05-23 | 北京理工大学 | 基于神经网络的防护材料疲劳样本制备方法及设备 |
-
2020
- 2020-09-03 CN CN202010917861.1A patent/CN112213503A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114236140A (zh) * | 2021-12-27 | 2022-03-25 | 江苏贝索生物工程有限公司 | 基于试管法的血型智能判读方法 |
CN116152216A (zh) * | 2023-03-03 | 2023-05-23 | 北京理工大学 | 基于神经网络的防护材料疲劳样本制备方法及设备 |
CN116152216B (zh) * | 2023-03-03 | 2023-08-25 | 北京理工大学 | 基于神经网络的防护材料疲劳样本制备方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11803968B2 (en) | Automated stereology for determining tissue characteristics | |
US9684960B2 (en) | Automated histological diagnosis of bacterial infection using image analysis | |
Hore et al. | Finding contours of hippocampus brain cell using microscopic image analysis | |
WO2008005426A2 (en) | Computer-aided pathological diagnosis system | |
US20110286654A1 (en) | Segmentation of Biological Image Data | |
JP2023512560A (ja) | 機械学習アルゴリズムを訓練し、患者のプライバシーを維持するための連合学習システム | |
López et al. | Digital image analysis in breast cancer: an example of an automated methodology and the effects of image compression | |
WO2021109152A1 (zh) | 样本分析系统及方法、细胞图像分析仪及存储介质 | |
CN112213503A (zh) | 样本分析系统、图像分析系统及其处理样本图像的方法 | |
WO2022246294A1 (en) | Automated segmentation of artifacts in histopathology images | |
Rachna et al. | Detection of Tuberculosis bacilli using image processing techniques | |
Kanwal et al. | Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images | |
KR102624956B1 (ko) | 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법 | |
CN112001315A (zh) | 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法 | |
US20210264130A1 (en) | Method and apparatus for training a neural network classifier to classify an image depicting one or more objects of a biological sample | |
Korzyńska et al. | The method of immunohistochemical images standardization | |
WO2023031622A1 (en) | System and method for identifying and counting biological species | |
Li et al. | A recognition method of urine cast based on deep learning | |
US20220260825A1 (en) | Scanning/pre-scanning quality control of slides | |
Le et al. | An automated framework for counting lymphocytes from microscopic images | |
Setiawan et al. | Detection of Mycobacterium Tuberculosis Using Residual Neural Network | |
CN112712031B (zh) | 一种病毒颗粒的识别方法及装置 | |
Zhou et al. | MDD-Net: A novel defect detection model of material microscope image | |
Li et al. | Multi-class analysis of urinary particles based on deep learning | |
KR20220082277A (ko) | 골수가 도말된 슬라이드 샘플 이미지의 셀 존 결정 방법 및 셀 존의 고배율 촬상 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |