CN113689456B - 基于深度学习的外泌体粒径分析装置及方法 - Google Patents
基于深度学习的外泌体粒径分析装置及方法 Download PDFInfo
- Publication number
- CN113689456B CN113689456B CN202110948240.4A CN202110948240A CN113689456B CN 113689456 B CN113689456 B CN 113689456B CN 202110948240 A CN202110948240 A CN 202110948240A CN 113689456 B CN113689456 B CN 113689456B
- Authority
- CN
- China
- Prior art keywords
- exosome
- particles
- particle size
- particle
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001808 exosome Anatomy 0.000 title claims abstract description 203
- 238000013135 deep learning Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003921 particle size analysis Methods 0.000 title claims abstract description 37
- 239000002245 particle Substances 0.000 claims abstract description 228
- 230000005653 Brownian motion process Effects 0.000 claims abstract description 50
- 238000005537 brownian motion Methods 0.000 claims abstract description 50
- 230000005284 excitation Effects 0.000 claims abstract description 50
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 43
- 238000005286 illumination Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 29
- 239000002105 nanoparticle Substances 0.000 claims description 27
- 238000004088 simulation Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000009792 diffusion process Methods 0.000 claims description 13
- 239000011521 glass Substances 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000007493 shaping process Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 238000001341 grazing-angle X-ray diffraction Methods 0.000 claims description 2
- 239000011324 bead Substances 0.000 abstract description 9
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 239000002699 waste material Substances 0.000 abstract description 3
- 230000001976 improved effect Effects 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 60
- 210000004027 cell Anatomy 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 10
- 239000004793 Polystyrene Substances 0.000 description 9
- 201000007270 liver cancer Diseases 0.000 description 9
- 208000014018 liver neoplasm Diseases 0.000 description 9
- 229920002223 polystyrene Polymers 0.000 description 9
- 238000013136 deep learning model Methods 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000004005 microsphere Substances 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 238000012864 cross contamination Methods 0.000 description 4
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 4
- 210000005229 liver cell Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 238000005235 decoking Methods 0.000 description 3
- 238000002296 dynamic light scattering Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 239000006228 supernatant Substances 0.000 description 3
- 210000004881 tumor cell Anatomy 0.000 description 3
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 239000008187 granular material Substances 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 239000002502 liposome Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002077 nanosphere Substances 0.000 description 2
- 102000039446 nucleic acids Human genes 0.000 description 2
- 108020004707 nucleic acids Proteins 0.000 description 2
- 150000007523 nucleic acids Chemical class 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000001542 size-exclusion chromatography Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 206010003445 Ascites Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 238000004630 atomic force microscopy Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000975 bioactive effect Effects 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 230000008568 cell cell communication Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000007865 diluting Methods 0.000 description 1
- 210000002257 embryonic structure Anatomy 0.000 description 1
- 210000002950 fibroblast Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003494 hepatocyte Anatomy 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 238000011430 maximum method Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000009304 pastoral farming Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 239000012488 sample solution Substances 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004627 transmission electron microscopy Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 229910021642 ultra pure water Inorganic materials 0.000 description 1
- 238000000108 ultra-filtration Methods 0.000 description 1
- 239000012498 ultrapure water Substances 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 210000003556 vascular endothelial cell Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N15/0211—Investigating a scatter or diffraction pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Chemical & Material Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Analytical Chemistry (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Dispersion Chemistry (AREA)
- Biomedical Technology (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明提供基于深度学习的外泌体粒径分析装置及方法,属于外泌体检测识别设备技术领域,包括:激发模块对激光进行整形,形成射入待检测外泌体样本的激发光片;检测模块将激发光片透射过待检测外泌体样本,形成外泌体侧向散射光;采集模块获取外泌体布朗运动的视频;分析模块结合所述视频,利用深度学习算法进行外泌体颗粒的定位,获取外泌体颗粒运动轨迹,计算颗粒的粒径。本发明避免了背景干扰和杂散光影响,具有较好的信噪比;成本低,避免了交叉污染问题和样品浪费;不会导致颗粒尺寸过分高估;不需要标记大尺寸磁珠,简化了标记步骤和成本;提高了颗粒定位精度,无需进行连续的参数调整,减少了主观因素的影响,保证了结果的鲁棒性和适用性。
Description
技术领域
本发明涉及外泌体检测识别设备技术领域,具体涉及一种基于深度学习的外泌体粒径分析装置及方法。
背景技术
外泌体是含有蛋白质和核酸的囊泡,大小在40-200nm之间,其可由多种细胞类型和细胞系分泌,如肿瘤细胞、干细胞和神经细胞等,广泛存在于大多数如血液、尿液、腹水等体液环境中。
外泌体在各种生物过程中起到重要作用,其含的有蛋白质,脂质,核酸和糖等生物活性分子在转移到受体细胞时具有相应的功能,起着细胞与细胞间通讯的重要作用,能够与相邻细胞相互作用或进入循环调节远处细胞。肿瘤细胞来源的外泌体可以通过与成纤维细胞、正常细胞、免疫细胞、肿瘤细胞、血管内皮细胞等细胞进行相互作用来达到调节肿瘤微环境、促进肿瘤生长;诱使肿瘤位置及转移地区的血管生成;诱导肿瘤转移,增加肿瘤侵袭性;提高肿瘤对放射和化学疗法的耐受性的目的;外泌体参与了肝癌的进展,可能是肝癌的内在标志物。
透射电子显微镜和原子力显微镜可以有效观察单个高分辨率外泌体。但是,这些方法缺乏统计结果,操作复杂,仪器和测量价格高。动态光散射和纳米颗粒跟踪分析技术是外泌体统计分析最常用的技术,但它们需要昂贵的专业设备和经验丰富的专业人员。传统流式细胞仪对光散射的最低检测限为200~500nm,改造后的最低检测限可低至100nm。使用流式细胞术检测外泌体的常用方法是在外泌体上标记较大尺寸的磁珠,不仅标记磁珠步骤复杂繁琐,而且标记所用试剂的成本也较高。
由于纳米颗粒布朗运动特性,很多时候外泌体分析离不开纳米颗粒跟踪技术,而纳米粒子跟踪的另一个关键问题是粒子的定位。由于成像质量的影响,纳米颗粒可能会形成复杂的图像,不利于精确定位。传统的定位方法主要依赖像素强度分布信息,如最大值法和径向对称中心法。这些方法的主观性等局限性阻碍了它们在纳米颗粒跟踪复杂场景中的应用。此外,传统方法在使用过程中还需要不断调整参数。特别是在复杂的场景中,参数的调整具有很强的主观性,会导致不同的结果。
发明内容
本发明的目的在于提供一种可实现纳米颗粒的尺寸识别的基于深度学习的外泌体粒径分析装置及方法,以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的,本发明采取了如下技术方案:
一方面,本发明提供一种基于深度学习的外泌体粒径分析装置,包括:
激发模块,用于对激光进行整形,形成射入待检测外泌体样本的激发光片;
检测模块,用于将激发光片透射过待检测外泌体样本,形成外泌体侧向散射光;
采集模块,用于获取外泌体布朗运动的视频;
分析模块,用于结合所述图像,进行外泌体颗粒的定位,获取外泌体颗粒运动轨迹,计算颗粒的粒径。
优选的,所述分析模块包括定位单元、追踪单元以及计算单元;
所述定位单元,用于利用训练好的深度学习网络,对所述图像进行处理,获取外泌体颗粒的定位信息;其中,所述训练好的深度学习网络由训练集训练得到,所述训练集包括多个外泌体模拟图像以及用于标注图像中外泌体颗粒中心区域位置的金标注;
所述追踪单元,用于根据获取的每帧图像的颗粒定位信息,逐帧进行颗粒追踪,获取外泌体颗粒的布朗运动轨迹;
所述计算单元,用于根据外泌体颗粒的布朗运动轨迹,计算每个颗粒的均方位移,获取扩散系数,利用斯托克斯爱因斯坦方程计算得到每个颗粒的粒径。
优选的,利用点扩散函数实现对纳米颗粒散射图像的模拟,用来生成训练集。
优选的,配置基础神经网络,利用训练集训练所述基础神经网络,对外泌体颗粒中心区域进行分割,达到颗粒定位的目的,得到训练好的深度学习网络。
优选的,所述激发模块,包括激光光源、滤光片、柱面透镜和照明物镜;激光光源发射高斯光束,经过滤光片调整光强后,投射到柱面透镜,从柱面透镜出射后投射到照明物镜中,由照明物镜射出激发光片。
优选的,所述检测模块,由玻片制作而成,形成有外泌体样本腔室,激发光片贯穿并照亮样本腔室中的外泌体样本,形成外泌体侧向散射光。
优选的,所述采集模块包括成像物镜、镜筒透镜和CMOS探测器;成像物镜被放置在与激光传播方向垂直的位置用来收集外泌体侧向散射光,通过CMOS探测器记录外泌体布朗运动的运动视频图像数据。
优选的,所述的基础神经网络采用端到端的U-net网络。
优选的,采用基于夫琅禾费衍射的点扩散函数模型作为基础,图像生成参数由以下公式决定:
其中,(x,y)是图像像素坐标索引,即每个颗粒出现在图像中的位置坐标;A为强度系数,用于模拟不同散射光强度和不同相机参数下的纳米颗粒图像;P为点扩散函数模型;N是一幅图像中外泌体颗粒的数量;(xn,yn)是第n个粒子的位置坐标;zn表示点扩散函数在z轴上的位置,决定了图像中粒子的外观;G为图片中随机加入的高斯噪声。
第二方面,本发明提供一种利用如上所述的基于深度学习的外泌体粒径分析装置进行外泌体粒径计算的方法,包括:
对激光进行整形,形成射入待检测外泌体样本的激发光片;
将激发光片透射过待检测外泌体样本,形成外泌体侧向散射光;
基于侧向散射光,获取外泌体布朗运动的视频;
结合所述图像,进行外泌体颗粒的定位,获取外泌体颗粒运动轨迹,计算颗粒的粒径;其中,
利用训练好的深度学习网络,对所述图像进行处理,获取外泌体颗粒的定位信息;其中,所述训练好的深度学习网络由训练集训练得到,所述训练集包括多个外泌体模拟图像以及用于标注图像中外泌体颗粒中心区域位置的金标注;
根据获取的每帧图像的颗粒定位信息,逐帧进行颗粒追踪,获取外泌体颗粒的布朗运动轨迹;
根据外泌体颗粒的布朗运动轨迹,计算每个颗粒的均方位移,获取扩散系数,利用斯托克斯爱因斯坦方程计算得到每个颗粒的粒径。
本发明有益效果:
采用光片激发照明方式,限制了激发区域,避免大量激发焦平面外的颗粒引起的背景干扰,同时能够更容易耦合进样品芯片,避免杂散光影响,具有较好的信噪比;
采用自制的样本芯片作为检测腔室,普通薄玻璃片即可作为原材料,相比于微加工技术制造的芯片,成本低廉可忽略,可作为一次性芯片使用,避免交叉污染问题,样品腔室体积约只有50微升,能够有效减少样品使用,避免样品浪费;
与动态光散射相比,由于是对单颗粒进行跟踪,故不受少量大颗粒杂质的影响,不会导致颗粒尺寸被过分高估;
采用无标记模式,采集颗粒侧向散射光,检测限足够低,不需要像传统流式细胞仪检测外泌体那样需要标记大尺寸磁珠,简化了标记步骤和成本;
颗粒定位采用深度学习算法,提高了颗粒定位精度,不需要进行连续的参数调整,减少了主观因素的影响,保证了结果的鲁棒性和适用性;
适用于其他与外泌体尺寸相近的生物物质及其他颗粒的分析如脂质体、蛋白质聚集体等,具备普遍推广性。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的外泌体粒径分析装置结构原理图;
图2为本发明实施例所述的采集的不同尺寸聚苯乙烯纳米小球视频截图;
图3为本发明实施例所述的基于深度学习的纳米颗粒定位流程示意图;
图4本发明实施例所述的用于深度学习训练的模拟图像与实验图像对比示意图;
图5为本发明实施例所述的41nm与120nm聚苯乙烯小球分析结果图;
图6为本发明实施例所述的人肝癌细胞系外泌体与正常肝细胞系外泌体视频截图以及分析结果图。
其中:1-激光光源;2-滤光片;3-柱面透镜;4-照明物镜;5-样本芯片;6-成像物镜;7-镜筒透镜;8-CMOS探测器;9-计算机分析模块。
具体实施方式
下面详细叙述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本说明书的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本说明书的描述中,术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本技术和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本技术的限制。
除非另有明确的固定和限定,术语“安装”、“相连”、“连接”、“设置”应做广义理解,例如,可以是固定相连、设置,也可以是可拆卸连接、设置,或一体地连接、设置。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本技术中的具体含义。
为便于理解本发明,下面结合附图以具体实施例对本发明作进一步解释说明,且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解,附图只是实施例的示意图,附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1中,提供一种基于深度学习的外泌体粒径分析装置,该装置包括:
激发模块,用于对激光进行整形,形成射入待检测外泌体样本的激发光片;
检测模块,用于将激发光片透射过待检测外泌体样本,形成外泌体侧向散射光;
采集模块,用于获取外泌体布朗运动的视频;
分析模块,用于结合所述图像,进行外泌体颗粒的定位,获取外泌体颗粒运动轨迹,计算颗粒的粒径。
所述分析模块包括定位单元、追踪单元以及计算单元;
所述定位单元,用于利用训练好的深度学习网络,对所述图像进行处理,获取外泌体颗粒的定位信息;其中,所述训练好的深度学习网络由训练集训练得到,所述训练集包括多个外泌体模拟图像以及用于标注图像中外泌体颗粒中心区域位置的金标注;
所述追踪单元,用于根据获取的每帧图像的颗粒定位信息,逐帧进行颗粒追踪,获取外泌体颗粒的布朗运动轨迹;
所述计算单元,用于根据外泌体颗粒的布朗运动轨迹,计算每个颗粒的均方位移,获取扩散系数,利用斯托克斯爱因斯坦方程计算得到每个颗粒的粒径。
利用点扩散函数实现对纳米颗粒散射图像的模拟,用来生成训练集。
配置基础神经网络,利用训练集训练所述基础神经网络,对外泌体颗粒中心区域进行分割,达到颗粒定位的目的,得到训练好的深度学习网络。
如图1所示,所述激发模块,包括激光光源1、滤光片2、柱面透镜3和照明物镜4;激光光源1发射高斯光束,经过滤光片调整光强后,投射到柱面透镜3,从柱面透镜3出射后投射到照明物镜4中,由照明物镜4出激发光片。
所述检测模块,由玻片制作而成,形成有外泌体样本芯片5,激发光片贯穿并照亮样本芯片5中的外泌体样本,形成外泌体侧向散射光。
所述采集模块包括成像物镜6和CMOS探测器8;成像物镜6和CMOS探测器8之间设镜筒透镜7,成像物镜6被放置在与激光传播方向垂直的位置用来收集外泌体侧向散射光,通过CMOS探测器8记录外泌体布朗运动的运动视频图像数据。
本实施例1中,所述的基础神经网络为采用端到端的U-net网络。
采用基于夫琅禾费衍射的点扩散函数模型作为基础,图像生成参数由以下公式决定:
其中,(x,y)是图像像素坐标索引,即每个颗粒出现在图像中的位置;A为强度系数,用于模拟不同散射光强度和不同相机参数下的纳米颗粒图像;P为点扩散函数模型;N是一幅图像中外泌体颗粒的数量;(xn,yn)是第n个粒子的位置坐标;zn表示点扩散函数在z轴上的位置,决定了图像中粒子的外观;G为图片中随机加入的高斯噪声。
本实施例1中,利用上述的基于深度学习的外泌体粒径分析装置进行外泌体粒径计算的方法,包括:
对激光进行整形,形成射入待检测外泌体样本的激发光片;
将激发光片透射过待检测外泌体样本,形成外泌体侧向散射光;
基于侧向散射光,获取外泌体布朗运动的图像;
将获取的图像输入计算机分析模块9中,结合所述图像,进行外泌体颗粒的定位,获取外泌体颗粒运动轨迹,计算颗粒的粒径;其中,
利用训练好的深度学习网络,对所述图像进行处理,获取外泌体颗粒的定位信息;其中,所述训练好的深度学习网络由训练集训练得到,所述训练集包括多个外泌体模拟图像以及用于标注图像中外泌体颗粒中心区域位置的金标注;
根据获取的每帧图像的颗粒定位信息,逐帧进行颗粒追踪,获取外泌体颗粒的布朗运动轨迹;
根据外泌体颗粒的布朗运动轨迹,计算每个颗粒的均方位移,获取扩散系数,利用斯托克斯爱因斯坦方程计算得到每个颗粒的粒径。
本实施例1中,采用深度学习方法进行颗粒定位,利用点扩散函数对复杂状态下的颗粒图像进行模拟训练,能够适应噪声环境及去焦状态下纳米颗粒定位,相比于传统定位方法具有较高鲁棒性和准确定。光片照明激发技术可以有效限制激发区域,抑制背景噪声,提高图像信噪比。自制样本芯片能够与光片照明光束更好耦合,进一步减少杂散光对图像的影响,成本低廉可作为一次性使用模块避免交叉污染。可实现小至直径41nm的颗粒观测,满足外泌体测量所需尺寸范围并能够有效实现对肝癌细胞系及正常肝细胞系外泌体的测量分析比较。
实施例2
本实施例2中,提供一种基于深度学习的外泌体粒径分析装置及方法。将激光光束整形成光片,采用光片照明技术作为激发方式激发溶液中的外泌体颗粒,获得外泌体的低背景噪声的布朗运动视频,之后将视频应用于外泌体粒径分析。在分析步骤中,首先利用点扩散函数模拟颗粒散射图像,并将其作为训练集训练深度学习网络进行颗粒定位。定位后对外泌体布朗运动进行追踪,利用斯托克斯爱因斯坦关系获得外泌体粒径分布。
本实施例2中,基于深度学习的外泌体粒径分析装置,包括对激光进行整形的光片激发模块(即激发模块)、用来进行外泌体检测的样本芯片模块(检测模块),外泌体布朗运动视频采集模块(采集模块),基于深度学习的外泌体颗粒定位及粒径分析模块(即分析模块)。
本实施例2中,所述光片激发模块,包括激光光源1、中性密度片(滤光片2)、柱面透镜3和照明物镜4。激光光源1发射高斯光束,经过中性密度片调整到合适的光强,投射到柱面透镜3,从柱面透镜3出射后投射到照明物镜4中,由照明物镜4射出厚度十几微米的光片。
所述样本芯片模块,主要是用来作为外泌体检测单元。样本芯片由普通薄玻片制作而成。形成一段窄长的外泌体样本通道(即样本芯片5),保证光片无阻碍的贯穿并照亮外泌体样本,减少由玻璃片反射形成的杂散光。
所述外泌体布朗运动视频采集模块包括显微物镜(成像物镜6)和CMOS探测器8。显微物镜被放置在与激光传播方向垂直的位置用来收集外泌体侧向散射光。为保证外泌体颗粒定位准确性,采集时应尽可能保证处在聚焦模式下,通过CMOS探测器8记录外泌体布朗运动的运动视频用于后期数据分析。
所述基于深度学习的外泌体颗粒定位及粒径分析模块包括深度学习颗粒定位(定位单元)、颗粒追踪(追踪单元)及粒径计算(计算单元)。
本实施例2中,所述深度学习颗粒定位模块,将采集的实验视频拆帧为图像输入训练好的深度学习模型,输出为颗粒中心区域达到定位目的。所述颗粒追踪及粒径计算模块,在获取每帧图像颗粒定位后,逐帧进行颗粒追踪,获取颗粒布朗运动轨迹。在获取轨迹后计算每个颗粒的均方位移从而获取扩散系数,最后利用斯托克斯爱因斯坦方程计算得到每个颗粒的粒径。对粒径进行统计,获取外泌体样本的粒径分布图。
本实施例2中,采用点扩散函数纳米颗粒图像模拟模块,利用点扩散函数实现对纳米颗粒散射图像的模拟,用来生成深度学习训练集;深度学习模型训练时,利用模拟图像生成的训练集和金标准训练深度学习模型,对纳米颗粒中心区域进行分割,达到颗粒定位的目的,得到训练好的深度学习模型。
本实施例2中,利用上述的基于深度学习的外泌体粒径分析装置进行粒径计算的方法,包括以下步骤:
(1)搭建激发光路。启动激光器,确保激光光束依次经过中性密度片、柱面透镜、照明物镜。保证光束水平传播且处于光学镜片光轴位置。
(2)制作样本芯片,选用两片载玻片作为芯片左右垫片。上下表面选用常规盖玻片。之后在芯片腔室前端用盖玻片厚度的玻片进行密封,形成光束进入口;
(3)将待测样本稀释至合适浓度后用针管注入芯片内部将芯片放至激光光片束腰位置。确保激光顺芯片样本通道方向入射;
(4)照明光片激发样本芯片中的待测样本,来自单个颗粒或外泌体的散射光射入成像物镜,调整物镜使颗粒尽可能处于聚焦位置,触发CMOS探测器记录该样本的布朗运动视频;
(5)将CMOS探测器捕获的外泌体布朗运动视频输入至深度学习分析系统进行颗粒定位及粒径分析。
所述步骤(5)中,包括利用点扩散函数模拟颗粒图像构建深度学习训练集;配置深度学习网络,调整超参数训练深度学习网络;利用训练好的深度学习网络模型定位实验图像中外泌体颗粒中心;确定中心后对颗粒进行轨迹追踪,获取颗粒均方位移后计算颗粒粒径,统计粒径分布规律。
实施例3
本实施例3中,提供一种基于深度学习的外泌体粒径分析装置及方法,采用深度学习方法进行颗粒定位,利用点扩散函数对复杂状态下的颗粒图像进行模拟训练,能够适应噪声环境及去焦状态下纳米颗粒定位,相比于传统定位方法具有较高鲁棒性和准确性。光片照明激发技术可以有效限制激发区域,抑制背景噪声,提高图像信噪比。自制样本芯片能够与光片照明光束更好耦合,进一步减少杂散光对图像的影响,成本低廉可作为一次性使用模块避免交叉污染。本发明可实现小至直径41nm的颗粒观测,满足外泌体测量所需尺寸范围并能够有效实现对肝癌细胞系及正常肝细胞系外泌体的测量分析比较。
本实施例3中,基于深度学习的外泌体粒径分析装置,包括对激光进行整形的光片激发模块、用来进行外泌体检测的样本芯片模块,外泌体布朗运动视频采集模块,基于深度学习的外泌体颗粒定位及粒径分析模块。
光片激发模块将激光束整形为光片耦合进自制样本芯片激发待测样本溶液。外泌体布朗运动视频采集模块利用CMOS采集外泌体布朗运动视频进行下一步数据分析。
在深度学习的外泌体颗粒定位及粒径分析模块,首先利用点扩散函数对外泌体图像进行模拟产生训练集,利用训练集训练深度学习模型使之自动实现纳米颗粒定位。在定位完成后对颗粒进行轨迹追踪,获取颗粒均方位移后计算颗粒粒径,统计粒径分布规律。
本实施例3中,光片激发模块包括激光光源,中性密度片、柱面透镜以及照明物镜。激光光源发射波长532nm绿光,激光光束直径为1.052mm的高斯光束。中性密度片对激光功率进行衰减,衰减至40mW左右以保证实验进行。柱面透镜是实现光束整形的关键结构,柱面透镜在一个维度对光束进行聚焦形成光片,将柱面透镜聚焦至照明物镜后焦平面。照明物镜可进一步压缩光束形成更薄更窄的光片形状。激光光源所选类型是二极管半导体固体激光器。
样本芯片模块用于耦合激发光源,提供样品检测腔室。样本芯片由两片0.17mm厚的玻璃薄片和两片1mm厚的玻璃薄片组合而成,其中,两片1mm厚的玻璃薄片作为样本芯片中间垫片,形成高1mm、宽2mm的样品腔室。两片0.17mm厚的玻璃薄片作为样品腔室上下表面。腔室一端用0.17mm玻璃薄片密封作为光片照明光源入口。腔室走向与激光传播方向相同,能够保证在较长距离内不会阻碍激光传播。
外泌体布朗运动视频采集模块包括显微物镜(成像物镜6)、tube lens(镜筒透镜7)、CMOS探测器8。在图像采集时调整物镜位置使之尽可能处于聚焦状态,通过CMOS探测器记录外泌体样本布朗运动清晰视频。
基于深度学习的外泌体颗粒定位及粒径分析模块主要包括:定位单元,利用训练好的深度学习网络模型定位实验图像中外泌体颗粒中心;追踪单元,确定中心后对颗粒进行轨迹追踪;计算单元,用于根据外泌体颗粒的布朗运动轨迹,计算每个颗粒的均方位移,获取扩散系数,利用斯托克斯爱因斯坦方程计算得到每个颗粒的粒径。计算颗粒粒径后,统计粒径分布规律。其中,在颗粒图像模拟步骤,采用基于夫琅禾费衍射的点扩散函数模型作为基础,模拟图片大小设置为与实验图像相同的640X240像素。图像生成参数由以下公式决定:
其中,(x,y)是图像像素坐标索引,即每个颗粒出现在图像中的位置;A为强度系数,用于模拟不同散射光强度和不同相机参数下的纳米颗粒图像;P为点扩散函数模型;N是一幅图像中外泌体颗粒的数量;(xn,yn)是第n个粒子的位置坐标;zn表示点扩散函数在z轴上的位置,决定了图像中粒子的外观,聚焦状态下的点是清晰的点,远离焦点后点变得模糊或变成同心圆结构;G为图片中随机加入的高斯噪声。
训练集模拟好后,深度学习模型采用端到端的U-net网络进行训练。训练完成后U-net网络能够自动定位颗粒中心区域并进行分割。其中,利用点扩散函数模拟颗粒图像构建深度学习训练集;配置深度学习网络,调整超参数训练深度学习网络。
实施例4
本实施例4中,使用一种基于深度学习的外泌体粒径分析装置及方法,实现不同尺寸的聚苯乙烯纳米小球布朗运动视频获取。
本实施例4中,照明物镜选用10X物镜,成像物镜选用20X物镜进行实验。由于纳米颗粒光散射及其微弱,在较强背景噪声下很难观察到。采用光片照明与自制芯片相结合,将光片厚度调整至14μm,有效的限制了激发区域,避免了过多激发样本导致的背景噪声。同时由于激光在样品芯片中耦合良好,避免了杂散光导致的高背景噪声。
本实施例4中,利用外泌体粒径分析装置分别对直径41nm与120nm的聚苯乙烯小球进行散射成像并获取其布朗运动视频数据。
具体操作步骤:
(1)分别用超纯水配置41nm与120nm聚苯乙烯小球溶液于不同试管中;
(2)打开激光光源,校准光路,使激光保持平行且经过中心密度片、柱面透镜、照明物镜中心,调整中心密度片使激光功率衰减至40mW左右,调整柱面透镜及照明物镜位置,保证输出光片束腰位置处于成像物镜中心;
(3)分别将41nm与120nm聚苯乙烯小球溶液注入自制样本芯片中,将样本芯片放至激光光路,确保光片处于样本腔室中央,打开CMOS探测器,调整帧率至50Hz,调整样本芯片位置使小球处于聚焦状态,每种小球样本记录约30s布朗运动视频数据;
(4)将记录的布朗运动视频拆帧分析,结果如图2(a)与图2(b)所示,图2(a)为41nm小球图像,图2(b)为120nm小球图像,由图中可以看出,本系统可以清晰地记录低至直径41nm的纳米颗粒布朗运动视频数据。
实施例5
本实施例5中,使用一种基于深度学习的外泌体粒径分析装置及方法,实现深度学习颗粒中心定位并对41nm与120nm颗粒进行轨迹追踪,获取颗粒均方位移后计算颗粒粒径,统计粒径分布规律。
在本实例中深度学习算法采用U-net全卷积神经网络并经由MATLAB软件编程实现。为保证颗粒位置准确性,训练集采用模拟图像进行构建。采用基于夫琅和费衍射的点扩散函数作为颗粒图片构建基础。
具体操作步骤:
(1)利用基于夫琅禾费衍射的点扩散函数模型获取点扩散函数3维形貌,如图3中,(a)部分所示,其中z轴长度设置为35μm;
(2)依据设定的图像生成公式随机生成20000张尺寸为240X640的纳米颗粒图像。其中,强度系数设置为1-20之间的随机整数。纳米粒子的数量,N的范围设置为11-40。xn与yn是第n个粒子的位置坐标,每个粒子的位置在图片大小范围内随机确定。zn表示点扩散函数在z轴上的位置,同一张图片中,颗粒的z值在14μm范围内随机确定。G为图片中随机加入的高斯噪声,均值随机在0-0.5之间(区间为0.01),标准差随机在0-0.1之间(区间为0.001)。为保证训练集的多样性,每张模拟图像的参数在设定的范围内随机生成。生成的训练图像如图3中(b)部分所示;
(3)在生成模拟图像后,依照每张模拟图像中颗粒位置参数生成训练金标准图。金标准图是标记好每个颗粒中心位置的二值图像(如图3中(c)部分所示),其中以纳米颗粒坐标位置为中心,取边长为5像素的正方形区域作为感兴趣区域被标记为白色(图3中(d)部分所示)。其余地方为背景区域被标记为黑色。
(4)配置深度学习网络结构,在本实例中我们使用U-net网络深度学习模型,编码器深度为4(图3中(e)部分所示)。为了避免过拟合,每张训练图像只使用一次。
(5)保存训练后的U-net模型,将41nm与120nm聚苯乙烯小球实验视频拆帧成连续图像(图3中(f)部分所示),对图像进行进行灰度化处理后,输入到模型中,得到可能的粒子中心区域的概率图。本实施例中使用0.5作为阈值来处理概率图,得到粒子中心区域的二值图像(图3中(g)部分所示)。最后,以每个白色区域的重心作为颗粒中心点的坐标。
(6)获得颗粒中心定位之后,对每帧颗粒进行布朗运动路径追踪计算运动均方位移从而获得颗粒扩散系数,根据斯托克斯爱因斯坦方程可知,粒子的扩散系数与粒子直径有关,代入可计算出每个颗粒直径,最后统计颗粒粒径分布,做粒径分布图;
本实施例4中,模拟结果与实验结果对比如图4所示,图中虚线框对应的模拟图像,实线框对应的为实验采集图像。去焦状态由坐上到右下依次增大。由图中可以看出,无论是聚焦状态模拟颗粒图像还是去焦状态模拟颗粒图像均与实验图像高度一致。这也证明了本实施例中模拟图像公式与方法与本实验装置获得的图像相互匹配。同时也说明用模拟图像作为训练集具有较好的可行性。
本实施例4中,粒径分析结果如图5所示,其中,图5(a)为41nm聚苯乙烯小球粒径分析结果;图5(b)为120nm聚苯乙烯小球粒径分析结果。对两种纳米颗粒的粒径分析结果分别为44nm和120nm,与给出的TEM金标准(41nm和120nm)基本一致,保证了准确性和有效性。
实施例6
本实施例6中,使用一种基于深度学习的外泌体粒径分析装置及方法,对人体肝癌细胞外泌体和正常肝细胞外泌体进行检测和比较。
本实施例中,使用两种细胞系用于实验:(1)Hep G2,取自一名15岁男孩的肝癌组织;(2)CCC-HEL-1,来源于15周胚胎的肝组织。培养细胞系利用尺寸排阻色谱法提取细胞上清液中的外泌体。调整光路使激光光强至40mW左右,光片厚度14μm左右。每类细胞采集25段视频,每段视频时长一分钟,利用深度学习方法进行外泌体颗粒定位并计算粒径分布进行对比分析。
具体实现:
(1)分别提取培养好的Hep G2和CCC-HEL-1细胞的细胞上清液,在8000r/min转速下离心25min,取上清,用0.22μm滤膜过滤。过滤后转移至超滤管中,4000g离心25min,得到200μL浓缩溶液。随后采用尺寸排除色谱法从浓缩溶液中提取外泌体。
(2)用PBS缓冲液稀释提取到的外泌体溶液,随后注入样本芯片腔室,将样本芯片腔室放到检测位置。
(3)启动光路装置,在聚焦模式下,分别获得两类细胞系外泌体的布朗运动视频,如图6(a)、图6(b)所示。
(4)将采集到的视频拆帧成图片后输入训练好的深度学习模型,获得外泌体定位。
(5)进行布朗运动路径追踪计算运动均方位移从而获得颗粒扩散系数,根据斯托克斯爱因斯坦方程可知,粒子的扩散系数与粒子直径有关,代入可计算出每个颗粒直径,最后统计颗粒粒径分布,做粒径分布图。
实验结果如图6(c)所示,每类样本的粒径分布结果是5个独立批次的外泌体25个视频的平均结果。其中,实线为Hep G2肝癌细胞系外泌体粒径分布;虚线为CCC-HEL-1正常肝细胞系外泌体粒径分布。每个视频的持续时间为1分钟,帧率为50赫兹。从粒径分布的角度来看,两类细胞系外泌体样本90%以上的粒子分布在40-200nm之间,表明检测到的粒子是外泌体。此外,相比于肝癌细胞系外泌体,正常细胞系外泌体粒径相对偏大。说明了本方法能够有效检测细胞系外泌体。
本发明实施例中,所有数据的获取都在符合法律法规、用户同意的基础之上,对数据的合法应用。
综上所述,本发明实施例所述的基于深度学习的外泌体粒径分析装置及方法,将光束整形成光片,采用光片照明技术作为激发方式激发溶液中的外泌体颗粒,获得外泌体的低背景噪声的布朗运动视频,之后将视频应用于外泌体粒径分析。在分析步骤中,首先利用点扩散函数模拟颗粒散射图像,并将其作为训练集训练深度学习网络进行颗粒定位。定位后对外泌体布朗运动进行追踪,利用斯托克斯爱因斯坦关系获得外泌体粒径分布。
采用光片激发照明方式,限制了激发区域,避免大量激发焦平面外的颗粒引起的背景干扰,同时能够更容易耦合进样品芯片,避免杂散光影响,具有较好的信噪比;采用自制的样本芯片作为检测腔室,普通载玻片与盖玻片即可作为原材料,相比于微加工技术制造的芯片,成本低廉可忽略,可作为一次性芯片使用,避免交叉污染问题。样品腔室体积约只有50微升,能够有效减少样品使用,避免样品浪费;与动态光散射相比,由于是对单颗粒进行跟踪,故不受少量大颗粒杂质的影响,不会导致颗粒尺寸被过分高估;采用无标记模式,采集颗粒侧向散射光。检测限足够低,因此,不需要像传统流式细胞仪检测外泌体那样需要标记大尺寸磁珠,简化了标记步骤和成本;颗粒定位采用深度学习算法,深度学习具有很好的鲁棒性和适用性,并且能减少主观因素的影响且自动化;适用于其他与外泌体尺寸相近的生物物质及其他颗粒的分析如脂质体、蛋白质聚集体等,具备普遍推广性。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本发明公开的技术方案的基础上,本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形,都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的外泌体粒径分析装置,其特征在于,包括:
激发模块,用于对激光进行整形,形成射入待检测外泌体样本的激发光片;
检测模块,用于将激发光片透射过待检测外泌体样本,形成外泌体侧向散射光;
采集模块,用于获取外泌体布朗运动的视频;
分析模块,用于结合所述视频,进行外泌体颗粒的定位,获取外泌体颗粒运动轨迹,计算颗粒的粒径;
所述激发模块,包括激光光源(1)、滤光片(2)、柱面透镜(3)和照明物镜(4);激光光源(1)发射高斯光束,经过滤光片调整光强后,投射到柱面透镜(3),从柱面透镜(3)出射后投射到照明物镜(4)中,由照明物镜(4)射出激发光片;
所述分析模块包括定位单元、追踪单元以及计算单元;
所述定位单元,用于利用训练好的深度学习网络,对视频中的图像进行处理,获取外泌体颗粒的定位信息;其中,所述训练好的深度学习网络由训练集训练得到,所述训练集包括多个外泌体布朗运动的图像以及用于标注图像中外泌体颗粒中心区域位置的金标注;
所述追踪单元,用于根据获取的每帧图像的颗粒定位信息,逐帧进行颗粒追踪,获取外泌体颗粒的布朗运动轨迹;
所述计算单元,用于根据外泌体颗粒的布朗运动轨迹,计算每个颗粒的均方位移,获取扩散系数,利用斯托克斯爱因斯坦方程计算得到每个颗粒的粒径。
2.根据权利要求1所述的基于深度学习的外泌体粒径分析装置,其特征在于,利用点扩散函数实现对纳米颗粒散射图像的模拟,用来生成训练集。
3.根据权利要求2所述的基于深度学习的外泌体粒径分析装置,其特征在于,配置基础神经网络,利用训练集训练所述基础神经网络,对外泌体颗粒中心区域进行分割,达到颗粒定位的目的,得到训练好的深度学习网络。
4.根据权利要求1所述的基于深度学习的外泌体粒径分析装置,其特征在于,所述检测模块,由玻片制作而成,形成有外泌体样本腔室(5),激发光片贯穿并照亮样本腔室(5)中的外泌体样本,形成外泌体侧向散射光。
5.根据权利要求1所述的基于深度学习的外泌体粒径分析装置,其特征在于,所述采集模块包括成像物镜(6)和CMOS探测器(8);成像物镜(6)被放置在与激光传播方向垂直的位置用来收集外泌体侧向散射光,通过CMOS探测器(8)记录外泌体布朗运动的运动视频图像数据。
6.根据权利要求3所述的基于深度学习的外泌体粒径分析装置,其特征在于,所述的基础神经网络为采用端到端的U-net网络。
7.根据权利要求2所述的基于深度学习的外泌体粒径分析装置,其特征在于,采用基于夫琅禾费衍射的点扩散函数模型作为基础,图像生成参数由以下公式决定:
其中,(x,y)是图像像素坐标索引,即每个颗粒出现在图像中的位置;A为强度系数,用于模拟不同散射光强度和不同相机参数下的纳米颗粒图像;P为点扩散函数模型;N是一幅图像中外泌体颗粒的数量;(xn,yn)是第n个粒子的位置坐标;zn表示点扩散函数在z轴上的位置,决定了图像中粒子的外观;G为图片中随机加入的高斯噪声。
8.一种利用如权利要求1-7任一项所述的基于深度学习的外泌体粒径分析装置进行外泌体粒径计算的方法,其特征在于,包括:
对激光进行整形,形成射入待检测外泌体样本的激发光片;
将激发光片透射过待检测外泌体样本,形成外泌体侧向散射光;
基于侧向散射光,获取外泌体布朗运动的图像;
结合所述图像,进行外泌体颗粒的定位,获取外泌体颗粒运动轨迹,计算颗粒的粒径;
其中,包括激光光源(1)、滤光片(2)、柱面透镜(3)和照明物镜(4);激光光源(1)发射高斯光束,经过滤光片调整光强后,投射到柱面透镜(3),从柱面透镜(3)出射后投射到照明物镜(4)中,由照明物镜(4)射出激发光片;
其中,利用训练好的深度学习网络,对视频中的图像进行处理,获取外泌体颗粒的定位信息;其中,所述训练好的深度学习网络由训练集训练得到,所述训练集包括多个外泌体布朗运动的图像以及用于标注图像中外泌体颗粒中心区域位置的金标注;
根据获取的每帧图像的颗粒定位信息,逐帧进行颗粒追踪,获取外泌体颗粒的布朗运动轨迹;
根据外泌体颗粒的布朗运动轨迹,计算每个颗粒的均方位移,获取扩散系数,利用斯托克斯爱因斯坦方程计算得到每个颗粒的粒径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110948240.4A CN113689456B (zh) | 2021-08-18 | 2021-08-18 | 基于深度学习的外泌体粒径分析装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110948240.4A CN113689456B (zh) | 2021-08-18 | 2021-08-18 | 基于深度学习的外泌体粒径分析装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113689456A CN113689456A (zh) | 2021-11-23 |
CN113689456B true CN113689456B (zh) | 2023-07-25 |
Family
ID=78580823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110948240.4A Active CN113689456B (zh) | 2021-08-18 | 2021-08-18 | 基于深度学习的外泌体粒径分析装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113689456B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023140235A1 (ja) * | 2022-01-20 | 2023-07-27 | 株式会社堀場製作所 | 粒子径分布測定装置、粒子径分布測定方法、及び粒子径分布測定用プログラム |
CN114813518B (zh) * | 2022-02-17 | 2024-06-11 | 山东大学 | 一种基于单相机双模态成像的免标记流式检测装置及方法 |
CN116473512B (zh) * | 2023-03-22 | 2024-05-03 | 上海交通大学 | 一种动物循环系统中外泌体的监测装置及监测方法 |
CN117034110A (zh) * | 2023-08-08 | 2023-11-10 | 海南省细胞医疗科技有限公司 | 一种基于深度学习的干细胞外泌体检测方法 |
CN117253227B (zh) * | 2023-10-23 | 2024-06-18 | 深圳市茵冠生物科技有限公司 | 一种人工智能协同自动化设备的监控方法与系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109749990A (zh) * | 2017-11-06 | 2019-05-14 | 徐俊 | 人源脂肪干细胞外泌体及其制备方法和应用 |
CN110954703A (zh) * | 2019-12-27 | 2020-04-03 | 杭州迪相实业有限公司 | 一种同时检测外泌体内蛋白和rna、外泌体膜蛋白的方法 |
CN110969188A (zh) * | 2019-11-01 | 2020-04-07 | 上海市第六人民医院 | 一种基于深度学习的外泌体电镜图片判断系统及判断方法 |
CN111214458A (zh) * | 2020-02-27 | 2020-06-02 | 西安交通大学 | 一种姜黄衍生的类外泌体纳米颗粒及其制备方法 |
CN112001218A (zh) * | 2020-06-19 | 2020-11-27 | 中国科学院计算技术研究所 | 一种基于卷积神经网络的三维颗粒类别检测方法及系统 |
CN112699998A (zh) * | 2021-03-25 | 2021-04-23 | 北京瑞莱智慧科技有限公司 | 一种时间序列预测方法、装置、电子设备及可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10746730B2 (en) * | 2015-12-18 | 2020-08-18 | Universiteit Gent | Method and system for characterizing extracellular vesicles |
-
2021
- 2021-08-18 CN CN202110948240.4A patent/CN113689456B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109749990A (zh) * | 2017-11-06 | 2019-05-14 | 徐俊 | 人源脂肪干细胞外泌体及其制备方法和应用 |
CN110969188A (zh) * | 2019-11-01 | 2020-04-07 | 上海市第六人民医院 | 一种基于深度学习的外泌体电镜图片判断系统及判断方法 |
CN110954703A (zh) * | 2019-12-27 | 2020-04-03 | 杭州迪相实业有限公司 | 一种同时检测外泌体内蛋白和rna、外泌体膜蛋白的方法 |
CN111214458A (zh) * | 2020-02-27 | 2020-06-02 | 西安交通大学 | 一种姜黄衍生的类外泌体纳米颗粒及其制备方法 |
CN112001218A (zh) * | 2020-06-19 | 2020-11-27 | 中国科学院计算技术研究所 | 一种基于卷积神经网络的三维颗粒类别检测方法及系统 |
CN112699998A (zh) * | 2021-03-25 | 2021-04-23 | 北京瑞莱智慧科技有限公司 | 一种时间序列预测方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (2)
Title |
---|
Methods and Technologies for Exosome Isolation and Characterization;Mengdi Zhang 等;《Small Methods》;第1-10页 * |
血清中胎盘来源外泌体的分离与鉴定;李玉静 等;《医学研究生学报》;第28卷(第6期);第632-636页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113689456A (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113689456B (zh) | 基于深度学习的外泌体粒径分析装置及方法 | |
US8780181B2 (en) | Optical sectioning of a sample and detection of particles in a sample | |
CN107430052B (zh) | 成像粒子分析装置 | |
CN104136907B (zh) | 分析和分选流入对象 | |
JP5129347B2 (ja) | 液体試料中の粒子を分析するための方法及び装置 | |
US6836559B2 (en) | Automated video-microscopic imaging and data acquisition system for colloid deposition measurements | |
US7282180B2 (en) | Devices and methods to image objects | |
AU2007297473B2 (en) | Focal plane tracking for optical microtomography | |
US20060023219A1 (en) | Optical tomography of small objects using parallel ray illumination and post-specimen optical magnification | |
US8564764B2 (en) | Blood examination apparatus | |
CN109313352A (zh) | 样品的基于图像的分析 | |
JP2005524833A (ja) | 分析細胞イメージング用のデバイスおよび方法 | |
CN103238120A (zh) | 用于表征透明颗粒的光学方法 | |
JP2009537021A (ja) | 蛍光顕微鏡法におけるレーザー照射システム | |
US20220299421A1 (en) | Systems, devices and methods for three-dimensional imaging of moving particles | |
CN105181649B (zh) | 一种新型免标记模式识别细胞仪方法 | |
JP2017108738A (ja) | 細胞検出装置および細胞回収装置 | |
CN1502089A (zh) | 对象成像的设备和方法 | |
EP1656545B1 (en) | Devices and methods to image objects by time delay integration | |
US20120057019A1 (en) | Dynamic In-Situ Feature Imager Apparatus and Method | |
CN113959947A (zh) | 基于二维光散射的单颗粒多模态流式成像检测装置及方法 | |
CN114813518B (zh) | 一种基于单相机双模态成像的免标记流式检测装置及方法 | |
CN113340894B (zh) | 一种非透明微粒的检测方法 | |
WO2022054908A1 (ja) | イメージングフローサイトメーター | |
CN118032603A (zh) | 一种纳米颗粒浓度的测试方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |