CN113740235A - 神经形态计算驱动的图像流式细胞仪 - Google Patents
神经形态计算驱动的图像流式细胞仪 Download PDFInfo
- Publication number
- CN113740235A CN113740235A CN202111025982.6A CN202111025982A CN113740235A CN 113740235 A CN113740235 A CN 113740235A CN 202111025982 A CN202111025982 A CN 202111025982A CN 113740235 A CN113740235 A CN 113740235A
- Authority
- CN
- China
- Prior art keywords
- cell
- module
- neuromorphic
- algorithm
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 210000004027 cell Anatomy 0.000 claims description 68
- 238000000605 extraction Methods 0.000 claims description 18
- 210000003050 axon Anatomy 0.000 claims description 12
- 210000005036 nerve Anatomy 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 210000001787 dendrite Anatomy 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 210000005056 cell body Anatomy 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 4
- 230000003376 axonal effect Effects 0.000 claims description 3
- 230000005859 cell recognition Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000002073 fluorescence micrograph Methods 0.000 claims description 3
- 102000004169 proteins and genes Human genes 0.000 claims description 3
- 108090000623 proteins and genes Proteins 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 18
- 230000001272 neurogenic effect Effects 0.000 abstract 1
- 239000002245 particle Substances 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000000684 flow cytometry Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000005971 DNA damage repair Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004900 autophagic degradation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000022131 cell cycle Effects 0.000 description 1
- 230000030833 cell death Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000008611 intercellular interaction Effects 0.000 description 1
- 208000032839 leukemia Diseases 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004005 microsphere Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Dispersion Chemistry (AREA)
- General Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Evolutionary Biology (AREA)
- Neurology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了属于医疗设备技术领域的一种神经形态计算驱动的图像流式细胞仪；所述图像流式细胞仪包括微流控系统、光学系统、算法系统与硬件系统共四个子系统，四个子系统依次通过数据传输，多系统级联调适配组成神经形图像流式细胞仪；其中微流控系统由微流控芯片、微流泵、长直流道与可控分选机构组成，事件相机处于长直流道上方，对细胞事件流进行实时拍摄、检测；通过神经形态芯片上部署的检测、追踪、分类计数算法驱动大量细胞高速通过视野，控制分选机构执行细胞分选。本发明实现全视场内多细胞成像和处理，减少相机数量，极大降低了系统复杂度与成本，方便推广使用。
Description
技术领域
本发明属于医疗设备技术领域，特别涉及一种神经形态计算驱动的图像流式细胞仪
背景技术
针对当前最先进的图像流式细胞仪系统复杂度太高、无法推广使用的缺点，使用事件相机和神经形态芯片，改变当前细胞高速成像和数据处理沿用冯诺依曼计算框架的路线，提出下一代图像流式细胞仪架构。新的图像流式细胞仪在原理上可取得相当性能的同时，在系统复杂度上大幅降低，展示人工智能技术在生命科学仪器行业的全新应用。本发明要解决的主要问题包括：(1)高速运动、微弱信号物体的显微成像传感问题。针对在显微镜下高速运动的细胞，摒弃传统的高速相机，使用仿神经形态的事件相机和基于稀疏数据的人工智能图像处理算法，实现全视场内多细胞成像和处理。(2)神经形态芯片高效计算事件流的问题。摒弃现有图像流式细胞仪采用大量CPU/GPU等传统的非神经形态计算架构，将基于稀疏数据的人工智能图像处理算法部署到神经形态芯片系统上加速，以极低复杂度的计算系统完成细胞的分类计算。(3)光机电液算控复杂系统的集成问题。基于事件相机和神经形态芯片架构，完成光路系统、微流控系统、系统的集成和控制、细胞样本的人工标记等，最终搭建新一代的图像流式细胞仪装置。
流式细胞仪是重要的生命科学仪器。现在最先进的图像流式细胞仪可以做到多荧光成像、高通量、实时分类及分选，但是系统复杂度太高，无法推广使用；其根源在于细胞高速成像和数据处理仍然基于传统的非神经形态硬件系统，其系统复杂度高，集成度低，有较高的计算延迟与较低的能效比，且系统昂贵。在类脑传感器和计算芯片取得突破进展的背景下，如能基于事件成像和神经形态芯片作为核心处理单元的下一代图像流式细胞仪架构,则能在取得相当性能的同时，在系统复杂度上大幅降低，展现类脑智能在生命科学仪器领域的广泛应用。
现有的图像流式细胞仪以东京大学Keisuke Goda课题组的解决方案最为典型。该方案将含有细胞的液体高速通过长达一米的细长直流道，并同时以六台高速相机拍摄记录视野内局部区域细胞图像的不同色彩通道。六台高速相机拍摄的图像信息经过大量计算资源加速后的分类神经网络实时计算得到分类结果，并将分类的结果用于实时的分选控制。该方案耗资巨大，设备昂贵而复杂，难以推广使用。
目前图像流式细胞仪已经应用于表征细胞DNA损伤修复、评估细胞死亡和自噬、细胞间相互作用和细胞周期分析等方面，但基于传统图像传感器的原理性缺陷，在图像流式细胞仪应用场景中时间分辨率不足、曝光时间短和大数据的条件下，实时高速处理的任务需求会导致系统面临连续采集动态信息全幅采样的方式产生大量冗余数据造成的巨大的数据传输、存储、运算压力、信噪比、视野、模糊、成本及稳定性问题和在传统的冯诺依曼架构下，高速实时处理条件下的巨大算力需求往往导致昂贵、庞大而复杂的系统，满足不了实际应用与现场诊断的需求；目前需要建立基于神经形态成像器件与神经形态芯片层级和软件工具链层的多层次、多尺度交叉融合的感、存、算融合一体化片上；拓展图像流式细胞仪的潜在临床应用，如在液体活检、白血病检测和识别传染性疾病方面的应用同样也是一个很重要的问题。本发明拟通过基于事件相机这一新型神经形态传感器的原理，使用神经形态芯片对图像处理进行端到端的处理。
当前单细胞研究的重心逐渐由低通量向高通量、由单一参数向多参数、由实验室研究向临床应用和由高成本原理样机向产业级商用仪器转移，产生了许多原理级、系统级的问题，探索并建立新型的基于神经形态/类脑计算的系统框架从而解决以上问题是本研究的主要难点。本发明目的在于实现(1)建立基于神经形态器件的新型显微成像系统；(2)通过事件相机与神经形态芯片的应用以及感、存、算一体的系统设计，大幅提高系统的集成度，降低系统的复杂度与体积大小，从而搭建一台能够同时满足多荧光成像、高通量、实时处理、特异提取以及低系统复杂度的单细胞图像流式细胞仪。
发明内容
本发明的目的是提出一种神经形态计算驱动的图像流式细胞仪，其特征在于，所述图像流式细胞仪包括微流控系统、光学系统、算法系统与硬件系统共四个子系统，四个子系统依次通过数据传输，多系统级联调适配组成神经形图像流式细胞仪；
所述微流控系统由微流控芯片、微流泵、长直流道与可控分选机构组成，事件相机处于长直流道上方，对细胞事件流进行实时拍摄、检测；主要完成驱动大量细胞高速通过视野并执行细胞分选这两大任务；任务一，在相机视野内，采用并行高速微流道，实现对进样细胞的高通量输送，通过长直流道，对细胞样本进行必要的操控，包括聚束排队、拉伸变形、动态加速；以利细胞的多模态提取；任务二，在微流控芯片的高速微流道下游，集成声学或者电学驱动模块，按照神经形态芯片系统对细胞的实时分类，对流道中的当前细胞实施在线分选；该神经形态芯片系统利用神经形态芯片的低延迟、低功耗的特点，对事件相机拍摄到的细胞事件流进行实时检测，并通过检测结果对细胞分选模块进行反馈控制，进而对细胞进行在线分选；
所述光学系统包括显微镜、滤光片和事件相机组成成像机构，以获得包括细胞明场形貌和蛋白荧光图像的多模态细胞图像，成像机构的任务主要是获得同一细胞样本的多光谱通道，即分光；利用全视场成像的优势，尝试简洁的滤光片系列，使事件相机成像，对高速流过的细胞进行稀疏事件的时空编码，协调与神经形态芯片系统的数据通讯，保证大样本数据实时收集；
所述算法系统包括细胞识别跟踪算法、多模态特征提取算法和分类算法；具体，多模态数据输入经过细胞识别跟踪算法、多模态特征提取算法和分类算法依次进行前处理、检测、追踪、计数和分类；主要完成检测追踪、图像增强以及图像分类；对应于多模态数据输入，细胞样本的识别跟踪、多模态特征提取和分类的异构融合算法，得到输出结果。
所述硬件系统由由解码模块、轴突、树突模块和输出编码模块组成，所述细胞样本的识别跟踪、多模态特征提取和分类的异构融合算法的输出数据；经过轴突、树突模块加载神经网络处理的数据，由输出编码模块将神经形态芯片传出的脉冲频率进行编码后，由输出编码模块输出。
所述微流控芯片为神经形态芯片，由解码模块、轴突模块、多精度轴突阵列、树突模块、胞体和输出编码模块依次连接组成，数据从解码模块输入。结果由输出编码模块依输出。其中，轴突模块、树突模块和胞体均包含ANN模式和SNN模式；该系统基于神经形态芯片与传统“冯·诺依曼”计算架构的存储、分离不同，神经形态芯片采用存、算一体的全新架构，通过分布式的存储模式，实现了类数据流运行模式，可以进行快速且低功耗的信息处理。
所述神经形态芯片采用存、算一体的全新架构，通过分布式的存储模式，实现了类数据流运行模式，可以进行快速且低功耗的信息处理；并不需要全局控制器进行数据调度，可以实现对检测目标细胞的快速响应与实时输出，进一步提高系统的响应速度；同时，神经基元的参数空间和计算精度可以根据不同的应用需求进行重新配置，从而支持异构的基本网络算子以及多种固化的运算操作，进而更好的支持微流控系统所需的样本识别跟踪、多模态特征提取和分类的多种算法。
本发明的有益效果如下：
(1)现有技术方案由于巨大的数据传输、存储、运算、成像质量、同步控制、成本及稳定性问题，需要通过牺牲可分析处理的视野范围大小来平衡。本发明通过神经形态事件相机成像传感和基于稀疏数据的人工智能图像处理算法，实现全视场内多细胞成像和处理，减少相机数量，极大降低了系统复杂度。
(2)现有技术方案为了同步处理高速相机的巨大数据量与高速实时场景中的巨大算力需求，只能依靠堆叠形成昂贵、庞大而复杂的系统，难以应用推广。采用事件相机成像原理后，细胞在全视场的图像等效为稀疏数据，项目将把基于稀疏数据的人工智能图像处理算法部署到神经形态芯片系统上，高效完成细胞的分事件类计算。项目将重点研究优化神经形态天机芯片与事件相机融合的解决方案，最终极大降低整个计算系统的复杂度。
(3)现有技术方案涉及到光机电液算控等多种工程技术，是一个很精密的集成系统，东京大学带领27个单位花费了近2亿人民币研发。在本发明采用事件相机和神经形态芯片架构后，整个系统中算的复杂度降低最大，其余的光机电液控等复杂度也会相应降低，从而极大地降低系统复杂度与成本，方便推广使用。
附图说明
图1为细胞仪结构组成框图。
图2为细胞仪工作原理流程图。
图3为微球事件流及细胞事件流可视化示意图。
图4为算法处理流程图。
图5为细胞样本的检测追踪、分类输出结果示意图。
图6为根据事件流的细胞图像重构增强结果示意图。
图7为神经形态芯片结构示意图。
具体实施方式
本发明提出一种神经形态计算驱动的图像流式细胞仪，下面结合附图对本发明予以进一步说明。
如图1所示为细胞仪结构组成框图，该图像流式细胞仪包括微流控系统、光学系统、算法系统与硬件系统共四个子系统，四个子系统依次通过数据传输，多系统级联调适配组成神经形图像流式细胞仪；
如图2所示为细胞仪工作原理流程图。所述微流控系统由微流控芯片、微流泵、长直流道与可控分选机构组成，事件相机处于长直流道上方，对细胞事件流进行实时拍摄、检测；本神经形态计算驱动的图像流式细胞仪在使用时，将含有多种细胞微粒的溶液由微流泵通入微流控长直流道中，按照稳定的流速通行，事件相机通过显微镜成像机构捕获到溶液中微粒流过的视觉事件流，该视觉事件流即为事件相机的稀疏时空编码事件流；并传给神经形态芯片，通过神经形态芯片上部署的测量区进行检测、通过光纤系统追踪、分类计数算法判断当前粒子是否为某一种类，并依次控制分选机构进行分选；如果是所需要的种类，则控制分选机构产生分选动作，使微粒进入预设流道中。所述微流控系统主要完成驱动大量细胞高速通过视野并执行细胞分选这两大任务；任务一，在相机视野内，采用并行高速微流道，实现对进样细胞的高通量输送，通过长直流道，对细胞样本进行必要的操控，包括聚束排队、拉伸变形、动态加速；以利细胞的多模态提取；任务二，在微流控芯片的高速微流道下游，集成声学或者电学驱动模块，按照神经形态芯片系统对细胞的实时分类，对流道中的当前细胞实施在线分选；该神经形态芯片系统利用神经形态芯片的低延迟、低功耗的特点，对事件相机拍摄到的细胞事件流进行实时检测，并通过检测结果对细胞分选模块进行反馈控制，进而对细胞进行在线分选；其中，
如图7所示的神经形态芯片结构示意图；所述微流控芯片为神经形态芯片，由解码模块、轴突模块、多精度轴突阵列、树突模块、胞体和输出编码模块依次连接组成，数据从解码模块输入。结果由输出编码模块依输出。其中，轴突模块、树突模块和胞体均包含ANN模式和SNN模式；该神经形态芯片与传统“冯·诺依曼”计算架构的存储、分离不同，神经形态芯片采用存、算一体的全新架构，通过分布式的存储模式，实现了类数据流运行模式，可以进行快速且低功耗的信息处理。所述神经形态芯片采用存、算一体的全新架构，并不需要全局控制器进行数据调度，可以实现对检测目标细胞的快速响应与实时输出，进一步提高系统的响应速度。
所述光学系统包括显微镜、滤光片和事件相机组成成像机构，以获得包括细胞明场形貌和蛋白荧光图像的多模态细胞图像，成像机构的任务主要是获得同一细胞样本的多光谱通道，即分光；利用全视场成像的优势，尝试简洁的滤光片系列，使事件相机成像，对高速流过的细胞进行稀疏事件的时空编码，协调与神经形态芯片系统的数据通讯，保证大样本数据实时收集；所述事件相机的稀疏时空编码事件流，由于传统人工神经网络(ANN)算法采用的可导连续发放机制，会将稀疏的事件流提取为非稀疏的特征，从而降低在神经形态芯片上的加速与功耗性能；为充分利用事件的稀疏特性，利用脉冲神经网络(SNN)。由于SNN的动态事件驱动特性，神经元之间以0/1的二值脉冲形式进行交流，再加上匹配事件相机数据的处理，提升神经形态芯片部署后的加速与功耗效能；因此，兼容ANN与SNN的异构融合类脑人工智能算法，在获取更高算法性能的同时，实现稀疏编码的细胞多模态数据在神经形态计算芯片上的实时加速计算。
如图4所示为算法处理流程图。该算法系统包括细胞识别跟踪算法、多模态特征提取算法和分类算法；具体，多模态数据输入经过细胞识别跟踪算法、多模态特征提取算法和分类算法依次进行前处理、检测、追踪、计数和分类；主要完成检测追踪、图像增强以及图像分类(如图3、图6所示)；对应于多模态数据输入，细胞样本的识别跟踪、多模态特征提取和分类的异构融合算法，得到输出结果(如图5所示)。
所述硬件系统由由解码模块、轴突、树突模块和输出编码模块组成，所述细胞样本的识别跟踪、多模态特征提取和分类的异构融合算法的输出数据；经过轴突、树突模块加载神经网络处理的数据，由输出编码模块将神经形态芯片传出的脉冲频率进行编码后，由输出编码模块输出。
所述神经形态芯片采用存、算一体的全新架构，通过分布式的存储模式，实现了类数据流运行模式，可以进行快速且低功耗的信息处理；并不需要全局控制器进行数据调度，可以实现对检测目标细胞的快速响应与实时输出，进一步提高系统的响应速度；同时，神经基元的参数空间和计算精度可以根据不同的应用需求进行重新配置，从而支持异构的基本网络算子以及多种固化的运算操作，进而更好的支持微流控系统所需的样本识别跟踪、多模态特征提取和分类的多种算法。
本发明拟通过基于事件相机这一新型神经形态传感器的原理，使用神经形态芯片对图像处理进行端到端的处理。本发明的特点如下：
1)本发明将事件相机的成像原理用于显微观测超高速运动(1m/s以上)微粒的形态、变化；
2)本发明通过引入对事件相机稀疏编码对全视野中的微粒进行检测追踪，可以以单个图像传感器并行处理全视野中的多路多个微粒，不受限于视野中微粒的运动状况，减少了图像流式细胞仪中所需要使用的视觉传感器数量；
3)本发明通过神经形态芯片加速神经形态算法，对事件相机的数据进行实时处理，从而实现对超高速运动微粒的实时分析与控制；
4)本发明通过将图像流式细胞仪的分析算法部署于集成化的专用神经形态芯片，极大地降低了图像流式细胞仪的功耗与系统复杂度。
Claims (3)
1.一种神经形态计算驱动的图像流式细胞仪，其特征在于，所述图像流式细胞仪包括微流控系统、光学系统、算法系统与硬件系统共四个子系统，四个子系统依次通过数据传输，多系统级联调适配组成神经形图像流式细胞仪；
所述微流控系统由微流控芯片、微流泵、长直流道与可控分选机构组成，事件相机处于长直流道上方，对细胞事件流进行实时拍摄、检测；主要完成驱动大量细胞高速通过视野并执行细胞分选这两大任务；
所述光学系统包括显微镜、滤光片和事件相机组成成像机构，以获得包括细胞明场形貌和蛋白荧光图像的多模态细胞图像，成像机构的任务主要是获得同一细胞样本的多光谱通道，即分光；利用全视场成像的优势，尝试简洁的滤光片系列，使事件相机成像，对高速流过的细胞进行稀疏事件的时空编码，协调与神经形态芯片系统的数据通讯，保证大样本数据实时收集；
所述算法系统包括细胞识别跟踪算法、多模态特征提取算法和分类算法；具体，多模态数据输入经过细胞识别跟踪算法、多模态特征提取算法和分类算法依次进行前处理、检测、追踪、计数和分类；主要完成检测追踪、图像增强以及图像分类；对应于多模态数据输入，细胞样本的识别跟踪、多模态特征提取和分类的异构融合算法，得到输出结果；
所述硬件系统由由解码模块、轴突、树突模块和输出编码模块组成，所述细胞样本的识别跟踪、多模态特征提取和分类的异构融合算法的输出数据；经过轴突、树突模块加载神经网络处理的数据，由输出编码模块将神经形态芯片传出的脉冲频率进行编码后，由输出编码模块输出。
2.根据权利要求1所述一种神经形态计算驱动的图像流式细胞仪，其特征在于，所述微流控芯片为神经形态芯片，由解码模块、轴突模块、多精度轴突阵列、树突模块、胞体和输出编码模块依次连接组成，数据从解码模块输入。结果由输出编码模块依输出。其中，轴突模块、树突模块和胞体均包含ANN模式和SNN模式；该系统基于神经形态芯片与传统“冯·诺依曼”计算架构的存储、分离不同，神经形态芯片采用存、算一体的全新架构，通过分布式的存储模式，实现了类数据流运行模式，可以进行快速且低功耗的信息处理。
3.根据权利要求2一种神经形态计算驱动的图像流式细胞仪，其特征在于，所述神经形态芯片采用存、算一体的全新架构，通过分布式的存储模式，实现了类数据流运行模式，可以进行快速且低功耗的信息处理；并不需要全局控制器进行数据调度，可以实现对检测目标细胞的快速响应与实时输出，进一步提高系统的响应速度；同时，神经基元的参数空间和计算精度可以根据不同的应用需求进行重新配置，从而支持异构的基本网络算子以及多种固化的运算操作，进而更好的支持微流控系统所需的样本识别跟踪、多模态特征提取和分类的多种算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111025982.6A CN113740235A (zh) | 2021-09-02 | 2021-09-02 | 神经形态计算驱动的图像流式细胞仪 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111025982.6A CN113740235A (zh) | 2021-09-02 | 2021-09-02 | 神经形态计算驱动的图像流式细胞仪 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113740235A true CN113740235A (zh) | 2021-12-03 |
Family
ID=78734895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111025982.6A Pending CN113740235A (zh) | 2021-09-02 | 2021-09-02 | 神经形态计算驱动的图像流式细胞仪 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113740235A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102037343A (zh) * | 2008-06-12 | 2011-04-27 | 东卡莱罗纳大学 | 用于三维衍射成像的流式细胞仪系统及方法 |
| US20140114893A1 (en) * | 2011-05-31 | 2014-04-24 | International Business Machines Corporation | Low-power event-driven neural computing architecture in neural networks |
| CN104809501A (zh) * | 2014-01-24 | 2015-07-29 | 清华大学 | 一种基于类脑协处理器的计算机系统 |
| CN104809498A (zh) * | 2014-01-24 | 2015-07-29 | 清华大学 | 一种基于神经形态电路的类脑协处理器 |
| CN108182670A (zh) * | 2018-01-15 | 2018-06-19 | 清华大学 | 一种事件图像的分辨率增强方法及系统 |
| CN108256408A (zh) * | 2017-10-25 | 2018-07-06 | 四川大学 | 一种基于深度学习的干细胞追踪方法 |
| CN108362628A (zh) * | 2018-01-11 | 2018-08-03 | 天津大学 | 基于偏振衍射成像流式细胞仪的无标记细胞流式分选方法 |
| CN110163016A (zh) * | 2019-04-29 | 2019-08-23 | 清华大学 | 混合计算系统和混合计算方法 |
| CN111925934A (zh) * | 2020-07-31 | 2020-11-13 | 深圳先进技术研究院 | 一种生物样本分选方法、声表面波微流控芯片、系统、终端以及存储介质 |
-
2021
- 2021-09-02 CN CN202111025982.6A patent/CN113740235A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102037343A (zh) * | 2008-06-12 | 2011-04-27 | 东卡莱罗纳大学 | 用于三维衍射成像的流式细胞仪系统及方法 |
| US20140114893A1 (en) * | 2011-05-31 | 2014-04-24 | International Business Machines Corporation | Low-power event-driven neural computing architecture in neural networks |
| CN104809501A (zh) * | 2014-01-24 | 2015-07-29 | 清华大学 | 一种基于类脑协处理器的计算机系统 |
| CN104809498A (zh) * | 2014-01-24 | 2015-07-29 | 清华大学 | 一种基于神经形态电路的类脑协处理器 |
| CN108256408A (zh) * | 2017-10-25 | 2018-07-06 | 四川大学 | 一种基于深度学习的干细胞追踪方法 |
| CN108362628A (zh) * | 2018-01-11 | 2018-08-03 | 天津大学 | 基于偏振衍射成像流式细胞仪的无标记细胞流式分选方法 |
| CN108182670A (zh) * | 2018-01-15 | 2018-06-19 | 清华大学 | 一种事件图像的分辨率增强方法及系统 |
| CN110163016A (zh) * | 2019-04-29 | 2019-08-23 | 清华大学 | 混合计算系统和混合计算方法 |
| CN111925934A (zh) * | 2020-07-31 | 2020-11-13 | 深圳先进技术研究院 | 一种生物样本分选方法、声表面波微流控芯片、系统、终端以及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| JING PEI等: "Towards artificial general intelligence with hybrid Tianjic chip architectur", 《NATURE》 * |
| 王霞等: "视觉SLAM研究进展", 《智能系统学报》 * |
| 谭立忠等: "《脑科学技术发展与应用》", 31 December 2018, 中国宇航出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113607628B (zh) | 神经形态计算驱动图像流式细胞仪对细胞图像流处理方法 | |
| DK2297640T3 (en) | REMOTE MONITORING FLOW CYTOMETER | |
| Sun et al. | TIB-Net: Drone detection network with tiny iterative backbone | |
| CN104877898A (zh) | 一种低成本、高效分离获取单细胞的系统和方法 | |
| Jiang et al. | Social behavioral phenotyping of Drosophila with a 2D–3D hybrid CNN framework | |
| WO2022021338A1 (zh) | 一种生物样本分选方法、声表面波微流控芯片、系统、终端以及存储介质 | |
| Cao et al. | Detection of microalgae objects based on the Improved YOLOv3 model | |
| CN114915575B (zh) | 一种基于人工智能的网络流量检测装置 | |
| Siddique et al. | An improved deep learning based classification of human white blood cell images | |
| CN113588522A (zh) | 基于微流控和图像识别的循环肿瘤检测与分选方法及系统 | |
| CN113740235A (zh) | 神经形态计算驱动的图像流式细胞仪 | |
| CN114241423A (zh) | 一种河道漂浮物智能检测方法及系统 | |
| Zhang et al. | Work in progress: neuromorphic cytometry, high-throughput event-based flow flow-imaging | |
| CN115830309A (zh) | 基于Deeplabv3+的SGAN道路裂缝图像分割方法 | |
| US11610416B2 (en) | Device for image-based cell classification, method therefor and use thereof | |
| Herbig et al. | Image-based cell sorting using artificial intelligence | |
| CN113205545A (zh) | 区域环境下的行为识别分析方法、系统 | |
| CN112802026A (zh) | 一种基于深度学习实时的交通场景语义分割方法 | |
| CN113902904A (zh) | 一种轻量化网络架构系统 | |
| CN111925934A (zh) | 一种生物样本分选方法、声表面波微流控芯片、系统、终端以及存储介质 | |
| Chen et al. | Insulator Fault Detection in Aerial Images based on the Mixed-grouped Fire Single-shot Multibox Detector. | |
| Ye et al. | Ship Detection Framework Based on Deep Learning Network | |
| CN117960261A (zh) | 一种超低浓度微粒子富集与提纯装置及其操作方法 | |
| CN116106206A (zh) | 智能事件成像流式细胞仪 | |
| Wang | A lightweight target detection algorithm based on Mobilenet Convolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211203 |