CN112988395A - 一种可扩展异构边缘计算架构的病理分析方法及装置 - Google Patents

一种可扩展异构边缘计算架构的病理分析方法及装置 Download PDF

Info

Publication number
CN112988395A
CN112988395A CN202110421778.XA CN202110421778A CN112988395A CN 112988395 A CN112988395 A CN 112988395A CN 202110421778 A CN202110421778 A CN 202110421778A CN 112988395 A CN112988395 A CN 112988395A
Authority
CN
China
Prior art keywords
sub
cpu
gpu
main cpu
rect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110421778.XA
Other languages
English (en)
Other versions
CN112988395B (zh
Inventor
韩方剑
余莉
黄少冰
鲁佳
苏文剑
徐传玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lansi (Ningbo) Intelligent Technology Co.,Ltd.
Original Assignee
Ningbo Lanxi Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Lanxi Biotechnology Co ltd filed Critical Ningbo Lanxi Biotechnology Co ltd
Priority to CN202110421778.XA priority Critical patent/CN112988395B/zh
Publication of CN112988395A publication Critical patent/CN112988395A/zh
Application granted granted Critical
Publication of CN112988395B publication Critical patent/CN112988395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种可扩展异构边缘计算架构的病理分析方法及装置，本发明包括进行子图划分；主CPU进行子CPU资源和GPU资源的动态调度；利用FPGA的并行和流水特性完成子图图像数据的并行流水采集，传输给分配的子CPU和GPU；利用GPU或子CPU完成子图的指定AI预测推断任务；利用子CPU完成子图的拼接存储任务；主CPU完成子图处理结果的信息整合，将病理切片的切片全景图信息和指定AI预测推断任务执行结果存储到主CPU维护的文件列表以备读取。本发明能够协同多个CPU、GPU和FPGA等处理器分别发挥各自特长，可实现CPU、GPU和FPGA协同完成病理切片扫描和智能辅助诊断整体处理过程。

Description

一种可扩展异构边缘计算架构的病理分析方法及装置
技术领域
本发明涉及边缘计算人工智能领域、生物医学工程技术领域、以及显微病理全自动扫描、分析领域，具体涉及一种可扩展异构边缘计算架构的病理分析方法及装置。
背景技术
近年来，随着经典数字图像处理方法和人工智能深度学习处理方法在医学领域的广泛应用，医学影像领域取得长足进展，为构建全数字影像医疗系统打下良好的基础；而在病理领域，数字切片扫描分析系统则是将现实世界中的物理切片转成数字切片的关键步骤，而将人工智能技术结合到数字病理扫描系统当中，则是下一步构建人工智能（Aartificial Intelligence， AI）辅助病理扫描系统的关键。
目前情况下，大部分基于人工智能辅助病理扫描系统，都是将病理切片扫描阶段和AI识别、检测、分类阶段分离到不同的系统当中，其中AI识别检测分类系统则直接采用高性能GPU服务器完成相应的任务。这样就容易出现，病理扫描仪采用一套硬件系统仪器，图像扫描拼接存储处理等任务采用一套高性能图像处理CPU服务器，而AI辅助诊断则又需要另外一套体积较大，性能高的服务器系统的情况；这样则首先是整个智能辅助病理扫描系统，构成成分繁多、臃肿，体积庞大，占地面积大，需要在本不宽阔的医疗诊断室当中额外考虑设备使用空间，而且整体处理过程繁杂，另外并没有对整个系统的处理性能做整体提升，高性能服务器也仅是作为AI辅助诊断手段，整体成本高昂，仅考虑单片扫描系统的性能提升，面对多切片扫描时，并没有考虑有效地并行性能提升和硬件升级扩展等问题，因此本身的性能提升有限。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种可扩展异构边缘计算架构的病理分析方法及装置，本发明能够协同多个CPU、GPU和FPGA等处理器，形成可扩展的多处理器异构边缘计算平台，利用FPGA的并行和流水特性完成一路或者多路图像数据的并行流水采集，并传输给CPU和GPU，利用CPU的强大调度特性和复杂任务处理能力，完成子图的拼接存储任务，并辅助完成子图的指定AI预测推断任务，利用GPU的粗粒度并行处理和批量处理能力，完成子图的指定AI预测推断任务，可实现CPU、GPU和FPGA协同完成病理切片扫描和智能辅助诊断整体处理过程。
为了解决上述技术问题，本发明采用的技术方案为：
一种可扩展异构边缘计算架构的病理分析方法，包括：
主CPU获取病理切片的整体轮廓信息并进行子图划分；
主CPU进行子CPU资源和GPU资源的动态调度，分配子图的处理任务给调度的子CPU和GPU；
利用FPGA的并行和流水特性完成子图图像数据的并行流水采集，并传输给分配的子CPU和GPU；
利用GPU或子CPU完成子图的指定AI预测推断任务；
利用子CPU完成子图的拼接存储任务；
主CPU完成所有子图处理结果的信息整合，将病理切片的切片全景图信息和指定AI预测推断任务执行结果存储到主CPU维护的文件列表以备读取。
可选地，所述主CPU获取病理切片的整体轮廓信息并进行子图划分包括：获取病理切片的整体轮廓信息，根据病理切片的整体轮廓信息得到进行子图划分的子图的行数Rows和列数Columns，从而将病理切片进行子图划分，得到任意第m行n列的子图I(m,n)，其中m取值范围为1～行数Rows，n取值范围为1～Columns。
可选地，所述主CPU进行子CPU资源和GPU资源的动态调度的步骤包括：
主CPU计算第一系数R T1，所述第一系数R T1为单个GPU对一张子图进行AI预测推断从输入到输出的完整处理过程的平均时间T Gpu 除以一张子图采集处理从输入到输出的完整处理过程的平均时间T Cpu1得到的结果；
主CPU根据第一系数R T1执行子CPU资源和GPU资源的动态调度：
若满足R T1≤1，则为每一个执行子图的拼接存储任务的子CPU分配一个GPU执行子图的指定AI预测推断任务；
若满足1<R T1<2，则主CPU根据计算第二系数R T2，所述第二系数R T2为CPU对一张子图进行AI预测推断从输入到输出的完整处理过程的平均时间T Cpu2除以一张子图采集处理从输入到输出的完整处理过程的平均时间T Cpu1得到的结果；当满足R T2≤1时，为每一个执行子图的拼接存储任务的子CPU分配一个GPU和一个子CPU执行子图的指定AI预测推断任务，当满足R T2＞1时，为每一个执行子图的拼接存储任务的子CPU分配两个GPU执行子图的指定AI预测推断任务；
若满足R T1≥2，则主CPU根据计算第二系数R T2，当满足R T2≤1时，为每一个执行子图的拼接存储任务的子CPU分配一个GPU和多个子CPU执行子图的指定AI预测推断任务，当满足R T2＞1时，为每一个执行子图的拼接存储任务的子CPU分配两个GPU和一个或多个子CPU执行子图的指定AI预测推断任务；
根据子CPU资源和GPU资源的动态调度结果，主CPU从维护的子CPU负载调度集合CS中按照当前时刻t0使用率最低的原则选择所需的子CPU资源，从维护的GPU负载调度集合GS中按照当前时刻t0使用率最低的原则选择所需的子GPU资源。
可选地，所述利用FPGA的并行和流水特性完成子图图像数据的并行流水采集，并传输给分配的子CPU和GPU包括：
主CPU将选择的子CPU资源中使用率最低的子CPU，记选择的使用率最低的子CPU为CPU 1(t 0)，通过CPU 1(t 0) 确定待进行聚焦的位置点并传输给FPGA；
FPGA控制扫描相机的运动电机运动到相对应的位置点对每一个聚焦点完成聚焦任务，并将聚焦结果返回给CPU 1(t 0)；
CPU 1(t 0) 根据所有返回得到的聚焦位置完成该病理切片的聚焦映射面的拟合，从而得到待扫描切片的每一张子图对应的位置将这些位置发送给FPGA；
FPGA根据每一张子图对应的位置，控制扫描相机的X、Y、Z轴运动到对应位置，完成子图的图像数据采集，并通过基于PCIE传输协议将FPGA映射为虚拟内存或现存空间，通过DMA数据传输技术将采集得到的子图的图像数据传输给分配的子CPU和GPU。
可选地，利用GPU完成子图的指定AI预测推断任务的步骤包括：GPU首先执行预先训练好的卷积神经网络，卷积神经网络的输入为当前的子图I(m,n)、输出为子图I(m,n)对应的检测目标区域集合OS(m,n)，且函数表达式为：
OS(m,n)={(x rect (m,n,k),y rect (m,n,k),w rect (m,n,k),h rect (m,n,k))}，
上式中，(x rect (m,n,k),y rect (m,n,k))为第k个检测目标区域左上角的像素坐标，(w rect (m,n,k),h rect (m,n,k))为第k个检测目标区域的宽度和高度，然后将检测目标区域集合OS(m,n)传输给对应的CPU，k=0,1,2,…,b，b表示检测目标区域总数量。
可选地，利用子CPU完成指定AI预测推断任务的步骤包括：子CPU首先执行预先训练好的卷积神经网络，卷积神经网络的输入为当前的子图I(m,n)、输出为子图I(m,n)对应的检测目标区域集合OS(m,n)，且函数表达式为：
OS(m,n)={(x rect (m,n,k),y rect (m,n,k),w rect (m,n,k),h rect (m,n,k) }，
上式中，(x rect (m,n,k),y rect (m,n,k))为第k个检测目标区域左上角的像素坐标，(w rect (m,n,k),h rect (m,n,k))为第k个检测目标区域的宽度和高度，k=0,1,2,…,b，b表示检测目标区域总数量。
可选地，所述利用子CPU完成子图的拼接存储任务包括：
子CPU根据下式确定子图I(m,n)左上角位置在病理切片中的绝对像素坐标位置；
pos x (m,n)=n×img_width-∑ n-1 j=1 w m,j
pos y (m,n)=n×img_height-∑ n-1 j=1 w i,n
上式中，pos x (m,n)和pos y (m,n)分别为子图I(m,n)左上角位置在病理切片中的绝对像素坐标位置，img_width表示病理切片的宽度，img_height表示病理切片的高度，w m,j 表示病理切片的左右相邻两张子图的重叠像素值，w i,n 表示病理切片的上下相邻两张子图的重叠像素值，i=1,2,…,Rows-1，j=1,2,…,Columns-1，Rows为病理切片的子图行数，Columns为病理切片的子图列数；
子CPU将收到的检测目标区域集合OS(m,n)的检测目标区域左上角的像素坐标映射为病理切片的绝对像素坐标位置，得到应的矩形框坐标集合OS_ABS(m,n)，且函数表达式为：
OS_ABS(m,n)={(x rect (m,n,k)+pos x (m,n),y rect (m,n,k)+pos y (m,n),w rect (m,n,k),h rect (m,n,k)) }，
上式中，pos x (m,n)和pos y (m,n)分别为子图I(m,n)左上角位置在病理切片中的绝对像素坐标位置，k为检测目标区域的序号，k=0,1,2,…,b，b表示检测目标区域总数量；
子CPU将收到的所有子图I(m,n)进行拼接并合并重叠区域，并将拼接结果以及AI预测推断任务执行结果存放在该子CPU一一对应的外部驱动器上，并将拼接结果以及AI预测推断任务执行结果存放的文件索引发送到主CPU以通过主CPU提供外部访问服务。
可选地，所述将病理切片的切片全景图信息和指定AI预测推断任务执行结果存储到主CPU维护的文件列表以备读取之后还包括主CPU响应外部访问服务的步骤：主CPU将收到的文件索引维护更新一个数据文件列表，当主CPU收到外部访问者的访问请求时将数据文件列表发送给外部访问者，且主CPU在收到外部访问者请求指定的文件索引时将访问请求转发给对应的子CPU，并通过该子CPU从其对应的外部驱动器上读取对应的拼接结果以及AI预测推断任务执行结果并返回给外部访问者。
此外，本发明还提供一种用于应用所述可扩展异构边缘计算架构的病理分析方法的病理分析装置，包括扫描相机单元、FPGA、GPU单元、子CPU单元、主CPU、预览相机、网络模块以及存储单元，所述扫描相机单元包括N路扫描相机，所述GPU单元包括K个GPU，所述子CPU单元包括M个子CPU，所述FPGA通过PCIE总线分别与扫描相机、GPU、子CPU以及主CPU相连，所述主CPU分别与预览相机、网络模块相连，所述存储单元包括M+1个外部存储器，其中M个外部存储器与子CPU一一对应连接，剩余的1个外部存储器和主CPU对应连接。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述可扩展异构边缘计算架构的病理分析方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、本发明能够协同多个CPU、GPU和FPGA等处理器，形成可扩展的多处理器异构边缘计算平台，利用FPGA的并行和流水特性完成一路或者多路图像数据的并行流水采集，并传输给CPU和GPU，利用CPU的强大调度特性和复杂任务处理能力，完成子图的拼接存储任务，并辅助完成子图的指定AI预测推断任务，利用GPU的粗粒度并行处理和批量处理能力，完成子图的指定AI预测推断任务，可实现CPU、GPU和FPGA协同完成病理切片扫描和智能辅助诊断整体处理过程，采用FPGA、CPU、GPU多个异构平台协调合作，充分发挥各个硬件平台特性，采用流水化、异步并行的工作方式，实现单片或者多片病理AI辅助诊断的扫描系统全天候流水化工作方式，提高工作效率。
2. 本发明从实际要求出发，根据AI辅助诊断当中的问题难易程度，结合先验获取的GPU预测推断时间以及CPU完成的数字病理切片全景图拼接、存储等操作的时间，可以进一步在资源定制化平台上继续扩展相关的GPU和CPU资源数，根据辅助诊断任务的不同，扩展或者减少相关的GPU和CPU资源数，完成对成本和资源的高效控制，达到最优化平衡。
3. 本发明采用自动调度的工作方式，完成不同CPU、GPU之间的资源和工作分配，是多个CPU和GPU平台处于负荷饱满的工作形式，根据辅助诊断任务的不同，动态分配相关资源，并统筹优化，选择最优的异构平台工作方式。
附图说明
图1为本发明实施例方法的基本流程图。
图2为本发明实施例中子图划分的原理示意图。
图3为本发明实施例中主CPU响应外部访问服务的流程图。
图4为本发明实施例中病理分析装置的结构示意图。
具体实施方式
如图1所示，本实施例可扩展异构边缘计算架构的病理分析方法包括：
主CPU获取病理切片的整体轮廓信息并进行子图划分；
主CPU进行子CPU资源和GPU资源的动态调度，分配子图的处理任务给调度的子CPU和GPU；
利用FPGA的并行和流水特性完成子图图像数据的并行流水采集，并传输给分配的子CPU和GPU；
利用GPU或子CPU完成子图的指定AI预测推断任务；
利用子CPU完成子图的拼接存储任务；
主CPU完成所有子图处理结果的信息整合，将病理切片的切片全景图信息和指定AI预测推断任务执行结果存储到主CPU维护的文件列表以备读取。
如图2所示，本实施例中主CPU获取病理切片的整体轮廓信息并进行子图划分包括：获取病理切片的整体轮廓信息，根据病理切片的整体轮廓信息得到进行子图划分的子图的行数Rows和列数Columns，从而将病理切片进行子图划分，得到任意第m行n列的子图I(m,n)，其中m取值范围为1～行数Rows，n取值范围为1～Columns。本实施例中，每一张子图，扫描相机采集得到的每一张子图的高宽分别表示为Img_height和Img_width。
本实施例中，主CPU进行子CPU资源和GPU资源的动态调度的步骤包括：
主CPU计算第一系数R T1，所述第一系数R T1为单个GPU对一张子图进行AI预测推断从输入到输出的完整处理过程的平均时间T Gpu 除以一张子图采集处理从输入到输出的完整处理过程的平均时间T Cpu1得到的结果；
主CPU根据第一系数R T1执行子CPU资源和GPU资源的动态调度：
当R T1≤1时说明只需要一个GPU的资源，就能在一个子CPU完成数字病理切片图像拼接、存储的同时就能完成AI对病理图像进行检测识别等推断任务。因此本实施例中，若满足R T1≤1，则为每一个执行子图的拼接存储任务的子CPU分配一个GPU执行子图的指定AI预测推断任务；
当1<R T1<2时需要进一步确认第二系数R T2的大小动态调用当前进行子CPU资源同时辅助完成基于CPU的AI预测推断过程，以动态适配空闲资源，其中第二系数R T2为CPU对一张子图进行AI预测推断从输入到输出的完整处理过程的平均时间T Cpu2除以一张子图采集处理从输入到输出的完整处理过程的平均时间T Cpu1得到的结果。因此本实施例中，若满足1<R T1<2，则主CPU根据计算第二系数R T2；当满足R T2≤1时，为每一个执行子图的拼接存储任务的子CPU分配一个GPU和一个子CPU执行子图的指定AI预测推断任务，当满足R T2＞1时，为每一个执行子图的拼接存储任务的子CPU分配两个GPU执行子图的指定AI预测推断任务；
当R T1≥2时，需要采用两块GPU适配子CPU进行数字病理切片图像拼接、存储的时间，并且调用当前子CPU资源辅助完成基于CPU的AI预测推断过程，尽量达到在完成图像拼接、存储的同时，完成AI预测推断任务；因此本实施例中，若满足R T1≥2，则主CPU根据计算第二系数R T2，当满足R T2≤1时，为每一个执行子图的拼接存储任务的子CPU分配一个GPU和多个子CPU执行子图的指定AI预测推断任务，当满足R T2＞1时，为每一个执行子图的拼接存储任务的子CPU分配两个GPU和一个或多个子CPU执行子图的指定AI预测推断任务；
根据子CPU资源和GPU资源的动态调度结果，主CPU从维护的子CPU负载调度集合CS中按照当前时刻t0使用率最低的原则选择所需的子CPU资源，从维护的GPU负载调度集合GS中按照当前时刻t0使用率最低的原则选择所需的子GPU资源。
本实施例中，主CPU分别维护一张M路子CPU负载调度集合CS和一张K路GPU负载调度集合GS，实时更新各路子CPU和各路GPU的使用率情况；按照使用率从低到高的顺序，在当下时刻t，M路子CPU和K路GPU各自进行排序，分别得到：
CS(t)={(CPU 1(t),CR 1(t)),(CPU 2(t),CR 2(t)),…,(CPU M (t),CR M (t))}
GS(t)={(GPU 1(t),GR 1(t)),(GPU 2(t),GR 2(t)),…,(GPU K (t),GR K (t))}
上式中，CS(t)和GS(t)分别表示t时刻的M路子CPU负载调度集合CS和K路GPU负载调度集合GS，CPU 1(t)～CPU M (t)分别表示t时刻的M路子CPU的子CPU序号，CR 1(t)～CR M (t)分别表示t时刻的M路子CPU按照使用率从低到高排序的序号；GPU 1(t)～GPU K (t)分别表示t时刻的K路GPU的GPU序号，GR 1(t)～GR K (t)分别表示t时刻的K路GPU按照使用率从低到高排序的序号。两个负载调度集合定时更新，实时反映各个子CPU和各路GPU的使用情况。
本实施例中，利用FPGA的并行和流水特性完成子图图像数据的并行流水采集，并传输给分配的子CPU和GPU包括：
主CPU将选择的子CPU资源中使用率最低的子CPU，记选择的使用率最低的子CPU为CPU 1(t 0)，通过CPU 1(t 0) 确定待进行聚焦的位置点并传输给FPGA；
FPGA控制扫描相机的运动电机运动到相对应的位置点对每一个聚焦点完成聚焦任务，并将聚焦结果返回给CPU 1(t 0)；
CPU 1(t 0) 根据所有返回得到的聚焦位置完成该病理切片的聚焦映射面的拟合，从而得到待扫描切片的每一张子图对应的位置将这些位置发送给FPGA；
FPGA根据每一张子图对应的位置，控制扫描相机的X、Y、Z轴运动到对应位置，完成子图的图像数据采集，并通过基于PCIE传输协议将FPGA映射为虚拟内存或现存空间，通过DMA数据传输技术将采集得到的子图的图像数据传输给分配的子CPU和GPU。
本实施例中，利用GPU完成子图的指定AI预测推断任务的步骤包括：GPU首先执行预先训练好的卷积神经网络，卷积神经网络的输入为当前的子图I(m,n)、输出为子图I(m,n)对应的检测目标区域集合OS(m,n)，且函数表达式为：
OS(m,n)={(x rect (m,n,k),y rect (m,n,k),w rect (m,n,k),h rect (m,n,k))}，
上式中，(x rect (m,n,k),y rect (m,n,k))为第k个检测目标区域左上角的像素坐标，(w rect (m,n,k),h rect (m,n,k))为第k个检测目标区域的宽度和高度，然后将检测目标区域集合OS(m,n)传输给对应的CPU，k=0,1,2,…,b，b表示检测目标区域总数量。
本实施例中，利用子CPU完成指定AI预测推断任务的步骤包括：子CPU首先执行预先训练好的卷积神经网络，卷积神经网络的输入为当前的子图I(m,n)、输出为子图I(m,n)对应的检测目标区域集合OS(m,n)，且函数表达式为：
OS(m,n)={(x rect (m,n,k),y rect (m,n,k),w rect (m,n,k),h rect (m,n,k) }，
上式中，(x rect (m,n,k),y rect (m,n,k))为第k个检测目标区域左上角的像素坐标，(w rect (m,n,k),h rect (m,n,k))为第k个检测目标区域的宽度和高度，k=0,1,2,…,b，b表示检测目标区域总数量。
需要说明的是，指定AI预测推断任务可以根据需要进行实际指定，例如数字病理图像的阳性病理区域或者阳性细胞的识别和检测等AI辅助病理诊断任务；作为一种可选的实施方式，本实施例中的指定AI预测推断任务为阳性细胞可疑区域检测任务，执行阳性细胞可疑区域检测任务时，输入是一张张子图，输出则是每一张子图当中的可以阳性细胞区域，每一个可疑阳性细胞区域分别用一个矩形框表示。需要说明的是，利用卷积神经网络来实现阳性细胞识别，以及利用CPU或者GPU来实现该卷积神经网络均为现有技术，本实施例中仅仅涉及对上述现有技术的应用、并不包含对上述现有技术的改进，故其具体实现在此不再展开说明。
本实施例中，利用子CPU完成子图的拼接存储任务包括：
子CPU根据下式确定子图I(m,n)左上角位置在病理切片中的绝对像素坐标位置；
pos x (m,n)=n×img_width-∑ n-1 j=1 w m,j
pos y (m,n)=n×img_height-∑ n-1 j=1 w i,n
上式中，pos x (m,n)和pos y (m,n)分别为子图I(m,n)左上角位置在病理切片中的绝对像素坐标位置，img_width表示病理切片的宽度，img_height表示病理切片的高度，w m,j 表示病理切片的左右相邻两张子图的重叠像素值，w i,n 表示病理切片的上下相邻两张子图的重叠像素值，i=1,2,…,Rows-1，j=1,2,…,Columns-1，Rows为病理切片的子图行数，Columns为病理切片的子图列数；将计算好的所有子图的左上角像素坐标值保存在子CPU的内存当中，用于后续与AI预测诊断的结果做位置映射；
子CPU将收到的检测目标区域集合OS(m,n)的检测目标区域左上角的像素坐标映射为病理切片的绝对像素坐标位置，得到应的矩形框坐标集合OS_ABS(m,n)，且函数表达式为：
OS_ABS(m,n)={(x rect (m,n,k)+pos x (m,n),y rect (m,n,k)+pos y (m,n),w rect (m,n,k),h rect (m,n,k)) }，
上式中，pos x (m,n)和pos y (m,n)分别为子图I(m,n)左上角位置在病理切片中的绝对像素坐标位置，k为检测目标区域的序号，k=0,1,2,…,b，b表示检测目标区域总数量；
子CPU将收到的所有子图I(m,n)进行拼接并合并重叠区域，并将拼接结果以及AI预测推断任务执行结果存放在该子CPU一一对应的外部驱动器上，并将拼接结果以及AI预测推断任务执行结果存放的文件索引发送到主CPU以通过主CPU提供外部访问服务。
如图3所示，本实施例中将病理切片的切片全景图信息和指定AI预测推断任务执行结果存储到主CPU维护的文件列表以备读取之后还包括主CPU响应外部访问服务的步骤：主CPU将收到的文件索引维护更新一个数据文件列表，当主CPU收到外部访问者的访问请求时将数据文件列表发送给外部访问者，且主CPU在收到外部访问者请求指定的文件索引时将访问请求转发给对应的子CPU，并通过该子CPU从其对应的外部驱动器上读取对应的拼接结果以及AI预测推断任务执行结果并返回给外部访问者。外界通过千兆网访问主CPU所维持的文件列表，从而索引到相关子CPU，由子CPU从对应挂载的硬盘加载数据，然后通过PCIE传输到主CPU当中进行缓存，由于PCIE协议的传输速度远远高于千兆网，因此外界访问图像数据时，从子CPU传输到主CPU的时间可以忽略不计，从而完成外界对数据的实时访问。
综上所述，对于每一张病例切片，利用该异构边缘计算平台，FPGA、不同的GPU、不同CPU之间都是异步处理的，当前的切片经主CPU调用预览相机拍摄获取当前切片整体轮廓之后，即可交付给后续调度好的子CPU和GPU进行相应的处理，而在当前切片进行后续的数字病理切片全景图拼接、存储和AI预测推断等任务时，主CPU可以异步继续调用预览相机拍摄获取下一张切片整体轮廓的信息，并继续动态调度其他空闲的子CPU和GPU完成后续相关的数字病理切片全景图拼接、存储和AI预测推断等任务；因此可以从实际的性能要求出发，扩展相应的CPU和GPU资源，即能保证单切片扫描系统的处理过程，也能让多切片扫描系统无间断流水化处理下去，从性能、功耗、成本多方面综合优化考虑，适配最优的方案，而且后续一旦需要对系统性能进行升级，直接扩展相应的CPU和GPU资源即可。
如图4所示，本实施例还提供一种用于应用前述可扩展异构边缘计算架构的病理分析方法的病理分析装置，包括扫描相机单元、FPGA、GPU单元、子CPU单元、主CPU、预览相机、网络模块以及存储单元，扫描相机单元包括N路扫描相机（扫描相机1～扫描相机N），GPU单元包括K个GPU（GPU1～GPUK），子CPU单元包括M个子CPU（CPU1～CPUM），FPGA通过PCIE总线分别与扫描相机、GPU、子CPU以及主CPU相连，主CPU分别与预览相机、网络模块相连，存储单元包括M+1个外部存储器（硬盘0～硬盘M），其中M个外部存储器（硬盘1～硬盘M），与子CPU一一对应连接，剩余的1个外部存储器（硬盘0）和主CPU对应连接。本实施例病理分析装置采用FPGA采集N路（为保证扫描仪系统的系统结构不过于复杂，N一般不大于4）相机的图像数据，并通过N路PCIE接口，利用DMA（Direct Memory Access，直接内存访问）技术，将图像数据同时传输给K（根据系统计算要求进行扩展）路GPU和M（根据系统计算要求进行扩展）路子CPU进行，其中M路子CPU部分完成病理图像聚焦平面获取、拼接、存储等扫描仪系统传统操作，病理切片图像数据文件则直接存储当前子CPU对应挂载的硬盘当中，而K路GPU部分则进行数字病理图像的阳性病理区域或阳性细胞的分类识别或目标检测等AI任务，若M路子CPU的空闲时间过多，还可以进一步辅助完成基于CPU的AI检测识别等预测推断任务；主CPU则负责扫描系统当中的整体切片预览步骤，负责来自FPGA的N路图像数据与M路子CPU和K路GPU的任务调度，并且通过千兆网接收系统外面的工作指令和数据传输。需要说明的是，图4所示的硬盘仅仅为外部存储器的一种示例，毫无疑问，在此技术启示下，本领域技术人员也可以根据需要选择所需的存储设备形式，在此不再赘述。作为一种极端的特殊情形，也可采用共享存储器或者存储集群的方式来袋体上述外部存储器。本发明根据异构平台的工作方式，基于PCIE协议，采用多个CPU配备多个本地硬盘的工作方式，为满足对图像数据的统一访问，自定义文件服务器，外界只需要访问部署在主CPU当中的文件服务列表，即可对应访问相应子CPU当中对应存储的数字病理切片全景图数据，而不需要采用复杂的千兆网网络将所有子CPU全部连接到同一个的局域网当中，访问主CPU时，即可通过PCIE将待访问的数据直接加载子CPU的图像数据，访问过程高效统一。此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述可扩展异构边缘计算架构的病理分析方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种可扩展异构边缘计算架构的病理分析方法，其特征在于，包括：
主CPU获取病理切片的整体轮廓信息并进行子图划分；
主CPU进行子CPU资源和GPU资源的动态调度，分配子图的处理任务给调度的子CPU和GPU；
利用FPGA的并行和流水特性完成子图图像数据的并行流水采集，并传输给分配的子CPU和GPU；
利用GPU或子CPU完成子图的指定AI预测推断任务；
利用子CPU完成子图的拼接存储任务；
主CPU完成所有子图处理结果的信息整合，将病理切片的切片全景图信息和指定AI预测推断任务执行结果存储到主CPU维护的文件列表以备读取。
2.根据权利要求1所述的可扩展异构边缘计算架构的病理分析方法，其特征在于，所述主CPU获取病理切片的整体轮廓信息并进行子图划分包括：获取病理切片的整体轮廓信息，根据病理切片的整体轮廓信息得到进行子图划分的子图的行数Rows和列数Columns，从而将病理切片进行子图划分，得到任意第m行n列的子图I(m,n)，其中m取值范围为1～行数Rows，n取值范围为1～Columns。
3.根据权利要求1所述的可扩展异构边缘计算架构的病理分析方法，其特征在于，所述主CPU进行子CPU资源和GPU资源的动态调度的步骤包括：
主CPU计算第一系数R T1，所述第一系数R T1为单个GPU对一张子图进行AI预测推断从输入到输出的完整处理过程的平均时间T Gpu 除以一张子图采集处理从输入到输出的完整处理过程的平均时间T Cpu1得到的结果；
主CPU根据第一系数R T1执行子CPU资源和GPU资源的动态调度：
若满足R T1≤1，则为每一个执行子图的拼接存储任务的子CPU分配一个GPU执行子图的指定AI预测推断任务；
若满足1<R T1<2，则主CPU根据计算第二系数R T2，所述第二系数R T2为CPU对一张子图进行AI预测推断从输入到输出的完整处理过程的平均时间T Cpu2除以一张子图采集处理从输入到输出的完整处理过程的平均时间T Cpu1得到的结果；当满足R T2≤1时，为每一个执行子图的拼接存储任务的子CPU分配一个GPU和一个子CPU执行子图的指定AI预测推断任务，当满足R T2＞1时，为每一个执行子图的拼接存储任务的子CPU分配两个GPU执行子图的指定AI预测推断任务；
若满足R T1≥2，则主CPU根据计算第二系数R T2，当满足R T2≤1时，为每一个执行子图的拼接存储任务的子CPU分配一个GPU和多个子CPU执行子图的指定AI预测推断任务，当满足R T2＞1时，为每一个执行子图的拼接存储任务的子CPU分配两个GPU和一个或多个子CPU执行子图的指定AI预测推断任务；
根据子CPU资源和GPU资源的动态调度结果，主CPU从维护的子CPU负载调度集合CS中按照当前时刻t0使用率最低的原则选择所需的子CPU资源，从维护的GPU负载调度集合GS中按照当前时刻t0使用率最低的原则选择所需的子GPU资源。
4.根据权利要求1所述的可扩展异构边缘计算架构的病理分析方法，其特征在于，所述利用FPGA的并行和流水特性完成子图图像数据的并行流水采集，并传输给分配的子CPU和GPU包括：
主CPU将选择的子CPU资源中使用率最低的子CPU，记选择的使用率最低的子CPU为CPU 1(t 0)，通过CPU 1(t 0) 确定待进行聚焦的位置点并传输给FPGA；
FPGA控制扫描相机的运动电机运动到相对应的位置点对每一个聚焦点完成聚焦任务，并将聚焦结果返回给CPU 1(t 0)；
CPU 1(t 0) 根据所有返回得到的聚焦位置完成该病理切片的聚焦映射面的拟合，从而得到待扫描切片的每一张子图对应的位置将这些位置发送给FPGA；
FPGA根据每一张子图对应的位置，控制扫描相机的X、Y、Z轴运动到对应位置，完成子图的图像数据采集，并通过基于PCIE传输协议将FPGA映射为虚拟内存或现存空间，通过DMA数据传输技术将采集得到的子图的图像数据传输给分配的子CPU和GPU。
5.根据权利要求2所述的可扩展异构边缘计算架构的病理分析方法，其特征在于，利用GPU完成子图的指定AI预测推断任务的步骤包括：GPU首先执行预先训练好的卷积神经网络，卷积神经网络的输入为当前的子图I(m,n)、输出为子图I(m,n)对应的检测目标区域集合OS(m,n)，且函数表达式为：
OS(m,n)={(x rect (m,n,k),y rect (m,n,k),w rect (m,n,k),h rect (m,n,k))}，
上式中，(x rect (m,n,k),y rect (m,n,k))为第k个检测目标区域左上角的像素坐标，(w rect (m,n,k),h rect (m,n,k))为第k个检测目标区域的宽度和高度，然后将检测目标区域集合OS(m,n)传输给对应的CPU，k=0,1,2,…,b，b表示检测目标区域总数量。
6.根据权利要求5所述的可扩展异构边缘计算架构的病理分析方法，其特征在于，利用子CPU完成指定AI预测推断任务的步骤包括：子CPU首先执行预先训练好的卷积神经网络，卷积神经网络的输入为当前的子图I(m,n)、输出为子图I(m,n)对应的检测目标区域集合OS(m,n)，且函数表达式为：
OS(m,n)={(x rect (m,n,k),y rect (m,n,k),w rect (m,n,k),h rect (m,n,k) }，
上式中，(x rect (m,n,k),y rect (m,n,k))为第k个检测目标区域左上角的像素坐标，(w rect (m,n,k),h rect (m,n,k))为第k个检测目标区域的宽度和高度，k=0,1,2,…,b，b表示检测目标区域总数量。
7.根据权利要求6所述的可扩展异构边缘计算架构的病理分析方法，其特征在于，所述利用子CPU完成子图的拼接存储任务包括：
子CPU根据下式确定子图I(m,n)左上角位置在病理切片中的绝对像素坐标位置；
pos x (m,n)=n×img_width-∑ n-1 j=1 w m,j
pos y (m,n)=n×img_height-∑ n-1 j=1 w i,n
上式中，pos x (m,n)和pos y (m,n)分别为子图I(m,n)左上角位置在病理切片中的绝对像素坐标位置，img_width表示病理切片的宽度，img_height表示病理切片的高度，w m,j 表示病理切片的左右相邻两张子图的重叠像素值，w i,n 表示病理切片的上下相邻两张子图的重叠像素值，i=1,2,…,Rows-1，j=1,2,…,Columns-1，Rows为病理切片的子图行数，Columns为病理切片的子图列数；
子CPU将收到的检测目标区域集合OS(m,n)的检测目标区域左上角的像素坐标映射为病理切片的绝对像素坐标位置，得到应的矩形框坐标集合OS_ABS(m,n)，且函数表达式为：
OS_ABS(m,n)={(x rect (m,n,k)+pos x (m,n),y rect (m,n,k)+pos y (m,n),w rect (m,n,k),h rect (m,n,k)) }，
上式中，pos x (m,n)和pos y (m,n)分别为子图I(m,n)左上角位置在病理切片中的绝对像素坐标位置，k为检测目标区域的序号，k=0,1,2,…,b，b表示检测目标区域总数量；
子CPU将收到的所有子图I(m,n)进行拼接并合并重叠区域，并将拼接结果以及AI预测推断任务执行结果存放在该子CPU一一对应的外部驱动器上，并将拼接结果以及AI预测推断任务执行结果存放的文件索引发送到主CPU以通过主CPU提供外部访问服务。
8.根据权利要求5所述的可扩展异构边缘计算架构的病理分析方法，其特征在于，所述将病理切片的切片全景图信息和指定AI预测推断任务执行结果存储到主CPU维护的文件列表以备读取之后还包括主CPU响应外部访问服务的步骤：主CPU将收到的文件索引维护更新一个数据文件列表，当主CPU收到外部访问者的访问请求时将数据文件列表发送给外部访问者，且主CPU在收到外部访问者请求指定的文件索引时将访问请求转发给对应的子CPU，并通过该子CPU从其对应的外部驱动器上读取对应的拼接结果以及AI预测推断任务执行结果并返回给外部访问者。
9.一种用于应用权利要求1～8中任意一项所述可扩展异构边缘计算架构的病理分析方法的病理分析装置，其特征在于，包括扫描相机单元、FPGA、GPU单元、子CPU单元、主CPU、预览相机、网络模块以及存储单元，所述扫描相机单元包括N路扫描相机，所述GPU单元包括K个GPU，所述子CPU单元包括M个子CPU，所述FPGA通过PCIE总线分别与扫描相机、GPU、子CPU以及主CPU相连，所述主CPU分别与预览相机、网络模块相连，所述存储单元包括M+1个外部存储器，其中M个外部存储器与子CPU一一对应连接，剩余的1个外部存储器和主CPU对应连接。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述可扩展异构边缘计算架构的病理分析方法的计算机程序。
CN202110421778.XA 2021-04-20 2021-04-20 一种可扩展异构边缘计算架构的病理分析方法及装置 Active CN112988395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110421778.XA CN112988395B (zh) 2021-04-20 2021-04-20 一种可扩展异构边缘计算架构的病理分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110421778.XA CN112988395B (zh) 2021-04-20 2021-04-20 一种可扩展异构边缘计算架构的病理分析方法及装置

Publications (2)

Publication Number Publication Date
CN112988395A true CN112988395A (zh) 2021-06-18
CN112988395B CN112988395B (zh) 2021-08-24

Family

ID=76341247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110421778.XA Active CN112988395B (zh) 2021-04-20 2021-04-20 一种可扩展异构边缘计算架构的病理分析方法及装置

Country Status (1)

Country Link
CN (1) CN112988395B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342538A (zh) * 2021-08-05 2021-09-03 浩鲸云计算科技股份有限公司 脚本与模型分离提升gpu计算吞吐的推理引擎设计方法
CN113626368A (zh) * 2021-06-30 2021-11-09 苏州浪潮智能科技有限公司 一种人工智能的数据处理方法及相关装置
CN116483587A (zh) * 2023-06-21 2023-07-25 湖南马栏山视频先进技术研究院有限公司 一种基于图像分割的视频超分并行方法、服务器及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150007182A1 (en) * 2013-06-27 2015-01-01 Microsoft Corporation Iteration support in a heterogeneous dataflow engine
CN107273331A (zh) * 2017-06-30 2017-10-20 山东超越数控电子有限公司 一种基于cpu+gpu+fpga架构的异构计算系统和方法
CN107977922A (zh) * 2016-10-25 2018-05-01 杭州海康威视数字技术股份有限公司 一种图像分析方法、装置及系统
CN108038874A (zh) * 2017-12-01 2018-05-15 中国科学院自动化研究所 面向序列切片的扫描电镜图像实时配准装置及方法
CN109360646A (zh) * 2018-08-31 2019-02-19 透彻影像(北京)科技有限公司 基于人工智能的病理辅助诊断系统
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
CN111078195A (zh) * 2018-10-18 2020-04-28 中国科学院长春光学精密机械与物理研究所 一种基于opencl的目标捕获并行加速方法
CN112135062A (zh) * 2020-11-24 2020-12-25 宁波兰茜生物科技有限公司 一种基于fpga的相机聚焦控制的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150007182A1 (en) * 2013-06-27 2015-01-01 Microsoft Corporation Iteration support in a heterogeneous dataflow engine
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
CN107977922A (zh) * 2016-10-25 2018-05-01 杭州海康威视数字技术股份有限公司 一种图像分析方法、装置及系统
CN107273331A (zh) * 2017-06-30 2017-10-20 山东超越数控电子有限公司 一种基于cpu+gpu+fpga架构的异构计算系统和方法
CN108038874A (zh) * 2017-12-01 2018-05-15 中国科学院自动化研究所 面向序列切片的扫描电镜图像实时配准装置及方法
CN109360646A (zh) * 2018-08-31 2019-02-19 透彻影像(北京)科技有限公司 基于人工智能的病理辅助诊断系统
CN111078195A (zh) * 2018-10-18 2020-04-28 中国科学院长春光学精密机械与物理研究所 一种基于opencl的目标捕获并行加速方法
CN112135062A (zh) * 2020-11-24 2020-12-25 宁波兰茜生物科技有限公司 一种基于fpga的相机聚焦控制的方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113626368A (zh) * 2021-06-30 2021-11-09 苏州浪潮智能科技有限公司 一种人工智能的数据处理方法及相关装置
CN113626368B (zh) * 2021-06-30 2023-07-25 苏州浪潮智能科技有限公司 一种人工智能的数据处理方法及相关装置
CN113342538A (zh) * 2021-08-05 2021-09-03 浩鲸云计算科技股份有限公司 脚本与模型分离提升gpu计算吞吐的推理引擎设计方法
CN116483587A (zh) * 2023-06-21 2023-07-25 湖南马栏山视频先进技术研究院有限公司 一种基于图像分割的视频超分并行方法、服务器及介质
CN116483587B (zh) * 2023-06-21 2023-09-08 湖南马栏山视频先进技术研究院有限公司 一种基于图像分割的视频超分并行方法、服务器及介质

Also Published As

Publication number Publication date
CN112988395B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN112988395B (zh) 一种可扩展异构边缘计算架构的病理分析方法及装置
Teodoro et al. High-throughput analysis of large microscopy image datasets on CPU-GPU cluster platforms
CN109360646B (zh) 基于人工智能的病理辅助诊断系统
EP4145351A1 (en) Neural network construction method and system
CN111968218A (zh) 基于gpu集群的三维重建算法并行化方法
CN112596902A (zh) 基于cpu-gpu协同计算的任务调度方法及装置
DE102020107080A1 (de) Grafiksysteme und Verfahren zum Beschleunigen von Synchronisation mittels feinkörniger Abhängigkeitsprüfung und Planungsoptimierungen basierend auf verfügbarem gemeinsam genutztem Speicherplatz
CN113449859A (zh) 一种数据处理方法及其装置
CN114638292B (zh) 一种基于多尺度分析的人工智能病理辅助诊断系统
JP2006031358A (ja) ボリュームレンダリング等の画像処理システム
CN102835974A (zh) 基于并行计算机的医学超声三维成像方法
CN108628267A (zh) 一种物方扫描成像系统的分离式、分布式操控方法
CN113128681A (zh) 一种多边缘设备辅助的通用cnn推理加速系统
CN111951281A (zh) 图像分割方法、装置、设备及存储介质
CN116263681A (zh) 移动边缘计算任务卸载方法、装置、设备及存储介质
CN114981776A (zh) 一种调度硬件加速器的方法及任务调度器
CN104537713B (zh) 一种新型三维重构系统
CN115375887A (zh) 一种移动目标轨迹预测方法、装置、设备及介质
Wang et al. An optimized image mosaic algorithm with parallel io and dynamic grouped parallel strategy based on minimal spanning tree
CN111078195A (zh) 一种基于opencl的目标捕获并行加速方法
CN115496835A (zh) 一种基于cpu和gpu异构并行架构的点云数据赋色方法和系统
CN111445503B (zh) 基于gpu集群上并行编程模型的金字塔互信息图像配准方法
CN112967331A (zh) 一种图像处理的方法、电子设备及存储介质
Dang et al. The Allen Brain Atlas: delivering neuroscience to the web on a genome wide scale
US20240086680A1 (en) Computing Apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 6-1-604, No.55 Fuye street, Luotuo street, Zhenhai District, Ningbo City, Zhejiang Province

Patentee after: Lansi (Ningbo) Intelligent Technology Co.,Ltd.

Address before: Room 6-1-604, No.55 Fuye street, Luotuo street, Zhenhai District, Ningbo City, Zhejiang Province

Patentee before: Ningbo Lanxi Biotechnology Co.,Ltd.

CP01 Change in the name or title of a patent holder
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210618

Assignee: Changsha Lansi Intelligent Technology Co.,Ltd.

Assignor: Lansi (Ningbo) Intelligent Technology Co.,Ltd.

Contract record no.: X2022330000624

Denomination of invention: A Pathological Analysis Method and Device with Scalable Heterogeneous edge computing Architecture

Granted publication date: 20210824

License type: Exclusive License

Record date: 20221025

EE01 Entry into force of recordation of patent licensing contract