CN115274099B

CN115274099B - 一种人与智能交互的计算机辅助诊断系统与方法

Info

Publication number: CN115274099B
Application number: CN202211171869.3A
Authority: CN
Inventors: 林宏翔; 王银杰; 黄慧敏; 许莹莹
Original assignee: Zhejiang Lab
Current assignee: Zhejiang Lab
Priority date: 2022-09-26
Filing date: 2022-09-26
Publication date: 2022-12-30
Anticipated expiration: 2042-09-26
Also published as: CN115274099A

Abstract

本发明公开了一种人与智能交互的计算机辅助诊断系统与方法，根据神经网络类型选择数据集；调用数据集对深度学习网络模型进行训练；完成深度学习网络模型的量化；对量化后的深度学习网络模型进行编译；并将编译后的深度学习网络模型传输至边缘端计算机辅助诊断设备；边缘端计算机辅助诊断设备接收待诊断图像，结合用户在待诊断图像标记的可疑病灶，进行预处理；将预处理后的待诊断图像输入至编译后的深度学习网络模型中进行处理，得到图像处理结果；本发明在计算机辅助系统中以人工标注的方式引入反馈机制，提高了诊断的准确性；可以确定可疑病灶区域的长轴和短轴，进而确定包含病灶区域的最小矩形作为感兴趣区域，降低了数据处理量。

Description

一种人与智能交互的计算机辅助诊断系统与方法

技术领域

本发明涉及计算机辅助诊断技术领域，特别涉及一种人与智能交互的计算机辅助诊断系统与方法。

背景技术

计算机辅助诊断（Computer Aided Diagnosis，CAD）系统是一种通过影像学、医学影像处理技术及其他生理、生化手段，结合计算机的分析计算，辅助发现病灶的医学影像信息系统。CAD系统有效利用了影像大数据，并借助计算机强有力的计算和分析能力，帮助医生快速地分析大量的检查信息，极大程度地简化放射科医生所从事的复杂阅片工作，有效消除诊断异质性的影响，减少漏诊、误诊，辅助放射科医生做出更快更准确的诊断。因此，计算机辅助诊断技术又被称为医生的“第二意见”。目前CAD系统已经广泛应用在临床环境上，例如乳腺癌辅助诊断过程中的肿瘤良恶识别、局灶性皮质发育不良中的大脑皮层测量、心肌扩大症中的心胸比例测量等方面。

虽然CAD系统能够帮助医生提高阅片效率，打破医生因专业水平及经验不同带来的诊断异质性，但是当前的CAD系统仍然面临着一些问题，主要有以下几点：首先是缺乏可解释性，深度学习模型虽然可以提高预测精度，然而由于模型本身的黑盒属性导致，医生难以理解其预测结果，也更加难以利用其制定相应的诊断指南；其次是缺乏反馈机制。不完善的人机交互方式会为CAD系统应用于医疗领域带来困难和风险；再次是交互标记过程中存在高延迟，在庞大的医疗CAD系统中，人机交互标记越复杂，系统延迟也越高；最后是肿瘤标注的颗粒度大，这对实现肿瘤精准治疗尤其是对术前规划、手术导航、术后评估等临床应用的帮助不大。

现有的CAD系统多采用云计算架构，在获取医学图像后，云计算架构的CAD系统需要在云上处理并存储医学图像，并将处理后的医学图像回传到客户端进行显示。基于云计算架构的CAD系统多采用以太网通信，其通信速率是系统交互的瓶颈，在频繁的云与客户端数据交互过程中造成系统延迟，尤其是引入医生交互式标注模式后延迟进一步升高，且随着交互复杂度的升高，延迟也随之升高。云计算单元的核心一般是GPU，为了利用GPU的可编程性，GPU架构在进行数据计算时需频繁访问外部存储器。与此同时数据传输过程也需要频繁的访问外部存储器。而在计算操作过程中，访问外部存储器耗能最多。另一方面，通用的GPU架构数据处理类型是确定的，无法降低处理数据的精度，而数据精度越高，计算功耗越大。

为了解决CAD系统中缺乏反馈机制的问题，一些研究(JA Fails等人的研究)在CAD系统中引入简笔画标注作为反馈机制，从而有效提高了医疗分割的精度。并且随着标注简笔画的复杂度增加，分割后的病灶轮廓也更加精确，却也不可避免地带来了系统延迟性的增加。因此，在交互式系统中引入有效的反馈机制并降低其延迟性具有重要意义。另一方面，为了解决CAD系统中存在高延迟和高功耗的挑战，一些研究（如清华大学的闾海荣等人的专利《基于边缘计算的医疗影像识别方法及系统》）在系统计算架构上进行改进。现有CAD系统可以分为云计算架构、云边协同计算架构、本地计算架构、以及边缘计算架构。具体的，云计算架构具有计算功耗大、计算延迟高、交互性差的特点；云边协同虽然计算功耗和延迟有所降低，但是其交互性较差；本地计算架构虽然计算延迟低，但是计算功耗高；边缘计算架构同时兼顾计算功耗低与计算延迟低的特点，因此特别适合设计低延迟，低功耗的交互式CAD系统。

现有CAD系统缺乏模型可解释性和系统反馈机制，现有CAD系统标注颗粒度粗，而粗颗粒度的肿瘤标注对精准治疗，尤其是术前规划、手术导航、术后效果评估等下游任务帮助小，且系统模型缺乏可解释性；虽然可以在AI（Artificial Intelligence，人工智能）模型的CAD系统中添加对病灶的标注以引入反馈机制，通过融合专家用户的知识进行人与智能交互诊断，但是，引入交互式标注方法势必对CAD系统带来延迟，影响临床诊断效率。具体的，随着标注方法复杂度增加和颗粒度的提升，系统的延迟时间也在增加，这可能会导致丧失交互的实时性。

发明内容

本发明的目的在于提供一种人与智能交互的计算机辅助诊断系统与方法，以克服现有技术中的不足。

为实现上述目的，本发明提供如下技术方案：

本发明公开了一种人与智能交互的计算机辅助诊断方法，具体包括如下步骤：

S1、根据神经网络类型选择数据集；调用数据集对深度学习网络模型进行训练；

S2、将训练完成后的深度学习网络模型的数据类型从32位浮点型数据转化为8位整型数据，完成深度学习网络模型的量化；

S3、对量化后的深度学习网络模型进行编译，生成边缘端计算机辅助诊断设备可运行的深度学习网络模型；并将编译后的深度学习网络模型传输至边缘端计算机辅助诊断设备；

S4、边缘端计算机辅助诊断设备接收待诊断图像，结合用户在待诊断图像标记的可疑病灶，对待诊断图像进行预处理；

S5、将预处理后的待诊断图像输入至编译后的深度学习网络模型中进行处理，得到图像处理结果。

作为优选，步骤S1中数据集为公开数据集或自建数据集，所述数据集中包括训练数据集和验证数据集，所述数据集中的每组数据包括CT（Computed Tomography ，计算机断层扫描）图像、一张金标准分割图像和一张标记有可疑病灶的图像。

作为优选，步骤S4具体包括如下步骤：

S41、读取待诊断图像，通过测量待诊断图像的纵横比与尺寸，调整统一图像的尺寸大小，得到输入图像；

S42、将输入图像转换为灰度图像；

S43、检测灰度图像中的边缘；

S44、根据灰度图像的边缘，找到面积最大、长度最长的轮廓作为感兴趣区域；

S45、查找并反向平移匹配输入图像分辨率的四个顶点；对感兴趣区域执行四个顶点透视变换以获得矩形视图；

S46、用户对矩形视图中的可疑病灶进行标记；

S47、裁剪出包含可疑病灶的区域图像

作为优选，步骤S46中用户通过一个长轴和一个短轴构成的十字标记对可疑病灶进行标记。

作为优选，所述长轴大于等于可疑病灶区域外接圆的直径；短轴要大于等于长轴垂直方向上可疑病灶最大坐标差的绝对值。

作为优选，所述S47中裁剪的区域图像为根据长轴和短轴得到一个正方形框，将正方形框向外扩展5个像素点，再将正方形框的长宽分别扩展到当前1.5倍大小，进而作为裁剪区域。

一种人与智能交互的计算机辅助诊断系统，包括主机和边缘端计算机辅助诊断设备；所述主机内设有模型训练模块，用于深度学习网络模型的训练；模型量化模块，用于将32位的浮点型数据转化为8位的整型数据；模型编译模块，用于编译生成边缘端计算机辅助诊断设备可运行的深度学习网络模型；所述边缘端计算机辅助诊断设备内包含存储模块，用于存储目标板运行的系统镜像；图像获取模块，用于获取待诊断图像；U盘，用来存储本地影像设备获取的待诊断图像以及分割完成的区域图像；输入模块，用于用户输入可以病灶标记；动态随机存储器，用于缓存数据；显示器，用于显示计算机辅助诊断的结果；分割模块，用于裁剪出包含可疑病灶的区域图像；预处理模块，用于对待诊断图像的预处理；数据处理单元，用于处理计算数据。

作为优选，所述边缘端计算机辅助诊断设备的主控包括ZYNQ Ultrascale和MPSOC芯片，系统架构包括CPU和FPGA。

本发明的有益效果：

1、本发明在CAD系统中以人工标注的方式引入了反馈机制，提高了诊断的准确性。

2、人工标记采用“十”字，可以确定可疑病灶区域的长轴和短轴，进而确定包含病灶区域的最小矩形作为感兴趣区域，降低了数据处理量。

3、本发明从系统计算架构、计算单元实现方式、模型数据类型、模型规模、感兴趣区域裁剪几个方面减小计算复杂度，提高计算速度，降低系统延迟，因而本发明具有更高的系统响应速度。

4、本发明采用现场可编程门阵列（Field Programmable Gate Array，FPGA）作为计算单元，FPGA能够自适应不同的数据类型，而低精度的数据类型计算能耗更低，同时在数据计算过程中，访问外部存储器是功耗最大的计算操作，FPGA的可编程性无需频繁访问外部存储器，因而，本系统具有低功耗的特点。

本发明的特征及优点将通过实施例结合附图进行详细说明。

附图说明

图 1 是本发明一种人与智能交互的计算机辅助诊断系统的结构示意图；

图 2 是本发明一种人与智能交互的计算机辅助诊断方法的预处理流程图；

图3是本发明一种人与智能交互的计算机辅助诊断方法的可疑病灶标记的分割说明示意图；

图4是本发明一种人与智能交互的计算机辅助诊断方法中图像预处理输入输出的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明是一种人与智能交互的计算机辅助诊断方法，具体包括如下步骤：

S4、计算机辅助模块接收待诊断图像，结合用户在待诊断图像标记的可疑病灶，对待诊断图像进行预处理；

在一种可行的实施例中，步骤S1中数据集为公开数据集或自建数据集，所述数据集中包括训练数据集和验证数据集，所述数据集中的每组数据包括CT图像、一张金标准分割图像和一张标记有可疑病灶的图像。

在一种可行的实施例中，步骤S4具体包括如下步骤：

S42、将输入图像转换为灰度图像；

S43、检测灰度图像中的边缘；

S45、查找并反向平移匹配输入图像分辨率的四个顶点；执行四个顶点透视变换以获得矩形视图；

S46、用户对矩形视图中的可疑病灶进行标记；

S47、裁剪出包含可疑病灶的区域图像

在一种可行的实施例中，步骤S46中用户通过一个长轴和一个短轴构成的十字标记对可疑病灶进行标记。

在一种可行的实施例中，所述长轴大于等于可疑病灶区域外接圆的直径；短轴要大于等于长轴垂直方向上可疑病灶最大坐标差的绝对值。

在一种可行的实施例中，所述S47中裁剪的区域图像为根据长轴和短轴得到一个正方形框，将正方形框向外扩展5个像素点，再将正方形框的长宽分别扩展到当前1.5倍大小，进而作为裁剪区域。

在一种可行的实施例中，所述边缘端计算机辅助诊断设备为以ZYNQ Ultrascale+MPSOC芯片为主控的核心板，采用CPU（Central Processing Unit，中央处理器）+FPGA的系统架构。

参阅图1，1为训练数据集，这里利用了一组公开的肝肿瘤分割数据集，包含131组不同尺寸的肝脏肿瘤分割数据集，其中103组作为训练数据集，28组作为验证数据集，训练数据集和验证数据集中的每一组数据包含一张肝脏CT肿瘤分割图像、一张金标准分割图像和一张附带的RECIST标记（一种‘十’字标记）图像。可选的，该数据集可以为其他类型的公开数据集或者自建数据集。

2为HOST（主机），在这里是一台包含GPU（Graphics Processing Unit ，图形处理器）和CPU的服务器，操作系统发型版本为CentOS，安装有CUDA、Docker和Vitis-AI等应用软件。可选的，CPU的架构可以是x86、ARM（Advanced RISC Machines，先进精简指令集计算机）、RISC-V等；操作系统发型版本可以是基于linux内核的Ubuntu、Red Hat等。

3为模型训练，这里采用的是深度神经网络（Deep Neural Networks，DNN）作为训练模型在主机上训练，本发明将肝脏CT图像及其附带的RECIST标注图像一起作为DNN的输入数据，将对应的金标准分割图像作为DNN的输出数据。这里，本发明采用U-Net分割模型作为DNN的一个实例，其他可选的DNN包括FCN、SegNet、U-Net++、RefineNet等；本发明所使用的深度学习编程平台为tensorflow，其他可使用深度学习编程平台包括Pytorch、Caffe、Keras等。

4为模型量化，模型量化采用Vitis-AI软件的QAT（Quantization AwareTraining）工具。量化的目的是将32位的浮点型数据转化为8位的整型数据，即将浮点类型网络模型转换为整形网络模型，以降低模型的数据复杂度。在模型量化的同时，可以对模型进行剪枝操作，进一步降低模型的大小，以达到轻量化的目的。模型量化过程在不损失计算精度的前提下，降低了计算复杂度，同时定点模型比浮点模型需要更少的内存带宽，在提高计算速度的同时降低计算功耗。

5为模型编译，本发明训练的模型是运行在GPU上的，而本发明部署的目标板没有GPU，只有DPU（Deep learning Processing Unit，深度学习处理器），因此需要编译为DPU上能运行的目标文件。编译文件所需的编译器支持Python和C++。

6为以ZYNQ Ultrascale+ MPSOC芯片为主控的核心板。板载ZYNQ Ultrascale+MPSOC芯片、4GB容量的DDR（Double Data Rate Synchronous Dynamic Random AccessMemory，双倍数据率同步动态随机存取存储器）内存、QSPI（Quad Serial PeripheralInterface，队列串行外设接口）接口的Flash以及电源系统和温度传感器模块。

7为MicroSD，用来存储目标板运行的系统镜像。可选的，系统镜像存储介质也可是SD（Secure Digital Card，安全数码卡）卡、eMMC（Embedded Multi Media Card，嵌入式多媒体卡）等非易失存储器。

8为图像获取模块，该模块可以通过本地影像设备实时采集、也可以从自建数据库获取，这些数据库一般是与医院合作共建的、或者从影像设备的附件中读取。可选的，本地影像设备可以是CCD（Charge Coupled Device，电荷耦合器件）相机，也可以是CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）相机，相机接口可以是MIPI (Mobile Industry Processor Interface，移动行业处理器接口)、CSI（CameraSerial Interface，相机串行接口）、USB（Universal Serial Bus，通用串行总线）、以太网、LVDS（Low-Voltage Differential Signaling ，低压差分信号）等；更进一步的，获取的图像模态可以是CT、PET（Positron Emission Computed Tomography，正电子发射计算机断层扫描）、MRI（Magnetic Resonance Imaging ，磁共振成像）、超声、X光等。

9为U盘，用来存储本地影像设备获取的原始图像以及分割完成的图像。U盘的接口可以是USB1.0、USB2.0、USB3.0、Type-C等。可选的，存储图像的介质可以是固态硬盘、机械硬盘、光盘、磁盘等。

10为键盘，用于医生输入RECIST标记，RECIST标记输入的为相互垂直的长轴与短轴，以包含病灶区域的前提下，其所变换的矩形面积越小越好。可选的，标记输入设备可以是鼠标、智能手机、平板、触摸屏、笔触屏、麦克风、摄像头等；标记区域的几何形状可以是十字、X形、也可以是圆、椭圆、三角形、四边形乃至其他形式的封闭图形或者是由坐标点确定的以上图形一种或几种的组合。

11为DDR4是动态随机存储器，用于缓存数据。可选的，缓存数据的存储器可以是SRAM（Static Random Access Memory，静态随机存储器）、DRAM（Dynamic Random AccessMemory，动态随机存储器）、SDRAM（Synchronous Dynamic Random Access Memory，同步动态随机存储器）、DDR、DDR2、DDR3、DDR5。

12为Flash存储器，用于存储用于图像处理的应用程序（如OpenCV等）。可选的，Flash的类型可以是NAND Flash或者NOR Flash。

13为显示器，用于显示计算机辅助诊断的结果。可选的，显示器可以为LCD（LiquidCrystal Display，液晶显示器）、OLED（Organic Electroluminescence Display，有机发光半导体显示器）、等离子显示器，其接口可以是VGA（Video Graphics Array，视频图像阵列）、MIPI、HDMI（High Definition Multimedia Interface，高清多媒体接口）、DP（DisplayPort，显示接口）、SDI（Serial Digital Interface，数字分量串行接口）等，分辨率可以是8K、4K、2K、1080P、720P等。

14为ZYNQ Ultrascale+ MPSOC模块的PL（Progarmmable Logic，可编程逻辑）端，其构成包括可编程输入/输出块、可配置逻辑块、嵌入式RAM（Random Access Memory，随机存储器）块、丰富的布线资源、底层内嵌功能单元、内嵌专用硬核资源。其中可编程输入/输出块分成不同的组（被称为bank）,各个组有专门的供电电压，可以灵活调节供电电压来配置各个组不同的电气标准；可配置逻辑块由查找表和寄存器构成，查找表构成纯组合逻辑电路，寄存器可配置成触发器或锁存器；嵌入式块RAM可以配置成单口RAM、双口RAM、FIFO（First Input First Output，先进先出）等常用存储器结构；布线资源连通FPGA内部所有的单元，包括全局布线资源、长线资源、短线资源、分布式布线资源；底层内嵌功能单元主要包括DLL（Delay Locked Loop，延迟锁相环）、PLL（Phase Locked Loop，锁相环）、DSP（Digital Signal Processor，数字信号处理器）等；专用嵌入硬核相对于软核而言，指相当于专用集成电路的乘法器、串并收发器、PCIe（Peripheral Component Interconnectexpress，高速串行计算机扩展总线标准）控制器、以太网控制器等

15为ZYNQ Ultrascale+ MPSOC模块的PL端构成的DPU，用于运行人工智能模型进行ROI的图像分割，其过程为在预处理模块裁剪出感兴趣区域后，采用基于U-Net网络的深度学习网络分割模型进行感兴趣区域的图像分割。

16为ZYNQ Ultrascale+ MPSOC模块的PS端，其构成为ARM硬核处理器，在这里用于图像的预处理，预处理的过程是通过的OpenCV图像处理工具包将采集的彩色图像转化为灰度图像、检测灰度图像的边缘、找到面积最大并且长度最大的轮廓图、找到与原始图像分辨率匹配的四个顶点、将四个顶点变换为矩形视图、交互式的标记长轴和短轴、一定的尺寸裁剪病灶区域使其包含病灶区域的长轴和短轴。

系统工作的数据流路径如下：

HOST端：训练数据集模块根据神经网络的类型选择训练数据集；将数据集导入HOST端存在HOST端，在HOST端进行训练的时候调用数据集；利用HOST端的应用软件Vitis-AI下的TensorFlow框架训练U-Net分割网络，训练完成后，利用Vitis-AI的QAT工具将深度学习网络模型的数据类型从32为浮点型转化为8位整形；完成量化后进行模型编译，生成ZYNQ Ultrascale+ MPSOC模块能够运行的神经网络模型；最后通过以太网将编译后的网络模型传输到ZYNQ Ultrascale+ MPSOC模块。

ZYNQ Ultrascale+ MPSOC模块端：从SD卡启动系统镜像；通过以太网接收 HOST端编译后的U-Net模型；安装计算机图像处理相关应用程序（比如OpenCV，nibabel，Torchio，scikit-image等）进行图像预处理，来统一输入图像的尺寸、分辨率、视角等相关特征，应用程序存储在Flash中；开启摄像头，扫描打印的待诊断图像，并存储在U盘中；运行图像处理相关应用程序，从U盘中将摄像头拍摄的CT图像缓存入DDR4；用户通过键盘向带待诊断的CT图像上的可疑病灶区域输入标记，缓存进DDR4；缓存进DDR4的待诊断图像进行裁剪操作后，这里使用OpenCV自带的图像裁剪函数如image.crop()进行裁剪，即完成图像的预处理，提取到感兴趣区域，数据通过AXI（Advanced eXtensible Interface，高级可扩展接口）总线从PS（Processing System，处理系统）端传输到PL端，进行PL端的DPU模块，即输入到U-Net分割网络，通过U-Net分割网络处理后，图像分割完成，在显示器上显示，同时存储到U盘中。

参阅图2，17为系统获取原始图像，即待诊断图像，并通过测量图像的纵横比与尺寸调整统一图像的尺寸大小，以达到输入图像标准化的效果。

18为将输入图像转换为灰度图像，由于输入图像的格式不尽相同，有可能是彩色图像、二值图像、索引图像等，为了图像格式的标准化，统一转化为灰度图像。

19为检测灰度图像边缘，这里可以直接利用OpenCV自带的Canny函数，边缘检测的目的是从背景中提取出图像的轮廓。

20为最大面积和长度提取，在上一步得到图像轮廓是图像边界与背景分离出来，确保原始图像中的信息不至于丢失，同时又可以去掉背景。

21为提取与原始图像匹配的四个顶点，通过与原始图像匹配的四个顶点确保通过边缘检测分割出的灰度图像与原始图像一致。其提取过程如下：

将原始图像的四个顶点写进一个

的矩阵，分别为

对pts矩阵进行排序（sort_vertices()），排序过后将值赋给rect矩阵，

；

再将rect矩阵赋给

；

计算

，

与

，

中最大的欧式距离的最大值取整作为矩形的宽。

，

，

；

计算

，

与

，

中最大的欧氏距离取整作为矩形的高。

，

，

。

得到目标矩阵dst,

利用rect坐标与dst坐标计算变换矩阵，并将变换矩阵应用到图像中得到扭曲后的图像，参阅图4中的（a），由于拍摄的图像不是正视图，图像扭曲后可以得到正视图，便于医生标注；

对于pts矩阵的排序函数（sort_vertices()）排序过程如下：

对pts矩阵的第一列与第二列求和，将和最小的行赋给rect矩阵的第一行，即

rect[0] = pts[np.argmin(pts.sum(axis=1))]。

对pts矩阵的第一列与第二列求和，将和最大的行赋给rect矩阵的第三行，即

rect[2] = pts[np.argmax(pts.sum(axis=1))]。

对pts矩阵的第一列与第二列作差，将和最小的行赋给rect矩阵的第二行，即

rect[1] = pts[np.argmin(pts.diff(axis=1))]。

对pts矩阵的第一列与第二列作差，将和最小的行赋给rect矩阵的第四行，即

rect[3] = pts[np.argmax(pts.diff(axis=1))]。

22为以四个顶点为轮廓转换为矩形，转换为矩形的目的是为了矫正图像拍摄过程中因抖动、角度等原因发生的扭曲，从而得到图像的正视图，参阅图4中的（b）。

23为绘制长轴与短轴交互式标注病灶，通过长轴和短轴标注病灶给医生提供了介入手段，可以有效综合利用人的经验与机器的智能确定病灶区域。相较于全自动的病灶分割方法，交互式标注病灶分割方法由于利用了医生提供的先验信息以及分块局部特征提取的方式来减小神经网络的输入特征维度，因此可以在降低模型参数的条件下依然保持较高的精度。随着模型参数量的降低，计算量也相应减小，因而可以降低系统延迟。参阅图3中的（a）和图3中的（b），这里可以通过长轴和短轴确定一个矩形，进而作为裁剪区域；其中长轴要大于等于可疑病灶区域外接圆的直径，短轴要大于等于长轴垂直方向上可疑病灶最大坐标差的绝对值。根据长轴和短轴得到一个正方形框，将正方形框向外扩展5个像素点，再将正方形框的长宽分别扩展到当前1.5倍大小，进而作为裁剪区域。当此处出现可疑病灶的医学图像信息时就需要标记，比如出现亮度与周围明显不同的封闭区域，或者某些区域的边界模糊等等；

24为裁剪出包含病灶长轴和短轴的感兴趣区域，通过裁剪可以减小所处理的数据量，同时给感兴趣区域的分割提取指定了一个初始范围，有利于处理模型的收敛，更快更准确的得到处理结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims

1.一种人与智能交互的计算机辅助诊断方法，其特征在于，具体包括如下步骤：

S42、将输入图像转换为灰度图像；

S43、检测灰度图像中的边缘；

S46、用户对矩形视图中的可疑病灶进行标记；具体操作如下：用户通过一个长轴和一个短轴构成的十字标记对可疑病灶进行标记；所述长轴大于等于可疑病灶区域外接圆的直径；短轴要大于等于长轴垂直方向上可疑病灶最大坐标差的绝对值；

S47、裁剪出包含可疑病灶的区域图像；具体操作如下：根据长轴和短轴得到一个正方形框，将正方形框向外扩展5个像素点，再将正方形框的长宽分别扩展到当前1.5倍大小，进而作为裁剪区域；

2.如权利要求1所述的一种人与智能交互的计算机辅助诊断方法，其特征在于：步骤S1中数据集为公开数据集或自建数据集，所述数据集中包括训练数据集和验证数据集，所述数据集中的每组数据包括原始医学图像、一张金标准分割图像和一张标记有可疑病灶的图像。

3.一种人与智能交互的计算机辅助诊断系统，包括主机和边缘端计算机辅助诊断设备；其特征在于：所述主机和边缘端计算机辅助诊断设备用于实现如权利要求1所述的一种人与智能交互的计算机辅助诊断方法；所述主机内设有模型训练模块，用于深度学习网络模型的训练；模型量化模块，用于将32位的浮点型数据转化为8位的整型数据；模型编译模块，用于编译生成边缘端计算机辅助诊断设备可运行的深度学习网络模型；所述边缘端计算机辅助诊断设备内包含存储模块，用于存储目标板运行的系统镜像；图像获取模块，用于获取待诊断图像；U盘，用来存储本地影像设备获取的待诊断图像以及分割完成的区域图像；输入模块，用于用户输入可疑病灶标记；动态随机存储器，用于缓存数据；显示器，用于显示计算机辅助诊断的结果；分割模块，用于裁剪出包含可疑病灶的区域图像；预处理模块，用于对待诊断图像的预处理；数据处理单元，用于处理计算数据。

4.如权利要求3所述的一种人与智能交互的计算机辅助诊断系统，其特征在于：所述边缘端计算机辅助诊断设备的主控包括ZYNQ Ultrascale和MPSOC芯片，系统架构包括CPU和FPGA。