CN205665697U - 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统 - Google Patents

Abstract

本实用新型提出了基于细胞神经网络或卷积神经网络的医学影像识别诊断系统，属于人工智能技术领域。本实用新型以细胞神经网络或卷积神经网络芯片为核心，利用与医学影像设备或与医学影像设备相连接的计算机已有的摄像头、内存、微处理器、喇叭/耳机和电源等，构成具有深度学习功能的医学影像诊断识别系统，克服了现有大规模深度神经网络或深度学习芯片的不足，具有集成度高、功耗小、计算速度快、配置灵活等特点。系统通过阅读足够量的影像数据，使机器学会“看”图像，并通过不断学习专家的诊断方式，达到“看懂”图像，使机器具备辅助医生对病人病症做出更精准的分析诊断的能力，并将这种诊断认知高度精确化。

Description

基于细胞神经网络或卷积神经网络的医学影像识别诊断系统

技术领域

本实用新型属于人工智能技术领域，具体地说，涉及基于细胞神经网络或卷积神经网络(Cellular or Convolutional Neural Networks，CNN)的医学影像识别诊断系统。其中，医学影像包含但不限于透视、放射线片、CT(Computed Tomography，电子计算机断层扫描)、MRI(Magnetic Resonance Imaging，磁共振成像)、超声、数字减影、血管造影等。

背景技术

人工智能早在计算机学伊始时就已经产生，它最早是在1956年被作为一门学术学科建立起来。机器学习属于人工智能的一个分支，而神经网络是机器学习的一个分支，是最实用、最有效的一个人工智能的分支。

早在1988年，杨林博士发表了如下两篇产生广泛影响的“细胞神经网络”论文和相关发明专利：

Leon O，Chua；Lin Yang，“Cellular Neural Networks：Theory”，IEEETrans.Circuits and Systems，vol.35(10)Oct.1988，pp.1257-1272.

Leon O，Chua；Lin Yang，“Cellular Neural Networks：Applications，”IEEETrans-Circuits and Systems，vol.35(10)Oct.1988，pp.1273-1290.

Leon O，Chua；Lin Yang，“Cellular Neural Network”，United States Patent，Patent Number：5,140,670，Date of Patent：Aug.18，1992.

在论文中，杨林博士提出了几个关键的基础性概念：并行处理、模拟电路、邻域直接连接、非邻域间接作用、非线性器件、多层网络、卷积算子、参数重新配置、应用于图像处理等，为神经网络的发展奠定了良好的基础，具体的技 术细节在后面再描述。

深度学习(Deep Learning)的概念由Hinton等人于2006年提出。深度学习领域中的突破引发了人工智能革命。近年来，微软、脸书、谷歌、IBM、百度等公司推出了各自的深度学习系统，运用“深度学习”技术提出了许多语音和图像的识别、合成算法。这些算法是一种计算机模拟人脑神经网络的算法。简单来说，就是用计算机搭建一个人工神经网络，然后通过已有的大量数据不断对其训练优化。

人工神经网络的训练方式是通过向它展示大量的训练范例，然后逐渐对网络参数进行调整，直至它能够反馈出令人满意的分类。一个典型的网络是由10-30层(目前最深的达到了150层)人工神经元堆积架构而成的。举例说明，当将一个图片信息发送给一个神经网络时，输入层接收信息并且进行低层次的处理后将结果输出给下一个层级，周而复始，直到到达最后一个层级，来决定该图像的分析结果。

为了获得更好的学习结果，神经网络的规模越来越大，层数越来越多，就成为了深度神经网络，深度神经网络是深度学习的一个重要分支。最早Google的深度神经网络Distblief用了1000台机器、16000核处理，网络规模大概是10亿个神经元，而后Andrew Ng在Stanford大学用16台服务器，总共64个GPU，并且用了一个超级性能的交换机InfiniBand，可训练的网络规模达到了112亿个神经元。最近，百度深度学习的网络规模已经达到了200亿的节点。估计不远的将来，深度神经网络的规模将达到1000亿个神经元，规模越大，对并行架构、优化算法提出前所未有的挑战，但超大规模后可能会获得更多新的认知。

基于上述深度学习的新算法和技术的部分性能已超过了人类大脑。人工智能在深度学习领域算法方面获得了一定突破的同时，国内外一些公司就将商业机 会瞄准了如何用芯片实现这些已优化参数的深度神经网络算法，获得人工智能行为。例如，近期麻省理工(MIT)、高通(Qualcomm)、英特尔(Intel)、Nvidia、Movidius等都在研发深度学习芯片。

医学影像(Medical Imaging)是研究借助于某种介质(如X射线、电磁场、超声波等)与人体相互作用，把人体内部组织器官结构、密度以影像方式表现出来，供诊断医师根据影像提供的信息进行判断，从而对人体健康状况进行评价的一门科学，包括医学成像系统和医学图像处理两方面相对独立的研究方向。医学影像学可以作为一种医学辅助手段用于诊断和治疗，诊断主要包括透视、放射线片、CT、MRI、超声、数字减影、血管造影等。医学影像学中的许多技术已经在科学研究的工业中获得了广泛的应用。

在影像医学诊断中，只通过观察图像去发现病变体，往往需要借助医生的经验来判定。至于准确的确定病变体的空间位臵、大小、几何形状及与周围生物组织的空间关系仅通过肉眼观察图像是并不一定十分准确的。因此，当前的影像医学诊断更多地与图像处理、计算机视觉、模式识别技术相结合，利用计算机图像处理技术对图像进行分析和处理，实现对人体器官、软组织和病变体的分割提取，从而辅助医生对病变体及其他感兴趣的区域进行定性甚至定量的分析，由此提高医学诊断的准确性和可靠性。

然而，仅仅通过计算机图像处理技术对医学诊断影像进行数据处理，还只是停留在分析与处理的层面。在人工智能时代，借助人工智能深度学习技术的应用，利用“细胞神经网络或卷积神经网络”的工作过程，可以对医学影像设备所拍摄的医学诊断影像进行不断迭代、不断抽象，从原始信号做低级抽象，逐渐向高级抽象迭代，抽象层面越高，存在的可能猜测就越少，越有利于医学诊断影像数据的分类，辅助提高医学诊断的准确性和可靠性。

此外，还可以通过为细胞神经网络或卷积神经网络添加更多病例图像，让医学影像设备学习并得出改进结果，从而达到让医学影像设备通过不断学习，识别并理解所拍摄的医学诊断影像的效果。通过阅读足够量的影像数据，使医学影像设备学会“看”图像，并通过不断学习专家的诊断方式，达到“看懂”图像，使医学影像设备具备辅助医生对病人病症做出更精准的分析诊断的能力，并将这种诊断认知高度精确化。

发明内容

针对现有计算机图像处理技术仅停留在数据处理、分析层面，无法真正积极地推进诊断结果精准化的目标，本实用新型提出了一种医学影像诊断细胞神经网络或卷积神经网络识别系统，以细胞神经网络或卷积神经网络(Cellular/Convolutional NeuralNetworks，CNN)为核心，利用医学影像设备(如放射线片、CT、MRI、超声等实现图像获取)、显示屏、喇叭/耳机、内存、微处理器MCU和电池等硬件资源，构造一个深度学习的医学影像诊断细胞神经网络或卷积神经网络识别系统，在医学影像诊断细胞神经网络或卷积神经网络识别系统已训练学习的基础上，能够实时精准地完成影像结果的识别。通过本实用新型专利对于医学影像结果的识别，医学影像结果显示终端/报告打印系统会呈现出诊疗结果与判断。

本实用新型专利提出的基于细胞神经网络或卷积神经网络的医学影像识别诊断系统，其特征在于，包括如下组件：机器视觉识别芯片、摄像头、微处理器、内存、扬声器、显示屏和电源，其中

所述摄像头的输出连接到所述机器视觉识别芯片的输入；所述机器视觉识别芯片与所述微处理器双向连接；所述内存与所述微处理器双向连接；所述显 示器的输入单向连接到微处理器的输出；所述扬声器的输入单向连接到微处理器的输出；所述电源为医学影像识别诊断系统提供稳定的供电。

优选地，所述的机器视觉视觉芯片是细胞神经网络或卷积神经网络芯片。

优选地，所述的细胞神经网络或卷积神经网络芯片可以内置于平板电脑、笔记本电脑，以及两者二合一的设备。

优选地，所述的细胞神经网络或卷积神经网络芯片可以做成计算机板卡形式，插入个人台式计算机机、服务器、工作站以及大中型计算机等里面，构建大规模深度神经网络。

本实用新型专利提出的基于细胞神经网络或/卷积神经网络的医学影像识别诊断系统，其特征在于，包括如下与医学影像设备以及与其外接的计算机所具有的组件：医学影像设备的拍摄模块、微处理器、内存、显示屏、扬声器、电源和机器视觉识别芯片，其中：

所述医学影像设备的拍摄模块的输出连接到所述机器视觉识别芯片的输入单向相连；所述机器视觉识别芯片与所述微处理器双向连接；所述内存与所述微处理器双向连接；所述显示器的输入与微处理器的输出单向连接；所述扬声器的输入与微处理器的输出单向连接；所述电源为医学影像识别诊断系统提供稳定的供电；

所述细胞卷积神经网络芯片由系统时钟模块、数模变换模块、图像处理模块、通讯控制模块、存储器和细胞卷积神经网络模块组成，其中，

所述系统时钟模块的输入连接到外部时钟源，为所述细胞卷积神经网络芯片提供内置或外置的工作时钟；所述数模变换模块的输入连接到通讯控制模块、输出连接到所述图像处理模块；所述图像处理模块的输入还连接到外部模拟图像源、输出连接到所述细胞卷积神经网络模块；所述细胞卷积神经网络模块对 其接收的图像信号进行处理得到图像特征的值；所述存储器与所述细胞卷积神经网络模块连接；所述通讯控制模块与所述细胞卷积神经网络模块双向连接。

优选地，所述的机器视觉芯片是细胞神经网络或卷积神经网络芯片。

优选地，所述的细胞神经网络或卷积神经网络芯片外置于医学影像设备或与医学影像设备连接的计算机。

由上述方案可以看出，本实用新型细胞神经网络或卷积神经网络医学影像识别诊断系统，利用医学影像设备拍摄的图像、内存、微处理器、喇叭/耳机和电源等，构成一个影像诊断深度学习识别系统，克服了现有计算机图像处理系统仅停留在分析、处理层面的不足，以及当前对于深度神经网络或深度学习算法缺乏硬件有效支撑的现状，具有集成度高、功耗小、计算速度快、配置灵活等特点。细胞神经网络或卷积神经网络医学影像识别诊断系统支持影像诊断设备像人类视觉系统一样，具有“看懂”患者病患的能力，从而能自主适应环境；另一方面，依靠识别图像内容，可以帮助医学设备更好地了解患者，多种影像输入共同诊断。本实用新型适用范围广，市场潜力巨大。

附图说明

图1是本实用新型提出的内置于影像诊断设备中的细胞神经网络或卷积神经网络医学影像识别诊断系统框图。

图2是4×4两维蜂窝神经网络示意图。

图3是单个细胞等效电路的举例。

图4是CNN芯片原理框图。

图5是本实用新型提出的外置于医学影像诊断设备的细胞神经网络或卷积神经网络医学影像识别诊断系统连接示意图。

具体实施方式

下面将结合附图对本实用新型的具体实施例进行详细描述。

本实用新型以先进的细胞神经网络或卷积神经网络(CNN)机器视觉识别芯片为核心，利用医学影像设备拍摄的图像、显示屏、喇叭/耳机、内存、微处理器和电池等硬件资源，构成一个医学影像诊断细胞神经网络或卷积神经网络(CNN)识别系统，其原理框图如图1所示。

细胞神经网络或卷积神经网络(CNN)机器视觉识别芯片，以下称CNN芯片：用于图像特征提取，提取出医学影像设备送来的图像或视频中的所关注的图像主要特征。CNN芯片的核心是细胞神经网络或卷积神经网络(CNN)，CNN网络的原理框图如图2所示，CNN网络可以构建深度学习系统。如同人类的神经网络，CNN由大量非线性模拟电路组成，能够实时处理输入的信号，当然现在这些非线性模拟电路的功能也可以采用数字电路来实现。这些非线性模拟电路构成的单元称之为细胞(Cell)，达数百万个的细胞按一定的规则排列，只有最邻近的细胞才直接互相相连，交换信息。远端的细胞通过耦合间接地发挥影响。每个细胞由线性电容、线性电阻、非线性的压控电流源、独立的电压源和独立的电流源等组成，如图3所示，也可以用数字电路实现与图3等效的功能。CNN利用了模拟和数字两个世界的优势，它的连续时间特性可以实时处理信号，本地互联特性使得它便于大规模集成电路实现，CNN特别适用于信号平行处理。

图2给出的是二维一层CNN网络结构，可以进一步构筑多层的CNN，增加学习的深度，如同现在的深度学习网络架构。CNN细胞的参数是可以通过事先设置，并在后面使用过程中通过程序再次设置。

不同的CNN细胞、不同的CNN层可以完成不同的图像处理功能，比如 不同细胞分别完成图像降噪、图像纹理、边缘检测、图像分割、凸凹角检测、边界提取、孔洞填充、骨架提取、裁剪等，从而实时地得到图像的各种特征，便于后续利用医学影像设备的微处理进一步实现图像识别、表示和描述。当然，图像的识别、表示和描述同样可以由不同配置的CNN实现。

CNN获得的图像特征信号可以直接送给连接医学影像设备的计算机微处理器MCU，两者连接接口可以是串行或并行数据接口。

关于CNN更详细的原理，请参见前面给出的杨林博士所申请的发明专利和发表的学术论文。基于CNN原理，已完成集成电路-智能视觉芯片(Smart Vision IntegratedCircuit，SViC)的设计和流片。

医学影像诊断设备拍摄器件：用于拍摄我们所关注或要处理的目标图像或视频，把获得的图像或者视频送给CNN芯片。

医学影像诊断设备外接的计算机微处理器MCU：微处理可以和CNN芯片通讯，设置和检查CNN芯片的工作状态。设置CNN芯片的初始工作模式，在系统运行期间，它可以读取CNN芯片的工作状态，并重新设置CNN中各个细胞的配置参数，获得不同的图像特征。根据所选用微处理器的能力，让微处理器依据CNN获得的图像特征，参与部分图像识别工作，从而使微处理器和CNN芯片配合加速完成不同的图像识别功能，提高识别速度和识别性能，起到加速器的作用。依靠识别出的图像内容，可以帮助医学影像设备更好地理解病患特征。另外，医学影像诊断蜂窝/卷积神经网络CNN识别系统使得影像诊断设备依据训练习得的经验，在诊疗方面有类似医生的诊断能力，具有“看懂”影像结果的识别力与判断力，并且能自主适应更复杂的环境。

医学影像诊断设备外接的计算机内存：用于保存CNN芯片和计算机微处理器等涉及到的输入的原始数据、中间计算结果和最终的图像特征数值等，以及 保存预先制作的一些录音、文字、图片、视频等内容。CNN芯片自身也有存储器，也可以部分保存图像特征过程中涉及到的数据。

医学影像诊断设备外接的计算机耳机或扬声器：用于播放语音信息。

医学影像诊断设备外接的计算机液晶显示屏LCD：所述的CNN芯片通过微处理器控制后还连接有液晶显示屏，用以显示CNN芯片或系统的工作状态和系统配置等信息，以及展示相关图片或视频资料。

医学影像诊断设备以及其外接的计算机电源：用于给CNN芯片和系统提供所需的稳定供电。

其它和CNN芯片关联不大或没有关联的计算机硬件，以及计算机软件，包括CNN应用软件APP，在此就不再赘述了。

本实施例的特征在于上述的细胞神经网络或卷积神经网络(CNN)芯片位于影像诊断设备内部或与影像诊断设备连接的计算机内部，与影像诊疗设备的拍摄器件以及计算机内存、微处理器、喇叭/耳机和电源等硬件一起，构成医学影像诊断设备细胞卷积神经网络识别系统。

本实用新型所采用的CNN芯片方案的优点包括电子器件集成化程度高，芯片功耗小，集成电路芯片功耗小于50毫瓦，具有显著的低功耗、高性价比的功效。适合在小型智能设备中使用，市场潜力巨大；采用CNN技术，实时从所获得的视觉图像中提取图像图形特征数据，提取运算时间是目前世界公布的运算提取时间的十分之一左右；CNN芯片设计内部有数百万个视觉神经细胞单元，采用可设置(预置、网络修改)神经细胞网络层数，和每层细胞的功能参数，可以灵活改变该芯片的应用范围。

上述实施例采取的是把CNN芯片内置在现有的医学影像诊断设备内部，同样地，CNN芯片可以内置于与医学影像诊断设备外接的计算机内部，或者做 成具有相应标准接口的计算机板卡，如同现在大规模深度神经网络中普遍采用的GPU板卡，插入个人台式计算机(PC机)、服务器、工作站以及大中型计算机等里面，构建基于CNN芯片的大规模深度神经网络系统，完成深度学习任务。

在本实施例中，除了用到上述实施例中所述的医疗影像设备或与医疗影像设备连接的计算机本身具有的硬件模块或组件之外，也可以用CNN芯片内部的以下模块，如图4所示，构建细胞神经网络或卷积神经网络医学影像识别诊断系统。

外部图像源和数模变换模块：CNN芯片支持外部图像源的输入。外部图像源可能是摄像机、计算机或视频播放器等，物理接口支持BNC、分离视频信号接口YUV/RGB、S-Video端子、复合视频信号CVBS、RCA、USB、HDMI等。外部图像源产生的图像信号可能是模拟的或数字的，若是模拟的，则直接送给图像处理模块单元，但若是数字的，则送给数模变换模块，完成数字图像信号到模拟信号的转换，得到相应的模拟信号，经图像处理模块后再送给CNN单元。

在本实施例中，影像诊断细胞卷积神经网络识别系统，图像源通过医学影像设备把拍摄病例图像作为外部图像源，图像源是数字的，要经过数模变换模块，然后再送给图像处理模块。

图像处理模块：对外部输入的图像信号进行一些技术处理，比如对输入信号进行幅度限幅处理，归一化为[-1，1]之间，以便满足CNN对输入幅度的要求；伽马校正，以获得更好的动态分布，等。

系统时钟模块：CNN芯片SViC支持内置时钟和外部时钟。在本实施例中，采用了CNN芯片内置时钟。

存储器：用于保存输入的原始数据、中间计算结果和CNN最终的图像特征数值等，存储器是内置在CNN里面的。存储器采用数字存储器或模拟存储器，采用模拟存储器更能降低功耗。

通讯/控制模块：完成CNN芯片和外部的命令、数据交换，支持串行数据接口，包括USB、I²C等；并行数据接口，RJ45接口的千兆以太网，以及无线网络接口，包括WiFi和蓝牙。

在本实施例中，外置CNN棒和医学影像诊断设备或与医学影像诊断设备连接的计算机有两种连接方式，如图5所示，一是通过通用串行总线(Universal Serial Bus，USB)接口，用USB OTG(On the Go)数据线把医学影像诊断设备或与医学影像诊断设备连接的计算机和外置CNN棒连接。OTG主要应用于各种不同的设备或移动设备间的联接，进行数据交换。外置CNN棒的电源由医学影像诊断设备或与医学影像诊断设备连接的计算机自动探测到外置CNN后，通过OTG数据线提供。

第二种连接方式是采用IEEE 802.11无线接口(Wireless Fidelity，WiFi)。针对不支持USB OTG接口的医学影像诊断设备或计算机，此时，就可以通过WiFi连接外置CNN芯片，通过WiFi无线接口传递命令、交换数据等。当然，这种方式下就需要在CNN芯片里面有内置电源，或者为CNN芯片提供外部电源。

本实施例的特征在于所述的细胞神经网络或卷积神经网络芯片位于医学影像设备或医学影像设备外接的计算机外面，利用USB接口或WiFi接口连接到医学影像设备或医学影像设备外接的计算机上，与医学影像设备或医学影像设备外接的计算机已有的摄像头、内存、微处理器、喇叭/耳机和电源等，构成医学影像诊断细胞卷积神经网络识别系统。

上述实施例中涉及到的细胞神经网络或卷积神经网络(Cellular/ConvolutionalNeural Networks，CNN)芯片，在实际具体实施中，也可以替换为其它机器视觉识别芯片，例如基于浅度学习(Shallow Learning)的机器视觉识别芯片、基于自动编码器(AutoEncoder)、稀疏编码(Sparse Coding)、限制玻尔兹曼机(Restricted BoltzmannMachine，RBM)、深信度网络(Deep Belief Networks)等深度学习(Deep Learning)算法的机器视觉识别芯片。

上述具体实施方式以较佳实施例对本实用新型进行了说明，但这只是为了便于理解而举的一个形象化的实例，不应被视为是对本实用新型范围的限制。同样，根据本实用新型的技术方案及其较佳实施例的描述，可以做出各种可能的等同改变或替换，而所有这些改变或替换都应属于本实用新型权利要求的保护范围。

Claims (7)

1.基于细胞神经网络或卷积神经网络的医学影像识别诊断系统，其特征在于，包括如下组件：机器视觉识别芯片、摄像头、微处理器、内存、扬声器、显示屏和电源，其中

所述摄像头的输出连接到所述机器视觉识别芯片的输入；

所述机器视觉识别芯片与所述微处理器双向连接；

所述内存与所述微处理器双向连接；

所述显示器的输入单向连接到微处理器的输出；

所述扬声器的输入单向连接到微处理器的输出；

所述电源为医学影像识别诊断系统提供稳定的供电。

2.根据权利要求1所述的基于细胞神经网络或卷积神经网络的医学影像识别诊断系统，其特征在于，所述的机器视觉视觉芯片是细胞神经网络或卷积神经网络芯片。

3.根据权利要求1所述的基于细胞神经网络或卷积神经网络的医学影像识别诊断系统，其特征在于，所述的细胞神经网络或卷积神经网络芯片可以内置于平板电脑、笔记本电脑，以及两者二合一的设备。

4.根据权利要求1所述的基于细胞神经网络或卷积神经网络的医学影像识别诊断系统，其特征在于，所述的细胞神经网络或卷积神经网络芯片可以做成计算机板卡形式，插入个人台式计算机机、服务器、工作站以及大中型计算机等里面，构建大规模深度神经网络。

5.基于细胞神经网络或卷积神经网络的医学影像识别诊断系统，其特征在于，包括如下与医学影像设备以及与其外接的计算机所具有的组件：医学影像 设备的拍摄模块、微处理器、内存、显示屏、扬声器、电源和机器视觉识别芯片，其中：

所述医学影像设备的拍摄模块的输出连接到所述机器视觉识别芯片的输入单向相连；

所述机器视觉识别芯片与所述微处理器双向连接；

所述内存与所述微处理器双向连接；

所述显示器的输入与微处理器的输出单向连接；

所述扬声器的输入与微处理器的输出单向连接；

所述电源为医学影像识别诊断系统提供稳定的供电；

所述细胞卷积神经网络芯片由系统时钟模块、数模变换模块、图像处理模块、通讯控制模块、存储器和细胞卷积神经网络模块组成，其中，

所述系统时钟模块的输入连接到外部时钟源，为所述细胞卷积神经网络芯片提供内置或外置的工作时钟；

所述数模变换模块的输入连接到通讯控制模块、输出连接到所述图像处理模块；

所述图像处理模块的输入还连接到外部模拟图像源、输出连接到所述细胞卷积神经网络模块；

所述细胞卷积神经网络模块对其接收的图像信号进行处理得到图像特征的值；

所述存储器与所述细胞卷积神经网络模块连接；

所述通讯控制模块与所述细胞卷积神经网络模块双向连接。

6.根据权利要求5所述的基于细胞神经网络或卷积神经网络的医学影像识别诊断系统，其特征在于，所述的机器视觉芯片是细胞神经网络或卷积神经网络芯片。

7.根据权利要求5所述的基于细胞神经网络或卷积神经网络的医学影像识别诊断系统，其特征在于，所述的细胞神经网络或卷积神经网络芯片外置于医学影像设备或与医学影像设备连接的计算机。