CN207166614U - 医用内窥镜摄像系统 - Google Patents

Abstract

本实用新型公开的医用内窥镜摄像系统，是一种采用ARM嵌入式系统与FPGA相结合的医用内窥镜摄像系统，该系统以FPGA芯片与ARM S3C2440芯片为核心，采用CCD摄像头采集内窥镜图像，利用FPGA强大的并行处理能力及丰富的硬件资源实现图像处理，运用ARM嵌入式系统实现人机交互。本实用新型具备图像实时显示、冻结、存储、回放等功能，且摄取的图像色彩失真小，可以根据诊断需要进行处理；具有病历信息存储等功能，可使用户能够更好地诊断和治疗；电路结构简单，体积小，廉价，设计灵活，能够脱离计算机实现内窥镜摄像。

Description

医用内窥镜摄像系统

技术领域

本实用新型涉及医用内窥镜摄像系统，属于医疗器械领域。

背景技术

医用内窥镜作为影像医疗设备的一种，是应用比较广泛的仪器。在医用内窥镜辅助下，用户能观察到体内器官的组织形态，识别异常组织及可能增生或恶性增生组织。医用内窥镜给医生进行诊断和微创手术带来了方便，其诊断和治疗优势在医学领域已经到达共识。医用内窥镜成像直接通过肉眼观察，存在图像小、操作不便、对用户经验要求高等缺点，因此需要摄像系统辅助成像。医用内窥镜摄像系统作为辅助成像工具，是用于内窥镜图像采集、处理的医用电子仪器，其成像质量的好坏直接影响临床诊断及治疗。

内窥镜摄像系统工作原理为：光源发出类似日光的光，通过光纤传输到受检目标体内，内窥镜接收到体腔内粘膜面的反射光，由透镜对其成像，传输到摄像装置对图像进行采集，转换为电信号；然后，视频信号传输到处理中心，在处理中心实现图像的存储和处理；最后，由图像接口输出到显示器，实现实时显示受检目标的彩色图像。由此可见，内窥镜摄像系统实质是用于医疗成像的传统彩色摄像系统。

摄像系统主要有模拟式和数字式两种，前者技术发展成熟，但由于是模拟视频，不利于图像的后续处理；后者设计起来相对灵活，且容易实现图像的各类处理。随着科技的发展，数字信息时代的到来，图像的信息量越来越大，数字式摄像系统已成为发展的主要趋势。

数字式摄像系统根据实现的具体方式不同一般分为几种：第一种是采用PC机接收数字图像传感器输出的图像数据，运用纯软件方式实现图像的处理、存储及显示。这类系统完全在计算机平台实现，虽然软硬件资源丰富，处理效果较好，但是由于传输速度的限制，无法满足当前对摄像高分辨率，高清晰度的要求。第二种是采用纯粹的硬件方式实现图像的处理。器件主要有专用集成芯片（ASIC，Application Specific Integrated Circuit）、数字信号处理器（DSP，Digital Signal Process）、和现场可编程逻辑阵列（FPGA，FieldProgrammable Gate Array）。这类实现方法采用专门的硬件电路实现图像处理，处理速度快，系统结构可重新配置，并且可以独立工作，体积小。然而，由于图像的处理完全由硬件实现，所能实现的方式比较单一。第三种则是综合第一种和第二种实现方法中各自的优点，采用软硬件结合实现。典型构架是采用FPGA和DSP与计算机结合，FPGA和DSP主要用于实现相对较复杂的处理算法，如对视频编解码，视频存储、人机交互功能则主要在计算机上实现。这类系统一般通过在计算机上添加额外的视频采集卡实现，具有功能强大，支持密集算法，实用性强等优点。但是，体积较大，价格昂贵。第四种是采用嵌入式技术构建的系统。采用FPGA为核心器件，运用硬件处理速度可达软件处理速度的数十倍之多的特点，在FPGA内部对图像进行处理。并运用SOPC（片上可编程系统）技术在FPGA器件内部嵌入Nios Ⅱ内核，运用软件方式实现图像的简单操作。这类系统也是采用软硬件结合方式实现，不同之处在于系统所有功能均在单片FPGA芯片内实现，设计灵活，体积小，图像处理效果好，成本低。然而，这类系统技术不够成熟，在内窥镜摄像领域未见应用，需进一步研究。

发明内容

本实用新型公开的医用内窥镜摄像系统，一种采用ARM嵌入式系统与FPGA相结合的医用内窥镜摄像系统，该系统以FPGA芯片与ARM S3C2440芯片为核心，采用CCD摄像头采集内窥镜图像，利用FPGA强大的并行处理能力及丰富的硬件资源实现图像处理，运用ARM嵌入式系统实现人机交互。

本实用新型的技术方案为：医用内窥镜摄像系统，包括FPGA、ARM嵌入式系统、CCD摄像头、视频解码芯片、视频缓存、视频编码芯片、监视器、输入设备、LCD、外部存储器等部分，CCD摄像头与视频解码芯片相连，视频解码芯片与FPGA相连，FPGA与视频缓存、视频编码芯片、ARM嵌入式系统相连，视频编码芯片与监视器相连，ARM嵌入式系统与输入设备、LCD、外部存储器相连；FPGA主要完成内窥镜图像摄像及图像处理功能，ARM嵌入式系统用于接收用户命令和FPGA处理后的图像数据，实现人机交互；CCD摄像头采集内窥镜光学图像，输出标准制式的模拟视频信号，经过视频解码芯片解码，将模拟视频转换为数字视频，FPGA识别数字视频流的有效视频图像数据，根据需要完成图像处理，ARM嵌入式系统接收输入设备的输入命令，响应命令，将命令传输到FPGA处理模块，控制图像处理，处理后的图像存入视频缓存，由 FPGA内部的接口逻辑从视频缓存中读出视频数据，经ARM嵌入式系统与FPGA之间的通信线缆，输入到ARM嵌入式系统，在ARM嵌入式系统中实现图像的存储、回放等。

根据本发明优选的，所述FPGA采用Clone Ⅱ系列的FPGA芯片，具体型号为EP2C35F672C6。

根据本发明优选的，所述ARM嵌入式系统采用ARM920T结构的S3C2440微处理器。

根据本发明优选的，所述CCD摄像头采用4cm×4cm×5cm大小的彩色CCD摄像头，具体型号为Digital hi-res color CCD camera EP-V520HC，输出720×576分辨率的标准PAL制式的复合视频信号。

根据本发明优选的，所述视频解码芯片采用ADI公司生产的、型号为ADV7181B的视频解码芯片来实现模拟视频数字化。

根据本发明优选的，所述视频编码芯片采用ADI公司生产ADV7123芯片来实现数字视频信号编码。

根据本发明优选的，所述FPGA内部的图像处理逻辑主要包括帧检测、图像处理、SDRM控制器、VGA控制器、存储控制、色彩空间转换、同步逻辑控制、IIC控制器、奇偶合成等，用于实现图像显示、缓存、色彩处理、通信传输等功能。

本实用新型的有益效果为：1、系统具备图像实时显示、冻结、存储、回放等功能，且摄取的图像色彩失真小，可以根据诊断需要进行处理；2、具有病历信息存储等功能，可使用户能够更好地诊断和治疗；3、电路结构简单，体积小，廉价，设计灵活；4、充分发挥FPGA在图像处理领域的并行处理数据能力和ARM嵌入式系统在嵌入式领域的设计灵活性，使本实用新型能够脱离计算机实现内窥镜摄像。

附图说明

图1为本实用新型结构示意图。

图2为本实用新型ARM嵌入式系统的硬件组成结构图。

图3为本实用新型嵌入式Linux系统的软件构架图。

图4为本实用新型视频解码原理框图。

图5为本实用新型FPGA内部数字逻辑功能实现框图。

图6为本实用新型ARM嵌入式系统与FPGA之间的硬件连接示意图。

具体实施方式

图1所示为本实用新型医用内窥镜摄像系统的结构示意图，包括FPGA、ARM嵌入式系统、CCD摄像头、视频解码芯片、视频缓存、视频编码芯片、监视器、输入设备、LCD、外部存储器等部分，CCD摄像头与视频解码芯片相连，视频解码芯片与FPGA相连，FPGA与视频缓存、视频编码芯片、ARM嵌入式系统相连，视频编码芯片与监视器相连，ARM嵌入式系统与输入设备、LCD、外部存储器相连；FPGA主要完成内窥镜图像摄像及图像处理功能，ARM嵌入式系统用于接收用户命令和FPGA处理后的图像数据，实现人机交互；CCD摄像头采集内窥镜光学图像，输出标准制式的模拟视频信号，经过视频解码芯片解码，将模拟视频转换为数字视频，FPGA识别数字视频流的有效视频图像数据，根据需要完成图像处理，ARM嵌入式系统接收输入设备的输入命令，响应命令，将命令传输到FPGA处理模块，控制图像处理，处理后的图像存入视频缓存，由 FPGA内部的接口逻辑从视频缓存中读出视频数据，经ARM嵌入式系统与FPGA之间的通信线缆，输入到ARM嵌入式系统，在ARM嵌入式系统中实现图像的存储、回放等。

FPGA采用Clone Ⅱ系列的FPGA芯片，具体型号为 EP2C35F672C6。该FPGA芯片中，嵌入式乘法器资源丰富，有利于实现复杂的乘累加运算，再加上其丰富的逻辑单元，适于应用在图像处理领域。并且，该芯片支持采用低成本的串行配置芯片及JTAG对其配置，可以通过USB下载电缆、Byte Blaster及Ethernet Blaster下载电缆对其进行在线编程。其中采用JTAG方式配置时，通过Quartus软件可以简单实现FPGA芯片的重新配置，给开发带来了极大的方便。Quartus软件在编译项目时，会自动生成*.sof配置文件。*.sof配置文件通过主动串行配置（AS）方式下载到FPGA，实现对FPGA配置。在这过程中，无需额外操作，其使用过程类似目前技术比较成熟的MCU。

通过Linux操作系统在ARM嵌入式系统上的移植，用于实现内窥镜摄像系统的人机交互。ARM嵌入式系统采用ARM920T结构的S3C2440微处理器。S3C2440处理器是一款16/32bit精简指令集（RISC）微处理器，外围资源丰富。S3C2440内部集成了16KB数据和指令Cache，应用在MMU上；支持TFT和STN的LCD控制器，还包括NAND Flash、Boot-loader、系统管理器（片选逻辑和SDRAM 控制器）。片内还有130个通用I/O口、4通道PWM定时器、4通道DMA、24通道外部中断源、8通道10位ADC和Camera控制接口、触摸屏接口、USB主从设备、SD卡接口以及PLL时钟发生器等，支持Linux内核移植。ARM嵌入式系统中，主要包括系统硬件平台、嵌入式Linux-2.6.32操作系统两个部分。ARM嵌入式系统的硬件组成如图2所示，图中SDRAM主要实现操作系统的内存，Flash主要用于存储系统代码及数据，SD卡则用于存储冻结的图像数据。UART、USB、以太网接口都与计算机连接，实现ARM系统的编程与调试。ARM嵌入式系统软件主要是在嵌入式Linux操作系统基础上搭建的，采用的是Linux-2.6.32内核版本。嵌入式Linux系统的软件构架如图3所示，主要包括以下几个层：引导加载程序（Bootloader）、中间驱动接口层、Linux操作系统内核、文件系统层和用户应用程序。其中，中间驱动接口层用于实现软件与硬件之间的通信，用户应用程序层用于实现对被控制对象的控制功能，面向被控对象和用户。

由于内窥镜输出采用C型接口，摄像头与内窥镜连接处恰好是用户或用户手持的部件，结合临床试验，CCD摄像头采用4cm×4cm×5cm大小的彩色CCD摄像头，具体型号为Digital hi-res color CCD camera EP-V520HC，输出720×576分辨率的标准PAL制式的复合视频信号。

视频解码芯片采用ADI公司生产的、型号为ADV7181B的视频解码芯片来实现模拟视频数字化。ADV7181B采用3.3V电压CMOS工艺，功耗低，支持PAL、NTSC和SECAM制式标准的模拟复合视频信号的自动检测和转化，输出符合ITU-R BT.656标准的YCbCr4:2:2格式的8位或16位数字视频数据流，可以支持6路模拟视频信号的输入。ADV7181输出的数字视频流中除视频数据外，还包括了视频水平同步信号HS，垂直同步信号VS及奇偶场同步信号F等。该视频解码芯片采用IIC总线配置其内部的各工作寄存器，控制视频解码过程。本实用新型采用FPGA作为一个IIC总线的主设备，实现对ADV7181B的初始化配置。视频解码原理框图如图4所示，工作过程如下：CCD摄像头采集内窥镜图像后，输出复合模拟视频信号（CVBS），在系统上电复位后，FPGA内部的IIC控制器通过IIC总线配置ADV7181B芯片，该芯片根据配置的功能，采集复合模拟视频信号，对其解码，输出符合ITU-R BT.656格式的数字视频流，以及用于视频同步的同步信号HS（水平同步信号）和VS（垂直同步信号）。ADV7181B芯片前端包含3个9位的A/D转换器和钳位电路，6个输入通道，允许标准的复合视频信号，S-Video信号和YPrPb视频信号输入，通过配置输入控制寄存器（子地址0x00）对其初始化。芯片内部集成了可以用于分离亮度和色度信息的2D梳状滤波器，以及根据视频标准自动调节处理模式的自适应滤波器。同时还集成了色度滤波、色度增益调节、亮度滤波、亮度增益调节等功能，可以对图像进行适当的处理，在一定范围内改善图像质量。

目前显示器接口可大致分为模拟视频接口和数字视频接口。VGA接口作为一种支持彩色显示的模拟视频接口，是由IBM公司在1987年开发的。本实用新型采用VGA接口输出摄取视频信号，因此需要对数字视频进行数模转换，即编码。采用ADI公司生产ADV7123芯片来实现数字视频信号编码，该芯片是一款三通道的高速数模转换器，每个通道上置有一个10位的数模转换器。主要特点有：1、具有三路10位D/A转换器，可以同时转换三路RGB信号；2、支持10位RGB格式数字视频流输入，输出复合VGA接口标准的模拟视频信号；3、支持1600×1200分辨率、100Hz刷新频率的高清视频输入。在本实用新型中，FPGA并行输出的数字RGB视频信号，位宽为8位。将FPGA输出的8位RGB视频流分别于ADV7123的RGB引脚连接，由于ADV7123输入RGB是10位位宽，因此连接时忽略其低两位。数字视频信号经过ADV7123芯片编码后，产生三路的RGB模拟视频输出，结合FPGA提供的行、场同步信号，共同构成VGA接口输出信号，由VGA接口输出到CRT或液晶显示器上显示。

医用内窥镜摄像系统与传统的监控类摄像系统不同，要求具备图像显示、冻结、存储、回放等功能，且摄取的图像色彩失真小，可以根据诊断需要进行处理。同时，为了使用户能够更好的诊断和治疗，要求系统具有病历信息存储等功能。因此，为满足医用内窥镜摄像系统的要求，采用FPGA器件进行设计时必须解决以下几个关键问题：对图像帧起始位置准确定位，准确提取有效图像数据，实现图像冻结；减少图像色差信号损失，减小图像色彩失真；能与ARM嵌入式系统实时通信。FPGA内部数字逻辑功能实现框图如图5所示，主要包括帧检测、图像处理、SDRM控制器、VGA控制器、存储控制、色彩空间转换、同步逻辑控制、IIC控制器、奇偶合成等，用于实现图像显示、缓存、色彩处理、通信传输等功能，用于实现图像显示、缓存、色彩处理、通信传输等功能。

本实用新型采用ARM嵌入式系统与FPGA结合的构架，使FPGA有丰富的逻辑资源用于实现图像处理，充分发挥其图像处理领域的优势。图像冻结后，系统需要存储冻结图像时，FPGA将冻结的图像数据发送到ARM嵌入式系统，在ARM嵌入式系统实现存储。下面说明ARM嵌入式系统与FPGA通信：本实用新型直接将FPGA连接到ARM嵌入式系统（S3C2440A）的系统总线上实现两者之间的通信；ARM嵌入式系统与FPGA之间的硬件连接图如图6所示，由于两者都是3.3V电平标准，所以直接将信号连接，同时将两者的地相连；对于ARM设备，FPGA可以看作是连接在其系统总线上的存储器，S3C2440通过存储器访问指令访问FPGA。

Claims (7)

1.医用内窥镜摄像系统，其特征在于，包括FPGA、ARM嵌入式系统、CCD摄像头、视频解码芯片、视频缓存、视频编码芯片、监视器、输入设备、LCD、外部存储器等部分，CCD摄像头与视频解码芯片相连，视频解码芯片与FPGA相连，FPGA与视频缓存、视频编码芯片、ARM嵌入式系统相连，视频编码芯片与监视器相连，ARM嵌入式系统与输入设备、LCD、外部存储器相连；FPGA主要完成内窥镜图像摄像及图像处理功能，ARM嵌入式系统用于接收用户命令和FPGA处理后的图像数据，实现人机交互；CCD摄像头采集内窥镜光学图像，输出标准制式的模拟视频信号，经过视频解码芯片解码，将模拟视频转换为数字视频，FPGA识别数字视频流的有效视频图像数据，根据需要完成图像处理，ARM嵌入式系统接收输入设备的输入命令，响应命令，将命令传输到FPGA处理模块，控制图像处理，处理后的图像存入视频缓存，由 FPGA内部的接口逻辑从视频缓存中读出视频数据，经ARM嵌入式系统与FPGA之间的通信线缆，输入到ARM嵌入式系统，在ARM嵌入式系统中实现图像的存储、回放等。

2.根据权利要求1所述的医用内窥镜摄像系统，其特征在于，所述FPGA采用Clone Ⅱ系列的FPGA芯片，具体型号为 EP2C35F672C6。

3.根据权利要求1所述的医用内窥镜摄像系统，其特征在于，所述ARM嵌入式系统采用ARM920T结构的S3C2440微处理器。

4.根据权利要求1所述的医用内窥镜摄像系统，其特征在于，所述CCD摄像头采用4cm×4cm×5cm大小的彩色CCD摄像头，具体型号为Digital hi-res color CCD camera EP-V520HC，输出720×576分辨率的标准PAL制式的复合视频信号。

5.根据权利要求1所述的医用内窥镜摄像系统，其特征在于，所述视频解码芯片采用ADI公司生产的、型号为ADV7181B的视频解码芯片来实现模拟视频数字化。

6.根据权利要求1所述的医用内窥镜摄像系统，其特征在于，所述视频编码芯片采用ADI公司生产ADV7123芯片来实现数字视频信号编码。

7.根据权利要求1所述的医用内窥镜摄像系统，其特征在于，所述FPGA内部的图像处理逻辑主要包括帧检测、图像处理、SDRM控制器、VGA控制器、存储控制、色彩空间转换、同步逻辑控制、IIC控制器、奇偶合成等，用于实现图像显示、缓存、色彩处理、通信传输等功能。