CN209122167U - 一种低功耗胶囊内窥镜图像采集及三维重建系统 - Google Patents

Abstract

本实用新型公开了一种低功耗胶囊内窥镜图像采集及三维重建系统，包括胶囊内窥镜本体和图像接收端；胶囊内窥镜本体包括分别与CMOS图像传感器、图像压缩模块和无线发射模块连接的第一MCU控制模块，CMOS图像传感器、无线发射模块和MCU控制模块分别与第一电源管理模块连接，图像接收端包括分别与无线接收模块、SD卡存储模块、串口通讯模块和USB通讯模块连接的第二MCU控制模块，第二MCU控制模块与第二电源管理模块连接，无线发射模块和无线接收模块均为双向无线通讯模块。本实用新型的系统图像采集功能完善，体积紧凑，系统工作稳定，可以很好的完成图像采集发送、接收、存储功能，软件上编写的循环工作状态大大降低了功耗，延长了系统工作时间。

Description

一种低功耗胶囊内窥镜图像采集及三维重建系统

技术领域

本实用新型属于图像采集和处理技术领域，具体涉及一种低功耗胶囊内窥镜图像采集及三维重建系统。

背景技术

胶囊内窥镜主要依靠其内部的摄像装置完成受检者体内图像的拍摄，并通过数据处理装置对图像进行压缩等处理，由无线发送方式传到体外，所有这些设备均由胶囊内部电池供电。一方面，现有的胶囊内窥镜持续的拍摄肠道图片，并发送外部监控设备中，直到电池耗尽，这样的工作模式，使得整个胶囊内窥镜处于高功耗高耗电的状态；另一方面，胶囊内窥镜完成一次完整拍摄过程大约会拍摄大量的图像，而在拍摄过程中往往会存在很多的重复图像，这种重复图像的存在浪费胶囊有限的电量。因此需要降低功耗，延长胶囊内窥工作时长；另一方面给会使医生增加了工作负担，降低诊疗效率。

专利CN 102973236B公开了一种通过检测电池电压是否小于门限值来决定是不是要RF进入窄带、间隔发送低功耗工作模式的方法，该方法并没有解决胶囊内窥镜的重复图像问题；

专利CN201710979327公开了一种图像帧率自适应的无线胶囊内窥镜系统及帧率自适应方法，通过胶囊内窥镜的第一姿态信息和便携式记录器的第二姿态信息得到的结果判断是否存在相对运动，来生成相应指令信号调整胶囊内窥镜的拍摄帧率。目前低功耗内窥镜与所接收到图片直接进行三维重建实现起来比较困难，目前的胶囊内窥镜存在采样帧率较低，被动前行、随机拍摄、不能对可以病灶部位进行重点的拍摄观察问题，并且由于图像数量大会导致诊疗效率的降低，因此，在低功耗胶囊内窥镜采集完图像后所接收的图片直接三维重建，构建成三维数据，直接供医师快速的诊断是有必要的。

实用新型内容

本实用新型的目的在于：解决上述现有技术中的不足，提一种低功耗胶囊内窥镜图像采集及三维重建系统，减少拍摄过程中无效重复图像的张数，提高胶囊的工作效率，节省胶囊内部有限的电量，通过疑似病灶区域的三维重建减少医生阅片数量，提高诊疗效率。

为了实现上述目的，本实用新型采用的技术方案为：

一种低功耗胶囊内窥镜图像采集及三维重建系统，包括胶囊内窥镜本体和图像接收端；所述的胶囊内窥镜本体包括第一MCU控制模块，所述的第一MCU控制模块分别与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的无线发射模块和MCU控制模块分别与第一电源管理模块连接，所述的电源管理模块还与所述的CMOS图像传感器连接，所述的CMOS图像传感器还包括短焦镜头；所述的图像接收端包括第二MCU控制模块，所述的第二MCU控制模块分别与无线接收模块、SD卡存储模块、串口通讯模块和USB通讯模块连接，所述的第二MCU控制模块还与第二电源管理模块连接，所述的无线发射模块和无线接收模块均为双向无线通讯模块。

进一步的，上述的电源管理模块包括2.5V电源和1.2V电源，所述的2.5V电源分别与所述的第一MCU控制模块和无线发射模块连接，所述的1.2V电源与所述的CMOS图像传感器连接。

进一步的，上述的第一MCU控制模块分别通过第一SPI总线与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的第二MCU控制模块通过第二SPI总线与所述的无线接收模块连接，所述的第二MCU控制模块通过SDIO接口与SD卡存储模块连接。

进一步的，上述的CMOS图像传感器还通过I2C总线与LED照明模块连接。

进一步的，上述的第一MCU控制模块通过单端零欧姆电阻共地方式分别与CMOS图像传感器、图像压缩模块和无线发射模块连接。

进一步的，上述的无线接收模块的信号输入端还连接有接收前端放大单元。

进一步的，上述的胶囊内窥镜本体内还设有轴向充磁永磁体，所述的胶囊内窥镜本体外部还设有线圈和磁传感器阵列，所述的线圈与电源连接。

给线圈通上正向或反向电流，使线圈在永磁体上端产生与永磁体方向相同或相反的电磁场的电流，由通电线圈对永磁体产生向上或向下的力，从而驱动运动。一般是依靠肠道的蠕动，仅在关键病灶部位时对此永磁体驱动。在体外有磁传感器阵列来对内嵌永磁体的胶囊内窥镜的运动进行磁定位。

由于采用了上述技术方案，本实用新型的有益效果是：

本实用新型的系统由胶囊内窥镜本体和体外的图像接收端两部分组成。胶囊内窥镜本体硬件电路在电路设计选型的时候都尽量选用低功耗、小封装的器件。胶囊图像接收端能移动接收SD卡存储图片，可与电脑USB口通讯，以拷贝图片且在电脑上位机软件上实时显示所得图片。

本实用新型的系统图像采集功能完善，体积紧凑，系统工作稳定，可以很好的完成图像采集发送、接收、存储功能，软件上编写的循环工作状态大大降低了功耗，延长了系统工作时间。

附图说明

为了更清楚地说明本实用新型实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本实用新型的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的图像采集控制流程示意图。

图2为本发明的胶囊内窥镜本体结构示意图。

图3为本发明的图像接收端结构示意图。

图4为图像采集模块内部结构示意图。

图5为本发明的重建方法流程示意图。

附图标记：1-第一MCU控制模块，2-第一电源管理模块，3-短焦镜头，4-LED照明模块，5-CMOS图像传感器，6-图像压缩模块，7-无线发射模块，8-轴向充磁永磁体，9-第二MCU控制模块，10-第二电源管理模块，11-接收前端放大单元，12-无线接收模块，13-SD卡存储模块，14-串口通讯模块，15-USB通讯模块。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本实用新型实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本实用新型的实施例的详细描述并非旨在限制要求保护的本实用新型的范围，而是仅仅表示本实用新型的选定实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

在本实用新型的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实用新型中的具体含义。

如图1-2所示，一种低功耗胶囊内窥镜图像采集及三维重建系统，包括胶囊内窥镜本体和图像接收端；所述的胶囊内窥镜本体包括第一MCU控制模块1，所述的第一MCU控制模块1分别与CMOS图像传感器5、图像压缩模块6和无线发射模块8连接，所述的无线发射模块8和第一MCU控制模块1分别与第一电源管理模块2连接，所述的第一电源管理模块2还与所述的CMOS图像传感器5连接，所述的CMOS图像传感器5还包括短焦镜头3；所述的图像接收端包括第二MCU控制模块9，所述的第二MCU控制模块9分别与无线接收模块12、SD卡存储模块13、串口通讯模块14和USB通讯模块15连接，所述的第二MCU控制模块9还与第二电源管理模块10连接，所述的无线发射模块8和无线接收模块12均为双向无线通讯模块。所述图像接收端中的无线通讯模块与胶囊内窥镜本体无线通讯模块区别在于胶囊内窥镜本体无线通讯模块添加了RFX2401C无线接收前端来提高接收灵敏度。

第一MCU控制模块1采用低功耗MCU，MCU控制电路负责CMOS图像传感器5时序操作及数据获取、灯光照明系统和无线通讯模块控制、系统的电源管理。

进一步的，上述的第一电源管理模块2包括2.5V电源和1.2V电源，所述的2.5V电源分别与所述的第一MCU控制模块1和无线发射模块8连接，所述的1.2V电源与所述的CMOS图像传感器5连接，所述的第一电源管理模块2选用TI公司DSBGA封装的超低噪声线性稳压器LP5907，所述的CMOS图像传感器5选用的是带有压缩引擎的CMOS图像传感器，通过CMOS图像传感器5直接完成图片采集和压缩输出，无需再增加其他外围电路。

所述第一电源管理模块2采用超低噪声线性稳压器，一路输出2.5V给第一MCU控制模块1和无线发射模块8供电；另一路输出1.2V单独给CMOS图像传感器5供电。这样设计保证模拟信号和数字信号的隔离，CMOS图像传感器5电源与其他电路模块的电源隔离开，免受其他电路电源的纹波对传感器采集的图像干扰，以及可减少无线通讯的丢包率。

进一步的，上述的第一MCU控制模块1分别通过第一SPI总线与CMOS图像传感器5、图像压缩模块6和无线发射模块8连接，所述的第二MCU控制模块9通过第二SPI总线与所述的无线接收模块12连接，所述的第二MCU控制模块9通过SDIO接口与SD卡存储模块13连接。

进一步的，上述的CMOS图像传感器5还通过I2C总线与LED照明模块4连接。

所述胶囊内窥镜本体的LED照明模块采用带反射器的白色高亮LED对称布局为系统拍摄光源，胶囊内镜的图像质量除了与光源的选择有关外还与其位置和周围的环境有关，同一对象在不同的照明条件下产生不同质量的图像。低照度可能导致图像较暗，过度照明可能导致过曝现象，平衡的照明条件能更好的获得图像的信息和细节。所以系统光源设计重点在于保证系统照明的均匀度。拍摄物体的亮度主要依赖于以下几个因素：胶囊本身的位置、拍摄物的距离、物体的反光程度、LED光源的数量、LED照明的角度。设计的照明系统必须能根据拍摄环境自动调节亮度，减少系统拍摄图像过度曝光或者图像过于黑暗，实现平衡照明，也可以最大限度的节省功耗。

当系统电压低于白色LED的工作电压2.7V而高于系统可工作最小电压2.5V这区间内LED灯还能继续工作，本系统采用了可以升压，驱动电流可编程的闪光灯控制芯片LM3643延长系统拍摄时间。

所述胶囊内窥镜图像采集系统的胶囊内窥镜本体照明系统与CMOS图像传感器同步，在拍摄图像之前开启LED照明模块4，拍摄完之后停止触发来关闭LED照明模块4。

进一步的，上述的第一MCU控制模块1通过单端零欧姆电阻共地方式分别与CMOS图像传感器5、图像压缩模块6和无线发射模块8连接。

进一步的，上述的无线接收模块12的信号输入端还连接有接收前端放大单元11。

进一步的，上述的胶囊内窥镜本体内还设有轴向充磁永磁体，所述的胶囊内窥镜本体外部还设有线圈和磁传感器阵列，所述的线圈与电源连接。

给线圈通上正向或反向电流，使线圈在永磁体上端产生与永磁体方向相同或相反的电磁场的电流，由通电线圈对永磁体产生向上或向下的力，从而驱动运动。一般是依靠肠道的蠕动，仅在关键病灶部位时对此永磁体驱动。在体外有磁传感器阵列来对内嵌永磁体的胶囊内窥镜的运动进行磁定位。

一种低功耗胶囊内窥镜图像采集及三维重建方法，应用上述的一种低功耗胶囊内窥镜图像采集及三维重建系统，包括以下步骤：

步骤一：将胶囊内窥镜本体服入体内，胶囊内窥镜本体启动，第一MCU控制模块1、CMOS图像传感器5和无线发射模块8正常工作，CMOS图像传感器5拍摄肠道内的影像并通过无线发射模块8传输至图像接收端中保存；

步骤二：系统对影像进行三维重建。

进一步的，上述的步骤一中：

胶囊内窥镜本体启动时，CMOS图像传感器5和LED照明模块4开始工作，无线发射模块8处于断电状态；拍摄完成并通过CMOS图像传感器5内置的图像压缩模块6将图片压缩完成后，CMOS图像传感器5和LED照明模块4断电，同时启动无线发射模块8将图片发送至图像接收端；图像接收端中的第二MCU控制模块9检测到SD卡存储模块13将图片保存完成后，通过无线接收模块12通知第一MCU控制模块1，第一MCU控制模块1收到通知后，控制无线发射模块8进入断电状态且控制CMOS图像传感器5和LED照明模块4开始工作；

所述的胶囊内窥镜本体和图像接收端重复上述步骤，直到影像采集工作完成。

当CMOS图像传感器5采集完一张图片后，第一MCU控制模块1发送停止采集命令，CMOS图像传感器5断电停止拍照，同时第一MCU控制模块1发送传送数据命令，无线发射模块8开始供电并将CMOS图像传感器5采集到的图片数据发送出去，当图像接收端的无线接收模块12成功接收到CMOS图像传感器采集的图片数据，此时向第二MCU控制模块9发送接收完图片数据信号，第二MCU控制模块9就发送命令控制无线发射模块12和无线接收模块8断电，并且同时向CMOS图像传感器5发送拍照命令，这时CMOS图像传感器5获得供电并开始拍照。当CMOS图像传感器5在拍照状态时，无线发射模块8和无线接收模块12都是出于断电状态。也就是相机只在需要拍照时才供电，拍照过程中无线发射模块8和无线接收模块12都处于断电状态，相机拍完照片后就断电。相机拍完照片断电的同时，给无线发射模块8和无线接收模块12供电，当无线接收模块12接收完图片数据后，再次控制相机拍照。如此循环工作，达到降低功耗，节省电源的目的。

CMOS图像传感器5采集到的图片是压缩后的JPEG图片再经无线发射模块8发送到图像接收端中的SD卡存储模块13存储起来。也可在无线接收模块12接收完图片数据后将图片实时显示在上位机软件中，在CMOS图像传感器5采集图片时，同时用磁感器阵列调整体内胶囊的状态，从而得到精度更高的图片，这种方式获得的图片对于诊断更加准确。所述胶囊内窥镜本体的CMOS图像传感器5自带压缩引擎，可支持整帧、子采样、缩放和取窗口等方式下各种分辨率8位或者10位影像数据输出。还可以通过SCCB接口控制，实现自动曝光控制、白平衡、对比度调节、色饱和度调节等功能。通过该传感器直接完成图片采集和压缩输出，无需再增加其他外围电路。

进一步的，上述的步骤二具体为：

步骤201：对图像接收端中保存的影像进行预处理，得到预处理图像，所述的预处理包括去除肠腔粘液的气泡引起的拍照时的高亮反光区域和对图片噪声进行差值处理；

步骤202：对得到的预处理图像进行栅格区域划分，根据栅格区域的特征分布参数提取数目稳定且分布均匀的特征，按照特征分布值从大至小对栅格区域重新排序；

步骤203：从特征分布值较大的前k个栅格区域中提取n个随机特征点且每个像素间的距离大于预设的距离阈值，然后对随机特征点进行匹配，得到序列图像；

步骤204：对相邻两帧序列图像进行匹配，得到CMOS图像传感器5的运动参数和三维坐标；

步骤205：根据CMOS图像传感器5的运动参数的三维坐标构建离散的三维网络，然后对离散的三维网络进行表面光滑，得到病灶区重建图像。

进一步的，上述的步骤203中对随机特征点进行匹配时，若存在匹配效果不达预期的非期望观测，则进行消除不稳定特征处理；

若在肠道中运行时胶囊内窥镜本体突然抖动引起当前帧与之前若干帧图像的特征点匹配失败，且在当前帧之后的若干帧图片中又重新匹配到已拍摄的序列图像，则删除当前帧之后的五帧图像，只对可疑病灶的特征区域三维重建。

在基于栅格区域的ORB特征随机选取方法，使得在特征数目稳定同时，在二维图像上的映射点均匀的在分布在图像中。

基于栅格区域的ORB特征随机选取方法如下：

首先，把预处理后的图像划分为指定大小的栅格区域如M*N个，M、N为常数；

利用ORB特征提取算法检测出整幅图像的特征点，则这些ORB特征点会随机地分布在M*N个栅格区域中。

记特征点在区域中的位置坐标f_i(u_j，v_j)，i＝1，2...，M*N，j＝1，2，...n_i。

然后计算n个ORB特征点位置坐标均值、方差，从而统计出区域内分布参数值：按照特征分布值从大到小来对栅格区域进行重新排序，然后从特征分布指数值较大的前k个栅格区域中提取n个随机特征点，并且每个像素间的距离要大于所设定的阈值保证提取特征点不重叠，这样将在某个区域内提取的紧凑的特征点很可能对区域图像的特征描述没有实际意义，而某些特征点少的区域可能对整个图像的描述很有必要，通过这样筛选特征随机选取提升了算法的效率与准确性。

对于特征匹配，在特种匹配区域用主动搜索方法，减小特征匹配复杂度，提升匹配的效率。对于可能存在的误匹配，通过改进扩展的扩展卡尔曼滤波算法，删除误匹配，同时补救有用特征信息。

对所接收储存的肠胃道图像特征分析，对于肠胃道中残存的气泡或肠道自身的粘液，导致胶囊内镜在拍摄中严重反光，输出图像出现的高亮区域，采用“临近像素点的特征近似”思路引入光滑迭代算法与数字形态学方法对图像进行去除反光区域。

对于存在噪声的图像或分辨率较低的问题，用差值处理。

由于胶囊内窥镜图像采集获取特征的二维信息，需通过多次观测得到其深度信息。利用不同位置的视角差，根据三角测量原理选择合理的优化算法及表面约束条件进行求解得到图像深度信息。

同时，为确保三维重建的结果最大化的接近真实的肠胃道表面，在基本的明暗恢复形状的基础上融入八点法，在三维表面的光滑处理中采用NURBS曲线的立方插值算法，结合曲面光顺的能量法的思想，采用更加贴合实际表面的控制点求解法来改善重建结果可能存在不光滑现象，增强三维显示效果。

Claims (7)

1.一种低功耗胶囊内窥镜图像采集及三维重建系统，其特征在于：包括胶囊内窥镜本体和图像接收端；所述的胶囊内窥镜本体包括第一MCU控制模块，所述的第一MCU控制模块分别与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的无线发射模块和第一MCU控制模块分别与第一电源管理模块连接，所述的第一电源管理模块还与所述的CMOS图像传感器连接，所述的CMOS图像传感器还包括短焦镜头；所述的图像接收端包括第二MCU控制模块，所述的第二MCU控制模块分别与无线接收模块、SD卡存储模块、串口通讯模块和USB通讯模块连接，所述的第二MCU控制模块还与第二电源管理模块连接，所述的无线发射模块和无线接收模块均为双向无线通讯模块。

2.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建系统，其特征在于：所述的第一电源管理模块包括2.5V电源和1.2V电源，所述的2.5V电源分别与所述的第一MCU控制模块和无线发射模块连接，所述的1.2V电源与所述的CMOS图像传感器连接。

3.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建系统，其特征在于：所述的第一MCU控制模块分别通过第一SPI总线与CMOS图像传感器、图像压缩模块和无线发射模块连接，所述的第二MCU控制模块通过第二SPI总线与所述的无线接收模块连接，所述的第二MCU控制模块通过SDIO接口与SD卡存储模块连接。

4.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建系统，其特征在于：所述的CMOS图像传感器还通过I2C总线与LED照明模块连接。

5.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建系统，其特征在于：所述的第一MCU控制模块通过单端零欧姆电阻共地方式分别与CMOS图像传感器、图像压缩模块和无线发射模块连接。

6.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建系统，其特征在于：所述的无线接收模块的信号输入端还连接有接收前端放大单元。

7.根据权利要求1所述的一种低功耗胶囊内窥镜图像采集及三维重建系统，其特征在于：所述的胶囊内窥镜本体内还设有轴向充磁永磁体，所述的胶囊内窥镜本体外部还设有线圈和磁传感器阵列，所述的线圈与电源连接。