CN116156298A - 基于感存算一体化的内窥镜高清视频处理系统及方法 - Google Patents

Abstract

本发明适用于医疗器械技术领域，提供了一种基于感存算一体化的内窥镜高清视频处理系统及方法，所述系统包括：感存算一体化模块、图像信号处理模块和无线通信模块；所述感存算一体化模块，用于感知、计算和存储待测视场的探测信息，并输出图像信号；所述图像信号处理模块，使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出为视觉图像信息；所述无线通信模块，用于构建图像信号处理模块与显示器之间的通信，以将所述视觉图像信息显示在显示器；本发明图像处理、图像存储的一体化设计，以及图像传输芯片的高度集成，降低了功耗。

Description

基于感存算一体化的内窥镜高清视频处理系统及方法

技术领域

本发明属于医疗器械技术领域，尤其涉及一种基于感存算一体化的内窥镜高清视频处理系统及方法。

背景技术

伴随着半导体、新材料和计算机技术的快速发展，近两年集传感、存储、计算(简称感存算)一体化的一种新型架构进入大众的视线，通过在电子器件中集成信息感知、数据计算与数据存储的功能，可以极大程度地提高电子器件的信息处理效率，并节省能源降低能耗，具有应用于感存算一体化处理系统的潜力。

传统的传感单元与计算单元、存储单元处于分离的状态，信息需要通过传感单元将有效数据采集，并通过数模转换器等模块将数据转换成计算与存储单元可以处理的形式，并通过线路连接将信息传递至存储与计算单元。这一繁琐的过程使得信息处理的延迟、能耗增加。在医用无线内窥镜摄像设备方面，亦存在同样的问题，图像传感、存储、计算处于分离状态，导致后续的图像信息处理的延迟、能耗增加，限制了信号在实时低延迟信息传输的需要。

因此，有必要针对医用无线内窥镜摄像系统的高清图像和视频传输，提出一种基于感存算一体化的内窥镜高清视频处理系统。

发明内容

本发明实施例的目的在于提供一种基于感存算一体化的内窥镜高清视频处理系统，以解决现有医用内窥镜摄像设备的图像采集、存储、计算处于分离状态，而导致后续的高清图像和视频信息处理的延迟、能耗增加的问题。

本发明实施例是这样实现的，一种基于感存算一体化的内窥镜高清视频处理系统，所述系统包括：感存算一体化模块、图像信号处理模块和无线通信模块；

所述感存算一体化模块，用于感知、计算和存储待测视场的探测信息，并输出图像信号；

所述图像信号处理模块，使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出为视觉图像信息；

所述无线通信模块，用于构建图像信号处理模块与显示器之间的通信，以将所述视觉图像信息显示在显示器；

其中，所述感存算一体化模块包括感存算芯片、预设在所述感存算芯片的信息原位处理单元；通过所述感存算芯片感知、计算和存储待测视场的探测信息，并在计算所述探测信息的过程中运行所述信息原位处理单元，所述信息原位处理单元基于多注意力机制对所述探测信息进行多维度图像异质融合特征表达，以实现存内原位计算。

本发明实施例的目的还在于提供一种基于感存算一体化的内窥镜高清视频处理方法，所述方法包括以下步骤：

感知、计算和存储待测视场的探测信息，并输出图像信号；

使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出为视觉图像信息；

将所述视觉图像信息显示在显示器；

其中在计算所述探测信息的过程中，基于多注意力机制对所述探测信息进行多维度图像异质融合特征表达，以实现存内原位计算。

本发明实施例提供的一种基于感存算一体化的内窥镜高清视频处理系统，本实施例中图像处理、图像存储的一体化设计，以及图像传输芯片的高度集成，降低了功耗；可减少附属信号处理电路的占用体积，从而降低整体体积，达到小型化的目的；其中所述感存算一体化模块包括感存算芯片、预设在所述感存算芯片的信息原位处理单元；信息原位处理单元可以实现多维信息解构、融合和理解；多注意力机制是基于逐组量化机制和结构化剪枝的神经网络模型压缩与加速方法，实现存内原位计算，图像处理实时性高。

附图说明

图1为本发明实施例提供的一种基于感存算一体化的内窥镜高清视频处理系统的架构图；

图2为本发明实施例中感存算一体化模块的架构图；

图3为本发明实施例中一种图像调校增强算法的流程图；

图4为本发明实施例提供的一种无线内窥镜的应用场景示例；

图5为本发明实施例中采用背照射工艺的像素单元的原理示意图；

图6为本发明实施例中采用前照射工艺的像素单元的原理示意图；

图7为本发明实施例中双字线SRAM的存内计算电路的电路示意图；

图8为本发明实施例提供的一种基于感存算一体化的内窥镜高清视频处理方法的流程图；

附图中：10-无线内窥镜；100-感存算一体化模块；110-传感模块；111-像素单元；1111-微透镜；1112-光学滤光片；1113-光电探测器；1114-金属层；112-模数转换单元；120-存储运算模块；121-存储阵列；122-外围运算电路；123-信息原位处理单元；200-图像信号处理模块；300-无线通信模块；400-显示器；500-光学接头。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在提出本发明前，在医用内窥镜摄像设备方面，亦存在传统的图像传感单元与计算单元、存储单元处于分离的状态，这样的问题，由于图像传感、存储、计算处于分离状态，导致后续的图像信息处理的延迟、能耗增加，限制了信号在实时低延迟信息传输的需要；因此本发明针对医用内窥镜摄像系统提出一种基于感存算一体化的内窥镜高清视频处理系统。

图1为本发明实施例提供的一种基于感存算一体化的内窥镜高清视频处理系统的架构图，具体可以包括：感存算一体化模块100、图像信号处理模块200和无线通信模块300；

所述感存算一体化模块100，用于感知、计算和存储待测视场的探测信息，并输出图像信号；

所述图像信号处理模块200，使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出为视觉图像信息；

所述无线通信模块300，用于构建图像信号处理模块200与显示器400之间的通信，以将所述视觉图像信息显示在显示器400；

其中，可参见图2，所述感存算一体化模块100包括感存算芯片、预设在所述感存算芯片的信息原位处理单元123；通过所述感存算芯片感知、计算和存储待测视场的探测信息，并在计算所述探测信息的过程中运行所述信息原位处理单元123，所述信息原位处理单元123基于多注意力机制对所述探测信息进行多维度图像异质融合特征表达，以实现存内原位计算。

本发明实施例提供的一种基于感存算一体化的内窥镜高清视频处理系统，所述的待测视场，在无线内窥镜10的场景中，则是无线内窥镜10的镜头扫描血管及病灶组织轮廓范围或区域；当然，本实施例并不局限于无线内窥镜10的高清视频处理；也可以应用在其他高清视频处理场景。

本实施例中图像处理、图像存储的一体化设计，以及图像传输芯片的高度集成，降低了功耗；可减少附属信号处理电路的占用体积，从而降低整体体积，达到小型化的目的；其中所述感存算一体化模块100包括感存算芯片、预设在所述感存算芯片的信息原位处理单元123；信息原位处理单元123可以实现多维信息解构、融合和理解；即信息原位处理单元123，基于多注意力机制建立注意力引导的多维度图像异质融合特征表达模型，利用逐组量化机制和结构化剪枝的神经网络模型压缩与加速方法，实现存内原位计算；此外，感存算芯片的传感模块110和存储运算模块120一体集成在一基底上，实现传感、存储、运算三大功能集成在一块硅片上，即集成在一基底上，实现感存算一体化集成；在通过医用内窥镜摄像设备的图像采集的过程中，这样的感存算一体化高度集成，减少了附属信号处理电路的占用体积，从而降低芯片整体体积，达到小型化的目的；可以实现图像采集、存储和计算的高时效性及低时延，并减少一些不必要的外围传输电路；解决了现有医用内窥镜摄像设备的图像采集、存储、计算处于分离状态，而导致后续的图像信息处理的延迟、能耗增加的问题。

在一个实施例的示例中，信息原位处理单元123可以是一种存储在感存算芯片中的程序，该程序根据多维度视觉图像信息原位处理算法建立和运行，实现图像信号中多维度视觉图像信息的原位处理。

本实施例中，所述感存算一体化模块100，将感知、计算和存储一体集成，在处理时效、低功耗方面表现优异。此外，通过设置的所述图像信号处理模块200，使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出为视觉图像信息；使得应用的无线内窥镜10(参见图4)，对视频做逐帧的图像增强，在保证色彩一致的情况下增强血管及病灶组织轮廓，通过图像信号处理模块200，使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出视频图像质量得到提升的视觉图像信息。

在一个实施例的示例中，所述的图像处理较正算法，可以是光照不均匀修复算法、图像增强算法等。

在一个实施例的示例中，所述感存算一体化模块100、图像信号处理模块200设置在一个无线内窥镜10中(参见图4)；并可通过一片基板或两层基板实现集成。感存算一体化模块100包括的感存算芯片、预设在所述感存算芯片的信息原位处理单元123；通过所述感存算芯片感知、计算和存储待测视场的探测信息，并在计算所述探测信息的过程中运行所述信息原位处理单元123，所述信息原位处理单元123，基于多注意力机制对所述探测信息进行多维度图像异质融合特征表达，以实现存内原位计算。

在一个实施例的示例中，无线内窥镜10可以通过无线通信模块300与显示器400进行通信，实现探测信息即血管及病灶组织轮廓的实时显示，提升视频图像质量。

如图2所示，在一个实施例中，所述感存算芯片包括传感模块110和存储运算模块120，所述传感模块110和存储运算模块120一体集成在一基底上；

所述传感模块110包括像素单元111和模数转换单元112，所述像素单元111用于采集待测视场产生的像素信号，并将采集的像素信号传输给所述模数转换单元112，所述模数转换单元112能够接收所述像素信号，并将该像素信号转换为数字信号传输给数据传输单元；所述数据传输单元与所述存储运算模块120连接，用于将所述数字信号传输给所述存储运算模块120；

所述存储运算模块120，用于接收、存储所述数据传输单元传输的数字信号，并将接收或存储的所述数字信号进行处理，以获得图像信号。

如图7所示，在一个实施例的示例中，所述存储运算模块120可以采用双字线SRAM的存内计算电路；

双字线SRAM的存内计算电路，采用建立注意力引导的多维度图像异质融合特征表达模型，实现不同维度特征在深度子空间的最优表示；并可基于柔性参数共享的多任务学习框架和联合学习损失，实现多维信息解构、融合和理解；基于逐组量化机制和结构化剪枝的神经网络模型压缩与加速方法，实现存内原位计算，性能优异，特别适合用于无线内窥镜10。

本示例中采用双字线SRAM的存内计算电路，是一种双字线双阈值SRAM的存储系统，这种存算一体架构将逻辑操作集成到存储阵列121当中，从而模糊了计算(运算)和存储阵列121之间的边界，并显著降低了计算能耗和等待时间。

在一个实施例的示例中，所述双字线SRAM的存内计算电路包括存储阵列121和外围运算电路122，所述存储阵列121由若干存储器构成；所述外围运算电路122至少包括连接在所述存储阵列121相应位线的预充电路、行译码电路、列译码电路及输出电路，所述行译码电路还连接有时序控制电路，所述列译码电路分别连接所述时序控制电路和输出电路。

其中，预充电路主要是在对存储阵列121进行各种操作之前，对存储阵列121的位线的充、放电进行控制。时序控制电路操作行译码电路、列译码电路所需的控制信号，行译码电路、列译码电路接收地址信号通过译码后输出多位行控制信号、列控制信号，以实现对相应行或列像素的操作，输出电路用于输出运算结果。

在一个示例中，所述输出电路可以由灵敏放大器和门电路构成，灵敏放大器与存储阵列121相应的位线相连，通过门电路对灵敏放大器输出的位线电压与参考电压进行比较后，即可输出运算结果。

在一个示例中，外围运算电路122包含有两种运算模式，即：SRAM模式和CIM模式；处于SRAM模式，主要执行数据的保持、存储与读取操作；处于CIM模式，可实现BCAM运算和与、或非、异或等逻辑运算。进一步地，在SRAM模式下，预充电路主要是在对存储阵列121进行各种操作之前，对存储阵列121的位线的充、放电进行控制。时序控制电路操作行译码电路、列译码电路所需的控制信号，行译码电路、列译码电路接收地址信号通过译码后输出多位行控制信号、列控制信号，以实现对相应行或列像素的操作，输出电路用于输出运算结果。

在一个实施例中，如图2所示，所述信息原位处理单元123至少包括：基于多注意力机制的图像异质融合模型、具有两层以上全连接子网络的语言解码网络。

本实施例中，所述的图像异质融合模型，可以根据一种多维度视觉图像信息原位处理算法搭建；具体可以是：注意力引导的多维度图像异质融合特征表达模型；通过该模型可以实现不同维度特征在深度子空间的最优表示，实现存内原位计算。多维度视觉图像信息原位处理算法在模型中引入多注意力机制，通过提取多个层次的图像特征经过多注意力结构连接到语言解码网络的多层语言模型(类似于常规深度学习网络模型的多层全连接子网络)中，使得语言解码网络可以自适应地决定生成描述时所使用的的各层次的图像特征的权重。

一些实施例的场景中，图像异质融合模型，配置有基于柔性参数共享的多任务学习框架和联合学习损失，实现多维信息解构、融合和理解；配置有基于逐组量化机制和结构化剪枝的神经网络模型压缩与加速方法，在算力和内存资料受约束的情况下，实现存内原位计算。

在一个实施例中，如图1所示，所述系统还包括光学接头500，所述光学接头500与感存算一体化模块100耦合连接，用于获取待测视场的探测信息。

本实施例中，所述光学接头500可以是由常规光学透镜组成的镜头；也可以是多片透镜组成的光学系统，通过透镜对光线的折射，实现在感存算一体化模块100的成像器件即感存算芯片上的成像。

本实施例的一个示例中，所述光学接头500配置有补光源，并连接有供电电源，通过该补光源为待测视场的扫描提供照明，所述的供电电源可以配置为共用无线内窥镜10的蓄电池，本示例并不限制于此。

在一个实施例中，所述感存算一体化模块100还包括电源IC，通过电源IC控制感存算芯片及其外围电路的通电；感存算一体化模块100可以通过通信接口与图像信号处理模块200连接；所述通信接口可以实现图像信号和控制指令的双向传输。

在一个实施例中，所述像素单元111采用全局式快门像素结构，该全局式快门像素结构能够在逐行读出像素信号中的像素前执行全局动作机制，进而控制所有像素同时开始曝光和结束曝光。

本实施例中，所述的像素单元111即为感光单元，该感光单元可以采用全局式快门像素结构，这是一种高填充因子背照式全局快门像素工艺(BSI工艺)的结构，如此，可以实现感存算一体化的三维堆叠结构，进而实现整体结构的高集成度；

在本实施例的一个示例中，如图5所示，为所述的BSI工艺的工艺原理图，可以包括如下步骤：

将多个微透镜1111排列设置为透镜阵列，微透镜1111的凸面为光的入射面；微透镜1111与凸面相对的一面为平面，该平面上设置光学滤光片1112，所述光学滤光片1112也可以设置为与透镜阵列等大的阵列结构；在光学滤光片1112远离微透镜1111的一侧设置光电探测器1113，微透镜1111、光学滤光片1112和光电探测器1113是一一对应的；在光电探测器1113远离微透镜1111的一侧设置金属层1114，所述金属层1114内设置有供电电源和光电探测器1113的驱动电路，实现对光电探测器1113的供电和驱动控制；所述的光电探测器1113可以采用光电二极管，光学滤光片1112可以采用彩色滤光片，也可以采用其他混色滤光片，使得特定波长的光被过滤；本示例采用BSI工艺的像素单元111，使得入射光不受金属层1114的影响、光的传输路径短而且可实现更深的光电二极管，有利于光的吸收。

在一个示例中，以三色光(R、G、B)的感知为例，如图5所示，微透镜1111设置有三列，第一列微透镜1111透射的三色光，经过对应的彩色滤光片后剩余红色光(R)被传输至相对的光电探测器1113，其他的绿色光、蓝色光(G、B)并过滤；同理，第二列微透镜1111透射的三色光，经过对应的彩色滤光片后剩余绿色光(G)被传输至相对的光电探测器1113，其他的红色光、蓝色光(R、B)并过滤；第三列微透镜1111透射的三色光，经过对应的彩色滤光片后剩余蓝色光(B)被传输至相对的光电探测器1113，其他的红色光、绿色光(R、G)并过滤；各光电探测器1113探测获得单色光的像素信号。

如图6所示，在一个示例中，所述的像素单元111是采用前照式(FSI)工艺的全局式快门像素结构。该全局式快门像素结构中，金属层1114设置在所述光学滤光片1112与光电探测器1113之间；

综上所述，本实施例优选采用BSI工艺的全局式快门像素结构，采用BSI工艺的全局式快门像素结构，可得到比前照式(FSI)工艺的更高的量子效率(QE，QuantumEfficiency)。采用BSI工艺可以保证最高QE高于60％(550nm)的目标，提高芯片系统的灵敏度和宽谱段响应能力。

在一个实施例中，所述全局式快门像素结构至少包括全局复位晶体管GR、全局电荷传输晶体管GT、用于电荷缓存的存储单元SD；

所述全局复位晶体管GR的源极接入供电电压Vdd，所述全局复位晶体管GR的漏极耦接于所述全局电荷传输晶体管GT的源极，所述全局电荷传输晶体管GT的漏级与电荷转移晶体管TG的源极连接，所述电荷转移晶体管TG的漏级与浮动扩散节点FD耦接，所述浮动扩散节点FD和源极跟随放大器的第一端耦接，并通过浮动扩散节点复位晶体管RST接入供电电压Vdd，所述浮动扩散节点FD与第一电容Cfd的一端耦接，所述全局复位晶体管GR与所述全局电荷传输晶体管GT之间连接光电二极管PD，所述存储单元SD耦接于所述全局电荷传输晶体管GT与所述电荷转移晶体管TG之间，所述源极跟随放大器的第二端接入供电电压Vdd，所述源极跟随放大器的第三端作为信号输出端。

本实施例中，光电二极管PD用于累积光电效应产生的电荷，全局复位晶体管GR用于对光电二极管PD进行复位，全局电荷传输晶体管GT用于将光电二极管PD累积的电荷转移至存储单元SD，电荷转移晶体管TG用于将存储单元SD存储的电荷转移至浮动扩散节点FD，浮动扩散节点复位晶体管RST用于对浮动扩散节点FD的电压进行复位。

在全局电荷传输晶体管GT的栅极由低电平->高电平->低电平进行操作时，光电二极管PD曝光收集到的电荷转移到该全局电荷传输晶体管GT下方的存储单元SD中。电荷转移晶体管TG也为由栅极电压控制的开关管，在该晶体管栅极由低电平->高电平->低电平进行操作时，在存储单元SD的电荷转移到浮动扩散节点FD上。浮动扩散节点复位晶体管RST为复位晶体管，在该复位晶体管的栅极为高电平时，浮动扩散节点FD的电压被复位到一个高电位，清空浮动扩散节点FD上的电子。

在本实施例的一个示例中，源极跟随放大器包括第一晶体管SF和控制管VB，所述浮动扩散节点FD和第一晶体管SF的栅极连接，第一晶体管SF的源极连接供电电压Vdd，第一晶体管SF的漏级连接场效应晶体管SEL的源级，场效应晶体管SEL的漏级作为信号输出端，并且场效应晶体管SEL的漏级连接有控制管VB。

在本实施例的一个示例中，该全局式快门像素结构能够在逐行读出像素信号中的像素前执行全局动作机制，进而控制所有像素同时开始曝光和结束曝光，具体包括：

在常规的卷帘式快门的基础上，增加一个机制，即逐行读出像素之前有一个“全局动作”期间，在这个期间所有像素一起动作，将积存在光电二极管PD里的信号电荷转移到存储单元SD里，全局电荷传输晶体管GT关闭以后，可以通过全局复位晶体管GR来控制所有像素进行下一帧的曝光；全局复位晶体管GR为高电平时，入射光产生的电荷经全局复位晶体管GR，排出到供电电压VDD，因而不会积存在光电二极管PD里；曝光开始时，全局复位晶体管GR变低电平，不再将光电二极管PD里的电荷排出，入射光产生的信号电荷积存在光电二极管PD里，直到下一帧的全局动作期间被传输到存储单元SD。信号电荷传输到存储单元SD后，将以与常规的卷帘式快门相同的动作方式被逐行读出。即，存储单元SD的电荷被传输到浮动扩散节点FD转换成电压，然后经源极跟随放大器读出。

本示例中，全局快门式像素结构的全局复位晶体管GR和全局动作机制控制所有像素同时开始曝光和结束曝光，不会产生卷帘式快门像素因为曝光开始和结束时间不同而导致的运动物体失真，对无线内窥镜10摄像的高品质要求可以满足。

在一个实施例中，所述模数转换单元112可以采用常规的模数转换器，本实施例并不限制于此。

在一个优选实施例中，所述模数转换单元112包括采样保持器、模数转换器；

所述采样保持器，将像素单元111传输的像素信号进行模拟采样并读出，得到N个像素信号；

所述模数转换器，按照时序将所述采样保持器采集的N个像素信号转换为至少N个像素的数字信号。

本实施例的所述采样保持器，所述模数转换器可以由十二级A/D转换电路级联构成，十二级A/D转换电路的每级输出两个数字信号(D1和D0)。

在一个实施例的示例中，N个像素信号可以是8个像素信号，也可以是16个像素信号，或其他个数的像素信号，以8个像素信号为例：采样保持级同时采样和读出像素单元111传输的8个像素信号，并输出给第一级A/D转换器，之后，经过后面级联的11级A/D转换器转换后，传输给数据传输单元及存储运算模块120；其中，每个A/D转换器在每个水平周期内处理8个像素信号，因此，有8个像素信号输入级联的A/D转换器。像素信号首先被采样保持级采样，然后按顺序有其后的12bit PipelinedADC转换成数字信号。PipelinedADC的每级输出2bit，经数据对齐模块(包含冗余非冗余变换)后得到8个像素的A/D转换结果。

上述，在十二级A/D转换电路的信号转换中，使用了数据对齐，通过冗余闳非冗余变换将A/D转换结果变换为与输入相同数量级的输出，以便于后续对数据的保持、存储和运算。十二级A/D转换电路属于一种多斜率高速低功耗列ADC电路，可以实现高分辨率高帧频图像数据感知。

在本实施例的一个示例中，数据对齐是通过设置数据对齐子模块实现的，因此，在本示例中，所述模数转换单元112还可以包括数据对齐子模块，所述数据对齐子模块，用于通过冗余或非冗余变换，将所述模数转换器中各级A/D转换电路输出的像素位点转换为N个像素信号对应的数字信号。

上述，所述的数据对齐子模块可以采用常规的模数转换器的串行接口，如图7所示，通过该模数转换器的串行接口实现数据对齐，在此不再赘述。

本实施例中，模数转换器的串行接口连接所述的模数转换器与数据传输单元。

在一个实施例中，所述数据传输单元包括并转串转换器和低压差分信号驱动器，所述模数转换器、并转串转换器、低压差分信号驱动器依次连接，以实现数字信号的传输。

本实施例的一个示例中，所述并转串转换器可以采用并转串转换(P2S)电路，所述低压差分信号驱动器可以采用高速数据驱动器(即LVDS驱动器(Tx))；LVDS驱动器(Tx)和存储运算模块120连接，主要将模数转换器电路输出的数字信号通过模数转换器的串行接口、并转串转换(P2S)电路，输出数据至存储运算模块120。

如图1所示，在一个实施例中，所述图像信号处理模块200包括：主控芯片、电源供电单元和存储器；所述主控芯片分别与所述感存算芯片、电源供电单元和存储器连接；所述主控芯片还与无线通信模块300进行无线通信连接。

在本实施例的一个示例中，所述主控芯片中集成有图像输入采集单元、图像处理较正算法单元，所述图像输入采集单元用于接收感存算一体化模块100传输的图像信号，并将其转化为DC时序后传给图像处理较正算法单元；所述图像处理较正算法单元使用一个或多个图像处理较正算法进行图像的修复和优化。

在本实施例的一个示例中，所述图像信号处理模块200还包括：图像存储单元、图像输出单元、RF传输单元和电源供电单元。其中图像输入采集单元、图像处理较正算法单元集成在主控芯片内，图像输出单元、RF传输单元等其他单元功能通过外围芯片实现。主控芯片的图像输入接口主要是通过低电压差分信号接收感存算一体化模块100传输的图像数据，并将其转化为DC(Digital Camera)时序后传给图像处理较正算法单元。

在本实施例的一个示例中，所述的图像处理较正算法单元，基于一种图像处理校正算法，实现视频的实时处理。

图像处理较正的流程具体如图3所示：

图像信号或视频输入进主控芯片后，先逐像素的去除内窥镜图像中的高亮点，再进行视频光照分析，即逐像素的分析视频帧的光照情况，如果视频存在光照不平衡的情况，则用光照不均匀修复算法修复，再使用图像增强算法对视频做逐帧的图像增强，在保证色彩一致的情况下增强血管及病灶组织轮廓，提升视频图像质量；如果视频不存在光照不平衡的情况，则直接使用图像增强算法对视频做逐帧的图像增强，并进行视频输出。

在本实施例的一个示例中，所述图像存储单元可以是一种存储器，存储器主要可以采用DDR存储元件和Flash存储元件，其DDR存储元件将采用双通道模式，每个通道支持32bit互联，总的存储空间为4GB，支持的最高工作频率为2666Mbps。Flash存储元件可以采用eMMC存储元件，eMMC存储元件支持eMMC5.1接口，容量为1GB。

在本实施例的一个示例中，所述图像输出单元的图像输出接口主要用于主控芯片的处理器和显示模块(即显示器400)之间的连接。图像输出主要通过HDMI接口。该图像输出接口可有线传输至显示器400，也可通过无线的方法传输至与显示器400相连的无线通信模块300。所述的RF传输单元，通过RF无线信号与无线通信模块300建立连接，实现数据传输。RF传输单元作为发射单元，接收到图像处理较正算法传输过来的数据后，通过逻辑电路将数据调制成发射中频，并用发射压控振荡器把该发射中频信号频率上变。经功放放大后由天线转为2.4G电磁波辐射出去，由无线通信模块300接收。

在本实施例的一个示例中，所述的电源供电单元，配置为电池提供的4.2V电压，通过电源供电单元转换为主控芯片、存储电路、通信接口电路以及图像传输电路等供应相应所需的电压。

在本实施例的一个示例中，所述的无线通信模块300，为RF接收单元、通信接口以及供电单元组成。所述的RF接收单元由天线、滤波器、高放管、接收解调器等电路组成。接收时，天线把基站(即RF传输单元)发送来的电磁波转为微弱交流电流信号经滤波、高频放大后，送入中频内进行解调，得到接收基带信息；所述的通信接口，通过通信接口电路输出数据至显示设备即显示器400，进行图像显示。所述的供电单元，可以是蓄电池，为整个无线通信模块300的正常运行供电。

如图8所示，在另一个实施例中，一种基于感存算一体化的内窥镜高清视频处理方法，所述方法包括以下步骤：

S101，感知、计算和存储待测视场的探测信息，并输出图像信号；

S103，使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出为视觉图像信息；

S105，将所述视觉图像信息显示在显示器400；

其中在计算所述探测信息的过程中，基于多注意力机制对所述探测信息进行多维度图像异质融合特征表达，以实现存内原位计算。

本实施例中，感知、计算和存储待测视场的探测信息，主要可以通过上述的感存算一体化模块100实现；使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，主要可以通过上述的图像信号处理模块200实现。

在一个实施例的示例中，所述的图像处理较正算法，可以是光照不均匀修复算法、图像增强算法等。

本实施例提供了一种基于感存算一体化的内窥镜高清视频处理系统，该基于感存算一体化的内窥镜高清视频处理系统以一个基底(硅片)为基础，将传感模块110和存储运算模块120高度集成为一体化结构；而所述存储运算模块120又集成了存储和运算的功能单元，与传感模块110的感知实现感知、存储、运算三大功能集成在一块硅片上，实现感存算一体化集成；在通过医用内窥镜摄像设备的图像/视频采集的过程中，这样的感存算一体化高度集成，减少了附属信号处理电路的占用体积，从而降低芯片整体体积，达到小型化的目的；其中所述感存算一体化模块100包括感存算芯片、预设在所述感存算芯片的信息原位处理单元123；信息原位处理单元123可以实现多维信息解构、融合和理解；即信息原位处理单元123，基于多注意力机制建立注意力引导的多维度图像异质融合特征表达模型，实现存内原位计算；可以实现图像采集、存储和计算的高时效性及低时延，并减少一些不必要的外围传输电路；解决了现有无线内窥镜10的摄像设备的图像采集、存储、计算处于分离状态，而导致后续的图像信息处理的延迟、能耗增加的问题。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于感存算一体化的内窥镜高清视频处理系统，其特征在于，所述系统包括：感存算一体化模块、图像信号处理模块和无线通信模块；

所述感存算一体化模块，用于感知、计算和存储待测视场的探测信息，并输出图像信号；

所述图像信号处理模块，使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出为视觉图像信息；

所述无线通信模块，用于构建图像信号处理模块与显示器之间的通信，以将所述视觉图像信息显示在显示器；

其中，所述感存算一体化模块包括感存算芯片、预设在所述感存算芯片的信息原位处理单元；通过所述感存算芯片感知、计算和存储待测视场的探测信息，并在计算所述探测信息的过程中运行所述信息原位处理单元，所述信息原位处理单元基于多注意力机制对所述探测信息进行多维度图像异质融合特征表达，以实现存内原位计算。

2.根据权利要求1所述的系统，其特征在于，所述信息原位处理单元至少包括：基于多注意力机制的图像异质融合模型、具有两层以上全连接子网络的语言解码网络。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括光学接头，所述光学接头与感存算一体化模块耦合连接，用于获取待测视场的探测信息。

4.根据权利要求1所述的系统，其特征在于，所述感存算芯片包括传感模块和存储运算模块，所述传感模块和存储运算模块一体集成在一基底上；

所述传感模块包括像素单元和模数转换单元，所述像素单元用于采集待测视场产生的像素信号，并将采集的像素信号传输给所述模数转换单元，所述模数转换单元能够接收所述像素信号，并将该像素信号转换为数字信号传输给数据传输单元；所述数据传输单元与所述存储运算模块连接，用于将所述数字信号传输给所述存储运算模块；

所述存储运算模块，用于接收、存储所述数据传输单元传输的数字信号，并将接收或存储的所述数字信号进行处理，以获得图像信号。

5.根据权利要求4所述的系统，其特征在于，所述像素单元采用全局式快门像素结构，该全局式快门像素结构能够在逐行读出像素信号中的像素前执行全局动作机制，进而控制所有像素同时开始曝光和结束曝光。

6.根据权利要求4所述的系统，其特征在于，所述模数转换单元包括采样保持器、模数转换器；

所述采样保持器，将像素单元传输的像素信号进行模拟采样并读出，得到N个像素信号；

所述模数转换器，按照时序将所述采样保持器采集的N个像素信号转换为至少N个像素的数字信号。

7.根据权利要求4所述的系统，其特征在于，所述存储运算模块采用双字线SRAM的存内计算电路；所述双字线SRAM的存内计算电路包括存储阵列和外围运算电路，所述外围运算电路至少包括连接在所述存储阵列相应位线的预充电路、行译码电路、列译码电路及输出电路，所述行译码电路还连接有时序控制电路，所述列译码电路分别连接所述时序控制电路和输出电路。

8.根据权利要求1所述的系统，其特征在于，所述图像信号处理模块包括：主控芯片、电源供电单元和存储器；所述主控芯片分别与所述感存算芯片、电源供电单元和存储器连接；所述主控芯片还与无线通信模块进行无线通信连接。

9.根据权利要求8所述的系统，其特征在于，所述主控芯片中集成有图像输入采集单元、图像处理较正算法单元，所述图像输入采集单元用于接收感存算一体化模块传输的图像信号，并将其转化为DC时序后传给图像处理较正算法单元；所述图像处理较正算法单元使用一个或多个图像处理较正算法进行图像的修复和优化。

10.一种基于感存算一体化的内窥镜高清视频处理方法，其特征在于，所述方法包括以下步骤：

感知、计算和存储待测视场的探测信息，并输出图像信号；

使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出为视觉图像信息；

将所述视觉图像信息显示在显示器；

其中在计算所述探测信息的过程中，基于多注意力机制对所述探测信息进行多维度图像异质融合特征表达，以实现存内原位计算。

Images