CN115690149B - 显示器的图像融合处理系统及方法 - Google Patents

Abstract

本发明涉及显示器的图像融合处理系统及方法，将多目长焦摄像机设置为相同的焦距，对目标区域进行重复拍摄，通过第一信道发送，然后对多幅画面进行融合，得到高画质的全景图像，降低了设备占用，提高了反应速率，利用红外景深测定仪对目标区域进行多点测距，可以将拍摄区域划分为不同的景深，相比于传统的一个摄像头必须兼容所有景深，长焦摄像机具有多目，在多目协同的情况下，可以实现大范围的快速变焦和定焦，通过多信道发送图像，动态图像占用一个独立信道，背景图像占用两个信道，可以保证全景图像的低占比和放大图像（分区图像）的高质量，即保证了画面质量，又降低了容量占比，提高了处理速率。

Description

显示器的图像融合处理系统及方法

技术领域

本发明涉及图像处理技术领域，具体涉及显示器的图像融合处理系统及方法。

背景技术

图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。

图像融合由低到高分为三个层次：数据级融合、特征级融合、决策级融合。数据级融合是指直接对传感器采集来得数据进行处理而获得融合图像的过程；特征级融合是对图像进行特征抽取，将边缘、形状、轮廓、局部特征等信息进行综合处理的过程；决策级融合是在每种传感器独立完成决策或分类的基础上，将多个传感器的识别结果进行融合做出全局的最优决策。

现有技术中，存在针对“图像融合”的技术方案：

（1）CN105025236A公开了一种内置于显示器的图像融合处理系统，具体公开了视频输入模块包括n个视频输入单元，每个视频输入单元有多路视频输入信号，每个图像窗口可以显示相同的图像信号，也可以显示不同的图像信号。每个图像窗口可平铺，可叠加，并且整个显示屏可以显示一个背景底图，并不占用显示通道。

（2）CN112866573A公开了一种显示器、融合显示系统及图像处理方法，具体公开了利用叠加器将第一图像和第二图像进行叠加以获得处理后的第一图像的显示数据，再将处理后的第一图像的显示数据传输至有背光液晶屏进行显示，而第二图像的显示数据则直接传输至无背光液晶屏进行显示，使得传输的数据量减小，从而降低数据传输的带宽需求并缩短数据传输的时间，使得图像融合所需的时间也大幅减少，使融合后的图像能够进行快速显示，避免用户产生动晕症。

（3）CN109993718B公开了一种多通道投影图像融合方法及装置，具体公开了通过对多通道图像中相邻通道图像之间的图像重叠区域进行特征点匹配，得到相邻通道图像之间相匹配的特征点集，以及基于相匹配的特征点集对相邻通道图像配准至同一坐标系上，最后对配准后的相邻通道图像进行拼接融合，形成最终投影图像，从而有效地减少由于物理条件限制导致的安装调试困难问题，弥补理想状态下光路设计与实际施工现场的情况有区别而造成的施工误差，大大提高了整个投影系统的效率和稳定性。

上述技术方案提出了对显示器图像融合的改进，但是，现有技术在显示器图像融合领域，仍然存在以下问题：

1、以现有技术（1）为例，其具有n个视频输入单元，每个视频输入单元有多路视频输入信号，这样的设置使信号输入繁杂，显示器处理器需要同时处理较多的信号通道，提高了硬件成本，降低了软件的即时反应速率。

2、以现有技术2为例，其将背景信息放置在一个信道内，前景信息放置在另一个通道内，降低了通道的繁杂度，但是，背景信息的精度不足，特别是对于具有较大景深的运动场景，例如运动场图像，需要实时方法时，背景图像只能依靠对图像进行缩放的方式来调整，在放大的情况下，背景模糊程度较重，而无法通过摄像机变焦的方式来提高图像精度。

3、以现有技术3为例，其对目标图像进行了分区，采用重复区域进行定位，这样可以提高放大情况下的图像质量，但是，对于全景图像来说，额外增加的数据量，即全景图像并不需要放大的细节，这样会造成数据处理缓慢。

由此可见，现有技术中，仍然存在着无法即保证放大图像的精度，又避免全景图像囊括过度精细的放大图像而造成处理缓慢的技术问题。

发明内容

本发明为了解决上述问题，本发明提供了显示器的图像融合处理系统及方法，具体提供了如下技术方案：

一种显示器的图像融合处理系统，包括显示器、阵列摄像组件、处理器组件和信道分发器；

所述阵列摄像组件至少包括多目的长焦摄像机、一个红外景深测定仪、一个高速追踪摄像机；

所述处理处理器组件至少包括显示器融合处理器、景深分区处理器、静态背景处理器、动态预测处理器、融合处理器；

所述红外景深测定仪用于对目标图像区域生成等距线图；

所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像；通过第一信道将图像发送至显示器融合处理器；在所述复眼模式下，各目的焦距相同；

所述静态背景处理器基于所述多帧目标图像确定静态背景；

所述景深分区处理器根据距离对目标图像区域进行分区和聚类分析并使用长焦摄像机进行拍摄；

所述景深分区处理器将所述等距线图覆盖至所述静态背景图像，对叠加图像进行聚类分区，相邻分区具有重复区域，确定各分区至阵列摄像组件的距离，所述长焦摄像机进入变焦模式，各目的焦距不同，基于各分区的距离确定景深和焦距，各目进行巡点拍摄，得到放大的分区图像，通过第二信道发送至所述显示器融合处理器；

所述高速追踪摄像机对运动目标进行拍摄，并基于所述动态预测处理器所测算的运动目标的加速度向量，进行跟踪拍摄，将图像经第三信道发送至所述显示器融合处理器。

进一步的，所述红外景深测定仪用于对目标图像区域生成等距线图，具体为：所述红外景深测定仪对目标图像区域进行拍摄，并所有将目标点的距离信息标记在目标图像上，并发送至景深分区处理器，所述景深分区处理器对所述目标点的距离信息进行滤波，在目标图像区域内生成等距线图；所述滤波为小波滤波或卡尔曼滤波。

进一步的，所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像，具体为：景深分区处理器计算目标点与阵列摄像组件的距离平均值，并将所述距离平均值发送至长焦摄像机；所述长焦摄像机根据所述距离平均值确定焦距，对所述目标图像区域进行多帧拍摄。

进一步的，所述静态背景处理器基于所述多帧目标图像确定静态背景，具体为：将多帧长焦图像发送至所述静态背景处理器，当像素点的RGB波动量在预定时间内小于预设的阈值时，则认为该像素点为静态像素点，基于由于静态像素点确定静态背景图像，发送至所述景深分区处理器；

进一步的，所述景深分区处理器根据距离对目标图像区域进行分区和聚类分析并使用长焦摄像机进行拍摄，具体为：所述景深分区处理器根据长焦摄像机的焦点数量，对目标图像进行分区，各分区内分别包含一个长焦摄像机的焦点；所述景深分区处理器计算各分区的最大距离、最小距离和平均距离，并对各分区的平均距离的聚类分析；所述景深分区处理器完成聚类分析后，对各分区赋予焦距标识符；对具有相同焦距标识符的分区，根据最大距离和最小距离确定景深，进行对此拍摄，式被摄的分区完全覆盖目标图像区域。

一种显示器的图像融合处理方法，所述处理方法基于所述的处理系统实施，其特征在于，包括以下步骤：

步骤S1：使用红外景深测定仪对目标区域进行多点测距，将测得的距离标记于目标区域图像，并进行滤波，绘制等距线图；

步骤S2：根据目标区域与阵列摄像组件的平均距离，确定长焦摄像机进入复验眼模式，对目标区域进行拍摄；所述复眼模式是指，所述长焦摄像的所有目设置位相同的焦距，对整个目标区域进行拍摄，并对所有目所拍摄的像素的RGB值进行平均处理，得到复眼图像，经第一信道发送至显示器融合处理器；

步骤S3：根据长焦摄像机的焦点数量及分布，对目标区域进行分区，计算各分区与阵列摄像组件之间的最大距离、最小距离和平均距离，基于平均距离进行聚类分析，得到中位焦距递增排列的焦距聚类集合Ⅰ{A_i}、Ⅱ{A_j}、Ⅲ{A_k}、……，所述i、j、k表示分区编号；

步骤S4：所述长焦摄像机拍摄多帧目标图像，并根据像素RGB值的变化量确定静态背景；

步骤S5：所述长焦相机根据其目数将所述焦距聚类集合分为多组，将组数与目数相同，每一目对分配的组所包含的分区，按照焦距由低至高的顺序进行巡点拍摄，得到分区图像，通过第二信道发送至所述显示器融合处理器。

进一步的，还包括步骤S6：所述高速追踪摄像机对运动目标进行拍摄，并基于所述动态预测处理器所测算的运动目标的加速度向量，进行跟踪拍摄，将图像经第三信道发送至所述显示器融合处理器。

进一步的，还包括步骤S7：当使用者对目标区域进行全景显示时，采用第一信道融合第三信道输出图像；当使用者放大图像的比例超过阈值时时，调用第二信道融合第三信号输出图像。

有益效果

采用本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：

1、本发明将多目长焦摄像机设置为相同的焦距，对目标区域进行重复拍摄，通过第一信道发送，然后对多幅画面进行融合，得到高画质的全景图像，通过多幅画面的叠加融合，可以去除震动等因素造成的毛边增大、锐度降低等问题，同时，由于所有画面均为全景画幅，不包含放大画幅，因此融合后的画面的容量占比不会明显增大，降低了设备占用，提高了反应速率。

2、本发明利用红外景深测定仪对目标区域进行多点测距，对于体育馆、演唱会等大纵深场景，可以将拍摄区域划分为不同的景深，相比于传统的一个摄像头必须兼容所有景深，因此造成对设备的要求增大和拍摄质量降低的问题，本发明的长焦摄像机具有多目，对拍摄区域进行分割后，每一目仅需对较小的焦距范围进行拍摄，焦距精度更高，拍摄质量更好，同时，由于焦距变化幅度降低，单目的变焦更为灵敏，在多目协同的情况下，可以实现大范围的快速变焦和定焦，具体来说，第一目在近焦拍摄时，第二目、第三目可以分别完成中焦和远焦的拍摄，当使用者需要调用时，可以直接切换信号源，而无需像传统的摄像机一样，需要将近焦影像变焦至中焦或远焦，造成反应速率较低。

3、本发明通过多信道发送图像，动态图像占用一个独立信道，利用高速摄像机跟踪拍摄，实现精准定位；背景图像占用两个信道，分为复眼模式拍摄的全景图像和变焦模式拍摄的分区图像，可以保证全景图像的低占比和放大图像（分区图像）的高质量，即保证了画面质量，又降低了容量占比，提高了处理速率。

附图说明

图1为本发明所述处理方法的步骤示意图；

图2为本发明的信道分配示意图；

图3为本发明针对体育馆场景的变焦模式下的分区及巡点拍摄的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例：

一种显示器的图像融合处理系统，包括显示器、阵列摄像组件、处理器组件和信道分发器，至少包括第一信道、第二信道和第三信道；

所述阵列摄像组件至少包括多目的长焦摄像机、一个红外景深测定仪、一个高速追踪摄像机；

所述处理处理器组件至少包括显示器融合处理器、景深分区处理器、静态背景处理器、动态预测处理器、融合处理器；

所述红外景深测定仪用于对目标图像区域生成等距线图；

所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像；通过第一信道将图像发送至显示器融合处理器；在所述复眼模式下，各目的焦距相同；

所述静态背景处理器基于所述多帧目标图像确定静态背景；

所述景深分区处理器根据距离对目标图像区域进行分区和聚类分析并使用长焦摄像机进行拍摄；

所述景深分区处理器将所述等距线图覆盖至所述静态背景图像，对叠加图像进行聚类分区，相邻分区具有重复区域，确定各分区至阵列摄像组件的距离，所述长焦摄像机进入变焦模式，各目的焦距不同，基于各分区的距离确定景深和焦距，各目进行巡点拍摄，得到放大的分区图像，通过第二信道发送至所述显示器融合处理器；

所述高速追踪摄像机对运动目标进行拍摄，并基于所述动态预测处理器所测算的运动目标的加速度向量，进行跟踪拍摄，将图像经第三信道发送至所述显示器融合处理器。

进一步的，所述红外景深测定仪用于对目标图像区域生成等距线图，具体为：所述红外景深测定仪对目标图像区域进行拍摄，并所有将目标点的距离信息标记在目标图像上，并发送至景深分区处理器，所述景深分区处理器对所述目标点的距离信息进行滤波，在目标图像区域内生成等距线图；所述滤波为小波滤波或卡尔曼滤波。

进一步的，所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像，具体为：景深分区处理器计算目标点与阵列摄像组件的距离平均值，并将所述距离平均值发送至长焦摄像机；所述长焦摄像机根据所述距离平均值确定焦距，对所述目标图像区域进行多帧拍摄。

进一步的，所述静态背景处理器基于所述多帧目标图像确定静态背景，具体为：将多帧长焦图像发送至所述静态背景处理器，当像素点的RGB波动量在预定时间内小于预设的阈值时，则认为该像素点为静态像素点，基于由于静态像素点确定静态背景图像，发送至所述景深分区处理器；

进一步的，所述景深分区处理器根据距离对目标图像区域进行分区和聚类分析并使用长焦摄像机进行拍摄，具体为：所述景深分区处理器根据长焦摄像机的焦点数量，对目标图像进行分区，各分区内分别包含一个长焦摄像机的焦点；所述景深分区处理器计算各分区的最大距离、最小距离和平均距离，并对各分区的平均距离的聚类分析；所述景深分区处理器完成聚类分析后，对各分区赋予焦距标识符；对具有相同焦距标识符的分区，根据最大距离和最小距离确定景深，进行对此拍摄，式被摄的分区完全覆盖目标图像区域。

一种显示器的图像融合处理方法，所述处理方法基于所述的处理系统实施，其特征在于，包括以下步骤：

步骤S1：使用红外景深测定仪对目标区域进行多点测距，将测得的距离标记于目标区域图像，并进行滤波，绘制等距线图；

步骤S2：根据目标区域与阵列摄像组件的平均距离，确定长焦摄像机进入复验眼模式，对目标区域进行拍摄；所述复眼模式是指，所述长焦摄像的所有目设置位相同的焦距，对整个目标区域进行拍摄，并对所有目所拍摄的像素的RGB值进行平均处理，得到复眼图像，经第一信道发送至显示器融合处理器；

步骤S3：根据长焦摄像机的焦点数量及分布，对目标区域进行分区，计算各分区与阵列摄像组件之间的最大距离、最小距离和平均距离，基于平均距离进行聚类分析，得到中位焦距递增排列的焦距聚类集合Ⅰ{A_i}、Ⅱ{A_j}、Ⅲ{A_k}、……，所述i、j、k表示分区编号；

步骤S4：所述长焦摄像机拍摄多帧目标图像，并根据像素RGB值的变化量确定静态背景；

步骤S5：所述长焦相机根据其目数将所述焦距聚类集合分为多组，将组数与目数相同，每一目对分配的组所包含的分区，按照焦距由低至高的顺序进行巡点拍摄，得到分区图像，通过第二信道发送至所述显示器融合处理器。

进一步的，还包括步骤S6：所述高速追踪摄像机对运动目标进行拍摄，并基于所述动态预测处理器所测算的运动目标的加速度向量，进行跟踪拍摄，将图像经第三信道发送至所述显示器融合处理器。

进一步的，还包括步骤S7：当使用者对目标区域进行全景显示时，采用第一信道融合第三信道输出图像；当使用者放大图像的比例超过阈值时时，调用第二信道融合第三信号输出图像。

复眼模式是指，多目长焦摄像机的所有目均设置为相同的焦距，对同一焦点进行拍摄。

以速滑比赛的拍摄为例，摄影目标包括作为静态背景的赛道设施、轻微运动的观众区域和高速运动的运动员，对大空间进行摄影时，通常会采用斜上方机位，景深极大，无法充分表现近景和远景，且赛事回放需要放大画面，根据本发明的构思，采用多目的长焦摄像机，具有复眼模式，即每一目均采用相同的焦距对场地进行全景拍摄，可以叠加得到高画质的静态背景画面，从第一信道发送，叠加第三信道的动态画面，可以得到高质量且低容量占比的全景画面，同时，多目长焦摄像机可以设置各目具有不同的焦距，基于红外测距仪的点测数据，对分区进行放大摄影，例如，将画面分为3×3的9个分区，其中，作为近景的第一行3个分区的距离相近，采用近焦的第一目拍摄，作为中景的第二行3个分区的距离相近，采用中焦的第二目拍摄，作为远景的第三行3个分区的距离相近，采用远焦的第三目拍摄，三目的图像通过第二信道发送至显示器进行融合，此时，显示器显示的时全景图像，第二信道的融合在后台完成，当导播员需要放大画面时，可以直接调用融合完成的第二信道的图像，例如第2行第1、2列的分区，实现全景画面低占比，放大画面高质量的技术效果。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种显示器的图像融合处理系统，包括显示器、阵列摄像组件、处理器组件和信道分发器；

所述阵列摄像组件至少包括一个多目的长焦摄像机、一个红外景深测定仪、一个高速追踪摄像机；

所述处理处理器组件至少包括显示器融合处理器、景深分区处理器、静态背景处理器、动态预测处理器、融合处理器；

其特征在于，

所述红外景深测定仪用于对目标图像区域生成等距线图；

所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像；通过第一信道将图像发送至显示器融合处理器进行融合；在所述复眼模式下，各目的焦距相同；

所述静态背景处理器基于所述多帧目标图像确定静态背景；

所述景深分区处理器根据距离对目标图像区域进行分区和聚类分析并使用长焦摄像机进行拍摄；

相邻分区具有重复区域，确定各分区至阵列摄像组件的距离，所述长焦摄像机进入变焦模式，各目的焦距和焦点不同，基于各分区的距离确定景深和焦距，各目进行巡点拍摄，得到放大的分区图像，通过第二信道发送至所述显示器融合处理器；

所述高速追踪摄像机对运动目标进行拍摄，并基于所述动态预测处理器所测算的运动目标的加速度向量，进行跟踪拍摄，将图像经第三信道发送至所述显示器融合处理器。

2.根据权利要求1所述的一种显示器的图像融合处理系统，其特征在于，所述红外景深测定仪用于对目标图像区域生成等距线图，具体为：所述红外景深测定仪对目标图像区域进行拍摄，并所有将目标点的距离信息标记在目标图像上，并发送至景深分区处理器，所述景深分区处理器对所述目标点的距离信息进行滤波，在目标图像区域内生成等距线图；所述滤波为小波滤波或卡尔曼滤波。

3.根据权利要求2所述的一种显示器的图像融合处理系统，其特征在于，所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像，具体为：景深分区处理器计算目标点与阵列摄像组件的距离平均值，并将所述距离平均值发送至长焦摄像机；所述长焦摄像机根据所述距离平均值确定焦距，对所述目标图像区域进行多帧拍摄。

4.根据权利要求2或3所述的一种显示器的图像融合处理系统，其特征在于，所述静态背景处理器基于所述多帧目标图像确定静态背景，具体为：将多帧长焦图像发送至所述静态背景处理器，当像素点的RGB波动量在预定时间内小于预设的阈值时，则认为该像素点为静态像素点，基于由于静态像素点确定静态背景图像，发送至所述景深分区处理器。

5.根据权利要求4所述的一种显示器的图像融合处理系统，其特征在于，所述景深分区处理器根据距离对目标图像区域进行分区和聚类分析并使用长焦摄像机进行拍摄，具体为：所述景深分区处理器根据长焦摄像机的焦点数量，对目标图像进行分区，各分区内分别包含一个长焦摄像机的焦点；所述景深分区处理器计算各分区的最大距离、最小距离和平均距离，并对各分区的平均距离的聚类分析；所述景深分区处理器完成聚类分析后，对各分区赋予焦距标识符；对具有相同焦距标识符的分区，根据最大距离和最小距离确定景深，进行对此拍摄，式被摄的分区完全覆盖目标图像区域。

6.一种显示器的图像融合处理方法，所述处理方法基于权利要求1-5任一项所述的处理系统实施，其特征在于，包括以下步骤：

步骤S1：使用红外景深测定仪对目标区域进行多点测距，将测得的距离标记于目标区域图像，并进行滤波，绘制等距线图；

步骤S2：根据目标区域与阵列摄像组件的平均距离，确定长焦摄像机进入复验眼模式，对目标区域进行拍摄；并对所有目所拍摄的像素的RGB值进行平均处理，得到复眼图像，经第一信道发送至显示器融合处理器；所述复眼模式是指，所述长焦摄像的所有目设置位相同的焦距对整个目标区域进行拍摄；

步骤S3：根据长焦摄像机的焦点数量及分布，对目标区域进行分区，计算各分区与阵列摄像组件之间的最大距离、最小距离和平均距离，基于平均距离进行聚类分析，得到中位焦距递增排列的焦距聚类集合Ⅰ{A_i}、Ⅱ{A_j}、Ⅲ{A_k}、……，所述i、j、k表示分区编号；

步骤S4：所述长焦摄像机拍摄多帧目标图像，并根据像素RGB值的变化量确定静态背景；

步骤S5：所述长焦相机根据其目数将所述焦距聚类集合分为多组，将组数与目数相同，每一目对分配的组所包含的分区，按照焦距由低至高的顺序进行巡点拍摄，得到分区图像，通过第二信道发送至所述显示器融合处理器。

7.根据权利要求6所述的一种显示器的图像融合处理方法，其特征在于，还包括步骤S6：所述高速追踪摄像机对运动目标进行拍摄，并基于所述动态预测处理器所测算的运动目标的加速度向量，进行跟踪拍摄，将图像经第三信道发送至所述显示器融合处理器。

8.根据权利要求7所述的一种显示器的图像融合处理方法，其特征在于，还包括步骤S7：当使用者对目标区域进行全景显示时，采用第一信道融合第三信道输出图像；当使用者放大图像的比例超过阈值时时，调用第二信道融合第三信号输出图像。