CN116913178A - 一种拼接屏联动系统及视频拼接方法 - Google Patents
一种拼接屏联动系统及视频拼接方法 Download PDFInfo
- Publication number
- CN116913178A CN116913178A CN202311175959.4A CN202311175959A CN116913178A CN 116913178 A CN116913178 A CN 116913178A CN 202311175959 A CN202311175959 A CN 202311175959A CN 116913178 A CN116913178 A CN 116913178A
- Authority
- CN
- China
- Prior art keywords
- mcu
- spliced
- time
- screen
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000001360 synchronised effect Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000630 rising effect Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
- G09F9/302—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements characterised by the form or geometrical disposition of the individual elements
- G09F9/3026—Video wall, i.e. stackable semiconductor matrix display modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
- G09F9/35—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements being liquid crystals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供了一种拼接屏联动系统及视频拼接方法，包括信号源、拼接屏、数字矩阵、MCU；拼接屏设有拼接器，拼接屏与拼接器连接，信号源与数字矩阵连接，用于转换和处理输入数据；数字矩阵与拼接屏连接，用于拼接并校正多个拼接屏上的画面；MCU与数字矩阵连接，MCU与拼接器连接，用于同步拼接屏与信号源的数据时间；本发明有益效果：提高拼接屏与信号源屏幕图像的同步性，加快图像拼接的速度。
Description
技术领域
本发明属于拼接屏技术领域，尤其是涉及一种拼接屏联动系统及视频拼接方法。
背景技术
拼接屏是由多个液晶屏幕拼接组成的大屏幕显示系统，又称拼接墙，它通过特殊的拼接技术，无缝地将多个液晶屏幕拼接在一起，形成一个整体显示屏幕。在安防监控、广告宣传、展示展览、指挥调度、会议室、学校教室等多个场合中，所用的监视器一般是由多个拼接屏组成。
现有的拼接屏监视器都不可避免地存在物理缝隙，因为液晶屏之间的边框宽度、拼接引线的宽度和颜色等因素所引起的，物理缝隙在拼接屏的制造过程中是不可避免的，并且由于多个拼接屏在联动时因为个体之间存在的光学物理特性差异，相邻的两个拼接屏会存在色差、对比度等显示问题。为缓解拼接屏缝隙导致的画面不清晰、不流畅等体验效果，通常会利用一下图像拼接算法比如像素平移、颜色融合、几何校正等技术，来使画面衔接的更加自然。但在一些多场面实时传输的视频画面如监控画面、实景播放画面等一些数据量大并且通道多的场景下，存在视频信号传输延时、分流滞后，不仅造成拼接屏的图像与信号源的图像时间不一致，一些拼接屏之间也会存在时间不同步的后果，严重时导致画面延迟现象。并且现有的图像拼接技术多是提取两个画面之间的特征值来进行拼接的，实时显示的场景会造成特征点提取困难，拼接屏之间时间不同步导致画面也不同帧，导致拼接处理难度陡增，需要GPU加速更强大的处理器来解决延长问题，继而影响到用户的观看体验。
发明内容
有鉴于此，本发明旨在提出一种拼接屏联动系统及视频拼接方法，以提高拼接屏与信号源屏幕图像的同步性，加快图像拼接的速度。
为达到上述目的，本发明的技术方案是这样实现的：
一种拼接屏联动系统。
进一步的，包括信号源、拼接屏、数字矩阵、MCU；信号源与数字矩阵连接，用于转换和处理输入数据；拼接屏设有拼接器，拼接屏与拼接器连接，数字矩阵与拼接屏连接，用于拼接并校正多个拼接屏上的画面；MCU与数字矩阵连接，MCU与拼接器连接，用于同步拼接屏与信号源的数据时间；
联动系统工作流程包括以下步骤：
S1、信号源的输入数据传输至数字矩阵进行处理和转换；
S2、MCU调制数字矩阵对输入数据进行处理，并传输至拼接屏；
S3、拼接屏接收输入数据并传输至拼接器，拼接器拼接图像或视频并输出数据，以驱动拼接屏进行图像显示或视频播放；
S4、MCU实时监视拼接屏的运行状态，并评估图像显示是否合格，若不正确将初始化MCU并转到S2执行；若正确则转到S3进行执行下一帧图像。
进一步的，一种拼接屏视频拼接方法基于所述拼接屏联动系统，所述MCU与数字矩阵通过8080协议通信连接；
所述S2包括以下分步骤：
S21、数字矩阵传输输入数据至MCU进行实时地信号检测、跟踪、识别；
S22、MCU对输入数据做时间同步并分流；
S23、MCU将时间同步的输入数据一一对应地传输至拼接屏。
进一步的，所述S2包括：MCU对于每个拼接屏写入的命令、参数建立缓冲并储存；同步WR信号和RD信号，用于各个拼接屏之间的时间同步、拼接屏与信号源的时间同步。
进一步的，在S21中，MCU以端口扫描方式对输入数据进行动态检测、跟踪；在S22中，MCU对MR信号采取特殊循环处理，用于集中CPU的处理能力。
进一步的，所述8080协议包括复位信号RST、片选控制信号CS、数据指令控制信号DC、读数据控制信号RD、写数据控制信号WR、双向并行数据信号DB；所述MCU的性能满足：
；
-系统同步检测周期；/>-所述拼接屏的显示分辨率；/>-MCU的CPU工作的最高频率。
进一步的，所述S3中的视频拼接基于图像拼接算法，包括以下分步骤：
S31、接收拼接屏的输入数据图像系列，对同帧下的图像进行配准；
S32、统一目标图像与参考图像的坐标系；
S33、使用拉普拉斯融合算法对目标图像与参考图像进行图像融合；
S34、转到S32执行下一幅图像拼接，直到此帧图像序列结束形成全景图；
S35、使用边缘检测算法对拼接后在该帧下的全景图进行矫直，并输出已矫直图像至拼接屏。
进一步的，所述S4中评估图像显示是否合格包括：拼接屏与信号源之间的时间同步质量、拼接屏画面缝隙拼接质量；拼接屏与信号源之间的时间同步质量由MCU评判，MCU计算拼接屏画面的SETUP时间确定同步时间差：
；
-信号输出时间；/>-信号输入时间；
拼接屏画面缝隙拼接质量由拼接器评判，拼接器利用PSNR评估法对拼接的不同区域进行质量评估，MCU获取质量评估结果。
进一步的，MCU评判拼接屏与信号源之间的同步质量包括：设置SETUP时间阈值，当/>时即同步质量不合格；当时间同步质量与缝隙拼接质量二者都合格时，MCU评估图像显示为合格，否则为不合格。
进一步的，所述S22中的时间同步包括时钟同步：
S221、MCU设置定时器，使其与拼接屏的VSYNC和HSYNC信号同步；
S222、根据拼接屏VSYNC和HSYNC信号的上升沿和下降沿，计算出拼接屏的刷新周期和行周期，以及每个像素点对应的显示时间；
S223、MCU根据计时器产生的计时信号精确输出数据信号；
S224、根据计算得到的数据显示时间，控制数字矩阵输出数据信号；
S225、将输出的数据信号发送给拼接屏，并等待下一次拼接屏VSYNC和HSYNC信号的到来，重复上述过程。
进一步的，所述MCU还连接计算机，计算机设有CNN模型，CNN模型用于同步拼接屏的数据时间，在步骤S22中包括以下分步骤：
T1、数据预处理：将各拼接屏的输入数据预处理并转化为四维数组（a、b、c、d），包括图像高度a、图像宽度b、颜色通道c、帧序列d，四维数组输入至CNN模型；
T2、特征提取：卷积层和池化层对四维数组进行特征提取，卷积层数量为n，卷积核大小为3*3，池化层数量为m，池化层使用最大池化，池化窗口大小为2*2；
T3、特征整合和回归：将经过特征提取后的输入数据传至全连接层，全连接层之间设有Dropout层，防止全连接层过度拟合，输入数据经过全连接层回归作用后传递至输出层；
T4、同步时间预测：输出层利用softmax函数将各个拼接屏的时间转化为概率分布，并预测概率最大的同步时间h；
T5、时间同步和分流：计算机根据同步时间h对所有拼接屏进行时间同步，将同步后的时间h进行分流传输至MCU。
相对于现有技术，本发明所述的一种拼接屏联动系统及视频拼接方法具有以下有益效果：
整个联动系统包括多个模块，它们之间相互协同工作，形成了完整的数字矩阵拼接方案，该方案采用了多种技术手段，包括MCU、数字矩阵、拼接器等；利用8080协议实现各部件之间的协同工作，以此实现了高效的数据传输、处理和拼接，提升了显示图像的质量和稳定性，通过使用算法和神经网络对图像进行评估、时间同步和缝隙拼接，能够实现对显示的图像质量和视觉效果的高度控制，同时，使用MCU进行实时监控和评估，减少了用户对于拼接屏工作状态的关注和干预，另外，该联动系统所采用的算法技术也具有较高的可迁移性，能够应用到其他类似的数字矩阵拼接方案中，本技术方案成功实现了对数字矩阵拼接屏的同步控制和图像质量监测，同时降低了拼接器对于实时视频的拼接负担。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的联动系统的连接图示意图；
图2为本发明实施例所述的联动系统的工作流程图示意图；
图3为本发明实施例所述的MCU工作流程图示意图；
图4为本发明实施例所述的拼接器进行图像拼接的工作流程图示意图；
图5为本发明实施例所述的CNN模型工作流程图示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
一种拼接屏联动系统，主要由信号源、拼接屏、数字矩阵、MCU组成。其中MCU为核心控制部件，可以使用SOC和FPGA实现。信号源与数字矩阵连接，用于转换和处理输入数据，数字矩阵负责处理输入的视频信号，而拼接器则负责将处理后的视频信号拼接成一个完整的图像，MCU内嵌联动系统程序，便于对数字矩阵、拼接器设备进行设置和控制，以保证信号源和拼接屏之间的兼容性和稳定性。如图1所示，数字矩阵与拼接屏连接，拼接屏设有拼接器，拼接屏与拼接器连接，即拼接屏的多个屏幕与拼接器通信连接，用于拼接并校正多个拼接屏屏幕上的画面。MCU分别与数字矩阵和拼接器连接，用于配合数字矩阵同步拼接屏与信号源的图像时序。现有的拼接屏一般集成了一个内置的拼接屏幕处理器即所述拼接器，它与一个拼接处理器的软件相匹配，这个处理器的功能是完成各种屏幕之间的图像拼接。MCU内嵌联动系统程序，便于对数字矩阵、拼接器设备进行设置和控制，以保证信号源和拼接屏之间的兼容性和稳定性。如图2所示，具体的联动系统工作流程包括以下步骤：
S1、信号源的输入数据传输至数字矩阵进行处理和转换；
S2、MCU调制数字矩阵对输入数据进行处理，并传输至拼接屏；
S3、拼接屏接收输入数据并传输至拼接器，拼接器拼接图像或视频并输出数据，以驱动拼接屏进行图像显示或视频播放；
S4、MCU实时监视拼接屏的运行状态，并评估图像显示是否合格，若不正确将初始化MCU并转到S2执行；若正确则转到S3进行执行下一帧图像。
举例来说，有两个摄像头信号源，一个来自场景的正面视角，一个来自同一场景的侧面视角，两个视角有画面重叠部分。两个信号源传输至数字矩阵，由于是多通道的视频数据传输，导致数字矩阵切换会变慢，或是由于两个通道的数据包的顺序和时间戳存在差异，导致数字矩阵上传至两个拼接屏显示的视频图像时间不同步，并且拼接屏与信号源摄像头的时间也不同步。若摄像头拍摄角度和方向在不停变化，那么时间不同步将导致两个图像画面重叠部分不完全一致，那么拼接器则会面对较大的压力，导致拼接画面质量下降，视频画面卡顿。若此时利用MCU控制数字矩阵，并接收拼接器的拼接信息，以实时监视拼接屏的运行状态，判断两个拼接屏的时间是否与信号源同步，两个拼接屏之间的时间是否同步，若不同步则重新控制数字矩阵对两个信号源的视频数据进行分流同步，最后直到拼接器的拼接图像质量合格，持续播放图像或视频。
进一步的，在MCU内部实现一个状态机，用于处理不同阶段的输入信号检测、跟踪、识别工作。MCU与数字矩阵通过8080协议通信连接。所述S2包括以下分步骤：
S21、数字矩阵传输输入数据至MCU进行实时地信号检测、跟踪、识别；
S22、MCU对输入数据做时间同步并分流；
S23、MCU将时间同步的输入数据传输至拼接屏。
具体的，时间同步包括两个主要内容，一是时序同步，二是时钟同步，为了更好的实现拼接屏与信号源之间的时间同步性，可进一步加入时钟同步功能。一般现有的8080通信协议其本身并不能具备时钟同步功能，可采用硬件同步或软件同步的辅助同步方法对拼接屏与信号源进行时钟同步，硬件同步使用专门的时钟芯片进行同步，这种方式可以通过外部的晶体振荡器或者其他时钟源来提供高精度的时钟信号，以确保系统整体的稳定性和准确性。在本技术方案中优选软件同步：
S221、MCU设置定时器，使其与拼接屏的VSYNC和HSYNC信号同步；
S222、根据拼接屏VSYNC和HSYNC信号的上升沿和下降沿，计算出拼接屏的刷新周期和行周期，以及每个像素点对应的显示时间；
S223、MCU根据计时器产生的计时信号精确输出数据；
S224、根据计算得到的数据显示时间，控制数字矩阵输出数据；
S225、将输出的数据发送给拼接屏，并等待下一次拼接屏VSYNC和HSYNC信号的到来，重复上述过程。
举例来说，MCU实时检测、跟踪、识别8080总线上的命令和数据信号，如图3所示，联动系统初始化后，启动MCU输入CS为低电平即0，读取单行写入数据个数，判断是否需要切换CS分流数据；分别读取信号的高、低电平，并同步输出/>；每输出一组/>信号，便对单行写入数据计数，并判断是否满行；每完成单行数据写入后，对行周期计数，并判断是否满帧，如果满帧，则切换状态机退出数据同步功能。最终达到拼接屏的图像或者视频信息与信号源的整幅图像或者视频信息保持同步显示。需要注意的是，MCU有相应的硬件接口以支持8080协议，比如定时器能够捕获VSYNC和HSYNC信号的上升沿和下降沿。
具体的，步骤S2包括：MCU对于每个拼接屏写入的命令、参数建立缓冲并储存，方便后续数据传输，减少传输提高传输效率及稳定性。同步WR信号和RD信号，用于各个拼接屏之间时间同步、拼接屏与信号源之间的时间同步。为进一步提高拼接屏的时间同步精准性，也可以在数字矩阵中使用同步信号切换，或在拼接屏之间信号平衡延迟进行优化，以进一步加强时间同步的精准性。在S21中，MCU以端口扫描方式对输入数据进行动态检测、跟踪，MCU对MR信号采取特殊循环处理，用于集中CPU的处理能力。一般8080协议包括复位信号RST、片选控制信号CS、数据指令控制信号DC、读数据控制信号RD、写数据控制信号WR、双向并行数据信号DB。本技术方案中MCU的性能应该满足：
；
-系统同步检测周期；/>-所述拼接屏的显示分辨率；/>-MCU的CPU工作的最高频率。上述公式表示的是MCU的处理速度要求，其中/>是MCU的处理时间，H和V分别是视频信号的水平和垂直分辨率。要求联动系统单检测周期必须在允许的时间范围内完成如下功能：读取单行写入数据个数，判断是否需要切换CS分流数据；分别读取/>信号的高、低电平，并同步输出/>；每输出一组/>信号，便对单行写入数据计数，并判断是否满行；每完成单行数据写入后，对行周期计数，并判断是否满帧，如果满帧，则切换状态机退出数据同步功能。
进一步的，如图4所示，步骤S3中的视频拼接基于图像拼接，包括以下分步骤：
S31、接收拼接屏的输入数据图像系列，对同帧下的图像进行配准；
S32、统一目标图像与参考图像的坐标系；
S33、使用拉普拉斯融合算法对目标图像与参考图像进行图像融合；
S34、转到S32执行下一幅图像拼接，直到此帧图像序列结束形成全景图；
S35、使用边缘检测算法对拼接后在该帧下的全景图进行矫直，并输出已矫直图像至拼接屏。
具体的，图像拼接流程如图4所示，拼接器接收具有重叠区域的有序图像序列，在拼接屏的时序相同的情况下，也就是在同帧下，取其中的两个图像/>与/>，其中(i∈[1,N-1])。进一步的，判断相邻图像时目标图像还是参考图像并得到限定区域，对限定区域提取特征点，使用双向KNN算法，计算欧氏距离，进一步的优选使用随机采样一致性RANSAC算法剔除误匹配点，再计算/>与/>之间的仿变换模型并保存，进一步的i+1进行下一组的图像配准，直到完成所有图像序列间的配准为止。根据所得到的仿变换模型计算仿射变换矩阵，使得目标图像与参考图像在相同的坐标系之下。使用寻找最优拼接缝算法找到两个图像的最优拼接缝，并使用多分辨率拉普拉斯融合算法进行图像融合以消除拼接缝提高图像质量，最优拼接缝算法优选有狄克斯特拉算法、贪婪算法等。进一步的再执行下一幅图像拼接，直到完成所有区域的图像拼接。最后，对拼接后全景图使用边缘检测算法找到图像边缘位置，经过透视变换后全景图被矫直，边缘检测算法优选Canny边缘检测算法。将拼接后的图像投在拼接屏上，完成图像显示或视频播放。
进一步的，在步骤S4中评估图像显示是否合格包括：拼接屏与信号源之间的时间同步质量、拼接屏画面缝隙拼接质量。拼接屏与信号源之间的同步质量由MCU评判，评判规则包括但不限于MCU计算拼接屏画面的SETUP时间确定同步时间差：
；
-信号输出时间；/>-信号输入时间；
拼接屏画面缝隙拼接质量由拼接器评判，拼接器利用PSNR评估法对拼接的不同区域进行质量评估，上述MCU与拼接器连接优选串行通信连接，如UART或SPI等协议，将此评估结果快速传输至MCU。MCU评判拼接屏与信号源之间的同步质量包括：设置SETUP时间阈值，当/>时即时间同步质量不合格；当时间同步质量与缝隙拼接质量二者都合格时，MCU评估图像显示为合格，否则为不合格。进一步的，当然/>的取值应该根据硬件电路特性和实际需求来确定，并在实际使用时进行合理的调整，通常来说，/>的值应该尽可能小，以确保输入信号与输出信号的同步精度较高，具体而言，可以根据联动系统所使用的时钟频率、数字矩阵的处理速度等因素来确定/>的取值范围，同时，在实际使用过程中，需要不断调整/>的取值，以适应不同的工作环境和应用场景。
进一步的，如图5所示，MCU还连接计算机，由于MCU性能难以满足快速地驱动深度学习模型，所以我们在计算机里设置已训练好CNN模型，CNN模型用于同步各个拼接屏的视频数据流时间，这种同步方式更像是时序同步，因为它是通过预测和调整各个拼接屏的显示时间来实现的，而不仅仅是简单的时钟同步。这种同步方式可以确保所有的拼接屏的视频数据流都能在同一时间显示同一帧的图像，从而实现无缝拼接，降低拼接屏拼接工作的负担。CNN模型可以根据后续MCU评估图像结果进行训练和调整，以尽量地使各个拼接屏之间达到时间同步，在步骤S22中包括以下分步骤：
T1、数据预处理：首先，MCU获取每个拼接屏的图像数据，将各拼接屏的输入数据预处理并转化为四维数组（a、b、c、d），包括图像高度a、图像宽度b、颜色通道c、帧序列d，四维数组（a、b、c、d）输入至CNN模型；
T2、特征提取：CNN模型中卷积层和池化层对四维数组进行特征提取，卷积层数量为n，n优选为5-15层，以免计算机性能带不动，卷积核大小选择常见的为3*3，池化层数量为m，池化层使用最大池化方法，池化窗口大小为2*2；
T3、特征整合和回归：将经过特征提取后的输入数据传至全连接层，全连接层之间设有Dropout层，防止全连接层过度拟合，输入数据经过全连接层回归作用后传递至输出层；
T4、同步时间预测：输出层利用softmax函数将各个拼接屏的时间转化为概率分布，并根据概率分布预测出最可能的同步时间h，softmax函数表达式为：
；
-拼接屏j的同步时间的预测概率；/>-softmax函数的输出值(j=1,2,...,n)；/>-所有神经元输出的指数函数的和；
T5、时间同步和分流：计算机根据同步时间h对所有拼接屏进行时间同步，将同步后的视频时间h进行分流传输至MCU。
具体的，CNN模型包括但不限于以下设置：输入层：输入为四维数组，包括图像高度a、图像宽度b、颜色通道c、帧序列d。卷积层：共设置n个卷积层，n取值为5-15之间。第一层卷积层参数为：卷积核数32，核大小3*3，步长1，padding模式same，激活函数ReLU。第二层及之后的卷积层参数类似，核数依次增加(64、128等)。池化层：共设置m个最大池化层，m取值为n-1或者n。池化窗口大小统一为2*2，步长为2。Dropout层：设置在卷积层和全连接层之间，以及全连接层之间，dropout比例取0.25。全连接层：第一全连接层神经元数取256，第二全连接层神经元数取128，以减小参数量。激活函数采用ReLU。输出层：输出层神经元数为拼接屏数量n，激活函数采用Softmax。损失函数：采用交叉熵损失函数。优化器：采用Adam优化器。其他设置：使用L2正则化防止过拟合，正则化系数取0.01；使用早停机制，当验证集损失连续5次迭代不下降时停止训练。
在一个具体实施例中，本联动系统准确地完成了对数字矩阵各种信号的检测、跟踪和识别，并且在拼接屏上高效地对高速视频数据流进行同步分流，有效地缓解了拼接屏的工作压力，最终达到了信号源的视频信息与拼接屏的视频信息保持同步显示的目的，虽然因数据传输速度限制和数字矩阵、MCU等设备处理性能的局限，使得拼接屏的播放的时间较于信号源拍摄的时间有一些延后，但保证了各个拼接屏之间的时序相同，播放的图像序列比较接近，方便拼接器对图像进行缝隙拼接，缓解了拼接器的工作负担，进而提高了拼接屏播放的图像质量，加强了用户观影感。这些都是联动系统在数字矩阵拼接中的不断优化和创新，对改进和提升数字矩阵拼接技术具有积极的意义。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种拼接屏联动系统，其特征在于：包括信号源、拼接屏、数字矩阵、MCU；
拼接屏设有拼接器，拼接屏与拼接器连接，信号源与数字矩阵连接，用于转换和处理输入数据；数字矩阵与拼接屏连接，用于拼接并校正多个拼接屏上的画面；
MCU与数字矩阵连接，MCU与拼接器连接，用于同步拼接屏与信号源的数据时间；
联动系统工作流程包括以下步骤：
S1、信号源的输入数据传输至数字矩阵进行处理和转换；
S2、MCU调制数字矩阵对输入数据进行处理，并传输至拼接屏；
S3、拼接屏接收输入数据并传输至拼接器，拼接器拼接图像或视频并输出数据，以驱动拼接屏进行图像显示或视频播放；
S4、MCU实时监视拼接屏的运行状态，并评估图像显示是否合格，若不正确将初始化MCU并转到S2执行；若正确则转到S3进行执行下一帧图像。
2.一种拼接屏视频拼接方法，包括权利要求1所述的一种拼接屏联动系统，其特征在于：所述MCU与数字矩阵通过8080协议通信连接；
所述S2包括以下分步骤：
S21、数字矩阵传输输入数据至MCU进行实时地信号检测、跟踪、识别；
S22、MCU对输入数据做时间同步并分流；
S23、MCU将时间同步的输入数据一一对应地传输至拼接屏。
3.根据权利要求2所述的一种拼接屏视频拼接方法，其特征在于：所述S2包括：MCU对于每个拼接屏写入的命令、参数建立缓冲并储存；同步WR信号和RD信号，用于各个拼接屏之间的时间同步、拼接屏与信号源的时间同步。
4.根据权利要求2所述的一种拼接屏视频拼接方法，其特征在于：在S21中，MCU以端口扫描方式对输入数据进行动态检测、跟踪；
在S22中，MCU对MR信号采取特殊循环处理，用于集中CPU的处理能力。
5.根据权利要求2所述的一种拼接屏视频拼接方法，其特征在于：所述8080协议包括复位信号RST、片选控制信号CS、数据指令控制信号DC、读数据控制信号RD、写数据控制信号WR、双向并行数据信号DB；
所述MCU的性能满足：
；
-系统同步检测周期；/>-所述拼接屏的显示分辨率；/>-MCU的CPU工作的最高频率。
6.根据权利要求2所述的一种拼接屏视频拼接方法，其特征在于：所述S3中的视频拼接基于图像拼接算法，包括以下分步骤：
S31、接收拼接屏的输入数据图像系列，对同帧下的图像进行配准；
S32、统一目标图像与参考图像的坐标系；
S33、使用拉普拉斯融合算法对目标图像与参考图像进行图像融合；
S34、转到S32执行下一幅图像拼接，直到此帧图像序列结束形成全景图；
S35、使用边缘检测算法对拼接后在该帧下的全景图进行矫直，并输出已矫直图像至拼接屏。
7.根据权利要求2所述的一种拼接屏视频拼接方法，其特征在于：所述S4中评估图像显示是否合格包括：拼接屏与信号源之间的时间同步质量、拼接屏画面缝隙拼接质量；
拼接屏与信号源之间的时间同步质量由MCU评判，MCU计算拼接屏画面的SETUP时间确定同步时间差：
；
-信号输出时间；/>-信号输入时间；
拼接屏画面缝隙拼接质量由拼接器评判，拼接器利用PSNR评估法对拼接的不同区域进行质量评估，MCU获取质量评估结果。
8.根据权利要求7所述的一种拼接屏视频拼接方法，其特征在于：MCU评判拼接屏与信号源之间的同步质量包括：设置SETUP时间阈值，当/>时即同步质量不合格；
当时间同步质量与缝隙拼接质量二者都合格时，MCU评估图像显示为合格，否则为不合格。
9.根据权利要求2所述的一种拼接屏视频拼接方法，其特征在于：所述S22中的时间同步包括时钟同步：
S221、MCU设置定时器，使其与拼接屏的VSYNC和HSYNC信号同步；
S222、根据拼接屏VSYNC和HSYNC信号的上升沿和下降沿，计算出拼接屏的刷新周期和行周期，以及每个像素点对应的显示时间；
S223、MCU根据计时器产生的计时信号精确输出数据信号；
S224、根据计算得到的数据显示时间，控制数字矩阵输出数据信号；
S225、将输出的数据信号发送给拼接屏，并等待下一次拼接屏VSYNC和HSYNC信号的到来，重复上述过程。
10.根据权利要求3所述的一种拼接屏视频拼接方法，其特征在于：所述MCU还连接计算机，计算机设有CNN模型，CNN模型用于同步拼接屏的数据时间，在步骤S22中包括以下分步骤：
T1、数据预处理：将各拼接屏的输入数据预处理并转化为四维数组（a、b、c、d），包括图像高度a、图像宽度b、颜色通道c、帧序列d，四维数组输入至CNN模型；
T2、特征提取：卷积层和池化层对四维数组进行特征提取，卷积层数量为n，卷积核大小为3*3，池化层数量为m，池化层使用最大池化，池化窗口大小为2*2；
T3、特征整合和回归：将经过特征提取后的输入数据传至全连接层，全连接层之间设有Dropout层，防止全连接层过度拟合，输入数据经过全连接层回归作用后传递至输出层；
T4、同步时间预测：输出层利用softmax函数将各个拼接屏的时间转化为概率分布，并预测概率最大的同步时间h；
T5、时间同步和分流：计算机根据同步时间h对所有拼接屏进行时间同步，将同步后的时间h进行分流传输至MCU。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311175959.4A CN116913178B (zh) | 2023-09-13 | 2023-09-13 | 一种拼接屏联动系统及视频拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311175959.4A CN116913178B (zh) | 2023-09-13 | 2023-09-13 | 一种拼接屏联动系统及视频拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116913178A true CN116913178A (zh) | 2023-10-20 |
| CN116913178B CN116913178B (zh) | 2023-11-28 |
Family
ID=88360709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311175959.4A Active CN116913178B (zh) | 2023-09-13 | 2023-09-13 | 一种拼接屏联动系统及视频拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116913178B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437122A (zh) * | 2023-12-21 | 2024-01-23 | 宁波港信息通信有限公司 | 一种集装箱全景图像的拼接方法和系统 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807389A (zh) * | 2010-03-19 | 2010-08-18 | 上海博康智能网络科技有限公司 | 大屏拼接方法及系统 |
| CN102082919A (zh) * | 2009-11-28 | 2011-06-01 | 天津七所信息技术有限公司 | 数字视频矩阵 |
| CN103577143A (zh) * | 2013-11-19 | 2014-02-12 | 四川虹视显示技术有限公司 | 基于8080总线的拼接屏系统及其控制方法 |
| CN103716549A (zh) * | 2013-12-31 | 2014-04-09 | 成都有尔科技有限公司 | 高清同步播放系统及其实现方法 |
| CN205265824U (zh) * | 2015-10-29 | 2016-05-25 | 北京华宇信息技术有限公司 | 庭审主机系统 |
| CN107071361A (zh) * | 2017-04-21 | 2017-08-18 | 安徽森度科技有限公司 | 一种拼接屏同步视频数据显示方法 |
| WO2017193372A1 (zh) * | 2016-05-13 | 2017-11-16 | 深圳市赛亿科技开发有限公司 | 一种实现全景图像拼接的方法及系统 |
| CN107509006A (zh) * | 2017-08-11 | 2017-12-22 | 北京小鸟科技股份有限公司 | 多组拼接屏的视频同步装置及显示设备 |
| CN108989747A (zh) * | 2018-07-05 | 2018-12-11 | 深圳智锐通科技有限公司 | 跨多gpu芯片的视频拼接方法及装置 |
| CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
| CN208754414U (zh) * | 2018-09-06 | 2019-04-16 | 众立智能科技(深圳)有限公司 | 一种实现视频拼接和切割的新型矩阵设备 |
| CN110134358A (zh) * | 2019-05-27 | 2019-08-16 | 中天智领（北京）科技有限公司 | 一种多屏幕控制方法及装置 |
| CN110475137A (zh) * | 2019-09-06 | 2019-11-19 | 北京市博汇科技股份有限公司 | 一种高精度分布式显控帧同步方法和系统 |
| CN111596879A (zh) * | 2020-05-14 | 2020-08-28 | 上海济丽信息技术有限公司 | 一种基于8080总线的拼接大屏同步驱动显示系统 |
| CN215581438U (zh) * | 2021-09-06 | 2022-01-18 | 深圳市唯奥视讯技术有限公司 | 一种多点分配的vbyone信号传输矩阵装置 |
| WO2022156472A1 (zh) * | 2021-01-22 | 2022-07-28 | 华为技术有限公司 | 拼接屏同步显示方法、电子设备和拼接屏系统 |
| CN115665493A (zh) * | 2022-10-12 | 2023-01-31 | 中国船舶集团有限公司第七0九研究所 | 支持录播的大屏拼接装置、拼接器、播放控制方法及系统 |
| CN116360969A (zh) * | 2021-12-28 | 2023-06-30 | 北京领航智联物联网科技有限公司 | 智能边缘计算网关以及对视音频设备进行自动接入的方法 |
| CN116389811A (zh) * | 2023-03-10 | 2023-07-04 | 东莞市九鼎实业有限公司 | 一种分布式视频图像拼接的同步控制方法及系统 |
-
2023
- 2023-09-13 CN CN202311175959.4A patent/CN116913178B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102082919A (zh) * | 2009-11-28 | 2011-06-01 | 天津七所信息技术有限公司 | 数字视频矩阵 |
| CN101807389A (zh) * | 2010-03-19 | 2010-08-18 | 上海博康智能网络科技有限公司 | 大屏拼接方法及系统 |
| CN103577143A (zh) * | 2013-11-19 | 2014-02-12 | 四川虹视显示技术有限公司 | 基于8080总线的拼接屏系统及其控制方法 |
| CN103716549A (zh) * | 2013-12-31 | 2014-04-09 | 成都有尔科技有限公司 | 高清同步播放系统及其实现方法 |
| CN205265824U (zh) * | 2015-10-29 | 2016-05-25 | 北京华宇信息技术有限公司 | 庭审主机系统 |
| WO2017193372A1 (zh) * | 2016-05-13 | 2017-11-16 | 深圳市赛亿科技开发有限公司 | 一种实现全景图像拼接的方法及系统 |
| CN107071361A (zh) * | 2017-04-21 | 2017-08-18 | 安徽森度科技有限公司 | 一种拼接屏同步视频数据显示方法 |
| CN107509006A (zh) * | 2017-08-11 | 2017-12-22 | 北京小鸟科技股份有限公司 | 多组拼接屏的视频同步装置及显示设备 |
| CN108989747A (zh) * | 2018-07-05 | 2018-12-11 | 深圳智锐通科技有限公司 | 跨多gpu芯片的视频拼接方法及装置 |
| CN208754414U (zh) * | 2018-09-06 | 2019-04-16 | 众立智能科技(深圳)有限公司 | 一种实现视频拼接和切割的新型矩阵设备 |
| CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
| CN110134358A (zh) * | 2019-05-27 | 2019-08-16 | 中天智领（北京）科技有限公司 | 一种多屏幕控制方法及装置 |
| CN110475137A (zh) * | 2019-09-06 | 2019-11-19 | 北京市博汇科技股份有限公司 | 一种高精度分布式显控帧同步方法和系统 |
| CN111596879A (zh) * | 2020-05-14 | 2020-08-28 | 上海济丽信息技术有限公司 | 一种基于8080总线的拼接大屏同步驱动显示系统 |
| WO2022156472A1 (zh) * | 2021-01-22 | 2022-07-28 | 华为技术有限公司 | 拼接屏同步显示方法、电子设备和拼接屏系统 |
| CN215581438U (zh) * | 2021-09-06 | 2022-01-18 | 深圳市唯奥视讯技术有限公司 | 一种多点分配的vbyone信号传输矩阵装置 |
| CN116360969A (zh) * | 2021-12-28 | 2023-06-30 | 北京领航智联物联网科技有限公司 | 智能边缘计算网关以及对视音频设备进行自动接入的方法 |
| CN115665493A (zh) * | 2022-10-12 | 2023-01-31 | 中国船舶集团有限公司第七0九研究所 | 支持录播的大屏拼接装置、拼接器、播放控制方法及系统 |
| CN116389811A (zh) * | 2023-03-10 | 2023-07-04 | 东莞市九鼎实业有限公司 | 一种分布式视频图像拼接的同步控制方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 俞凌云;王毅刚;王亢;: "大屏幕无缝拼接系统的应用软件平台开发", 计算机应用, no. 09 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437122A (zh) * | 2023-12-21 | 2024-01-23 | 宁波港信息通信有限公司 | 一种集装箱全景图像的拼接方法和系统 |
| CN117437122B (zh) * | 2023-12-21 | 2024-03-29 | 宁波港信息通信有限公司 | 一种集装箱全景图像的拼接方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116913178B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102790843B (zh) | 图像处理设备和显示图像生成方法 | |
| US6549641B2 (en) | Screen image observing device and method | |
| CN101950550B (zh) | 基于观看者视角显示不同角度画面的显示装置 | |
| CN116913178B (zh) | 一种拼接屏联动系统及视频拼接方法 | |
| US20140347439A1 (en) | Mobile device and system for generating panoramic video | |
| EP0651578A2 (en) | Image processing apparatus that can provide image data of high quality without deterioration in picture quality | |
| US20160080645A1 (en) | Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program | |
| CN102929572A (zh) | 一种实现大屏幕多投影无缝拼接的方法及其拼接融合器 | |
| EP1057169A4 (en) | METHOD AND DEVICE FOR PROCESSING, DISPLAYING AND TRANSMITTING IMAGES | |
| CN102256051A (zh) | 摄影装置、显示定时控制电路 | |
| CN103037189A (zh) | 一种实现多个投影整体输出大屏画面视频图像的方法 | |
| US20190122601A1 (en) | Driving circuit for display screen, display method and display device | |
| CN102215418B (zh) | 3d影像显示方法及接口单元 | |
| JPH11331693A (ja) | 画像処理方法及びその装置 | |
| US11570384B2 (en) | Image sensor employing varied intra-frame analog binning | |
| CN103813124A (zh) | 图像处理装置和图像处理方法 | |
| KR20100007628A (ko) | 이미지 센서 인터페이스 장치 및 이를 구비하는 디지털촬영 장치 | |
| CN102158655B (zh) | 一种dvi/hdmi/dp/vga信号的后级无抖校正系统 | |
| CN103108169A (zh) | 一种实时显示视频帧率的移动终端及其实现方法 | |
| CN204272298U (zh) | 多路扩展式多屏幕拼接器 | |
| CN103139524B (zh) | 视频优化方法以及信息处理设备 | |
| CN205584318U (zh) | 一种usb高清会议摄像机 | |
| CN112887653B (zh) | 一种信息处理方法和信息处理装置 | |
| CN114040097A (zh) | 一种基于多通道图像采集融合的大场景交互动作捕捉系统 | |
| JP2001197479A (ja) | 差分画像処理方法および差分画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |