CN108322706A - 一种高清信号处理装置及其方法应用 - Google Patents

一种高清信号处理装置及其方法应用 Download PDF

Info

Publication number
CN108322706A
CN108322706A CN201810126349.8A CN201810126349A CN108322706A CN 108322706 A CN108322706 A CN 108322706A CN 201810126349 A CN201810126349 A CN 201810126349A CN 108322706 A CN108322706 A CN 108322706A
Authority
CN
China
Prior art keywords
clock
video
data
module
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810126349.8A
Other languages
English (en)
Other versions
CN108322706B (zh
Inventor
王兆春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Wave View Information Polytron Technologies Inc
Original Assignee
Guangzhou Wave View Information Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Wave View Information Polytron Technologies Inc filed Critical Guangzhou Wave View Information Polytron Technologies Inc
Priority to CN201810126349.8A priority Critical patent/CN108322706B/zh
Publication of CN108322706A publication Critical patent/CN108322706A/zh
Application granted granted Critical
Publication of CN108322706B publication Critical patent/CN108322706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/22—Adaptations for optical transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种高清信号处理装置及其方法应用。装置包括：复位模块，GTX收发器时钟，视频同步模块，图像处理模块，以及，视频编码模块。所述复位模块的作用包括：初始化FPGA逻辑中的初始状态；确保GTX收发器建立完整的链路；保证数据传输的正确性。复位模块进一步包括：接收端的复位状态包含DFE电路复位、接收端物理媒介适配层复位、眼图扫描电路复位、接收端物理编码子层复位及弹性缓冲电路复位。本发明装置及其方法支持单色判断，算法具有更好的适应性，增加了对单色场景的处理功能并且对系统内存资源占用较小。

Description

一种高清信号处理装置及其方法应用
技术领域
本发明涉及计算机软硬件开发技术领域，特别涉及一种高清信号处理装置及其方法应用。
背景技术
视频监控在公共安全领域的广泛应用对视频数据的存储和传输提出了极大的挑战。根据公安部的统计数据，2015年底引导社会安装监控摄像机约2000万台，一个普通島清摄像机(130万像素)的码率约为2Mbps，其单路30天的存储容量为632.8G(按照码率2Mbpsx60秒x60分x24小时X存储天数/8计算)，普通标清摄像机的码率按1Mbps计算，则2000万台摄像机(按高清摄像机约占]/4，其余为标清进行统计)存储一个月的数据量约为7910PB，存储1个月的成本高达20亿元，如此高昂的成本也是多数监控视频数据＂存不起，传不动＂的原因。
并且随着国家公共安全和智慧城市发展的需要，监控摄像头的数量和清晰度也不断增加，这对存储和传输带宽也提出了更高的挑战。
静态背景下基于块构造的背景参考图像技术，以及基于稳定性分析的背景块码率分配技术在监控视频的帧间编码方法上，可获得虽著的性能提高。
然而，实际的编解码器还需要支持随机接入的功能，而这些随机接入帧往往采用I帧的编码方法，无法使用任何参考图像，因而这两个方法均无法用于帧内预测。由于没有任何参考图像，I帧的时域冗余无法去除，其编码码率一般会非常高，在实际应用中常容易引起丢包或延时等现象，用户体验质量非常差。
FPGA(Field Programmable Gate Array)即现场可编程逻辑门阵列。FPGA和其他MCU相比具有容量大、集成度高、速度快、灵活性强等特点，因此越来越多的将FPGA运用在信号处理、高速接口、视频图像处理等领域。
随着FPGA技术的不断进步，FPGA器件内部可编程逻辑块、RAM资源、数字信号处理模块、微处理器、吉比特收发器等资源日益丰富。
现有技术中的嵌入式视频采集白平衡算法有：灰度世界(gray-world)算法、完美反射算法(PRM)、GW和PR正交组合算法、色温估计白平衡算法等算法。这些算法的缺点是这种计算方式比较简单适合在嵌入式系统中应用，降低了计算过程中对有限内存和对CPU的占用时间，比较适合色彩较丰富的场景下使用。但是这种算法也存在着一种较为明显的缺陷就是当图像场景的色彩较为单一的情况下，会有比较明显的偏色现象(比如蓝色的天空、绿色的草原中等场景)。
现有技术中的白平衡模块设计方案目前常用的主流白平衡调节算法如灰度世界法、完美反射法、GW和PR正交组合算法、色温估计白平衡算法、白点算法及其它的一些白平衡算法各自具有不同的调节特点，但是总体来说常见白平衡算法都存在色温修正不足或算法复杂度过高的问题，计算过程都比较复杂，且因为实际使用环境光线条件较复杂没有任何一种白平衡算法可以适应所有场景，运行在嵌入式处理器上对系统的资源占用较大。
而算法相对简单的白平衡算法虽然计算过程较为简单，但算法适应性相对较差。
发明内容
本发明所要解决的技术问题在于，提供了一种高清信号处理装置及其方法应用。为了解决占用资源较少且适应性更强的问题，基于灰度世界改进、完美反射改进、色温校正约束及单色查表方式相结合的改进方案，采用工程化的处理方法“将复杂计算简单化，简单计算查表法”实现算法简单、实用性强、响应迅速的特点。
为解决上述技术问题，本发明提供了一种高清信号处理装置，包括：复位模块，GTX收发器时钟，视频同步模块，图像处理模块，以及，视频编码模块。
所述复位模块的作用包括：初始化FPGA逻辑中的初始状态；确保GTX收发器建立完整的链路；保证数据传输的正确性。
所述复位模块进一步包括：接收端的复位状态包含DFE电路复位、接收端物理媒介适配层复位、眼图扫描电路复位、接收端物理编码子层复位及弹性缓冲电路复位。
所述GTX收发器时钟包括两个并行数据的采样时钟，分别为TXUSRCLK2时钟和TXUSRCLK时钟；
所述TXUSRCLK2为发送端接口信号的采样时钟；
所述TXUSRCLK为发送端PCS子层的工作时钟；
所述TXUSRCLK时钟的大小和内部数据宽度及GTX的线路速率有关，其计算方法如公式1所示：
所述视频同步模块中对RAM读写地址的具体步骤如下：
双端口RAM的写地址根据写时钟进行自加操作，通过控制RAM读地址的方式来防止视频有效数据多读或漏读；
若RAM的读写时钟完全一致，则读地址根据读时钟进行自加操作，此时读写时钟频率和相位均相同；
若RAM的读时钟比写时钟快，则在视频的行消隐区对RAM的读地址进行操作，将视频行消隐区的SAV序列前某个读地址保持不变，重复读取当前行消隐区数据，然后读地址根据读时钟继续完成地址自加操作；
若读时钟比写时钟慢，在视频数据的行消隐区对读地址进行操作，将视频行消隐区的SAV序列前某个读地址直接加2，跳过一个行消隐区数据，然后读地址根据读时钟继续完成地址自加操作。
所述图像处理模块的白平衡处理流程如下：
步骤A：在标准色温箱中，关闭摄像机的白平衡调整功能，分别在2500K-7500K的色温范围内间隔500K的色温光线条件下对标准色卡中的白色块进行多数连续拍照，然后对相应采集区域的R/G和B/G值进行统计，并通过数据处理软件Origin拟合一条R/G和B/G值色温曲线；
步骤B：将整幅图像划分为M*N个区域，假设每个子区域有m*n个像素点，根据这些点的RGB值计算对应像素点的亮度值；
步骤C：判断是否为单色块图像，如果为非单色块则找出色块中的“白点”并计算该区域的R/G、B/G的比值，如果该区域为单色块则继续判断是否为预知色块，若是预知色块则进行查表得到色温区域值按照预设的增益值调整，否则不进行增益调整
步骤D：根据步骤C流程获取到的增益调整参数，然后在白平衡增益调节器数据乘以一个选定的增益颜色。
所述视频编码模块，进一步用于：基于反射系数图，将当前背景块转化为实时光照块，获得更高的编码性能。
所述视频编码模块工作流程分为以下几步：
步骤A：从某一个摄像头己有的视频数据提取不同时间的多个背景图像；
步骤B：基于获得的背景图像提取背景部分的反射系数图；
步骤C：对该反射系数图进行高精度、高质量编码存储；
步骤D：对当前一帧进行分块编码；
步骤E：选择具有较小代价的方法作为当前块最终选定的编码方法。
为解决上述技术问题，本发明还提供了一种高清信号处理方法，包括以下步骤：
复位步骤，GTX收发器时钟步骤，视频同步步骤，图像处理步骤，以及，视频编码步骤；
所述复位步骤进一步包括：初始化FPGA逻辑中的初始状态；确保GTX收发器建立完整的链路；保证数据传输的正确性；
所述GTX收发器时钟步骤进一步包括：
采用两个并行数据的采样时钟，分别为TXUSRCLK2时钟和TXUSRCLK时钟；
所述TXUSRCLK2为发送端接口信号的采样时钟；
所述TXUSRCLK为发送端PCS子层的工作时钟。
为解决上述技术问题，本发明又提供了一种如前述任一项所述高清信号处理装置，和/或，所述高清信号处理方法，在远程视频监控中的应用。
本发明有益效果包括：
1.支持单色判断；
2.算法具有更好的适应性；
3.增加对单色场景的处理功能；
4.对系统内存资源占用较小。
附图说明
图1为本发明实施例所述FPGA发送端逻辑设计图；
图2为本发明实施例所述FPGA接收端逻辑设计图；
图3为本发明实施例所述图像处理模块；
图4为本发明实施例所述基于colorchecker的拟合色温曲线。
具体实施方式
下面结合实施例详述本发明。为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明，但本发明并不局限于这些实施例。
本发明高清摄像头视频处理系统在光纤中的流向将光端机分为光端机发送端(发送系统)和光端机接收端(接收系统)。光端机的发送端负责采集两路HD-SDI高清摄像机的视频数据和多路传感器数据，在FPGA内部将接收到的数据进行定制操作后经光纤上传到光端机的接收端，并执行光端机接收端下发的操作指令。光端机的接收端主要负责接收通过光纤上传的数据，在FPGA内部对数据进行光端机发送端的逆操作，然后通过不同的通信接口将数据分别处理后输出进行显示或存储，同时将控制数据复用反向传输至光端机发送端。
本发明需要处理两路高清视频信号和多路串口信号，为了达到视频的实时传输，将FPGA作为主控处理器。本发明的有效传输带宽为6Gbps左右，需要三个吉比特收发器及一个SMPTESD/HD/3G-SDIIP核，并需要容量较大的RAM来缓冲视频，因此本发明采用Xilinx公司Kintex-7系列中的XC7K325TFPGA作为主控芯片。
本发明高清摄像头视频处理系统，光端机发送端主要由HD-SDI视频数据接收模块、串口数据收发模块、FPGA逻辑处理模块及光纤收发模块组成。光端机的接收端主要由光纤收发模块、FPGA逻辑处理模块、串口数据收发模块及HD-SDI视频发送模块组成。
整套系统详细工作过程如下：首先应通过通信链路测试确保系统链路是否完整，当通信链路正常时才能正确收发数据。光端机发送端采集双路高清摄像头HD-SDI数据及各传感器数据，利用双端口RAM完成数据同步解决时钟的跨时钟域问题，确保数据能够正确收发。数据同步完成之后进行数据封装，将两路视频数据和八路传感器数据封装复用为一路并行数据，根据视频的时序信号将封装好的数据插入comma字符，并利用高速收发器完成串化操作，完成电-光转换后通过光纤上传至光端机接收端。光端机接收端接收光纤传来的光信号，完成光-电的转换，并利用高速收发器完成数据的解串操作，然后对数据进行对齐操作、数据的解封装、数据的同步操作等，最后将同步好的数据通过不同的通信接口进行数据处理后显示或存储。
除此之外，光端机接收端还可以下发一系列的指令至光端机发送端，FPGA通过对指令的解析输出相应的开关量以控制远处摄像头的电源通断、辅助照明灯的开关等工作状态。
如图1所示，为本发明FPGA发送端逻辑设计图；如图2所示，为本发明FPGA接收端逻辑设计图。其中，FPGA整体逻辑设计分为光端机发送端逻辑设计和光端机接收端逻辑设计，按照视频在FPGA中的流向进行分模块设计。FPGA的逻辑设计模块主要包括GTX高速收发器模块、SMPTESD/HD/3G-SDI模块、复位模块、GTX收发器时钟模块、HD-SDI视频同步模块、HD-SDI视频时序信息提取模块、数据的封装及解封装模块、顶层GTX收发器数据流comma字符控制模块及数据对齐模块等，同时利用Modelsim对逻辑设计进行功能仿真。
1、复位模块
复位模块的作用是初始化FPGA逻辑中的初始状态。本发明的复模块包括GTX收发器的复位设计和系统复位设计。稳定的复位信号能够确保GTX收发器建立完整的链路，保证数据传输的正确性。HD-SDI接收/发送模块中的GTX收发器和顶层GTX收发器的复位模块设计思想一致。GTX收发器接收端在运行之前必须完成复位操作。
接收端的复位状态包含DFE电路复位、接收端物理媒介适配层(PMA)复位、眼图扫描电路复位、接收端物理编码子层(PCS)复位及弹性缓冲电路复位。
当GTX收发器接收端接收到的复位信号为高电平时，启动接收端中的复位状态机，当接收到的复位接口信号由高电平变为低电平时，状态开始跳转。
当用户时钟RXUSRCLK/RXUSRCLK2都稳定时，通过判断RXUSERRDY信号是否为高电平，决定复位状态机是否进入接收端物理编码子层复位状态。当接收端的复位状态机初始化完成后，通过RXRESETDONE信号变为高电平指示复位过程完成，表明GTX收发器的接收端已准备就绪，等待接收数据。
GTX收发器发送端的复位状态通过复位状态机来控制复位过程，主要包括发送端物理媒介适配层复位和发送端物理编码子层复位。当GTX收发器发送端的复位接口信号为高电平时，启动发送端中的复位状态机，当接收到的复位接口信号由高电平变为低电平时，状态开始跳转。当两个用户时钟TXUSRCLK和TXUSRCLK2都稳定时，通过判断TXUSERRDY信号是否为高电平，决定复位状态机是否进入发送端物理编码子层复位状态。当发送端的复位状态机初始化完成后，通过TXRESETDONE信号变为高电平指示复位过程完成，表明GTX收发器的发送端已准备就绪，等待发送数据。
为了避免同步复位对脉冲宽度要求高及异步复位潜在亚稳态等弊端，系统的复位信号设计采用异步复位信号同步化处理。异步复位信号同步化中的异步是指复位信号是异步有效的，复位信号和时钟无关；同步化是指复位信号的释放与时钟有关，是同步的。采用同步化的异步复位能避免同步复位和异步复位的缺点，但又能保留同步复位和异步复位的优点。
2、GTX收发器时钟
GTX收发器发送端的内部时钟有两个并行数据的采样时钟，分别为TXUSRCLK2时钟和TXUSRCLK时钟。其中TXUSRCLK2为发送端接口信号的采样时钟；TXUSRCLK为发送端PCS子层的工作时钟。
TXUSRCLK时钟的大小和内部数据宽度及GTX的线路速率有关，其计算方法如公式1所示。
TXUSRCLK和TXUSRCLK2的关系如表1所示。其中TX_INT_DATAWIDTH信号用来控制内部数据宽度，‘0’表示宽度为两个字节，‘1’表示宽度为4个字节。
表1TXUSRCLK和TXUSRCLK2的关系
FPGA接口宽度 TX_DATA_WIDTH TX_INT_DATAWIDTH TXUSRCLK2频率
2字节 16，20 0 FTXUSRCLK2＝FTXUSRCLK
4字节 32，40 0 FTXUSRCLK2＝FTXUSRCLK/2
4字节 32，40 1 FTXUSRCLK2＝FTXUSRCLK
8字节 64，80 1 FTXUSRCLK2＝FTXUSRCLK/2
在本发明中，光端机发送端和接收端都需要两种不同的GTX收发器配置，因此也需要配置两种不同的GTX收发器时钟模块。在HD-SDI接收/发送模块中，GTX收发器选择HD-SDI协议，默认为2字节模式(TX_DATA_WIDTH＝20)。在HD-SDI接收/发送模块中，GTX收发器TXUSRCLK时钟信号为TXOUTCLK时钟经过BUFG产生的，在该模式下TX_INT_DATAWIDTH信号为‘0’，TXUSRCLK2时钟频率和TXUSRCLK时钟频率一致，可直接用TXUSRCLK2时钟来操作内部并行数据。在顶层GTX收发器中，选择自定义协议，数据内部宽度4个字节。当发送数据位宽为4个字节时，需要MMCM时钟管理器对TXOUTCLK时钟进行预处理。
TXOUTCLK时钟输入到MMCM中，产生两个同相时钟信号CLKOUT0和CLKOUT1，然后经过BUFG时钟驱动器输出TXUSRCLK和TXUSRCLK2。
由于TX_INT_DATAWIDTH默认为‘1’，所以此时的TXUSRCLK时钟频率等于TXUSRCLK2的时钟频率。MMCM时钟管理器输出的LOCKED信号也可以作为用户的逻辑复位信号。在HD-SDI接收/发送模块中GTX收发器接收端和顶层GTX收发器接收端内部同样运行着两个并行采样时钟，分别为RXUSRCLK和RXUSRCLK2。
其中RXUSRCLK为接收端内部物理编码子层的逻辑工作时钟；RXUSRCLK2为接收端内部接口数据的采样时钟。GTX收发器接收端的时钟设计和发送端的时钟最大的不同在于，在接收端可以利用CDR(Clock Data Recovery，时钟数据恢复)技术进行数据和时钟恢复，接收端的时钟可以把恢复时钟作为用户时钟。
3、视频同步模块
在本发明中，视频的同步模块是为了解决视频数据的跨时钟域问题，确保视频数据能够正确收发，视频的同步模块是本发明的一个重点与难点。本发明中存在多个时钟域，无法对数据进行统一处理，解决跨时钟域问题是FPGA逻辑开发中经常面临的问题。跨时钟域传输数据通常和异步时钟沿的相对时序有关，如果跨时钟域问题得不到妥善解决，可能会出现建立时间冲突或保持时间冲突。
正常传递数据时，信号状态为高电平或低电平，若出现时序违例，触发器内部某个节点将处于一个不定的状态，此时的状态被称为亚稳态。亚稳态使得信号在两个时钟域的相邻时钟沿上无法获得相同的状态。
解决跨时钟域问题常见的方法有：采用两级寄存器、采用使能信号、采用FPGA片内存储器等。
采用两级寄存器的方法是通过寄存器对数据打两拍的方式进行同步，通过两级寄存器的处理，将数据同步到本地时钟或采样时钟。采用两级寄存器的方法只能处理单个异步信号，并且采用两级寄存器的方法时，级联的第二个寄存器的输出仍有可能为非稳定状态。采用使能信号方法是通过边沿采样原理得到输出信号的使能信号，进而根据使能信号来读取输入数据，以此来解决跨时钟域问题。
采用使能信号的方法只能解决低频时钟域到高频时钟域的同步问题，不能妥善解决低频时钟域到高频时钟域的跨时钟域问题。采用FPGA片内存储器的方式是利用存储器的双端口读取操作，读时钟和写时钟相互独立，利用片内存储器缓存写入数据，达到数据同步的目的。在处理跨时钟域问题时一般通过FPGA片内存储器的方式解决。视频数据同步模块采用FPGA片内部简化双端口RAM[51]进行数据同步，主要功能是将两路异步的视频数据转换为两路同步数据，便于FPGA统一处理两路视频数据。视频同步模块通过控制RAM的读写地址达到数据缓冲的目的，保障视频数据的正确性。
在本发明中光端机接收端和发送端的视频同步模块设计思想一致。视频的同步模块能够保证视频的正确收发，其中同步模块中写时钟和读时钟都为74.25MHz，但两个时钟为异步时钟，存在跨时钟域问题。写时钟为视频接收模块在接收HD-SDI视频信号时根据串行数据恢复出来的时钟；读时钟即本地74.25MHz时钟，为顶层GTX收发器发送端参考时钟经过PLL锁相环分频得到的本地时钟。
本模块设计的难点在于对RAM读写地址的操作，由于读写时钟频率差别很小，仅相位存在差别，数据量较小时，不会漏读或多读数据；但当数据量较大时，会造成多读或漏读数据，无法保障视频数据的完整性。
本发明视频同步模块中对RAM读写地址的具体设计过程如下：双端口RAM的写地址根据写时钟进行自加操作，通过控制RAM读地址的方式来防止视频有效数据多读或漏读的情况的发生。若RAM的读写时钟完全一致，则读地址根据读时钟进行自加操作，此时读写时钟频率和相位均相同，不会多读或漏读视频有效数据。若RAM的读时钟比写时钟快，则在视频的行消隐区对RAM的读地址进行操作，即将视频行消隐区的SAV序列前某个读地址保持不变，重复读取当前行消隐区数据，然后读地址根据读时钟继续完成地址自加操作；若读时钟比写时钟慢，同样在视频数据的行消隐区对读地址进行操作，即将视频行消隐区的SAV序列前某个读地址直接加2，跳过一个行消隐区数据，然后读地址根据读时钟继续完成地址自加操作。视频同步模块能够确保视频的有效数据完全被同步到本地时钟，解决视频数据的跨时钟域问题。在模块功能仿真之前需要编写视频激励，即根据视频标准协议构造完整的视频时序及数据。本发明根据帧率为25fps、分辨率为1080P视频标准构造视频激励。
视频的总的分辨率(H V)为2640 1125P，视频的有效分辨率为1920 1080P。其中P表示视频为逐行传输。数据同步模块的仿真分两种情况进行仿真测试。一种情况为视频同步模块的RAM读时钟慢于写时钟；一种为视频同步模块中的RAM读时钟快于写时钟。当读时钟慢于写时钟时，即本地时钟慢于视频恢复时钟。
当读时钟慢于写时钟时，在视频的有效区的行消隐区会偶尔重读或少读一个行消隐区数据，但确保了视频时序信息和有效区数据的完整性。其中rxusrclk2为写时钟，local_clk为读时钟。当读时钟快于写时钟时，即本地时钟快于视频恢复时钟，在视频的有效区的行消隐区会偶尔重读或少读一个消隐区数据，但确保了视频时序信息和有效区数据的完整性。
4、图像处理模块
VEDIOM3(ISSM3)核是专门分离出来负责视频图像数据的采集、处理的图像处理子系统，分别包含降噪处理、白平衡、颜色插值、颜色矩阵转换、Gamma校正图像处理等操作，如图3所示。为了得到更好的图像效果，本发明采用调整流程中的配置参数及改进算法的方式来优化图像质量，改进重点为白平衡处理模块。
在发明高清摄像头视频处理系统中，白平衡算法处理流程位于图像的ISP(图像处理)处理流程中的绿平衡校正(GIC)之后及CFA(色彩插值)插值之前，通过对校正后的Bayer格式数据计算根据算法程序处理结果进行适配相应的增益调节算法。
本发明白平衡处理流程是专门针对嵌入式处理器资源较为有限的情况下尽量简化算法复杂度，同时对环境光线条件适应性更强的一种处理方法，这种算法结合并吸取了灰度世界、完美反射算法有点及同时增加色温估计的约束条件，并增加了以往白平衡对单色场景的失效问题进行解决。
具体算法如下：
步骤A：在标准色温箱中，关闭摄像机的白平衡调整功能，分别在2500K-7500K的色温范围内间隔500K的色温光线条件下对标准色卡(colorchecker)色卡中的白色块进行一定次数(如100次)的连续拍照，然后对相应采集区域的R/G和B/G值进行统计，并通过数据处理软件Origin拟合一条R/G和B/G值色温曲线。
为排除单色块影响，设定一个判断是否为单色块区域，如下图4所示，其中坐标系中的X轴与Y轴的坐标分别为：Xratio＝R/G,Yratio＝B/G。
设可调参数VarStep，则Xratio、Yratio满足如下区域(公式(2)及公式(3))限制则为单色块的色温图像，根据实际精度需求设定调整参数约束单色区域范围。
步骤B：将整幅图像划分为M*N个区域，如表2所示。
表2图像均匀分区表M*N
1 2 … N-1 N
2
… …
M-1
M … M*N
假设每个子区域有m*n个像素点，根据这些点的RGB值计算利用公式(4)对应像素点的亮度值。如表3所示。
表3M*N分区子区域表
Y1 … Yn/3 … Yn
… … … … …
Ym/3 … Ym*n/(3*3) … Ym*n/3
… … … … …
Ym … Ym*n/3 … Ym*n
Yx＝0.299*R+0.587*G+0.114*B (4)
SUM_Yx(max)＝max(SUM_Yx)(X＝1...n/3...m*n/3...M*N) (6)
根据公式(4)分别求出每个均匀区域的亮度和Y，再用冒泡排序的方式求出最大亮度区域SUM_Ymax，则这个区域就是整幅图像中的“白点”。判断完这个“白点”后再根据前边介绍的色温推断方法查表确定当前光源的色温值，确定好光源色温后统计分区子区域内满足的对应色温条件范围内的R、G、B分量值，基于G分量进行调整根据如下公式(7)(8)计算得到增益调整系数GainR、GainB。其中R′，B′为调整后的像素值如公式(9)所示：
针对前边提到的M*N区域划分方式，本发明利用DM8127处理器内部集成了一个硬件H3A模块，可以快速通过内部集成的硬件模块对每帧图像按照类似上述的窗口分割方式进行亮度均值统计。并且通过H3A模块中的函数GETTING_RGB_BLOCK_VALUE即可获得各窗口分割后的R、G、B值及区域亮度值。
步骤C：本发明算法运行流程为：首先由VedioM3采集来自Sensor的每一帧Bayer格式数据，利用处理器对内部集成的H3A(自动对焦、自动曝光、自动白平衡)模块配置对每一帧图像进行分块处理，分成M*N个区域然后对区域中的亮度进行均值计算，获得各区域的RGB值(如步骤2所述)，首先判断是否为单色块图像，如果为非单色块则利用公式(4)、(5)、(6)找出色块中的“白点”并计算该区域的R/G、B/G的比值，如果该区域为单色块则继续判断是否为预知色块(通过多次实验方式模拟的单色场景，设定好最佳增益调节值)，若是预知色块则进行查表得到色温区域值按照预设的增益值调整，否则不进行增益调整。这种根据之前制定的对应色温参考值进行增益参数调整处理单色块的方法，大大提高了以往算法对单色块失效的问题，排除单色块后对“白点”查找并利用其作为参考几点也大大提高了基于灰度理论算法的有效性，同时利用查表的方式可以大大较少减小系统的运算量，因此该算法更加适用于嵌入式设备。
步骤D根据步骤C流程获取到的增益调整参数，然后在白平衡增益调节器数据乘以一个选定的增益(ipipe_wb2_wgn_r，GR，GB，或B对应的寄存器)颜色。白平衡增益可以选择从四个13位值。固件可以分配任何4个像素在水平和垂直方向的组合。
5、视频编码模块
为了提高编码性能，针对某些监控视频的背景内容在长时间内不变，仅仅是光照发生变化的特点，对背景块进行光照分离，即将实际的背景块像素值分解为实时光照和背景仿射系数的乘积。由于背景的反射系数长期不变，本发明将其编码成长期参考图像，保证码流的任何位置都可以访问到该参考图像。基于该反射系数图，本发明将当前背景块转化为实时光照块。由于实时光照比当前背景像素值具有更强的空间相关性，即更加平滑，当使用帧内编码时可以获得更高的编码性能。
本发明视频编码模块的的工作流程分为以下几步：
步骤A：从某一个摄像头己有的视频数据提取不同时间的多个背景图像。
步骤B：基于获得的背景图像提取背景部分的反射系数图。该步骤只进行一次，因而可离线进行。
步骤C：对该反射系数图进行高精度、高质量编码存储。对某一帧进行编码前，基于反射系数图，分离出当前编码图像的光照分量。将分离出的光照分量变换到正常像素范围内，缓存备用。
步骤D：对当前一帧进行分块编码。每块编码时，先尝试己有的内预测编码模式，获得最优编码模式及相应的率失真代价。之后将图像块替换为上一步存储的光照分量在相同位置的像素值，并调整编码参数，重新使用己有帧内预测编码模式进行编码，获得最优编码模式及相应的率失真代价。
步骤E：比较对图像块编码的率失真代价和对光照分量编码的率失真代价，选择具有较小代价的方法作为当前块最终选定的编码方法，在码流中写入标志位指示当前编码块最终选定了何种编码方法。
以上所述，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于本发明技术方案保护范围内。

Claims (10)

1.一种高清信号处理装置，其特征在于，包括：复位模块，GTX收发器时钟，视频同步模块，图像处理模块，以及，视频编码模块。
2.根据权利要求1所述高清信号处理装置，其特征在于，所述复位模块的作用包括：初始化FPGA逻辑中的初始状态；确保GTX收发器建立完整的链路；保证数据传输的正确性。
3.根据权利要求1所述高清信号处理装置，其特征在于，所述复位模块进一步包括：接收端的复位状态包含DFE电路复位、接收端物理媒介适配层复位、眼图扫描电路复位、接收端物理编码子层复位及弹性缓冲电路复位。
4.根据权利要求1所述高清信号处理装置，其特征在于，所述GTX收发器时钟包括两个并行数据的采样时钟，分别为TXUSRCLK2时钟和TXUSRCLK时钟；
所述TXUSRCLK2为发送端接口信号的采样时钟；
所述TXUSRCLK为发送端PCS子层的工作时钟；
所述TXUSRCLK时钟的大小和内部数据宽度及GTX的线路速率有关，其计算方法如公式1所示：
5.根据权利要求1所述高清信号处理装置，其特征在于，所述视频同步模块中对RAM读写地址的具体步骤如下：
双端口RAM的写地址根据写时钟进行自加操作，通过控制RAM读地址的方式来防止视频有效数据多读或漏读；
若RAM的读写时钟完全一致，则读地址根据读时钟进行自加操作，此时读写时钟频率和相位均相同；
若RAM的读时钟比写时钟快，则在视频的行消隐区对RAM的读地址进行操作，将视频行消隐区的SAV序列前某个读地址保持不变，重复读取当前行消隐区数据，然后读地址根据读时钟继续完成地址自加操作；
若读时钟比写时钟慢，在视频数据的行消隐区对读地址进行操作，将视频行消隐区的SAV序列前某个读地址直接加2，跳过一个行消隐区数据，然后读地址根据读时钟继续完成地址自加操作。
6.根据权利要求1所述高清信号处理装置，其特征在于，所述图像处理模块的白平衡处理流程如下：
步骤A：在标准色温箱中，关闭摄像机的白平衡调整功能，分别在2500K-7500K的色温范围内间隔500K的色温光线条件下对标准色卡中的白色块进行多数连续拍照，然后对相应采集区域的R/G和B/G值进行统计，并通过数据处理软件Origin拟合一条R/G和B/G值色温曲线；
步骤B：将整幅图像划分为M*N个区域，假设每个子区域有m*n个像素点，根据这些点的RGB值计算对应像素点的亮度值；
步骤C：判断是否为单色块图像，如果为非单色块则找出色块中的“白点”并计算该区域的R/G、B/G的比值，如果该区域为单色块则继续判断是否为预知色块，若是预知色块则进行查表得到色温区域值按照预设的增益值调整，否则不进行增益调整
步骤D：根据步骤C流程获取到的增益调整参数，然后在白平衡增益调节器数据乘以一个选定的增益颜色。
7.根据权利要求1所述高清信号处理装置，其特征在于，所述视频编码模块，进一步用于：基于反射系数图，将当前背景块转化为实时光照块，获得更高的编码性能。
8.根据权利要求1所述高清信号处理装置，其特征在于，所述视频编码模块工作流程分为以下几步：
步骤A：从某一个摄像头己有的视频数据提取不同时间的多个背景图像；
步骤B：基于获得的背景图像提取背景部分的反射系数图；
步骤C：对该反射系数图进行高精度、高质量编码存储；
步骤D：对当前一帧进行分块编码；
步骤E：选择具有较小代价的方法作为当前块最终选定的编码方法。
9.一种高清信号处理方法，其特征在于，包括以下步骤：
复位步骤，GTX收发器时钟步骤，视频同步步骤，图像处理步骤，以及，视频编码步骤；
所述复位步骤进一步包括：初始化FPGA逻辑中的初始状态；确保GTX收发器建立完整的链路；保证数据传输的正确性；
所述GTX收发器时钟步骤进一步包括：
采用两个并行数据的采样时钟，分别为TXUSRCLK2时钟和TXUSRCLK时钟；
所述TXUSRCLK2为发送端接口信号的采样时钟；
所述TXUSRCLK为发送端PCS子层的工作时钟。
10.一种如权利要求1～8中任一项所述高清信号处理装置，和/或，权利要求9所述高清信号处理方法，在远程视频监控中的应用。
CN201810126349.8A 2018-02-08 2018-02-08 一种高清信号处理装置及其方法应用 Active CN108322706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810126349.8A CN108322706B (zh) 2018-02-08 2018-02-08 一种高清信号处理装置及其方法应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810126349.8A CN108322706B (zh) 2018-02-08 2018-02-08 一种高清信号处理装置及其方法应用

Publications (2)

Publication Number Publication Date
CN108322706A true CN108322706A (zh) 2018-07-24
CN108322706B CN108322706B (zh) 2019-02-05

Family

ID=62903831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810126349.8A Active CN108322706B (zh) 2018-02-08 2018-02-08 一种高清信号处理装置及其方法应用

Country Status (1)

Country Link
CN (1) CN108322706B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109617652A (zh) * 2018-12-05 2019-04-12 西安思丹德信息技术有限公司 一种基于xilinx FPGA高速收发器的数据传输系统及方法
CN113286056A (zh) * 2020-02-20 2021-08-20 西安诺瓦星云科技股份有限公司 媒体播控设备
CN114204957A (zh) * 2021-12-10 2022-03-18 合肥讯飞数码科技有限公司 音频收发电路及相关设备、方法、装置和存储介质
CN115102679A (zh) * 2022-06-20 2022-09-23 深圳朗田亩半导体科技有限公司 一种链路参数调节方法及装置
CN116132666A (zh) * 2023-04-13 2023-05-16 四川赛狄信息技术股份公司 一种基于fpga的视频图像处理方法及系统
CN116339608A (zh) * 2023-05-29 2023-06-27 珠海妙存科技有限公司 一种数据采样方法、系统、芯片、装置与存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
CN101158876A (zh) * 2007-09-28 2008-04-09 武汉科技大学 一种基于dsp和fpga的双排钢坯视觉定位装置
CN101764982A (zh) * 2008-12-23 2010-06-30 康佳集团股份有限公司 一种高清视频图像处理方法及装置
CN102665073A (zh) * 2012-04-25 2012-09-12 北京瀚景锦河科技有限公司 用于转发sdi音视频数据的装置和方法
US8912829B1 (en) * 2013-08-12 2014-12-16 Xilinx, Inc. Method and apparatus for using a synchronous reset pulse to reset circuitry in multiple clock domains
CN105530467A (zh) * 2014-10-25 2016-04-27 史军 基于rs485的视频监控数据终端
CN106603889A (zh) * 2017-02-08 2017-04-26 广州波视信息科技股份有限公司 一种基于fpga芯片模块的超高清vr固态延时器
CN107241600A (zh) * 2017-04-20 2017-10-10 中国科学技术大学 一种静态背景帧内编码方法和装置
CN206658250U (zh) * 2017-04-05 2017-11-21 宁夏凯速德科技有限公司 一种分布式的高清信号编播控制器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
CN101158876A (zh) * 2007-09-28 2008-04-09 武汉科技大学 一种基于dsp和fpga的双排钢坯视觉定位装置
CN101764982A (zh) * 2008-12-23 2010-06-30 康佳集团股份有限公司 一种高清视频图像处理方法及装置
CN102665073A (zh) * 2012-04-25 2012-09-12 北京瀚景锦河科技有限公司 用于转发sdi音视频数据的装置和方法
US8912829B1 (en) * 2013-08-12 2014-12-16 Xilinx, Inc. Method and apparatus for using a synchronous reset pulse to reset circuitry in multiple clock domains
CN105530467A (zh) * 2014-10-25 2016-04-27 史军 基于rs485的视频监控数据终端
CN106603889A (zh) * 2017-02-08 2017-04-26 广州波视信息科技股份有限公司 一种基于fpga芯片模块的超高清vr固态延时器
CN206658250U (zh) * 2017-04-05 2017-11-21 宁夏凯速德科技有限公司 一种分布式的高清信号编播控制器
CN107241600A (zh) * 2017-04-20 2017-10-10 中国科学技术大学 一种静态背景帧内编码方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109617652A (zh) * 2018-12-05 2019-04-12 西安思丹德信息技术有限公司 一种基于xilinx FPGA高速收发器的数据传输系统及方法
CN113286056A (zh) * 2020-02-20 2021-08-20 西安诺瓦星云科技股份有限公司 媒体播控设备
CN114204957A (zh) * 2021-12-10 2022-03-18 合肥讯飞数码科技有限公司 音频收发电路及相关设备、方法、装置和存储介质
CN115102679A (zh) * 2022-06-20 2022-09-23 深圳朗田亩半导体科技有限公司 一种链路参数调节方法及装置
CN115102679B (zh) * 2022-06-20 2024-01-30 深圳朗田亩半导体科技有限公司 一种链路参数调节方法及装置
CN116132666A (zh) * 2023-04-13 2023-05-16 四川赛狄信息技术股份公司 一种基于fpga的视频图像处理方法及系统
CN116339608A (zh) * 2023-05-29 2023-06-27 珠海妙存科技有限公司 一种数据采样方法、系统、芯片、装置与存储介质
CN116339608B (zh) * 2023-05-29 2023-08-11 珠海妙存科技有限公司 一种数据采样方法、系统、芯片、装置与存储介质

Also Published As

Publication number Publication date
CN108322706B (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
CN108322706B (zh) 一种高清信号处理装置及其方法应用
WO2020063507A1 (zh) 图像处理方法、系统及计算机可读存储介质
US10616511B2 (en) Method and system of camera control and image processing with a multi-frame-based window for image data statistics
WO2020063508A1 (zh) 智能终端、图像处理方法及计算机可读存储介质
WO2020063505A1 (zh) 图像处理方法、系统及计算机可读存储介质
CN109005342A (zh) 全景拍摄方法、装置和成像设备
US7714896B2 (en) Image capturing apparatus and image capturing method
TW201440531A (zh) 擴展影像動態範圍
CN105072345A (zh) 视频编码方法和装置
CN109618099A (zh) 双光谱摄像机图像融合方法及装置
CN101472062A (zh) 一种实现摄像头功能的移动终端装置及其方法
WO2020063506A1 (zh) 智能终端、图像处理方法及计算机可读存储介质
WO2020034702A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
CN100581265C (zh) 一种多视点视频的处理方法
US6446155B1 (en) Resource bus interface
CN109429069A (zh) 一种显示流压缩编码器以及显示引擎
CN111510766A (zh) 视频编码实时评估及播放工具
CN108848285A (zh) 一种高清摄像头视频处理系统及方法
CN103841359A (zh) 一种视频多画面合成方法、装置和系统
CN106471797A (zh) 用于加速相机控制算法的平台架构
WO2024051674A1 (zh) 图像处理电路和电子设备
CN108881915A (zh) 基于dsc编码技术视频播放的装置和方法
CN103108169A (zh) 一种实时显示视频帧率的移动终端及其实现方法
CN111491100A (zh) 一种在嵌入式平台降低图像处理功耗的方法
US20210037208A1 (en) Compositing video signals and stripping composite video signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant