CN113852768A - 一种基于fpga技术的音视频图像智能控制系统 - Google Patents

一种基于fpga技术的音视频图像智能控制系统 Download PDF

Info

Publication number
CN113852768A
CN113852768A CN202111122608.8A CN202111122608A CN113852768A CN 113852768 A CN113852768 A CN 113852768A CN 202111122608 A CN202111122608 A CN 202111122608A CN 113852768 A CN113852768 A CN 113852768A
Authority
CN
China
Prior art keywords
video
module
pixel
fpga
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111122608.8A
Other languages
English (en)
Inventor
范文兵
李中喜
艾璐琳
张璐璐
吴龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyin Xungu Technology Co ltd
Original Assignee
Zhongyin Xungu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyin Xungu Technology Co ltd filed Critical Zhongyin Xungu Technology Co ltd
Priority to CN202111122608.8A priority Critical patent/CN113852768A/zh
Publication of CN113852768A publication Critical patent/CN113852768A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于FPGA技术的音视频图像智能控制系统，用以解决传统的音视频图像输出的数字视频画面色彩较差，且多路视频画面切换不流畅的技术问题；本发明包括上位机、微控制器、FPGA视频叠加处理器和视频采集模块；上位机通过串口与微控制器相连接，微控制器通过I2C总线分别与视频采集模块、FPGA视频叠加处理器相连接；所述视频采集模块采集多路视频输入信号经过量化编码输出数字视频信号到FPGA视频叠加处理器，经过FPGA视频叠加处理器处理后输出叠加后的视频信号。本发明使用线性空间变化边缘检测器进行边缘增强，并使用锐化空间滤波器来减少双线性插值产生的模糊效果，能够以较小的面积和较高的性能产生高质量的缩放图像。

Description

一种基于FPGA技术的音视频图像智能控制系统
技术领域
本发明涉及音视频的控制技术领域，特别是指一种基于FPGA技术的音视频图像智能控制系统。
背景技术
ALPHA混合叠加算法是一种在图形图像领域被广泛应用的技术，它可以产生具有透明感的图像。其原理是调节分配给背景视频流和前景视频流不同的权重值来达到不同程度的透明效果。算法的数学描述为：输出图像＝前景图像×Alpha+背景图像×(1-Alpha)；其中，参数Alpha满足0≤Alpha≤1，叠加参数Alpha称为透明度，Alpha越大，前景图像越不透明，叠加后突出前景图像。Alpha越小，前景图像就越透明，叠加后突出背景图像。Alpha等于1时，前景图像不透明，叠加后表现为前景图像覆盖了背景图像，Alpha等于0时，前景图像全透明，叠加后表现为前景图像消失，只留下背景图像。
音视频图像的输出显示控制模块采用多级ALPHA混合并在FPGA上设计实现，以实现多模式显示。融入的该图像处理技术使数字视频画面通透明亮、清晰流畅、色彩丰满亮丽，可以捕捉数字视频画面特征信息，对设定的内容进行追踪和搜索。而传统的音视频图像输出显示控制模块没有采用该图像处理技术，从而导致输出的数字视频画面有较差的色彩和视觉体验，除此之外，多路的视频画面将不会有一个流畅的切换效果。
发明内容
针对上述背景技术中存在的不足，本发明提出了一种基于FPGA技术的音视频图像智能控制系统，解决了传统的音视频图像输出的数字视频画面有较差的色彩和视觉体验，且多路视频画面切换不流畅的技术问题。
本发明的技术方案是这样实现的：
一种基于FPGA技术的音视频图像智能控制系统，包括上位机、微控制器、FPGA视频叠加处理器和视频采集模块；上位机通过串口与微控制器相连接，微控制器通过I2C总线分别与视频采集模块、FPGA视频叠加处理器相连接；所述视频采集模块采集多路视频输入信号经过量化编码输出数字视频信号到FPGA视频叠加处理器，经过FPGA视频叠加处理器处理后输出叠加后的视频信号。
优选地，所述FPGA视频叠加处理器包括输入处理模块、第一视频缩放器、第二视频缩放器和视频叠加输出模块；输入处理模块分别与视频采集模块、I2C总线接口相连接，输入处理模块还分别与第一视频缩放器、第二视频缩放器相连接；I2C总线接口通过I2C总线与微控制器相连接，I2C总线接口还分别与第一视频缩放器、第二视频缩放器相连接；第一视频缩放器、第二视频缩放器均与视频叠加输出模块相连接，视频叠加输出模块输出叠加后的视频信号。
优选地，所述视频叠加输出模块包括显示时序产生模块、第一坐标产生模块、第二坐标产生模块、第一ALPHA混合叠加模块、第二ALPHA混合叠加模块、延迟模块和YCbCr转RGB模块；显示时序产生模块依据VESA标准使用显示时序参数产生行同步信号hs、场同步信号vs和数据有效信号de，再将行同步信号hs、场同步信号vs和数据有效信号de输入坐标产生模块产生同步输出像素坐标，根据同步输出像素坐标从第一视频缩放器中取得视频数据I送入第一ALPHA混合叠加模块，第一ALPHA混合叠加模块把背景叠加参数叠加到视频数据I上输出混合背景视频，并将混合背景视频输入到第二ALPHA混合叠加模块中；将行同步信号hs、场同步信号vs和数据有效信号de经过延迟模块均延迟相应的周期后输入第二坐标产生模块产生新的同步输出像素坐标；根据新的同步输出像素坐标从第二视频缩放器中取得视频数据II送入第二ALPHA混合叠加模块，第二ALPHA混合叠加模块把视频数据II与混合背景视频进行叠加形成最终混合叠加视频，将最终混合叠加视频经过YCbCr转RGB模块转换为RGB格式视频后通过HDMI接口输出。
优选地，所述第一视频缩放器和第二视频缩放器均包括寄存器组、行缓冲器、锐化空间滤波器、简化双线性插值器、控制器、自适应边缘检测器、选择器MUX；寄存器组与输入处理模块相连接，寄存器组还与行缓冲器相连接；寄存器组分别与控制器、锐化空间滤波器、自适应边缘检测器和选择器MUX相连接，控制器、锐化空间滤波器均与简化双线性插值器相连接，简化双线性插值器、自适应边缘检测器均与选择器MUX相连接，选择器MUX输出缩放后的视频图像。
优选地，图像缩放方法为：寄存器组和行缓冲器向锐化空间滤波器提供目标像素最近的八个像素，分别表示为T1、T2、T3、T4、B1、B2、B3、B4；寄存器组和行缓冲器向自适应边缘检测器提供用于边缘检测的四个像素，分别表示为T1、T2、T3、T4；根据像素T1、T2、T3、T4计算不对称参数e：e＝|T3-T1|-|T4-T2|；
若e>0，表示图像有边缘，通过锐化空间滤波器对像素T2、T3、B2、B3进行锐化后进入简化双线性插值器，通过简化双线性插值器的插值计算获得目标像素；若e<0，表示图像无边缘，直接选择最近的像素T3作为目标像素。
优选地，锐化空间滤波器的锐化方法为：
输入图像要先通过锐化空间滤波器，且锐化空间滤波器是一个高通滤波器，高通滤波器采用3×3的高斯卷积核Ks，表示为：
Figure BDA0003277796880000031
其中，sp是锐化参数；
记输入像素为p(l,m)，则锐化像素
Figure BDA0003277796880000032
由Ks得出：
Figure BDA0003277796880000033
其中，l表示横坐标，m表示纵坐标；
将高斯卷积核Ks简化为T模型，锐化像素
Figure BDA0003277796880000034
可简化为：
Figure BDA0003277796880000035
优选地，简化双线性插值器的插值方法为：
目标像素为Bi(p,q)是通过像素LiT(p,m1)和LiB(p,m2)在y方向上进行线性插值获得；像素LiT(p,m1)通过像素T(l1,m1)和T(l2,m1)在x方向上进行线性插值获得，像素LiB(p,m2)通过像素B(l1,m2)和B(l2,m2)在x方向上进行线性插值获得；
表达式分别为：
LiT(p,m1)＝(1-dl)×T(l1,m1)+dl×T(l2,m1)；
LiB(p,m2)＝(1-dl)×B(l1,m2)+dl×B(l2,m2)；
Bi(p,q)＝(1-dm)×LiT(p,m1)+dm×LiB(p,m2)；
其中，dl和dm均是由控制器产生的比例因子，l1和l2均为横坐标，m1和m2均为纵坐标。
与现有技术相比，本发明产生的有益效果为：
1)本发明利用ALPHA混合叠加算法这一图像处理技术使数字视频画面通透明亮、清晰流畅、色彩丰满亮丽，并且能够驱动HDMI输出显示多路视频，以及配置其显示位置。
2)本发明提出的该图像缩放算法及体系结构，使用线性空间变化边缘检测器进行边缘增强，并使用锐化空间滤波器来减少双线性插值产生的模糊效果，且使用了硬件效率高的简化双线性插值器；能够以较小的面积和较高的性能产生高质量的缩放图像。
3)本发明融入的图像处理技术使数字视频画面通透明亮、清晰流畅、色彩丰满亮丽，给客户最好的视觉体验。
4)本发明能够驱动HDMI输出显示多路视频，可以配置每路视频的显示位置及重叠部分的透明度；还可适用于多种型号的HDMI的发送器以及不同参数的视频。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的视频叠加系统的控制架构图。
图2为本发明的两路视频叠加输出模块结构框图。
图3为本发明的基于FPGA的视频叠加处理器结构框图。
图4为本发明的视频缩放器结构框图。
图5为目标像素的八个最近像素。
图6为本发明的寄存器组结构图。
图7为T模型卷积核结构图。
图8为双线性插值示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于FPGA技术的音视频图像智能控制系统，包括上位机、微控制器、FPGA视频叠加处理器和视频采集模块；上位机通过串口与微控制器相连接，微控制器通过I2C总线分别与视频采集模块、FPGA视频叠加处理器相连接；所述视频采集模块采集多路视频输入信号经过量化编码输出数字视频信号到FPGA视频叠加处理器，经过FPGA视频叠加处理器处理后输出叠加后的视频信号；本实施例中多路视频输入信号。其中，微控制器作为控制模块，使用串口接收上位机控制命令并解析，并通过向FPGA视频叠加处理器配置视频叠加的位置、缩放尺寸和透明度以及前景和背景的视频源选择信息等视频叠加参数来实时控制视频叠加处理效果。此外微控制器在系统上电后，必须对视频采集模块进行初始化配置，设置视频采集参数，使其正常工作。
如图2所示，所述视频叠加输出模块包括显示时序产生模块、第一坐标产生模块、第二坐标产生模块、第一ALPHA混合叠加模块、第二ALPHA混合叠加模块、延迟模块和YCbCr转RGB模块；显示时序产生模块依据VESA标准使用显示时序参数产生行同步信号hs、场同步信号vs和数据有效信号de，再将行同步信号hs、场同步信号vs和数据有效信号de输入坐标产生模块产生同步输出像素坐标，根据同步输出像素坐标从第一视频缩放器中取得视频数据I送入第一ALPHA混合叠加模块，第一ALPHA混合叠加模块把背景叠加参数叠加到视频数据I上输出混合背景视频，并将混合背景视频输入到第二ALPHA混合叠加模块中。由于ALPHA混合计算会导致数据输出延迟，因此在第二个ALPHA混合叠加模块前再次例化了一个坐标产生模块；将行同步信号hs、场同步信号vs和数据有效信号de经过延迟模块均延迟相应的周期后输入第二坐标产生模块产生新的同步输出像素坐标；根据新的同步输出像素坐标从第二视频缩放器中取得视频数据II送入第二ALPHA混合叠加模块，第二ALPHA混合叠加模块把视频数据II与混合背景视频进行叠加形成最终混合叠加视频，将最终混合叠加视频经过YCbCr转RGB模块转换为RGB格式视频后通过HDMI接口输出。
由于输入的视频与输出的视频分辨率会不同，在视频输入叠加模块之前添加视频缩放器，输入的视频缩放到指定尺寸，如图3所示。所述FPGA视频叠加处理器包括输入处理模块、第一视频缩放器、第二视频缩放器和视频叠加输出模块；输入处理模块分别与视频采集模块、I2C总线接口相连接，输入处理模块还分别与第一视频缩放器、第二视频缩放器相连接；I2C总线接口通过I2C总线与微控制器相连接，I2C总线接口还分别与第一视频缩放器、第二视频缩放器相连接；第一视频缩放器、第二视频缩放器均与视频叠加输出模块相连接，视频叠加输出模块输出叠加后的视频信号。输入处理模块将输入的视频信号进行处理得到两路独立的数字视频信号，然后将这两路数字视频信号送入视频缩放器，视频缩放器的功能是将输入的视频图像缩放到指定尺寸，缩放尺寸作为参数由I2C总线接口的寄存器输入。最后将缩放后的视频图像送入视频叠加输出模块，该模块把缩放处理后的两路视频逐帧叠加融合为一路视频输出。其中所述的缩放处理后的两路视频也就是图2中输入的视频1和视频2。通过视频缩放器可将前景视频缩放至任意尺寸，叠加位置可调节。且前景视频具有透明度效果，透明度可以调节。前景和背景视频的视频源可以切换。两路视频在叠加时，一路视频作为背景缩放至输出视频的尺寸，另一路视频作为前景叠加在背景上，实现画中画效果。
如图4所示，所述第一视频缩放器和第二视频缩放器均包括寄存器组、行缓冲器、锐化空间滤波器、简化双线性插值器、控制器、自适应边缘检测器、选择器MUX；寄存器组与输入处理模块相连接，寄存器组还与行缓冲器相连接；寄存器组分别与控制器、锐化空间滤波器、自适应边缘检测器和选择器MUX相连接，控制器、锐化空间滤波器均与简化双线性插值器相连接，简化双线性插值器、自适应边缘检测器均与选择器MUX相连接，选择器MUX输出缩放后的视频图像。寄存器组和行缓冲器向锐化空间滤波器和自适应边缘检测器提供目标像素的八个最近的像素T1、T2、T3、T4、B1、B2、B3、B4以及用于边缘检测的四个像素T1、T2、T3、T4，如图5所示，其中控制器给寄存器组提供移位命令；如图5所示，锐化空间滤波器是为了锐化目标像素的相邻像素T2、T3和B2、B3；最后用自适应边缘检测器生成的控制信号作为选择器MUX22的选择端，选择目标像素是通过简化双线性插值器还是最近的像素获得。
本发明所提出的图像缩放算法具体过程为：
算法输入：输入图像，输出行，输出列，锐化参数sp(输出图像的分辨率作为输出行和输出列的锐化参数)；
算法输出：缩放图像；
变量：行缩放比例，列缩放比例。(用输入行和输出行计算行缩放比例；用输入列和输出列计算列缩放比例)。
目标像素的位置由行缩放比例和列缩放比例获得，图像缩放方法为：寄存器组和行缓冲器向锐化空间滤波器提供目标像素最近的八个像素，如图5所示，分别表示为T1、T2、T3、T4、B1、B2、B3、B4；其中，目标像素在正中心，T1-T4在目标像素的正上方，B1-B4在目标像素的正下方。寄存器组和行缓冲器向自适应边缘检测器提供用于边缘检测的四个像素，分别表示为T1、T2、T3、T4；自适应边缘检测器根据像素T1、T2、T3、T4计算不对称参数e：e＝|T3-T1|-|T4-T2|；并利用不对称参数e表示图像有无边缘。
若e>0，表示图像有边缘，通过锐化空间滤波器对像素T2、T3、B2、B3进行锐化后进入简化双线性插值器，通过简化双线性插值器的插值计算获得目标像素；若e<0，表示图像无边缘，直接选择最近的像素T3作为目标像素。
通过以上处理得到最终的缩放图像。
如图6所示，所述寄存器组和行缓冲器，具体包括8个移位寄存器和一个行缓冲器。行缓冲器中存储一行像素，寄存器组一次接收一个像素作为输入。移位命令由控制器发出，此时新的像素B5写入移位寄存器，而移位寄存器中的像素被写入行缓冲器中。行缓冲器存储的一行像素中最左侧的像素T5将被写入移位寄存器中。
所述锐化空间滤波器的作用是为了消除双线性插值器给输出图像带来的模糊效应。输入图像要先通过锐化空间滤波器，且锐化空间滤波器是一个高通滤波器，高通滤波器采用3×3的高斯卷积核Ks，表示为：
Figure BDA0003277796880000061
其中，sp是锐化参数；
记输入像素为p(l,m)，则锐化像素
Figure BDA0003277796880000062
由Ks得出：
Figure BDA0003277796880000063
其中，l表示横坐标，m表示纵坐标；
为了降低3×3高斯卷积核的硬件复杂度，将高斯卷积核Ks简化为T模型，如图7所示，锐化像素
Figure BDA0003277796880000071
可简化为：
Figure BDA0003277796880000072
图8展示了简化双线性插值器的插值方法为：
目标像素为Bi(p,q)是通过像素LiT(p,m1)和LiB(p,m2)在y方向上进行线性插值获得；像素LiT(p,m1)通过像素T(l1,m1)和T(l2,m1)在x方向上进行线性插值获得，像素LiB(p,m2)通过像素B(l1,m2)和B(l2,m2)在x方向上进行线性插值获得；
表达式分别为：
LiT(p,m1)＝(1-dl)×T(l1,m1)+dl×T(l2,m1)
LiB(p,m2)＝(1-dl)×B(l1,m2)+dl×B(l2,m2)
Bi(p,q)＝(1-dm)×LiT(p,m1)+dm×LiB(p,m2)
其中，dl和dm均是由控制器产生的比例因子，l1和l2均为横坐标，m1和m2均为纵坐标。
本发明提出的图像缩放算法及体系结构，使用线性空间变化边缘检测器进行边缘增强，并使用锐化空间滤波器来减少双线性插值产生的模糊效果，且使用了硬件效率高的简化双线性插值器；能够以较小的面积和较高的性能产生高质量的缩放图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于FPGA技术的音视频图像智能控制系统，其特征在于，包括上位机、微控制器、FPGA视频叠加处理器和视频采集模块；上位机通过串口与微控制器相连接，微控制器通过I2C总线分别与视频采集模块、FPGA视频叠加处理器相连接；所述视频采集模块采集多路视频输入信号经过量化编码输出数字视频信号到FPGA视频叠加处理器，经过FPGA视频叠加处理器处理后输出叠加后的视频信号。
2.根据权利要求1所述的基于FPGA技术的音视频图像智能控制系统，其特征在于，所述FPGA视频叠加处理器包括输入处理模块、第一视频缩放器、第二视频缩放器和视频叠加输出模块；输入处理模块分别与视频采集模块、I2C总线接口相连接，输入处理模块还分别与第一视频缩放器、第二视频缩放器相连接；I2C总线接口通过I2C总线与微控制器相连接，I2C总线接口还分别与第一视频缩放器、第二视频缩放器相连接；第一视频缩放器、第二视频缩放器均与视频叠加输出模块相连接，视频叠加输出模块输出叠加后的视频信号。
3.根据权利要求2所述的基于FPGA技术的音视频图像智能控制系统，其特征在于，所述视频叠加输出模块包括显示时序产生模块、第一坐标产生模块、第二坐标产生模块、第一ALPHA混合叠加模块、第二ALPHA混合叠加模块、延迟模块和YCbCr转RGB模块；显示时序产生模块依据VESA标准使用显示时序参数产生行同步信号hs、场同步信号vs和数据有效信号de，再将行同步信号hs、场同步信号vs和数据有效信号de输入坐标产生模块产生同步输出像素坐标，根据同步输出像素坐标从第一视频缩放器中取得视频数据I送入第一ALPHA混合叠加模块，第一ALPHA混合叠加模块把背景叠加参数叠加到视频数据I上输出混合背景视频，并将混合背景视频输入到第二ALPHA混合叠加模块中；将行同步信号hs、场同步信号vs和数据有效信号de经过延迟模块均延迟相应的周期后输入第二坐标产生模块产生新的同步输出像素坐标；根据新的同步输出像素坐标从第二视频缩放器中取得视频数据II送入第二ALPHA混合叠加模块，第二ALPHA混合叠加模块把视频数据II与混合背景视频进行叠加形成最终混合叠加视频，将最终混合叠加视频经过YCbCr转RGB模块转换为RGB格式视频后通过HDMI接口输出。
4.根据权利要求2或3所述的基于FPGA技术的音视频图像智能控制系统，其特征在于，所述第一视频缩放器和第二视频缩放器均包括寄存器组、行缓冲器、锐化空间滤波器、简化双线性插值器、控制器、自适应边缘检测器、选择器MUX；寄存器组与输入处理模块相连接，寄存器组还与行缓冲器相连接；寄存器组分别与控制器、锐化空间滤波器、自适应边缘检测器和选择器MUX相连接，控制器、锐化空间滤波器均与简化双线性插值器相连接，简化双线性插值器、自适应边缘检测器均与选择器MUX相连接，选择器MUX输出缩放后的视频图像。
5.根据权利要求4所述的基于FPGA技术的音视频图像智能控制系统，其特征在于，图像缩放方法为：寄存器组和行缓冲器向锐化空间滤波器提供目标像素最近的八个像素，分别表示为T1、T2、T3、T4、B1、B2、B3、B4；寄存器组和行缓冲器向自适应边缘检测器提供用于边缘检测的四个像素，分别表示为T1、T2、T3、T4；根据像素T1、T2、T3、T4计算不对称参数e：e＝|T3-T1|-|T4-T2|；
若e>0，表示图像有边缘，通过锐化空间滤波器对像素T2、T3、B2、B3进行锐化后进入简化双线性插值器，通过简化双线性插值器的插值计算获得目标像素；若e<0，表示图像无边缘，直接选择最近的像素T3作为目标像素。
6.根据权利要求5所述的基于FPGA技术的音视频图像智能控制系统，其特征在于，锐化空间滤波器的锐化方法为：
输入图像要先通过锐化空间滤波器，且锐化空间滤波器是一个高通滤波器，高通滤波器采用3×3的高斯卷积核Ks，表示为：
Figure FDA0003277796870000021
其中，sp是锐化参数；
记输入像素为p(l,m)，则锐化像素
Figure FDA0003277796870000022
由Ks得出：
Figure FDA0003277796870000023
其中，l表示横坐标，m表示纵坐标；
将高斯卷积核Ks简化为T模型，锐化像素
Figure FDA0003277796870000024
可简化为：
Figure FDA0003277796870000025
7.根据权利要求5或6所述的基于FPGA技术的音视频图像智能控制系统，其特征在于，简化双线性插值器的插值方法为：
目标像素为Bi(p,q)是通过像素LiT(p,m1)和LiB(p,m2)在y方向上进行线性插值获得；像素LiT(p,m1)通过像素T(l1,m1)和T(l2,m1)在x方向上进行线性插值获得，像素LiB(p,m2)通过像素B(l1,m2)和B(l2,m2)在x方向上进行线性插值获得；
表达式分别为：
LiT(p,m1)＝(1-dl)×T(l1,m1)+dl×T(l2,m1)；
LiB(p,m2)＝(1-dl)×B(l1,m2)+dl×B(l2,m2)；
Bi(p,q)＝(1-dm)×LiT(p,m1)+dm×LiB(p,m2)；
其中，dl和dm均是由控制器产生的比例因子，l1和l2均为横坐标，m1和m2均为纵坐标。
CN202111122608.8A 2021-09-24 2021-09-24 一种基于fpga技术的音视频图像智能控制系统 Pending CN113852768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111122608.8A CN113852768A (zh) 2021-09-24 2021-09-24 一种基于fpga技术的音视频图像智能控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111122608.8A CN113852768A (zh) 2021-09-24 2021-09-24 一种基于fpga技术的音视频图像智能控制系统

Publications (1)

Publication Number Publication Date
CN113852768A true CN113852768A (zh) 2021-12-28

Family

ID=78979314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111122608.8A Pending CN113852768A (zh) 2021-09-24 2021-09-24 一种基于fpga技术的音视频图像智能控制系统

Country Status (1)

Country Link
CN (1) CN113852768A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1289310A2 (en) * 2001-08-27 2003-03-05 Agilent Technologies, Inc. Method and system for adaptive demosaicing
US20060039590A1 (en) * 2004-08-20 2006-02-23 Silicon Optix Inc. Edge adaptive image expansion and enhancement system and method
CN101242506A (zh) * 2007-02-07 2008-08-13 扬智科技股份有限公司 滤波动态补偿的非反馈插值器
JP2009301583A (ja) * 2009-09-28 2009-12-24 Seiko Epson Corp 画像処理装置、画像処理方法、並びに画像処理プログラム
US7782401B1 (en) * 2006-06-20 2010-08-24 Kolorific, Inc. Method and system for digital image scaling with sharpness enhancement and transient improvement
CN102547068A (zh) * 2011-12-31 2012-07-04 中山大学 改进的双线性插值视频缩放方法
US20120182441A1 (en) * 2011-01-17 2012-07-19 Sony Corporation Interpolation
CN102750405A (zh) * 2012-06-05 2012-10-24 浙江理工大学 一种色纺夹花织物的计算机仿真方法
CN103813107A (zh) * 2014-03-05 2014-05-21 湖南兴天电子科技有限公司 一种基于fpga多路高清视频叠加方法
CN109714548A (zh) * 2018-12-18 2019-05-03 中国航空工业集团公司洛阳电光设备研究所 一种基于fpga的实时视频叠加处理系统
CN110111261A (zh) * 2019-03-28 2019-08-09 福州瑞芯微电子股份有限公司 图像的自适应平衡处理方法、电子设备和计算机可读存储介质
TWI673997B (zh) * 2018-04-02 2019-10-01 Yuan Ze University 雙通道影像縮放系統及其方法
CN111669517A (zh) * 2020-06-19 2020-09-15 艾索信息股份有限公司 一种视频叠加方法
US20200302580A1 (en) * 2019-03-19 2020-09-24 Apple Inc. Directional bilateral filtering with improved noise reduction along edges

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1289310A2 (en) * 2001-08-27 2003-03-05 Agilent Technologies, Inc. Method and system for adaptive demosaicing
US20060039590A1 (en) * 2004-08-20 2006-02-23 Silicon Optix Inc. Edge adaptive image expansion and enhancement system and method
US7782401B1 (en) * 2006-06-20 2010-08-24 Kolorific, Inc. Method and system for digital image scaling with sharpness enhancement and transient improvement
CN101242506A (zh) * 2007-02-07 2008-08-13 扬智科技股份有限公司 滤波动态补偿的非反馈插值器
JP2009301583A (ja) * 2009-09-28 2009-12-24 Seiko Epson Corp 画像処理装置、画像処理方法、並びに画像処理プログラム
US20120182441A1 (en) * 2011-01-17 2012-07-19 Sony Corporation Interpolation
CN102547068A (zh) * 2011-12-31 2012-07-04 中山大学 改进的双线性插值视频缩放方法
CN102750405A (zh) * 2012-06-05 2012-10-24 浙江理工大学 一种色纺夹花织物的计算机仿真方法
CN103813107A (zh) * 2014-03-05 2014-05-21 湖南兴天电子科技有限公司 一种基于fpga多路高清视频叠加方法
TWI673997B (zh) * 2018-04-02 2019-10-01 Yuan Ze University 雙通道影像縮放系統及其方法
CN109714548A (zh) * 2018-12-18 2019-05-03 中国航空工业集团公司洛阳电光设备研究所 一种基于fpga的实时视频叠加处理系统
US20200302580A1 (en) * 2019-03-19 2020-09-24 Apple Inc. Directional bilateral filtering with improved noise reduction along edges
CN110111261A (zh) * 2019-03-28 2019-08-09 福州瑞芯微电子股份有限公司 图像的自适应平衡处理方法、电子设备和计算机可读存储介质
CN111669517A (zh) * 2020-06-19 2020-09-15 艾索信息股份有限公司 一种视频叠加方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHIH-LUN CHEN: "VLSI Implementation of an Adaptive Edge-Enhanced Image Scalar for Real-Time Multimedia Applications", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 22 February 2013 (2013-02-22), pages 1 - 4 *
万鹏;杨大伟;: "基于FPGA的视频叠加融合系统设计与实现", 电子技术应用, no. 09, pages 1 - 2 *
曹亚君;邵玉兰;: "基于双线性内插的图像处理算法及其优化", 中州大学学报, no. 03, 20 June 2012 (2012-06-20) *

Similar Documents

Publication Publication Date Title
US7876378B1 (en) Method and apparatus for filtering video data using a programmable graphics processor
US6327000B1 (en) Efficient image scaling for scan rate conversion
US6556193B1 (en) De-interlacing video images using patch-based processing
US11127110B2 (en) Data processing systems
US9324170B2 (en) Creating a blended image
WO2018113224A1 (zh) 一种图像缩小方法及装置
JPH0750810A (ja) デジタルビデオ特殊効果装置
JPWO2020076526A5 (zh)
US8064734B2 (en) Image processing device image processing method, and computer program
JPH01113789A (ja) 中間調表示装置
CN114596339A (zh) 一种帧处理设备、方法及帧处理器
US20200090575A1 (en) Data processing systems
CN112188262B (zh) 图像处理方法、装置及系统和计算机可读介质
CN113852768A (zh) 一种基于fpga技术的音视频图像智能控制系统
CN111010605B (zh) 一种视频画中画窗口的显示方法
CN108093192B (zh) 操作数据处理系统的方法、数据处理系统
JP3351805B2 (ja) 映像信号の発生方法
Ran et al. P‐47: 10K Ultra‐High‐Definition Display System
US20070003167A1 (en) Interpolation of images
US6788348B1 (en) Method and system for processing digital images
JPH04349496A (ja) 画像処理装置及びその方式
JPH0462108B2 (zh)
US20220116550A1 (en) Bias Lighting Effect Generation for Videos
WO2023140939A1 (en) Fuzzy logic-based pattern matching and corner filtering for display scaler
CN118605988A (zh) 图像处理方法、装置、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination