CN111095919B - 一种视频融合方法、装置及存储介质 - Google Patents
一种视频融合方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111095919B CN111095919B CN201980003225.3A CN201980003225A CN111095919B CN 111095919 B CN111095919 B CN 111095919B CN 201980003225 A CN201980003225 A CN 201980003225A CN 111095919 B CN111095919 B CN 111095919B
- Authority
- CN
- China
- Prior art keywords
- video
- signal
- data
- component
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 90
- 230000004927 fusion Effects 0.000 claims abstract description 81
- 238000007499 fusion processing Methods 0.000 claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 abstract description 9
- 230000005856 abnormality Effects 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及一种视频融合方法、装置及存储介质，通过获取待融合的视频信号以及视频；对视频信号进行亮度、色度处理，得到处理后的视频数据；对视频数据进行融合处理，得到视频融合数据；将视频融合数据与视频进行融合，对视频信号中的YC422格式视频亮度、色度进行处理，利用亮度在RGB、YC转换过程中数据不损失特性，通过亮度数据分离出所需融合视频数据；色度分量在RGB、YC转换过程中会出现数据损失，对奇偶点做特殊处理；并基于对YCbCr色度亮度做处理，有效提高融合内容信号质量，该方法能在较低带宽YC422视频格式传输和处理下，解决融合视频色彩格式变化带来的边缘异常问题，有效提升融合视频质量。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视频融合方法、装置及存储介质。
背景技术
FPGA(Field Programmable Gate Array)是在PAL、GAL等可编程器件的基础上进一步发展的产物，它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶段。视频融合技术指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。
随着电子计算机技术的进步，计算机图像处理近年来得到飞跃的发展，已经成功的应用于几乎所有与成像有关的领域，并正发挥着相当重要的作用。人类传递的信息有70％是视觉信息，图像信息是传递信息的重要媒体和手段。
在消费品电子、市政、交通、军工等各种需要用到视频显示的环境中，所要求处理的信号规模越来越大，对功能、图像质量要求也越来越高，这无疑给处理视频画面的FPGA进行信号处理提出了越来越高的要求，如带宽、信号质量，逻辑处理的复杂度也伴随进一步提高。因此，为了更好地展现视频显示的信息，在保证画面质量和实时性的前提下，提高FPGA处理视频画面的融合问题，提升融合视频质量是极其必要的。
因此，针对上述情况，如何避免视频融合过程中数据色度损失带来的融合视频质量差成为本领域技术人员亟待解决的重要技术问题。
发明内容
本发明实施例提供了一种视频融合方法、装置及存储介质，用于解决现有处理视频融合过程中色彩格式变化所带来的边缘异常，导致融合视频质量差的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种视频融合方法，包括以下步骤：
S1.获取待融合的视频信号以及视频；
S2.对所述视频信号进行亮度、色度处理，得到处理后的视频数据；
S3.对所述视频数据进行融合处理，得到视频融合数据；
S4.将所述视频融合数据与所述视频进行融合。
优选地，所述视频信号为RGB视频信号，在所述步骤S2中，获得所述视频数据的处理步骤包括：
S21.对所述RGB视频信号进行信号转换，并转换成YC444信号；
S22.对所述YC444信号中的亮度进行亮度Y分量处理，对所述YC444信号中的色度进行处理，输出Y分量和C分量；
S23.处理后具有所述Y分量和C分量的所述YC444信号转换成YC422视频信号，所述YC422视频信号中的数据即为处理后的所述视频数据。
优选地，在所述步骤S22中，在所述RGB视频信号中的R、G、B这三个分量在第一控制器的预设值范围内，经过所述亮度Y分量处理后将视频信号的Y分量值设置为0；
若所述YC444信号中的Y分量值为0时将其最低位设置为1，其它情况下YC444信号中的Y分量值保持原值输出；
若所述RGB视频信号中的Y分量值为0时，所述第一控制器控制转换后的所述YC444信号输出Y分量；
若所述RGB视频信号中的Y分量值为1时，所述第一控制器控制转换后的所述YC444信号经过所述亮度Y分量处理输出Y分量；
所述YC444信号上设置有奇数点和偶数点，若奇数点的所述YC444信号中Y分量为0时，所述YC444信号中的C分量取其下一数点的C分量作为两个数点C分量的平均，若偶数点的所述YC444信号中Y分量为0时，所述YC444信号中的C分量取其上一数点的C分量作为两个数点C分量的平均，当Y分量不为0时，不分奇偶数点，所述YC444信号中的C分量取其下一数点的C分量作为数点C分量的平均。
优选地，在所述步骤S3中，获得所述视频融合数据的处理步骤包括：
S31.对于所述视频数据中的YC422视频信号进行信号转换，并转换成RGB信号；
S32.若所述YC422视频信号中的Y分量值为0，第二控制器发出的控制信号为0时，去除Y分量值为0的所述YC422视频信号数据，得到Y分量不为0的所述YC422视频信号数据，即为处理后的所述YC422视频信号数据；若所述YC422视频信号中的Y分量值为0，所述第二控制器发出的控制信号为1时，去除Y分量值不为0的所述YC422视频信号数据，得到Y分量为0的所述YC422视频信号数据，即为处理后的所述YC422视频信号数据。
优选地，在所述步骤S3中，根据所述第二控制器控制处理后的所述YC422视频信号数据与所述RGB信号的数据进行融合处理，得到所述视频融合数据。
本发明还提供一种视频融合装置，包括第一控制器、第二控制器以及与所述第一控制器连接的待融合视频信号处理模块和与所述第二控制器连接的视频融合处理模块；
所述待融合视频信号处理模块用于对待融合的视频信号进行亮度、色度处理，得到视频数据；
所述视频融合处理模块用于对所述视频数据进行融合处理，得到视频融合数据；
所述第二控制器用于控制所述视频融合数据是否与所述视频进行融合。
优选地，所述待融合视频信号处理模块包括视频信号获取单元、第一信号转换单元、亮度处理单元、第一选择单元、第二信号转换单元和第一输出单元；
所述视频信号获取单元中获取待融合的视频信号为RGB视频信号，所述视频信号获取单元分别与所述第一信号转换单元和所述亮度处理单元连接，所述第一信号转换单元分别与所述第一选择单元和所述亮度处理单元连接，所述亮度处理单元还与所述第一选择单元，所述第一选择单元还与所述第二信号转换单元连接，所述第二信号转换单元与所述第一输出单元连接，所述第一控制器分别与所述亮度处理单元和所述第一选择单元连接，所述第一输出单元与所述视频融合处理模块连接。
优选地，所述第一信号转换单元用于将所述RGB视频信号转换成YC444信号，所述亮度处理单元采用亮度Y分量进行信号处理，所述第一控制器控制所述第一选择单元输出具有Y分量和C分量的YC444信号，所述第二信号转换单元用于将具有Y分量和C分量的YC444信号转换成YC422视频信号，所述YC422视频信号从所述第一输出单元输送至所述视频融合处理模块上。
优选地，所述视频融合处理模块包括第三信号转换单元、视频融合处理单元、第二选择单元和第二输出单元；
所述第一输出单元分别与所述第三信号转换单元和所述视频融合处理单元连接，所述第三信号转换单元还与所述第二选择单元连接，所述视频融合处理单元还与所述第二选择单元连接，所述第二选择单元还与所述第二输出单元连接，所述第二控制器还分别与所述视频融合处理单元和所述第二选择单元连接；
所述第三信号转换单元将所述YC422视频信号转换成RGB信号，所述视频融合处理单元根据所述YC422信号中的Y分量值为0时去除或保留值为0的所述YC422视频信号数据，得到处理后的所述YC422视频信号数据，所述第二控制器控制所述第二选择单元是否选择处理后所述YC422视频信号数据与所述RGB信号进行融合处理，得到视频融合数据，所述第二输出单元输出视频融合后的RGB信号。
本发明还提供一种存储介质，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述所述的视频融合方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
1.该视频融合方法通过获取待融合的视频信号以及视频；对视频信号进行亮度、色度处理，得到处理后的视频数据；对视频数据进行融合处理，得到视频融合数据；将视频融合数据与视频进行融合，对视频信号中的YC422格式视频亮度、色度进行处理，利用亮度在RGB、YC转换过程中数据不损失特性，通过亮度数据分离出所需融合视频数据；色度分量在RGB、YC转换过程中会出现数据损失，对奇偶点做特殊处理；并基于对YCbCr色度亮度做处理，有效提高融合内容信号质量，该方法能在较低带宽YC422视频格式传输和处理下，解决融合视频色彩格式变化带来的边缘异常问题，有效提升融合视频质量，解决了现有处理视频融合过程中色彩格式变化所带来的边缘异常，导致融合视频质量差的技术问题；
2.该视频融合装置待融合视频信号处理模块利用亮度在RGB信号转换成YC的过程中数据不损失特性，并通过亮度Y数据分离出所需融合数据；色度分量也在RGB信号转换成YC的过程中对奇偶点做特殊处理会使得视频信号中的信号出现数据损失，使得输出视频数据的视频信号。输出视频数据的视频信号输入到视频融合处理模块上，视频融合处理模块在YC信号转换RGB信号过程中，当转换后的RGB信号的R、G、B这三个个分量在第二控制器设置范围值内，将YC422视频信号中的Y分量值置0，并对YC422视频信号中的Y分量值为0时去除或者保留值为0的YC422视频信号数据，从而得到视频融合数据，通过第二控制器将得到视频融合数据与其它视频进行融合，得到融合后质量高的视频，提高融合视频的质量，解决了现有处理视频融合过程中色彩格式变化所带来的边缘异常，导致融合视频质量差的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例所述的视频融合方法的步骤流程图。
图2为本发明实施例所述的视频融合方法视频数据处理的步骤流程图。
图3为本发明实施例所述的视频融合方法视频融合数据处理的步骤流程图。
图4为本发明实施例所述的视频融合装置的框架图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明具体实施例中，描述的RGB视频信号为RGB格式的视频信号，YC422视频信号为YC422格式的视频信号，RGB信号为RGB格式的视频信号，YC444信号为YC444格式的视频信号。其中，Y字母表示亮度信号，C字母表示色差信号，YC字母表示亮度和色差的复合信号。
本申请实施例提供了一种视频融合方法、装置及存储介质，用于解决现有处理视频融合过程中色彩格式变化所带来的边缘异常，导致融合视频质量差的技术问题。
本发明实施例提供了一种视频融合方法，图1为本发明实施例所述的视频融合方法的步骤流程图。
如图1所示，本发明实施例提供了一种视频融合方法，包括以下步骤：
S1.获取待融合的视频信号以及视频；
S2.对视频信号进行亮度、色度处理，得到处理后的视频数据；
S3.对视频数据进行融合处理，得到视频融合数据；
S4.将视频融合数据与视频进行融合。
需要说明的是，待融合的视频信号为RGB视频信号。
在本发明实施例中的步骤S2，基于RGB视频信号转换成YC444信号，YCbCr对YC444信号进行亮度、色度处理，得到处理后的视频数据，并将处理后YC444信号的视频数据转换成YC422视频信号输出。
需要说明的是，利用亮度在RGB、YC转换过程中数据不损失特性，通过亮度数据分离出所需融合视频数据；色度分量在RGB、YC转换过程中会出现数据损失，对奇偶点做特殊处理，有效提高融合视频信号质量。
在本发明实施例中的步骤S3中，将YC422视频信号转换成RGB信号，当RGB信号中的R、G、B这三个个分量在第二控制器设置范围值内，将YC422视频信号中的Y分量值置0，并对YC422视频信号中的Y分量值为0时去除或者保留值为0的YC422视频信号数据，得到处理后的YC422视频信号数据，将处理后的YC422视频信号数据与RGB信号的数据进行融合处理，得到视频融合数据。
在本发明实施例中的步骤S4中，第二控制器控制视频融合数据与其他视频进行融合，得到融合后的视频。
本发明提供的一种视频融合方法通过获取待融合的视频信号以及视频；对视频信号进行亮度、色度处理，得到处理后的视频数据；对视频数据进行融合处理，得到视频融合数据；将视频融合数据与所述视频进行融合，对视频信号中的YC422格式视频亮度、色度进行处理，利用亮度在RGB、YC转换过程中数据不损失特性，通过亮度数据分离出所需融合视频数据；色度分量在RGB、YC转换过程中会出现数据损失，对奇偶点做特殊处理；并基于对YCbCr色度亮度做处理，有效提高融合内容信号质量，该方法能在较低带宽YC422视频格式传输和处理下，解决融合视频色彩格式变化带来的边缘异常问题，有效提升融合视频质量，解决了现有处理视频融合过程中色彩格式变化所带来的边缘异常，导致融合视频质量差的技术问题。
图2为本发明实施例所述的视频融合方法视频数据处理的步骤流程图。
如图2所示，本发明的一个实施例中，视频信号为RGB视频信号，在步骤S2中，获得视频数据的处理步骤包括：
S21.对RGB视频信号进行信号转换，并转换成YC444信号；
S22.对YC444信号中的亮度进行亮度Y分量处理，对YC444信号中的色度进行处理，输出Y分量和C分量；
S23.处理后具有Y分量和C分量的YC444信号转换成YC422视频信号，YC422视频信号中的数据即为处理后的视频数据。
需要说明的是，在步骤S21中，将RGB视频信号转换为YC444信号，在步骤S22中，RGB视频信号中的R、G、B这三个分量在第一控制器的预设值范围内，经过亮度Y分量处理后将视频信号的Y分量值设置为0。若YC444信号中的Y分量值为0时将其最低位设置为1，其它情况下YC444信号中的Y分量值保持原值输出。例：Y分量有8位数据，最低位是Y分量的第0位。如Y分量有8位数据，8位数据的值为8'b00000000时，将最低位设置为1，则其值为8'b00000001。若RGB视频信号中的Y分量值为0时，第一控制器控制转换后的YC444信号输出Y分量。若RGB视频信号中的Y分量值为1时，第一控制器控制转换后的YC444信号经过亮度Y分量处理输出Y分量。YC444信号输出C分量。YC444信号上设置有奇数点和偶数点，若奇数点的YC444信号中Y分量为0时，YC444信号中的C分量取其下一数点的C分量作为两个数点C分量的平均，若偶数点的YC444信号中Y分量为0时，YC444信号中的C分量取其上一数点的C分量作为两个数点C分量的平均，当Y分量不为0时，不分奇偶数点，YC444信号中的C分量取其下一数点的C分量作为数点C分量的平均。例如：YC444信号为1920*1080@60HZ信号分辨率，其中，一行像素个数为1920，第1个像素为奇数点，第2个像素点为偶数点，第3个点为奇数点，第4个点为偶数点，以此类推；当第2个像素点的Y分量为0时，第2个像素点的C分量取第1个像素点的C分量和第2个像素点C分量的平均数；当第3个像素点的Y分量为0时，第3个像素点的C分量取第3个像素点的C分量和第4个像素点的C分量的平均数。当Y分量不为0时，不区分奇偶数点，C分量都取其下一数点的C分量作为数点C分量的平均。其中，第一控制器10包含有两个控制信号，第一个控制信号：当RGB三个分量在第一控制器10设置的RGB颜色范围之内时，将Y分量值设置为0。例：第一控制器10设置R值范围为255到250、G值范围为255到250、B值范围为255到250，当信号源RGB值分别为254、255、253时，则此点处Y分量值为0，否则为步骤S22中Y分量值。第二个控制信号：当第一控制器10的控制信号输出电平值设置为0时，选择使用步骤S22输出的Y分量值；当第一控制器10的控制信号输出电平值设置为1时，选择使用步骤S23输出的Y分量。
由此，在本发明实施例中的步骤S2中，利用亮度在RGB视频信号转换到YC信号的转换过程中数据不损失特性，通过亮度Y数据分离出所需融合视频数据；对YC444信号中的奇偶点做特殊处理使得色度分量在转换过程中会出现数据损失，基于上述对视频信号进行亮度、色度处理，有效提高融合视频信号质量，从而提高融合视频的质量，在步骤S2中对视频信号进行处理过程中同时为解决处理视频信号色度损失带来的融合视频质量问题。
图3为本发明实施例所述的视频融合方法视频融合数据处理的步骤流程图。
如图3所示，本发明的一个实施例中，在所述步骤S3中，获得视频融合数据的处理步骤包括：
S31.对于视频数据中的YC422视频信号进行信号转换，并转换成RGB信号；
S32.若YC422视频信号中的Y分量值为0，第二控制器发出的控制信号为0时，去除Y分量值为0的YC422视频信号数据，得到Y分量不为0的YC422视频信号数据，即为处理后的YC422视频信号数据；若YC422视频信号中的Y分量值为0，第二控制器发出的控制信号为1时，去除Y分量值不为0的YC422视频信号数据，得到Y分量为0的YC422视频信号数据，即为处理后的YC422视频信号数据。
需要说明的是，根据第二控制器控制处理后的YC422视频信号数据与RGB信号的数据进行融合处理，得到视频融合数据。在步骤S3中，得到视频融合数据过程中存在YC信号转换RGB信号过程中，当转换后的RGB信号的R、G、B这三个个分量在第二控制器设置范围值内，并对YC422视频信号中的Y分量值置0，并对YC422视频信号中的Y分量值为0时去除或者保留值为0的YC422视频信号数据，得到处理后的YC422视频信号数据。
在本发明的实施例中的步骤S4中，将得到视频融合数据与其它视频进行融合，得到融合后质量高的视频。
实施例二：
图4为本发明实施例所述的视频融合装置的框架图。
如图4所示，本发明实施例提供了一种视频融合装置，包括第一控制器10、第二控制器40以及分别与第一控制器10连接的待融合视频信号处理模块20和与第二控制器20连接的视频融合处理模块30；
待融合视频信号处理模块20用于对待融合的视频信号进行亮度、色度处理，得到视频数据；
视频融合处理模块30用于对视频数据进行融合处理，得到视频融合数据；
第二控制器40用于控制视频融合数据是否与视频进行融合。
需要说明的是，待融合视频信号处理模块20利用亮度在RGB信号转换成YC的过程中数据不损失特性，并通过亮度Y数据分离出所需融合数据；色度分量也在RGB信号转换成YC的过程中对奇偶点做特殊处理会使得视频信号中的信号出现数据损失，使得输出视频数据的视频信号。输出视频数据的视频信号输入到视频融合处理模块30上，视频融合处理模块30在YC信号转换RGB信号过程中，当转换后的RGB信号的R、G、B这三个个分量在第二控制器设置范围值内，将YC422视频信号中的Y分量值置0，并对YC422视频信号中的Y分量值为0时去除或者保留值为0的YC422视频信号数据，得到处理后的YC422视频信号数据，并将处理后的YC422视频信号数据与RGB信号的数据进行融合，得到视频融合数据；通过第二控制器将得到视频融合数据与其它视频进行融合，得到融合后质量高的视频，提高融合视频的质量，解决了现有处理视频融合过程中色彩格式变化所带来的边缘异常，导致融合视频质量差的技术问题。
在本发明实施例中的待融合视频信号处理模块20包括视频信号获取单元21、第一信号转换单元22、亮度处理单元23、第一选择单元24、第二信号转换单元25和第一输出单元26；
视频信号获取单元21中获取待融合的视频信号为RGB视频信号，视频信号获取单元21分别与第一信号转换单元22和亮度处理单元23连接，第一信号转换单元22分别与第一选择单元24和亮度处理单元23连接，亮度处理单元23还与第一选择单元24，第一选择单元24还与第二信号转换单元25连接，第二信号转换单元25与第一输出单元26连接，第一控制器10分别与亮度处理单元23和第一选择单元24连接，第一输出单元26与视频融合处理模块30连接。
需要说明的是，视频信号获取单元21主要用于获取视频的RGB视频信号，第一信号转换单元22用于将RGB视频信号转换成YC444信号，亮度处理单元23采用亮度Y分量进行信号处理，第一控制器10控制第一选择单元22输出具有Y分量和C分量的YC444信号，第二信号转换单元25用于将具有Y分量和C分量的YC444信号转换成YC422视频信号，YC422视频信号从第一输出单元26输送至视频融合处理模块30上。具体地，当视频信号获取单元21信号的R、G、B这三个分量在第一控制器10设置范围内时，亮度处理单元23中视频信号的Y分量值设置为0，当第一信号转换单元22输出YC444信号的Y分量值为0时将其最低位设置为1，其它情况下YC444信号的Y分量值保持并作为第一信号转换单元22输出；第一选择单元24为YC444信号的Y分量输出选择，由第一控制器10控制，YC444信号中的Y分量值为0时由第一信号转换单元22输出YC444信号的Y分量，RGB视频信号中的Y分量值为1时由亮度处理单元23处理后输出RGB视频信号中的Y分量值，第一选择单元24输出色度分量CbCr(C分量)由第一信号转换单元22中YC444信号的输出；第二信号转换单元25将YC444信号转换成YC422信号，当YC444信号中的奇数点Y分量为0时，色度分量CbCr(C分量)取其下一数点的C分量作为两个数点C分量的平均，当YC444信号中的偶数点Y分量为0时，色度分量CbCr(C分量)取其上一数点的C分量作为两个数点C分量的平均，当YC444信号中的Y分量不为0时，不分奇偶数点取其下一数点的C分量作为数点C分量的平均；第一输出单元26输出的信号为YC422信号输出，第一输出单元26输出的YC422信号作为视频融合处理模块30的输入信号。
在本发明实施例中的视频融合处理模块30包括第三信号转换单元31、视频融合处理单元32、第二选择单元33和第二输出单元34；第一输出单元26分别与第三信号转换单元31和视频融合处理单元32连接，第三信号转换单元31还与第二选择单元33连接，视频融合处理单元32还与第二选择单元33连接，第二选择单元33还与第二输出单元34连接，第二控制器40还分别与视频融合处理单元32和第二选择单元33连接。第三信号转换单元31将YC422视频信号转换成RGB信号，视频融合处理单元32根据YC422信号中的Y分量值为0时去除或保留值为0的YC422视频信号数据，得到处理后的YC422视频信号数据，第二控制器40控制第二选择单元33是否选择处理后的YC422视频信号数据与RGB信号进行融合处理，得到视频融合数据，第二输出单元34输出视频融合后的RGB信号。
需要说明的是，第一输出单元26输出的YC422信号传输到视频融合处理模块30的信号输入端后进入视频融合处理模块30中，第三信号转换单元31将视频融合处理模块30的信号输入端的YC422信号转换为RGB视频信号，视频融合处理单元32做融合数据处理，当视频融合处理模块30的信号输入端的Y分量为0，第二控制器40的控制信号为0时去除YC422信号中的Y分量为0数据保持非0的YC422信号中的Y分量数据，第二控制器40的控制信号为1时保持YC422信号中的Y分量为0数据去除非0YC422信号中的Y分量数据保存；第二选择单元33为选择器选择是否做融合处理，由第二控制器40控制，0不做融合处理，1做融合处理；第二输出单元34为RGB的融合信号输出。其中，当R、G、B这三个分量在第二控制器40设置范围内，设置范围由实际应用时待融合视频数据决定的。其中，第二控制器40包含两个控制信号，第一个控制信号:控制信号为0不做融合处理，控制信号为1做融合处理；第二个控制信号:控制信号为0时去除Y分量为0数据保持Y分量非0数据，控制信号为1时保持Y分量为0数据去除Y分量非0数据。
实施例三：
本发明实施例提供了一种存储介质，包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行上述所述的视频融合方法。
需要说明的是，处理器用于根据所程序代码中的指令执行上述的一种视频融合方法实施例中的步骤，例如图1所示的步骤S1至S4。或者，处理器执行计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图4所示单元101至103的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。例如，计算机程序可以被分割包括第一控制器10、第二控制器40以及分别与第一控制器10连接的待融合视频信号处理模块20和与第二控制器40连接的视频融合处理模块30：
待融合视频信号处理模块20用于对待融合的视频信号进行亮度、色度处理，得到视频数据；
视频融合处理模块30用于对视频数据进行融合处理，得到视频融合数据；
第二控制器40用于控制视频融合数据是否与视频进行融合。
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是终端设备的内部存储单元，例如终端设备的硬盘或内存。存储器也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及终端设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种视频融合方法，其特征在于，包括以下步骤：
S1.获取待融合的视频信号以及视频；
S2.对所述视频信号进行亮度、色度处理，得到处理后的视频数据；
S3.对所述视频数据进行融合处理，得到视频融合数据；
S4.将所述视频融合数据与所述视频进行融合；
所述视频信号为RGB视频信号，在所述步骤S2中，获得所述视频数据的处理步骤包括：
S21.对所述RGB视频信号进行信号转换，并转换成YC444信号；
S22.对所述YC444信号中的亮度进行亮度Y分量处理，对所述YC444信号中的色度进行处理，输出Y分量和C分量；
S23.处理后具有所述Y分量和C分量的所述YC444信号转换成YC422视频信号，所述YC422视频信号中的数据即为处理后的所述视频数据；
在所述步骤S3中，获得所述视频融合数据的处理步骤包括：
S31.对于所述视频数据中的YC422视频信号进行信号转换，并转换成RGB信号；
S32.若所述YC422视频信号中的Y分量值为0，第二控制器发出的控制信号为0时，去除Y分量值为0的所述YC422视频信号数据，得到Y分量不为0的所述YC422视频信号数据，即为处理后的所述YC422视频信号数据；若所述YC422视频信号中的Y分量值为0，所述第二控制器发出的控制信号为1时，去除Y分量值不为0的所述YC422视频信号数据，得到Y分量为0的所述YC422视频信号数据，即为处理后的所述YC422视频信号数据；
所述第二控制器控制处理后的所述YC422视频信号数据与所述RGB信号的数据进行融合处理，得到所述视频融合数据。
2.根据权利要求1所述的视频融合方法，其特征在于，在所述步骤S22中，在所述RGB视频信号中的R、G、B这三个分量在第一控制器的预设值范围内，经过所述亮度Y分量处理后将视频信号的Y分量值设置为0；
若所述YC444信号中的Y分量值为0时将其最低位设置为1，其它情况下YC444信号中的Y分量值保持原值输出；
若所述RGB视频信号中的Y分量值为0时，所述第一控制器控制转换后的所述YC444信号输出Y分量；
若所述RGB视频信号中的Y分量值为1时，所述第一控制器控制转换后的所述YC444信号经过所述亮度Y分量处理输出Y分量；
所述YC444信号上设置有奇数点和偶数点，若奇数点的所述YC444信号中Y分量为0时，所述YC444信号中的C分量取其下一数点的C分量作为两个数点C分量的平均，若偶数点的所述YC444信号中Y分量为0时，所述YC444信号中的C分量取其上一数点的C分量作为两个数点C分量的平均，当Y分量不为0时，不分奇偶数点，所述YC444信号中的C分量取其下一数点的C分量作为数点C分量的平均。
3.一种视频融合装置，其特征在于，包括第一控制器、第二控制器以及与所述第一控制器连接的待融合视频信号处理模块和与所述第二控制器连接的视频融合处理模块；
所述待融合视频信号处理模块用于对待融合的视频信号进行亮度、色度处理，得到视频数据；
所述视频融合处理模块用于对所述视频数据进行融合处理，得到视频融合数据；
所述第二控制器用于控制所述视频融合数据是否与所述视频进行融合；
所述待融合视频信号处理模块包括视频信号获取单元、第一信号转换单元、亮度处理单元、第一选择单元、第二信号转换单元和第一输出单元；
所述视频信号获取单元中获取待融合的视频信号为RGB视频信号，所述第一信号转换单元用于将所述RGB视频信号转换成YC444信号，所述亮度处理单元采用亮度Y分量进行信号处理，所述第一控制器控制所述第一选择单元输出具有Y分量和C分量的YC444信号，所述第二信号转换单元用于将具有Y分量和C分量的YC444信号转换成YC422视频信号，所述YC422视频信号从所述第一输出单元输送至所述视频融合处理模块上；
所述视频融合处理模块包括第三信号转换单元、视频融合处理单元、第二选择单元和第二输出单元；
所述第三信号转换单元将所述YC422视频信号转换成RGB信号，所述视频融合处理单元根据所述YC422视频 信号中的Y分量值为0时去除或保留值为0的所述YC422视频信号数据，得到处理后的所述YC422视频信号数据；所述第二控制器控制所述第二选择单元是否选择处理后所述YC422视频信号数据与所述RGB信号进行融合处理，得到视频融合数据；所述第二输出单元输出视频融合后的RGB信号。
4.根据权利要求3所述的视频融合装置，其特征在于，所述视频信号获取单元分别与所述第一信号转换单元和所述亮度处理单元连接，所述第一信号转换单元分别与所述第一选择单元和所述亮度处理单元连接，所述亮度处理单元还与所述第一选择单元，所述第一选择单元还与所述第二信号转换单元连接，所述第二信号转换单元与所述第一输出单元连接，所述第一控制器分别与所述亮度处理单元和所述第一选择单元连接，所述第一输出单元与所述视频融合处理模块连接。
5.根据权利要求3所述的视频融合装置，其特征在于，所述第一输出单元分别与所述第三信号转换单元和所述视频融合处理单元连接，所述第三信号转换单元还与所述第二选择单元连接，所述视频融合处理单元还与所述第二选择单元连接，所述第二选择单元还与所述第二输出单元连接，所述第二控制器还分别与所述视频融合处理单元和所述第二选择单元连接。
6.一种视频融合终端设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-2任一项所述的视频融合方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/125801 WO2021119968A1 (zh) | 2019-12-17 | 2019-12-17 | 一种视频融合方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111095919A CN111095919A (zh) | 2020-05-01 |
| CN111095919B true CN111095919B (zh) | 2021-10-08 |
Family
ID=70400245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980003225.3A Active CN111095919B (zh) | 2019-12-17 | 2019-12-17 | 一种视频融合方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111095919B (zh) |
| WO (1) | WO2021119968A1 (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572475A (zh) * | 2010-12-17 | 2012-07-11 | 微软公司 | 计算设备中的立体3d视频支持 |
| CN105005963A (zh) * | 2015-06-30 | 2015-10-28 | 重庆市勘测院 | 一种多相机图像拼接匀色方法 |
| CN105635602A (zh) * | 2015-12-31 | 2016-06-01 | 天津大学 | 一种采用两路视频间亮度和色偏对视频拼接的系统及其调整方法 |
| CN106570850A (zh) * | 2016-10-12 | 2017-04-19 | 成都西纬科技有限公司 | 一种图像融合方法 |
| CN108449569A (zh) * | 2018-03-13 | 2018-08-24 | 重庆虚拟实境科技有限公司 | 虚拟会议方法、系统、装置、计算机装置及存储介质 |
| CN109981983A (zh) * | 2019-03-26 | 2019-07-05 | Oppo广东移动通信有限公司 | 增强现实图像处理方法、装置、电子设备和存储介质 |
| CN110147162A (zh) * | 2019-04-17 | 2019-08-20 | 江苏大学 | 一种基于指尖特征的增强装配示教系统及其控制方法 |
| CN110363732A (zh) * | 2018-04-11 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法及其装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8798171B2 (en) * | 2010-06-28 | 2014-08-05 | Richwave Technology Corp. | Video transmission by decoupling color components |
| US10176642B2 (en) * | 2015-07-17 | 2019-01-08 | Bao Tran | Systems and methods for computer assisted operation |
-
2019
- 2019-12-17 CN CN201980003225.3A patent/CN111095919B/zh active Active
- 2019-12-17 WO PCT/CN2019/125801 patent/WO2021119968A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572475A (zh) * | 2010-12-17 | 2012-07-11 | 微软公司 | 计算设备中的立体3d视频支持 |
| CN105005963A (zh) * | 2015-06-30 | 2015-10-28 | 重庆市勘测院 | 一种多相机图像拼接匀色方法 |
| CN105635602A (zh) * | 2015-12-31 | 2016-06-01 | 天津大学 | 一种采用两路视频间亮度和色偏对视频拼接的系统及其调整方法 |
| CN106570850A (zh) * | 2016-10-12 | 2017-04-19 | 成都西纬科技有限公司 | 一种图像融合方法 |
| CN108449569A (zh) * | 2018-03-13 | 2018-08-24 | 重庆虚拟实境科技有限公司 | 虚拟会议方法、系统、装置、计算机装置及存储介质 |
| CN110363732A (zh) * | 2018-04-11 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法及其装置 |
| CN109981983A (zh) * | 2019-03-26 | 2019-07-05 | Oppo广东移动通信有限公司 | 增强现实图像处理方法、装置、电子设备和存储介质 |
| CN110147162A (zh) * | 2019-04-17 | 2019-08-20 | 江苏大学 | 一种基于指尖特征的增强装配示教系统及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021119968A1 (zh) | 2021-06-24 |
| CN111095919A (zh) | 2020-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI407800B (zh) | 馬賽克影像的改良處理 | |
| CN108337496B (zh) | 白平衡处理方法、处理装置、处理设备及存储介质 | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| CN108600783B (zh) | 一种帧率调节方法、装置及终端设备 | |
| EP2671374B1 (en) | Systems and methods for restoring color and non-color related integrity in an image | |
| CN111369486B (zh) | 一种图像融合处理方法及装置 | |
| CN110807735A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN114998122A (zh) | 一种低照度图像增强方法 | |
| CN110930932B (zh) | 显示屏校正方法及系统 | |
| CN111095919B (zh) | 一种视频融合方法、装置及存储介质 | |
| CN107948652B (zh) | 一种进行图像转换的方法和设备 | |
| CN114245027B (zh) | 一种视频数据混合处理方法、系统、电子设备和存储介质 | |
| CN109308690B (zh) | 一种图像亮度均衡方法及终端 | |
| WO2009005511A1 (en) | Method and apparatus for chroma key production | |
| CN111932459A (zh) | 视频图像的处理方法及装置、电子设备、存储介质 | |
| US20190188518A1 (en) | Image processing circuit and associated image processing method | |
| CN112150345A (zh) | 图像处理方法及装置、视频处理方法和发送卡 | |
| JP7412947B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US11328398B2 (en) | Method and system of reducing block boundary artifacts in digital image processing | |
| US8456577B2 (en) | Method and apparatus for chroma key production | |
| JP2018185460A (ja) | 映像生成システム、映像信号生成装置、および表示装置 | |
| CN118075549A (zh) | 图像处理方法、装置、计算机设备和图像显示方法 | |
| JP4065308B2 (ja) | 中央値抽出回路及びこれを用いた画像処理装置 | |
| CN109949731B (zh) | 一种显示面板的驱动方法及驱动装置 | |
| KR101600027B1 (ko) | 듀얼 방식의 실시간 고화질 영상 복원 및 컨버팅 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |