CN113840171A - 视频数据处理方法及装置 - Google Patents

视频数据处理方法及装置 Download PDF

Info

Publication number
CN113840171A
CN113840171A CN202111088504.XA CN202111088504A CN113840171A CN 113840171 A CN113840171 A CN 113840171A CN 202111088504 A CN202111088504 A CN 202111088504A CN 113840171 A CN113840171 A CN 113840171A
Authority
CN
China
Prior art keywords
video data
image
parameters
circuit
time point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111088504.XA
Other languages
English (en)
Other versions
CN113840171B (zh
Inventor
彭鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Xingjue Technology Co ltd
Original Assignee
Xingchen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingchen Technology Co ltd filed Critical Xingchen Technology Co ltd
Priority to CN202111088504.XA priority Critical patent/CN113840171B/zh
Publication of CN113840171A publication Critical patent/CN113840171A/zh
Priority to US17/585,732 priority patent/US20230084156A1/en
Application granted granted Critical
Publication of CN113840171B publication Critical patent/CN113840171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种视频数据处理装置，其包括一处理器及一叠加电路。处理器根据一第一通道识别信号提供一第一组参数，并根据一第二通道识别信号提供一第二组参数。叠加电路根据该第一组参数于一第一时间点将一第一图像叠加于一第一视频资料中，且根据该第二组参数于一第二时间点将一第二图像叠加于一第二视频资料中。该第一时间点与该第二时间点间的时间差小于该第一视频数据的一帧间隔。本发明的视频数据处理方法及装置，可透过软件分时复用硬件以在多个视频数据中叠加不同的图像，以提升图像叠加的效率及硬件的使用率。

Description

视频数据处理方法及装置
技术领域
本发明涉及视频数据处理领域，具体涉及一种将图像叠加于视频数据的处理方法及装置。
背景技术
帧缓冲(Frame buffer)接口是Linux系统为显示设备提供的一个接口，用户可透过此接口直接对显示缓冲区进行读写操作，并且在显示设备上显示。在嵌入式Linux产品中，QT、Minigui、Android Surfaceflinger、DirectFb等图形化接口的底层都会对接帧缓冲(Frame buffer)接口，并透过帧缓冲(Frame buffer)接口可控制相关的硬件驱动层，实现显示或图像叠加等功能。
在Linux系统中，一个帧缓冲接口透过硬件驱动层对应一个硬件，举例来说，当透过帧缓冲接口进行图像叠加处理时，一个帧缓冲接口对应一个叠加电路，在此条件下，一个叠加电路仅能对一路视频数据进行处理，当同时要处理多个视频数据时，需要多套叠加电路才能实现，耗费相当大的硬件成本。
发明内容
本发明提供一种视频数据处理方法及装置，可透过软件分时复用硬件以在多个视频数据中叠加不同的图像，以提升图像叠加的效率及硬件的使用率。
本发明之一实施例提供一种视频数据处理方法，包括：提供一查找表，该查找表包含一第一通道识别信号与一第一组参数的对应关系、及一第二通道识别信号与一第二组参数的对应关系；根据该第一通道识别信号查询该查找表，以将该第一组参数写入一叠加电路的寄存器；利用该叠加电路，根据该第一组参数于一第一时间点将一第一图像叠加于一第一视频资料中；根据该第二通道识别信号查询该查找表，以将该第二组参数写入该叠加电路的寄存器；以及，利用该叠加电路，根据该第二组参数于一第二时间点将一第二图像叠加于一第二视频资料中；其中，该第一时间点与该第二时间点间的时间差小于该第一视频数据的一帧间隔。
本发明之另一实施例提供一种视频数据处理装置，包括一处理器及一叠加电路。处理器根据一第一通道识别信号提供一第一组参数，并根据一第二通道识别信号提供一第二组参数。叠加电路根据该第一组参数于一第一时间点将一第一图像叠加于一第一视频资料中，且根据该第二组参数于一第二时间点将一第二图像叠加于一第二视频资料中。该第一时间点与该第二时间点间的时间差小于该第一视频数据的一帧间隔。
本发明的软件系统架构及视频数据处理装置藉由在软件架构中设置虚拟通道层，以实现透过软件分时复用硬件电路在多路视频数据上叠加不同的缓冲接口及/或区域模块接口所对应的内容，大幅提升硬件的使用率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1是依据本发明一实施例所提出的一种软件系统架构的示意图；
图2是依据本发明一实施例所提出的一种视频数据处理装置的方块示意图；
图3是根据本发明的一实施例的应用场景示意图；
图4是为实现图3应用场景的软件配置示意图；
图5是依据本发明另一实施例所提出的一种视频数据处理装置的方块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种软件系统架构，藉由此软件系统架构以软件控制一硬件电路，达成分时复用硬件电路，实现以一套硬件电路处理多个视频数据的目的。请参考图1，图1是依据本发明一实施例所提出的一种软件系统架构的示意图。如图1所示，软件系统架构100包含硬件驱动层10、虚拟通道层20、业务逻辑层30、及用户层40。软件系统架构100可应用于一视频数据处理装置中。请参考图2，图2是依据本发明一实施例所提出的一种视频数据处理装置的方块示意图。视频数据处理装置200包括处理器21、图像处理电路22、图形引擎23、叠加电路24、内存界面25、及内存26。以下以软件系统架构100应用于视频数据处理装置200的场景为例，来说明各层的作用。
硬件驱动层10用以设定各硬件组件的配置参数以控制各个硬件组件的运作，硬件组件例如为图像处理电路22及叠加电路24等。在一实施例中，硬件驱动层10将各硬件组件的配置参数设定于各硬件组件所对应的寄存器中。以叠加电路24为例，配置参数包括图像数据于内存26中的物理地址、图像数据的大小、格式、显示位置、及透明度等，这些参数可藉由应用程序编程接口 (Application Programming Interface，API)给上层使用。
虚拟通道层20可利用虚拟的通道来设定及管理硬件的配置参数，每一个通道可对应一组配置参数，可利用多个通道来对同一硬件提供多组不同的配置参数，例如，利用多个通道来提供多组不同的配置参数给叠加电路24。在一实施例中，虚拟通道层20包含一查找表，此查找表包含各通道的通道号与所对应的配置参数的对应关系及参数数据，例如，查找表包含各通道所对应的图像数据于内存26中的物理地址、图像数据的大小、格式、显示位置、透明度、以及视频数据来源等数据。在一实施例中，查找表更可包含各通道与上层的帧缓冲接口及/或区域(region)模块接口的对应关系。视频数据处理装置200的软件系统可以通道号做为通道识别信号，藉以利用各通道的通道号查询此查找表得到对应的配置参数及相关数据。
多路视频数据的处理原理是基于硬件处理速度足够快的情况下，在一段时间内(例如一个帧间隔或帧周期)可以同时处理多个不同路上的视频帧。以30fps (frames persecond)的视频数据为例，只要硬件处理一帧的数据的时间小于16毫秒，那么它就有在33毫秒的时间内处理两帧视频的能力，处理速度越快，能够处理的视频数据路数越多。现有技术的软件系统中，上层应用软件系直接利用硬件驱动层10的应用程序编程接口，以控制叠加电路24在一路视频数据中叠加一图像，但是在多路视频数据同时处理时，叠加电路24无法区分哪个视频数据需要叠加或不叠加图像。因此，本发明引入通道管理的概念，藉由虚拟的通道把要叠加的图像所用的内存数据以及相关的设定以通道为单位进行管理，并且虚拟成专门的应用程序编程接口给上层使用。藉由虚拟通道层的设置，视频数据处理装置200得以利用一个叠加电路24在一个帧间隔或帧周期的时间区间内对多路视频数据进行图像叠加处理。在一实施例中，虚拟通道层 10每次收到同步讯号VSYNC后，会根据下一张视频帧数据中通道的标记判断接下来要对哪个通道进行叠加处理，然后通过通道号查询查找表以获到该通道相关的配置参数，并在下个同步讯号VSYNC来之前把查询到的配置参数写到叠加电路24的寄存器中。
业务逻辑层30包含两部分，一部分是标准的Linux系统的帧缓冲(Frame buffer)接口的业务逻辑，这部分会设定各个帧缓冲接口与虚拟通道层20中各通道的对应关系。另外一部分是视频数据处理装置200的区域(region)模块接口相关的业务逻辑，这部分会设定各个区域模块接口与虚拟通道层20中各通道的对应关系。举例来说，帧缓冲接口1(/dev/fb1)可对应通道1，帧缓冲接口2(/dev/fb2)对应通道2，而区域模块接口1(region 1)对应通道3。在一实施例中，虚拟通道层20中的查找表可包含各通道的帧缓冲接口及各区域模块接口对应的硬件驱动层10相关设定，使用者可透过特定的配置档案设定帧缓冲接口对应的虚拟通道层20通道的默认初始化状态，当视频数据处理装置 200的软件系统在初始化的过程中，会将各帧缓冲接口及各区域模块接口与通道间的对应关系及相关设定通过虚拟通道层20的应用程序编程接口进行设定。
用户层40用以让用户调用视频数据处理装置200中的软件功能及/或硬件组件以实现特定应用场景。在一实施例中，用户层40可透过帧缓冲接口在视频数据上叠加用户接口(User Interface，UI)，用户层40亦可透过区域模块接口在视频数据上叠加图像，实现屏幕显示(On-Screen Display，OSD)的功能。软件系统架构100藉由设置虚拟通道层20，让用户层40可透过区域模块接口以软件分时复用多个通道在多路视频数据叠加图像以进行显示。同样的，用户层40可透过帧缓冲接口以软件分时复用多个通道在不同的通道上显示不同的内容。
请参考图3，图3是根据本发明的一实施例的应用场景示意图。以下将说明如何利用具有软件系统架构100的视频数据处理装置200来实现图3所示的应用场景。
请参考图4，图4是为实现图3应用场景的软件配置示意图。如图4所示，此系统的软件配置包含通道1及通道2的配置参数，帧缓冲接口1(/dev/fb1) 对应到通道1，帧缓冲接口2(/dev/fb2)对应到通道2，前述通道1及通道2 的配置参数以及与帧缓冲接口1及帧缓冲接口2间的对应关记录于虚拟通道层 20的查找表中。用户层40中的图像UI_1使用帧缓冲接口1来进行叠加，而图像UI_2使用帧缓冲接口2来进行叠加。此例中，通道1用以将图像UI_1 叠加至视频数据Vin_1中，通道2用以将图像UI_2叠加至视频数据Vin_2中，通道1的配置参数包含视频数据Vin_1的内存地址及视频大小、图像UI_1的内存地址、图像大小及格式、叠加位置(例如图像UI_1叠加于视频数据Vin_1的起始位置)、透明度等数据。通道2的配置参数包含视频数据Vin_2的内存地址及视频大小、图像UI_2的内存地址、图像大小及格式等数据。前述的配置参数及对应关系可在软件系统初始化过程中透过配置檔案进行配置。操作时，通道 1的处理顺序在通道2之前，当叠加电路驱动软件接收到同步讯号VSYNC 1时，会将对应通道1的配置参数写入叠加电路24的寄存器中。在同步讯号VSYNC 1之后，当叠加电路驱动软件接收到同步讯号VSYNC 2时，会将对应通道2的配置参数写入叠加电路24的寄存器中，叠加电时路24再据以完成叠加操作。在一实施例中，同步讯号VSYNC 1及同步讯号VSYNC 2可为视频数据Vin_1及/或视频数据Vin_2的帧同步讯号，用以指示叠加电路完成叠加一帧图像。在一实施例中，同步讯号VSYNC 1及同步讯号VSYNC 2用以指示视频数据处理装置200完成显示一帧图像。
在一实施例中，处理器21执行程序代码以运行具有软件系统架构100的软件系统。于操作O10中，藉由一影像传感器(未绘示)进行影像感测以得到感测数据S，在此实施例中，影像传感器设置于视频数据处理装置200的外部，并透过连接接口电性连接至视频数据处理装置200，而感测数据S是每秒 30张而分辨率为1920*1080的影像数据。于操作O20中，图像处理电路22接收感测数据S并对感测数据S进行图像处理以输出视频数据Vin_1及视频数据 Vin_2。在一实施例中，图像处理电路22对感测数据S所进行的图像处理可包含：去噪处理、亮度调整、色彩调整、及影像大小缩放等处理。此实施例中，视频数据Vin_1的分辨率为320*240，而视频数据Vin_2的分辨率为1920*1080，图像处理电路22依据软件配置中配置给视频数据Vin_1的内存地址将视频数据 Vin_1储存至内存26，并依据配置给视频数据Vin_2的内存地址将视频数据Vin_2储存至内存26。
于操作O30中，处理器21藉由硬件驱动层10中的叠加电路驱动软件来控制叠加电路24，当叠加电路24或叠加电路驱动软件于时间点T0时接收到同步讯号VSYNC 1，处理器21根据虚拟通道层20的查找表，确认接下来将对通道1进行叠加处理，叠加电路驱动软件根据查找表将对应通道1的配置参数设定至叠加电路24的寄存器中。如前面所述，通道1用以将图像UI_1叠加至视频资料Vin_1中，叠加电路24依据寄存器中的设定值自内存26中分别读取视频数据Vin_1及图像UI_1并执行叠加处理1，以产生视频数据Vout_1。在一实施例中，当叠加电路24或叠加电路驱动软件接收到同步讯号VSYNC 2，叠加电路24才执行将图像UI_1叠加至视频数据Vin_1中的叠加处理1，而叠加电路 24花费处理时间TP1来完成叠加处理1。在一实施例中，于叠加电路24执行叠加处理1前，图形引擎23进行绘制图像UI_1，并将绘制好的图像UI_1储存至内存26中，图像UI_1例如是用以显示时间、电量参数等讯息，图像UI_1 于内存26中的储存地址对应查找表中图像UI_1的内存地址。于操作O40中，视频数据处理装置200将视频数据Vout_1输出至一显示器(未绘示)以进行显示。
于操作O50中，当叠加电路24或叠加电路驱动软件于时间T1接收到同步讯号VSYNC 2，处理器21根据虚拟通道层20的查找表，确认接下来将对通道2进行叠加处理2，叠加电路驱动软件根据查找表将对应通道2的配置参数设定至叠加电路24的寄存器中。如前面所述，通道2用以将图像UI_2叠加至视频资料Vin_2中，叠加电路24依据寄存器中的设定值自内存26中分别读取视频数据Vin_2及图像UI_2并执行叠加处理2，以产生视频数据Vout_2。在一实施例中，于叠加电路24执行叠加处理2前，图形引擎23进行绘制图像UI_2，并将绘制好的图像UI_2储存至内存26中，图像UI_2例如是用以显示时间、日期等讯息，图像UI_2于内存26中的储存地址对应查找表中图像UI_2的内存地址。在一实施例中，同步讯号VSYNC 2用以于时间点T1时触发叠加电路 24执行将图像UI_1叠加至视频数据Vin_1的叠加处理1，叠加电路24或叠加电路驱动软件于时间点T2接收到同步讯号VSYNC 3，同步讯号VSYNC 3用以于时间点T2时触发叠加电路24执行将图像UI_2叠加至视频数据Vin_2的叠加处理 2，而叠加电路24花费处理时间TP2来完成叠加处理2，也就是说，叠加电路驱动软件于叠加电路24正进行叠加处理1时，即将对应通道2的配置参数设定至叠加电路24的寄存器中。藉由这样的机制，当叠加电路24完成将图像 UI_1叠加至视频数据Vin_1的叠加处理1时，可马上接着进行将图像UI_2叠加至视频数据Vin_2的叠加处理2，无须再等待在叠加电路24的寄存器中设定通道2的配置参数的时间。
在一实施例中，视频数据Vin_1及视频数据Vin_2皆为每秒30张影像(30 FPS)，视频数据Vin_1的帧显示周期或相邻两帧的间隔为33毫秒(ms)，同样的，视频数据Vin_2的帧显示周期或相邻两帧的间隔也是33毫秒。叠加电路24 的效能需满足处理时间TP1加总处理时间TP2小于33毫秒的要求，而时间点 T2与时间点T1间的时间差亦需小于33毫秒，在一较佳实施例中，时间点T2 与时间点T1间的时间差小于16.5毫秒(即相邻两帧的间隔的一半)。本发明藉由于软件系统中设置虚拟通道层20，通道1及通道2分别对应两组不同的配置参数，并利用处理效能较佳的叠加电路24，透过软件分时复用叠加电路24，实现了利用同一叠加电路来处理两路视频数据(如实施例中的视频数据Vin_1及视频数据Vin_2)的应用。
于操作O60中，视频数据处理装置200利用一编码器(未绘示)对视频数据Vout_2进行编码处理，以产生编码数据Ved。编码处理例如是依据视频编码标准H.264或H.265的影像编码处理。于操作O70中，视频数据处理装置 200利用一传输接口(未绘示)将编码数据Ved传输出去。在一实施例中，传输接口依据实时串流协议(Real Time Streaming Protocol，RTSP)将编码数据 Ved传输出去。
请参考图5，图5是依据本发明另一实施例所提出的一种视频数据处理装置的方块示意图。相较于图2的视频数据处理装置200，视频数据处理装置500 更包括缩放电路57。缩放电路设置于叠加电路24之前。当软件系统架构100 应用于视频数据处理装置500的场景时，虚拟通道层20除了利用多个通道来提供多组不同的配置参数给叠加电路24外，虚拟通道层20更利用该些通道来提供多组不同的配置参数给缩放电路57。在一实施例中，虚拟通道层20中的查找表包含各通道的通道号与缩放电路57所对应的配置参数的对应关系及参数数据，以及各通道的通道号与叠加电路24所对应的配置参数的对应关系及参数数据。举例来说，图4的软件配置中查找表更可包括通道1对应缩放电路 57的配置参数，用以控制缩放电路57对视频数据Vin_1进行缩放处理，查找表也包括通道2对应缩放电路57的配置参数，用以控制缩放电路57对视频数据 Vin_2进行缩放处理。操作时，当硬件驱动层10接收到同步讯号VSYNC 1时，会将对应通道1的配置参数写入缩放电路57及叠加电路24各自的寄存器中。缩放电路57据以对视频数据Vin_1进行缩放处理后输出经处理后的视频数据至叠加电路24，以进行叠加处理。在同步讯号VSYNC 1之后，当硬件驱动层10接收到同步讯号VSYNC 2时，会将对应通道2的配置参数写入缩放电路57及叠加电路24各自的寄存器中。缩放电路57据以对视频数据Vin_2进行缩放处理后输出经处理后的视频数据至叠加电路24，以进行叠加处理。缩放电路57的效能需满足在相邻两帧的间隔时间内完成对视频数据Vin_1及视频数据Vin_2的缩放处理。在一较佳实施例中，缩放电路57完成对视频数据Vin_1及视频数据Vin_2的缩放处理所需的时间加总叠加电路24完成叠加处理1及叠加处理2所需的时间系小于相邻两帧的间隔时间(此例中为33毫秒)。
图3及图4的实施例中说明了本发明的软件系统架构及视频数据处理装置可透过软件分时复用同一叠加电路来处理两路视频数据，在硬件效能条件许可下，本发明的软件系统架构及视频数据处理装置更可透过软件分时复用同一硬件电路来处理两路以上的视频数据。图3及图4的实施例中是以通道1及通道 2皆对应到帧缓冲接口为例进行说明，实施上，各通道皆可选择对应帧缓冲接口或区域模块接口。
综上所述，本发明的软件系统架构及视频数据处理装置藉由在软件架构中设置虚拟通道层，以实现透过软件分时复用硬件电路在多路视频数据上叠加不同的缓冲接口及/或区域模块接口所对应的内容，大幅提升硬件的使用率，并达到多个窗口显示OSD/UI的效果。
虽然本发明之实施例如上所述，然而该些实施例并非用来限定本发明，本技术领域具有通常知识者可依据本发明之明示或隐含之内容对本发明之技术特征施以变化，凡此种种变化均可能属于本发明所寻求之专利保护范畴，换言之，本发明之专利保护范围须视本说明书之申请专利范围所界定者为准。
符号说明
100 软件系统架构
200、500 视频数据处理装置
10 硬件驱动层
20 虚拟通道层
21 处理器
22 图像处理电路
23 图形引擎
24 叠加电路
25 内存界面
26 内存
30 业务逻辑层
40 用户层
57 缩放电路
O10、O20、O30、O40、O50、O60、O70 操作。

Claims (17)

1.一种视频数据处理方法，其特征在于，包括：
提供一查找表，所述查找表包含一第一通道识别信号与一第一组参数的对应关系、及一第二通道识别信号与一第二组参数的对应关系；
根据所述第一通道识别信号查询所述查找表，以将所述第一组参数写入一叠加电路的寄存器；
利用所述叠加电路，根据所述第一组参数于一第一时间点将一第一图像叠加于一第一视频资料中；
根据所述第二通道识别信号查询所述查找表，以将所述第二组参数写入所述叠加电路的寄存器；以及
利用所述叠加电路，根据所述第二组参数于一第二时间点将一第二图像叠加于一第二视频资料中；
其中，所述第一时间点与所述第二时间点间的时间差小于所述第一视频数据的一帧间隔。
2.根据权利要求1所述的视频数据处理方法，其特征在于，所述叠加电路将所述第一图像叠加于所述第一视频数据中花费一第一处理时间，所述叠加电路将所述第二图像叠加于所述第二视频数据中花费一第二处理时间，其中，所述第一处理时间与所述第二处理时间的总合小于所述帧间隔。
3.根据权利要求1所述的视频数据处理方法，其特征在于，所述第二组参数于所述叠加电路正进行将所第一图像叠加于所述第一视频数据的操作中写入所述叠加电路的寄存器。
4.根据权利要求1所述的视频数据处理方法，其特征在于，所述查找表更包含所述第一通道识别信号与Linux系统中一第一帧缓冲接口的对应关系。
5.根据权利要求1所述的视频数据处理方法，其特征在于，所述查找表设置于一软件的虚拟通道层中，所述虚拟通道层系设置于所述软件的一业务逻辑层及一硬件驱动层之间。
6.根据权利要求1所述的视频数据处理方法，其特征在于，所述第一组参数包含所述第一图像于一内存的位置、所述第一图像的大小、及所述第一图像叠加于所述第一视频数据的起始位置。
7.根据权利要求1所述的视频数据处理装置，其特征在于，所述第一时间点对应于一第一帧同步信号，第二时间点对应于一第二帧同步信号。
8.一种视频数据处理装置，其特征在于，其包括：
一处理器，根据一第一通道识别信号提供一第一组参数，并根据一第二通道识别信号提供一第二组参数；以及
一叠加电路，根据所述第一组参数于一第一时间点将一第一图像叠加于一第一视频资料中，且根据所述第二组参数于一第二时间点将一第二图像叠加于一第二视频资料中；
其中，所述第一时间点与所述第二时间点间的时间差小于所述第一视频数据的一帧间隔。
9.根据权利要求8所述的视频数据处理装置，其特征在于，所述叠加电路将所述第一图像叠加于所述第一视频数据中花费一第一处理时间，所述叠加电路将所述第二图像叠加于所述第二视频数据中花费一第二处理时间，其中，所述第一处理时间与所述第二处理时间的总合小于所述帧间隔。
10.根据权利要求8所述的视频数据处理装置，其特征在于，所述处理器于所述第二时间点之前将所述第二组参数写入用以控制所述叠加电路的寄存器。
11.根据权利要求8所述的视频数据处理装置，其特征在于，所述第一通道识别信号对应Linux系统中一第一帧缓冲接口，所述第二通道识别信号对应所述Linux系统中一第二帧缓冲界面。
12.根据权利要求11所述的视频数据处理装置，其特征在于，所述处理器根据所述第一通道识别信号查询一查找表，以得到所述第一组参数。
13.根据权利要求12所述的视频数据处理装置，其特征在于，所述查找表包含所述第一通道识别信号与与所述第一帧缓冲界面及所述第一组参数的对应关系。
14.根据权利要求13所述的视频数据处理装置，其特征在于，所述第一组参数包含所述第一图像于一内存的位置、所述第一图像的大小、及所述第一图像叠加于所述第一视频数据的起始位置。
15.根据权利要求8所述的视频数据处理装置，其特征在于，所述第一通道识别信号对应Linux系统中一帧缓冲接口，所述第二通道识别信号对应一区域模块接口。
16.根据权利要求8所述的视频数据处理装置，其特征在于，所述第一时间点对应于一第一帧同步信号，第二时间点对应于一第二帧同步信号。
17.根据权利要求8所述的视频数据处理装置，其特征在于，更包括：
一缩放电路，对所述第一视频数据进行缩放处理，以将处理后的所述第一视频数据输出至所述叠加电路；
其中，所述第一组参数包含控制所述缩放电路的参数。
CN202111088504.XA 2021-09-16 2021-09-16 视频数据处理方法及装置 Active CN113840171B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111088504.XA CN113840171B (zh) 2021-09-16 2021-09-16 视频数据处理方法及装置
US17/585,732 US20230084156A1 (en) 2021-09-16 2022-01-27 Video data processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111088504.XA CN113840171B (zh) 2021-09-16 2021-09-16 视频数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113840171A true CN113840171A (zh) 2021-12-24
CN113840171B CN113840171B (zh) 2023-06-13

Family

ID=78959634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111088504.XA Active CN113840171B (zh) 2021-09-16 2021-09-16 视频数据处理方法及装置

Country Status (2)

Country Link
US (1) US20230084156A1 (zh)
CN (1) CN113840171B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029732A (ja) * 2001-07-19 2003-01-31 Mitsubishi Electric Corp 画像オーバレイ装置および画像オーバレイ方法
CN101309412A (zh) * 2008-07-07 2008-11-19 浙江大学 基于深度图像渲染的多通道视频流编码器和解码器
CN101461232A (zh) * 2006-04-18 2009-06-17 马维尔半导体有限公司 共享存储器多视频通道显示装置和方法
US20090256968A1 (en) * 2008-04-10 2009-10-15 Matsunaka Shinji Signal processing apparatus, and method for controlling signal processing apparatus
JP2010028271A (ja) * 2008-07-16 2010-02-04 Victor Co Of Japan Ltd 電子機器の制御装置
WO2011013748A1 (ja) * 2009-07-31 2011-02-03 シャープ株式会社 画像処理装置、画像処理装置の制御方法、画像処理装置の制御プログラム、および制御プログラムを記録した記録媒体
CN102036038A (zh) * 2011-01-07 2011-04-27 天津天地伟业数码科技有限公司 多通道osd视频叠加控制器
CN103686304A (zh) * 2013-12-09 2014-03-26 华为技术有限公司 一种图层合成方法、装置及终端设备
CN110833399A (zh) * 2019-11-29 2020-02-25 中国科学院自动化研究所 近红外二区单通道分时复用成像系统及其使用方法
CN111193877A (zh) * 2019-08-29 2020-05-22 桂林电子科技大学 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029732A (ja) * 2001-07-19 2003-01-31 Mitsubishi Electric Corp 画像オーバレイ装置および画像オーバレイ方法
CN101461232A (zh) * 2006-04-18 2009-06-17 马维尔半导体有限公司 共享存储器多视频通道显示装置和方法
US20090256968A1 (en) * 2008-04-10 2009-10-15 Matsunaka Shinji Signal processing apparatus, and method for controlling signal processing apparatus
CN101309412A (zh) * 2008-07-07 2008-11-19 浙江大学 基于深度图像渲染的多通道视频流编码器和解码器
JP2010028271A (ja) * 2008-07-16 2010-02-04 Victor Co Of Japan Ltd 電子機器の制御装置
WO2011013748A1 (ja) * 2009-07-31 2011-02-03 シャープ株式会社 画像処理装置、画像処理装置の制御方法、画像処理装置の制御プログラム、および制御プログラムを記録した記録媒体
CN102036038A (zh) * 2011-01-07 2011-04-27 天津天地伟业数码科技有限公司 多通道osd视频叠加控制器
CN103686304A (zh) * 2013-12-09 2014-03-26 华为技术有限公司 一种图层合成方法、装置及终端设备
CN111193877A (zh) * 2019-08-29 2020-05-22 桂林电子科技大学 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备
CN110833399A (zh) * 2019-11-29 2020-02-25 中国科学院自动化研究所 近红外二区单通道分时复用成像系统及其使用方法

Also Published As

Publication number Publication date
CN113840171B (zh) 2023-06-13
US20230084156A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
US7102653B2 (en) Systems and methods for rendering graphical data
EP0553549B1 (en) Architecture for transferring pixel streams
CN112235518B (zh) 一种数字视频图像融合叠加方法
US6864894B1 (en) Single logical screen system and method for rendering graphical data
JPH087567B2 (ja) 画像表示装置
HRP20000488A2 (en) Processing of digital picture data in a decoder
JPH02123881A (ja) 映像信号処理装置
EP2637411B1 (en) Image compositing apparatus
CN102957875A (zh) 一种图像处理方法、装置及系统
US6680739B1 (en) Systems and methods for compositing graphical data
US9305327B2 (en) Image processing apparatus and control method thereof
WO2021063319A1 (zh) 实现3d显示的方法及装置、3d显示终端
CN113840171A (zh) 视频数据处理方法及装置
TWI798840B (zh) 視訊資料處理方法及裝置
WO2023125314A1 (zh) 插帧方法、装置及电子设备
JP4617594B2 (ja) 画像切り換え装置
CN107347150B (zh) 一种实现裸眼3d效果的方法、装置、设备及存储介质
US8884973B2 (en) Systems and methods for rendering graphics from multiple hosts
JP4939811B2 (ja) 画像表示装置
CN111124341A (zh) 双屏异显同步显示的方法及装置
WO2022236808A1 (zh) 一种显示系统及显示设备
JP2001117693A (ja) 表示装置及びその表示制御方法並びに記憶媒体
CN114579071B (zh) 一种基于多个jpeg图层的叠加显示电路及其实现方法
JPH11298857A (ja) 記憶装置において多くの領域を占めているフレ―ム領域に他の用途を与えるよう画像復号を行う画像復号装置及び画像復号プログラムを記録したコンピュ―タ読取可能な記録媒体
JPH03114096A (ja) 画像復号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240320

Address after: 361115 Xiamen Torch High tech Zone (Xiang'an) Industrial Zone, Xiamen City, Fujian Province 656, No. 942 Tonglong Second Road

Patentee after: Xiamen Xingjue Technology Co.,Ltd.

Country or region after: China

Address before: 361005 1501, zone a, innovation building, software park, torch hi tech Zone, Xiamen City, Fujian Province

Patentee before: Xingchen Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right