CN110933493A - 视频绘制系统、方法及计算机可读存储介质 - Google Patents

视频绘制系统、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN110933493A
CN110933493A CN201811466168.6A CN201811466168A CN110933493A CN 110933493 A CN110933493 A CN 110933493A CN 201811466168 A CN201811466168 A CN 201811466168A CN 110933493 A CN110933493 A CN 110933493A
Authority
CN
China
Prior art keywords
image
video
video window
frame rate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811466168.6A
Other languages
English (en)
Inventor
谭登峰
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zen-Ai Technology Co Ltd
Original Assignee
Beijing Zen-Ai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zen-Ai Technology Co Ltd filed Critical Beijing Zen-Ai Technology Co Ltd
Priority to CN201811466168.6A priority Critical patent/CN110933493A/zh
Publication of CN110933493A publication Critical patent/CN110933493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种视频绘制系统，包括：绘制单元、计算单元、图像存储单元；所述图像存储单元用于存储至少两组图像帧数据；每组图像帧数据包括帧图像；所述绘制单元用于根据所述图像存储单元中存储的至少两组图像帧数据绘制相应的至少两组视频，其中，每组所述图像帧数据对应一个视频窗口；所述计算单元用于实时计算每个视频窗口顶点的位置坐标以及根据所述坐标位置确定每个视频窗口的被遮挡比例；所述绘制单元还根据所述视频窗口的被遮挡比例调整所述视频窗口的绘制帧率。通过本发明，可在CPU资源有限的情况下合理地节省CPU的占用率，大大提高CPU的图像处理速度，减少绘制的整体时间和次数，使得帧图像的绘制更快地完成。

Description

视频绘制系统、方法及计算机可读存储介质
技术领域
本发明涉及图像处理领域，特别涉及一种视频绘制方法及系统。
背景技术
目前，随着互联网科技的飞速发展，远程网络教学，远程网络监控，远程视频会议，远程数据共享等在日常生活中得到了广泛应用。这些应用极大地方便了用户远距离进行交流和沟通，而在这些应用中，都需要发送端实时传输屏幕的每帧图像，然后接收端需要接收并存储这些多个帧图像到本地然后以一定的帧率绘制成一个视频动画并显示出来。当有多个发送端的数据需要发送给同一个接收端时，接收端上会同时显示来自多个发送端的多个视频动画。由于视频绘制操作在计算机上需要大量占用CPU处理时间和大量的内存资源，因此在同时显示多个视频动画时，很可能会出现视频卡顿、花屏的问题。因此，如何降低视频绘制过程中CPU和内存资源的占用同时保证视频动画显示的连贯性已经成为需要迫切解决的问题。
发明内容
有鉴于此，本发明提供了一种视频绘制系统，其包括：绘制单元、计算单元、图像存储单元；
所述图像存储单元用于存储至少两组图像帧数据；每组图像帧数据包括帧图像；
所述绘制单元用于根据所述图像存储单元中存储的至少两组图像帧数据绘制相应的至少两组视频，其中，每组所述图像帧数据对应一个视频窗口；
所述计算单元用于实时计算每个视频窗口顶点的位置坐标以及根据所述坐标位置确定每个视频窗口的被遮挡比例；
所述绘制单元还根据所述视频窗口的被遮挡比例调整所述视频窗口的绘制帧率。
根据本发明的一些实施例，当被遮挡比例大于一阈值时，所述绘制单元将所述被遮挡视频窗口的绘制帧率调整为低于正常帧率的第二帧率。
根据本发明的一些实施例，所述正常帧率为30帧/秒。
根据本发明的一些实施例，所述第二帧率为1帧/秒。
根据本发明的一些实施例，在第n秒时，所述绘制单元在所述被遮挡视频窗口绘制第V1*(n-1)+1帧图像；其中，V1为所述正常帧率。
本发明第二方面提供一种视频绘制方法，包括：
根据图像存储单元中存储的多组图像帧数据绘制视频；每组所述图像帧数据对应一个视频窗口；
实时计算每个视频窗口顶点的位置坐标以及根据所述坐标位置确定每个视频窗口的被遮挡比例；
根据所述视频窗口的被遮挡比例调整所述视频窗口的绘制帧率。
根据本发明的一些实施例，当被遮挡比例大于一阈值时，调整所述被遮挡视频窗口的绘制帧率为低于正常帧率的第二帧率。
根据本发明的一些实施例，在第n秒时，在所述被遮挡视频窗口绘制第V1*(n-1)+1帧图像；其中，V1为所述被遮挡比例为0时的正常帧率。
本发明第三方面提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的视频绘制方法的步骤。
本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的视频绘制方法的步骤。
通过本发明实施例的技术方案，可以在CPU资源有限的情况下合理地节省CPU的占用率，大大提高CPU的图像处理速度，减少绘制的整体时间和次数，使得帧图像的绘制更快地完成。
附图说明
图1是根据本发明实施例的视频绘制系统结构图；
图2是根据本发明实施例的三组视频动画窗口示意图；
图3是根据本发明实施例的视频绘制系统的工作流程。
具体实施方式
以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
图1所示为根据本发明实施例的视频绘制系统结构图。
其中，本发明实施例的视频绘制系统包括绘制单元1、计算单元2、图像存储单元3；
其中，存储单元3用于存储要绘制视频的多组图像帧数据。其中，所述的多组指的是至少两组。在本实施例中，以三组图像帧数据为例进行说明。三组图像帧数据中，第一组图像帧数据可以包括100帧图像，第二组图像帧数据可以包括200帧图像，第三组图像帧数据可以包括150帧图像。
图3所示为根据本发明实施例的视频绘制系统的工作流程。
其中，在步骤100，绘制单元1用于对图像存储单元3中存储的多组图像帧数据进行绘制；其中，绘制的过程包括根据每组中的帧图像绘制出每组对应的窗口，并以一定的帧率绘制出视频画面并在对应的窗口中显示；本实施例中，如图2所示，以上述三组图像帧数据为例，绘制单元1需要绘制三组视频动画，其中第一组视频动画根据第一组图像帧数据进行绘制，首先绘制出第一组图像帧数据对应的第一视频动画窗口11，然后将100帧图像以正常绘制帧率绘制成连续的视频动画并在第一视频动画窗口11中显示出来；同理，相应于第二组图像帧数据的第二视频动画窗口12、相应于第三组图像帧数据的第三视频动画窗口13均相应绘制出来。其中，所述正常绘制帧率可以根据CPU的性能进行适应性设置，本实施例中以每秒30帧为例。
然后，在步骤101，计算单元2用于实时计算每个视频动画窗口的位置坐标，并根据计算结果判断每个视频窗口的被遮挡比例；
然后，进入步骤102，计算单元2判断是否有窗口的被全部遮挡；若有，则通知绘制单元1被遮挡的窗口信息；
其中，判断有无被全部遮挡窗口的计算过程包括：
获取各窗口四个顶点坐标位置；以本实施例的三个窗口为例，第一视频动画窗口11的四个顶点分别为【x11,y11】【x12,y12】【x13,y13】【x14,y14】，第二视频动画窗口12的四个顶点分别为【x21,y21】【x22,y22】【x23,y23】【x24,y24】，第三视频动画窗口13的四个顶点分别为【x31,y31】【x32,y32】【x33,y33】【x34,y34】；
比较各窗口顶点的横纵坐标；例如，若x11<x21，x12<x22，x13<x23，x14<x24，且y11<y21，y12<y22，y13<y23，y14<y24时，则可以判断出第二视频动画窗口12的四个顶点坐标均在第一视频动画窗口的四个顶点范围内，因此可以判断出窗口2被窗口1全部遮挡。
然后进入步骤103，绘制单元1根据计算单元2发来的被全部遮挡的窗口信息以第二帧率绘制所述被遮挡视频窗口的视频画面。其中，所述第二帧率可以视情况设置，本实施例中以每秒1帧的绘制帧率为例。
优选地，绘制所述被遮挡视频窗口的视频画面进一步包括步骤：在第n秒时，绘制第V1*(n-1)+1帧图像(其中，V1为前述的正常帧率)。
也就是说，当用户在第n秒时点击所述的被全部遮挡的视频画面时，其播放的图像为与以正常帧率播放的视频画面的帧图像是同步的。以前述实施例为例，第二视频动画窗口被第一视频动画窗口被全部遮挡，因此第二视频动画窗口的绘制帧率被降为每秒1帧；根据上述公式，在第1秒时，第一视频播放窗口的画面和第二视频播放窗口所显示的画面均分别为其对应的帧图像组中的第1帧图像；而在第2秒时，第二视频动画窗口所显示的画面并不是其第2帧图像，而是第30*1+1帧图像，即第31帧图像，这样进行绘制的原因是使得第二帧率播放的画面与正常帧动画窗口能够保持同步。这样，用户在某个时刻点击显示第二视频动画窗口时，其接收到的画面在某一程度上接近正常帧率播放下对应的画面，用户体验友好。
在本发明另一实施例中，计算单元2可以设置为用于计算各个视频画面窗口被遮挡区域的占比；并且，当窗口被遮挡区域面积占总窗口面积大于一阈值，例如70％时，则计算单元2通知绘制单元1被遮挡的窗口信息；
本领域技术人员可以理解，绘制单元1可以根据计算单元2发来的被遮挡的窗口信息以一固定的低于正常帧率的第二帧率绘制所述被遮挡70％窗口的视频画面，也可以根据窗口被遮挡比例进行适应性调整，例如，在窗口遮挡比例为80％时，绘制单元1调整绘制帧率为正常帧率的20％，在窗口遮挡比例为90％时，绘制单元1调整绘制帧率为正常帧率的10％等。
通过本发明实施例的技术方案，可以在CPU资源有限的情况下合理地节省CPU的占用率，大大提高了CPU的图像处理速度。
本发明进一步提出一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的视频绘制方法的步骤。
本发明进一步提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项技术方案中的视频绘制方法的步骤。
通过本发明实施例的技术方案，可以在CPU资源有限的情况下合理地节省CPU的占用率，大大提高CPU的图像处理速度，减少绘制的整体时间和次数，使得帧图像的绘制更快地完成，也降低对系统图像处理器及系统内存存储资源的占用。
以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。

Claims (10)

1.一种视频绘制系统，包括：
绘制单元、计算单元、图像存储单元；
所述图像存储单元用于存储至少两组图像帧数据；每组图像帧数据包括帧图像；
所述绘制单元用于根据所述图像存储单元中存储的至少两组图像帧数据绘制相应的至少两组视频，其中，每组所述图像帧数据对应一个视频窗口；
所述计算单元用于实时计算每个视频窗口顶点的位置坐标以及根据所述坐标位置确定每个视频窗口的被遮挡比例；
所述绘制单元还根据所述视频窗口的被遮挡比例调整所述视频窗口的绘制帧率。
2.根据权利要求1所述的系统，其特征在于：
当被遮挡比例大于一阈值时，所述绘制单元将所述被遮挡视频窗口的绘制帧率调整为低于正常帧率的第二帧率。
3.根据权利要求2所述的系统，其特征在于：
所述正常帧率为30帧/秒。
4.根据权利要求2所述的系统，其特征在于：
所述第二帧率为1帧/秒。
5.根据权利要求1或2所述的系统，其特征在于：
在第n秒时，所述绘制单元在所述被遮挡视频窗口绘制第V1*(n-1)+1帧图像；其中，V1为所述正常帧率。
6.一种视频绘制方法，包括：
根据图像存储单元中存储的多组图像帧数据绘制视频；每组所述图像帧数据对应一个视频窗口；
实时计算每个视频窗口顶点的位置坐标以及根据所述坐标位置确定每个视频窗口的被遮挡比例；
根据所述视频窗口的被遮挡比例调整所述视频窗口的绘制帧率。
7.根据权利要求6所述的方法，其特征在于：
当被遮挡比例大于一阈值时，调整所述被遮挡视频窗口的绘制帧率为低于正常帧率的第二帧率。
8.根据权利要求6或7所述的方法，其特征在于：
在第n秒时，在所述被遮挡视频窗口绘制第V1*(n-1)+1帧图像；其中，V1为所述被遮挡比例为0时的正常帧率。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求6至8中任一项所述的视频绘制方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求6至8中任一项所述的视频绘制方法的步骤。
CN201811466168.6A 2018-12-03 2018-12-03 视频绘制系统、方法及计算机可读存储介质 Pending CN110933493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811466168.6A CN110933493A (zh) 2018-12-03 2018-12-03 视频绘制系统、方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811466168.6A CN110933493A (zh) 2018-12-03 2018-12-03 视频绘制系统、方法及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110933493A true CN110933493A (zh) 2020-03-27

Family

ID=69856467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811466168.6A Pending CN110933493A (zh) 2018-12-03 2018-12-03 视频绘制系统、方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110933493A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901664A (zh) * 2020-08-13 2020-11-06 北京仁光科技有限公司 视频传输系统及方法
CN111901663A (zh) * 2020-08-13 2020-11-06 北京仁光科技有限公司 视频传输系统、方法及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272199A (zh) * 2008-05-14 2008-09-24 中兴通讯股份有限公司 一种广播节目变速播放处理方法和终端
EP2348728A2 (en) * 2010-01-21 2011-07-27 Tomy Company, Ltd. Image transmission system
CN104750358A (zh) * 2015-03-09 2015-07-01 深圳市艾优尼科技有限公司 一种终端
CN104822088A (zh) * 2015-04-16 2015-08-05 腾讯科技（北京）有限公司 视频图像缩放方法和装置
CN105468347A (zh) * 2014-09-05 2016-04-06 富泰华工业（深圳）有限公司 暂停视频播放的系统及方法
CN106327540A (zh) * 2015-07-03 2017-01-11 高德软件有限公司 基于OpenGL View的控制方法、装置及终端
CN108391079A (zh) * 2018-01-27 2018-08-10 深圳市汉锐信息技术股份有限公司 一种多媒体会议讨论系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272199A (zh) * 2008-05-14 2008-09-24 中兴通讯股份有限公司 一种广播节目变速播放处理方法和终端
EP2348728A2 (en) * 2010-01-21 2011-07-27 Tomy Company, Ltd. Image transmission system
CN105468347A (zh) * 2014-09-05 2016-04-06 富泰华工业（深圳）有限公司 暂停视频播放的系统及方法
CN104750358A (zh) * 2015-03-09 2015-07-01 深圳市艾优尼科技有限公司 一种终端
CN104822088A (zh) * 2015-04-16 2015-08-05 腾讯科技（北京）有限公司 视频图像缩放方法和装置
CN106327540A (zh) * 2015-07-03 2017-01-11 高德软件有限公司 基于OpenGL View的控制方法、装置及终端
CN108391079A (zh) * 2018-01-27 2018-08-10 深圳市汉锐信息技术股份有限公司 一种多媒体会议讨论系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901664A (zh) * 2020-08-13 2020-11-06 北京仁光科技有限公司 视频传输系统及方法
CN111901663A (zh) * 2020-08-13 2020-11-06 北京仁光科技有限公司 视频传输系统、方法及计算机可读存储介质

Similar Documents

Publication Publication Date Title
WO2020108082A1 (zh) 视频处理方法、装置、电子设备和计算机可读介质
US10693938B2 (en) Method and system for interactive transmission of panoramic video
US11109029B2 (en) Video enhancement method and device
US11436702B2 (en) Systems and methods for super-resolusion image reconstruction
CN109285211B (zh) 画面渲染方法、装置、终端及存储介质
WO2020107989A1 (zh) 视频处理方法、装置、电子设备以及存储介质
US10044979B2 (en) Acquiring regions of remote shared content with high resolution
CN110933493A (zh) 视频绘制系统、方法及计算机可读存储介质
CN112596843A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2014042662A1 (en) Bandwidth reduction system and method
EP3855754A1 (en) Video processing method and apparatus, electronic device, and storage medium
CN116828215B (zh) 一种降低本地算力负荷的视频渲染方法及系统
JP2019149785A (ja) 映像変換装置及びプログラム
US20150281699A1 (en) Information processing device and method
CN112272294A (zh) 一种显示图像压缩方法、装置、设备及计算机存储介质
CN108924629B (zh) 一种vr图像处理方法
CN111833262A (zh) 图像降噪方法、装置及电子设备
CN113810755B (zh) 全景视频预览的方法、装置、电子设备及存储介质
US20230075654A1 (en) Processing method and apparatus
CN107547913B (zh) 视频数据播放和处理方法、客户端及设备
CN114663314A (zh) 图像降噪方法、装置、计算机设备及介质
CN111263209A (zh) 视频绘制系统、方法及计算机可读存储介质
CN111327863A (zh) 一种视频通话处理方法及装置
WO2023103672A1 (zh) 显示共享内容的方法、装置、设备和计算机程序产品
CN114827684B (zh) 一种基于5g的交互式视频服务方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327