CN117692675A - 视频流智能信息叠加方法及设备、视频流解码方法及设备 - Google Patents

视频流智能信息叠加方法及设备、视频流解码方法及设备 Download PDF

Info

Publication number
CN117692675A
CN117692675A CN202311508186.7A CN202311508186A CN117692675A CN 117692675 A CN117692675 A CN 117692675A CN 202311508186 A CN202311508186 A CN 202311508186A CN 117692675 A CN117692675 A CN 117692675A
Authority
CN
China
Prior art keywords
information
video stream
video
intelligent
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311508186.7A
Other languages
English (en)
Inventor
汪德暖
邓宏飞
员晓毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Original Assignee
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen ZNV Technology Co Ltd, Nanjing ZNV Software Co Ltd filed Critical Shenzhen ZNV Technology Co Ltd
Priority to CN202311508186.7A priority Critical patent/CN117692675A/zh
Publication of CN117692675A publication Critical patent/CN117692675A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及视频传输及视频编解码领域,公开一种视频流智能信息叠加方法及设备、视频流解码方法及设备,该方法通过获取原始视频流;对原始视频流进行视频智能分析,获得智能分析信息以及视频帧时间戳;根据智能分析信息生成辅助增强帧,并根据视频帧时间戳将辅助增强帧叠加至原始视频流,获得叠加视频流。由于是根据原始视频流进行视频智能分析,并将获得的智能分析信息以辅助增强帧的形式叠加至原始视频流中视频帧时间戳对应的位置,从而获得叠加视频流,无需对视频流进行再编码过程,提升了视频智能分析的性能。

Description

视频流智能信息叠加方法及设备、视频流解码方法及设备
技术领域
本发明涉及视频传输及视频编解码技术领域,尤其涉及一种视频流智能信息叠加方法及设备、视频流解码方法及设备。
背景技术
随着深度学习在视频领域的应用越来越广泛,对视频摄像机、手机、无人机等视频终端采集的视频流进行智能分析的技术越来越成熟,例如对视频流中的人脸和车辆的识别、人流量分析、火灾分析等视频智能分析场景。
当前的视频智能信息处理方法主要是对视频每一帧进行分析,将分析生成的智能分析信息直接加入至对应的视频帧的原始数据中,然后通过再编码生成编码后的视频帧。此种方式需要视频分析服务器对视频流进行再编码过程,耗费硬件资源较大,限制了视频智能分析的性能。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种视频流智能信息叠加方法及设备、视频流解码方法及设备,旨在解决现有技术中视频智能信息处理方法耗费硬件资源较大,限制了视频智能分析的性能的技术问题。
为实现上述目的,本发明提供了一种视频流智能信息叠加方法,所述方法包括:
获取原始视频流;
对所述原始视频流进行视频智能分析,获得智能分析信息以及视频帧时间戳;
根据所述智能分析信息生成辅助增强帧,并根据所述视频帧时间戳将所述辅助增强帧叠加至所述原始视频流,获得叠加视频流。
可选地,所述对所述原始视频流进行视频智能分析,获得智能分析信息以及视频帧时间戳的步骤,包括:
根据预设条件判断智能信息叠加功能是否开启;
在所述智能信息叠加功能开启时,根据帧提取规则对所述原始视频流进行视频智能分析,获得智能分析信息和视频帧时间戳;
将所述智能分析信息以及所述视频时间戳加入至第一缓存队列。
可选地,所述根据所述智能分析信息生成辅助增强帧,并根据所述视频帧时间戳将所述辅助增强帧叠加至所述原始视频流,获得叠加视频流的步骤,包括:
根据所述帧提取规则从所述原始视频流中获取预设数量的原始视频帧,并将所述原始视频帧加入至第二缓存队列;
根据预设取出规则将所述第一缓存队列中的智能分析信息以及所述智能分析信息对应的视频帧时间戳,以及根据所述预设规则取出所述第二缓存队列中的所述原始视频帧;
获取所述原始视频帧的叠加时间戳,并根据所述叠加时间戳和所述视频帧时间戳判断所述智能分析信息与所述原始视频帧是否匹配;
在所述智能分析信息与所述原始视频帧匹配时,根据所述智能分析信息生成第一辅助增强帧;
将所述第一辅助增强帧叠加至所述原始视频帧前,获得叠加视频流。
可选地,所述根据所述叠加时间戳和所述视频帧时间戳判断所述智能分析信息与所述原始视频帧是否匹配的步骤之后,还包括:
在所述智能分析信息与所述原始视频帧不匹配时,获取前次叠加的智能分析信息对应的历史视频帧时间戳;
判断所述历史视频帧时间戳和所述视频帧时间戳的时间戳差值是否大于预设时间阈值;
在所述历史视频帧时间戳和所述视频帧时间戳的时间戳差值大于预设时间阈值时,清理所述前次叠加的智能分析信息的缓存,并生成第二辅助增强帧;
将所述第二辅助增强帧叠加至所述原始视频帧前,获得叠加视频流。
可选地,所述根据所述智能分析信息生成辅助增强帧的步骤,包括:
获取历史智能分析信息中的历史附加信息识别号以及历史附加信息内容;
获取所述智能分析信息中的附加信息内容;
根据所述历史附加信息内容和所述附加信息内容判断所述智能分析信息是否更新;
在所述智能分析信息未更新时,根据所述附加信息识别号生成辅助增强帧;
在所述智能分析信息更新时,根据更新后的所述智能分析信息生成辅助增强帧。
此外,为实现上述目的,本发明还提出一种视频流智能信息叠加设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流智能信息叠加程序,所述视频流智能信息叠加程序配置为实现如上文所述的视频流智能信息叠加方法的步骤。
为了对根据上述视频流智能信息叠加方法获得的叠加视频流进行解码,本发明还提出一种视频流解码方法,所述方法包括:
获取叠加视频流;
对所述叠加视频流进行解析,获得解析信息以及视频帧;
对所述视频帧进行解码,获得原始视频数据;
将所述解析信息叠加至所述原始视频数据,获得显示视频数据。
可选地,所述对所述叠加视频流进行解析,获得解析信息以及视频帧的步骤,包括:
对所述叠加视频流进行解析,获得辅助增强帧以及视频帧;
对所述辅助增强帧进行解析,获得解析信息;
将所述解析信息加入至解码叠加队列;
相应的,所述将所述解析信息叠加至所述原始视频数据,获得显示视频数据的步骤,包括:
将所述解码叠加队列中的所述解析信息叠加至所述原始视频数据,获得显示视频数据。
可选地,所述对所述辅助增强帧进行解析,获得解析信息的步骤,包括:
对所述辅助增强帧进行解析,获得增强帧信息;
若所述增强帧信息为附加信息标识号,则获取历史智能分析信息;
根据所述附加信息识别号从所述历史智能分析信息中进行查找,获得解析信息;
若所述增强帧信息为智能分析信息,则将所述智能分析信息作为解析信息。
此外,为了对根据上述视频流智能信息叠加方法获得的叠加视频流进行解码,本发明还提出一种视频流解码设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流解码程序,所述视频流智能信息叠加程序配置为实现如上文所述的视频流解码方法的步骤。
本发明通过获取原始视频流;对原始视频流进行视频智能分析,获得智能分析信息以及视频帧时间戳;根据智能分析信息生成辅助增强帧,并根据视频帧时间戳将辅助增强帧叠加至原始视频流,获得叠加视频流。由于是根据原始视频流进行视频智能分析,并将获得的智能分析信息以辅助增强帧的形式叠加至原始视频流中视频帧时间戳对应的位置,从而获得叠加视频流,无需对视频流进行再编码过程,提升了视频智能分析的性能。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视频流智能信息叠加设备的结构示意图;
图2为本发明视频流智能信息叠加方法第一实施例的流程示意图;
图3为本发明视频流智能信息叠加方法第二实施例的流程示意图;
图4为本发明一种实施方式的辅助增强帧示意图;
图5为本发明视频流智能信息叠加方法的一个应用场景流程图一;
图6为本发明视频流智能信息叠加方法的一个应用场景流程图二;
图7是本发明实施例方案涉及的硬件运行环境的视频流解码设备的结构示意图;
图8为本发明视频流解码方法第一实施例的流程示意图;
图9为本发明视频流智能信息叠加设备与视频流解码设备的一种交互方式示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明视频流智能信息叠加方法涉及的硬件运行环境的视频流智能信息叠加设备结构示意图。
如图1所示,该视频流智能信息叠加设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对视频流智能信息叠加设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频流智能信息叠加程序。
在图1所示的视频流智能信息叠加设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明视频流智能信息叠加设备中的处理器1001、存储器1005可以设置在视频流智能信息叠加设备中,所述视频流智能信息叠加设备通过处理器1001调用存储器1005中存储的视频流智能信息叠加程序,并执行本发明实施例提供的视频流智能信息叠加方法。
本发明实施例提供了一种视频流智能信息叠加方法,参照图2,图2为本发明视频流智能信息叠加方法第一实施例的流程示意图。
本实施例中,所述视频流智能信息叠加方法包括以下步骤:
步骤S10:获取原始视频流;
需要说明的是,本实施例方法的执行主体可以是具有视频解码、信息叠加、数据传输以及程序运行功能的终端设备,例如计算机、服务器等,也可以是具有相同或相似功能的电子设备,例如上述视频流智能信息叠加设备。以下以视频流智能信息叠加设备(以下简称叠加设备)为例对本实施例及下述各实施例进行说明。
可以理解的是,原始视频流也即未经处理的视频流,可以是视频摄像机、手机、无人机等视频终端采集的视频流,也可以是其他设备所发送的视频流,本发明实施例对此不加以限制。
在一种实施方式中,在叠加设备中可以包括有视频流智能信息叠加系统,该视频流智能信息叠加系统可以对接收到的原始视频流进行智能信息叠加。
具体地,视频流智能信息叠加系统中可以包括视频接入模块,视频接入模块可以实现通过网络视频协议接入原始视频流,例如通过onvif、GB/T28181、rtsp、rtmp等协议接入视频采集终端的视频流。
在具体实现中,叠加设备通过获取原始视频流,通过对原始视频流进行智能信息叠加,提升了用户的交互体验。
步骤S20:对所述原始视频流进行视频智能分析,获得智能分析信息以及视频帧时间戳。
需要说明的是,对视频流进行智能分析,可以实现视频中信息的识别,例如识别人物信息、车辆信息、景物信息、火灾信息等。为了提升用户交互体验,很多场景需要在视频预览时,可以在视频流中显示智能分析信息,使得突出显示视频中的某部分信息,例如以红色方框的形式框出视频中的人脸,并附加性别、年龄、是否戴口罩等人脸的特征信息。
可以理解的是,通过对视频流进行智能分析,并将获得的智能分析信息叠加至原始视频流中,可以通过视频实现安全监控、交通监管、商业智能、面部识别、情感分析、环境监测、医疗诊断等功能,提高了日常生活、工作的信息管理、安全管理等方面的效率。
应当理解的是,可以通过人工智能技术、算法或者深度学习技术对视频流进行处理、分析并提取其中的智能分析信息,从而实现对应用场景的智能管理。例如,通过对商场监控视频做智能分析,可以突出显示商场中的人物、商品,或者对可疑人物进行标记、追踪等;对交通监控视频做智能分析,可以实现车辆技术、拥堵检测、交通行为分析等,本发明实施例不对视频流智能信息叠加方法的应用场景以及智能分析信息具体包括的数据内容加以限制。
需要说明的是,本申请在对原始视频流进行视频智能分析时,可以对原始视频流进行逐帧分析或抽帧分析,从而获得视频帧对应的智能分析信息。
可以理解的是,视频帧时间戳也即上述视频帧对应的时间戳,对于一个视频帧而言,对其进行分析即可获得该视频帧的视频帧时间戳以及智能分析信息。通过视频帧时间戳,可以确定该视频帧在原始视频流中的序列位置,也即智能分析信息在原始视频流中的序列位置。
在一种实施方式中,视频流智能信息叠加系统中还可以包括有智能分析模块。视频接入模块在接收到原始视频流时,可以将该原始视频流推送到智能分析模块进行视频智能分析。智能分析模块可以对通过视频接入模块接入的原始视频流逐帧或者抽帧进行视频智能分析,得到智能分析信息及视频帧时间戳。
在具体实现中,叠加设备可以对原始视频流逐帧或抽帧进行视频智能分析获得智能分析信息以及视频帧时间戳。
进一步地,为了满足用户的智能视频分析需求,所述对所述原始视频流进行视频智能分析,获得智能分析信息以及视频帧时间戳的步骤,包括:
步骤S21:根据预设条件判断智能信息叠加功能是否开启。
需要说明的是,上述预设条件可以是用户设置的智能信息叠加功能开启条件,在进行视频流智能分析之前,可以先获取用户设定的预设条件,并根据预设条件判断是否需要对接入的视频流进行智能信息叠加。
需要解释的是,在智能信息叠加功能未开启时,可以将智能分析信息弃置。
在具体实现中,叠加设备根据预设条件判断智能信息叠加功能是否开启。
步骤S22:在所述智能信息叠加功能开启时,根据帧提取规则对所述原始视频流进行视频智能分析,获得智能分析信息和视频帧时间戳;
步骤S23:将所述智能分析信息以及所述视频时间戳加入至第一缓存队列。
可以理解的是,上述帧提取规则也即用户预先设定的帧提取规则,具体可以是逐帧提取,也可以是抽帧提取,本发明实施例对此不加以限制。
需要说明的是,上述第一缓存队列可以是智能分析信息缓存队列,通过对智能分析信息缓存队列,可是将其中的信息依次叠加至原始视频流中,从而获得叠加后的视频流。
步骤S30:根据所述智能分析信息生成辅助增强帧,并根据所述视频帧时间戳将所述辅助增强帧叠加至所述原始视频流,获得叠加视频流。
可以理解的是,上述辅助增强帧也即根据智能分析信息所生成的信息帧,通过将辅助增强帧叠加至原始视频流,即可获得叠加后的视频流,也即叠加视频流。
应当理解的是,根据视频帧时间戳,可以确定智能分析信息在原始视频流中的序列位置,也即辅助增强帧在原始视频流中的序列位置,从而将辅助增强帧叠加到该序列位置。
在一种实现方式中,为了提高叠加视频流的质量,所述根据所述智能分析信息生成辅助增强帧,并根据所述视频帧时间戳将所述辅助增强帧叠加至所述原始视频流,获得叠加视频流的步骤,包括:
步骤S31:根据所述帧提取规则从所述原始视频流中获取预设数量的原始视频帧,并将所述原始视频帧加入至第二缓存队列。
可以理解的是,原始视频帧也即从原始视频流中获得的视频帧,通过将辅助增强帧叠加到原始视频流的原始视频帧之前,即可获得叠加视频帧。通过第一缓存队列和第二缓存队列不断生成叠加视频帧,从而形成叠加视频流。
应当理解的是,上述第二缓存队列可以是原始视频帧缓存队列。叠加设备可以将从原始视频流中提取获得的原始视频帧,并将原始视频帧缓存至第二缓存队列中,在缓存至第二缓存队列的原始视频帧数量达到预设数量时,即可开始智能信息叠加。
在一种实施方式中,视频流智能信息叠加系统中还可以包括信息叠加模块。在视频接入模块接收到原始视频流时,可以把接收到的原始视频流推送至智能分析模块进行视频智能分析,同时分发一路视频到信息叠加模块进行智能分析信息叠加。
需要说明的是,为了保证在进行智能信息叠加时智能分析信息已经被缓存至第一缓存队列,本实施例在提取原始视频流时,需要在提取的原始视频帧数量达到预设阈值时才开始智能信息叠加。该预设阈值也即上述预设数量,可以是用户设定的数量值,本发明实施例对此不加以限制。
在具体实现中,叠加设备根据帧提取规则从原始视频流中获取预设数量的原始视频帧,并将原始视频帧加入至原始视频帧缓存队列,实现了在进行智能信息叠加时已经获得智能分析信息,优化了智能信息叠加的程序逻辑。
步骤S32:在根据预设取出规则将所述第一缓存队列中的智能分析信息以及所述智能分析信息对应的视频帧时间戳,以及根据所述预设规则取出所述第二缓存队列中的所述原始视频帧;
步骤S33:获取所述原始视频帧的原始时间戳,并根据所述原始时间戳和所述视频帧时间戳判断所述智能分析信息与所述原始视频帧是否匹配。
需要说明的是,上述预设取出规则也即从第一缓存队列以及第二缓存队列中取出数据的取出规则。在本实施例中,可以是根据存入至第一缓存队列或第二缓存队列的时间顺序进行数据取出。具体地,可以从第二缓存队列中取出最早存入至第二缓存队列中的原始视频帧,并可以将该原始视频帧的原始时间戳设为Tvts。同时,从第一缓存队列中取出最早存入至第一缓存队列中的智能分析信息,并将该智能分析信息对应的视频帧时间戳设为Tits。
可以理解的是,在取出原始视频帧和智能分析信息时,可以根据原始视频帧对应的原始时间戳和智能分析信息对应的视频帧时间戳判断该原始视频帧和该智能分析信息是否匹配。具体地,可以判断原始时间戳和视频帧时间戳对应的时间差值是否小于预设的时间阈值T,也即是否满足条件0<=Tvts-Tits<T。
步骤S34:在所述智能分析信息与所述原始视频帧匹配时,根据所述智能分析信息生成第一辅助增强帧;
步骤S35:将所述第一辅助增强帧叠加至所述原始视频帧前,获得叠加视频流。
需要说明的是,在原始时间戳和视频帧时间戳可以的时间差值小于预设的时间阈值T,也即满足条件0<=Tvts-Tits<T时,即可根据智能分析信息生成辅助增强帧,并将该辅助增强帧叠加至原始视频帧前,从而获得叠加视频帧,该辅助增强帧也即第一辅助增强帧。通过连续不断地根据第一缓存队列和第二缓存队列生成叠加视频帧,即可将原始视频流转换为叠加视频流。
进一步地,所述根据所述原始时间戳和所述视频帧时间戳判断所述智能分析信息与所述原始视频帧是否匹配的步骤之后,还包括:
步骤S34’:在所述智能分析信息与所述原始视频帧不匹配时,获取前次叠加的智能分析信息对应的历史视频帧时间戳;
步骤S35’:判断所述历史视频帧时间戳和所述视频帧时间戳的时间戳差值是否大于预设时间阈值;
步骤S36’:在所述历史视频帧时间戳和所述视频帧时间戳的时间戳差值大于预设时间阈值时,清理所述前次叠加的智能分析信息的缓存,并生成第二辅助增强帧;
步骤S37’:将所述第二辅助增强帧叠加至所述原始视频帧前,获得叠加视频流。
需要说明的是,在不满足上述条件时,此时可以获取最近一次叠加的智能分析信息对应的视频帧时间戳,也即前次叠加的智能分析信息对应的历史视频帧时间戳。通过判断原始时间戳与历史视频帧时间戳的时间差值是否大于预设时间差值,若是,则可以清理最近一次叠加的智能分析信息的缓存,并生成携带清除信息的辅助增强帧,也即第二辅助增强帧。
需要解释的是,该预设时间阈值可以是用户设定的阈值T2,例如三个智能信息叠加周期、四个智能信息叠加周期等,本发明实施例对此不加以限制。
需要说明的是,若原始时间戳与历史视频帧时间戳的时间差值不大于预设时间差值,则该原始视频帧处不叠加智能分析信息。
需要解释的是,在视频流播放客户端中,若接收到叠加视频帧时,若叠加视频帧的辅助增强帧中携带智能分析信息,则对该智能分析信息进行叠加显示;若叠加视频帧的辅助增强帧中携带清除信息的,则可清理掉正在叠加显示的智能分析信息;若叠加视频帧中不包含辅助增强帧,也即该叠加视频帧为原始视频帧时,则继续显示前一帧的智能分析信息。
应当理解的是,上述智能信息叠加周期也即进行智能信息叠加时每个帧的叠加时间。本实施例通过时间阈值判断,如果后续叠加视频帧未识别出智能分析信息,则可以判断是否附加前次叠加的智能分析信息,从而避免了显示智能分析信息闪烁的问题,能够更好地适应于抽帧分析的场景。
应当理解的是,在该原始视频帧处未叠加智能分析信息时,可以继续通过此时的智能分析信息进行后续原始视频帧的判断,直至将该智能分析信息叠加成功,则继续从第一缓存队列中获取后续视频帧的智能分析信息。
在一种实施方式中,信息叠加模块的处理方式可以参照于上述步骤,本实施例对此不再加以赘述。
本实施例通过获取原始视频流;对原始视频流进行视频智能分析,获得智能分析信息以及视频帧时间戳;根据智能分析信息生成辅助增强帧,并根据视频帧时间戳将辅助增强帧叠加至原始视频流,获得叠加视频流。由于是根据原始视频流进行视频智能分析,并将获得的智能分析信息以辅助增强帧的形式叠加至原始视频流中视频帧时间戳对应的位置,从而获得叠加视频流,无需对视频流进行再编码过程,提升了视频智能分析的性能。
基于上述本发明视频流智能信息叠加方法的第一实施例,进一步地降低对硬件资源的消耗,提出本发明视频流智能信息叠加方法的第二实施例。
如图3所示,图3为本发明视频流智能信息叠加方法第二实施例的流程示意图。
参照图3,所述根据所述智能分析信息生成辅助增强帧的步骤,包括:
步骤S310:获取历史智能分析信息中的历史附加信息识别号以及历史附加信息内容;
步骤S320:获取所述智能分析信息中的附加信息内容;
步骤S330:根据所述历史附加信息内容和所述附加信息内容判断所述智能分析信息是否更新;
步骤S340:在所述智能分析信息未更新时,根据所述附加信息识别号生成辅助增强帧;
步骤S350:在所述智能分析信息更新时,根据更新后的所述智能分析信息生成辅助增强帧。
需要说明的是,智能分析信息可以通过辅助增强帧的方式叠加到视频流中,既不影响通用视频播放器解码预览原始视频,也能通过特定播放器解码显示叠加后的视频。
示例性的,附加信息ID也即上述附加信息识别号,可以唯一标识一种智能分析信息的附加信息;附加信息类型包含线、区域、OSD等类型,不同的附加信息类型可以对应于不同的附加信息内容,例如线类型附加信息的附加信息内容可以包括两组坐标信息;区域类型附加信息的附加信息内容可以包括三组坐标信息;OSD类型附加信息的附加信息内容可以包括一组坐标信息。
需要说明的是,在将智能分析信息叠加至原始视频帧之前,可以先与最近一次叠加的智能分析信息相比较,并把其中无变化的附加信息分离出来,只传输附加信息ID,不传输附加信息内容;对于已发生变化的附加信息则进行全部传输。具体地,可以获取历史智能分析信息,并确定历史智能分析信息中对应历史附加信息的内容以及历史附加信息识别号;获取当前智能分析信息,并确定当前智能分析信息中对应当前附加信息的内容;根据当前附加信息和历史附加信息进行判断,从而将当前历史附加信息划分为已更新附加信息以及未更新附加信息;其中,未更新附加信息也即与历史附加信息内容相同的当前附加信息,已更新附加信息也即与历史附加信息内容不同的当前附加信息;对于未更新附加信息,根据将与之对应的历史附加信息识别号生成辅助增强帧;对于已更新附加信息,则根据附加信息生成辅助增强帧。实现了在智能分析信息更新时传输信息,未更新时只传输标识号,降低了需要传输的数据量,减少了硬件资源占用率,提高了传输效率。
需要解释的是,辅助增强帧也即辅助增强信息(Supplemental EnhancementInformation,SEI)帧,它提供了向视频码流中加入额外信息的方法,是H.264/H.265这些视频压缩标准的特性之一。
本实施例中以H264/AVC视频流编码方式为例,介绍下携带智能分析信息的SEI格式,如图4所示,图4为本发明一种实施方式的辅助增强帧示意图。
SEI格式标准参照H264/AVC中相关规范,其中SEI负载类型(SEI payload type)占一个字节,固定为0x05,表征SEI负载遵循user_data_unregistered()语法,即用户自定义类型;SEI负载尺寸(SEI payload size)为其后的负载uuid(SEI payload uuid)尺寸与负载内容(SEI payload content)尺寸之和,SEI payload uuid为当前视频源ID,占16个字节;SEI负载内容即是需要叠加的智能分析信息。需要说明的是,智能分析信息中可以包括智能分析规则和智能分析结果。其中,智能分析规则可以包括检测区域、警戒线、出入线等,智能分析结果包含人脸位置、人脸属性、车辆位置、车辆属性、车牌位置、车牌号、告警信息、时间信息、地点信息、人员流量等。根据智能分析信息的特性,可以将其划分为多条附加信息。可定义附加信息包含如下属性:未更新附加信息个数、已更新附加信息个数、附加信息长度、附加信息ID、附加信息类型、附加信息内容等属性,其中附加信息长度占2个字节或者其他长度。
应当理解的是,已更新附加信息个数也即与历史智能分析信息相比较变化的部分的数量,该部分需要传输完整的附加信息。未更新附加信息个数也即与历史智能分析信息相比较未变化的部分的数量,该部分只传输附加信息识别号。通过此种数据格式,可以减少智能分析信息的传输数据大小,从而减少了网络带宽的占用,提高了网络传输的效率。
当视频帧连续一段时间无智能分析信息时(超过预设的间阈值T2),需要发送一帧携带清除信息的辅助增强帧以清除后续视频帧的智能分析信息叠加。为了发送叠加了智能分析信息的叠加视频流,可以通过流媒体服务器进行转发,SEI需要定时携带全量智能分析信息的数据,此时设置未更新附加信息为0,已更新附件信息为全量附加信息,以便多个视频预览客户端可以正常显示智能分析信息,这里定时叠加全量智能分析信息的时间间隔,可以与视频帧IDR(Instantaneous Decoding Refresh)间隔保持一致,这样当视频预览客户端显示的第一帧画面,就可以看到叠加的完整的智能分析信息。
本实施例通过获取智能分析信息中的附加信息识别号;根据附加信息识别号判断智能分析信息是否更新;在智能分析信息未更新时,根据附加信息识别号生成辅助增强帧;在智能分析信息更新时,根据更新后的智能分析信息生成辅助增强帧。由于是在智能分析信息未更新时只根据附加信息识别号生成辅助增强帧,在智能分析信息更新时,才根据智能分析信息生成辅助增强帧,实现了智能分析信息的局部刷新,大幅度减少了视频帧中叠加智能信息的数据大小,进而减少了传输过程中对网络资源的消耗。
进一步地,为了对本发明进行整体性的描述,提出本发明的一种应用场景。如图5和图6所示,图5为本发明视频流智能信息叠加方法的一个应用场景流程图,图6为本发明视频流智能信息叠加方法的一个应用场景流程图二。
本发明视频流智能信息叠加方法可以应用于视频流智能信息叠加系统,该系统可以包括视频接入模块、信息叠加模块、智能分析模块和视频接出模块。
需要说明的是,视频接入模块可以接收原始视频数据,也即获取视频帧数据,并将该视频帧数据分别分发至信息叠加模块和智能分析模块。
进一步地,信息叠加模块可以提取原始视频数据中的原始视频帧,并在原始视频帧大于预设数量时将原始视频帧加入至第二缓存队列;智能分析模块可以对原始视频帧进行视频帧智能分析,并将分析获得的智能分析信息和视频帧时间戳加入至第一缓存队列。
进一步地,信息叠加模块可以从第二缓存队列中获取最早存入的原始视频帧,设时间戳为Tvts;从第一缓存队列中获取最早存入的智能分析信息,设时间戳为Tits。在满足条件0<=Tvts-Tits<T(预设的时间阈值)时,生成携带智能分析信息的辅助增强帧。
进一步地,在不满足上述条件时,获取历史智能分析信息,并将历史智能分析信息的时间戳设为Tlits。通过历史智能分析信息的时间戳Tlits与原始视频帧Tvts进行比较,当存在第二条件Tvts-Tlits>T2时,生成携带清理信息的辅助增强帧。若不存在第二条件,则直接将原始视频帧作为叠加视频帧。
进一步地,信息叠加模块还可以在原始视频帧前叠加辅助增强帧,从而获得叠加视频帧。
进一步地,视频接出模块可以将获得的叠加视频帧输出,也即输出叠加视频流。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有视频流智能信息叠加程序,所述视频流智能信息叠加程序被处理器执行时实现如上文所述的视频流智能信息叠加方法的步骤。
参照图7,图7为本发明视频流解码方法涉及的硬件运行环境的视频流解码设备结构示意图。
如图7所示,该视频流解码设备可以包括:处理器7001,例如中央处理器(CentralProcessing Unit,CPU),通信总线7002、用户接口7003,网络接口7004,存储器7005。其中,通信总线7002用于实现这些组件之间的连接通信。用户接口7003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口7003还可以包括标准的有线接口、无线接口。网络接口7004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器7005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器7005可选的还可以是独立于前述处理器7001的存储装置。
本领域技术人员可以理解,图7中示出的结构并不构成对视频流解码设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图7所示,作为一种存储介质的存储器7005中可以包括操作系统、网络通信模块、用户接口模块以及视频流解码程序。
在图7所示的视频流解码设备中,网络接口7004主要用于与网络服务器进行数据通信;用户接口7003主要用于与用户进行数据交互;本发明视频流解码设备中的处理器7001、存储器7005可以设置在视频流解码设备中,所述原始视频流解码设备通过处理器7001调用存储器7005中存储的视频流解码程序,并执行本发明实施例提供的视频流解码方法。
参照图8,图8为本发明视频流解码方法第一实施例的流程示意图。
需要说明的是,本发明的视频流解码方法可以用于对通过上述视频流智能信息叠加方法所生成的叠加视频流进行解码,也可以对其他视频流进行解码,本发明实施例对此不加以限制。
具体地,所述视频流解码方法包括:
步骤A10:获取叠加视频流;
步骤A20:对所述叠加视频流进行解析,获得解析信息以及叠加视频帧;
步骤A30:对所述视频帧进行解码,获得原始视频数据;
步骤A40:将所述解析信息叠加至所述原始视频数据,获得显示视频数据。
需要说明的是,该叠加视频流也即通过上述视频流智能信息叠加所生成的视频流,在叠加视频流中可以包括有叠加视频帧。
应当理解的是,通过该叠加视频帧进行解析,即可获得解析信息以及视频帧,该视频帧也即如上文所述的原始视频帧。具体地,通过对叠加视频流进行解析,可以获得辅助增强帧以及视频帧;对辅助增强帧进行解析,即可获得解析信息。
应当理解的是,该解析信息可以包括如上文所述的智能分析信息(智能分析信息由附加信息组成)和/或附加信息识别号。在解析信息为智能分析信息时,可以将该智能分析信息加入至解码叠加队列;在解析信息为附加信息识别号时,可以获取最近一次解析的叠加视频帧获得的智能分析信息,也即历史智能分析信息。通过附加信息标识号从历史分析信息中进行查找,从而获得对应的历史附加信息,并将该历史附加信息作为智能分析信息的额外附加信息。通过对解析信息进行判断,即可确定智能分析信息具体包括哪些内容。
可以理解的是,在确定了智能分析信息具体包括哪些内容时,即可将该智能分析信息加入至解码叠加队列。通过对视频帧进行解析,即可获得待显示的原始视频数据,通过将解码叠加队列中的智能分析信息叠加至原始视频数据,即可获得智能信息叠加后的显示视频数据。
需要说明的是,解析信息为清除信息时,即可清除已缓存智能分析信息,以等待后续视频帧;在叠加视频帧中不包含辅助增强帧时,则直接显示该叠加视频帧和上一叠加视频帧的智能分析信息;在解析信息为附加信息识别号时,查找历史智能分析信息以确定附加信息识别号对应的附加信息内容,并对附加信息内容进行叠加显示;在解析信息为附加信息时,即可根据该附加信息的内容进行叠加显示。
在一种实施方式中,在视频流解码设备中可以包括视频流解码系统,视频流解码系统中可以包括智能解析模块、视频解码模块以及视频显示模块。
智能解析模块可以实现从视频流中解析出辅助增强帧以及视频帧的功能。
视频解码模块可以实现视频帧的解码和智能分析信息叠加的功能,视频解码模块通过调用软解码或者硬解码能力,对接收的视频帧数据进行解码,同时把视频智能分析信息附加信息队列叠加到视频图像的原始数据中,把解码后的视频图像数据推送到显示模块进行显示。
视频显示模块通过调用显示驱动程序,把叠加了视频智能分析信息的视频图像显示到显示器上,可通过HDMI、VGA等方式外接显示器进行显示。
本实施例通过获取叠加视频流;对叠加视频流进行解析,获得解析信息以及视频帧;对视频帧进行解码,获得原始视频数据;将解析信息叠加至原始视频数据,获得显示视频数据。实现了对叠加视频帧的解析与解码。
如图9所示,图9为本发明视频流智能信息叠加设备与视频流解码设备的一种交互方式示意图。
可以理解的是,通过视频采集终端可以获取原始视频流,并原始视频流发送至视频流智能信息叠加设备。该视频采集终端可以包括视频摄像机、手机、无人机或其他视频采集设备。
应当理解的是,视频流智能信息解析设备中可以包括视频流智能信息解析设备系统,视频流智能信息解析系统中可以包括视频接入模块、智能分析模块、信息叠加模块以及视频接出模块,这些模块的具体功能以及用途可以参照本发明上述各实施例,在此不加以赘述。
可以理解的是,视频流智能信息解析设备可以获得叠加视频流,并将叠加视频流发送至视频流解码设备。视频流解码设备中可以包括视频流解码系统,视频流解码系统中可以包括视频申请模块、智能解析模块、视频解码模块以及视频显示模块,这些模块的具体功能以及用途可以参照本发明上述各实施例,在此不加以赘述。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有视频流解码程序,所述视频流解码被处理器执行时实现如上文所述的视频流智能信息叠加方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频流智能信息叠加方法,其特征在于,所述方法包括:
获取原始视频流;
对所述原始视频流进行视频智能分析,获得智能分析信息以及视频帧时间戳;
根据所述智能分析信息生成辅助增强帧,并根据所述视频帧时间戳将所述辅助增强帧叠加至所述原始视频流,获得叠加视频流。
2.如权利要求1所述的视频流智能信息叠加方法,其特征在于,所述对所述原始视频流进行视频智能分析,获得智能分析信息以及视频帧时间戳的步骤,包括:
根据预设条件判断智能信息叠加功能是否开启;
在所述智能信息叠加功能开启时,根据帧提取规则对所述原始视频流进行视频智能分析,获得智能分析信息和视频帧时间戳;
将所述智能分析信息以及所述视频时间戳加入至第一缓存队列。
3.如权利要求2所述的视频流智能信息叠加方法,其特征在于,所述根据所述智能分析信息生成辅助增强帧,并根据所述视频帧时间戳将所述辅助增强帧叠加至所述原始视频流,获得叠加视频流的步骤,包括:
根据所述帧提取规则从所述原始视频流中获取预设数量的原始视频帧,并将所述原始视频帧加入至第二缓存队列;
根据预设取出规则将所述第一缓存队列中的智能分析信息以及所述智能分析信息对应的视频帧时间戳,以及根据所述预设规则取出所述第二缓存队列中的所述原始视频帧;
获取所述原始视频帧的叠加时间戳,并根据所述叠加时间戳和所述视频帧时间戳判断所述智能分析信息与所述原始视频帧是否匹配;
在所述智能分析信息与所述原始视频帧匹配时,根据所述智能分析信息生成第一辅助增强帧;
将所述第一辅助增强帧叠加至所述原始视频帧前,获得叠加视频流。
4.如权利要求3所述的视频流智能信息叠加方法,其特征在于,所述根据所述叠加时间戳和所述视频帧时间戳判断所述智能分析信息与所述原始视频帧是否匹配的步骤之后,还包括:
在所述智能分析信息与所述原始视频帧不匹配时,获取前次叠加的智能分析信息对应的历史视频帧时间戳;
判断所述历史视频帧时间戳和所述视频帧时间戳的时间戳差值是否大于预设时间阈值;
在所述历史视频帧时间戳和所述视频帧时间戳的时间戳差值大于预设时间阈值时,清理所述前次叠加的智能分析信息的缓存,并生成第二辅助增强帧;
将所述第二辅助增强帧叠加至所述原始视频帧前,获得叠加视频流。
5.如权利要求1-4任一项所述的视频流智能信息叠加方法,其特征在于,所述根据所述智能分析信息生成辅助增强帧的步骤,包括:
获取历史智能分析信息中的历史附加信息识别号以及历史附加信息内容;
获取所述智能分析信息中的附加信息内容;
根据所述历史附加信息内容和所述附加信息内容判断所述智能分析信息是否更新;
在所述智能分析信息未更新时,根据所述附加信息识别号生成辅助增强帧;
在所述智能分析信息更新时,根据更新后的所述智能分析信息生成辅助增强帧。
6.一种视频流解码方法,其特征在于,所述方法用于对权利要求1-5任一项所述的视频流智能信息叠加方法所获得的叠加视频流,所述方法包括:
获取叠加视频流;
对所述叠加视频流进行解析,获得解析信息以及视频帧;
对所述视频帧进行解码,获得原始视频数据;
将所述解析信息叠加至所述原始视频数据,获得显示视频数据。
7.如权利要求6所述的视频流解码方法,其特征在于,所述对所述叠加视频流进行解析,获得解析信息以及视频帧的步骤,包括:
对所述叠加视频流进行解析,获得辅助增强帧以及视频帧;
对所述辅助增强帧进行解析,获得解析信息;
将所述解析信息加入至解码叠加队列;
相应的,所述将所述解析信息叠加至所述原始视频数据,获得显示视频数据的步骤,包括:
将所述解码叠加队列中的所述解析信息叠加至所述原始视频数据,获得显示视频数据。
8.如权利要求7所述的视频流解码方法,其特征在于,所述对所述辅助增强帧进行解析,获得解析信息的步骤,包括:
对所述辅助增强帧进行解析,获得增强帧信息;
若所述增强帧信息为附加信息标识号,则获取历史智能分析信息;
根据所述附加信息识别号从所述历史智能分析信息中进行查找,获得解析信息;
若所述增强帧信息为智能分析信息,则将所述智能分析信息作为解析信息。
9.一种视频流智能信息叠加设备,其特征在于,所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流智能信息叠加程序,所述原始视频流智能信息叠加程序配置为实现如权利要求1至5中任一项所述的视频流智能信息叠加方法的步骤。
10.一种视频流解码设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流解码程序,所述原始视频流解码程序配置为实现如权利要求6至8中任一项所述的视频流解码方法的步骤。
CN202311508186.7A 2023-11-13 2023-11-13 视频流智能信息叠加方法及设备、视频流解码方法及设备 Pending CN117692675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311508186.7A CN117692675A (zh) 2023-11-13 2023-11-13 视频流智能信息叠加方法及设备、视频流解码方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311508186.7A CN117692675A (zh) 2023-11-13 2023-11-13 视频流智能信息叠加方法及设备、视频流解码方法及设备

Publications (1)

Publication Number Publication Date
CN117692675A true CN117692675A (zh) 2024-03-12

Family

ID=90134118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311508186.7A Pending CN117692675A (zh) 2023-11-13 2023-11-13 视频流智能信息叠加方法及设备、视频流解码方法及设备

Country Status (1)

Country Link
CN (1) CN117692675A (zh)

Similar Documents

Publication Publication Date Title
CN110351564B (zh) 一种文字清晰的视频压缩传输方法及系统
US20210377542A1 (en) Video encoding and decoding method, device, and system, and storage medium
EP4020370A1 (en) Image processing method and device
CN112954398B (zh) 编码方法、解码方法、装置、存储介质及电子设备
JP4573957B2 (ja) 画像制御装置、画像制御方法及びテレビ受信機
CN113905196B (zh) 视频帧管理方法、视频录像机和计算机可读存储介质
EP4231644A1 (en) Video frame compression method and apparatus, and video frame decompression method and apparatus
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
CN117692675A (zh) 视频流智能信息叠加方法及设备、视频流解码方法及设备
CN114531528B (zh) 用于视频处理的方法和图像处理设备
CN113068059B (zh) 视频直播方法、装置、设备及存储介质
CN114640882B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN115174917A (zh) 一种基于h264的视频显示方法及装置
CN114827620A (zh) 图像处理方法、装置、设备与介质
CN111343475B (zh) 数据处理方法和装置、直播服务器及存储介质
CN113645486A (zh) 视频数据的处理方法、装置、计算机设备和存储介质
CN111832529A (zh) 视频文本转换方法、移动终端和计算机可读存储介质
KR101251879B1 (ko) 멀티미디어 클라우드 시스템에서 화면변화에 따른 광고영상 출력 장치 및 방법
CN113676777B (zh) 数据处理方法及装置
US20240244229A1 (en) Systems and methods for predictive coding
WO2023199696A1 (ja) 映像圧縮方法、映像圧縮装置、及びコンピュータプログラム
WO2024198897A1 (zh) 一种视频传输方法、装置、存储介质和系统
US20240181340A1 (en) Display apparatus, server apparatus and control method thereof
US20240348797A1 (en) Selective frames processing in shot-based encoding pipeline
WO2024010208A1 (ko) Ai 부호화/복호화를 이용하여 영상을 처리하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination