CN117857816A - 视频传输方法、装置、电子设备及存储介质 - Google Patents

视频传输方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117857816A
CN117857816A CN202211210196.8A CN202211210196A CN117857816A CN 117857816 A CN117857816 A CN 117857816A CN 202211210196 A CN202211210196 A CN 202211210196A CN 117857816 A CN117857816 A CN 117857816A
Authority
CN
China
Prior art keywords
sequence
background
foreground
frame extraction
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211210196.8A
Other languages
English (en)
Inventor
王慧芬
张园
杨明川
史敏锐
薛俊达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202211210196.8A priority Critical patent/CN117857816A/zh
Priority to PCT/CN2023/120770 priority patent/WO2024067405A1/zh
Publication of CN117857816A publication Critical patent/CN117857816A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种视频传输方法、装置、电子设备及存储介质，涉及机器视觉数据通信技术领域。该方法包括：对视频进行背景分离处理，生成前景序列和背景序列，对前景序列、背景序列分别进行抽帧及编码处理，生成视频编码信息，将视频编码信息进行封装生成封装数据，并传输至解码端进行解析及解码处理，生成抽帧信息、前景解码图片序列及背景解码图片序列，根据抽帧信息，对前景解码图片序列及背景解码图片序列进行处理。本公开实施例将视频中包含相同信息量的固定区域采用更低的码流进行编码传输，提高视频传输效率。

Description

视频传输方法、装置、电子设备及存储介质
技术领域
本公开涉及机器视觉数据通信技术领域，尤其涉及一种视频传输方法、装置、电子设备及存储介质。
背景技术
随着高清超高清视频需求的日益增加，人们对视频编码技术也提出了更高的要求。
高清超高清视频通常采用高码流进行编码传输，导致视频传输效率低，且浪费资源。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种视频传输方法、装置、电子设备及存储介质，至少在一定程度上克服相关技术中视频传输效率低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种视频传输方法，应用于编码端，包括：
对视频进行背景分离处理，生成前景序列和背景序列；
对所述前景序列、所述背景序列分别进行抽帧及编码处理，生成视频编码信息，所述视频编码信息包括：前景码流、背景码流、抽帧信息码流；
将所述视频编码信息进行封装生成封装数据，并传输至解码端进行解码处理生成视频。
在本公开的一个实施例中，所述对所述前景序列、所述背景序列分别进行抽帧及编码处理，生成视频编码信息包括：
通过第一抽帧策略对所述前景序列进行抽帧处理，生成前景抽帧序列及对应的抽帧信息；
当所述背景序列不是唯一帧时，通过所述第一抽帧策略或第二抽帧策略对所述背景序列进行抽帧处理，生成背景抽帧序列及对应的抽帧信息。
在本公开的一个实施例中，所述对所述前景序列、所述背景序列分别进行抽帧及编码处理，生成视频编码信息包括：
通过第一编码策略对所述前景抽帧序列进行编码处理，生成所述前景码流；
当所述背景序列不是唯一帧时，通过所述第一编码策略或第二编码策略对所述背景抽帧序列进行编码处理，生成所述背景码流；
当所述背景序列为唯一帧时，通过图像编码策略对所述背景序列进行图像编码，生成所述背景码流；
将所述抽帧信息编码生成所述抽帧信息码流。
在本公开的一个实施例中，所述抽帧信息包括：抽帧序列类型、抽帧比例、抽帧序列帧数、抽帧序列长度。
根据本公开的另一个方面，还提供一种视频传输方法，应用于解码端，包括：
获取解码端发送的封装数据进行解析，生成前景码流、背景码流及抽帧信息码流；
将所述前景码流进行解码处理，生成前景解码图片序列；
将所述背景码流进行解码处理，生成背景解码图片序列；
将所述抽帧信息码流进行解码处理，生成抽帧信息；
根据所述抽帧信息，对所述前景解码图片序列及所述背景解码图片序列进行处理，生成视频。
在本公开的一个实施例中，所述根据所述抽帧信息，对所述前景解码图片序列及所述背景解码图片序列进行处理，生成视频包括：
根据所述抽帧信息，确定目标解码图片序列，其中，所述目标解码图片序列为需要补帧的所述前景解码图片序列及所述背景解码图片序列；
对所述目标解码图片序列进行补帧处理，生成前景序列及背景序列；
将所述背景序列及所述前景序列进行合并，生成视频。
在本公开的一个实施例中，所述根据所述抽帧信息，对所述前景解码图片序列及所述背景解码图片序列进行处理，生成视频包括：
将所述前景解码图片序列及所述背景解码图片序列进行合并，生成合并解码图片序列；
根据所述抽帧信息，对所述合并解码图片序列进行补帧处理，生成视频。
根据本公开的另一个方面，还提供一种视频传输装置，包括：
背景分离处理模块，对视频进行背景分离处理，生成前景序列和背景序列；
抽帧模块，对所述前景序列、所述背景序列进行抽帧处理；
编码模块，对抽帧处理的所述前景序列、所述背景序列进行编码处理，生成视频编码信息；
码流封装模块，将所述视频编码信息进行封装生成封装数据，并传输至解码端。
根据本公开的另一个方面，还提供一种视频传输装置，包括：
码流解析模块，获取解码端发送的封装数据进行解析，生成前景码流、背景码流及抽帧信息码流；
解码模块，将所述前景码流进行解码处理，生成前景解码图片序列；将所述背景码流进行解码处理，生成背景解码图片序列；将所述抽帧信息码流进行解码处理，生成抽帧信息；
补帧模块，根据所述抽帧信息，对所述前景解码图片序列、所述背景解码图片序列或合并解码图片序列进行补帧处理，生成前景序列、背景序列或视频；
背景合并处理模块，将所述背景序列及所述前景序列进行合并，生成视频。
根据本公开的另一个方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述视频传输方法。
根据本公开的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的视频传输方法。
本公开的实施例所提供的视频传输方法、装置、电子设备及存储介质，对视频进行背景分离处理，生成前景序列和背景序列，对前景序列、背景序列分别进行抽帧及编码处理，生成视频编码信息，将视频编码信息进行封装生成封装数据，并传输至解码端进行解析及解码处理，生成抽帧信息、前景解码图片序列及背景解码图片序列，根据抽帧信息，对前景解码图片序列及背景解码图片序列进行处理，将视频中包含相同信息量的固定区域采用更低的码流进行编码传输，提高视频传输效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种视频传输方法流程图；
图2示出本公开实施例中一种视频编码信息生成方法流程图；
图3示出本公开实施例中又一种视频传输方法流程图；
图4示出本公开实施例中一种视频补帧及合并方法流程图；
图5示出本公开实施例中一种视频合并及补帧方法流程图；
图6示出本公开实施例中一种视频传输装置示意图；
图7示出本公开实施例中又一种视频传输装置示意图；
图8示出本公开实施例中一种视频传输系统示意图；和
图9示出本公开实施例中一种电子设备的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图及实施例对本示例实施方式进行详细说明。
首先，本公开实施例中提供了一种视频传输方法，该方法可以由任意具备计算处理能力的电子设备执行。
图1示出本公开实施例中一种视频传输方法流程图，如图1所示，本公开实施例中提供的视频传输方法，应用于编码端，包括如下步骤：
S102，对视频进行背景分离处理，生成前景序列和背景序列。
需要说明的是，背景序列是视频中的背景的序列，前景序列是视频中背景之外的序列。
需要说明的是，背景序列可为唯一帧，例如，背景为图像时只有唯一一个帧，背景为视频时，为帧序列。
S104，对前景序列、背景序列分别进行抽帧及编码处理，生成视频编码信息。
在一个实施例中，视频编码信息包括但不限于：前景码流、背景码流、抽帧信息码流。
在一个实施例中，可用同一种抽帧策略对前景序列、背景序列进行抽帧处理。
在一个实施例中，通过不同的抽帧策略对前景序列、背景序列进行抽帧处理。
需要说明的是，对前景序列、背景序列进行抽帧处理的顺序不作限制。
在一个实施例中，抽帧策略可为根据不同抽帧比例进行抽帧的策略。
S106，将视频编码信息进行封装生成封装数据，并传输至解码端进行解码处理生成视频。
在一个实施例中，将背景码流、前景码流及抽帧信息码流进行封装生成封装数据，并传输至解码端。
在一个实施例中，将背景码流及与背景码流对应的抽帧信息码流、将前景码流及与前景码流对应的抽帧信息码流分别进行封装生成封装数据，并传输至解码端。
上述实施例中，视频前景背景各自采用不同抽帧补帧策略，提高视觉性能，视频前景背景分离技术与抽帧补帧预测技术相结合，针对镜头不变的人眼视觉或机器视觉任务场景进行编码，降低数据量，提高压缩率，减少编解码时间。
图2示出本公开实施例中一种视频编码信息生成方法流程图，如图2所示，本公开实施例中提供的视频编码信息生成方法，应用于编码端，包括如下步骤：
S202，通过第一抽帧策略对前景序列进行抽帧处理，生成前景抽帧序列及对应的抽帧信息。
在一个实施例中，抽帧信息包括但不限于：抽帧序列类型、抽帧比例、抽帧序列帧数、抽帧序列长度、抽帧序列序号等。
需要说明的是，抽帧序列类型包括但不限于：此序列是背景抽帧序列还是背景抽帧序列，是否经过抽帧处理等。
需要说明的是，抽帧比例是对序列抽帧处理时抽帧的比例数据。
需要说明的是，抽帧序列长度是指进行抽帧处理的序列的总长度。
需要说明的是，抽帧序列帧数是指进行抽帧处理的序列的帧数。
需要说明的是，抽帧序列序号是指进行抽帧处理的帧的编号。
S204，当背景序列不是唯一帧时，通过第一抽帧策略或第二抽帧策略对背景序列进行抽帧处理，生成背景抽帧序列及对应的抽帧信息。
需要说明的是，当背景序列是唯一帧时，不进行抽帧处理。
需要说明的是，第一抽帧策略、第二抽帧策略采用不同的抽帧比例。
S206，通过第一编码策略对前景抽帧序列进行编码处理，生成前景码流。
S208，当背景序列不是唯一帧时，通过第一编码策略或第二编码策略对背景抽帧序列进行编码处理，生成背景码流。
需要说明的是，第一编码策略、第二编码策略为不同编码器的编码策略，或者同一编码器通过不同编码参数实现的不同编码策略。
S210，当背景序列为唯一帧时，通过图像编码策略对背景序列进行图像编码，生成背景码流。
S212，将抽帧信息编码生成抽帧信息码流。
需要说明的是，背景码流、抽帧信息码流、前景码流的编码顺序不作限制。
上述实施例中，智能监控、视频会议、视频直播、智慧工业等镜头固定的场景往往存在固定不变的区域，镜头不固定的视频在视频切分后背景也可能相对固定，通过视频前景背景分离技术与抽帧补帧预测技术将相同信息量的固定区域用更低的码流进行编码传输，提高压缩率，减少编解码时间，提高视觉性能。
图3示出本公开实施例中又一种视频传输方法流程图，如图3所示，本公开实施例中提供的视频传输方法，应用于解码端，包括如下步骤：
S302，获取解码端发送的封装数据进行解析，生成前景码流、背景码流及抽帧信息码流。
在一个实施例中，解析方法与编码端封装方法相对应。
S304，将前景码流进行解码处理，生成前景解码图片序列；
S306，将背景码流进行解码处理，生成背景解码图片序列；
S308，将抽帧信息码流进行解码处理，生成抽帧信息。
在一个实施例中，获取解码端发送的封装数据进行解析，生成视频码流，将视频码流进行解码处理，生成解码图片序列，根据对应的抽帧信息中的抽帧序列类型，确定该解码图片序列为前景解码图片序列或背景解码图片序列。
在一个实施例中，通过与编码端的编码策略相对应的解码策略进行解码。例如，通过第一编码策略对前景抽帧序列进行编码处理，生成前景码流，将前景码流通过与第一编码策略对应的第一解码策略进行解码生成前景解码图片序列。
需要说明的是，背景码流、抽帧信息码流、前景码流的解析顺序不作限制。
S310，根据抽帧信息，对前景解码图片序列及背景解码图片序列进行处理，生成视频。
需要说明的是，对前景解码图片序列及背景解码图片序列的解码顺序、补帧顺序不作限制。
上述实施例中，视频前景背景各自采用不同抽帧补帧策略，提高视觉性能，视频前景背景分离技术与抽帧补帧预测技术相结合，针对镜头不变的人眼视觉或机器视觉任务场景进行编码，降低数据量，提高压缩率，解码端减少解码时间，提高视频传输的效率。
图4示出本公开实施例中一种视频补帧及合并方法流程图，如图4所示，本公开实施例中提供的视频补帧及合并方法，应用于解码端，包括如下步骤：
S402，根据抽帧信息，确定目标解码图片序列，其中，目标解码图片序列为需要补帧的前景解码图片序列及背景解码图片序列。
在一个实施例中，获取解码图片序列，根据抽帧信息中的抽帧序列类型，确定解码图片序列为前景解码图片序列或背景解码图片序列，及确定是否需要补帧等。
例如，根据抽帧序列类型X，确定解码图片序列为需要补帧的前景解码图片序列，根据抽帧序列类型Y，确定解码图片序列为不需要补帧的背景解码图片序列，根据抽帧序列类型Z，确定解码图片序列为不需要补帧的前景解码图片序列。
S404，对目标解码图片序列进行补帧处理，生成前景序列及背景序列。
在一个实施例中，根据与编码端的抽帧策略相对应的补帧策略对目标解码图片序列进行补帧处理，生成前景序列及背景序列。例如，通过第一抽帧策略对前景序列进行抽帧处理，生成前景抽帧序列及对应的抽帧信息，根据抽帧序列类型X，确定解码图片序列为需要补帧的前景解码图片序列，根据与第一抽帧策略相对应的第一补帧策略对目标解码图片序列进行补帧处理，生成前景序列。
S406，将背景序列及前景序列进行合并，生成视频。
在一个实施例中，合并方法与编码端背景分离方法相对应。
上述实施例中，智能监控、视频会议、视频直播、智慧工业等镜头固定的场景往往存在固定不变的区域，镜头不固定的视频在视频切分后背景也可能相对固定，通过视频前景背景分离技术与补帧预测技术将相同信息量的固定区域用更低的码流进行编码传输，提高压缩率，减少解码端的解码时间，再经过补帧及合并处理还原视频，提高视觉性能及视频传输效率。
图5示出本公开实施例中一种视频合并及补帧方法流程图，如图5所示，本公开实施例中提供的视频合并及补帧方法，应用于解码端，包括如下步骤：
S502，将前景解码图片序列及背景解码图片序列进行合并，生成合并解码图片序列。
S504，根据抽帧信息，对合并解码图片序列进行补帧处理，生成视频。
在一个实施例中，根据抽帧信息中的抽帧比例、抽帧序列帧数、抽帧序列长度等数据对合并解码图片序列进行补帧处理。
上述实施例中，智能监控、视频会议、视频直播、智慧工业等镜头固定的场景往往存在固定不变的区域，镜头不固定的视频在视频切分后背景也可能相对固定，通过视频前景背景分离技术与补帧预测技术将相同信息量的固定区域用更低的码流进行编码传输，提高压缩率，减少解码端的解码时间，再经过补帧及合并处理还原视频，提高视觉性能及视频传输效率。
基于同一发明构思，本公开实施例中还提供了一种视频传输装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图6示出本公开实施例中一种视频传输装置示意图，如图6所示，该视频传输装置6包括：背景分离处理模块601、抽帧模块602、编码模块603及码流封装模块604；
背景分离处理模块601，对视频进行背景分离处理，生成前景序列和背景序列；
抽帧模块602，对前景序列、背景序列进行抽帧处理；
编码模块603，对抽帧处理的前景序列、背景序列进行编码处理，生成视频编码信息；
码流封装模块604，将视频编码信息进行封装生成封装数据，并传输至解码端。
上述实施例中，视频前景背景各自采用不同抽帧补帧策略，提高视觉性能，视频前景背景分离技术与抽帧补帧预测技术相结合，针对镜头不变的人眼视觉或机器视觉任务场景进行编码，降低数据量，提高压缩率，减少编解码时间。
图7示出本公开实施例中又一种视频传输装置示意图，如图7所示，该视频传输装置7包括：码流解析模块701、解码模块702、补帧模块703及背景合并处理模块704；
码流解析模块701，获取解码端发送的封装数据进行解析，生成前景码流、背景码流及抽帧信息码流；
解码模块702，将前景码流进行解码处理，生成前景解码图片序列；将背景码流进行解码处理，生成背景解码图片序列；将抽帧信息码流进行解码处理，生成抽帧信息；
补帧模块703，根据抽帧信息，对前景解码图片序列、背景解码图片序列或合并解码图片序列进行补帧处理，生成前景序列、背景序列或视频；
背景合并处理模块704，将背景序列及前景序列进行合并，生成视频。
上述实施例中，视频前景背景各自采用不同抽帧补帧策略，提高视觉性能，视频前景背景分离技术与抽帧补帧预测技术相结合，针对镜头不变的人眼视觉或机器视觉任务场景进行编码，降低数据量，提高压缩率，解码端减少解码时间，提高视频传输的效率。
基于同一发明构思，本公开实施例中还提供了一种视频传输系统，如下面的实施例。由于该系统实施例解决问题的原理与上述方法实施例相似，因此该系统实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图8示出本公开实施例中一种视频传输系统示意图，如图8所示，该视频传输系统8包括：背景分离处理模块801、抽帧模块802、编码模块803及码流封装模块804、码流解析模块805、解码模块806、补帧模块807及背景合并处理模块808；
背景分离模块801：可采用基于H266、AV1等标准编码技术，也可采用非标准背景分离技术；分离的背景可为唯一帧，也可为帧序列；
抽帧模块802：对分离的前景序列采用给定的抽帧策略A进行抽帧；当分离的背景为帧序列时，对分离的背景序列采用给定的抽帧策略B进行抽帧。
需要说明的是，抽帧策略A和抽帧策略B可为不同，抽帧策略A或抽帧策略B各自可能采用一个或多个抽帧比例。
编码模块803：抽帧后的前景序列根据编码策略S可进行视频/图像编码；分离的背景为唯一帧时，背景帧采用图像编码，分离的背景为帧序列时，抽帧后的背景序列根据编码策略E可进行视频/图像编码。
需要说明的是，编码策略S和编码策略E可为不同编码器或相同编码器不同编码参数。
码流封装模块804：对抽帧参数、编码数据按照前景背景进行封装。
需要说明的是，抽帧参数包括但不限于：抽帧序列类型，抽帧比例，抽帧序列帧数等。
码流解析模块805，与编码端码流封装模块804相对应。
解码模块806，与编码模块803相对应。
补帧模块807，与抽帧模块802相对应。
背景合并模块808，与背景分离模块801相对应。
需要说明的是，通过码流解析模块805、解码模块806、补帧模块807及背景合并处理模块808对解码端发送的数据进行对应的解析、解码、补帧、及合并处理，解析、解码、补帧、合并等方法与编码端的处理方法相对应。
上述实施例中，视频前景背景各自采用不同抽帧补帧策略，提高视觉性能，视频前景背景分离技术与抽帧补帧预测技术相结合，针对镜头不变的人眼视觉或机器视觉任务场景进行编码，降低数据量，提高压缩率，减少编解码时间，提高视频传输的效率。
系统架构可以包括终端设备，网络和服务器。服务器应用视频传输方法对视频进行处理，终端设备显示视频数据。
网络用以在终端设备和服务器之间提供通信链路的介质，可以是有线网络，也可以是无线网络。
可选地，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。
在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
终端设备可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、增强现实设备、虚拟现实设备等。
可选地，不同的终端设备中安装的应用程序的客户端是相同的，或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端等。
服务器可以是提供各种服务的服务器，例如对用户利用终端设备所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
可选地，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本领域技术人员可以知晓，终端设备、网络和服务器的数量仅仅是示意性的，根据实际需要，可以具有任意数目的终端设备、网络和服务器。本公开实施例对此不作限定。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本公开的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
例如，所述处理单元910可以执行上述方法实施例的如下步骤：对视频进行背景分离处理，生成前景序列和背景序列；对前景序列、背景序列分别进行抽帧及编码处理，生成视频编码信息；将视频编码信息进行封装生成封装数据，并传输至解码端进行解码处理生成视频。
例如，所述处理单元910可以执行上述方法实施例的如下步骤：通过第一抽帧策略对前景序列进行抽帧处理，生成前景抽帧序列及对应的抽帧信息；当背景序列不是唯一帧时，通过第一抽帧策略或第二抽帧策略对背景序列进行抽帧处理，生成背景抽帧序列及对应的抽帧信息；通过第一编码策略对前景抽帧序列进行编码处理，生成前景码流；当背景序列不是唯一帧时，通过第一编码策略或第二编码策略对背景抽帧序列进行编码处理，生成背景码流；当背景序列为唯一帧时，通过图像编码策略对背景序列进行图像编码，生成背景码流；将抽帧信息编码生成抽帧信息码流。
例如，所述处理单元910可以执行上述方法实施例的如下步骤：根据抽帧信息，确定目标解码图片序列，其中，目标解码图片序列为需要补帧的前景解码图片序列及背景解码图片序列；对目标解码图片序列进行补帧处理，生成前景序列及背景序列；将背景序列及前景序列进行合并，生成视频。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备940(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。
并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。其上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
例如，本公开实施例中的程序产品被处理器执行时实现如下步骤的方法：获取解码端发送的封装数据进行解析，生成前景码流、背景码流及抽帧信息码流；将前景码流进行解码处理，生成前景解码图片序列；将背景码流进行解码处理，生成背景解码图片序列；将抽帧信息码流进行解码处理，生成抽帧信息；根据抽帧信息，对前景解码图片序列及背景解码图片序列进行处理，生成视频。
例如，本公开实施例中的程序产品被处理器执行时实现如下步骤的方法：根据抽帧信息，确定目标解码图片序列，其中，目标解码图片序列为需要补帧的前景解码图片序列及背景解码图片序列；对目标解码图片序列进行补帧处理，生成前景序列及背景序列；将背景序列及前景序列进行合并，生成视频。
例如，本公开实施例中的程序产品被处理器执行时实现如下步骤的方法：将前景解码图片序列及背景解码图片序列进行合并，生成合并解码图片序列；根据抽帧信息，对合并解码图片序列进行补帧处理，生成视频。
例如，本公开实施例中的程序产品被处理器执行时实现如下步骤的方法：通过第一抽帧策略对前景序列进行抽帧处理，生成前景抽帧序列及对应的抽帧信息；当背景序列不是唯一帧时，通过第一抽帧策略或第二抽帧策略对背景序列进行抽帧处理，生成背景抽帧序列及对应的抽帧信息；通过第一编码策略对前景抽帧序列进行编码处理，生成前景码流；当背景序列不是唯一帧时，通过第一编码策略或第二编码策略对背景抽帧序列进行编码处理，生成背景码流；当背景序列为唯一帧时，通过图像编码策略对背景序列进行图像编码，生成背景码流；将抽帧信息编码生成抽帧信息码流。
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可选地，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种视频传输方法，其特征在于，应用于编码端，包括：
对视频进行背景分离处理，生成前景序列和背景序列；
对所述前景序列、所述背景序列分别进行抽帧及编码处理，生成视频编码信息，所述视频编码信息包括：前景码流、背景码流、抽帧信息码流；
将所述视频编码信息进行封装生成封装数据，并传输至解码端进行解码处理生成视频。
2.根据权利要求1所述的视频传输方法，其特征在于，所述对所述前景序列、所述背景序列分别进行抽帧及编码处理，生成视频编码信息包括：
通过第一抽帧策略对所述前景序列进行抽帧处理，生成前景抽帧序列及对应的抽帧信息；
当所述背景序列不是唯一帧时，通过所述第一抽帧策略或第二抽帧策略对所述背景序列进行抽帧处理，生成背景抽帧序列及对应的抽帧信息。
3.根据权利要求2所述的视频传输方法，其特征在于，所述对所述前景序列、所述背景序列分别进行抽帧及编码处理，生成视频编码信息包括：
通过第一编码策略对所述前景抽帧序列进行编码处理，生成所述前景码流；
当所述背景序列不是唯一帧时，通过所述第一编码策略或第二编码策略对所述背景抽帧序列进行编码处理，生成所述背景码流；
当所述背景序列为唯一帧时，通过图像编码策略对所述背景序列进行图像编码，生成所述背景码流；
将所述抽帧信息编码生成所述抽帧信息码流。
4.根据权利要求2所述的视频传输方法，其特征在于，所述抽帧信息包括：抽帧序列类型、抽帧比例、抽帧序列帧数、抽帧序列长度。
5.一种视频传输方法，其特征在于，应用于解码端，包括：
获取解码端发送的封装数据进行解析，生成前景码流、背景码流及抽帧信息码流；
将所述前景码流进行解码处理，生成前景解码图片序列；
将所述背景码流进行解码处理，生成背景解码图片序列；
将所述抽帧信息码流进行解码处理，生成抽帧信息；
根据所述抽帧信息，对所述前景解码图片序列及所述背景解码图片序列进行处理，生成视频。
6.根据权利要求5所述的视频传输方法，其特征在于，所述根据所述抽帧信息，对所述前景解码图片序列及所述背景解码图片序列进行处理，生成视频包括：
根据所述抽帧信息，确定目标解码图片序列，其中，所述目标解码图片序列为需要补帧的所述前景解码图片序列及所述背景解码图片序列；
对所述目标解码图片序列进行补帧处理，生成前景序列及背景序列；
将所述背景序列及所述前景序列进行合并，生成视频。
7.根据权利要求5所述的视频传输方法，其特征在于，所述根据所述抽帧信息，对所述前景解码图片序列及所述背景解码图片序列进行处理，生成视频包括：
将所述前景解码图片序列及所述背景解码图片序列进行合并，生成合并解码图片序列；
根据所述抽帧信息，对所述合并解码图片序列进行补帧处理，生成视频。
8.一种视频传输装置，其特征在于，包括：
背景分离处理模块，对视频进行背景分离处理，生成前景序列和背景序列；
抽帧模块，对所述前景序列、所述背景序列进行抽帧处理；
编码模块，对抽帧处理的所述前景序列、所述背景序列进行编码处理，生成视频编码信息；
码流封装模块，将所述视频编码信息进行封装生成封装数据，并传输至解码端。
9.一种视频传输装置，其特征在于，包括：
码流解析模块，获取解码端发送的封装数据进行解析，生成前景码流、背景码流及抽帧信息码流；
解码模块，将所述前景码流进行解码处理，生成前景解码图片序列；将所述背景码流进行解码处理，生成背景解码图片序列；将所述抽帧信息码流进行解码处理，生成抽帧信息；
补帧模块，根据所述抽帧信息，对所述前景解码图片序列、所述背景解码图片序列或合并解码图片序列进行补帧处理，生成前景序列、背景序列或视频；
背景合并处理模块，将所述背景序列及所述前景序列进行合并，生成视频。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述视频传输方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的视频传输方法。
CN202211210196.8A 2022-09-30 2022-09-30 视频传输方法、装置、电子设备及存储介质 Pending CN117857816A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211210196.8A CN117857816A (zh) 2022-09-30 2022-09-30 视频传输方法、装置、电子设备及存储介质
PCT/CN2023/120770 WO2024067405A1 (zh) 2022-09-30 2023-09-22 视频传输方法、装置、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211210196.8A CN117857816A (zh) 2022-09-30 2022-09-30 视频传输方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117857816A true CN117857816A (zh) 2024-04-09

Family

ID=90476129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211210196.8A Pending CN117857816A (zh) 2022-09-30 2022-09-30 视频传输方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN117857816A (zh)
WO (1) WO2024067405A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742289B (zh) * 2008-11-14 2013-10-16 北京中星微电子有限公司 视频码流压缩方法、系统及装置
CN102006475B (zh) * 2010-11-18 2012-12-19 无锡中星微电子有限公司 一种视频编解码装置和方法
CN106210612A (zh) * 2015-04-30 2016-12-07 杭州海康威视数字技术股份有限公司 视频编码方法、解码方法及其装置
CN109120936A (zh) * 2018-09-27 2019-01-01 贺禄元 一种视频图像的解码方法和装置
CN113630609B (zh) * 2020-05-06 2024-03-12 Tcl科技集团股份有限公司 一种视频编码方法、解码方法、存储介质以及终端设备
CN115037936A (zh) * 2021-03-04 2022-09-09 华为技术有限公司 视频编解码方法及装置
US20220301181A1 (en) * 2021-03-18 2022-09-22 Electronics And Telecommunications Research Institute Apparatus and method for compressing image for machine vision

Also Published As

Publication number Publication date
WO2024067405A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
CN108337545B (zh) 用于同步再现视频和音频的媒体重放设备和媒体服务设备
JP2009506456A (ja) 任意のフォーマットにおけるラージオブジェクトの通信のためのリモートプロトコルサポート
CN108337246B (zh) 防止重放延迟的媒体重放设备和媒体服务设备
CN114124929B (zh) 跨网络的数据处理方法和装置
CN113727184B (zh) 视频播放方法、装置、系统、存储介质以及电子设备
CN115550687A (zh) 三维模型场景交互方法、系统、设备、装置及存储介质
CN108337248B (zh) 媒体重放设备和媒体服务设备
CN110891195B (zh) 花屏图像的生成方法、装置、设备和存储介质
CN117857816A (zh) 视频传输方法、装置、电子设备及存储介质
CN114978485B (zh) 语音数据传输方法、系统、电子设备及存储介质
CN115022725A (zh) 一种视频播放方法和装置
CN115766628A (zh) 报文组合方法、装置、设备及存储介质
WO2022068276A1 (zh) 桌面云系统以及相关方法、装置、设备、介质
CN113784143A (zh) 视频转码方法、装置、电子设备和计算机可读介质
CN113825016A (zh) 视频渲染方法、装置、设备、存储介质及计算机程序产品
EP4042690A1 (en) Av1 codec for real-time video communication
CN106851134B (zh) 传输图像数据的方法、装置及系统
CN113660063B (zh) 空间音频数据处理方法、装置、存储介质及电子设备
CN113938705A (zh) 用于视频编解码的方法、装置、服务器、终端设备及系统
CN113067997A (zh) 一种实时视频通话的方法和装置
CN113625965B (zh) 分布式存储系统的数据存储方法、系统、装置及存储介质
CN112839243B (zh) 码流中转方法、装置、电子设备及存储介质
CN117119216B (zh) 一种直播解说的方法、系统以及直播系统的使用方法
WO2024001604A1 (zh) 视觉图像数据处理方法、装置及相关设备
CN115695850B (zh) 视频数据处理方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination