CN113055713B - 视频图像超分方法及装置、存储介质和电子设备 - Google Patents

视频图像超分方法及装置、存储介质和电子设备 Download PDF

Info

Publication number
CN113055713B
CN113055713B CN202110251547.9A CN202110251547A CN113055713B CN 113055713 B CN113055713 B CN 113055713B CN 202110251547 A CN202110251547 A CN 202110251547A CN 113055713 B CN113055713 B CN 113055713B
Authority
CN
China
Prior art keywords
video
target
super
target video
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110251547.9A
Other languages
English (en)
Other versions
CN113055713A (zh
Inventor
王维平
王希玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110251547.9A priority Critical patent/CN113055713B/zh
Publication of CN113055713A publication Critical patent/CN113055713A/zh
Application granted granted Critical
Publication of CN113055713B publication Critical patent/CN113055713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供一种视频图像超分方法、视频图像超分装置、存储介质和电子设备，涉及图像处理技术领域。该视频图像超分方法包括：响应于对目标视频的超分处理请求，获取目标视频所属的目标视频源，其中，不同的视频源对应于不同的视频编码算法；确定与目标视频源相匹配的目标超分模型，其中，目标超分模型的训练数据为根据目标视频源对应的目标视频编码算法进行编码后得到的编码数据确定的；通过目标超分模型对目标视频进行超分处理，得到超分辨率的目标视频。本公开实施例能够提升超分处理后视频帧的分辨率。

Description

视频图像超分方法及装置、存储介质和电子设备
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种视频图像超分方法、视频图像超分装置、计算机可读存储介质和电子设备。
背景技术
视频已经成为经济社会生活中不可或缺的一部分，视频中图像质量的好坏直接关系到观众的观看体验。当前可以通过图像超分技术将低分辨率图像转换成高分辨率图像，从而可以提供给观众较为清晰的图像，提升用户的观看体验。
相关技术中，一般采用机器学习算法来实现图像超分，例如通过设计神经网络架构，对已有的视频数据集进行训练，从而达到提高图像分辨率的效果。从而，当某一视频图像需要进行超分处理时，则将待处理视频图像输入至预训练的超分处理机器学习模型，并根据该模型的输出图像进行渲染后进行播放。
然而，根据相关技术提供的超分方案得到的视频帧的分辨率有待进一步提升。
发明内容
本公开提供一种视频图像超分方法、视频图像超分装置、计算机可读存储介质和电子设备，进而至少在一定程度上提升超分处理后视频帧的分辨率。
根据本公开的一个方面，提供一种视频图像超分方法，包括：响应于对目标视频的超分处理请求，获取上述目标视频所属的目标视频源，其中，不同的视频源对应于不同的视频编码算法；确定与上述目标视频源相匹配的目标超分模型，其中，上述目标超分模型的训练数据为根据上述目标视频源对应的目标视频编码算法进行编码后得到的编码数据确定的；通过上述目标超分模型对上述目标视频进行超分处理，得到超分辨率的目标视频。
根据本公开的一个方面，提供一种图像故障的的检测装置可以包括以下模块：视频源获取模块、超分模型确定模块以及超分处理模块。
其中，上述视频源获取模块，被配置为：响应于对目标视频的超分处理请求，获取上述目标视频所属的目标视频源，其中，不同的视频源对应于不同的视频编码算法；上述超分模型确定模块，被配置为：确定与上述目标视频源相匹配的目标超分模型，其中，上述目标超分模型的训练数据为根据上述目标视频源对应的目标视频编码算法进行编码后得到的编码数据确定的；上述超分处理模块，被配置为：通过上述目标超分模型对上述目标视频进行超分处理，得到超分辨率的目标视频。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述的视频图像超分方法。
根据本公开的一个方面，提供一种电子设备，包括：处理器；以及
存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的视频图像超分方法。
在本公开的一些实施例所提供的视频图像超分方法、装置、计算机可读存储介质和电子设备中，鉴于不同的视频源对应于不同的视频编码算法，因此不同视频源的视频在解码后图像的格式也不同。本技术方案为不同视频源分别匹配各自专属的超分模型，从而属于不同视频源目标视频将通过不同的超分模型进行超分处理，进而可以有效提升超分处理的针对性。具体地，对于待超分处理的目标视频先获取该目标视频所属的目标视频源，然后确定与该视频源相匹配的目标超分模型，以通过该目标超分模型对上述目标视频进行超分处理，得到超分辨率的目标视频。本技术方案针对属于不同视频源的视频采用不同的超分模型进行超分处理，有利于增加对视频进行超分处理的针对性，有利于提升超分处理后视频帧的分辨率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出了可以应用本公开实施例的视频图像超分方法或装置的系统构架图。
图2示意性示出了适于用来实现本公开实施例的电子设备的结构图。
图3示意性示出了本公开实施例中视频图像超分方法的流程图。
图4示意性示出了本公开另一实施例中视频图像超分方法的流程图。
图5示意性示出了本公开再一实施例中视频图像超分方法的流程图。
图6示意性示出了本公开实施例中超分模型的确定方法的流程图。
图7示意性示出了本公开又一实施例中视频图像超分方法的流程图。
图8示意性示出了本公开一实施例中视频图像超分方法的流程图。
图9示意性示出了本公开另一实施例中视频图像超分方法的流程图。
图10示意性示出了本公开示例性实施例中视频图像超分装置的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。
图1示意性示出了可以应用本公开实施例的视频图像超分方法或装置的系统构架图。
如图1所示，该系统构架100可以包括终端101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端101、102、103可以是具有显示屏的各种终端设备。应该理解，图1中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
基于上述系统构架，以下对本技术方案提供的视频图像超分方法的实施例进行详细阐述：
本技术方案提供的视频图像超分方法的使用场景可以是视频中图像的超分处理，具体的，在观看视频或者浏览图像的过程中执行上述视频图像超分方法。示例性的，鉴于基于本技术方案提供的超分方案得到的视频帧的分辨率较高，则本方案可用于图像修复或视频图像修复还原。例如，在终端101的视频类客户端、小程序或网页中播放过程中，对视频中图像进行修复还原。其中，终端101可以是各种类型的能够用于播放视频或图像浏览手机、平板电脑、台式计算机、车载设备、可穿戴设备等等。目标视频中的的图像可以为各种场景中的任意类型的图像，例如人物、动物或者是风景等等。
需要说明的是，本公开实施例所提供的视频图像超分方法可以由终端来执行，还可以由服务器来执行。相应地，视频图像超分装置可设置于终端中，也可以设置于服务器中。
图2示出了适于用来实现本公开示例性实施方式的一种电子设备的示意图。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的视频图像超分方法。
具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。
USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备等。
充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。
电子设备200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。
移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块260可以提供应用在电子设备200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。
电子设备200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像虚化的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头，其他可以为副摄像头，例如长焦摄像头。
内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。
电子设备200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。
扬声器271，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器271收听音乐，或收听免提通话。受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。电子设备200可以设置至少一个麦克风273。耳机接口274用于连接有线耳机。
针对电子设备200包括的传感器，深度传感器用于获取景物的深度信息。压力传感器用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器可以用于确定电子设备200的运动姿态。气压传感器用于测量气压。磁传感器包括霍尔传感器。电子设备200可以利用磁传感器检测翻盖皮套的开合。加速度传感器可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器用于测量距离。接近光传感器可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器用于采集指纹。温度传感器用于检测温度。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏290提供与触摸操作相关的视觉输出。环境光传感器用于感知环境光亮度。骨传导传感器可以获取振动信号。
按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。马达293可以产生振动提示。马达293可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
在基于机器学习实现视频图像超分处理的方案中，训练数据集所包含的图像格式不同，训练得到的视频图像超分模型所适用的范围也就不同。也就是说，视频图像超分模型对数据集具有较大的依赖性。举例来说，对于同样的超分网络架构，训练集的图像内容一致，但是使用第一格式的图像与第二格式的图像分别对该超分网络构架进行训练，最终模型的表现效果也会有差别。具体的，通过第一格式的图像训练后的第一超分网络架构适用于对第一格式的图像进行超分处理，通过第二格式的图像训练后的第二超分网络架构适用于对第二格式的图像进行超分处理。若将第二格式的图像输入至该第一超分网络架构，其输出的图像的超分效果远不及将其输入至第二超分网络架构得到的图像。
需要注意的是，不同的视频源对应于不同的视频编码算法，因而不同视频源的视频在解码后图像的格式也不同。
然而，相关技术中，对待超分处理视频所属的视频源不加以区分，进而不论视频源是否相同均通过通用的超分模型进行超分处理，则不能达到合理地超分效果。示例性的，终端包含多个视频播放应用，较大概率的，不同视频应用对视频会采取不同的视频编码算法。而不同的视频编码算法得到的图像格式不同，从而导致端测超分算法的输入不同。若不考虑超分算法输入的图像格式的不同，仅用通用模型对所有不同来源的视频进行超分，将影响超分性能及效果。
本公开实施例中，首先提供了一种视频图像超分方法。图3中示意性示出了该视频图像超分方法的流程示意图。具体地，参考图3所示实施例中的视频图像超分方法包括：
步骤S310，响应于对目标视频的超分处理请求，获取所述目标视频所属的目标视频源，其中，不同的视频源对应于不同的视频编码算法；
步骤S320，确定与所述目标视频源相匹配的目标超分模型，其中，所述目标超分模型的训练数据为根据所述目标视频源对应的目标视频编码算法进行编码后得到的编码数据确定的；
步骤S330，通过所述目标超分模型对所述目标视频进行超分处理，得到超分辨率的目标视频。
在示例性的实施例中，图4示出对上述目标视频进行超分处理的整体过程。参考图4，对于目标视频41进行解码处理(步骤S410)，解码得到目标视频帧42。然后将目标视频帧42输入至目标超分模型进行超分处理(步骤S420)，得到超分处理后的视频帧43。进一步地，对超分处理后的视频帧43进行渲染，并可以进行进行超分视频的播放(步骤S430)。
由于本技术方案中为不同的视频源对应的视频编码算法不同，以下实施例先介绍服务端与视频播放终端之间视频文件传输与编解码的实施例。
在示例性的实施例中，终端在播放来自互联网(服务端)的视频的过程中，为了便于传输，服务端通过视频编码算法对视频进行编码压缩之后，将压缩后的视频文件传输至终端。进一步地，终端接收到的视频文件进行解码处理，得到可用于播放的视频帧。本技术方案中，对解码处理之后的视频帧进行超分处理，然后播放超分处理之后的视频帧。
示例性的，参考图5，服务端510在步骤S51中，对不同视频源的视频数据采用不同的编码算法进行编码压缩。进一步地，将基于第i(i取值为1,2，…)编码算法进行压缩后的第i编码视频传输至终端520(步骤S52)。进一步地，终端先确定接收到的压缩视频文件对应的视频源，然后根据视频源对应的编码算法，确定对上述压缩视频文件的解码算法，并根据解码算法对压缩视频文件进行解码得到对应的视频帧。
示例性的，上述不同的视频源可以指不同的应用。例如，对于应用A，在服务端采用视频编码算法a进行编码处理得到编码视频m，对于应用B，在服务端采用视频编码算法b进行编码处理得到编码视频n。需要说明的是，视频解码为视频编码的逆过程。也就是说，需采用与视频编码算法a相逆的过程对上述编码视频m进行解码，可以记作采用视频解码算法a’对编码视频m进行解码，得到视频帧集合M。同理，采用与视频编码算法b相逆的过程视频解码算法b’对上述编码视频n进行解码，得到视频帧集合N。
由于不同视频源采用的编码算法不同，因此，在终端中解码得到的视频帧图像格式也不同。如，视频帧集合M中的图像格式与视频帧集合N中的图像格式不同。同时，基于机器学习算法的超分模型对数据集的依赖较大。同前所述，不同数据格式的训练集训练得到不用的超分模型，因此，本技术方案为每一个数据源均创建专属的超分模型。
示例性的，参考图5，在步骤S51’中，对于对应于第i编码算法的第i视频源，确定与该第i视频源相匹配的第i超分模型，其中，i为正整数
在示例性的实施例中，图6中示意性示出了超分模型确定方法的流程示意图。参考图6，该方法包括：步骤S610，获取通过所述第i编码算法进行编码得到的第i编码视频；步骤S620，对所述第i编码视频进行解码处理，得到第i训练集；步骤S630，通过所述第i训练集训练机器学习模型，得到所述与所述第i视频源相匹配的第i超分模型。
同前所述，对于不同数据源对应的视频编码不同，相应的，不同数据源的视频数据在解码后图像的格式也不同。因此，本技术方案中，根据同一视频源对应的编解码方法得到数据集，来训练专属于该数据源的超分模型。训练后的超分模型专用于对该视频源的视频帧进行超分处理，由于超分模型的训练数据集的图像的格式与待处理的视频帧图像的格式相一致，因而能够得到较高的超分效果，有利于提升超分处理后视频帧的分辨率。
在示例性的实施例中，上述超分算法为基于深度学习的网络模型，可以采用基于单帧视频帧的超分算法实现。示例性的，基于来自同一视频源的低分辨率的视频帧进行学习，而不需要额外的样本库，从而训练后的超分模型则适用于超分处理来自该视频源的目标视频。
以下对图3所示视频图像超分方法的各个步骤的具体实施方式进行详细说明：
在步骤S310中，响应于对目标视频的超分处理请求，获取所述目标视频所属的目标视频源，其中，不同的视频源对应于不同的视频编码算法。
在示例性的实施例中，上述超分处理请求可以由用户点击的视频播放端的相关控件来触发。其中，上述“目标视频源”可以至任意一视频源，且属于目标视频源的视频记作目标视频，根据目标视频进行解码得到的视频帧记作目标视频帧。
参考图7，步骤S710和步骤S710’分别提供了获取上述目标视频所属的目标视频源的实施方式。
在步骤S710中，获取播放所述目标视频的应用的标识，得到所述目标视频所属的目标视频源。
终端设备中可安装多个可播放视频的应用Application，本实施例中，通过播放上述目标视频的应用来确定上述目标视频源。具体的，通过同一应用播放的视频属于同一视频源，而通过不同应用播放的视频分别属于不同的视频源。示例性的，可以通过播放上述目标视频的应用的文件名来确定该应用的标识，从而得到上述目标视频所属的视频源。
在步骤S710’中，获取所述目标视频的编码格式，根据所述编码格式确定所述目标视频编码算法，将所述目标视频编码算法对应的视频源确定为所述目标视频所属的目标视频源。
在本实施例中，通过不同的视频编码算法编码得到的压缩数据文件(目标视频)的编码格式不同。因此，可以目标视频的编码格式确定目标编码算法。而视频编码算法与视频源之间存在关联关系，因此，确定上述目标编码算法之后，便可得到上述目标视频所属的目标视频源。
需要说明的是，确定上述目标视频所属的目标视频源的具体实施方式不限于上述两种，在此不作限定。
继续参考图7，作为步骤S320的一种实施方式，在步骤S720中，获取与所述目标视频源相关联的超分模型的标识，根据得到的超分模型的标识确定所述目标超分模型，其中，所述第i超分模型的标识与所述第i视频源相关联。
在示例性的实施例中，在执行图5中步骤S51’确定与第i视频源相匹配的第i超分模型之后，还将第i超分模型的标识与第i视频源相关联。从而，获取与目标视频源相关联的相关联的超分模型的标识(如，超分模型x)，则根据得到的超分模型的标识确定上述目标超分模型。
示例性的，具体可以将超分模型的标识与用于播放视频的应用相关联。例如，超分模型A的标识与应用A的标识相关联，超分模型B的标识与应用B的标识相关联。从而，通过应用A播放上述目标视频，则进一步地获取与应用A相关联的超分模型A，即得到与该目标视频源相匹配的目标超分模型。
具体的，根据图6示出的超分模型训练过程可见，上述目标超分模型的训练数据为根据该目标视频源对应的目标视频编码算法后的编码数据确定的。由于目标超分模型的训练数据与目标视频均是通过相同的编解码算法确定的，因而目标超分模型的训练集图像的格式与目标视频帧的格式相同，从而，通过目标超分模型对上述目标视频进行超分处理，可以有效提升目标视频的分辨率。
进一步地，参考图4，在通过上述目标超分模型对上述目标视频进行超分处理(步骤S420)之前，还需对上述目标视频进行解码处理(步骤S410)。示例性的，参考图7示出的步骤S720’，对所述目标视频帧进行解码，得到待超分处理的目标视频帧。
在示例性的实施例中，参考图5中的步骤S53：根据目标视频源对应的目标编码算法，确定对目标视频的解码算法，并根据解码算法对目标视频解码得到目标视频帧。其中，由于解码过程为对应的编码过程的逆过程，因此在确定上述目标编码算法之后便可以确定对应的解码算法，进而实现对目标视频的解码。由于硬件解码效率高于软件解码，本实施例中，为了提升对目标视频的超分处理效率进而有效减小超分处理后的视频的卡顿，从而可以采用硬件解码的方式实现上述解码操作。
进一步地，在确定目标超分模型以及作为目标超分模型的输入量的目标视频帧之后，执行步骤S330：通过所述目标超分模型对所述目标视频进行超分处理，得到超分辨率的目标视频。
在示例性的实施例中，图7示出的步骤S730-步骤S750可以作为步骤S330的一种具体实施方式。参考图7，
在步骤S730中，将所述目标视频帧输入所述目标超分模型。
由于训练该目标超分模型的数据与上述目标视频帧均是基于相同的视频编解码算法得到的，因此训练集中图像的格式与上述目标视频帧的图像的格式相同。从而，该目标超分模型能够针对该格式的图像进行针对性的超分处理，能够有效提升目标视频帧的分辨率。
在步骤S740中，基于数字信号处理将第一分辨率的目标视频帧重建并增强为第二分辨率的视频帧，其中，所述第二分辨率大于所述第一分辨率。
本实施例为了进一步加强在视频播放终端的超分处理效率，在进行超分算法推理时，将算法部署在DSP(Digital Signal Processing，数据信号处理)以对目标视频帧进行重建并增强。相较于基于CPU(Central Processing Unit，中央处理单元)进行相关视频帧的重建与增强，本实施例具有更高的推力效率。示例性的，还可以通过局部算子优化，以进一步提高超分算法的性能。
在步骤S750中，将所述第二分辨率的视频帧进行渲染，得到待播放的超分辨率的目标视频。示例性的如图5所示的步骤S54，对超分辨率的目标视频帧进行渲染与播放。
鉴于不同的视频源对应于不同的视频编码算法，因此不同视频源的视频在解码后图像的格式也不同。本技术方案根据同一视频源对应的解码数据来为该视频源训练专属的超分模型，从而不同的视频源匹配有不同的超分模型，进而可以有效提升超分处理的针对性。在对视频进行超分处理之前，先确定该视频所属的视频源，进一步地获取该视频源相匹配的超分模型进行超分处理，有利于增加对视频进行超分处理的针对性，进而有利于提升超分处理后视频帧的分辨率。
在又一示例性的实施例中，图8示出了在不同视频播放APP对应不同的视频源的情况下的视频超分方案。
参考图8，在步骤S81中，视频播放APP进行视频播放。
在步骤S82中，识别被播放的视频来源。
其中，步骤S82的具体实施方式如步骤S710对应的具体实施方式。
在步骤S83中，匹配当前APP对应的超分模型。
其中，步骤S83的具体实施方式如步骤S720对应的具体实施方式。
在步骤S84中，调用该超分模型进行超分处理。
其中，步骤S84的具体实施方式如步骤S330对应的具体实施方式。
在步骤S85中，APP播放超分处理后的视频。
用户通过本技术方案提供的方案进行视频观看时，能够体验到终端智能地识别视频播放APP所播放视频的来源，并且根据当前视频播放APP匹配到对应的专属于该应用的超分模型，进而对相关视频进行超分处理。通过超分模型智能匹配的方式，能够有针对性地提高各个不同APP的视频超分效果，有效提升用户观看体验。
在一种示例性实施例中，图9示出了当待超分处理的目标视频为多个的情况下超分处理方法的流程示意图。
参考图9，上述步骤S310的具体实施方式如步骤S910：响应于对P个目标视频的超分处理请求，获取第j目标视频所属的第j视频源，P为正整数，j为不大于P的正整数。上述步骤S320的具体实施方式如步骤S920：确定与所述第j视频源相匹配的第j目标超分模型。上述步骤S330的具体实施方式如步骤S930：通过所述第j目标超分模型对所述第j目标视频进行超分处理。
示例性的，P个目标视频可能分别属于P个不同的视频源，也可能存在多个目标视频属于同一视频源的情况。例如，目标视频1和目标视频2同属于视频源s，则对目标视频1和目标视频2均使用与视频源s相匹配的超分模型进行超分处理。属于不同视频源的目标视频，分别通过与各个视频源相匹配的不同超分模型进行超分处理。
可见，本方案对来自不同视频源的目标视频，均分别匹配对应的超分模型，然后针对性地分别进行超分处理，从而使得来自各个视频源的目标视频均能够得到较好的超分效果，提升用户的观看体验。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
图10示意性示出了本公开的示例性实施方式的视频图像超分装置的方框图。参考图10所示，根据本公开的示例性实施方式的视频图像超分装置1000可以包括以下模块：视频源获取模块1001、超分模型确定模块1002以及超分处理模块1003。
其中，上述视频源获取模块1001，被配置为：响应于对目标视频的超分处理请求，获取上述目标视频所属的目标视频源，其中，不同的视频源对应于不同的视频编码算法；上述超分模型确定模块1002，被配置为：确定与上述目标视频源相匹配的目标超分模型，其中，上述目标超分模型的训练数据为根据上述目标视频源对应的目标视频编码算法进行编码后得到的编码数据确定的；上述超分处理模块1003，被配置为：通过上述目标超分模型对上述目标视频进行超分处理，得到超分辨率的目标视频。
在本公开的一种示例性实施例中，基于上述方案，上述视频图像超分装置1000还包括：超分模型训练模块1004。
其中，上述超分模型训练模块1004被配置为：对于对应于第i编码算法的第i视频源，确定与上述第i视频源相匹配的第i超分模型，其中，i为正整数。
在本公开的一种示例性实施例中，基于上述方案，上述超分模型训练模块1004被具体配置为：获取通过上述第i编码算法进行编码得到的第i编码视频；对上述第i编码视频进行解码处理，得到第i训练集；通过上述第i训练集训练机器学习模型，得到上述与上述第i视频源相匹配的第i超分模型。
在本公开的一种示例性实施例中，基于上述方案，上述视频源获取模块1001，被具体配置为：获取上述目标视频的编码格式；根据上述编码格式确定上述目标视频编码算法，将上述目标视频编码算法对应的视频源确定为上述目标视频所属的目标视频源。
在本公开的一种示例性实施例中，基于上述方案，上述视频源获取模块1001，还被具体配置为：响应于对目标视频的超分处理请求，获取播放上述目标视频的应用的标识，得到上述目标视频所属的目标视频源。
在本公开的一种示例性实施例中，基于上述方案，上述视频源获取模块1001，还被具体配置为：通过播放上述目标视频的应用的文件名确定上述应用的标识。
在本公开的一种示例性实施例中，基于上述方案，上述视频图像超分装置1000还包括：关联模块1005。
其中，上述关联模块1005被配置为：将上述第i超分模型的标识与上述第i视频源相关联。
上述超分模型确定模块1002，被具体配置为：获取与上述目标视频源相关联的超分模型的标识，根据得到的超分模型的标识确定上述目标超分模型。
在本公开的一种示例性实施例中，基于上述方案，上述视频图像超分装置1000还包括：解码模块1006。
其中，上述解码模块1006被配置为：在通过上述目标超分模型对上述目标视频进行超分处理之前，基于硬件对上述目标视频进行解码，得到待超分处理的目标视频帧。
在本公开的一种示例性实施例中，基于上述方案，上述超分处理模块1003，被具体配置为：将上述目标视频帧输入上述目标超分模型；基于数字信号处理将第一分辨率的目标视频帧重建并增强为第二分辨率的视频帧，其中，上述第二分辨率大于上述第一分辨率；将上述第二分辨率的视频帧进行渲染，得到待播放的超分辨率的目标视频。
在本公开的一种示例性实施例中，基于上述方案，上述目标视频为多个，则上述视频源获取模块1001，被具体配置为：响应于对P个目标视频的超分处理请求，获取第j目标视频所属的第j视频源，P为正整数，j为不大于P的正整数；上述超分模型确定模块1002，被具体配置为：确定与上述目标视频源相匹配的目标超分模型，包括：确定与上述第j视频源相匹配的第j目标超分模型；上述超分处理模块1003，被具体配置为：通过上述第j目标超分模型对上述第j目标视频进行超分处理。
需要说明的是，由于本公开实施方式的视频图像超分装置的各个功能模块与上述视频图像超分方法的实施方式中相同，因此在此不再赘述。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种视频图像超分方法，其特征在于，包括：
响应于对目标视频的超分处理请求，获取所述目标视频所属的目标视频源，其中，不同的视频源对应于不同的视频编码算法，属于同一所述视频编码算法的所述视频源具有专属的超分模型；
在多个所述超分模型中确定与所述目标视频源相匹配的目标超分模型，其中，所述目标超分模型的训练数据为根据所述目标视频源对应的目标视频编码算法进行编码后得到的编码数据确定的；
通过所述目标超分模型对所述目标视频进行超分处理，得到超分辨率的目标视频；
其中，所述方法还包括：
对于对应于第i编码算法的第i视频源，确定与所述第i视频源相匹配的第i超分模型，其中，i为正整数。
2.根据权利要求1所述的视频图像超分方法，其特征在于，确定与所述第i视频源相匹配的第i超分模型，包括：
获取通过所述第i编码算法进行编码得到的第i编码视频；
对所述第i编码视频进行解码处理，得到第i训练集；
通过所述第i训练集训练机器学习模型，得到所述与所述第i视频源相匹配的第i超分模型。
3.根据权利要求1或2所述的视频图像超分方法，其特征在于，获取所述目标视频所属的目标视频源，包括：
获取所述目标视频的编码格式；
根据所述编码格式确定所述目标视频编码算法，将所述目标视频编码算法对应的视频源确定为所述目标视频所属的目标视频源。
4.根据权利要求1或2所述的视频图像超分方法，其特征在于，响应于对目标视频的超分处理请求，获取所述目标视频所属的目标视频源，包括：
响应于对目标视频的超分处理请求，获取播放所述目标视频的应用的标识，得到所述目标视频所属的目标视频源。
5.根据权利要求4所述的视频图像超分方法，其特征在于，获取播放所述目标视频的应用的标识，包括：
通过播放所述目标视频的应用的文件名确定所述应用的标识。
6.根据权利要求1或2所述的视频图像超分方法，其特征在于，所述方法还包括：将所述第i超分模型的标识与所述第i视频源相关联；其中，
确定与所述目标视频源相匹配的目标超分模型，包括：
获取与所述目标视频源相关联的超分模型的标识，根据得到的超分模型的标识确定所述目标超分模型。
7.根据权利要求1或2所述的视频图像超分方法，其特征在于，在通过所述目标超分模型对所述目标视频进行超分处理之前，所述方法还包括：
基于硬件对所述目标视频进行解码，得到待超分处理的目标视频帧。
8.根据权利要求7所述的视频图像超分方法，其特征在于，通过所述目标超分模型对所述目标视频进行超分处理，得到超分辨率的目标视频，包括：
将所述目标视频帧输入所述目标超分模型；
基于数字信号处理将第一分辨率的目标视频帧重建并增强为第二分辨率的视频帧，其中，所述第二分辨率大于所述第一分辨率；
将所述第二分辨率的视频帧进行渲染，得到待播放的超分辨率的目标视频。
9.一种视频图像超分装置，其特征在于，包括：
视频源获取模块，被配置为：响应于对目标视频的超分处理请求，获取所述目标视频所属的目标视频源，其中，不同的视频源对应于不同的视频编码算法，属于同一所述视频编码算法的所述视频源具有专属的超分模型；
超分模型确定模块，被配置为：在多个所述超分模型中确定与所述目标视频源相匹配的目标超分模型，其中，所述目标超分模型的训练数据为根据所述目标视频源对应的目标视频编码算法进行编码后得到的编码数据确定的；
超分处理模块，被配置为：通过所述目标超分模型对所述目标视频进行超分处理，得到超分辨率的目标视频；
其中，所述视频图像超分装置还包括：
超分模型训练模块，被配置为：对于对应于第i编码算法的第i视频源，确定与上述第i视频源相匹配的第i超分模型，其中，i为正整数。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任意一项所述的视频图像超分方法。
11.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任意一项所述的视频图像超分方法。
CN202110251547.9A 2021-03-08 2021-03-08 视频图像超分方法及装置、存储介质和电子设备 Active CN113055713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110251547.9A CN113055713B (zh) 2021-03-08 2021-03-08 视频图像超分方法及装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110251547.9A CN113055713B (zh) 2021-03-08 2021-03-08 视频图像超分方法及装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN113055713A CN113055713A (zh) 2021-06-29
CN113055713B true CN113055713B (zh) 2023-06-06

Family

ID=76510297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110251547.9A Active CN113055713B (zh) 2021-03-08 2021-03-08 视频图像超分方法及装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN113055713B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958469A (zh) * 2019-12-13 2020-04-03 联想(北京)有限公司 视频处理方法、装置、电子设备及存储介质
CN111405296A (zh) * 2020-03-11 2020-07-10 北京邮电大学 视频数据传输方法、视频数据处理方法、装置及电子设备
CN111429357A (zh) * 2020-03-31 2020-07-17 广州市百果园信息技术有限公司 训练数据确定方法、视频处理方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958469A (zh) * 2019-12-13 2020-04-03 联想(北京)有限公司 视频处理方法、装置、电子设备及存储介质
CN111405296A (zh) * 2020-03-11 2020-07-10 北京邮电大学 视频数据传输方法、视频数据处理方法、装置及电子设备
CN111429357A (zh) * 2020-03-31 2020-07-17 广州市百果园信息技术有限公司 训练数据确定方法、视频处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113055713A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN111935486B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN111641828B (zh) 视频处理方法及装置、存储介质和电子设备
CN108391127B (zh) 视频编码方法、装置、存储介质及设备
CN111178546B (zh) 机器学习模型的搜索方法及相关装置、设备
CN111445392B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN111212412B (zh) 近场通信方法及装置、计算机可读存储介质和电子设备
CN111741303B (zh) 深度视频处理方法、装置、存储介质与电子设备
CN112584049A (zh) 远程交互方法及装置、电子设备、存储介质
EP3889899A1 (en) Method for motion estimation, non-transitory computer-readable storage medium, and electronic device
CN112954251B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN111324196B (zh) 内存运行频率调整方法及装置、存储介质和电子设备
CN111694605A (zh) 语音信息处理方法及装置、存储介质和电子设备
CN111161176A (zh) 图像处理方法及装置、存储介质和电子设备
CN111815666A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN109168032B (zh) 视频数据的处理方法、终端、服务器及存储介质
US20230091607A1 (en) Psychoacoustics-based audio encoding method and apparatus
CN113313776A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN111274043B (zh) 近场通信方法及装置、系统、存储介质和电子设备
CN111432218A (zh) 视频编码与解码方法、装置、终端及存储介质
CN113055713B (zh) 视频图像超分方法及装置、存储介质和电子设备
CN112599144A (zh) 音频数据处理方法、音频数据处理装置、介质与电子设备
CN111478914B (zh) 时间戳处理方法、装置、终端及存储介质
CN113923528B (zh) 屏幕共享方法、终端和存储介质
CN112804613A (zh) 骨传导通信装置
CN113707162A (zh) 语音信号处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant