CN112839184B - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112839184B CN112839184B CN202011632519.3A CN202011632519A CN112839184B CN 112839184 B CN112839184 B CN 112839184B CN 202011632519 A CN202011632519 A CN 202011632519A CN 112839184 B CN112839184 B CN 112839184B
- Authority
- CN
- China
- Prior art keywords
- image sequence
- video image
- server
- video
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 162
- 230000008569 process Effects 0.000 claims description 100
- 230000003993 interaction Effects 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000003780 insertion Methods 0.000 description 16
- 230000037431 insertion Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例提供一种图像处理方法、装置、电子设备及存储介质,涉及图像处理技术领域。该方法应用于服务器,包括:获取所述服务器的系统负载状态;根据所述系统负载状态,确定与所述系统负载状态对应的视频生成策略;根据所述视频生成策略,生成目标视频图像序列。该方法可以根据系统的负载情况生成不同的视频图像序列。在系统的负载较多时,可以说明此时服务器的系统比较繁忙,能够被调配的空间较小,此时可以生成数据量较小的图像视频序列,从而能够减轻系统的负担,提高视频的生成效率;在系统的负载较少时,可以说明此时服务器的系统比较空闲,能够被调配的空调较大,此时可以生成数量较大的图像视频序列,从而提高视频的图像质量。
Description
技术领域
本申请实施例涉及一种图像处理技术领域,更具体地,涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前,在数字人技术领域,数字人可以与用户进行实时交互。在数字人与用户实时交互过程中,需要实时合成数字人形象。但是实时合成数字人形象,会产生较大的数据量,特别是数字人与用户进行长时间交互时,实时合成数字人形象会占用非常多的系统内存,不仅增加了系统负担,数字人形象生成的效率也较低,成本也较高。
发明内容
本申请实施例提出了一种图像处理方法、装置、电子设备及存储介质,以解决上述问题。
第一方面,本申请实施例提供一种图像处理方法,该方法应用于服务器,该方法包括:获取服务器的系统负载状态;根据系统负载状态,确定与系统负载状态对应的视频生成策略;根据视频生成策略,生成目标视频图像序列。
可选地,根据系统负载状态,确定与系统负载状态对应的视频生成策略,包括:当系统负载状态满足第一预设状态时,确定与第一预设状态对应的第一视频生成策略;根据视频生成策略,生成目标视频图像序列,包括:根据第一视频生成策略,生成待处理的视频图像序列;将待处理的视频图像序列发送至终端设备,以使终端设备对视频图像序列进行处理,得到目标视频图像序列。
可选地,根据第一视频生成策略,生成待处理的视频图像序列,包括:根据第一视频生成策略,生成待处理的关键帧视频图像序列;将待处理的视频图像序列发送至终端设备,以使终端设备对视频图像序列进行处理,得到目标视频图像序列,包括:将关键帧视频图像序列发送至终端设备,以使终端设备对关键帧视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,根据第一视频生成策略,生成待处理的视频图像序列,包括:根据第一视频生成策略,生成待处理的低分辨率视频图像序列;将待处理的视频图像序列发送至终端设备,以使终端设备对视频图像序列进行处理,得到目标视频图像序列,包括:将低分辨率视频图像序列发送至终端设备,以使终端设备对低分辨率视频图像序列进行拉伸,得到拉伸后的目标视频图像序列
可选地,根据系统负载状态,确定与系统负载状态对应的视频生成策略,包括:当系统负载状态满足第二预设状态时,确定与第二预设状态对应的第二视频生成策略,其中,第二预设状态优于第一预设状态;根据视频生成策略,生成目标视频图像序列,包括:根据第二视频生成策略,生成默认视频图像序列作为目标视频图像序列,默认视频图像序列为服务器根据用户输入的交互信息确定的默认答复图像序列。
可选地,获取服务器的系统负载状态,包括:获取当前的服务器的用户数量;当用户数量小于预设用户数量阈值时,确定系统负载状态为第二预设状态;当用户数量不小于预设用户数量阈值时,确定系统负载状态为第一预设状态。
可选地,所述获取服务器的系统负载状态,包括:获取服务器当前正在处理的进程数量;当进程数量小于预设进程数量阈值时,确定系统负载状态为第二预设状态;当进程数量不小于预设进程数量阈值时,确定系统负载状态为第一预设状态。第二方面,本申请实施例提供一种图像处理方法,该方法应用于终端设备,该方法包括:接收服务器发送的待处理的视频图像序列;对视频图像序列进行处理,得到处理后的目标视频图像序列。
可选地,对视频图像序列进行处理,得到处理后的目标视频图像序列,包括:对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,对视频图像序列进行插帧,得到插帧后的目标视频图像序列,包括:根据终端设备的计算资源确定插帧的目标帧数;基于目标帧数对所述视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,对视频图像序列进行插帧,得到插帧后的目标视频图像序列,包括:获取画质选择信息,所述画质选择信息用于表征用户选择的视频播放画质;基于画质选择信息确定插帧的目标帧数;基于目标帧数对视频图像序列进行插帧,得到插帧后的目标视频图像序列。第三方面,本申请实施例提供一种图像处理装置,该装置应用于服务器,该装置包括:状态获取模块,用于获取服务器的系统负载状态;策略确定模块,用于根据系统负载状态,确定与系统负载状态对应的视频生成策略;序列生成模块,用于根据视频生成策略,生成目标视频图像序列。
可选地,策略确定模块1120包括第一策略确定子模块,序列生成模块1130包括第一序列生成子模块以及发送子模块,其中:第一策略确定子模块,用于当系统负载状态满足第一预设状态时,确定与第一预设状态对应的第一视频生成策略;第一序列生成子模块,用于根据第一视频生成策略,生成待处理的视频图像序列;发送子模块,用于将待处理的视频图像序列发送至终端设备,以使终端设备对视频图像序列进行处理,得到目标视频图像序列。
可选地,第一序列生成子模块包括第一序列生成单元,发送子模块包括第一发送单元,其中:第一序列生成单元,用于根据第一视频生成策略,生成待处理的关键帧视频图像序列;第一发送单元,用于将关键帧视频图像序列发送至终端设备,以使终端设备对关键帧视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,第一序列生成子模块还包括第二序列生成单元,发送子模块还可以包括第二发送单元,其中:第二序列生成单元,用于根据第一视频生成策略,生成待处理的低分辨率视频图像序列;第二发送单元,用于将低分辨率视频图像序列发送至终端设备,以使终端设备对低分辨率视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,策略确定模块还包括第二策略确定子模块,序列生成模块包括第二序列生成子模块,其中:第二策略确定子模块,用于当系统负载状态满足第二预设状态时,确定与第二预设状态对应的第二视频生成策略,其中,第二预设状态优于第一预设状态;第二序列生成子模块,用于根据第二视频生成策略,生成默认视频图像作为目标视频图像,默认视频图像为服务器根据用户输入的交互信息确定的默认答复图像。
可选地,状态获取模块包括:第一获取子模块,用于获取当前的服务器的用户数量;第一状态确定子模块,用于当用户数量小于预设用户数量阈值时,确定系统负载状态为第二预设状态;第二状态确定子模块,用于当用户数量不小于所述预设用户数量阈值时,确定系统负载状态为第一预设状态。
可选地,状态获取模块包括:第二获取子模块,用于获取服务器当前正在处理的进程数量;第三状态确定子模块,用于当进程数量小于预设进程数量阈值时,确定系统负载状态为第二预设状态;第四状态确定子模块,用于当进程数量不小于预设进程数量阈值时,确定系统负载状态为第一预设状态。
第四方面,本申请实施例提供一种图像处理装置,该装置应用于终端设备,该装置包括:序列接收模块,用于服务器发送的待处理的视频图像序列;序列处理模块,用于对视频图像序列进行处理,得到处理后的目标视频图像序列。
可选地,序列处理模块包括:插帧子模块,用于对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,插帧子模块包括:第一帧数确定单元,用于根据终端设备的计算资源确定插帧的目标帧数;第一插帧单元,用于基于目标帧数对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,插帧子模块还包括:信息获取单元,用于获取画质选择信息,画质选择信息用于表征用户选择的视频播放画质。第二帧数确定单元,用于基于画质选择信息确定插帧的目标帧数。第二插帧单元,用于基于目标帧数对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
第六方面,本申请实施例提供一种电子设备,该电子设备包括一个或多个处理器;存储器;一个或多个应用程序,其中,一个或多个应用程序被存储在存储器中被配置为由一个或多个处理器执行,一个或多个应用程序配置用于执行本申请实施例提供的方法。
第七方面,本申请实施例提供一种计算机可读取存储介质,该尺寸除介质中存储有程序代码,该程序代码可被处理器调用执行本申请实施例提供的方法。
本申请实施例提供一种图像处理方法、装置、电子设备及存储介质。该方法应用于服务器,通过获取服务器的系统负载状态;根据系统负载状态,确定与系统负载状态对应的视频生成策略;根据视频生成策略,生成目标视频图像序列。从而可以根据系统的负载情况选择不同的视频生成策略,生成不同的视频图像序列。在系统的负载较多时,可以说明此时服务器的系统比较繁忙,能够被调配的空间较小,此时可以生成数据量较小的图像视频序列,从而能够减轻系统的负担,提高视频的生成效率;在系统的负载较少时,可以说明此时服务器的系统比较空闲,能够被调配的空调较大,此时可以生成数量较大的图像视频序列,从而提高视频的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。需要说明的是,以下描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的一种图像处理方法的应用环境示意图;
图2示出了本申请一实施例提供的一种图像处理方法的流程示意图;
图3示出了本申请另一实施例提供的一种图像处理方法的流程示意图;
图4示出了本申请又一实施例提供的一种图像处理方法的流程示意图;
图5示出了本申请再一实施例提供的一种图像处理方法的流程示意图;
图6示出了本申请又另一实施例提供的一种图像处理方法的流程示意图;
图7示出了本申请又再一实施例提供的一种图像处理方法的流程示意图;
图8示出了本申请又还一实施例提供的一种图像处理方法的流程示意图;
图9示出了本申请还一实施例提供的一种图像处理方法的流程示意图;
图10示出了本申请还另一实施例提供的一种图像处理方法的流程示意图;
图11示出了本申请一实施例提供的一种图像处理方法中步骤S920的流程示意图;
图12示出了本申请另一实施例提供的一种图像处理方法中步骤S920的流程示意图;
图13示出了本申请还又一实施例提供的一种图像处理方法的流程示意图;
图14示出了本申请一示例性实施例提供的一种图像处理方法的实施过程示例图;
图15示出了本申请一实施例提供的一种图像处理装置的结构框图;
图16示出了本申请另一实施例提供的一种图像处理装置的结构框图;
图17示出了本申请一实施例提供的一种电子设备的结构框图;
图18示出了本申请一实施例提供的一种计算机可读取存储介质的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序和先后次序。
请参阅图1,图1示出了本申请实施例提供的一种图像处理方法的应用环境示意图。该图像处理系统100可以包括服务器110以及终端设备120。服务器110与终端设备120电性连接。服务器110可以是云服务器,也可以是传统服务器。终端设备120可以包括但不限于智能机器人、平板电脑、智能手机等,本申请实施例对终端设备120的具体类型不作限制。服务器110与终端设备120可以通过无线保真(Wireless-Fidelity,WI-FI)以及蜂窝等技术进行通信并进行数据交互。
请参阅图2,图2示出了本申请一实施例提供的一种图像处理方法的流程示意图。该方法应用于服务器110。该方法具体可以包括如下步骤:
步骤S110:获取服务器的系统负载状态。
在本实施例中,系统负载状态可以包括系统繁忙、系统空闲等状态。服务器110的系统越繁忙,服务器110可以调配的计算资源越少;服务器110的系统越空闲,服务器110可以调配的计算资源越多。系统负载状态可以是根据服务器110的当前负载数量、当前处理的进程数等确定。
在一些实施方式中,服务器110可以计算当前连接的负载的数量,然后根据当前负载数量确定服务器110的系统负载状态。具体地,当前负载数量大于负载数量阈值时,可以确定服务器110系统繁忙;当前负载数量不大于负载数量阈值时,可以确定服务器110系统空闲。
在另一些实施方式中,服务器110可以计算当前正在运行的进程的数量,然后可以根据当前正在运行的进程的数量确定系统负载状态。具体地,当前正在运行的进程的数量大于进程数量阈值时,可以确定服务器110系统繁忙;当前正在运行的进程的数量不大于进程数量阈值时,可以确定服务器110系统空闲。
需要说明的是,以上描述中提到的负载数量阈值以及进程数量阈值都可以预先根据实际需求设置在服务器110中,其中,负载数量阈值可以是一个数值,也可以是服务器110当前连接的负载数量与服务器110可以连接的最大负载数量的比值。进程数量阈值可以是一个数值,也可以是服务器110当前正在运行的进程数量与服务器110可以同时运行的最大进程数量的比值。本申请实施例对负载数量阈值以及进程数量阈值的具体内容不作限定。比如,负载数量阈值可以是100,也可以是70%(70%可以是负载数量与服务器110可以连接的最大负载数量的比值)。比如,进程数量阈值可以是80,也可以是75%(75%可以是服务器110当前正在运行的进程数量与服务器110可以同时运行的最大进程数量的比值)。
步骤S120:根据系统负载状态,确定与系统负载状态对应的视频生成策略。
其中,视频生成策略可以用于指导服务器110生成视频图像或者视频图像序列。视频生成策略可以包括服务器110预计生成的视频图像的帧数、视频图像的质量等内容。
在一些实施方式中,承接上述对步骤S110的描述,当系统繁忙时,可以说明服务器110当前连接的负载数量(或者当前正在运行的进程数量)较多,服务器110可被调配的计算资源较少,此时服务器110可以确定第一视频生成策略:生成部分帧视频图像序列。其中,部分帧视频图像序列可以是关键帧视频图像序列(关键帧可以指角色或物体运动或变化中的关键动作所处的那一帧)、低分辨率视频图像序列(分辨率可以指图像中存储的信息量,即每英寸图像内有多少个像素点,一般分辨率越高,图像的清晰度越好,图像的质量越好)等。
在另一些实施方式中,承接上述对步骤S110的描述,当系统空闲时,可以说明服务器110当前连接的负载数量(或者当前正在运行的进程数量)较少,服务器110可被调配的计算资源较多,此时服务器110可以确定第二视频生成策略:生成完整的视频图像序列。其中完整的视频图像序列可以是服务器110根据用户输入的交互信息生成的默认视频图像序列。其中,用户输入的交互信息可以包括一段语音,一段文字等内容,还可以包括用户点击终端设备120的按键时,终端设备120生成的内容等,本申请对用户输入交互信息的形式以及交互信息的内容不做具体限制。其中,默认视频图像序列可以是不需要终端设备120处理,可以由终端设备120直接输出的视频图像序列。
步骤S130:根据视频生成策略,生成目标视频图像序列。
其中,目标视频图像序列可以包括服务器110生成的部分帧视频图像序列,(也可以称为待处理的视频图像序列)、完整的视频图像序列(即服务器110根据用户输入的交互信息生成的默认视频图像序列)。
在一些实施方式中,承接上述对步骤S120的描述,当视频生成策略为第一视频生成策略,当部分帧视频图像序列为关键帧视频图像序列时,服务器110可以根据用户输入的交互信息,调用第一数字人模型生成关键帧视频图像序列。进一步,服务器110可以将关键帧视频图像序列发送至终端设备120,以使终端设备120可以基于关键帧视频图像序列生成目标视频图像序列。其中,第一数字人模型可以由服务器110预先训练得到,第一数字人模型训练完成之后,服务器110向第一数字人模型输入用户输入的交互信息,则可以得到关键帧视频图像序列。
在另一些实施方式中,承接上述对步骤S120的描述,当视频生成策略为第一视频生成策略,当部分帧视频图像序列为低分辨率视频图像序列时,服务器110可以根据用户输入的交互信息,调用第二数字人模型生成低分辨率视频图像序列。进一步,服务器110可以将低分辨率视频图像序列发送至终端设备120,以使终端设备120可以基于低分辨率帧视频图像序列生成目标视频图像序列。其中,第二数字人模型可以由服务器110预先训练得到,第二数字人模型训练完成之后,服务器110向第二数字人模型输入用户输入的交互信息,则可以得到低分辨率视频图像序列。
在又一些实施方式中,承接上述对步骤S120的描述,当视频生成策略为第二视频生成策略时,服务器110可以根据用户输入的交互信息调用默认数字人模型生成默认视频图像序列。进一步,服务器110可以将默认视频图像序列作为目标视频图像序列。其中,默认数字人模型可以由服务器110预先训练得到,默认数字人模型训练完成之后,服务器110向默认数字人模型输入用户输入的交互信息,则可以得到默认视频图像序列。
本申请实施例提供的图像处理方法,通过获取服务器的系统负载状态;根据系统负载状态,确定与系统负载状态对应的视频生成策略;根据视频生成策略,生成目标视频图像序列。该方法可以根据系统的负载情况选择不同的视频生成策略,生成不同的视频图像序列。在系统的负载较多时,可以说明此时服务器的系统比较繁忙,能够被调配的空间较小,此时可以生成数据量较小的图像视频序列,从而能够减轻系统的负担,提高视频的生成效率;在系统的负载较少时,可以说明此时服务器的系统比较空闲,能够被调配的空调较大,此时可以生成数量较大的图像视频序列,从而提高视频的图像质量。
请参阅图3,图3示出了本申请另一实施例提供的一种图像处理方法的流程示意图。该方法应用于服务器110。该方法具体可以包括如下步骤:
步骤S210:获取服务器的系统负载状态。
其中,步骤S210的具体描述请参阅步骤S110,在此不再赘述。
步骤S220:当系统负载状态满足第一预设状态时,确定与第一预设状态对应的第一视频生成策略。
其中,第一预设状态可以根据实际需求进行设置,在本实施例中,当服务器110的系统繁忙时,可以确定服务器110的系统负载状态满足第一预设状态。
其中,第一视频生成策略可以根据实际需求进行设置。第一生成策略可以用于指导服务器110生成与第一视频生成策略对应的待处理的视频图像序列。第一视频生成策略可以包括服务器110预计生成的视频图像的帧数、视频图像的质量等内容。
在一些实施方式中,当系统负载状态满足第一预设状态时,服务器110可以确定第一预设状态对应的第一视频生成策略。比如,第一视频生成策略可以为:生成部分帧视频图像序列。其中,部分帧视频图像序列可以是关键帧视频图像序列、低分辨率视频图像序列、奇数帧视频图像序列以及偶数帧视频图像序列等至少一种,本申请对部分帧视频图像序列的具体内容不作限定。
步骤S230:根据第一视频生成策略,生成待处理的视频图像序列。
其中,待处理的视频图像序列可以是部分帧视频图像序列,需要终端设备120进行处理才能生成完整的视频图像序列。待处理的视频图像序列可以是关键帧视频图像序列或低分辨率视频图像序列等。
在一些实施方式中,服务器110可以根据第一视频生成策略,选择第一视频生成策略对应的数字人模型作为目标数字人模型。服务器110可以将用户输入的交互信息输入至目标数字人模型中,可以得到待处理的视频图像序列。其中,第一视频生成策略对应的数字人模型可以由服务器110预先训练得到,该数字人模型训练完成之后,服务器110向该数字人模型中输入用户输入的交互信息,则可以得到待处理的视频图像序列。
在另一些实施方式中,服务器110可以根据第一视频生成策略,选择第一视频生成策略对应的视频生成算法。服务器110可以根据用户输入的交互信息调用视频生成算法生成待处理的视频图像序列。其中,第一视频生成策略对应的视频生成算法可以预先写入服务器110中,该视频生成算法可以根据用户输入的交互信息生成待处理的视频图像序列。
步骤S240:将待处理的视频图像序列发送至终端设备,以使终端设备对视频图像序列进行处理,得到目标视频图像序列。
在本实施例中,可以将上述生成的待处理的视频图像序列发送至终端设备,以使终端设备对视频图像序列进行处理,得到目标视频图像序列。其中,目标视频图像序列可以是完整的视频图像序列,可以直接通过终端设备120输出至终端设备120的显示器或者其他与终端设备120连接的设备的显示器,以便用户可以观看目标视频。
在一些实施方式中,服务器110可以对待处理的视频图像序列根据视频编码标准(比如高效视频编码(High Efficiency Video Coding,HEVC)标准)或者图像编码标准进行压缩,然后将压缩后的视频图像序列发送至终端设备120。
本申请实施例提供的图像处理方法,通过获取服务器的系统负载状态;当系统负载状态满足第一预设状态时,确定与第一预设状态对应的第一视频生成策略;根据第一视频生成策略,生成待处理的视频图像序列;将待处理的视频图像序列发送至终端设备,以使终端设备对视频图像序列进行处理,得到目标视频图像序列。由于第一预设状态对应的系统负载状态较差,可以说明此时系统负载较多,该方法可以只生成部分帧视频图像,而不生成完整的视频图像。而部分帧视频图像的数据量相对于完整的视频图像序列数据量较少,因此,生成部分帧视频图像需要耗费的时间较少,占用的内存较小,从而可以提高生成效率,减轻系统负担。另外,由于部分帧视频图像的数据量相对于完整的视频图像序列的数据量较少,因此可以传输部分视频图像相对于传输完整的视频图像序列需要的网络带宽较小,可以节省传输网络带宽。此外,本方法生成部分帧视频图像相对于生成完整的视频图像序列开销较小,可以节省用户费用。
请参阅图4,图4示出了本申请又一实施例提供的一种图像处理方法的流程示意图。该方法应用于服务器110。该方法具体可以包括如下步骤:
步骤S310:获取服务器的系统负载状态。
其中,步骤S310的具体描述请参阅步骤S110,在此不再赘述。
步骤S320:当系统负载状态满足第一预设状态时,确定与第一预设状态对应的第一视频生成策略。
其中,步骤S320的具体描述请参阅步骤S220,在此不再赘述。
步骤S330:根据第一视频生成策略,生成待处理的关键帧视频图像序列。
其中,关键帧视频图像序列可以是只包括关键帧视频图像的视频图像序列。其中,关键帧可以是指角色或物体运动或变化中的关键动作所处的那一帧。
在一些实施方式中,服务器110可以根据用户输入的交互信息,调用第一数字人模型生成关键帧视频图像序列。其中,第一数字人模型可以由服务器110预先训练得到,第一数字人模型训练完成之后,服务器110向第一数字人模型输入用户输入的交互信息,则可以得到关键帧视频图像序列。
更具体地,作为一种示例,服务器110可以将用户输入的交互信息输入至第一数字人模型,第一数字人模型可以根据用户输入的交互信息生成第一帧关键帧视频图像、第二帧关键帧视频图像,以此类推,倒数第二帧关键帧视频图像、最后一帧关键帧视频图像。然后第一数字人模型可以依照播放顺序(或者播放倒序)将这些关键帧视频图像组成关键帧视频图像序列,然后输出关键帧视频图像序列。
步骤S340:将关键帧视频图像序列发送至终端设备,以使终端设备对关键帧视频图像序列进行插帧,得到插帧后的目标视频图像序列。
在一些实施方式中,服务器110可以对关键帧视频图像序列通过视频编码标准(比如HEVC标准)进行压缩,并将压缩后的关键帧视频图像序列根据通信协议传输至终端设备120。其中,通信协议可以包括但不限于传输控制协议(Transport Control Protocol/Internet Protocol,TCP/IP协议)、增强用户接口(NetBios Enhanced User Interface,NetBEUI)协议以及互联网络数据包交换/序列分组交换协议(Internet work PacketExchange/Sequenced Packet Exchange protocol,IPX/SPX协议)等。
本申请实施例提供的图像处理方法,通过获取服务器的系统负载状态;当系统负载状态满足第一预设状态时,确定与第一预设状态对应的第一视频生成策略;根据第一视频生成策略,生成待处理的关键帧视频图像序列;将关键帧视频图像序列发送至终端设备,以使终端设备对关键帧视频图像序列进行插帧,得到插帧后的目标视频图像序列。在系统负载状态满足第一预设状态时,可以说明此时系统较繁忙,可以调配的资源有限。而此时该方法可以只生成关键帧视频图像序列,而不生成完整的视频图像序列。而关键帧视频图像序列的数据量相对于完整的视频图像序列数据量较少,因此,生成关键帧视频图像序列需要耗费的时间较少,占用的内存较小,从而可以提高生成效率,减轻系统负担。另外,由于关键帧视频图像序列的数据量相对于完整的视频图像序列的数据量较少,因此可以传输关键帧视频图像序列相对于传输完整的视频图像序列需要的网络带宽较小,可以节省传输网络带宽。此外,本方法生成关键帧视频图像序列相对于生成完整的视频图像序列开销较小,可以节省用户费用。此外,通过服务器110生成关键帧视频图像,而服务器110可以不公开,因此当生成关键帧视频图像的技术为涉密技术时,本方法可以有效地保护生成关键帧视频图像的涉密技术。
请参阅图5,图5示出了本申请再一实施例提供的一种图像处理方法的流程示意图。该方法应用于服务器110。该方法具体可以包括如下步骤:
步骤S410:获取服务器的系统负载状态。
其中,步骤S410的具体描述请参阅步骤S110,在此不再赘述。
步骤S420:当系统负载状态满足第一预设状态时,确定与第一预设状态对应的第一视频生成策略。
其中,步骤S420的具体描述请参阅步骤S220,在此不再赘述。
步骤S430:根据第一视频生成策略,生成待处理的低分辨率视频图像序列。
其中,低分辨率视频图像序列可以是只包括低分辨率视频图像的视频图像序列。其中,分辨率可以是图像中存储的信息量,即每英寸图像内有多少个像素点,一般分辨率越高,图像的清晰度越好,图像的质量越好。
在一些实施方式中,服务器110可以根据用户输入的交互信息,调用第二数字人模型生成低分辨率视频图像序列。其中,第二数字人模型可以由服务器110预先训练得到,第二数字人模型训练完成之后,服务器110向第二数字人模型输入用户输入的交互信息,则可以得到低分辨率视频图像序列。
更具体地,作为一种示例,服务器110可以将用户输入的交互信息输入第二数字人模型,第二数字人模型可以根据用户输入的交互信息生成第一帧低分辨率视频图像、第二帧低分辨率视频图像,以此类推,倒数第二帧低分辨率视频图像、最后一帧低分辨率视频图像。然后第一数字人模型可以依照播放顺序(或者播放倒序)将这些低分辨率视频图像组成低分辨率视频图像序列,然后输出低分辨率视频图像序列。
S440:将低分辨率视频图像序列发送至终端设备,以使终端设备对低分辨率视频图像序列进行拉伸,得到拉伸后的目标视频图像序列。
在一些实施方式中,服务器110可以对低分辨率视频图像序列通过视频编码标准(比如HEVC标准)进行压缩,并将压缩后的视频图像序列根据通信协议传输至终端设备120。其中,通信协议可以包括但不限于TCP/IP协议、NetBEUI协议以及IPX/SPX协议等。
本申请实施例提供的图像处理方法,通过获取服务器的系统负载状态;当系统负载状态满足第一预设状态时,确定与第一预设状态对应的第一视频生成策略;根据第一视频生成策略,生成待处理的低分辨率视频图像序列;将低分辨率视频图像序列发送至终端设备,以使终端设备对低分辨率视频图像序列进行拉伸,得到拉伸后的目标视频图像序列。在系统负载状态满足第一预设状态时,可以说明此时系统较繁忙,可以调配的资源有限。而此时该方法可以只生成低分辨率视频图像序列,而不生成完整的视频图像序列。而低分辨率视频图像序列的数据量相对于完整的视频图像序列数据量较少,因此,生成低分辨率视频图像序列需要耗费的时间较少,占用的内存较小,从而可以提高生成效率,减轻系统负担。另外,由于低分辨率视频图像序列的数据量相对于完整的视频图像序列的数据量较少,因此可以传输低分辨率视频图像序列相对于传输完整的视频图像序列需要的网络带宽较小,可以节省传输网络带宽。此外,本方法生成低分辨率视频图像序列相对于生成完整的视频图像序列开销较小,可以节省用户费用。
请参阅图6,图6示出了本申请又另一实施例提供的一种图像处理方法的流程示意图。该方法应用于服务器110。该方法具体可以包括如下步骤:
步骤S510:获取服务器的系统负载状态。
其中,步骤S510的具体描述请参阅步骤S110,在此不再赘述。
步骤S520:当系统负载状态满足第二预设状态时,确定与第二预设状态对应的第二视频生成策略,其中,第二预设状态优于第一预设状态。
其中,第二预设状态可以根据实际需求进行设置,第二预设状态优于第一预设状态,在本实施例中,当服务器110的负载空闲时,服务器110可以确定服务器110的系统负载状态满足第二预设状态。
其中,第二视频生成策略可以根据实际需求进行设置,第二生成策略可以用于指导服务器110生成与第二视频生成策略对应的默认视频图像序列。
在一些实施方式中,当系统负载状态满足第二预设状态时,服务器110可以确定第二预设状态对应的第二视频生成策略。比如,第二视频生成策略可以为:选择默认数字人模型生成默认视频图像序列。
步骤S530:根据第二视频生成策略,生成默认视频图像序列作为目标视频图像序列,默认视频图像序列为服务器根据用户输入的交互信息确定的默认答复图像序列。
其中,默认答复图像序列中的每帧视频图像都可以包括数字人。其中,数字人可以通过3D建模软件建模得到,也可以通过服务器110调用第一程序代码(第一程序代码可以预先写入服务器110,用于生成数字人)合成得到,还可以通过服务器110预先训练的建模模型生成得到等,本申请实施例对获取数字人的具体方式不作限制。
在一些实施方式中,服务器110可以根据用户输入的交互信息调用默认数字人模型生成默认视频图像序列。其中,默认数字人模型可以由服务器110预先训练得到,默认数字人模型训练完成之后,服务器110向默认数字人模型输入用户输入的交互信息,则可以得到默认视频图像序列。
作为一种示例,更具体地,服务器110可以将用户输入的交互信息输入默认数字人模型,默认数字人模型可以根据用户输入的交互信息生成第一帧默认视频图像、第二帧默认视频图像,以此类推,倒数第二帧默认视频图像、最后一帧默认视频图像。然后默认数字人模型可以依照播放顺序(或者播放倒序)将这些默认视频图像组成默认视频图像序列,然后输出默认视频图像序列。
本申请实施例提供的图像处理方法,通过获取服务器的系统负载状态;当系统负载状态满足第二预设状态时,确定与第二预设状态对应的第二视频生成策略,其中,第二预设状态优于第一预设状态;根据第二视频生成策略,生成默认视频图像作为目标视频图像,默认视频图像为服务器根据用户输入的交互信息确定的默认答复图像。从而可以在系统负载状态满足第一预设状态时,可以说明此时系统较空闲,可以调配的资源较多,此时该方法可以生成完整的默认视频图像序列,终端设备120可以将该默认视频图像序列输出,不需要对视频图像序列进行插帧,从而可以节省终端设备120的计算时间,用户可以更快地观看视频,可以提高用户体验。
请参阅图7,图7示出了本申请又再一实施例提供的一种图像处理方法的流程示意图。该方法应用于服务器110。该方法具体可以包括如下步骤:
步骤S610:获取当前的服务器的用户数量。
其中,用户数量可以是与服务器110进行交互的用户的数量。用户数量也可以是当前的服务器110的用户数量与服务器110的用户总数量的比值。其中,服务器110的用户总数量可以是与服务器110连接进行交互的最大用户数量。
在一些实施方式中,服务器110可以检测向服务器110输入交互信息的用户的身份标识号(Identity Document,ID)(比如:用户账号)。然后服务器110可以根据检测的身份标识号计算用户的数量。作为一种示例,服务器110检测的用户ID分别有:ID-a,ID-b,ID-c,则用户数量为3。
在另一些实施方式中,承接上述实施方式,服务器110检测到的用户ID分别为:ID-a,ID-b,ID-c。服务器110可以基于用户ID数量以及服务器110的用户总数量计算用户数量。作为一种示例,服务器110可以计算得到用户ID数量为3,服务器110用户总数量为500。则服务器110可以计算得到用户数量为3/500。
在又一些实施方式中,服务器110可以检测与服务器110连接的终端设备,然后服务器110可以根据终端设备计算用户数量。作为一种示例,服务器110检测到终端设备分别为:手机A,平板电脑B,则用户数量为2。
在再一些实施方式中,承接上述实施方式,服务器110检测到的终端设备分别为:手机A,平板电脑B。服务器110可以基于终端设备数量以及服务器110的用户总数量计算用户数量。作为一种示例,服务器110可以计算得到用户ID数量为2,服务器110的用户总数量为50,则服务器110可以计算得到用户数量为2/50=1/25。
步骤S620:当用户数量小于预设用户数量阈值时,确定系统负载状态为第二预设状态。
其中,预设用户数量阈值可以预先根据实际需求进行设置。预设用户数量阈值可以是某一个具体的数值,比如100。预设用户数量阈值也可以是预设的用户数量与服务器110的用户总数量的比值,比如,80%。其中,预设数量的用户数量可以根据实际需求进行设置。服务器110的用户总数量可以是与服务器110连接进行交互的最大用户数量。
在一些实施方式中,用户数量阈值为某一个确定的数值。当用户数量小于预设用户数量阈值时,服务器110可以确定系统负载状态为第二预设状态。作为一种示例,服务器110计算得到的用户数量可以为50,而用户数量阈值可以为100,此时,服务器110可以确定用户数量小于预设用户数量阈值,可以确定系统负载状态为第二预设状态。
在另一些实施方式中,用户数量阈值为当前的服务器110的用户数量与服务器110的用户总数量的比值。当用户数量阈值小于预设用户数量阈值时,服务器可以确定系统负载状态为第二预设状态。作为一种示例,用户数量可以为1/25,预设用户数量阈值可以为1/5。则服务器110可以确定用户数量小于预设用户数量阈值,可以确定系统负载状态为第二预设状态。
步骤S630:当用户数量不小于预设用户数量阈值时,确定系统负载状态为第一预设状态。
在一些实施方式中,用户数量阈值为某一个确定的数值。当用户数量大于预设用户数量阈值时,服务器110可以确定系统负载状态为第一预设状态。作为一种示例,服务器110计算得到的用户数量可以为150,而用户数量阈值可以为100,此时,服务器110可以确定用户数量大于预设用户数量阈值,可以确定系统负载状态为第一预设状态。
在另一些实施方式中,用户数量阈值为当前的服务器110的用户数量与服务器110的用户总数量的比值。当用户数量阈值大于预设用户数量阈值时,服务器可以确定系统负载状态为第一预设状态。作为一种示例,用户数量可以为1/3,预设用户数量阈值可以为1/5。则服务器110可以确定用户数量大于预设用户数量阈值,可以确定系统负载状态为第一预设状态。
步骤S640:根据系统负载状态,确定与系统负载状态对应的视频生成策略。
步骤S650:根据视频生成策略,生成目标视频图像序列。
其中,步骤S640-步骤S650的具体描述请参阅步骤S120-步骤S130,在此不再赘述。
本申请实施例提供的图像处理方法,通过获取当前的服务器的用户数量;当用户数量小于预设用户数量阈值时,确定系统负载状态为第二预设状态;当用户数量不小于预设用户数量阈值时,确定系统负载状态为第一预设状态;根据系统负载状态,确定与系统负载状态对应的视频生成策略;根据视频生成策略,生成目标视频图像序列。从而该方法可以根据用户数量确定服务器110的系统负载状态。通过确定服务器110的系统负载状态情况,可以灵活地确定当前的视频生成策略,从而灵活地分配系统资源,从而可以使得服务器可以同时服务于多个用户,有利于商业化应用。
请参阅图8,图8示出了本申请又还一实施例提供的一种图像处理方法的流程示意图。该方法应用于服务器110。该方法具体可以包括如下步骤:
步骤S710:获取服务器当前正在处理的进程数量。
其中,正在处理的进程数量可以指服务器110当前正在运行的进程的数量。其中,进程可以指计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础。
在一些实施方式中,服务器110可以计算当前服务器110当前正在运行的进程的数量,具体地,服务器110可以通过Linux服务器(Linux Server)查看进程数量;或者也可以向服务器110中写入算法,该算法用于计算服务器110的当前进程数,该算法可以采用计算机程序语言Python编写,也可以是采用其他的计算机程序语言编写,本申请实施例对此不作具体限制。
步骤S720:当进程数量小于预设进程数量阈值时,确定系统负载状态为第二预设状态。
其中,预设进程数量阈值可以在服务器110中预先根据实际需求进行设置。预设进程数量阈值可以是某一个具体的数值,比如50,也可以是一个比值60%,本申请实施例对进程数量阈值的具体内容不作限制。
在一些实施方式中,服务器110获取到的进程数量可以是13,而此时预设进程数量阈值可以是一个具体的数值50,此时进程数量小于预设进程数量阈值,可以说明此时服务器110的可以被调配资源较多,则服务器110可以确定系统负载状态为第二预设状态。
在另一些实施方式中,服务器110获取到的进程数量可以是30%(即服务器110当前正在运行的进程数量与服务器110能够同时运行的最大进程数量的比值)。而此时,预设进程数量阈值可以是60%,此时进程数量小于预设进程数量阈值,可以说明此时服务器110可以被调配的资源较多,则服务器110可以确定系统负载状态为第二预设状态。
步骤S730:当进程数量不小于预设进程数量阈值时,确定系统负载状态为第一预设状态。
在一些实施方式中,服务器110获取到的进程数量可以是75,而此时预设进程数量阈值可以是一个具体的数值50,此时进程数量大于预设进程数量阈值,可以说明此时服务器110的可以被调配资源较少,则服务器110可以确定系统负载状态为第一预设状态。
在另一些实施方式中,服务器110获取到的进程数量可以是70%(即服务器110当前正在运行的进程数量与服务器110能够同时运行的最大进程数量的比值)。而此时,预设进程数量阈值可以是60%,此时进程数量大于预设进程数量阈值,可以说明此时服务器110可以被调配的资源较少,则服务器110可以确定系统负载状态为第一预设状态。
步骤S740:根据系统负载状态,确定与系统负载状态对应的视频生成策略。
步骤S750:根据视频生成策略,生成目标视频图像序列。
其中,步骤S740-步骤S750的具体描述请参阅步骤S120-步骤S130,在此不再赘述。
本申请实施例提供的图像处理方法通过获取服务器当前正在处理的进程数量;当进程数量小于预设进程数量阈值时,确定系统负载状态为第二预设状态;当进程数量不小于预设进程数量阈值时,确定系统负载状态为第一预设状态;根据系统负载状态,确定与系统负载状态对应的视频生成策略;根据视频生成策略,生成目标视频图像序列。从而该方法可以根据当前服务器110正在处理的进程数量确定服务器110的系统负载状态。通过确定服务器110的系统负载状态情况,可以灵活地确定当前的视频生成策略,从而灵活地分配系统资源,从而可以使得服务器可以同时服务于多个用户,有利于商业化应用。
请参阅图9,图9示出了本申请一实施例提供的一种图像处理方法的流程示意图。该方法应用于终端设备120。该方法具体可以包括如下步骤:
步骤S810:接收服务器发送的待处理的视频图像序列。
其中,待处理的视频图像序列可以包括首帧视频图像,也可以包括多帧视频图像等。
在一些实施方式中,终端设备120可以接受服务器110发送的待处理的视频图像序列。
步骤S820:对视频图像序列进行处理,得到处理后的目标视频图像序列。
其中,目标视频图像序列可以被传输至终端设备120(或者与终端设备120)连接的其他设备的显示器,以播放该视频供用户观看。
在一些实施方式中,终端设备120可以调用插帧模型对视频图像序列进行插帧,得到插入帧,其中,插帧模型可以预先由终端设备120根据样本视频图像序列进行训练得到,在插帧模型训练结束之后,向插帧模型输入待处理的视频图像序列,可以得到根据该视频图像序列生成的多帧插入帧。终端设备120将插入帧插入视频图像序列中,得到处理后的目标视频图像序列。由于增加了插入帧,所以处理后的目标视频图像序列的相对于处理前的视频图像序列的质量更高(因为一般帧数越多,视频越流畅)。
在另一些实施方式中,还可以提前在终端设备120中写入算法,该算法可以根据待处理的视频图像序列生成插入帧。终端设备120可以调用该算法生成多帧插入帧,并将生成的插入帧插入至视频图像序列之间,以合成目标视频图像序列。
在又一些实施方式中,当视频图像序列为低分辨率视频图像序列时,还可以提前在终端设备120中写入拉伸图像的算法,该拉伸图像的算法可以将低分辨率的图像拉伸成高分辨率的图像。终端设备120可以调用该拉伸图像的算法将视频图像序列中的每帧低分辨率图像分别拉伸成对应的高分辨率图像。终端设备120可以边拉伸低分辨率图像边将已得到的高分辨图像按照播放顺序(或者播放逆序)进行组合,从而得到处理后的目标视频图像序列;或者,终端设备120也可以在所有低分辨率图像全部拉伸成高分辨率视频图像之后,将所有得到的高分辨率视频图像按照播放顺序(或者播放逆序)进行组合,从而得到处理后的目标视频图像序列。本申请实施例提供的图像处理方法,通过接收服务器发送的待处理的视频图像序列;对视频图像序列进行处理,得到处理后的目标视频图像序列。该方法可以通过终端设备120对视频图像序列进行处理,得到目标视频图像序列。从而可以充分利用终端设备120的计算资源。
请参阅图10,图10示出了本申请另一实施例提供的一种图像处理方法的流程示意图。该方法应用于终端设备120。该方法具体可以包括如下步骤:
步骤S910:接收服务器发送的待处理的视频图像序列。
其中,步骤S910的具体描述请参阅步骤S810,在此不再赘述。
步骤S920:对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
在一些实施方式中,请参阅图11,图11示出了本申请一实施例提供的一种图像处理方法中步骤S920的流程示意图。步骤S920具体可以包括如下步骤:
步骤S921A:根据终端设备的计算资源确定插帧的目标帧数。
其中,计算资源可以包括但不限于终端设备120的算力(也称哈希率)、中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)等。
其中,目标帧数是指待生成的插入帧的帧数,其中,插入帧用于插入至视频图像序列之间,以合成目标视频图像序列。
在一些实施方式中,可以预先在终端设备120中写入算法,该算法可以通过计算机程序语言(比如:Python)进行编写,用于计算终端设备120的计算资源。终端设备120可以调用该算法计算其计算资源,然后根据该计算资源确定插帧的目标帧数。
作为一种示例,终端设备120可以调用上述算法计算终端设备120的算力,该算力可以是5万亿比特每秒(5Th/s)。终端设备120可以根据该算力查询预先设置并存储在其中的算力-目标帧数对应表(如表1),可以得到插帧的目标帧数为250帧。
表1
算力 | 1(Th/s) | 2(Th/s) | 3(Th/s) | 4(Th/s) | 5(Th/s) | 6(Th/s) |
目标帧数 | 50帧 | 100帧 | 150帧 | 200帧 | 250帧 | 300帧 |
步骤S922A:基于目标帧数对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
在一些实施方式中,当确定了目标帧数之后,终端设备120可以调用插帧模型对视频图像序列进行插帧,同时可以计算生成的插入帧的帧数。当当前已生成的插入帧的帧数等于目标帧数时,终端设备120可以控制插帧模型停止运行,然后将生成的目标帧数的插入帧插入至视频图像序列之间,合成目标视频图像序列。
作为一种示例,承接上述对步骤S921A的描述,目标帧数为250帧,则终端设备120可以将视频图像序列输入至插帧模型,并计算已生成的插入帧的帧数。当已生成的插入帧的帧数等于250帧时,终端设备120可以将已生成的插入帧插入至视频图像序列之间,合成目标视频图像序列,即插帧后的目标视频图像序列。
在本实施方式中,终端设备120可以根据终端设备120的计算资源确定插帧的目标帧数,并可以基于目标帧数对视频图像序列进行插帧,得到插帧后的目标视频图像序列。从而可以较为精准地确定插帧的目标帧数,进而可以充分利用终端设备120的计算资源。
在另一些实施方式中,请参阅图12,图12示出了本申请另一实施例提供的一种图像处理方法中步骤S920的流程示意图。步骤S920具体可以包括如下步骤:
步骤S921B:获取画质选择信息,画质选择信息用于表征用户选择的视频播放画质。
其中,画质可以指视频图像播放时的画面质量。画质可以包括清晰度(可以指图像上各细部影纹(比如,图像中人物与背景的边界)及其边界的清晰程度。比如,高清(HighDefinition,HD),标清(Standard Definition,SD)等)、锐度(即反映图像平面清晰度和图像边缘锐利程度的一个指标。一般,锐度越高,图像越清晰,但是锐度过高,会导致图像失真)、镜头畸变(即可以指因为透视原因造成图像的失真)等指标。画质选择信息可以包括以上指标中至少一种。
在一些实施方式中,用户向终端设备120输入画质选择信息,该输入方式可以是用户向终端设备120的显示屏输入的一段文字,或者用户朝向终端设备输入的一段语音等,本申请实施例对画质选择信息的输入方式不作具体限制。终端设备120可以接收用户输入的画质选择信息。
步骤S922B:基于画质选择信息确定插帧的目标帧数。
在一些实施方式中,终端设备120可以提取用户输入的画质选择信息中的关于画质指标的关键字,并根据该关键字确定插帧的目标帧数。
作为一种示例,用户输入的画质选择信息为高清(HD),终端设备120可以提取关键字为高清(HD),然后可以根据该关键字查询表2,得到目标帧数为300帧。
表2
清晰度 | HD | SD |
目标帧数 | 300帧 | 100帧 |
步骤S923B:基于目标帧数对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
其中,步骤S923B的具体描述请参阅步骤S922A,在此不再赘述。
在本实施方式中,终端设备120可以获取画质选择信息,画质选择信息用于表征用户选择的视频播放画质;基于画质选择信息确定插帧的目标帧数;基于目标帧数对视频图像序列进行插帧,得到插帧后的目标视频图像序列。从而可以根据画质选择信息确定插帧的目标帧数,由于画质选择信息由用户选择,因此利用本方式对视频图像序列进行处理,可以满足用户的需求,进而可以提升用户体验。
请参阅图13,图13示出了本申请一实施例提供的一种图像处理方法的流程示意图。该方法应用于图像处理系统100。该方法具体可以包括如下步骤:
步骤S1010:服务器获取服务器的系统负载状态。
步骤S1020:服务器根据系统负载状态,确定与系统负载状态对应的视频生成策略。
步骤S1030:服务器根据视频生成策略,生成目标视频图像序列,并将目标视频图像序列发送至终端设备,其中,目标视频图像序列包括待处理的视频图像序列。
其中,步骤S1010至步骤S1030的具体描述请参阅步骤S110至步骤S130,在此不再赘述。
步骤S1040:终端设备接收服务器发送的待处理的视频图像序列。
步骤S1050:终端设备对待处理的视频图像序列进行处理,得到处理后的目标视频图像序列。
其中,步骤S1040和步骤S1050的具体描述请参阅步骤S810和步骤S820,在此不再赘述。
本申请实施例提供的图像处理方法,通过服务器获取服务器的系统负载状态;服务器根据系统负载状态,确定与系统负载状态对应的视频生成策略;服务器根据视频生成策略,生成目标视频图像序列,并将目标视频图像序列发送至终端设备,其中,目标视频图像序列包括待处理的视频图像序列;终端设备接收服务器发送的待处理的视频图像序列;终端设备对待处理的视频图像序列进行处理,得到处理后的目标视频图像序列。从而服务器110可以根据系统的负载状态确定视频生成策略,在系统负载较少时,可以说明系统较空闲,此时可以生成质量较好,帧数较多的视频图像序列,提升用户体验。在系统负载较多时,可以说明服务器110的系统较繁忙,此时可以生成质量一般,帧数较少的视频图像序列,节省系统的计算资源,提升生成视频图像序列的速率,减小系统负担。另一方面,终端设备120可以接收服务器110发送的待处理的视频图像序列,并对该序列进行插帧得到最终的目标视频图像序列,可以充分利用终端设备120的计算资源。
作为一种示例,请参阅图14,图14示出了本申请一示例性实施例提供的一种图像处理方法的实施过程示例图。其中,服务器可以为服务器110。当第一用户和第二用户连接服务器110时,第一用户和第二用户可以向服务器输入交互信息。服务器110可以分别接收第一用户和第二输入的交互信息。此时,服务器110可以得到连接到服务器110的用户数为2,若预先设置在服务器中的用户数量阈值为100,则此时服务器110可以确定系统空闲。当系统空闲时,服务器110可以确定第二视频生成策略。服务器110可以根据第二视频生成策略,从第一数字人模型、第二数字人模型、默认数字人模型中确定默认数字人模型为目标数字人模型。服务器110可以将第一用户输入的交互信息输入至目标数字人模型中,可以得到第一默认视频图像序列。服务器110可以将第一默认视频图像序列作为第一目标视频图像序列,并将第一目标视频图像序列传输至第一用户的终端设备。服务器110可以将第二用户输入的交互信息输入至目标数字人模型中,可以得到第二默认视频图像序列。服务器110可以将第二默认视频图像序列作为第二目标视频图像序列,并将第二目标视频图像序列传输至第二用户的终端设备。由于第一、第二目标视频图像序列为完整的视频图像序列,所以第一用户的终端设备不用对第一目标视频图像序列进行处理,可以直接将第一目标视频图像序列输出至第一用户的终端设备的显示器,以便第一用户可以直接观看第一目标视频。第二用户的终端设备也不用对第二目标视频图像序列进行处理,可以直接将第二目标视频图像序列输出至第二用户的终端设备的显示器,以便第二用户可以直接观看第二目标视频。
请参阅图15,图15示出了本申请一实施例提供的一种图像处理装置的结构框图。该图像处理装置1100应用于服务器110。该图像处理装置1100可以包括状态获取模块1110、策略确定模块1120以及序列生成模块1130。其中:
状态获取模块1110,用于获取服务器的系统负载状态;
策略确定模块1120,用于根据系统负载状态,确定与系统负载状态对应的视频生成策略;
序列生成模块1130,用于根据视频生成策略,生成目标视频图像序列。
可选地,策略确定模块1120可以包括第一策略确定子模块。序列生成模块1130可以包括第一序列生成子模块以及发送子模块。其中:
第一策略确定子模块,用于当系统负载状态满足第一预设状态时,确定与第一预设状态对应的第一视频生成策略。
第一序列生成子模块,用于根据第一视频生成策略,生成待处理的视频图像序列。
发送子模块,用于将待处理的视频图像序列发送至终端设备,以使终端设备对视频图像序列进行处理,得到目标视频图像序列。
可选地,第一序列生成子模块可以包括第一序列生成单元。发送子模块可以包括第一发送单元。其中:
第一序列生成单元,用于根据第一视频生成策略,生成待处理的关键帧视频图像序列。
第一发送单元,用于将关键帧视频图像序列发送至终端设备,以使终端设备对关键帧视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,第一序列生成子模块还可以包括第二序列生成单元。发送子模块还可以包括第二发送单元。其中:
第二序列生成单元,用于根据第一视频生成策略,生成待处理的低分辨率视频图像序列。
第二发送单元,用于将低分辨率视频图像序列发送至终端设备,以使终端设备对低分辨率视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,策略确定模块1120还可以包括第二策略确定子模块。序列生成模块1130可以包括第二序列生成子模块。其中:
第二策略确定子模块,用于当系统负载状态满足第二预设状态时,确定与第二预设状态对应的第二视频生成策略,其中,第二预设状态优于第一预设状态。
第二序列生成子模块,用于根据第二视频生成策略,生成默认视频图像作为目标视频图像,默认视频图像为服务器根据用户输入的交互信息确定的默认答复图像。
可选地,状态获取模块1110可以包括第一获取子模块、第一状态确定子模块以及第二状态确定子模块。其中:
第一获取子模块,用于获取当前的服务器的用户数量。
第一状态确定子模块,用于当用户数量小于预设用户数量阈值时,确定系统负载状态为第二预设状态。
第二状态确定子模块,用于当用户数量不小于所述预设用户数量阈值时,确定系统负载状态为第一预设状态。
可选地,状态获取模块1110可以包括第二获取子模块、第三状态确定子模块以及第四状态确定子模块。其中:
第二获取子模块,用于获取服务器当前正在处理的进程数量。
第三状态确定子模块,用于当进程数量小于预设进程数量阈值时,确定系统负载状态为第二预设状态。
第四状态确定子模块,用于当进程数量不小于预设进程数量阈值时,确定系统负载状态为第一预设状态。
请参阅图16,图16示出了本申请另一实施例提供的一种图像处理装置的结构框图。该图像处理装置1200应用于终端设备120。该图像处理装置1200可以包括序列接收模块1210以及序列处理模块1220。其中:
序列接收模块1210,用于接收服务器发送的待处理的视频图像序列;
序列处理模块1220,用于对视频图像序列进行处理,得到处理后的目标视频图像序列。
可选地,序列处理模块1220可以包括插帧子模块。
插帧子模块,用于对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,插帧子模块可以包括第一帧数确定单元以及第一插帧单元。其中:
第一帧数确定单元,用于根据终端设备的计算资源确定插帧的目标帧数。
第一插帧单元,用于基于目标帧数对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
可选地,插帧子模块还可以包括信息获取单元、第二帧数确定单元、以及第二插帧单元。其中:
信息获取单元,用于获取画质选择信息,画质选择信息用于表征用户选择的视频播放画质。
第二帧数确定单元,用于基于画质选择信息确定插帧的目标帧数。
第二插帧单元,用于基于目标帧数对视频图像序列进行插帧,得到插帧后的目标视频图像序列。
对于本申请实施例提供的以上所有装置,所属领域的技术人员可以清楚地了解到,本申请实施例提供的所有装置中的每个装置能够实现对应的前述方法实施例中的各个过程,上述描述装置和模块的具体工作过程,可以参阅前述方法实施例中的对应过程,在此不再过多赘述。
本申请提供的实施例中,所显示或讨论的模块相互之间的耦合、直接耦合或通信连接,可以是通过一些接口、装置或模块的间接耦合或通信耦合,可以是电性、机械或其他形式,本申请实施例对此不作具体限制。
另外,在本申请实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件的功能模块的形式实现。
请参阅图17,图17示出了本申请一实施例提供的一种电子设备的结构框图。该电子设备1300可以是智能设备以及服务器等电子设备。本申请中的电子设备1300可以包括一个或多个如下部件:处理器1310、存储器1320以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器1320中并被配置为由一个或多个处理器1310执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器可以包括一个或多个处理核。处理器1310利用各种接口和线路连接整个电子设备1300内的各个部分,用过运行或执行存储在存储器1320内的指令、程序、代码集或指令集,以及调用运行或执行存储在存储器1320内的数据,执行电子设备1300的各种功能和处理数据。可选地,处理器1310可以采用数字信号处理(digital signal processing,DSP)、现场可编程门阵列(field-programmable gate array,FPGA)、可编辑逻辑阵列(programmable logic array,PLA)中的至少一种硬件形式来实现。处理器1310可集成中央处理器(central processing unit,CPU)、图像处理器(graphics processing unit,GPU)和调制解调器中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1310中,单独通过一块通信芯片进行实现。
存储器1320可以包括随机存储器(random access memory,RAM),也可以包括只读存储器(read-only memory,ROM)。存储器1320可用于存储指令、程序、代码、代码集或指令集,存储器1320可包括存储程序区和存储数据区,其中,存储程序器可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区可以存储电子设备1300在使用中所创建的数据等。
请参阅图18,图18示出了本申请一实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质1400中存储有程序代码,该程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读取存储介质1400可以是诸如闪存、电可擦除可编程只读存储器(electrically-erasable programmable read-only memory,EEPROM)、可擦除可编辑只读存储器(erasable programmable read-only memory,EPROM)、硬盘或者ROM之类的电子存储器。可选地,计算机可读取存储介质1400包括非易失性计算机可读介质(non-transitorycomputer-readable storage medium)。计算机可读取存储介质1400具有执行上述方法中的任何方法步骤的程序代码1410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1410可以例如以适当形式进行压缩。
综上所述,本申请实施例提供一种图像处理方法、装置、电子设备及存储介质。该方法应用于服务器,通过获取服务器的系统负载状态;根据系统负载状态,确定与系统负载状态对应的视频生成策略;根据视频生成策略,生成目标视频图像序列。从而可以根据系统的负载情况选择不同的视频生成策略,生成不同的视频图像序列。在系统的负载较多时,可以说明此时服务器的系统比较繁忙,能够被调配的空间较小,此时可以生成数据量较小的图像视频序列,从而能够减轻系统的负担,提高视频的生成效率;在系统的负载较少时,可以说明此时服务器的系统比较空闲,能够被调配的空调较大,此时可以生成数量较大的图像视频序列,从而提高视频的图像质量。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (11)
1.一种图像处理方法,其特征在于,应用于服务器,所述方法包括:
获取用户输入的交互信息,并获取所述服务器的系统负载状态;
当所述系统负载状态满足第一预设状态时,确定与所述第一预设状态对应的第一视频生成策略;根据所述第一视频生成策略,调用第一数字人模型、基于所述用户输入的交互信息生成关键帧视频图像序列,或调用第二数字人模型、基于所述用户输入的交互信息生成低分辨率视频图像序列,并将所述关键帧视频图像序列或所述低分辨率视频图像序列发送至终端设备,以使终端设备对所述关键帧视频图像序列或所述低分辨率视频图像序列进行处理,得到目标视频图像序列,其中,所述关键帧视频图像序列和所述低分辨率视频图像序列的视频内容包括数字人;
当所述系统负载状态满足第二预设状态时,确定与所述第二预设状态对应的第二视频生成策略,其中,所述第二预设状态优于所述第一预设状态;根据所述第二视频生成策略,调用默认数字人模型、基于所述用户输入的交互信息来生成作为默认答复图像序列的默认视频图像序列,设置所述默认视频图像序列作为所述目标视频图像序列,所述默认答复图像序列中的每帧视频图像包括所述数字人。
2.根据权利要求1所述的方法,其特征在于,所述获取所述服务器的系统负载状态,包括:
获取当前的服务器的用户数量;
当所述用户数量小于预设用户数量阈值时,确定所述系统负载状态为第二预设状态;
当所述用户数量不小于所述预设用户数量阈值时,确定所述系统负载状态为第一预设状态。
3.根据权利要求1所述的方法,其特征在于,所述获取所述服务器的系统负载状态,包括:
获取所述服务器当前正在处理的进程数量;
当所述进程数量小于预设进程数量阈值时,确定所述系统负载状态为第二预设状态;
当所述进程数量不小于预设进程数量阈值时,确定所述系统负载状态为第一预设状态。
4.一种图像处理方法,其特征在于,应用于终端设备,所述方法包括:
接收服务器发送的根据所述服务器的系统负载状态满足第一预设状态时确定的与所述第一预设状态对应的第一视频生成策略,通过调用第一数字人模型、基于用户输入的交互信息生成的包括数字人的关键帧视频图像序列,或根据所述服务器的所述系统负载状态满足所述第一预设状态时确定的与所述第一预设状态对应的所述第一视频生成策略,通过调用第二数字人模型、基于所述用户输入的交互信息生成的包括所述数字人的低分辨率视频图像序列,或被所述服务器设置作为目标视频图像序列的、根据所述服务器的所述系统负载状态满足第二预设状态时确定的与所述第二预设状态对应的第二视频生成策略,通过调用默认数字人模型、基于所述用户输入的交互信息来生成作为默认答复图像序列的默认视频图像序列,其中,所述第二预设状态优于所述第一预设状态,所述默认答复图像序列中的每帧视频图像包括所述数字人;
对所述关键帧视频图像序列或所述低分辨率视频图像序列进行处理,得到处理后的所述目标视频图像序列。
5.根据权利要求4所述的方法,其特征在于,所述对所述关键帧视频图像序列进行处理,得到处理后的所述目标视频图像序列,包括:
对所述关键帧视频图像序列进行插帧,得到插帧后的所述目标视频图像序列。
6.根据权利要求5所述的方法,其特征在于,所述对所述关键帧视频图像序列进行插帧,得到插帧后的所述目标视频图像序列,包括:
根据所述终端设备的计算资源确定插帧的目标帧数;
基于所述目标帧数对所述关键帧视频图像序列进行插帧,得到插帧后的所述目标视频图像序列。
7.根据权利要求5所述的方法,其特征在于,所述对所述关键帧视频图像序列进行插帧,得到插帧后的所述目标视频图像序列,包括:
获取画质选择信息,所述画质选择信息用于表征用户选择的视频播放画质;
基于所述画质选择信息确定插帧的目标帧数;
基于所述目标帧数对所述关键帧视频图像序列进行插帧,得到插帧后的所述目标视频图像序列。
8.一种图像处理装置,其特征在于,应用于服务器,所述装置包括:
状态获取模块,用于获取用户输入的交互信息,并获取所述服务器的系统负载状态;
策略确定模块,所述策略确定模块包括第一策略确定子模块,其中,
所述第一策略确定子模块,用于当所述系统负载状态满足第一预设状态时,确定与所述第一预设状态对应的第一视频生成策略;
序列生成模块,所述序列生成模块包括第一序列生成子模块以及发送子模块,其中,
所述第一序列生成子模块包括第一序列生成单元和第二序列生成单元,所述发送子模块包括第一发送单元和第二发送单元,其中,
所述第一序列生成单元,用于根据所述第一视频生成策略,调用第一数字人模型、基于所述用户输入的交互信息生成关键帧视频图像序列,所述关键帧视频图像序列的视频内容包括数字人;
所述第一发送单元,用于将所述关键帧视频图像序列发送至终端设备,以使所述终端设备对所述关键帧视频图像序列进行处理,得到目标视频图像序列;
所述第二序列生成单元,用于根据所述第一视频生成策略,调用第二数字人模型、基于所述用户输入的交互信息生成低分辨率视频图像序列,所述低分辨率视频图像序列的视频内容包括所述数字人;
所述第二发送单元,用于将所述低分辨率视频图像序列发送至所述终端设备,以使所述终端设备对所述低分辨率视频图像序列进行处理,得到所述目标视频图像序列;
所述策略确定模块还包括第二策略确定子模块,其中,
所述第二序列生成子模块,用于当所述系统负载状态满足第二预设状态时,确定与所述第二预设状态对应的第二视频生成策略,其中,所述第二预设状态优于所述第一预设状态;
所述序列生成模块还包括第二序列生成子模块,其中,
所述第二序列生成子模块,用于根据所述第二视频生成策略,调用默认数字人模型、基于所述用户输入的交互信息来生成作为默认答复图像序列的默认视频图像序列,设置所述默认视频图像序列作为所述目标视频图像序列,所述默认答复图像序列中的每帧视频图像包括所述数字人。
9.一种图像处理装置,其特征在于,应用于终端设备,所述装置包括:
序列接收模块,用于接收服务器发送的根据所述服务器的系统负载状态满足第一预设状态时确定的与所述第一预设状态对应的第一视频生成策略,通过调用第一数字人模型、基于用户输入的交互信息生成的包括数字人的关键帧视频图像序列,或根据所述服务器的所述系统负载状态满足所述第一预设状态时确定的与所述第一预设状态对应的所述第一视频生成策略,通过调用第二数字人模型、基于所述用户输入的交互信息生成的包括所述数字人的低分辨率视频图像序列,或被所述服务器设置作为目标视频图像序列的、根据所述服务器的所述系统负载状态满足第二预设状态时确定的与所述第二预设状态对应的第二视频生成策略,通过调用默认数字人模型、基于所述用户输入的交互信息来生成作为默认答复图像序列的默认视频图像序列,其中,所述第二预设状态优于所述第一预设状态,所述默认答复图像序列中的每帧视频图像包括所述数字人;
序列处理模块,用于对所述关键帧视频图像序列或所述低分辨率视频图像序列进行处理,得到处理后的所述目标视频图像序列。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行权利要求1至7任一项所述的方法。
11.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011632519.3A CN112839184B (zh) | 2020-12-31 | 2020-12-31 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011632519.3A CN112839184B (zh) | 2020-12-31 | 2020-12-31 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112839184A CN112839184A (zh) | 2021-05-25 |
CN112839184B true CN112839184B (zh) | 2022-02-01 |
Family
ID=75926102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011632519.3A Active CN112839184B (zh) | 2020-12-31 | 2020-12-31 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112839184B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113473183B (zh) * | 2021-06-29 | 2023-05-05 | 华夏城视网络电视股份有限公司 | 一种应用于融合媒体的动静态媒体流批处理方法 |
CN113422983B (zh) * | 2021-08-24 | 2021-11-23 | 腾讯科技(深圳)有限公司 | 数据处理方法、计算机设备和存储介质 |
CN113868399A (zh) * | 2021-10-18 | 2021-12-31 | 深圳追一科技有限公司 | 一种服务器超卖实现方法及装置、存储介质及电子设备 |
CN115460436B (zh) * | 2022-08-03 | 2023-10-20 | 北京优酷科技有限公司 | 视频处理方法、存储介质及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109803175A (zh) * | 2019-03-12 | 2019-05-24 | 京东方科技集团股份有限公司 | 视频处理方法及装置、设备、存储介质 |
CN111124824A (zh) * | 2019-12-18 | 2020-05-08 | 北京智明星通科技股份有限公司 | 一种手机游戏帧率推荐方法、装置和移动终端 |
CN111581434A (zh) * | 2020-04-29 | 2020-08-25 | 北京达佳互联信息技术有限公司 | 视频服务提供方法、装置、电子设备和存储介质 |
CN111641829A (zh) * | 2020-05-16 | 2020-09-08 | Oppo广东移动通信有限公司 | 视频处理方法及装置、系统、存储介质和电子设备 |
CN111798545A (zh) * | 2019-11-05 | 2020-10-20 | 厦门雅基软件有限公司 | 骨骼动画的播放方法、装置、电子设备和可读存储介质 |
WO2020220953A1 (zh) * | 2019-04-30 | 2020-11-05 | 华为技术有限公司 | 用于图形渲染的方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200907715A (en) * | 2007-08-09 | 2009-02-16 | China Motor Corp | Method, apparatus, and system for simulating an object performing an action |
US8250182B2 (en) * | 2008-11-30 | 2012-08-21 | Red Hat Israel, Ltd. | Dynamic loading between a server and a client |
CN101527092A (zh) * | 2009-04-08 | 2009-09-09 | 西安理工大学 | 特定会话场景下的计算机辅助手语交流方法 |
CN102467749A (zh) * | 2010-11-10 | 2012-05-23 | 上海日浦信息技术有限公司 | 基于关键帧和时空约束的三维虚拟人体运动生成方法 |
CN104933049B (zh) * | 2014-03-17 | 2019-02-19 | 华为技术有限公司 | 生成数字人的方法及系统 |
-
2020
- 2020-12-31 CN CN202011632519.3A patent/CN112839184B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109803175A (zh) * | 2019-03-12 | 2019-05-24 | 京东方科技集团股份有限公司 | 视频处理方法及装置、设备、存储介质 |
WO2020220953A1 (zh) * | 2019-04-30 | 2020-11-05 | 华为技术有限公司 | 用于图形渲染的方法及装置 |
CN111798545A (zh) * | 2019-11-05 | 2020-10-20 | 厦门雅基软件有限公司 | 骨骼动画的播放方法、装置、电子设备和可读存储介质 |
CN111124824A (zh) * | 2019-12-18 | 2020-05-08 | 北京智明星通科技股份有限公司 | 一种手机游戏帧率推荐方法、装置和移动终端 |
CN111581434A (zh) * | 2020-04-29 | 2020-08-25 | 北京达佳互联信息技术有限公司 | 视频服务提供方法、装置、电子设备和存储介质 |
CN111641829A (zh) * | 2020-05-16 | 2020-09-08 | Oppo广东移动通信有限公司 | 视频处理方法及装置、系统、存储介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112839184A (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112839184B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111681167B (zh) | 画质调整方法和装置、存储介质及电子设备 | |
CN114501062B (zh) | 视频渲染协同方法、装置、设备及存储介质 | |
CN111314741B (zh) | 视频超分处理方法、装置、电子设备及存储介质 | |
CN112788235B (zh) | 图像处理方法、装置、终端设备及计算机可读取存储介质 | |
CN113015021A (zh) | 云游戏的实现方法、装置、介质及电子设备 | |
WO2022257699A1 (zh) | 图像画面显示方法、装置、设备、存储介质及程序产品 | |
CN104053019A (zh) | 基于虚拟桌面的视频播放、处理方法及装置 | |
CN113301342B (zh) | 视频编码方法、网络直播方法、装置和终端设备 | |
CN112633236A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN112929712A (zh) | 视频码率调整方法和装置 | |
CN109587511A (zh) | 多设备视频直播方法、设备、系统及存储介质 | |
CN110784731B (zh) | 一种数据流转码方法、装置、设备及介质 | |
CN105163195A (zh) | 一种即时视频的编码方法和电子设备 | |
WO2024183682A1 (zh) | 视频编码方法、装置、电子设备、存储介质及程序产品 | |
CN116567346A (zh) | 视频处理方法、装置、存储介质及计算机设备 | |
CN114205359A (zh) | 视频渲染协同方法、装置及设备 | |
CN113141352B (zh) | 多媒体数据的传输方法、装置、计算机设备和存储介质 | |
CN105163197A (zh) | 一种即时视频的编码方法和电子设备 | |
CN116954377A (zh) | Vr设备的图像显示方法、电子设备和计算机可读存储介质 | |
WO2023142715A1 (zh) | 视频编码方法、实时通信方法、装置、设备及存储介质 | |
CN111767271A (zh) | 数据处理方法及装置 | |
CN105163125A (zh) | 一种即时视频的编码方法和电子设备 | |
CN112183227B (zh) | 一种智能泛人脸区域的编码方法和设备 | |
CN116546262A (zh) | 一种数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |