CN116650958A - 画质增强方法、终端、计算机设备和计算机可读存储介质 - Google Patents
画质增强方法、终端、计算机设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116650958A CN116650958A CN202310614464.0A CN202310614464A CN116650958A CN 116650958 A CN116650958 A CN 116650958A CN 202310614464 A CN202310614464 A CN 202310614464A CN 116650958 A CN116650958 A CN 116650958A
- Authority
- CN
- China
- Prior art keywords
- picture
- terminal
- information
- enhancement mode
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000002787 reinforcement Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000015654 memory Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种画质增强方法、终端、计算机设备和计算机可读存储介质。其中,应用于第一终端的方法包括如下步骤:获取应用的运行信息,根据运行信息和/或用户操作匹配画质增强模式;获取操作信息,根据操作信息处理以得到原始画面;将操作信息和确定的画质增强模式发送至与第一终端关联的第二终端,以获取第二终端反馈回的补强画面;根据画质增强模式、原始画面和补强画面得到输出画面,并通过第一终端输出。因此,本申请能够根据应用的运行情况智能匹配所需的画质增强模式,使得一个终端可以实际输出多个终端处理得到的画面,从而实现分辨率和/或帧率的提升,提高用户体验。
Description
技术领域
本申请属于计算机技术领域,特别是涉及一种画质增强方法、终端、计算机设备和计算机可读存储介质。
背景技术
随着时代的发展,应用的功能越来越复杂,例如某些大型游戏等,对于硬件的配置要求高。而用户设备的硬件配置却良莠不齐,高画质或流畅体验不可兼得,甚至于有些设备无法运行。不过随着5G和千兆网络的快速发展和普及,终端网络的数据传输速度得到了大幅提升,更好的支持了流媒体的发展。其中云设备的概念及产品得到了快速的发展,通过云端计算串流的方式实现应用的云端运行,使得将本地运行的内容转移至云端。因此,针对于硬件要求高的设备,如何充分利用现有资源提高应用的运行表现效果,是本领域技术人员亟待解决的技术问题。
前面的叙述在于提供一般的背景信息,并不一定构成现有技术。
发明内容
基于此,有必要针对上述问题,提出了画质增强方法、终端、计算机设备和计算机可读存储介质,能够有效地提高输出画面的画质。
本申请解决其技术问题是采用以下的技术方案来实现的:
本申请提供了一种画质增强方法,应用于第一终端,第一终端为用户实际控制的终端,方法包括如下步骤:获取应用的运行信息,根据运行信息和/或用户操作匹配画质增强模式;获取操作信息,根据操作信息处理以得到原始画面;将操作信息和确定的画质增强模式发送至与第一终端关联的第二终端,以获取第二终端反馈回的补强画面;根据画质增强模式、原始画面和补强画面得到输出画面,并通过第一终端输出。
在本申请一可选实施例中,运行信息包括应用类型信息、运行节点信息、帧数信息、分辨率信息;根据运行信息匹配画质增强模式,包括:根据应用类型信息匹配对应的画质增强模式;和/或,根据运行节点信息匹配对应的画质增强模式;和/或,当帧数信息低于最低帧数阈值时,匹配第一增强模式,第一增强模式用于提高输出画面的帧数;和/或,当分辨率信息低于最低分辨率阈值时,匹配第二增强模式,第二增强模式用于提高输出画面的分辨率。
在本申请一可选实施例中,根据画质增强模式、原始画面和补强画面得到输出画面,包括:当画质增强模式为第一增强模式时,获取原始画面内每帧画面的第一帧信息和补强画面内每帧画面的第二帧信息,第一增强模式用于提高应用输出画面的帧数;根据第一帧信息依次排列原始画面,并根据第一帧信息和第二帧信息的相关关系,在相邻的两帧原始画面内插入至少一帧补强画面,以得到第一输出画面,第一输出画面的帧数高于原始画面和/或补强画面。
在本申请一可选实施例中,根据画质增强模式、原始画面和补强画面得到输出画面,包括:当画质增强模式为第二增强模式时,获取原始画面内每帧画面的第一位置信息和补强画面内每帧画面的第二位置信息,第二增强模式用于提高应用输出画面的分辨率;根据第一位置信息和第二位置信息的相关关系,在将同一帧的原始画面和补强画面根据计算机视觉融合技术进行融合,以得到第二输出画面,第二输出画面的分辨率高于原始画面和/或补强画面。
在本申请一可选实施例中,根据操作信息处理以得到原始画面之后,方法还包括:获取原始画面的画面信息,根据画面信息判断应用的运行流畅度;当运行流畅度不符合流畅情况时,执行后台清理操作,以关闭第一终端后台运行的非必要应用。
本申请还提供了一种画质增强方法,应用于第二终端,第二终端为与第一终端关联,以处理画面并反馈的终端,包括如下步骤:获取第一终端发送的操作信息和画质增强模式,画质增强模式包括第一增强模式和/或第二增强模式,第一增强模式用于提高应用输出画面的帧数,第二增强模式用于提高应用输出画面的分辨率;启动应用,应用与第一终端中运行的应用相同,通过应用处理操作信息以得到满足画质增强模式的补强画面,并反馈回第一终端。
在本申请一可选实施例中,通过应用处理操作信息以得到满足画质增强模式的补强画面,包括:通过应用处理操作信息以得到待处理画面;获取与第一终端间交互产生的时延,根据时延确定第一终端输出的原始画面的第一帧信息;当画质增强模式为第一增强模式时,根据第一帧信息对待处理画面进行修正,以得到第一补强画面,第一补强画面的第二帧信息与第一帧信息不同;和/或,当画质增强模式为第二增强模式时,根据第一帧信息对待处理画面进行修正,以得到第二补强画面,第二补强画面的第二帧信息与第一帧信息相同。
本申请还提供了一种终端,包括处理器和存储器:处理器用于执行存储器中存储的计算机程序以实现如前述的方法。
本申请还提供了一种计算机可读存储介质,存储有计算机程序,当计算机程序被处理器执行时实现如前述的方法。
采用本申请实施例,具有如下有益效果:
本申请能够根据应用的运行情况智能匹配所需的画质增强模式,使得一个终端可以实际输出多个终端输出的画面,从而实现分辨率和/或帧率的翻倍,提高用户体验。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明。应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一实施例提供的一种应用于第一终端的画质增强方法的流程示意图;
图2为一实施例提供的第一增强模式下时间轴上的原始画面的次序示意图;
图3为一实施例提供的第一增强模式下时间轴上的补强画面的次序示意图;
图4为一实施例提供的第一增强模式下时间轴上的输出画面的次序示意图;
图5为一实施例提供的第二增强模式下时间轴上的原始画面的次序示意图;
图6为一实施例提供的第二增强模式下时间轴上的补强画面的次序示意图;
图7为一实施例提供的第二增强模式下时间轴上的输出画面的次序示意图;
图8为一实施例提供的一种应用于第二终端的画质增强方法的流程示意图;
图9为一实施例提供的一种终端的第一结构示意框图;
图10为一实施例提供的一种终端的第二结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
市场上提供的各式应用,为追求良好的画面效果,对于硬件的要求都是极高的。然而用户设备的硬件条件则是良莠不齐的,单独一个设备可能无法实现良好的画面输出。如何提高应用的画质输出,本申请提出了一种画质增强方法,包括有步骤S110~S130。为了清楚描述本实施例提供的一种画质增强方法,请参考图1~图7。
本实施例提供的方法应用于第一终端,第一终端为用户实际控制的终端,具体可以为个人电脑或移动设备等。具体地,对于移动终端具体形式例如可以但不限于手机、平板电脑、个人数码助理(英文:personal digital assistant,缩写:PDA)、移动互联网设备(英文:mobile Internet device,缩写:MID)和可穿戴设备(例如智能手表)等。移动终端上可以通过的应用程序(例如APP)来对相应的信息进处理和展示,以及执行相应的操作,从而提升使用效率。后续将会详述第一终端是如何实现本实施例提供的画质增强方法。与第一终端相对的,还包括有第二终端,第二终端同样可以为个人电脑或移动设备,还可以为服务器、云端、显卡坞等另外设备,对于第二终端所执行的画质增强方法将会在后续详细描述,在此暂不展开。此外,可以理解的是整体而言,方法需要第一终端和第二终端配合以实现,故第一终端和第二终端间建立有通信连接。具体的,可以通过有线和/或无线的通信方式实现连接。进一步地,对于无线通信技术,可以包括但并不限于有:全球移动通信装置(GlobalSystem for Mobile Communication,GSM)、增强型移动通信技术(Enhanced Data GSMEnvironment,EDGE),宽带码分多址技术(wideband code division multiple access,W-CDMA)、码分多址技术(Code division access,CDMA)、时分多址技术(time divisionmultiple access,TDMA)、蓝牙、无线保真技术(Wireless,Fidelity,WiFi)(如美国电气和电子工程师协会标准IEEE 802.11a,IEEE 802.11b,IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over internet protocal,VoIP)、全球微波互联接入(WorldwideInteroperability for Microwave Access,Wi-Max)、其他用于邮件、即时通讯及短消息的协议,以及任何其他合适的通讯协议,甚至可包括那些当前仍未被开发出来的协议。
步骤S110:获取应用的运行信息,根据运行信息和/或用户操作匹配画质增强模式。
在一实施方式中,运行信息包括应用类型信息、运行节点信息、帧数信息、分辨率信息;根据运行信息匹配画质增强模式,包括:根据应用类型信息匹配对应的画质增强模式;和/或,根据运行节点信息匹配对应的画质增强模式;和/或,当帧数信息低于最低帧数阈值时,匹配第一增强模式,第一增强模式用于提高输出画面的帧数;和/或,当分辨率信息低于最低分辨率阈值时,匹配第二增强模式,第二增强模式用于提高输出画面的分辨率。
在一实施方式中,首先需要确定的是对于应用的画质增强模式。可以理解的是,在现实情况中对于应用输出画面的总体评价可以分为两个指标:帧数和分辨率,基于此在本实施例中提出了两种画质增强模式:用于提高输出画面帧数的第一增强模式和用于提高输出画面分辨率的第二增强模式。此外,在其他实施方式中,对于应用输出画面的指标除帧数和分辨率之外,还可以包括但不限于有:码率、颜色深度、模型精细度、贴图质量等。因此在现实情况中,除本实施例提出的较佳的第一增强模式和第二增强模式之外,还可以包括有其他提高输出画质指标的画质增强模式。本实施例着重对第一增强模式和第二增强模式的实现进行描述,对于其他指标,则可以按照指标的特性,和本实施例描述的方案进行相应的扩展,本申请实施例后续部分便不再赘述。
进一步地,对于画质增强模式的确定,可以通过手动和/或自动的方式进行确定。手动确定则即是通过用户操作,在第一终端上相应输入对应指令以确定所需要的画质增强模式。对于自动确定画质增强模式,则可以是依据运行信息以实现,其中运行信息是用于记录第一终端和/或应用的运行状态,例如包括但不限于是第一终端的运行状态、应用运行状态、应用输出输出画面的相应指标等,具体而言可以包括但不限于有应用类型信息、运行节点信息、帧数信息、分辨率信息。对于各个信息的具体含义和匹配过程,将会在后文中详述,
首先对于帧数信息和分辨率信息则是对于应用输出输出画面的相应指标,表征输出画面,也即用户看到的画面的帧数高低,及分辨率大小。对应的可以获取相应的最低标准,也即最低帧数阈值和/或最低分辨率阈值,并分别进行比对。当帧数信息低于最低帧数阈值时,匹配第一增强模式,以用于提高输出画面的帧数;当分辨率信息低于最低分辨率阈值时,匹配第二增强模式,以用于提高输出画面的分辨率。二者相互独立,可以各自匹配,也即是说对应的画质增强模式可以包括其中的任意一个,也可以同时包括两种画质增强模式,从而提高输出画面的画面效果。
另外,还可以通过应用类型信息自适应匹配画质增强模式。其中应用类型信息用于表征当前运行应用的类型,可以理解的是,不同的应用对于帧数和分辨率的需求是不同的。例如对于游戏应用,用户所需要的是更流畅的画面表现,也即对帧数需求的更高,需要更高的帧数;而对于影视播放、编解码的应用,电影只需要24帧即可以实现流畅,而其中的分辨率等指标更加看重,也即对于分辨率的需求更高。基于此,开发者可以设定一个数据表,其中记载有不同的应用类型对应需要匹配的画质增强模式。当应用被启动时,第一终端可以识别应用类型信息,并根据数据表记录的相关关系,自适应适配对应的画质增强模式。
此外,应用的运行并非是一成不变的,例如对于某些游戏应用,同时具备游玩的时间段和播片的时间段。如前文所述,用户可以操作互动的游玩时间段对于帧数的需求更高;而到了用户不需要操作,仅能观看的播片的时间段时,对于分辨率的需求不高。因此第一终端还可以获取应用的运行节点信息,运行节点信息用于表明当前应用运行至的时间节点,以区分应用当前表现对于用户而言是需要更高的帧数和/或更高的分辨率。同样如前文默认设定的数据表中查看相关关系,自适应地进行适配,从而提高输出画面的画质。此外值得注意的是,以上几个自动匹配模式和手动匹配模式,相互之间都是各自独立的,也即是说各自的判断相互不影响,各自之间可以根据实际需求任意组合、排列,具体如何实施及最终如何确定,彼此之间可以设定的权重、优先级,则根据现实情况和需求自行设定,在此便不再具体限定。
步骤S120:获取操作信息,根据操作信息处理以得到原始画面;将操作信息和确定的画质增强模式发送至与第一终端关联的第二终端,以获取第二终端反馈回的补强画面。
在一实施方式中,操作信息也即是用户在第一终端上输入的操作,第一终端通过运行相应应用,应用根据操作信息响应并处理,即可以获取得到原始画面。在通常情况下原始画面即进行输出了,在本申请提供的方法中可以不先行输出,等待与补强画面的融合后再进行输出,可以进一步提高画质。具体的,补强画面则是由于第一终端关联的第二终端生成,第二终端同样可以运行与第一终端相同的应用,并处理第一终端发送的操作信息所得到的画面。对于第二终端上执行的步骤,将会在后文中详述,此处暂不展开,仅需了解的是:第二终端会根据第一终端发送的画质增强模式和操作信息对应生成补强画面并反馈会第一终端,以便于执行后续处理。
在一实施方式中,根据操作信息处理以得到原始画面之后,方法还包括:获取原始画面的画面信息,根据画面信息判断应用的运行流畅度;当运行流畅度不符合流畅情况时,执行后台清理操作,以关闭第一终端后台运行的非必要应用。
在一实施方式中,可以理解的是,原始画面达不到设定的输出标准或者根据用户选择才需要执行画质增强方法,而本身的桎梏是因为第一终端的硬件缺陷导致的。而实现本方法,需要借助第二终端的配合以实现,但是需要他物的配合,始终都需要第一终端本身具备相应的能力或一定的冗余。基于此,在硬件条件有限的情况下,可以再进一步的创造较佳的运行条件提高原始画面质量,以及用于实现方法做准备。故可以在得到原始画面后,获取画面信息,根据预设的条件判断应用的运行流畅度。画面信息具体可以如前文所述的帧数、分辨率等信息,还可以包括延迟等参数,具体情况,可以根据预设的流畅度标准具体确定参数。在当运行流畅度不符合流畅情况时,执行后台清理操作,通过主动的清理第一终端后台运行的非必要应用,优化运行环境,以提高原始画面的输出质量和为执行方法做准备。此外,对于哪些应用属于非必要应用,则可以根据开发者和/或用户自行建立列表以设定,对此不做具体限制。清理操作的具体执行可以包括但不限于有,停止运行、降低占用率、休眠程序等,具体实施方式也可以根据实际需求做任意适配,对此不做限制。
步骤S130:根据画质增强模式、原始画面和补强画面得到输出画面,并通过第一终端输出。
在一实施方式中,根据画质增强模式、原始画面和补强画面得到输出画面,包括:当画质增强模式为第一增强模式时,获取原始画面内每帧画面的第一帧信息和补强画面内每帧画面的第二帧信息,第一增强模式用于提高应用输出画面的帧数;根据第一帧信息依次排列原始画面,并根据第一帧信息和第二帧信息的相关关系,在相邻的两帧原始画面内插入至少一帧补强画面,以得到第一输出画面,第一输出画面的帧数高于原始画面和/或补强画面。
在一实施方式中,为清楚描述第一增强模式下获取输出画面的技术方案,可以参考图2~图4。如图2所示,完整的时间轴上包括有若干时间节点,如t1、t2、t3、t4等。可以理解的是,在时间轴上,一帧画面在一个时间节点上进行显示,而由于第一终端受限于硬件条件的局限,所能生成的原始画面并不能把时间轴的每个时间节点,因此在时间轴上,第一终端能够生成的原始画面P1和P3,仅能在t1、t3时刻显示,而在t2、t4时刻由于性能欠缺,无法及时生成图像显示。其中第一帧信息也即是可以记录原始画面中,每一帧图像所占据的时间节点;同样的第二帧信息,则可以记录有补强画面每一帧所占据的时间节点。。因此,可以控制第二终端生成相应的补强画面,以填满时间轴上的空缺。所生成的补强画面则可以如图3所示,补强画面P3、P4占据了时间轴上t2、t4的时间节点。图2、图3所示的为理想情况,也即原始画面的第一帧信息和补强画面的第二帧信息在时间轴上是刚好错开的关系,因此可以直接将补强画面插入原始画面的时间轴中,从而得到如图4所示的原始画面。图2中t1到t4时刻的原始画面仅能输出两帧画面,在第一增强模式的融合下,最后图4输出画面在t1到t4的同样时间长度里,则能够实现四帧画面的输出,从而提高了画面输出的帧数,让用户感觉到更加流畅。而以上的例举都是理想情况下的描述,而实际情况中,实际上补强画面可能会和原始画面在时间轴上重合,基于此可以通过比对第一帧信息和第二帧信息的相关性,将与原始画面有时间上的重合补强画面剔除,并在两帧原始画面内如果可以插入的话,至少插入至少一帧补强画面。此外,由于第一终端为用户操作的终端,故数量始终唯一,但作为提供补强画面的第二终端数量则可以不唯一,也即是说补强画面同时可以包括多个序列。同样以图4为例,可以为t1和t4时刻的P1、P4为原始画面,则两个时间节点中间的P2、P3则为补强画面。其中,P2、P3可以为同一个第二终端提供的,可以为不同的第二终端提供的。而之于P3在t2时刻显示,P2在t3时刻显示,则是根据二者的第二帧信息和第一帧信息的相关关系所确定的。基于此,最终得到的如图4所示的原始画面,帧数高于原始画面或补强画面中的任意一个,使得提高了用户的观感体验,能够查看更加流畅的应用画面。
在一实施方式中,根据画质增强模式、原始画面和补强画面得到输出画面,包括:当画质增强模式为第二增强模式时,获取原始画面内每帧画面的第一位置信息和补强画面内每帧画面的第二位置信息,第二增强模式用于提高应用输出画面的分辨率;根据第一位置信息和第二位置信息的相关关系,在将同一帧的原始画面和补强画面根据计算机视觉融合技术进行融合,以得到第二输出画面,第二输出画面的分辨率高于原始画面和/或补强画面。
在一实施方式中,为清楚描述第二增强模式下获取输出画面的技术方案,可以参考图5~图7。可以理解的是分辨率的提升,显然需要同帧画面的错位叠加。因此与第一增强模式近似的是,第二增强模式也同样需要原始画面和补强画面。而区别在于,第一增强模式下生成的原始画面和补强画面的帧信息所表征的显示时间节点是不同的,而在第二增强模式下生成的原始画面和补强画面的帧信息所表征的显示时间节点是相同,在此情况下默认需要根据如前文所述第一帧信息和第二帧信息对原始画面和补强画面进行筛选,以确定出用于处理的原始画面和补强画面都在同一时间节点上显示。如图5、图6所示,作为原始画面的P5a、P6a、P7a和作为补强画面的P5b、P6b、P7b,分别都是同一时间节点内显示的。并且可以看到原始画面的P5a、P6a、P7a和作为补强画面的P5b、P6b、P7b实际上都各自显示了完整画面的一部分,还有一部分是空缺的(如图中的灰色区域显示,同时值得注意的是,灰色区域表示该画面没有完整占满全部画幅,并非是空余该区域不显示,实际的空余需要根据最终合成得到的输出画面的分辨率进行设定)。因此,第一位置信息和第二位置信息则是分别记录原始画面和补强画面各个像素点在什么位置上显示,在什么位置上不显示。根据第一位置信息和第二位置信息记录的信息,则可以在同一帧内,用补强画面填满原始画面显示的空缺部分,使得分辨率提高,并利用计算机视觉融合技术进行融合、修饰,以最终得到分辨率更高的输出画面,也即如图7所示的输出画面P5、P6、P7,其分辨率都高于作为原始画面的P5a、P6a、P7a和作为补强画面的P5b、P6b、P7b。同样的,原始画面可以仅有一个,而补强画面则可以至少有一个,通过第一位置信息和第二位置信息的相关关系进行画面填补,从而得到分辨率高于原始画面和/或补强画面的输出画面,让用户观察到细节更丰富,内容更像是,画面更信息的高分辨率的输出画面,提高用户的体验。
因此,本申请能够根据应用的运行情况智能匹配所需的画质增强模式,使得一个终端可以实际输出多个终端输出的画面,从而实现分辨率和/或帧率的翻倍,提高用户体验。
图8示出了一种应用于第二终端的画质增强方法的流程示意图。可以理解的是,前文所述的画质增强方法都着重与第一终端处的处理,而第一终端的方法实现同样需要第二终端反馈回的补强画面以完成。应用于第二终端的画质增强方法包括有步骤S810~S820。
S810:获取第一终端发送的操作信息和画质增强模式。
在一实施方式中,画质增强模式包括第一增强模式和/或第二增强模式,第一增强模式用于提高应用输出画面的帧数,第二增强模式用于提高应用输出画面的分辨率。
S820:启动应用,应用与第一终端中运行的应用相同,通过应用处理操作信息以得到满足画质增强模式的补强画面,并反馈回第一终端。
通过应用处理操作信息以得到满足画质增强模式的补强画面,包括:通过应用处理操作信息以得到待处理画面;获取与第一终端间交互产生的时延,根据时延确定第一终端输出的原始画面的第一帧信息;当画质增强模式为第一增强模式时,根据第一帧信息对待处理画面进行修正,以得到第一补强画面,第一补强画面的第二帧信息与第一帧信息不同;和/或,当画质增强模式为第二增强模式时,根据第一帧信息对待处理画面进行修正,以得到第二补强画面,第二补强画面的第二帧信息与第一帧信息相同。
在一实施方式中,第二终端可以为云端服务器,当获取到操作信息时,则可以获取、安装、并启动与第一终端中运行的应用同样的应用,例如获取用户ID、游戏ID等进行登陆,确保运行同样的应用。并通过应用同样处理操作信息,从而获取得到待处理画面。待处理画面是第二终端中的应用初步处理得到的画面,实际上并不一定满足所需的画质增强模式。获取第二终端与第一终端交互所产生的时延,并对待处理画面进行修饰,从而生成满足需求的补强画面。具体的,可以为首先确定第一终端所需的画质增强模式,以及二者间交互的时延。根据前文的描述可知,对于第一增强模式而言,补强画面的第二帧信息所表征的补强画面显示的时间节点,需要与原始画面显示的时间节点不同。基于此,第二终端可以对通过时延推测出原始画面第一帧信息所标示的画面将会显示的时间节点,并对待处理画面进行调整,确保在原始画面的显示节点和/或附近,不会有补强画面,避免显示错误。从而确保相邻两帧原始画面间,都有适宜的补强画面显示,以确保画面的流畅性。同样的,对于第一终端确定为第二增强模式的,同样需要第一帧信息和第二帧信息对待处理画面进行调整,确保反馈回的补强画面能够与对应的原始画面在同一时间节点上显示。并且在同时显示的同时,还需要获取原始画面的第一位置信息,并基于此对待处理画面进行调整,所得到的补强画面表征的显示位置刚好是与原始画面错开的,从而实现第一终端处理后,所得到的输出画面分辨率是高于原始画面和/或补强画面的。
因此本申请提供的应用于第二终端的画质增强方法,能够运行与第一终端中运行的应用相同的应用,并同样根据操作信息进行处理得到待处理画面。并借助第一终端和第二终端间的时延对待处理画面进行处理,使得待处理画面能够根据时延和画质增强模式进行调整,得到能够用于对原始画面进行补全的补强画面,以协助调高用户的观感,提高用户体验。
图9示出了一个实施例中终端的第一结构示意框图。移动端至少包括有处理器A101及存储器A201,其中,处理器A101用于执行存储器A201中存储的计算机程序A6以实现如前文所述的方法。进一步地,对于图9所示的终端,可以为第一终端,也可以为第二终端。
在一可选实施方式中,本实施例提供的终端可以包括至少一个处理器A101,以及至少一个存储器A201。其中,至少一个处理器A101可以称为处理单元A1,至少一个存储器A201可以称为存储单元A2。具体地,存储单元A2存储有计算机程序A6,当该计算机程序A6被处理单元A1执行时,实现如前文所述方法。
在一可选实施方式中,可以包括多个存储器A201(简称为存储单元A2)。
在一可选实施方式中,移动端还包括连接不同组件(例如处理器A101和存储器A201、触控显示屏A3等等)的总线。其中对于触控显示屏A3即可以接收用户在终端上输入的操作,以便于终端处理得到操作信息。
在一可选实施方式中,本实施例中的终端还可以包括通信接口(例如I/O接口A4),该通信接口可以用于与其他设备交互。
在一可选实施方式中,本实施例提供的移动端还可以包括通信装置A5。通信装置A5使得终端可以通过有线和/或无线的通信方式实现与云端和/其他外部设备的通信连接,例如第一终端和第二终端间的通信交互。
图10示出了一个实施例中终端的第二结构内部结构图。该终端具体可以是前文所述的第一终端,也可以是第二终端,优选的可以为第二终端。如图10所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现画质增强方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行画质增强方法。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请还提出了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如前述方法的步骤,
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种画质增强方法,其特征在于,应用于第一终端,所述第一终端为用户实际控制的终端,方法包括如下步骤:
获取应用的运行信息,根据运行信息和/或用户操作匹配画质增强模式;
获取操作信息,根据所述操作信息处理以得到原始画面;将所述操作信息和确定的所述画质增强模式发送至与所述第一终端关联的第二终端,以获取所述第二终端反馈回的补强画面;
根据所述画质增强模式、所述原始画面和所述补强画面得到输出画面,并通过所述第一终端输出。
2.如权利要求1所述的画质增强方法,其特征在于,所述运行信息包括应用类型信息、运行节点信息、帧数信息、分辨率信息;
根据运行信息匹配画质增强模式,包括:
根据所述应用类型信息匹配对应的所述画质增强模式;和/或,
根据所述运行节点信息匹配对应的所述画质增强模式;和/或,
当所述帧数信息低于最低帧数阈值时,匹配第一增强模式,所述第一增强模式用于提高所述输出画面的帧数;和/或,
当所述分辨率信息低于最低分辨率阈值时,匹配第二增强模式,所述第二增强模式用于提高所述输出画面的分辨率。
3.如权利要求1所述的画质增强方法,其特征在于,所述根据所述画质增强模式、所述原始画面和所述补强画面得到输出画面,包括:
当所述画质增强模式为第一增强模式时,获取所述原始画面内每帧画面的第一帧信息和所述补强画面内每帧画面的第二帧信息,所述第一增强模式用于提高应用输出画面的帧数;
根据所述第一帧信息依次排列所述原始画面,并根据所述第一帧信息和所述第二帧信息的相关关系,在相邻的两帧所述原始画面内插入至少一帧所述补强画面,以得到第一输出画面,所述第一输出画面的帧数高于所述原始画面和/或所述补强画面。
4.如权利要求1所述的画质增强方法,其特征在于,所述根据所述画质增强模式、所述原始画面和所述补强画面得到输出画面,包括:
当所述画质增强模式为第二增强模式时,获取所述原始画面内每帧画面的第一位置信息和所述补强画面内每帧画面的第二位置信息,所述第二增强模式用于提高应用输出画面的分辨率;
根据所述第一位置信息和所述第二位置信息的相关关系,在将同一帧的所述原始画面和所述补强画面根据计算机视觉融合技术进行融合,以得到第二输出画面,所述第二输出画面的分辨率高于所述原始画面和/或所述补强画面。
5.如权利要求1所述的画质增强方法,其特征在于,所述根据所述操作信息处理以得到原始画面之后,所述方法还包括:
获取所述原始画面的画面信息,根据所述画面信息判断所述应用的运行流畅度;
当所述运行流畅度不符合流畅情况时,执行后台清理操作,以关闭所述第一终端后台运行的非必要应用。
6.一种画质增强方法,其特征在于,应用于第二终端,所述第二终端为与第一终端关联,以处理画面并反馈的终端,包括如下步骤:
获取所述第一终端发送的操作信息和画质增强模式,所述画质增强模式包括第一增强模式和/或第二增强模式,所述第一增强模式用于提高应用输出画面的帧数,所述第二增强模式用于提高应用输出画面的分辨率;
启动应用,所述应用与所述第一终端中运行的应用相同,通过所述应用处理所述操作信息以得到满足所述画质增强模式的补强画面,并反馈回所述第一终端。
7.如权利要求6所述的画质增强方法,其特征在于,所述通过所述应用处理所述操作信息以得到满足所述画质增强模式的补强画面,包括:
通过所述应用处理所述操作信息以得到待处理画面;
获取与所述第一终端间交互产生的时延,根据所述时延确定所述第一终端输出的原始画面的第一帧信息;
当所述画质增强模式为所述第一增强模式时,根据所述第一帧信息对所述待处理画面进行修正,以得到第一补强画面,所述第一补强画面的第二帧信息与所述第一帧信息不同;和/或,
当所述画质增强模式为所述第二增强模式时,根据所述第一帧信息对所述待处理画面进行修正,以得到第二补强画面,所述第二补强画面的第二帧信息与所述第一帧信息相同。
8.一种终端,其特征在于,包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序以实现如权利要求1到5中任一项所述的画质增强方法。
9.一种终端,其特征在于,包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序以实现如权利要求6或7所述的画质增强方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1到5中任一项所述方法或权利要求6或7所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310614464.0A CN116650958A (zh) | 2023-05-26 | 2023-05-26 | 画质增强方法、终端、计算机设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310614464.0A CN116650958A (zh) | 2023-05-26 | 2023-05-26 | 画质增强方法、终端、计算机设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116650958A true CN116650958A (zh) | 2023-08-29 |
Family
ID=87721806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310614464.0A Pending CN116650958A (zh) | 2023-05-26 | 2023-05-26 | 画质增强方法、终端、计算机设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116650958A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160295158A1 (en) * | 2013-07-01 | 2016-10-06 | Barco N.V. | Method and processor for streaming video processing |
CN112965922A (zh) * | 2021-03-03 | 2021-06-15 | 南昌黑鲨科技有限公司 | 一种用于增强智能终端的ai性能的方法及系统 |
CN115002516A (zh) * | 2022-04-18 | 2022-09-02 | 北京旷视科技有限公司 | 视频处理的系统、方法、电子设备、存储介质及程序产品 |
-
2023
- 2023-05-26 CN CN202310614464.0A patent/CN116650958A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160295158A1 (en) * | 2013-07-01 | 2016-10-06 | Barco N.V. | Method and processor for streaming video processing |
CN112965922A (zh) * | 2021-03-03 | 2021-06-15 | 南昌黑鲨科技有限公司 | 一种用于增强智能终端的ai性能的方法及系统 |
CN115002516A (zh) * | 2022-04-18 | 2022-09-02 | 北京旷视科技有限公司 | 视频处理的系统、方法、电子设备、存储介质及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10659847B2 (en) | Frame dropping method for video frame and video sending apparatus | |
US20200244969A1 (en) | Video compression with generative models | |
CN106936671B (zh) | 多屏互动方法、装置及终端设备 | |
US20210360047A1 (en) | Video coding method and video decoding method | |
WO2020048429A1 (zh) | 一种媒体资源获取的方法及装置 | |
KR100632793B1 (ko) | 동화상을 변환하는 방법 및 장치, 동화상을 전송하는 방법 및 장치, 그리고 이들을 위한 프로그램이 기록된 기록매체 | |
CN109729391B (zh) | 一种多路媒体流的发送方法及系统 | |
US11356739B2 (en) | Video playback method, terminal apparatus, and storage medium | |
CN109816757A (zh) | 播放帧动画的方法及装置、计算机设备、计算机存储介质 | |
CN111970565A (zh) | 视频数据处理方法、装置、电子设备及存储介质 | |
US7423649B2 (en) | Methods and devices for creating, downloading and managing an animation | |
US20240098316A1 (en) | Video encoding method and apparatus, real-time communication method and apparatus, device, and storage medium | |
CN105379281B (zh) | 用于使用图形处理器的视频解码的图片参考控制 | |
EP3920537A1 (en) | Video decoding method and apparatus, video encoding method and apparatus, storage medium and electronic device | |
CN110049347A (zh) | 在直播界面配置图像的方法、系统、终端和装置 | |
CN115708356A (zh) | 视频处理方法、装置、设备及计算机可读存储介质 | |
CN110572713B (zh) | 一种自适应视频宽高比的转码方法及处理终端 | |
CN116650958A (zh) | 画质增强方法、终端、计算机设备和计算机可读存储介质 | |
US11553224B1 (en) | Method and device for adjusting bit rate during live streaming | |
CN112243136A (zh) | 内容播放方法、视频存储方法和设备 | |
CN112714341A (zh) | 信息获取方法、云化机顶盒系统、实体机顶盒及存储介质 | |
CN113141352B (zh) | 多媒体数据的传输方法、装置、计算机设备和存储介质 | |
CN110941413B (zh) | 显示画面的生成方法及相关装置 | |
CN116112456B (zh) | 一种基于bap协议的数据缓存方法、装置、设备及介质 | |
CN114418654B (zh) | 一种基于智能终端接口切换的广告推荐方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |