CN112999654B - 图像处理方法、装置、计算机设备及存储介质 - Google Patents

图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112999654B
CN112999654B CN202110242584.3A CN202110242584A CN112999654B CN 112999654 B CN112999654 B CN 112999654B CN 202110242584 A CN202110242584 A CN 202110242584A CN 112999654 B CN112999654 B CN 112999654B
Authority
CN
China
Prior art keywords
target
color
image
visual
dyschromatopsia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110242584.3A
Other languages
English (en)
Other versions
CN112999654A (zh
Inventor
刘清文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110242584.3A priority Critical patent/CN112999654B/zh
Publication of CN112999654A publication Critical patent/CN112999654A/zh
Application granted granted Critical
Publication of CN112999654B publication Critical patent/CN112999654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor

Abstract

本申请公开了一种图像处理方法、装置、计算机设备及介质,其中方法包括:获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;融合修正后的视图和所述初始图像,得到视觉辅助图像,并输出所述视觉辅助图像。本申请可有效提升图像的辨识度,以较好地辅助用户进行图像识别理解,进而有效提升用户粘度。

Description

图像处理方法、装置、计算机设备及存储介质
技术领域
本申请涉及互联网技术领域,具体涉及图像处理技术领域,尤其涉及一种图像处理方法、一种图像处理装置、一种计算机设备及一种计算机存储介质。
背景技术
色觉障碍用户(可简称为色障用户)是指:不能分辨自然光谱中的各种颜色或某种颜色的用户;其可包括色盲和色弱,所谓的色盲是指先天性色觉障碍、完全丧失对某种或某几种颜色的分辨能力(感知能力)的用户,所谓的色弱则是指某种或某几种颜色的分辨能力较差的用户。例如,常见的色障用户有如红绿色盲(即完全丧失对红色/绿色的分辨能力的用户)、红绿色弱(即对红色/绿色的分辨能力较差的用户),等等。
可见,对于色障用户而言,当终端屏幕中所显示的彩色图像包括其无法感知或感知较弱的颜色时,会使得该色障用户无法较为准确地对该彩色图像进行识别理解;基于此,如何提升图像的辨识度,以辅助色障用户更好地对彩色图像进行识别理解,成为了目前亟需解决的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,可有效提升图像的辨识度,以较好地辅助用户进行图像识别理解,进而有效提升用户粘度。
第一方面,本申请实施例提供了一种图像处理方法,所述方法包括:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
融合修正后的视图和所述初始图像,得到视觉辅助图像,并输出所述视觉辅助图像。
另一方面,本申请实施例提供了一种图像处理装置,所述装置包括:
获取单元,用于获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
处理单元,用于采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
所述处理单元,还用于根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
所述处理单元,还用于融合修正后的视图和所述初始图像,得到视觉辅助图像,并输出所述视觉辅助图像。
本申请实施例可针对不同色觉障碍类型的用户,较为灵活地为其提供不同的视觉辅助图像。具体的,针对待显示的初始图像,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图;并可根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,使得该视觉辅助图像不仅可保持原初始图像所具有的场景自然色彩,还可具有比初始图像更高的图像辨识度。最后,可通过输出该视觉辅助图像,来辅助目标用户更好地进行图像识别理解,从而有效提升用户粘度。
第二方面,本申请实施例提供了一种图像处理方法,所述方法由游戏客户端执行,所述游戏客户端是指用于显示目标云游戏的游戏画面的客户端,所述游戏客户端与云游戏服务器中的目标容器进行通信,所述目标容器用于运行所述目标云游戏;所述方法包括:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
在显示所述目标云游戏的当前游戏画面的过程中,若检测到所述目标用户的用户操作事件,则将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中,使得所述云游戏服务器在根据所述用户操作事件获取到初始图像后,将所述初始图像下发至所述游戏客户端;
在接收到所述初始图像后,采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
融合修正后的视图和所述初始图像,得到视觉辅助图像,并显示所述视觉辅助图像。
另一方面,本申请实施例提供了一种图像处理装置,所述装置运行在游戏客户端中,所述游戏客户端是指用于显示目标云游戏的游戏画面的客户端,所述游戏客户端与云游戏服务器中的目标容器进行通信,所述目标容器用于运行所述目标云游戏;所述装置包括:
获取单元,用于获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
通信单元,用于在显示所述目标云游戏的当前游戏画面的过程中,若检测到所述目标用户的用户操作事件,则将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中,使得所述云游戏服务器在根据所述用户操作事件获取到初始图像后,将所述初始图像下发至所述游戏客户端;
处理单元,用于在接收到所述初始图像后,采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
所述处理单元,还用于根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
所述处理单元,还用于融合修正后的视图和所述初始图像,得到视觉辅助图像;
所述显示单元,用于显示所述视觉辅助图像。
本申请实施例中的游戏客户端可针对不同色觉障碍类型的用户,较为灵活地为其显示目标云游戏的不同的视觉辅助图像。具体的,游戏客户端在显示目标云游戏的当前游戏画面的过程中,若检测到目标用户的用户操作事件,则可根据该用户操作事件从云游戏服务器处获取待显示的初始图像。针对该初始图像,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图;并可根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,并输出该视觉辅助图像,以帮助目标用户在不破坏游戏体验的同时,保持场景自然色彩,提升场景分辨能力,从而提升目标用户玩游戏过程的舒适度,进而有效提升用户粘度。由于整个图像处理过程不受终端类型和操作系统的限制,可全端生效,使得游戏开发者无需对云游戏的实现逻辑作修改和适配,具有较强的适用性。
第三方面,本申请实施例提供了一种图像处理方法,所述方法由云游戏服务器执行,所述云游戏服务器包括用于运行目标云游戏的目标容器,所述目标容器和游戏客户端进行通信,所述游戏客户端是指用于显示目标云游戏的游戏画面的客户端;所述方法包括:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
若从所述游戏客户端处接收到所述目标用户的用户操作事件,则根据所述用户操作事件获取初始图像;
采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
融合修正后的视图和所述初始图像,得到视觉辅助图像;并将所述视觉辅助图像下发至所述游戏客户端,使所述游戏客户端显示所述视觉辅助图像。
另一方面,本申请实施例提供了一种图像处理装置,所述装置运行在云游戏服务器中,所述云游戏服务器包括用于运行目标云游戏的目标容器,所述目标容器和游戏客户端进行通信,所述游戏客户端是指用于显示目标云游戏的游戏画面的客户端;所述装置包括:
获取单元,用于获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
所述获取单元,还用于若从所述游戏客户端处接收到所述目标用户的用户操作事件,则根据所述用户操作事件获取初始图像;
处理单元,用于采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
所述处理单元,还用于根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
所述处理单元,还用于融合修正后的视图和所述初始图像,得到视觉辅助图像;
通信单元,用于将所述视觉辅助图像下发至所述游戏客户端,使所述游戏客户端显示所述视觉辅助图像。
本申请实施例中的云游戏服务器可针对不同色觉障碍类型的用户,较为灵活地为其提供目标云游戏的不同的视觉辅助图像。具体的,云游戏服务器在根据游戏客户端发送的用户操作事件获取到待显示的初始图像后,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图。再根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,并将该视觉辅助图像下发至游戏客户端,使游戏客户端显示视觉辅助图像而非显示初始图像;通过显示视觉辅助图像,可帮助目标用户在不破坏游戏体验的同时,保持场景自然色彩,提升场景分辨能力,从而提升目标用户玩游戏过程的舒适度,进而有效提升用户粘度。由于整个图像处理过程不受终端类型和操作系统的限制,可全端生效,使得游戏开发者无需对云游戏的实现逻辑作修改和适配,具有较强的适用性;并且,由于视觉辅助图像是由云游戏服务器生成的,游戏客户端只需显示图像即可,因此无需游戏客户端拥有强大的图形运算与数据处理能力,可降低对游戏客户端侧的硬件环境要求。
可选的,本申请实施例还提供了一种计算机设备,所述计算机设备包括输入接口和输出接口,所述计算机设备还包括:
处理器,适于实现一条或多条第一指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行如下步骤:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
融合修正后的视图和所述初始图像,得到视觉辅助图像,并输出所述视觉辅助图像。
或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行如下步骤:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
在显示所述目标云游戏的当前游戏画面的过程中,若检测到所述目标用户的用户操作事件,则将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中,使得所述云游戏服务器在根据所述用户操作事件获取到初始图像后,将所述初始图像下发至所述游戏客户端;
在接收到所述初始图像后,采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
融合修正后的视图和所述初始图像,得到视觉辅助图像,并显示所述视觉辅助图像。
或者,所述计算机存储介质存储有一条或多条第三指令,所述一条或多条第三指令适于由所述处理器加载并执行如下步骤:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
若从所述游戏客户端处接收到所述目标用户的用户操作事件,则根据所述用户操作事件获取初始图像;
采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
融合修正后的视图和所述初始图像,得到视觉辅助图像;并将所述视觉辅助图像下发至所述游戏客户端,使所述游戏客户端显示所述视觉辅助图像。
再一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由处理器加载并执行上述第一方面所提及的图像处理方法;或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由处理器加载并执行上述第二方面所提及的图像处理方法;或者,所述计算机存储介质存储有一条或多条第三指令,所述一条或多条第三指令适于由处理器加载并执行上述第三方面所提及的图像处理方法。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种图像处理方案的效果示意图;
图1b是本申请实施例提供的一种输出视觉辅助图像的示意图;
图2是本申请实施例提供的一种图像处理方法的流程示意图;
图3a是本申请实施例提供的一种信息设置界面的示意图;
图3b是本申请实施例提供的另一种信息设置界面的示意图;
图3c是本申请实施例提供的另一种信息设置界面的示意图;
图3d是本申请实施例提供的一种根据初始图像得到目标模拟视图的示意图;
图3e是本申请实施例提供的一种根据初始图像得到中间图像的示意图;
图3f是本申请实施例提供的一种根据中间图像得到初始模拟视图的示意图;
图3g是本申请实施例提供的一种根据初始模拟视图得到目标模拟视图的示意图;
图3h是本申请实施例提供的一种根据初始图像和目标模拟视图得到视觉辅助图像的示意图;
图3i是本申请实施例提供的一种对视觉辅助图像中的目标元素进行标注显示的示意图;
图4a是本申请实施例提供的一种云游戏的运行原理示意图;
图4b是本申请实施例提供的一种视觉辅助模式的介入点的示意图;
图4c是本申请实施例提供的一种服务器模式的视觉辅助处理的流程示意图;
图4d是本申请实施例提供的一种客户端模式的视觉辅助处理的流程示意图;
图5a是本申请另一实施例提供的一种图像处理方法的流程示意图;
图5b是本申请实施例提供的一种视觉辅助信息的设置示意图;
图5c是本申请实施例提供的一种将视觉辅助信息发送至云游戏服务器的示意图;
图6是本申请另一实施例提供的一种图像处理方法的流程示意图;
图7是本申请实施例提供的一种图像处理装置的结构示意图;
图8是本申请另一实施例提供的一种图像处理装置的结构示意图;
图9是本申请另一实施例提供的一种图像处理装置的结构示意图;
图10是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
随着互联网技术的不断发展,人工智能(Artificial Intelligence,AI)技术也随之得到更好的发展。所谓的人工智能技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术;其主要通过了解智能的实质,生产出一种新的能以人类智能相似的方式做出反应的智能机器,使得智能机器具有感知、推理与决策等多种功能。相应的,AI技术是一门综合学科,其主要包括计算机视觉技术(Computer Vision,CV)、语音处理技术、自然语言处理技术以及机器学习(MachineLearning,ML)/深度学习等几大方向。
其中,计算机视觉技术是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(OpticalCharacter Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
基于上述所提及的AI技术中的计算机视觉技术,本申请实施例提出了一种图像处理方案,以实现对色障用户进行视觉辅助,所谓的视觉辅助是指通过颜色矫正,从而帮助色盲、色弱等色障用户更好地区分颜色。在具体实现中,该图像处理方案可由一个计算机设备执行,该计算机设备可以是终端或者服务器。其中,终端可包括但不限于:智能手机、平板电脑、笔记本电脑、台式计算机等;终端内可安装并运行各式各样的客户端(或称为应用(application,APP)),如游戏客户端、视频客户端等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,等等。可选的,在其他实施例中,该图像处理方案也可由终端内的任一客户端执行,本申请实施例对此不作限制。并且,该计算机设备可以位于区块链网络内,也可以位于区块链网络外,对此不作限定;所谓的区块链网络是一种由点对点网络(P2P网络)和区块链所构成的网络,而区块链则是指一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,其本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块(或称为区块)。
其中,该图像处理方案的大致原理如下:针对任一色觉异常的目标用户而言,可获取该目标用户的目标色觉障碍类型和色觉辅助辨识度;此处的目标色觉障碍类型可用于指示目标用户无法分辨或较难分辨的颜色(即感知异常的颜色),色觉辅助辨识度用于指示对目标用户感知异常的目标像素点进行颜色修正的修正幅度。在获取到待显示的初始图像后,可先根据色觉障碍类型预测出目标用户感知异常的目标像素点;然后,可采用该色觉辅助辨识度对目标像素点进行颜色修正,从而根据目标像素点的修正后的颜色值,将初始图像渲染成对目标用户友好的视觉辅助图像。例如,假设目标用户的目标色觉障碍类型为红色类型,即目标用户为红色盲或红色弱。若待显示的初始图像为图1a中的上侧图所示,且图1a中的图像区域11中的各个像素点的颜色均为红色(设在图中采用竖状条纹表示红色),则可根据该目标色觉障碍类型预测出图像区域11中的各个像素点均为目标用户感知异常的目标像素点。然后,计算机设备可采用该色觉辅助辨识度对图像区域11中的各个像素点进行颜色修正,例如该图像区域11中的各个像素点通过颜色修正后的颜色值均为橙色(设在图中采用斜状条纹表示橙色);那么在根据修正后的颜色值对初始图像进行渲染后,便可得到图1a中的下侧图所示的视觉辅助图像。
在得到该视觉图像后,计算机设备可输出该视觉辅助图像,以便于目标用户更好地进行颜色区分,从而辅助目标用户更好地进行图像识别理解。应理解的是,若计算机设备为终端,则计算机设备输出视觉辅助图像的具体方式为:在目标用户的终端屏幕中显示该视觉辅助图像;若计算机设备为服务器,则该计算机设备可与目标用户所使用的终端建立无线或有线的通信连接,那么计算机设备输出视觉辅助图像的具体方式为:通过该通信连接将该视觉辅助图像下发至目标用户使用的终端,由该终端在目标用户的终端屏幕中显示该视觉辅助图像,如图1b所示。
基于上述的方案描述可见,本申请实施例所提出的图像处理方案,可针对不同色觉障碍类型的用户,较为灵活地为其提供不同的视觉辅助图像,从而辅助目标用户更好地进行图像识别理解,从而有效提升用户粘度。通过目标色觉障碍类型和色觉辅助辨识度,对初始图像进行图像处理来得到视觉辅助图像;不仅可使得视觉辅助图像保持原初始图像所具有的场景自然色彩,还可使得视觉辅助图像的色彩标识效果可以达到适合目标用户的效果,从而具有比初始图像更高的图像辨识度,进而使得目标用户可以更好地区分视觉辅助图像中的不同颜色。
基于上述的描述,本申请实施例提出一种图像处理方法;该图像处理方法可以由上述所提及的计算机设备(即终端或服务器)执行,或者由终端中运行的客户端执行,又或者由终端和服务器协同执行等等。为便于阐述,本申请实施例主要以计算机设备执行该图像处理方法为例进行说明;请参见图2,该图像处理方法可包括以下步骤S201-S205:
S201,获取目标用户的视觉辅助信息。
其中,视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度。此处的目标色觉障碍类型可用于指示目标用户无法分辨或较难分辨的颜色,其可以是任一色觉障碍类型,如红色类型、蓝色类型、绿色类型等等。例如,若目标色觉障碍类型为红色类型,则表明目标用户无法分辨或者难以分辨红色,即表明目标用户为红色盲或红色弱;又如,若目标色觉障碍类型为蓝色类型,则表明目标用户无法分辨或者难以分辨蓝色,即表明目标用户为蓝色盲或蓝色弱;再如,若目标色觉障碍类型为绿色类型,则表明目标用户无法分辨或难以分辨绿色,即表明目标用户为绿色盲或绿色弱,等等。
色觉辅助辨识度可用于指示对目标用户感知异常的目标像素点进行颜色修正的修正幅度,该色觉辅助辨识度的取值范围可以是0.1-1.0,或者0-2等;其具体取值可根据经验值设置,或者由目标用户自己设置,对此不作限制。此处所提及的“目标用户感知异常的目标像素点”是指:真实颜色和目标用户所感知的颜色存在差异的像素点;例如,某个像素点a的真实颜色为红色,但目标用户感知到的像素点a的颜色为绿色,则该像素点a可作为目标像素点;又如,某个像素点b的真实颜色为深蓝色,但目标用户感知到像素点b的颜色为浅蓝色,则该像素b也可作为目标像素点,等等。
在一种具体实现中,目标用户的视觉辅助信息可以是由计算机设备通过数据计算来自动获取到的;在此具体实现中,步骤S201的具体实施方式可以包括:获取目标用户的用户信息(如就诊信息、用户健康卡信息等),根据该用户信息确定目标用户的目标色觉障碍类型;在确定目标色觉障碍类型后,可根据经验值或者预设的色觉障碍类型和辨识度之间的对应关系,获取色觉辅助辨识度。
再一种具体实现中,目标用户的视觉辅助信息可以是由目标用户通过信息设置界面自主设置的;在此具体实现中,步骤S201的具体实施方式可以包括:输出信息设置界面10,该信息设置界面10可包括:辨识度设置区11,以及一个或多个类型选项12,一个类型选项12对应一个色觉障碍类型。在输出信息设置界面10后,目标用户可根据自身情况输入类型选择操作以及辨识度设置操作来设置视觉辅助信息;相应的,计算机设备可根据类型选择操作在一个或多个类型选项12中选中目标类型选项,并根据辨识度设置操作在辨识度设置区中显示目标辨识度;若检测到针对目标类型选项和目标辨识度的确认操作,则将目标类型选项对应的目标色觉障碍类型添加至目标用户的视觉辅助信息,以及将目标辨识度作为色觉辅助辨识度添加至视觉辅助信息中。
其中,辨识度设置区11可包括:辨识度滑杆110、滑动组件111和辨识度提示区112;在此情况下,辨识度设置操作可以包括:控制该滑动组件111在辨识度滑杆上进行滑动的触控操作。那么,根据辨识度设置操作在辨识度设置区显示目标辨识度的实施方式可以是:根据辨识度设置操作确定滑动组件111在辨识度滑杆110上的目标位置,基于位置和辨识度之间的对应关系,将目标位置所对应的辨识度作为目标辨识度显示在辨识度提示区112中,如图3a所示。或者,辨识度设置区可包括:辨识度输入面板113和辨识度提示区112;在此情况下,辨识度设置操作可以包括:在辨识度输入面板113中输入辨识度的操作。那么,根据辨识度设置操作在辨识度设置区显示目标辨识度的实施方式可以是:根据辨识度设置操作获取目标用户输入的辨识度,并将该输入的辨识度作为目标辨识度显示在辨识度提示区112中,如图3b所示。又或者,辨识度设置区可包括:一个或多个候选辨识度114;在此情况下,辨识度设置操作可以包括:选择任一候选辨识度114的操作。那么,根据辨识度设置操作在辨识度设置区显示目标辨识度的实施方式可以是:将辨识度设置操作所选择的候选辨识度114作为目标辨识度,并在辨识度设置区11中对该目标辨识度进行突出显示;此处的突出显示可包括以下至少一项:采用特殊显示参数(如特殊颜色、特殊字体)显示目标辨识度、采用选中框对目标辨识度进行标注显示、以及对目标辨识度进行放大显示,等等。以采用特殊颜色(如黑色)对目标辨识度进行突出显示为例,其对应的示意图可参见图3c所示。应理解的是,图3a-图3c均只是示例性地表征信息设置界面的示意图,并非穷举。
可选的,视觉辅助信息中还可包括视觉辅助模式,该视觉辅助模式可以是计算机设备通过数据计算来确定的,也可以是由目标用户通过图3a-图3c所示的任一信息设置界面来设置的,对此不作限制。该视觉辅助模式可用于指示后续实际用于生成视觉辅助图像的设备,其可包括客户端模式或者服务器模式;具体的,当视觉辅助模式包括客户端模式时,表明需要由终端或者终端内运行的客户端来生成视觉辅助图像;那么此情况下:若执行本申请所提出的图像处理方法的计算机设备为终端,则计算机设备可直接继续执行后续步骤S202-S204以得到视觉辅助图像;若计算机设备为服务器,则计算机设备则不执行步骤S202-S204,而是通知终端执行后续步骤S202-S204以得到视觉辅助图像。当视觉辅助模式包括服务器时,表明需要由服务器来生成视觉辅助图像;那么此情况下,若计算机设备为服务器,则计算机设备可直接继续执行后续步骤S202-S204以得到视觉辅助图像;若计算机设备为终端,则计算机设备则不执行步骤S202-S204,而是通知服务器执行后续步骤S202-S204以得到视觉辅助图像。
可选的,计算机设备还可将该视觉辅助信息存储至区块链中,以防止该视觉辅助信息被恶意篡改。具体的,计算机设备可将该视觉辅助信息发送给区块链网络中的共识节点;由该共识节点对该视觉辅助信息进行共识处理,并在该视觉辅助信息通过共识后,将该视觉辅助信息打包成目标区块,并将该目标区块添加至区块链上。或者,共识节点也可在接收到该视觉辅助信息后,先将该视觉辅助信息打包成目标区块,然后再对目标区块进行共识处理,并在目标区块通过共识后,将目标区块添加至区块链上。
S202,采用目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图。
在具体实施过程中,计算机设备可获取待显示的初始图像;该初始图像可以是第一颜色空间下的图像,如任一游戏(如云游戏或普通游戏)的游戏画面、任一影视剧的视频图像、任一用户的自拍图像、任一景点的风景图像,等等。其中,所谓的云游戏又可称为游戏点播(gaming on demand),是一种以云计算为基础的游戏方式,此处的云计算是一种基于互联网的计算方式;在云游戏场景下,游戏并不在玩家用户的游戏客户端,而是在云游戏服务器中运行;由云游戏服务器将游戏场景所涉及的游戏画面编码为视频流,通过网络传输给玩家用户的游戏客户端进行播放。相应的,普通游戏则是指:直接在玩家用户的游戏客户端中运行的游戏。上述所提及的第一颜色空间可以是RGB颜色空间、或者YUV颜色空间,等等;所谓的RGB颜色空间是指:将红(Red)绿(Green)蓝(Blue)三个颜色通道作为笛卡尔坐标系中的x,y,z轴,所得到的对颜色进行描述的颜色空间;所谓的YUV颜色空间是一种非线性亮度/色度型的颜色空间,Y表示明亮度(Luminance或Luma),也就是灰度值;U和V表示色度(Chrominance或Chroma),其主要用于指定像素的颜色。
由于目标色觉障碍类型可用于指示目标用户无法分辨或较难分辨的颜色,因此在获取到待显示的初始图像后,计算机设备可在步骤S202中根据目标色觉障碍类型对该初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图,该色觉障碍视图中可包括目标用户感知异常的目标像素点。具体的,在一种具体实现中,步骤S202的具体实施方式可以包括以下步骤s11-s12:
s11、采用目标色觉障碍类型对待显示的初始图像进行视觉模拟处理,得到目标模拟视图。
其中,该目标模拟视图中的各个像素点的颜色值与目标用户所感知到的颜色值相匹配,即目标模拟视图可以理解是:从目标用户的角度观看初始图像时,目标用户所看见的视图。由于色盲与色弱的生理成因都与LMS三种细胞的缺失或缺陷有关,L表示长波视锥细胞、M表示中波视锥细胞、S表示短波视锥细胞;因此可先将第一颜色空间下的初始图像转换至LMS颜色空间,从而通过在LMS颜色空间进行空间投射,得到LMS格式的目标模拟视图。基于此,参见图3d所示,步骤s11的具体实施方式可以包括如下步骤:
第一步,将初始图像从第一颜色空间转换至第二颜色空间,得到第二颜色空间下的中间图像;该第二颜色空间是基于人眼视锥细胞所构建的颜色空间,如LMS颜色空间(一种根据三种视锥细胞的刺激比例来描述各种颜色的颜色空间),为便于阐述,后续均以第一颜色空间为RGB颜色空间,第二颜色空间为LMS颜色空间为例进行说明。
具体的,可遍历初始图像中的各个像素点,从初始图像中获取当前遍历的当前像素点的第一颜色值(即RGB值),可采用正向的空间变换矩阵(采用T1表示)对当前像素点的第一颜色值进行变换,得到当前像素点的第二颜色值(即LMS值);在初始图像中的各个像素点均被遍历后,便可采用各个像素点的第二颜色值构建得到中间图像,如图3e所示。
其中,T1={{0.3811,0.5783,0.0402},{0.1967,0.7244,0.0782},{0.0241,0.1288,0.8444}};采用正向的空间变换矩阵将任一像素点的第一颜色值变换成第二颜色值的具体方式,可参见下述公式1.1所示:
T1*{{R},{G},{B}}={{L},{M},{S}} 式1.1
需要说明的是,{{R},{G},{B}}和{{L},{M},{S}}均表示的是3行1列的矩阵,T1是一个3行3列的矩阵;即:
Figure BDA0002962184610000151
也就是说,任一像素点的第二颜色值(LMS值)中的各分量值的计算公式如下:
L=0.3811R+0.5783G+0.0402B
M=0.1967R+0.7244G+0.0782B
S=0.0241R+0.1288G+0.8444B
第二步,可采用目标色觉障碍类型对中间图像进行视觉模拟处理,得到第二颜色空间下的初始模拟视图。具体的,可获取与目标色觉障碍类型所对应的颜色变换矩阵(采用T2表示);并采用获取到的颜色变化矩阵,对中间图像中的各个像素点的颜色值(即第二颜色值)进行空间投射,得到第二颜色空间下的初始模拟视图,如图3f所示。具体的,可遍历中间图像中的各个像素点,从中间图像中获取当前遍历的当前像素点的第二颜色值(即LMS值),可采用颜色变化矩阵(T2)对当前像素点的第二颜色值进行空间投射,得到当前像素点的第三颜色值(即L’M’S’值);在中间图像中的各个像素点均被遍历后,便可采用各个像素点的第三颜色值构建得到初始模拟视图。其中,采用颜色变化矩阵(T2)将任一像素点的第二颜色值投射成第三颜色值的具体方式,可参见下述公式1.2所示:
T2*{{L},{M},{S}}={{L’},{M’},{S’}} 式1.2
应理解的是,随着目标色觉障碍类型的不同,获取到的颜色变化矩阵(采用T2表示)也随之不同。例如:目标色觉障碍类型为红色类型、绿色类型或者蓝色类型时,T2的取值可如下:
红色:T2={{0,0.9082,0.0082},{0,1,0},{0,0,1}}
绿色:T2={{1,0,0},{1.1011,0,-0.0090},{0,0,1}}
蓝色:T2={{1,0,0},{0,1,0},{-0.1576,1.1947,0}}
且与前述式1.1的描述同理:{{L’},{M’},{S’}}表示的是一个3行1列的矩阵,T2是一个3行3列的矩阵;例如,当目标色觉障碍类型为红色类型时,T2的表现形式如下:
Figure BDA0002962184610000161
可见,此情况下:任一像素点的第三颜色值(L’M’S’值)中的各分量值的计算公式如下:
L’=0.9082M+0.0082S
M’=M
S’=S
第三步,可将初始模拟视图从第二颜色空间转换至第一颜色空间,得到第一颜色空间下的目标模拟视图。具体的,可遍历初始模拟视图中的各个像素点,从初始模拟视图中获取当前遍历的当前像素点的第三颜色值(即L’M’S’值),可采用逆向的空间变换矩阵(采用T3表示)对当前像素点的第三颜色值进行变换,得到当前像素点的第四颜色值(即R’G’B’值);在初始模拟视图中的各个像素点均被遍历后,便可采用各个像素点的第四颜色值构建得到目标模拟视图,如图3g所示。
其中,T3={{4.4679,-3.5873,0.1193},{-1.2186,2.3809,-0.1624},{0.0497,-0.2439,1.2045}};采用逆向的空间变换矩阵将任一像素点的第三颜色值变换成第四颜色值的具体方式,可参见下述公式1.3所示:
T3*{{L’},{M’},{S’}}={{R’},{G’},{B’}} 式1.3
需要说明的是,{{R’},{G’},{B’}}表示的是3行1列的矩阵,T3是一个3行3列的矩阵;即:
Figure BDA0002962184610000162
也就是说,任一像素点的第四颜色值(R’G’B’值)中的各分量值的计算公式如下:
R’=4.4679L’–3.5873M’+0.1193S’
G’=-1.2186L’+2.3809M’–0.1624S’
B’=0.0497L’–0.2439M’+1.2045S’
s12,可根据初始图像和目标模拟视图之间的图像差异,计算得到色觉障碍视图。
由于初始图像是待输出给目标用户进行观看的图像,而目标模拟视图可以理解是:从目标用户的角度观看初始图像时,目标用户所看见的视图;因此,采用初始图像减去色盲/色弱所见的视图(即目标模拟视图),便可得到初始图像和目标模拟视图之间的图像差异,从而得到目标用户感知异常的色觉障碍视图,如图3h所示。具体的,可遍历初始图像中的各个像素点,从初始图像中获取当前遍历的当前像素点的第一颜色值(即RGB值),并从目标模拟视图中获取当前像素点的第四颜色值(即R’G’B’值);然后,可采用当前像素点的第一颜色值减去当前像素点的第四颜色值,便可得到当前像素点的目标颜色值(采用R”G”B”表示),如式1.4所示:
{{R},{G},{B}}-{{R1},{G1},{B1}}={{R2},{G2},{B2}}式1.4也就是说,当前像素点的目标颜色值(R”G”B”值)中的各分量值的计算公式如下:
R”=R–R’
G”=G–G’
B”=B–B’
在初始模拟视图中的各个像素点均被遍历后,便可采用各个像素点的目标颜色值构建得到色觉障碍视图。其中,针对色觉障碍视图中的任一像素点而言,若该任一像素点的目标颜色值大于阈值(如数值0),则可表明该任一像素点的实际颜色与目标用户感知到的该任一像素点的颜色之间存在差异,因此可认为该任一像素点是目标用户感知异常的像素点;也就是说,色觉障碍视图中的目标颜色值大于阈值(如数值0)的像素点均为目标像素点。
再一种具体实现中,步骤S202的具体实施方式可以包括:将目标色觉障碍类型所指示的颜色确定为目标颜色,并将初始图像中呈现出目标颜色的像素点作为目标像素点;然后,在初始图像中保持目标像素点的颜色值不变,并将初始图像中除目标像素点以外的各个像素点的颜色值设置为无效数值(如数值0),得到色觉障碍视图。例如,目标色觉障碍类型为红色类型,且初始图像中存在像素点a、像素点b、像素点c均呈现为红色,则可将像素点a、像素点b以及像素点c均作为目标像素点。
S203,根据色觉辅助辨识度和目标色觉障碍类型,对色觉障碍视图中的目标像素点的目标颜色值进行修正。
其中,目标像素点的目标颜色值包括至少两个颜色通道下的分量值。那么,在一种具体实现中,计算机设备可采用色觉辅助辨识度对目标像素点中目标用户无法分辨或较难分辨的颜色分量值进行衰减处理,并采用色觉辅助辨识度对目标像素点中目标用户可分辨的颜色分量中进行增强处理,或保持目标用户可分辨的颜色分量不变,从而得到修正后的视图。基于此,步骤S203的具体实施方式可以是:首先,根据目标色觉障碍类型,从至少两个颜色通道中确定目标用户感知异常的第一颜色通道,以及目标用户感知正常的第二颜色通道。其次,可从目标像素点的目标颜色值中,确定第一颜色通道下的第一分量值,以及第二颜色通道下的第二分量值。然后,采用色觉辅助辨识度对第一分量值进行衰减处理,以修正第一分量值;以及采用色觉辅助辨识度对第二分量值进行增强处理,以修正第二分量值。其中,采用n表示色觉辅助辨识度,采用Q表示第一分量值,采用P表示第二分量值。当n的取值小于1时,衰减处理可包括:n*Q,或者Q-(n*Q);增强处理可包括:P÷n,或者P*(1+n),等等。
再一种具体实现中,计算机设备可根据色觉辅助辨识度将色觉障碍视图中目标用户感知异常的目标像素点的部分颜色分量值换算成其他颜色分量值(例如针对红色盲,可将红色分量值取一定比例(即色觉辅助辨识度)换算成绿色分量值或者蓝色分量值等),从而得到修正后的视图。基于此,步骤S203的具体实施方式可以包括:首先,可根据目标色觉障碍类型,从至少两个颜色通道中确定目标用户感知异常的第一颜色通道,以及目标用户感知正常的第二颜色通道。其次,可从目标像素点的目标颜色值中,确定第一颜色通道下的第一分量值,以及第二颜色通道下的第二分量值。然后,可将第一分量值修正为目标数值,并根据色觉辅助辨识度采用第一分量值对第二分量值进行修正;此处所提及的目标数值可根据经验值或者业务需求设置,例如目标数值可以等于0。
其中,根据色觉辅助辨识度采用第一分量值对第二分量值进行修正的一种实施方式可以是:采用色觉辅助辨识度对第二分量值进行增强处理,得到增强后的第二分量值;将第一分量值叠加至增强后的第二分量值上,以修正第二分量值。或者,根据色觉辅助辨识度采用第一分量值对第二分量值进行修正的另一种实施方式可以是:将第一分量值叠加至第二分量值上,得到叠加值;采用色觉辅助辨识度对叠加值进行缩放处理,以修正第二分量值。再或者,根据色觉辅助辨识度采用第一分量值对第二分量值进行修正的另一种实施方式可以是:采用色觉辅助辨识度对第一分量值进行缩放处理,得到缩放后的分量值;将缩放后的分量值叠加至第二分量值上,以修正第二分量值。具体的,可直接将缩放后的分量值叠加至第二分量值上,得到修正后的第二分量值;或者采用色觉辅助辨识度对第二分量值进行增强处理,将缩放后的分量值叠加至增强后的第二分量值上,得到修正后的第二分量值。
以直接将缩放后的分量值叠加至第二分量值上为例,基于上述描述,还可提出一种修正矩阵以实现更好地目标颜色值中的各个分量值进行修正;采用T4表示修正矩阵,采用R”G”B”表示目标颜色值,采用R”’G”’B”’表示修正后的颜色值,则采用修正矩阵对目标像素点的目标像素值进行修正的具体方式,可参见下述公式1.5所示:
T4*{{R”},{G”},{B”}}={{R”’},{G”’},{B”’}} 式1.5应理解的是,随着目标色觉障碍类型的不同,修正矩阵(T4)也随之不同。例如:目标色觉障碍类型为红色类型、绿色类型或者蓝色类型时,T4的取值可如下:
红色:T4={{0,0,0},{n,1,0},{n,0,1}}
绿色:T4={{1,n,0},{0,0,0},{0,n,1}}
蓝色:T4={{1,0,n},{0,1,n},{0,0,0}}
以目标色觉障碍类型为红色类型为例,当n的取值为0.7时,则可表示将70%的红色分配给绿色和蓝色通道,相应的,T4为:{{0,0,0},{0.7,1,0},{0.7,0,1}}。应理解的是,与前述公式的描述同理:{{R”},{G”},{B”}}和{{R”’},{G”’},{B”’}}均表示的是一个3行1列的矩阵,T4是一个3行3列的矩阵;例如,当目标色觉障碍类型为红色类型时,T4的表现形式如下:
Figure BDA0002962184610000191
可见,此情况下,目标像素点的修正后的颜色值(R”’G”’B”’值)中的各分量值的计算公式如下:
R”’=0
G”’=n*R”+G”
B”’=n*R”+B”
需要说明的是,在上述所提及的步骤S203的任一种实施方式中,第一颜色通道和第二颜色通道的数量均可以是一个或多个,对此不作限定。例如,假设目标像素点包括R通道、G通道和B通道等三个通道下的分量值;那么当目标色觉障碍类型为红色类型时,则可确定出R通道这1个第一颜色通道,G通道和B通道这2个颜色通道。当第一颜色通道的数量为多个时,可基于上述步骤分别对每个第一颜色通道下的第一分量值进行修正;同理,当第二颜色通道的数量为多个时,也可基于上述步骤分别对每个第二颜色通道下的第二分量值进行修正。应理解的是,本发明实施例所提及的“多个”的含义均是指至少两个。
S204,融合修正后的视图和初始图像,得到视觉辅助图像。
在具体实现中,可遍历初始图像中的各个像素点,从初始图像中获取当前遍历的当前像素点的第一颜色值(即RGB值),并从修正后的视图中获取当前像素点的参考颜色值(采用R1G1B1);其中,若当前像素点为目标像素点,则当前像素点的参考颜色值是对当前像素点的目标颜色值进行修正所得到的修正后的颜色值(即R”G”B”值);若当前像素点不是目标像素点,则当前像素点的参考颜色值是当前像素点的目标颜色值(即R”’G”’B”’值),然后,可对当前像素点的第一颜色值和当前像素点的参考颜色值进行叠加处理,得到当前像素点的融合颜色值(采用R2G2B2),如式1.6所示:
{{R},{G},{B}}+{{R1},{G1},{B1}}={{R2},{G2},{B2}} 式1.6
也就是说,当前像素点的融合颜色值(R2G2B2值)中的各分量值的计算公式如下:
R2=R+R1
G2=G+G1
B2=B+B1
在初始图像中的各个像素点均被遍历后,便可采用各个像素点的融合颜色值构建得到视觉辅助图像。应理解的是,若视觉辅助图像是通过上述公式1.1-1.6得到的,则通过整合上述公式1.1-1.6可知,针对初始图像中的任一像素点而言,该任一像素点在初始图像中的第一颜色值和其在视觉辅助图像中的融合颜色值之间的关系如下:R2G2B2=RGB+T4*(RGB–T3*T2*T1*RGB)。其中,T3*T2*T1的结果为一个固定矩阵;例如,针对红色盲(即目标色觉障碍类型为红色类型)来说,T3*T2*T1的结果为:{{0.0685,0.9315,0},{0.0685,0.9315,0},{0.0136,-0.0136,1}}。
S205,输出视觉辅助图像。
在具体实施过程中,若计算机设备为终端,则步骤S205的具体实施方式可以是:在目标用户的终端屏幕中显示该视觉辅助图像。若计算机设备为服务器,则步骤S205的具体实施方式可以是:对视觉辅助图像进行图像编码,得到目标编码信息;然后,将目标编码信息下发至终端(或终端的客户端),使得终端(或终端的客户端)对该目标编码信息进行解码处理,并在解码得到视觉辅助图像后,在目标用户的终端屏幕中显示该视觉辅助图像。
可选的,考虑到初始图像中可能存在一些元素的颜色本身就比较相近,使得在通过上述步骤S201-S204进行视觉辅助处理所得到的视觉辅助图像,仍无法较好地将这些元素完全的区分开;因此,针对图像中的关键元素,还可通过图像识别的方式识别出该关键元素的元素区域和边界,然后进行加框描边处理,给轮廓加上线条或背景色等处理,以进一步提升图像辨识度。基于此,当视觉辅助图像中包括目标元素时,该目标元素可以是根据经验值或者业务需求设置的关键元素。计算机设备还可在视觉辅助图像中识别出目标元素的元素信息,该元素信息包括:目标元素的位置信息和尺寸信息;然后,可根据元素信息,采用元素外包框对目标元素进行标注显示。例如参见图3i所示,假设目标元素为视觉图像中的游戏对象30,则可在视觉辅助图像中采用元素外包框31对该游戏对象30进行标注显示。
本申请实施例可针对不同色觉障碍类型的用户,较为灵活地为其提供不同的视觉辅助图像。具体的,针对待显示的初始图像,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图;并可根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,使得该视觉辅助图像不仅可保持原初始图像所具有的场景自然色彩,还可具有比初始图像更高的图像辨识度。最后,可通过输出该视觉辅助图像,来辅助目标用户更好地进行图像识别理解,从而有效提升用户粘度。
在上述图2所示的方法实施例中,初始图像可以是任一游戏(如云游戏或普通游戏)的游戏画面、任一影视剧的视频图像、任一用户的自拍图像、任一景点的风景图像,等等。所谓的云游戏是指在云游戏服务器中的容器中运行的游戏,云游戏通过将视频流传到用户终端内所运行的游戏客户端进行显示,并根据游戏客户端上传的用户操作事件来驱动游戏画面变化。参见图4a所示,云游戏的运行原理如下:
(1)云游戏服务器上的容器在运行云游戏的过程中,可通过截图的方式获取云游戏所产生的游戏画面,并将该游戏画面以YUV的图像格式或者RGB的图片格式,提供给云游戏服务器中的视频编码模块;由该视频编码模块将该游戏画面编码为视频帧,对多个游戏画面进行编码,便可得到视频流。
(2)云游戏服务器通过与用户终端之间的网络通道,将视频流发送到手用户终端中的游戏客户端。
(3)用户终端侧(Android手机/TV/iOS手机/Web页面)的游戏客户端对视频流进行视频帧解码,得到游戏画面;然后,将解码得到的游戏画面渲染到用户界面(UI)上进行显示。
(4)游戏客户端通过UI上的View(一种监测组件)进行用户操作事件的监测,从而判断当前的行为模式。若监测到当前的行为模式为游戏模式,则将用户操作事件流通过网络通道上传到云游戏服务器,使得用户操作事件被写入容器后,由容器根据该用户操作事件来驱动游戏画面的变化。若监测到当前的行为模式为非游戏模式,则可由游戏客户端直接进行相应的操作行为。
可见,当初始图像为目标云游戏(即任一云游戏)的游戏画面时,可将云游戏服务器编码游戏画面的过程,或者游戏客户端解码渲染游戏画面的过程,作为色觉辅助处理的介入点,以实现对目标云游戏的游戏画面的色觉辅助处理,从而辅助目标用户更好地识别理解游戏画面。参见图4b所示,随着介入点的不同,本申请实施例可提供两种视觉辅助模式:服务端模式和客户端模式;两者可根据管理系统的配置,或者游戏客户端的命令,来决定采用服务端模式还是客户端模式进行视觉辅助。通过提供两种辅助模式,可实现模式的自由切换,服务器模式还可一次实现(即一次生成视觉辅助图像,而在多个终端中显示该视觉辅助图像)。其中,两种视觉辅助模式的大致原理如下:
服务端模式:云游戏服务器进行图像处理,在从容器上截取目标云游戏的游戏画面后,在将该游戏画面送到视频编码模块之前,可进行整个辅助模式的图像处理过程以得到视觉辅助图像;即这种模式下,从云游戏服务器送出去的图像已经是具有色盲辅助效果的视觉辅助图像了。具体的,可参见图4c所示:若原始的游戏画面是YUV格式的图像,则可将该原始的游戏画面从YUV颜色空间转换至RGB颜色空间,得到RGB格式的游戏画面;其次,对RGB格式的游戏画面进行视觉辅助处理,得到RGB格式的视觉辅助图像;然后,将RGB格式的视觉辅助图像从RGB颜色空间转换至YUV颜色空间,得到YUV格式的视觉辅助图像;最后,对YUV格式的视觉辅助图像进行编码,并将编码信息下发至游戏客户端,使得游戏客户端在根据该编码信息显示YUV格式的视觉辅助图像。应理解的是,若原始的游戏画面是RGB格式的图像,则可直接对该游戏画面进行视觉辅助处理,无需执行YUV->RGB,以及RGB->YUV等颜色空间转换处理。
客户端模式:游戏客户端从云游戏服务器获取到的图像还是原始未经处理的游戏画面,而是在游戏客户端(Android、iOS、Web)上,在经由解码模块解码得到游戏画面后,进行辅助模式的图像处理以得到视觉辅助图像,然后再将视觉辅助图像送去渲染显示。游戏客户端可使用SurfaceView(一种用来渲染显示图像视频、游戏等更新频繁的画面的组件)作为画面渲染显示的控件,该控件可支持每帧画面通过OpenGL(一种用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口(API))的纹理来用GPU(Graphics ProcessingUnit,图形处理器)进行渲染,然后进行显示。也就是说,游戏客户端可通过OpenGL的Shader(着色器)对纹理进行图像处理,来实现视觉辅助模式的处理过程;具体的,可参见图4d所示:游戏客户端从视频解码器处获取到解码后的YUV格式的游戏画面后,可创建顶点着色器和片段着色器;此处所提及的顶点着色器和片段着色器均是shader代码,且片段着色器(即代码)可包括将原始的游戏画面从YUV颜色空间转换至RGB颜色空间,对RGB格式的游戏画面进行视觉辅助处理等处理逻辑。然后,游戏客户端可编译链接shader(着色器),以得到编译链接结果;接着,可激活编译链接结果并采用激活后的结果绑定纹理,这样便可使得SurfaceView的渲染逻辑中包含Shader定义的处理逻辑,从而使得在调用SurfaceView进行渲染显示时,可按照Shader定义的处理逻辑得到视觉辅助图像,进而渲染显示视觉辅助图像。
基于上述描述,当初始图像为目标云游戏(即任一云游戏)的游戏画面时,本申请实施例还进一步提出了一种更具体的图像处理方法,该图像方法可运用在云游戏平台上,对于云游戏平台中的任一云游戏(如手游或端游)均适用;该图像处理方法可由游戏客户端执行,游戏客户端用于显示目标云游戏的游戏画面,游戏客户端与云游戏服务器中的目标容器进行通信,目标容器用于运行所述目标云游戏。参见图5a所示,该图像处理方法可包括以下步骤S501-S505:
S501,获取目标用户的视觉辅助信息,视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度。
在实际应用中,目标用户在进入云游戏平台的目标云游戏后,游戏客户端可为目标用户输出一个信息配置界面;目标用户可在该信息配置界面中打开视觉辅助功能,使得游戏客户端后续可将游戏画面渲染成对目标用户友好的视觉辅助图像,以区分各种颜色。另外,目标用户还可在信息配置界面中设置目标色觉障碍类型、色觉辅助辨识度以及视觉辅助模式等视觉辅助信息,如图5b所示;相应的,游戏客户端可根据在信息配置界面中检测到的用户操作,获取目标用户的视觉辅助信息。在获取到视觉辅助信息后,还可将该视觉辅助信息上传至云游戏服务器中,如图5c所示。
S502,在显示目标云游戏的当前游戏画面的过程中,若检测到目标用户的用户操作事件,则将用户操作事件发送至云游戏服务器内的目标容器中,使得云游戏服务器在根据用户操作事件获取到初始图像后,将初始图像下发至游戏客户端。
在具体实施过程中,游戏客户端在显示目标云游戏的游戏画面的过程中,可检测是否存在针对目标云游戏的用户操作事件;此处的用户操作事件可包括但不限于:通过操作物理控制组件(如鼠标、键盘等)所输入的事件,通过控制重力感应装置(如陀螺仪)运动所输入的事件,通过手指触摸游戏画面中的任一画面内容所输入的事件,等等。若检测到目标用户的用户操作事件,则可将用户操作事件发送至云游戏服务器内的目标容器中,使得云游戏服务器在根据用户操作事件获取到初始图像后,将初始图像下发至游戏客户端。
在一种具体实现中,在检测到目标用户的用户操作事件后,游戏客户端可直接将用户操作事件发送至云游戏服务器中的目标容器中。再一种具体实现中,考虑到目标用户在玩目标云游戏的过程中,可能输入一些不会驱动游戏画面变换的操作事件,如通过鼠标在游戏画面上进行滑动、而不控制游戏对象移动的操作事件等;在此情况下,由于该操作事件不会驱动游戏画面的变换,因此可由游戏客户端直接渲染显示该操作事件对应的反馈图像,而无需将该操作事件发送至云游戏服务器,以节省云游戏服务器侧的处理资源以及网络资源。基于此,游戏客户端在检测到用户操作事件后,可识别用户操作事件的事件类型;若用户操作事件的事件类型为游戏事件类型,则执行将用户操作事件发送至云游戏服务器内的目标容器中的步骤;若用户操作事件的事件类型为非游戏事件类型,则在当前游戏画面上渲染显示用户操作事件对应的反馈图像。
相应的,云游戏服务器在接收到游戏客户端发送的用户操作事件后,可获取该用户操作事件对应的游戏画面作为初始图像,并将该初始图像下发至游戏客户端。需要说明的是,若云游戏服务器存储有该视觉辅助信息,且该视觉辅助信息还包括视觉辅助模式,该视觉辅助模式包括客户端模式或者服务器模式;则云游戏服务器在获取到初始图像后,可判断视觉辅助模式是客户端模式还是服务器模式。若视觉辅助模式是客户端模式,则可将初始图像下发至游戏客户单;也就是说,初始图像是在视觉辅助模式包括客户端模式时,由云游戏服务器下发至游戏客户端的。若视觉辅助模式为服务器模式,则云游戏服务器可不执行将初始图像下发至游戏客户端的步骤,而是对初始图像进行视觉辅助处理,得到视觉辅助图像,从而将视觉辅助图像下发至游戏客户端;也就是说,在服务器模式下,游戏客户端可直接接收游戏服务器下发的视觉辅助图像,并直接显示视觉辅助图像,无需执行步骤S503-S505。
S503,在接收到初始图像后,采用目标色觉障碍类型对初始图像进行色觉障碍预测,得到色觉障碍视图,该色觉障碍视图中包括目标用户感知异常的目标像素点。
S504,根据色觉辅助辨识度和目标色觉障碍类型,对色觉障碍视图中的目标像素点的目标颜色值进行修正。
S505,融合修正后的视图和初始图像,得到视觉辅助图像,并显示视觉辅助图像。
需要说明的是,本申请实施例中的步骤S503-S505的具体实施方式可以参见上述申请实施例中的步骤S202-S205的相关描述,在此不再赘述。
本申请实施例中的游戏客户端可针对不同色觉障碍类型的用户,较为灵活地为其显示目标云游戏的不同的视觉辅助图像。具体的,游戏客户端在显示目标云游戏的当前游戏画面的过程中,若检测到目标用户的用户操作事件,则可根据该用户操作事件从云游戏服务器处获取待显示的初始图像。针对该初始图像,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图;并可根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,并输出该视觉辅助图像,以帮助目标用户在不破坏游戏体验的同时,保持场景自然色彩,提升场景分辨能力,从而提升目标用户玩游戏过程的舒适度,进而有效提升用户粘度。由于整个图像处理过程不受终端类型和操作系统的限制,可在Android、iOS、TV、Mac、Web等操作系统中全端生效,使得游戏开发者无需对云游戏的实现逻辑作修改和适配,具有较强的适用性。
基于上述描述,当初始图像为目标云游戏(即任一云游戏)的游戏画面时,本申请实施例还进一步提出了一种更具体的图像处理方法;该图像处理方法可由云游戏服务器执行,云游戏服务器包括用于运行目标云游戏的目标容器,目标容器和游戏客户端进行通信,游戏客户端是指用于显示目标云游戏的游戏画面的客户端。参见图6所示,该图像处理方法可包括以下步骤S601-S606:
S601,获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
S602,若从游戏客户端处接收到目标用户的用户操作事件,则根据用户操作事件获取初始图像。
在一种具体实现中,云游戏服务器在获取到初始图像后,可直接执行后续步骤S603。再一种具体实现中,若视觉辅助信息还包括视觉辅助模式,该视觉辅助模式包括客户端模式或者服务器模式;则云游戏服务器在获取到初始图像后,可从视觉辅助信息中获取视觉辅助模式。若视觉辅助模式包括服务器模式,则执行采用目标色觉障碍类型对初始图像进行色觉障碍预测,得到色觉障碍视图的步骤,即可执行步骤S603;若视觉辅助模式包括客户端模式,则可将初始图像下发至游戏客户端,使得游戏客户端在根据视觉辅助信息和初始图像得到视觉辅助图像后,显示视觉辅助图像。
S603,采用目标色觉障碍类型对初始图像进行色觉障碍预测,得到色觉障碍视图,该色觉障碍视图中包括目标用户感知异常的目标像素点。
S604,根据色觉辅助辨识度和目标色觉障碍类型,对色觉障碍视图中的目标像素点的目标颜色值进行修正。
S605,融合修正后的视图和初始图像,得到视觉辅助图像。
需要说明的是,本申请实施例中的步骤S603-S505的具体实施方式可以参见上述申请实施例中的步骤S202-S205的相关描述,在此不再赘述。
S606,将视觉辅助图像下发至游戏客户端,使游戏客户端显示视觉辅助图像。
本申请实施例中的云游戏服务器可针对不同色觉障碍类型的用户,较为灵活地为其提供目标云游戏的不同的视觉辅助图像。具体的,云游戏服务器在根据游戏客户端发送的用户操作事件获取到待显示的初始图像后,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图。再根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,并将该视觉辅助图像下发至游戏客户端,使游戏客户端显示视觉辅助图像而非显示初始图像;通过显示视觉辅助图像,可帮助目标用户在不破坏游戏体验的同时,保持场景自然色彩,提升场景分辨能力,从而提升目标用户玩游戏过程的舒适度,进而有效提升用户粘度。由于整个图像处理过程不受终端类型和操作系统的限制,可全端生效,使得游戏开发者无需对云游戏的实现逻辑作修改和适配,具有较强的适用性;并且,由于视觉辅助图像是由云游戏服务器生成的,游戏客户端只需显示图像即可,因此无需游戏客户端拥有强大的图形运算与数据处理能力,可降低对游戏客户端侧的硬件环境要求。
基于上述图2所示的图像处理方法的相关实施例的描述,本申请实施例还提出了一种图像处理装置,该图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图2所示的图像处理方法;请参见图7,所述图像处理装置可以运行如下单元:
获取单元701,用于获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
处理单元702,用于采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
所述处理单元702,还用于根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
所述处理单元702,还用于融合修正后的视图和所述初始图像,得到视觉辅助图像,并输出所述视觉辅助图像。
在一种实施方式中,处理单元702在用于采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图时,可具体用于:
采用所述目标色觉障碍类型对待显示的初始图像进行视觉模拟处理,得到目标模拟视图,所述目标模拟视图中的各个像素点的颜色值与所述目标用户所感知到的颜色值相匹配;
根据所述初始图像和所述目标模拟视图之间的图像差异,计算得到色觉障碍视图。
再一种实施方式中,所述初始图像是第一颜色空间下的图像;相应的,处理单元702在用于采用所述目标色觉障碍类型对待显示的初始图像进行视觉模拟处理,得到目标模拟视图时,可具体用于:
将所述初始图像从第一颜色空间转换至第二颜色空间,得到所述第二颜色空间下的中间图像;所述第二颜色空间是基于人眼视锥细胞所构建的颜色空间;
采用所述目标色觉障碍类型对所述中间图像进行视觉模拟处理,得到所述第二颜色空间下的初始模拟视图;
将所述初始模拟视图从所述第二颜色空间转换至所述第一颜色空间,得到所述第一颜色空间下的目标模拟视图。
再一种实施方式中,处理单元702在用于采用目标色觉障碍类型对所述中间图像进行视觉模拟处理,得到所述第二颜色空间下的初始模拟视图时,可具体用于:
获取与所述目标色觉障碍类型所对应的颜色变换矩阵;
采用获取到的颜色变化矩阵,对所述中间图像中的各个像素点的颜色值进行空间投射,得到所述第二颜色空间下的初始模拟视图。
再一种实施方式中,所述目标像素点的目标颜色值包括至少两个颜色通道下的分量值;相应的,处理单元702在用于根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正时,可具体用于:
根据所述目标色觉障碍类型,从所述至少两个颜色通道中确定所述目标用户感知异常的第一颜色通道,以及所述目标用户感知正常的第二颜色通道;
从所述目标像素点的目标颜色值中,确定所述第一颜色通道下的第一分量值,以及所述第二颜色通道下的第二分量值;
将所述第一分量值修正为目标数值,并根据所述色觉辅助辨识度采用所述第一分量值对所述第二分量值进行修正。
再一种实施方式中,处理单元702在用于根据所述色觉辅助辨识度采用所述第一分量值对所述第二分量值进行修正时,可具体用于:
采用所述色觉辅助辨识度对所述第一分量值进行缩放处理,得到缩放后的分量值;
将所述缩放后的分量值叠加至所述第二分量值上,以修正所述第二分量值。
再一种实施方式中,所述视觉辅助图像中包括目标元素;相应的,处理单元702还可用于:
在所述视觉辅助图像中识别出所述目标元素的元素信息,所述元素信息包括:所述目标元素的位置信息和尺寸信息;
根据所述元素信息,采用元素外包框对所述目标元素进行标注显示。
根据本申请的一个实施例,图2所示的方法所涉及的各个步骤均可以是由图7所示的图像处理装置中的各个单元来执行的。例如,图2中所示的步骤S201可由图7中所示的获取单元701执行,步骤S202-步骤S205均可由图7中所示的处理单元702执行。
根据本申请的另一个实施例,图7所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图7中所示的图像处理装置设备,以及来实现本申请实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本申请实施例可针对不同色觉障碍类型的用户,较为灵活地为其提供不同的视觉辅助图像。具体的,针对待显示的初始图像,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图;并可根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,使得该视觉辅助图像不仅可保持原初始图像所具有的场景自然色彩,还可具有比初始图像更高的图像辨识度。最后,可通过输出该视觉辅助图像,来辅助目标用户更好地进行图像识别理解,从而有效提升用户粘度。
基于上述图5a所示的图像处理方法的相关实施例的描述,本申请实施例还提出了一种图像处理装置,该图像处理装置可以是运行于游戏客户端或者终端中的一个计算机程序(包括程序代码),该图像处理装置可以执行图5a所示的图像处理方法。其中,游戏客户端是指用于显示目标云游戏的游戏画面的客户端,游戏客户端与云游戏服务器中的目标容器进行通信,目标容器用于运行目标云游戏。请参见图8,所述图像处理装置可以运行如下单元:
获取单元801,用于获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
通信单元802,用于在显示所述目标云游戏的当前游戏画面的过程中,若检测到所述目标用户的用户操作事件,则将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中,使得所述云游戏服务器在根据所述用户操作事件获取到初始图像后,将所述初始图像下发至所述游戏客户端;
处理单元803,用于在接收到所述初始图像后,采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
所述处理单元803,还用于根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
所述处理单元803,还用于融合修正后的视图和所述初始图像,得到视觉辅助图像;
所述显示单元804,用于显示所述视觉辅助图像。
在一种实施方式中,处理单元803还可用于:
在检测到所述用户操作事件后,识别所述用户操作事件的事件类型;
若所述用户操作事件的事件类型为游戏事件类型,则触发通信单元802执行将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中的步骤;
若所述用户操作事件的事件类型为非游戏事件类型,则在所述当前游戏画面上渲染显示所述用户操作事件对应的反馈图像。
再一种实施方式中,所述云游戏服务器存储有所述视觉辅助信息,所述视觉辅助信息还包括视觉辅助模式,所述视觉辅助模式包括客户端模式或者服务器模式;
其中,所述初始图像是在所述视觉辅助模式包括所述客户端模式时,由所述云游戏服务器下发至所述游戏客户端的。
根据本申请的一个实施例,图5a所示的方法所涉及的各个步骤均可以是由图8所示的图像处理装置中的各个单元来执行的。例如,图5a中所示的步骤S501和步骤S502可分别由图8中所示的获取单元801和通信单元802执行,步骤S503-步骤S504均可由图8中所示的处理单元803执行,步骤S505中的“融合修正后的视图和初始图像,得到视觉辅助图像”的步骤可由图8中所示的处理单元803执行,步骤S505中的“显示视觉辅助图像”的步骤可由图8中所示的显示单元804执行。
根据本申请的另一个实施例,图8所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图5a中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8中所示的图像处理装置设备,以及来实现本申请实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本申请实施例中的游戏客户端可针对不同色觉障碍类型的用户,较为灵活地为其显示目标云游戏的不同的视觉辅助图像。具体的,游戏客户端在显示目标云游戏的当前游戏画面的过程中,若检测到目标用户的用户操作事件,则可根据该用户操作事件从云游戏服务器处获取待显示的初始图像。针对该初始图像,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图;并可根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,并输出该视觉辅助图像,以帮助目标用户在不破坏游戏体验的同时,保持场景自然色彩,提升场景分辨能力,从而提升目标用户玩游戏过程的舒适度,进而有效提升用户粘度。由于整个图像处理过程不受终端类型和操作系统的限制,可全端生效,使得游戏开发者无需对云游戏的实现逻辑作修改和适配,具有较强的适用性。
基于上述图6所示的图像处理方法的相关实施例的描述,本申请实施例还提出了一种图像处理装置,该图像处理装置可以是运行于云游戏服务器中的一个计算机程序(包括程序代码),该图像处理装置可以执行图6所示的图像处理方法。其中,云游戏服务器包括用于运行目标云游戏的目标容器,目标容器和游戏客户端进行通信,游戏客户端是指用于显示目标云游戏的游戏画面的客户端。请参见图9,所述图像处理装置可以运行如下单元:
获取单元901,用于获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
所述获取单元901,还用于若从所述游戏客户端处接收到所述目标用户的用户操作事件,则根据所述用户操作事件获取初始图像;
处理单元902,用于采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
所述处理单元902,还用于根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
所述处理单元902,还用于融合修正后的视图和所述初始图像,得到视觉辅助图像;
通信单元903,用于将所述视觉辅助图像下发至所述游戏客户端,使所述游戏客户端显示所述视觉辅助图像。
在一种实施方式中,所述视觉辅助信息还包括视觉辅助模式,所述视觉辅助模式包括客户端模式或者服务器模式;相应的,处理单元902还可用于:
在获取到所述初始图像后,从所述视觉辅助信息中获取所述视觉辅助模式;
若所述视觉辅助模式包括所述服务器模式,则执行采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图的步骤;
若所述视觉辅助模式包括所述客户端模式,则将所述初始图像下发至所述游戏客户端,使得所述游戏客户端在根据所述视觉辅助信息和所述初始图像得到视觉辅助图像后,显示所述视觉辅助图像。
根据本申请的一个实施例,图6所示的方法所涉及的各个步骤均可以是由图9所示的图像处理装置中的各个单元来执行的。例如,图6中所示的步骤S601-步骤S602均可以由图9中所示的获取单元901执行,步骤S603-步骤S605均可由图9中所示的处理单元902执行,步骤S606可由图9中所示的通信单元903执行。
根据本申请的另一个实施例,图9所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图9中所示的图像处理装置设备,以及来实现本申请实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本申请实施例中的云游戏服务器可针对不同色觉障碍类型的用户,较为灵活地为其提供目标云游戏的不同的视觉辅助图像。具体的,云游戏服务器在根据游戏客户端发送的用户操作事件获取到待显示的初始图像后,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图。再根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,并将该视觉辅助图像下发至游戏客户端,使游戏客户端显示视觉辅助图像而非显示初始图像;通过显示视觉辅助图像,可帮助目标用户在不破坏游戏体验的同时,保持场景自然色彩,提升场景分辨能力,从而提升目标用户玩游戏过程的舒适度,进而有效提升用户粘度。由于整个图像处理过程不受终端类型和操作系统的限制,可全端生效,使得游戏开发者无需对云游戏的实现逻辑作修改和适配,具有较强的适用性;并且,由于视觉辅助图像是由云游戏服务器生成的,游戏客户端只需显示图像即可,因此无需游戏客户端拥有强大的图形运算与数据处理能力,可降低对游戏客户端侧的硬件环境要求。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种计算机设备,该计算机设备可以是任一终端或者服务器。请参见图10,该计算机设备至少包括处理器1001、输入接口1002、输出接口1003以及计算机存储介质1004。其中,计算机设备内的处理器1001、输入接口1002、输出接口1003以及计算机存储介质1004可通过总线或其他方式连接。计算机存储介质1004可以存储在计算机设备的存储器中,所述计算机存储介质1004用于存储计算机程序,所述计算机程序包括程序指令,所述处理器1001用于执行所述计算机存储介质1004存储的程序指令。处理器1001(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中,本申请实施例所述的处理器1001可以用于进行一系列图2所示的图像处理,具体包括:获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;融合修正后的视图和所述初始图像,得到视觉辅助图像,并输出所述视觉辅助图像,等等。
再一个实施例中,本申请实施例所述的处理器1001可以用于进行一系列图5a所示的图像处理,具体包括:获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;在显示所述目标云游戏的当前游戏画面的过程中,若检测到所述目标用户的用户操作事件,则将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中,使得所述云游戏服务器在根据所述用户操作事件获取到初始图像后,将所述初始图像下发至所述游戏客户端;在接收到所述初始图像后,采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;融合修正后的视图和所述初始图像,得到视觉辅助图像,并显示所述视觉辅助图像,等等。
再一个实施例中,本申请实施例所述的处理器1001可以用于进行一系列图6所示的图像处理,具体包括:获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;若从所述游戏客户端处接收到所述目标用户的用户操作事件,则根据所述用户操作事件获取初始图像;采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;融合修正后的视图和所述初始图像,得到视觉辅助图像;并将所述视觉辅助图像下发至所述游戏客户端,使所述游戏客户端显示所述视觉辅助图像,等等。
本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器1001加载并执行计算机存储介质中存放的一条或多条第一指令,以实现上述有关图2所示的图像处理方法实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或多条第一指令由处理器1001加载并执行如下步骤:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
融合修正后的视图和所述初始图像,得到视觉辅助图像,并输出所述视觉辅助图像。
在一种实施方式中,在采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图时,所述一条或多条第一指令可由处理器1001加载并具体执行:
采用所述目标色觉障碍类型对待显示的初始图像进行视觉模拟处理,得到目标模拟视图,所述目标模拟视图中的各个像素点的颜色值与所述目标用户所感知到的颜色值相匹配;
根据所述初始图像和所述目标模拟视图之间的图像差异,计算得到色觉障碍视图。
再一种实施方式中,所述初始图像是第一颜色空间下的图像;相应的,在采用所述目标色觉障碍类型对待显示的初始图像进行视觉模拟处理,得到目标模拟视图时,所述一条或多条第一指令可由处理器1001加载并具体执行:
将所述初始图像从第一颜色空间转换至第二颜色空间,得到所述第二颜色空间下的中间图像;所述第二颜色空间是基于人眼视锥细胞所构建的颜色空间;
采用所述目标色觉障碍类型对所述中间图像进行视觉模拟处理,得到所述第二颜色空间下的初始模拟视图;
将所述初始模拟视图从所述第二颜色空间转换至所述第一颜色空间,得到所述第一颜色空间下的目标模拟视图。
再一种实施方式中,在采用目标色觉障碍类型对所述中间图像进行视觉模拟处理,得到所述第二颜色空间下的初始模拟视图时,所述一条或多条第一指令可由处理器1001加载并具体执行:
获取与所述目标色觉障碍类型所对应的颜色变换矩阵;
采用获取到的颜色变化矩阵,对所述中间图像中的各个像素点的颜色值进行空间投射,得到所述第二颜色空间下的初始模拟视图。
再一种实施方式中,所述目标像素点的目标颜色值包括至少两个颜色通道下的分量值;相应的,在根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正时,所述一条或多条第一指令可由处理器1001加载并具体执行:
根据所述目标色觉障碍类型,从所述至少两个颜色通道中确定所述目标用户感知异常的第一颜色通道,以及所述目标用户感知正常的第二颜色通道;
从所述目标像素点的目标颜色值中,确定所述第一颜色通道下的第一分量值,以及所述第二颜色通道下的第二分量值;
将所述第一分量值修正为目标数值,并根据所述色觉辅助辨识度采用所述第一分量值对所述第二分量值进行修正。
再一种实施方式中,在根据所述色觉辅助辨识度采用所述第一分量值对所述第二分量值进行修正时,所述一条或多条第一指令可由处理器1001加载并具体执行:
采用所述色觉辅助辨识度对所述第一分量值进行缩放处理,得到缩放后的分量值;
将所述缩放后的分量值叠加至所述第二分量值上,以修正所述第二分量值。
再一种实施方式中,所述视觉辅助图像中包括目标元素;相应的,所述一条或多条第一指令还可由处理器1001加载并具体执行:
在所述视觉辅助图像中识别出所述目标元素的元素信息,所述元素信息包括:所述目标元素的位置信息和尺寸信息;
根据所述元素信息,采用元素外包框对所述目标元素进行标注显示。
再一个实施例中,可由处理器1001加载并执行计算机存储介质中存放的一条或多条第二指令,以实现上述有关图5a所示的图像处理方法实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或多条第二指令由处理器1001加载并执行如下步骤:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
在显示所述目标云游戏的当前游戏画面的过程中,若检测到所述目标用户的用户操作事件,则将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中,使得所述云游戏服务器在根据所述用户操作事件获取到初始图像后,将所述初始图像下发至所述游戏客户端;
在接收到所述初始图像后,采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
融合修正后的视图和所述初始图像,得到视觉辅助图像,并显示所述视觉辅助图像。
在一种实施方式中,所述一条或多条第二指令还可由处理器1001加载并具体执行:
在检测到所述用户操作事件后,识别所述用户操作事件的事件类型;
若所述用户操作事件的事件类型为游戏事件类型,则执行将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中的步骤;
若所述用户操作事件的事件类型为非游戏事件类型,则在所述当前游戏画面上渲染显示所述用户操作事件对应的反馈图像。
再一种实施方式中,所述云游戏服务器存储有所述视觉辅助信息,所述视觉辅助信息还包括视觉辅助模式,所述视觉辅助模式包括客户端模式或者服务器模式;
其中,所述初始图像是在所述视觉辅助模式包括所述客户端模式时,由所述云游戏服务器下发至所述游戏客户端的。
再一个实施例中,可由处理器1001加载并执行计算机存储介质中存放的一条或多条第三指令,以实现上述有关图6所示的图像处理方法实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或多条第三指令由处理器1001加载并执行如下步骤:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
若从所述游戏客户端处接收到所述目标用户的用户操作事件,则根据所述用户操作事件获取初始图像;
采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点;
根据所述色觉辅助辨识度和所述目标色觉障碍类型,对所述色觉障碍视图中的目标像素点的目标颜色值进行修正;
融合修正后的视图和所述初始图像,得到视觉辅助图像;并将所述视觉辅助图像下发至所述游戏客户端,使所述游戏客户端显示所述视觉辅助图像。
在一种实施方式中,所述视觉辅助信息还包括视觉辅助模式,所述视觉辅助模式包括客户端模式或者服务器模式;相应的,所述一条或多条第三指令还可由处理器1001加载并具体执行:
在获取到所述初始图像后,从所述视觉辅助信息中获取所述视觉辅助模式;
若所述视觉辅助模式包括所述服务器模式,则执行采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图的步骤;
若所述视觉辅助模式包括所述客户端模式,则将所述初始图像下发至所述游戏客户端,使得所述游戏客户端在根据所述视觉辅助信息和所述初始图像得到视觉辅助图像后,显示所述视觉辅助图像。
本申请实施例可针对不同色觉障碍类型的用户,较为灵活地为其提供不同的视觉辅助图像。具体的,针对待显示的初始图像,可根据目标用户的目标色觉障碍类型对初始图像进行色觉障碍预测,得到目标用户感知异常的色觉障碍视图;并可根据色觉辅助辨识度和目标色觉障碍类型,较为灵活地对色觉障碍视图中目标用户感知异常的目标像素点的目标颜色值进行修正,以调整目标像素点的色彩辨识程度,使得修正后的颜色值可较好地被目标用户正常感知。然后,可通过融合修正后的视图和初始图像来得到与目标用户相适配的视觉辅助图像,使得该视觉辅助图像不仅可保持原初始图像所具有的场景自然色彩,还可具有比初始图像更高的图像辨识度。最后,可通过输出该视觉辅助图像,来辅助目标用户更好地进行图像识别理解,从而有效提升用户粘度。
需要说明的是,根据本申请的一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图2、图5a或图6所示的图像处理方法实施例方面的各种可选方式中提供的方法。
并且,应理解的是,以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (13)

1.一种图像处理方法,其特征在于,包括:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点,所述目标像素点的目标颜色值包括至少两个颜色通道下的分量值;
根据所述目标色觉障碍类型,从所述至少两个颜色通道中确定所述目标用户感知异常的第一颜色通道,以及所述目标用户感知正常的第二颜色通道;
从所述目标像素点的目标颜色值中,确定所述第一颜色通道下的第一分量值,以及所述第二颜色通道下的第二分量值;
将所述第一分量值修正为目标数值,并采用所述色觉辅助辨识度对所述第一分量值进行缩放处理,得到缩放后的分量值;
将所述缩放后的分量值叠加至所述第二分量值上,以增强所述第二分量值;
融合修正后的视图和所述初始图像,得到视觉辅助图像,并输出所述视觉辅助图像。
2.如权利要求1所述的方法,其特征在于,所述采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,包括:
采用所述目标色觉障碍类型对待显示的初始图像进行视觉模拟处理,得到目标模拟视图,所述目标模拟视图中的各个像素点的颜色值与所述目标用户所感知到的颜色值相匹配;
根据所述初始图像和所述目标模拟视图之间的图像差异,计算得到色觉障碍视图。
3.如权利要求2所述的方法,其特征在于,所述初始图像是第一颜色空间下的图像,所述采用所述目标色觉障碍类型对待显示的初始图像进行视觉模拟处理,得到目标模拟视图,包括:
将所述初始图像从第一颜色空间转换至第二颜色空间,得到所述第二颜色空间下的中间图像;所述第二颜色空间是基于人眼视锥细胞所构建的颜色空间;
采用所述目标色觉障碍类型对所述中间图像进行视觉模拟处理,得到所述第二颜色空间下的初始模拟视图;
将所述初始模拟视图从所述第二颜色空间转换至所述第一颜色空间,得到所述第一颜色空间下的目标模拟视图。
4.如权利要求3所述的方法,其特征在于,所述采用目标色觉障碍类型对所述中间图像进行视觉模拟处理,得到所述第二颜色空间下的初始模拟视图,包括:
获取与所述目标色觉障碍类型所对应的颜色变换矩阵;
采用获取到的颜色变化矩阵,对所述中间图像中的各个像素点的颜色值进行空间投射,得到所述第二颜色空间下的初始模拟视图。
5.如权利要求1-4任一项所述的方法,其特征在于,所述视觉辅助图像中包括目标元素,所述方法还包括:
在所述视觉辅助图像中识别出所述目标元素的元素信息,所述元素信息包括:所述目标元素的位置信息和尺寸信息;
根据所述元素信息,采用元素外包框对所述目标元素进行标注显示。
6.一种图像处理方法,其特征在于,所述方法由游戏客户端执行,所述游戏客户端用于显示目标云游戏的游戏画面,所述游戏客户端与云游戏服务器中的目标容器进行通信,所述目标容器用于运行所述目标云游戏;所述方法包括:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
在显示所述目标云游戏的当前游戏画面的过程中,若检测到所述目标用户的用户操作事件,则将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中,使得所述云游戏服务器在根据所述用户操作事件获取到初始图像后,将所述初始图像下发至所述游戏客户端;
在接收到所述初始图像后,采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点,所述目标像素点的目标颜色值包括至少两个颜色通道下的分量值;
根据所述目标色觉障碍类型,从所述至少两个颜色通道中确定所述目标用户感知异常的第一颜色通道,以及所述目标用户感知正常的第二颜色通道;
从所述目标像素点的目标颜色值中,确定所述第一颜色通道下的第一分量值,以及所述第二颜色通道下的第二分量值;
将所述第一分量值修正为目标数值,并采用所述色觉辅助辨识度对所述第一分量值进行缩放处理,得到缩放后的分量值;
将所述缩放后的分量值叠加至所述第二分量值上,以增强所述第二分量值;
融合修正后的视图和所述初始图像,得到视觉辅助图像,并显示所述视觉辅助图像。
7.如权利要求6所述的方法,其特征在于,所述方法还包括:
在检测到所述用户操作事件后,识别所述用户操作事件的事件类型;
若所述用户操作事件的事件类型为游戏事件类型,则执行将所述用户操作事件发送至所述云游戏服务器内的所述目标容器中的步骤;
若所述用户操作事件的事件类型为非游戏事件类型,则在所述当前游戏画面上渲染显示所述用户操作事件对应的反馈图像。
8.如权利要求6或7所述的方法,其特征在于,所述云游戏服务器存储有所述视觉辅助信息,所述视觉辅助信息还包括视觉辅助模式,所述视觉辅助模式包括客户端模式或者服务器模式;
其中,所述初始图像是在所述视觉辅助模式包括所述客户端模式时,由所述云游戏服务器下发至所述游戏客户端的。
9.一种图像处理方法,其特征在于,所述方法由云游戏服务器执行,所述云游戏服务器包括用于运行目标云游戏的目标容器,所述目标容器和游戏客户端进行通信,所述游戏客户端是指用于显示目标云游戏的游戏画面的客户端;所述方法包括:
获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
若从所述游戏客户端处接收到所述目标用户的用户操作事件,则根据所述用户操作事件获取初始图像;
采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点,所述目标像素点的目标颜色值包括至少两个颜色通道下的分量值;
根据所述目标色觉障碍类型,从所述至少两个颜色通道中确定所述目标用户感知异常的第一颜色通道,以及所述目标用户感知正常的第二颜色通道;
从所述目标像素点的目标颜色值中,确定所述第一颜色通道下的第一分量值,以及所述第二颜色通道下的第二分量值;
将所述第一分量值修正为目标数值,并采用所述色觉辅助辨识度对所述第一分量值进行缩放处理,得到缩放后的分量值;
将所述缩放后的分量值叠加至所述第二分量值上,以增强所述第二分量值;
融合修正后的视图和所述初始图像,得到视觉辅助图像;并将所述视觉辅助图像下发至所述游戏客户端,使所述游戏客户端显示所述视觉辅助图像。
10.如权利要求9所述的方法,其特征在于,所述视觉辅助信息还包括视觉辅助模式,所述视觉辅助模式包括客户端模式或者服务器模式;所述方法还包括:
在获取到所述初始图像后,从所述视觉辅助信息中获取所述视觉辅助模式;
若所述视觉辅助模式包括所述服务器模式,则执行采用所述目标色觉障碍类型对所述初始图像进行色觉障碍预测,得到色觉障碍视图的步骤;
若所述视觉辅助模式包括所述客户端模式,则将所述初始图像下发至所述游戏客户端,使得所述游戏客户端在根据所述视觉辅助信息和所述初始图像得到视觉辅助图像后,显示所述视觉辅助图像。
11.一种图像处理装置,其特征在于,包括:
获取单元,用于获取目标用户的视觉辅助信息,所述视觉辅助信息中至少包括:目标色觉障碍类型以及色觉辅助辨识度;
处理单元,用于采用所述目标色觉障碍类型对待显示的初始图像进行色觉障碍预测,得到色觉障碍视图,所述色觉障碍视图中包括所述目标用户感知异常的目标像素点,所述目标像素点的目标颜色值包括至少两个颜色通道下的分量值;
所述处理单元,还用于根据所述目标色觉障碍类型,从所述至少两个颜色通道中确定所述目标用户感知异常的第一颜色通道,以及所述目标用户感知正常的第二颜色通道;从所述目标像素点的目标颜色值中,确定所述第一颜色通道下的第一分量值,以及所述第二颜色通道下的第二分量值;将所述第一分量值修正为目标数值,并采用所述色觉辅助辨识度对所述第一分量值进行缩放处理,得到缩放后的分量值;将所述缩放后的分量值叠加至所述第二分量值上,以增强所述第二分量值;
所述处理单元,还用于融合修正后的视图和所述初始图像,得到视觉辅助图像,并输出所述视觉辅助图像。
12.一种计算机设备,包括输入接口和输出接口,其特征在于,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行如权利要求1-5任一项所述的图像处理方法;
或者,所述一条或多条第二指令适于由所述处理器加载并执行如权利要求6-8任一项所述的图像处理方法;
或者,所述一条或多条第三指令适于由所述处理器加载并执行如权利要求9或10所述的图像处理方法。
13.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由处理器加载并执行如权利要求1-5任一项所述的图像处理方法;
或者,所述一条或多条第二指令适于由所述处理器加载并执行如权利要求6-8任一项所述的图像处理方法;
或者,所述一条或多条第三指令适于由所述处理器加载并执行如权利要求9或10所述的图像处理方法。
CN202110242584.3A 2021-03-04 2021-03-04 图像处理方法、装置、计算机设备及存储介质 Active CN112999654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110242584.3A CN112999654B (zh) 2021-03-04 2021-03-04 图像处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110242584.3A CN112999654B (zh) 2021-03-04 2021-03-04 图像处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112999654A CN112999654A (zh) 2021-06-22
CN112999654B true CN112999654B (zh) 2023-01-10

Family

ID=76405967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110242584.3A Active CN112999654B (zh) 2021-03-04 2021-03-04 图像处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112999654B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467807A (zh) * 2021-07-06 2021-10-01 腾讯科技(深圳)有限公司 游戏更新方法及系统、服务器、电子设备、存储介质
CN113781350B (zh) * 2021-09-16 2023-11-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756718B (zh) * 2017-11-02 2022-02-18 腾讯科技(深圳)有限公司 色彩矫正方法和装置

Also Published As

Publication number Publication date
CN112999654A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
US20220014819A1 (en) Video image processing
CA2853212C (en) System, server, and control method for rendering an object on a screen
KR102474088B1 (ko) 이미지를 합성하기 위한 방법 및 디바이스
CN112999654B (zh) 图像处理方法、装置、计算机设备及存储介质
US10298903B2 (en) Method and device for processing a part of an immersive video content according to the position of reference parts
CN109309842B (zh) 直播数据处理方法和装置、计算机设备和存储介质
CN112416346B (zh) 界面配色方案的生成方法、装置、设备及存储介质
CN110149550B (zh) 一种图像数据处理方法、装置和存储介质
CN112269891A (zh) 动态影集生成方法、服务器、显示终端及可读存储介质
CN107509080B (zh) 一种编码图像显示方法、装置和电子设备
CN114399437A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114286172B (zh) 数据处理方法及装置
US20230005107A1 (en) Multi-task text inpainting of digital images
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN110267079B (zh) 待播放视频中人脸的替换方法和装置
KR20110136026A (ko) 증강현실 데이터 최적화 시스템
WO2023065961A1 (zh) 视频植入方法、装置、设备及计算机可读存储介质
CN114222185B (zh) 视频播放方法、终端设备及存储介质
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
CN114217758A (zh) 图像显示方法、装置、电子设备及计算机可读存储介质
CN112434234A (zh) 基于浏览器的帧提取方法和系统
CN117523148B (zh) 虚拟ar的互动方法、系统、电子设备及存储介质
CN116887005B (zh) 投屏方法、电子设备和计算机可读存储介质
EP4304175A1 (en) Systems for and methods for assisting users with color blindness
US20240095387A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40047822

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant