CN112543345B - 图像处理方法、发送端、接收端以及计算机可读存储介质 - Google Patents

Abstract

本发明公开一种图像处理方法，用于发送端，所述图像处理方法包括以下步骤：获取目标图像；利用选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像，以使所述预处理图像的像素密度分布满足预设条件；基于所述预处理图像，获得球面图像；将所述球面图像发送至接收端，以使所述接收端基于所述球面图像，获得输出图像。本发明还公开了一种发送端、接收端、以及计算机可读存储介质。利用本发明的图像处理方法，获得的输出图像的清晰度较高。

Description

图像处理方法、发送端、接收端以及计算机可读存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种图像处理方法、发送端、接收端以及计算机可读存储介质。

背景技术

目前，全景技术得到广泛的应用，用于体育赛事、热点新闻、演唱会和发布会等场景，通过全景技术进行直播，能给用户带来无与伦比的沉浸感，让用户感觉宛如在现场一般。

目前，较常用的投影为几何体投影方法，发送端通过将原始图像的二维坐标经过三维坐标转换后，获得求面内容，并将求面内容发送到接收端，以使接收端将球面图像投影在目标几何体(正立方体、正八面体或正十二面体等)的各个面中，获得投影后的输出图像。

但是，采用现有的投影方法，获得的输出图像的清晰度较差。

发明内容

本发明的主要目的是提供一种图像处理方法、发送端、接收端以及计算机可读存储介质，旨在解决现有技术中采用现有的投影方法，获得的输出图像的清晰度较差的技术问题。

为实现上述目的，本发明提出一种图像处理方法，用于发送端，所述图像处理方法包括以下步骤：

获取目标图像；

利用选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像，以使所述预处理图像的像素密度分布满足预设条件；

基于所述预处理图像，获得球面图像；

将所述球面图像发送至接收端，以使所述接收端基于所述球面图像，获得输出图像。

可选的，所述利用所述选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像的步骤之前，所述方法还包括：

获取所述接收端的投影模式对应的目标几何体；

基于所述目标几何体，获得所述选定拟合函数。

可选的，所述基于所述目标几何体，获得所述选定拟合函数的步骤之前，所述方法还包括：

获取所述接收端的第一目标视场角和所述第一目标视场角的方向；

所述基于所述目标几何体，获得所述选定拟合函数的步骤包括：

基于所述第一目标视场角、所述第一目标视场角的方向和所述目标几何体，获得所述选定拟合函数。

此外，为实现上述目的，本发明还提出了一种图像处理方法，用于接收端，所述图像处理方法包括以下步骤：

接收发送端发送的球面图像，所述球面图像基于预处理图像获得，所述预处理图像是利用选定拟合函数对获取到的目标图像中的像素点坐标进行调整获得，其中，所述预处理图像的像素密度分布满足预设条件；

基于所述球面图像，获得输出图像。

可选的，所述基于所述球面图像，获得输出图像的步骤之前，所述方法还包括：

从所述发送端获取所述选定拟合函数；

所述基于所述球面图像，获得输出图像的步骤包括：

基于所述球面图像和所述选定拟合函数，获得输出图像。

可选的，所述基于所述球面图像和所述选定拟合函数，获得输出图像的步骤之前，所述方法还包括：

获取所述接收端的第二目标视场角和所述第二目标视场角的方向；

所述基于所述球面图像和所述选定拟合函数，获得输出图像的步骤包括：

基于所述第二目标视场角和所述第二目标视场角的方向，在所述球面图像中确定出输出区域对应的预处理输出图像；

基于所述预处理输出图像和所述选定拟合函数，获得所述输出图像。

可选的，所述基于预处理输出图像和所述选定拟合函数，获得所述输出图像的步骤包括：

计算所述预处理输出图像中任意相邻两个像素点像素均值，获得像素点均值集合；

利用所述像素点均值集合对所述预处理输出图像进行上采样，获得结果输出图像；

基于所述结果输出图像和所述选定拟合函数，获得所述输出图像。

此外，为实现上述目的，本发明还提出了一种图像处理装置，用于发送端，所述装置包括：

获取模块，用于获取目标图像；

第一获得模块，用于利用选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像，以使所述预处理图像的像素密度分布满足预设条件；

第二获得模块，用于基于所述预处理图像，获得球面图像；

发送模块，用于将所述球面图像发送至接收端，以使所述接收端基于所述球面图像，获得输出图像。

此外，为实现上述目的，本发明还提出了一种图像处理装置，用于接收端，所述装置包括：

接收模块，用于接收发送端发送的球面图像，所述球面图像基于预处理图像获得，所述预处理图像是利用选定拟合函数对获取到的目标图像中的像素点坐标进行调整获得，其中，所述预处理图像的像素密度分布满足预设条件；

第三获得模块，用于基于所述球面图像，获得输出图像。

此外，为实现上述目的，本发明还提出了一种发送端，所述发送端包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行图像处理程序，所述图像处理程序被所述处理器执行时实现如上述任一项所述的图像处理方法的步骤。

此外，为实现上述目的，本发明还提出了一种接收端，所述接收端包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行图像处理程序，所述图像处理程序被所述处理器执行时实现如上述任一项所述的图像处理方法的步骤。

此外，为实现上述目的，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上述任一项所述的图像处理方法的步骤。

本发明技术方案提出了一种图像处理方法，通过获取目标图像；利用选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像，以使所述预处理图像的像素密度分布满足预设条件；基于所述预处理图像，获得球面图像；将所述球面图像发送至接收端，以使所述接收端基于所述球面图像，获得输出图像。现有的图像处理方法，基于目标图像获得球面图像，使得接收端利用球面图像获得平面图像时，平面图像的像素密度分布的均匀性较差，进而导致利用平面图像获得的输出图像的清晰度较差，而本申请，利用拟合函数对目标图像进行调整，获得像素密度分布满足预设条件的预处理图像，并基于与处理图像获得球面图像，使得接收端基于球面图像获得的平面图像时，平面图像的像素密度分布较均匀，从而使得输出图像的清晰度较好，所以，利用本申请的图像处理方法，达到了提高输出图像清晰度的技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为现有技术中立方体投影方法示意图；

图2为本发明实施例方案涉及的硬件运行环境的发送端结构示意图；

图3为本发明图像处理方法第一实施例的流程示意图；

图4为本发明图像处理方法第二实施例的流程示意图；

图5为本发明图像处理装置第一实施例的结构框图；

图6为本发明图像处理装置第一实施例的结构框图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，较常用的投影方法为几何体投影方法，发送端将原始图像转换为球面图像，并发送至接收端，接收端通过将球面图像(投影图像或投影视频)投影在目标几何体(正立方体、正八面体或正十二面体等)的各个面中，然后将投影后的各个面展开，以获得平面图像，基于平面图像获得输出图像，通常输出图像是指接收端的视场角范围内的图像，即，用户通过接收端观测到的平面图像中的一部分。

参照图1，图1为现有技术中立方体投影方法示意图；图1只示出了球面图像某一个圆形截面的投影示意图，其中，目标几何体为正立方体。

参照图1，采用现有的投影方式进行投影时，目标几何体为正立方体，在该截面中，经过圆心和圆周上每一点的射线是以同样的角度向外发射的，在投影到立方体对应的面上时，越靠近中点对应的线段长度越短，越远离中点则对应线段越长，即，该圆形截面上相同长度的弧映射到正方形上之后长度是不等的。

可见，球面图像中相同数量的像素点，投影到立方体边缘区域所分布到的采样像素数量会多于投影到中心区域时所分布的像素数量，使得视角中心像素数量较低，导致输出图像的像素密度分布不均，输出图像清晰度较差。

参照图2，图2为本发明实施例方案涉及的硬件运行环境的发送端结构示意图。

发送端可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(User Equipment，UE)、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station，MS)等。发送端可能被称为用户终端、便携式终端、台式终端等。

通常，发送端包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序配置为实现如前所述的图像处理方法的步骤。

处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、 FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301 可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关图像处理方法操作，使得图像处理方法模型可以自主训练学习，提高效率和准确度。

存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的图像处理方法。

在一些实施例中，终端还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。

通信接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302 和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304 还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305 还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305 可以为一个，电子设备的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用 LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode, 有机发光二极管)等材质制备。

电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。本领域技术人员可以理解，图1中示出的结构并不构成对图像处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

接收端的结构参照上述发送端的结构描述，结构相似，此处不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上文所述的图像处理方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个发送端和一个接收端上执行，或者在位于一个地点的多个发送端和多个接收端上执行，又或者，在分布在多个地点且通过通信网络互连的多个发送端和多个接收端上执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

基于上述硬件结构，提出本发明图像处理方法的实施例。

参照图3，图3为本发明图像处理方法第一实施例的流程示意图，所述方法用于发送端，所述方法包括以下步骤：

步骤S11：获取目标图像。

需要说明的是，本发明的执行主体是发送端，发送端的结构参照上述描述，此处不再赘述。目标图像可以是发送端的采集部件采集到的目标图像，也可以是发送端从其他电子设备获取的目标图像，通常目标图像为摄像机直接拍摄的图像，并没有经过任何拼接处理的图像；在本发明中目标图像可以是视频或图片，当目标图像是视频时，即，对视频中的每一个视频帧进行本发明的图像处理方法。

可以理解的是，本发明的图像处理方法是用于全景投影的，所以，目标图像通常是对某一个区域拍摄的全景图像，通过发送端的全景摄像头或其他电子设备的全景摄像头拍摄的，并由发送端获取；通常目标图像为全景图像时，同一时刻的目标图像包括多个图像，多个图像构成一个区域的全景图像。

步骤S12：利用选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像，以使所述预处理图像的像素密度分布满足预设条件。

需要说明的是，参照图1，经过圆心和圆周上每一点的射线是以同样的角度向外发射的，在投影到立方体对应的面上时，越靠近中点对应的线段长度越短，越远离中点则对应线段越长，即，该圆形截面上相同长度的弧映射到正方形上之后长度是不等的。可见，球面图像中相同数量的像素点，投影到立方体边缘区域所分布到的采样像素数量会多于投影到中心区域时所分布的像素数量，使得视角中心像素数量较低，导致输出图像的像素密度分布不均。为保证输出图像的像素密度分布均匀，需要确定拟合函数，即确定出选定拟合函数，通过选定拟合函数对目标图像的像素点坐标进行调整，获得预处理图像，以使通过预处理图像，最终获得输出图像的像素密度分布较均匀。通常，预设条件是指输出图像的像素密度分布较均匀时，输出图像对应的初始预处理图像的像素密度分布情况；同一目标图像，对应不同的几何体模型时，预设条件不同，对应不同的视场角时，预设条件也不同，对应不同的视场角的方向时，预设条件也不同，即，不同的几何体模型、视场角和视场角的方向对应不同的拟合函数，利用不同的拟合函数对同一目标图像进行坐标点调整后，获得的预处理图像的像素密度分布满足的预设条件也不同。

进一步的，步骤S12之前，所述方法还包括：获取所述接收端的投影模式对应的目标几何体；基于所述目标几何体，获得所述选定拟合函数。

需要说明的是，接收端的结构参照上述发送端的结构描述，结构相似，此处不再赘述。几何体投影方法中包括不同的目标几何体，即，接收端进行图像处理时，采用的目标几何体可以是正立方体、正八面体或正十二面体等，通常，正立方体由于数据运算量较少，较为常用，本实施例以正立方体为例进行讲解。

可以理解的是，同一球面图像投影于同一个几何体的各个面的像素密度分布情况一样；当目标几何体不同时，同一球面图像投影与目标几何体各个平面的像素密度分布情况不一样，例如，同一目标图像，正立方体模型投影后的每个面的像素密度分布A，与正八面体模型投影后的每个面的像素密度分布B是不同的。目标图像的像素分布是均匀的，为了保证输出图像的像素密度分布较均匀，球面图像的像素密度分布需要不均匀，即，预处理图像的像素密度分布不均匀(即，满足预设条件，不同的预设条件对应的不均匀的密度分布情况不同)，由于不同目标几何体对应的每个面的像素密度分布不同(即，输出图像的像素密度分布不同)，则，需要对目标图像利用不同的拟合函数进行像素坐标调整，才能使不同的目标几何体投影后的输出图像的像素密度分布是均匀的，即，目标几何体是拟合函数的确定因素。

通常，为了适应多种情景(例如，不同的目标集合体、不同的视场角和不同的视场角的方向等)，需要提前对各种需求的情况分别进行拟合函数的训练，以获得拟合函数集合，当需要进行图像处理时，即从拟合函数集合中选择对应的拟合函数即可，不需要再图像处理过程中进行拟合函数训练，提高了图像处理的速度。可以理解的是，训练拟合函数的过程即是对拟合函数的系数进行调整的过程。

通常，原始拟合函数可以是多项式函数、指数函数、对数函数、幂函数或三角函数等，根据多种情景对原始拟合函数进行拟合，获得多种情况分别对应的拟合函数，即获得拟合函数集合，在图像处理过程中，直接根据具体情景，在拟合函数集合中进行拟合函数的确定即可。例如，根据球面图像投影与不同几何体(正立方体和正八面体)各个面的像素密度分布情况，分别确定包括两种拟合函数的拟合函数集合：正立方体对应的拟合函数A和正八面体对应的拟合函数B。当目标集几何体为正立方体时，则从拟合函数集合中确定出正立方体对应的拟合函数A。

进一步的，步骤S12之前，所述方法还包括：获取所述接收端的第一目标视场角和所述第一目标视场角的方向；相应的，所述基于所述目标几何体，获得所述选定拟合函数的步骤包括：基于所述第一目标视场角、所述第一目标视场角的方向和所述目标几何体，获得所述选定拟合函数。

需要说明的是，接收端可能是VR设备，接收端并不能将某一时刻的全景图像全部呈现，因为观看者不可能同时看到360度的图像，即，接收端的用户的具有视场角，即，第一目标视场角，同时，接收端的用户的视角方向也可能不同，即第一目标视场角的方向，其中，视场角的方向可以是水平方向、朝上方向或朝下方向等。不同的视场角的角度不同，获得的输出图像的大小不同，为了保证第一目标视场角范围内的输出图像清晰度较好，需要针对输出图像的范围(基于视场角和时长角的朝向，可以参照人眼看东西的方向和角度，即，不同方向看到的区域是大小不同的，不同角度看到的区域大小也不同)进一步确定出拟合函数。即，此时需要参照第一目标视场角、第一目标视场角的方向和目标几何体共同确定选定拟合函数。

可以理解的是，此时对原始拟合函数进行训练时，需要获得第一目标视场角、第一目标视场角的方向和目标几何体三个因素组合后的全部情景对应的拟合函数，此时的拟合函数集合包括较多的拟合函数，具体应用时，基于所述三个因素共同确定出选定拟合函数。

通常，接收端的视场角为60度，但是，为了保证输出图像的清晰度较好，可以将视场角60度增加一定的预测度数(如10度)获得较大的视场角，以较大的视场角为基准，进行选定拟合函数的确定。

例如，拟合函数集合包括3个视场角、3个视场角的方向和3个几何体模型对应的27个拟合函数。基于，视场角A、视场角的方向B和几何体正立方体，获得选定拟合函数为视场角A、视场角的方向B和正立方体对应的D1拟合函数。

具体应用中，目标图像的一个像素点坐标为(u，v)，利用拟合函数对该像素点进行坐标进行调整后，获得像素点坐标为(u’,v’)，其中，拟合函数包括横坐标的拟合函数和纵坐标的拟合函数，即：

u’＝f(u)

v’＝g(v)

可以理解的是，目标图像和预处理图像具有相同的像素点数，只是预处理图像的像素密度分布满足预设条件。可以理解的是，当输出图像的像素密度分布均匀时，第一目标视场角、第一目标视场角的方向和目标几何体不同时，对应的预处理图像的像素密度分布也不同，即，通过像素点分布均匀的目标图像获得预处理图像时，利用的拟合函数不同。同一目标图像，利用不同的拟合函数进行像素点坐标调整后，获得的预处理图像的像素密度分布也不同，即，预处理图像对应的像素密度分布满足的预设条件不同。

例如，利用D1拟合函数和D2拟合函数对同一目标图像进行像素点坐标调整，获得预处理图像；利用视场角A、视场角的方向B和正立方体对应的D1 拟合函数对目标图像进行像素点坐标调整，获得预处理图像，预处理图像的像素密度分布为第一区域包括1200个像素点，密度为100，第二区域包括800个像素点，密度为80，其中，预设条件为：第一区域包括1200个像素点，密度为100，第二区域包括800个像素点，密度为80；利用视场角C、视场角的方向E和正立方体对应的D2拟合函数对目标图像进行像素点坐标调整，获得预处理图像，预处理图像的像素密度分布为第一区域包括1300个像素点，密度为 110，第二区域包括700个像素点，密度为70，其中，预设条件为：第一区域包括1300个像素点，密度为110，第二区域包括700个像素点，密度为70。可见，利用D1拟合函数获得的预处理图像的密度分布满足的预设条件，与用D1 拟合函数获得的预处理图像的密度分布满足的预设条件不同。

步骤S13：基于所述预处理图像，获得球面图像。

需要说明的是，首先将预处理图像的像素点坐标转换为经纬度坐标，将坐标为(u，v)的像素点，调整为(u’,v’)时，再将(u’,v’)调整为经纬度坐标 (θ，Φ)即：

θ＝2π(u’-0.5)

Φ＝2π(0.5-v’)

然后，再将经纬度坐标(θ，Φ)，转换为三维笛卡尔坐标(X,Y,Z)，即：

X＝cosθcosΦ

Y＝sinθ

Z＝-cosθsinΦ

将预处理图像中的所有像素点均经过上述变换，获得球面图像。

步骤S14：将所述球面图像发送至接收端，以使所述接收端基于所述球面图像，获得输出图像。

需要说明的是，接收端基于目标几何体、第一目标视场角和所述第一目标视场角的方向在球面图像上确定出对应的输出区域，对输出区域对应的图像进行处理，获得输出图像。

本实施例技术方案提出了一种图像处理方法，通过获取目标图像；利用选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像，以使所述预处理图像的像素密度分布满足预设条件；基于所述预处理图像，获得球面图像；将所述球面图像发送至接收端，以使所述接收端基于所述球面图像，获得输出图像。现有的图像处理方法，基于目标图像获得球面图像，使得接收端利用球面图像获得平面图像时，平面图像的像素密度分布的均匀性较差，进而导致利用平面图像获得的输出图像的清晰度较差，而本申请，利用拟合函数对目标图像进行调整，获得像素密度分布满足预设条件的预处理图像，并基于与处理图像获得球面图像，使得接收端基于球面图像获得的平面图像时，平面图像的像素密度分布较均匀，从而使得输出图像的清晰度较好，所以，利用本申请的图像处理方法，达到了提高输出图像清晰度的技术效果。

参照图4，图4为本发明图像处理方法第二实施例的流程示意图；所述方法用于接收端，所述方法包括以下步骤：

步骤S21：接收发送端发送的球面图像，所述球面图像基于预处理图像获得，所述预处理图像是利用选定拟合函数对获取到的目标图像中的像素点坐标进行调整获得，其中，所述预处理图像的像素密度分布满足预设条件；

步骤S22：基于所述球面图像，获得输出图像。

此处参照上述第一实施例的描述，不再赘述。

进一步的，步骤S22之前，所述方法还包括：从所述发送端获取所述选定拟合函数；相应的，步骤S22包括：基于所述球面图像和所述选定拟合函数，获得输出图像。

需要说明的是，接收端需要将球面图像的像素点的三维笛卡尔坐标(X,Y,Z)，转换为经纬度坐标，(θ，Φ)，即：

然后再将像素点的经纬度坐标转换为二维坐标(u’,v’)，即：

θ＝2π(u’-0.5)

Φ＝2π(0.5-v’)

然后再利用选定拟合函数，获得选定拟合函数的逆，即利用选定拟合函数中横坐标的拟合函数的逆和纵坐标的拟合函数的逆，分别对二维坐标(u’,v’) 的横坐标和纵坐标处理，获得像素点的最原始坐标(u，v)，即：

u＝f’(u’)

v＝g’(v’)

其中，f’(x)为横坐标的拟合函数的逆，g’(x)为纵坐标的拟合函数的逆。

具体应用中，在球面图像中确定出输出区域对应的预处理输出图像，然后将预处理输出图像经过上述变换，获得输出图像。

进一步的，步骤S22之前，所述方法还包括：获取所述接收端的第二目标视场角和所述第二目标视场角的方向；相应的，步骤S22包括：基于所述第二目标视场角和所述第二目标视场角的方向，在所述球面图像中确定出输出区域对应的预处理输出图像；基于所述预处理输出图像和所述选定拟合函数，获得所述输出图像。

可以理解的，视场角的大小和视场角的方向不同，对应的球面图像中的需要显示的区域(即，输出区域)是不同的，类似于人眼的效果，参照上文中的描述，此处不再赘述。所以，此时需要实时获取到接收端的第二目标视场角和所述第二目标视场角的方向，以基于所述第二目标视场角和所述第二目标视场角的方向，在所述球面图像中确定出输出区域对应的预处理输出图像，并对预处理输出图像经过上述变换，获得输出图像。

进一步的，步骤S12包括：计算所述预处理输出图像中任意相邻两个像素点像素均值，获得像素点均值集合；利用所述像素点均值集合对所述预处理输出图像进行上采样，获得结果输出图像；基于所述结果输出图像和所述选定拟合函数，获得所述输出图像。

需要说明的是，当显示输出图像时，缩放比例较大时，容易产生图像失真，为了保证输出图像在缩放比例较大的时候也不会产生失真，需要提前对图像进行优化处理，即对预处理输出图像进行上采样(以增加预处理输出图像的像素点，进而提升预处理输出图像的清晰度)，获得结果输出图像，并基于所述结果输出图像和所述选定拟合函数，获得所述输出图像；其中，上采样的方式为：计算所述预处理输出图像中任意相邻两个像素点像素均值，获得像素点均值集合；利用所述像素点均值集合对所述预处理输出图像进行上采样。例如，其中，预处理输出图像的像素点中相邻的两个像素点的值为8和9，则，计算他们的均值为8.5，在这两个像素点中间增加一个像素点，该增加的像素点值为8.5，对预处理输出图像中的全部像素点均执行该上采样操作，即获得结果输出图像。

具体应用中，通过在Fragment Shader(片段着色器)中对预处理输出图像进行上采样。

在本实施例中，通过在球面图像中确定输出区域对应的预处理输出图像，对预处理输出图像进行上采样，获得结果输出图像，并基于结果输出图像，获得像素密度分布较均匀的平面图像，并基于平面图像，获得输出图像。相较于现有技术中，将球面图像投影与目标集几何体后，获得平面图像(第一次采样，导致平面图像的像素密度分布不均)，然后再平面图像中确定输出区域对应的输出图像(第二次截取采样)，本发明的图像处理方法，避免了获得的平面图像的像素密度分布不均导致的输出图像画面清晰的较差的问题出现，同时，增加了上采样，增加了输出图像画面清晰度，使得缩放比例较大时，输出图像的清晰度也较好。

可以理解的是，本发明实施例涉及到的利用目标几何体、视场角和视场角的方向确定拟合函数时，在直播类的图像处理中，通常目标几何体只需要一次获取即可，而视场角和视场角的方向均是动态的，所以视场角和视场角的方向需要实时动态获取，基于发送端的视场角和视场角的方向进行动态确定拟合函数，以获得满足需求的球面图像；通常非直播类型的图像处理，均是已经按照预设视场角和预设视场角朝向对应的拟合函数处理后的球面图像，基本不会再做动态调整。

参照图5，图5为本发明图像处理装置第一实施例的结构框图，装置用于发送端，所述装置包括：

获取模块10，用于获取目标图像；

第一获得模块20，用于利用选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像，以使所述预处理图像的像素密度分布满足预设条件；

第二获得模块30，用于基于所述预处理图像，获得球面图像；

发送模块40，用于将所述球面图像发送至接收端，以使所述接收端基于所述球面图像，获得输出图像。

参照图6，图6为本发明图像处理装置第一实施例的结构框图，装置用于接收端，所述装置包括：

接收模块50，用于接收发送端发送的球面图像，所述球面图像基于预处理图像获得，所述预处理图像是利用选定拟合函数对获取到的目标图像中的像素点坐标进行调整获得，其中，所述预处理图像的像素密度分布满足预设条件；

第三获得模块60，用于基于所述球面图像，获得输出图像。

以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (6)

1.一种图像处理方法，其特征在于，用于发送端，所述图像处理方法包括以下步骤：

获取目标图像；

利用选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像，以使所述预处理图像的像素密度分布满足预设条件；

基于所述预处理图像，获得球面图像；

将所述球面图像发送至接收端，以使所述接收端基于所述球面图像，获得输出图像；

所述利用所述选定拟合函数对所述目标图像中的像素点坐标进行调整，获得预处理图像的步骤之前，所述方法还包括：

获取所述接收端的投影模式对应的目标几何体；

基于所述目标几何体，获得所述选定拟合函数；

所述基于所述目标几何体，获得所述选定拟合函数的步骤之前，所述方法还包括：

获取所述接收端的第一目标视场角和所述第一目标视场角的方向；

所述基于所述目标几何体，获得所述选定拟合函数的步骤包括：

基于所述第一目标视场角、所述第一目标视场角的方向和所述目标几何体，获得所述选定拟合函数。

2.一种图像处理方法，其特征在于，用于接收端，所述图像处理方法包括以下步骤：

接收发送端发送的球面图像，所述球面图像基于预处理图像获得，所述预处理图像是利用选定拟合函数对获取到的目标图像中的像素点坐标进行调整获得，其中，所述预处理图像的像素密度分布满足预设条件；

基于所述球面图像，获得输出图像；

所述基于所述球面图像，获得输出图像的步骤之前，所述方法还包括：

从所述发送端获取所述选定拟合函数；

所述基于所述球面图像，获得输出图像的步骤包括：

基于所述球面图像和所述选定拟合函数，获得输出图像；

所述基于所述球面图像和所述选定拟合函数，获得输出图像的步骤之前，所述方法还包括：

获取所述接收端的第二目标视场角和所述第二目标视场角的方向；

所述基于所述球面图像和所述选定拟合函数，获得输出图像的步骤包括：

基于所述第二目标视场角和所述第二目标视场角的方向，在所述球面图像中确定出输出区域对应的预处理输出图像；

基于所述预处理输出图像和所述选定拟合函数，获得所述输出图像。

3.如权利要求2所述的图像处理方法，其特征在于，所述基于预处理输出图像和所述选定拟合函数，获得所述输出图像的步骤包括：

计算所述预处理输出图像中任意相邻两个像素点像素均值，获得像素点均值集合；

利用所述像素点均值集合对所述预处理输出图像进行上采样，获得结果输出图像；

基于所述结果输出图像和所述选定拟合函数，获得所述输出图像。

4.一种发送端，其特征在于，所述发送端包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1中所述的图像处理方法的步骤。

5.一种接收端，其特征在于，所述接收端包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求2或3所述的图像处理方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至3中任一项所述的图像处理方法的步骤。

Images