CN114842072A - 图像处理方法、装置及系统 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置及系统。其中，该方法包括：获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息；确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，并获取工作位置信息对应的补偿系数，得到第一补偿系数集合，其中，图像采集装置至少用于采集显示屏的显示画面；依据目标图像在显示屏中的位置信息确定目标图像在不同的拍摄方向下的补偿权重，并基于补偿权重和第一补偿系数集合确定目标补偿系数；依据目标补偿系数对目标图像进行补偿。本申请解决了相关技术中对监测终端的配置进行修改时过程复杂、效率较低，影响整个监测系统灵活性的技术问题。

Description

图像处理方法、装置及系统

技术领域

本申请涉及虚拟拍摄领域，具体而言，涉及一种图像处理方法、装置及系统。

背景技术

影视相关拍摄中采用LED显示屏作为显示背景，在应用显示屏拍摄多屏搭建的场景下，不同拍摄位置由于视角偏差引入的色彩不一致容易导致拍摄问题。

在相关技术的解决方案中，从服务器获取当前摄像机的位置，并根据当下位置的LED得到偏色后的画面，服务器对画面进行渲染，达到解决偏色问题。由于相关技术的解决方案在服务器端处理带来图像延时大的问题，尤其是在相机快速移动时，服务器增加的渲染速度与显示屏的动态调节匹配不当，导致拍摄受约束，或快速移动后产生色差问题，或服务器端进行图像渲染的精度低，导致对图像补偿不当的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种图像处理方法、装置及系统，以至少解决相关技术中对监测终端的配置进行修改时过程复杂、效率较低，影响整个监测系统灵活性的技术问题。

根据本申请实施例的一个方面，提供了一种图像处理方法，包括：获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息；确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，并获取工作位置信息对应的补偿系数，得到第一补偿系数集合，其中，图像采集装置至少用于采集显示屏的显示画面；依据目标图像在显示屏中的位置信息确定目标图像在不同的拍摄方向下的补偿权重，并基于补偿权重和所述第一补偿系数集合确定目标补偿系数；依据目标补偿系数对目标图像进行补偿。

可选地，获取图像采集装置中的多个标定点位置信息，并确定和显示屏的尺寸信息，其中，多个标定点所对应的标定点位置与不同的拍摄方向一一对应，尺寸信息为基于显示屏中像素点的数量确定的；确定多个标定点位置信息所对应的目标视角，其中，目标视角为图像采集装置在不同工作位置时，图像采集装置的拍摄方向与显示屏所在平面的法线形成的角度；依据目标图像在显示屏中的位置信息对应的坐标信息和尺寸信息之间的差异信息；依据差异信息和目标视角确定补偿权重。

可选地，将尺寸信息和目标图像在所述显示屏中的位置信息所对应的坐标信息进行取差运算，并依据运算结果和目标视角确定补偿权重。

可选地，所述第一补偿系数集合为系数矩阵，其中，所述系数矩阵中的每个元素为所述多个标定点位置信息中每个标定点位置信息对应的补偿系数；基于所述补偿权重和所述第一补偿系数集合确定所述目标补偿系数，包括：依据上述系数矩阵中的所有系数和所述补偿权重确定第二系数集合；基于所述第二系数集合中所有系数的平均值确定目标补偿系数。

可选地，多个标定点位置信息所对应的多个标定点中至少包括在两条直线上分布的标定点，并且，所述两条直线互相垂直。

可选地，从外接设备接收工作位置信息对应的补偿系数；或者，从接收设备预先存储的补偿系数集合中确定与工作位置信息对应的补偿系数。

可选地，获取图像采集装置在有效移动空间范围内移动时，在候选采样点集合中的采样点采集的样本图像；获取样本图像的质量评估指标；依据质量评估指标从候选采样点集合中选择目标采样点，并将目标采样点所在的位置作为工作位置信息。

根据本申请实施例的另一方面，还提供了一种图像处理装置，包括：获取模块，用于获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息；第一确定模块，用于确定图像采集装置在不同工作位置进行图像采集时的工作位置信息，并获取工作位置信息对应的补偿系数，得到第一补偿系数集合；第二确定模块，用于依据目标图像在显示屏中的位置信息确定在不同的拍摄方向下的补偿权重，并基于补偿权重和第一补偿系数集合确定目标补偿系数补偿模块，用于依据目标补偿系数对目标图像进行补偿。

根据本申请实施例的另一方面，还提供了一种图像处理系统，包括：图像源设备，发送设备，接收设备，其中：图像源设备，用于提供原始图像，并将原始图像发送至发送设备；发送设备，用于接收原始图像，并对目标图像进行处得到目标图像；接收设备，用于执行上述任意一项的图像处理方法。

在本申请实施例中，首先获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息；确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，并获取工作位置信息对应的补偿系数，得到第一补偿系数集合，其中，图像采集装置至少用于采集显示屏的显示画面所对应的图像；依据目标图像在显示屏中的位置信息确定目标图像在不同的拍摄方向下的补偿权重，并基于补偿权重和第一补偿系数集合确定目标补偿系数；依据目标补偿系数对目标图像进行补偿。从而解决了相关技术中对监测终端的配置进行修改时过程复杂、效率较低，影响整个监测系统灵活性技术问题。

在本申请实施例中，提供了一种图像处理方法，包括：获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息；确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，并获取工作位置信息对应的补偿系数，得到第一补偿系数集合，其中，图像采集装置至少用于采集显示屏的显示画面所对应的图像；依据目标图像在显示屏中的位置信息确定目标图像在不同的拍摄方向下的补偿权重，并基于补偿权重和第一补偿系数集合确定目标补偿系数；依据目标补偿系数对目标图像进行补偿。达到了在拍摄过程中快速移动过程中，对图像渲染速度与显示屏的动态调节相匹配，同时对图像进行高精度渲染，从而实现了在降低拍摄成本的前提下对图像可以进行适当补偿，进而解决了相关技术中对监测终端的配置进行修改时过程复杂、效率较低，影响整个监测系统灵活性技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1(a)是根据本申请实施例提供的一种图像处理方法装置的结构示意图；

图1(b)是根据本申请实施例提供的另一种图像处理方法装置的结构示意图

图1(c)是根据本申请实施例提供的另一种图像处理方法装置的结构示意图

图2是根据本申请实施例提供的一种图像处理方法的流程示意图；

图3是根据本申请实施例提供的一种相机的特征位置的示意图；

图4是根据本申请实施例提供的一种方案补偿信息说明的示意图；

图5是根据本申请实施例提供的另一种方案补偿信息说明的示意图；

图6是根据本申请实施例提供的一种图像处理方法装置中位置信息转换装置的工作流程示意图；

图7是根据本申请实施例提供的一种Gamma变换后的输入和输出图像灰度值关系的示意图；

图8是根据本申请实施例提供的一种图像处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了更好地理解本申请实施例，以下将本申请实施例中涉及的术语解释如下：

服务器：根据用户需要，进行图像渲染处理，生成目标图像，输出给LED发送设备。

发送设备：承接服务器产生的画面，并通过软件配置，按照软件配置下发给LED 显示屏图像数据。

LED显示屏：LED显示屏是由LED箱体拼接成大屏，且内部有LED控制系统驱动电路，承接发送设备发送下来的图像数据，进行LED驱动显示。

位置信息发生器：主要用于获取摄像机当下的位置的设备。

摄像机：由1台或者多台摄像机搭建起来的拍摄LED显示屏的设备组合。

实施例1

为了解决相关技术中对监测终端的配置进行修改时过程复杂、效率较低，影响整个监测系统灵活性的技术问题，本申请提出实施例提出了一种新的图像处理系统，该方法可以应用于如图1(a)所示的图像处理系统中，但不限于此。

具体地，本申请实施例提供的图像处理系统，如图1(a)所示，该系统中至少包括：图像源设备11，发送设备12，接收设备13，其中：

图像源设备11，用于提供原始图像，并将原始图像发送至发送设备；

在图像处理过程中，对接收到的额原始图像进行处理，为了得到较高质量的目标图像，可以采用人工的方式调整参数，例如，当接收到的原始图像的亮度太暗或者太亮时，可以通过拖动亮度滑条来改变亮度，保证接收设备接收到的目标图像的图像显示效果更好，同样，我们可以采用上述类似的调整方法对原始图像继续局部修改，直到达到想要的视觉效果为止。

发送设备12，用于接收原始图像，并对原始图像进行处理得到目标图像；

在图像处理过程中，对接收到的原始处理进行处理，为了得到较高质量的目标图像，可以采用人工的方式来调整参数，例如，当接收到的原始图像的亮度太暗或太亮时，可以通过拖动亮度滑条来改变亮度，保证接收设备接收到的图像显示效果更好，我们可以采用同样的调整方法对原始图像进行局部修改，直到达到想要的视觉效果为止。

接收设备13，用于执行本申请实施例提供的图像处理方法。例如，执行图2所示的图像处理方法。

在执行图像处理过程中，由于还需要确定图像采集装置的位置信息和相机拍摄方向信息(例如镜头朝向)信息，并将位置信息转换为坐标信息，因此，图像处理系统中，如图1(b)所示,还需要包括：信息发生器14，用于获取图像采集装置15在不同工作位置进行图像采集时的工作位置信息对应的坐标信息，并获取图像采集装置的拍摄方向。信息发生器14可以位于发送设备(例如发送卡)中，也可以是与发送设备相对独立的设备。

另外，为了完成数据的分发，如图1(c)所示，还可以包括信息转换器16，该信息转换器可以位于发送设备(例如发送卡)中，也可以是与发送设备相机信息相对独立的设备，信息转换器可以包括以下处理单元：获取单元：从外部获取1个或多个相机现有位置信息；相机信息转换补偿系数：此模块将相机的位置信息转换为LED显示屏的补偿数据信息；补偿系数下发模块：将补偿系数下发给接收卡设备，接收卡设备是LED控制系统驱动LED灯板的控制单元。

在上述图像处理系统的基础上，本申请实施例还提供了一种图像处理方法，用于对图像处理系统中的位置信息发生器所执行的流程进行具体说明。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本申请实施例的一种可选的图像处理方法的流程示意图，如图2所示，该方法至少包括步骤S202-S208，其中：

步骤S202，获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息。

具体地，图像设备源获取原始图像之后，从原始图像中确定目标图像，并将目标图像发送至显示屏上，显示屏显示目标图像的同时，接收设备获取目标图像在显示屏中的位置信息，其中，显示屏可以为常见的LED显示屏，LED显示屏的最小显示单元是LED灯点，每个最小显示单元可以对应显示屏上不同的位置坐标信息，因此可以在LED显示屏上获取到目标图像对应的位置坐标信息，接收卡接收目标图像在LED 显示屏上对应的位置坐标信息。

获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息，可以表现为以下实现方式，但不限于此：接收到原始图像后，对原始图像进行局部调整得到目标图像，依据目标图像的图像数据获取目标像素的信息，目标像素的信息即为目标像素的位置信息。以下会详细举例说明确定目标像素的位置信息，此处不再赘述。

例如：常用LED显示屏包含LED显示屏面板和LED灯，LED显示屏面板上LED 灯按照矩阵式分布，则LED显示屏面板上分布的像素点与LED灯分布的方式相同，同样按照矩阵式分布，都具有横平竖直的特点。在一个300*300的多像素矩阵中，确定LED灯对应的位置坐标信息，其横坐标范围可以在1-300中任意一点，纵坐标范围可以在1-300中任意一点，每个LED灯的不同位置坐标信息都对应LED显示屏面板上的像素点，另外，目标像素的位置信息为目标像素的二维坐标信息，也即，目标像素的横坐标信息和目标像素的纵坐标信息，因此可以依据LED显示屏面板上的像素点的位置信息坐标的到目标像素的位置信息坐标。

步骤S204，确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，并获取工作位置信息对应的补偿系数，得到第一补偿系数集合，其中，图像采集装置至少用于采集显示屏的显示画面所对应的图像。

具体地，首先确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，通过位置信息发生器获取图像采集装置在至少一个位置进行图像采集时的工作位置信息，其中，图像采集装置可以为摄像头，摄像机，相机，扫描仪，其他带有拍照功能的设备(手机、平板电脑等)其中至少一个。

确定图像采集装置在至少一个位置进行图像采集时的工作位置信息可以通过获取图像采集装置在有效移动空间范围内移动时，在候选采样点集合中的采样点采集的样本图像；获取样本图像的质量评估指标；依据质量评估指标从候选采样点集合中选择目标采样点，并将目标采样点所在的位置作为工作位置信息，其中，有效移动空间范围为图像采集装置在各个方向上(二维或三维上的各个方向)可移动的最大距离。例如，将质量评估指标大于预设阈值的样本图像所对应的采样点作为上述目标采样点，反之，将质量评估指标小于预设阈值的样本图像所对应的采样点作为无效采样点，即不将无效采样点所在的位置作为上述工作位置信息，亦即在对上述目标图像进行处理过程中，不在该无效采样点进行图像采样。

举例而言，上述质量评估指标包括但不限于以下至少之一：图像完整度、图像清晰度、图像失真度等，其中，图像完整度有两个含义：在显示屏为一个的情况下(即通过一个显示屏提供背景画面)，仅检测该显示屏显示的图像的完整度；在显示屏为多个的情况下，即由多个显示屏显示的画面共同提供背景图像，需要检测所有显示屏图像的完整度，即所有显示屏的完整度均大于完整度阈值的情况下，才认为样本图像通过完整度检测。例如，在采集到的各个显示屏上的图像中，所有显示屏的边框均在图像中被检测到则认为通过完整度检测。其中，在确定图像完整度前，可以利用图像分割算法，分割出边框和非边框图像，然后对分割出的边框图像进行检测，在边框图像为非闭合的情况下，则未通过完整度检测，否则则认为通过完整度检测。在确定图像完整度时，还可以采样以下方式实现，但不限于此：可以将图像划分为多个部分并选取所述多个部分中的多个或全部作为待处理的子部；根据每个子部在颜色空间内的取值,计算该子部的颜色特征值；以及根据每个子部与其相邻子部的颜色是否相近,计算图像完整度,其中,在所述子部与其相邻子部的颜色特征值之差小于第一阈值的情况下,判定所述子部与其相邻子部的颜色相近。例如，颜色相近的子部越多，说明颜色越单一，此时可以认为图像不完整。在这里，可以在子部与其相邻子部的颜色特征值之差小于第一阈值的情况下，判定所述子部与其相邻子部的颜色相近。

可选地，从外界设备中接收工作位置信息对应的补偿系数，其中，外界设备包括，发送设备或服务器；或者，从接收设备预先存储的补偿系数集合中确定与工作位置信息对应的补偿系数，其中，补偿系数是依据图像采集装置的多个标定点位置信息，依据补偿系数的算法，利用位置信息转换器的发送设备计算出图像采集装置的每一个标定点所需要的补偿系数，该补偿系数为系数矩阵，其数据量大，可以对多个标定点同时进行补偿。也可以是在外界设备侧维护有标定点位置和补偿系数的映射关系，在确定标定点位置后，利用映射关系确定与标定点位置对应的补偿系数。

为了更准确地确定具体的补偿系数，依据接收设备中预设的补偿系数算法，利用多个标定点位置和补偿系数的映射关系中，获取与标定点对应映射关系中的补偿系数，其中，补偿系数算法可以是De-Mura补偿算法，分析标定点位置观测到的显示屏显示画面的像素点分布情况，再依据像素点数据情况，通过De-Mura补偿算法计算得到补偿系数，但不限于此。

其中，接收设备可包括：存储补偿系数集合装置或预约装置，存储补偿系数集合装置，用于存储与图像采集装置的标定点工作位置对应的补偿系数集合；和，预约装置，用于预约图像采集装置多个标定点位置和与之对应的补偿系数集合。

例如，以图像采集装置为相机为例，相机在空间中有9个特征位置，位置信息发生器根据相机与特征位置的关系，计算出相机的实时位置，其中，位置信息发生器可以是发送设备或接收设备中的一个模块，可以是与发送设备或接收设备相对独立的设备。以下结合图3说明上述相机的实时位置的计算过程：

当用户已经完成了特征位置的选取，选取了9个点的位置(本方案不局限于9个点，可以是任意点)；并且通过算法或者手动调节得到了特征点对应的LED显示屏的矩阵补偿系数；

相机位置移动后，依据相机在不同坐标位置时，确定与坐标位置对应的补偿系数发送至LED显示屏；

相机在(100,100)坐标位置时，(100,100)坐标给到发送装置后，则发送设备将(100,100)对应整个LED显示屏的补偿系数，实时下发给到LED显示屏；

当相机移动到(2000,100)后，(2000,100)坐标给到发送装置后，则发送设备将(2000,100)对应整个LED显示屏的补偿系数，实时下发给到LED显示屏。

具体地，在室内完成人物、场景拍摄时，采用显示屏作为显示背景，可以减少很多后期制作成本，使用相机对显示屏进行拍摄采集显示屏上的显示画面，由于相机在不同角度和方向进行拍摄时，会出现偏色问题。常用显示屏为LED显示屏，LED显示屏的最小显示单元为LED灯点，单个LED灯点内包含RGB三个独立的发光单元，这些发光单元存在一定空间上的排列关系，包括：竖向一字排列、横向一字排列、三角排列等，例如，当发光单元横向从左至右为RGB排列，在LED显示屏左侧观测，则看到显示屏的发光强度关系为R>G>B，引入偏红的现象；在右侧观测，看到的发光强度是：R<G<B，则看到偏蓝的现象，需要根据具体拍摄观测到的图像偏色情况确定具体的补偿系数。即图像采集装置会在不同位置对显示屏画面进行图像采集时，导致不同位置采集到的目标图像会出现偏色的问题，依据图像采集装置在不同位置时的工作位置信息确定对目标图像的补偿系数，补偿系数是指对待处理目标图像的色差的倍数，补偿系数为非0正数，若补偿系数大于1，说明待处理目标图像逆光过暗，需要增加亮度；若补偿系数小于1，说明待处理目标图像顺光过亮过曝，需要减小亮度。

步骤S206，依据目标图像在显示屏中的位置信息确定目标图像在不同的拍摄方向下的补偿权重，并基于补偿权重和第一补偿系数集合确定目标补偿系数。权重是图像采集装置的标定点位置与目标图像的距离确定的，距离与权重呈反比，即距离越大，权重越小，例如有4个点，距离拍摄方向对应的标定点越近的像素，那么该标定点对应的补偿权重越大。

可选地，获取图像采集装置中的多个标定点位置信息，并确定显示屏的尺寸信息，其中，多个标定点位置信息多对应的标定点位置与不同的拍摄方向一一对应，其中，尺寸信息可以基于显示屏中像素点的数量确定，也可以采用其他的度量方式确定；确定多个标定点位置信息所对应的目标视角，其中，目标视角为图像采集装置在不同工作位置时，图像采集装置的拍摄方向与显示屏所在平面的法线形成的角度；依据目标图像在显示屏中的位置信息所对应的坐标信息和尺寸信息之间的差异信息；依据差异信息和目标视角确定补偿权重。

具体地，图像采集设备对显示屏中显示的画面进行采集时，图像采集设备在不同工作位置上可以有不同方向的角度进行采集，将标定点与对应的拍摄方向一一对应起来，则获取多个标定点就可以获取对应不同的拍摄方向，同时，确定多个标定点对应的采集装置在不同工作位置进行拍摄时，图像采集装置与显示屏所在法线的角度，记为目标角度。

在获取标定点位置信息和与标定点位置信息对应的目标视角的同时，确定显示屏的尺寸信息，常见的LED显示屏的尺寸大小由很多因素影响，包括面积、显示比例、型号、模组尺寸、箱体尺寸等，型号是多样的，箱体的尺寸是可以根据实际情况具体确定合适的尺寸，依据箱体尺寸确定显示屏的尺寸大小，在具体应用过程中并不限于此种实现方式。

其中，为了节省运算资源，上述多个标定点位置信息所对应的多个标定点中至少包括在两条直线上分布的标定点，并且，所述两条直线互相垂直。该两条直线可以是位于不同对角线方向的标定点的连线，但不限于此。例如，图4中(128，0)和(128， 256)组成的直线与(0，128)和(256，128)组成的直线是互相垂直的，上述4个坐标位置存在4个补偿系数。上述多个标记点的数量可以为偶数，也可以为奇数，具体根据实际情况灵活设定。

在确定上述显示屏尺寸信息后，还需要目标图像在显示屏中的位置信息所对应的坐标信息和显示屏尺寸信息之间的差异信息；并依据差异信息和目标视角确定补偿权重。也就是说，在确定上述补偿权重时，可以依据上述差异信息确定，但是，需要注意的时，在具体应用过程中并不限于此种实现方式，例如，上述补偿权重可以是预先设置的，例如，在数据库中维护标记点与权重的映射关系，依据映射关系确定相应的补偿权重。

在依据差异信息和目标视角确定补偿权重时，可以表现为以下实现方式，但不限于此：将尺寸信息和目标图像在显示屏中的位置信息所对应的坐标信息进行取差运算，并依据运算结果和目标视角确定补偿权重，其中，第一补偿系数集合中的补偿系数是根据图像采集装置的多个标定点位置信息得到的，目标补偿系数则是依据当前目标图像的位置信息、箱体的尺寸以及第一补偿系数集合得到，且目标补偿系数是由当前目标图像的位置信息确定的与目标图像相匹配的补偿系数。以下会详细举例说明，此处不再赘述。

在本申请的一些可选的实施例中，第一补偿系数集合为系数矩阵，其中，系数矩阵中的每个元素为多个标记点中每个标记点对应的补偿系数；基于补偿权重和第一补偿系数集合确定目标补偿系数，例如，依据系数矩阵中的所有系数和补偿权重确定第二系数集合；然后基于第二系数集合中所有系数的平均值确定目标补偿系数，具体地，系数矩阵中的每个系数和其相应的权重相乘，然后将相乘后得到的运算结果取平均值，将该平均值作为目标补偿系数。

以下结合图4、图5，以在256*256矩形大小分辨率的LED箱体为例对两种补偿方案进行说明，如图5所示，对B补偿方案进行说明，4个圈内表征了4个坐标位置，其中，每个坐标位置存在4个补偿系数，调节系数具备如下特征：

需要能够表征梯度的数据，不一定是4个，也有可能是2个或者1个数据表征LED 显示屏从左到右或从上到下的补偿梯度；此处的梯度的含义以4个系数为例进行说明，每2个系数是一对，2个系数只表征了左右两端，或上下两端，但是逐点像素会根据这2个标定点对应的系数作渐变处理，也就是对应的梯度处理。

调节参数可以是3*3的矩阵数据，也可以是1*3亮度补偿；

例如：特征点(128,0)得到的屏1的调节参数M11Coef

特征点(0,128)的到的屏1的调节参数M12Coef

……

特征点(128,256)的到的屏1的调节参数M22Coef

即补偿系数为M11Coef、M12Coef、M21Coef、M22Coef。

由图6可知，在256*256的箱体图像显示过程中，每个点都需要获取当前图像的位置信息，根据位置信息获取当前图像数据，然后再进行Gamma转换，在下一步运算过程中，需要根据当先图像的位置信息，确定当前图像的坐标(X,Y)。根据XY计算当前图像数据在4个坐标下对应的数据权重值，再根据权重值得到当前图像的矩阵系数。

若当前图像的坐标是X＝128,Y＝128；Width表示LED箱体像素的宽度，Height表示LED箱体像素高度。则对应当前的调节系数计算方式为：

M＝M11tmp1+M12tmp+M21tmp+M22tmp

根据当前位置信息与特征位置信息的关系，根据角度值得出最终A,B的补偿权重值，得到最终的实现数据。

则(128,128)对应的M值为

依据上述梯度运算对图像信息进行补偿,得到补偿后的第一图像数据,输出显示在显示屏上,以保证相机在各个角度和方向拍摄的显示屏的显示画面没有颜色偏差.

步骤S208，依据目标补偿系数对目标图像进行补偿。

第一补偿系数集合中的补偿系数是根据图像采集装置的多个标定点位置信息、显示屏的尺寸信息、第一补偿系数集合和目标图像的位置信息得到的，目标补偿系数则是依据当前目标图像的位置信息和多个标定点位置信息的关系，依据当前目标角度确定的唯一与目标图像对应的补偿系数。为了保证图像的补偿效果，在依据目标补偿系数对目标图像进行补偿之前，还可以对目标图像进行以下处理：获取目标图像的原始灰度图像，对原始灰度图像进行转换，得到目标灰度图像，其中，目标灰度图像与原始灰度图像呈指数关系。

具体地，人眼对外界光源的感光值与输入光强不是呈线性关系的，而是呈指数型关系的。在低照度下，人眼更容易分辨出亮度的变化，随着照度的增加，人眼不易分辨出亮度的变化。而摄像机感光与输入光强呈线性关系。采用Gamma转换对第一图像数据进行增强，保证提升第一图像数据精度。其中，Gamma转换是对输入图像灰度值进行的非线性操作，使输出图像灰度值与输入图像灰度值呈指数关系。其中，输入图像灰度值的取值范围为0～1，因此需要先进行归一化，然后取指数。

Gamma变换就是用来图像增强，其提升了暗部细节，简单来说就是通过非线性变换，让图像从暴光强度的线性响应变得更接近人眼感受的响应，即将漂白(相机曝光) 或过暗(曝光不足)的图片，进行矫正。

经过Gamma变换后的输入和输出图像灰度值关系如图7所示：横坐标是输入灰度值，纵坐标是输出灰度值，开口向下曲线是gamma值小于1时的输入输出关系，开口向上曲线是gamma值大于1时的输入输出关系。可以观察到，当gamma值小于1 时，图像的整体亮度值得到提升，同时低灰度处的对比度得到增加，更利于分辩低灰度值时的图像细节。

即可以总结如下：

gamma>1,较亮的区域灰度被拉伸，较暗的区域灰度被压缩的更暗，图像整体变暗；

gamma<1,较亮的区域灰度被压缩，较暗的区域灰度被拉伸的较亮，图像整体变亮；

其中，灰度值为0时为黑色，255为白色。

在本申请实施例中，首先获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息；确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，并获取工作位置信息对应的补偿系数，得到第一补偿系数集合，其中，图像采集装置至少用于采集显示屏的显示画面所对应的图像；依据目标图像在显示屏中的位置信息确定目标图像在不同的拍摄方向下的补偿权重，并基于补偿权重和第一补偿系数集合确定目标补偿系数；依据目标补偿系数对目标图像进行补偿。进而解决了虚拟拍摄场景下，相关技术在服务器端对图像过度补偿或补偿不当，或服务器端处理导致图像延时大的技术问题。

实施例2

根据本申请实施例，还提供了一种用于实现上图像处理方法的图像处理装置，如图8所示，包括：获取模块81、第一确定模块82、第二确定模块83、补偿模块84。

其中：

获取模块81，用于获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息；

第一确定模块82，确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，并获取工作位置信息对应的补偿系数，得到第一补偿系数集合，其中，图像采集装置至少用于采集显示屏的显示画面所对应的图像；

具体地，首先确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，通过位置信息发生器获取图像采集装置在至少一个位置进行图像采集时的工作位置信息，其中，图像采集装置可以为摄像头，摄像机，相机，扫描仪，其他带有拍照功能的设备(手机、平板电脑等)其中至少一个。

可选地，从外界设备中接收工作位置信息对应的补偿系数，其中，外界设备包括，发送设备或服务器；或者，从接收设备预先存储的补偿系数集合中确定与工作位置信息对应的补偿系数，其中，补偿系数是依据图像采集装置的多个标定点位置信息，依据补偿系数的算法，利用位置信息转换器的发送设备计算出图像采集装置的每一个标定点所需要的补偿系数，该补偿系数为系数矩阵，其数据量比较大，可以对多个标定点同时进行补偿。

例如，相机在空间中有9个特征位置，位置信息发生器根据相机与特征位置的关系，计算出相机的实时位置，其中，位置信息发生器可以是发送设备或接收设备中的一个模块，可以是与发送设备或接收设备相对独立的设备。以下结合如图3说明上述相机的实时位置的计算过程：

当用户已经完成了特征位置的选取，选取了9个点的位置(本方案不局限于9个点，可以是任意点)；并且通过算法或者手动调节得到了特征点对应的LED显示屏的矩阵补偿系数；

相机位置移动后，依据相机在不同坐标位置时，确定与坐标位置对应的补偿系数发送至LED显示屏；

相机在(100,100)坐标位置时，(100,100)坐标给到发送装置后，则发送设备将(100,100)对应整个LED显示屏的补偿系数，实时下发给到LED显示屏；

当相机移动到(2000,100)后，(2000,100)坐标给到发送装置后，则发送设备将(2000,100)对应整个LED显示屏的补偿系数，实时下发给到LED显示屏。

具体地，在室内完成人物、场景拍摄时，采用显示屏作为显示背景，可以减少很多后期制作成本，使用相机对显示屏进行拍摄采集显示屏上的显示画面，由于相机在不同角度和方向进行拍摄时，会出现偏色问题。常用显示屏为LED显示屏，LED显示屏的最小显示单元为LED灯点，单个LED灯点内包含RGB三个独立的发光单元，这些发光单元存在一定空间上的排列关系，包括：竖向一字排列、横向一字排列、三角排列等，例如，当发光单元横向从左至右为RGB排列，在LED显示屏左侧观测，则看到显示屏的发光强度关系为R>G>B，引入偏红的现象；在右侧观测，看到的发光强度是：R<G<B，则看到偏蓝的现象，需要根据具体拍摄观测到的图像偏色情况确定具体的补偿系数。即图像采集装置会在不同位置对显示屏画面进行图像采集时，导致不同位置采集到的目标图像会出现偏色的问题，依据图像采集装置在不同位置时的工作位置信息确定对目标图像的补偿系数，补偿系数是指对待处理目标图像的色差的倍数，补偿系数为非0正数，若补偿系数大于1，说明待处理目标图像逆光过暗，需要增加亮度；若补偿系数小于1，说明待处理目标图像顺光过亮过曝，需要减小亮度。

第二确定模块83，依据目标图像在显示屏中的位置信息确定目标图像在不同的拍摄方向下的补偿权重，并基于补偿权重和第一补偿系数集合确定目标补偿系数，补偿权重是图像采集装置的标定点位置与目标图像的距离确定的，距离与补偿权重呈反比，即距离越大，权重越小例如有4个点，距离拍摄方向对应的标定点越近的像素，那么该标定点对应的补偿权重越大；

可选地，获取图像采集装置中的多个标定点位置信息，并确定显示屏的尺寸信息，其中，多个标定点位置信息多对应的标定点位置与不同的拍摄方向是一一对应的，尺寸信息为基于显示屏中像素点的数量确定的，也可以采用其他的度量方式确定；确定多个标定点位置信息所对应的目标视角，其中，目标视角为图像采集装置在不同工作位置时，图像采集装置的拍摄方向与显示屏所在平面的法线形成的角度；依据目标图像在显示屏中的位置信息所对应的坐标信息和尺寸信息之间的差异信息；依据差异信息和目标视角确定补偿权重。

具体地，图像采集设备对显示屏中显示的画面进行采集时，图像采集设备在不同工作位置上可以有不同方向的角度进行采集，将标定点与对应的拍摄方向一一对应起来，则获取多个标定点就可以获取对应不同的拍摄方向，同时，确定多个标定点对应的采集装置在不同工作位置进行拍摄时，图像采集装置与显示屏所在法线的角度，记为目标角度，其中，目标角度是依据图像采集装置的多个标定点位置信息和显示屏所在法线的方向向量的夹角确定。

在获取标定点位置信息和与标定点位置信息对应的目标视角的同时，确定显示屏的尺寸信息，常见的LED显示屏的尺寸大小由很多因素影响，包括面积、显示比例、型号、模组尺寸、箱体尺寸等，型号是多样的，箱体的尺寸是可以根据实际情况具体确定合适的尺寸，依据箱体尺寸确定显示屏的尺寸大小，在具体应用过程中并不限于此种实现方式。

其中，为了节省运算资源，上述多个标定点位置信息所对应的多个标定点中至少包括在两条直线上分布的标定点，并且，所述两条直线互相垂直。例如，图4中(128， 0)和(128，256)组成的直线与(0，128)和(256，128)组成的直线是互相垂直的，上述4个坐标位置存在4个补偿系数，上述多个标记点的数量可以为偶数，也可以为奇数，具体根据实际情况灵活设定。

在确定上述显示屏尺寸信息后，还需要目标图像在显示屏中的位置信息所对应的坐标信息和显示屏尺寸信息之间的差异信息；并依据差异信息和目标视角确定补偿权重。也就是说，在确定上述补偿权重时，可以依据上述差异信息确定，但是，需要注意的时，在具体应用过程中并不限于此种实现方式，例如，上述补偿权重可以是预先设置的，例如，在数据库中维护标记点与权重的映射关系，依据映射关系确定相应的补偿权重。

在依据差异信息和目标视角确定补偿权重时，可以表现为以下实现方式，但不限于此：将尺寸信息和目标图像在显示屏中的位置信息所对应的坐标信息进行取差运算，并依据运算结果和目标视角确定补偿权重。

补偿模块84，用于依据目标补偿系数对目标图像进行补偿。

具体地，目标补偿系数是依据当前目标图像的位置信息、箱体的尺寸以及第一补偿系数集合得到，且目标补偿系数是由当前目标图像的位置信息确定的与目标图像相匹配的补偿系数。

为了保证图像的补偿效果，在依据目标补偿系数对目标图像进行补偿之前，还可以对目标图像进行以下处理：获取目标图像的原始灰度图像，对原始灰度图像进行转换，得到目标灰度图像，其中，目标灰度图像与原始灰度图像呈指数关系。

具体地，人眼对外界光源的感光值与输入光强不是呈线性关系的，而是呈指数型关系的。在低照度下，人眼更容易分辨出亮度的变化，随着照度的增加，人眼不易分辨出亮度的变化。而摄像机感光与输入光强呈线性关系，采用Gamma转换对第一图像数据进行增强，保证提升第一图像数据精度。根据本申请实施例，还提供了一种用于实现上图像处理方法的图像处理系统，如图1(a)所示，该系统中至少包括：图像源设备11，发送设备12，接收设备13，其中，图像源设备11，用于提供原始图像，并将原始图像发送至发送设备；

在图像处理方法过程中，对接收到的额原始图像进行处理，为了得到较高质量的目标图像，可以采用人工的方式调整参数，例如，当接收到的原始图像的亮度太暗或者太亮时，可以通过拖动亮度滑条来改变亮度，保证接收设备接收到的目标图像的图像显示效果更好，同样，我们可以采用上述类似的调整方法对原始图像继续局部修改，直到达到想要的视觉效果为止。

发送设备12，用于接收原始图像，并对原始图像进行处理得到目标图像；

在图像处理方法过程中，对接收到的原始处理进行处理，为了得到较高质量的目标图像，可以采用人工的方式来调整参数，例如，当接收到的原始图像的亮度太暗或太亮时，可以通过拖动亮度滑条来改变亮度，保证接收设备接收到的图像显示效果更好，我们可以采用同样的调整方法对原始图像进行局部修改，直到达到想要的视觉效果为止。

接收设备13，用于执行本申请实施例提供的图像处理方法。例如，执行图2所示的图像处理方法；

在执行图像处理方法过程中，由于还需要确定图像采集装置的位置信息和相机拍摄方向信息(例如镜头朝向)信息，并将位置信息转换为坐标信息，因此，图像处理系统中，如图1(b)所示,还需要包括：信息发生器14，用于获取图像采集装置15 在不同工作位置进行图像采集时的工作位置信息对应的坐标信息，并获取图像采集装置的拍摄方向。信息发生器14可以位于发送设备(例如发送卡)中，也可以是与发送设备相机信息相对独立的设备。

另外，为了完成数据的分发，如图1(c)所示，还可以包括信息转换器16，该信息转换器可以位于发送设备(例如发送卡)中，也可以是与发送设备相机信息相对独立的设备，信息转换器可以包括以下处理单元：获取单元：从外部获取1个或多个相机现有位置信息；相机信息转换补偿系数：此模块将相机的位置信息转换为LED显示屏的补偿数据信息；补偿系数下发模块：将补偿系数下发给接收卡设备，接收卡设备是LED控制系统驱动LED灯板的控制单元。

实施例3

根据本申请实施例，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行实施例1中的图像处理方法。

可选地，程序运行时执行实现以下步骤：获取目标图像在显示屏进行显示时，目标图像在显示屏中的位置信息；确定图像采集装置在不同工作位置进行图像采集时的工作位置信息，并获取工作位置信息对应的补偿系数，得到第一补偿系数集合，其中，图像采集装置至少用于采集显示屏的显示画面所对应的图像；依据目标图像在显示屏中的位置信息确定在不同的拍摄方向下的补偿权重，并基于补偿权重和第一补偿系数集合确定目标补偿系数；依据目标补偿系数对目标图像进行补偿。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取目标图像在显示屏进行显示时，所述目标图像在所述显示屏中的位置信息；

确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，并获取所述工作位置信息对应的补偿系数，得到第一补偿系数集合，其中，所述图像采集装置至少用于采集所述显示屏的显示画面；

依据所述目标图像在所述显示屏中的位置信息确定所述目标图像在不同的拍摄方向下的补偿权重，并基于所述补偿权重和所述第一补偿系数集合确定目标补偿系数；

依据所述目标补偿系数对所述目标图像进行补偿。

2.根据权利要求1所述的方法，其特征在于，依据所述目标图像在所述显示屏中的位置信息确定所述目标图像在不同的拍摄方向下的补偿权重，包括：

获取所述图像采集装置的多个标定点位置信息，并确定所述显示屏的尺寸信息，其中，所述多个标定点位置信息所对应的标定点位置与所述不同的拍摄方向一一对应；

确定所述多个标定点位置信息所对应的目标视角，其中，所述目标视角为所述图像采集装置在不同工作位置时，所述图像采集装置的拍摄方向与所述显示屏所在平面的法线形成的角度；

依据所述目标图像在所述显示屏中的位置信息所对应的坐标信息和所述尺寸信息之间的差异信息；

依据所述差异信息和所述目标视角确定所述补偿权重。

3.根据权利要求2所述的方法，其特征在于，依据所述差异信息和所述目标视角确定所述补偿权重，包括：

将所述尺寸信息和所述目标图像在所述显示屏中的位置信息所对应的坐标信息进行取差运算，并依据运算结果和目标视角确定所述补偿权重。

4.根据权利要求2所述的方法，其特征在于，所述第一补偿系数集合为系数矩阵，其中，所述系数矩阵中的每个元素为所述多个标定点位置信息中每个标定点位置信息对应的补偿系数；基于所述补偿权重和所述第一补偿系数集合确定所述目标补偿系数，包括：

依据上述系数矩阵中的所有系数和所述补偿权重确定第二系数集合；基于所述第二系数集合中所有系数的平均值确定目标补偿系数。

5.根据权利要求2所述的方法，所述多个标定点位置信息所对应的多个标定点中至少包括在两条直线上分布的标定点，并且，所述两条直线互相垂直。

6.根据权利要求1所述的方法，其特征在于，获取所述工作位置信息对应的补偿系数包括：

从外接设备中接收所述工作位置信息对应的补偿系数；或者，

从接收设备预先存储的补偿系数集合中确定与所述工作位置信息对应的补偿系数。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，其特征在于，确定图像采集装置在至少一个位置进行图像采集时的工作位置信息，包括：

获取所述图像采集装置在有效移动空间范围内移动时，在候选采样点集合中的采样点采集的样本图像；

获取所述样本图像的质量评估指标；

依据所述质量评估指标从所述候选采样点集合中选择目标采样点，并将所述目标采样点所在的位置作为所述工作位置信息。

8.一种图像处理装置，其特征在于，包括：

获取模块，用于获取目标图像在显示屏进行显示时，所述目标图像在所述显示屏中的位置信息；

第一确定模块，用于确定图像采集装置在不同工作位置进行图像采集时的工作位置信息，并获取所述工作位置信息对应的补偿系数，得到第一补偿系数集合；

第二确定模块，用于依据所述目标图像在所述显示屏中的位置信息确定在不同的拍摄方向下的补偿权重，并基于所述补偿权重和所述第一补偿系数集合确定所述目标补偿系数；

补偿模块，用于依据目标补偿系数对所述目标图像进行补偿。

9.一种图像处理系统，其特征在于，包括：图像源设备，发送设备，接收设备，其中：

所述图像源设备，用于提供原始图像，并将所述原始图像发送至发送设备；

所述发送设备，用于接收所述原始图像，并对所述目标图像进行处得到目标图像；

所述接收设备，用于执行权利要求1至7中任意一项所述的图像处理方法。

10.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的图像处理方法。

Images