CN114697518A

CN114697518A - 摄像头的镜头畸变下的遮挡方法、装置、介质及电子设备

Info

Publication number: CN114697518A
Application number: CN202011589908.2A
Authority: CN
Inventors: 林杰
Original assignee: Zhejiang Uniview Technologies Co Ltd
Current assignee: Zhejiang Uniview Technologies Co Ltd
Priority date: 2020-12-29
Filing date: 2020-12-29
Publication date: 2022-07-01

Abstract

本申请实施例公开了一种摄像头的镜头畸变下的遮挡方法、装置、介质及电子设备。该方法包括：确定当前图像中的遮挡对象，确定对所述遮挡对象所绘制的遮挡点位；根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标；若检测到摄像头发生角度调整事件，则获取角度调整后的点位更新坐标；根据所述点位更新坐标确定遮挡对象在角度调整后的图像中的目标点位，并根据所述目标点位进行遮挡绘制。通过采用本方案，可以在摄像头存在镜头畸变的情况下，依然能够准确定确定遮挡对象在图像中的位置，并且能够进行动态遮挡。

Description

摄像头的镜头畸变下的遮挡方法、装置、介质及电子设备

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种摄像头的镜头畸变下的遮挡方法、装置、介质及电子设备。

背景技术

在摄像头制造领域，由于透镜的制造精度和组装工艺的偏差，往往会引入镜头畸变，镜头畸变会导致原始图像失真。镜头的畸变可以分为径向畸变和切向畸变，云台摄像头的镜头往往存在径向畸变。

径向畸变就是沿着透镜半径方向分布的畸变，产生原因是光线在透镜边缘的地方比靠近中心的地方更加弯曲，导致图像的中心位置向外，畸变的程度会越来越大。这种畸变在短焦镜头中表现较为明显，径向畸变主要包括枕形畸变与桶形畸变两种。不论哪一种径向畸变，都会对图像中需要遮挡的物体的位置产生偏移，这就导致对图像中遮挡对象物很难进行准确定位，造成遮挡失位的问题。

发明内容

本申请实施例提供一种摄像头的镜头畸变下的遮挡方法、装置、介质及电子设备，可以在摄像头存在镜头畸变的情况下，依然能够准确定确定遮挡对象在图像中的位置，并且能够进行动态遮挡。

第一方面，本申请实施例提供了一种摄像头的镜头畸变下的遮挡方法，所述方法包括：

确定当前图像中的遮挡对象，确定对所述遮挡对象所绘制的遮挡点位；

根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标；

若检测到摄像头发生角度调整事件，则获取角度调整后的点位更新坐标；

根据所述点位更新坐标确定遮挡对象在角度调整后的图像中的目标点位，并根据所述目标点位进行遮挡绘制。

进一步的，在根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标之后，所述方法还包括：

根据所述畸变前的点位坐标，确定遮挡对象在摄像头坐标系中的经纬度坐标；其中，所述摄像头坐标系用于控制摄像头移动和/或转动；

相应的，若检测到摄像头发生角度调整事件，则获取角度调整后的点位更新坐标，包括：

若检测到摄像头发生角度调整事件，确定摄像头的经纬度调整值；

根据所述经纬度调整值，确定遮挡对象在角度调整后的图像中的点位更新坐标。

进一步的，所述预设关系式为如下关系式：

其中，(x₀，y₀)为畸变前的点位坐标，(x，y)为畸变后的点位坐标，k₁和k₂为畸变系数，r为距离画面中心的半径。

进一步的，在根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标之前，所述方法还包括：

根据测试数据，确定所述摄像头的镜头畸变描述式；

根据所述镜头畸变描述式确定预设关系式。

进一步的，根据测试数据，确定所述摄像头的镜头畸变描述式，包括：

若所述摄像头的镜头畸变程度小于设定阈值，则采用第一描述式作为摄像头的镜头畸变描述式；

若所述摄像头的镜头畸变程度大于或者等于设定阈值，则采用第二描述式作为摄像头的镜头畸变描述式

进一步的，所述第一描述式包括：

f(r)＝k₁r²+k₂r⁴；

其中，f(r)为畸变程度，k₁和k₂为畸变系数，r为距离画面中心的半径。

进一步的，所述第二描述式包括：

f(r)＝k₁r²+k₂r⁴+k₃r⁶+k₄r⁸；

其中，f(r)为畸变程度，k₁、k₂、k₃和k₄为畸变系数，r为距离画面中心的半径。

第二方面，本申请实施例提供了一种摄像头的镜头畸变下的遮挡装置，所述装置包括：

遮挡点位确定模块，用于确定当前图像中的遮挡对象，确定对所述遮挡对象所绘制的遮挡点位；

点位坐标确定模块，用于根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标；

点位更新坐标确定模块，用于若检测到摄像头发生角度调整事件，则获取角度调整后的点位更新坐标；

遮挡绘制更新模块，用于根据所述点位更新坐标确定遮挡对象在角度调整后的图像中的目标点位，并根据所述目标点位进行遮挡绘制。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的摄像头的镜头畸变下的遮挡方法。

第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的摄像头的镜头畸变下的遮挡方法。

本申请实施例所提供的技术方案，通过确定当前图像中的遮挡对象，确定对所述遮挡对象所绘制的遮挡点位；根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标；若检测到摄像头发生角度调整事件，则获取角度调整后的点位更新坐标；根据所述点位更新坐标确定遮挡对象在角度调整后的图像中的目标点位，并根据所述目标点位进行遮挡绘制。本申请所提供的技术方案，可以在摄像头存在镜头畸变的情况下，依然能够准确定确定遮挡对象在图像中的位置，并且能够进行动态遮挡。

附图说明

图1是本申请实施例提供的摄像头的镜头畸变下的遮挡方法的流程图；

图2是本申请实施例提供的径向畸变的成像效果示意图；

图3是本申请实施例提供的桶形畸变的成像效果示意图；

图4是本申请实施例提供的摄像头采集图像的侧视示意图；

图5是本申请实施例提供的摄像头采集图像的俯视示意图；

图6是本申请实施例提供的同一图像中不同半径的畸变程度示意图；

图7是本申请实施例提供的摄像头的镜头畸变下的遮挡装置的结构示意图；

图8是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1是本申请实施例提供的摄像头的镜头畸变下的遮挡方法的流程图，本实施例可适用于云台摄像机的动态遮挡的情况，该方法可以由本申请实施例所提供的摄像头的镜头畸变下的遮挡装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于云台摄像机图像显示的电子设备中。

如图1所示，所述摄像头的镜头畸变下的遮挡方法包括：

S110、确定当前图像中的遮挡对象，确定对所述遮挡对象所绘制的遮挡点位。

其中，图像中存在的遮挡对象，可以是涉及到图像中的人员需要进行隐私处理的，例如不显示人物的人脸图像，或者，涉及到图像中人员正在取款时输入密码的位置，在这种情况下，往往需要进行遮挡处理。本方案中，可以通过图像识别或者是用户的选择操作确定图像中的遮挡对象。

遮挡点位可以是绘制遮挡图块的位置，可以虚拟为一个像素点坐标，该点位可以是遮挡图块的中心位置，还可以是对遮挡图块的每一个像素点都进行一次下述计算，从而精准的得到遮挡的位置。

本方案应对的是图像存在径向畸变的情况。图2是本申请实施例提供的径向畸变的成像效果示意图。如图2所示，左侧为枕形畸变，右侧为桶形畸变。以桶形畸变为例，图3是本申请实施例提供的桶形畸变的成像效果示意图。如图3所示，黑色实线代表网络摄像头成像效果图，灰色实线代表其在没有产生畸变时的成像效果图。可见在实际场景中，即没有产生畸变的场景中，需要遮挡的位置是第二行第二列的单元格，则在产生畸变后，该第二行第二列的单元格与畸变后的第一行第一列的单元格的位置相对应。而两者与图像中心的距离也会随着即便带来变化。

S120、根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标。

本方案中，预设关系式可以是预先确定的，预设关系式可以是随着摄像头的不同而不同，可以通过畸变实验来确定预设关系式的参数，从而确定当前摄像头的预设关系式。

得到预设关系式之后，可以根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标。本方案中，畸变前的点位坐标，可以是类似于图3中的畸变前成像效果的点位坐标。通过将当前图像中的遮挡点位的转换，可以得到被遮挡的遮挡对象的实际坐标，并基于此进行动态遮挡。

S130、若检测到摄像头发生角度调整事件，则获取角度调整后的点位更新坐标。

本方案中，在摄像头发生角度调整事件时，或者摄像头发生位置变更事件时，都可以触发动态遮挡的操作，即获取角度调整后的点位更新坐标。

该点位更新坐标可以是在摄像头发生角度调整后，遮挡对象在畸变前的电位发生的变化，即由原来的畸变前的点位坐标变为点位更新坐标。

本方案中，具体的，在根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标之后，所述方法还包括：

图4是本申请实施例提供的摄像头采集图像的侧视示意图。图5是本申请实施例提供的摄像头采集图像的俯视示意图。如图4和图5所示，HA，VA为相机的水平和垂直视角，W和H分别为平面画面的长和宽，F为某一个平面点，x，y为该点在平面上的坐标。可以理解的，图4和图5中不清楚的部分和本案内容无关，可以不用考虑。

并可以采用如下公式进行经纬度的计算：

XO＝W·tan(HA/2)/2；

FS＝W/2-x₂；

FR＝H/2-y₂；

通过上述公式的计算，可以计算各个点位在摄像头坐标系中的经纬度，还可以由摄像头坐标系中的经纬度转换为畸变前的点位坐标，从而可以对遮挡对象进行动态的点位坐标的定位，并由定位结果进行动态遮挡。

本方案中，由于云台摄像头是通过经纬度控制的，因此，可以将点位坐标转换成经纬度之后，在获得到云台摄像头调整的经纬度之后，直接确定遮挡对象在畸变前的图像中的位置。这样就能够采用畸变转换公式，得到畸变后的遮挡点位，完成动态遮挡。

S140、根据所述点位更新坐标确定遮挡对象在角度调整后的图像中的目标点位，并根据所述目标点位进行遮挡绘制。

得到点位更新坐标之后，可以根据其确定遮挡对象的目标点位，其中，目标点位就是畸变后实际需要遮挡的电位。得到目标点位之后，可以对所述目标点位进行遮挡绘制，实现动态的遮挡过程。

在一个可行的实施例中，可选的，所述预设关系式为如下关系式：

x₀＝x·(1+k₁r²+k₂r⁴)；

y₀＝y·(1+k₁r²+k₂r⁴)；

该预设关系式是基于摄像头的畸变程度描述关系式确定的，对于不同畸变程度的摄像头，其描述关系式可以是不同的。其中的k₁和k₂两个畸变系数，可以根据实验来确定。

本方案中，可选的，在根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标之前，所述方法还包括：

根据测试数据，确定所述摄像头的镜头畸变描述式；

根据所述镜头畸变描述式确定预设关系式。

其中，镜头畸变描述式可以是用来表示图像中各像素点与图像中心的距离和畸变程度的关系，例如，f(r)＝k₁r²+k₂r⁴；

当r越大时，则畸变程度就越大。

在一个可行的实施例中，可选的，根据测试数据，确定所述摄像头的镜头畸变描述式，包括：

若所述摄像头的镜头畸变程度大于或者等于设定阈值，则采用第二描述式作为摄像头的镜头畸变描述式。

具体的，所述第一描述式包括：

f(r)＝k₁r²+k₂r⁴；

所述第二描述式包括：

f(r)＝k₁r²+k₂r⁴+k₃r⁶+k₄r⁸；

其中，图6是本申请实施例提供的同一图像中不同半径的畸变程度示意图。如图6所示，离图像中心越远，画面畸变程度越大。

在图像中心附近畸变程度为0，随着半径r增加畸变程度逐渐增大，使用泰勒级数展开式来描述：

f(r)＝a₀+a₁r+a₂r²+a₃r³+a₄r⁴+a₅r⁵+a₆r⁶+...；

已知f(r＝0)＝0，所以a₀＝0，且函数在r中必须是对称的，所以只有r的偶次幂系数才是非零的，所以保留r的偶次幂系数进行描述，一般的畸变程度仅用r²、r⁴就可以描述，如果有更大畸变程度需要描述，则可以用到r⁶、r⁸或更高幂系数加入计算。

本申请实施例所提供的技术方案，确定当前图像中的遮挡对象，确定对所述遮挡对象所绘制的遮挡点位；根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标；若检测到摄像头发生角度调整事件，则获取角度调整后的点位更新坐标；根据所述点位更新坐标确定遮挡对象在角度调整后的图像中的目标点位，并根据所述目标点位进行遮挡绘制。本申请所提供的技术方案，可以在摄像头存在镜头畸变的情况下，依然能够准确定确定遮挡对象在图像中的位置，并且能够进行动态遮挡。

以下示出本方案的具体转换过程，例如可以在实况画面建立坐标系，画面中心设置O点为坐标系原点，坐标O(0，0)；

首先，用户在画面中F1点位置绘制遮盖，坐标为F1(x1，y1)，保存用户配置；

其次，通过畸变公式计算畸变前遮盖置位F2(x2，y2)；

通过圆公式可知：

通过畸变公式计算F2位置：

x₂＝x₁·(1+k₁(x₁ ²+y₁ ²)+k₂(x₁ ²+y₁ ²)2)；

y₂＝y₁·(1+k₁(x₁ ²+y₁ ²)+k₂(x₁ ²+y₁ ²)²)；

再次，通过3D遮盖公式将F2坐标转换为云台经纬度坐标：

XO＝W·tan(HA/2)/2；

FS＝W/2-x₂；

FR＝H/2-y₂；

然后，云台摄像头转动后更新了云台坐标与视场角，通过上述公式反向计算的出F3坐标(x3，y3)；

最后，将F3坐标导入畸变公式反向计算得到畸变后坐标F4，在F4位置叠加遮盖：

x₃＝x₄·(1+k₁(x₄ ²+y₄ ²)+k₂(x₄ ²+y₄ ²)²)；

y₃＝y₄·(1+k₁(x₄ ²+y₄ ²)+k₂(x₄ ²+y₄ ²)²)；

解方程得出F4(x4，y4)坐标，在画面中进行叠加。

本方案通过对云台摄像头等具有动态获取图像功能的镜头，实现镜头畸变下的遮挡对象的动态遮挡，实现了准确的对遮挡对象进行动态遮挡的目的。

图7是本申请实施例提供的摄像头的镜头畸变下的遮挡装置的结构示意图，如图7所示，该装置可以包括：

遮挡点位确定模块710，用于确定当前图像中的遮挡对象，确定对所述遮挡对象所绘制的遮挡点位；

点位坐标确定模块720，用于根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标；

点位更新坐标确定模块730，用于若检测到摄像头发生角度调整事件，则获取角度调整后的点位更新坐标；

遮挡绘制更新模块740，用于根据所述点位更新坐标确定遮挡对象在角度调整后的图像中的目标点位，并根据所述目标点位进行遮挡绘制。

本发明实施例所提供的一种摄像头的镜头畸变下的遮挡装置可执行本发明任意实施例所提供的一种摄像头的镜头畸变下的遮挡方法，具备执行一种摄像头的镜头畸变下的遮挡方法相应的功能模块和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种摄像头的镜头畸变下的遮挡方法，该方法包括：

存储介质是指任何的各种类型的存储器电子设备或存储电子设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同未知中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的摄像头的镜头畸变下的遮挡方法操作，还可以执行本申请任意实施例所提供的摄像头的镜头畸变下的遮挡方法中的相关操作。

本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的摄像头的镜头畸变下的遮挡装置，该电子设备可以是配置于系统内的，也可以是执行系统内的部分或者全部功能的设备。图8是本申请实施例提供的一种电子设备的结构示意图。如图8所示，本实施例提供了一种电子设备800，其包括：一个或多个处理器820；存储装置810，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器820执行，使得所述一个或多个处理器820实现本申请实施例所提供的摄像头的镜头畸变下的遮挡方法，该方法包括：

当然，本领域技术人员可以理解，处理器820还实现本申请任意实施例所提供的摄像头的镜头畸变下的遮挡方法的技术方案。

图8显示的电子设备800仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，该电子设备800包括处理器820、存储装置810、输入装置830和输出装置840；电子设备中处理器820的数量可以是一个或多个，图8中以一个处理器820为例；电子设备中的处理器820、存储装置810、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线850连接为例。

存储装置810作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的摄像头的镜头畸变下的遮挡方法对应的程序指令。

存储装置810可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置810可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置810可进一步包括相对于处理器820远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置830可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏、扬声器等电子设备。

本申请实施例提供的电子设备，可以在摄像头存在镜头畸变的情况下，依然能够准确定确定遮挡对象在图像中的位置，并且能够进行动态遮挡。

上述实施例中提供的摄像头的镜头畸变下的遮挡装置、介质及电子设备可执行本申请任意实施例所提供的摄像头的镜头畸变下的遮挡方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的摄像头的镜头畸变下的遮挡方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims

1.一种摄像头的镜头畸变下的遮挡方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标之后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述预设关系式为如下关系式：

x₀＝x·(1+k₁r²+k₂r⁴)；

y₀＝y·(1+k₁r²+k₂r⁴)；

4.根据权利要求3所述的方法，其特征在于，在根据预设关系式确定当前图像中的遮挡点位在畸变前的点位坐标之前，所述方法还包括：

根据测试数据，确定所述摄像头的镜头畸变描述式；

根据所述镜头畸变描述式确定预设关系式。

5.根据权利要求4所述的方法，其特征在于，根据测试数据，确定所述摄像头的镜头畸变描述式，包括：

6.根据权利要求5所述的方法，其特征在于，所述第一描述式包括：

f(r)＝k₁r²+k₂r⁴；

7.根据权利要求5所述的方法，其特征在于，所述第二描述式包括：

f(r)＝k₁r²+k₂r⁴+k₃r⁶+k₄r⁸；

8.一种摄像头的镜头畸变下的遮挡装置，其特征在于，所述装置包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的摄像头的镜头畸变下的遮挡方法。

10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的摄像头的镜头畸变下的遮挡方法。