CN115272124A

CN115272124A - 一种畸变图像校正方法、装置

Info

Publication number: CN115272124A
Application number: CN202210932510.7A
Authority: CN
Inventors: 张志正; 刘博�; 何贝; 刘鹤云; 张岩
Original assignee: Beijing Sinian Zhijia Technology Co ltd
Current assignee: Beijing Sinian Zhijia Technology Co ltd
Priority date: 2022-08-04
Filing date: 2022-08-04
Publication date: 2022-11-01

Abstract

本申请提供一种畸变图像校正方法、装置、电子设备及机器可读存储介质，应用于鱼眼镜头，所述鱼眼镜头基于预设的投影函数生成畸变图像，其特征在于，所述方法包括：获取畸变图像，确定所述畸变图像边界的像素点；基于所述畸变图像边界的像素点，拟合出所述畸变图像对应的圆形边界，并确定所述圆形边界的半径；基于预设的投影函数和所述圆形边界的半径，确定所述畸变图像对应的无畸变图像，并保存所述畸变图像与所述无畸变图像之间的坐标映射关系；基于所述坐标映射关系，对畸变图像进行校正。

Description

一种畸变图像校正方法、装置

技术领域

本申请涉及畸变图像处理技术领域，特别是涉及一种畸变图像校正的方法、装置、电子设备及机器可读存储介质。

背景技术

目前，视频监控相机大量采用了鱼眼镜头，鱼眼镜头是一种超广角镜头，视场角可达180度。通过一个鱼眼镜头可以获取大范围的场景信息，一方面降低了相机拼装的硬件成本和安装成本，另一方面避免了多镜头情况下的盲区问题和视频拼接问题。鱼眼镜头通常由多层镜片组成，前镜片呈抛物状向前凸起，外观类似鼓起的鱼眼。鱼眼镜头视场内物体发出的入射光线，经过镜片组的数次折射，朝着与光轴夹角较小的方向偏转，折射光线最终落在鱼眼相机的图像传感器上实现成像。鱼眼镜头成像系统具有体积较小、易于集成等优点，但同样存在图像畸变大的问题。因此，对畸变图像进行校正是本领域亟待解决的技术问题。

发明内容

本申请提供一种畸变图像校正方法，应用于鱼眼镜头，所述鱼眼镜头基于预设的投影函数生成畸变图像，其特征在于，所述方法包括：

获取畸变图像，确定所述畸变图像边界的像素点；

基于所述畸变图像边界的像素点，拟合出所述畸变图像对应的圆形边界，并确定所述圆形边界的半径；

基于预设的投影函数和所述圆形边界的半径，确定所述畸变图像对应的无畸变图像，并保存所述畸变图像与所述无畸变图像之间的坐标映射关系；

基于所述坐标映射关系，对畸变图像进行校正。

可选的，所述畸变图像存在于矩形的图像文件中，所述确定所述畸变图像边界的像素点，包括：

采样扫描所述畸变图像，将距离所述矩形的图像文件边界最近的不为黑色的N个像素点，确定为所述畸变图像边界的像素点。

可选的，所述拟合出所述畸变图像对应的圆形边界，并确定所述圆形边界的半径，包括：

利用最小二乘法拟合出所述畸变图像对应的圆形边界，并确定所述圆形边界的半径。

可选的，所述基于预设的投影函数和所述圆形边界的半径，确定所述畸变图像对应的无畸变图像，包括：

基于预设的投影函数和所述圆形边界的半径，所述无畸变图像的高度，所述无畸变图像的宽度，所述畸变图像的像素点中的一种或组合，确定所述畸变图像对应的无畸变图像。

可选的，所述方法包括使用GStreamer框架进行开发。

本申请提供一种畸变图像校正装置，应用于鱼眼镜头，所述鱼眼镜头基于预设的投影函数生成畸变图像，其特征在于，所述装置包括：

图像获取模块，用于获取畸变图像，确定所述畸变图像边界的像素点；

边界确定模块，用于基于所述畸变图像边界的像素点，拟合出所述畸变图像对应的圆形边界，并确定所述圆形边界的半径；

映射关系确定模块，用于基于预设的投影函数和所述圆形边界的半径，确定所述畸变图像对应的无畸变图像，并保存所述畸变图像与所述无畸变图像之间的坐标映射关系；

图像校正模块，用于基于所述坐标映射关系，对畸变图像进行校正。

可选的，所述畸变图像存在于矩形的图像文件中，其特征在于，所述确定所述畸变图像边界的像素点，包括：

可选的，所述装置包括使用GStreamer框架进行开发。

本申请还提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现上述方法的步骤。

本申请还提供一种机器可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述方法的步骤。

通过以上实施例，可以拟合出畸变图像的圆形边界，从而确定畸变图像圆形边界的半径，可以通过鱼眼镜头预设的投影函数，确定无畸变图像中的像素点与对应的畸变图像中的像素点的坐标映射关系，并可以直接基于该坐标映射关系对畸变图像进行校正，提高了校正的效率。

附图说明

图1是一示例性的实施例示出的一种畸变图像校正方法的流程图；

图2是一示例性的实施例示出的一种畸变图像校正装置的框图；

图3是一示例性的实施例示出的一种畸变图像校正装置的管道图；

图4是一示例性的实施例示出的一种畸变图像校正装置所在电子设备的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

为了使本技术领域的人员更好地理解本说明书实施例中的技术方案，下面先对本说明书实施例涉及的无人车定位的相关技术，进行简要说明。

畸变图像：由于鱼眼镜头的厚度不均匀，离鱼眼镜头越远场景的光线就越弯曲，从而产生畸变。

镜头焦距：镜头焦距是指镜头光学后主点到焦点的距离，是镜头的重要性能指标。镜头焦距的长短决定着拍摄的成像大小，视场角大小，景深大小和画面的透视强弱。镜头的焦距是镜头的一个非常重要的指标。镜头焦距的长短决定了被摄物在成像介质(胶片或CCD等)上成像的大小，也就是相当于物和象的比例尺。当对同一距离远的同一个被摄目标拍摄时，镜头焦距长的所成的象大，镜头焦距短的所成的象小。根据用途的不同，照相机镜头的焦距相差非常大，有短到几毫米，十几毫米的，也有长达几米的。

视场角：视场角在光学工程中又称视场，视场角的大小决定了光学仪器的视野范围。视场角又可用FOV表示，其与焦距的关系如下：像高＝EFL*tan(半FOV)；EFL为焦距；FOV为视场角。

应用场景概述

目前，视频监控相机大量采用了鱼眼镜头，鱼眼镜头是一种超广角镜头，视场角可达180度。通过一个鱼眼镜头可以获取大范围的场景信息，一方面降低了相机拼装的硬件成本和安装成本，另一方面避免了多镜头情况下的盲区问题和视频拼接问题。但是，鱼眼镜头拍摄的图像会发生畸变导致图像不符合视觉习惯，因此，畸变图像校正是必须要处理的问题。

在实际应用中，常用的畸变图像校正方法是通过相机标定得到畸变模型，然后根据畸变模型对畸变图像的像素点进行处理完成校正。其中，应用标定的方法校正鱼眼图像畸变，需要制定精确的标定板以及对镜头与相机的内、外部参数进行标定，过程相对繁琐。

发明构思

如前所述，在使用相机标定方法时，需要人工从不同角度放置标定板，并针对各个角度进行初值估计、最值计算、迭代次数等计算参数的选择，过程繁琐，耗时耗力。还有通过分析相机图像的特征值来匹配相机畸变参数的自标定方法。自标定方法虽然省去标定板的操作，但是图像特征的选取和操作仍然比较繁琐。

其次，利用标定得到的畸变参数进行图像校正处理实时性较低。例如在自动驾驶场景，高实时视频监控的要求视频延时100ms到200ms，而利用标定得到的畸变参数进行图像校正处理需要几十毫秒，因此畸变校正图像处理耗时占用较大。

有鉴于此，本说明书旨在提出一种计算无畸变图像中的像素点与对应的畸变图像中的像素点的坐标映射关系，并基于该坐标映射关系对畸变图像进行校正的技术方案。

本说明书的核心构思在于：

拟合出畸变图像的圆形边界，从而确定畸变图像圆形边界的半径，可以通过鱼眼镜头预设的投影函数，确定无畸变图像中的像素点与对应的畸变图像中的像素点的坐标映射关系，并可以直接基于该坐标映射关系对畸变图像进行校正，提高了校正的效率。

通过这种方式，无需对使用鱼眼镜头的相机进行标定，直接基于该坐标映射关系对畸变图像进行校正，提高了畸变图像校正的实时性。

下面通过具体实施例，并结合具体的应用场景对本申请进行描述。

请参见图1，图1是一示例性的实施例示出的一种畸变图像校正方法的流程图，上述方法执行以下步骤：

步骤102：获取畸变图像，确定所述畸变图像边界的像素点。

步骤104：基于所述畸变图像边界的像素点，拟合出所述畸变图像对应的圆形边界，并确定所述圆形边界的半径。

步骤106：基于预设的投影函数和所述圆形边界的半径，确定所述畸变图像对应的无畸变图像，并保存所述畸变图像与所述无畸变图像之间的坐标映射关系。

步骤108：基于所述坐标映射关系，对畸变图像进行校正。

鱼眼镜头设计的目的是要拍摄大的视野，鱼眼镜头的视场角可达到180-270度，在工程上视场角超过140度的镜头被统称为鱼眼镜头。为了将尽可能大的场景投影到有限的图像平面内，鱼眼镜头在成像过程中引入畸变，引入畸变的作用是通过对直径空间的压缩，突破成像视角的局限，从而达到广角成像。

鱼眼镜头是由十几个不同的透镜组合而成的，在成像过程中，入射光线经过不同程度的折射，投影到尺寸有限的成像平面上，使得鱼眼镜头与普通镜头相比拥有更大的视野。鱼眼镜头的投影函数是为了尽可能将庞大的场景投影到有限的图像平面所设计的。根据投影函数的不同将鱼眼镜头的成像模型大致分为等距投影模型、等立体角投影模型、正交投影模型和体视投影模型四种，而无畸变图像是基于小孔成像模型成像的，因此，可以根据成像模型推导出无畸变图像像素点和畸变图像像素点的坐标映射关系。

例如，以等距投影模型为例，推导出无畸变图像像素点和畸变图像像素点的坐标映射关系：

式1.根据小孔成像原理，普通光学镜头成像的像高为：

h＝ftanω

式中：h为无畸变图像高度；f为镜头焦距；ω为半视场角

式2.鱼眼镜头采用广泛使用的等距投影成像模型：

h′＝fω

式中：h'为鱼眼镜头生成的畸变图像高度；f为镜头焦距；ω为半视场角

式3.由式1和2可得：

式4.采用视场角为180°的鱼眼镜头，其成像的畸变图像为圆形，根据式2可知，镜头焦距为：

式中：r为圆的半径；f为镜头焦距(单位为像素)

式5.假设无畸变图像高为H，宽为W，图像上的点P的坐标为(x,y),对应的畸变图像点为P’(x’,y’)，则P’点的像高为：

式6.则P’点的x’为：

式7.则P’点的y’为：

式6和式7为无畸变的图像像素点与畸变图像像素点的坐标映射关系。因此，只需确定该坐标对应关系中的参数，即可确定该坐标映射关系。又因为无畸变图像的高和宽是可以控制的，所以只需确定鱼眼镜头成像的畸变图像的圆形边界半径，便可以确定该坐标映射关系。

在示出的一种实施例中，可以获取畸变图像，可以确定所述畸变图像边界的像素点，可以基于所述畸变图像边界的像素点，可以拟合出所述畸变图像对应的圆形边界，并可以确定所述圆形边界的半径。

例如，可以在接收到第一帧畸变图像后，对该畸变图像进行分析，确定该畸变图像边界的像素点，并可以将这些像素点拟合为圆形边界，从而可以确定畸变图像对应的圆形边界的半径，以用于确定所述畸变图像与所述无畸变图像之间的坐标映射关系。

在示出的一种实施例中，可以采样扫描所述畸变图像，将距离矩形的图像文件边界最近的不为黑色的N个像素点，确定为畸变图像边界的像素点。

例如，可以在接收到第一帧畸变图像后，对这一帧图像进行分析。因为收到的畸变图像文件是矩形，鱼眼镜头成像的畸变图像为圆形，圆形边界与矩形边界之间是黑色的空白部分。所以可以通过采样扫描畸变图像，找到距离矩形图像边界最近的不为黑色的N个像素点，确定为畸变图像边界的像素点，并可以利用最小二乘法对N个像素点进行拟合，可以得到圆心坐标和圆形边界的半径。

在示出的一种实施例中，可以基于预设的投影函数和圆形边界的半径，无畸变图像的高度，无畸变图像的宽度，畸变图像的像素点中的一种或组合，确定所述畸变图像对应的无畸变图像。

例如，可以基于式6和式7的坐标映射关系，预设的无畸变图像的长度，宽度，畸变图像像素点的坐标，以及畸变图像的圆形边界的半径，确定畸变图像与无畸变图像之间的坐标映射关系，并可以基于该坐标映射关系计算得到无畸变图像的像素点的坐标，从而可以确定无畸变图像。

在一个例子中，无畸变图像的长度和宽度可以是预先设置的，可以基于式6和式7的坐标映射关系，畸变图像像素点的坐标，以及畸变图像的圆形边界的半径，确定畸变图像与无畸变图像之间的坐标映射关系,并可以基于该坐标映射关系计算得到无畸变图像的像素点的坐标，从而可以确定无畸变图像。

在另一个例子中，畸变图像的像素点和畸变图像的圆形边界的半径可以自动获取，可以基于式6和式7的坐标映射关系，无畸变图像的长度和宽度确定畸变图像与无畸变图像之间的坐标映射关系，并可以基于该坐标映射关系计算得到无畸变图像的像素点的坐标，从而可以确定无畸变图像。

在示出的一种实施例中，可以在得到畸变图像与无畸变图像之间的坐标映射关系之后，基于该坐标映射关系，对畸变图像进行校正

例如，在第一帧畸变图像确定畸变图像与无畸变图像之间的坐标映射关系之后，坐标映射关系中存放了无畸变图像像素坐标值与畸变图像像素坐标值的一一对应关系。将无畸变的图像像素点与畸变图像像素点的坐标映射关系进行缓存。对于收到的后续畸变图像，可以直接查询使用即可将畸变图像的像素点转换为无畸变图像的像素点，完成对畸变图像的校正。

在示出的一种实施例中，可以使用GStreamer框架进行开发。Streamer是用来构建流媒体应用的开源多媒体框架(framework)，其目标是要简化音/视频应用程序的开发，已经能够被用来处理像MP3、Ogg、MPEG1、MPEG2、AVI、Quicktime等多种格式的多媒体数据，GStreamer的程序通过连接数字媒体处理的元素注入管道(pipeline)。每个元素是由一个插件提供，元素可组合为箱(bins)，箱可以进一步聚合，从而形成架构图。利用Nvidia提供的基于GStreamer的DeepStream SDK硬件加速API和插件模板，可以快速完成自定义的畸变图像校正插件，实现畸变图像校正的功能。采用开源的跨平台的GStreamer框架，利用现有的插件模板和通用接口快速完成畸变图像校正插件，开发简单快捷，使用方便，可移植性强；畸变图像校正插件采用缓存无畸变的图像像素点与畸变图像像素点的坐标映射表的方式，省略了除第一帧畸变图像的畸变图像映射坐标计算过程，同时基于GStreamer的DeepStream SDK提供的硬件加速API，使得畸变校正耗时降低到10ms以内，有效地提高了视频传输的实时性。

请参见图2，图2是一示例性的实施例示出的一种畸变图像校正装置，应用于鱼眼镜头，所述鱼眼镜头基于预设的投影函数生成畸变图像，其特征在于，所述装置包括：

图像获取模块210，用于获取畸变图像，确定所述畸变图像边界的像素点；

边界确定模块220，用于基于所述畸变图像边界的像素点，拟合出所述畸变图像对应的圆形边界，并确定所述圆形边界的半径；

映射关系确定模块230，用于基于预设的投影函数和所述圆形边界的半径，确定所述畸变图像对应的无畸变图像，并保存所述畸变图像与所述无畸变图像之间的坐标映射关系；

图像校正模块240，用于基于所述坐标映射关系，对畸变图像进行校正。

可选的，所述装置包括使用GStreamer框架进行开发。

请参见图3，图3是一示例性的实施例示出的一种畸变图像校正装置的管道图。安装鱼眼镜头310的相机成像生成畸变图像后，可以由图像读取插件320读取该畸变图像，并可以计算该畸变图像的圆形边界的半径，从而可以确定畸变图像和无畸变图像之间的坐标映射关系，畸变校正插件330可以基于坐标映射关系，将畸变图像的像素点转化为无畸变图像的像素点，从而得到无畸变图像，并可以由图像推送插件340箱显示终端350进行推送，在显示终端350中显示符合人眼观察习惯的无畸变图像。其中，图像读取插件320、畸变校正插件330和图像推送插件340构成了管道360。

请参见图4，图4是一示例性的实施例示出的一种畸变图像校正装置所在电子设备的硬件结构图。在硬件层面，该设备包括处理器402、内部总线404、网络接口406、内存408以及非易失性存储器410，当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器302从非易失性存储器410中读取对应的计算机程序到内存408中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例只是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims

1.一种畸变图像校正方法，应用于鱼眼镜头，所述鱼眼镜头基于预设的投影函数生成畸变图像，其特征在于，所述方法包括：

获取畸变图像，确定所述畸变图像边界的像素点；

基于所述坐标映射关系，对畸变图像进行校正。

2.根据权利要求1所述的方法，所述畸变图像存在于矩形的图像文件中，其特征在于，所述确定所述畸变图像边界的像素点，包括：

采样扫描所述畸变图像，将距离所述矩形的图像边界最近的不为黑色的N个像素点，确定为所述畸变图像边界的像素点。

3.根据权利要求1所述的方法，其特征在于，所述拟合出所述畸变图像对应的圆形边界，并确定所述圆形边界的半径，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于预设的投影函数和所述圆形边界的半径，确定所述畸变图像对应的无畸变图像，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法包括使用GStreamer框架进行开发。

6.一种畸变图像校正装置，应用于鱼眼镜头，所述鱼眼镜头基于预设的投影函数生成畸变图像，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，所述畸变图像存在于矩形的图像文件中，其特征在于，所述确定所述畸变图像边界的像素点，包括：

8.根据权利要求6所述的装置，其特征在于，所述拟合出所述畸变图像对应的圆形边界，并确定所述圆形边界的半径，包括：

9.根据权利要求6所述的装置，其特征在于，所述基于预设的投影函数和所述圆形边界的半径，确定所述畸变图像对应的无畸变图像，包括：

10.根据权利要求6所述的装置，其特征在于，所述装置包括使用GStreamer框架进行开发。

11.一种机器可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1-5中任一项所述方法的步骤。

12.一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-5中任一项所述的方法的步骤。