CN113436134A - 一种全景相机的能见度测量方法和应用该方法的全景相机 - Google Patents

Abstract

本发明公开了一种全景相机的能见度测量方法及应用该方法的全景相机，该方法包括如下步骤：1)相机标定、2)选取特征点、3)图像投影变换、4)图像拼接、5)测量能见度、6)能见度输出或显示本发明能有效检测近距离低能见度，对近距离能见度检测有较高精度；系统的抗干扰能力强，全景相机由多个摄像头组成，即使某个摄像头被遮挡或损坏也不影响能见度的检测；监控装置体积小，无辐射、无污染、安装方便；价格低廉，可以多处布局；维护和安装方便，运行成本低廉；图像采集设备简单，只需要一个全景相机，无需额外放置被测目标物及搭建其它辅助测量装置；可直接输出能见度的值。

Description

一种全景相机的能见度测量方法和应用该方法的全景相机

技术领域

本发明涉及一种能见度测量方法和相机，尤其涉及一种全景相机的能见度测量方法和应用该方法的全景相机。

背景技术

随着虚拟现实行业的快速发展，作为内容领域的关键生产力，全景相机产业也在虚拟现实广泛的应用市场驱动下破土而出。全景相机首先从性能上讲，相比传统相机，拥有视角广、3D立体感足、自由度大等优异特性，改变了人们观看事物的方式，使得人机交互更加自然。其次从应用角度考虑、对比当下流行的3D建模技术、全景相机也能生动逼真的还原拍摄场景，同时还有合成方式简便、周期短、成本低等诸多优势。

不过，不同的应用领域对全景相机的各项性能有不同的要求，比如全景看房领域，高动态、低噪点及自动曝光能力是基础要求；而在直播领域，视频码流则会成为首要考虑指标；而在安防领域，就需要加入更多的物体识别、人脸识别及行为的分析等计算机视觉技术；而我们本次发明的全景相机主要针对于交通、航空、航海等领域，基于全景图像进行能见度检测。

随着机动车数量和高速公路里程持续快速增加，陆地交通事故也频繁发生。尤其是车辆行驶速度快、车流量大，当遇到低能见度的恶劣天气环境时，容易造成多车连续追尾的重大交通事故；对于航空领域，在能见度小于0.8公里的情况下会影响航班正常起降。在地面导航设备较差的机场，在能见度小于0.8公里时就要关闭。能见度与飞行活动有密切关系，能见度差是飞行活动中严重的视程障碍，直接给目视飞行造成困难，甚至会危及飞行安全。因此能见度检测对于陆地、航海、航空等领域的应用有着重大意义。

传统的能见度测量方法包括目测法和器测法。目测法利用人工观测，由于人工感知的能见度除了与大气物理光学状态有关外，还与各自的视力、视角、所处状态等诸多主观因素有关，而且只是估测，规范性、客观性相对较差。为此引进大气透射仪，大气透射仪是通过光束透过两固定点之间的大气柱直接测量气柱透射率，以此来推算能见度的值，这种方法要求光束通过足够长的大气柱，测量的可靠性受光源及其他硬件系统工作稳定性的影响，一般只适用于中等以下能见度的观测，而在雨、雾等低能见度天气，会因水汽吸收等复杂条件造成较大误差。而激光能见度自动测量仪是通过激光测量大气消光系数的方法来推算能见度，相对而言，较为客观和准确，但这种仪器成本昂贵、维护费用高、操作复杂，而且，在雨、雾天也难以进行正常观测。

发明内容

本发明的目的在于提供一种全景相机的能见度测量方法及应用该方法的全景相机，解决现有技术和产品中存在的缺憾。

本发明采用如下技术方案实现：

一种全景相机的能见度测量方法，其特征在于，测量及显示方法包括如下步骤：1)相机标定：针对相机成像存在的各种畸变，对相机间外部参数进行测定和矫正；

2)选取特征点：采用特征点检测算法提取图像的序列特征点，用以计算图像间的投影变换；

3)图像投影变换：所述图像投影变换的作用是防止进行全景拼接时破坏实际景物的视觉一致性；

4)图像拼接：实现待拼接图像之间的配准，然后进行图像拼接；

5)测量能见度：采用暗通道先验算法，根据暗通道先验理论获得目标物到摄像点的透射率，通过引导滤波进行优化，获得图像对应像素的特定光图，结合朗伯比尔定律求得相应的系数，进而计算出图像的能见度；

6)图像显示：能全方位实时显示全景图像，图像无畸变；

7)能见度输出：能不间断输出能见度值，亦可随全景图像显示；

8)输出特点：因全景相机具有多个摄像头拼接组合而成，因此，当某个摄像头被遮挡后其他摄像头仍可持续输出能见度值。

进一步的，在步骤1)中，将内参标定与外参标定建立世界坐标与图像像素坐标的映射关系。

进一步的，在步骤3)中，采用投影变换，投影变换是指采集到的图像数据重投影到全景成像平面上，实现全景图的投影拼接。

进一步的，在步骤5)中，能见度检测采用暗通道先验算法，根据暗通道先验理论获得目标物到摄像点的透射率，通过引导滤波进行优化，获得图像对应像素的大气光图，结合朗伯比尔定律求得消光系数，进而计算出大气能见度。

进一步的，其特征在于，在步骤6)中，镜头个数为两个或两个以上。

进一步的，在步骤7)中，可根据个人选择进行能见度值输出、显示或两功能同时具备。

一种全景相机，其特征在于，该全景相机采用了能见度测量方法。

本发明的有益技术效果是：能见度的全方位全视角检测；能有效检测近距离低能见度，对近距离能见度检测有较高精度；系统的抗干扰能力强，全景相机由多个摄像头组成，即使某个摄像头被遮挡或损坏也不影响能见度的检测；监控装置体积小，无辐射、无污染、安装方便；价格低廉，可以多处布局；维护和安装方便，运行成本低廉；图像采集设备简单，只需要一个全景相机，无需额外放置被测目标物及搭建其它辅助测量装置；可直接输出能见度的值。

附图说明

图1是本发明全景相机能见度测量方法的流程图。

图2是四幅图像拼接成一幅全景图像的示意图。

图3是全景图像的大气光图。

图4是全景相机结构示意图(内部俯视图)

图5是全景相机结构示意图(主视图)

图6是全景相机结构示意图(俯视图)

具体实施方式

本发明是针对航空、航海、陆地交通等领域发明的一款具有能见度检测功能的全景相机，首次将能见度检测应用于全景相机领域。本发明将多个摄像头按照一定的角度围成一周，把多个摄像头采集到的图像进行特征提取、计算和处理，合成得到一幅全景图像，并且建立图像和真实场景之间的映射关系，通过测量图像特征的变化情况求取能见度的值。该方案能够满足实时、全天候、全景视频监控的同时，还具有宽视角、多自由度、高精度检测能见度的功能。克服了传统能见度检测成本高、精度低、稳定和时效性差的问题，也解决了传统单个摄像头视角窄、自由度小等问题。通过下面对实施例的描述，将更加有助于公众理解本发明，但不能也不应当将申请人所给出的具体的实施例视为对本发明技术方案的限制，任何对部件或技术特征的定义进行改变和/或对整体结构作形式的而非实质的变换都应视为本发明的技术方案所限定的保护范围。

附图标记：图像处理单元1、中央处理单元2、图像采集卡3、摄像头4、电源口5、摄像头外部视图6、外壳顶盖7、外壳底座8、图像显示器11、图像显示器12、TF卡插口13、HDMI接口14、USB接口

在本实施例中，本发明的硬件部分由图像采集单元和图像处理单元以及图像显示单元(可选)组成，其中图像采集单元由多个摄像头分别间隔一定角度环绕一周组成，用来采集现场的全景视频信息。图像处理单元位于多个摄像头中间的中央处理器，将摄像头采集到的多幅图像拼接成一幅全景图像，并且实时或每隔一定的时间根据全景图像计算当前环境的能见度。图像显示单元连接图像处理单元，用来接收并且显示全景图像和当前时刻能见度值。结合上述硬件设备的应用，本实施例首先将多幅图像拼接成一幅大尺度图像或360度全景图，然后在全景图像(视频)基础上计算能见度值。

本实施例的基本步骤是：将四路摄像头连接到图像采集卡，采集卡按照设计的采集时间定时采集四路摄像头图像。采集卡将图像数据提供给图像处理单元，图像处理单元按照图1流程进行全景图像合成，并根据实际需求选择本地显示或图像输出。将步骤(2)合成的视频图像通过一系列计算处理，将计算的能见度值记录到本地供显示设备显示或其他设备读取。根据步骤(3)计算出的能见度与预先设定的能见度报警阈值进行比较，如果当前能见度计算值小于报警值则发出能见度预警报告。如果能见度高于预警值则取消能见度预警。在上述基本步骤中，利用四个摄像头采集到的图像进行全景图像的合成，另外通过多种检测识别算法的计算和处理，建立图像和真实场景之间的映射关系，通过测量图像特征的变化情况来求取能见度的值，对周围环境进行全方位监控，根据全景图像计算当前环境能见度，拼接和能见度检测均由全景相机自身完成，无需外接处理器。

基本步骤主要包括以下几个方面：摄相机的参数标定、特征点提取、图像的投影变换、全景图像拼接(融合)、能见度测量等。

S1：相机标定，由于制造、安装、工艺等原因，相机成像存在着各种畸变，需要相机内部参数标定。由于安装设计、摄相机之间的差异，会造成不同相机所成图像之间有缩放、倾斜、方位角差异等，需要相机间外部参数测定和矫正。

内参标定与外参标定都需进行建立世界坐标与图像像素坐标的映射关系，而世界坐标与图像像素坐标又需要光敏面坐标系和相机坐标系作为过渡连接。

像素坐标系与光敏面坐标系坐标变换的齐次坐标公式为

其中为像素坐标系齐次坐标，为光敏面坐标系齐次坐标。

相机坐标系与世界坐标系齐次坐标变换公式为

其中为相机坐标系齐次坐标，为世界坐标系齐次坐标。

光敏面坐标系与相机坐标系齐次坐标变换公式为

其中为相机坐标系齐次坐标，s为比例因子，f为焦距，为光敏面坐标系齐次坐标。

因此，可以推导得出相机内部参数标定矩阵

其中，为标定所需参数

外部参数标定矩阵

其中为旋转变换，为平移变换。

S2：特征点选取，本实施例采用特征点检测SURF算法提取图像的序列特征点，用以计算图像间的投影变换。

基于S1，根据标定板标定点个数，推导出其变换过程的齐次方程组的系数矩阵为

其中，(x取值1、2)代表像素坐标系上第i对的坐标值。

S3：图像投影变换，由于每幅图像是相机在不同角度下拍摄得到的，并不在同一投影平面上，如果直接对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性。需要对图像进行投影变换，再进行全景拼接。一般有平面投影、柱面投影、立方体投影和球面投影等，本实施例中采用柱面投影，柱面投影是指采集到的图像数据重投影到一个以相机焦距为半径的柱面，在柱面上进行全景图的投影拼接。

柱面投影公式为

其中：

f为拍摄焦距，a为每张图像所占的弧度角，为柱面坐标，x y为图像中像素点坐标。此时为等高变换，最后图像应根据实际情况做裁剪，去除黑边。

S4：图像拼接，首先实现待拼接图像之间的配准，然后进行图像拼接。图2显示了四幅原始图片以及全景拼接结果。

拼接之前先建立世界坐标与图像像素坐标的映射关系，公式为

其中为世界坐标，为图像像素齐次坐标，为旋转变换，为平移变换。

对于两幅图像，分别有

和

从而得到

简化为

其中和

S5：能见度测量：能见度检测采用暗通道先验算法，根据暗通道先验理论获得目标物到摄像点的透射率，通过引导滤波进行优化，获得图像对应像素的大气光图，结合朗伯比尔定律求得消光系数，进而计算出大气能见度。图3所示即为不同像素处的大气光图，进而测得能见度值为105米。

计算机视觉和图像处理中，图像定义为

式中：

I：表示图像亮度；

J：表示实际场强亮度；

A：表示大气光强；

x：数字图像中的像素点；

t：为大气透射率，表示场景中物体反射的光线没有发生散射而直接传输到摄像机的比例；

因户外无雾图像的局部区域里，存在一些像素满足至少一个颜色通道的强度值很低。这些像素的最小值趋近于0，被称为暗像素，即

式中：

c：为三基色空间中的颜色通道；

：为图像中像素位置为y的颜色通道c的像素值；

：表示中心点为像素点x的局部区域；

：即为J的暗通道。

基于暗通道先验理论可以求图像每一个点的透射率，步骤为

对通道c进行处理。假设以像素点x为中心的局部区域中每个像素点的透射率相同，记为，对该区域取最小值：

对三基色空间中的每个通道进行处理。取三个通道的最小值：

根据暗通道先验理论，有

故可得出

因为大气光的正则性，所以

对任何一个无雾的天气，大气中依然会存在少量粒子。因此，观测到的图像需要引入一个固有参数。即：

的取值通过实验确。此时为视频图像大气透视率的值

当然，本发明还可以有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可以根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种全景相机的能见度测量方法，其特征在于，测量及显示方法包括如下步骤：1)相机标定：针对相机成像存在的各种畸变，对相机间外部参数进行测定和矫正；

2)选取特征点：采用特征点检测算法提取图像的序列特征点，用以计算图像间的投影变换；

3)图像投影变换：所述图像投影变换的作用是防止进行全景拼接时破坏实际景物的视觉一致性；

4)图像拼接：实现待拼接图像之间的配准，然后进行图像拼接；

5)测量能见度：采用暗通道先验算法，根据暗通道先验理论获得目标物到摄像点的透射率，通过引导滤波进行优化，获得图像对应像素的特定光图，结合朗伯比尔定律求得相应的系数，进而计算出图像的能见度；

6)图像显示：作用是全方位实时显示全景图像，图像无畸变；

7)能见度输出：作用是不间断输出能见度值。

2.根据权利要求1所述的全景相机的能见度测量方法，其特征在于，在步骤1)中，将内参标定与外参标定建立世界坐标与图像像素坐标的映射关系。

3.根据权利要求1所述的全景相机的能见度测量方法，其特征在于，在步骤3)中，采用投影变换，投影变换是指采集到的图像数据重投影到全景成像平面上，实现全景图的投影拼接。

4.根据权利要求1所述的全景相机的能见度测量方法，其特征在于，在步骤5)中，能见度检测采用暗通道先验算法，根据暗通道先验理论获得目标物到摄像点的透射率，通过引导滤波进行优化，获得图像对应像素的大气光图，结合朗伯比尔定律求得消光系数，进而计算出大气能见度。

5.根据权利1所述的全景相机的能见度测量方法和应用该方法的全景相机，其特征在于，在步骤6)中，镜头个数为两个或两个以上。

6.根据权利1所述的全景相机的能见度测量方法和应用该方法的全景相机，其特征在于，在步骤7)中，可根据个人选择进行能见度值输出、显示或两功能同时具备。

7.一种全景相机，其特征在于，该全景相机采用了如权利要求1所述的能见度测量方法。

Images