CN112907447B - 天空云图的拼接及用于确定多摄像机安装位置的方法 - Google Patents

天空云图的拼接及用于确定多摄像机安装位置的方法 Download PDF

Info

Publication number
CN112907447B
CN112907447B CN202110184271.7A CN202110184271A CN112907447B CN 112907447 B CN112907447 B CN 112907447B CN 202110184271 A CN202110184271 A CN 202110184271A CN 112907447 B CN112907447 B CN 112907447B
Authority
CN
China
Prior art keywords
target
image
sky cloud
camera
sky
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110184271.7A
Other languages
English (en)
Other versions
CN112907447A (zh
Inventor
沈玉姣
田仁富
张彩红
张森炎
王杰
刘刚
曾峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110184271.7A priority Critical patent/CN112907447B/zh
Publication of CN112907447A publication Critical patent/CN112907447A/zh
Application granted granted Critical
Publication of CN112907447B publication Critical patent/CN112907447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种天空云图的拼接及用于确定多摄像机安装位置的方法,该天空云图的拼接方法包括:利用多个摄像机获取初始天空云图;其中,任一摄像机被设置在感兴趣区域中不同的经纬度坐标,且所述多个摄像机按照预设边长的等边三角形的网格设置;相邻两个摄像机采集的初始天空云图存在重叠区域,且所述重叠区域的长度与等边三角形的所述预设边长线性关联;基于所述感兴趣区域的经纬度范围和任一摄像机的经纬度坐标,将所述多个摄像机获取的初始天空云图拼接为目标全景图像。通过本申请的技术方案,通过多个摄像机从地面向太空拍摄天空云图,对多个摄像机采集的天空云图进行拼接,得到真实的高分辨率的天空云图,达到高分辨率要求。

Description

天空云图的拼接及用于确定多摄像机安装位置的方法
技术领域
本申请涉及图像处理技术领域,尤其是涉及一种天空云图的拼接及用于确定多摄像机安装位置的方法。
背景技术
天空云图是反映天空中云的尺度、形状、纹理、分布等特征的图像,通过天空云图分析云的外形特征,从而推论出形成云的气象条件,预测未来的天气变化。天空云图一般是通过卫星从太空向地面拍摄得到,根据卫星的传感器(相当于相机镜头)所采用的光线波段不同,可以将天空云图分为可见光云图和红外云图。其中,可见光云图是在可见光波段,地球表面反射太阳光形成的图像,能够反映地表和云反射率的差异,根据云对太阳可见光的反射不同,能够判别云的高度、厚度、分布等宏观特征。红外云图是在红外波段,地球表面发射的红外光形成的图像 ,能够反映地表和云温度的差异,根据云发射红外光的差异,通过推算云的温度,能够判别云的高度、厚度、分布等宏观特征。
但是,通过卫星从太空向地面拍摄得到天空云图时,高处的云层会对低处的云层存在遮挡,使得天空云图无法准确反映距离地球最近的云层的轨迹和动向,天空云图无法有效的展现与人们生活关联更近的云图信息。
发明内容
本申请提供一种用于确定多摄像机安装位置的方法,任一摄像机被配置为视场角朝向天空且具有视场角重叠区域,且基于所有摄像机采集的感兴趣区域的天空云图生成所述感兴趣区域的天空拼接图像,所述方法包括:
根据所述感兴趣区域的天空中的云层高度确定摄像机在云层高度下的视场半径,所述视场半径为摄像机的视场角中心线和视场角边界线之间的水平距离;
根据预设阈值和所述视场半径确定摄像机的相邻位置之间的目标距离;所述预设阈值用于指示摄像机的视场重叠区域长度与所述视场半径的比值;
基于相邻位置之间的目标距离,在所述感兴趣区域中确定任一摄像机的安装位置,以使所述摄像机的安装位置构成以所述目标距离为长度的等边三角形。
等边三角形的边长差值符合预设容差阈值。
示例性的,所述根据所述感兴趣区域的天空中的云层高度确定摄像机在云层高度下的视场半径,包括:根据摄像机的目标视场角和所述云层高度,确定所述视场半径;所述任一摄像机被配置为方向指向北,且被配置为水平放置。
示例性的,所述根据摄像机的目标视场角和所述云层高度,确定所述视场半径,包括:基于如下公式确定所述视场半径
Figure BDA0002942365610000021
其中,θ表示所述目标视场角,h表示所述云层高度。
示例性的,所述目标视场角的确定方式,具体包括:
通过摄像机采集测试环境的测试图像,所述测试环境包括视场角标定尺,所述测试图像包括与所述视场角标定尺对应的视场角数据;
对所述测试图像进行畸变校正,得到畸变校正后的图像;
基于畸变校正后的图像中的视场角数据确定摄像机的目标视场角。
所述根据预设阈值和所述视场半径确定摄像机的相邻位置之间的目标距离,包括:根据预设阈值和所述视场半径,确定相邻两个摄像机之间的视场重叠区域长度,并基于所述视场半径和所述视场重叠区域长度确定所述目标距离。
所述根据预设阈值和所述视场半径,确定相邻两个摄像机之间的视场重叠区域长度,包括:基于如下公式确定视场重叠区域长度L2:L2=α*L1;所述基于所述视场半径和所述视场重叠区域长度确定所述目标距离,包括:基于如下公式确定目标距离B:B=2*(L1-L2);α表示所述预设阈值。
本申请提供一种天空云图的拼接方法,所述方法包括:利用多个摄像机获取初始天空云图;其中,任一摄像机被设置在感兴趣区域中不同的经纬度坐标,且所述多个摄像机按照预设边长的等边三角形的网格设置;相邻两个摄像机采集的初始天空云图存在重叠区域,且所述重叠区域的长度与等边三角形的所述预设边长线性关联;基于所述感兴趣区域的经纬度范围和任一摄像机的经纬度坐标,将所述多个摄像机获取的初始天空云图拼接为目标全景图像。所述预设边长基于所述感兴趣区域的天空中的云层高度和所述摄像机的目标视场角确定。
示例性的,所述基于所述感兴趣区域的经纬度范围和任一摄像机的经纬度坐标,将所述多个摄像机获取的初始天空云图拼接为目标全景图像,包括:
基于所述感兴趣区域的经纬度范围,确定全景区域图像;
基于任一摄像机的经纬度坐标,确定所述摄像机采集的初始天空云图对应的目标天空云图的中心点在所述全景区域图像中的目标位置;
基于目标天空云图的中心点在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为目标全景图像。
示例性的,所述基于所述感兴趣区域的经纬度范围,确定全景区域图像,包括:基于所述感兴趣区域构建图像坐标系,所述图像坐标系以所述感兴趣区域的中心经纬度为原点,所述图像坐标系以预设经纬度间隔对应一个像素点;
在所述图像坐标系下生成所述全景区域图像。
示例性的,所述感兴趣区域的经纬度范围包括经度最小值、经度最大值、纬度最小值和纬度最大值;所述基于所述感兴趣区域的经纬度范围,确定全景区域图像,包括:按照第一间隔值将经度最小值和经度最大值之间的区域划分为多个经度点;按照第二间隔值将纬度最小值和纬度最大值之间的区域划分为多个纬度点;基于所有经度点和所有纬度点确定全景区域图像;其中,所述全景区域图像内的每个像素点对应所述经纬度范围内的一个经纬度坐标,所述全景区域图像的尺寸基于所有经度点的数量和所有纬度点的数量确定。
示例性的,所述基于目标天空云图的中心点在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为目标全景图像,包括:针对每个摄像机采集的初始天空云图对应的目标天空云图,基于所述目标天空云图的中心点在所述全景区域图像中的目标位置,将所述目标天空云图叠加到所述全景区域图像,且所述目标天空云图的中心像素点与所述目标位置重合,基于已叠加所有目标天空云图的全景区域图像确定初始全景图像;对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像;其中,所述目标区域是至少两个目标天空云图的重叠区域。
示例性的,所述方法还包括:
基于每个摄像机采集的初始天空云图,从该初始天空云图中提取有效区域,对有效区域进行畸变校正,得到该初始天空云图对应的候选天空云图;
将所述候选天空云图确定为目标天空云图;或者,基于映射比例将所述候选天空云图映射为缩放天空云图,将所述缩放天空云图确定为目标天空云图。
示例性的,所述映射比例的获取方式,具体包括:基于第一摄像机的视场半径、第一摄像机和第二摄像机之间的目标距离、第一摄像机的经纬度坐标映射到全景区域图像中的目标位置与第二摄像机的经纬度坐标映射到全景区域图像中的目标位置之间的距离,确定所述第一摄像机与所述第二摄像机之间的映射半径;基于所述映射半径确定所述映射比例;其中,所述第一摄像机和所述第二摄像机是所述多个摄像机中的相邻的任意两个摄像机。
示例性的,所述对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像,包括:针对所述初始全景图像中的目标区域的每个像素点,从所述目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图;基于该像素点在第一目标天空云图中的第一像素值、该像素点在第二目标天空云图中的第二像素值、及该像素点的衰减系数,确定该像素点的像素衰减值,并基于所述第一像素值和所述像素衰减值确定该像素点的目标像素值;基于所述目标区域的每个像素点的目标像素值确定所述目标全景图像。
从所述目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图,包括:从所述目标区域叠加的所有目标天空云图中选取两个目标天空云图;基于该像素点与每个目标天空云图的目标划分线之间的距离,将距离近的目标天空云图选取为该像素点对应的第一目标天空云图,并将距离远的目标天空云图选取为该像素点对应的第二目标天空云图;其中,目标划分线经过目标天空云图的中心像素点,且与所述目标区域的对角线平行。
示例性的,该像素点的衰减系数的获取方式,具体包括:
基于该像素点与所述目标区域的对角线之间的距离,获取该像素点的衰减系数;其中,该衰减系数与该距离成反比,该衰减系数位于指定数值区间。
本申请提供一种天空云图的拼接方法,地面的感兴趣区域部署有多个用于采集初始天空云图的摄像机,所述多个摄像机中的相邻两个摄像机采集的初始天空云图存在重叠区域,包括:基于感兴趣区域的经纬度范围,确定全景区域图像;基于摄像机的经纬度坐标,确定所述摄像机采集的初始天空云图对应的目标天空云图在所述全景区域图像中的目标位置;基于目标天空云图在所述全景区域图像中的目标位置,将多个摄像机采集的初始天空云图对应的目标天空云图拼接为初始全景图像;对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像;其中,所述目标区域是至少两个目标天空云图的重叠区域。
示例性的,所述多个摄像机中的相邻两个摄像机之间的距离与目标距离的差值不大于距离阈值;其中,所述目标距离的确定方式为:基于摄像机的目标视场角和所述感兴趣区域的天空中的云层高度,确定所述目标距离。
示例性的,所述基于摄像机的目标视场角和所述感兴趣区域的天空中的云层高度,确定所述目标距离,包括:根据所述目标视场角和所述云层高度,确定摄像机的视场半径,所述视场半径为摄像机的视场角中心线和视场角边界线之间的水平距离;根据预设阈值和所述视场半径,确定相邻两个摄像机之间的视场重叠区域长度,所述预设阈值用于指示视场重叠区域长度与所述视场半径的比值;基于所述视场半径和所述视场重叠区域长度确定所述目标距离。
示例性的,所述根据所述目标视场角和所述云层高度,确定摄像机的视场半径,包括:基于如下公式确定视场半径
Figure BDA0002942365610000051
所述根据预设阈值和所述视场半径,确定相邻两个摄像机之间的视场重叠区域长度,包括:基于如下公式确定视场重叠区域长度L2:L2=α*L1
所述基于所述视场半径和所述视场重叠区域长度确定所述目标距离,包括:基于如下公式确定目标距离B:B=2*(L1-L2);
θ表示所述目标视场角,h表示所述云层高度,α表示所述预设阈值。
示例性的,所述目标视场角的确定方式,具体包括:通过摄像机采集测试环境的测试图像,所述测试环境包括视场角标定尺,所述测试图像包括与所述视场角标定尺对应的视场角数据;对所述测试图像进行畸变校正,得到畸变校正后的图像;基于畸变校正后的图像中的视场角数据确定摄像机的目标视场角。
示例性的,所述多个摄像机中的相邻两个摄像机之间的距离为目标距离;
所述多个摄像机采用所述目标距离为边长进行等边三角形的网格部署。
示例性的,所述多个摄像机中的任一摄像机被配置为水平放置且视场角朝向天空;所述多个摄像机中的任一摄像机被配置为方向指向北。
示例性的,所述感兴趣区域的经纬度范围包括经度最小值、经度最大值、纬度最小值和纬度最大值;所述基于所述感兴趣区域的经纬度范围,确定全景区域图像,包括:按照第一间隔值将经度最小值和经度最大值之间的区域划分为多个经度点;按照第二间隔值将纬度最小值和纬度最大值之间的区域划分为多个纬度点;基于所有经度点和所有纬度点确定全景区域图像;其中,所述全景区域图像内的每个像素点对应所述经纬度范围内的一个经纬度坐标,所述全景区域图像的尺寸基于所有经度点的数量和所有纬度点的数量确定。
示例性的,所述基于目标天空云图在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为初始全景图像,包括:针对每个摄像机采集的初始天空云图对应的目标天空云图,基于所述目标天空云图在所述全景区域图像中的目标位置,将所述目标天空云图叠加到所述全景区域图像,且所述目标天空云图的中心像素点与所述目标位置重合;
将已叠加所有目标天空云图的全景区域图像确定为初始全景图像。
示例性的,所述方法还包括:
基于每个摄像机采集的初始天空云图,从该初始天空云图中提取有效区域,对有效区域进行畸变校正,得到该初始天空云图对应的候选天空云图;
将所述候选天空云图确定为目标天空云图;或者,基于映射比例将所述候选天空云图映射为缩放天空云图,将所述缩放天空云图确定为目标天空云图。
示例性的,所述映射比例的获取方式,具体包括:基于第一摄像机的视场半径、第一摄像机和第二摄像机之间的目标距离、第一摄像机的经纬度坐标映射到全景区域图像中的目标位置与第二摄像机的经纬度坐标映射到全景区域图像中的目标位置之间的距离,确定所述第一摄像机与所述第二摄像机之间的映射半径;基于所述映射半径确定所述映射比例;其中,所述第一摄像机和所述第二摄像机是所述多个摄像机中的相邻的任意两个摄像机。
示例性的,所述对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像,包括:针对所述初始全景图像中的目标区域的每个像素点,从所述目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图;基于该像素点在第一目标天空云图中的第一像素值、该像素点在第二目标天空云图中的第二像素值、及该像素点的衰减系数,确定该像素点的像素衰减值,并基于所述第一像素值和所述像素衰减值确定该像素点的目标像素值;基于所述目标区域的每个像素点的目标像素值确定所述目标全景图像。
从所述目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图,包括:从所述目标区域叠加的所有目标天空云图中选取两个目标天空云图;基于该像素点与每个目标天空云图的目标划分线之间的距离,将距离近的目标天空云图选取为该像素点对应的第一目标天空云图,并将距离远的目标天空云图选取为该像素点对应的第二目标天空云图;其中,目标划分线经过目标天空云图的中心像素点,且与所述目标区域的对角线平行。
示例性的,该像素点的衰减系数的获取方式,具体包括:
基于该像素点与所述目标区域的对角线之间的距离,获取该像素点的衰减系数;其中,该衰减系数与该距离成反比,该衰减系数位于指定数值区间。
由以上技术方案可见,本申请实施例中,可以在地面的感兴趣区域部署多个摄像机,通过多个摄像机从地面向太空拍摄天空云图,对多个摄像机采集的天空云图进行拼接,得到真实的高分辨率的天空云图,达到高分辨率要求。由于是从地面采集天空云图,高处的云层不会对低处的云层存在遮挡,天空云图能够准确反映距离地球最近的云层的轨迹和动向,能够有效展现与人们生活关联更近的云图信息。通过将天空云图拼接成高分辨率的图像或实时视频流,每个点位的图像搭配观测仪器,对可视范围内的天空做云量测算、云状判别、雨量等判别,可应用于气象识别、科技馆展示、天气分析预报等多种场合。能够确定摄像机的布设间距,保证满足拼接重叠要求的同时尽可能减少冗余,避免摄像机的数量上的浪费。通过经纬度信息实现天空云图的映射,基于经纬度信息实现天空云图的拼接,避免对天空云图进行特征提取导致的拼接困难问题。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的用于确定多摄像机安装位置的方法流程图;
图2是本申请一种实施方式中的天空云图的拼接方法的流程示意图;
图3是本申请一种实施方式中的天空云图的拼接方法的流程示意图;
图4A-图4C是本申请一种实施方式中的鱼眼摄像机的部署示意图;
图5A和图5B是本申请一种实施方式中的目标视场角的测试过程示意图;
图6A-图6F是本申请一种实施方式中的天空云图的示意图;
图7A-图7C是本申请一种实施方式中的过渡处理示意图;
图8A和图8B是本申请一种实施方式中的太阳抠除示意图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出一种用于确定多摄像机安装位置的方法,任一摄像机被配置为视场角朝向天空且具有视场角重叠区域,且基于所有摄像机采集的感兴趣区域的天空云图生成感兴趣区域的天空拼接图像。参见图1所示,为该用于确定多摄像机安装位置的方法的流程示意图,该方法可以包括:
步骤101,根据感兴趣区域的天空中的云层高度确定摄像机在该云层高度下的视场半径,该视场半径为摄像机的视场角中心线和视场角边界线之间的水平距离。例如,可以根据摄像机的目标视场角和该云层高度,确定该视场半径。
示例性的,可以基于如下公式确定视场半径
Figure BDA0002942365610000091
在上述公式中,θ可以表示该目标视场角,h可以表示该云层高度。
针对多摄像机中的任一摄像机被配置为方向指向北。当然,任一摄像机也可以被配置为其它方向,如方向指向南、或东、或西等,对此不做限制。
示例性的,针对多摄像机中的任一摄像机被配置为水平放置。
示例性的,目标视场角的确定方式,可以包括但不限于:通过摄像机采集测试环境的测试图像,该测试环境包括视场角标定尺,该测试图像包括与视场角标定尺对应的视场角数据;对该测试图像进行畸变校正,得到畸变校正后的图像;基于畸变校正后的图像中的视场角数据确定摄像机的目标视场角。
步骤102,根据预设阈值和该视场半径确定摄像机的相邻位置之间的目标距离,该预设阈值用于指示摄像机的视场重叠区域长度与视场半径的比值。
示例性的,可以根据该预设阈值和该视场半径,确定相邻两个摄像机之间的视场重叠区域长度,并基于该视场半径和该视场重叠区域长度确定目标距离。例如,可以基于如下公式确定视场重叠区域长度L2:L2=α*L1,并基于如下公式确定目标距离B:B=2*(L1-L2)。在上述公式中,α表示预设阈值。
步骤103,基于相邻位置之间的目标距离,在感兴趣区域中确定任一摄像机的安装位置,以使摄像机的安装位置构成以该目标距离为长度的等边三角形。
示例性的,所述等边三角形的边长差值符合预设容差阈值。
由以上技术方案可见,本申请实施例中,可以在地面的感兴趣区域部署多个摄像机,通过多个摄像机从地面向太空拍摄天空云图,能够确定多个摄像机的布设间距(即上述目标距离),保证满足拼接重叠要求的同时尽可能减少冗余,避免摄像机的数量上的浪费。多个摄像机的安装位置构成以目标距离为长度的等边三角形,使得相邻摄像机的距离一致,便于朝任意方向延伸。
本申请实施例中提出了一种天空云图的拼接方法,参见图2所示,为该天空云图的拼接方法的流程示意图,该拼接方法可以包括以下步骤:
步骤201,利用多个摄像机获取初始天空云图。示例性的,多个摄像机中的任一摄像机被设置在感兴趣区域中不同的经纬度坐标,且多个摄像机按照预设边长的等边三角形的网格设置。相邻两个摄像机采集的初始天空云图存在重叠区域,且该重叠区域的长度与等边三角形的预设边长线性关联。该预设边长可以基于感兴趣区域的天空中的云层高度和摄像机的目标视场角确定。
步骤202,基于该感兴趣区域的经纬度范围和任一摄像机的经纬度坐标,将多个摄像机获取的初始天空云图拼接为目标全景图像。
示例性的,可以采用如下步骤将初始天空云图拼接为目标全景图像:
步骤2021,基于该感兴趣区域的经纬度范围,确定全景区域图像。
例如,可以基于该感兴趣区域构建一个图像坐标系,该图像坐标系可以以该感兴趣区域的中心经纬度为原点,该图像坐标系可以以预设经纬度间隔对应一个像素点。然后,可以在该图像坐标系下生成全景区域图像。
又例如,该感兴趣区域的经纬度范围可以包括经度最小值、经度最大值、纬度最小值和纬度最大值。可以按照第一间隔值将经度最小值和经度最大值之间的区域划分为多个经度点,并按照第二间隔值将纬度最小值和纬度最大值之间的区域划分为多个纬度点。然后,可以基于所有经度点和所有纬度点确定全景区域图像,该全景区域图像内的每个像素点对应经纬度范围内的一个经纬度坐标,该全景区域图像的尺寸基于所有经度点的数量和所有纬度点的数量确定。
步骤2022,基于任一摄像机的经纬度坐标,确定摄像机采集的初始天空云图对应的目标天空云图的中心点在全景区域图像中的目标位置。
步骤2023,基于目标天空云图的中心点在全景区域图像中的目标位置,将多个摄像机采集的初始天空云图对应的目标天空云图拼接为目标全景图像。
在步骤2023中,可以采用如下步骤将目标天空云图拼接为目标全景图像:
步骤20231、针对每个摄像机采集的初始天空云图对应的目标天空云图,基于该目标天空云图的中心点在全景区域图像中的目标位置,将该目标天空云图叠加到全景区域图像,且该目标天空云图的中心像素点与该目标位置重合,基于已叠加所有目标天空云图的全景区域图像确定初始全景图像。
在一种可能的实施方式中,可以先确定初始天空云图对应的目标天空云图。比如说,基于每个摄像机采集的初始天空云图,从该初始天空云图中提取有效区域,对该有效区域进行畸变校正,得到该初始天空云图对应的候选天空云图。然后,可以将该候选天空云图确定为目标天空云图;或者,基于映射比例将该候选天空云图映射为缩放天空云图,将该缩放天空云图确定为目标天空云图。
示例性的,该映射比例的获取方式,可以包括但不限于:基于第一摄像机的视场半径、第一摄像机和第二摄像机之间的目标距离、第一摄像机的经纬度坐标映射到全景区域图像中的目标位置与第二摄像机的经纬度坐标映射到全景区域图像中的目标位置之间的距离,确定第一摄像机与第二摄像机之间的映射半径;然后,可以基于该映射半径确定映射比例。在上述过程中,第一摄像机和第二摄像机可以是多个摄像机中的相邻的任意两个摄像机。
步骤20232、对该初始全景图像中的目标区域进行过渡处理,得到目标全景图像;示例性的,该目标区域可以是至少两个目标天空云图的重叠区域。
示例性的,针对该初始全景图像中的目标区域的每个像素点,可以从该目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图。基于该像素点在该第一目标天空云图中的第一像素值、该像素点在该第二目标天空云图中的第二像素值、及该像素点的衰减系数,确定该像素点的像素衰减值,并基于该第一像素值和该像素衰减值确定该像素点的目标像素值。然后,基于该目标区域的每个像素点的目标像素值确定目标全景图像。
其中,从该目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图,可以包括:从该目标区域叠加的所有目标天空云图中选取两个目标天空云图;基于该像素点与每个目标天空云图的目标划分线之间的距离,将距离近的目标天空云图选取为该像素点对应的第一目标天空云图,并将距离远的目标天空云图选取为该像素点对应的第二目标天空云图;其中,目标划分线经过目标天空云图的中心像素点,且与目标区域的对角线平行。
其中,该像素点的衰减系数的获取方式,可以包括但不限于:基于该像素点与该目标区域的对角线之间的距离,获取该像素点的衰减系数;其中,该衰减系数可以与该距离成反比,且该衰减系数可以位于指定数值区间。
由以上技术方案可见,可以在地面的感兴趣区域部署多个摄像机,通过多个摄像机从地面向太空拍摄天空云图,对多个摄像机采集的天空云图进行拼接,得到真实的高分辨率的天空云图,达到高分辨率要求。由于是从地面采集天空云图,高处的云层不会对低处的云层存在遮挡,天空云图能够准确反映距离地球最近的云层的轨迹和动向,能够有效展现与人们生活关联更近的云图信息。
本申请实施例中提出了一种天空云图的拼接方法,地面的感兴趣区域部署有多个用于采集初始天空云图的摄像机,多个摄像机中的相邻两个摄像机采集的初始天空云图存在重叠区域,参见图3所示,该方法可以包括:
步骤301,基于感兴趣区域的经纬度范围,确定全景区域图像。
示例性的,该感兴趣区域的经纬度范围可以包括经度最小值、经度最大值、纬度最小值和纬度最大值。可以按照第一间隔值将该经度最小值和该经度最大值之间的区域划分为多个经度点,并按照第二间隔值将该纬度最小值和该纬度最大值之间的区域划分为多个纬度点。基于所有经度点和所有纬度点确定全景区域图像,该全景区域图像内的每个像素点对应经纬度范围内的一个经纬度坐标,该全景区域图像的尺寸基于所有经度点的数量和所有纬度点的数量确定。
步骤302,基于摄像机(即任一摄像机)的经纬度坐标,确定该摄像机采集的初始天空云图对应的目标天空云图在全景区域图像中的目标位置。
步骤303,基于目标天空云图在全景区域图像中的目标位置,将多个摄像机采集的初始天空云图对应的目标天空云图拼接为初始全景图像。
示例性的,针对每个摄像机采集的初始天空云图对应的目标天空云图,可以基于该目标天空云图在全景区域图像中的目标位置,将该目标天空云图叠加到全景区域图像,且该目标天空云图的中心像素点可以与该目标位置重合。然后,可以将已叠加所有目标天空云图的全景区域图像确定为初始全景图像。
在一种可能的实施方式中,可以先确定初始天空云图对应的目标天空云图。比如说,基于每个摄像机采集的初始天空云图,从该初始天空云图中提取有效区域,对该有效区域进行畸变校正,得到该初始天空云图对应的候选天空云图。然后,可以将该候选天空云图确定为目标天空云图;或者,基于映射比例将该候选天空云图映射为缩放天空云图,将该缩放天空云图确定为目标天空云图。
示例性的,该映射比例的获取方式,可以包括但不限于:基于第一摄像机的视场半径、第一摄像机和第二摄像机之间的目标距离、第一摄像机的经纬度坐标映射到全景区域图像中的目标位置与第二摄像机的经纬度坐标映射到全景区域图像中的目标位置之间的距离,确定第一摄像机与第二摄像机之间的映射半径;然后,可以基于该映射半径确定映射比例。在上述过程中,第一摄像机和第二摄像机可以是多个摄像机中的相邻的任意两个摄像机。
步骤304,对该初始全景图像中的目标区域进行过渡处理,得到目标全景图像;示例性的,该目标区域可以是至少两个目标天空云图的重叠区域。
示例性的,针对该初始全景图像中的目标区域的每个像素点,从该目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图;基于该像素点在该第一目标天空云图中的第一像素值、该像素点在该第二目标天空云图中的第二像素值、及该像素点的衰减系数,确定该像素点的像素衰减值,并基于该第一像素值和该像素衰减值确定该像素点的目标像素值。然后,基于该目标区域的每个像素点的目标像素值确定目标全景图像。
其中,从该目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图,可以包括:从该目标区域叠加的所有目标天空云图中选取两个目标天空云图;基于该像素点与每个目标天空云图的目标划分线之间的距离,将距离近的目标天空云图选取为该像素点对应的第一目标天空云图,并将距离远的目标天空云图选取为该像素点对应的第二目标天空云图;其中,目标划分线经过目标天空云图的中心像素点,且与目标区域的对角线平行。
其中,该像素点的衰减系数的获取方式,可以包括但不限于:基于该像素点与该目标区域的对角线之间的距离,获取该像素点的衰减系数;其中,该衰减系数可以与该距离成反比,且该衰减系数可以位于指定数值区间。
在一种可能的实施方式中,多个摄像机中的相邻两个摄像机之间的距离与目标距离的差值不大于距离阈值,且该目标距离的确定方式可以为:基于摄像机的目标视场角和感兴趣区域的天空中的云层高度,确定该目标距离。
示例性的,为了确定该目标距离,可以根据该目标视场角和该云层高度,确定摄像机的视场半径,该视场半径可以为摄像机的视场角中心线和视场角边界线之间的水平距离。然后,根据预设阈值和该视场半径,确定相邻两个摄像机之间的视场重叠区域长度,该预设阈值用于指示视场重叠区域长度与视场半径的比值。然后,基于该视场半径和该视场重叠区域长度确定目标距离。
比如说,可以基于如下公式确定视场半径
Figure BDA0002942365610000141
可以基于如下公式确定视场重叠区域长度L2:L2=α*L1;可以基于如下公式确定目标距离B:B=2*(L1-L2);θ表示目标视场角,h表示云层高度,α表示预设阈值。
示例性的,目标视场角的确定方式,可以包括:通过摄像机采集测试环境的测试图像,该测试环境包括视场角标定尺,该测试图像可以包括与该视场角标定尺对应的视场角数据;对该测试图像进行畸变校正,得到畸变校正后的图像;基于畸变校正后的图像中的视场角数据确定摄像机的目标视场角。
示例性的,多个摄像机中的相邻两个摄像机之间的距离可以为该目标距离,且多个摄像机采用该目标距离为边长进行等边三角形的网格部署。
示例性的,多个摄像机中的任一摄像机可以被配置为视场角朝向天空;且多个摄像机中的任一摄像机被配置为方向指向北。当然,任一摄像机也可以被配置为其它方向,如方向指向南、或东、或西等,对此不做限制。
示例性的,针对多摄像机中的任一摄像机被配置为水平放置。
由以上技术方案可见,本申请实施例中,可以在地面的感兴趣区域部署多个摄像机,通过多个摄像机从地面向太空拍摄天空云图,对多个摄像机采集的天空云图进行拼接,得到真实的高分辨率的天空云图,达到高分辨率要求。由于是从地面采集天空云图,高处的云层不会对低处的云层存在遮挡,天空云图能够准确反映距离地球最近的云层的轨迹和动向,能够有效展现与人们生活关联更近的云图信息。通过将天空云图拼接成高分辨率的图像或实时视频流,每个点位的图像搭配观测仪器,对可视范围内的天空做云量测算、云状判别、雨量等判别,可应用于气象识别、科技馆展示、天气分析预报等多种场合。能够确定摄像机的布设间距,保证满足拼接重叠要求的同时尽可能减少冗余,避免摄像机的数量上的浪费。通过经纬度信息实现天空云图的映射,基于经纬度信息实现天空云图的拼接,避免对天空云图进行特征提取导致的拼接困难问题。
示例性的,针对上述图1所示的流程,图2所示的流程以及图3所示的流程,上述的执行顺序只是为了方便描述给出的示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
以下结合具体应用场景,对本申请实施例的上述技术方案进行说明。
天空云图是反映天空中云的尺度、形状、纹理、分布等特征的图像,通过天空云图分析云的外形特征,从而推论出形成云的气象条件,预测未来的天气变化。本申请实施例中,可以在地面设置一定数量的摄像机,通过这些摄像机采集天空云图进行拼接,从而将多个天空云图拼接成高分辨率的天空云图。对天空云图进行拼接是指,将不同摄像机采集的天空云图按照重叠区域的变换关系进行叠加,以得到具有更多视野的图像,这个图像就是高分辨率的天空云图。
本实施例中,为了尽可能减少摄像机的数量,可以采用鱼眼摄像机(基于鱼眼镜头的摄像机),当然,也可以是其它类型的摄像机,对此不做限制,只要摄像机的视场角较大即可,如视场角达到180度。为了方便描述,后续以鱼眼摄像机为例,鱼眼摄像机的焦距很短且视场角很大,如视场角接近或大于等于180度。虽然鱼眼摄像机能够加大景物的透视感,但越靠近镜头边缘,景物的压缩和变形就越明显,因此,本实施例中,可以对鱼眼摄像机采集的图像进行畸变校正。在畸变校正过程中,需要考虑校正变形,使得相邻图像的重叠区域的同一物体形变趋势相近,又需要考虑畸变校正带来的视场角损失不能过大。
本实施例中,可以基于云层高度等确定相邻鱼眼摄像机之间的架设距离(即布设间距),在满足拼接重叠要求的同时尽可能减少冗余,避免鱼眼摄像机数量上的浪费。考虑到鱼眼摄像机架设时的地形条件不可控,无法准确满足距离要求,因此,可以增加布设灵活度,允许根据实际地形条件进行位置调整。
由于云层的形状各异,颜色单一,难以提取有效特征点,为此,本实施例中,不是通过特征提取来进行天空云图的拼接,而是通过摄像机的经纬度信息实现天空云图的拼接,再结合重叠区域过渡和多余太阳抠除等操作,能够得到一个真实的高分辨率天空云图,且避免对云层进行特征提取来实现云图拼接。
综上所述,本申请实施例中,可以通过多个鱼眼摄像机从地面向太空拍摄天空云图,对多个鱼眼摄像机采集的天空云图进行拼接,得到真实的高分辨率的天空云图,达到高分辨率要求。能够确定鱼眼摄像机的布设间距,保证满足拼接重叠要求的同时尽可能减少冗余,避免鱼眼摄像机的数量上的浪费。通过经纬度信息实现天空云图的映射,基于经纬度信息实现天空云图的拼接。
在一种可能的实施方式中,天空云图的拼接过程,可以包括以下过程:
第一、多个鱼眼摄像机的位置部署。
参见图4A所示,为鱼眼摄像机在地面布设的理想状态的示意图,每个点代表一个鱼眼摄像机,这些鱼眼摄像机按照预设边长的等边三角形的网格延伸布设,这样布设的原因是:相邻鱼眼摄像机的距离一致,拼接方式可以类推,便于朝任意方向延伸,可以根据实际需求增减边缘的鱼眼摄像机的数量。
当然,本申请实施例并不严格限制多个鱼眼摄像机的布设形状,多个鱼眼摄像机的布设形状可以根据实际需要进行改变,等边三角形的网格形状也只是本实施例的一个示例,只要相邻鱼眼摄像机的距离满足预设距离要求即可。
参见图4B所示,为布设七个鱼眼摄像机(也可以称为七个点位)的一个示意图,在图4B中,示出了7个鱼眼摄像机的经纬度坐标。示例性的,1号点位的鱼眼摄像机与2、6、7号点位的鱼眼摄像机是相邻鱼眼摄像机,1号点位的鱼眼摄像机与3、4、5号点位的鱼眼摄像机不是相邻鱼眼摄像机。2号点位的鱼眼摄像机与1、3、7号点位的鱼眼摄像机是相邻鱼眼摄像机,2号点位的鱼眼摄像机与4、5、6号点位的鱼眼摄像机不是相邻鱼眼摄像机。3号点位的鱼眼摄像机与2、4、7号点位的鱼眼摄像机是相邻鱼眼摄像机,3号点位的鱼眼摄像机与1、 5、6号点位的鱼眼摄像机不是相邻鱼眼摄像机,以此类推。
从图4B可以看出,1号点位的鱼眼摄像机、2号点位的鱼眼摄像机、7号点位的鱼眼摄像机组成等边三角形。1号点位的鱼眼摄像机、6号点位的鱼眼摄像机、7号点位的鱼眼摄像机组成等边三角形。2号点位的鱼眼摄像机、3号点位的鱼眼摄像机、7号点位的鱼眼摄像机组成等边三角形,以此类推。
在一种可能的实施方式中,多个鱼眼摄像机中的相邻两个鱼眼摄像机之间的距离与目标距离的差值不大于距离阈值(可以根据经验配置,对此距离阈值不做限制,可以为大于0的数值)。比如说,相邻两个鱼眼摄像机之间的距离为目标距离,即相邻两个鱼眼摄像机之间的距离与目标距离的差值为0,不大于距离阈值。在相邻两个鱼眼摄像机之间的距离为目标距离时,多个鱼眼摄像机将采用目标距离为边长进行等边三角形的网格部署,参见图4A和图4B所示。在相邻两个鱼眼摄像机之间的距离不为目标距离时,多个鱼眼摄像机不是采用目标距离为边长进行等边三角形的网格部署,只要满足距离要求即可。
在一种可能的实施方式中,多个鱼眼摄像机中的任一鱼眼摄像机被配置为视场角朝向天空,且多个鱼眼摄像机中的任一鱼眼摄像机被配置为方向指向北。而且,多个鱼眼摄像机中的任一鱼眼摄像机被配置为水平放置。
在一种可能的实施方式中,可以基于鱼眼摄像机的目标视场角和感兴趣区域的天空中的云层高度,确定该目标距离,该感兴趣区域是指部署有多个鱼眼摄像机的区域,如图4B中的所有鱼眼摄像机的经纬度坐标的经纬度范围。
参见图4C所示,B表示相邻两个鱼眼摄像机之间的目标距离,θ表示任一鱼眼摄像机的目标视场角,h表示感兴趣区域的天空中的云层高度,L1表示鱼眼摄像机在云层高度下的视场半径,即鱼眼摄像机的视场角中心线和视场角边界线之间的水平距离,L2表示相邻两个鱼眼摄像机之间的视场重叠区域长度,可以理解为相邻两个鱼眼摄像机的视场重叠区域最大长度的一半。在上述应用场景下,可以采用如下步骤确定相邻两个鱼眼摄像机之间的目标距离:
步骤S11、根据该目标视场角和该云层高度,确定鱼眼摄像机的视场半径。
比如说,可以基于如下公式确定该视场半径
Figure BDA0002942365610000181
步骤S12、根据预设阈值和该视场半径,确定相邻两个鱼眼摄像机之间的视场重叠区域长度,该预设阈值用于指示视场重叠区域长度与视场半径的比值。
比如说,可以基于如下公式确定视场重叠区域长度L2:L2=α*L1;α表示预设阈值,该预设阈值可以根据经验配置,如0-1之间的数值,如0.1、0.2等。
步骤S13、基于该视场半径和该视场重叠区域长度确定目标距离。
比如说,基于如下公式确定该目标距离B:B=2*(L1-L2)。
综上所述,可以先获取目标视场角和云层高度,在得到目标视场角和云层高度后,就可以确定出目标距离,即相邻两个鱼眼摄像机之间的目标距离。基于该目标距离,就可以在感兴趣区域中确定任一鱼眼摄像机的安装位置,以使鱼眼摄像机的安装位置构成以该目标距离为长度的等边三角形。当然,等边三角形只是示例,对此不做限制,只要相邻两个鱼眼摄像机之间的距离与目标距离的差值不大于距离阈值即可,即基于目标距离确定鱼眼摄像机的安装位置。
比如说,假设云层高度为1.8km,鱼眼摄像机的目标视场角为145度,则L1为5709m,L2为570.9m(以α的取值是0.1为例),B为10276m,即相邻两个鱼眼摄像机之间的距离为10276m,如大约为10km,因此,可以按照相邻两个鱼眼摄像机之间的距离为10km布设,布设结果可以参见图4B所示。
在布设鱼眼摄像机时,还可以记录每个鱼眼摄像机的经纬度坐标,参见图 4B所示,3号点位的鱼眼摄像机的经纬度坐标是(120.633931度,30.303158度),即鱼眼摄像机的经纬度坐标是东经为120.633931度,北纬为30.303158度。在布设所有鱼眼摄像机后,所有鱼眼摄像机的镜头对着天空,通过鱼眼摄像机自带的水平仪保证鱼眼摄像机处于水平,所有鱼眼摄像机的固定方向为共同指北,保证图像采集方位一致,控制所有鱼眼摄像机采集同一时刻的天空云图。
为了确定目标距离,可以先获取云层高度,该云层高度是感兴趣区域的天空中云层的高度(可以是云层的平均高度,也可以是云层最底下的高度,对此不做限制),可以是用户输入的高度,对此云层高度的获取方式不做限制。
为了确定目标距离,可以先获取目标视场角,该目标视场角是对鱼眼摄像机的初始视场角进行畸变校正后得到的鱼眼摄像机的目标视场角,比如说,可以采用如下步骤确定鱼眼摄像机的目标视场角。假设所有鱼眼摄像机是同一种类型的鱼眼摄像机,则所有鱼眼摄像机的目标视场角可以相同。
步骤S21、通过鱼眼摄像机采集测试环境的测试图像,该测试环境包括视场角标定尺,该测试图像包括与该视场角标定尺对应的视场角数据。
参见图5A所示,为通过鱼眼摄像机采集的测试环境的测试图像的示例,由于测试环境包括视场角标定尺(即用于体现视场角的标定尺),可以从该视场角标定尺中读出鱼眼摄像机的视场角,因此,通过鱼眼摄像机采集到测试图像后,该测试图像包括与该视场角标定尺对应的视场角数据,用于体现视场角标定尺的数据。显然,基于该测试环境的测试图像,可以从该测试图像中读取鱼眼摄像机的视场角,这个视场角是鱼眼摄像机的初始视场角。
步骤S22、对该测试图像进行畸变校正,得到畸变校正后的图像。
步骤S23、基于畸变校正后的图像中的视场角数据确定鱼眼摄像机的目标视场角,即对鱼眼摄像机的初始视场角进行畸变校正后的视场角。
参见图5B所示,为畸变校正后的图像的示例,由于测试图像包括与视场角标定尺对应的视场角数据,因此,在畸变校正后的图像中,也包括与视场角标定尺对应的畸变校正后的视场角数据。基于畸变校正后的图像,可以从畸变校正后的视场角数据中读取鱼眼摄像机的视场角,即鱼眼摄像机的目标视场角。
综上所述,可以得到鱼眼摄像机的目标视场角,当然,上述方式只是一个示例,对此目标视场角的获取方式不做限制,如用户输入目标视场角等。
第二、通过多个鱼眼摄像机在同一时刻采集初始天空云图。示例性的,多个鱼眼摄像机中的相邻两个鱼眼摄像机采集的初始天空云图存在重叠区域,且重叠区域的长度与等边三角形的预设边长(即上述目标距离)线性关联。
比如说,控制鱼眼摄像机1在时刻1采集初始天空云图1,控制鱼眼摄像机 2在时刻1采集初始天空云图2,控制鱼眼摄像机3在时刻1采集初始天空云图 3,以此类推,每个鱼眼摄像机均在时刻1采集初始天空云图。
第三、基于每个鱼眼摄像机采集的初始天空云图,从初始天空云图中提取有效区域,对有效区域进行畸变校正,得到初始天空云图对应的候选天空云图。
比如说,可以从初始天空云图1中提取有效区域,并对该有效区域进行畸变校正,得到初始天空云图1对应的候选天空云图1。从初始天空云图2中提取有效区域,并对该有效区域进行畸变校正,得到初始天空云图2对应的候选天空云图2。以此类推,可以得到每个初始天空云图对应的候选天空云图。
示例性的,在通过鱼眼摄像机采集初始天空云图时,初始天空云图具有严重变形,为了将初始天空云图校正为常规的线性图像,则需要从初始天空云图中确定出有效区域。比如说,对初始天空云图进行有效区域提取,去除黑色无信息区域,只保留鱼眼图像部分。本实施例中对此有效区域提取方式不做限制,只要能够得到有效区域即可。参见图6A所示,为鱼眼摄像机采集的初始天空云图的示意图,对初始天空云图进行有效区域提取后,有效区域参见图6B所示。
示例性的,基于初始天空云图的有效区域,可以将初始天空云图的有效区域校正为常规的线性图像,这个常规的线性图像为候选天空云图。例如,对初始天空云图的有效区域进行畸变校正,得到初始天空云图对应的候选天空云图。
针对鱼眼摄像机采集的初始天空云图,为了达到更大的视场角要求,越靠近镜头边缘,景物的压缩和变形就越明显,因此,畸变校正既需要考虑校正变形,使得相邻图像采集的重叠区域的同一物体形变趋势相近,又需要考虑畸变校正带来的视场角损失不能过大。综合考虑,本实施例中,可以使用OpenCV 的畸变校正方法,将初始天空云图的有效区域校正为候选天空云图。
当然,也可以采用其它畸变校正方法将初始天空云图的有效区域校正为候选天空云图,对此不做限制,只要能够得到候选天空云图即可。
参见图6C所示,为7个初始天空云图的有效区域的示意图,在对7个初始天空云图的有效区域进行畸变校正后,得到图6D所示的7个候选天空云图。
第四、生成全景区域图像,该全景区域图像可以理解为一个空白图像,后续可以将各个目标天空云图均叠加到该全景区域图像,得到拼接后的全景图像。比如说,可以基于感兴趣区域的经纬度范围,确定该全景区域图像。
示例性的,该感兴趣区域的经纬度范围可以包括经度最小值、经度最大值、纬度最小值和纬度最大值。基于此,可以按照第一间隔值将经度最小值和经度最大值之间的区域划分为多个经度点,并可以按照第二间隔值将纬度最小值和纬度最大值之间的区域划分为多个纬度点。比如说,假设经度最小值为A1,经度最大值为A2,第一间隔值为k1,纬度最小值为B1,纬度最大值为B2,第二间隔值为k2,则多个经度点可以依次为A1、A1+k1、A1+2k1、A1+3k1、…、 A2,多个纬度点可以依次为B1、B1+k2、B1+2k2、B1+3k2、…、B2。
然后,基于所有经度点和所有纬度点确定全景区域图像,全景区域图像内的每个像素点对应经纬度范围内的一个经纬度坐标,全景区域图像的尺寸基于所有经度点的数量和所有纬度点的数量确定。比如说,假设所有经度点的数量为C,所有纬度点的数量为D,则全景区域图像的尺寸为C*D,全景区域图像的第一行第一列的像素点对应经纬度坐标(A1,B1),第一行第二列的像素点对应经纬度坐标(A1+k1,B1),…,第一行第C列的像素点对应经纬度坐标 (A2,B1),第二行第一列的像素点对应经纬度坐标(A1,B1+k2),…,第 D行第一列的像素点对应经纬度坐标(A1,B2),以此类推。显然,全景区域图像内的每个像素点可以对应经纬度范围内的一个经纬度坐标。
比如说,假设经纬度范围是东经从118.349793度至120.746646度,北纬从29.219961度至30.562686度,则经度最小值为118.349793度,经度最大值为 120.746646度,纬度最小值为29.219961度,纬度最大值为30.562686度,该经纬度范围的中心经纬度为(119.5482195度,29.8913235度)。假设第一间隔值和第二间隔值均是0.0005度,即间隔0.0005度就对应全景区域图像的一个像素点,则全景区域图像的尺寸为4794*2684,即存在4794*2684个像素点。
示例性的,为了生成全景区域图像,可以基于感兴趣区域构建图像坐标系,该图像坐标系以该感兴趣区域的中心经纬度为原点,该图像坐标系以预设经纬度间隔对应一个像素点,在该图像坐标系下生成全景区域图像。比如说,该图像坐标系以(119.5482195度,29.8913235度)为原点,该图像坐标系以间隔0.0005 度对应全景区域图像的一个像素点,生成尺寸为4794*2684的全景区域图像。
第五、确定鱼眼摄像机的经纬度坐标与全景区域图像中的目标位置的映射关系。比如说,基于鱼眼摄像机的经纬度坐标,确定该鱼眼摄像机采集的初始天空云图对应的目标天空云图在全景区域图像中的目标位置。
参见上述实施例,可以记录鱼眼摄像机的经纬度坐标,且全景区域图像中的每个像素点对应一个经纬度坐标,因此,鱼眼摄像机的经纬度坐标与全景区域图像中的像素点有对应关系,也就是说,可以基于鱼眼摄像机的经纬度坐标找到全景区域图像中的像素点,这个像素点也就是目标位置。
比如说,鱼眼摄像机1的经纬度坐标为M1,全景区域图像中的像素点N1 对应经纬度坐标M1,则鱼眼摄像机1采集的初始天空云图对应的目标天空云图在全景区域图像中的目标位置是像素点N1,以此类推,可以得到每个鱼眼摄像机采集的初始天空云图对应的目标天空云图在全景区域图像中的目标位置,也就是说,鱼眼摄像机的经纬度坐标与全景区域图像中的目标位置具有映射关系。
第六、确定候选天空云图的映射比例,基于该映射比例将候选天空云图映射为缩放天空云图。例如,基于该映射比例将候选天空云图1映射为缩放天空云图1,基于该映射比例将候选天空云图2映射为缩放天空云图2,以此类推。
示例性的,针对该映射比例的确定方式,可以通过如下步骤实现:
步骤S31、基于第一鱼眼摄像机的视场半径、第一鱼眼摄像机和第二鱼眼摄像机之间的目标距离、第一鱼眼摄像机的经纬度坐标映射到全景区域图像中的目标位置与第二鱼眼摄像机的经纬度坐标映射到全景区域图像中的目标位置之间的距离,确定第一鱼眼摄像机与第二鱼眼摄像机之间的映射半径。第一鱼眼摄像机和第二鱼眼摄像机是多个鱼眼摄像机中的相邻的任意两个鱼眼摄像机。
在一种可能的实施方式中,可以通过如下公式确定该映射半径:
Figure BDA0002942365610000231
L1表示第一鱼眼摄像机的视场半径(所有鱼眼摄像机的视场半径相同),B表示第一鱼眼摄像机和第二鱼眼摄像机之间的目标距离,L1和B的相关介绍可以参见上述实施例,在此不再赘述。d表示第一鱼眼摄像机的经纬度坐标映射到全景区域图像中的目标位置与第二鱼眼摄像机的经纬度坐标映射到全景区域图像中的目标位置之间的距离,r表示第一鱼眼摄像机与第二鱼眼摄像机之间的映射半径。
每个鱼眼摄像机的经纬度坐标与全景区域图像中的目标位置具有映射关系,因此,可以确定第一鱼眼摄像机的经纬度坐标映射到全景区域图像中的目标位置1,并确定第二鱼眼摄像机的经纬度坐标映射到全景区域图像中的目标位置2,并确定目标位置1与目标位置2之间的距离d,即两个像素点之间的距离。
综上所述,可以确定出相邻两个鱼眼摄像机之间的映射半径r。
步骤S32、基于该映射半径确定映射比例。
比如说,可以先确定所有映射半径的平均值,将该平均值记为平均映射半径rave,然后,可以基于平均映射半径rave确定该映射比例。
例如,针对相邻的任意两个鱼眼摄像机,采用步骤S31确定这两个鱼眼摄像机之间的映射半径,并对所有映射半径求平均值,得到平均映射半径rave。假设鱼眼摄像机1和鱼眼摄像机2是相邻两个鱼眼摄像机,鱼眼摄像机1和鱼眼摄像机3是相邻两个鱼眼摄像机,鱼眼摄像机2和鱼眼摄像机4是相邻两个鱼眼摄像机,则确定鱼眼摄像机1和鱼眼摄像机2之间的映射半径,确定鱼眼摄像机1和鱼眼摄像机3之间的映射半径,确定鱼眼摄像机2和鱼眼摄像机4之间的映射半径。然后,对所有映射半径求平均值,得到平均映射半径rave
在得到平均映射半径rave后,通过如下公式确定该映射比例:
Figure BDA0002942365610000241
在上述公式中,scale表示该映射比例,ROW表示候选天空云图的高度或者宽度,所有候选天空云图的高度可以均相同,候选天空云图的高度和宽度可以相同。
在得到映射比例后,可以基于该映射比例对每个候选天空云图进行缩放处理,从而将每个候选天空云图映射为缩放天空云图,得到多个缩放天空云图。
第七、基于所有目标天空云图生成初始全景图像。比如说,基于目标天空云图在全景区域图像中的目标位置,将该目标天空云图叠加到该全景区域图像,且该目标天空云图的中心像素点与该目标位置重合。然后,将已叠加所有目标天空云图的全景区域图像确定为初始全景图像。示例性的,关于初始天空云图对应的目标天空云图,可以将初始天空云图对应的候选天空云图确定为目标天空云图,也可以将初始天空云图对应的候选天空云图对应的缩放天空云图确定为目标天空云图,对此不做限制,以将缩放天空云图确定为目标天空云图为例。
示例性的,针对每个目标天空云图,在得到该目标天空云图后,可以将该目标天空云图叠加到全景区域图像。在将该目标天空云图叠加到全景区域图像时,该目标天空云图的中心像素点需要与该目标天空云图在全景区域图像中的目标位置重合。在将所有目标天空云图叠加到全景区域图像后,就可以将已叠加所有目标天空云图的全景区域图像确定为初始全景图像,参见图6E所示,为已叠加所有目标天空云图的初始全景图像的示意图。
第八、对初始全景图像中的目标区域进行过渡处理,得到目标全景图像。
示例性的,在得到初始全景图像后,该初始全景图像可以包括目标区域和非目标区域,该目标区域可以是至少两个目标天空云图的重叠区域,该非目标区域可以是一个目标天空云图的区域。比如说,假设初始全景图像的区域1只存在目标天空云图1,则区域1是非目标区域。假设初始全景图像的区域2是目标天空云图1和目标天空云图2的重叠区域,则区域2是目标区域。为了使拼接图像整体自然,可以对目标区域进行过渡,而不需要对非目标区域进行过渡。
在得到初始全景图像后,可以确定初始全景图像的外接矩形范围,设定一个与初始全景图像同样大小的mask(掩藏)图像,结合外矩形信息,mask图像的每个位置与初始全景图像的每个像素点一一对应。针对mask图像的每个位置,该位置记录了初始全景图像中与该位置对应的像素点来源于几幅目标天空云图,以及目标天空云图的序号。参见图6F所示,为mask图像的示例,全黑的地方表示没有目标天空云图映射,随着亮度的增加,依次表示来源于一幅目标天空云图、来源于两幅目标天空云图、来源于三幅目标天空云图。显然,基于mask 图像,就可以获知初始全景图像的每个像素点属于目标区域,还是属于非目标区域。在像素点属于目标区域时,还可以获知该像素点对应的目标天空云图。
综上所述,针对初始全景图像的每个像素点,可以先基于mask图像确定该像素点属于目标区域还是非目标区域。若该像素点属于非目标区域,则保持该像素点的像素值不变。若该像素点属于目标区域,则对该像素点的像素值进行过渡处理。比如说,基于mask图像确定该像素点对应的至少两个目标天空云图,在一个目标天空云图中该像素点的像素值的基础上叠加像素衰减值,得到该像素点的目标像素点,即初始全景图像中该像素点的像素值为该目标像素点。
在一种可能的实施方式中,可以采用如下步骤对目标区域进行过渡处理:
步骤S41、针对初始全景图像中的目标区域的每个像素点,从目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图。例如,可以采用如下步骤选取第一目标天空云图和第二目标天空云图:
步骤S411、从目标区域叠加的所有目标天空云图中选取两个目标天空云图。
比如说,若该目标区域只叠加两个目标天空云图,则可以选取这两个目标天空云图。或者,若该目标区域叠加三个目标天空云图,则可以从三个目标天空云图中选取两个目标天空云图。以目标区域叠加目标天空云图1、目标天空云图2和目标天空云图3为例,目标天空云图1、目标天空云图2和目标天空云图 3均包括像素点A,在对像素点A进行过渡处理时,需要确定目标天空云图1 和目标天空云图2的重叠区域1、目标天空云图1和目标天空云图3的重叠区域 2、目标天空云图2和目标天空云图3的重叠区域3。从重叠区域1、重叠区域2和重叠区域3中选取目标重叠区域,从目标区域叠加的所有目标天空云图中选取与目标重叠区域对应的目标天空云图,比如说,若目标重叠区域为重叠区域1,则选取目标天空云图1和目标天空云图2。
在选取目标重叠区域时,可以基于重叠区域1的尺寸(高度、宽度和面积)、重叠区域2的尺寸和重叠区域3的尺寸,从所有重叠区域中选取目标重叠区域。
比如说,若重叠区域1的高度和/或宽度小于预设阈值,重叠区域2的高度和/或宽度小于预设阈值,且重叠区域3的高度和/或宽度小于预设阈值,则将面积最大的重叠区域作为目标重叠区域。若重叠区域1的高度和宽度均大于等于预设阈值,重叠区域2的高度和宽度均大于等于预设阈值,重叠区域3的高度和宽度均大于等于预设阈值,则将面积最大的重叠区域作为目标重叠区域。
若重叠区域1的高度和宽度均大于等于预设阈值,重叠区域2的高度和/或宽度小于预设阈值,重叠区域3的高度和/或宽度小于预设阈值,则将重叠区域 1作为目标重叠区域。若重叠区域1的高度和宽度均大于等于预设阈值,重叠区域2的高度和宽度均大于等于预设阈值,重叠区域3的高度和/或宽度小于预设阈值,则将重叠区域1和重叠区域2中面积大的重叠区域作为目标重叠区域。
步骤S412、基于该像素点与每个目标天空云图的目标划分线之间的距离,将距离近的目标天空云图选取为该像素点对应的第一目标天空云图,并将距离远的目标天空云图选取为该像素点对应的第二目标天空云图;其中,目标划分线经过目标天空云图的中心像素点,且与该目标区域的对角线平行。而且,目标区域的对角线可以是指:两个目标天空云图的交点组成的对角线。
比如说,参见图7A所示,为目标区域的示意图,针对像素点A来说,像素点A与目标天空云图1的目标划分线之间的距离为d1,像素点A与目标天空云图2的目标划分线之间的距离为d2,若d1小于或等于d2,则将目标天空云图1选取为像素点A的第一目标天空云图,将目标天空云图2选取为像素点A 的第二目标天空云图,若d1大于d2,则将目标天空云图2选取为像素点A的第一目标天空云图,将目标天空云图1选取为像素点A的第二目标天空云图。
步骤S42、基于该像素点在第一目标天空云图中的第一像素值、该像素点在第二目标天空云图中的第二像素值、及该像素点的衰减系数,确定该像素点的像素衰减值,并基于第一像素值和该像素衰减值确定该像素点的目标像素值。
比如说,可以通过如下公式确定该像素点的目标像素值:
Figure BDA0002942365610000271
在上述公式中,yuvA表示像素点A的目标像素值,alpha表示像素点A的衰减系数。若d1小于或等于d2,则yuvA1表示像素点A在第一目标天空云图中的第一像素值,yuvA2表示像素点A在第二目标天空云图中的第二像素值,若 d1大于d2,则yuvA2表示像素点A在第一目标天空云图中的第一像素值,yuvA1表示像素点A在第二目标天空云图中的第二像素值。综上所述,可以基于第一像素值、第二像素值及衰减系数确定像素点A的像素衰减值,
Figure BDA0002942365610000272
然后基于第一像素值和该像素衰减值确定像素点A的目标像素值。
示例性的,该像素点的衰减系数的获取方式,可以包括但不限于:基于该像素点与目标区域的对角线之间的距离,获取该像素点的衰减系数;其中,该衰减系数与该距离成反比,该衰减系数位于指定数值区间,如区间[0,1]。
示例性的,该像素点的衰减系数可以通过如下公式表示:alpha=tb[off]。
在一种可能的实施方式中,可以创建一个参数dis,在dis从0增大到off 时,衰减系数tb逐渐从1减小到0,参见图7B所示。示例性的,dis可以由目标区域的大小控制,基于像素点与目标区域的对角线之间的距离确定。
比如说,若像素点位于目标区域的对角线,则dis为0,对应的衰减系数tb 为1,垂直方向向第一目标天空云图和第二目标天空云图两边移动时,dis逐渐衰减到off_end时,对应的衰减系数tb为0。在目标区域的宽高大于阈值(如20 个像素)时,off_end取当前位置与对角线垂线的交点沿该垂线与目标区域边界较近的距离,参见图7A所示,可以理解成off1和off2中的较小值,否侧,off_end 取目标区域的宽和高中较小值的一半。示例性的,off为像素点与目标区域对角线的距离,将每个目标区域的衰减系数情况进行图形化,如图7C所示,越亮的地方表示alpha越接近于1,即该处的像素值越接近两个图像的平均值。
综上所述,可以基于该像素点与目标区域的对角线之间的距离,获取参数 dis的取值,基于参数dis的取值确定该像素点的衰减系数tb。
步骤S43、基于目标区域的每个像素点的目标像素值确定目标全景图像。
示例性的,在将目标区域(所有目标区域)的所有像素点的像素值更新为该像素点的目标像素值后,就可以将更新后的全景图像确定为目标全景图像。
第九、对目标全景图像中多余太阳进行抠除处理,获得真实的高分辨率天空云图。比如说,由于太阳与地面的距离远超云层高度,因此,每个鱼眼摄像机采集的天空云图都会有太阳存在。为了更好的天空云图拼接效果,需要抠除多余太阳,只保留一个太阳。参见图8A所示,为目标全景图像的示意图,该目标全景图像包括多个太阳,通过对目标全景图像中多余太阳进行抠除处理,得到真实的高分辨率天空云图,参见图8B所示,该天空云图只存在一个太阳。
基于与上述方法同样的申请构思,本申请实施例中提出一种用于确定多摄像机安装位置的装置,任一摄像机被配置为视场角朝向天空且具有视场角重叠区域,且基于所有摄像机采集的感兴趣区域的天空云图生成所述感兴趣区域的天空拼接图像,所述装置可以包括:确定模块,用于根据所述感兴趣区域的天空中的云层高度确定摄像机在云层高度下的视场半径,所述视场半径为摄像机的视场角中心线和视场角边界线之间的水平距离;根据预设阈值和所述视场半径确定摄像机的相邻位置之间的目标距离;所述预设阈值用于指示摄像机的视场重叠区域长度与所述视场半径的比值;部署模块,用于基于相邻位置之间的目标距离,在所述感兴趣区域中确定任一摄像机的安装位置,以使所述摄像机的安装位置构成以所述目标距离为长度的等边三角形。示例性的,所述等边三角形的边长差值符合预设容差阈值。
示例性的,所述确定模块根据所述感兴趣区域的天空中的云层高度确定摄像机在云层高度下的视场半径时具体用于:根据摄像机的目标视场角和所述云层高度,确定所述视场半径;其中,所述任一摄像机被配置为方向指向北。
所述确定模块根据预设阈值和所述视场半径确定摄像机的相邻位置之间的目标距离时具体用于:根据预设阈值和所述视场半径,确定相邻两个摄像机之间的视场重叠区域长度,基于视场半径和视场重叠区域长度确定目标距离。
基于与上述方法同样的申请构思,本申请实施例中提出一种天空云图的拼接装置,所述装置包括:获取模块,用于利用多个摄像机获取初始天空云图;其中,任一摄像机被设置在感兴趣区域中不同的经纬度坐标,且所述多个摄像机按照预设边长的等边三角形的网格设置;相邻两个摄像机采集的初始天空云图存在重叠区域,且所述重叠区域的长度与等边三角形的所述预设边长线性关联;拼接模块,用于基于所述感兴趣区域的经纬度范围和任一摄像机的经纬度坐标,将所述多个摄像机获取的初始天空云图拼接为目标全景图像。
示例性的,所述拼接模块具体用于:基于所述感兴趣区域的经纬度范围,确定全景区域图像;基于任一摄像机的经纬度坐标,确定所述摄像机采集的初始天空云图对应的目标天空云图的中心点在所述全景区域图像中的目标位置;基于目标天空云图的中心点在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为目标全景图像。
示例性的,所述拼接模块基于所述感兴趣区域的经纬度范围,确定全景区域图像时具体用于:基于所述感兴趣区域构建图像坐标系,所述图像坐标系以所述感兴趣区域的中心经纬度为原点,所述图像坐标系以预设经纬度间隔对应一个像素点;在所述图像坐标系下生成所述全景区域图像。
示例性的,所述感兴趣区域的经纬度范围包括经度最小值、经度最大值、纬度最小值和纬度最大值;所述拼接模块基于所述感兴趣区域的经纬度范围,确定全景区域图像时具体用于:按照第一间隔值将经度最小值和经度最大值之间的区域划分为多个经度点;按照第二间隔值将纬度最小值和纬度最大值之间的区域划分为多个纬度点;基于所有经度点和所有纬度点确定全景区域图像;所述全景区域图像内的每个像素点对应所述经纬度范围内的一个经纬度坐标,所述全景区域图像的尺寸基于所有经度点的数量和所有纬度点的数量确定。
示例性的,所述拼接模块基于目标天空云图的中心点在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为目标全景图像时具体用于:针对每个摄像机采集的初始天空云图对应的目标天空云图,基于所述目标天空云图的中心点在所述全景区域图像中的目标位置,将所述目标天空云图叠加到所述全景区域图像,且所述目标天空云图的中心像素点与所述目标位置重合,基于已叠加所有目标天空云图的全景区域图像确定初始全景图像;对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像;其中,所述目标区域是至少两个目标天空云图的重叠区域。
基于与上述方法同样的申请构思,本申请实施例中提出一种天空云图的拼接装置,地面的感兴趣区域部署有多个用于采集初始天空云图的摄像机,所述多个摄像机中的相邻两个摄像机采集的初始天空云图存在重叠区域,所述装置可以包括:确定模块,用于基于所述感兴趣区域的经纬度范围,确定全景区域图像;基于摄像机的经纬度坐标,确定所述摄像机采集的初始天空云图对应的目标天空云图在所述全景区域图像中的目标位置;拼接模块,用于基于目标天空云图在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为初始全景图像;处理模块,用于对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像;其中,所述目标区域是至少两个目标天空云图的重叠区域。
示例性的,所述感兴趣区域的经纬度范围包括经度最小值、经度最大值、纬度最小值和纬度最大值;所述确定模块基于所述感兴趣区域的经纬度范围,确定全景区域图像时具体用于:按照第一间隔值将经度最小值和经度最大值之间的区域划分为多个经度点;按照第二间隔值将纬度最小值和纬度最大值之间的区域划分为多个纬度点;基于所有经度点和所有纬度点确定全景区域图像;所述全景区域图像内的每个像素点对应所述经纬度范围内的一个经纬度坐标,所述全景区域图像的尺寸基于所有经度点的数量和所有纬度点的数量确定。
示例性的,所述拼接模块基于目标天空云图在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为初始全景图像时具体用于:针对每个摄像机采集的初始天空云图对应的目标天空云图,基于所述目标天空云图在所述全景区域图像中的目标位置,将所述目标天空云图叠加到所述全景区域图像,且所述目标天空云图的中心像素点与所述目标位置重合;将已叠加所有目标天空云图的全景区域图像确定为初始全景图像。
所述处理模块对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像时具体用于:针对所述初始全景图像中的目标区域的每个像素点,从所述目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图;基于该像素点在第一目标天空云图中的第一像素值、该像素点在第二目标天空云图中的第二像素值、及该像素点的衰减系数,确定该像素点的像素衰减值,并基于所述第一像素值和所述像素衰减值确定该像素点的目标像素值;基于所述目标区域的每个像素点的目标像素值确定所述目标全景图像。
基于与上述方法同样的申请构思,本申请实施例中提出一种电子设备,所述电子设备包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现上述各实施例公开的方法步骤,在此不再重复赘述。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述各实施例公开的方法步骤。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (17)

1.一种用于确定多摄像机安装位置的方法,其特征在于,任一摄像机被配置为视场角朝向天空且具有视场角重叠区域,且基于所有摄像机采集的感兴趣区域的天空云图生成所述感兴趣区域的天空拼接图像,所述方法包括:
根据所述感兴趣区域的天空中的云层高度确定摄像机在云层高度下的视场半径,所述视场半径为摄像机的视场角中心线和视场角边界线之间的水平距离;
根据预设阈值和所述视场半径确定摄像机的相邻位置之间的目标距离;所述预设阈值用于指示摄像机的视场重叠区域长度与所述视场半径的比值;
基于相邻位置之间的目标距离,在所述感兴趣区域中确定任一摄像机的安装位置,以使所述摄像机的安装位置构成以所述目标距离为长度的等边三角形,所述等边三角形的边长差值符合预设容差阈值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述感兴趣区域的天空中的云层高度确定摄像机在云层高度下的视场半径,包括:
根据摄像机的目标视场角和所述云层高度,确定所述视场半径;其中,所述任一摄像机被配置为方向指向北,且所述任一摄像机被配置为水平放置。
3.根据权利要求1所述的方法,其特征在于,所述根据预设阈值和所述视场半径确定摄像机的相邻位置之间的目标距离,包括:
根据预设阈值和所述视场半径,确定相邻两个摄像机之间的视场重叠区域长度,并基于所述视场半径和所述视场重叠区域长度确定所述目标距离。
4.一种天空云图的拼接方法,其特征在于,所述方法包括:
利用多个摄像机获取初始天空云图;其中,任一摄像机被设置在感兴趣区域中不同的经纬度坐标,且所述多个摄像机按照预设边长的等边三角形的网格设置;相邻两个摄像机采集的初始天空云图存在重叠区域,且所述重叠区域的长度与等边三角形的所述预设边长线性关联;其中,所述预设边长基于所述感兴趣区域的天空中的云层高度和所述摄像机的目标视场角确定;
基于所述感兴趣区域的经纬度范围和任一摄像机的经纬度坐标,将所述多个摄像机获取的初始天空云图拼接为目标全景图像。
5.根据权利要求4所述的方法,其特征在于,
所述基于所述感兴趣区域的经纬度范围和任一摄像机的经纬度坐标,将所述多个摄像机获取的初始天空云图拼接为目标全景图像,包括:
基于所述感兴趣区域的经纬度范围,确定全景区域图像;
基于任一摄像机的经纬度坐标,确定所述摄像机采集的初始天空云图对应的目标天空云图的中心点在所述全景区域图像中的目标位置;
基于目标天空云图的中心点在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为目标全景图像。
6.根据权利要求5所述的方法,其特征在于,
所述基于所述感兴趣区域的经纬度范围,确定全景区域图像,包括:
基于所述感兴趣区域构建图像坐标系,所述图像坐标系以所述感兴趣区域的中心经纬度为原点,所述图像坐标系以预设经纬度间隔对应一个像素点;
在所述图像坐标系下生成所述全景区域图像。
7.根据权利要求5所述的方法,其特征在于,所述感兴趣区域的经纬度范围包括经度最小值、经度最大值、纬度最小值和纬度最大值;
所述基于所述感兴趣区域的经纬度范围,确定全景区域图像,包括:
按照第一间隔值将经度最小值和经度最大值之间的区域划分为多个经度点;按照第二间隔值将纬度最小值和纬度最大值之间的区域划分为多个纬度点;
基于所有经度点和所有纬度点确定全景区域图像;其中,所述全景区域图像内的每个像素点对应所述经纬度范围内的一个经纬度坐标,所述全景区域图像的尺寸基于所有经度点的数量和所有纬度点的数量确定。
8.根据权利要求5所述的方法,其特征在于,所述基于目标天空云图的中心点在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为目标全景图像,包括:
针对每个摄像机采集的初始天空云图对应的目标天空云图,基于所述目标天空云图的中心点在所述全景区域图像中的目标位置,将所述目标天空云图叠加到所述全景区域图像,且所述目标天空云图的中心像素点与所述目标位置重合,基于已叠加所有目标天空云图的全景区域图像确定初始全景图像;
对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像;其中,所述目标区域是至少两个目标天空云图的重叠区域。
9.根据权利要求5-8任一项所述的方法,其特征在于,所述方法还包括:
基于每个摄像机采集的初始天空云图,从该初始天空云图中提取有效区域,对有效区域进行畸变校正,得到该初始天空云图对应的候选天空云图;
将所述候选天空云图确定为目标天空云图;或者,基于映射比例将所述候选天空云图映射为缩放天空云图,将所述缩放天空云图确定为目标天空云图。
10.一种天空云图的拼接方法,其特征在于,地面的感兴趣区域部署有多个用于采集初始天空云图的摄像机,所述多个摄像机中的相邻两个摄像机采集的初始天空云图存在重叠区域,其中,所述多个摄像机中的相邻两个摄像机之间的距离与目标距离的差值不大于距离阈值;其中,所述目标距离的确定方式为:基于摄像机的目标视场角和所述感兴趣区域的天空中的云层高度,确定所述目标距离,所述方法包括:
基于所述感兴趣区域的经纬度范围,确定全景区域图像;
基于摄像机的经纬度坐标,确定所述摄像机采集的初始天空云图对应的目标天空云图在所述全景区域图像中的目标位置;
基于目标天空云图在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为初始全景图像;
对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像;其中,所述目标区域是至少两个目标天空云图的重叠区域。
11.根据权利要求10所述的方法,其特征在于,所述基于摄像机的目标视场角和所述感兴趣区域的天空中的云层高度,确定所述目标距离,包括:
根据所述目标视场角和所述云层高度,确定摄像机的视场半径,所述视场半径为摄像机的视场角中心线和视场角边界线之间的水平距离;
根据预设阈值和所述视场半径,确定相邻两个摄像机之间的视场重叠区域长度,所述预设阈值用于指示视场重叠区域长度与所述视场半径的比值;
基于所述视场半径和所述视场重叠区域长度确定所述目标距离。
12.根据权利要求10所述的方法,其特征在于,
所述多个摄像机中的相邻两个摄像机之间的距离为目标距离;
所述多个摄像机采用所述目标距离为边长进行等边三角形的网格部署。
13.根据权利要求10所述的方法,其特征在于,所述感兴趣区域的经纬度范围包括经度最小值、经度最大值、纬度最小值和纬度最大值;
所述基于所述感兴趣区域的经纬度范围,确定全景区域图像,包括:
按照第一间隔值将经度最小值和经度最大值之间的区域划分为多个经度点;按照第二间隔值将纬度最小值和纬度最大值之间的区域划分为多个纬度点;
基于所有经度点和所有纬度点确定全景区域图像;其中,所述全景区域图像内的每个像素点对应所述经纬度范围内的一个经纬度坐标,所述全景区域图像的尺寸基于所有经度点的数量和所有纬度点的数量确定。
14.根据权利要求10所述的方法,其特征在于,
所述基于目标天空云图在所述全景区域图像中的目标位置,将所述多个摄像机采集的初始天空云图对应的目标天空云图拼接为初始全景图像,包括:
针对每个摄像机采集的初始天空云图对应的目标天空云图,基于所述目标天空云图在所述全景区域图像中的目标位置,将所述目标天空云图叠加到所述全景区域图像,且所述目标天空云图的中心像素点与所述目标位置重合;
将已叠加所有目标天空云图的全景区域图像确定为初始全景图像。
15.根据权利要求10-14任一项所述的方法,其特征在于,所述方法还包括:
基于每个摄像机采集的初始天空云图,从该初始天空云图中提取有效区域,对有效区域进行畸变校正,得到该初始天空云图对应的候选天空云图;
将所述候选天空云图确定为目标天空云图;或者,基于映射比例将所述候选天空云图映射为缩放天空云图,将所述缩放天空云图确定为目标天空云图。
16.根据权利要求15所述的方法,其特征在于,
所述映射比例的获取方式,具体包括:基于第一摄像机的视场半径、第一摄像机和第二摄像机之间的目标距离、第一摄像机的经纬度坐标映射到全景区域图像中的目标位置与第二摄像机的经纬度坐标映射到全景区域图像中的目标位置之间的距离,确定所述第一摄像机与所述第二摄像机之间的映射半径;
基于所述映射半径确定所述映射比例;其中,所述第一摄像机和所述第二摄像机是所述多个摄像机中的相邻的任意两个摄像机。
17.根据权利要求10所述的方法,其特征在于,所述对所述初始全景图像中的目标区域进行过渡处理,得到目标全景图像,包括:
针对所述初始全景图像中的目标区域的每个像素点,从所述目标区域的目标天空云图中选取该像素点对应的第一目标天空云图和第二目标天空云图;
基于该像素点在第一目标天空云图中的第一像素值、该像素点在第二目标天空云图中的第二像素值、及该像素点的衰减系数,确定该像素点的像素衰减值,并基于所述第一像素值和所述像素衰减值确定该像素点的目标像素值;
基于所述目标区域的每个像素点的目标像素值确定所述目标全景图像。
CN202110184271.7A 2021-02-08 2021-02-08 天空云图的拼接及用于确定多摄像机安装位置的方法 Active CN112907447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110184271.7A CN112907447B (zh) 2021-02-08 2021-02-08 天空云图的拼接及用于确定多摄像机安装位置的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110184271.7A CN112907447B (zh) 2021-02-08 2021-02-08 天空云图的拼接及用于确定多摄像机安装位置的方法

Publications (2)

Publication Number Publication Date
CN112907447A CN112907447A (zh) 2021-06-04
CN112907447B true CN112907447B (zh) 2022-07-01

Family

ID=76123540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110184271.7A Active CN112907447B (zh) 2021-02-08 2021-02-08 天空云图的拼接及用于确定多摄像机安装位置的方法

Country Status (1)

Country Link
CN (1) CN112907447B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117412186B (zh) * 2023-10-08 2024-08-20 上海长光以立信息科技有限公司 一种视频流处理方法、系统、电子设备及介质
CN118283428A (zh) * 2024-04-28 2024-07-02 容讯智能科技(上海)有限公司 一种基于多维度融合的大场景船舶视频监控方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6511539B2 (ja) * 2015-05-27 2019-05-15 グーグル エルエルシー パノラマバーチャルリアリティコンテンツのキャプチャおよびレンダリング
CN105430375B (zh) * 2015-11-11 2017-09-15 深圳进化动力数码科技有限公司 一种检测全景摄像机的拼接适用距离的方法和装置
US10742960B1 (en) * 2016-06-28 2020-08-11 Altia Systems, Inc. Panoramic 3D camera
CN110519528B (zh) * 2018-05-22 2021-09-24 杭州海康威视数字技术股份有限公司 一种全景视频合成方法、装置及电子设备
CN109348119B (zh) * 2018-09-18 2021-03-09 成都易瞳科技有限公司 一种全景监控系统
CN111598777A (zh) * 2020-05-13 2020-08-28 上海眼控科技股份有限公司 天空云图的处理方法、计算机设备和可读存储介质
CN112258383B (zh) * 2020-10-20 2023-07-25 杭州海康威视数字技术股份有限公司 一种鱼眼图像中有效区域的确定方法、装置及设备

Also Published As

Publication number Publication date
CN112907447A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
US11080911B2 (en) Mosaic oblique images and systems and methods of making and using same
JP5357902B2 (ja) 撮像装置向き検出装置および当該装置を備える移動体
CN102984453B (zh) 利用单摄像机实时生成半球全景视频图像的方法及系统
CN112907447B (zh) 天空云图的拼接及用于确定多摄像机安装位置的方法
US8390617B1 (en) Visualizing oblique images
WO2022242395A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN113450253B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及系统
CN115619623A (zh) 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法
CN111866523A (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN113240615A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112907445B (zh) 天空云图的拼接方法、装置及设备
EP2076055B1 (en) Method for displaying a virtual image
CN112154484A (zh) 正射影像生成方法、系统和存储介质
KR101040766B1 (ko) 영상 처리 장치 및 그 동작 방법
US9324176B2 (en) Apparatus and method for saving and updating image file
JPH1173489A (ja) 画像保存方法及び機械読み取り可能媒体
CN112288637A (zh) 无人机航拍图像快速拼接装置及快速拼接方法
EP2055103A2 (en) Imaging telesurveillance system and method for monitoring an area to be supervised, in particular an airport area
Zheng et al. View planning for cityscape archiving and visualization
AU2012205205A1 (en) Mosaic oblique images and methods of making and using same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant