CN112449100B - 航空相机倾斜图像的拼接方法、装置、终端及存储介质 - Google Patents

航空相机倾斜图像的拼接方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN112449100B
CN112449100B CN201910828219.3A CN201910828219A CN112449100B CN 112449100 B CN112449100 B CN 112449100B CN 201910828219 A CN201910828219 A CN 201910828219A CN 112449100 B CN112449100 B CN 112449100B
Authority
CN
China
Prior art keywords
image
length
width
imaging area
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910828219.3A
Other languages
English (en)
Other versions
CN112449100A (zh
Inventor
张雪菲
刘志明
王昊
匡海鹏
李清军
李昕阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201910828219.3A priority Critical patent/CN112449100B/zh
Publication of CN112449100A publication Critical patent/CN112449100A/zh
Application granted granted Critical
Publication of CN112449100B publication Critical patent/CN112449100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种航空相机倾斜图像的拼接方法、装置、终端及存储介质，其通过获取航空相机拍摄的倾斜图像每一行像素对应的第一成像区域的长度和宽度，以及航空相机垂直拍摄时相机视轴中心处对应的一行像素对应的第二成像区域的长度和宽度，计算第一成像区域的长度和宽度与第二成像区域的长度和宽度的比值，得到复原因子，再根据复原因子对倾斜图像的每一行像素进行等比例拉伸，再将相邻的拉伸后的倾斜图像带进行拼接，得到全景倾斜图。本发明通过对倾斜图像进行几何图像复原，使得倾斜图像可以按照近端重叠率等于指标重叠率进行拼接，得到符合实际情况的全景倾斜图像。

Description

航空相机倾斜图像的拼接方法、装置、终端及存储介质
技术领域
本发明涉及航空成像技术领域，特别是涉及一种航空相机倾斜图像的拼接方法、装置、终端及存储介质。
背景技术
航空相机视场角受到相机焦距、探测器像元尺寸等因素限制，为了获取更多目标区域的信息，航空相机可以对目标区域进行多条带成像，再将不同条带图像进行拼接，构造一幅全景图，达到扩展视场范围的目的。当航空相机垂直成像时，可近似认为在同一条带内地面景物的成像距离不变，成像比例尺相同，因此可以将相邻条带图像按照指标重叠率直接拼接。而当航空相机倾斜成像时，成像距离随着俯角变化而改变。地面成像区域中近端景物成像比例尺大，远端景物成像比例尺小。导致相邻图像带之间近端图像的重叠率小，远端图像的重叠率大，使得相邻图像带不能直接拼接，若采用图像配准等方法也只能实现对某个感兴趣的目标区域拼接，不能完成整个条带图像的拼接。
发明内容
本发明提供一种航空相机倾斜图像的拼接方法、装置、终端及存储介质，以解决现有的航空相机拍摄的多条倾斜图像带因近端重叠率小、远端重叠率大导致相邻倾斜图像带不能进行拼接的问题。
为解决上述技术问题，本发明提供了一种航空相机倾斜图像的拼接方法，其包括：
获取航空相机拍摄的多张倾斜图像，并将每张倾斜图像分别划分为多帧图像；
计算每帧图像的每行像素在地面对应的第一成像区域的长度和宽度；
获取航空相机垂直拍摄时，相机视轴中心处一行像素在地面对应的第二成像区域的长度和宽度；
计算每个第一成像区域的长度和宽度与第二成像区域的长度和宽度的比值得到复原因子，并根据复原因子对每帧图像的每行像素进行等比例拉伸；
将拉伸后的同一图像的多帧图像拼接为一条倾斜图像带，得到多条倾斜图像带；
将相邻的倾斜图像带进行拼接，得到全景倾斜图。
作为本发明的进一步改进，计算每帧图像的每行像素在地面对应的第一成像区域的长度和宽度的步骤，包括：
将每帧图像按像素进行划分；
获取每个像素对应的地面区域的经纬度信息；
确认每行像素对应的第一成像区域；
根据每个像素的经纬度信息计算每个第一成像区域的长度和宽度。
作为本发明的进一步改进，获取每个像素对应的地面区域的经纬度信息的步骤，包括：
构建地球坐标系、地理坐标系、飞机坐标系和相机成像视轴坐标系；
获取飞机当前的经纬度信息、高度信息、姿态信息和航空相机的视轴角信息；
通过齐次坐标变化方法计算得到每个像素对应的地面区域在地理坐标系下的指向，再结合预设的地球椭球模型和数字高程模型确定每个像素对应的地面区域的经纬度信息。
作为本发明的进一步改进，根据每个像素的经纬度信息计算每个第一成像区域的长度和宽度的步骤，包括：
确认第一成像区域A、B、C、D四个顶点的经纬度信息，其中，AB为第一成像区域的长度，AD为第一成像区域的宽度；
计算地球坐标系下OA与OB之间的第一夹角以及OA与OD之间的第二夹角，O为地球坐标系的坐标原点；
根据第一夹角、地球半径计算AB的长度，根据第二夹角、地球半径计算AD的长度，得到第一成像区域的长度和宽度。
作为本发明的进一步改进，获取航空相机垂直拍摄时，相机视轴中心处一行像素在地面对应的第二成像区域的长度和宽度的步骤，包括：
获取飞机飞行的高度H、航空相机的焦距f；
获取航空相机垂直向下拍摄的垂直图像；
将垂直图像划分为多帧图像，并选取最中心的目标帧图像；
将目标帧图像按像素划分，并确认目标帧图像的最中心的目标行像素；
确认目标行像素在地面对应的第二成像区域；
根据每个像素的像元尺寸、目标行像素的像素个数、高度H和焦距f计算得到第二成像区域的长度和宽度。
作为本发明的进一步改进，计算每个第一成像区域的长度和宽度与第二成像区域的长度和宽度的比值得到复原因子，并根据复原因子对每帧图像的每行像素进行等比例拉伸的步骤，包括：
计算第一成像区域的长度与第二成像区域的长度的比值，得到每个第一成像区域的行向复原因子；
计算第一成像区域的宽度与第二成像区域的宽度的比值，得到每个第一成像区域的列向复原因子；
将每个第一成像区域对应的像素行按行向复原因子和列向复原因子进行等比例拉伸，并将拉伸后的像素行组成一帧图像。
为了解决上述问题，本发明还提供了一种航空相机倾斜图像的拼接装置，其包括：
第一获取模块，用于获取航空相机拍摄的多张倾斜图像，并将每张倾斜图像分别划分为多帧图像；
第一计算模块，与图像获取模块耦接，用于计算每帧图像的每行像素在地面对应的第一成像区域的长度和宽度；
第二获取模块，与第一计算模块耦接，用于获取航空相机垂直拍摄时，相机视轴中心处一行像素在地面对应的第二成像区域的长度和宽度；
第二计算模块，与第二获取模块耦接，用于计算每个第一成像区域的长度和宽度与第二成像区域的长度和宽度的比值得到复原因子，并根据复原因子对每帧图像的每行像素进行等比例拉伸；
拼接模块，与第二计算模块耦接，用于将拉伸后的同一图像的多帧图像拼接为一条倾斜图像带，得到多条倾斜图像带，再将相邻的倾斜图像带进行拼接，得到全景倾斜图。
为了解决上述问题，本发明还提供了一种终端，终端包括处理器、与处理器耦接的存储器和航空相机，其中，
存储器存储有用于实现上述任一项的航空相机倾斜图像的拼接方法的程序指令；
处理器用于执行存储器存储的程序指令以将航空相机拍摄的倾斜图像拼接成全景倾斜图像；
航空相机用于拍摄图像。
为了解决上述问题，本发明还提供了一种存储介质，存储有能够实现上述任一项的航空相机倾斜图像的拼接方法的程序文件。
本发明的有益效果是：本发明通过获取航空相机拍摄的倾斜图像每一行像素对应的第一成像区域的长度和宽度，以及航空相机垂直拍摄时相机视轴中心处对应的一行像素对应的第二成像区域的长度和宽度，计算第一成像区域的长度和宽度与第二成像区域的长度和宽度的比值，得到复原因子，再根据复原因子对倾斜图像的每一行像素进行等比例拉伸，再将相邻的拉伸后的倾斜图像带进行拼接，得到全景倾斜图，其通过复原因子对倾斜图像进行几何复原，再将复原后的倾斜图像带按照图像近端重叠率等于指标重叠率进行拼接，从而避免了倾斜图像远端重叠率大不能进行拼接的问题，得到了与实际画面吻合的全景式图像。
附图说明
图1是本发明航空相机倾斜图像的拼接方法第一个实施例的流程示意图；
图2是本发明航空相机成像原理示意图；
图3是本发明航空相机倾斜图像按帧划分的示意图；
图4是本发明航空相机倾斜图像的拼接方法第二个实施例的流程示意图；
图5是本发明航空相机倾斜图像的拼接方法第三个实施例的流程示意图；
图6是本发明坐标系示意图；
图7是本发明航空相机倾斜图像的拼接方法第四个实施例的流程示意图；
图8是本发明第一成像区域长度和宽度计算的原理示意图；
图9是本发明航空相机倾斜图像的拼接方法第五个实施例的流程示意图；
图10是本发明航空相机倾斜图像的拼接方法第六个实施例的流程示意图；
图11是本发明倾斜图像进行等比例拉伸过程的示意图；
图12是本发明拉伸后的倾斜图像带拼接为全景倾斜图的示意图；
图13是本发明航空相机倾斜图像的拼接装置一个实施例的功能模块示意图；
图14是本发明终端一个实施例的结构示意图；
图15是本发明存储介质一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明航空相机倾斜图像的拼接方法一个实施例的流程示意图。在本实施例中，该航空相机倾斜图像的拼接方法用于将航空相机拍摄的倾斜图像进行拼接，通常地，请参阅图2，图2为航空相机成像的原理示意图，其中相机安装在飞机上，镜筒转轴与载机横滚轴一致，反射镜转轴与载机的俯仰轴平行，定义镜筒转动角度θr为俯角，反射镜转动角度θp为位角，俯角θr和位角θp构成航空相机的视轴角。在成像过程中，地面景物通过反射镜、镜头等成像在航空相机的CMOS探测器感光面上，通过调节航空相机的视轴指向俯角θr和位角θp控制视轴指向，俯角θr采用多帧步进成像方式，成像距离随着俯角θr变化而改变。
如图1所示，该航空相机倾斜图像的拼接方法包括以下步骤：
步骤S1，获取航空相机拍摄的多张倾斜图像，并将每张倾斜图像分别划分为多帧图像。
具体地，在飞机飞行时，通过航空相机拍摄飞机前方区域的多张并列排列的倾斜图像，该倾斜图像呈矩形。再将每张倾斜图像划分为多帧图像，得到如图3所示的多帧图像。
步骤S2，计算每帧图像的每行像素在地面对应的第一成像区域的长度和宽度。
具体地，在将倾斜图像划分为多帧图像之后，分别将每帧图像按像素进行划分，得到M行N列排列的像素，计算每行像素在地面对应的第一成像区域的长度和宽度，从而得到每帧图像的每行像素对应的第一成像区域的长度和宽度。
进一步地，本实施例中，如图4所示，步骤S2包括以下步骤：
步骤S20，将每帧图像按像素进行划分。
具体地，根据航空相机的参数即可获取航空相机的CMOS探测器像元尺寸(b×b)、像元数(M×N)，其中，其中M对应飞机飞行方向的像元数，N对应航空相机俯角θr步进方向的像元数，从而，航空相机拍摄的每帧图像即包括M×N个像素，因此，将每帧图像按像素进行划分，得到M行N列像素。
步骤S21，获取每个像素对应的地面区域的经纬度信息。
具体地，将每帧图像按照像素划分之后，确认每个像素对应的地面区域，并获取这个地面区域的经纬度信息。
进一步地，本实施例中，如图5所示，步骤S21具体包括以下步骤：
步骤S210，构建地球坐标系、地理坐标系、飞机坐标系和相机成像视轴坐标系。
具体地，如图6所示，其中坐标原点O为地球质心，OXe轴指向本初子午面与赤道面的交线，OZe轴与地球自转轴重合，OYe轴与其他两轴组成右手直角坐标系。
步骤S211，获取飞机当前的经纬度信息、高度信息、姿态信息和航空相机的视轴角信息。
具体地，通过飞机的机载POS获取飞机的经纬度信息、高度信息、姿态信息，航空相机的视轴角信息通过航空相机中位置编码器测量获取，包括俯角θr和位角θp。
步骤S212，通过齐次坐标变化方法计算得到每个像素对应的地面区域在地理坐标系下的指向，再结合预设的地球椭球模型和数字高程模型确定每个像素对应的地面区域的经纬度信息。
具体地，本实施例中，通过飞机自身的经纬度信息、高度信息、姿态信息、航空相机的视轴角信息，并结合坐标系的坐标变化，从而计算出每个像素对应的地面区域的经纬度信息。
步骤S22，确认每行像素对应的第一成像区域。
需要说明的是，该第一成像区域为一矩形区域。
步骤S23，根据每个像素的经纬度信息计算每个第一成像区域的长度和宽度。
具体地，根据每个像素的经纬度信息从而确认每行像素对应的第一成像区域，再结合每行像素中的每个像素的经纬度信息计算出该第一成像区域的长度和宽度。
进一步地，本实施例中，如图7所示，步骤S23具体包括以下步骤：
步骤S230，确认第一成像区域A、B、C、D四个顶点的经纬度信息。
其中，假定AB为第一成像区域的长度，AD为第一成像区域的宽度。
具体地，根据每个像素对应的地面区域的经纬度信息，获取该第一成像区域的四个顶点的经纬度信息，其中，A点的经纬度为B点的经纬度为/>C点的经纬度为/>D点的经纬度为/>
步骤S231，计算地球坐标系下OA与OB之间的第一夹角以及OA与OD之间的第二夹角，O为地球坐标系的坐标原点。
步骤S232，根据第一夹角、地球半径计算AB的长度，根据第二夹角、地球半径计算AD的长度，得到第一成像区域的长度和宽度。
具体地，如图8所示，以计算AB的长度为例进行说明，假设地球的平均半径为R，则：
设OA与OB之间的夹角为β，根据余弦定理有：
可得：
从而，AB两点间的弧长为：
根据上述方式，同样可以计算得到AD的长度，从而得到第一成像区域的长度和宽度。
步骤S3，获取航空相机垂直拍摄时，相机视轴中心处一行像素在地面对应的第二成像区域的长度和宽度。
具体地，当航空相机垂直拍摄时，根据飞机的飞行高度、航空相机的焦距、像元尺寸、像元数计算出相机视轴中心一帧图像的中心一行像素在地面对应的第二成像区域的长度和宽度。
进一步地，本实施例中，如图9所示，步骤S3包括以下步骤：
步骤S30，获取飞机飞行的高度H、航空相机的焦距f。
步骤S31，获取航空相机垂直向下拍摄的垂直图像。
步骤S32，将垂直图像划分为多帧图像，并选取最中心的目标帧图像。
步骤S33，将目标帧图像按像素划分，并确认目标帧图像的最中心的目标行像素。
步骤S34，确认目标行像素在地面对应的第二成像区域。
步骤S35，根据每个像素的像元尺寸、目标行像素的像素个数、高度H和焦距f计算得到第二成像区域的长度和宽度。
具体地，假设航空相机的像元尺寸为b×b，像元数为M×N，其中M对应飞机飞行方向的像元数，N对应相机俯角步进方向的像元数，在获取航空相机拍摄的垂直图像之后，将垂直图像划分为多帧图像，每帧图像的大小为M×N个像素，当航空相机视轴垂直向下成像时，相机视轴指向地球质心，得到目标行像素在地面对应的第二成像区域，该第二成像区域同样为矩形，设定其四个顶点为A′、B′、C′、D′，结合飞机的高度H和航空相机的焦距f，则有：
由于航空相机的横向视场角和纵向视场角很小，因此，可近似认为：
第二成像区域的长度：
第二成像区域的宽度：
步骤S4，计算每个第一成像区域的长度和宽度与第二成像区域的长度和宽度的比值得到复原因子，并根据复原因子对每帧图像的每行像素进行等比例拉伸。
具体地，在获得每行像素在地面对应的第一成像区域的长度和宽度，以及第二成像区域的长度和宽度之后，计算出第一成像区域和第二成像区域之间的复原因子，再根据复原因子对每行像素进行等比例拉伸，从而完成对每帧图像的等比例拉伸。
进一步地，本实施例中，如图10所示，步骤S4包括以下步骤：
步骤S40，计算第一成像区域的长度与第二成像区域的长度的比值，得到每个第一成像区域的行向复原因子。
具体地，分别计算每个第一成像区域的长度与第二成像区域的长度的比值，得到每个第一成像区域的行向复原因子，记为ζ，并且以ζj i来表示第i帧图像第j行像素的行向复原因子。
步骤S41，计算第一成像区域的宽度与第二成像区域的宽度的比值，得到每个第一成像区域的列向复原因子。
具体地，分别计算每个第一成像区域的宽度与第二成像区域的宽度的比值，得到每个第一成像区域的列向复原因子，记为σ，并且以σj i来表示第i帧图像第j行像素的列向复原因子。
步骤S42，将每个第一成像区域对应的像素行按行向复原因子和列向复原因子进行等比例拉伸，并将拉伸后的像素行组成一帧图像。
具体地，如图11所示，根据每个第一成像区域的行向复原因子和列向复原因子将对应的像素进行等比例拉伸，则拉伸后该行像素的尺寸由原来的M×1个像素变成(M×ζj i)×σj i个像素，最后讲拉伸后的像素行组成一帧图像，此时，该帧图像由原来的矩形转换为了梯形。
步骤S5，将拉伸后的同一图像的多帧图像拼接为一条倾斜图像带，得到多条倾斜图像带，再将相邻的倾斜图像带进行拼接，得到全景倾斜图。
具体地，如图12所示，在对所有的倾斜图像进行几何复原之后，将相邻的倾斜图像带按照近端重叠率等于指标重叠率进行拼接，从而得到最终的全景倾斜图。
本实施例通过获取航空相机拍摄的倾斜图像每一行像素对应的第一成像区域的长度和宽度，以及航空相机垂直拍摄时相机视轴中心处对应的一行像素对应的第二成像区域的长度和宽度，计算第一成像区域的长度和宽度与第二成像区域的长度和宽度的比值，得到复原因子，再根据复原因子对倾斜图像的每一行像素进行等比例拉伸，再进行拼接，得到全景倾斜图，其通过复将相邻的拉伸后的倾斜图像带原因子对倾斜图像进行几何复原，再将复原后的倾斜图像带按照图像近端重叠率等于指标重叠率进行拼接，从而避免了倾斜图像远端重叠率大不能进行拼接的问题，得到了与实际画面吻合的全景式图像。
图13展示了本发明航空相机倾斜图像的拼接装置的一个实施例。如图13所示，在本实施例中，该航空相机倾斜图像的拼接装置包括第一获取模块10、第一计算模块11、第二获取模块12、第二计算模块13和拼接模块14。
其中，第一获取模块10，用于获取航空相机拍摄的多张倾斜图像，并将每张倾斜图像分别划分为多帧图像；第一计算模块11，与图像获取模块10耦接，用于计算每帧图像的每行像素在地面对应的第一成像区域的长度和宽度；第二获取模块12，与第一计算模块11耦接，用于获取航空相机垂直拍摄时，相机视轴中心处一行像素在地面对应的第二成像区域的长度和宽度；第二计算模块13，与第二获取模块12耦接，用于计算每个第一成像区域的长度和宽度与第二成像区域的长度和宽度的比值得到复原因子，并根据复原因子对每帧图像的每行像素进行等比例拉伸；拼接模块14，与第二计算模块13耦接，用于将拉伸后的同一图像的多帧图像拼接为一条倾斜图像带，得到多条倾斜图像带，再将相邻的倾斜图像带进行拼接，得到全景倾斜图。
可选地，第一计算模块11具体用于：将每帧图像按像素进行划分；获取每个像素对应的地面区域的经纬度信息；确认每行像素对应的第一成像区域；根据每个像素的经纬度信息计算每个第一成像区域的长度和宽度。
可选地，第一计算模块11在获取每个像素对应的地面区域的经纬度信息的操作，可以为：构建地球坐标系、地理坐标系、飞机坐标系和相机成像视轴坐标系；获取飞机当前的经纬度信息、高度信息、姿态信息和航空相机的视轴角信息；通过齐次坐标变化方法计算得到每个像素对应的地面区域在地理坐标系下的指向；结合预设的地球椭球模型和数字高程模型确定每个像素对应的地面区域的经纬度信息。
可选地，第一计算模块11在根据每个像素的经纬度信息计算每个第一成像区域的长度和宽度的操作，可以为：确认第一成像区域A、B、C、D四个顶点的经纬度信息，其中，AB为第一成像区域的长度，AD为第一成像区域的宽度；计算地球坐标系下OA与OB之间的第一夹角以及OA与OD之间的第二夹角，O为地球坐标系的坐标原点；根据第一夹角、地球半径计算AB的长度，根据第二夹角、地球半径计算AD的长度，得到第一成像区域的长度和宽度。
可选地，第二获取模块12具体用于：获取飞机飞行的高度H、航空相机的焦距f；获取航空相机垂直向下拍摄的垂直图像；将垂直图像划分为多帧图像，并选取最中心的目标帧图像；将目标帧图像按像素划分，并确认目标帧图像的最中心的目标行像素；确认目标行像素在地面对应的第二成像区域；根据每个像素的像元尺寸、目标行像素的像素个数、高度H和焦距f计算得到第二成像区域的长度和宽度。
可选地，第二计算模块13具体用于：计算第一成像区域的长度与第二成像区域的长度的比值，得到每个第一成像区域的行向复原因子；计算第一成像区域的宽度与第二成像区域的宽度的比值，得到每个第一成像区域的列向复原因子；将每个第一成像区域对应的像素行按行向复原因子和列向复原因子进行等比例拉伸，并将拉伸后的像素行组成一帧图像。
请参阅图14，图14为本发明实施例的终端的结构示意图。如图14所示，该终端60包括处理器61、和处理器61耦接的存储器62及和处理器61耦接的航空相机63。
存储器62存储有用于实现上述任一实施例所述的色度块预测模式获取方法的程序指令。
处理器61用于执行存储器62存储的程序指令以获取色度块预测模式。
航空相机63用于拍摄图像。
其中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图15，图15为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序文件71，其中，该程序文件71可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种航空相机倾斜图像的拼接方法，其特征在于，其包括：
获取航空相机拍摄的多张倾斜图像，并将每张倾斜图像分别划分为多帧图像；
计算每帧图像的每行像素在地面对应的第一成像区域的长度和宽度；
获取航空相机垂直拍摄时，相机视轴中心处一行像素在地面对应的第二成像区域的长度和宽度；
计算每个第一成像区域的长度和宽度与所述第二成像区域的长度和宽度的比值得到复原因子，并根据所述复原因子对每帧图像的每行像素进行等比例拉伸；
将拉伸后的同一图像的多帧图像拼接为一条倾斜图像带，得到多条倾斜图像带，再将相邻的倾斜图像带按照图像近端重叠率等于指标重叠率进行拼接，得到全景倾斜图；
所述计算每帧图像的每行像素在地面对应的第一成像区域的长度和宽度的步骤，包括：
将每帧图像按像素进行划分；
获取每个像素对应的地面区域的经纬度信息；
确认每行像素对应的第一成像区域；
根据每个像素的经纬度信息计算每个第一成像区域的长度和宽度；
所述计算每个第一成像区域的长度和宽度与所述第二成像区域的长度和宽度的比值得到复原因子，并根据所述复原因子对每帧图像的每行像素进行等比例拉伸的步骤，包括：
计算所述第一成像区域的长度与所述第二成像区域的长度的比值，得到每个第一成像区域的行向复原因子；
计算所述第一成像区域的宽度与所述第二成像区域的宽度的比值，得到每个第一成像区域的列向复原因子；
将每个第一成像区域对应的像素行按所述行向复原因子和所述列向复原因子进行等比例拉伸，并将拉伸后的像素行组成一帧图像。
2.根据权利要求1所述的航空相机倾斜图像的拼接方法，其特征在于，所述获取每个像素对应的地面区域的经纬度信息的步骤，包括：
构建地球坐标系、地理坐标系、飞机坐标系和相机成像视轴坐标系；
获取飞机当前的经纬度信息、高度信息、姿态信息和航空相机的视轴角信息；
通过齐次坐标变化方法计算得到每个像素对应的地面区域在所述地理坐标系下的指向，再结合预设的地球椭球模型和数字高程模型确定每个像素对应的地面区域的经纬度信息。
3.根据权利要求2所述的航空相机倾斜图像的拼接方法，其特征在于，所述根据每个像素的经纬度信息计算每个第一成像区域的长度和宽度的步骤，包括：
确认所述第一成像区域A、B、C、D四个顶点的经纬度信息，其中，AB为所述第一成像区域的长度，AD为所述第一成像区域的宽度；
计算所述地球坐标系下OA与OB之间的第一夹角以及OA与OD之间的第二夹角，O为所述地球坐标系的坐标原点；
根据所述第一夹角、地球半径计算AB的长度，根据所述第二夹角、地球半径计算AD的长度，得到所述第一成像区域的长度和宽度。
4.根据权利要求1所述的航空相机倾斜图像的拼接方法，其特征在于，所述获取航空相机垂直拍摄时，相机视轴中心处一行像素在地面对应的第二成像区域的长度和宽度的步骤，包括：
获取飞机飞行的高度H、航空相机的焦距f；
获取航空相机垂直向下拍摄的垂直图像；
将所述垂直图像划分为多帧图像，并选取最中心的目标帧图像；
将所述目标帧图像按像素划分，并确认所述目标帧图像的最中心的目标行像素；
确认所述目标行像素在地面对应的所述第二成像区域；
根据每个像素的像元尺寸、所述目标行像素的像素个数、所述高度H和所述焦距f计算得到所述第二成像区域的长度和宽度。
5.一种航空相机倾斜图像的拼接装置，其特征在于，其包括：
第一获取模块，用于获取航空相机拍摄的多张倾斜图像，并将每张倾斜图像分别划分为多帧图像；
第一计算模块，与所述图像获取模块耦接，用于计算每帧图像的每行像素在地面对应的第一成像区域的长度和宽度；
第二获取模块，与所述第一计算模块耦接，用于获取航空相机垂直拍摄时，相机视轴中心处一行像素在地面对应的第二成像区域的长度和宽度；
第二计算模块，与所述第二获取模块耦接，用于计算每个第一成像区域的长度和宽度与所述第二成像区域的长度和宽度的比值得到复原因子，并根据所述复原因子对每帧图像的每行像素进行等比例拉伸；
拼接模块，与所述第二计算模块耦接，用于将拉伸后的同一图像的多帧图像拼接为一条倾斜图像带，得到多条倾斜图像带，再将相邻的倾斜图像带按照图像近端重叠率等于指标重叠率进行拼接，得到全景倾斜图；
所述第一计算模块计算每帧图像的每行像素在地面对应的第一成像区域的长度和宽度的步骤，包括：
将每帧图像按像素进行划分；
获取每个像素对应的地面区域的经纬度信息；
确认每行像素对应的第一成像区域；
根据每个像素的经纬度信息计算每个第一成像区域的长度和宽度；
所述第二计算模块计算每个第一成像区域的长度和宽度与所述第二成像区域的长度和宽度的比值得到复原因子，并根据所述复原因子对每帧图像的每行像素进行等比例拉伸的步骤，包括：
计算所述第一成像区域的长度与所述第二成像区域的长度的比值，得到每个第一成像区域的行向复原因子；
计算所述第一成像区域的宽度与所述第二成像区域的宽度的比值，得到每个第一成像区域的列向复原因子；
将每个第一成像区域对应的像素行按所述行向复原因子和所述列向复原因子进行等比例拉伸，并将拉伸后的像素行组成一帧图像。
6.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器和航空相机，其中，
所述存储器存储有用于实现如权利要求1-4中任一项所述的航空相机倾斜图像的拼接方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以将所述航空相机拍摄的倾斜图像拼接城全景倾斜图像；
所述航空相机用于拍摄图像。
7.一种存储介质，其特征在于，存储有能够实现如权利要求1-4中任一项所述的航空相机倾斜图像的拼接方法的程序文件。
CN201910828219.3A 2019-09-03 2019-09-03 航空相机倾斜图像的拼接方法、装置、终端及存储介质 Active CN112449100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910828219.3A CN112449100B (zh) 2019-09-03 2019-09-03 航空相机倾斜图像的拼接方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910828219.3A CN112449100B (zh) 2019-09-03 2019-09-03 航空相机倾斜图像的拼接方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN112449100A CN112449100A (zh) 2021-03-05
CN112449100B true CN112449100B (zh) 2023-11-17

Family

ID=74734020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910828219.3A Active CN112449100B (zh) 2019-09-03 2019-09-03 航空相机倾斜图像的拼接方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112449100B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193280A (zh) * 2011-05-04 2011-09-21 中国人民解放军空军航空大学 倾斜画幅图像等比例尺光学纠正方法
CN106331527A (zh) * 2016-10-12 2017-01-11 腾讯科技（北京）有限公司 一种图像拼接方法及装置
CN107403409A (zh) * 2017-07-21 2017-11-28 苏州科达科技股份有限公司 图像拼接前的图像处理方法、装置及图像拼接方法及装置
CN107527336A (zh) * 2016-06-22 2017-12-29 北京疯景科技有限公司 镜头相对位置标定方法及装置
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN108510540A (zh) * 2017-02-23 2018-09-07 杭州海康威视数字技术股份有限公司 立体视觉摄像机及其高度获取方法
CN110176030A (zh) * 2019-05-24 2019-08-27 中国水产科学研究院 一种无人机图像的自动配准方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193280A (zh) * 2011-05-04 2011-09-21 中国人民解放军空军航空大学 倾斜画幅图像等比例尺光学纠正方法
CN107527336A (zh) * 2016-06-22 2017-12-29 北京疯景科技有限公司 镜头相对位置标定方法及装置
CN106331527A (zh) * 2016-10-12 2017-01-11 腾讯科技（北京）有限公司 一种图像拼接方法及装置
CN108510540A (zh) * 2017-02-23 2018-09-07 杭州海康威视数字技术股份有限公司 立体视觉摄像机及其高度获取方法
CN107403409A (zh) * 2017-07-21 2017-11-28 苏州科达科技股份有限公司 图像拼接前的图像处理方法、装置及图像拼接方法及装置
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN110176030A (zh) * 2019-05-24 2019-08-27 中国水产科学研究院 一种无人机图像的自动配准方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董强，等.《机载图像拼接关键技术研究》.2018,第13-92页. *

Also Published As

Publication number Publication date
CN112449100A (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
EP2791868B1 (en) System and method for processing multi-camera array images
US8768098B2 (en) Apparatus, method, and medium for generating panoramic image using a series of images captured in various directions
US7583858B2 (en) Image processing based on direction of gravity
US9723203B1 (en) Method, system, and computer program product for providing a target user interface for capturing panoramic images
CN110730296B (zh) 图像处理装置、图像处理方法及计算机可读介质
US20190295216A1 (en) Image processing apparatus, image processing system, image capturing system, image processing method
EP2477152B1 (en) Image processing device, image processing method, image processing program, and recording medium
US11330172B2 (en) Panoramic image generating method and apparatus
US11042997B2 (en) Panoramic photographing method for unmanned aerial vehicle and unmanned aerial vehicle using the same
US20060078215A1 (en) Image processing based on direction of gravity
US10489885B2 (en) System and method for stitching images
CN110799921A (zh) 拍摄方法、装置和无人机
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
US8542289B1 (en) Mapping a two-dimensional image to a cylindrical surface using a tuned distortion curve
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
US20160078590A1 (en) Coordinate computation device and method, and an image processing device and method
WO2022242395A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
US20090059018A1 (en) Navigation assisted mosaic photography
WO2021168804A1 (zh) 图像处理方法、图像处理装置和图像处理系统
CN112449100B (zh) 航空相机倾斜图像的拼接方法、装置、终端及存储介质
JP3660108B2 (ja) 画像保存方法及び機械読み取り可能媒体
CN112150621B (zh) 基于正射投影的鸟瞰图生成方法、系统及存储介质
CN113837929A (zh) 一种图形拼接装置及其方法
JP6610741B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant