CN111416943B - 相机防抖方法、装置、航测相机和计算机可读存储介质 - Google Patents

相机防抖方法、装置、航测相机和计算机可读存储介质 Download PDF

Info

Publication number
CN111416943B
CN111416943B CN202010347671.0A CN202010347671A CN111416943B CN 111416943 B CN111416943 B CN 111416943B CN 202010347671 A CN202010347671 A CN 202010347671A CN 111416943 B CN111416943 B CN 111416943B
Authority
CN
China
Prior art keywords
camera
image
aerial
information
displacement information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010347671.0A
Other languages
English (en)
Other versions
CN111416943A (zh
Inventor
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jouav Automation Technology Co ltd
Original Assignee
Chengdu Jouav Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jouav Automation Technology Co ltd filed Critical Chengdu Jouav Automation Technology Co ltd
Priority to CN202010347671.0A priority Critical patent/CN111416943B/zh
Publication of CN111416943A publication Critical patent/CN111416943A/zh
Application granted granted Critical
Publication of CN111416943B publication Critical patent/CN111416943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种相机防抖方法、装置、航测相机和计算机可读存储介质，涉及航测相机的图像处理领域。该相机防抖方法应用于航测相机，该方法包括：当航测相机达到预设位置时，获取目标物体的第一图像；获取航测相机的相机位移信息；根据相机位移信息和目标物体的拍摄位移信息，确定航测相机在当前位置的图像偏移信息；根据图像偏移信息处理第一图像以获取目标图像。航测相机根据航测相机的相机位移信息和目标物体的拍摄位移信息确定图像偏移信息，进而根据图像偏移信息调整航测相机拍摄的图像，在图像的拍摄过程中即可实现图像防抖，有效地减少目标物体移动导致的图像偏移、航测相机震动导致图像模糊。

Description

相机防抖方法、装置、航测相机和计算机可读存储介质
技术领域
本发明涉及航测相机的图像处理领域，具体而言，涉及一种相机防抖方法、装置、航测相机和计算机可读存储介质。
背景技术
航测相机是一种挂载于飞机对被测目标进行图像拍摄和测量的专用相机，由于飞机的螺旋桨转动、空中气流变化等因素，航测相机在作业时，即拍摄过程中必然会出现360°任意方向的震动，会导致被测目标在成像图像中的位置变化、形状畸变和图像模糊等情况。
测绘往往是事后对图像进行处理，比如图像拼接、合成等，事后的图像处理是对多张图像以像素级别的数值进行比较，将相同要素的图像区域进行拼接、合成等处理。如果被测目标在成像图像中由于航测相机发生抖动，导致目标在的位置发生变化、形状发生畸变、清晰度不够等，都会直接增加事后图像处理所需要的时间；当航测相机收到的抖动过于明显时，甚至导致图像不符合处理条件，无法对图像进行处理。
发明内容
有鉴于此，本发明的目的在于提供一种相机防抖方法、装置、航测相机和计算机可读存储介质。
为了实现上述目的，本发明采用的技术方案如下：
第一方面，本发明提供一种相机防抖方法，应用于航测相机，所述方法包括：当所述航测相机达到预设位置时，获取目标物体的第一图像。获取所述航测相机的相机位移信息；所述相机位移信息包括所述航测相机在当前位置拍摄所述第一图像的第一曝光时间，所述当前位置为拍摄所述第一图像时所述航测相机的实际位置。根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息；所述拍摄位移信息为所述目标物体在所述第一曝光时间内的位移信息。根据所述图像偏移信息处理所述第一图像以获取目标图像；所述目标图像的图像尺寸小于或等于所述第一图像的图像尺寸。
在可选的实施方式中，所述相机位移信息还包括所述航测相机处于所述当前位置的加速度信息。根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息，包括：根据所述相机位移信息中的所述加速度信息，获取所述航测相机在所述第一曝光时间内的震动偏移信息；根据所述震动偏移信息和所述拍摄位移信息，确定所述图像偏移信息。
在可选的实施方式中，所述加速度信息包括所述航测相机在第一成像靶面的行向加速度和列向加速度。根据所述相机位移信息中的所述加速度信息，获取所述航测相机在所述第一曝光时间内的震动偏移信息，包括：根据所述行向加速度和所述第一曝光时间，确定所述航测相机的行向震动偏移；根据所述列向加速度和所述第一曝光时间，确定所述航测相机的列向震动偏移；根据所述行向震动偏移和所述列向震动偏移，确定在所述第一成像靶面的震动偏移信息。
在可选的实施方式中，所述航测相机包括所述航测相机的透镜物象关系，所述透镜物象关系表征所述目标物体与所述目标图像的像素点距离之间的缩放关系。根据所述震动偏移信息和所述拍摄位移信息，确定所述图像偏移信息，包括：根据所述震动偏移信息和所述透镜物象关系生成图像震动偏移；所述图像震动偏移为所述航测相机的震动位移造成的图像偏移；根据所述拍摄位移信息和所述透镜物象关系生成图像拍摄偏移；所述图像拍摄偏移为所述第一曝光时间内，所述目标物体的位移造成的图像偏移；根据所述图像震动偏移和所述图像拍摄偏移生成所述图像偏移信息。
在可选的实施方式中，所述航测相机包括所述航测相机的透镜物象关系和法兰距，所述透镜物象关系表征所述目标物体与所述目标图像的像素点距离之间的缩放关系，所述法兰距为所述航测相机的第一成像靶面与所述航测相机的镜头顶之间的距离。在所述根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息之前，所述方法还包括：获取所述第一成像靶面相对于大地平面的倾斜角度；根据所述当前位置确定第一空间距离；所述第一空间距离为所述航测相机与所述目标物体之间的直线距离；根据所述倾斜角度和所述第一空间距离，确定第二空间距离；所述第二空间距离为所述第一成像靶面与所述目标物体的第二成像靶面之间的垂直距离，所述第一成像靶面与所述第二成像靶面平行；根据所述透镜物象关系和所述第二空间距离，确定所述拍摄位移信息。
第二方面，本发明提供一种相机防抖装置，应用于航测相机，所述装置包括：获取模块和处理模块。所述获取模块用于当所述航测相机达到预设位置时，获取目标物体的第一图像；所述获取模块还用于获取所述航测相机的相机位移信息；所述相机位移信息包括所述航测相机在当前位置拍摄所述第一图像的第一曝光时间，所述当前位置为拍摄所述第一图像时所述航测相机的实际位置。所述处理模块用于根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息；所述拍摄位移信息为所述目标物体在所述第一曝光时间内的位移信息；所述处理模块还用于根据所述图像偏移信息处理所述第一图像以获取目标图像；所述目标图像的图像尺寸小于或等于所述第一图像的图像尺寸。
在可选的实施方式中，所述相机位移信息还包括所述航测相机处于所述当前位置的加速度信息；所述处理模块还用于根据所述相机位移信息中的所述加速度信息，获取所述航测相机在所述第一曝光时间内的震动偏移信息；所述处理模块还用于根据所述震动偏移信息和所述拍摄位移信息，确定所述图像偏移信息。
在可选的实施方式中，所述航测相机包括所述航测相机的透镜物象关系和法兰距，所述透镜物象关系表征所述目标物体与所述目标图像的像素点距离之间的缩放关系，所述法兰距为所述航测相机的第一成像靶面与所述航测相机的镜头顶之间的距离。所述获取模块还用于在所述根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息之前，获取所述第一成像靶面相对于大地平面的倾斜角度。所述处理模块还用于根据所述当前位置确定第一空间距离；所述第一空间距离为所述航测相机与所述目标物体之间的直线距离。所述处理模块还用于根据所述倾斜角度和所述第一空间距离，确定第二空间距离；所述第二空间距离为所述第一成像靶面与所述目标物体的第二成像靶面之间的垂直距离，所述第一成像靶面与所述第二成像靶面平行。所述处理模块还用于根据所述透镜物象关系和所述第二空间距离，确定所述拍摄位移信息。
第三方面，本发明提供一种航测相机，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任一项所述的方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式中任一项所述的方法。
相较于现有技术，本发明提供一种相机防抖方法、装置、航测相机和计算机可读存储介质，涉及航测相机的图像处理领域。该相机防抖方法应用于航测相机，所述方法包括：当所述航测相机达到预设位置时，获取目标物体的第一图像；获取所述航测相机的相机位移信息；所述相机位移信息包括所述航测相机在当前位置拍摄所述第一图像的第一曝光时间，所述当前位置为拍摄所述第一图像时所述航测相机的实际位置；根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息；所述拍摄位移信息为所述目标物体在所述第一曝光时间内的位移信息；根据所述图像偏移信息处理所述第一图像以获取目标图像；所述目标图像的图像尺寸小于或等于所述第一图像的图像尺寸。航测相机根据航测相机的相机位移信息和目标物体的拍摄位移信息确定图像偏移信息，进而根据图像偏移信息调整航测相机拍摄的图像，在图像的拍摄过程中即可实现图像防抖，有效地减少目标物体移动导致的图像偏移、航测相机震动导致图像模糊。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种相机防抖方法的流程示意图；
图2为本发明实施例提供的一种航测相机的位置示意图；
图3为本发明实施例提供的另一种相机防抖方法的流程示意图；
图4为本发明实施例提供的另一种相机防抖方法的流程示意图；
图5为本发明实施例提供的另一种相机防抖方法的流程示意图；
图6为本发明实施例提供的另一种相机防抖方法的流程示意图；
图7为本发明实施例提供的一种拍摄位移信息获取的示意图；
图8为本发明实施例提供的一种相机防抖的图像处理示意图；
图9为本发明实施例提供的一种相机防抖装置的方框示意图；
图10为本发明实施例提供的一种航测相机的方框示意图。
图标：相机防抖装置-40，获取模块-41，处理模块-42，航测相机-60，存储器-60，处理器-62，通信接口-63。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在航测相机的作业过程中，若被测目标在图像的位置基本固定、形状无畸变，且航测相机拍摄的图像具有足够的清晰度，可以有效的提高航测相机采集图像和视频的作业效率。因此除了飞机本身设计需要考虑防震，航测相机在飞机的安装固定上也需要采取机械防震，但是，拍摄得到的图像仍然会出现目标物体在图像中的位置变化、形状畸变和图像清晰度不足的等问题。
为了至少解决上述问题和背景技术提出的不足，本发明实施例提供一种相机防抖方法，请参见图1，图1为本发明实施例提供的一种相机防抖方法的流程示意图。该相机防抖方法应用于航测相机，该航测相机可以是具有处理能力的相机，在一些可能的实施例中，航测相机也可以是相机集成在具有处理能力的电子设备上，如具有拍照和录像能力的智能手机、智能平板、可穿戴设备等。该相机防抖方法包括：
S31，当航测相机达到预设位置时，获取目标物体的第一图像。
可以理解的，该预设位置是航测相机为了采集图像而设置的在预设轨迹上的任一位置；例如，该预设位置可以是航测相机安装在无人机上时，无人机运行在预设轨迹中的位置。应理解，航测相机还可以是安装在客运飞机、货运飞机、汽车、火车等不同的载体上的。
S32，获取航测相机的相机位移信息。
其中相机位移信息包括航测相机在当前位置拍摄第一图像的第一曝光时间，当前位置为拍摄第一图像时航测相机的实际位置。在实际的航测相机作业过程中，由于航测相机是运动在预设轨迹上的，受到自然环境或人为因素等的影响，航测相机不可避免的会发生抖动；亦即是说，航测相机运动到预设位置采集图像时，由于航测相机的抖动其实际的拍摄位置(当前位置)和预设位置可能是不同的，该相机位移信息包括航测相机在当前位置拍摄第一图像的第一曝光时间，可以通过航测相机上的陀螺仪或全球定位系统(GlobalPositioning System，GPS)来对第一曝光时间内，航测相机的位置变化进行测量，继而得到实际的拍摄位置，即上述的当前位置。
S33，根据相机位移信息和目标物体的拍摄位移信息，确定航测相机在当前位置的图像偏移信息。
其中，拍摄位移信息为目标物体在第一曝光时间内的位移信息。可以理解的，航测相机在拍摄过程中(即第一曝光时间内)，目标物体可能会发生移动，为了提高航测相机拍摄的图像的清晰度，使用目标物体的拍摄位移信息和航测相机的相机位移信息获取图像偏移信息，可以降低由于目标物体移动导致的目标物体在图像中发生形状畸变的几率。
S34，根据图像偏移信息处理第一图像以获取目标图像。
其中，目标图像的图像尺寸小于或等于第一图像的图像尺寸。应理解，当第一图像具有模糊部分，需要裁剪时，目标图像的图像尺寸小于第一图像的图像尺寸；在理想情况下，若航测相机拍摄第一图像时，没有受到航测相机抖动的影响，目标物体在第一曝光时间内也没有发生任何移动，目标图像的图像尺寸等于第一图像的图像尺寸。例如，假设第一图像的图像尺寸为“7920×5448”，目标图像的图像尺寸可以为“7680×4360”。
应理解，航测相机根据航测相机的相机位移信息和目标物体的拍摄位移信息确定图像偏移信息，进而根据图像偏移信息调整航测相机拍摄的图像，在图像的拍摄过程中即可实现图像防抖；相机位移信息减少了航测相机的震动造成的图像偏移和图像模糊，目标物体的拍摄位移信息有效地减少了目标物体移动导致的图像偏移和形状畸变。
为了便于理解上述的预设位置和当前位置，请参见图2，图2为本发明实施例提供的一种航测相机的位置示意图。图2中，以航测相机的第一成像靶面建立三维空间坐标系(第一坐标系)，如(a)所示，坐标轴分别为X、Y和Z，其中，X轴和第一成像靶面的行方向平行，Y轴和第一成像靶面的列方向平行，坐标原点O为第一成像靶面的中心，Z轴和第一成像靶面垂直，Z轴表征航测相机的飞行高度；航测相机每次拍照可以得到一个特定的x、y和z轴坐标。例如，该第一成像靶面可以是航测相机内的图像传感器所述的平面。
例如，请参见图2中的(a)示出的“M0”和“M1”，假设预设位置的在三维空间坐标系(第一坐标系)中的坐标位置为“M0”，由于航测相机的震动造成拍摄第一图像的实际位置为“M1”，其中，“M0”的坐标为(X0，Y0，Z0)，“M1”的坐标为(X1，Y1，Z1)。
飞机搭载航测相机作业时，航测相机实际是在一个特定的三维空间坐标系(如图2示出的第一坐标系)中随着飞机分别以X、Y、Z三个方向前进，为了确定飞机震动或自然因素等对航测相机的影响，在图1的基础上，以相机位移信息还包括航测相机处于当前位置的加速度信息为例，请参见图3，图3为本发明实施例提供的另一种相机防抖方法的流程示意图。上述的S37可以包括：
S371，根据相机位移信息中的加速度信息，获取航测相机在第一曝光时间内的震动偏移信息。
可以理解的，上述加速度信息可以是航测相机中的陀螺仪(带轴加速度计)获取的，也可以是可以获取加速度的其它设备。第一曝光时间可以是航测相机根据第一图像的图像参数获取的。应理解，航测相机获取多张图像，并将该多张图像进行连续显示时，将航测相机本身的速度(第一速度)置为一个常量，在图像的防抖处理中可以对其进行降噪处理，使得震动偏移信息可以仅根据航测相机处于第一速度时，航测相机的加速度信息和第一曝光时间获取即可。
S372，根据震动偏移信息和拍摄位移信息，确定图像偏移信息。
可以理解的，获取航测相机震动造成的震动偏移信息和目标物体的移动造成的拍摄位移信息，可以将上述两者进行合并，生成在当前位置拍摄的第一图像的图像偏移信息，继而根据该图像偏移信息对第一图像进行调整，生成目标图像。应理解，该目标图像是航测相机直接传输给服务端(如远程的显示设备)的图像。
在可选的实施方式中，加速度是在不同方向的多个方向的结合，在图3的基础上，以加速度信息包括航测相机在第一成像靶面的行向加速度和列向加速度为例，请参见图4，图4为本发明实施例提供的另一种相机防抖方法的流程示意图。上述的S371可以包括：
S371a，根据行向加速度和第一曝光时间，确定航测相机的行向震动偏移。
可以理解的，该行向加速度为与上述的第一成像靶面的行方向平行的方向上航测相机的加速度。
S371b，根据列向加速度和第一曝光时间，确定航测相机的列向震动偏移。
可以理解的，该列向加速度为与上述的第一成像靶面的列方向平行的方向上航测相机的加速度。
S371c，根据行向震动偏移和列向震动偏移，确定在第一成像靶面的震动偏移信息。
可以理解的，目标图像属于二维平面信息，因此为了提高航测相机对于图像的处理速度，航测相机在与第一成像靶面垂直的Z轴方向的震动对目标图像的图像偏移影响，相较于第一成像靶面的行向震动偏移和列向震动偏移是极小的，因此减少Z轴方向的震动偏移有利于在保证图像清晰度的前提下，提高航测相机对于图像的处理效率。可以预见的，若目标图像为三维图像，为了提高图像清晰度，减少目标物体的形状畸变，也可以将Z轴方向的震动偏移加入本发明实施例提供的图像防抖方法的流程中，以便保证目标图像的清晰度。
为了便于理解上述获取震动偏移信息的过程，请继续参见图2，假设航测相机的处理模块是现场可编程阵列(Field-Programmable Gate Array，FPGA)，航测相机通过FPGA获取当前位置对应的行向加速度ax和列向加速度ay，另上述的第一曝光时间为dt，则行向震动偏移sx和列向震动偏移sy分别为：
Figure BDA0002470717080000091
Figure BDA0002470717080000101
可以理解的，预设位置M0(X0，Y0，Z0)和当前位置M1(X1，Y1，Z1)之间满足：
X1＝X0+sx+vx·dt
Y1＝Y0+sy+vy·dt
其中，dt为第一曝光时间，vx为航测相机在X轴方向的移动速度，vy为航测相机在Y轴方向的移动速度。
在可选的实施方式中，为了获取图像偏移信息，在图3的基础上，以航测相机包括航测相机的透镜物象关系，透镜物象关系表征目标物体与目标图像的像素点距离之间的缩放关系为例，请参见图5，图5为本发明实施例提供的另一种相机防抖方法的流程示意图。上述的S372可以包括：
S372a，根据震动偏移信息和透镜物象关系生成图像震动偏移。
该图像震动偏移为航测相机的震动位移造成的图像偏移。
S372b，根据拍摄位移信息和透镜物象关系生成图像拍摄偏移。
该图像拍摄偏移为第一曝光时间内，目标物体的位移造成的图像偏移。
S372c，根据图像震动偏移和图像拍摄偏移生成图像偏移信息。
应理解，通过航测相机的透镜物象关系将震动偏移信息和拍摄位移信息映射到图像中，继而根据得到的图像偏移信息对第一图像进行调整，使得获取的目标图像更为准确。
航测相机的作业过程中，目标物体可能是移动的，会对目标物体在图像中的位置造成较大误差，在图1的基础上，以航测相机包括航测相机的透镜物象关系和法兰距为例，透镜物象关系表征目标物体与目标图像的像素点距离之间的缩放关系，法兰距为航测相机的第一成像靶面与航测相机的镜头顶之间的距离，请参见图6，图6为本发明实施例提供的另一种相机防抖方法的流程示意图。在上述的S37之前，该相机防抖方法还可以包括：
S33，获取第一成像靶面相对于大地平面的倾斜角度。
在另一种可能的实施例中，请继续参见图2，上述的倾斜角度还可以是第一成像靶面(与第一坐标系的X轴和Y轴)与大地坐标系之间的夹角。
S34，根据当前位置确定第一空间距离。
该第一空间距离为航测相机与目标物体之间的直线距离。
S35，根据倾斜角度和第一空间距离，确定第二空间距离。
该第二空间距离为第一成像靶面与目标物体的第二成像靶面之间的垂直距离，第一成像靶面与第二成像靶面平行。
S36，根据透镜物象关系和第二空间距离，确定拍摄位移信息。
可以理解的，透镜物象关系是根据航测相机的固有属性和航测相机所处的高度确定的。根据目标物体的移动距离、目标物体在图像中每个像素点之间的距离关系以及透镜物象关系，确定拍摄位移信息，以便减少航测相机的拍摄过程中，目标物体的移动造成的图像模糊或形状畸变等。
为了便于理解上述S31～S37对应的相机防抖方法，在图2的基础上，给出一种可能的实现方式，请参见图7，图7为本发明实施例提供的一种拍摄位移信息获取的示意图。θ为大地平面与第一成像靶面之间的倾斜角度；s0为目标物体的移动造成的在目标图像中的坐标间距，即目标图像中目标物体的像素点距离；s1为目标物体的真实距离，即目标物体的真实尺寸；h0为航测相机的第一成像靶面与航测相机的镜头顶之间的距离，即法兰距；h1为航测相机到目标物体的直线距离，即第一空间距离；h2为第一成像靶面与目标物体的第二成像靶面之间的垂直距离，即第二空间距离；第一成像靶面与第二成像靶面平行。
上述各参数具有以下关系，以求解拍摄位移信息在目标图像中的第一图像偏移s0：
h1＝Z航测相机-Z地面
Z航测相机＝Z1
其中，Z地面为地面上的目标物体在第一坐标系中的Z坐标值。
h2＝h1×cosθ
根据透镜物象关系，以及图7示出的相似三角形关系，可知：
Figure BDA0002470717080000121
求得上述的第一图像偏移s0为：
Figure BDA0002470717080000122
可以理解的，将上述的第一图像偏移s0和目标物体的移动距离结合，以得到上述的图像拍摄偏移。
为了便于理解上述根据图像偏移信息将第一图像调整为目标图像的过程，请参见图8，图8为本发明实施例提供的一种相机防抖的图像处理示意图。例如，图像偏移信息包括行向图像偏移信息和列向图像偏移信息，在航测相机出图时，分别在第一图像的行、列方向，按照图像偏移信息和列向图像偏移信息进行裁剪，获取防抖处理后的目标图像。例如，假设第一图像的图像尺寸为“7920×5448”，目标图像的图像尺寸可以为“7680×4360”。
为了实现上述S31～S37对应的相机防抖方法，本发明提供一种相机防抖装置，应用于航测相机，请参见图9，图9为本发明实施例提供的一种相机防抖装置的方框示意图。该相机防抖装置40包括：获取模块41和处理模块42。
获取模块41用于当航测相机达到预设位置时，获取目标物体的第一图像。获取模块41还用于获取航测相机的相机位移信息。相机位移信息包括航测相机在当前位置拍摄第一图像的第一曝光时间，当前位置为拍摄第一图像时航测相机的实际位置。
处理模块42用于根据相机位移信息和目标物体的拍摄位移信息，确定航测相机在当前位置的图像偏移信息。拍摄位移信息为目标物体在第一曝光时间内的位移信息。处理模块42还用于根据图像偏移信息处理第一图像以获取目标图像。目标图像的图像尺寸小于或等于第一图像的图像尺寸。
应理解，上述的获取模块41和处理模块42可以协同实现上述的S31～S37及其可能的子步骤。
在可选的实施方式中，相机位移信息还包括航测相机处于当前位置的加速度信息。处理模块42还用于根据相机位移信息中的加速度信息，获取航测相机在第一曝光时间内的震动偏移信息。处理模块42还用于根据震动偏移信息和拍摄位移信息，确定图像偏移信息。
应理解，上述的处理模块42可以实现上述的S371～S372及其可能的子步骤。
在可选的实施方式中，航测相机包括航测相机的透镜物象关系和法兰距，透镜物象关系表征目标物体与目标图像的像素点距离之间的缩放关系，法兰距为航测相机的第一成像靶面与航测相机的镜头顶之间的距离。获取模块41还用于在根据相机位移信息和目标物体的拍摄位移信息，确定航测相机在当前位置的图像偏移信息之前，获取第一成像靶面相对于大地平面的倾斜角度。处理模块42还用于根据当前位置确定第一空间距离。第一空间距离为航测相机与目标物体之间的直线距离。处理模块42还用于根据倾斜角度和第一空间距离，确定第二空间距离。第二空间距离为第一成像靶面与目标物体的第二成像靶面之间的垂直距离，第一成像靶面与第二成像靶面平行。处理模块42还用于根据透镜物象关系和第二空间距离，确定拍摄位移信息。
应理解，上述的获取模块41和处理模块42可以协同实现上述的S33～S36及其可能的子步骤。
为了实现上述的相机防抖方法，本发明实施例提供一种航测相机，如图10，图10为本发明实施例提供的一种航测相机的方框示意图。该航测相机60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块，如本发明实施例所提供的相机防抖方法对应的程序指令/模块，处理器62通过执行存储在存储器61内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本发明中该航测相机60可以具有多个通信接口63。
其中，存储器61可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器62可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。航测相机60可以实现本发明提供的任一种相机防抖方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明提供一种相机防抖方法、装置、航测相机和计算机可读存储介质，涉及航测相机的图像处理领域。该相机防抖方法应用于航测相机，该方法包括：当航测相机达到预设位置时，获取目标物体的第一图像；获取航测相机的相机位移信息；相机位移信息包括航测相机在当前位置拍摄第一图像的第一曝光时间，当前位置为拍摄第一图像时航测相机的实际位置；根据相机位移信息和目标物体的拍摄位移信息，确定航测相机在当前位置的图像偏移信息；拍摄位移信息为目标物体在第一曝光时间内的位移信息；根据图像偏移信息处理第一图像以获取目标图像；目标图像的图像尺寸小于或等于第一图像的图像尺寸。航测相机根据航测相机的相机位移信息和目标物体的拍摄位移信息确定图像偏移信息，进而根据图像偏移信息调整航测相机拍摄的图像，在图像的拍摄过程中即可实现图像防抖，有效地减少目标物体移动导致的图像偏移、航测相机震动导致图像模糊。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种相机防抖方法，其特征在于，应用于航测相机，所述方法包括：
当所述航测相机达到预设位置时，获取目标物体的第一图像；
获取所述航测相机的相机位移信息；所述相机位移信息包括所述航测相机在当前位置拍摄所述第一图像的第一曝光时间，所述当前位置为拍摄所述第一图像时所述航测相机的实际位置；
所述航测相机包括航测相机的透镜物象关系和法兰距，所述透镜物象关系表征所述目标物体与所述目标图像的像素点距离之间的缩放关系，所述法兰距为所述航测相机的第一成像靶面与所述航测相机的镜头顶之间的距离；
获取所述第一成像靶面相对于大地平面的倾斜角度；
根据所述当前位置确定第一空间距离；所述第一空间距离为所述航测相机与所述目标物体之间的直线距离；
根据所述倾斜角度和所述第一空间距离，确定第二空间距离；所述第二空间距离为所述第一成像靶面与所述目标物体的第二成像靶面之间的垂直距离，所述第一成像靶面与所述第二成像靶面平行；
根据所述透镜物象关系和所述第二空间距离，确定拍摄位移信息；
根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息；所述拍摄位移信息为所述目标物体在所述第一曝光时间内的位移信息；
根据所述图像偏移信息处理所述第一图像以获取目标图像；所述目标图像的图像尺寸小于或等于所述第一图像的图像尺寸。
2.根据权利要求1所述的方法，其特征在于，所述相机位移信息还包括所述航测相机处于所述当前位置的加速度信息；
根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息，包括：
根据所述相机位移信息中的所述加速度信息，获取所述航测相机在所述第一曝光时间内的震动偏移信息；
根据所述震动偏移信息和所述拍摄位移信息，确定所述图像偏移信息。
3.根据权利要求2所述的方法，其特征在于，所述加速度信息包括所述航测相机在第一成像靶面的行向加速度和列向加速度；
根据所述相机位移信息中的所述加速度信息，获取所述航测相机在所述第一曝光时间内的震动偏移信息，包括：
根据所述行向加速度和所述第一曝光时间，确定所述航测相机的行向震动偏移；
根据所述列向加速度和所述第一曝光时间，确定所述航测相机的列向震动偏移；
根据所述行向震动偏移和所述列向震动偏移，确定在所述第一成像靶面的震动偏移信息。
4.根据权利要求2或3所述的方法，其特征在于，所述航测相机包括所述航测相机的透镜物象关系，所述透镜物象关系表征所述目标物体与所述目标图像的像素点距离之间的缩放关系；
根据所述震动偏移信息和所述拍摄位移信息，确定所述图像偏移信息，包括：
根据所述震动偏移信息和所述透镜物象关系生成图像震动偏移；所述图像震动偏移为所述航测相机的震动位移造成的图像偏移；
根据所述拍摄位移信息和所述透镜物象关系生成图像拍摄偏移；所述图像拍摄偏移为所述第一曝光时间内，所述目标物体的位移造成的图像偏移；
根据所述图像震动偏移和所述图像拍摄偏移生成所述图像偏移信息。
5.一种相机防抖装置，其特征在于，应用于航测相机，所述航测相机包括航测相机的透镜物象关系和法兰距，所述透镜物象关系表征目标物体与目标图像的像素点距离之间的缩放关系，所述法兰距为所述航测相机的第一成像靶面与所述航测相机的镜头顶之间的距离；所述装置包括：获取模块和处理模块；
所述获取模块，用于当所述航测相机达到预设位置时，获取目标物体的第一图像；
所述获取模块还用于获取所述航测相机的相机位移信息；所述相机位移信息包括所述航测相机在当前位置拍摄所述第一图像的第一曝光时间，所述当前位置为拍摄所述第一图像时所述航测相机的实际位置；
所述获取模块还用于在根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息之前，获取所述第一成像靶面相对于大地平面的倾斜角度；所述处理模块用于根据所述当前位置确定第一空间距离；所述第一空间距离为所述航测相机与所述目标物体之间的直线距离；
所述处理模块还用于根据所述倾斜角度和所述第一空间距离，确定第二空间距离；所述第二空间距离为所述第一成像靶面与所述目标物体的第二成像靶面之间的垂直距离，所述第一成像靶面与所述第二成像靶面平行；
所述处理模块还用于根据所述透镜物象关系和所述第二空间距离，确定拍摄位移信息；
所述处理模块，还用于根据所述相机位移信息和所述目标物体的拍摄位移信息，确定所述航测相机在所述当前位置的图像偏移信息；所述拍摄位移信息为所述目标物体在所述第一曝光时间内的位移信息；
所述处理模块还用于根据所述图像偏移信息处理所述第一图像以获取目标图像；所述目标图像的图像尺寸小于或等于所述第一图像的图像尺寸。
6.根据权利要求5所述的装置，其特征在于，所述相机位移信息还包括所述航测相机处于所述当前位置的加速度信息；
所述处理模块还用于根据所述相机位移信息中的所述加速度信息，获取所述航测相机在所述第一曝光时间内的震动偏移信息；
所述处理模块还用于根据所述震动偏移信息和所述拍摄位移信息，确定所述图像偏移信息。
7.一种航测相机，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-4中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任一项所述的方法。
CN202010347671.0A 2020-04-28 2020-04-28 相机防抖方法、装置、航测相机和计算机可读存储介质 Active CN111416943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010347671.0A CN111416943B (zh) 2020-04-28 2020-04-28 相机防抖方法、装置、航测相机和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010347671.0A CN111416943B (zh) 2020-04-28 2020-04-28 相机防抖方法、装置、航测相机和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111416943A CN111416943A (zh) 2020-07-14
CN111416943B true CN111416943B (zh) 2021-12-28

Family

ID=71493704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010347671.0A Active CN111416943B (zh) 2020-04-28 2020-04-28 相机防抖方法、装置、航测相机和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111416943B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870285B (zh) * 2021-09-29 2022-05-20 深圳大学 一种集成北斗和视觉的基础设施结构形变测量方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101078622A (zh) * 2007-06-21 2007-11-28 北京凌云光视数字图像技术有限公司 航空全帧转移型面阵ccd相机像移补偿方法
CN105262934A (zh) * 2015-10-16 2016-01-20 浙江宇视科技有限公司 一种视频图像的调整方法和装置
CN107168356A (zh) * 2017-06-28 2017-09-15 广东电网有限责任公司电力科学研究院 一种航空摄像位移量获取方法以及航空摄像移动控制方法
CN108540725A (zh) * 2018-05-14 2018-09-14 Oppo广东移动通信有限公司 防抖方法、电子装置、成像系统、存储介质和计算机设备
CN110166695A (zh) * 2019-06-26 2019-08-23 Oppo广东移动通信有限公司 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN110570368A (zh) * 2019-08-21 2019-12-13 贝壳技术有限公司 深度图像的畸变矫正方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2253932A1 (de) * 2009-05-19 2010-11-24 Leica Geosystems AG Luftbildkamera-System und Verfahren zum Korrigieren von Verzerrungen in einer Luftbildaufnahme
US10600157B2 (en) * 2018-01-05 2020-03-24 Qualcomm Incorporated Motion blur simulation
JP6452875B1 (ja) * 2018-03-29 2019-01-16 株式会社日立製作所 移動体撮像システム、及び、移動体撮像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101078622A (zh) * 2007-06-21 2007-11-28 北京凌云光视数字图像技术有限公司 航空全帧转移型面阵ccd相机像移补偿方法
CN105262934A (zh) * 2015-10-16 2016-01-20 浙江宇视科技有限公司 一种视频图像的调整方法和装置
CN107168356A (zh) * 2017-06-28 2017-09-15 广东电网有限责任公司电力科学研究院 一种航空摄像位移量获取方法以及航空摄像移动控制方法
CN108540725A (zh) * 2018-05-14 2018-09-14 Oppo广东移动通信有限公司 防抖方法、电子装置、成像系统、存储介质和计算机设备
CN110166695A (zh) * 2019-06-26 2019-08-23 Oppo广东移动通信有限公司 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN110570368A (zh) * 2019-08-21 2019-12-13 贝壳技术有限公司 深度图像的畸变矫正方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111416943A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
US10440277B2 (en) Image processing device, electronic equipment, image processing method and non-transitory computer-readable medium for enlarging objects on display
CN108574825B (zh) 一种云台摄像机的调整方法和装置
US20180197324A1 (en) Virtual viewpoint setting apparatus, setting method, and storage medium
US11057566B2 (en) Image synthesis system
CN111784585B (zh) 图像拼接方法、装置、电子设备和计算机可读存储介质
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN111711756A (zh) 一种图像防抖方法、电子设备及存储介质
CN116126024A (zh) 移动机器人的控制方法、装置、设备及存储介质
US9843689B1 (en) Self stabilizing projector
CN111800589A (zh) 图像处理方法、装置和系统，以及机器人
JP2016039390A (ja) 画像生成方法および装置
GB2483224A (en) Imaging device with measurement and processing means compensating for device motion
CN111416943B (zh) 相机防抖方法、装置、航测相机和计算机可读存储介质
CN111025330B (zh) 一种基于深度图的目标倾斜角检测方法及设备
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
CN111955005B (zh) 处理360度图像内容的方法和系统
EP3529977B1 (en) A bundle adjustment system
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
JP6305501B2 (ja) キャリブレーション方法、プログラムおよびコンピュータ
US20210341922A1 (en) Optical object tracking on focal plane with dynamic focal length
CN108513058B (zh) 可补偿图像变化的图像装置
CN115900639B (zh) 应用于无人机上云台相机的航向角矫正方法和服务器
JP2020004219A (ja) ３次元形状データを生成する装置、方法、及びプログラム
CN116817929B (zh) 一种无人机对地平面多目标同时定位方法及系统
CN112348889B (zh) 视觉定位方法及相关装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 7 / F, area a, building 6, No. 200, Tianfu 5th Street, high tech Zone, Chengdu, Sichuan 610000

Patentee after: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: Room 801-805, 8th floor, Building A, No. 200, Tianfu Wujie, Chengdu High-tech Zone, Sichuan Province, 610000

Patentee before: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd.

Country or region before: China