CN114359425A - 正射图像生成方法及装置、正射指数图生成方法及装置 - Google Patents
正射图像生成方法及装置、正射指数图生成方法及装置 Download PDFInfo
- Publication number
- CN114359425A CN114359425A CN202111470284.7A CN202111470284A CN114359425A CN 114359425 A CN114359425 A CN 114359425A CN 202111470284 A CN202111470284 A CN 202111470284A CN 114359425 A CN114359425 A CN 114359425A
- Authority
- CN
- China
- Prior art keywords
- frames
- images
- image
- determining
- reference images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请提供了一种正射图像生成方法及装置、正射指数图生成方法及装置，涉及图像处理技术领域。该正射图像生成方法包括：基于飞行器的不同波段的M个相机，采集当前时刻M个相机对应的M帧图像，M为大于1的正整数；基于M帧图像，确定M帧图像各自对应的成像位姿信息；基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像。本申请能够实时在线确定M帧图像中的每一帧图像的成像位姿信息，解决了无法实时确定当前时刻的正射图像的问题，进而能够为后续农作物分析提供实时、准确、丰富的地理坐标信息，从而更好地实现环境监测等任务。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种正射图像生成方法及装置、正射指数图生成方法及装置。
背景技术
在农业场景中，针对飞行器中的不同波段的多个相机采集的图像，通常需要生成不同波段的正射图像，从而进一步对农作物长势等信息进行分析。
然而，由于飞行器机载的多个相机的位置实时变化，而且采集的数据处理流程复杂，所以存在无法实时生成正射图像的问题，进而难以实时对农作物长势等信息进行分析。
发明内容
为了解决上述技术问题，提出了本申请。本申请实施例提供了一种正射图像生成方法及装置、正射指数图生成方法及装置。
第一方面，本申请一实施例提供了一种正射图像生成方法，该方法包括：基于飞行器的不同波段的M个相机，采集当前时刻M个相机对应的M帧图像，M为大于1的正整数；基于M帧图像，确定M帧图像各自对应的成像位姿信息；基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像。
结合第一方面，在第一方面的某些实现方式中，基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像，包括：划分M帧图像，得到N帧参考图像和M-N帧非参考图像，其中，N为小于M的正整数；基于N帧参考图像，确定N帧参考图像各自对应的稠密点云数据；基于N帧参考图像各自对应的稠密点云数据，确定N帧参考图像各自对应的高程信息；基于M-N帧非参考图像各自对应的成像位姿信息、N帧参考图像各自对应的高程信息，确定M帧图像各自对应的当前时刻的正射图像。
结合第一方面，在第一方面的某些实现方式中，基于M-N帧非参考图像各自对应的成像位姿信息、N帧参考图像各自对应的高程信息，确定M帧图像各自对应的当前时刻的正射图像，包括：基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的正射图像；基于M-N帧非参考图像各自对应的成像位姿信息、M-N帧非参考图像各自对应的相机参数信息以及N帧参考图像各自对应的高程信息，确定M-N帧非参考图像各自对应的当前时刻的正射图像。
结合第一方面，在第一方面的某些实现方式中，基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的正射图像，包括：基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的图像矩阵模板；基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的图像像素数据；基于N帧参考图像各自对应的图像矩阵模板和图像像素数据，确定N帧参考图像各自对应的正射图像。
结合第一方面，在第一方面的某些实现方式中，基于N帧参考图像，确定N帧参考图像各自对应的稠密点云数据，包括：基于N帧参考图像，确定N帧参考图像各自对应的相机位姿和稀疏点云数据；基于N帧参考图像各自对应的相机位姿和稀疏点云数据，确定N帧参考图像各自对应的稠密点云数据。
结合第一方面，在第一方面的某些实现方式中，基于N帧参考图像各自对应的相机位姿和稀疏点云数据，确定N帧参考图像各自对应的稠密点云数据，包括：针对N帧参考图像中的每帧参考图像，确定每帧参考图像对应的下一帧图像，其中，下一帧图像为在当前时刻对应的下一时刻采集的图像；基于每帧参考图像对应的相机位姿和稀疏点云数据以及下一帧图像对应的相机位姿和稀疏点云数据，确定每帧参考图像对应的深度图；基于每帧参考图像对应的深度图和相机矩阵信息，确定每帧参考图像对应的稠密点云数据。
第二方面，本申请一实施例提供了一种正射指数图生成方法，该方法包括：确定M帧图像各自对应的当前时刻的正射图像，其中，M帧图像为飞行器的不同波段的M个相机采集的当前时刻的图像，M帧图像各自对应的当前时刻的正射图像基于上述第一方面所提及的正射图像生成方法确定；基于M帧图像各自对应的当前时刻的正射图像，确定当前时刻的正射指数图。
第三方面，本申请一实施例提供了一种正射图像生成装置，该装置包括：采集模块，配置为基于飞行器的不同波段的M个相机，采集当前时刻M个相机对应的M帧图像，M为大于1的正整数；第一确定模块，配置为基于M帧图像，确定M帧图像各自对应的成像位姿信息；第二确定模块，配置为基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像。
第四方面，本申请一实施例提供了一种正射指数图生成装置，该装置包括：第三确定模块，配置为确定M帧图像各自对应的当前时刻的正射图像，其中，M帧图像为飞行器的不同波段的M个相机采集的当前时刻的图像，M帧图像各自对应的当前时刻的正射图像基于上述第一方面提及的正射图像生成方法确定；第四确定模块，配置为基于M帧图像各自对应的当前时刻的正射图像，确定当前时刻的正射指数图。
第五方面，本申请一实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述第一方面和/或第二方面所提及的方法。
第六方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行上述第一方面和/或第二方面所提及的方法。
本申请实施例提供的正射图像生成方法，首先基于飞行器的不同波段的M个相机，采集当前时刻M个相机对应的M帧图像；继而基于M帧图像确定M帧图像各自对应的成像位姿信息；最后基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像。本申请能够实时在线确定M帧图像中的每一帧图像的成像位姿信息，解决了无法实时确定当前时刻的正射图像的问题，进而能够为后续农作物分析提供实时、准确、丰富的地理坐标信息，从而更好地实现环境监测等任务。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所适用的一场景示意图。
图2所示为本申请实施例所适用的另一场景示意图。
图3所示为本申请一示例性实施例提供的正射图像生成方法的流程示意图。
图4所示为本申请另一示例性实施例提供的正射图像生成方法的流程示意图。
图5所示为本申请又一示例性实施例提供的正射图像生成方法的流程示意图。
图6所示为本申请一示例性实施例提供的确定N帧参考图像各自对应的正射图像的流程示意图。
图7所示为本申请又一示例性实施例提供的正射图像生成方法的流程示意图。
图8所示为本申请一示例性实施例提供的确定N帧参考图像各自对应的稠密点云数据的流程示意图。
图9所示为本申请一示例性实施例提供的正射指数图生成方法的流程示意图。
图10所示为本申请一示例性实施例提供的正射图像生成装置的结构示意图。
图11所示为本申请一示例性实施例提供的第二确定模块的结构示意图。
图12所示为本申请一示例性实施例提供的正射图像确定单元的结构示意图。
图13所示为本申请一示例性实施例提供的第一确定子单元的结构示意图。
图14所示为本申请一示例性实施例提供的稠密点云数据确定单元的结构示意图。
图15所示为本申请一示例性实施例提供的第五确定子单元的结构示意图。
图16所示为本申请一示例性实施例提供的正射指数图生成装置的结构示意图。
图17所示为本申请一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1所示为本申请实施例所适用的一场景示意图。如图1所示，本申请实施例所适用的场景为农业无人机作业场景。具体地，该场景中包括装载有图像采集设备20的飞行器2以及与图像采集设备20连接的服务器1，飞行器可以是无人机。
图像采集设备20可以包括不同波段的M个相机，比如多光谱相机。在实际应用过程中，图像采集设备20中的M个相机用于采集当前时刻的M帧图像，M帧图像与M个相机一一对应，M为大于1的正整数；服务器1用于基于M帧图像，确定M帧图像各自对应的成像位姿信息；基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像。即，该场景实现了一种正射图像生成方法。示例性地，多个飞行器可以共用一个服务器，即服务器能够接收不同飞行器上传的数据，那么，在更新服务器时便可更新多个飞行器，有利于节省资源。
除此之外，基于M帧图像各自对应的当前时刻的正射图像，还可以进一步确定当前时刻的正射指数图，为农作物分析提供实时、准确、丰富的地理坐标信息。
需要说明的是，本申请还适用于另一场景。图2所示为本申请实施例所适用的另一场景示意图。具体地，该场景中包括飞行器2，其中，飞行器2包括图像采集模块201和计算模块202，并且，图像采集模块201和计算模块202之间存在通信连接关系。
具体而言，飞行器2搭载的图像采集模块201包括不同波段的M个相机，比如多光谱相机。在实际应用过程中，图像采集模块201中的M个相机用于采集当前时刻的M帧图像，M帧图像与M个相机一一对应，M为大于1的正整数。飞行器2中的计算模块202用于基于M帧图像，确定M帧图像各自对应的成像位姿信息；基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像。即，该场景实现了一种正射图像生成方法。与图1所示场景相比，本场景无需与服务器等相关装置进行数据传输操作，因此，本场景能够保证正射图像生成方法的实时性。
除此之外，本申请实施例提供的正射图像生成方法，还同样适用于土地资源的动态监测、荒漠化监测、森林监测、洪水监测、河流变迁以及旱情监测等领域。
示例性方法
图3所示为本申请一示例性实施例提供的正射图像生成方法的流程示意图。如图3所示，本申请实施例提供的正射图像生成方法包括如下步骤。
步骤100，基于飞行器的不同波段的M个相机，采集当前时刻M个相机对应的M帧图像，M为大于1的正整数。
示例性地，步骤100中提及的不同波段的M个相机可以是飞行器机载多目相机，也可以是飞行器机载多光谱相机。飞行器可以是无人机，也可以是其它飞行设备，本申请对此不做具体限定。
示例性地，步骤100中提及的M个相机对应的M帧图像可以为飞行器机载多目相机对目标场景同时拍摄的多帧图像，也可以为飞行器机载多光谱相机对目标场景同时拍摄的多帧不同波段的图像。本申请实施例对此不做具体限定。
步骤200，基于M帧图像，确定M帧图像各自对应的成像位姿信息。
示例性地，步骤200中提及的成像位姿信息包括相机位姿和稀疏点云数据。
步骤300，基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像。
在一实施例中，无人机搭载的多光谱相机在飞行过程中，针对目标场景拍照获取当前时刻不同波段的M帧图像，将M帧图像传输至姿态估计模块，计算当前时刻M帧图像各自对应的图像姿态。其中，M帧图像的类型包括RGB图像、近红外图像、红色波段图像或者绿色波段图像中的至少两项。
示例性地，姿态估计模块可以是基于视觉即时定位与地图构建(VisualSimultaneous Localization And Mapping，VSLAM)的实时定位算法，也可以是基于同步定位与建图(Simultaneous Local Ization And Mapping，SLAM)的实时定位算法。本申请实施例对此不做具体限定，只要该算法能够实时定位即可。在一实施例中，姿态估计模块的具体计算过程包括：首先对不同波段的每帧图像提取特征点以及描述子，将每帧图像与其相邻帧(可以是不同波段的相邻帧)进行特征点匹配，通过对极几何约束剔除误匹配点，从而确定两帧图像间的匹配关系。继而通过两帧图像间的匹配关系，进行不同波段逐帧图像跟踪并计算每帧图像各自对应的初始位姿。最后，将每帧图像进行优化，从而确定每帧图像的位姿信息以及稀疏点云数据。
示例性地，优化方法可以为光束平差法(Bundle Adjustment，BA)算法和/或图优化算法实现。光束平差法(Bundle Adjustment，BA)算法可分为全局光束平差法(BundleAdjustment，BA)算法和局部光束平差法(Bundle Adjustment，BA)算法。本申请实施例对优化方法不做具体限定。
具体地，在拍照过程中，无人机机载实时差分定位(Real-time kinematic，RTK)模块生成包括高程信息和海拔信息的地图数据，属于地理坐标参考信息。通过局部光束平差法(Bundle Adjustment，BA)算法对一帧图像进行优化时，需要判断地理坐标参考信息是否初始化。
如果地理坐标参考信息未初始化，则使用地图数据中所有图像帧构成的重投影误差、相机位姿与该帧图像对应的地理坐标位置构成的误差共同构建一个优化问题，进行全局优化，解算每帧图像在地理坐标系下的位姿。
如果地理坐标参考信息已经初始化，则使用局部地图中该帧图像的重投影误差和相机位姿与其对应的地理坐标位置构成的误差共同构建一个优化问题，进行局部优化，并向下一阶段输出该帧图像的位姿信息和稀疏点云数据。其中，采集每帧图像的过程中，同时会记录该帧图像对应的波段通道，那么可根据波段通道信息对图像进行分类，分别获得每个波段通道中每帧图像的位姿信息以及稀疏点云数据。基于每个波段通道中每帧图像的位姿信息以及稀疏点云数据，计算每个波段图像的正射图像。
本申请实施例提供的正射图像生成方法，基于飞行器的不同波段的M个相机，采集当前时刻M个相机对应的M帧图像；继而通过基于M帧图像确定M帧图像各自对应的成像位姿信息的方式；实现基于M帧图像各自对应的成像位姿信息确定M帧图像各自对应的当前时刻的正射图像的目的。本申请实施例能够实时在线恢复每一帧图像的姿态信息，解决了现有技术中无法实时获取当前时刻正射图像的问题，为后续分析农作物长势提供前提基础。此外，本申请实施例具有适用范围广泛的优势。
可以理解，多光谱相机用于为农业遥感提供多波段光谱数据，多光谱相机包括多个独立的成像器，分别配上特制的滤光片，能让每个成像器接收到不同波长范围的光谱。通过多光谱相机对农田场景进行拍照，在当前时刻能够获取红、绿、蓝、红边、近红外等不同光谱波段的农田图像，然后即时计算每个时刻每帧图像的位姿，最后得到每个波段对应的正射图像。
图4所示为本申请另一示例性实施例提供的正射图像生成方法的流程示意图。在本申请图3所示实施例的基础上延伸出本申请图4所示实施例，下面着重叙述图4所示实施例与图3所示实施例的不同之处，相同之处不再赘述。
如图4所示，在本申请实施例提供的正射图像生成方法中，基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像(步骤300)，包括如下步骤。
步骤310，划分M帧图像，得到N帧参考图像和M-N帧非参考图像。其中，N为小于M的正整数。
示例性地，根据光谱波段划分M帧图像，得到N帧参考图像。N帧参考图像可以是同一波段的一帧图像，也可以是同一波段的多帧图像。
步骤320，基于N帧参考图像，确定N帧参考图像各自对应的稠密点云数据。
示例性地，N帧参考图像各自对应的稠密点云数据用于表征同一波段图像各自对应的稠密点云数据。因为场景中图像位姿和点云坐标都是真实地理坐标，属于同一个世界参考坐标系。所以只需要计算一个波段图像的稠密点云，其稠密点云可代表该时刻其他波段的稠密点云。
步骤330，基于N帧参考图像各自对应的稠密点云数据，确定N帧参考图像各自对应的高程信息。
具体地，计算稠密点云模块接收上述N帧参考图像各自对应的稠密点云数据，对每帧稠密点云进行插值计算，即可确定每帧图像对应的高程信息。以绿色波段通道为例，根据绿色波段通道每帧图像对应的稠密点云，即可确定该绿色波段通道每帧图像对应的高程信息。
示例性地，插值算法可以包括但不限于反权重插值算法(Inverse-DistanceWeighted，IDW)、最紧邻插值算法以及德劳内三角化插值算法。
示例性地，高程信息可以是数字表面模型(Digital Surface Model，DSM)。数字表面模型为地表建筑物、桥梁和树木等高度的地面高程模型。
步骤340，基于M-N帧非参考图像各自对应的成像位姿信息、N帧参考图像各自对应的高程信息，确定M帧图像各自对应的当前时刻的正射图像。
具体地，由于所有波段通道的图像位姿和稠密点云都是基于同一个世界参考坐标系进行表示，那么，当计算出当前时刻一个波段的高程信息时，则对于当前时刻所有波段通道的图像都是可视的。例如，在确定绿色波段通道每帧图像对应的高程信息之后，基于不同波段多帧图像的位姿和该绿色波段通道图像对应的高程信息，即可确定每个波段图像对应的带地理信息的数字正射图像。
本申请实施例提供的正射图像生成方法，通过将M帧图像划分为N帧参考图像和M-N帧非参考图像；继而根据N帧参考图像各自对应的稠密点云数据，确定N帧参考图像各自对应的高程信息；最后基于M-N帧非参考图像各自对应的成像位姿信息、N帧参考图像各自对应的高程信息，确定M帧图像各自对应的当前时刻的正射图像。基于一个波段图像对应的高程信息，便可确定每个波段图像对应的带地理信息的数字正射图像，减少了获取正射图像的计算量，有利于实时生成正射图像。
图5所示为本申请又一示例性实施例提供的正射图像生成方法的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图5所示，在本申请实施例提供的正射图像生成方法中，基于M-N帧非参考图像各自对应的成像位姿信息、N帧参考图像各自对应的高程信息，确定M帧图像各自对应的当前时刻的正射图像(步骤340)，包括如下步骤。
步骤341，基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的正射图像。
举例说明，基于绿色波段通道每帧图像对应的高程信息，确定该绿色波段通道每帧图像对应的带地理信息的数字正射图像。
步骤342，基于M-N帧非参考图像各自对应的成像位姿信息、M-N帧非参考图像各自对应的相机参数信息以及N帧参考图像各自对应的高程信息，确定M-N帧非参考图像各自对应的当前时刻的正射图像。
举例说明，针对同一时刻的绿色波段的高程信息，利用其他波段图像各自对应的成像位姿信息，即可计算其他波段图像对应的带地理信息的数字正射图像。因为使用同一个高程信息，则同一个时刻每个波段的正射图像可以实现像素级的对齐。
本申请实施例提供的正射图像生成方法，通过基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的正射图像；基于M-N帧非参考图像各自对应的成像位姿信息、M-N帧非参考图像各自对应的相机参数信息以及N帧参考图像各自对应的高程信息的方式，实现确定M-N帧非参考图像各自对应的当前时刻的正射图像的目的。因为基于同一个波段的高程信息确定同一个时刻每个波段的正射图像，所以每个波段的正射图像能够实现像素级的对齐。
图6所示为本申请一示例性实施例提供的确定N帧参考图像各自对应的正射图像的流程示意图。在本申请图5所示实施例的基础上延伸出本申请图6所示实施例，下面着重叙述图6所示实施例与图5所示实施例的不同之处，相同之处不再赘述。
如图6所示，在本申请实施例提供的正射图像生成方法中，基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的正射图像(步骤341)，包括如下步骤。
步骤3410，基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的图像矩阵模板。
步骤3411，基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的图像像素数据。
步骤3412，基于N帧参考图像各自对应的图像矩阵模板和图像像素数据，确定N帧参考图像各自对应的正射图像。
具体而言，当N帧参考图像均为绿色波段图像时，以其中一帧参考图像为例进行说明，首先开辟与该帧参考图像对应的高程信息大小相同的矩阵，遍历该高程信息对应的每个栅格点(x,y,z)，然后通过投影到该帧参考图像获取每个栅格点在该帧参考图像中对应的像素值，将该像素值赋值到矩阵的(x,y)坐标中，便可计算得到绿色波段该帧参考图像对应的带地理信息的数字正射影像。
本申请实施例提供的正射图像生成方法，通过基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的图像矩阵模板；继而基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的图像像素数据；最终基于N帧参考图像各自对应的图像矩阵模板和图像像素数据，确定N帧参考图像各自对应的正射图像。本申请实施例提供的正射图像生成方法，处理速度快且实现效果好，有效提高正射图像的准确性，为后续应用于农田作业信息的分析提供前提基础。
图7所示为本申请又一示例性实施例提供的正射图像生成方法的流程示意图。在本申请图4所示实施例的基础上延伸出本申请图7所示实施例，下面着重叙述图7所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图7所示，在本申请实施例提供的正射图像生成方法中，基于N帧参考图像，确定N帧参考图像各自对应的稠密点云数据(步骤320)，包括如下步骤。
步骤3210，基于N帧参考图像，确定N帧参考图像各自对应的相机位姿和稀疏点云数据。
示例性地，基于姿态估计模块计算得到N帧参考图像各自对应的成像位姿信息。其中，成像位姿信息包括N帧参考图像各自对应的相机位姿和稀疏点云数据。
步骤3211，基于N帧参考图像各自对应的相机位姿和稀疏点云数据，确定N帧参考图像各自对应的稠密点云数据。
具体而言，基于N帧参考图像各自对应的相机位姿和稀疏点云数据进行计算，从而确定N帧参考图像各自对应的更为稠密的点云数据。
本申请实施例提供的正射图像生成方法，通过基于N帧参考图像，确定N帧参考图像各自对应的相机位姿和稀疏点云数据；基于N帧参考图像各自对应的相机位姿和稀疏点云数据的方式，实现确定N帧参考图像各自对应的稠密点云数据的目的，有利于后续进一步确定N帧参考图像各自对应的高程信息。
图8所示为本申请一示例性实施例提供的确定N帧参考图像各自对应的稠密点云数据的流程示意图。在本申请图7所示实施例的基础上延伸出本申请图8所示实施例，下面着重叙述图8所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
如图8所示，在本申请实施例提供的正射图像生成方法中，基于N帧参考图像各自对应的相机位姿和稀疏点云数据，确定N帧参考图像各自对应的稠密点云数据(步骤3211)，包括如下步骤。
步骤3212，针对N帧参考图像中的每帧参考图像，确定每帧参考图像对应的下一帧图像，其中，下一帧图像为在当前时刻对应的下一时刻采集的图像。
步骤3213，基于每帧参考图像对应的相机位姿和稀疏点云数据以及下一帧图像对应的相机位姿和稀疏点云数据，确定每帧参考图像对应的深度图。
步骤3214，基于每帧参考图像对应的深度图和相机矩阵信息，确定每帧参考图像对应的稠密点云数据。
举例说明，将N帧参考图像中的一帧参考图像称为当前帧图像，当前帧图像和下一帧图像的姿态分别表示为pose1(R1|C1)、pose2(R2|C2)，其中R1为当前帧的旋转矩阵，C1为当前帧的图像位置，R2为当前帧对应的旋转矩阵，C2为当前帧的图像位置。根据当前帧图像的稀疏点云，计算深度值范围depth_min和depth_max，预估当前帧图像对应深度图的范围为0.75*depth_min和1.45*depth_max。根据
计算该图像的视差范围depth_min和depth_max，其中f是相机焦距，基线为baseline＝|C2-C1|。根据旋转矩阵R1|R2以及对极几何原理，计算旋转矩阵Rn，使得旋转两帧图像直至共面与基线平行。两帧图像对应的新相机投影矩阵分别为Pn1＝K[Rn|-RnC1]、Pn2＝K[Rn|-RnC2]，矫正变换矩阵分别为T1＝(Pn1(1:3,1:3)*(K*R1′)′)′、T2＝(Pn2(1:3,1:3)*(K*R2′)′)′。根据矫正变换矩阵T1|T2，对两帧图像进行重采样映射变换，得到新两帧图像imagesn1和imagesn2，其中K为已知的相机内参。
已知的新两帧图像imagesn1和imagesn2以及视差范围disparity_min和disparity_max，利用SGM算法计算imagesn1对应的视差图imagedisparity1。根据
计算视差图imagedisparity1对应的深度图imagedepth1，其中f为相机内参的焦距值，disparity为视差值。最后根据已知的深度图imagedepth1和相机投影矩阵，即可计算出当前帧图像对应的稠密点云。
应当理解，双目立体匹配算法可以是半全局匹配算法(Semi-Global Matching，SGM)算法，也可以是局部立体匹配算法，或者全局立体匹配算法等。本申请对此不做具体限定。
本申请实施例提供的正射图像生成方法，针对N帧参考图像中的每帧参考图像，确定每帧参考图像对应的下一帧图像；基于每帧参考图像对应的相机位姿和稀疏点云数据以及下一帧图像对应的相机位姿和稀疏点云数据，确定每帧参考图像对应的深度图；基于每帧参考图像对应的深度图和相机矩阵信息，实现确定每帧参考图像对应的稠密点云数据的目的，为后续确定N帧参考图像各自对应的高程信息提供前提基础。
图9所示为本申请一示例性实施例提供的正射指数图生成方法的流程示意图。如图9所示，在本申请实施例提供的正射指数图生成方法中，包括如下步骤。
步骤400，确定M帧图像各自对应的当前时刻的正射图像，其中，M帧图像为飞行器的不同波段的M个相机采集的当前时刻的图像，M帧图像各自对应的当前时刻的正射图像基于上述任一实施例所提及的正射图像生成方法确定。
步骤401，基于M帧图像各自对应的当前时刻的正射图像，确定当前时刻的正射指数图。
示例性地，步骤401提及的正射指数图即带地理信息坐标的归一化植被指数图。
示例性地，可以通过公式(1)计算归一化植被指数(Normalized VegetationIndex，NDVI)。
其中，NIR表示近红外正射影像，RED表示红外正射影像。
应当理解，还可以通过其他不同波段正射影像进行计算，得到其他不同的指数图。
本申请实施例提供的正射指数图生成方法，确定M帧图像各自对应的当前时刻的正射图像，其中，M帧图像为飞行器的不同波段的M个相机采集的当前时刻的图像；基于M帧图像各自对应的当前时刻的正射图像，确定当前时刻的正射指数图，利用正射指数图能够精准定位植被长势，便于获取农田作业信息。
在一实施例中，基于M帧图像各自对应的多个时刻的正射图像，能够实时确定每个时刻的正射指数图。从而实现飞行器在航拍过程中，实时输出正射指数图，便于对农作物长势实时进行监测和分析。
示例性装置
上文结合图1至图9，详细描述了本申请的方法实施例，下面结合图10至图17，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
图10所示为本申请一示例性实施例提供的正射图像生成装置的结构示意图。如图10所示，本申请实施例提供的正射图像生成装置包括采集模块500、第一确定模块600以及第二确定模块700。
采集模块500配置为，基于飞行器的不同波段的M个相机，采集当前时刻M个相机对应的M帧图像，M为大于1的正整数。第一确定模块600配置为，基于M帧图像，确定M帧图像各自对应的成像位姿信息。第二确定模块700配置为，基于M帧图像各自对应的成像位姿信息，确定M帧图像各自对应的当前时刻的正射图像。
图11所示为本申请一示例性实施例提供的第二确定模块的结构示意图。如图11所示，本申请实施例提供的正射图像生成装置中，第二确定模块700包括划分单元701、稠密点云数据确定单元702、高程信息确定单元703以及正射图像确定单元704。
划分单元701配置为，划分M帧图像，得到N帧参考图像和M-N帧非参考图像，其中，N为小于M的正整数。稠密点云数据确定单元702配置为，基于N帧参考图像，确定N帧参考图像各自对应的稠密点云数据。高程信息确定单元703配置为，基于N帧参考图像各自对应的稠密点云数据，确定N帧参考图像各自对应的高程信息。正射图像确定单元704配置为，基于M-N帧非参考图像各自对应的成像位姿信息、N帧参考图像各自对应的高程信息，确定M帧图像各自对应的当前时刻的正射图像。
图12所示为本申请一示例性实施例提供的正射图像确定单元的结构示意图。如图12所示，本申请实施例提供的正射图像生成装置中，正射图像确定单元704包括第一确定子单元7040和第二确定子单元7041。
第一确定子单元7040配置为，基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的正射图像。第二确定子单元7041配置为，基于M-N帧非参考图像各自对应的成像位姿信息、M-N帧非参考图像各自对应的相机参数信息以及N帧参考图像各自对应的高程信息，确定M-N帧非参考图像各自对应的当前时刻的正射图像。
图13所示为本申请一示例性实施例提供的第一确定子单元的结构示意图。如图13所示，本申请实施例提供的正射图像生成装置中，第一确定子单元7040包括图像矩阵模板确定子单元7140、图像像素数据确定子单元7240以及第三确定子单元7340。
图像矩阵模板确定子单元7140配置为，基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的图像矩阵模板。图像像素数据确定子单元7240配置为，基于N帧参考图像各自对应的高程信息，确定N帧参考图像各自对应的图像像素数据。第三确定子单元7340配置为，基于N帧参考图像各自对应的图像矩阵模板和图像像素数据，确定N帧参考图像各自对应的正射图像。
图14所示为本申请一示例性实施例提供的稠密点云数据确定单元的结构示意图。如图14所示，本申请实施例提供的正射图像生成装置中，稠密点云数据确定单元702包括第四确定子单元7021和第五确定子单元7022。
第四确定子单元7021配置为，基于N帧参考图像，确定N帧参考图像各自对应的相机位姿和稀疏点云数据。第五确定子单元7022配置为，基于N帧参考图像各自对应的相机位姿和稀疏点云数据，确定N帧参考图像各自对应的稠密点云数据。
图15所示为本申请一示例性实施例提供的第五确定子单元的结构示意图。如图15所示，本申请实施例提供的正射图像生成装置中，第五确定子单元7022包括第六确定子单元7122、第七确定子单元7222以及第八确定子单元7322。
第六确定子单元7122配置为，针对N帧参考图像中的每帧参考图像，确定每帧参考图像对应的下一帧图像，其中，下一帧图像为在当前时刻对应的下一时刻采集的图像。第七确定子单元7222配置为，基于每帧参考图像对应的相机位姿和稀疏点云数据以及下一帧图像对应的相机位姿和稀疏点云数据，确定每帧参考图像对应的深度图。第八确定子单元7322配置为，基于每帧参考图像对应的深度图和相机矩阵信息，确定每帧参考图像对应的稠密点云数据。
图16所示为本申请一示例性实施例提供的正射指数图生成装置的结构示意图。如图16所示，本申请实施例提供的正射指数图生成装置，该装置包括第三确定模块800和第四确定模块900。
第三确定模块800配置为，确定M帧图像各自对应的当前时刻的正射图像，其中，M帧图像为飞行器的不同波段的M个相机采集的当前时刻的图像，M帧图像各自对应的当前时刻的正射图像基于上述任一实施例提及的正射图像生成方法确定。第四确定模块900配置为，基于M帧图像各自对应的当前时刻的正射图像，确定当前时刻的正射指数图。
示例性电子设备
下面，参考图17来描述根据本申请实施例的电子设备。图17所示为本申请一示例性实施例提供的电子设备的结构示意图。
如图17所示，电子设备1000包括一个或多个处理器1001和存储器1002。
处理器1001可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1000中的其他组件以执行期望的功能。
存储器1002可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1001可以运行所述程序指令，以实现上文所述的本申请的各个实施例的正射图像生成方法和/或正射指数图生成方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如当前时刻M个相机对应的M帧图像等各种内容。
在一个示例中，电子设备1000还可以包括：输入装置1003和输出装置1004，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置1003可以包括例如键盘、鼠标等等。
该输出装置1004可以向外部输出各种信息，包括当前时刻的正射图像等。该输出装置1004可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图17中仅示出了该电子设备1000中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1000还可以包括任何其他适当的组件。
示例性计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本申请各种实施例的正射图像生成方法和/或正射指数图生成方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的正射图像生成方法和/或正射指数图生成方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (11)
1.一种正射图像生成方法，其特征在于，包括：
基于飞行器的不同波段的M个相机，采集当前时刻所述M个相机对应的M帧图像，M为大于1的正整数；
基于所述M帧图像，确定所述M帧图像各自对应的成像位姿信息；
基于所述M帧图像各自对应的成像位姿信息，确定所述M帧图像各自对应的当前时刻的正射图像。
2.根据权利要求1所述的正射图像生成方法，其特征在于，所述基于所述M帧图像各自对应的成像位姿信息，确定所述M帧图像各自对应的当前时刻的正射图像，包括：
划分所述M帧图像，得到N帧参考图像和M-N帧非参考图像，其中，N为小于M的正整数；
基于所述N帧参考图像，确定所述N帧参考图像各自对应的稠密点云数据；
基于所述N帧参考图像各自对应的稠密点云数据，确定所述N帧参考图像各自对应的高程信息；
基于所述M-N帧非参考图像各自对应的成像位姿信息、所述N帧参考图像各自对应的高程信息，确定所述M帧图像各自对应的当前时刻的正射图像。
3.根据权利要求2所述的正射图像生成方法，其特征在于，所述基于所述M-N帧非参考图像各自对应的成像位姿信息、所述N帧参考图像各自对应的高程信息，确定所述M帧图像各自对应的当前时刻的正射图像，包括：
基于所述N帧参考图像各自对应的高程信息，确定所述N帧参考图像各自对应的正射图像；
基于所述M-N帧非参考图像各自对应的成像位姿信息、所述M-N帧非参考图像各自对应的相机参数信息以及所述N帧参考图像各自对应的高程信息，确定所述M-N帧非参考图像各自对应的当前时刻的正射图像。
4.根据权利要求3所述的正射图像生成方法，其特征在于，所述基于所述N帧参考图像各自对应的高程信息，确定所述N帧参考图像各自对应的正射图像，包括：
基于所述N帧参考图像各自对应的高程信息，确定所述N帧参考图像各自对应的图像矩阵模板；
基于所述N帧参考图像各自对应的高程信息，确定所述N帧参考图像各自对应的图像像素数据；
基于所述N帧参考图像各自对应的图像矩阵模板和图像像素数据，确定所述N帧参考图像各自对应的正射图像。
5.根据权利要求2至4任一项所述的正射图像生成方法，其特征在于，所述基于所述N帧参考图像，确定所述N帧参考图像各自对应的稠密点云数据，包括：
基于所述N帧参考图像，确定所述N帧参考图像各自对应的相机位姿和稀疏点云数据；
基于所述N帧参考图像各自对应的相机位姿和稀疏点云数据，确定所述N帧参考图像各自对应的稠密点云数据。
6.根据权利要求5所述的正射图像生成方法，其特征在于，所述基于所述N帧参考图像各自对应的相机位姿和稀疏点云数据，确定所述N帧参考图像各自对应的稠密点云数据，包括：
针对所述N帧参考图像中的每帧参考图像，
确定所述每帧参考图像对应的下一帧图像，其中，所述下一帧图像为在所述当前时刻对应的下一时刻采集的图像；
基于所述每帧参考图像对应的相机位姿和稀疏点云数据以及所述下一帧图像对应的相机位姿和稀疏点云数据，确定所述每帧参考图像对应的深度图；
基于所述每帧参考图像对应的深度图和相机矩阵信息，确定所述每帧参考图像对应的稠密点云数据。
7.一种正射指数图生成方法，其特征在于，包括：
确定M帧图像各自对应的当前时刻的正射图像，其中，所述M帧图像为飞行器的不同波段的M个相机采集的当前时刻的图像，所述M帧图像各自对应的当前时刻的正射图像基于权利要求1至6任一项所述的正射图像生成方法确定；
基于所述M帧图像各自对应的当前时刻的正射图像，确定当前时刻的正射指数图。
8.一种正射图像生成装置，其特征在于，包括：
采集模块，配置为基于飞行器的不同波段的M个相机，采集当前时刻所述M个相机对应的M帧图像，M为大于1的正整数；
第一确定模块，配置为基于所述M帧图像，确定所述M帧图像各自对应的成像位姿信息；
第二确定模块，配置为基于所述M帧图像各自对应的成像位姿信息，确定所述M帧图像各自对应的当前时刻的正射图像。
9.一种正射指数图生成装置，其特征在于，包括：
第三确定模块，配置为确定M帧图像各自对应的当前时刻的正射图像，其中，所述M帧图像为飞行器的不同波段的M个相机采集的当前时刻的图像，所述M帧图像各自对应的当前时刻的正射图像基于权利要求1至6任一项所述的正射图像生成方法确定；
第四确定模块，配置为基于所述M帧图像各自对应的当前时刻的正射图像，确定当前时刻的正射指数图。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7任一项所述的方法。
11.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111470284.7A CN114359425A (zh) | 2021-12-03 | 2021-12-03 | 正射图像生成方法及装置、正射指数图生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111470284.7A CN114359425A (zh) | 2021-12-03 | 2021-12-03 | 正射图像生成方法及装置、正射指数图生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114359425A true CN114359425A (zh) | 2022-04-15 |
Family
ID=81097837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111470284.7A Pending CN114359425A (zh) | 2021-12-03 | 2021-12-03 | 正射图像生成方法及装置、正射指数图生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359425A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998496A (zh) * | 2022-05-27 | 2022-09-02 | 北京航空航天大学 | 一种基于场景航拍图及稀疏点云的正射影像快速生成方法 |
-
2021
- 2021-12-03 CN CN202111470284.7A patent/CN114359425A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998496A (zh) * | 2022-05-27 | 2022-09-02 | 北京航空航天大学 | 一种基于场景航拍图及稀疏点云的正射影像快速生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220343598A1 (en) | System and methods for improved aerial mapping with aerial vehicles | |
| US20210141378A1 (en) | Imaging method and device, and unmanned aerial vehicle | |
| CN104835138B (zh) | 使地基图像和航拍图像对准 | |
| US10580204B2 (en) | Method and device for image positioning based on 3D reconstruction of ray model | |
| Rodriguez-Gonzalvez et al. | Image-based modeling of built environment from an unmanned aerial system | |
| WO2019100219A1 (zh) | 输出影像生成方法、设备及无人机 | |
| Barazzetti et al. | True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach | |
| US11769225B2 (en) | Image processing apparatus, image processing method, and program | |
| CN106575447A (zh) | 构建3d结构 | |
| Ribera et al. | Estimating phenotypic traits from UAV based RGB imagery | |
| CN114943773A (zh) | 相机标定方法、装置、设备和存储介质 | |
| JP2020008802A (ja) | 三次元マップ生成装置および三次元マップ生成方法 | |
| WO2021056297A1 (zh) | 图像处理方法、设备、无人机、系统和存储介质 | |
| CN114529615B (zh) | 雷达标定方法、装置及存储介质 | |
| CN115423863A (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
| CN114359425A (zh) | 正射图像生成方法及装置、正射指数图生成方法及装置 | |
| CN113079369A (zh) | 摄像设备的确定方法及装置、存储介质、电子装置 | |
| WO2023098737A1 (zh) | 三维重建方法、电子设备和计算机可读存储介质 | |
| CN113674331A (zh) | 图像对齐方法和装置、电子设备和计算机可读存储介质 | |
| EP2879090B1 (en) | Aligning ground based images and aerial imagery | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| CN114419259B (zh) | 一种基于物理模型成像仿真的视觉定位方法及系统 | |
| CN108335329B (zh) | 应用于飞行器中的位置检测方法和装置、飞行器 | |
| CN114387532A (zh) | 边界的识别方法及其装置、终端、电子设备和无人设备 | |
| CN113781536A (zh) | 图像对齐方法和装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |