CN116228860A - 目标物的地理位置预测方法、装置、设备及存储介质 - Google Patents

目标物的地理位置预测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116228860A
CN116228860A CN202310149219.7A CN202310149219A CN116228860A CN 116228860 A CN116228860 A CN 116228860A CN 202310149219 A CN202310149219 A CN 202310149219A CN 116228860 A CN116228860 A CN 116228860A
Authority
CN
China
Prior art keywords
target
original
image
coordinate information
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310149219.7A
Other languages
English (en)
Inventor
刘建德
杨吉团
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Consys Technology Co ltd
Original Assignee
Shenzhen Consys Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Consys Technology Co ltd filed Critical Shenzhen Consys Technology Co ltd
Priority to CN202310149219.7A priority Critical patent/CN116228860A/zh
Publication of CN116228860A publication Critical patent/CN116228860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标物的地理位置预测方法、装置、设备及存储介质。该方法包括:获取目标图像以及目标图像的基本拍摄信息;从目标图像中确定至少一个目标物对应的目标点,并根据目标图像及基本拍摄信息确定至少一个目标点在目标图像中的目标图像坐标信息;采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息,以预测出至少一个目标物的地理位置。本申请的方法能够在多种场景使用,所以适用范围广;使用已训练至收敛的地理位置预测模型进行目标物的地理位置预测,结果准确,且同时能够对多个目标物进行预测,所以效率高。

Description

目标物的地理位置预测方法、装置、设备及存储介质
技术领域
本申请涉及深度学习技术,尤其涉及一种目标物的地理位置预测方法、装置、设备及存储介质。
背景技术
随着社会发展及生活需要,各个行业对自身行业感兴趣的物体或人的地理坐标信息需求增加,其中,感兴趣的物体或人看成是目标物,当确定出目标物的地理坐标信息后就便于需求者定位目标物,并找到目标物。
现有技术中目标物地理坐标信息的定位装置获取先验图像,其中,先验图像中包括至少一个预设目标物的地理坐标信息,采用拍摄设备采集目标图像,并将目标图像与先验图像进行匹配,寻找一个最匹配的先验图像。其中,目标图像中包括至少一个目标物,根据图像的宽和高、预设目标物的地理坐标信息以及目标物在目标图像中的图像坐标信息确定出目标物的地理坐标信息。
现有技术中依赖于先验图像,如果某个区域没有对应的先验图像,将无法使用现有技术确定出该区域中某目标物的地理坐标信息,所以适用范围小;现有技术中的拍摄设备采集目标图像的像幅较小,在目标图像中找不到足够数量多的匹配点与先验图像匹配,所以会产生较大误差;现有技术只能对单个目标物的地理坐标信息进行确定,降低效率。
发明内容
本申请提供一种目标物的地理位置预测方法、装置、设备及存储介质,用以解决适用范围小、误差大以及效率低的问题。
第一方面,本申请提供一种目标物的地理位置预测方法,所述方法包括:
获取目标图像以及所述目标图像的基本拍摄信息;
从所述目标图像中确定至少一个目标物对应的目标点,并根据所述目标图像及所述基本拍摄信息确定至少一个目标点在所述目标图像中的目标图像坐标信息;
采用已训练至收敛的地理位置预测模型根据所述目标图像、所述基本拍摄信息和所述目标图像坐标信息预测至少一个所述目标点的地理坐标信息,以预测出至少一个目标物的地理位置。
在一种方式中,所述获取目标图像以及所述目标图像的基本拍摄信息,包括:
接收拍摄设备发送的目标图像、目标图像尺寸及对应的目标拍摄参数,所述目标拍摄参数包括拍摄设备拍摄目标图像时的俯仰角、偏航角以及变焦倍数;
接收拍摄设备在拍摄目标图像时定位仪发送的无人机地理坐标信息,所述拍摄设备及所述定位仪位于所述无人机上;
将所述目标图像尺寸、所述目标拍摄参数及所述无人机地理坐标信息确定为所述基本拍摄信息。
在一种方式中,所述从所述目标图像中确定至少一个目标物对应的目标点,包括:
采用预设识别算法从所述目标图像中识别至少一个目标物;
将在目标图像中所述目标物的中心点确定为对应的目标点。
在一种方式中,所述根据所述目标图像及所述基本拍摄信息确定至少一个目标点在所述目标图像中的目标图像坐标信息,包括:
在所述目标图像中确定所述目标点在目标图像中的目标位置;
根据所述目标位置以及所述目标图像尺寸计算至少一个所述目标点在所述目标图像中的目标图像坐标信息。
在一种方式中,所述采用已训练至收敛的地理位置预测模型根据所述目标图像、所述基本拍摄信息和所述目标图像坐标信息预测至少一个所述目标点的地理坐标信息,包括:
将所述目标图像、所述基本拍摄信息和所述目标图像坐标信息输入至已训练至收敛的地理位置预测模型中;
采用所述已训练至收敛的地理位置预测模型预测至少一个所述目标点的地理坐标信息,并将预测出的至少一个所述目标点的地理坐标信息标注在目标图像对应的目标点周围预设位置处。
在一种方式中,所述采用已训练至收敛的地理位置预测模型根据所述目标图像、所述基本拍摄信息和所述目标图像坐标信息预测至少一个所述目标点的地理坐标信息,以预测出至少一个目标物的地理位置之前,所述方法还包括:
获取训练样本集;所述训练样本集中包括至少一个训练样本;
根据所述训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型。
在一种方式中,所述训练样本分为原始训练样本和扩充训练样本;
所述获取训练样本集,包括:
获取原始训练样本;
采用所述原始训练样本确定扩充训练样本。
在一种方式中,所述获取原始训练样本,包括:
接收拍摄设备发送的原始训练图像,原始训练图像尺寸及对应的原始拍摄参数;
接收拍摄设备在拍摄原始训练图像时定位仪发送的无人机的原始地理坐标信息;
接收定位仪发送的原始训练图像中至少一个原始样本点对应的原始真实地理坐标信息;
根据所述原始训练图像及所述原始训练图像尺寸确定至少一个原始样本点在所述原始训练图像中的原始图像坐标信息;
将所述原始训练图像、所述原始训练图像尺寸、所述原始拍摄参数、所述原始地理坐标信息、所述原始图像坐标信息及所述原始真实地理坐标信息确定为所述原始训练样本,并将原始样本点对应的真实地理坐标信息确定为原始训练样本的标注信息。
在一种方式中,所述采用所述原始训练样本确定扩充训练样本,包括:
获取所述原始训练样本对应的原始训练图像中的目标原始样本点;
根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离;所述中心点位于原始训练图像中心位置的点;
在所述第一真实距离所属水平线或所述第二真实距离所属垂直线内均匀选取至少一个扩充样本点,分别基于所述预设的几何关系公式、所述成像原理公式、所述第一真实距离及所述第二真实距离计算出各扩充样本点在所述原始训练图像中的扩充图像坐标信息;
根据所述目标原始样本点和中心点的原始真实地理坐标信息以及对应的真实距离确定各所述扩充样本点的扩充真实地理坐标信息;
根据所述原始训练图像、原始训练图像的原始基本拍摄信息、所述扩充图像坐标信息以及扩充真实地理坐标信息获得扩充训练样本。
在一种方式中,所述根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离,包括:
获取目标原始样本点的原始图像坐标信息;
获取拍摄设备的摄像头尺寸信息,以及获取拍摄设备拍摄所述原始训练图像时目标原始样本点在拍摄设备显示画面上的目标位置信息;
将目标原始样本点的原始图像坐标信息、所述摄像头尺寸信息及所述目标位置信息输入到成像原理公式中;
采用所述成像原理公式计算与目标原始样本点在水平方向对应的第一位置线的距离及在垂直方向对应的第二位置线的距离,所述第一位置线位于拍摄设备与第一真实距离所属水平线组成的平面内,与拍摄设备位置线平行;所述第二位置线位于拍摄设备与第二真实距离所属垂直线组成的平面内,在垂直方向上与拍摄设备位置线平行;
采用预设的几何关系公式基于所述第一位置线的距离及所述第二位置线的距离计算所述第一真实距离及所述第二真实距离。
在一种方式中,所述根据所述训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型,包括:
将训练样本输入至预设的预测地理位置模型中,以获得所述训练样本中的样本点对应的预测地理坐标信息;
将所述预测地理坐标信息以及所述样本点的真实地理坐标信息输入至预设损失函数中,并计算对应的损失值;
响应于所述损失值符合预设收敛条件,确定满足预设收敛条件的预测地理位置模型为已训练至收敛的预测地理位置信息模型;
响应于所述损失值不符合预设收敛条件,继续优化预测地理位置模型的模型参数,获得更新的预测地理位置模型,并继续执行对预设地理位置预测模型进行训练的步骤,直到所述损失值符合预设收敛条件为止。
第二方面,本申请提供一种目标物的地理位置预测装置,所述装置包括:
获取模块,用于获取目标图像以及所述目标图像的基本拍摄信息;
确定模块,用于从所述目标图像中确定至少一个目标物对应的目标点,并根据所述目标图像及所述基本拍摄信息确定至少一个目标点在所述目标图像中的目标图像坐标信息;
预测模块,用于采用已训练至收敛的地理位置预测模型根据所述目标图像、所述基本拍摄信息和所述目标图像坐标信息预测至少一个所述目标点的地理坐标信息,以预测出至少一个目标物的地理位置。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面或任一种方式中所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如如第一方面或任一种方式中所述的方法。
本申请提供的一种目标物的地理位置预测方法、装置、设备及存储介质,该方法包括:获取目标图像以及目标图像的基本拍摄信息;从目标图像中确定至少一个目标物对应的目标点,并根据目标图像及基本拍摄信息确定至少一个目标点在目标图像中的目标图像坐标信息;采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息,以预测出至少一个目标物的地理位置。本申请目标物的地理位置预测装置(以下简称预测装置)首先获取目标图像及目标图像的基本拍摄信息,从而预测装置在目标图像中确定至少一个目标点,根据基本拍摄信息确定出至少一个目标点的目标图像坐标信息,从而预测出至少一个目标物的地理位置。本申请中,可以从目标图像中确定出至少一个目标点,所以能够实现对多个目标点的地理坐标信息的预测,从而本申请方法效率高;本申请采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标点的地理坐标信息进行预测,从而预测出目标物的地理位置,由于本申请是采用已训练至收敛的地理位置预测模型对目标物地理位置进行预测,该模型经过深度学习训练之后达到收敛,模型参数较优,具有较高的准确度,所以最终通过该模型预测出的目标点的地理坐标信息准确,进一步的目标物的地理位置也准确。本申请已训练至收敛的地理位置预测模型可以对任何目标图像进行预测,不依赖于现有技术中的先验图像,只要能够获取到目标图像、基本拍摄信息和目标点的地理坐标信息就能预测出目标物的地理位置,本申请对目标图像的区域及场景不做限制,所以本申请方法适用范围广。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请提供的一种目标物的地理位置预测方法的应用场景图;
图2为本申请实施例一提供的一种目标物的地理位置预测方法的流程示意图;
图3为本申请实施例二提供的一种目标物的地理位置预测方法的流程示意图;
图4为本申请实施例四提供的一种目标图像坐标信息的示意图;
图5为本申请实施例六提供的一种目标物的地理位置预测方法的流程示意图;
图6为本申请实施例六提供的一种原始训练样本的示意图;
图7为本申请实施例七提供的一种目标物的地理位置预测方法的流程示意图;
图8为本申请实施例八提供的一种目标物的地理位置预测方法的流程示意图;
图9为本申请实施例八提供的一种扩充训练样本的示意图;
图10为本申请实施例八提供的一种扩充图像坐标信息确定方法的示意图;
图11为本申请实施例八提供的一种扩充真实地理坐标信息确定方法的示意图;
图12为本申请实施例九提供的一种目标物的地理位置预测方法的流程示意图;
图13为本申请实施例十提供的一种目标物的地理位置预测方法的流程示意图;
图14为本申请实施例十一提供的一种目标物的地理位置预测装置示意图;
图15为本申请实施例十二提供的一种电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
现有技术中目标物地理坐标信息的定位装置获取先验图像,其中,先验图像中包括至少一个预设目标物的地理坐标信息,采用拍摄设备采集目标图像,并将目标图像与先验图像进行匹配,在至少一张先验图像中找到与目标图像最匹配的目标先验图像,该目标先验图像的拍摄区域与目标图像的拍摄区域吻合度最高。在目标先验图像中包括至少一个预设目标物的地理坐标信息,目标图像中包括一个目标物,在目标先验图像中确定出目标物的位置,并根据目标先验图像的宽和高确定出目标物假设在目标先验图像中的图像坐标信息,接着根据多个预设目标物的地理坐标信息以及目标物在目标先验图像中的图像坐标信息确定出目标物的地理坐标信息。
现有技术中依赖于先验图像,如果某个区域没有对应的先验图像,将无法使用现有技术找出目标先验图像,无法确定出该区域中某目标物的地理坐标信息,所以适用范围小;现有技术中的拍摄设备采集目标图像的像幅较小,在目标图像中找不到足够数量多的匹配点与先验图像匹配,所以会产生较大误差;现有技术只能对单个目标物的地理坐标信息进行确定,降低效率。
为了解决现有技术的缺陷,本方案发明人经过创造性研究,设计一种新的方案。本方案提供一种目标物的地理位置预测方法,为了解决适用范围小的问题,本申请只要获取到任何一张目标图像、目标图像的基本拍摄信息及目标图像中的目标点的地理坐标信息,就能采用已训练至收敛的地理位置预测模型对目标物的地理位置进行预测,所以对目标图像所属区域及场景没有限制,也不依赖于必须有一张先验图像与目标图像匹配,所以本申请能够对各种目标图像中的目标物的地理位置进行预测,从而本申请的适用范围广;为了解决误差较大的问题,本申请采用已训练至收敛的地理位置预测模型对目标点的地理坐标信息进行预测,从而确定出目标物的地理位置,由于本申请中的已训练至收敛的地理位置预测模型已经经过深度学习进行训练后,模型参数达到收敛的一个预测模型,对目标点的地理坐标信息预测具有准确性,所以也能够准确地预测出目标物的地理位置,从而本申请误差小,具有较高的准确度;为了解决效率低的问题,本申请已训练至收敛的地理位置预测模型能够对目标图像中的至少一个目标点的地理坐标信息进行并行预测,所以在一定时间内,已训练至收敛的地理位置预测模型能够输出多个地理坐标信息,从而能够确定出多个目标物的地理位置,所以本申请的效率高。
下面对本申请提供一种目标物的地理位置预测方法、装置、设备及存储介质的应用场景进行介绍。
图1为本申请提供的一种目标物的地理位置预测方法的应用场景图。如图1所示,该应用场景图包括拍摄设备101、定位仪102以及电子设备103,其中,拍摄设备101和定位仪102位于无人机104上。电子设备103中包括目标物的地理位置预测装置(以下简称预测装置)105,预测装置105中包括已训练至收敛的地理位置预测模型(以下简称预测模型)106。
其中,电子设备103与拍摄设备101和定位仪102连接,其中,连接方式可以是有线连接或者是无线连接。
其中,拍摄设备101用于拍摄图像以及获得拍摄参数;定位仪102用于确定物体的经度,纬度和海拔,将经度,纬度及海拔统称为地理坐标信息。其中,拍摄参数包括拍摄设备拍摄目标图像时的俯仰角、偏航角以及变焦倍数,将拍摄参数和无人机104的无人机地理坐标信息统称为基本拍摄信息。
具体的,拍摄设备101在目标区域内拍摄图像,以获得目标图像,在目标图像上可以显示目标图像的尺寸,从而拍摄设备101获得目标图像的尺寸,同时,拍摄设备101获得拍摄目标图像时的拍摄参数。其中,目标图像中包括至少一个目标物。定位仪102定位所处位置,确定无人机104的无人机地理坐标信息。拍摄设备101向电子设备102发送目标图像、目标图像的尺寸以及拍摄参数,定位仪102向电子设备102发送无人机地理坐标信息。
进一步的,电子设备103将获得目标图像、目标图像尺寸以及基本拍摄信息发送至预测装置105,预测装置105从目标图像中确定至少一个目标物对应的目标点,然后预测装置105根据基本拍摄信息中的目标图像尺寸从而确定出至少一个目标点在目标图像中的目标图像坐标信息。
进一步的,预装装置105将目标图像、基本拍摄信息和目标点的图像坐标信息发送至预测模型106,采用预测模型106预测出至少一个目标点的地理坐标信息,从而预测装置105预测出至少一个目标物的地理位置。
其中,目标点可以为目标物的中心点或者其他点。目标物可以是任何物体,例如,车和树等,此处不做限制。
需要说明的是,本申请的方法可以应用于实际生活中对任一目标物的定位,也可用于特定场景中对特定目标物的定位,本申请的应用场景不受限制。
本申请提供的目标物地理坐标信息的预测的方法,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几条具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
实施例一
图2为本申请实施例一提供的一种目标物的地理位置预测方法的流程示意图。本实施例方法的执行主体为目标物的地理位置预测装置(以下简称预测装置),如图2所示,具体步骤如下。
S201,获取目标图像以及目标图像的基本拍摄信息。
其中,目标图像可以是任何区域内的图像。目标图像由拍摄设备获得,其中,拍摄设备可以是任何相机或其他具有拍摄功能的设备。需要说明的是,为了能够使得目标图像更加清晰,可以使用参数较好的拍摄设备。
其中,目标图像的基本拍摄信息是指拍摄目标图像时关于目标图像的基本信息、目标拍摄参数信息以及其他相关设备的基本信息。
需要说明的是,本实施例可借助无人机实现拍摄目标区域,从而获得目标图像。其他相关设备可以是定位仪,其中,定位仪可以获取拍摄目标图像时无人机所处地理坐标信息,称为无人机地理坐标信息。
具体的,拍摄设备将拍摄到的目标图像、目标图像的基本信息以及目标拍摄参数发送至预测装置,同时,定位仪将获得的无人机地理坐标信息发送至预测装置。其中,目标图像的基本信息可以为目标图像尺寸。
进一步的,从而预测装置获得目标图像以及目标图像的基本拍摄信息。
S202,从目标图像中确定至少一个目标物对应的目标点,并根据目标图像及基本拍摄信息确定至少一个目标点在目标图像中的目标图像坐标信息。
其中,目标点可以为目标物的中心点或者其他点。可以理解的是,在一张目标图像中可以存在至少一个目标物对应的目标点。
具体的,预测装置从目标图像中确定出至少一个目标点,为便于区分各个目标点,可以对各个目标点进行标注。进一步的,预测装置将对至少一个目标点的目标图像坐标信息进行计算,具体的,预测装置根据目标点在目标图像中的位置,然后根据基本拍摄信息确定出目标点的目标图像坐标信息。
S203,采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息,以预测出至少一个目标物的地理位置。
其中,已训练至收敛的地理位置预测模型(以下简称预测模型)是指模型参数经过深度学习后训练至收敛的一种用于预测目标物地理位置的模型。
其中,地理坐标信息是指该位置上的经度、纬度以及海拔。
具体的,预测装置将目标图像、基本拍摄信息以及目标图像坐标信息发送至预测模型中,接着预测模型预测对应目标点的地理坐标信息。
可以理解的是,一张目标图像中包括至少一个目标点,此时各目标点对应的基本拍摄信息都是一致的。
示例性的,假设目标图像中有两个目标点,分别为目标点1和目标点2,由于目标点1和目标点2来自同一张目标图像,所以目标点1和目标点2对应的基本拍摄信息是一致的。将目标图像、基本拍摄信息以及目标点1的目标图像坐标信息输入至预测模型中,从而预测出目标点1的地理坐标信息,从而预测出目标物1的地理位置。将目标图像、基本拍摄信息以及目标点2的目标图像坐标信息输入至预测模型中,从而预测出目标点2的地理坐标信息,从而预测出目标物2的地理位置。
本实施例提供一种目标物的地理位置预测方法,包括:获取目标图像以及目标图像的基本拍摄信息;从目标图像中确定至少一个目标物对应的目标点,并根据目标图像及基本拍摄信息确定至少一个目标点在目标图像中的目标图像坐标信息;采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息,以预测出至少一个目标物的地理位置。本实施例预测装置首先获取目标图像及目标图像的基本拍摄信息,从而预测装置在目标图像中确定至少一个目标点,根据基本拍摄信息确定出至少一个目标点的目标图像坐标信息,从而预测出至少一个目标物的地理位置。本实施例中,可以从目标图像中确定出至少一个目标点,所以能够实现对多个目标点的地理坐标信息的预测,从而本实施例方法效率高;本实施例采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标点的地理坐标信息进行预测,从而预测出目标物的地理位置,由于本实施例是采用已训练至收敛的地理位置预测模型对目标物地理位置进行预测,该模型经过深度学习训练之后达到收敛,模型参数较优,具有较高的准确度,所以最终通过该模型预测出的目标点的地理坐标信息准确,进一步的目标物的地理位置也准确。本实施例已训练至收敛的地理位置预测模型可以对任何目标图像进行预测,不依赖于现有技术中的先验图像,只要能够获取到目标图像、基本拍摄信息和目标点的地理坐标信息就能预测出目标物的地理位置,本实施例对目标图像的区域及场景不做限制,所以本实施例方法适用范围广。
实施例二
图3为本申请实施例二提供的一种目标物的地理位置预测方法的流程示意图。本实施例是上述实施例一的进一步细化,本实施例是获取目标图像以及目标图像的基本拍摄信息的一种可选方式,如图3所示,具体步骤如下。
S301,接收拍摄设备发送的目标图像、目标图像尺寸及对应的目标拍摄参数,目标拍摄参数包括拍摄设备拍摄目标图像时的俯仰角、偏航角以及变焦倍数。
其中,目标图像尺寸是指图像的宽和高。目标图像的尺寸可以在目标图像上显示。
其中,俯仰角是机体坐标系X轴与水平面的夹角。当机体坐标系的X轴在惯性坐标系XOY平面上方时,俯仰角为正,否则为负。即平行于机身轴线并指向飞行器前方的向量与地面的夹角。
其中,偏航角是机体轴xt在水平面上的投影与地轴xd之间的夹角。
其中,变焦倍数为光学变焦倍数(Optical Zoom),是数码摄像机依靠光学镜头结构来实现变焦。光学变焦倍数越大,能拍摄的景物就越远。焦距和变焦倍数的关系呈现如下:
焦距=k*f+b
其中,k和b是线性模型参数。
具体的,拍摄设备在目标区域内拍摄图像,得到目标图像,拍摄设备同时获取到目标图像尺寸以及拍摄目标图像时的目标拍摄参数,将目标图像和目标图像尺寸发送至预测装置,预测装置接收拍摄设备发送的目标图像、目标图像尺寸以及目标拍摄参数。
S302,接收拍摄设备在拍摄目标图像时定位仪发送的无人机地理坐标信息,拍摄设备及定位仪位于无人机上。
其中,无人机(无人驾驶机)是一种机上无人驾驶,通过遥控或自主控制飞行、具有动力、能执行一定的任务、可重复使用的飞行器。
其中,定位仪是基于全球卫星定位系统(GPS)的定位仪器,可实现对车辆、数目等定位,并获得经度,纬度和海拔。
需要说明的是,在无人机上部署有拍摄设备和定位仪,从而无人机载着拍摄设备和定位仪在目标区域进行拍摄和定位。
具体的,在拍摄设备对目标区域进行拍摄时,获得目标图像的同时,定位仪定位当前无人机的地理位置,从而获得无人机地理坐标信息。可以理解的是,由于拍摄设备和定位仪都部署在无人机上,所以无人机地理坐标信息也是拍摄目标图像时的拍摄设备和定位仪的地理坐标信息。
进一步的,定位仪将获得的无人机地理坐标信息发送至预测装置,进而预测装置接收到无人机地理坐标信息。
S303,将目标图像尺寸、目标拍摄参数及无人机地理坐标信息确定为基本拍摄信息。
具体的,为了便于记录,预测装置将将目标图像尺寸、目标拍摄参数及无人机地理坐标信息确定为基本拍摄信息。
本实施例提供一种目标物的地理位置预测方法,在获取目标图像以及目标图像的基本拍摄信息时,具体包括:接收拍摄设备发送的目标图像、目标图像尺寸及对应的目标拍摄参数,目标拍摄参数包括拍摄设备拍摄目标图像时的俯仰角、偏航角以及变焦倍数;接收拍摄设备在拍摄目标图像时定位仪发送的无人机地理坐标信息,拍摄设备及定位仪位于无人机上;将目标图像尺寸、目标拍摄参数及无人机地理坐标信息确定为基本拍摄信息。本实施例中预测装置从拍摄设备中接收目标图像、目标图像尺寸及对应的目标拍摄参数,从定位仪出接收到无人机地理坐标信息,其中,由于目标拍摄参数中包括拍摄设备拍摄目标图像时的俯仰角、偏航角以及变焦倍数,所以预测装置接收到的目标拍摄参数维度多,所以数据全面;此外,无人机地理坐标信息也反映了拍摄设备的地理坐标信息,所以反映了拍摄设备拍摄目标图像时的地理位置。本实施例中基本拍摄信息包含内容全面。
实施例三
本实施例是上述实施例一或实施例二的进一步细化,本实施例是从目标图像中确定至少一个目标物对应的目标点的一种可选方式,具体内容如下。
采用预设识别算法从目标图像中识别至少一个目标物。
其中,预设识别算法是用于在目标图像中识别目标物的程序。
具体的,预测装置采用预设识别算法在目标图像中寻找目标物,从而识别至少一个目标物,为了便于区分,可以对目标物进行标注。
将在目标图像中目标物的中心点确定为对应的目标点。
进一步的,预测装置在确定出目标物的中心点,以中心点作为目标物的目标点。
本实施例提供一种目标物的地理位置预测方法,在从目标图像中确定至少一个目标物对应的目标点时,具体包括:采用预设识别算法从目标图像中识别至少一个目标物;将在目标图像中目标物的中心点确定为对应的目标点。本实施例中预测装置采用预设识别算法从目标图像中识别至少一个目标物,预测装置并确定出目标物的中心点,以中心点作为目标点。本实施例中以中心点作为目标点,由于中心的位置所处目标物的中心,能够代表目标物的地理位置,所以采用中心点作为目标点更加具有代表性。
实施例四
本实施例是上述任一实施例的进一步细化,本实施例是根据目标图像及基本拍摄信息确定至少一个目标点在目标图像中的目标图像坐标信息的一种可选方式,具体内容如下。
在目标图像中确定目标点在目标图像中的目标位置。
具体的,在目标图像中确定出目标点的目标位置。
根据目标位置以及目标图像尺寸计算至少一个目标点在目标图像中的目标图像坐标信息。
进一步的,预测装置根据目标图像尺寸以及目标位置计算出目标点的目标图像坐标信息。
图4为本申请实施例四提供的一种目标图像坐标信息的示意图。如图4所示,目标图像中包括目标点1和目标点2,目标图像尺寸为宽为1080像素,高为1920像素,确定出目标点1的目标位置为目标图像宽的一半,高的四分之一,从而确定出目标点1的目标图像坐标信息中的宽为540像素,高为480像素,所以目标点1的目标图像坐标信息为(540,480)。目标点2的目标位置为目标图像宽的四分之一,高的四分之三,从而确定出目标点2的目标图像坐标信息中的宽为270像素,高为1440像素,所以目标点2的目标图像坐标信息为(270,1440)。其中,以目标图像的左上角为原点(0,0)。
本实施例提供一种目标物的地理位置预测方法,在根据目标图像及基本拍摄信息确定至少一个目标点在目标图像中的目标图像坐标信息时,具体包括:在目标图像中确定目标点在目标图像中的目标位置;根据目标位置以及目标图像尺寸计算至少一个目标点在目标图像中的目标图像坐标信息。本实施例中预测装置首先确定出目标点所处目标位置,进一步根据所处目标位置以及目标图像尺寸计算目标点在目图像中的目标图像坐标信息,由于目标图像尺寸反映了目标图像大小,所以本实施例中基于目标位置和目标图像尺寸能够准确确定出各目标点的目标图像坐标信息。
实施例五
本实施例是上述任一实施例的进一步细化,本实施例在采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息的一种可选方式,具体内容如下。
将目标图像、基本拍摄信息和目标图像坐标信息输入至已训练至收敛的地理位置预测模型中。
采用已训练至收敛的地理位置预测模型预测至少一个目标点的地理坐标信息,并将预测出的至少一个目标点的地理坐标信息标注在目标图像对应的目标点周围预设位置处。
具体的,预测装置将采用预测模型根据目标图像、基本拍摄信息和目标图像坐标信息进行预测,得到目标点的地理坐标信息,并在目标点1周围预设位置标注目标点1的地理坐标信息。
示例性的,预测模型为Loc=w(I,P),其中,Loc为预测的目标点的地理坐标信息,I为目标图像,P包括基本拍摄信息和目标图像坐标信息,w为平衡参数,是一种模型参数。
需要说明的是,本实施例中预测模型为已训练至收敛的模型,所以平衡参数w已优化到满足收敛条件。
示例性的,将目标点1对应的目标图像(I)以及基本拍摄信息和目标点1对应的目标图像坐标信息作为P输入至Loc=w(I,P)中,从而输出目标点1的地理坐标信息Loc1。接着,预测装置将在目标点1周围预设位置处标注目标点1的地理坐标信息。
本实施例提供一种目标物的地理位置预测方法,在采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息时,具体包括:将目标图像、基本拍摄信息和目标图像坐标信息输入至已训练至收敛的地理位置预测模型中;采用已训练至收敛的地理位置预测模型预测至少一个目标点的地理坐标信息,并将预测出的至少一个目标点的地理坐标信息标注在目标图像对应的目标点周围预设位置处。本实施例中预测装置采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息进行至少一个目标点的地理坐标信息的预测,并在目标点周围预设位置处标注目标点的地理坐标信息。本实施例中采用的预测模型是已训练至收敛的,预测模型经过大量训练样本的训练,最终优化出的,所以基于预测模型准确地预测目标点的地理坐标信息,进而预测的目标点的地理坐标信息与真实地理坐标信息接近,提高准确率。
实施例六
图5为本申请实施例六提供的一种目标物的地理位置预测方法的流程示意图。本实施例是上述任一实施例的进一步细化,本实施例是采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息,以预测出至少一个目标物的地理位置之前的一种可选方式,如图5所示,具体步骤如下。
S501,获取训练样本集;训练样本集中包括至少一个训练样本。
其中,训练样本中包括训练图像、训练图像的基本拍摄信息以及训练图像中训练目标点对应的真实地理坐标信息。
具体的,在进行训练之前,拍摄设备获取至少一张训练图像,定位仪获得拍摄各训练图像时的无人机地理坐标信息以及训练图像中各训练目标点对应的真实地理坐标信息。从而获得至少一个训练样本,将所有训练样本集合在一起形成训练样本集。其中,训练样本集可存储在预测装置的存储区域中。
进一步的,预测装置可从自身存储区域中获取训练样本集。
S502,根据训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型。
具体的,预测装置将训练样本输入至预设地理位置预测模型中,从而预设地理位置预测模型将基于各训练样本对自身的模型参数进行优化,当优化至收敛时,模型参数达到最优,此时对应的地理位置预测模型为已训练至收敛的地理位置预测模型。
本实施例提供一种目标物的地理位置预测方法,在采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息,以预测出至少一个目标物的地理位置之前,具体还包括:获取训练样本集;训练样本集中包括至少一个训练样本;根据训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型。本实施例中,训练样本集中包括至少一个训练样本,从而预测装置基于训练样本对预测地理位置预测模型进行训练,由于训练样本可以为多个,从而使得对预设地理位置预测模型的训练数据较多,这就意味着训练样本足够,所以最终得到的已训练至收敛的地理位置预测模型较优。
在一种方式中,本方式中训练样本分为原始训练样本和扩充训练样本,本方式是获取训练样本集的一种可选方式,具体内容如下。
获取原始训练样本。
其中,原始训练样本包括原始训练图像、原始基本拍摄信息、原始样本点在原始训练图像中的原始图像坐标信息以及原始样本点对应的原始真实地理坐标信息。其中,原始样本点位于原始训练图像中,原始样本点对应的原始真实地理坐标信息是基于人为实地定位获得的,可以使用定位仪获得。可以理解的是,在原始训练图像中可以包含至少一个原始样本点,通常情况下,为了使得原始训练样本更多,所以可以在一张原始训练图像中设定多个原始训练样本。其中,原始训练图像至少为一张。
需要说明的是,一张原始训练图像中的多个原始训练样本对应的原始训练图像,原始基本拍摄信息是一致的,不同原始训练样本对应的原始图像坐标信息以及原始真实地理坐标信息是不同的。
采用原始训练样本确定扩充训练样本。
其中,原始训练样本是指基于训练图像得到的样本;扩充训练样本是基于原始训练样本扩充得到的样本。为了保证训练样本的数量足够多,本实施例采用对原始训练样本进一步扩充,从而获得更多数量的扩充训练样本。需要说明的是,原始训练样本中的部分数据是需要人为实地定位获得,而扩充训练样本中的所有数据是基于计算程序扩充而来的,不需要人为实地定位获得。
图6为本申请实施例六提供的一种原始训练样本的示意图。如图6所示,在一张原始训练图像A中,包括原始样本点1和原始样本点2,由于原始样本点1和原始样本点2在一张原始训练图像中,所以原始训练样本中的原始训练图像以及原始基本拍摄信息一致。为了便于描述,此处原始训练图像对应的原始基本拍摄信息为原始基本拍摄信息A。如图6所示,原始训练图像A尺寸为(1080,1920),原始样本点1的原始图像坐标信息为(648,960),以及原始真实地理坐标信息为(A1,B1,C1);原始样本点2的原始图像坐标信息为(540,480),以及原始真实地理坐标信息为(A2,B2,C2),其中,A1,B1,C1分别为原始样本点1对应的经度、纬度以及海拔,A2,B2,C2分别为原始样本点2对应的经度、纬度以及海拔,其中,A1,B1,C1,A2,B2以及C2不是实际数值,此处只是用于说明。所以,原始样本点1对应的原始训练样本1为原始训练图像A、原始基本拍摄信息A、(648,960)以及(A1,B1,C1);原始样本点2对应的原始训练样本2为原始训练图像A、原始基本拍摄信息A、(540,480)以及(A2,B2,C2)。其中,以原始训练图像A的左上角为原点(0,0)。
本方式中训练样本分为原始训练样本和扩充训练样本,在获取训练样本集时,具体包括:获取原始训练样本;采用原始训练样本确定扩充训练样本。本实施例中预测装置获取到训练样本后能够基于原始训练样本进行扩充,从而得到扩充训练样本,所以本实施例中不仅仅是只有原始训练样本,还有扩充训练样本,所以最终得到训练样本的数量扩大,获得足够多的训练样本,保证数量足够。
实施例七
图7为本申请实施例七提供的一种目标物的地理位置预测方法的流程示意图。本实施例是上述任一实施例的进一步细化,本实施例是获取原始训练样本的一种可选方式,如图7所示,具体步骤如下。
S701,接收拍摄设备发送的原始训练图像,原始训练图像尺寸及对应的原始拍摄参数。
其中,原始训练图像尺寸是原始训练图像的宽和高。
其中,原始拍摄参数包括拍摄设备拍摄原始训练图像时的俯仰角、偏航角以及变焦倍数。需要说明的是,原始拍摄参数可以根据实际情况做调整,此处不做限制。需要说明的是,原始拍摄参数和目标拍摄参数要一致。
具体的,拍摄设备部署在无人机上,无人机通过遥控控制在不同的区域内进行拍摄,为了使得原始训练图像更具泛化性,无人机可以在不同时间以及天气到不同区域内拍摄,获得多种多样的原始训练图像,原始训练图像上可显示原始训练图像尺寸。
可以理解的是,拍摄设备在拍摄每张原始训练图像时,也能获得拍摄各原始训练图像对应的原始拍摄参数。
需要说明的是,每一张原始训练图像的原始训练图像尺寸以及拍摄设备的拍摄参数可能不一样,所以每张原始训练图像对应的原始训练图像尺寸及原始拍摄参数需要分别记录下来。
具体的,拍摄设备获得原始训练图像,原始训练图像尺寸及对应的原始拍摄参数后,将发送至预测装置,从而预测装置接收到原始训练图像,原始训练图像尺寸及对应的原始拍摄参数。
S702,接收拍摄设备在拍摄原始训练图像时定位仪发送的无人机的原始地理坐标信息。
其中,定位仪的位置其实也反映了拍摄设备和无人机的位置。
具体的,拍摄设备在拍摄原始训练图像时,定位仪开启工作,定位当前无人机所处位置,从而获得无人机的原始地理坐标信息。
进一步的,定位仪将无人机的原始地理坐标信息发送至预测装置,从而预测装置获得无人机的原始地理坐标信息。
可以理解的是,每张原始训练图像在拍摄时无人机所处位置可能不一样,所以每张原始训练图像对应各自的无人机的原始地理坐标信息。
S703,接收定位仪发送的原始训练图像中至少一个原始样本点对应的原始真实地理坐标信息。
需要说明的是,拍摄设备拍摄到原始训练图像后,也将原始训练图像发送至相关工作人员,相关工作人员在原始训练图像中标注至少一个原始样本点,其中,原始样本点在原始训练图像中的位置支持实地定位,通常情况下,原始样本点可以为车辆、道路旁的路灯以及树木等,不宜选取河道中间、有车辆经过的道路中间以及危险位置等。此外,原始样本点在原始训练图像中清晰可见,易于寻找。
进一步的,相关工作人员确定出至少一个原始样本点,将实地定位到原始训练图像拍摄的区域,然后在该区域内实地定位到原始训练图像中的至少一个原始样本点。示例性的,如图6所示,原始训练图像A中包括原始样本点1和原始样本点2,则相关工作人员到达原始样本点1和原始样本点2,分别获取原始样本点1对应的地理坐标信息(A1,B1,C1)和原始样本点2对应的地理坐标信息(A2,B2,C2),由于此时的地理坐标信息为原始样本点的真实地理坐标信息,所以,原始样本点1的原始真实地理坐标信息为(A1,B1,C1),原始样本点1的原始真实地理坐标信息为(A1,B1,C1)。
进一步的,定位仪将原始样本点的原始真实地理坐标信息发送至预测装置,从而预测装置接收至少一个原始样本点的原始真实地理坐标信息。
S704,根据原始训练图像及原始训练图像尺寸确定至少一个原始样本点在原始训练图像中的原始图像坐标信息。
进一步的,预测装置根据原始训练图像尺寸确定原始训练图像中至少一个原始样本点对应的原始图像坐标信息。具体实现方式如实施例四一致,此处不再赘述。
示例性的,通过实施例四描述的方法,如图6所示,预测装置确定出原始样本点1的原始图像坐标信息为(648,960)以及原始样本点2的原始图像坐标信息为(540,480)。
S705,将原始训练图像、原始训练图像尺寸、原始拍摄参数、原始地理坐标信息、原始图像坐标信息及原始真实地理坐标信息确定为原始训练样本,并将原始样本点对应的真实地理坐标信息确定为原始训练样本的标注信息。
其中,可将原始训练图像尺寸、原始拍摄参数和原始地理坐标信息确定为原始基本拍摄信息。
具体的,预测装置将原始样本点对应的真实地理坐标信息确定为标注信息,以便于在原始训练图像中的原始样本点周围的预设位置标注对应的真实坐标信息。
本实施例提供一种目标物的地理位置预测方法,在获取原始训练样本时,接收拍摄设备发送的原始训练图像,原始训练图像尺寸及对应的原始拍摄参数;接收拍摄设备在拍摄原始训练图像时定位仪发送的无人机的原始地理坐标信息;接收定位仪发送的原始训练图像中至少一个原始样本点对应的原始真实地理坐标信息;根据原始训练图像及原始训练图像尺寸确定至少一个原始样本点在原始训练图像中的原始图像坐标信息;将原始训练图像、原始训练图像尺寸、原始拍摄参数、原始地理坐标信息、原始图像坐标信息及原始真实地理坐标信息确定为原始训练样本,并将原始样本点对应的真实地理坐标信息确定为原始训练样本的标注信息。本实施例中预测装置从拍摄设备处接收原始训练图像、原始训练图像尺寸以及原始拍摄参数,从定位仪处接收无人机的原始地理坐标信息以及至少一个原始样本点对应的原始真实地理坐标信息,预测装置将原始训练图像、原始训练图像尺寸、原始拍摄参数、原始地理坐标信息、原始图像坐标信息及原始真实地理坐标信息确定为原始训练样本,由此可见,原始训练样本包括的数据多,所以考虑更加全面,最终使得原始训练样本维度多,更具代表性。
实施例八
图8为本申请实施例八提供的一种目标物的地理位置预测方法的流程示意图。本实施例是上述任一实施例的进一步细化,本实施例是采用原始训练样本确定扩充训练样本的一种可选方式,如图8所示,具体步骤如下。
S801,获取原始训练样本对应的原始训练图像中的目标原始样本点。
其中,目标原始样本点为原始训练图像中的任一原始样本点。可以理解的是,目标原始样本点对应的原始图像坐标信息及原始真实地理坐标信息已知。
具体的,预测装置确定任一原始训练样本,然后基于原始训练样本确定出对应的原始训练图像,并在原始训练图像中与原始训练样本对应的原始样本点作为目标原始样本点。
示例性的,根据实施例六的描述,原始样本点1对应的原始训练样本为原始训练图像A、原始基本拍摄信息A、(648,960)以及(A1,B1,C1),预测装置首先基于原始样本点1对应的原始训练样本确定出对应的原始训练图像A,然后从原始训练图像A中确定出原始样本点1,将原始样本点1确定为目标原始样本点。
图9为本申请实施例八提供的一种扩充训练样本的示意图。如图9所示,展示的是拍摄设备在拍摄原始训练图像A时的状态,其中,拍摄设备的中心为C点,目标原始样本点为B点,B点可以为原始训练图像A中任意已知原始样本点,示例性的,B点可以为原始训练图像A中的原始样本点1。B点位于地面上,拍摄设备位于上空,B点的原始图像坐标信息为(Px-B,Py-B)。其中,O点为拍摄设备拍摄原始训练图像A时的中心点,CO为拍摄设备的中心光轴,以O点为基准,做出B点在水平方向的水平线以及垂直方向的垂直线,其中,水平线和垂直线的交叉点为A点,由此可知,OA为水平线,AB为垂直线,OAB平面位于地面。Px方向为垂直向下,代表图像坐标信息的宽度,Py方向为水平向右,代表图像坐标信息的高度。OA在Py方向上,AB在Px方向上。
S802,根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离;中心点位于原始训练图像中心位置的点。
其中,第一真实距离是指目标原始样本点以中心点为基准在水平方向上的水平线的真实距离;第一真实距离是指目标原始样本点以中心点为基准在垂直方向上的水平线的真实距离,其中,真实距离是指目标原始样本点在实际区域中水平线和垂直线的真实存在的距离。
如图9所示,第一真实距离是指水平线OA,第二真实距离是指垂直线AB。
进一步的,预测装置将基于成像原理公式和预设的几何关系公式计算出第一真实距离OA和第二真实距离AB。
S803,在第一真实距离所属水平线或第二真实距离所属垂直线内均匀选取至少一个扩充样本点,分别基于预设的几何关系公式、成像原理公式、第一真实距离及第二真实距离计算出各扩充样本点在原始训练图像中的扩充图像坐标信息。
具体的,预测装置在水平线或垂直线上均匀选取至少一个扩充样本点,然后基于第一真实距离或第二真实距离计算出各扩充样本点的在水平方向和垂直方向上的真实距离,然后将得到的水平方向的真实距离和垂直方向的真实距离输入至基于几何关系公式中,得到输出结果,将输出结果输入至成像原理公式中,从而获得各扩充样本点在原始训练图像中的图像坐标信息。
图10为本申请实施例八提供的一种扩充图像坐标信息确定方法的示意图。如图10所示,在AB的中心选取B1点,假设通过上述步骤计算出AB对应的第二真实距离,则可计算出AB1的真实距离为第二真实距离的一半。如图10所示,Px方向为垂直向下,代表图像坐标信息的宽度,Py方向为水平向右,代表图像坐标信息的高度。
可以理解的是,B1点和B点在Py方向上一致,所以B1点对应的高度为B点对应的高度,假设B点的原始图像坐标信息为(Px-B,Py-B),则B1点对应的高度为Py-B。
进一步的,根据预设的几何关系公式(如S1005中的(4)式),已知Lx=AB1,根据(4)式,可计算出对应的第二位置线L2,此时L2为图10中的E1D,接着根据成像原理公式(如S1003中的(2)式),计算出此时对应的Px,从而计算出B1点对应的Px,记为Px-B1,即为B1点对应的宽度。
进一步的,B1点对应的扩充图像坐标信息为(Px-B1,Py-B)。
在一种方式中,也可以在OA上均匀选取扩充样本点,根据预设的几何关系公式和成像原理公式计算出在OA上的扩充样本点对应的扩充图像坐标信息。
示例性的,在OA的中心选取一个扩充样本点,记为A1点,由于A1点在OA上,所以A1点对应的宽度为O点对应的宽度。假设已知O点原始图像坐标信息为(Px-O,Py-O),所以A1点对应的宽度为Px-A1=Px-O。
进一步的,预测装置计算出OA1的距离为第一真实距离(OA的距离)的一半,所以能确定出LOA1=0.5*LOA,其中,LOA1为OA1的距离,LOA为OA的距离。然后基于预设的几何关系(如S1005中的(3)式),计算出对应的第一位置线L1,接着根据成像原理公式(如S1003中的(1)式),计算出此时对应的Py,从而计算出A1点对应的Py,记为Py-A1,即为A1点对应的高度。
进一步的,A1点对应的扩充图像坐标信息为(Px-O,Py-A1)。
可以理解的是,预测装置根据选取扩充样本点在对应的真实距离上的比例,计算出扩充样本点在Px方向上或Py方向上对应的真实距离,从而基于预设的几何关系公式计算出对应的位置线距离,然后将对应的位置线距离输入至成像原理公式中,从而计算出扩充样本点对应的Px和Py。
S804,根据目标原始样本点和中心点的原始真实地理坐标信息以及对应的真实距离确定各扩充样本点的扩充真实地理坐标信息。
可以理解的是,在获得原始训练图像后,相关工作人员实地定位时,可以对原始训练图像的中心点的地理坐标信息进行定位,从而获得中心点的原始真实地理坐标信息。
图11为本申请实施例八提供的一种扩充真实地理坐标信息确定方法的示意图。如图11所示,第一真实距离所属水平线为OA,第二真实距离所属垂直线为AB。需要说明的是,OA在纬度方向上,AB在经度方向上,OA与AB垂直。在AB的中心选取一个扩充样本点,记为B1。其中,B点对应的原始图像坐标信息为(AB,BB,CB),其中,AB,BB以及CB分别为B点的经度,纬度以及海拔。由于B1点与B点处于同一经度上,所以B1点的经度为AB
进一步的,如图11所示,在平面OAB上,由于B1点为AB的中心,所以B1点的纬度位于A点和B点的中间,由于A点与O点位于同一纬度,所以A点的纬度与O点一致,假设O点的原始真实地理坐标信息为(AO,BO,CO),其中,AO,BO以及CO分别为O点的经度,纬度以及海拔。所以A点的纬度为Bo。
进一步的,B点的纬度为BB,A点的纬度为Bo,B1是AB的中点,所以B1的纬度为B点纬度和A点纬度加和的一半,所以BB1=(BB+BO)/2。
在一种方式中,B点的海拔为CB,O点的海拔为CO,在OB上确定一个B1’点,使得BB1’的距离等于BB1的距离,预测装置通过三角形勾股定理计算出OB的距离,接着,预测装置计算出BB1’的距离与OB距离的比值,假设比值为p,p=LBB1’/LOB,其中,LBB1’为BB1’的距离,LOB为OB的距离。则B1’点的海拔可用如下公式计算:CB1’=CB-(CB-CO)*p,其中,CB,CO以及p已知,所以能计算CB1’
进一步的,预测装置将CB1’对应的海拔确定为B1点对应的海拔,所以B1点的海拔为CB1’
进一步的,根据上述方法,最终得到B1点的扩充真实地理坐标信息为(AB,BB1,CB1’),其中,AB为B点的经度,BB1=(BB+BO)/2,CB1’=CB-(CB-CO)*p。需要说明的是,预测装置根据AB1的真实距离与第二真实距离的比例、目标原始样本点以及中心点的原始真实地理坐标信息计算出扩充样本点对应的扩充真实地理坐标信息。
S805,根据原始训练图像、原始训练图像的原始基本拍摄信息、扩充图像坐标信息以及扩充真实地理坐标信息获得扩充训练样本。
其中,原始基本拍摄信息包括原始训练图像尺寸、原始拍摄参数以及无人机的原始地理坐标信息。
进一步的,预测装置将原始训练图像,原始训练图像的原始基本拍摄信息、扩充图像坐标信息以及扩充真实地理坐标信息作为扩充训练样本。
可以理解的是,在原始训练图像中将增加扩充样本点。
需要说明的是,由于扩充样本点实际上是在原始训练图像中选取的,所以扩充样本点仍然对应原始训练图像以及原始基本拍摄信息与对应的原始训练样本一致。
示例性的,针对原始样本点1对应的原始训练样本为原始训练图像A、原始基本拍摄信息A、(648,960)以及(A1,B1,C1),在原始训练图像A中确定出一个扩充样本点,记为扩充样本点1,则其对应的扩充图像坐标信息为(Px1,Py1),扩充真实地理坐标信息为(A’1,B’1,C’1),则扩充样本点1对应的扩充训练样本为原始训练图像A、原始基本拍摄信息A、(Px,Py)以及(A’1,B’1,C’1),其中,Px1,Py1,A’1,B’1以及C’1不是实际数值,此处只是用于说明,其中,Px1为宽度,Py1为高度。
本实施例提供一种目标物的地理位置预测方法,在采用原始训练样本确定扩充训练样本时,具体包括:获取原始训练样本对应的原始训练图像中的目标原始样本点;根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离;中心点位于原始训练图像中心位置的点;在第一真实距离所属水平线或第二真实距离所属垂直线内均匀选取至少一个扩充样本点,分别基于预设的几何关系公式、成像原理公式、第一真实距离及第二真实距离计算出各扩充样本点在原始训练图像中的扩充图像坐标信息;根据目标原始样本点和中心点的原始真实地理坐标信息以及对应的真实距离确定各扩充样本点的扩充真实地理坐标信息;根据原始训练图像、原始训练图像的原始基本拍摄信息、扩充图像坐标信息以及扩充真实地理坐标信息获得扩充训练样本。本实施例中在原始训练图像中获取一个目标原始样本点,接着预测装置根据成像原始公式及预设的几何关系公式计算出第一真实距离和第二真实距离,接着在第一真实距离所属水平线或第二真实距离所属垂直线上均匀选取至少一个扩充样本点,然后计算出扩充样本点在原始训练图像中的扩充图像坐标信息,由于本实施例中扩充图像坐标信息是基于成像原理公式、预设的几何关系公式、第一真实距离和第二真实距离确定出的,由于第一真实距离和第二真实距离是实际真实存在的距离,所以最终得到的扩充图像坐标信息更加准确;进一步的,又基于目标原始样本点和中心点的原始真实地理坐标信息能确定出扩充样本点对应的扩充真实地理坐标信息,由于扩充真实地理坐标信息来源于目标原始样本点及中心点的真实地理坐标信息,同时借助于对应的真实距离,所以扩充真实地理坐标信息准确;另一方面,扩充真实地理坐标信息不依赖于相关工作人员实地定位获得,而是通过预测装置中的预设程序计算出来,因此获得扩充真实地理坐标信息的效率较高。
实施例九
图12为本申请实施例九提供的一种目标物的地理位置预测方法的流程示意图。本实施例是上述任一实施例的进一步细化,本实施例是根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离的一种可选方式,如图12所示,具体步骤如下。
S1201,获取目标原始样本点的原始图像坐标信息。
示例性的,如图9所示,目标原始样本点为B点,B点的原始图像坐标信息为(Px-B,Py-B),Px-B代表B点原始图像坐标信息的宽带,Py-B代表B点原始图像坐标信息的高度。
S1202,获取拍摄设备的摄像头尺寸信息,以及获取拍摄设备拍摄原始训练图像时目标原始样本点在拍摄设备显示画面上的目标位置信息。
其中,拍摄设备的摄像头有尺寸信息,一般可以存储在拍摄设备的存储区域中,也可标注在拍摄设备的实体装置上。摄像头尺寸信息为长度和宽度,分别用Cx和Cy表示,单位可为毫米。
其中,目标位置信息为目标原始样本在拍摄原始训练图像时目标原始样本在拍摄设备中的显示画面的位置信息。其中,目标位置信息为水平方向上的宽度以及垂直方向上的高度,分别用Sx和Sy表示,单位可为毫米。
其中,拍摄设备在拍摄原始训练图像时,拍摄设备中呈现原始训练图像画面,此时原始训练图像画面以中心点作为原点,目标原始样本点在原始训练图像画面中,拍摄设备确定出目标原始样本点在原始训练图像画面中的位置信息,将其确定为目标位置信息。
示例性的,如图9所示,以B点目标原始样本,假设预测装置获取到摄像头尺寸信息为(Cx-cream,Cy-cream),假设目标原始样本点对应的目标位置信息为(Sx-B,Sy-B)。
S1203,将目标原始样本点的原始图像坐标信息、摄像头尺寸信息及目标位置信息输入到成像原理公式中。
示例性的,预测装置将(Px-B,Py-B),(Cx-cream,Cy-cream)以及(Sx-B,Sy-B)输入至成像原理公式中。
其中,成像原理公式如下:
(1) Py/L1=(f*Cy)/(Sy*S)
(2) Px/L2=(f*Cx)/(Sx*S)
其中,Px为图像坐标信息的宽度,Py为图像坐标信息的高度;f为拍摄原始训练图像时的变焦倍数;Cx为拍摄设备的摄像头的长度,Cy为拍摄设备的摄像头的宽度;Sx和Sy为目标位置信息,Sx为水平方向上的宽度,Sy为垂直方向上的高度。其中,L1为第一位置线的距离,L1对应图9中的OD,L2为第二位置线的距离,对应图9中的ED的距离。S为拍摄设备与物平面与光轴AC交点的距离,即为图9中的CD的距离。
S1204,采用成像原理公式计算与目标原始样本点在水平方向对应的第一位置线的距离及在垂直方向对应的第二位置线的距离,第一位置线位于拍摄设备与第一真实距离所属水平线组成的平面内,与拍摄设备位置线平行;第二位置线位于拍摄设备与第二真实距离所属垂直线组成的平面内,在垂直方向上与拍摄设备位置线平行。
其中,第一位置线位于拍摄设备与水平线组成的平面内,第一位置线是水平物平面,与拍摄设备位置线平行,是拍摄设备理想状态下垂直拍摄平面所延伸出来的物平面。其中,拍摄设备位置线为拍摄设备与水平面倾斜所产生的位置线,如图9所示,拍摄设备位置线为h,第一位置线为OD,其中,OD与h平行,OD位于OAC平面内。
其中,第二位置线位于拍摄设备与垂直线组成的平面内,第二位置线是垂直物平面,与拍摄设备位置线平行,是拍摄设备理想状态下垂直拍摄平面所延伸出来的物平面。如图9所示,拍摄设备位置线为h,第二位置线为ED,其中,ED与h平行,ED位于ABC平面内。
具体的,基于成像原理公式,其中,f可以通过拍摄设备发送至预测装置得到,S可以通过预测装置计算得到,所以,通过成像原理公式,最终可以得到第一位置线的距离L1和第二位置线的距离L2。
S1205,采用预设的几何关系公式基于第一位置线的距离及第二位置线的距离计算第一真实距离及第二真实距离。
其中,预设的几何关系公式如下所示:
(3) Ly=L1*(sinθ*tan(θ+α)+cosθ)
(4) Lx=(L2*cosθ*cosα)/(cos(θ-α))
其中,θ为拍摄设备的俯仰角,α为拍摄设备的中心C点与水平线之间形成的角度,如图9所示,α为∠AOC。其中,Ly为第一真实距离,即为图9中的OA的距离;Lx为第二真实距离,即为图9中的AB的距离。
具体的,拍摄设备在拍摄原始训练图像时能获得原始拍摄参数,其中,原始拍摄参数包括拍摄设备拍摄目标图像时的俯仰角、偏航角以及变焦倍数,所以预测装置能获得该原始训练图像对应的俯仰角,其中,预测装置能计算出α。
进一步的,预测装置将第一位置线的距离L1输入至预设的几何关系公式(3)中,从而得到Ly,即得到第一真实距离。同时,预测装置将第二位置线的距离L2输入至预设的几何关系公式(4)中,从而得到Lx,即得到第二真实距离。
本实施例提供一种目标物的地理位置预测方法,在根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离时,具体包括:获取目标原始样本点的原始图像坐标信息;获取拍摄设备的摄像头尺寸信息,以及获取拍摄设备拍摄原始训练图像时目标原始样本点在拍摄设备显示画面上的目标位置信息;将目标原始样本点的原始图像坐标信息、摄像头尺寸信息及目标位置信息输入到成像原理公式中;采用成像原理公式计算与目标原始样本点在水平方向对应的第一位置线的距离及在垂直方向对应的第二位置线的距离,第一位置线位于拍摄设备与第一真实距离所属水平线组成的平面内,与拍摄设备位置线平行;第二位置线位于拍摄设备与第二真实距离所属垂直线组成的平面内,在垂直方向上与拍摄设备位置线平行;采用预设的几何关系公式基于第一位置线的距离及第二位置线的距离计算第一真实距离及第二真实距离。本实施例预测装置首先获取目标原始样本点的原始图像坐标信息,接着将获取到的摄像头尺寸信息和目标位置信息输入至成像原理公式中,从而计算出对应的第一位置线的距离和第二位置线的距离,进一步的,预测装置采用预设的几何关系公式根据第一位置线的距离及第二位置线的距离计算第一真实距离及第二真实距离,由于预设的几何关系是基于本身存在的几何关系生成的,所以,预测装置最终能够得到准确的第一真实距离和第二真实距离。所以,预测装置基于成像原理公式和预设的几何关系公式能够基于原始图像坐标信息准确计算出真实距离。
实施例十
图13为本申请实施例十提供的一种目标物的地理位置预测方法的流程示意图。本实施例是上述任一实施例的进一步细化,本实施例是根据训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型的一种可选方式,如图13所示,具体步骤如下。
S1301,将训练样本输入至预设的预测地理位置模型中,以获得样本中的训练样本点对应的预测地理坐标信息。
其中,训练样本点可以为原始样本点和扩充样本点。
其中,预设的预测地理位置模型的模型参数可能并未达到预设收敛条件,假设预设的预测地理位置模型为Loc=w(I,P),其中,w为平衡参数,是一种模型参数。
具体的,预测装置获取w最初的取值,该最初的取值可以为经验值。预测装置将训练样本输入至预设的预测地理位置模型中,并基于最初的取值进行计算,得到此时训练样本点对应的预测地理坐标信息。
S1302,将预测地理坐标信息以及样本点的真实地理坐标信息输入至预设损失函数中,并计算对应的损失值。
其中,预设损失函数为光滑损失函数,具体为Loss=Smooth-L1(Loc,Pos),其中,Loc为预测地理坐标信息,Pos为样本点对应的真实地理坐标信息。其中,Smooth-L1是指光滑损失函数。
具体的,预测装置将样本点对应的预测地理坐标信息和真实地理坐标信息输入至损失函数中,计算出对应的损失值。
S1303,响应于损失值符合预设收敛条件,确定满足预设收敛条件的预测地理位置模型为已训练至收敛的预测地理位置信息模型。
其中,预设收敛条件是对损失值进行预设,当损失值符合预设收敛条件,则证明样本点对应的预测地理坐标信息和真实地理坐标信息相差很小,说明预测地理坐标信息与真实坐标信息接近。
具体的,若损失值符合预设收敛条件,预测装置确定此时满足预设收敛条件的预测地理位置模型就为已训练至收敛的预测地理位置信息模型。
示例性的,假设使用预设的预测地理位置模型计算出的损失值符合预设收敛条件,则将Loc=w(I,P)确定为已训练至收敛的预测地理位置信息模型,此时,w为达到预设收敛条件。
S1304,响应于损失值不符合预设收敛条件,继续优化预测地理位置模型的模型参数,获得更新的预测地理位置模型,并继续执行对预设地理位置预测模型进行训练的步骤,直到损失值符合预设收敛条件为止。
其中,当损失值不符合预设收敛条件,则证明样本点对应的预测地理坐标信息和真实地理坐标信息相差很大,说明预测地理坐标信息与真实坐标信息不接近。
具体的,预测装置将对w进行优化,重新取值,然后得到一个更新的预测地理位置模型,根据上述S1301至S1302计算出损失值,然后再确定损失值是否符合预设收敛条件,如果损失值仍然不符合预设收敛条件,则继续优化预测地理位置模型的模型参数,直到基于该更新的预测地理位置模型计算出的损失值符合预设收敛条件为止,从而获得已训练至收敛的预测地理位置信息模型。
在一种方式中,表1为平衡参数w的取值。
表1:平衡参数w的取值
w 0.99 0.95 0.90 0.85 0.80 0.75 0.70 0.60 0.50
loss 2.59 2.67 1.33 0.92 1.13 1.64 2.03 4.25 3.98
如表1所示,当w取值为0.85时,损失值(Loss)最小。
本实施例提供一种目标物的地理位置预测方法,在根据训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型时,具体包括:将训练样本输入至预设的预测地理位置模型中,以获得训练样本中的样本点对应的预测地理坐标信息;将预测地理坐标信息以及样本点的真实地理坐标信息输入至预设损失函数中,并计算对应的损失值;响应于损失值符合预设收敛条件,确定满足预设收敛条件的预测地理位置模型为已训练至收敛的预测地理位置信息模型;响应于损失值不符合预设收敛条件,继续优化预测地理位置模型的模型参数,获得更新的预测地理位置模型,并继续执行对预设地理位置预测模型进行训练的步骤,直到损失值符合预设收敛条件为止。本实施例中预测装置首先将训练样本输入至预设的预测地理位置模型中,获得样本点对应的预测地理坐标信息,然后输入至预设损失函数中,由于预设损失函数是预测地理坐标信息和真实地理坐标信息的比较,所以得到准确的损失值,从而基于损失值确定是否符合预设收敛条件,若满足预设收敛条件,则将此时对应的预测地理位置模型确定为已训练至收敛的预测地理位置信息模型;若不符合预设收敛条件,则继续优化预测地理位置模型的模型参数,获得更新的预测地理位置模型,并进行训练。本实施例中采用预设损失函数计算出损失值,从而基于损失值确定出此时的预测地理位置信息模型是否为已训练至收敛的预测地理位置信息模型,由于预设收敛条件是提前预设的,当满足预设收敛条件,则此时的预测地理位置信息模型为一个较优的模型,能够准确地预测出地理坐标信息,所以基于预设收敛条件能够使得最终获得的已训练至收敛的预测地理位置信息模型中的模型参数更优。
实施例十一
下面是本申请的装置实施例。图14为本申请实施例十一提供的一种目标物的地理位置预测装置示意图。该装置140包括:
获取模块1401,用于获取目标图像以及目标图像的基本拍摄信息;
确定模块1402,用于从目标图像中确定至少一个目标物对应的目标点,并根据目标图像及基本拍摄信息确定至少一个目标点在目标图像中的目标图像坐标信息;
预测模块1403,用于采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息,以预测出至少一个目标物的地理位置。
在一种方式中,获取模块1401,在获取目标图像以及目标图像的基本拍摄信息时,具体用于:
接收拍摄设备发送的目标图像、目标图像尺寸及对应的目标拍摄参数,目标拍摄参数包括拍摄设备拍摄目标图像时的俯仰角、偏航角以及变焦倍数;接收拍摄设备在拍摄目标图像时定位仪发送的无人机地理坐标信息,拍摄设备及定位仪位于无人机上;将目标图像尺寸、目标拍摄参数及无人机地理坐标信息确定为基本拍摄信息。
在一种方式中,确定模块1402,在从目标图像中确定至少一个目标物对应的目标点时,具体用于:
采用预设识别算法从目标图像中识别至少一个目标物;将在目标图像中目标物的中心点确定为对应的目标点。
在一种方式中,确定模块1402,在根据目标图像及基本拍摄信息确定至少一个目标点在目标图像中的目标图像坐标信息时,具体用于:
在目标图像中确定目标点在目标图像中的目标位置;根据目标位置以及目标图像尺寸计算至少一个目标点在目标图像中的目标图像坐标信息。
在一种方式中,预测模块1403,在采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息时,具体用于:
将目标图像、基本拍摄信息和目标图像坐标信息输入至已训练至收敛的地理位置预测模型中;采用已训练至收敛的地理位置预测模型预测至少一个目标点的地理坐标信息,并将预测出的至少一个目标点的地理坐标信息标注在目标图像对应的目标点周围预设位置处。
在一种方式中,在采用已训练至收敛的地理位置预测模型根据目标图像、基本拍摄信息和目标图像坐标信息预测至少一个目标点的地理坐标信息,以预测出至少一个目标物的地理位置之前,本申请实施例提供一种目标物的地理位置预测装置,还包括:训练模块。
获取模块1401,还用于获取训练样本集;所训练样本集中包括至少一个训练样本;训练模块,用于根据训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型。
在一种方式中,训练样本分为原始训练样本和扩充训练样本;获取模块1301,在获取训练样本集时,具体用于:获取原始训练样本;采用原始训练样本确定扩充训练样本。
在一种方式中,获取模块1401,在获取原始训练样本时,具体用于:
接收拍摄设备发送的原始训练图像,原始训练图像尺寸及对应的原始拍摄参数;接收拍摄设备在拍摄原始训练图像时定位仪发送的无人机的原始地理坐标信息;接收定位仪发送的原始训练图像中至少一个原始样本点对应的原始真实地理坐标信息;根据原始训练图像及原始训练图像尺寸确定至少一个原始样本点在原始训练图像中的原始图像坐标信息;将原始训练图像、原始训练图像尺寸、原始拍摄参数、原始地理坐标信息、原始图像坐标信息及原始真实地理坐标信息确定为原始训练样本,并将原始样本点对应的真实地理坐标信息确定为原始训练样本的标注信息。
在一种方式中,获取模块1401,在采用原始训练样本确定扩充训练样本时,具体用于:
获取原始训练样本对应的原始训练图像中的目标原始样本点;根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离;中心点位于原始训练图像中心位置的点;在第一真实距离所属水平线或第二真实距离所属垂直线内均匀选取至少一个扩充样本点,分别基于预设的几何关系公式、成像原理公式、第一真实距离及第二真实距离计算出各扩充样本点在原始训练图像中的扩充图像坐标信息;根据目标原始样本点和中心点的原始真实地理坐标信息以及对应的真实距离确定各扩充样本点的扩充真实地理坐标信息;根据原始训练图像、原始训练图像的原始基本拍摄信息、扩充图像坐标信息以及扩充真实地理坐标信息获得扩充训练样本。
在一种方式中,获取模块1401,在根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离时,具体用于:
获取目标原始样本点的原始图像坐标信息;获取拍摄设备的摄像头尺寸信息,以及获取拍摄设备拍摄原始训练图像时目标原始样本点在拍摄设备显示画面上的目标位置信息;将目标原始样本点的原始图像坐标信息、摄像头尺寸信息及目标位置信息输入到成像原理公式中;采用成像原理公式计算与目标原始样本点在水平方向对应的第一位置线的距离及在垂直方向对应的第二位置线的距离,第一位置线位于拍摄设备与第一真实距离所属水平线组成的平面内,与拍摄设备位置线平行;第二位置线位于拍摄设备与第二真实距离所属垂直线组成的平面内,在垂直方向上与拍摄设备位置线平行;采用预设的几何关系公式基于第一位置线的距离及第二位置线的距离计算第一真实距离及第二真实距离。
在一种方式中,训练模块,在根据训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型时,具体用于:
将训练样本输入至预设的预测地理位置模型中,以获得训练样本中的样本点对应的预测地理坐标信息;将预测地理坐标信息以及样本点的真实地理坐标信息输入至预设损失函数中,并计算对应的损失值;响应于损失值符合预设收敛条件,确定满足预设收敛条件的预测地理位置模型为已训练至收敛的预测地理位置信息模型;响应于损失值不符合预设收敛条件,继续优化预测地理位置模型的模型参数,获得更新的预测地理位置模型,并继续执行对预设地理位置预测模型进行训练的步骤,直到损失值符合预设收敛条件为止。
实施例十二
图15为本申请实施例十二提供的一种电子设备的结构示意图。如图15所示,该电子设备150可以包括:处理器1501,以及与处理器1501通信连接的存储器1502。其中,存储器1502存储计算机执行指令;处理器1501执行存储器1502存储的计算机执行指令,以实现如上述实施例一至实施例十任一个方法实施例,具体实现方式和技术效果类似,这里不再赘述。
其中,本实施例中,存储器1502和处理器1501通过总线连接。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(Peripheral Component Interconnect,简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图15中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
实施例十三
本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如上述实施例一至实施例十任一个方法实施例,具体实现方式和技术效果类似,这里不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (14)

1.一种目标物的地理位置预测方法,其特征在于,所述方法包括:
获取目标图像以及所述目标图像的基本拍摄信息;
从所述目标图像中确定至少一个目标物对应的目标点,并根据所述目标图像及所述基本拍摄信息确定至少一个目标点在所述目标图像中的目标图像坐标信息;
采用已训练至收敛的地理位置预测模型根据所述目标图像、所述基本拍摄信息和所述目标图像坐标信息预测至少一个所述目标点的地理坐标信息,以预测出至少一个目标物的地理位置。
2.根据权利要求1所述的方法,其特征在于,所述获取目标图像以及所述目标图像的基本拍摄信息,包括:
接收拍摄设备发送的目标图像、目标图像尺寸及对应的目标拍摄参数,所述目标拍摄参数包括拍摄设备拍摄目标图像时的俯仰角、偏航角以及变焦倍数;
接收拍摄设备在拍摄目标图像时定位仪发送的无人机地理坐标信息,所述拍摄设备及所述定位仪位于所述无人机上;
将所述目标图像尺寸、所述目标拍摄参数及所述无人机地理坐标信息确定为所述基本拍摄信息。
3.根据权利要求1所述的方法,其特征在于,所述从所述目标图像中确定至少一个目标物对应的目标点,包括:
采用预设识别算法从所述目标图像中识别至少一个目标物;
将在目标图像中所述目标物的中心点确定为对应的目标点。
4.根据权利要求2所述的方法,其特征在于,所述根据所述目标图像及所述基本拍摄信息确定至少一个目标点在所述目标图像中的目标图像坐标信息,包括:
在所述目标图像中确定所述目标点在目标图像中的目标位置;
根据所述目标位置以及所述目标图像尺寸计算至少一个所述目标点在所述目标图像中的目标图像坐标信息。
5.根据权利要求1所述的方法,其特征在于,所述采用已训练至收敛的地理位置预测模型根据所述目标图像、所述基本拍摄信息和所述目标图像坐标信息预测至少一个所述目标点的地理坐标信息,包括:
将所述目标图像、所述基本拍摄信息和所述目标图像坐标信息输入至已训练至收敛的地理位置预测模型中;
采用所述已训练至收敛的地理位置预测模型预测至少一个所述目标点的地理坐标信息,并将预测出的至少一个所述目标点的地理坐标信息标注在目标图像对应的目标点周围预设位置处。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述采用已训练至收敛的地理位置预测模型根据所述目标图像、所述基本拍摄信息和所述目标图像坐标信息预测至少一个所述目标点的地理坐标信息,以预测出至少一个目标物的地理位置之前,所述方法还包括:
获取训练样本集;所述训练样本集中包括至少一个训练样本;
根据所述训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型。
7.根据权利要求6所述的方法,其特征在于,所述训练样本分为原始训练样本和扩充训练样本;
所述获取训练样本集,包括:
获取原始训练样本;
采用所述原始训练样本确定扩充训练样本。
8.根据权利要求7所述的方法,其特征在于,所述获取原始训练样本,包括:
接收拍摄设备发送的原始训练图像,原始训练图像尺寸及对应的原始拍摄参数;
接收拍摄设备在拍摄原始训练图像时定位仪发送的无人机的原始地理坐标信息;
接收定位仪发送的原始训练图像中至少一个原始样本点对应的原始真实地理坐标信息;
根据所述原始训练图像及所述原始训练图像尺寸确定至少一个原始样本点在所述原始训练图像中的原始图像坐标信息;
将所述原始训练图像、所述原始训练图像尺寸、所述原始拍摄参数、所述原始地理坐标信息、所述原始图像坐标信息及所述原始真实地理坐标信息确定为所述原始训练样本,并将原始样本点对应的真实地理坐标信息确定为原始训练样本的标注信息。
9.根据权利要求7所述的方法,其特征在于,所述采用所述原始训练样本确定扩充训练样本,包括:
获取所述原始训练样本对应的原始训练图像中的目标原始样本点;
根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离;所述中心点位于原始训练图像中心位置的点;
在所述第一真实距离所属水平线或所述第二真实距离所属垂直线内均匀选取至少一个扩充样本点,分别基于所述预设的几何关系公式、所述成像原理公式、所述第一真实距离及所述第二真实距离计算出各扩充样本点在所述原始训练图像中的扩充图像坐标信息;
根据所述目标原始样本点和中心点的原始真实地理坐标信息以及对应的真实距离确定各所述扩充样本点的扩充真实地理坐标信息;
根据所述原始训练图像、原始训练图像的原始基本拍摄信息、所述扩充图像坐标信息以及扩充真实地理坐标信息获得扩充训练样本。
10.根据权利要求7所述的方法,其特征在于,所述根据成像原理公式及预设的几何关系公式计算目标原始样本点与中心点在水平方向上的第一真实距离及目标原始样本点与中心点在垂直方向上的第二真实距离,包括:
获取目标原始样本点的原始图像坐标信息;
获取拍摄设备的摄像头尺寸信息,以及获取拍摄设备拍摄所述原始训练图像时目标原始样本点在拍摄设备显示画面上的目标位置信息;
将目标原始样本点的原始图像坐标信息、所述摄像头尺寸信息及所述目标位置信息输入到成像原理公式中;
采用所述成像原理公式计算与目标原始样本点在水平方向对应的第一位置线的距离及在垂直方向对应的第二位置线的距离,所述第一位置线位于拍摄设备与第一真实距离所属水平线组成的平面内,与拍摄设备位置线平行;所述第二位置线位于拍摄设备与第二真实距离所属垂直线组成的平面内,在垂直方向上与拍摄设备位置线平行;
采用预设的几何关系公式基于所述第一位置线的距离及所述第二位置线的距离计算所述第一真实距离及所述第二真实距离。
11.根据权利要求6所述的方法,其特征在于,所述根据所述训练样本对预设地理位置预测模型进行训练,获得已训练至收敛的地理位置预测模型,包括:
将训练样本输入至预设的预测地理位置模型中,以获得所述训练样本中的样本点对应的预测地理坐标信息;
将所述预测地理坐标信息以及所述样本点的真实地理坐标信息输入至预设损失函数中,并计算对应的损失值;
响应于所述损失值符合预设收敛条件,确定满足预设收敛条件的预测地理位置模型为已训练至收敛的预测地理位置信息模型;
响应于所述损失值不符合预设收敛条件,继续优化预测地理位置模型的模型参数,获得更新的预测地理位置模型,并继续执行对预设地理位置预测模型进行训练的步骤,直到所述损失值符合预设收敛条件为止。
12.一种目标物的地理位置预测装置,其特征在于,所述装置包括:
获取模块,用于获取目标图像以及所述目标图像的基本拍摄信息;
确定模块,用于从所述目标图像中确定至少一个目标物对应的目标点,并根据所述目标图像及所述基本拍摄信息确定至少一个目标点在所述目标图像中的目标图像坐标信息;
预测模块,用于采用已训练至收敛的地理位置预测模型根据所述目标图像、所述基本拍摄信息和所述目标图像坐标信息预测至少一个所述目标点的地理坐标信息,以预测出至少一个目标物的地理位置。
13.一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-11中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-11中任一项所述的方法。
CN202310149219.7A 2023-02-03 2023-02-03 目标物的地理位置预测方法、装置、设备及存储介质 Pending CN116228860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310149219.7A CN116228860A (zh) 2023-02-03 2023-02-03 目标物的地理位置预测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310149219.7A CN116228860A (zh) 2023-02-03 2023-02-03 目标物的地理位置预测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116228860A true CN116228860A (zh) 2023-06-06

Family

ID=86586923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310149219.7A Pending CN116228860A (zh) 2023-02-03 2023-02-03 目标物的地理位置预测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116228860A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805277A (zh) * 2023-08-18 2023-09-26 吉奥时空信息技术股份有限公司 一种视频监控目标节点像素坐标转换方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805277A (zh) * 2023-08-18 2023-09-26 吉奥时空信息技术股份有限公司 一种视频监控目标节点像素坐标转换方法及系统
CN116805277B (zh) * 2023-08-18 2024-01-26 吉奥时空信息技术股份有限公司 一种视频监控目标节点像素坐标转换方法及系统

Similar Documents

Publication Publication Date Title
CN109509230B (zh) 一种应用于多镜头组合式全景相机的slam方法
CN112184890B (zh) 一种应用于电子地图中的摄像头精准定位方法及处理终端
CN109387186B (zh) 测绘信息获取方法、装置、电子设备及存储介质
CN111436208B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
CN105512646B (zh) 一种数据处理方法、装置及终端
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
US20120201423A1 (en) Image processing apparatus, image processing method, image processing program and recording medium
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
US11238647B2 (en) Apparatus for building map using machine learning and image processing
CN112470092A (zh) 一种测绘系统、测绘方法、装置、设备及介质
WO2023045271A1 (zh) 一种二维地图生成方法、装置、终端设备及存储介质
CN108320304A (zh) 一种无人机航拍视频媒体的自动编辑方法与系统
CN112469967A (zh) 一种测绘系统、测绘方法、装置、设备及介质
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
KR101803340B1 (ko) 영상 기반 주행거리 측정 시스템 및 방법
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US12002237B2 (en) Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system
CN116228860A (zh) 目标物的地理位置预测方法、装置、设备及存储介质
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN111527375B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
KR20100060472A (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
CN108444452A (zh) 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置
CN109345567B (zh) 物体运动轨迹识别方法、装置、设备和存储介质
CN116363185B (zh) 地理配准方法、装置、电子设备和可读存储介质
JP2014099055A (ja) 検出装置、検出方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination