CN115222814B - 救援设备导引方法、装置、终端设备及存储介质 - Google Patents

救援设备导引方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN115222814B
CN115222814B CN202210623399.3A CN202210623399A CN115222814B CN 115222814 B CN115222814 B CN 115222814B CN 202210623399 A CN202210623399 A CN 202210623399A CN 115222814 B CN115222814 B CN 115222814B
Authority
CN
China
Prior art keywords
position information
coordinate system
water
relative
relative angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210623399.3A
Other languages
English (en)
Other versions
CN115222814A (zh
Inventor
张平
杨士远
赵继成
程亮
吴锦涛
江云华
张云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunzhou Yancheng Innovation Technology Co ltd
Zhuhai Yunzhou Intelligence Technology Ltd
Original Assignee
Yunzhou Yancheng Innovation Technology Co ltd
Zhuhai Yunhang Intelligent Technology Co ltd
Zhuhai Yunzhou Intelligence Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunzhou Yancheng Innovation Technology Co ltd, Zhuhai Yunhang Intelligent Technology Co ltd, Zhuhai Yunzhou Intelligence Technology Ltd filed Critical Yunzhou Yancheng Innovation Technology Co ltd
Priority to CN202210623399.3A priority Critical patent/CN115222814B/zh
Publication of CN115222814A publication Critical patent/CN115222814A/zh
Application granted granted Critical
Publication of CN115222814B publication Critical patent/CN115222814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Alarm Systems (AREA)

Abstract

本申请实施例适用于救援技术领域，提供了一种救援设备导引方法、装置、终端设备及存储介质，该方法包括：获取摄像设备采集到的目标图像；目标图像中包括救援设备和落水者；根据落水者在目标图像中的第一位置信息，计算落水者与摄像设备在目标坐标系下的第一相对角度以及第一相对距离；根据第一相对角度、第一相对距离以及摄像设备在地理坐标系中的第二位置信息，确定落水者在地理坐标系中的第三位置信息；根据第三位置信息和救援设备在地理坐标系中的第四位置信息计算救援设备的导引方向。采用上述方法可以提高对导引方向进行计算的精确度。

Description

救援设备导引方法、装置、终端设备及存储介质
技术领域
本申请属于救援技术领域，尤其涉及一种救援设备导引方法、装置、终端设备及存储介质。
背景技术
目前，无论是国内还是国外，水域灾害事故都较为频发。因此，为了实现近海、胡泊等水域的人员的落水营救，近年出现了智能救生系统，其可以通过摄像设备自动检测落水者，并控制救援设备自动靠近落水者。
目前，已有的救援设备通常不具备感知能力，通常需要摄像设备识别落水者的位置信息，并计算救援设备的前进方向。但是，摄像设备在进行定位的过程中，通常需要依靠摄像设备与水面的垂直距离、摄像设备的姿态角、摄像设备的地理坐标系位置信息(GlobalPositioning System，GPS)等信息，来评估落水者的GPS位置信息。进而计算救援设备的导引方向。
然而，由于测量误差和水域的水位涨落变化，使得摄像设备难以精确估计其与水面的垂直距离，从而导致最终计算的导引方向精确度较低。
发明内容
本申请实施例提供了一种救援设备导引方法、装置、终端设备及存储介质，可以解决最终计算的导引方向的精确度较低的问题。
第一方面，本申请实施例提供了一种救援设备导引方法，该方法包括：
获取摄像设备采集到的目标图像；目标图像中包括救援设备和落水者；
根据落水者在目标图像中的第一位置信息，计算落水者与摄像设备在目标坐标系下的第一相对角度以及第一相对距离；
根据第一相对角度、第一相对距离以及摄像设备在地理坐标系中的第二位置信息，确定落水者在地理坐标系中的第三位置信息；
根据第三位置信息和救援设备在地理坐标系中的第四位置信息计算救援设备的导引方向。
第二方面，本申请实施例提供了一种救援设备导引装置，该装置包括：
获取模块，用于获取摄像设备采集到的目标图像；目标图像中包括救援设备和落水者；
计算模块，用于根据落水者在目标图像中的第一位置信息，计算落水者与摄像设备在目标坐标系下的第一相对角度以及第一相对距离；
处理模块，用于根据第一相对角度、第一相对距离以及摄像设备在地理坐标系中的第二位置信息，确定落水者在地理坐标系中的第三位置信息；
导引模块，用于根据第三位置信息和救援设备在地理坐标系中的第四位置信息计算救援设备的导引方向。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面的方法。
本申请实施例与现有技术相比存在的有益效果是：通过摄像设备同时采集包含救援设备与落水者的目标图像，之后，因目标图像由摄像设备拍摄，因此，可以根据落水者在目标图像中的第一位置信息，将落水者与摄像设备的角度与距离关系转换为在预设的目标坐标系下的第一相对角度以及第一相对距离。之后，根据摄像设备在地理坐标系中的第二位置信息，对第一相对角度和第一相对距离进行二次处理，得到落水者在地理坐标系中的第三位置信息。以此，终端设备可以根据第三位置信息以及救援设备在地理坐标系中的第四位置信息，计算出救援设备的导引方向。进而，终端设备在计算导引方向时，无需依靠摄像设备和水面的垂直距离，使其可以避免因测量误差和水域的水位涨落导致的导引方向精确度低的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中智能救生系统的应用场景示意图；
图2为现有技术中智能救生系统中的摄像设备采集与水面的垂直距离的应用场景示意图；
图3是本申请一实施例提供的一种救援设备导引方法的实现流程图；
图4是本申请一实施例提供的一种救援设备导引方法中计算第一相对角度以及第一相对距离的一种实现方式示意图；
图5是本申请一实施例提供的一种救援设备导引方法中对第一相对角度进行过滤的一种实现方式示意图；
图6是本申请一实施例提供的一种救援设备导引方法中确定尺度变换系数的一种实现方式示意图；
图7是本申请一实施例提供的一种救援设备导引装置的结构示意图；
图8是本申请一实施例提供的一种终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了实现近海、胡泊等水域的人员的落水营救，近年出现了智能救生系统，其可以通过摄像设备自动检测落水者，并控制救援设备自动靠近落水者。但是，已有的救援设备通常不具备感知能力，通常需要摄像设备识别落水者的位置信息，并计算救援设备的前进方向。然而，摄像设备在进行定位的过程中，通常需要依靠摄像设备与水面的垂直距离、摄像设备的姿态角、摄像设备的地理坐标系位置信息等信息，来评估落水者的GPS位置信息。进而，计算救援设备的导引方向。
参照图1和图2，图1为现有技术中智能救生系统的应用场景示意图；图2为现有技术中智能救生系统中的摄像设备采集与水面的垂直距离的应用场景示意图。图1中白色区域左侧为摄像设备、右侧包括救援设备和落水者，其用于展示摄像设备和救援设备结合对落水者进行救援的示例。图2中的左侧依然为摄像设备。图2中的右侧中的1表示落水者的位置信息。从图2可知，在确定与落水者的距离时，摄像设备可能出现视觉定位误差，未将图2中原点1所在的位置信息确定为落水者真实的位置信息，而是将原点2所在位置信息确定为落水者真实的位置信息。因此，计算过程中，将产生图2中编号3所标记的误差。另外，在测量过程中，水面也通常随着水位涨落而发生变化。因此，由于测量误差和水域的水位涨落变化，使得摄像设备计算出的导引方向的精确度通常较低。
基于此，为了提高救援设备的导引方向的精确度，本申请实施例首先提供一种救援设备导引方法，该救援设备导引方法的执行主体可以为终端设备。终端设备包括但不限于笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本等。上述救援设备包括但不限于救生圈、救生艇等设备，其可以接收终端设备传输的指令，以根据指令朝落水者行驶。
请参阅图3，图3示出了本申请实施例提供的一种救援设备导引方法的实现流程图，该方法包括如下步骤：
S301、获取摄像设备采集到的目标图像；目标图像中包括救援设备和落水者。
在应用中，上述摄像设备与终端设备连接，摄像设备用于实时对水面进行监控，并在监控的图像中识别到落水者时，终端设备执行上述方法。也即终端设备可以先根据图像中落水者的相对方位，控制救援设备行驶。而后，摄像设备采集同时包含救援设备和落水者的目标图像，以计算救援设备的导引方向。
需要说明的是，摄像设备通常设置于岸边，以对水面进行监测。同时，本申请实施例中，对摄像设备的数量以及种类不作任何限制。
S302、根据落水者在目标图像中的第一位置信息，计算落水者与摄像设备在目标坐标系下的第一相对角度以及第一相对距离。
在应用中，上述第一位置信息可以通过落水者在目标图像中的像素坐标描述。示例性的，终端设备可以从目标图像中识别出包含落水者的检测框；之后，将检测框的中心像素点的坐标，或者将检测框中的其他像素点的坐标确定为第一位置信息。
在应用中，上述目标坐标系为无人导航中常见的坐标系，具体的，对于目标坐标系，其可以将摄像设备或地球表面某一点为原点o，ox轴在当地水平面内指东，oy轴与当地子午线一致指向正北，oz轴沿当地垂线指向天上，形成目标坐标系。示例性的，上述目标坐标系包括但不限于东、北、天坐标系(ENU坐标系)，北、东、地坐标系(NED坐标系)，对此不作限定。在本实施例中，上述坐标系具体为NED坐标系。
其中，需要说明的是，因目标图像是摄像设备对落水者进行拍摄得到，因此，本申请实施例可以根据落水者在目标图像中的第一位置信息进行处理，得到在目标坐标系下落水者相对于摄像设备的第一相对角度以及第一相对距离。
具体的，参照图4，终端设备具体可通过如图4中的S401-S403计算上述第一相对角度以及第一相对距离，详述如下：
S401、采用变换矩阵，将落水者在目标图像中的第一位置信息转换为在预设的水平面坐标系中的第五位置信息。
在应用中，上述变换矩阵为将像素坐标形式的第一位置信息，转换为水平面坐标系的矩阵。其中，水平面坐标系可以是以垂直于摄像设备所在地的竖直方向为纵轴，摄像设备所在地的地面中任一经过摄像设备且与纵轴垂直的线为横轴建立的坐标系。其中，该变换矩阵的具体公式，可以预先进行计算。即预先建立水平面坐标系，而后在水平面坐标系中设置参考目标，并对其进行拍摄得到预处理图像。之后，根据该参考目标在预处理图像中的位置信息，以及预先在水平面坐标系中确定的位置信息进行换算，得到上述变换矩阵。
其中，上述变换矩阵可以为R-1，其变换后的第五位置信息可以为：
其中，xu，yv用于描述落水者在目标图像中的第一位置信息，1为像素点的大小；xh，yh，zh用于描述落水者在水面坐标系中的第五位置信息。
S402、根据第五位置信息，计算落水者与摄像设备在水平面坐标系中的第二相对角度以及第二相对距离。
在应用中，上述已说明水平面坐标系为预先设置的，具体可以为预先根据摄像设备建立的坐标系。因此，可以认为摄像设备在水平面坐标系中的位置信息是已知的。基于此，终端设备可以根据根据第五位置信息和已知的摄像设备的位置信息，直接计算落水者与摄像设备在水平面坐标系中的第二相对角度以及第二相对距离。
示例性的，上述第二相对角度可以通过如下公式进行计算：
其中，θh为第二相对角度；Δy，Δx分别为水平面坐标系下落水者相对于摄像设备的竖直距离和水平距离。
其中，第二相对距离可以根据已知的距离计算公式进行计算，对此不做详细说明。
S403、分别对第二相对角度以及第二相对距离进行转换，得到第一相对角度以及第一相对距离。
在应用中，上述水平面坐标系仅是预先设置的坐标系，而目标坐标系为无人导航中使用的坐标系。因此，终端设备还需对第二相对距离和第二相对角度进行处理，将其转换为目标坐标系中的第一相对距离和第一相对角度。
具体的，在一实施例中，对于第一相对角度，终端设备可以获取摄像设备在采集目标图像时的姿态角，而后将姿态角与第二相对角度之和确定为第一相对角度。也即可以通过如下公式进行计算：
θned＝yawcamera+θh。
其中，θned为在NED坐标系下落水者相对于摄像设备的角度；yawcamera为摄像设备在采集目标图像时的姿态角。其中，姿态角包括但不限于摄像设备拍摄目标图像时的上下方位的俯仰角、水平方位的旋转角以及摄像设备自转的滚动角。
可以理解的是，因姿态角为摄像设备拍摄目标图像时的角度，因此终端设备可以直接进行获取。例如，摄像设备中安装有姿态传感器以获取摄像设备的姿态角。
其中，需要补充的是，因摄像设备在拍摄目标图像，以及检测落水者在目标图像中的第一位置信息时，可能产生误识别。因此，在计算出落水者相对于摄像设备的第一相对角度时，还需对第一相对角度进行过滤处理。
具体的，参照图5，终端设备具体可通过如图5中的S501-S503对第一计算角度进行过滤处理，详述如下：
S501、获取当前时刻之前的多个历史时刻确定出的第一相对角度的平均值。
在应用中，上述历史时刻为当前时刻之前计算出第一相对角度的时刻。其中，多个历史时刻的数量可以根据实际情况进行设置。其中，每个时刻对应获取到的第一相对角度均可以存储在终端设备中，以便可以被终端设备随时获取。
S502、若当前时刻确定出的第一相对角度与平均值之差大于预设值，则将当前时刻确定出的第一相对角度识别为异常角度，并重新确定第一相对角度。
在应用中，上述预设值可以根据实际情况进行设置，对此不作限定。需要说明的是，若当前时刻确定出的第一相对角度与平均值之差大于预设值，则可以认为当前时刻确定出的第一相对角度为异常角度，不能用于后续步骤中对导引方向的计算。因此，需要对该异常角度进行抛弃。
基于此，终端设备需要重新执行S301-S302步骤再次获取第一相对角度。此时，当前时刻也应当对应进行更新。
可以理解的是，若当前时刻确定出的第一相对角度与平均值之差小于或等于预设值，则表明该第一相对角度的可靠性高。也即，可以直接用于后续步骤中对导引方向的计算。
S503、若第一预设时间段内确定出的每个第一相对角度均为异常角度，则将第一预设时间段后获取的第一相对角度确定为最终的第一相对角度。
在应用中，上述第一预设时间段可以根据实际情况进行设置，对此不作限定。示例性的，上述第一预设时间段可以为2S。也即在2S的时间段内，若每次确定出的第一相对角度均为异常角度，则在2S的时间段后，终端设备可以直接将此时获取到的第一相对角度确定为最终所需要的第一相对角度。
可以理解的是，若在2S的时间段后获取的第一相对角度不为异常角度，则终端设备可以直接进行使用。若在2S的时间段后获取的第一相对角度也为异常角度，则终端设备也可以认为：在之前的2S时间段内获取的每个异常角度，其实是正常的角度。因此，可以直接将该2S时间段后获取的第一相对角度确定为最终的第一相对角度。
其中，发生上述情况的原因可能是：落水者由于自身的运动或者水流的流动，发生了位置信息的变化。进而，导致在当前时刻下，终端设备在执行S301-S302步骤时计算的第一相对角度，与之前时刻计算多个的第一相对角度的平均值产生较大差值。
需要补充的是，若第一预设时间段内确定出的第一相对角度不为异常角度，则可以直接以该第一相对角度作为最终的第一相对角度进行后续处理。
在一实施例中，对于第一相对距离，终端设备可以采用预设尺度变换系数对第二相对距离进行处理，得到该第一相对距离。即将预设的尺度变化系数与第二相对距离进行乘积，得到第一相对距离。也即：
其中，对于预设的尺度系数，其可以通过如下公式进行计算：
lned＝k·lrel
其中，lnrd为第一相对距离；k为尺度系数；lrel为第二相对距离，其中，如何计算第二相对距离已在上述S402中进行说明，对此不再进行解释。
在应用中，上述尺度系数可以为预先设定数值，也可以为根据落水者落水后的运动情况实时进行确定的，以使最终计算的第一相对距离的精度更高。具体的，参照图6，终端设备具体可通过如图6中的S601-S604确定上述尺度系数，详述如下：
S601、采用变换矩阵，将救援设备在目标图像中的第六位置信息转换为当前时刻救援设备在水平面坐标系中的第七位置信息。
在应用中，上述S401中已说明如何根据变换矩阵，将目标图像中落水者的第一位置信息转换为第五位置信息，与其相类似的，终端设备也可以采用上述变换矩阵，将救援设备在目标图像中的第六位置信息转换为当前时刻救援设备在水平面坐标系中的第七位置信息，对此不再详细说明。
S602、根据当前时刻下的第七位置信息，以及上一时刻救援设备在水平面坐标系中的第七位置信息，计算救援设备在水平面坐标系中的第一运动距离。
S603、根据救援设备在地理坐标系中的第四位置信息以及上一时刻在地理坐标系中的第四位置信息，确定救援设备在地理坐标系中的第二运动距离。
可以理解的是，上述当前时刻和上一时刻均为相对概念，在当前时刻发生变化时，其上一时刻也将对应改变。
其中，第一运动距离为救援设备在两个时刻之间的运动距离，且该运动距离为在水平面坐标系中的变化距离。同样的，在确定当前时刻下的第七位置信息以及上一时刻的第七位置信息时，也同样可以根据已有的距离计算公式进行计算得到，对此不作说明。
在应用中，第二运动距离的计算方式与上述第一运动距离的计算方式相类似，对此不做详细说明。
需要说明的是，上述当前时刻的第四位置信息与上一时刻的第四位置信息均为在地理坐标系中的位置信息。其中，地理坐标系可以为：大地坐标系(World GeodeticCoordinate System1984，WGS84)，地球中心坐标系(Earth-Centered Earth-Fixed，ECEF)，或GPS全球定位系统建立的坐标系，对此不作限定。在本实施例中，上述地理坐标系具体为GPS全球定位系统建立的坐标系。因此，上述每个时刻下的第四位置信息均可以通过安装在救援设备中的GPS定位传感器直接进行获取。
S604、将第二运动距离与第一运动距离的比值确定为尺度变换系数。
在应用中，终端设备可以直接计算第二运动距离与第一运动距离的比值，得到尺度变换系数。
其中，需要详细说明的是，尺度变换系数用于对第二相对距离进行处理，得到第一相对距离。第一相对距离为目标坐标系下落水者与摄像设备的相对距离。然而，摄像设备在确定落水者真实的位置信息时，可能出现测量误差。因此，在校正落水者与摄像设备的第一相对距离时，不能根据落水者在地理坐标系中的距离变化计算上述尺度系数。而是，需要根据救援设备的在地理坐标系中的距离变化进行计算。因此，本实施例中，通过上述S601-S604步骤计算出的精确的尺度变化系数，以对应对第二相对距离进行计算处理，得到精确度更高的第一相对距离。
在一具体实施例，因落水者所在的水面可能产生变化，而摄像设备在采集包含落水者的目标图像时，可能产生噪音干扰。并且，由于水面通常变化非常缓慢，而产生的噪音干扰也通常属于高频。因此，终端设备还需通过预设的低通滤波器对上述计算出的尺度系数进行校正，以降低上述干扰。
具体的，终端设备可以通过预设的滤波器设备获取当前时刻下的滤波器系数，以及上一时刻下的第一尺度变化系数；采用滤波器系数对尺度变换系数以及第一尺度变化系数进行加权，得到最终的尺度变换系数。
其中，滤波器系数可以由滤波器设备实时提供。其中，滤波器设备为低通滤波器，其包括但不限于一阶滤波器，二阶滤波器，对此不作限定。
在应用中，终端设备具体可以通过如下计算公式对当前时刻下的尺度变换系数以及第一尺度变化系数进行处理，得到当前时刻下最终的尺度变换系数：
kt＝αk·kt-1+(1-αk)kt′
其中，t为当前时刻；kt为当前时刻下最终的尺度变换系数；αk为滤波器系数；kt-1为上一时刻下的历史尺度变化系数；kt′为当前时刻的尺度变换系数(即第二运动距离与第一运动距离的比值)。其中，滤波器系数可以满足正态分布。
S303、根据第一相对角度、第一相对距离以及摄像设备在地理坐标系中的第二位置信息，确定落水者在地理坐标系中的第三位置信息。
在应用中，上述第一相对角度、第一相对距离均为在目标坐标系下落水者相对于摄像设备的角度和距离。另外，因地理坐标系具体为GPS全球定位系统建立的坐标系。因此，摄像设备在地理坐标系中的第二位置信息可以预先进行确定。同时，目标坐标系也可以由工作人员预先进行设置，因此，摄像设备在目标坐标系中的位置信息也可认为是已知的。
示例性的，目标坐标系中的原点位置信息即为摄像设备在目标坐标系中的位置信息。因此，落水者在目标坐标系中的初始位置信息可通过如下公式确定：
其中，lned为第一相对距离；θned为第一相对角度；xned为初始位置信息中的横坐标；yned为初始位置信息中的纵坐标。
基于此，在确定出落水者在目标坐标系中的位置信息时，即可根据摄像设备在目标坐标系中的位置信息，以及摄像设备在地理坐标系中的第二位置信息之间的转换关系，将落水者在目标坐标系中的初始位置信息转换为在地理坐标系中的第三位置信息。
S304、根据第三位置信息和救援设备在地理坐标系中的第四位置信息计算救援设备的导引方向。
在应用中，因第三位置信息和第四位置信息均为地理坐标系中的位置信息，因此，终端设备可以直接将计算出的导引方向确定为救援设备的行驶方向。
其中，终端设备可以通过如下公式计算导引方向：
其中，θheading为导引方向；lonperson为落水者的第三位置信息中的横坐标，latperson为落水者的第三位置信息中的纵坐标；lonbuoy为救援设备的第四位置信息中的横坐标，latbuoy为救援设备的第四位置信息中的纵坐标。
在本实施例中，通过摄像设备同时采集包含救援设备与落水者的目标图像。之后，因目标图像由摄像设备拍摄，因此，可以根据落水者在目标图像中的第一位置信息，将落水者与摄像设备的角度与距离关系转换为在预设的目标坐标系下的第一相对角度以及第一相对距离。之后，根据摄像设备在地理坐标系中的第二位置信息，对第一相对角度和第一相对距离进行二次处理，得到落水者在地理坐标系中的第三位置信息。以此，终端设备可以根据第三位置信息以及救援设备在地理坐标系中的第四位置信息，计算出救援设备的导引方向。进而，终端设备在计算导引方向时，无需依靠摄像设备和水面的垂直距离，使其可以避免因测量误差和水域的水位涨落导致的导引方向精确度低的问题。
在一具体实施例中，终端设备还可以根据第三位置信息和第四位置信息计算两者之间的距离；若距离小于预设距离，则终端设备可以判定救援设备成功接近落水者；否则，需要重新执行上述S301-S304步骤。
在另一具体实施例中，在实际工程部署的过程中，常常出现摄像设备中的姿态传感器产生偏差等问题，进而使本申请实施例中计算出的导引方向产生偏差。因此，终端设备还可以通过如下步骤确定摄像设备中的姿态传感器是否产生偏差，详述如下：
S1、在地面上绘制一个可清晰辨识的目标图形，并标明目标图形可清晰识别的端点。
具体的，上述目标图形包括但不限于正方形、菱形、矩形等多种图形，对此不作限定。其中，端点的个数至少包括两个。
示例性的，在目标图形为正方形时，其端点可以为4个，分别依次为正方形的角点，其可以用d1,d2,d3,d4进行表示。
S2、测量任意两个端点之间的方位角。
例如，可以通过指南针或者其他方位角测量工具测量d2d1的方位角
S3、通过摄像设备拍摄目标图形的图像，并确定每个端点在像素坐标系中的像素坐标位置信息。
S4、通过姿态传感器采集摄像设备拍摄时的姿态角。
S5、将每个端点的像素坐标位置信息转换至预设的水平面坐标系中，得到每个端点分别在水平面坐标系中的位置信息。
其中，上述转换关系具体可以参考S401中描述的内容，对此不在进行说明。
S6、将每个端点分别在水平面坐标系中的位置信息依次进行连接，得到绘制后的图形。
S7、若绘制后的图形与目标图形不属于同一种图形，则确定摄像设备的姿态传感器存在误差。
需要说明的是，因绘制后的图形与目标图形不属于同一个坐标系，因此，两个图形的大小通常不同。但是，其形状应当相似。即两个图形应当属于同一种图形。例如，都为正方形。
S8、若绘制后的图形与目标图形属于同一种图形，则将水平面坐标系中的任意两个端点的的位置信息分别作为落水者的位置信息以及救援设备的位置信息，并计算任意两个端点之间的导引方向。
其中，在得到水平面坐标系下落水者的位置信息以及救援设备的位置信息后，计算对应的导引方向可以参考上述S301-S304中的示例说明，对此不再进行说明。
S9、若导引方向与对应测量的方位角之间的差值大于预设差值，则确定摄像设备的姿态传感器存在误差。
其中，上述预设差值可以根据实际情况进行设定，但是，通常的，计算的导引方向应当与测量的方位角一致。
需要说明的是，在产生偏差后，终端设备可以提醒工作人员对摄像设备以及姿态传感器进行校正，以使其可以正常进行工作。
请参阅图7，图7是本申请实施例提供的一种救援设备导引装置的结构框图。本实施例中救援设备导引装置包括的各模块用于执行图3至图6对应的实施例中的各步骤。具体请参阅图3至图6以及图3至图6所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图7，救援设备导引装置700可以包括：获取模块710、计算模块720、处理模块730以及导引模块740，其中：
获取模块710，用于获取摄像设备采集到的目标图像；目标图像中包括救援设备和落水者。
计算模块720，用于根据落水者在目标图像中的第一位置信息，计算落水者与摄像设备在目标坐标系下的第一相对角度以及第一相对距离。
处理模块730，用于根据第一相对角度、第一相对距离以及摄像设备在地理坐标系中的第二位置信息，确定落水者在地理坐标系中的第三位置信息。
导引模块740，用于根据第三位置信息和救援设备在地理坐标系中的第四位置信息计算救援设备的导引方向。
在一实施例中，计算模块720还用于：
采用变换矩阵，将落水者在目标图像中的第一位置信息转换为在预设的水平面坐标系中的第五位置信息；根据第五位置信息，计算落水者与摄像设备在水平面坐标系中的第二相对角度以及第二相对距离；分别对第二相对角度以及第二相对距离进行转换，得到第一相对角度以及第一相对距离。
在一实施例中，计算模块720还用于：
获取摄像设备在采集目标图像时的姿态角；将姿态角与第二相对角度之和确定为第一相对角度；采用预设尺度变换系数对第二相对距离进行处理，得到第一相对距离。
在一实施例中，计算模块720还用于：
获取当前时刻之前的多个历史时刻确定出的第一相对角度的平均值；若当前时刻确定出的第一相对角度与平均值之差大于预设值，则将当前时刻确定出的第一相对角度识别为异常角度，并重新确定第一相对角度；若第一预设时间段内确定出的每个第一相对角度均为异常角度，则将第一预设时间段后获取的第一相对角度确定为最终的第一相对角度。
在一实施例中，计算模块720还用于：
采用变换矩阵，将救援设备在目标图像中的第六位置信息转换为当前时刻救援设备在水平面坐标系中的第七位置信息；根据所述当前时刻下的第七位置信息，以及上一时刻所述救援设备在所述水平面坐标系中的第七位置信息，计算所述救援设备在所述水平面坐标系中的第一运动距离；根据所述救援设备在所述地理坐标系中的第四位置信息以及上一时刻所述救援设备在所述地理坐标系中的第四位置信息，确定所述救援设备在所述地理坐标系中的第二运动距离；将第二运动距离与第一运动距离的比值确定为尺度变换系数。
在一实施例中，计算模块720还用于：
通过预设的滤波器设备获取当前时刻下的滤波器系数，以及上一时刻下的第一尺度变化系数；采用滤波器系数对尺度变换系数以及第一尺度变化系数进行加权，得到最终的尺度变换系数。
在一实施例中，处理模块730还用于：
将第一相对角度和第一相对距离导入位置信息确定公式中，得到落水者在目标坐标系下的初始位置信息；初始位置信息用于描述目标坐标系下，落水者相对于摄像设备的位置信息；位置信息确定公式为：
其中，lned为第一相对距离；θned为第一相对角度；xned为初始位置信息中的横坐标；yned为初始位置信息中的纵坐标；
根据初始位置信息和摄像设备在地理坐标系中的第二位置信息，确定落水者在地理坐标系中的第三位置信息。
当理解的是，图7示出的救援设备导引装置的结构框图中，各模块用于执行图3至图6对应的实施例中的各步骤，而对于图3至图6对应的实施例中的各步骤已在上述实施例中进行详细解释，具体请参阅图3至图6以及图3至图6所对应的实施例中的相关描述，此处不再赘述。
图8是本申请一实施例提供的一种终端设备的结构框图。如图8所示，该实施例的终端设备800包括：处理器810、存储器820以及存储在存储器820中并可在处理器810运行的计算机程序830，例如救援设备导引方法的程序。处理器810执行计算机程序830时实现上述各个救援设备导引方法各实施例中的步骤，例如图3所示的S301至S304。或者，处理器810执行计算机程序830时实现上述图7对应的实施例中各模块的功能，例如，图7所示的模块710至740的功能，具体请参阅图7对应的实施例中的相关描述。
示例性的，计算机程序830可以被分割成一个或多个模块，一个或者多个模块被存储在存储器820中，并由处理器810执行，以实现本申请实施例提供的救援设备导引方法。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序830在终端设备800中的执行过程。例如，计算机程序830可以实现本申请实施例提供的救援设备导引方法。
终端设备800可包括，但不仅限于，处理器810、存储器820。本领域技术人员可以理解，图8仅仅是终端设备800的示例，并不构成对终端设备800的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器810可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器820可以是终端设备800的内部存储单元，例如终端设备800的硬盘或内存。存储器820也可以是终端设备800的外部存储设备，例如终端设备800上配备的插接式硬盘，智能存储卡，闪存卡等。进一步地，存储器820还可以既包括终端设备800的内部存储单元也包括外部存储设备。
本申请实施例提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述各个实施例中的救援设备导引方法。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述各个实施例中的救援设备导引方法。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种救援设备导引方法，其特征在于，所述方法包括：
获取摄像设备采集到的目标图像；所述目标图像中包括救援设备和落水者；
根据所述落水者在所述目标图像中的第一位置信息，计算所述落水者与所述摄像设备在目标坐标系下的第一相对角度以及第一相对距离；所述目标坐标系为无人导航中使用的坐标系；
根据所述第一相对角度、所述第一相对距离以及所述摄像设备在地理坐标系中的第二位置信息，确定所述落水者在所述地理坐标系中的第三位置信息；
根据所述第三位置信息和所述救援设备在所述地理坐标系中的第四位置信息计算所述救援设备的导引方向；
所述根据所述落水者在所述目标图像中的第一位置信息，计算所述落水者与所述摄像设备在目标坐标系下的第一相对角度以及第一相对距离，包括：
采用变换矩阵，将所述落水者在所述目标图像中的第一位置信息转换为在预设的水平面坐标系中的第五位置信息；
根据所述第五位置信息，计算所述落水者与所述摄像设备在所述水平面坐标系中的第二相对角度以及第二相对距离；
分别对所述第二相对角度以及所述第二相对距离进行转换，得到所述第一相对角度以及所述第一相对距离。
2.根据权利要求1所述的方法，其特征在于，所述分别对所述第二相对角度以及所述第二相对距离进行转换，得到所述第一相对角度以及所述第一相对距离，包括：
获取所述摄像设备在采集所述目标图像时的姿态角；
将所述姿态角与所述第二相对角度之和确定为所述第一相对角度；
采用预设尺度变换系数对所述第二相对距离进行处理，得到所述第一相对距离。
3.根据权利要求2所述的方法，其特征在于，所述将所述姿态角与所述第二相对角度进行加和，得到所述第一相对角度，包括：
获取当前时刻之前的多个历史时刻确定出的第一相对角度的平均值；
若所述当前时刻确定出的第一相对角度与所述平均值之差大于预设值，则将所述当前时刻确定出的第一相对角度识别为异常角度，并重新确定所述第一相对角度；
若第一预设时间段内确定出的每个第一相对角度均为异常角度，则将所述第一预设时间段后获取的所述第一相对角度确定为最终的所述第一相对角度。
4.根据权利要求2所述的方法，其特征在于，在所述采用预设尺度变换系数对所述第二相对距离进行处理，得到所述第一相对距离之前，还包括：
采用所述变换矩阵，将所述救援设备在所述目标图像中的第六位置信息转换为当前时刻所述救援设备在所述水平面坐标系中的第七位置信息；
根据所述当前时刻下的第七位置信息，以及上一时刻所述救援设备在所述水平面坐标系中的第七位置信息，计算所述救援设备在所述水平面坐标系中的第一运动距离；
根据所述救援设备在所述地理坐标系中的第四位置信息以及上一时刻所述救援设备在所述地理坐标系中的第四位置信息，确定所述救援设备在所述地理坐标系中的第二运动距离；
将所述第二运动距离与所述第一运动距离的比值确定为所述尺度变换系数。
5.根据权利要求4所述的方法，其特征在于，在所述将所述第二运动距离与所述第一运动距离的比值确定为所述尺度变换系数之后，还包括：
通过预设的滤波器设备获取所述当前时刻下的滤波器系数，以及所述上一时刻下的第一尺度变换系数；
采用所述滤波器系数对所述尺度变换系数以及所述第一尺度变换系数进行加权，得到最终的所述尺度变换系数。
6.根据权利要求1-5任一所述的方法，其特征在于，所述根据所述第一相对角度、所述第一相对距离以及所述摄像设备在地理坐标系中的第二位置信息，确定所述落水者在所述地理坐标系中的第三位置信息，包括：
将所述第一相对角度和所述第一相对距离导入位置信息确定公式中，得到所述落水者在所述目标坐标系下的初始位置信息；所述初始位置信息用于描述所述目标坐标系下，所述落水者相对于所述摄像设备的位置信息；所述位置信息确定公式为：
其中，lned为所述第一相对距离；θned为所述第一相对角度；xned为所述初始位置信息中的横坐标；yned为所述初始位置信息中的纵坐标；
根据所述初始位置信息和所述摄像设备在所述地理坐标系中的第二位置信息，确定所述落水者在所述地理坐标系中的第三位置信息。
7.一种救援设备导引装置，其特征在于，所述装置包括：
获取模块，用于获取摄像设备采集到的目标图像；所述目标图像中包括救援设备和落水者；
计算模块，用于根据所述落水者在所述目标图像中的第一位置信息，计算所述落水者与所述摄像设备在目标坐标系下的第一相对角度以及第一相对距离；所述目标坐标系为无人导航中使用的坐标系；
处理模块，用于根据所述第一相对角度、所述第一相对距离以及所述摄像设备在地理坐标系中的第二位置信息，确定所述落水者在所述地理坐标系中的第三位置信息；
导引模块，用于根据所述第三位置信息和所述救援设备在所述地理坐标系中的第四位置信息计算所述救援设备的导引方向；
所述计算模块还用于：
采用变换矩阵，将所述落水者在所述目标图像中的第一位置信息转换为在预设的水平面坐标系中的第五位置信息；
根据所述第五位置信息，计算所述落水者与所述摄像设备在所述水平面坐标系中的第二相对角度以及第二相对距离；
分别对所述第二相对角度以及所述第二相对距离进行转换，得到所述第一相对角度以及所述第一相对距离。
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202210623399.3A 2022-06-02 2022-06-02 救援设备导引方法、装置、终端设备及存储介质 Active CN115222814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210623399.3A CN115222814B (zh) 2022-06-02 2022-06-02 救援设备导引方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210623399.3A CN115222814B (zh) 2022-06-02 2022-06-02 救援设备导引方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN115222814A CN115222814A (zh) 2022-10-21
CN115222814B true CN115222814B (zh) 2023-09-01

Family

ID=83608916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210623399.3A Active CN115222814B (zh) 2022-06-02 2022-06-02 救援设备导引方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115222814B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN110333735A (zh) * 2019-07-02 2019-10-15 余姚市浙江大学机器人研究中心 一种实现无人机水陆二次定位的系统和方法
CN110958564A (zh) * 2019-12-13 2020-04-03 腾讯科技（深圳）有限公司 救援方法、装置、服务器及存储介质
CN111121825A (zh) * 2020-01-08 2020-05-08 武汉大学 一种行人惯性导航系统中初始导航状态的确定方法及装置
WO2020198963A1 (zh) * 2019-03-29 2020-10-08 深圳市大疆创新科技有限公司 关于拍摄设备的数据处理方法、装置及图像处理设备
CN113341947A (zh) * 2021-03-20 2021-09-03 杭州雅格纳科技有限公司 一种基于船舶信息化平台的水上立体搜救系统
WO2022021027A1 (zh) * 2020-07-27 2022-02-03 深圳市大疆创新科技有限公司 目标跟踪方法、装置、无人机、系统及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862296B (zh) * 2019-04-24 2023-09-29 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
WO2020198963A1 (zh) * 2019-03-29 2020-10-08 深圳市大疆创新科技有限公司 关于拍摄设备的数据处理方法、装置及图像处理设备
CN110333735A (zh) * 2019-07-02 2019-10-15 余姚市浙江大学机器人研究中心 一种实现无人机水陆二次定位的系统和方法
CN110958564A (zh) * 2019-12-13 2020-04-03 腾讯科技（深圳）有限公司 救援方法、装置、服务器及存储介质
CN111121825A (zh) * 2020-01-08 2020-05-08 武汉大学 一种行人惯性导航系统中初始导航状态的确定方法及装置
WO2022021027A1 (zh) * 2020-07-27 2022-02-03 深圳市大疆创新科技有限公司 目标跟踪方法、装置、无人机、系统及可读存储介质
CN113341947A (zh) * 2021-03-20 2021-09-03 杭州雅格纳科技有限公司 一种基于船舶信息化平台的水上立体搜救系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于边缘匹配的物体位姿追踪;陈策 等;《新一代信息技术》;第1卷(第5期);第1-10页 *

Also Published As

Publication number Publication date
CN115222814A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
US11958576B2 (en) Automated draft survey
CN109345593B (zh) 一种摄像机姿态的检测方法及装置
US9134127B2 (en) Determining tilt angle and tilt direction using image processing
CN103697855B (zh) 一种基于海天线检测的船体水平姿态测量方法
CN106529587A (zh) 基于目标点识别的视觉航向识别方法
CN103017740A (zh) 一种利用视频监控装置对监控目标的定位方法及定位系统
CN112455502B (zh) 基于激光雷达的列车定位方法及装置
WO2020198963A1 (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
CN113311422B (zh) 坐标转换方法、装置和数据处理设备
CN115222814B (zh) 救援设备导引方法、装置、终端设备及存储介质
Del Pizzo et al. Reliable vessel attitude estimation by wide angle camera
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备
CN114170317B (zh) 泳池防溺水人头位置判断方法、装置及计算机设备
CN115112103A (zh) 一种ladcp与组合惯性导航系统联合观测系统及方法
CA3237725A1 (en) Systems and methods for draft calculation
CN111504269B (zh) 一种水下尺度测量方法及其装置
CN115079700A (zh) 一种控制方法、装置、设备和介质
CN110031014B (zh) 基于图案识别的视觉定位方法
CN113793315A (zh) 一种基于单目视觉的相机平面和目标平面夹角估算方法
CN117806328B (zh) 一种基于基准标记的无人艇靠泊视觉引导控制方法及系统
CN115371668B (zh) 一种基于图像识别和惯性导航的隧道无人机定位系统
US12025458B2 (en) Method and system for positioning a vehicle using an image-capturing device
CN117974806B (zh) 一种考虑水位变化因素的视频测流断面标定方法
CN112799387B (zh) 机器人控制方法、装置及机器人
CN111694370B (zh) 一种无人机多阶段定点定向降落的视觉方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231009

Address after: 519080 rooms 311 and 312A, 3 / F, Xiangshan ocean science and technology port, 3888 North Lovers Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province

Patentee after: Zhuhai Yunzhou Intelligent Technology Co.,Ltd.

Patentee after: Yunzhou (Yancheng) Innovation Technology Co.,Ltd.

Address before: 519080 rooms 311 and 312A, 3 / F, Xiangshan ocean science and technology port, 3888 North Lovers Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province

Patentee before: Zhuhai Yunzhou Intelligent Technology Co.,Ltd.

Patentee before: Yunzhou (Yancheng) Innovation Technology Co.,Ltd.

Patentee before: ZHUHAI YUNHANG INTELLIGENT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right