CN114608555A - 目标定位方法、系统及存储介质 - Google Patents

目标定位方法、系统及存储介质 Download PDF

Info

Publication number
CN114608555A
CN114608555A CN202210191170.7A CN202210191170A CN114608555A CN 114608555 A CN114608555 A CN 114608555A CN 202210191170 A CN202210191170 A CN 202210191170A CN 114608555 A CN114608555 A CN 114608555A
Authority
CN
China
Prior art keywords
monitoring
coordinate system
target
coordinate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210191170.7A
Other languages
English (en)
Other versions
CN114608555B (zh
Inventor
王磊刚
程亮
闫雪梅
杨士远
杨春利
李翰超
江云华
张云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunzhou Yancheng Innovation Technology Co ltd
Zhuhai Yunzhou Intelligence Technology Ltd
Original Assignee
Yunzhou Yancheng Innovation Technology Co ltd
Zhuhai Yunzhou Intelligence Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunzhou Yancheng Innovation Technology Co ltd, Zhuhai Yunzhou Intelligence Technology Ltd filed Critical Yunzhou Yancheng Innovation Technology Co ltd
Priority to CN202210191170.7A priority Critical patent/CN114608555B/zh
Publication of CN114608555A publication Critical patent/CN114608555A/zh
Application granted granted Critical
Publication of CN114608555B publication Critical patent/CN114608555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Alarm Systems (AREA)

Abstract

本申请公开了一种目标定位方法、系统及存储介质,属于定位领域。所述方法包括:先获取监控设备采集的包括救援目标的监控图像作为第一图像,根据第一图像确定救援目标的第一位置。然后调整监控设备的包括旋转角和/或焦距的监控参数,获取监控参数调整后监控设备采集的包括救援目标的监控图像作为第二图像,根据第二图像和监控设备调整后的监控参数,确定救援目标的第二位置。最后根据第一位置对第二位置进行优化,得到第三位置。由于可以灵活地调整监控设备的监控参数,因此可以获取监控设备以不同的监控参数采集的多个监控图像,满足大视野和远距离特征的定位环境,且根据多个监控图像可以实现对救援目标的定位。

Description

目标定位方法、系统及存储介质
技术领域
本申请涉及定位领域,特别涉及目标定位方法、系统及存储介质。
背景技术
随着科技的发展,救援机器人已成为救援的智能化利器,其能够扮演救生员的角色,代替传统人工救援,对溺水者等救援目标进行救援。救援机器人对救援目标进行救援之前,需要先确定救援目标的位置,然后根据救援目标的位置进行规划和控制,完成救援任务。因此,对救援目标的定位是救援的关键技术之一。但是,目前对救援目标的定位的研究大多局限于对陆地上的救援目标进行定位,无法满足具有大视野和远距离特征的特殊定位环境,比如无法满足水面或水下环境,且目前对水面救援或水下救援目标进行定位的方法鲜有研究。
发明内容
本申请提供了一种目标定位方法、系统及存储介质,可以满足大视野和远距离特征的定位环境,实现救援目标的定位。所述技术方案如下:
第一方面,提供了一种目标定位方法,所述方法包括:
获取监控设备采集的包括救援目标的监控图像作为第一图像;
根据所述第一图像确定所述救援目标的位置,得到第一位置;
调整所述监控设备的监控参数,所述监控参数包括旋转角和/或焦距;
获取监控参数调整后的所述监控设备采集的包括所述救援目标的监控图像作为第二图像;
根据所述第二图像和所述监控设备调整后的监控参数,确定所述救援目标的位置,得到第二位置;
根据所述第一位置,对所述第二位置进行优化,得到第三位置。
作为一个示例,所述调整所述监控设备的监控参数,包括以下方式中的一种或多种:
控制所述监控设备进行旋转,以调整所述监控设备的旋转角;
控制所述监控设备进行调焦,以调整所述监控设备的焦距。
作为一个示例,所述根据所述第二图像和所述监控设备调整后的监控参数,确定所述救援目标的位置,得到第二位置,包括:
确定所述救援目标在所述第二图像对应的像素坐标系中的第一坐标;
根据监控参数调整后的所述监控设备的目标焦距和所述第一坐标,确定所述救援目标在相机坐标系中的第二坐标,所述相机为三维直角坐标系,所述相机坐标系的坐标原点为所述监控设备的光心、所述相机坐标系的X轴和Y轴分别指向平行于所述监控设备的成像平面的两条边的方向,所述相机坐标系的Z轴指向光轴方向;
根据监控参数调整后的所述监控设备的目标旋转角和所述第二坐标,确定所述救援目标在世界坐标系中的第三坐标作为所述第二位置,所述世界坐标系为二维直角坐标系,所述世界坐标系的坐标原点为所述监控设备的光心在参考平面上的投影,所述世界坐标系的Y轴指向所述监控设备初始安装时的光轴平行于参考平面且指向正北方向,所述世界坐标系的X轴指向平行于参考平面且垂直于正北方向。
作为一个示例,所述根据监控参数调整后的所述监控设备的目标焦距和所述第一坐标,确定所述救援目标在相机坐标系中的第二坐标,包括:
根据所述目标焦距,确定所述监控设备的内参矩阵;
根据所述内参矩阵和所述第一坐标,确定所述救援目标在所述相机坐标系中的第二坐标。
作为一个示例,所述根据所述目标焦距,确定所述监控设备的内参矩阵之前,所述方法还包括:
确定所述监控设备的多种焦距对应的内参矩阵;
所述根据所述目标焦距,确定所述监控设备的内参矩阵,包括:
从所述多种焦距对应的内参矩阵中获取所述目标焦距对应的内参矩阵作为所述监控设备的内参矩阵。
作为一个示例,监控参数调整后的所述监控设备的目标旋转角为所述相机坐标系与参考坐标系的旋转角,所述参考坐标系为三维直角坐标系,所述参考坐标系的坐标原点为所述监控设备的光心,所述参考坐标系的Y轴指向所述监控设备初始安装时的光轴平行于参考平面且指向正北方向,所述参考坐标系的X轴指向平行于参考平面且垂直于正北方向,所述参考坐标系的Z轴指向垂直于参考平面向下方向;
所述根据监控参数调整后的所述监控设备的目标旋转角和所述第二坐标,确定所述救援目标在世界坐标系中的第三坐标作为所述第二位置,包括:
根据所述目标旋转角和所述第二坐标,确定所述救援目标在所述参考坐标系中的第四坐标;
根据所述第四坐标确定所述救援目标在所述世界坐标系中的所述第三坐标作为所述第二位置。
作为一个示例,所述目标旋转角包括方位角和俯仰角,所述方位角指示所述相机坐标系的Z轴与所述参考坐标系的Y轴的角度,所述俯仰角指示所述相机坐标系的Z轴与所述参考坐标系的Z轴的角度;
所述根据所述目标旋转角和所述第二坐标,确定所述救援目标在所述参考坐标系中的第四坐标,包括:
根据所述目标旋转角和所述第二坐标,通过以下公式确定所述第四坐标:
Figure BDA0003524473650000033
Figure BDA0003524473650000031
其中,P′c为所述救援目标在所述参考坐标系中的所述第四坐标,且P′c=[X′c Y′cZ′c]T,X′c、Y′c、Z′c为所述参考坐标系中的坐标;yawc为所述方位角,pitchc为所述俯仰角,
Figure BDA0003524473650000034
为所述方位角对应的旋转矩阵,
Figure BDA0003524473650000035
为所述俯仰角对应的旋转矩阵;Pc为所述救援目标在所述相机坐标系中的所述第二坐标,且Pc=[Xc/Zc Yc/Zc 1]T,Xc、Yc、Zc为所述相机坐标系中的坐标。
作为一个示例,所述根据所述第四坐标确定所述救援目标在所述世界坐标系中的所述第三坐标作为所述第二位置,包括:
根据所述第四坐标,通过以下公式确定所述第三坐标作为所述第二位置:
Figure BDA0003524473650000032
其中,Pw为所述救援目标在所述世界坐标系中的所述第三坐标作为所述第二位置,且Pw=[Xw Yw]T,Xw、Yw为所述世界坐标系中的坐标;Pc′为所述救援目标在所述参考坐标系中的所述第四坐标,且P′c=[X′c Y′cZ′c]T,X′c、Y′c、Z′c为所述参考坐标系中的坐标;H为所述监控设备的光心距离参考平面的高度。
作为一个示例,根据所述第一位置,对所述第二位置进行优化,得到第三位置,包括:
根据所述第一位置,对监控参数调整后的所述监控设备采集所述第二图像时所述救援目标的位置进行预测,得到预测位置;
根据所述预测位置,对所述第二位置进行调整,得到所述第三位置。
第二方面,提供了一种目标定位系统,所述系统包括监控设备和主控单元,所述主控单元与所述监控设备连接;
所述监控设备,用于采集包括救援目标的监控图像,将所述监控图像发送至所述主控单元;
所述主控单元,用于获取监控设备采集的包括救援目标的监控图像作为第一图像,根据所述第一图像确定所述救援目标的位置,得到第一位置;
所述主控单元,还用于调整所述监控设备的监控参数,所述监控参数包括旋转角和/或焦距;
所述主控单元,还用于获取监控参数调整后的所述监控设备采集的包括所述救援目标的监控图像作为第二图像,根据所述第二图像和所述监控设备调整后的监控参数,确定所述救援目标的位置,得到第二位置;
所述主控单元,还用于根据所述第一位置,对所述第二位置进行优化,得到第三位置。
第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的目标定位方法。
本申请实施例提供的技术方案带来的有益效果是:
本申请实施例中,先获取监控设备采集的包括救援目标的监控图像作为第一图像,根据第一图像确定救援目标的位置,得到第一位置。然后调整监控设备的监控参数,获取监控参数调整后的监控设备采集的包括救援目标的监控图像作为第二图像,根据第二图像和监控设备调整后的监控参数,确定救援目标的位置,得到第二位置。最后根据第一位置对第二位置进行优化,得到第三位置。其中,监控参数包括旋转角和/或焦距。由于可以灵活地调整监控设备的监控参数,因此可以获取监控设备以不同的监控参数采集的包括救援目标的多个监控图像,满足大视野和远距离特征的定位环境,且根据不同监控参数对应的多个监控图像可以实现救援目标的定位。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种目标定位系统的结构框图;
图2是本申请实施例提供一种目标定位方法的流程图;
图3是本申请实施例提供的另一种目标定位方法的流程图;
图4是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在对本申请实施例进行详细地解释说明之前,先对本申请实施例的应用场景予以说明。
救援是指对救援目标进行救援,是一项突发性强、时间紧迫、技术要求高、救援难度大、危险系数高的项目。其中,救援目标为水面的溺水者或船只等,也可以为水下的生物或潜艇等,本申请实施例对救援目标不做限定。
目前对救援目标的定位的研究大多局限于对陆地上的救援目标进行定位,无法满足具有大视野和远距离特征的特殊定位环境,比如无法满足水面或水下环境的大视野和远距离特征。另外,目前对水面救援或水下救援目标进行定位的方法鲜有研究。
作为一个示例,陆地救援目标的定位通常使用激光雷达和双目视觉实现。但是,由于激光雷达的测量距离有限,硬件成本较高,因此无法满足远距离特征的定位环境。另外,由于双目视觉的测量距离有限,视野范围有限,因此也无法满足大视野和远距离特征的定位环境。
基于此,本申请实施例提出了一种目标定位方法,可以满足定位环境的大视野和远距离特征,实现救援目标的定位。比如,可以满足水面或水下的大视野和远距离特征,实现水面或水下的救援目标的定位。
当然,也可以应用于其它大视野或远距离特征的场景,本申请实施例对此不做限定。
下面对本申请实施例提供的目标定位系统进行详细地解释说明。
请参考图1,图1是本申请实施例提供的一种目标定位系统的结构框图。本申请实施例提供的目标定位方法可以应用于图1所示的目标定位系统中。如图1所示,目标定位系统包括监控设备101和主控单元102,主控单元102与监控设备101连接。
其中,监控设备101用于采集包括救援目标的监控图像,将监控图像发送至主控单元102。
其中,监控设备101具有监控区域(视野范围)和监控参数,可以通过调整监控参数改变监控区域,从而监控设备101以不同的监控参数采集包括救援目标的监控图像。
比如,通过调整监控设备101的旋转角和焦距,改变监控区域的位置和范围,满足定位环境的大视野和远距离特征。
比如,监控设备101可以为可旋转和可变焦距的相机。监控设备101可以接收主控单元102发送的调焦指令和/或旋转指令,根据调焦指令和/或旋转指令,调整焦距和/或旋转角。
作为一个示例,如图1所示,监控设备101位于水平面上方,可监控水面环境,通过调整监控设备101的旋转角和焦距,改变监控区域的位置和范围,满足水面环境的大视野和远距离特征。
比如,如图1所示,目标定位系统还包括云台103,监控设备101通过云台103固定于水平面上方。
作为一个示例,云台103用于将监控设备101固定于水平面上方,以便监控设备101采集包括水面救援目标的监控图像。
其中,云台103还可以带动监控设备101进行旋转,以调整监控设备101的旋转角。
作为一个示例,云台103可以为包括支撑装置和旋转装置的设备。支撑装置的第一端位于水中,支撑装置的第二端位于水平面上方,支撑装置的第二端连接旋转装置的第一端,旋转装置的第二端连接监控设备101。如此,云台103可以通过支撑装置将监控设备101固定于水平面上方,通过旋转装置调整监控设备101的旋转角。这种情况下,监控设备101可以为可变焦距的相机。监控设备101通过云台103的旋转而旋转,通过接收主控单元102发送的调焦指令调整焦距。
另外,云台103也可以通过其它方式将监控设备101固定于水平面上方,通过其它方式带动监控设备101进行旋转,本申请实施例对云台103实现将监控设备101固定于水平面上方,带动监控设备101旋转的方式不做限定。
作为一个示例,云台103中也可以集成监控设备101,以不同的监控参数采集包括救援目标的监控图像。
需要说明是,图1仅以监控设备101位于水平面上方,对水面救援目标进行定位为例进行说明,并不作为定位环境的限定。比如,监控设备101也可以为其它大视野或远距离特征的定位场景,如监控设备101位于水下,用于对水下救援目标进行定位。
其中,主控单元102,用于获取监控设备101采集的包括救援目标的监控图像作为第一图像,根据第一图像确定救援目标的位置,得到第一位置。
主控单元102,还用于调整监控设备101的监控参数,获取监控参数调整后的监控设备101采集的包括救援目标的监控图像作为第二图像,根据第二图像和监控设备101调整后的监控参数,确定救援目标的位置,得到第二位置。其中,监控参数包括旋转角和/或焦距。
主控单元102,还用于根据第一位置,对第二位置进行优化,得到第三位置。
作为一个示例,主控单元102可以为具有处理能力的设备,比如,主控单元102可以为计算机设备或具有处理能力的处理器等。
需要说明的是,通过调整监控设备101的监控参数,使主控单元102可以获取监控设备101以不同的监控参数采集的包括救援目标的多个监控图像,从而满足大视野和远距离特征的定位环境,且根据不同监控参数对应的多个监控图像可以实现救援目标的定位。比如,通过调整监控设备101的焦距,可以兼顾不同距离的救援目标(远距离和近距离)的定位;通过调整监控设备101的旋转角,可以适用不同角度的救援目标的定位,从而满足大视野和远距离特征定位环境。
作为一个示例,云台103中也可以集成主控单元102,比如主控单元102为具有处理能力的处理器,云台103包括处理器。
接下来,对本申请实施例提供的目标定位方法予以说明。
请参考图2,图2是本申请实施例提供一种目标定位方法的流程图,该方法可以应用于上述图1所示的目标定位系统的主控单元中,主控单元与监控设备连接。该方法包括如下步骤:
步骤201,主控单元获取监控设备采集的包括救援目标的监控图像作为第一图像。
其中,主控单元与监控设备通过无线或有线方式连接。比如,主控单元通过无线方式获取监控设备采集的包括救援目标的监控图像。
比如,监控设备用于对定位环境进行监控,采集定位环境中包括救援目标的图像。比如,如图1所示,监控设备通过云台固定于水平面上方。
其中,救援目标可以为水面的溺水者或船只等,当然也可以为其他目标,如水面的塑料袋等。救援目标可以根据实际需求(定位环境)进行设置,本申请实施例对定位环境和救援目标的具体类型不做限定。
作为一个示例,在主控单元获取监控设备采集的包括救援目标的监控图像作为第一图像之前,监控设备在第一时刻,以第一时刻的监控参数采集包括救援目标的监控图像。其中,监控参数包括旋转角和/或焦距。
作为一个示例,监控设备在采集包括救援目标的监控图像之前,可以先确定采集的监控图像中是否存在救援目标,若确定采集的监控图像中存在救援目标,则将包括救援目标的监控图像作为第一图像发送至主控单元。或者,监控设备采集监控图像后,将监控图像发送至主控单元,主控单元获取监控设备发送的监控图像,确定监控图像中是否存在救援目标,若确定监控设备发送的监控图像中存在救援目标,则将该存在救援目标的监控图像作为第一图像。
其中,可以通过目标检测算法或者预先训练好的目标检测模型确定监控图像中是否存在救援目标。
作为一个示例,主控单元在获取监控设备采集的包括救援目标的监控图像之前,还可以预先进行标定工作,以提高定位的准确性。比如,标定工作可以包括以下步骤中的至少一种:
步骤1)确定监控设备的多种焦距对应的内参矩阵。
其中,内参矩阵由监控设备的焦距和监控设备的光心在成像平面上的投影的坐标组成,内参矩阵是主控单元在获取包括救援目的监控图像之后,根据监控图像确定救援目标的位置时使用的参数,比如在下述步骤202和步骤205中使用,具体参见步骤205中的公式(1)。
其中,监控设备是具有调焦功能的设备,且不同焦距对应不同的内参矩阵,因此需要先确定多种焦距分别对应的内参矩阵,以便主控单元根据监控设备采集监控图像时的目标焦距,从多种焦距对应的内参矩阵中获取目标焦距对应的内参矩阵作为监控设备的内参矩阵。
作为一个示例,可以根据定位环境的实际需求,设置监控设备的多种焦距,以便兼容不同距离的定位,满足远距离特征的定位环境。再根据设置的多种焦距,对监控设备进行标定,确定多种焦距分别对应的内参矩阵。
另外,通常监控设备的内部会包括透镜,透镜会对监控设备的成像产生影响,又称畸变。畸变的存在,会影响定位的精度,因此主控单元还可以确定多种焦距分别对应的畸变系数,以根据畸变系数矫正救援目标在像素坐标系中的坐标,进而提高待救援目标的定位准确性。
步骤2)确定监控设备初始安装时的安装误差。
其中,监控设备初始安装时一般需保证监控设备的光轴平行于参考平面且指向正北方向,以及监控设备的横向截面平行于参考平面。但是考虑实际情况,监控设备初始安装时可能无法完全平行于参考平面且指向正北方向,因此需要确定监控设备初始安装时的安装误差。
其中,根据定位环境的不同,参考平面不同。比如,如图1所示,监控设备位于水平面上方,参考平面可以为水平面。
当然,参考平面也可以为其它。比如,定位环境为水下,参考平面可以为水底平面。
需要说明的是,本申请实施例中仅以正北方向为例进行说明,并不作为监控设备初始安装时的限定。
其中,安装误差可以包括误差方位角yawerror、误差俯仰角pitcherror和误差滚转角rollerror中的一种或多种。误差方位角是指监控设备的光心与正北方向的误差角,误差俯仰角是指监控设备的光心与参考平面的误差角,误差滚转角是指监控设备的横向截面与参考平面的误差角。其中,yawerror∈(-π/2,π/2),pitcherror∈(-π/2,π/2),rollerror∈(-π/2,π/2)。
作为一个示例,可以通过惯性测量单元(inertial measurement unit,IMU)或其他设备确定监控设备的安装误差。
步骤3)确定监控设备的光心距离参考平面的高度。
比如,如图1所示,监控设备位于水平面上方,参考平面可以为水平面,主控单元可以确定监控设备的光心距离水平面的高度。
作为一个示例,可以根据云台的支撑装置的第一端和第二端的距离、以及监控设备初始安装时水平面的高度,确定监控设备的光心距离水平面的初始高度。之后,实时确定水平面的高度,根据监控设备的光心距离水平面的初始高度和水平面的实时高度,确定监控设备的光心距离水平面的高度。
当然,参考平面也可以为其它。比如,定位环境为水下,参考平面可以为水底平面,主控单元可以确定监控设备的光心距离水底平面的高度。
需要说明的是,上述步骤1)-步骤3)不构成对主控单元的执行顺序的限定。
作为一个示例,主控单元还可以确定监控设备的光心所对应的经纬度。
步骤202,主控单元根据第一图像确定救援目标的位置,得到第一位置。
其中,监控设备在第一时刻采集第一图像。主控单元可以先确定救援目标在第一图像对应的像素坐标系中的像素坐标,再根据监控设备第一时刻的监控参数和该像素坐标,确定救援目标在世界坐标系中的坐标作为第一位置。
比如,监控设备在第一时刻的监控参数可以包括第一旋转角和第一焦距,主控单元可以根据第一焦距和该像素坐标,确定救援目标在相机坐标系中的坐标,然后根据第一旋转角和救援目标在相机坐标系中的坐标,确定救援目标在世界坐标系中的坐标作为第一位置。
其中,主控单元确定救援目标在第一图像对应的像素坐标系中的像素坐标的计算过程,可以参考确定救援目标在第二图像对应的像素坐标系中的第一坐标的计算过程,也即是,可以参考下述步骤2051,这里先不做说明。
另外,主控单元根据监控设备第一焦距和救援目标在第一图像对应的像素坐标系中的像素坐标,确定救援目标在相机坐标系中的坐标的计算过程,以及根据第一旋转角和救援目标在相机坐标系中的坐标,确定救援目标在世界坐标系中的坐标作为第一位置的计算过程,可以参考下述步骤2052-步骤2053,这里先不做说明。
其中,相机坐标系为三维直角坐标系,相机坐标系的坐标原点为监控设备的光心、相机坐标系的X轴和Y轴分别指向平行于监控设备的成像平面的两条边的方向,相机坐标系的Z轴指向光轴方向。比如,如图1所示,OXcYcZc表示相机坐标系,Xc、Yc、Zc分别为相机坐标系中X轴、Y轴和Z轴的坐标。
其中,世界坐标系为二维直角坐标系,世界坐标系的坐标原点为监控设备的光心在参考平面上的投影,世界坐标系的Y轴指向监控设备初始安装时的光轴平行于参考平面且指向正北方向,世界坐标系的X轴指向平行于参考平面且垂直于正北方向。比如,如图1所示,OXwYw表示世界坐标系,Xw、Yw分别为世界坐标系中的X轴和Y轴坐标。
需要说明的是,本申请实施例仅以正北方向为例定义世界坐标系,并不作为对世界坐标系的限定。另外,主控单元根据第一图像确定救援目标的位置,得到第一位置的计算过程,可以参考下述步骤205,这里先不做说明。
步骤203,主控单元调整监控设备的监控参数。
其中,监控参数包括旋转角和/或焦距。比如,监控设备为可旋转、可变焦距的监控设备,主控单元可以调整监控设备的旋转角和焦距。
其中,主控单元可以根据实际情况调整监控设备的监控参数,以使救援目标在调整监控参数后的监控设备采集的图像中的位置和范围均较优。且由于可以调整监控设备的监控参数,因此监控范围较大,满足大视野和远距离特征的定位环境。
比如,通过调整旋转角,使得监控设备可以采集包括水面上任意位置的救援目标的监控图像;通过调整焦距,使得监控设备采集的包括救援目标的监控图像兼顾远距离和近距离的情况,可以满足水面环境的大视野和远距离特征,从而根据不同监控参数对应的监控图像可以实现水面救援目标的定位。
另外,由于可以调整监控设备的监控参数,因此本申请实施例提供的目标定位方法可以实现移动的救援目标的定位。比如,通过调整监控参数的旋转角,使得移动的救援目标始终存在于监控设备的监控区域(视野范围)内,且根据救援目标距离监控设备的距离调整焦距,可以兼顾不同距离(远距离和近距离)的救援目标的定位。
作为一个示例,调整策略可以依据救援目标在图像中的位置和/或救援目标的移动方向进行设置。若救援目标在图像中的位置区域小于阈值,则将监控设备的焦距调大;若救援目标在图像中的位置靠近图像中的边缘,则调整监控设备的旋转角,以使救援目标在监控设备采集的图像中的位置靠近图像中心,以使救援目标在监控设备的监控范围内;根据已采集的多帧图像可以确定救援目标的移动方向,根据救援目标的移动方向可以调整监控设备的旋转角和焦距,以使救援目标在监控设备采集的图像中的位置靠近中心,且救援目标在图像中的位置区域不小于阈值,从而后续根据调整监控参数后的监控设备采集的包括救援目标的监控图像确定救援目标的位置较优,即定位的精度更高。
其中,主控单元可以通过以下方式中的一种或多种调整监控设备的监控参数:
第一种方式:控制监控设备进行旋转,以调整监控设备的旋转角。
比如,主控单元与监控设备通过无线方式连接,主控单元可以通过无线方式向监控设备发送旋转指令,监控设备接收主控单元发送的旋转指令,根据旋转指令进行旋转,调整旋转角。
另外,主控单元也可以控制云台进行旋转,以调整监控设备的旋转角。比如,主控单元与云台通过无线方式连接,云台通过旋转装置与监控设备连接。主控单元可以通过无线方式向云台发送旋转指令,云台接收主控单元发送的旋转指令,根据旋转指令进行旋转,从而通过旋转装置带动监控设备旋转,调整监控设备的旋转角。
或者,云台在接收主控单元发送的旋转指令后,向监控设备发送该旋转指令,监控设备接收云台发送的旋转指令,根据旋转指令进行旋转。
第二种方式:控制监控设备进行调焦,以调整监控设备的焦距。
作为一个示例,主控单元与监控设备通过无线方式连接,主控单元通过无线方式向监控设备发送调焦指令,控制监控设备进行调焦。比如,监控设备接收主控单元发送的调焦指令,根据调焦指令调整焦距。
作为一个示例,主控单元可以通过云台控制监控设备进行调焦。比如,主控单元与云台通过无线方式连接,云台与监控设备通过无线方式连接。主控单元通过无线方式向云台发送调焦指令,云台接收主控单元发送的调焦指令后,通过无线方式向监控设备发送调焦指令,控制监控设备进行调焦。
作为一个示例,主控单元也可以向监控设备或云台发送调参指令,调参指令用于调整监控设备的监控参数。
作为一个示例,主控单元调整监控设备的监控参数后,监控设备可以根据调整后的监控参数采集监控图像。其中,调整监控参数后的监控设备的监控参数的旋转角、焦距可以称为目标旋转角、目标焦距。
步骤204,主控单元获取监控参数调整后的监控设备采集的包括救援目标的监控图像作为第二图像。
其中,主控单元获取监控参数调整后的监控设备在第二时刻采集的包括救援目标的监控图像作为第二图像之前,监控设备在第二时刻,以第二时刻的监控参数(执行上述步骤203之后,监控设备的监控参数)采集到包括救援目标的监控图像。比如,监控设备在第二时刻的监控参数可以包括第二旋转角和第二焦距。
其中,监控设备采集第一图像和采集第二图像时的监控参数不同,也即是,监控设备以不同的监控参数采集第一图像和第二图像,从而改变监控设备的监控区域,满足大视野和远距离特征的定位环境。比如,第二旋转角与第一旋转角不同,和/或,第二焦距与第一焦距不同。
步骤205,主控单元根据第二图像和监控设备调整后的监控参数,确定救援目标的位置,得到第二位置。
作为一个示例,监控设备在监控参数调整后第二时刻采集到第二图像。主控单元可以先确定救援目标在第二图像对应的像素坐标系中的第一坐标,再根据监控设备第二时刻的监控参数和第一坐标,确定救援目标在世界坐标系中的第三坐标作为第二位置。
比如,主控单元根据第二图像和监控设备调整后的监控参数,确定救援目标的位置,得到第二位置,可以包括如下步骤:
步骤2051,主控单元确定救援目标在第二图像对应的像素坐标系中的第一坐标。
作为一个示例,主控单元可以先识别监控图像中存在的救援目标,再确定救援目标在像素坐标系中的第一坐标。比如,如图1所示,Ouv表示第二图像对应的像素坐标系,u、v为救援目标在像素坐标系中的坐标。
作为一个示例,主控单元还可以根据畸变系数校正救援目标在像素坐标系中的坐标,将矫正后的坐标作为第一坐标。
另外,主控单元在确定救援目标在第二图像对应的像素坐标系中像素坐标作为第一坐标后,可以根据监控设备第二时刻的监控参数和第一坐标,确定救援目标在世界坐标系中的第三坐标作为第二位置。比如,主控单元通过下述步骤2052-步骤2053确定第二位置。
步骤2052,主控单元根据监控参数调整后的监控设备的目标焦距和第一坐标,确定救援目标在相机坐标系中的第二坐标。
其中,目标焦距是指监控参数调整后的监控设备的焦距,即上述第二焦距。
作为一个示例,主控单元可以先根据目标焦距,确定监控设备的内参矩阵,再根据内参矩阵和第一坐标,确定救援目标在相机坐标系中的第二坐标。
比如,在根据目标焦距,确定监控设备的内参矩阵之前,主控单元先确定监控设备的多种焦距对应的内参矩阵,之后主控单元可以从多种焦距对应的内参矩阵中获取目标焦距对应的内参矩阵作为监控设备的内参矩阵。
比如,主控单元根据内参矩阵和第一坐标,可以通过以下公式(1)确定第二坐标:
Figure BDA0003524473650000151
其中,K为内参矩阵,且K由cx、cy、fx、fy组成,cx、cy为监控设备的光心在成像平面上的投影的坐标,fx、fy为目标焦距;Pc为救援目标在相机坐标系中的第二坐标,且Pc=[Xc/ZcYc/Zc 1]T,Xc、Yc、Zc为相机坐标系中的坐标;u、v为救援目标在像素坐标系中的第一坐标。
比如,如图1所示,Ouv表示第二图像对应的像素坐标系,u、v为救援目标在像素坐标系中的坐标,救援目标在像素坐标系中的第一坐标为(u,v);监控设备光心在成像平面上的投影的坐标为(cx,cy);目标焦距f在相机坐标系的X轴方向的投影为fx,目标焦距f在相机坐标系的Y轴方向的投影为fy
步骤2053,根据监控参数调整后的监控设备的目标旋转角和第二坐标,确定救援目标在世界坐标系中的第三坐标作为第二位置。
作为一个示例,由于监控设备的旋转角度发生变化,也即是,监控参数调整后的监控设备与监控设备初始安装时存在旋转变化,因此,可以建立参考坐标系,主控单元先确定监控参数调整后的监控设备对应的相机坐标系与参考坐标系的旋转关系,再根据旋转关系确定救援目标在世界坐标系中的第三坐标。
其中,参考坐标系为三维直角坐标系,参考坐标系的坐标原点为监控设备的光心,参考坐标系的Y轴指向监控设备初始安装时的光轴平行于参考平面且指向正北方向,参考坐标系的X轴指向平行于参考平面且垂直于正北方向,参考坐标系的Z轴指向垂直于参考平面向下方向。如图1所示,OX′cY′cZ′c表示参考坐标系,X′c、Y′c、Z′c分别为参考坐标系中的X轴、Y轴和Z轴坐标。
作为一个示例,监控参数调整后的监控设备的目标旋转角为相机坐标系与参考坐标系的旋转角,主控单元根据目标旋转角和第二坐标,先确定救援目标在参考坐标系中的第四坐标,再根据第四坐标确定救援目标在世界坐标系中的第三坐标作为第二位置。
作为一个示例,目标旋转角可以包括方位角yawc和俯仰角pitchc,方位角指示相机坐标系的Z轴与参考坐标系的Y轴的角度,俯仰角指示相机坐标系的Z轴与参考坐标系的Z轴的角度。也即是,方位角指示相机坐标系的Z轴与正北方向的角度,俯仰角指示相机坐标系的Z轴与垂直于参考平面方向的角度。
作为一个示例,主控单元根据目标旋转角和第二坐标,可以通过以下公式(2)和公式(3)确定第四坐标:
Figure BDA0003524473650000164
Figure BDA0003524473650000161
其中,P′c为救援目标在参考坐标系中的第四坐标,且P′c=[X′c Y′c Z′c]T,X′c、Y′c、Z′c为参考坐标系中的坐标;yawc为方位角,pitchc为俯仰角,
Figure BDA0003524473650000165
为方位角对应的旋转矩阵,
Figure BDA0003524473650000166
为俯仰角对应的旋转矩阵;Pc为救援目标在相机坐标系中的第二坐标,且Pc=[Xc/Zc Yc/Zc 1]T,Xc、Yc、Zc为相机坐标系中的坐标。
其中,yawc∈(-π,π),pitchc∈(0,π/2)。
作为一个示例,主控单元还可以根据监控设备初始安装时的安装误差,对第四坐标进行校正。比如,安装误差包括pitcherror误差俯仰角和rollerror误差滚转角。主控单元根据目标旋转角、第二坐标和安装误差,可以通过以下公式(4)和公式(5)确定第四坐标:
Figure BDA0003524473650000167
Figure BDA0003524473650000162
其中,P′c为救援目标在参考坐标系中的第四坐标;pitcherror为误差俯仰角,rollerror为误差滚转角,
Figure BDA0003524473650000168
为误差俯仰角对应的旋转矩阵,
Figure BDA0003524473650000169
为误差滚转角对应的旋转矩阵;yawc为方位角,pitchc为俯仰角,
Figure BDA00035244736500001610
为方位角对应的旋转矩阵,
Figure BDA00035244736500001611
为俯仰角对应的旋转矩阵;Pc为救援目标在相机坐标系中的第二坐标。
作为一个示例,主控单元根据第四坐标,可以通过以下公式(6)确定第三坐标作为第二位置:
Figure BDA0003524473650000163
其中,Pw为救援目标在世界坐标系中的第三坐标作为第二位置,且Pw=[Xw Yw]T,Xw、Yw为世界坐标系中的坐标;P′c为救援目标在参考坐标系中的第四坐标,且P′c=[X′c Y′cZ′c]T,X′c、Y′c、Z′c为参考坐标系中的坐标;H为监控设备的光心距离参考平面的高度。
步骤206,主控单元根据第一位置,对第二位置进行优化,得到第三位置。
其中,主控单元可以采用滤波方法对第二位置进行优化。比如,主控单元采用卡尔曼滤波方法对第二位置进行优化。
作为一个示例,主控单元采用卡尔曼滤波方法,根据第一位置,对监控参数调整后的监控设备采集第二图像时救援目标的位置进行预测,得到预测位置,再根据预测位置,对第二位置进行调整,得到第三位置。
其中,主控单元根据第一位置,可以通过以下公式(7)和公式(8)得到预测位置:
Figure BDA0003524473650000171
Figure BDA0003524473650000172
其中,上述公式(7)为卡尔曼滤波方法的状态转移方程,上述公式(8)为卡尔曼滤波方法的观测方程;
Figure BDA0003524473650000173
为第一位置,
Figure BDA0003524473650000174
为救援目标在世界坐标系的第一位置的X轴方向的速度,
Figure BDA0003524473650000175
为救援目标在世界坐标系的第一位置的Y轴方向的速度;
Figure BDA0003524473650000176
为预测位置;ωt+1~N(0,Μ),服从零均值高斯分布;υt+1~N(0,Q),服从零均值高斯分布。
其中,预测位置为根据救援目标第一时刻的第一位置,对救援目标第二时刻位置进行提前预测的观测位置。
之后,主控单元可以根据预测位置和第二位置,得到第三位置。比如,
Figure BDA0003524473650000177
为预测位置,
Figure BDA0003524473650000178
为第二位置,可以对预测位置和第二位置取平均值得到第三位置。
当然,也可以根据监控设备采集第二图像之前已采集的包括救援目标的多帧图像,对第二位置进行优化,即采用滑动窗口法,根据多个位置对第二位置进行优化。
作为一个示例,在确定第三位置之后,可以根据监控设备的光心所对应的经纬度,确定救援目标的经纬度。
需要说明是,由于第二图像是在监控参数调整后监控设备采集的图像,且第二图像中的救援目标的位置均较优,因此根据第二图像确定的第二位置的定位准确度较高,进一步地第三位置的定位准确性也较高。
本申请实施例中,先获取监控设备采集的包括救援目标的监控图像作为第一图像,根据第一图像确定救援目标的位置,得到第一位置。然后调整监控设备的监控参数,获取监控参数调整后的监控设备采集的包括救援目标的监控图像作为第二图像,根据第二图像和监控设备调整后的监控参数,确定救援目标的位置,得到第二位置。最后根据第一位置对第二位置进行优化,得到第三位置。其中,监控参数包括旋转角和/或焦距。由于可以灵活地调整监控设备的监控参数,因此可以获取监控设备以不同的监控参数采集的包括救援目标的多个监控图像,满足大视野和远距离特征的定位环境,且根据不同监控参数对应的多个监控图像可以实现救援目标的定位。
请参考图3,图3是本申请实施例提供的另一种目标定位方法的流程图,该方法可以应用于上述图1所示的目标定位系统的主控单元中,主控单元与监控设备连接。该方法包括如下步骤:
步骤301,主控单元确定标定参数。
其中,标定参数可以包括监控设备的多种焦距对应的内参矩阵、安装误差和监控设备的光心距离参考平面的高度中的一种或多种,标定参数可以以提高定位的准确性。
作为一个示例,可以通过标定工作确定标定参数。标定工作可以包括以下步骤中的至少一种:
步骤1)确定监控设备的多种焦距对应的内参矩阵。
步骤2)确定监控设备初始安装时的安装误差。
步骤3)确定监控设备的光心距离参考平面的高度。
其中,上述步骤1)-步骤3)的详细说明可以参见上述图2实施例中的步骤201,这里不再进行赘述。
当然,标定参数还可以包括其它参数,本申请实施例标定参数不做限定。比如,标定参数还包括多种焦距分别对应的畸变系数或监控设备的光心所对应的经纬度等。
步骤302,主控单元调整监控设备的监控参数。
其中,监控参数包括旋转角和/或焦距。
其中,主控单元可以在上述图2实施例中的步骤203之后,再次调整监控设备的监控参数,以使监控设备以再次调整后的监控参数采集包括救援目标的监控图像。比如,再次调整监控设备的监控参数为第三旋转角和第三焦距,第三旋转角与第二旋转角不同,和/或,第三焦距与第二焦距不同。其中,第二旋转角和第二焦距是上述步骤203主控单元调整监控设备的监控参数之后监控设备的监控参数。
其中,主控单元调整监控设备的监控参数的详细说明可以参见上述图2实施例中的步骤203,这里不再进行赘述。
需要说明的是,主控单元也可以不执行步骤302,即不对监控设备的监控参数进行调整。这种情况下,主控单元可以实时获取监控设备的监控参数或者以上一时刻监控设备的监控参数作为当前时刻监控设备的监控参数。
步骤303,主控单元获取监控参数调整后的监控设备采集的包括救援目标的监控图像作为第三图像。
其中,在主控单元获取监控参数调整后的监控设备采集的包括救援目标的监控图像作为第三图像之前,监控设备在第三时刻,以第三时刻的监控参数(执行步骤302之后,监控设备的监控参数)采集到包括救援目标的监控图像。比如,监控设备在第三时刻的监控参数包括第三旋转角和第三焦距。
另外,主控单元获取监控设备采集的包括救援目标的监控图像作为第三图像的详细说明可以参见上述图2实施例中的步骤201或步骤204,这里不再进行赘述。
步骤304,主控单元确定救援目标在第三图像对应的像素坐标系中的第五坐标。
其中,主控单元确定救援目标在第三图像对应的像素坐标系中的第五坐标的详细说明可以参见上述图2实施例中的步骤2051,这里不再进行赘述。
另外,主控单元还可以根据监控设备第三时刻的畸变系数,矫正救援目标在像素坐标系中的坐标,将矫正后的坐标作为第五坐标。比如,主控单元从多种焦距分别对应的畸变系数中获取第三焦距对应的畸变系数作为监控设备第三时刻的畸变系数。
步骤305,主控单元根据第五坐标,确定救援目标在相机坐标系中的第六坐标。
比如,主控单元可以根据监控设备第三时刻的第三焦距和第五坐标,确定第三时刻救援目标在相机坐标系中的第六坐标。
其中,主控单元根据第三焦距和第五坐标,确定救援目标在相机坐标系中的第六坐标的计算过程可以参考上述图2实施例中的步骤2052,这里不再进行赘述。
步骤306,主控单元根据第六坐标,确定救援目标在世界坐标系中的第七坐标作为第四位置。
比如,主控单元可以根据监控设备第三时刻的第三旋转角和第六坐标先确定救援目标在参考坐标系中的第八坐标,再根据第八坐标确定救援目标在世界坐标系中的第七坐标作为第四位置。
其中,主控单元根据第三旋转角和第六坐标,确定救援目标在世界坐标系中的第七坐标作为第四位置的计算过程可以参考上述图2实施例中的步骤2053,这里不再进行赘述。
步骤307,主控单元根据已确定的救援目标在世界坐标系中的位置,对第四位置进行优化,得到第三时刻救援目标在世界坐标系中的第五位置。
比如,主控的单元根据上述图2实施例中的第三位置,对第四位置进行优化。
作为一个示例,主控单元可以根据第二时刻救援目标在世界坐标系中的第三位置,对第三时刻救援目标在世界坐标系中的第四位置进行优化,得到第五位置。
其中,主控单元根据已确定的救援目标在世界坐标系中的位置,对第四位置进行优化,得到第五位置的详细说明可以参见上述图2实施例中的步骤206,这里不再进行赘述。
需要说明是,本申请实施例提供的另一种目标定位方法可以在上述图2实施例中步骤204之后执行,也可以在上述图2实施例中步骤206之后执行,以使主控单元不断的获取监控设备采集的包括救援目标的监控图像,从而不断的根据监控图像确定救援目标在世界坐标系中的位置,实现救援目标的定位。进一步地,还可以根据之前确定的救援目标的位置对当前确定的位置进行优化,提高定位准确性。
比如,可以通过不断的调整监控参数,获取监控参数调整后的监控设备采集的包括救援的目标的监控图像,满足大视野和远距离特征的定位环境,实现救援目标的定位。
本申请实施例中,先确定标定参数,调整监控设备的监控参数。再获取监控参数调整后的监控设备第三时刻采集的包括救援目标的监控图像作为第三图像,确定第三时刻救援目标在第三图像对应的像素坐标系中的第五坐标。之后,根据第五坐标确定第三时刻救援目标在相机坐标系中的第六坐标,根据第六坐标确定第三时刻救援目标在世界坐标系中的第七坐标作为第四位置。最后,根据第三时刻之前已确定的救援目标在世界坐标系中的位置,对第四位置进行优化,得到第三时刻救援目标在世界坐标系中的第五位置。其中,监控参数包括旋转角和/或焦距。由于可以灵活地调整监控设备的监控参数,因此可以获取监控设备以不同的监控参数采集的包括救援目标的监控图像,满足大视野和远距离特征的定位环境,且根据不同监控参数对应的监控图像的可以实现救援目标的定位。
图4是本申请实施例提供的一种计算机设备的结构示意图。如图4所示,计算机设备包括:处理器401、存储器402以及存储在存储器402中并可在处理器401上运行的计算机程序403,处理器401执行计算机程序403时实现上述实施例中的事件处置方法中的步骤。
计算机设备可以上述图1实施例中的主控单元,计算机设备可以是一个通用计算机设备或一个专用计算机设备。在具体实现中,计算机设备可以是台式机、便携式电脑、服务器、掌上电脑、移动手机、平板电脑、无线终端设备、通信设备或嵌入式设备等,本申请实施例不限定计算机设备的类型。本领域技术人员可以理解,图4仅仅是计算机设备的举例,并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,比如还可以包括输入输出设备、网络接入设备等。
处理器401可以是中央处理单元(Central Processing Unit,CPU),处理器401还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者也可以是任何常规的处理器。
存储器402在一些实施例中可以是计算机设备的内部存储单元,比如计算机设备的硬盘或内存。存储器402在另一些实施例中也可以是计算机设备的外部存储设备,比如计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,存储器402还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器402用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机设备,该计算机设备包括:至少一个处理器、存储器以及存储在该存储器中并可在该至少一个处理器上运行的计算机程序,该处理器执行该计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个方法实施例中的步骤。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述方法实施例中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,该计算机程序包括计算机程序代码,该计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。该计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory,只读光盘)、磁带、软盘和光数据存储设备等。本申请提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。该计算机指令可以存储在上述计算机可读存储介质中。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (11)

1.一种目标定位方法,其特征在于,所述方法包括:
获取监控设备采集的包括救援目标的监控图像作为第一图像;
根据所述第一图像确定所述救援目标的位置,得到第一位置;
调整所述监控设备的监控参数,所述监控参数包括旋转角和/或焦距;
获取监控参数调整后的所述监控设备采集的包括所述救援目标的监控图像作为第二图像;
根据所述第二图像和所述监控设备调整后的监控参数,确定所述救援目标的位置,得到第二位置;
根据所述第一位置,对所述第二位置进行优化,得到第三位置。
2.如权利要求1所述的方法,其特征在于,所述调整所述监控设备的监控参数,包括以下方式中的一种或多种:
控制所述监控设备进行旋转,以调整所述监控设备的旋转角;
控制所述监控设备进行调焦,以调整所述监控设备的焦距。
3.如权利要求1所述的方法,其特征在于,所述根据所述第二图像和所述监控设备调整后的监控参数,确定所述救援目标的位置,得到第二位置,包括:
确定所述救援目标在所述第二图像对应的像素坐标系中的第一坐标;
根据监控参数调整后的所述监控设备的目标焦距和所述第一坐标,确定所述救援目标在相机坐标系中的第二坐标,所述相机坐标系为三维直角坐标系,所述相机坐标系的坐标原点为所述监控设备的光心、所述相机坐标系的X轴和Y轴分别指向平行于所述监控设备的成像平面的两条边的方向,所述相机坐标系的Z轴指向光轴方向;
根据监控参数调整后的所述监控设备的目标旋转角和所述第二坐标,确定所述救援目标在世界坐标系中的第三坐标作为所述第二位置,所述世界坐标系为二维直角坐标系,所述世界坐标系的坐标原点为所述监控设备的光心在参考平面上的投影,所述世界坐标系的Y轴指向所述监控设备初始安装时的光轴平行于参考平面且指向正北方向,所述世界坐标系的X轴指向平行于参考平面且垂直于正北方向。
4.如权利要求3所述的方法,其特征在于,所述根据监控参数调整后的所述监控设备的目标焦距和所述第一坐标,确定所述救援目标在相机坐标系中的第二坐标,包括:
根据所述目标焦距,确定所述监控设备的内参矩阵;
根据所述内参矩阵和所述第一坐标,确定所述救援目标在所述相机坐标系中的第二坐标。
5.如权利要求4所述的方法,其特征在于,所述根据所述目标焦距,确定所述监控设备的内参矩阵之前,所述方法还包括:
确定所述监控设备的多种焦距对应的内参矩阵;
所述根据所述目标焦距,确定所述监控设备的内参矩阵,包括:
从所述多种焦距对应的内参矩阵中获取所述目标焦距对应的内参矩阵作为所述监控设备的内参矩阵。
6.如权利要求3所述的方法,其特征在于,监控参数调整后的所述监控设备的目标旋转角为所述相机坐标系与参考坐标系的旋转角,所述参考坐标系为三维直角坐标系,所述参考坐标系的坐标原点为所述监控设备的光心,所述参考坐标系的Y轴指向所述监控设备初始安装时的光轴平行于参考平面且指向正北方向,所述参考坐标系的X轴指向平行于参考平面且垂直于正北方向,所述参考坐标系的Z轴指向垂直于参考平面向下方向;
所述根据监控参数调整后的所述监控设备的目标旋转角和所述第二坐标,确定所述救援目标在世界坐标系中的第三坐标作为所述第二位置,包括:
根据所述目标旋转角和所述第二坐标,确定所述救援目标在所述参考坐标系中的第四坐标;
根据所述第四坐标确定所述救援目标在所述世界坐标系中的所述第三坐标作为所述第二位置。
7.如权利要求6所述的方法,其特征在于,所述目标旋转角包括方位角和俯仰角,所述方位角指示所述相机坐标系的Z轴与所述参考坐标系的Y轴的角度,所述俯仰角指示所述相机坐标系的Z轴与所述参考坐标系的Z轴的角度;
所述根据所述目标旋转角和所述第二坐标,确定所述救援目标在所述参考坐标系中的第四坐标,包括:
根据所述目标旋转角和所述第二坐标,通过以下公式确定所述第四坐标:
Figure FDA0003524473640000021
Figure FDA0003524473640000031
其中,P′c为所述救援目标在所述参考坐标系中的所述第四坐标,且P′c=[X′c Y′c Z′c]T,X′c、Y′c、Z′c为所述参考坐标系中的坐标;yawc为所述方位角,pitchc为所述俯仰角,
Figure FDA0003524473640000032
为所述方位角对应的旋转矩阵,
Figure FDA0003524473640000033
为所述俯仰角对应的旋转矩阵;Pc为所述救援目标在所述相机坐标系中的所述第二坐标,且Pc=[Xc/Zc Yc/Zc 1]T,Xc、Yc、Zc为所述相机坐标系中的坐标。
8.如权利要求6所述的方法,其特征在于,所述根据所述第四坐标确定所述救援目标在所述世界坐标系中的所述第三坐标作为所述第二位置,包括:
根据所述第四坐标,通过以下公式确定所述第三坐标作为所述第二位置:
Figure FDA0003524473640000034
其中,Pw为所述救援目标在所述世界坐标系中的所述第三坐标作为所述第二位置,且Pw=[Xw Yw]T,Xw、Yw为所述世界坐标系中的坐标;P′c为所述救援目标在所述参考坐标系中的所述第四坐标,且P′c=[X′c Y′c Z′c]T,X′c、Y′c、Z′c为所述参考坐标系中的坐标;H为所述监控设备的光心距离参考平面的高度。
9.如权利要求1所述的方法,其特征在于,所述根据所述第一位置,对所述第二位置进行优化,得到第三位置,包括:
根据所述第一位置,对监控参数调整后的所述监控设备采集所述第二图像时所述救援目标的位置进行预测,得到预测位置;
根据所述预测位置,对所述第二位置进行调整,得到所述第三位置。
10.一种目标定位系统,其特征在于,所述系统包括监控设备和主控单元,所述主控单元与所述监控设备连接;
所述监控设备,用于采集包括救援目标的监控图像,将所述监控图像发送至所述主控单元;
所述主控单元,用于获取监控设备采集的包括救援目标的监控图像作为第一图像,根据所述第一图像确定所述救援目标的位置,得到第一位置;
所述主控单元,还用于调整所述监控设备的监控参数,所述监控参数包括旋转角和/或焦距;
所述主控单元,还用于获取监控参数调整后的所述监控设备采集的包括所述救援目标的监控图像作为第二图像,根据所述第二图像和所述监控设备调整后的监控参数,确定所述救援目标的位置,得到第二位置;
所述主控单元,还用于根据所述第一位置,对所述第二位置进行优化,得到第三位置。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。
CN202210191170.7A 2022-02-28 2022-02-28 目标定位方法、系统及存储介质 Active CN114608555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210191170.7A CN114608555B (zh) 2022-02-28 2022-02-28 目标定位方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210191170.7A CN114608555B (zh) 2022-02-28 2022-02-28 目标定位方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114608555A true CN114608555A (zh) 2022-06-10
CN114608555B CN114608555B (zh) 2024-08-06

Family

ID=81859358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210191170.7A Active CN114608555B (zh) 2022-02-28 2022-02-28 目标定位方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114608555B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130136311A (ko) * 2012-06-04 2013-12-12 경기대학교 산학협력단 긴급구조 관제서버, 긴급구조 시스템 및 그 방법
KR20190060249A (ko) * 2017-11-24 2019-06-03 사단법인 캠틱종합기술원 구조 장비 투척 방법 및 이를 이용한 구조용 드론
CN110332930A (zh) * 2019-07-31 2019-10-15 小狗电器互联网科技(北京)股份有限公司 一种位置确定方法、装置及设备
CN111178317A (zh) * 2020-01-06 2020-05-19 广东博智林机器人有限公司 检测定位方法、系统、装置、电子设备及存储介质
CN111461994A (zh) * 2020-03-30 2020-07-28 苏州科达科技股份有限公司 一种坐标转换矩阵的获取及监控画面中目标定位方法
CN112950725A (zh) * 2021-03-22 2021-06-11 深圳市城市交通规划设计研究中心股份有限公司 一种监控相机参数标定方法及装置
WO2021114777A1 (en) * 2019-12-12 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Target detection method, terminal device, and medium
CN113011222A (zh) * 2019-12-19 2021-06-22 杭州海康威视数字技术股份有限公司 一种活体检测系统、方法及电子设备
US20210343041A1 (en) * 2019-05-06 2021-11-04 Tencent Technology (Shenzhen) Company Limited Method and apparatus for obtaining position of target, computer device, and storage medium
CN113744299A (zh) * 2021-09-02 2021-12-03 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质
CN113850126A (zh) * 2021-08-20 2021-12-28 武汉卓目科技有限公司 一种基于无人机的目标检测和三维定位方法和系统
CN113923420A (zh) * 2021-11-18 2022-01-11 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130136311A (ko) * 2012-06-04 2013-12-12 경기대학교 산학협력단 긴급구조 관제서버, 긴급구조 시스템 및 그 방법
KR20190060249A (ko) * 2017-11-24 2019-06-03 사단법인 캠틱종합기술원 구조 장비 투척 방법 및 이를 이용한 구조용 드론
US20210343041A1 (en) * 2019-05-06 2021-11-04 Tencent Technology (Shenzhen) Company Limited Method and apparatus for obtaining position of target, computer device, and storage medium
CN110332930A (zh) * 2019-07-31 2019-10-15 小狗电器互联网科技(北京)股份有限公司 一种位置确定方法、装置及设备
WO2021114777A1 (en) * 2019-12-12 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Target detection method, terminal device, and medium
CN113011222A (zh) * 2019-12-19 2021-06-22 杭州海康威视数字技术股份有限公司 一种活体检测系统、方法及电子设备
CN111178317A (zh) * 2020-01-06 2020-05-19 广东博智林机器人有限公司 检测定位方法、系统、装置、电子设备及存储介质
CN111461994A (zh) * 2020-03-30 2020-07-28 苏州科达科技股份有限公司 一种坐标转换矩阵的获取及监控画面中目标定位方法
CN112950725A (zh) * 2021-03-22 2021-06-11 深圳市城市交通规划设计研究中心股份有限公司 一种监控相机参数标定方法及装置
CN113850126A (zh) * 2021-08-20 2021-12-28 武汉卓目科技有限公司 一种基于无人机的目标检测和三维定位方法和系统
CN113744299A (zh) * 2021-09-02 2021-12-03 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质
CN113923420A (zh) * 2021-11-18 2022-01-11 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孟令康;秦海超;鲍丹阳;: "室内无人机定点悬控系统", 机械制造与自动化, no. 02 *
张梁;徐锦法;夏青元;于永军;: "地面目标特征识别与无人飞行器位姿估计", 国防科技大学学报, no. 01 *

Also Published As

Publication number Publication date
CN114608555B (zh) 2024-08-06

Similar Documents

Publication Publication Date Title
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
EP3378033B1 (en) Systems and methods for correcting erroneous depth information
US11205283B2 (en) Camera auto-calibration with gyroscope
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
US10621456B2 (en) Distance measurement method and apparatus, and unmanned aerial vehicle
CN108981687B (zh) 一种视觉与惯性融合的室内定位方法
CN110927708A (zh) 智能路侧单元的标定方法、装置及设备
EP3972235A1 (en) Focusing method and apparatus, aerial photography camera, and unmanned aerial vehicle
CN110622091A (zh) 云台的控制方法、装置、系统、计算机存储介质及无人机
CN110383004A (zh) 信息处理装置、空中摄像路径生成方法、程序、及记录介质
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
JP7351892B2 (ja) 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
US20200217665A1 (en) Mobile platform, image capture path generation method, program, and recording medium
CN115272452A (zh) 一种目标检测定位方法、装置、无人机及存储介质
CN111213107B (zh) 信息处理装置、拍摄控制方法、程序以及记录介质
CN111630466A (zh) 信息处理装置、飞行控制方法以及飞行控制系统
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
US10778899B2 (en) Camera control apparatus
CN114608555A (zh) 目标定位方法、系统及存储介质
CN113654528B (zh) 通过无人机位置和云台角度估测目标坐标的方法和系统
CN113301248B (zh) 拍摄方法、装置、电子设备及计算机存储介质
CN115357052A (zh) 一种无人机自动探索视频画面中兴趣点的方法及系统
WO2021035749A1 (zh) 三维重建模型的优化方法、设备和可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant