CN110888957B - 一种对象定位的方法以及相关装置 - Google Patents

一种对象定位的方法以及相关装置 Download PDF

Info

Publication number
CN110888957B
CN110888957B CN201911163852.1A CN201911163852A CN110888957B CN 110888957 B CN110888957 B CN 110888957B CN 201911163852 A CN201911163852 A CN 201911163852A CN 110888957 B CN110888957 B CN 110888957B
Authority
CN
China
Prior art keywords
information
coordinate
coordinate information
map
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911163852.1A
Other languages
English (en)
Other versions
CN110888957A (zh
Inventor
周文
黄湘琦
陈泳君
唐梦云
夏茂才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911163852.1A priority Critical patent/CN110888957B/zh
Publication of CN110888957A publication Critical patent/CN110888957A/zh
Application granted granted Critical
Publication of CN110888957B publication Critical patent/CN110888957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Abstract

本申请公开了一种对象定位的方法以及相关装置,本申请方法包括:获取待检测对象在第一地图内的坐标信息;基于坐标映射关系,确定坐标信息所对应的定位信息,其中,坐标映射关系为根据第一实时信息与第二实时信息建立得到的,第一实时信息为通过目标对象获取的,第二实时信息为通过摄像头获取的;基于第一地图与第二地图之间的比例关系,根据定位信息生成定位结果;向客户端发送定位结果,以使客户端展示定位结果。本申请能够得到坐标映射关系,并根据坐标映射关系得到待检测对象在全局地图中的位置,整个过程能够自动进行,减少人工参与,减少出错情形,从而提高定位效率。

Description

一种对象定位的方法以及相关装置
技术领域
本申请涉及互联网技术领域,尤其涉及一种对象定位的方法以及相关装置。
背景技术
视频监控系统是安全防范系统的重要组成部分,智能视频监控系统能最大限度地减少人为干预,提高监控效率,减轻人的工作负担。视频监控系统作为现代化管理以及安全防范中极为有效的手段,已经广泛地应用于银行、车站以及办公楼等各种公共场所,是主要的安全技术防范系统之一。
目前,提供了一种对象定位方法,该方法需要手动标定图像中特征点所对应的经纬度坐标,然后获取对象在场景中出现的时间信息和图像坐标,再基于摄像机的拓扑关系和对象的特征,对多个摄像机中的对象进行关联,基于对象的图像坐标计算得到对象的经纬度坐标,最后根据对象的关联结果和对象的经纬度坐标实现定位。
然而,上述定位方法需要手动标注各个特征点的经纬度位置,在摄像头数量较多的情况下,会导致手动标注的工作量较大,而且容易出现标注错误的情形,从而降低了标注的效率和准确度。
发明内容
本申请实施例提供了一种对象定位的方法以及相关装置,能够实现对目的对象在摄像头中位置与目标对象在全局地图中的位置进行映射,得到坐标映射关系,当在摄像头下的画面中检测到待检测对象时,可以根据坐标映射关系得到待检测对象在全局地图中的位置,整个过程能够自动进行,减少人工参与,减少出错情形,从而提高定位效率。
有鉴于此,本申请第一方面提供一种对象定位的方法,包括:
获取待检测对象在第一地图内的坐标信息;
基于坐标映射关系,确定所述坐标信息所对应的定位信息,其中,所述坐标映射关系为根据第一实时信息与第二实时信息建立得到的,所述第一实时信息为通过目标对象获取的,所述第二实时信息为通过摄像头获取的;
基于所述第一地图与第二地图之间的比例关系,根据所述定位信息生成定位结果;
向客户端发送所述定位结果,以使所述客户端展示所述定位结果。
本申请第二方面提供一种对象定位装置,包括:
获取模块,用于获取待检测对象在第一地图内的坐标信息;
确定模块,用于基于坐标映射关系,确定所述获取模块获取的所述坐标信息所对应的定位信息,其中,所述坐标映射关系为根据第一实时信息与第二实时信息建立得到的,所述第一实时信息为通过目标对象获取的,所述第二实时信息为通过摄像头获取的;
生成模块,用于基于所述第一地图与第二地图之间的比例关系,根据所述确定模块确定的所述定位信息生成定位结果;
发送模块,用于向客户端发送所述生成模块生成的所述定位结果,以使所述客户端展示所述定位结果。
在一种可能的设计中,在本申请实施例的第二方面的第一种实现方式中,所述对象定位装置还包括建立模块;
所述获取模块,还用于在所述确定模块基于坐标映射关系,确定所述坐标信息所对应的定位信息之前,获取所述目标对象的第一实时信息,其中,所述第一实时信息包括所述目标对象在所述第一地图内的第一坐标信息以及第一时间戳信息;
所述获取模块,还用于获取所述目标对象的第二实时信息,其中,所述第二实时信息包括所述目标对象在所述第一地图内的第二坐标信息以及第二时间戳信息;
所述建立模块,用于根据所述获取模块获取的所述第一时间戳信息以及所述第二时间戳信息,建立所述第一坐标信息与所述第二坐标信息之间的所述坐标映射关系。
在一种可能的设计中,在本申请实施例的第二方面的第二种实现方式中,所述目标对象为机器人;
所述获取模块,具体用于当所述机器人移动时,接收所述机器人发送的所述第一实时信息;
所述获取模块,具体用于接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;
根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述机器人的摄像头;
根据所述M个摄像头拍摄得到的视频数据,获取所述第二实时信息,其中,所述第二实时信息包括所述机器人的M个第二坐标信息。
在一种可能的设计中,在本申请实施例的第二方面的第三种实现方式中,
所述建立模块,具体用于若所述第一时间戳信息与所述第二时间戳信息一致,则根据所述第一坐标信息以及所述M个第二坐标信息,计算得到映射矩阵;
所述确定模块,具体用于根据所述映射矩阵以及所述坐标信息,计算得到所述坐标信息所对应的定位信息。
在一种可能的设计中,在本申请实施例的第二方面的第四种实现方式中,
所述建立模块,具体用于若所述第一时间戳信息与所述第二时间戳信息一致,则基于所述第一坐标信息以及所述M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
所述确定模块,具体用于基于所述坐标信息,通过所述坐标映射模型获取所述定位信息。
在一种可能的设计中,在本申请实施例的第二方面的第五种实现方式中,
所述获取模块,还用于在所述确定模块基于坐标映射关系,确定所述坐标信息所对应的定位信息之前,获取所述目标对象的第一实时信息,其中,所述第一实时信息包括所述目标对象在所述第一地图内的第一坐标信息;
所述获取模块,还用于获取所述目标对象的第二实时信息,其中,所述第二实时信息包括所述目标对象在所述第一地图内的第二坐标信息;
所述建立模块,还用于根据所述获取模块获取的所述第一坐标信息与所述第二坐标信息,建立所述坐标映射关系。
在一种可能的设计中,在本申请实施例的第二方面的第六种实现方式中,所述目标对象为可移动物体;
所述获取模块,具体用于当所述可移动物体移动时,接收所述可移动物体发送的所述第一实时信息,其中,所述可移动物体包括摄像头以及传感器;
所述获取模块,具体用于接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;
根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述可移动物体的摄像头;
根据所述M个摄像头拍摄得到的视频数据,获取所述可移动物体的K个关键点坐标信息,其中,所述K为大于或等于1的整数;
根据所述K个关键点坐标信息,获取所述第二实时信息,其中,所述第二实时信息包括所述可移动物体的M个第二坐标信息,每个第二坐标信息包括所述可移动物体的K个关键点坐标信息。
在一种可能的设计中,在本申请实施例的第二方面的第七种实现方式中,
所述获取模块,还用于在所述建立模块根据所述第一坐标信息与所述第二坐标信息,建立所述坐标映射关系之前,获取所述K个关键点坐标信息;
所述确定模块,还用于采用K最近邻分类算法,确定所述获取模块获取的所述K个关键点坐标信息所对应的K个最邻近关键点坐标信息;
所述确定模块,还用于根据所述K个关键点坐标信息以及所述K个最邻近关键点坐标信息,确定目标距离;
所述获取模块,还用于若所述确定模块确定的所述目标距离小于或等于距离阈值,则根据所述K个最邻近关键点坐标信息,从数据库中获取所述K个关键点坐标信息所对应的所述第一坐标信息。
在一种可能的设计中,在本申请实施例的第二方面的第八种实现方式中,
所述建立模块,具体用于根据所述第一坐标信息以及所述M个第二坐标信息,计算得到映射矩阵;
所述确定模块,具体用于根据所述映射矩阵以及所述坐标信息,计算得到所述坐标信息所对应的定位信息。
在一种可能的设计中,在本申请实施例的第二方面的第九种实现方式中,
所述建立模块,具体用于若所述第一时间戳信息与所述第二时间戳信息一致,则基于所述第一坐标信息以及所述M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
所述确定模块,具体用于基于所述坐标信息,通过所述坐标映射模型获取所述定位信息。
在一种可能的设计中,在本申请实施例的第二方面的第十种实现方式中,
所述获取模块,具体用于根据所述M个摄像头拍摄得到的视频数据,获取所述可移动物体的P个关键点坐标信息,其中,所述P为大于或等于1,且小于所述K的整数;
对所述P个关键点坐标信息进行插值处理,得到(K-P)个关键点坐标信息;
根据所述P个关键点坐标信息以及所述(K-P)个关键点坐标信息,获取所述K个关键点坐标信息。
在一种可能的设计中,在本申请实施例的第二方面的第十一种实现方式中,
所述生成模块,具体用于获取所述第二地图;
基于所述第一地图与第二地图之间的比例关系,对所述第一地图进行缩放处理,得到待校正地图,其中,所述待校正地图与所述第二地图具有相同的比例尺;
根据所述第二地图对所述待校正地图进行匹配处理,得到目标地图;
根据所述目标地图以及所述定位信息,生成所述定位结果。
本申请的第三方面提供一种服务器,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待检测对象在第一地图内的坐标信息;
基于坐标映射关系,确定所述坐标信息所对应的定位信息,其中,所述坐标映射关系为根据第一实时信息与第二实时信息建立得到的,所述第一实时信息为通过目标对象获取的,所述第二实时信息为通过摄像头获取的;
基于所述第一地图与第二地图之间的比例关系,根据所述定位信息生成定位结果;
向客户端发送所述定位结果,以使所述客户端展示所述定位结果;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种对象定位的方法,首先,服务器获取待检测对象在第一地图内的坐标信息,然后服务器基于坐标映射关系,确定坐标信息所对应的定位信息,该坐标映射关系为根据第一实时信息与第二实时信息建立得到的,再基于第一地图与第二地图之间的比例关系,根据定位信息生成定位结果,最后服务器向客户端发送定位结果,以使客户端展示定位结果。通过上述方式,能够对目的对象在摄像头中位置与目标对象在全局地图中的位置进行映射,得到坐标映射关系,当在摄像头下的画面中检测到待检测对象时,可以根据坐标映射关系得到待检测对象在全局地图中的位置,整个过程能够自动进行,减少人工参与,减少出错情形,从而提高定位效率。
附图说明
图1为本申请实施例中对象定位系统的一个架构示意图;
图2为本申请实施例中对象定位方法的一个流程示意图;
图3为本申请实施例中对象定位的方法一个实施例示意图;
图4为本申请实施例中定位结果展示的一个客户端界面示意图;
图5为本申请实施例中目标对象的一个坐标示意图;
图6为本申请实施例中摄像头拍摄机器人的一个场景示意图;
图7为本申请实施例中基于坐标映射模型实现坐标映射的一个示意图;
图8为本申请实施例中摄像头拍摄可移动物体的一个场景示意图;
图9为本申请实施例中人体关键点的一个示意图;
图10为本申请实施例中摄像头拍摄可移动物体的另一场景示意图;
图11为本申请实施例中车辆关键点的一个示意图;
图12为本申请实施例中人体关键点处于遮挡状态的一个示意图;
图13为本申请实施例中获取待校正地图的一个流程示意图;
图14为本申请实施例中对象定位装置的一个实施例示意图;
图15为本申请实施例中对象定位装置的另一个实施例示意图;
图16为本申请实施例中服务器的一个结构示意图。
具体实施方式
本申请实施例提供了一种对象定位的方法以及相关装置,用于实现对目的对象在摄像头中位置与目标对象在全局地图中的位置进行映射,得到坐标映射关系,当在摄像头下的画面中检测到待检测对象时,可以根据坐标映射关系得到待检测对象在全局地图中的位置,整个过程能够自动进行,减少人工参与,减少出错情形,从而提高定位效率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请可以实现大范围多摄像头下的自动标定,可以用于跨摄像头以及跨区域的跟踪,还可以用于对多摄像头所覆盖的大范围区域进行自动化的管控以及告警。更具体地,本申请所提供的对象定位的方法可以应用于如下几种应用场景,可以理解的是,在实际应用中,应用场景包括但不限于如下示例的几种,具体此处不做限定。
第一类应用场景为机房,机房的人员流动性小,但设备多,机房内系统需要正常以及有效的运行,采用本申请所提供的对象定位方法可以及时发现安全隐患,并通过将定位结果展示至客户端的方式将相关信息发送给相关人员及时进行处理,从而降低设备被篡改的可能性。
第二类应用场景为小区,小区居民多,对于小区居民而言,小区不仅需要舒适的居住环境,还需要安全性高的居住环境,采用本申请所提供的对象定位方法可以监控外来人员,当出现安全问题的时可以通过摄像头所获取的信息及时展示给小区安保人员,从而降低失物等风险,提升居民居住环境的安全性以及小区的治安秩序。
第三类应用场景为写字楼,写字楼办公人员较多,并且还存有众多财物设施以及重要资料,因此写字楼不仅需要对办公人员进行层次管理,还需要提高财物设施以及重要资源的安全性,采用本申请所提供的对象定位方法可以监控办公人员的人流流量情况,另外,还可以对财物设施以及重要资源进行安全性监控。
第四类应用场景为工厂,工厂的人员流动性大,并存在有大型自动化设备或机械设备,工厂常自配安全防范环境,例如,工厂周围建立高围墙或铁栅栏,这样的方式可以提高工厂内大型设备的安全性,采用本申请所提供的对象定位方法还可以实时对工厂中流动的外来人员或外来车辆进行监控,以摄像头录制工厂各处的视频录像以备安防查用,提高对流动性人员以及设备的安全性管理。
第五类应用场景为商场,商场人员集中,商品众多且具有高度开放性,因此商场需要对人员以及商品的安全性进行保障,采用本申请所提供的对象定位方法可以分析商场的人员情况,还可以对商场的客流进行优化以及商品信息推荐。
为了便于理解,本申请提出一种对象定位方法,该方法应用于图1所示的对象定位系统,请参阅图1,图1为本申请实施例中对象定位系统的一个架构示意图,如图所示,对象定位装置可以部署于服务器,也可以部署于具有较高计算力的客户端,下面将以对象定位装置部署于服务器为例进行介绍。在实现对象定位之前,需要先构建坐标映射关系,该坐标映射关系包括摄像头拍摄到的位置与地图上显示的位置之间的对应关系。例如,在工厂中部署有20个摄像头,有5个摄像头拍摄到对象A,假设摄像头1拍摄到对象A的坐标为(x1,y1),摄像头2拍摄到的对象A的坐标为(x2,y2),摄像头3拍摄到的对象A的坐标为(x3,y3),摄像头4拍摄到的对象A的坐标为(x4,y4),摄像头5拍摄到的对象A的坐标为(x5,y5)。于是,每个坐标均根据坐标映射关系,确定对象A在地图上的位置。即,摄像头1所对应的坐标(x1,y1)映射为坐标(X1,Y1),摄像头2所对应的坐标(x2,y2)映射为坐标(X2,Y2),摄像头3所对应的坐标(x3,y3)映射为坐标(X3,Y3),摄像头4所对应的坐标(x4,y4)映射为坐标(X4,Y4),摄像头5所对应的坐标(x5,y5)映射为坐标(X5,Y5)。将坐标(X1,Y1)、坐标(X2,Y2)、坐标(X3,Y3)、坐标(X4,Y4)以及坐标(X5,Y5)进行融合处理,例如求坐标的平均值,从而得到定位信息(X0,Y0)。
基于定位信息(X0,Y0)和地图比例关系,生成最终的定位结果。若由服务器生成定位结果,则服务器向客户端发送定位结果,由客户端展示该定位结果。整个过程能够自动进行,减少人工参与,减少出错情形,从而提高定位效率。
需要说明的是,客户端部署于终端设备上,其中,终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personal computer,PC),此处不做限定。其中,语音交互设备包含但不仅限于智能音响以及智能家电。
为了便于说明,请参阅图2,图2为本申请实施例中对象定位方法的一个流程示意图,如图所示,本申请所提供的对象定位的方法可以应用于客户端以及服务器之间,具体地:
步骤S1中,客户端向服务器发起自动标注任务,具体地,在建立坐标映射关系之前,客户端可以向服务器发送标注指令,服务器响应于该标注指令,并执行自动标注任务;
步骤S2中,服务器根据自动标注任务获取视频数据,该视频数据可以是多个摄像头在一段时间内拍摄到的视频,比如24小时内的视频,或者1周内的视频等;
步骤S3中,服务器根据视频数据对机器人(或可移动物体)的位置进行检测,具体地,服务器可以检测机器人在视频数据中的坐标位置,或者,服务器可以检测人在视频数据中的坐标位置,又或者,服务器可以检测汽车在视频数据中的坐标位置,该坐标位置可以表示为二维坐标,即包括横坐标和纵坐标,可选地,该坐标位置可以表示为三维坐标,即包括横坐标、纵坐标和斜坐标,可选地,该坐标位置可以表示为四维坐标,即包括横坐标、纵坐标、斜坐标以及时间戳;
步骤S4中,服务器接收机器人所获取的位置信息以及同步定位与地图构建(simultaneous localization and mapping,SLAM)地图,根据SLAM地图更新原有地图。具体地,SLAM可以描述为机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图,实现机器人的自主定位和导航,将语义分析与SLAM有效融合,增强机器对环境中相互作用的理解能力,为机器人赋予了复杂环境感知力和动态场景适应力;
步骤S5中,服务器根据机器人(或可移动物体)在视频数据中的坐标位置以及机器人自己所获取的位置信息,构建坐标映射关系;
步骤S6中,在构建得到坐标映射关系之后,当摄像头拍摄到目标对象时,服务器根据坐标映射关系确定目标对象在地图中的位置,得到定位结果;
步骤S7中,服务器向客户端发送定位结果,使得客户端展示定位结果。
结合上述介绍,下面将对本申请中对象定位的方法进行介绍,请参阅图3,本申请实施例中对象定位的方法一个实施例包括:
101、获取待检测对象在第一地图内的坐标信息;
本申请实施例中,对象定位装置通过至少一个摄像头获取待检测对象在第一地图内的坐标信息,第一地图可以为机器人实时构建的SLAM地图,第一地图也可以为服务器所构建的SLAM地图,而坐标信息则为根据摄像头所拍摄的视频数据中待检测对象对应的坐标信息。需要说明的是,对象定位装置可以部署于服务器,也可以部署于终端设备,本申请中以部署于服务器为例进行说明,然而这不应理解为对本申请的限定。
具体地,SLAM地图的构建可以为机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图。再进一步地,在场景较大的情况下,对大场景的地图构建,如果使用激光雷达配合SLAM算法进行建图的话,首先需要使用较远测距半径的激光雷达传感器,而目前为了适应上述的场景,可以使用测距半径在16米以上的激光雷达产品,从而保证能够应对各类极端条件。除了保障传感器的测距半径符合环境需求外,SLAM算法还需要具备闭环检测能力。又或者在长走廊和环路较多的场景下,对于机器人来说,相似的场景多,在SLAM过程中难以形成有效的全局匹配参考,从而很容易导致局部区域累计误差无法及时清除,进而导致回环闭合问题,而由于环境场景大且多为长直走廊,导致SLAM建图中容易出现环路闭合失败的情况,为了解决上述问题,可以采用粒子滤波的SLAM方法,使用多张平行存在的候选地图同时进行地图构建,并且时刻挑选出其中概率上更加符合真实情况的地图作为当前结果,由于不同的粒子之间建立的地图存在区别,因此从概率上看,当机器人在环境中行走完一个环路后,众多粒子中存在闭环地图的可能性相比传统单一建图的模式要高很多。因此这种方法可以解决前述的闭环问题。
102、基于坐标映射关系,确定坐标信息所对应的定位信息,其中,坐标映射关系为根据第一实时信息与第二实时信息建立得到的,第一实时信息为通过目标对象获取的,第二实时信息为通过摄像头获取的;
本申请实施例中,对象定位装置在获取到坐标信息后,可以通过已经构建好的坐标映射关系,确定坐标信息所对应的定位信息,假设有两个摄像头拍摄到同一个对象,即待检测对象,其中,摄像头1拍摄到待检测对象的坐标信息为(x1,y1),摄像头2拍摄到待检测对象的坐标信息为(x2,y2),利用构建好的坐标映射关系,将待检测对象的坐标信息(x1,y1)映射为定位信息(X1,Y1),利用构建好的坐标映射关系,将待检测对象的坐标信息(x2,y2)映射为定位信息(X2,Y2),对定位信息(X1,Y1)和定位信息(X2,Y2)进行融合,得到最终的定位信息(X0,Y0)。融合的方式包含但不仅限于求平均法,例如X0=(X1+X2)/2,Y0=(Y1+Y2)/2。
可以理解的是,坐标映射关系是通过第一实时信息和第二实时信息构建而成的,其中,可以通过目标对象获取第一实时信息,通过摄像头获取第二实时信息,然后根据第一实时信息与第二实时信息建立得到坐标映射关系。于是,对象定位装置可以通过坐标映射关系确定坐标信息所对应的定位信息。可以理解的是,若有多个摄像头获取到同一待检测对象,即每个摄像头分别确定对应的定位信息,然后根据多个定位信息进行融合确定最终的定位信息。
103、基于第一地图与第二地图之间的比例关系,根据定位信息生成定位结果;
本申请实施例中,对象定位装置先获取到第一地图以及第二地图,第一地图为机器人或服务器所构建的SLAM地图。而第二地图则为电子地图(electronic map),其中,电子地图即数字地图,是利用计算机技术,以数字方式存储和查阅的地图。电子地图储存资讯的方法,一般使用向量式图像储存,地图比例可放大、缩小或旋转而不影响显示效果。基于SLAM地图以及电子地图之间的比例关系,对象定位装置可以根据定位信息生成定位结果。
可以理解的是,定位结果可以为经纬度或者在计算机辅助设计(computer aideddesign,CAD)地图上看到的具体位置,并且具体位置不仅限于2D(dimensions)图像的位置,还可以包含3D的位置信息或者4D的位置时间信息等。具体地,2D为长和宽组成的平面,3D为长、宽和高组成的空间,4D为在3D基础上加上时间信息,形成时空关系。
104、向客户端发送定位结果,以使客户端展示定位结果。
本申请实施例中,对象定位装置将生成的定位结果发送至客户端,使得客户端展示定位结果,具体请参阅图4,图4为本申请实施例中定位结果展示的一个客户端界面示意图,如图4所示,以待检测对象为可移动的人为示例,客户端界面可以展示在地图图像中人的位置,并在客户端右侧具体展示时间点,位置信息(Lx,Ly),处于AAA街道以及地图图像中人物数量。可以理解的是,在实际应用中,待检测对象还可以为机器人或可移动物体,例如汽车或者无人机等。
本申请实施例中,提供了一种对象定位的方法,首先,服务器获取待检测对象在第一地图内的坐标信息,然后服务器基于坐标映射关系,确定坐标信息所对应的定位信息,该坐标映射关系为根据第一实时信息与第二实时信息建立得到的,再基于第一地图与第二地图之间的比例关系,根据定位信息生成定位结果,最后服务器向客户端发送定位结果,以使客户端展示定位结果。通过上述方式,能够对目的对象在摄像头中位置与目标对象在全局地图中的位置进行映射,得到坐标映射关系,当在摄像头下的画面中检测到待检测对象时,可以根据坐标映射关系得到待检测对象在全局地图中的位置,整个过程能够自动进行,减少人工参与,减少出错情形,从而提高定位效率。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的对象定位的方法第一个可选实施例中,基于坐标映射关系,确定坐标信息所对应的定位信息之前,还可以包括:
获取目标对象的第一实时信息,其中,第一实时信息包括目标对象在第一地图内的第一坐标信息以及第一时间戳信息;
获取目标对象的第二实时信息,其中,第二实时信息包括目标对象在第一地图内的第二坐标信息以及第二时间戳信息;
根据第一时间戳信息以及第二时间戳信息,建立第一坐标信息与第二坐标信息之间的坐标映射关系。
本申请实施中,介绍了一种建立坐标映射关系的方法。第一坐标信息为目标对象自身获取的坐标信息,具体地,可以通过全球定位系统(Global Positioning System,GPS)获取目标对象的第一坐标信息,在实际应用中,还可以通过基站或者无线网络(wirelessfidelity,WIFI)获取第一坐标信息,此处不做限定。但GPS定位不受天气或气候影响且覆盖范围广,且GPS以三维定点定速定时且不局限于固定点定位,由此可以提高获取目标对象的第一坐标信息的准确度,因此本申请实施例中可以采用GPS定位获取目标对象的第一坐标信息。
可以理解的是,第二坐标信息可以为目标对象一个确定的并且不变更的位置,为了便于理解,以目标对象为机器人示例,请参阅图5,图5为本申请实施例中目标对象的一个坐标示意图,如图所示,第二坐标可以为位置5A,即机器人顶框中心点的坐标,或者第二坐标可以为位置5B,即机器人底框中心点的坐标,或者第二坐标还可以为位置5C,即机器人右框中心点的位置,或者第二坐标还可以为位置5D,即机器人左框中心点的坐标。第二坐标只要满足确定位置后不再变更即可,具体定点位置不做限定。
进一步地,请参阅表1,表1为第一实时信息与第二坐标信息之间的坐标映射关系的一个示例,在实际应用中,对关联信息进行配置也可以是其他配置形式,比如,通过映射矩阵或者网络模型进行配置。
表1
Lx1,Ly1 Lx2,Ly2
Ix1,Iy1 T1
Ix2,Iy2 T2
如表1所示,以时间戳为T1为例,第一实时信息为(Lx1,Ly1,T1),第二实时信息为(Ix1,Iy1,T1),在第一时间戳信息等于第二时间戳信息的情况下,第一坐标信息(Lx1,Ly1)与第二坐标信息(Ix1,Iy1)能够形成如表1所示的坐标映射关系。例如,T1为1616123,T2为1616123,那么即第一实时信息与第二坐标信息之间以同一时间点的时间戳信息进行关联,然后再建立坐标映射关系。
其次,本申请实施例中,提供了一种建立坐标映射关系的方法,即先获取第一实时信息以及第二实时信息,每个实时信息中都包括对应的坐标信息以及时间戳信息,根据时间戳信息对第一坐标信息以及第二坐标信息进行关联,由此建立第一坐标信息与第二坐标信息之间的坐标映射关系。通过上述方式,能够使得后续步骤直接使用坐标映射关系确定定位信息,从而提升本申请的可行性以及可操作性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的对象定位的方法第二个可选实施例中,目标对象为机器人:
获取目标对象的第一实时信息,可以包括:
当机器人移动时,接收机器人发送的第一实时信息;
获取目标对象的第二实时信息,可以包括:
接收第一地图内N个摄像头拍摄得到的视频数据,其中,N为大于或等于1的整数;
根据视频数据从N个摄像头中确定M个摄像头,其中,M为大于或等于1,且小于或等于N的整数,M个摄像头为拍摄到机器人的摄像头;
根据M个摄像头拍摄得到的视频数据,获取第二实时信息,其中,第二实时信息包括机器人的M个第二坐标信息。
本申请实施例中,介绍了获取目标对象的实时信息的方法,且该目标对象为机器人。首先获取机器人的第一实时信息具体包括,当机器人移动时,接收机器人发送的第一实时信息,而第一实时信息为机器人在SLAM地图中的第一坐标信息以及第一时间戳信息。而获取机器人的第二实时信息具体包括,首先需要接收在SLAM地图中N个摄像头拍摄所得到的视频数据,根据N个摄像头拍摄所得到的视频数据中从N个摄像头中确定M个摄像头,N以及M均为大于等于1的整数,且N大于或等于M。因为N个摄像头为在SLAM地图中所有的摄像头,而M个摄像头则为在SLAM地图中拍摄到机器人的摄像头,然后根据拍摄到机器人的M个摄像头所拍摄得到的视频数据获取第二实时信息,而第二实时信息则为机器人在SLAM地图中被M个摄像头所拍摄得到的M个第二坐标信息以及M个第二时间戳信息。
需要说明的是,视频数据的格式包括但不限于运动图像专家组格式(movingpicture experts group,MPEG),音频视频交错格式(audio video interleaved,AVI),高级流格式(advanced streaming format,ASF),流媒体格式(windows media video,WMV)以及音频视频压缩规范格式(real media,RM)。
为了便于理解,如何具体获取机器人的第二实时信息的方法,请参阅图6,图6为本申请实施例中摄像头拍摄机器人的一个场景示意图,可以看到图中包括4个摄像头,根据前述方法,可以获取摄像头6A、摄像头6B、摄像头6C和摄像头6D在SLAM地图中所拍摄的4组视频数据,假设图6中的摄像头6B没有拍摄到机器人,而摄像头6A、摄像头6C以及摄像头6D已拍摄到机器人,于是可以从摄像头6A、摄像头6C以及摄像头6D拍摄到的3组视频数据中获取第二实时信息。
再次,本申请实施例中,提供了一种获取目标对象的实时信息的方法,当目标对象为机器人时,服务器可以接收机器人发送的第一实时信息,并且接收第一地图内N个摄像头拍摄得到的视频数据,根据视频数据从N个摄像头中确定M个摄像头,根据M个摄像头拍摄得到的视频数据,获取第二实时信息。通过上述方式,能够根据目标对象变化采取不同的第一实时信息以及第二实时信息获取方式,从而提升本申请的可行性以及可操作性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的对象定位的方法第三个可选实施例中,根据第一时间戳信息以及第二时间戳信息,建立第一坐标信息与第二坐标信息之间的坐标映射关系,可以包括:
若第一时间戳信息与第二时间戳信息一致,则根据第一坐标信息以及M个第二坐标信息,计算得到映射矩阵;
基于坐标映射关系,确定坐标信息所对应的定位信息,可以包括:
根据映射矩阵以及坐标信息,计算得到坐标信息所对应的定位信息。
本申请实施例中,介绍了一种坐标映射关系获取定位信息的方法,当目标对象为机器人,坐标映射关系具体为映射矩阵。首先当第一实时信息与第二实时信息中的第一时间戳信息与第二时间戳信息相同时,即在同一时刻下,通过映射矩阵对第一坐标信息以及M个第二坐标信息进行计算,然后得到坐标信息所对应的定位信息。在实际应用中,映射矩阵可以为最小二乘法对应矩阵形式,也可以是雅可比(Jacobian)矩阵或者海森(Hessian)矩阵。
具体地,雅可比矩阵是一阶偏导数以一定方式排列成的矩阵,其行列式称为雅可比行列式。雅可比矩阵可以体现一个可微方程与给出点的最优线性的逼近,因此,雅可比矩阵也类似于多元函数的导数。而海森矩阵则是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵,在实际应用中,海森矩阵主要应用于当不是所有的方程都有求根公式,或者求根公式很复杂,导致求解困难的时,对该问题进行大规模的优化。而在申请实施例中则采用最小二乘法建立坐标映射关系,最小二乘法又可以称最小平方法,是一种数学优化技术。最小二乘法可以通过最小化误差的平方和寻找数据的最佳函数匹配。因此利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小,减小误差。
为了便于理解,下面最小二乘法对应矩阵形式为例进行介绍,请参阅如下算式:
Figure BDA0002285121960000111
其中,W表示映射矩阵,而(Lx,Ly)与(Ix,Iy)则为一个摄像头中,同一时间戳下的第一坐标信息以及第二坐标信息,(Lx,Ly)表示第一坐标信息,(Ix,Iy)表示第二坐标信息。
进一步地,由前述可知,第二实时信息由M个拍摄到机器人的摄像头所得的视频数据中获取,因此第二实时信息其实为M个坐标信息以及时间戳信息的三元组集合,因此需要根据上述最小二乘法对应矩阵形式的类型方法对第一坐标信息以及M个第二坐标信息进行计算得到坐标信息所对应的定位信息。
进一步地,本申请实施例中,提供了一种坐标映射关系获取定位信息的方法,若第一时间戳信息与第二时间戳信息一致,则根据第一坐标信息以及M个第二坐标信息,计算得到映射矩阵,根据映射矩阵以及坐标信息,计算得到坐标信息所对应的定位信息。通过上述方式,当目标对象为机器人时,可以根据映射矩阵获取定位信息,映射矩阵具有多种类型,可根据实际需求选择合适的映射矩阵,提升本申请的可行性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的对象定位的方法第四个可选实施例中,根据第一时间戳信息以及第二时间戳信息,建立第一坐标信息与第二坐标信息之间的坐标映射关系,可以包括:
若第一时间戳信息与第二时间戳信息一致,则基于第一坐标信息以及M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
基于坐标映射关系,确定坐标信息所对应的定位信息,可以包括:
基于坐标信息,通过坐标映射模型获取定位信息。
本申请实施例中,介绍了另一种根据坐标映射关系获取定位信息的方法,在目标对象为机器人的基础上,坐标映射关系具体为坐标映射模型。首先当第一实时信息与第二实时信息中的第一时间戳信息与第二时间戳信息相同时,即在同一时刻下,根据第一坐标信息以及M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型,然后将第一坐标信息以及第二坐标信息作为坐标映射模型的输入,通过该待训练坐标映射模型输出坐标信息所对应的定位信息。
具体地,本申请可以用到的坐标映射模型可以为以下几种类型,下面具体进行介绍。
第一种为适用于平面坐标的转换模型,即适用于相对简单地形时2D坐标信息的模型。该转换模型可以为平面四参数模型,即通过两个平移参数,一个旋转参数以及一个尺度参数,可以认为仿射变换中的X轴缩放,Y轴缩放系数相等,最终合成为一个系数。该转换模型还可以为平面多项式拟合模型,具体将两个坐标系下的的坐标差值,即X轴方向上的差值以及Y轴方向上的差值,并且用一个二次多项式来表达,而这个二次多项式中的系数项就是本申请中待求的参数,在任意两个坐标系下在求出该参数,坐标的差值就可以通过该二次多项式计算得出,然后根据输入的第一坐标信息以及第二坐标信息加上该差值,就可以得出坐标信息所对应的定位信息。
第二种为适用于地理坐标的转换模型,即适用于相对复杂地形时2D坐标信息的模型。该转换模型可以为二维七参数模型,包括三个平移参数,三个旋转参数,一个缩放参数,即认为X轴缩放,Y轴缩放,Z轴缩放系数相等,合成为一个系数。二维七参数模型是基于参考椭球体进行建模的,使源和目标椭球经过旋转,平移,缩放实现吻合,模型公式中会大量使用椭球的一些参数。该转换模型还可以为三维七参数模型,与二维七参数模型类似,包括三个平移参数,三个旋转参数,一个缩放参数,但在模型中引入了高程参与计算。其次,转换模型还可以为椭球面多项式拟合模型,同平面多项式拟合模型是类似的,只是这里将平面坐标换成大地坐标,将经差和纬差,用一个二次多项式来表达,在本申请中二次多项式中的系数项就是待求的参数,在任意两个坐标系下在求出该参数,坐标的差值就可以通过该二次多项式计算得出,然后根据输入的第一坐标信息以及第二坐标信息加上该差值,就可以得出坐标信息所对应的定位信息。
第三种为适用于空间直角坐标的转换模型,即适用于3D坐标信息的模型。该转换模型可以为布尔莎模型。布尔莎模型可以认为是三维的仿射变换,在三维空间直角坐标系中,平移,旋转,缩放都三个维度,布尔莎模型的参数可以包括三个平移参数,三个旋转参数以及一个尺度参数。即X轴缩放,Y轴缩放,Z轴缩放系数相等,合成为一个系数。该转换模型还可以为莫洛金斯基模型,莫洛金斯基模型也可以认为是三维的仿射变换,但不同的是,莫洛金斯基模型在坐标信息和定位信息之间引入过渡点,并将坐标信息先平移到过渡点P,然后以P点为原点的空间直角坐标系经过平移,旋转,缩放,直至与定位信息吻合。其次,该转换模型还可以为三维四参数模型,属于三维的仿射变换,可以包括三个平移参数以及一个旋转参数,即认为X轴,Y轴,Z轴的旋转角度一致,合成为一个参数,而三维四参数模型无缩放,即缩放系数都是0。三维四参数模型可以顾及不同坐标系下坐标,由于起始定向不同引起的差异,还可以将区域中心的大地经纬度引入到模型之中。
为了便于理解,请参阅图7,图7为本申请实施例中基于坐标映射模型实现坐标映射的一个示意图,具体地,平面四参数模型具体为以下形式:
Figure BDA0002285121960000131
其中,(Lx1,Ly)与(Ix1,Iy)为一个摄像头中,同一时间戳下的第一坐标信息以及第二坐标信息,x0以及y0为平移参数,α为旋转参数,m为尺度参数,(x1,y1)为大地坐标系下的平面直角坐标,即(x1,y1)为坐标信息所对应的定位信息。
进一步地,本申请实施例中,提供了另一种根据坐标映射关系获取定位信息的方法,若第一时间戳信息与第二时间戳信息一致,则基于第一坐标信息以及M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型,然后基于坐标信息,通过坐标映射模型获取定位信息。通过上述方式,坐标映射模型可以为多种类型的模型对不同的定位信息进行定位信息的输出,从而提升本申请的可行性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的对象定位的方法第五个可选实施例中,基于坐标映射关系,确定坐标信息所对应的定位信息之前,还可以包括:
获取目标对象的第一实时信息,其中,第一实时信息包括目标对象在第一地图内的第一坐标信息;
获取目标对象的第二实时信息,其中,第二实时信息包括目标对象在第一地图内的第二坐标信息;
根据第一坐标信息与第二坐标信息,建立坐标映射关系。
本申请实施中,第一坐标信息可以为目标对象自身获取的坐标信息,第二坐标信息可以从摄像头拍摄到的视频数据中获取到的目标对象的坐标信息,然后根据第一坐标信息与第二坐标信息建立坐标映射关系。
具体地,介绍了一种建立坐标映射关系的方法,以目标对象为人作为示例,并且采取将人体分为16个关键点的方式进行坐标获取,可以理解的是,在实际应用中包括但不限于可以将人体分为17个关键点或14个关键点。可以采取以下方式对第一坐标信息与第二坐标信息配置坐标映射关系:
Figure BDA0002285121960000141
其中,W表示所建立的坐标映射关系,而(Lx,Ly)则为第一坐标信息,而(I1x,I1y)至(I16x,I16y)则分别为摄像头所拍摄到人的16个关键点所对应的坐标信息合集,该坐标信息合集为第二坐标信息。
其次,本申请实施例中,提供了一种建立坐标映射关系的方法,即先获取第一实时信息以及第二实时信息,每个实时信息中都包括对应的坐标信息,建立第一坐标信息与第二坐标信息之间的坐标映射关系,后续步骤能够直接使用坐标映射关系确定定位信息,从而提升本申请的可行性以及可操作性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的对象定位的方法第六个可选实施例中,目标对象为可移动物体,可以包括:
获取目标对象的第一实时信息,可以包括:
当可移动物体移动时,接收可移动物体发送的第一实时信息,其中,可移动物体包括摄像头以及传感器;
获取目标对象的第二实时信息,可以包括:
接收第一地图内N个摄像头拍摄得到的视频数据,其中,N为大于或等于1的整数;
根据视频数据从N个摄像头中确定M个摄像头,其中,M为大于或等于1,且小于或等于N的整数,M个摄像头为拍摄到可移动物体的摄像头;
根据M个摄像头拍摄得到的视频数据,获取可移动物体的K个关键点坐标信息,其中,K为大于或等于1的整数;
根据K个关键点坐标信息,获取第二实时信息,其中,第二实时信息包括可移动物体的M个第二坐标信息,每个第二坐标信息包括可移动物体的K个关键点坐标信息。
本申请实施例中,介绍了获取目标对象的实时信息的方法,且该目标对象为可移动物体,并且可移动物体携带或包括可被定位的设备,例如,携带摄像头用于拍摄视频画面,携带红外传感器用于检测自身与周边环境之间的距离。可以理解的是,摄像头包含但不仅限于广角摄像头(视角可达到90度以上,观察范围较大)、标准摄像头(视角可达到30度,使用范围较广)、长焦摄像头(视角可达到20度)以及变焦摄像头。红外线传感器是一种能够感应目标辐射的红外线,利用红外线的物理性质来进行测量的传感器。
首先对象定位装置获取可移动物体的第一实时信息具体包括,当可移动物体移动时,对象定位装置接收可移动物体发送的第一实时信息,而第一实时信息为可移动物体在SLAM地图中的第一坐标信息,第一坐标信息具体的获取方式与前述类似,在此不再赘述。对象定位装置获取可移动物体的第二实时信息具体包括,首先对象定位装置需要接收在SLAM地图中N个摄像头拍摄所得到的视频数据,根据N个摄像头拍摄所得到的视频数据中从N个摄像头中确定M个摄像头,N以及M均为大于等于1的整数,而N大于M。因为N个摄像头为在SLAM地图中所有的摄像头,而M个摄像头则为在SLAM地图中拍摄到可移动物体的摄像头,然后获取拍摄到可移动物体的M个摄像头所拍摄得到的视频数据。
对象定位装置再根据M个摄像头所拍摄得到的视频数据获取可移动物体的K个关键点坐标信息,应理解,若可移动物体为人体,则以人体具有17个关键点为示例进行进一步说明,若可移动物体为车辆,则以车辆具有6个关键点为示例进行进一步说明,但在实际应用中,关键点的具体个数不做本申请不做限定。即若可移动物体为人体时,K可以为大于等于1且小于等于17的整数,若可移动物体为车辆时,K可以为大于等于1且小于等于6的整数,对象定位装置可以根据K个关键点坐标信息获取第二实时信息,而第二实时信息其实为可移动物体在SLAM地图中被M个摄像头所拍摄得到的M个第二坐标信息,而第二坐标信息具体的获取方式与前述类似,在此也不再赘述。
为了便于理解,当可移动物体为人体时,如何具体获取人体的第二实时信息的方法,请参阅8,图8为本申请实施例中摄像头拍摄可移动物体的一个场景示意图,可以看到图中有8A至8D共4个摄像头,根据前述方法,可以得知首先获取8A至8D共4个摄像头在SLAM地图中所拍摄的4个视频数据,可以看到在图中的4个摄像头中8B并没有拍摄到机器人,即仅有8A、8C以及8D共三个摄像头拍摄到机器人,即可以从8A、8C以及8D共三个摄像头获取到拍摄到人体的3个视频数据,然后以摄像头8D为例进行进一步描述,摄像头8D并未完全拍摄到人体的全部,所以对于该人体而言,对于摄像头8D所拍摄的视频数据中仅包括K个关键点,然后即可根据K个关键点坐标信息获取第二实时信息。
进一步地,请参阅图9,图9为本申请实施例中人体关键点的一个示意图,图中P0至P16所示的16个关节分别为人体骨骼关键点,具体地,P0用于指示人体骨骼结构中的盆骨,P1用于指示人体结构中的右边臀部,P2为人体骨骼结构中的边膝盖骨,P3用于指示人体骨骼结构中的边踝关节,P4用于指示人体结构中的左边臀部,P5用于指示人体骨骼结构中的左边膝盖骨,P6用于指示人体骨骼结构中的左边踝关节,P7用于指示人体结构中的胸部,P8用于指示人体结构中的脖子,P9用于指示人体结构中的头部,P10用于指示人体结构中的头顶,P11用于指示人体结构中的左边肩膀,P12用于指示人体结构中的左边肘部,P13用于指示人体结构中的左手腕,P14用于指示人体结构中的右边肩膀,P15用于指示人体结构中的右边肘部,P16用于指示人体结构中的右手腕。每个人体骨骼关键点还可以具体划分为父子层级结构,例如左边肩膀P11为父关节,左边肘部P12则为左边肩膀P11子关节,左手腕P13为左边肘部P12的子关节,在实际应用中,从父关节位置进行对应平移,即是子关节位置。所以,子关节位置坐标无需记录,只需要知道最顶层的父关节位置坐标,通过平移就可得子关节位置坐标,最顶层的父关节位置一般为人体骨骼结构中的盆骨P0。
为了便于理解,当可移动物体为车辆时,介绍了获取车辆的第二实时信息的方法,请参阅图10,图10为本申请实施例中摄像头拍摄可移动物体的另一场景示意图,如图所示,图中包括摄像头10A、摄像头10B、摄像头10C和摄像头10D这4个摄像头,首先获取像头10A、摄像头10B、摄像头10C和摄像头10D这4个摄像头在SLAM地图中所拍摄的4组视频数据,可以看到在图中的4个摄像头中只有摄像头10B没有拍摄到车辆,因此仅有摄像头10A、摄像头10C以及摄像头10D三个摄像头拍摄到车辆,即可以从摄像头10A、摄像头10C以及摄像头10D三个摄像头获取到拍摄到车辆的3组视频数据,下面将以摄像头10A为例进行进一步描述,摄像头10A并未完全拍摄到车辆的全部,所以对于该车辆而言,对于摄像头10D所拍摄的视频数据中仅包括K个关键点,然后即可根据K个关键点坐标信息获取第二实时信息。
进一步地,请参阅图11,图11为本申请实施例中车辆关键点的一个示意图,图中C1至C4为车辆架构对应的关键点,具体地,C1为车辆架构中的车体顶部,C2为车辆架构中的车体低部,C3为车辆架构中的车体前盖,C4为车辆架构中的车体后盖。
再次,本申请实施例中,提供了一种获取目标对象的实时信息的方法,当可移动物体移动时,服务器接收可移动物体发送的第一实时信息,服务器接收第一地图内N个摄像头拍摄得到的视频数据,服务器根据视频数据从N个摄像头中确定M个摄像头,然后根据M个摄像头拍摄得到的视频数据,获取可移动物体的K个关键点坐标信息,最后根据K个关键点坐标信息,获取第二实时信息。通过上述方式,当目标对象为可移动物体时,根据不同的可移动物采取不同的方式获取第一实时信息以及第二实时信息,并且根据不同可移动物体分割不同的关键点,提高第二实时信息获取的准确度,从而提升本申请的可行性以及可操作性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的对象定位的方法第七个可选实施例中,根据第一坐标信息与第二坐标信息,建立坐标映射关系之前,还可以包括:
获取K个关键点坐标信息;
采用K最近邻分类算法,确定K个关键点坐标信息所对应的K个最邻近关键点坐标信息;
根据K个关键点坐标信息以及K个最邻近关键点坐标信息,确定目标距离;
若目标距离小于或等于距离阈值,则根据K个最邻近关键点坐标信息,从数据库中获取K个关键点坐标信息所对应的第一坐标信息。
本申请实施例中,介绍了获取第一坐标信息的方法,对象定位装置可以从数据库中获取第一坐标信息。首先需要在拍摄到可移动物体的摄像头中获取可移动物体的K个关键点,然后获取K个关键点坐标信息,进一步地,采用K最近邻分类算法确定K个最邻近关键点坐标信息,再根据K个关键点坐标信息以及K个最邻近关键点坐标信息确定目标距离,具体地,数据库会存储34维的特征向量,34维的特征向量包括1个2维的第一坐标信息,以及16个2维的关键点坐标信息(即包括32维的关键点坐标信息),其中,32维的关键点坐标信息为键(key),2维的第一坐标信息为值(value)。在得到K个最邻近关键点坐标信息之后,计算K个关键点坐标信息与K个最邻近关键点坐标信息之间的距离,比如,第一个关键点坐标信息和第一个最邻近关键点坐标信息的距离为R1,第二个关键点坐标信息和第二个最邻近关键点坐标信息的距离为R2,第三个关键点坐标信息和第三个最邻近关键点坐标信息的距离为R3,于是,目标距离可以为(R1+R2+R3)/3=R0,可以理解的是,在实际应用中,还可以采用其他方式计算目标距离。
如果目标距离大于距离阈值,则表示数据库中不存在与K个关键点坐标信息关联的第一坐标信息,如果目标距离小于或等于距离阈值时,则根据K个最邻近关键点坐标信息,在数据库中查找目标距离最小的第一坐标信息,即获取第一坐标信息。
进一步地,本申请实施例中,提供了获取第一坐标信息的方法,服务器获取K个关键点坐标信息,然后采用K最近邻分类算法,确定K个关键点坐标信息所对应的K个最邻近关键点坐标信息,再根据K个关键点坐标信息以及K个最邻近关键点坐标信息,确定目标距离,若目标距离小于或等于距离阈值,则根据K个最邻近关键点坐标信息,从数据库中获取K个关键点坐标信息所对应的第一坐标信息。通过上述方式,服务器可以存储索引机制下的数据,通过索引机制可以更为准确以及快速的获取第一实时信息,从而提升本申请的实施效率。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的对象定位的方法第八个可选实施例中,第一坐标信息与第二坐标信息,建立坐标映射关系,可以包括:
根据第一坐标信息以及M个第二坐标信息,计算得到映射矩阵;
基于坐标映射关系,确定坐标信息所对应的定位信息,可以包括:
根据映射矩阵以及坐标信息,计算得到坐标信息所对应的定位信息。
本申请实施例中,介绍了一种根据映射矩阵获取定位信息的方法,在目标对象为可移动物体的基础上,提供一种坐标映射关系获取定位信息的方法,坐标映射关系具体为映射矩阵,通过映射矩阵对第一坐标信息以及M个第二坐标信息进行计算,然后得到坐标信息所对应的定位信息。而具体的映射矩阵的应用以及类型与前述类似,此处不再赘述。
更进一步地,本申请实施例中,当目标对象为可移动物体时,提供一种根据映射矩阵获取定位信息的方法,而映射矩阵可以为多种类型的矩阵,提升本申请的可行性。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的对象定位的方法第九个可选实施例中,根据第一坐标信息与第二坐标信息,建立坐标映射关系,可以包括:
若第一时间戳信息与第二时间戳信息一致,则基于第一坐标信息以及M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
基于坐标映射关系,确定坐标信息所对应的定位信息,可以包括:
基于坐标信息,通过坐标映射模型获取定位信息。
本申请实施例中,介绍了一种根据坐标映射模型获取定位信息的方法,在目标对象为可移动物体的基础上,提供另一种根据坐标映射关系获取定位信息的方法,坐标映射关系具体为坐标映射模型。首先根据第一坐标信息以及M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型,然后将第一坐标信息以及第二坐标信息作为坐标映射模型的输入,通过该待训练坐标映射模型输出坐标信息所对应的定位信息。而具体的坐标映射模型的应用以及类型与前述类似,在此不再赘述。
更进一步地,本申请实施例中,当目标对象可移动物体时,提供了一种根据坐标映射模型获取定位信息的方法,而坐标映射模型可以为多种类型的模型对不同的定位信息进行定位信息的输出,从而提升本申请的可行性。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的对象定位的方法第十个可选实施例中,根据M个摄像头拍摄得到的视频数据,获取可移动物体的K个关键点坐标信息,可以包括:
根据M个摄像头拍摄得到的视频数据,获取可移动物体的P个关键点坐标信息,其中,P为大于或等于1,且小于K的整数;
对P个关键点坐标信息进行插值处理,得到(K-P)个关键点坐标信息;
根据关键点坐标信息以及(K-P)个关键点坐标信息,获取K个关键点坐标信息。
本申请实施例中,介绍了一种获取K个关键点坐标信息的方式。对象定位装置先根据M个摄像头拍摄得到的视频数据,获取可移动物体的P个关键点坐标信息,假设M为1,即针对一个摄像头拍摄到的视频数据获取P个关键点坐标信息,P为小于K的整数。此时有(K-P)个关键点因为被遮挡而无法拍摄到坐标信息,于是可以针对已有的P个关键点坐标信息进行插值处理,从而得到(K-P)个关键点坐标信息,将插值处理得到的(K-P)个关键点坐标信息与拍摄到的P个关键点坐标信息,作为K个关键点坐标信息。
具体地,假设可移动物体为人体,且K大于等于1确小于17,即摄像头所拍摄的视频数据中并没有完全包括整个人体,为了便于理解,请参阅图12,图12为本申请实施例中人体关键点处于遮挡状态的一个示意图,从图12可以看到摄像头11A仅拍摄到人体部分关键点,即关键点P7至关键点P12,以及关键点P14至关键点P16共9个关键点,即可以从摄像头11A的视频数据中获取到9个关键点的坐标信息,然后对9个关键点的坐标信息进行插值处理,即可以得到8个关键点坐标信息,即关键点P0至关键点P6以及关键P13所对应的坐标信息。最后根据8个关键点坐标信息以及9个关键点的坐标信息既可以获取17个关键点的坐标信息。
更进一步地,本申请实施例中,提供了一种获取K个关键点坐标信息的方式,即根据M个摄像头拍摄得到的视频数据,获取可移动物体的P个关键点坐标信息,然后对P个关键点坐标信息进行插值处理,得到(K-P)个关键点坐标信息,最后根据关键点坐标信息以及(K-P)个关键点坐标信息,获取K个关键点坐标信息。通过上述方式,当目标对象被遮挡时,通过获取关键点信息并且插值处理可以获取到K个关键点坐标信息,从而提升本申请的可行性。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的对象定位的方法第十一个可选实施例中,基于第一地图与第二地图之间的比例关系,根据定位信息生成定位结果,可以包括:
获取第二地图;
基于第一地图与第二地图之间的比例关系,对第一地图进行缩放处理,得到待校正地图,其中,待校正地图与第二地图具有相同的比例尺;
根据第二地图对待校正地图进行匹配处理,得到目标地图;
根据目标地图以及定位信息,生成定位结果。
本申请实施例中,介绍一种生成定位结果的方法,首先获取对象定位装置原有的电子地图,具体地,电子地图即数字地图,是利用计算机技术并通过数字方式存储和查阅的地图,另外,电子地图可以进行任意比例尺或任意范围的绘图输出,而SLAM地图可以进行缩放以得到与电子地图相同的比例尺,因此可以对第一地图进行缩放处理得到待校正地图,待校正地图与第二地图具有相同的比例尺。请参阅图13,图13为本申请实施例中获取待校正地图的一个流程示意图,第一地图由于相对于第二地图较小,因此对第一地图进行放大处理,获得与第二地图具有相同的比例尺的待校正地图。进一步地,当获取到待校正地图之后,将第二地图与待校正地图进行匹配处理得到目标地图,然后根据所获取的目标地图以及定位信息生成定位结果。
其次,本申请实施例中,提供一种生成定位结果的方法,获取第二地图,然后基于第一地图与第二地图之间的比例关系,对第一地图进行缩放处理,得到待校正地图,再根据第二地图对待校正地图进行匹配处理,得到目标地图,最后根据目标地图以及定位信息,生成定位结果。通过上述方式,能够对第一地图以及第二地图进行匹配获取的目标地图,从而使构建得到的地图能够更贴近实际情况,使得定位结果的展示更准确,且更加直观,由此提升方案的可行性。
下面对本申请中的界面图像检测装置进行详细描述,请参阅图14,图14为本申请实施例中对象定位装置的一个实施例示意图,对象定位装置1400包括:
获取模块1401,用于获取待检测对象在第一地图内的坐标信息;
确定模块1402,用于基于坐标映射关系,确定所述获取模块1401获取的所述坐标信息所对应的定位信息,其中,所述坐标映射关系为根据第一实时信息与第二实时信息建立得到的,所述第一实时信息为通过目标对象获取的,所述第二实时信息为通过摄像头获取的;
生成模块1403,用于基于所述第一地图与第二地图之间的比例关系,根据所述确定模块1402确定的所述定位信息生成定位结果;
发送模块1404,用于向客户端发送所述生成模块1403生成的所述定位结果,以使所述客户端展示所述定位结果。
本申请实施例中,获取模块1401获取待检测对象在第一地图内的坐标信息,确定模块1402基于坐标映射关系,确定所述获取模块1401获取的所述坐标信息所对应的定位信息,其中,所述坐标映射关系为根据第一实时信息与第二实时信息建立得到的,所述第一实时信息为通过目标对象获取的,所述第二实时信息为通过摄像头获取的,生成模块1403基于所述第一地图与第二地图之间的比例关系,根据所述确定模块1402确定的所述定位信息生成定位结果,发送模块1404向客户端发送所述生成模块1403生成的所述定位结果,以使所述客户端展示所述定位结果。
本申请实施例中,提供了一种对象定位装置,首先,对象定位装置获取待检测对象在第一地图内的坐标信息,然后对象定位装置基于坐标映射关系,确定坐标信息所对应的定位信息,该坐标映射关系为根据第一实时信息与第二实时信息建立得到的,再基于第一地图与第二地图之间的比例关系,根据定位信息生成定位结果,最后对象定位装置向客户端发送定位结果,以使客户端展示定位结果。通过上述方式,能够对目的对象在摄像头中位置与目标对象在全局地图中的位置进行映射,得到坐标映射关系,当在摄像头下的画面中检测到待检测对象时,可以根据坐标映射关系得到待检测对象在全局地图中的位置,整个过程能够自动进行,减少人工参与,减少出错情形,从而提高定位效率。
可选地,在上述图14所对应的实施例的基础上,请参阅图15,本申请实施例提供的对象定位装置1400的另一实施例中,对象定位装置1400还包括建立模块1405,
所述获取模块1401,还用于在所述确定模块1405基于坐标映射关系,确定所述坐标信息所对应的定位信息之前,获取所述目标对象的第一实时信息,其中,所述第一实时信息包括所述目标对象在所述第一地图内的第一坐标信息以及第一时间戳信息;
所述获取模块1401,还用于获取所述目标对象的第二实时信息,其中,所述第二实时信息包括所述目标对象在所述第一地图内的第二坐标信息以及第二时间戳信息;
所述建立模块1405,用于根据所述获取模块1401获取的所述第一时间戳信息以及所述第二时间戳信息,建立所述第一坐标信息与所述第二坐标信息之间的所述坐标映射关系。
其次,本申请实施例中,提供了一种建立坐标映射关系的方法,即先获取第一实时信息以及第二实时信息,每个实时信息中都包括对应的坐标信息以及时间戳信息,根据时间戳信息对第一坐标信息以及第二坐标信息进行关联,由此建立第一坐标信息与第二坐标信息之间的坐标映射关系。通过上述方式,能够使得后续步骤直接使用坐标映射关系确定定位信息,从而提升本申请的可行性以及可操作性。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,所述目标对象为机器人;
所述获取模块1401,具体用于当所述机器人移动时,接收所述机器人发送的所述第一实时信息;
所述获取模块1401,具体用于接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;
根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述机器人的摄像头;
根据所述M个摄像头拍摄得到的视频数据,获取所述第二实时信息,其中,所述第二实时信息包括所述机器人的M个第二坐标信息。
再次,本申请实施例中,提供了一种获取目标对象的实时信息的方法,当目标对象为机器人时,服务器可以接收机器人发送的第一实时信息,并且接收第一地图内N个摄像头拍摄得到的视频数据,根据视频数据从N个摄像头中确定M个摄像头,根据M个摄像头拍摄得到的视频数据,获取第二实时信息。通过上述方式,能够根据目标对象变化采取不同的第一实时信息以及第二实时信息获取方式,从而提升本申请的可行性以及可操作性。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,
所述建立模块1405,具体用于若所述第一时间戳信息与所述第二时间戳信息一致,则根据所述第一坐标信息以及所述M个第二坐标信息,计算得到映射矩阵;
所述确定模块1402,具体用于根据所述映射矩阵以及所述坐标信息,计算得到所述坐标信息所对应的定位信息。
进一步地,本申请实施例中,提供了一种坐标映射关系获取定位信息的方法,若第一时间戳信息与第二时间戳信息一致,则根据第一坐标信息以及M个第二坐标信息,计算得到映射矩阵,根据映射矩阵以及坐标信息,计算得到坐标信息所对应的定位信息。通过上述方式,当目标对象为机器人时,可以根据映射矩阵获取定位信息,映射矩阵具有多种类型,可根据实际需求选择合适的映射矩阵,提升本申请的可行性。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,
所述建立模块1405,具体用于若所述第一时间戳信息与所述第二时间戳信息一致,则基于所述第一坐标信息以及所述M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
所述确定模块1402,具体用于基于所述坐标信息,通过所述坐标映射模型获取所述定位信息。
进一步地,本申请实施例中,提供了另一种根据坐标映射关系获取定位信息的方法,若第一时间戳信息与第二时间戳信息一致,则基于第一坐标信息以及M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型,然后基于坐标信息,通过坐标映射模型获取定位信息。通过上述方式,坐标映射模型可以为多种类型的模型对不同的定位信息进行定位信息的输出,从而提升本申请的可行性。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,
所述获取模块1401,还用于在所述确定模块1402基于坐标映射关系,确定所述坐标信息所对应的定位信息之前,获取所述目标对象的第一实时信息,其中,所述第一实时信息包括所述目标对象在所述第一地图内的第一坐标信息;
所述获取模块1401,还用于获取所述目标对象的第二实时信息,其中,所述第二实时信息包括所述目标对象在所述第一地图内的第二坐标信息;
所述建立模块1405,还用于根据所述获取模块1401获取的所述第一坐标信息与所述第二坐标信息,建立所述坐标映射关系。
其次,本申请实施例中,提供了一种建立坐标映射关系的方法,即先获取第一实时信息以及第二实时信息,每个实时信息中都包括对应的坐标信息,建立第一坐标信息与第二坐标信息之间的坐标映射关系,后续步骤能够直接使用坐标映射关系确定定位信息,从而提升本申请的可行性以及可操作性。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,目标对象为可移动物体;
所述获取模块1401,具体用于当所述可移动物体移动时,接收所述可移动物体发送的所述第一实时信息,其中,所述可移动物体包括摄像头以及传感器;
所述获取模块1401,具体用于接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;
根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述可移动物体的摄像头;
根据所述M个摄像头拍摄得到的视频数据,获取所述可移动物体的K个关键点坐标信息,其中,所述K为大于或等于1的整数;
根据所述K个关键点坐标信息,获取所述第二实时信息,其中,所述第二实时信息包括所述可移动物体的M个第二坐标信息,每个第二坐标信息包括所述可移动物体的K个关键点坐标信息。
再次,本申请实施例中,提供了一种获取目标对象的实时信息的方法,当可移动物体移动时,服务器接收可移动物体发送的第一实时信息,服务器接收第一地图内N个摄像头拍摄得到的视频数据,服务器根据视频数据从N个摄像头中确定M个摄像头,然后根据M个摄像头拍摄得到的视频数据,获取可移动物体的K个关键点坐标信息,最后根据K个关键点坐标信息,获取第二实时信息。通过上述方式,当目标对象为可移动物体时,根据不同的可移动物采取不同的方式获取第一实时信息以及第二实时信息,并且根据不同可移动物体分割不同的关键点,提高第二实时信息获取的准确度,从而提升本申请的可行性以及可操作性。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,
所述获取模块1401,还用于在所述建立模块根据所述第一坐标信息与所述第二坐标信息,建立所述坐标映射关系之前,获取所述K个关键点坐标信息;
所述确定模块1402,还用于采用K最近邻分类算法,确定所述获取模块1401获取的所述K个关键点坐标信息所对应的K个最邻近关键点坐标信息;
所述确定模块1402,还用于根据所述K个关键点坐标信息以及所述K个最邻近关键点坐标信息,确定目标距离;
所述获取模块1401,还用于若所述确定模块1402确定的所述目标距离小于或等于距离阈值,则根据所述K个最邻近关键点坐标信息,从数据库中获取所述K个关键点坐标信息所对应的所述第一坐标信息。
进一步地,本申请实施例中,提供了获取第一坐标信息的方法,服务器获取K个关键点坐标信息,然后采用K最近邻分类算法,确定K个关键点坐标信息所对应的K个最邻近关键点坐标信息,再根据K个关键点坐标信息以及K个最邻近关键点坐标信息,确定目标距离,若目标距离小于或等于距离阈值,则根据K个最邻近关键点坐标信息,从数据库中获取K个关键点坐标信息所对应的第一坐标信息。通过上述方式,服务器可以存储索引机制下的数据,通过索引机制可以更为准确以及快速的获取第一实时信息,从而提升本申请的实施效率。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,
所述建立模块1405,具体用于根据所述第一坐标信息以及所述M个第二坐标信息,计算得到映射矩阵;
所述确定模块1402,具体用于根据所述映射矩阵以及所述坐标信息,计算得到所述坐标信息所对应的定位信息。
更进一步地,本申请实施例中,当目标对象为可移动物体时,提供一种根据映射矩阵获取定位信息的方法,而映射矩阵可以为多种类型的矩阵,提升本申请的可行性。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,
所述建立模块1405,具体用于若所述第一时间戳信息与所述第二时间戳信息一致,则基于所述第一坐标信息以及所述M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
所述确定模块1402,具体用于基于所述坐标信息,通过所述坐标映射模型获取所述定位信息。
更进一步地,本申请实施例中,当目标对象可移动物体时,提供了一种根据坐标映射模型获取定位信息的方法,而坐标映射模型可以为多种类型的模型对不同的定位信息进行定位信息的输出,从而提升本申请的可行性。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,
所述获取模块1401,具体用于根据所述M个摄像头拍摄得到的视频数据,获取所述可移动物体的P个关键点坐标信息,其中,所述P为大于或等于1,且小于所述K的整数;
对所述P个关键点坐标信息进行插值处理,得到(K-P)个关键点坐标信息;
根据所述P个关键点坐标信息以及所述(K-P)个关键点坐标信息,获取所述K个关键点坐标信息。
更进一步地,本申请实施例中,提供了一种获取K个关键点坐标信息的方式,即根据M个摄像头拍摄得到的视频数据,获取可移动物体的P个关键点坐标信息,然后对P个关键点坐标信息进行插值处理,得到(K-P)个关键点坐标信息,最后根据关键点坐标信息以及(K-P)个关键点坐标信息,获取K个关键点坐标信息。通过上述方式,当目标对象被遮挡时,通过获取关键点信息并且插值处理可以获取到K个关键点坐标信息,从而提升本申请的可行性。
可选地,在上述图14或图15所对应的实施例的基础上,本申请实施例提供的对象定位装置1400的另一实施例中,
所述生成模块1403,具体用于获取所述第二地图;
基于所述第一地图与第二地图之间的比例关系,对所述第一地图进行缩放处理,得到待校正地图,其中,所述待校正地图与所述第二地图具有相同的比例尺;
根据所述第二地图对所述待校正地图进行匹配处理,得到目标地图;
根据所述目标地图以及所述定位信息,生成所述定位结果。
其次,本申请实施例中,提供一种生成定位结果的方法,获取第二地图,然后基于第一地图与第二地图之间的比例关系,对第一地图进行缩放处理,得到待校正地图,再根据第二地图对待校正地图进行匹配处理,得到目标地图,最后根据目标地图以及定位信息,生成定位结果。通过上述方式,能够对第一地图以及第二地图进行匹配获取的目标地图,从而使构建得到的地图能够更贴近实际情况,使得定位结果的展示更准确,且更加直观,由此提升方案的可行性。
应理解,以对象定位装置为服务器为例,请参阅图16,图16为本申请实施例中服务器的一个结构示意图,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)622(例如,一个或一个以上处理器)和存储器632,一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器622可以设置为与存储介质630通信,在服务器600上执行存储介质630中的一系列指令操作。
服务器600还可以包括一个或一个以上电源626,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口658,和/或,一个或一个以上操作系统641,例如WindowsServerTM,MacOSXTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图16所示的服务器结构。
在本申请实施例中,该服务器所包括的CPU622还具有以下功能:
获取待检测对象在第一地图内的坐标信息;
基于坐标映射关系,确定所述坐标信息所对应的定位信息,其中,所述坐标映射关系为根据第一实时信息与第二实时信息建立得到的,所述第一实时信息为通过目标对象获取的,所述第二实时信息为通过摄像头获取的;
基于所述第一地图与第二地图之间的比例关系,根据所述定位信息生成定位结果;
向客户端发送所述定位结果,以使所述客户端展示所述定位结果。
可选地,CPU622还用于执行以下步骤:
获取所述目标对象的第一实时信息,其中,所述第一实时信息包括所述目标对象在所述第一地图内的第一坐标信息以及第一时间戳信息;
获取所述目标对象的第二实时信息,其中,所述第二实时信息包括所述目标对象在所述第一地图内的第二坐标信息以及第二时间戳信息;
根据所述第一时间戳信息以及所述第二时间戳信息,建立所述第一坐标信息与所述第二坐标信息之间的所述坐标映射关系。
可选地,CPU622具体用于执行以下步骤:
当所述机器人移动时,接收所述机器人发送的所述第一实时信息;
接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;
根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述机器人的摄像头;
根据所述M个摄像头拍摄得到的视频数据,获取所述第二实时信息,其中,所述第二实时信息包括所述机器人的M个第二坐标信息。
可选地,CPU622具体用于执行以下步骤:
若所述第一时间戳信息与所述第二时间戳信息一致,则根据所述第一坐标信息以及所述M个第二坐标信息,计算得到映射矩阵;
根据所述映射矩阵以及所述坐标信息,计算得到所述坐标信息所对应的定位信息。
可选地,CPU622具体用于执行以下步骤:
若所述第一时间戳信息与所述第二时间戳信息一致,则基于所述第一坐标信息以及所述M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
基于所述坐标信息,通过所述坐标映射模型获取所述定位信息。
可选地,CPU622还用于执行以下步骤:
获取所述目标对象的第一实时信息,其中,所述第一实时信息包括所述目标对象在所述第一地图内的第一坐标信息;
获取所述目标对象的第二实时信息,其中,所述第二实时信息包括所述目标对象在所述第一地图内的第二坐标信息;
根据所述第一坐标信息与所述第二坐标信息,建立所述坐标映射关系。
可选地,CPU622具体用于执行以下步骤:
所述获取所述目标对象的第一实时信息,包括:
当所述可移动物体移动时,接收所述可移动物体发送的所述第一实时信息,其中,所述可移动物体包括摄像头以及传感器;
接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;
根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述可移动物体的摄像头;
根据所述M个摄像头拍摄得到的视频数据,获取所述可移动物体的K个关键点坐标信息,其中,所述K为大于或等于1的整数;
根据所述K个关键点坐标信息,获取所述第二实时信息,其中,所述第二实时信息包括所述可移动物体的M个第二坐标信息,每个第二坐标信息包括所述可移动物体的K个关键点坐标信息。
可选地,CPU622还用于执行以下步骤:
获取所述K个关键点坐标信息;
采用K最近邻分类算法,确定所述K个关键点坐标信息所对应的K个最邻近关键点坐标信息;
根据所述K个关键点坐标信息以及所述K个最邻近关键点坐标信息,确定目标距离;
若所述目标距离小于或等于距离阈值,则根据所述K个最邻近关键点坐标信息,从数据库中获取所述K个关键点坐标信息所对应的所述第一坐标信息。
可选地,CPU622具体用于执行以下步骤:
根据所述第一坐标信息以及所述M个第二坐标信息,计算得到映射矩阵;
所述基于坐标映射关系,确定所述坐标信息所对应的定位信息,包括:
根据所述映射矩阵以及所述坐标信息,计算得到所述坐标信息所对应的定位信息。
可选地,CPU622具体用于执行以下步骤:
若所述第一时间戳信息与所述第二时间戳信息一致,则基于所述第一坐标信息以及所述M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
所述基于坐标映射关系,确定所述坐标信息所对应的定位信息,包括:
基于所述坐标信息,通过所述坐标映射模型获取所述定位信息。
可选地,CPU622具体用于执行以下步骤:
根据所述M个摄像头拍摄得到的视频数据,获取所述可移动物体的P个关键点坐标信息,其中,所述P为大于或等于1,且小于所述K的整数;
对所述P个关键点坐标信息进行插值处理,得到(K-P)个关键点坐标信息;
根据所述P个关键点坐标信息以及所述(K-P)个关键点坐标信息,获取所述K个关键点坐标信息。
可选地,CPU622具体用于执行以下步骤:
获取所述第二地图;
基于所述第一地图与第二地图之间的比例关系,对所述第一地图进行缩放处理,得到待校正地图,其中,所述待校正地图与所述第二地图具有相同的比例尺;
根据所述第二地图对所述待校正地图进行匹配处理,得到目标地图;
根据所述目标地图以及所述定位信息,生成所述定位结果。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(randomacceS为,S为,memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种对象定位的方法,其特征在于,包括:
获取待检测对象在第一地图内的坐标信息;
基于坐标映射关系,确定所述坐标信息所对应的定位信息,其中,所述坐标映射关系为根据第一实时信息与第二实时信息建立得到的,所述第一实时信息为通过目标对象获取的,所述第二实时信息为通过摄像头获取的;
基于所述第一地图与第二地图之间的比例关系,根据所述定位信息生成定位结果;
向客户端发送所述定位结果,以使所述客户端展示所述定位结果;
当所述目标对象为机器人时,所述基于坐标映射关系,确定所述坐标信息所对应的定位信息之前,所述方法还包括:
当所述机器人移动时,接收所述机器人发送的所述第一实时信息;其中,所述第一实时信息包括所述机器人在所述第一地图内的第一坐标信息以及第一时间戳信息;
接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;
根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述机器人的摄像头;
根据所述M个摄像头拍摄得到的视频数据,获取所述机器人的第二实时信息;其中,所述第二实时信息包括所述机器人在所述第一地图内的第二坐标信息以及第二时间戳信息;
根据所述第一时间戳信息以及所述第二时间戳信息,建立所述第一坐标信息与所述第二坐标信息之间的所述坐标映射关系。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一时间戳信息以及所述第二时间戳信息,建立所述第一坐标信息与所述第二坐标信息之间的所述坐标映射关系,包括:
若所述第一时间戳信息与所述第二时间戳信息一致,则根据所述第一坐标信息以及所述M个第二坐标信息,计算得到映射矩阵;
所述基于坐标映射关系,确定所述坐标信息所对应的定位信息,包括:
根据所述映射矩阵以及所述坐标信息,计算得到所述坐标信息所对应的定位信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一时间戳信息以及所述第二时间戳信息,建立所述第一坐标信息与所述第二坐标信息之间的所述坐标映射关系,包括:
若所述第一时间戳信息与所述第二时间戳信息一致,则基于所述第一坐标信息以及所述M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
所述基于坐标映射关系,确定所述坐标信息所对应的定位信息,包括:
基于所述坐标信息,通过所述坐标映射模型获取所述定位信息。
4.根据权利要求1所述的方法,其特征在于,当所述目标对象为可移动物体时,所述基于坐标映射关系,确定所述坐标信息所对应的定位信息之前,所述方法还包括:
当所述可移动物体移动时,接收所述可移动物体发送的所述第一实时信息,其中,所述可移动物体包括摄像头以及传感器;其中,所述第一实时信息包括所述可移动物体在所述第一地图内的第一坐标信息;
接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;
根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述可移动物体的摄像头;
根据所述M个摄像头拍摄得到的视频数据,获取所述可移动物体的K个关键点坐标信息,其中,所述K为大于或等于1的整数;
根据所述K个关键点坐标信息,获取所述第二实时信息;其中,所述第二实时信息包括所述可移动物体在所述第一地图内的第二坐标信息,每个第二坐标信息包括所述可移动物体的K个关键点坐标信息;
根据所述第一坐标信息与所述第二坐标信息,建立所述坐标映射关系。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一坐标信息与所述第二坐标信息,建立所述坐标映射关系之前,所述方法还包括:
获取所述K个关键点坐标信息;
采用K最近邻分类算法,确定所述K个关键点坐标信息所对应的K个最邻近关键点坐标信息;
根据所述K个关键点坐标信息以及所述K个最邻近关键点坐标信息,确定目标距离;
若所述目标距离小于或等于距离阈值,则根据所述K个最邻近关键点坐标信息,从数据库中获取所述K个关键点坐标信息所对应的所述第一坐标信息。
6.根据权利要求4至5中任一项所述的方法,其特征在于,所述根据所述第一坐标信息与所述第二坐标信息,建立所述坐标映射关系,包括:
根据所述第一坐标信息以及所述M个第二坐标信息,计算得到映射矩阵;
所述基于坐标映射关系,确定所述坐标信息所对应的定位信息,包括:
根据所述映射矩阵以及所述坐标信息,计算得到所述坐标信息所对应的定位信息。
7.根据权利要求4至5中任一项所述的方法,其特征在于,所述根据所述第一坐标信息与所述第二坐标信息,建立所述坐标映射关系,包括:
若所述第一时间戳信息与所述第二时间戳信息一致,则基于所述第一坐标信息以及所述M个第二坐标信息对待训练坐标映射模型进行训练,得到坐标映射模型;
所述基于坐标映射关系,确定所述坐标信息所对应的定位信息,包括:
基于所述坐标信息,通过所述坐标映射模型获取所述定位信息。
8.根据权利要求4至5中任一项所述的方法,其特征在于,所述根据所述M个摄像头拍摄得到的视频数据,获取所述可移动物体的K个关键点坐标信息,包括:
根据所述M个摄像头拍摄得到的视频数据,获取所述可移动物体的P个关键点坐标信息,其中,所述P为大于或等于1,且小于所述K的整数;
对所述P个关键点坐标信息进行插值处理,得到(K-P)个关键点坐标信息;
根据所述P个关键点坐标信息以及所述(K-P)个关键点坐标信息,获取所述K个关键点坐标信息。
9.根据权利要求1所述的方法,其特征在于,所述基于所述第一地图与第二地图之间的比例关系,根据所述定位信息生成定位结果,包括:
获取所述第二地图;
基于所述第一地图与第二地图之间的比例关系,对所述第一地图进行缩放处理,得到待校正地图,其中,所述待校正地图与所述第二地图具有相同的比例尺;
根据所述第二地图对所述待校正地图进行匹配处理,得到目标地图;
根据所述目标地图以及所述定位信息,生成所述定位结果。
10.一种对象定位装置,其特征在于,包括:
获取模块,用于获取待检测对象在第一地图内的坐标信息;
确定模块,用于基于坐标映射关系,确定所述坐标信息所对应的定位信息,其中,所述坐标映射关系为根据第一实时信息与第二实时信息建立得到的,所述第一实时信息为通过目标对象获取的,所述第二实时信息为通过摄像头获取的;
生成模块,用于基于所述第一地图与第二地图之间的比例关系,根据所述定位信息生成定位结果;
发送模块,用于向客户端发送所述定位结果,以使所述客户端展示所述定位结果;
当所述目标对象为机器人时;所述获取模块,具体用于当所述机器人移动时,接收所述机器人发送的所述第一实时信息;其中,所述第一实时信息包括所述机器人在所述第一地图内的第一坐标信息以及第一时间戳信息;接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述机器人的摄像头;根据所述M个摄像头拍摄得到的视频数据,获取所述第二实时信息;其中,所述第二实时信息包括所述机器人在所述第一地图内的第二坐标信息以及第二时间戳信息;根据所述第一时间戳信息以及所述第二时间戳信息,建立所述第一坐标信息与所述第二坐标信息之间的所述坐标映射关系。
11.一种服务器,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待检测对象在第一地图内的坐标信息;
基于坐标映射关系,确定所述坐标信息所对应的定位信息,其中,所述坐标映射关系为根据第一实时信息与第二实时信息建立得到的,所述第一实时信息为通过目标对象获取的,所述第二实时信息为通过摄像头获取的;
基于所述第一地图与第二地图之间的比例关系,根据所述定位信息生成定位结果;
向客户端发送所述定位结果,以使所述客户端展示所述定位结果;
当所述目标对象为机器人时,所述基于坐标映射关系,确定所述坐标信息所对应的定位信息之前,所述步骤还包括:
当所述机器人移动时,接收所述机器人发送的所述第一实时信息;其中,所述第一实时信息包括所述机器人在所述第一地图内的第一坐标信息以及第一时间戳信息;
接收所述第一地图内N个摄像头拍摄得到的视频数据,其中,所述N为大于或等于1的整数;
根据所述视频数据从所述N个摄像头中确定M个摄像头,其中,所述M为大于或等于1,且小于或等于所述N的整数,所述M个摄像头为拍摄到所述机器人的摄像头;
根据所述M个摄像头拍摄得到的视频数据,获取所述机器人的第二实时信息;其中,所述第二实时信息包括所述机器人在所述第一地图内的第二坐标信息以及第二时间戳信息;
根据所述第一时间戳信息以及所述第二时间戳信息,建立所述第一坐标信息与所述第二坐标信息之间的所述坐标映射关系;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
12.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至9中任一项所述的方法。
CN201911163852.1A 2019-11-22 2019-11-22 一种对象定位的方法以及相关装置 Active CN110888957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911163852.1A CN110888957B (zh) 2019-11-22 2019-11-22 一种对象定位的方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911163852.1A CN110888957B (zh) 2019-11-22 2019-11-22 一种对象定位的方法以及相关装置

Publications (2)

Publication Number Publication Date
CN110888957A CN110888957A (zh) 2020-03-17
CN110888957B true CN110888957B (zh) 2023-03-10

Family

ID=69748708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911163852.1A Active CN110888957B (zh) 2019-11-22 2019-11-22 一种对象定位的方法以及相关装置

Country Status (1)

Country Link
CN (1) CN110888957B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7040809B2 (ja) * 2020-03-19 2022-03-23 Totalmasters株式会社 建設現場管理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971924B2 (en) * 2011-05-23 2015-03-03 Apple Inc. Identifying and locating users on a mobile network
CN106227212B (zh) * 2016-08-12 2019-02-22 天津大学 基于栅格地图和动态校准的精度可控室内导航系统及方法
CN108253975B (zh) * 2017-12-29 2022-01-14 驭势(上海)汽车科技有限公司 一种建立地图信息及车辆定位的方法与设备
CN108344418B (zh) * 2018-02-08 2020-04-17 北京恒华伟业科技股份有限公司 定位导航信息的获取方法及系统
CN109190508B (zh) * 2018-08-13 2022-09-06 南京财经大学 一种基于空间坐标系的多摄像头数据融合方法

Also Published As

Publication number Publication date
CN110888957A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
US20190096089A1 (en) Enabling use of three-dimensonal locations of features with two-dimensional images
EP3114647A2 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
CN112544097A (zh) 用于执行三维无线电模型构建的方法、装置和计算机程序
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
Feng et al. Three-dimensional robot localization using cameras in wireless multimedia sensor networks
Hu et al. An indoor positioning framework based on panoramic visual odometry for visually impaired people
Zhou et al. A new algorithm for the extrinsic calibration of a 2D LIDAR and a camera
Feng et al. Visual map construction using RGB-D sensors for image-based localization in indoor environments
CN111489392B (zh) 多人环境下单个目标人体运动姿态捕捉方法及系统
Deng et al. Long-range binocular vision target geolocation using handheld electronic devices in outdoor environment
Tsai et al. Vision based indoor positioning for intelligent buildings
Shalaby et al. Algorithms and applications of structure from motion (SFM): A survey
CN110888957B (zh) 一种对象定位的方法以及相关装置
Deng et al. Accurate and flexible calibration method for a class of visual sensor networks
Kim et al. Recursive estimation of motion and a scene model with a two-camera system of divergent view
Zhou et al. Method for fundamental matrix estimation combined with feature lines
WO2023160445A1 (zh) 即时定位与地图构建方法、装置、电子设备及可读存储介质
Reulke et al. Traffic surveillance using multi-camera detection and multi-target tracking
CN115727854A (zh) 一种基于bim结构信息的vslam定位方法
Kim et al. Absolute motion and structure from stereo image sequences without stereo correspondence and analysis of degenerate cases
Chi et al. Locate, Tell, and Guide: Enabling public cameras to navigate the public
Aliakbarpour et al. Geometric exploration of virtual planes in a fusion-based 3D data registration framework
Dong et al. Indoor target tracking with deep learning-based YOLOv3 model
Shi et al. Visual human localization and safety monitoring in a digital twin of workspace
Li et al. A low-cost drift-free optical-inertial hybrid motion capture system for high-precision human pose detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022591

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant