CN117407480A - 一种基于光电云台的地图显示方法及装置 - Google Patents

一种基于光电云台的地图显示方法及装置 Download PDF

Info

Publication number
CN117407480A
CN117407480A CN202311713241.6A CN202311713241A CN117407480A CN 117407480 A CN117407480 A CN 117407480A CN 202311713241 A CN202311713241 A CN 202311713241A CN 117407480 A CN117407480 A CN 117407480A
Authority
CN
China
Prior art keywords
target
target object
image
photoelectric
holder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311713241.6A
Other languages
English (en)
Other versions
CN117407480B (zh
Inventor
姬忠良
徐子潇
祝瑞寿
高树论
蔡晓晰
丁钢波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Computer Peripheral Equipment Research Institute 52nd Research Institute Of China Electronics Technology Group Corp
Original Assignee
Hangzhou Computer Peripheral Equipment Research Institute 52nd Research Institute Of China Electronics Technology Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Computer Peripheral Equipment Research Institute 52nd Research Institute Of China Electronics Technology Group Corp filed Critical Hangzhou Computer Peripheral Equipment Research Institute 52nd Research Institute Of China Electronics Technology Group Corp
Priority to CN202311713241.6A priority Critical patent/CN117407480B/zh
Publication of CN117407480A publication Critical patent/CN117407480A/zh
Application granted granted Critical
Publication of CN117407480B publication Critical patent/CN117407480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种基于光电云台的地图显示方法及装置,通过将雷达设备替换为成本更低的光电设备以及光电云台,以有效控制整体投入成本,接着利用该光电云台对由光电设备采集到的视频流进行上传处理,以从该视频流中识别出满足用户需求的目标对象,并结合该目标对象的空间坐标以及在预设的路网数据库中筛选出的目标环境生成可实时显示目标对象移动轨迹的地图,不仅有效准确的在地图中显示出满足用户需求的目标,还可极大提升地图的整体使用体验。

Description

一种基于光电云台的地图显示方法及装置
技术领域
本申请属于地图处理技术领域,特别的涉及一种基于光电云台的地图显示方法及装置。
背景技术
常见用于将目标对象呈现在地图上的方式,是利用雷达设备将所采集到的目标坐标上传至相应平台,并由平台结合该目标坐标将目标以黑点或是红点的形式显示在相应的网页地图页面上。
然而这种地图显示方式通常需要使用价格昂贵的雷达设备,无法有效减低投入成本,且由于雷达设备所采集到的目标类型不够精确,无法有效准确的在地图中显示出满足用户需求的目标,进而影响地图的整体使用体验。
发明内容
本申请为解决上述提到的常见地图显示方式通常需要使用价格昂贵的雷达设备,无法有效减低投入成本,且由于雷达设备所采集到的目标类型不够精确,无法有效准确的在地图中显示出满足用户需求的目标,进而影响地图的整体使用体验等技术问题,提出一种基于光电云台的地图显示方法及装置,其技术方案如下:
第一方面,本申请实施例提供了一种基于光电云台的地图显示方法,包括:
当接收到用户端的地图显示指令时,按照预设的时间间隔采集由光电云台上传的第一视频流,并从第一视频流中提取出至少两帧连续的第一图像;
从每帧第一图像中识别出目标对象,并基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数;
将每个目标对象的目标转动参数以及光电云台所对应的预设空间坐标输入至预设的地形数据模型中,得到相应目标对象的空间坐标;
基于预设的神经元学习网络从所有第一图像中预测出地理环境参数,并在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境;
基于目标环境以及所有目标对象的空间坐标,生成包含目标对象移动轨迹的第一显示地图,并将第一显示地图发送至用户端,以由用户端将第一显示地图展示给用户。
在第一方面的一种可选方案中,从每帧第一图像中识别出目标对象,包括:
对每帧第一图像进行图像识别处理,得到每帧第一图像中的至少两个对象轮廓特征;
基于预设的对象类型对每帧第一图像中的所有对象轮廓特征进行匹配处理,并将匹配相似度最高的对象轮廓特征作为相应第一图像的目标对象。
在第一方面的又一种可选方案中,从每帧第一图像中识别出目标对象,还包括:
当在任意一帧第一图像中检测到矩形框时,根据矩形框在相应第一图像中的顶点坐标确定出中心坐标;
对第一图像中的矩形框进行图像识别处理,得到目标轮廓特征,并基于中心坐标以及目标轮廓特征在每帧第一图像中确定出目标对象。
在第一方面的又一种可选方案中,基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数,包括:
基于每帧第一图像的中心点建立平面直角坐标系,并在平面直角坐标系中确定出相应目标对象的位置坐标;
基于每个目标对象的位置坐标以及光电云台的齿轮转动参数,得到每个目标对象的图像转动参数;
对每个目标对象的图像转动参数以及光电云台的初始转动参数进行求和处理,得到相应目标对象的目标转动参数。
在第一方面的又一种可选方案中,在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境,包括:
在预设的路网数据库中筛选出与地理环境参数一致的至少两个地理环境;
从每个地理环境中确定出相应的地理空间坐标,并计算出每个地理空间坐标与所有目标对象的空间坐标之间的空间距离;
对每个地理空间坐标所对应的所有空间距离进行求和处理,并将处理结果最小的地理空间坐标所对应的地理环境作为目标环境。
在第一方面的又一种可选方案中,基于目标环境以及所有目标对象的空间坐标,生成包含目标对象移动轨迹的第一显示地图,包括:
计算出任意两个相邻目标对象的空间坐标之间的空间距离,并根据所有空间距离以及任意两帧连续的第一图像的时间间距,得到目标对象的移动速度;
根据任意两个相邻目标对象的空间坐标以及相应的空间距离,得到目标对象的移动方向,并基于所有目标对象的空间坐标、目标对象的移动速度、目标对象的移动方向以及目标环境,生成包含目标对象移动轨迹的第一显示地图。
在第一方面的又一种可选方案中,在将第一显示地图发送至用户端之后,还包括:
按照预设的时间间隔采集由光电云台上传的第二视频流,并从第二视频流中提取出至少两帧连续的第二图像;
当在所有第二图像中未识别出目标对象时,基于目标对象的移动速度、目标对象的移动方向以及第一显示地图,生成包含目标对象模拟轨迹的第二显示地图;
将第二显示地图以及用于表征目标对象消失的提示信息发送至用户端,以由用户端将第二显示地图以及提示信息展示给用户。
第二方面,本申请实施例提供了一种基于光电云台的地图显示装置,包括:
视频采集模块,用于当接收到用户端的地图显示指令时,按照预设的时间间隔采集由光电云台上传的第一视频流,并从第一视频流中提取出至少两帧连续的第一图像;
参数计算模块,用于从每帧第一图像中识别出目标对象,并基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数;
坐标生成模块,用于将每个目标对象的目标转动参数以及光电云台所对应的预设空间坐标输入至预设的地形数据模型中,得到相应目标对象的空间坐标;
环境确定模块,用于基于预设的神经元学习网络从所有第一图像中预测出地理环境参数,并在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境;
地图显示模块,用于基于目标环境以及所有目标对象的空间坐标,生成包含目标对象移动轨迹的第一显示地图,并将第一显示地图发送至用户端,以由用户端将第一显示地图展示给用户。
第三方面,本申请实施例还提供了一种基于光电云台的地图显示装置,包括处理器以及存储器;
处理器与存储器连接;
存储器,用于存储可执行程序代码;
处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现本申请实施例第一方面或第一方面的任意一种实现方式提供的基于光电云台的地图显示方法。
第四方面,本申请实施例提供了一种计算机存储介质,计算机存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,可实现本申请实施例第一方面或第一方面的任意一种实现方式提供的基于光电云台的地图显示方法。
在本申请实施例中,可在将目标对象显示在地图上的过程中,当接收到用户端的地图显示指令时,按照预设的时间间隔采集由光电云台上传的第一视频流,并从第一视频流中提取出至少两帧连续的第一图像;从每帧第一图像中识别出目标对象,并基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数;将每个目标对象的目标转动参数以及光电云台所对应的预设空间坐标输入至预设的地形数据模型中,得到相应目标对象的空间坐标;基于预设的神经元学习网络从所有第一图像中预测出地理环境参数,并在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境;基于目标环境以及所有目标对象的空间坐标,生成包含目标对象移动轨迹的第一显示地图,并将第一显示地图发送至用户端,以由用户端将第一显示地图展示给用户。通过将雷达设备替换为成本更低的光电设备以及光电云台,以有效控制整体投入成本,接着利用该光电云台对由光电设备采集到的视频流进行上传处理,以从该视频流中识别出满足用户需求的目标对象,并结合该目标对象的空间坐标以及在预设的路网数据库中筛选出的目标环境生成可实时显示目标对象移动轨迹的地图,不仅有效准确的在地图中显示出满足用户需求的目标,还可极大提升地图的整体使用体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于光电云台的地图显示方法的整体流程图;
图2为本申请实施例提供的一种基于光电云台的地图显示方法的系统架构示意图;
图3为本申请实施例提供的一种基于光电云台的地图显示装置的结构示意图;
图4为本申请实施例提供的又一种基于光电云台的地图显示装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在下述介绍中,术语“第一”、“第二”仅为用于描述的目的,而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例,不同实施例之间可以替换或者合并组合,因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而,如果一个实施例包含特征A、B、C,另一个实施例包含特征B、D,那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例,尽管该实施例可能并未在以下内容中有明确的文字记载。
下面的描述提供了示例,并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下,对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行,并且可以添加、省略或组合各种步骤。此外,可以将关于一些示例描述的特征组合到其他示例中。
请参阅图1,图1示出了本申请实施例提供的一种基于光电云台的地图显示方法的整体流程图。
如图1所示,该基于光电云台的地图显示方法至少可以包括以下步骤:
步骤102、当接收到用户端的地图显示指令时,按照预设的时间间隔采集由光电云台上传的第一视频流,并从第一视频流中提取出至少两帧连续的第一图像。
在本申请实施例中,基于光电云台的地图显示方法可以但不局限于应用在中心平台,该中心平台分别与用户端以及光电云台建立通讯连接,通过基于该光电云台所采集到的视频流生成包含目标对象的显示地图,并将该包含目标对象的显示地图发送至用户端,以由该用户端将该包含目标对象的地图呈现给用户。其中,用户端可为安装有与中心平台对应的第三方应用软件的移动终端,以通过该第三方应用软件向中心平台发送用于获取显示地图的指令,并接收由该中心平台所反馈的包含有目标对象的显示地图,便于用户可实时追踪或是查询目标对象在地图上的位置或是相应移动路径。
光电云台可理解为控制光电设备进行视频采集的云台终端,该云台终端可向光电设备发送视频采集指令,以使该光电设备根据视频采集指令向指定的方位或是指定的对象进行视频采集处理,并将所采集到的视频流反馈给云台终端。可以理解的是,为了使光电设备所采集视频流的精度以及有效性更高,云台终端还可以但不局限于通过控制齿轮的转动来调整光电设备的拍摄角度,例如可通过控制处于俯仰角方向的齿轮转动来对光电设备的俯仰拍摄角度进行调整,又或是可通过控制处于转向角方向的齿轮转动来对该光电设备的转向拍摄角度进行调整,且在光电设备采集视频流的过程中也可由该云台终端实时对该光电设备的拍摄角度进行微调转动,不限定于此。此处,光电设备可以但不局限于为摄像头等高精度拍摄设备。
需要说明的是,在本申请实施例中的中心平台与光电云台之间的通信方式可采用http网络通信方式,以通过使用消息队列rocketmq和http接口实现互通,且双方之间的信令交互可以但不局限于通过JSON格式数据或是特定的视频编解码格式数据完成。
还可以理解的是,中心平台在基于光电云台所采集到的视频流生成包含目标对象的显示地图时,可通过将雷达设备替换为成本更低的光电设备以及光电云台,以有效控制整体投入成本,接着利用该光电云台对由光电设备采集到的视频流进行上传处理,以从该视频流中识别出满足用户需求的目标对象,并结合该目标对象的空间坐标以及在预设的路网数据库中筛选出的目标环境生成可实时显示目标对象移动轨迹的地图,不仅有效准确的在地图中显示出满足用户需求的目标,还可极大提升地图的整体使用体验。
此处还可参阅图2示出的本申请实施例提供的一种基于光电云台的地图显示方法的系统架构示意图,如图2所示,该系统架构至少可以包括中心平台201、控制光电设备进行视频采集的光电云台202以及安装有与中心平台对应的第三方应用软件的用户端203。其中,中心平台201可根据用户端203所上传的用于将目标对象显示在地图上的地图显示指令,向光电云台202发送获取目标对象的转动参数请求,以使该光电云台202根据光电设备所采集到的包含有目标对象的视频流计算出该目标对象的转动参数,并将该目标对象的转动参数反馈至中心平台201。此处,目标对象的转动参数可以但不局限于为该目标对象相对于光电云台的转向角以及俯仰角,且光电云台202向中心平台201所反馈的包含有目标对象的转动参数的数据可参阅如下示出的JSON格式数据:
该JSON格式数据中“deviceId”可理解为光电设备的设备id,“channelNo”可理解为光电设备的某个通道,“pValue和tValue”可分别对应为目标对象相对于光电云台的转向角和俯仰角。
接着,中心平台201在接收到目标对象的转动参数之后,可基于该目标对象的转动参数以及光电云台202所对应的预设空间坐标得到目标对象的空间坐标,并结合该目标对象的空间坐标以及在预设的路网数据库中筛选出的目标环境生成可实时显示目标对象移动轨迹的地图,不仅有效准确的在地图中显示出满足用户需求的目标,还可极大提升地图的整体使用体验。
需要说明的是,在图2所示出的系统架构中,中心平台201除了向光电云台202发送获取目标对象的转动参数请求,还可以但不局限于向该光电云台202发送获取包含目标对象的视频流请求,以根据该光电云台202控制光电设备所采集到的视频流确定出目标对象的转动参数,也即光电云台202仅需向中心平台201提供包含目标对象的视频流即可,且不限定于此。
具体地,在将目标对象显示在地图上的过程中,中心平台可在接收到用户端根据用户操作所上传的地图显示指令时,按照预设的时间间隔向光电云台发送视频获取请求,以使该光电云台根据视频获取请求控制光电设备采集视频流,并由该光电云台实时将采集到的视频流反馈给中心平台。此处,用户端所上传的地图显示指令可以但不局限于为包含有目标对象类型的地图显示指令,例如可为表征行人所处位置的地图显示指令、飞机所处位置的地图显示指令或是轮船所处位置的地图显示指令等,该目标对象类型具体可包括行人或是各类交通工具等,且该地图显示指令可通过用户在用户端所输入的搜索内容(或是搜索关键词)自动生成,不限定于此。
可以理解的是,在本申请实施例中提到的预设的时间间隔可以但不局限于间隔10秒、30秒或是60秒,可使中心平台根据采集到的视频流实时生成包含目标对象的显示地图,并发送给用户端以使该用户端可向用户实时呈现目标对象所处位置,进而保障目标对象的位置准确性。
进一步的,中心平台在采集到由光电云台上传的第一视频流之后,可按照指定的提取顺序从该第一视频流中提取出至少两帧连续的第一图像,以作为该第一视频流中的特征图像。其中,指定的提取顺序可以但不局限于为按照预设的图像帧间隔,例如按照预设2秒的图像帧间隔从时间为10秒的视频流中依次提取出5帧连续的图像,又或是按照预设的图像帧提取时间区间,例如可从时间为10秒的视频流中先确定出处于3-7秒内的部分视频流,并从该部分视频流中依次提取出5帧连续的图像。
步骤104、从每帧第一图像中识别出目标对象,并基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数。
具体地,在从第一视频流中提取出至少两帧连续的第一图像之后,中心平台可根据地图显示指令中所提到的目标对象类型,在每帧第一图像中识别出相应的目标对象,例如但不局限于当目标对象类型为飞机时,可将每帧第一图像中出现的飞机作为目标对象。
作为本申请实施例的一种可选,从每帧第一图像中识别出目标对象,包括:
对每帧第一图像进行图像识别处理,得到每帧第一图像中的至少两个对象轮廓特征;
基于预设的对象类型对每帧第一图像中的所有对象轮廓特征进行匹配处理,并将匹配相似度最高的对象轮廓特征作为相应第一图像的目标对象。
具体地,在从每帧第一图像中识别出目标对象的过程中,可以但不局限于对每帧第一图像进行图像识别处理,以识别出每帧第一图像中所包含的所有对象轮廓特征,并可结合地图显示指令中所提到的目标对象类型,在预设的对象类型中确定出与目标对象对应的轮廓形状。此处,预设的对象类型包括有至少两种对象类型所对应的轮廓形状。
接着,可结合与目标对象对应的轮廓形状,对每帧第一图像中的所有对象轮廓特征进行匹配处理,以得到每帧第一图像中的每个对象轮廓特征所对应的匹配相似度,并可将相似度最高的对象轮廓特征所对应的对象作为第一图像中的目标对象。可以理解的是,每帧第一图像中的目标对象所对应的轮廓形状趋于一致,但该目标对象在每帧第一图像中的相对位置可以但不局限于为保持一致或是完全不同,也即该目标对象可处于持续运动状态或是保持静止状态。
作为本申请实施例的又一种可选,从每帧第一图像中识别出目标对象,还包括:
当在任意一帧第一图像中检测到矩形框时,根据矩形框在相应第一图像中的顶点坐标确定出中心坐标;
对第一图像中的矩形框进行图像识别处理,得到目标轮廓特征,并基于中心坐标以及目标轮廓特征在每帧第一图像中确定出目标对象。
具体地,在从每帧第一图像中识别出目标对象的过程中,还可以但不局限于对每帧第一图像进行矩形框识别处理,以判断每帧第一图像中是否存在被用户框选的矩形框。此处,矩形框可理解为用户在光电云台采集到的视频流中所框选出包含有目标对象的矩形区域,以便于中心平台可根据该矩形框快速从视频流中确定出目标对象,且在光电云台将采集到的视频流上传至中心平台之前,可先由用户对该视频流进行框选处理,再通过该光电云台将经过处理后的视频流上传至中心平台,不限定于此。
接着,当中心平台在任意一帧第一图像中检测到矩形框时,表明光电云台所上传的视频流已被用户进行框选处理,进而可以但不局限于根据该矩形框在相应第一图像中的四个顶点坐标计算出该矩形框的中心坐标,以便于在其他第一图像中快速确定出包含有目标对象的区域。此处,矩形框在相应第一图像中的四个顶点坐标可以但不局限于以相应第一图像的任意一个顶点或是中心点作为原点建立平面直角坐标系,并通过计算该四个顶点到原点之间的像素长度换算出相应的顶点坐标(或是直接根据四个顶点到两个坐标轴之间的垂直距离所对应的像素长度得到相应的顶点坐标),且不限定于此。
接着,可对包含有矩形框的第一图像进行图像识别处理,以识别出矩形框内的目标轮廓特征,并可根据该目标轮廓特征以及上述提到的中心坐标,在其他任意一帧不包含有矩形框的第一图像中确定出与该目标轮廓特征一致的一个或多个轮廓特征,并将中心点到中心坐标之间的距离最近的轮廓特征作为相应第一图像中的目标轮廓特征,也即在每帧第一图像中确定出相应的目标对象。可以理解的是,在计算每个轮廓特征的中心点到中心坐标之间的距离的过程中,可将上述提到的平面直角坐标系应用在不包含有矩形框的第一图像中,以有效保障目标对象的准确性。
进一步的,在从每帧第一图像中识别出目标对象之后,中心平台可以但不局限于在每帧第一图像中建立相同的平面直角坐标系,基于该平面直角坐标系确定出目标对象在每帧第一图像中的位置坐标,并通过该目标对象的位置坐标得到目标对象相对于每帧第一图像的转动参数,以结合光电云台自身的初始转动参数以及该目标对象相对于每帧第一图像的转动参数,计算出每帧第一图像中目标对象相对于光电云台的目标转动参数。此处,目标对象的转动参数以及光电云台自身的初始转动参数均可包括转向角以及俯仰角,且该光电云台自身的初始转动参数可理解为光电云台在开始运行时所对应的初始转向角以及初始俯仰角,可以但不局限于通过调取该光电云台的历史转动参数确定出,不限定于此。
作为本申请实施例的又一种可选,基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数,包括:
基于每帧第一图像的中心点建立平面直角坐标系,并在平面直角坐标系中确定出相应目标对象的位置坐标;
基于每个目标对象的位置坐标以及光电云台的齿轮转动参数,得到每个目标对象的图像转动参数;
对每个目标对象的图像转动参数以及光电云台的初始转动参数进行求和处理,得到相应目标对象的目标转动参数。
具体地,在确定每帧第一图像中目标对象相对于光电云台的转动参数的过程中,可以但不局限于将每帧第一图像中的中心点作为原点建立平面直角坐标系,也即每帧第一图像所对应的平面直角坐标系保持一致,并在该平面直角坐标系中确定出每帧第一图像所对应的目标对象的中心位置坐标。可以理解的是,在确定目标对象的中心位置坐标的过程中,可在每帧第一图像中确定出包含目标对象的最小矩形区域,该最小矩形区域可为面积最小的且包含有目标对象的矩形区域,根据该最小矩形区域的四个顶点分别到平面直角坐标系中两个坐标轴之间的像素长度来划算出四个顶点坐标,并结合该最小矩形区域在平面直角坐标系中的四个顶点坐标计算出相应目标对象的中心位置坐标。
接着,在得到目标对象在每帧第一图像中的中心位置坐标之后,可根据光电云台的齿轮转动参数中设定的实际齿轮长度,以及第一图像所对应的对象缩放比例,计算出光电云台的齿轮相对于该第一图像的图像长度,该对象缩放比例可理解为第一图像所拍摄的对象尺寸与实际对象尺寸之间的比例,并通过计算目标对象在每帧第一图像中的中心位置坐标与该齿轮相对于该第一图像的图像长度之间的比值,得到光电云台的齿轮分别在转向方向以及俯仰方向所对应的转动轮齿个数。其中,目标对象在每帧第一图像中的中心横坐标与该齿轮相对于该第一图像的图像长度之间的比值,可对应为光电云台的齿轮在转向方向所对应的转动轮齿个数;该目标对象在每帧第一图像中的中心纵坐标与该齿轮相对于该第一图像的图像长度之间的比值,可对应为光电云台的齿轮在俯仰方向所对应的转动轮齿个数。
接着,在得到光电云台的齿轮分别在转向方向以及俯仰方向所对应的转动轮齿个数之后,可通过计算该转向方向以及俯仰方向所对应的转动轮齿个数与光电云台的齿轮转动参数中设定的轮齿转动角度之间的乘积,得到目标对象相较于光电云台在转向方向以及俯仰方向所分别对应的转向角以及俯仰角,也即目标对象的图像转动参数。
接着,在得到每个目标对象相较于光电云台的转向角以及俯仰角之后,可通过分别对每个目标对象的转向角与光电云台的初始转动参数中的初始转向角进行求和计算,以及对每个目标对象的俯仰角与光电云台的初始转动参数中的初始俯仰角进行求和计算,得到相应目标对象的目标转向角以及目标俯仰角,也即相应目标对象的目标转动参数。
步骤106、将每个目标对象的目标转动参数以及光电云台所对应的预设空间坐标输入至预设的地形数据模型中,得到相应目标对象的空间坐标。
具体地,在得到每个目标对象的目标转向角以及目标俯仰角之后,可以但不局限于将该每个目标对象的目标转向角、目标俯仰角以及光电云台所对应的预设空间坐标共同输入至预设的地形数据模型中,以得到目标对象相对于实际地平面的空间坐标,该空间坐标具体可包括经度、纬度以及高度坐标,该预设的地形数据模型可理解为根据实际地平面包含的所有地形所分别对应的经度、纬度以及高度坐标,所生成的地形模型结构。换言之,该预设的地形数据模型可在得到目标对象相对于实际地平面的经度、纬度以及高度坐标过程中,具体可将光电云台所对应的预设经度、纬度以及高度坐标作为原点,结合每个目标对象的目标转向角以及目标俯仰角可形成从原点出发的一条射线,并通过计算该射线与上述提到的地形模型结构之间的交点坐标,来得到目标对象的空间坐标,也即目标对象的经度、纬度以及高度坐标。
在本申请实施例中,中心平台可以但不局限于将得到的每个目标对象的目标转向角、目标俯仰角,以及光电云台所对应的预设经度、纬度以及高度坐标输入至由Mars地图公司提供的三维场景求交接口,以得到相应目标对象相对于实际地平面的经度、纬度以及高度坐标。可以理解的是,若目标对象实际处于山上,则该目标对象所得到的经度、纬度以及高度坐标也可对应显示该目标对象处于山上的经度、纬度以及高度坐标,且不限定于此。
步骤108、基于预设的神经元学习网络从所有第一图像中预测出地理环境参数,并在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境。
具体地,在得到每个目标对象的经度、纬度以及高度坐标之后,中心平台可以但不局限于将所有第一图像输入至预设的神经元学习网络,以预测出所有第一图像所对应的地理环境参数,例如但不局限于可为与公路、山路或是水域等类型地理环境所对应的参数,并在预设的路网数据库中结合该地理环境参数、每个目标对象的经度、纬度以及高度坐标,筛选出满足该地理环境参数、每个目标对象的经度、纬度以及高度坐标的目标环境。此处,预设的神经元学习网络可通过多个已标定好地理环境参数的样本图像训练得到,且该预设的神经元学习网络还可从所有第一图像中识别出目标对象所对应的对象轮廓特征,不限定于此。
可以理解的是,预设的路网数据库可理解为包含有多种地理环境以及与每种地理环境所对应的中心经度、纬度以及高度坐标,且该预设的路网数据库可以但不局限于由Mars地图公司所提供的开源库路网数据生成,不限定于此。
作为本申请实施例的又一种可选,在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境,包括:
在预设的路网数据库中筛选出与地理环境参数一致的至少两个地理环境;
从每个地理环境中确定出相应的地理空间坐标,并计算出每个地理空间坐标与所有目标对象的空间坐标之间的空间距离;
对每个地理空间坐标所对应的所有空间距离进行求和处理,并将处理结果最小的地理空间坐标所对应的地理环境作为目标环境。
具体地,在确定目标对象所处的目标环境过程中,可以但不局限于根据上述提到的地理环境参数,在预设的路网数据库中筛选出与该地理环境参数一致的至少两个地理环境,例如但不局限于当地理环境参数为xx区域的公路时,可从该预设的路网数据库筛选出该xx区域内所包含的所有公路。
接着,在确定出至少两个地理环境之后,可结合每个地理环境所对应的中心空间坐标,计算出每个中心空间坐标与每个目标对象所对应的空间坐标之间的距离之和,该距离之和越大说明该中心空间坐标与目标对象之间的距离越远,也即该中心空间坐标所对应的地理环境作为目标环境的可能性越低,该距离之和越小说明该中心空间坐标与目标对象之间的距离越短,也即该中心空间坐标所对应的地理环境作为目标环境的可能性越大,并将距离之和最小的中心空间坐标所对应的地理环境作为目标对象所处的目标环境。
步骤110、基于目标环境以及所有目标对象的空间坐标,生成包含目标对象移动轨迹的第一显示地图,并将第一显示地图发送至用户端,以由用户端将第一显示地图展示给用户。
具体地,在确定出目标对象所处的目标环境之后,中心平台可以但不局限于结合所有目标对象的空间坐标,利用空间坐标距离公式计算出任意两个相邻的目标对象的空间坐标之间的空间距离,并通过计算该空间距离与相应两帧第一图像的时间间距之间的比值,得到目标对象相对于该相应两帧第一图像的移动速度。可以理解的是,当目标对象相对于任意两帧连续第一图像的移动速度均保持一致时,表明在视频流中该目标对象处于匀速运动状态;当该目标对象相对于任意两帧连续第一图像的移动速度均不一致时,表明在视频流中该目标对象可能处于加速运动状态或是减速运动状态,进而可按照时间顺序所对应的移动速度,来确定出目标对象的运动状态;当目标对象相对于任意两帧连续第一图像的移动速度均保持一致,且为0时,表明在视频流中该目标对象处于静止状态。
进一步的,在确定出目标对象相对于任意两帧连续第一图像的移动速度之后,还可以但不局限于根据任意两个相邻目标对象的空间坐标、相应空间距离以及预设的空间直角坐标系,计算出该空间距离与该预设的空间直角坐标系中各个坐标轴之间的夹角,也即该任意两个相邻目标对象的移动方向。可以理解的是,当目标对象相对于任意两帧连续第一图像的移动方向均保持一致时,表明在视频流中该目标对象处于直线运动状态;当该目标对象相对于任意两帧连续第一图像的移动方向均不一致时,表明在视频流中该目标对象处于曲线运动状态,进而可按照时间顺序所对应的所有移动方向,来推测出目标对象的运动轨迹。
进一步的,在确定出目标对象相对于任意相应两帧第一图像的移动速度、移动方向以及上述提到的目标环境之后,可以但不局限于先根据目标环境生成相应的显示地图,并结合该目标对象相对于任意相应两帧第一图像的移动速度、移动方向在该显示地图上添加目标对象的移动轨迹,以将该包含目标对象移动轨迹的显示地图发送至用户端,由该用户端向用户呈现该包含目标对象移动轨迹的显示地图,且在该包含目标对象移动轨迹的显示地图中还可实时显示有目标对象在当前时刻的移动速度以及移动方向,不限定于此。
可以理解的是,当用户在用户端选择用于表征停止地图显示的指令时,用户端可停止呈现当前的显示地图,并向中心平台发送停止生成地图的指令,以使该中心平台在停止生成显示地图的同时,向光电云台发送停止采集视频流的指令。
作为本申请实施例的又一种可选,在将第一显示地图发送至用户端之后,还包括:
按照预设的时间间隔采集由光电云台上传的第二视频流,并从第二视频流中提取出至少两帧连续的第二图像;
当在所有第二图像中未识别出目标对象时,基于目标对象的移动速度、目标对象的移动方向以及第一显示地图,生成包含目标对象模拟轨迹的第二显示地图;
将第二显示地图以及用于表征目标对象消失的提示信息发送至用户端,以由用户端将第二显示地图以及提示信息展示给用户。
当用户在用户端未选择用于表征停止地图显示的指令时,表明中心平台需实时向光电云台发送视频流的采集请求,并根据该光电云台按照预设的时间间隔所上传的视频流进行实时处理,以实时将包含有目标对象的显示地图反馈至用户端。
具体地,中心平台可按照预设的时间间隔采集由光电云台上传的第二视频流,并从第二视频流中提取出至少两帧连续的第二图像,此处,第二视频流可理解为与第一视频流对应的下一时间间隔所采集到的视频流,该第二视频流中至少两帧连续的第二图像的提取方式可与从第一视频流提取出至少两帧连续的第二图像的方式一致,以保障数据的一致性和有效性。
接着,当中心平台在所有第二图像中未识别出目标对象时,表明当前目标对象被遮挡或是处于无法被拍摄区域,例如当目标对象为火车时,上述提到的第二视频流可为该火车经过隧道的视频流,并可根据该目标对象在第一视频流中所对应的移动速度、移动方向以及最后一帧第一图像所对应的显示地图中目标对象的所处位置,模拟出该目标对象以该最后一帧第一图像所对应的显示地图中目标对象的所处位置作为起始移动位置,实时生成的包含有目标对象移动轨迹的显示地图。可以理解的是,当中心平台在后续任意一个时间间隔所采集到的视频流中再次识别出目标对象时,可再次基于该包含有目标对象的视频流生成包含有目标对象移动轨迹的显示地图,并将该包含有目标对象移动轨迹的显示地图发送至用户端,由该用户端向用户呈现该包含目标对象移动轨迹的显示地图,且在该包含目标对象移动轨迹的显示地图中还可实时显示有目标对象在当前时刻的移动速度以及移动方向,不限定于此。
在本申请实施例中,在中心平台按照预设的时间间隔采集由光电云台上传的视频流过程中,也有可能存在用户更改目标对象类型,此时中心平台可以但不局限于通过视频流中的矩形框所框选的对象轮廓特征,来判断目标对象类型是否发生改变,并当检测到该目标对象类型发生改变时,可参阅上述提到的一个或多个实施例,来生成包含该更改后的目标对象移动轨迹的显示地图,且不限定于此。
请参阅图3,图3示出了本申请实施例提供的一种基于光电云台的地图显示装置的结构示意图。
如图3所示,该基于光电云台的地图显示装置至少可以包括视频采集模块301、参数计算模块302、坐标生成模块303、环境确定模块304以及地图显示模块305,其中:
视频采集模块301,用于当接收到用户端的地图显示指令时,按照预设的时间间隔采集由光电云台上传的第一视频流,并从第一视频流中提取出至少两帧连续的第一图像;
参数计算模块302,用于从每帧第一图像中识别出目标对象,并基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数;
坐标生成模块303,用于将每个目标对象的目标转动参数以及光电云台所对应的预设空间坐标输入至预设的地形数据模型中,得到相应目标对象的空间坐标;
环境确定模块304,用于基于预设的神经元学习网络从所有第一图像中预测出地理环境参数,并在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境;
地图显示模块305,用于基于目标环境以及所有目标对象的空间坐标,生成包含目标对象移动轨迹的第一显示地图,并将第一显示地图发送至用户端,以由用户端将第一显示地图展示给用户。
在一些可能的实施例中,从每帧第一图像中识别出目标对象,包括:
对每帧第一图像进行图像识别处理,得到每帧第一图像中的至少两个对象轮廓特征;
基于预设的对象类型对每帧第一图像中的所有对象轮廓特征进行匹配处理,并将匹配相似度最高的对象轮廓特征作为相应第一图像的目标对象。
在一些可能的实施例中,从每帧第一图像中识别出目标对象,还包括:
当在任意一帧第一图像中检测到矩形框时,根据矩形框在相应第一图像中的顶点坐标确定出中心坐标;
对第一图像中的矩形框进行图像识别处理,得到目标轮廓特征,并基于中心坐标以及目标轮廓特征在每帧第一图像中确定出目标对象。
在一些可能的实施例中,基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数,包括:
基于每帧第一图像的中心点建立平面直角坐标系,并在平面直角坐标系中确定出相应目标对象的位置坐标;
基于每个目标对象的位置坐标以及光电云台的齿轮转动参数,得到每个目标对象的图像转动参数;
对每个目标对象的图像转动参数以及光电云台的初始转动参数进行求和处理,得到相应目标对象的目标转动参数。
在一些可能的实施例中,在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境,包括:
在预设的路网数据库中筛选出与地理环境参数一致的至少两个地理环境;
从每个地理环境中确定出相应的地理空间坐标,并计算出每个地理空间坐标与所有目标对象的空间坐标之间的空间距离;
对每个地理空间坐标所对应的所有空间距离进行求和处理,并将处理结果最小的地理空间坐标所对应的地理环境作为目标环境。
在一些可能的实施例中,基于目标环境以及所有目标对象的空间坐标,生成包含目标对象移动轨迹的第一显示地图,包括:
计算出任意两个相邻目标对象的空间坐标之间的空间距离,并根据所有空间距离以及任意两帧连续的第一图像的时间间距,得到目标对象的移动速度;
根据任意两个相邻目标对象的空间坐标以及相应的空间距离,得到目标对象的移动方向,并基于所有目标对象的空间坐标、目标对象的移动速度、目标对象的移动方向以及目标环境,生成包含目标对象移动轨迹的第一显示地图。
在一些可能的实施例中,在将第一显示地图发送至用户端之后,还包括:
按照预设的时间间隔采集由光电云台上传的第二视频流,并从第二视频流中提取出至少两帧连续的第二图像;
当在所有第二图像中未识别出目标对象时,基于目标对象的移动速度、目标对象的移动方向以及第一显示地图,生成包含目标对象模拟轨迹的第二显示地图;
将第二显示地图以及用于表征目标对象消失的提示信息发送至用户端,以由用户端将第二显示地图以及提示信息展示给用户。
本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件,其中硬件例如可以是现场可编程门阵列(Field-ProgrammableGate Array,FPGA)、集成电路(Integrated Circuit,IC)等。
接下来请参阅图4,图4示出了本申请实施例提供的又一种基于光电云台的地图显示装置的结构示意图。
如图4所示,该基于光电云台的地图显示装置400可以包括至少一个处理器401、至少一个网络接口404、用户接口403、存储器405以及至少一个通信总线402。
其中,通信总线402可用于实现上述各个组件的连接通信。
其中,用户接口403可以包括按键,可选用户接口还可以包括标准的有线接口、无线接口。
其中,网络接口404可以但不局限于包括蓝牙模块、NFC模块、Wi-Fi模块等。
其中,处理器401可以包括一个或者多个处理核心。处理器401利用各种接口和线路连接基于光电云台的地图显示装置400内的各个部分,通过运行或执行存储在存储器405内的指令、程序、代码集或指令集,以及调用存储在存储器405内的数据,执行路由基于光电云台的地图显示装置400的各种功能和处理数据。可选的,处理器401可以采用DSP、FPGA、PLA中的至少一种硬件形式来实现。处理器401可集成CPU、GPU和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器401中,单独通过一块芯片进行实现。
其中,存储器405可以包括RAM,也可以包括ROM。可选的,该存储器405包括非瞬时性计算机可读介质。存储器405可用于存储指令、程序、代码、代码集或指令集。存储器405可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。如图4所示,作为一种计算机存储介质的存储器405中可以包括操作系统、网络通信模块、用户接口模块以及基于光电云台的地图显示应用程序。
具体地,处理器401可以用于调用存储器405中存储的基于光电云台的地图显示应用程序,并具体执行以下操作:
当接收到用户端的地图显示指令时,按照预设的时间间隔采集由光电云台上传的第一视频流,并从第一视频流中提取出至少两帧连续的第一图像;
从每帧第一图像中识别出目标对象,并基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数;
将每个目标对象的目标转动参数以及光电云台所对应的预设空间坐标输入至预设的地形数据模型中,得到相应目标对象的空间坐标;
基于预设的神经元学习网络从所有第一图像中预测出地理环境参数,并在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境;
基于目标环境以及所有目标对象的空间坐标,生成包含目标对象移动轨迹的第一显示地图,并将第一显示地图发送至用户端,以由用户端将第一显示地图展示给用户。
在一些可能的实施例中,从每帧第一图像中识别出目标对象,包括:
对每帧第一图像进行图像识别处理,得到每帧第一图像中的至少两个对象轮廓特征;
基于预设的对象类型对每帧第一图像中的所有对象轮廓特征进行匹配处理,并将匹配相似度最高的对象轮廓特征作为相应第一图像的目标对象。
在一些可能的实施例中,从每帧第一图像中识别出目标对象,还包括:
当在任意一帧第一图像中检测到矩形框时,根据矩形框在相应第一图像中的顶点坐标确定出中心坐标;
对第一图像中的矩形框进行图像识别处理,得到目标轮廓特征,并基于中心坐标以及目标轮廓特征在每帧第一图像中确定出目标对象。
在一些可能的实施例中,基于每个目标对象在相应第一图像中的位置坐标以及光电云台的初始转动参数,得到相应目标对象的目标转动参数,包括:
基于每帧第一图像的中心点建立平面直角坐标系,并在平面直角坐标系中确定出相应目标对象的位置坐标;
基于每个目标对象的位置坐标以及光电云台的齿轮转动参数,得到每个目标对象的图像转动参数;
对每个目标对象的图像转动参数以及光电云台的初始转动参数进行求和处理,得到相应目标对象的目标转动参数。
在一些可能的实施例中,在预设的路网数据库中筛选出与地理环境参数以及所有目标对象的空间坐标所对应的目标环境,包括:
在预设的路网数据库中筛选出与地理环境参数一致的至少两个地理环境;
从每个地理环境中确定出相应的地理空间坐标,并计算出每个地理空间坐标与所有目标对象的空间坐标之间的空间距离;
对每个地理空间坐标所对应的所有空间距离进行求和处理,并将处理结果最小的地理空间坐标所对应的地理环境作为目标环境。
在一些可能的实施例中,基于目标环境以及所有目标对象的空间坐标,生成包含目标对象移动轨迹的第一显示地图,包括:
计算出任意两个相邻目标对象的空间坐标之间的空间距离,并根据所有空间距离以及任意两帧连续的第一图像的时间间距,得到目标对象的移动速度;
根据任意两个相邻目标对象的空间坐标以及相应的空间距离,得到目标对象的移动方向,并基于所有目标对象的空间坐标、目标对象的移动速度、目标对象的移动方向以及目标环境,生成包含目标对象移动轨迹的第一显示地图。
在一些可能的实施例中,在将第一显示地图发送至用户端之后,还包括:
按照预设的时间间隔采集由光电云台上传的第二视频流,并从第二视频流中提取出至少两帧连续的第二图像;
当在所有第二图像中未识别出目标对象时,基于目标对象的移动速度、目标对象的移动方向以及第一显示地图,生成包含目标对象模拟轨迹的第二显示地图;
将第二显示地图以及用于表征目标对象消失的提示信息发送至用户端,以由用户端将第二显示地图以及提示信息展示给用户。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述方法的步骤。其中,计算机可读存储介质可以包括但不限于任何类型的盘,包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC),或适合于存储指令和/或数据的任何类型的媒介或设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(Read-Only Memory, ROM)、随机存取存储器(RandomAccess Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于光电云台的地图显示方法,其特征在于,包括:
当接收到用户端的地图显示指令时,按照预设的时间间隔采集由光电云台上传的第一视频流,并从所述第一视频流中提取出至少两帧连续的第一图像;
从每帧所述第一图像中识别出目标对象,并基于每个所述目标对象在相应所述第一图像中的位置坐标以及所述光电云台的初始转动参数,得到相应所述目标对象的目标转动参数;
将每个所述目标对象的目标转动参数以及所述光电云台所对应的预设空间坐标输入至预设的地形数据模型中,得到相应所述目标对象的空间坐标;
基于预设的神经元学习网络从所有所述第一图像中预测出地理环境参数,并在预设的路网数据库中筛选出与所述地理环境参数以及所有所述目标对象的空间坐标所对应的目标环境;
基于所述目标环境以及所有所述目标对象的空间坐标,生成包含所述目标对象移动轨迹的第一显示地图,并将所述第一显示地图发送至所述用户端,以由所述用户端将所述第一显示地图展示给用户。
2.根据权利要求1所述的方法,其特征在于,所述从每帧所述第一图像中识别出目标对象,包括:
对每帧所述第一图像进行图像识别处理,得到每帧所述第一图像中的至少两个对象轮廓特征;
基于预设的对象类型对每帧所述第一图像中的所有所述对象轮廓特征进行匹配处理,并将匹配相似度最高的所述对象轮廓特征作为相应所述第一图像的目标对象。
3.根据权利要求1所述的方法,其特征在于,所述从每帧所述第一图像中识别出目标对象,还包括:
当在任意一帧所述第一图像中检测到矩形框时,根据所述矩形框在相应所述第一图像中的顶点坐标确定出中心坐标;
对所述第一图像中的所述矩形框进行图像识别处理,得到目标轮廓特征,并基于所述中心坐标以及所述目标轮廓特征在每帧所述第一图像中确定出目标对象。
4.根据权利要求1所述的方法,其特征在于,所述基于每个所述目标对象在相应所述第一图像中的位置坐标以及所述光电云台的初始转动参数,得到相应所述目标对象的目标转动参数,包括:
基于每帧所述第一图像的中心点建立平面直角坐标系,并在所述平面直角坐标系中确定出相应所述目标对象的位置坐标;
基于每个所述目标对象的位置坐标以及所述光电云台的齿轮转动参数,得到每个所述目标对象的图像转动参数;
对每个所述目标对象的图像转动参数以及所述光电云台的初始转动参数进行求和处理,得到相应所述目标对象的目标转动参数。
5.根据权利要求1所述的方法,其特征在于,所述在预设的路网数据库中筛选出与所述地理环境参数以及所有所述目标对象的空间坐标所对应的目标环境,包括:
在预设的路网数据库中筛选出与所述地理环境参数一致的至少两个地理环境;
从每个所述地理环境中确定出相应的地理空间坐标,并计算出每个所述地理空间坐标与所有所述目标对象的空间坐标之间的空间距离;
对每个所述地理空间坐标所对应的所有空间距离进行求和处理,并将处理结果最小的所述地理空间坐标所对应的地理环境作为目标环境。
6.根据权利要求1所述的方法,其特征在于,所述基于所述目标环境以及所有所述目标对象的空间坐标,生成包含所述目标对象移动轨迹的第一显示地图,包括:
计算出任意两个相邻所述目标对象的空间坐标之间的空间距离,并根据所有所述空间距离以及任意两帧连续的所述第一图像的时间间距,得到所述目标对象的移动速度;
根据任意两个相邻所述目标对象的空间坐标以及相应的空间距离,得到所述目标对象的移动方向,并基于所有所述目标对象的空间坐标、所述目标对象的移动速度、所述目标对象的移动方向以及所述目标环境,生成包含所述目标对象移动轨迹的第一显示地图。
7.根据权利要求6所述的方法,其特征在于,在所述将所述第一显示地图发送至所述用户端之后,还包括:
按照所述预设的时间间隔采集由所述光电云台上传的第二视频流,并从所述第二视频流中提取出至少两帧连续的第二图像;
当在所有所述第二图像中未识别出所述目标对象时,基于所述目标对象的移动速度、所述目标对象的移动方向以及所述第一显示地图,生成包含所述目标对象模拟轨迹的第二显示地图;
将所述第二显示地图以及用于表征目标对象消失的提示信息发送至所述用户端,以由所述用户端将所述第二显示地图以及所述提示信息展示给用户。
8.一种基于光电云台的地图显示装置,其特征在于,包括:
视频采集模块,用于当接收到用户端的地图显示指令时,按照预设的时间间隔采集由光电云台上传的第一视频流,并从所述第一视频流中提取出至少两帧连续的第一图像;
参数计算模块,用于从每帧所述第一图像中识别出目标对象,并基于每个所述目标对象在相应所述第一图像中的位置坐标以及所述光电云台的初始转动参数,得到相应所述目标对象的目标转动参数;
坐标生成模块,用于将每个所述目标对象的目标转动参数以及所述光电云台所对应的预设空间坐标输入至预设的地形数据模型中,得到相应所述目标对象的空间坐标;
环境确定模块,用于基于预设的神经元学习网络从所有所述第一图像中预测出地理环境参数,并在预设的路网数据库中筛选出与所述地理环境参数以及所有所述目标对象的空间坐标所对应的目标环境;
地图显示模块,用于基于所述目标环境以及所有所述目标对象的空间坐标,生成包含所述目标对象移动轨迹的第一显示地图,并将所述第一显示地图发送至所述用户端,以由所述用户端将所述第一显示地图展示给用户。
9.一种基于光电云台的地图显示装置,其特征在于,包括处理器以及存储器;
所述处理器与所述存储器连接;
所述存储器,用于存储可执行程序代码;
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行如权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机或处理器上运行时,使得所述计算机或处理器执行如权利要求1-7任一项所述方法的步骤。
CN202311713241.6A 2023-12-14 2023-12-14 一种基于光电云台的地图显示方法及装置 Active CN117407480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311713241.6A CN117407480B (zh) 2023-12-14 2023-12-14 一种基于光电云台的地图显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311713241.6A CN117407480B (zh) 2023-12-14 2023-12-14 一种基于光电云台的地图显示方法及装置

Publications (2)

Publication Number Publication Date
CN117407480A true CN117407480A (zh) 2024-01-16
CN117407480B CN117407480B (zh) 2024-03-19

Family

ID=89500202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311713241.6A Active CN117407480B (zh) 2023-12-14 2023-12-14 一种基于光电云台的地图显示方法及装置

Country Status (1)

Country Link
CN (1) CN117407480B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915310A (zh) * 2011-08-03 2013-02-06 中国移动通信集团公司 一种电子地图的生成方法、导航方法及装置
CN111107319A (zh) * 2019-12-25 2020-05-05 眸芯科技(上海)有限公司 基于区域摄像头的目标追踪方法、装置及系统
US20210041248A1 (en) * 2018-02-27 2021-02-11 Renault S.A.S. Method for estimating the position of a vehicle on a map
CN113673330A (zh) * 2021-07-14 2021-11-19 海南视联通信技术有限公司 一种监控显示方法、装置、电子设备及存储介质
US20210407270A1 (en) * 2020-06-25 2021-12-30 Ooo Itv Group System and Method for Displaying Moving Objects on Terrain Map

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915310A (zh) * 2011-08-03 2013-02-06 中国移动通信集团公司 一种电子地图的生成方法、导航方法及装置
US20210041248A1 (en) * 2018-02-27 2021-02-11 Renault S.A.S. Method for estimating the position of a vehicle on a map
CN111107319A (zh) * 2019-12-25 2020-05-05 眸芯科技(上海)有限公司 基于区域摄像头的目标追踪方法、装置及系统
US20210407270A1 (en) * 2020-06-25 2021-12-30 Ooo Itv Group System and Method for Displaying Moving Objects on Terrain Map
CN113673330A (zh) * 2021-07-14 2021-11-19 海南视联通信技术有限公司 一种监控显示方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毕金强;许家帅;辛全波;尚东方;: "一种基于SURF与地理格网模型的增强现实方法", 计算机与现代化, no. 06, pages 51 - 57 *

Also Published As

Publication number Publication date
CN117407480B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
JP6741107B2 (ja) 交通状況のリアルタイム検出
CN103703758B (zh) 移动增强现实系统
US11740099B2 (en) Methods and systems for generating route data
US11017235B2 (en) Augmented reality display system, program, and method
CN109074667B (zh) 基于预测器-校正器的位姿检测
CN110226186B (zh) 表示地图元素的方法和装置以及定位的方法和装置
CN110046640B (zh) 用于关联来自多个车辆的观察的分布式表示学习
CN100483970C (zh) 高度准确的三维实时跟踪和定位系统和方法
CN102959946B (zh) 基于相关3d点云数据来扩充图像数据的技术
US20130095855A1 (en) Method, System, and Computer Program Product for Obtaining Images to Enhance Imagery Coverage
US20140293043A1 (en) Determining camera height using distributions of object heights and object image heights
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
CN111261016A (zh) 道路地图的构建方法、装置和电子设备
CN110555876B (zh) 用于确定位置的方法和装置
JP7374001B2 (ja) 学習モデルの生成方法、プログラム及び情報処理装置
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN113221756A (zh) 交通标志检测方法及相关设备
CN117407480B (zh) 一种基于光电云台的地图显示方法及装置
CN116912716A (zh) 目标定位方法、装置、电子设备及存储介质
CN114913470B (zh) 一种事件检测方法及装置
CN108235764B (zh) 信息处理方法、装置、云处理设备及计算机程序产品
CN111491154A (zh) 基于一个或多个单视场帧的检测和测距
CN112785083B (zh) 到达时间的预估方法、装置、电子设备以及存储介质
CN115019268A (zh) 一种车道线检测方法、装置、计算机设备及存储介质
CN113895482A (zh) 基于轨旁设备的列车测速方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant