一种进行执勤调度的方法与设备
本申请要求CN201910442797.3(一种提供执勤场景信息、进行执勤调度的方法与设备)的优先权。
技术领域
本申请涉及通信领域,尤其涉及一种用于进行执勤调度的技术。
背景技术
现有安防领域中,往往需要多名执勤人员协作完成执勤任务,例如,多名交通警察协同疏导交通阻塞、多名警察配合抓捕嫌犯。在这些执行场景中,执勤人员往往依赖对讲机等传统通信工具来交流协作,不仅信息呈现方式单一,而且沟通效率偏低,甚至还会在执勤人员之间产生沟通错误。
发明内容
本申请的一个目的是提供一种进行执勤调度的方法与设备。
根据本申请的一个方面,提供了一种在指挥设备端进行执勤调度的方法,该方法包括:
获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;
呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息。
根据本申请的另一个方面,提供了一种在第一设备端进行执勤调度的方法,该方法包括:
获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;
获取所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息;
在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。
根据本申请的另一个方面,提供了一种在第二设备端进行执勤调度的方法,该方法包括:
向指挥设备及第一设备发送执勤场景视频;
接收指挥设备发送的调度指令信息,其中,所述调度指令信息对应于指挥者在所述执勤场景视频的当前视频帧上的调度操作;
将所述调度指令信息发送至所述调度操作对应的执勤人员的第一设备。
根据本申请的一个方面,提供了一种用于进行执勤调度的指挥设备,该设备包括:
一一模块,用于获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;
一二模块,用于呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息。
根据本申请的另一个方面,提供了一种用于进行执勤调度的第一设备,该设备包括:
二一模块,用于获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;
二二模块,用于获取所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息;
二三模块,用于在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。
根据本申请的另一个方面,提供了一种用于进行执勤调度的第二设备,该设备包括:
三一模块,用于向指挥设备及第一设备发送执勤场景视频;
三二模块,用于接收指挥设备发送的调度指令信息,其中,所述调度指令信息对应于指挥者在所述执勤场景视频的当前视频帧上的调度操作;
三三模块,用于将所述调度指令信息发送至所述调度操作对应的执勤人员的第一设备。
根据本申请的一个方面,提供了一种用于进行执勤调度的指挥设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如下操作:
获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;
呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息。
根据本申请的另一个方面,提供了一种用于进行执勤调度的第一设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如下操作:
获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;
获取所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息;
在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。
根据本申请的另一个方面,提供了一种用于进行执勤调度的第二设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如下操作:
向指挥设备及第一设备发送执勤场景视频;
接收指挥设备发送的调度指令信息,其中,所述调度指令信息对应于指挥者在所述执勤场景视频的当前视频帧上的调度操作;
将所述调度指令信息发送至所述调度操作对应的执勤人员的第一设备。
根据本申请的一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如下操作:
获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;
呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息。
根据本申请的另一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如下操作:
获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;
获取所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息;
在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。
根据本申请的另一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如下操作:
向指挥设备及第一设备发送执勤场景视频;
接收指挥设备发送的调度指令信息,其中,所述调度指令信息对应于指挥者在所述执勤场景视频的当前视频帧上的调度操作;
将所述调度指令信息发送至所述调度操作对应的执勤人员的第一设备。
根据本申请的一个方面,提供了一种用于进行执勤调度的系统,其中,所述系统包括本申请所述的用于进行执勤调度的指挥设备、用于进行执勤调度的第一设备以及用于进行执勤调度的第二设备。
与现有技术相比,本申请的一些实施例通过提供包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息的执勤场景信息,支持所述执勤任务的指挥者向参与所述执勤任务的执勤人员下达调度指令信息,不仅提高了指挥系统调度的效率,也增强了指挥系统的执勤体验。进一步地,本申请的一些实施例还通过多种调度操作,使得指挥者直接在执勤场景信息上进行操作来调度执勤人员,进一步地简化了调度操作、提高了调度效率、降低了可能的调度错误。此外,本申请的一些实施例还可以在执勤场景信息上显示相应的调度指示信息,既提高了执勤人员执行收到的调度指令的效率,也在很大程度上避免了因语音或文本沟通而导致的调度错误。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的进行执勤调度的系统拓扑图;
图2示出根据本申请一个实施例的一种在指挥设备端进行执勤调度的方法流程图;
图3示出根据本申请一个实施例的一种在第一设备端进行执勤调度的方法流程图;
图4示出根据本申请一个实施例的一种在第二设备端进行执勤调度的方法流程图;
图5示出根据本申请一个实施例的一种进行执勤调度的呈现示意图;
图6示出根据本申请一个实施例的一种进行执勤调度的系统方法流程图;
图7示出根据本申请一个实施例的一种进行执勤调度的系统方法流程图;
图8示出根据本申请一个实施例的一种用于进行执勤调度的指挥设备结构图;
图9示出根据本申请一个实施例的一种用于进行执勤调度的第一设备结构图;
图10示出根据本申请一个实施例的一种用于进行执勤调度的第二设备结构图;
图11示出可被用于实施本申请中所述各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
图1示出了本申请的一个典型场景,无人机通过飞控终端与指挥中心设备和前线警员的终端设备进行通信,指挥中心设备和前线警员的终端设备也可以直接进行通信,在此,指挥中心设备、飞控终端或前线警员的终端设备包括但不限于智能手机、平板电脑、个人电脑、智能眼镜等计算设备。
参考图1所示出的系统,提供了一种进行执勤调度的方法,该方法包括:飞控终端获取无人机拍摄的执勤场景视频,飞控终端将该执勤场景视频发送给(包括通过服务器分发)指挥中心设备和前线警员的终端设备。指挥人员基于该执勤场景视频,通过指挥中心设备向飞控终端发送调度指令信息,并在该执勤场景视频的当前帧上呈现该调度指令信息对应的调度指示信息。飞控终端收到该调度指令信息后,继续向前线警员的终端设备发送该调度指令信息。前线警员的终端设备收到该调度指令信息后,在该执勤场景视频的当前帧上呈现该调度指令信息对应的调度指示信息。飞控设备根据无人机实时的拍摄参数信息,确定该调度指示信息在该执勤场景视频的后续视频帧上的后续叠加位置,并将该后续叠加位置分别发送给指挥中心设备和前线警员的终端设备,指挥中心设备和前线警员的终端设备根据该后续叠加位置,在后续当前视频帧的该叠加位置处实时呈现该调度指示信息。可选地,飞控终端可将实时执勤场景视频、无人机实时的拍摄参数信息发送给指挥中心设备或警员设备。基于该执勤场景视频,指挥人员通过指挥中心设备向前线警员的终端设备发送调度指令信息,并在该执勤场景视频的当前帧上呈现该调度指令信息对应的调度指示信息。前线警员的终端设备收到该调度指令信息后,在该执勤场景视频的当前帧上呈现该调度指令信息对应的调度指示信息。指挥中心设备或警员设备根据无人机实时的拍摄参数信息,确定该调度指示信息在该执勤场景视频的后续视频帧上的后续叠加位置,并将该后续叠加位置分别发送给前线警员的终端设备或指挥中心设备,指挥中心设备和前线警员的终端设备根据该后续叠加位置,在后续当前视频帧的该叠加位置处实时呈现该调度指示信息。
需要说明的是,本申请中,任意一个设备可能采用多种方式将信息(该信息包括本申请中涉及的任意类型的信息)发送至其他设备,例如,一个设备可直接将信息发送至另一个设备,或者,一个设备可通过服务器将信息间接地发送至另一个设备,或者,一个设备可将信息发送至服务器,其他设备向服务器请求获取该信息,本申请中并不对信息的传输方式作任何限制。
图2示出了根据本申请一个实施例的一种在指挥设备端进行执勤调度的方法流程图,该方法包括步骤S11和步骤S12。在步骤S11中,指挥设备获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;在步骤S12中,指挥设备呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息。
在步骤S11中,指挥设备获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息。在一些实施例中,指挥设备包括但不限于指挥中心设备、无人机飞控设备和执勤人员的终端设备等,在执勤场景信息中,指挥系统的所有参与者可以看到无人机拍摄的执勤现场的实景图像信息。例如,指挥中心设备通过向服务器发起请求,在服务器返回的响应结果中获取到无人机拍摄的执勤现场的图像信息。
在步骤S12中,指挥设备呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息。例如,指挥中心设备上呈现无人机拍摄的执勤现场的图像信息,指挥人员根据该图像信息向该执勤任务的执勤人员发送调度指令信息,其中,调度指令信息是用于向执勤人员发布执勤任务的指令信息,调度指令信息的形式包括但不限于文字信息、执勤场景图像中的路线信息或包含路线信息的执勤场景图像、语音、标注等,其中,标注形式包括但不限于文字、图像、3D模型、点、线等。
在一些实施例中,所述方法还包括步骤S13,在步骤S13中,指挥设备在所述调度指令信息被发送后,接收并呈现更新后的执勤场景信息,其中,更新后的所述执勤场景信息还包括所述调度指令信息对应的调度指示信息。在一些实施例中,调度指示信息用于在执勤场景中指示调度信息,包括但不限于执勤场景中呈现的点或路径等,调度指令信息的发送途径包括但不限于指挥人员通过指挥系统内部的消息发送模块、对讲模块或对讲系统、电话、短信等其他通讯方式向执勤人员或执勤人员的终端设备发送调度指令信息。例如,指挥人员通过指挥中心设备的语音模块向执勤人员的终端设备发送了语音形式的调度指令信息“去地点P1集合”,指挥中心设备发送该调度指令信息后,通过语音识别模块,获取该语音指令信息对应的文本内容,并通过定位模块,获取地点P1对应在该执勤现场图像中的位置,接收并呈现更新后的执勤现场图像,该更新后的执勤现场图像在地点P1对应的位置上绘制了一个红点,以指示执勤人员去红点对应的位置集合,又或者,该更新后的执勤现场图像在地点P1和执勤人员之间绘制了一个行进方向或行进路线,以指示执勤人员去P1对应的位置集合,其中,定位模块通过无人机的拍摄参数信息确定无人机对应的变换矩阵(包括无人机相机的内参和外参矩阵),通过该变换矩阵可以根据某个物体在执勤任务的执勤现场的位置信息确定该物体在无人机拍摄的执勤场景图像信息中的位置信息,或者,通过该变换矩阵的逆矩阵可以根据某个物体在无人机拍摄的执勤场景图像信息中的位置信息确定该物体在执勤任务的执勤现场的位置信息。
在一些实施例中,所述方法还包括步骤S14,在步骤S14中,指挥设备通过文本消息方式向所述执勤人员使用的执勤设备发送调度指令信息。在一些实施例中,指挥设备通过指挥系统内的消息发送模块以文本消息的方式向执勤人员使用的执勤设备发送调度指令信息。例如,指挥人员在执勤场景信息中选择接收调度指令信息的执勤人员是执勤人员M1,然后输入调度指令信息“去地点P1执勤”,再通过消息发送模块将该调度指令信息发送给执勤人员M1使用的执勤设备。
在一些实施例中,所述执勤场景信息还包括参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息。在一些实施例中,执勤人员的位置指示信息包括但不限于执勤人员对应的标签信息,标签信息用于指示执勤人员在执勤现场中的位置,其中,标签信息包括但不限于文字、图像、3D模型、点、线等。例如,执勤场景信息还包括参与该执勤任务的执勤人员M1和执勤人员M2的标签,用于指示执勤人员M1和执勤人员M2在该执勤现场中的位置。
在一些实施例中,所述方法还包括步骤S15,在步骤S15中,指挥设备根据所述指挥者在所述执勤场景信息上的调度操作,向所述调度操作对应的执勤人员发送所述调度操作对应的调度指令信息。在一些实施例中,该调度指令信息发送给执行该调度操作对应的具体调度指令的目标执勤人员,或者,发送给参与执勤任务的一个或多个执勤人员,该调度操作包括但不限于在该执勤场景信息中绘制点和路径等,比如绘制路线、绘制执勤任务所属区域、绘制突发事件时的围闭区域等,此时,对应的调度指令信息包括但不限于起始点坐标信息、终止点坐标信息、拐点坐标信息、拐点弧度信息、区域中心点坐标信息、区域半径信息、绘制所有点的坐标信息以及相关位置信息(基于上述位置信息进一步处理后的相关位置信息,包括归一化处理)等。例如,指挥人员在执勤场景信息中选择执勤人员M1和执勤人员M2作为此次调度操作对应的执勤人员,然后根据指挥人员在该执勤场景信息上绘制圆形区域C的操作,向执勤人员M1和执勤人员M2对应的执勤设备发送调度指令信息“行动区域的中心点坐标是(X,Y),行动区域的半径是S”。又例如,指挥人员在该执勤场景信息上绘制一条直线路径的操作,向参与执勤任务的全部执勤人员对应的执勤设备发送调度指令信息“行动路线的起止位置是(X1,Y1)(X2,Y2)”。
在一些实施例中,所述方法还包括步骤S16,在步骤S16中,指挥设备在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。例如,指挥人员在执勤场景信息中选择执勤人员M1接收此次调度指令信息,指挥中心设备在该执行场景信息上输入调度指令信息“去地点P1执勤”,通过消息发送模块将该调度指令信息发送给执勤人员M1使用的执勤设备,并通过定位模块找到地点P1在执勤场景信息中的位置,并在该位置处绘制一个红点,作为该调度指令信息对应的调度指示信息。
在一些实施例中,所述步骤S15包括:指挥设备根据所述指挥者在所述执勤场景信息上的调度操作,生成所述调度操作对应的调度指令信息;根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员;向所述调度操作对应的第一执勤人员发送所述调度指令信息。在一些实施例中,调度轨迹信息包括但不限于指挥者在执勤场景信息上的图形绘制信息或手势操作信息等。例如,指挥人员在执勤场景信息上绘制一条有向曲线S1,S1的起始点坐标是(X1,Y1),S1的终止点坐标是(X2,Y2),生成对应的调度指令信息“行动路线的起始点位置是(X1,Y1),终止点位置是(X2,Y2)”,并根据有向曲线S1在该执勤场景信息上的起始点坐标,以及所有参与执勤任务的执勤人员对应的标签在该执勤场景信息中的坐标,确定与有向曲线S1起始点的距离小于预定阈值(比如10个像素)的标签所对应的执勤人员M1和执勤人员M2作为此次调度操作对应的执勤人员,并向执勤人员M1和执勤人员M2对应的执勤设备发送该调度指令信息“行动路线的起始点位置是(X1,Y1),终止点位置是(X2,Y2)”。
在一些实施例中,所述调度轨迹信息包括但不限于:
1)有向曲线
例如,有向曲线可以是一条带箭头的曲线,曲线的起始点位置表示此次调度操作的出发地,曲线的终止点位置表示此次调度操作的目的地。
2)闭合曲线
例如,闭合曲线可以是一个圆形,圆形的覆盖区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员,或者,圆形的覆盖区域也可以表示此次调度操作对应的执勤区域,相应的执勤人员在该执勤区域内执行执勤任务。
3)闭合曲线与有向曲线的组合
例如,闭合曲线与有向曲线的组合可以是一个圆形和一个带箭头的曲线的组合,若曲线的终止点在圆形的覆盖区域内部/周边,则曲线的起始点位置表示此次调度操作的出发地,圆形的覆盖区域表示此次调度操作对应的执勤区域,相应的执勤人员在该执勤区域内执行执勤任务,或者,若曲线的起始点在圆形的覆盖区域内部/周边,则曲线的终止点位置表示此次调度操作的目的地,圆形的覆盖区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员。
4)不会自相交的曲线
例如,用一条虚拟的直线连接不会自相交的曲线的两个端点,其中,该直线和该曲线没有交点,以此围成一个闭合的覆盖区域,该覆盖区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员,或者,该覆盖区域也可以表示此次调度操作对应的执勤区域,相应的执勤人员在该执勤区域内执行执勤任务。
5)不会自相交的曲线与有向曲线的组合
例如,用一条虚拟的直线连接不会自相交的曲线的两个端点,其中,该直线和该曲线没有交点,以此围成一个闭合的覆盖区域,若曲线的终止点在该覆盖区域内部/周边,则曲线的起始点位置表示此次调度操作的出发地,该覆盖区域表示此次调度操作对应的执勤区域,相应的执勤人员在该执勤区域内执行执勤任务,或者,若曲线的起始点在该覆盖区域内部/周边,则曲线的终止点位置表示此次调度操作的目的地,该覆盖区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员。
6)由两条线段组成的折线段
例如,折线段由两条相交的线段组成,两条线段的交点构成折线段的顶点,顶点位置表示此次调度操作的目的地,两条线段围成的扇形区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员。
7)以上所述调度轨迹信息的任意组合
在一些实施例中,所述调度轨迹信息包括有向曲线,其中,所述根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,包括:对于参与所述执勤任务的一个或多个执勤人员,根据所述有向曲线在所述执勤场景信息上的起始位置,以及所述执勤人员在所述执勤现场的位置指示信息在所述执勤场景信息的对应坐标信息,确定所述执勤人员的位置指示信息与所述有向曲线的起始位置在所述执勤场景信息中的距离信息;根据所述距离信息从所述一个或多个执勤人员筛选确定所述调度操作对应的第一执勤人员。例如,筛选确定第一执勤人员的规则包括但不限于:在所有执勤人员中,第一执勤人员对应的标签与有向曲线的起始点的距离小于其他任何执勤人员的标签与有向曲线的起始点的距离,或者,将所有执勤人员按照其对应的标签与有向曲线的起始点的距离进行升序排列,将该升序排列的前若干个执勤人员作为第一执勤人员,再或者,第一执勤人员对应的标签与有向曲线的起始点的距离小于或等于预定的距离阈值(比如10个像素)。
在一些实施例中,所述调度轨迹信息包括闭合曲线;其中,所述根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,包括:根据所述闭合曲线在所述执勤场景信息上的覆盖区域,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,其中,所述第一执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息落入所述覆盖区域。例如,执勤人员M1的标签N1对应的坐标是(X0,Y0),闭合曲线的覆盖区域是以(X1,Y1)为圆心、以R1为半径的圆形区域,若该坐标(X0,Y0)落入该圆形区域,则将执勤人员M1作为调度操作对应的第一执勤人员。
在一些实施例中,所述调度轨迹信息包括不会自相交的曲线;其中,所述根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,包括:根据所述不会自相交的曲线在所述执勤场景信息上的覆盖区域,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,其中,所述第一执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息落入所述覆盖区域。例如,用一条虚拟的直线连接不会自相交的曲线的两个端点,其中,该直线和该曲线没有交点,以此围成一个闭合的覆盖区域,若执勤人员M1的标签N1对应的坐标落入该闭合区域,则将执勤人员M1作为调度操作对应的第一执勤人员。
在一些实施例中,所述调度轨迹信息还包括有向曲线;其中,所述根据所述指挥者在所述执勤场景信息上的调度操作,生成所述调度操作对应的调度指令信息,包括:根据所述有向曲线生成所述调度操作对应的调度指令信息,其中,所述调度指令信息包括所述有向曲线的终点位置对应的目的地信息。例如,有向曲线的终点坐标是(X1,Y1),根据该有向曲线生成调度操作对应的调度指令信息“去坐标为(X1,Y1)的位置执勤”。
在一些实施例中,所述调度轨迹信息包括由两条线段组成的折线段;其中,所述根据所述指挥者在所述执勤场景信息上的调度操作,生成所述调度操作对应的调度指令信息,包括:根据所述折线段生成所述调度操作对应的调度指令信息,其中,所述调度指令信息包括所述折线段的顶点位置对应的目的地信息;其中,所述根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,包括:根据所述折线段的两条线段在所述执勤场景信息上围成的扇形区域,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,其中,所述第一执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息落入所述扇形区域。例如,折线段的两个线段的交点构成折线段的顶点o1,顶点o1的坐标是(X1,Y1),根据该折线段生成调度操作对应的调度指令信息“去坐标为(X1,Y1)的位置执勤”,执勤人员M1的标签N1对应的坐标是(X0,Y0),折线段的两个线段围成的扇形区域是以(X1,Y1)为顶点、以线段L1、线段L2为半径的扇形区域,若该坐标(X0,Y0)落入该扇形区域,则将执勤人员M1作为调度操作对应的第一执勤人员,并将该调度指令信息发送给执勤人员M1。
在一些实施例中,所述调度操作对应的执勤人员包括参与所述执勤任务的一个或多个执勤人员。例如,调度操作对应的执勤人员包括参与执勤任务的所有执勤人员,而不仅仅包括调度操作对应的第一执勤人员,其中,第一执勤人员作为调度操作对应的目标执勤人员,执行该调度操作对应的具体调度指令,而接收到该调度指令信息的其他参与执勤任务的执勤人员,不执行该调度操作对应的具体调度指令。
在一些实施例中,所述步骤S15包括:指挥设备根据所述指挥者在所述执勤场景信息的截屏图像上的调度操作,向所述调度操作对应的执勤人员发送所述调度操作对应的调度指令信息。例如,参与执勤任务的执勤人员包括执勤人员M1和执勤人员M2,执勤人员M1是此次调度操作对应的目标执勤人员,执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的执勤场景视频,在执勤场景视频中执行截屏操作,在截屏图片上绘制路径S1,此时,对应的调度指令信息是包含路径S1的截屏图片,并将该截屏图片发送给执勤人员M1的执勤设备,或者,将该截屏图片发送给执勤人员M1和执勤人员M2的执勤设备。
在一些实施例中,所述执勤场景信息包括第二设备发送至所述指挥设备的执勤场景视频,其中,所述步骤S15包括:指挥设备根据所述指挥者在所述执勤场景视频的视频帧上的调度操作,向所述调度操作对应的执勤人员发送所述调度操作对应的调度指令信息。例如,参与执勤任务的执勤人员包括执勤人员M1和执勤人员M2,执勤人员M1是此次调度操作对应的目标执勤人员,执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的执勤场景视频,获取执勤场景视频的某一帧图像,例如当前视频帧对应的帧图像,在该帧图像上绘制路径S1,此时,对应的调度指令信息是包含路径S1的帧图像,并将该帧图像发送给执勤人员M1的执勤设备,或者,将该帧图像发送给执勤人员M1和执勤人员M2的执勤设备。在一些实施例中,指挥者通过指挥设备先选择接收调度指令信息的执勤人员,再设置调度指令信息,并将所述调度指令信息发送给所述执勤人员。例如,执勤场景信息上呈现所有参与执勤任务的执勤人员对应的多个标签,指挥人员从该多个标签中选择执勤人员M1和和执勤人员M2对应的标签,确定执勤人员M1和和执勤人员M2为此次调度指令信息的接收者,再输入调度指令信息“去地点P1执勤”,通过消息发送模块将该调度指令信息发送给执勤人员M1和执勤人员M2使用的执勤设备。
在一些实施例中,指挥者通过指挥设备先设置调度指令信息,再选择接收所述调度指令信息的执勤人员,并将所述调度指令信息发送给所述执勤人员。例如,指挥人员在执勤场景信息中输入调度指令信息“去地点P1执勤”,执勤场景信息会弹出显示所有参与执勤任务的执勤人员名称的复选框,指挥人员从中选择执勤人员M1和执勤人员M2作为此次调度指令信息的接收者,并通过消息发送模块将该调度指令信息发送给执勤人员M1和执勤人员M2使用的执勤设备。
在一些实施例中,所述执勤场景信息包括第二设备发送至所述指挥设备的执勤场景视频;其中,所述步骤S15包括步骤S151和步骤S152:在步骤S151中,指挥设备根据所述指挥者在所述执勤场景视频的当前视频帧上的调度操作,生成所述调度操作对应的调度指令信息;在步骤S152中,将所述调度指令信息发送至对应的第二设备,其中,所述第二设备用于将所述调度指令信息发送至所述调度操作对应的执勤人员。在一些实施例中,第二设备包括但不限于指挥中心设备、无人机飞控设备或指挥人员的终端设备等。例如,该执勤场景信息包括无人机飞控设备发送(包括通过服务器发送)至指挥中心设备的执勤场景视频,参与执勤任务的执勤人员包括执勤人员M1和执勤人员M2,此次调度操作对应的目标执勤人员是执勤人员M1,并在该执勤场景视频的当前视频帧上绘制了路径S1,指挥中心设备生成对应的调度指令信息“行动路线的起始点位置是(X1,Y1),终止点位置是(X2,Y2)”,并将该调度指令信息发送至无人机飞控设备,无人机飞控设备将该调度指令信息经过处理后生成第二调度指令信息“行动路线的起始点位置是(X3,Y3),终止点位置是(X4,Y4)”,将该第二调度指令信息发送至执勤人员M1的执勤设备,或者,将该第二调度指令信息发送至执勤人员M1和执勤人员M2的执勤设备,其中,该第二调度指令是在指挥中心设备发送给无人机飞控设备的调度指令的基础上,结合无人机实时的摄像参数,经过处理后得到的。
在一些实施例中,所述方法还包括步骤S17,在步骤S17中,指挥设备接收所述第二设备发送的所述执勤场景视频、所述调度指令信息的指示信息及所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上后续叠加位置信息;呈现所述执勤场景视频,并根据所述后续叠加位置信息将所述调度指令信息的指示信息叠加于所述执勤场景视频的对应后续视频帧。在一些实施例中,随着执勤场景视频的当前视频帧的不断变化,调度指令信息的指示信息在当前视频帧上的显示位置也不断变化,需要确定该指示信息在当前视频帧上的实时显示位置,并在当前视频帧的该实时显示位置上叠加呈现该指示信息,以使该指示信息贴合在当前视频帧的准确位置上。例如,指挥中心设备接收无人机飞控设备发送的执勤场景视频、指示信息“路径S1”以及该指示信息在执勤场景视频的后续当前视频帧上的实时显示位置信息“起始点坐标是(X3,Y3),终止点坐标是(X4,Y4)”,指挥中心设备呈现该执勤场景视频,并根据该实时显示位置信息将“路径S1”叠加呈现在该执勤场景视频的后续当前视频帧上。
在一些实施例中,所述方法还包括步骤S18,在步骤S18中,指挥设备接收所述第二设备发送的所述执勤场景视频,其中,所述执勤场景视频包括所述调度指令信息的指示信息。在一些实施例中,随着执勤场景视频的当前视频帧的不断变化,调度指令信息的指示信息在当前视频帧上的显示位置也不断变化,第二设备确定该指示信息在当前视频帧上的叠加位置信息,并根据该叠加位置信息将当前视频帧的像素点和该指示信息的像素点在该叠加位置处进行像素合成,将同一个叠加位置处的两个像素点成合成一个像素点,例如替换或叠加,指挥设备接收第二设备像素合成后的执勤场景视频。例如,指挥中心设备接收无人机飞控设备发送的执勤场景视频和调度指令信息的指示信息“路径S1”像素合成后的执勤场景视频,并呈现该执勤场景视频。
图3示出了根据本申请一个实施例的一种在第一设备端进行执勤调度的方法流程图,该方法包括步骤S21、S22和步骤S23。在步骤S21中,第一设备获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;在步骤S22中,第一设备获取所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息;在步骤S23中,第一设备在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。
在步骤S21中,第一设备获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息。在一些实施例中,第一设备包括但不限于执勤人员使用的终端设备等,例如,执勤人员M1的终端设备从服务器获取并呈现无人机拍摄的执勤现场图像。
在步骤S22中,第一设备获取所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息。接上例,执勤人员M1是该执勤任务的执勤人员,该执勤任务的指挥人员在该执勤现场图像的位置P1处绘制了一个红点,将包括该红点的执勤现场图像作为调度指令信息发送给执勤人员M1的终端设备,或者,将该红点的位置信息(例如(X1,Y1),或在(X1,Y1)基础上进一步处理后的位置信息,包括归一化操作)作为调度指令信息发送给执勤人员M1的终端设备。
在步骤S23中,第一设备在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。接上例,执勤人员M1的终端设备接收到调度指令信息即绘制红点后的执勤现场图像后,将该执勤现场图像呈现在执勤人员M1的终端设备上,或者,执勤人员M1的终端设备接收到调度指令信息即(X1,Y1)后,在执勤现场图像上对应的位置处绘制红点,并将绘制红点后的执勤现场图像呈现在执勤人员M1的终端设备上。
在一些实施例中,所述步骤S23包括:第一设备在所述执勤场景信息上生成并呈现所述调度指令信息对应的调度指示信息。例如,执勤人员M1的终端设备收到的调度指令信息是“去地点P1处执勤”,然后通过定位模块找到地点P1在该执勤现场图像中的位置,并在该位置处绘制一个红点,作为该调度指令信息对应的调度指示信息,并呈现在该执勤现场图像上。
在一些实施例中,所述方法还包括步骤S24,在步骤S24中,第一设备检测接收所述调度指令信息的目标执勤人员是否包括使用第一设备参与所述执勤任务的第二执勤人员;若是,通过所述第一设备呈现关于所述调度指令信息的提示信息。在一些实施例中,提示信息包括但不限于通过振动、响铃或动画的方式提示目标执勤人员收到待执行的调度指令,从而提醒目标执勤人员尽快执行该调度指令。例如,第一设备对应的执勤人员是M1,第一设备检测调度指令信息对应的目标执勤人员是否包括执勤人员M1,若是,通过振动第一设备的方式提示执勤人员M1收到待执行的调度指令。
在一些实施例中,所述调度指令信息包括接收所述调度指令信息的目标执勤人员信息;其中,所述步骤S24包括:第一设备检测所述目标执勤人员信息与所述使用第一设备参与所述执勤任务的第二执勤人员是否相匹配。例如,检测方式包括但不限于检测目标执勤人员的名单中是否包括第二执勤人员、检测目标执勤人员的目标执勤小队是否是第二执勤人员所属的执勤小队。例如,目标执勤人员信息的是“目标执勤人员的名单:执勤人员M1、执勤人员M2和执勤人员M3”,执勤人员M1通过第一设备检测到目标执勤人员的名单中包括自己,则视为匹配成功。
在一些实施例中,所述调度指令信息包括所述指挥者在所述执勤场景信息上的调度轨迹信息;其中,所述步骤S24包括:第一设备根据所述调度轨迹信息,以及使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息,检测接收所述调度指令信息的目标执勤人员是否包括所述第二执勤人员。例如,比较调度指令信息中包含的调度轨迹信息的起始点与第二执勤人员对应的标签在执勤场景信息中的距离,若该距离小于或等于预定距离阈值(比如20像素),则接收该调度指令信息的目标执勤人员包括第二执勤人员。
在一些实施例中,所述调度轨迹信息包括有向曲线,其中,所述步骤S24包括:第一设备根据所述有向曲线在所述执勤场景信息上的起始位置,以及所述使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息在所述执勤场景信息的对应坐标信息,确定所述第二执勤人员的位置指示信息与所述有向曲线的起始位置在所述执勤场景信息中的距离信息;根据所述距离信息,检测接收所述调度指令信息的目标执勤人员是否包括所述第二执勤人员。例如,检测目标执勤人员是否包括第二执勤人员的规则包括但不限于:在所有执勤人员中,若第二执勤人员对应的标签与有向曲线的起始点的距离小于其他任何执勤人员的标签与有向曲线的起始点的距离,则目标执勤人员包括第二执勤人员,或者,将所有执勤人员按照其对应的标签与有向曲线的起始点的距离进行升序排列,若该升序排列的前若干个执勤人员中包括第二执勤人员,则目标执勤人员包括第二执勤人员,再或者,若第二执勤人员对应的标签与有向曲线的起始点的距离小于或等于预定的距离阈值(比如20个像素),则目标执勤人员包括第二执勤人员。
在一些实施例中,所述调度轨迹信息包括闭合曲线,其中,所述步骤S24包括:第一设备根据所述闭合曲线在所述执勤场景信息上的覆盖区域,以及所述使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息,确定所述第二执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息是否落入所述覆盖区域;若所述对应坐标信息落入所述覆盖区域,确定接收所述调度指令信息的目标执勤人员包括所述第二执勤人员;否则,确定接收所述调度指令信息的目标执勤人员不包括所述第二执勤人员。例如,执勤人员M1的标签N1对应的坐标是(X0,Y0),闭合曲线的覆盖区域是以(X1,Y1)为圆心、以R1为半径的圆形区域,若该坐标(X0,Y0)落入该圆形区域,则目标执勤人员包括执勤人员M1,若该坐标(X0,Y0)没有落入该圆形区域,则目标执勤人员不包括执勤人员M1。
在一些实施例中,述调度轨迹信息包括不会自相交的曲线,其中,所述步骤S24包括:第一设备根据所述不会自相交的曲线在所述执勤场景信息上的覆盖区域,以及所述使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息,确定所述第二执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息是否落入所述覆盖区域;若所述对应坐标信息落入所述覆盖区域,确定接收所述调度指令信息的目标执勤人员包括所述第二执勤人员;否则,确定接收所述调度指令信息的目标执勤人员不包括所述第二执勤人员。例如,用一条虚拟的直线连接不会自相交的曲线的两个端点,其中,该直线和该曲线没有交点,以此围成一个闭合的覆盖区域,若执勤人员M1的标签N1对应的坐标落入该覆盖区域,则目标执勤人员包括执勤人员M1,否则,则目标执勤人员不包括执勤人员M1。
在一些实施例中,所述调度轨迹信息包括由两条线段组成的折线段,其中,所述步骤S24包括:第一设备根据所述折线段的两条线段所述执勤场景信息上围成的扇形区域,以及所述使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息,确定所述第二执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息是否落入所述扇形区域;若所述对应坐标信息落入所述扇形区域,确定接收所述调度指令信息的目标执勤人员包括所述第二执勤人员;否则,确定接收所述调度指令信息的目标执勤人员不包括所述第二执勤人员。例如,执勤人员M1的标签N1对应的坐标是(X0,Y0),折线段的两条线段围成的扇形区域是以(X1,Y1)为顶点、以线段L1、线段L2为半径的扇形区域,若该坐标(X0,Y0)落入该扇形区域,则目标执勤人员包括执勤人员M1,若该坐标(X0,Y0)没有落入该扇形区域,则目标执勤人员不包括执勤人员M1。
在一些实施例中,所述方法还包括步骤S25,在步骤S25中,第一设备检测接收所述调度指令信息的目标执勤人员是否包括使用第一设备参与所述执勤任务的第二执勤人员;若是,根据所述调度指令信息以及所第二执勤人员在所述执勤场景信息的位置指示信息,生成并呈现所述调度对象在所述执勤场景信息上的行进指示信息。在一些实施例中,行进指示信息用于指示执勤人员到达调度指令信息对应的目的地的行进路线/方向。例如,执勤人员M1收到的调度指令信息是“目的地坐标(X1,Y1)”,执勤人员M1对应的标签N1在执勤场景信息中的坐标是(X2,Y2),在执勤场景信息中用一条有向曲线连接(X1,Y1)和(X2,Y2),以该有向曲线作为执勤人员M1在执勤场景信息上的行进指示信息,并将该行进指示信息呈现在第一设备上。
在一些实施例中,所述根据所述调度指令信息以及所述第二执勤人员在所述执勤场景信息的位置指示信息,生成所述调度对象在所述执勤场景信息上的行进指示信息,包括:第一设备根据所述调度指令信息,确定所述调度指令信息在所述执勤任务的执勤现场中对应的目的地物理地址信息;查询确定从所述第二执勤人员在所述执勤任务的执勤现场中对应的物理地址信息到达所述目的地物理地址信息的前进路线信息;确定所述前进路线信息中一个或多个中间点在所述执勤场景信息中对应的一个或多个中间点坐标信息;根据所述一个或多个中间点坐标信息生成所述调度对象在所述执勤场景信息上的行进指示信息,其中,所述行进指示信息从所述第二执勤人员在所述执勤场景信息的位置指示信息指向目的地信息。在一些实施例中,物理地址用于表示物体在现实场景中的绝对位置信息或者相对无人机的位置信息。例如,执勤人员M1收到的调度指令信息包括在执勤场景信息中的目的地信息“目的地坐标(X1,Y1)”,并确定该目的地信息在执勤任务的执勤现场中对应的目的地物理地址信息是“目的地经度是X,纬度是Y”,或者“目的地相对无人机的位置X,Y”,或者,执勤人员M1收到的调度指令信息包括在执勤任务的执勤现场中的目的地物理地址信息“目的地经度是X,纬度是Y”,或者“目的地相对无人机的位置X,Y”,然后通过定位模块和导航模块,确定从执勤人员M1的当前物理地址到目的地物理地址的有向曲线,并在该有向曲线中确定曲率大于某个预定曲率阈值的若干个中间点,并获取该若干个中间点在执勤场景信息中对应的坐标值,根据该若干个中间点在执勤场景信息中对应的坐标值,在执勤场景信息中绘制该若干个中间点,并将该若干个中间点连接成一条有向曲线,以该有向曲线作为执勤人员M1在执勤场景信息上的行进指示信息,其中,导航模块通过从服务器或者本地数据中获取精确的地图数据信息,并根据用户的出发点位置信息和目的地位置信息,计算出最短的可行路径来引导用户准确并快捷的到达目的地。
在一些实施例中,所述方法还包括步骤S26,在步骤S26中,第一设备将更新后的执勤场景信息返回至所述指挥设备,其中,更新后的所述执勤场景信息还包括所述调度指令信息对应的调度指示信息。接上例,执勤人员M1的终端设备将该红点的位置信息(例如(X1,Y1),或在(X1,Y1)基础上进一步处理后的位置信息,包括归一化操作)直接发送至指挥中心设备或通过中间设备发送至该指挥中心设备,指挥中心设备在该执勤现场图像的对应位置处绘制红点,以使该调度指示信息即该红点显现在该执勤现场图像中。
在一些实施例中,所述执勤场景信息包括第二设备发送至所述第一设备的执勤场景视频;其中,所述步骤S22包括步骤S221,在步骤S221中,第一设备接收所述第二设备发送的、所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息。例如,执勤场景信息包括无人机飞控设备发送给执勤人员M1的终端设备的执勤场景视频,执勤人员M1的终端设备接收无人机飞控设备发送的第二调度指令信息,其中,该第二调度指令信息是在指挥中心设备发送给无人机飞控终端的调度指令信息的基础上,经过处理后生成的。
在一些实施例中,所述方法还包括步骤S27,在步骤S27中,第一设备接收所述第二设备发送的所述执勤场景视频、所述调度指令信息的指示信息及所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上后续叠加位置信息;呈现所述执勤场景视频,并根据所述后续叠加位置信息将所述调度指令信息的指示信息叠加于所述执勤场景视频的对应后续视频帧。例如,执勤人员M1的终端设备接收无人机飞控设备发送的执勤场景视频、该调度指令信息的指示信息“路径S1”以及该指示信息在该执勤场景视频的后续当前视频帧上的实时显示位置信息“起始点坐标是(X3,Y3),终止点坐标是(X4,Y4)”,执勤人员M1的终端设备呈现该执勤场景视频,并根据该实时显示位置信息将“路径S1”叠加呈现在该执勤场景视频的后续当前视频帧上。
在一些实施例中,所述方法还包括步骤S28,在步骤S28中,第一设备接收所述第二设备发送的所述执勤场景视频,其中,所述执勤场景视频包括所述调度指令信息的指示信息。在一些实施例中,随着执勤场景视频的当前视频帧的不断变化,调度指令信息的指示信息在当前视频帧上的显示位置也不断变化,第二设备确定该指示信息在当前视频帧上的叠加位置信息,并根据该叠加位置信息将当前视频帧的像素点和该指示信息的像素点在该叠加位置处进行像素合成,将同一个叠加位置处的两个像素点成合成一个像素点,例如替换或叠加,第一设备接收第二设备像素合成后的执勤场景视频。例如,执勤人员的终端设备接收无人机飞控设备发送的执勤场景视频和调度指令信息的指示信息“路径S1”像素合成后的执勤场景视频,并呈现该执勤场景视频。
图4示出了根据本申请一个实施例的一种在第二设备端进行执勤调度的方法流程图,该方法包括步骤S31、S32和步骤S33。在步骤S31中,第二设备向指挥设备及第一设备发送执勤场景视频;在步骤S32中,第二设备接收指挥设备发送的调度指令信息,其中,所述调度指令信息对应于指挥者在所述执勤场景视频的当前视频帧上的调度操作;在步骤S33中,第二设备将所述调度指令信息发送至所述调度操作对应的执勤人员的第一设备。
在步骤S31中,第二设备向指挥设备及第一设备发送执勤场景视频。在一些实施例中,第二设备包括但不限于指挥中心设备、无人机飞控设备或指挥人员的终端设备等。例如,无人机飞控设备向指挥中心设备和执勤人员的终端设备发送(包括通过服务器发送)无人机拍摄的执勤场景视频。
在步骤S32中,第二设备接收指挥设备发送的调度指令信息,其中,所述调度指令信息对应于指挥者在所述执勤场景视频的当前视频帧上的调度操作。例如,指挥人员在该执勤场景视频的当前视频帧的位置P1处绘制了一个红点,然后指挥中心设备向无人机飞控设备发送调度指令信息“集合的位置信息(例如(X1,Y1),或在(X1,Y1)基础上进一步处理后的位置信息,包括归一化操作)”,无人机飞控设备接收指挥中心设备发送的该调度指令信息。
在步骤S33中,第二设备将所述调度指令信息发送至所述调度操作对应的执勤人员的第一设备。接上例,执勤人员M1是该执勤任务的执勤人员,无人机飞控设备将该调度指令信息“集合的位置信息(例如(X1,Y1),或在(X1,Y1)基础上进一步处理后的位置信息,包括归一化操作)”经过处理后生成第二调度指令信息“集合的位置信息(X2,Y2)”,并将该第二调度指令信息发送至执勤人员M1的终端设备。
在一些实施例中,所述方法还包括步骤S34(未示出),在步骤S34中,第二设备根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息;将所述调度指令信息的指示信息及所述后续叠加位置信息随所述执勤场景视频发送至所述指挥设备与所述第一设备。例如,随着视频帧的不断变化,调度指令信息对应的指示信息在视频帧上的叠加位置也在不断变化,需要根据指示信息在当前视频上的叠加位置,通过无人机的实时拍摄参数信息,计算出指示信息在后续视频帧上的后续叠加位置,并将指示信息及指示信息对应的后续叠加位置随执勤场景视频发送至指挥中心设备或执勤人员使用的终端设备。
在一些实施例中,所述将所述调度指令信息的指示信息及所述后续叠加位置信息随所述执勤场景视频发送至所述指挥设备与所述第一设备,包括:将所述执勤场景视频的后续视频帧与所述调度指令信息的指示信息在所述后续叠加位置信息处进行合成,将包含合成后的后续视频帧的执勤场景视频发送至所述指挥设备与所述第一设备。例如,随着视频帧的不断变化,调度指令信息对应的指示信息在视频帧上的叠加位置也在不断变化,需要根据指示信息在当前视频上的叠加位置,通过无人机的实时拍摄参数信息,计算出指示信息在后续视频帧上的后续叠加位置,并根据该后续叠加位置信息将后续视频帧的像素点和该指示信息的像素点在该后续叠加位置处进行像素合成,将同一个叠加位置处的两个像素点成合成一个像素点,例如替换或叠加,并将包含像素合成后的后续视频帧的执勤场景视频发送给指挥中心设备和执勤人员使用的终端设备。
在一些实施例中,所述根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息,包括:根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息以及无人机拍摄所述执勤场景视频的当前视频帧时的拍摄参数信息,确定所述调度指令信息在所述执勤任务的执勤现场对应的位置信息;根据所述调度指令信息在所述执勤任务的执勤现场对应的位置信息以及无人机拍摄所述执勤场景视频的后续视频帧时的拍摄参数信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息。例如,执勤人员M1是此次调度操作的执勤人员,无人机飞控设备根据无人机拍摄该执勤场景视频的当前视频帧时的拍摄参数信息,计算得到无人机在当前视频帧时的变换矩阵的逆矩阵,其中,变换矩阵由内参矩阵和外参矩阵组成,外参矩阵描述了从世界坐标系到相机坐标系的坐标变换,由旋转矩阵和平移矩阵组成,内参矩阵描述了从相机坐标系到像素坐标系的坐标变换,然后根据无人机在当前视频帧时的变换矩阵的逆矩阵、以及该调度指令信息在该执勤场景视频的当前视频帧上的叠加位置信息,计算该调度指令信息对应的指示信息在实景中的GPS位置坐标,当无人机发生移动时,无人机拍摄的后续视频帧也随之变化,根据无人机拍摄后续视频帧时的拍摄参数信息,计算得到无人机在后续视频帧时的变换矩阵,根据该指示信息在实景中的GPS位置坐标以及无人机在后续视频帧时的变换矩阵,实时计算该指示信息在后续视频帧上的后续叠加位置信息。
在一些实施例中,所述无人机的拍摄参数信息包括但不限于:
1)所述无人机的相机分辨率
例如,相机分辨率是1920*1080。
2)所述无人机的相机视场角
例如,相机视场角是45度。
3)所述无人机的相机焦距
例如,相机焦距是50毫米。
4)所述无人机的相机旋转角度
例如,相机坐标系的坐标轴X1、坐标轴Y1、坐标轴Z1的默认方向固定,随着相机的旋转,相机坐标系的三个坐标轴方向也随之旋转并得到坐标轴X2、坐标轴Y2、坐标轴Z2,根据X1与X2的夹角,得到X轴方向上的旋转角度A1,根据Y1与Y2的夹角,得到Y轴方向上的旋转角度A2,根据Z1与Z2的夹角,得到Z轴方向上的旋转角度A3,由此得到相机旋转角度是(A1,A2,A3)。
5)所述无人机的飞行高度
例如,无人机的飞行高度是距离地平面10米。
6)所述无人机在所述执勤任务的执勤现场的位置信息
例如,无人机的经度是东经120度52分,纬度是北纬30度40分。
7)以上所述拍摄参数信息的任意组合
在一些实施例中,所述根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息,包括:根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息,以及无人机拍摄所述执勤场景视频的当前视频帧时的拍摄参数信息(例如,相机分辨率),确定所述调度指令信息在图像坐标系中的当前位置信息;根据所述调度指令信息在图像坐标系中的当前位置信息,以及无人机拍摄所述执勤场景视频的当前视频帧时的拍摄参数信息,确定所述调度指令信息在相机坐标系中的当前位置信息;根据所述调度指令信息在相机坐标系中的当前位置信息,以及无人机拍摄所述执勤场景视频的当前视频帧时的拍摄参数信息,确定所述调度指令信息在所述执勤任务的执勤现场对应的位置信息;根据所述调度指令信息在所述执勤任务的执勤现场对应的位置信息,以及无人机拍摄所述执勤场景视频的后续视频帧时的拍摄参数信息,确定所述调度指令信息在相机坐标系中的后续位置信息;根据所述调度指令信息在相机坐标系中的后续位置信息,以及无人机拍摄所述执勤场景视频的后续视频帧时的拍摄参数信息,确定所述调度指令信息在图像坐标系中的后续位置信息;根据所述调度指令信息在图像坐标系中的后续位置信息,以及无人机拍摄所述执勤场景视频的后续视频帧时的拍摄参数信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息。。例如,根据无人机的拍摄参数信息(例如,相机分辨率、视场角)或者通过相机的标定方法计算得到内参矩阵[k]以及内参矩阵的逆矩阵[k]-1,然后根据调度指令信息C1在当前视频帧上的叠加位置信息以及内参矩阵的逆矩阵[k]-1,确定C1在相机坐标系中的当前位置信息;根据无人机拍摄当前视频帧时的拍摄参数信息(例如,无人机高度、相机旋转角度),计算得到外参矩阵[R|T],并得到外参矩阵的逆矩阵Rt,根据C1在相机坐标系中的当前位置信息以及外参矩阵的逆矩阵Rt,确定C1在世界坐标系中的位置信息,也即C1在执勤现场的位置信息;根据无人机拍摄后续视频帧时的拍摄参数信息,计算得到外参矩阵[R|T]’和内参矩阵[k]’,根据C1在世界坐标系中的位置信息以及外参矩阵[R|T]’,确定C1在相机坐标系中的后续位置信息;根据C1在相机坐标系中的后续位置信息以及内参矩阵[k]’,确定C1在像素坐标系中的后续位置信息(C1在后续视频帧上的后续叠加位置信息)。。具体地,根据调度指令信息C1在当前视频帧上的叠加位置信息[u v]计算C1在执勤现场的位置信息[xw yw zw],如下:
首先像素坐标转相机坐标系,得到该指令在相机坐标系下的坐标[xc yc zc]:
其中,[k]∈R3×3是内参矩阵,[k]-1是内参矩阵的逆矩阵。
然后求解获得外参矩阵的逆矩阵:
其中,R∈R3×3是旋转矩阵,T∈R3×1是平移向量。
然后转成得到如下公式:
nzw=Rt[2][0]xc+Rt[2][1]yc+Rt[2][2]zc+Rt[2][3]a
n=Rt[3][0]xc+Rt[3][1]yc+Rt[3][2]zc+Rt[3][3]a
当zw已知时,联立上述方程式,可以结算得到a和n,从而可以得到世界坐标系中的另外两个变量xw和yw,从而得到[xw yw zw]。
当世界坐标[xw yw zw]已知后,可以计算后续某一视频帧的外参矩阵[R|T]’和内参矩阵[k]’,然后利用如下公式可以求得在后续某一视频帧上的叠加位置信息
其中左右两侧坐标为齐次坐标形式。
图5示出根据本申请一个实施例的一种进行执勤调度的呈现示意图。
如图5中所示,指挥中心设备和各个警员的终端设备分别呈现由无人机拍摄的执勤场景视频,该执勤场景视频的当前视频帧的相应实时位置处呈现了警员PA、警员PB、警员PC、警员PD、警员PE、警员PF和警员PG对应的标签信息,指挥人员通过指挥中心设备在该执勤场景视频的当前视频帧上绘制了一个箭头,该箭头的起始点位置和警员PG对应的标签位置重合,终止点的坐标是(X,Y),以此确认警员PG为此次调度操作对应的执勤人员,并向警员PG对应的终端设备发送调度指令信息“行动路线的目的地位置是(X,Y)”,警员PG的终端设备收到该调度指令信息后,根据该调度指令信息,将该调度指令信息对应的调度指示信息即箭头绘制在该执勤场景视频的当前视频帧上,警员PG根据该调度指示信息,去箭头终止点对应的位置处执勤。
图6示出根据本申请一个实施例的一种进行执勤调度的系统方法流程图。本实施例的系统方法包括步骤S41、步骤S42、步骤S43、步骤S44、步骤S45和步骤S46。在步骤S41中,指挥设备获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;在步骤S42中,指挥设备呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息;在步骤S43中,指挥设备根据所述指挥者在所述执勤场景信息上的调度操作,向所述调度操作对应的执勤人员发送所述调度操作对应的调度指令信息;在步骤S44中,第一设备获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;在步骤S45中,第一设备获取所述执勤任务的指挥者向使用第一设备参与所述执勤任务的第二执勤人员发送的调度指令信息;在步骤S46中,第一设备在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。其中,所述步骤S41与前述步骤S11的实现方式相同或者相似,所述步骤S42与前述步骤S12的实现方式相同或者相似,所述步骤S43与前述步骤S15的实现方式相同或者相似,所述步骤S44与前述步骤S21的实现方式相同或者相似,所述步骤S45与前述步骤S22的实现方式相同或者相似,所述步骤S46与前述步骤S23的实现方式相同或者相似,在此不再赘述。
图7示出根据本申请一个实施例的一种进行执勤调度的系统方法流程图。本实施例的系统方法包括步骤S51、步骤S52、步骤S53、步骤S54、步骤S55、步骤S56、步骤S57、步骤S58、步骤S59、步骤S60和步骤S61。在步骤S51中,第二设备向指挥设备发送执勤场景视频;在步骤S52中,第二设备向第一设备发送执勤场景视频;在步骤S53中,指挥设备获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括第二设备发送至所述指挥设备的执勤场景视频;在步骤S54中,指挥设备呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息;在步骤S55中,指挥设备根据所述指挥者在所述执勤场景视频的当前视频帧上的调度操作,生成所述调度操作对应的调度指令信息;在步骤S56中,指挥设备将所述调度指令信息发送至对应的第二设备,其中,所述第二设备用于将所述调度指令信息发送至所述调度操作对应的执勤人员;在步骤S57中,第二设备接收指挥设备发送的调度指令信息,其中,所述调度指令信息对应于指挥者在所述执勤场景视频的当前视频帧上的调度操作;在步骤S58中,第二设备将所述调度指令信息发送至所述调度操作对应的执勤人员的第一设备;在步骤S59中,第一设备获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括第二设备发送至所述第一设备的执勤场景视频;在步骤S60中,第一设备接收所述第二设备发送的、所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息;在步骤S61中,第一设备在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。其中,所述步骤S51、步骤S52与前述步骤S31的实现方式相同或者相似,所述步骤S53与前述步骤S11的实现方式相同或者相似,所述步骤S54与前述步骤S12的实现方式相同或者相似,所述步骤S55与前述步骤S151的实现方式相同或者相似,所述步骤S56与前述步骤S152的实现方式相同或者相似,所述步骤S57与前述步骤S32的实现方式相同或者相似,所述步骤S58与前述步骤S33的实现方式相同或者相似,所述步骤S59与前述步骤S21的实现方式相同或者相似,所述步骤S60与前述步骤S221的实现方式相同或者相似,所述步骤S61与前述步骤S23的实现方式相同或者相似,在此不再赘述。
图8示出了根据本申请一个实施例的一种用于进行执勤调度的指挥设备,该设备包括一一模块11和一二模块12。一一模块11,用于获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;一二模块12,用于呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息。
一一模块11,用于获取执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息。在一些实施例中,指挥设备包括但不限于指挥中心设备、无人机飞控设备和执勤人员的终端设备等,在执勤场景信息中,指挥系统的所有参与者可以看到无人机拍摄的执勤现场的实景图像信息。例如,指挥中心设备通过向服务器发起请求,在服务器返回的响应结果中获取到无人机拍摄的执勤现场的图像信息。
一二模块12,用于呈现所述执勤场景信息,以供所述执勤任务的指挥者向参与所述执勤任务的执勤人员发送调度指令信息。例如,指挥中心设备上呈现无人机拍摄的执勤现场的图像信息,指挥人员根据该图像信息向该执勤任务的执勤人员发送调度指令信息,其中,调度指令信息是用于向执勤人员发布执勤任务的指令信息,调度指令信息的形式包括但不限于文字信息、执勤场景图像中的路线信息或包含路线信息的执勤场景图像、语音、标注等,其中,标注形式包括但不限于文字、图像、3D模型、点、线等。
在一些实施例中,所述设备还包括一三模块13(未示出),一三模块13用于在所述调度指令信息被发送后,接收并呈现更新后的执勤场景信息,其中,更新后的所述执勤场景信息还包括所述调度指令信息对应的调度指示信息。在一些实施例中,调度指示信息用于在执勤场景中指示调度信息,包括但不限于执勤场景中呈现的点或路径等,调度指令信息的发送途径包括但不限于指挥人员通过指挥系统内部的消息发送模块、对讲模块或对讲系统、电话、短信等其他通讯方式向执勤人员或执勤人员的终端设备发送调度指令信息。例如,指挥人员通过指挥中心设备的语音模块向执勤人员的终端设备发送了语音形式的调度指令信息“去地点P1集合”,指挥中心设备发送该调度指令信息后,通过语音识别模块,获取该语音指令信息对应的文本内容,并通过定位模块,获取地点P1对应在该执勤现场图像中的位置,接收并呈现更新后的执勤现场图像,该更新后的执勤现场图像在地点P1对应的位置上绘制了一个红点,以指示执勤人员去红点对应的位置集合,又或者,该更新后的执勤现场图像在地点P1和执勤人员之间绘制了一个行进方向或行进路线,以指示执勤人员去P1对应的位置集合,其中,定位模块通过无人机的拍摄参数信息确定无人机对应的变换矩阵(包括无人机相机的内参和外参矩阵),通过该变换矩阵可以根据某个物体在执勤任务的执勤现场的位置信息确定该物体在无人机拍摄的执勤场景图像信息中的位置信息,或者,通过该变换矩阵的逆矩阵可以根据某个物体在无人机拍摄的执勤场景图像信息中的位置信息确定该物体在执勤任务的执勤现场的位置信息。
在一些实施例中,所述设备还包括一四模块14(未示出),一四模块14用于通过文本消息方式向所述执勤人员使用的执勤设备发送调度指令信息。在一些实施例中,指挥设备通过指挥系统内的消息发送模块以文本消息的方式向执勤人员使用的执勤设备发送调度指令信息。例如,指挥人员在执勤场景信息中选择接收调度指令信息的执勤人员是执勤人员M1,然后输入调度指令信息“去地点P1执勤”,再通过消息发送模块将该调度指令信息发送给执勤人员M1使用的执勤设备。
在一些实施例中,所述执勤场景信息还包括参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息。在一些实施例中,执勤人员的位置指示信息包括但不限于执勤人员对应的标签信息,标签信息用于指示执勤人员在执勤现场中的位置,其中,标签信息包括但不限于文字、图像、3D模型、点、线等。例如,执勤场景信息还包括参与该执勤任务的执勤人员M1和执勤人员M2的标签,用于指示执勤人员M1和执勤人员M2在该执勤现场中的位置。
在一些实施例中,所述设备还包括一五模块15(未示出),一五模块15用于根据所述指挥者在所述执勤场景信息上的调度操作,向所述调度操作对应的执勤人员发送所述调度操作对应的调度指令信息。在一些实施例中,该调度指令信息发送给执行该调度操作对应的具体调度指令的目标执勤人员,或者,发送给参与执勤任务的一个或多个执勤人员,该调度操作包括但不限于在该执勤场景信息中绘制点和路径等,比如绘制路线、绘制执勤任务所属区域、绘制突发事件时的围闭区域等,此时,对应的调度指令信息包括但不限于起始点坐标信息、终止点坐标信息、拐点坐标信息、拐点弧度信息、区域中心点坐标信息、区域半径信息、绘制所有点的坐标信息以及相关位置信息(基于上述位置信息进一步处理后的相关位置信息,包括归一化处理)等。例如,指挥人员在执勤场景信息中选择执勤人员M1和执勤人员M2作为此次调度操作对应的执勤人员,然后根据指挥人员在该执勤场景信息上绘制圆形区域C的操作,向执勤人员M1和执勤人员M2对应的执勤设备发送调度指令信息“行动区域的中心点坐标是(X,Y),行动区域的半径是S”。又例如,指挥人员在该执勤场景信息上绘制一条直线路径的操作,向参与执勤任务的全部执勤人员对应的执勤设备发送调度指令信息“行动路线的起止位置是(X1,Y1)(X2,Y2)”。
在一些实施例中,所述设备还包括一六模块16(未示出),一六模块16用于在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。例如,指挥人员在执勤场景信息中选择执勤人员M1接收此次调度指令信息,指挥中心设备在该执行场景信息上输入调度指令信息“去地点P1执勤”,通过消息发送模块将该调度指令信息发送给执勤人员M1使用的执勤设备,并通过定位模块找到地点P1在执勤场景信息中的位置,并在该位置处绘制一个红点,作为该调度指令信息对应的调度指示信息。
在一些实施例中,所述一五模块15用于:根据所述指挥者在所述执勤场景信息上的调度操作,生成所述调度操作对应的调度指令信息;根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员;向所述调度操作对应的第一执勤人员发送所述调度指令信息。在一些实施例中,调度轨迹信息包括但不限于指挥者在执勤场景信息上的图形绘制信息或手势操作信息等。例如,指挥人员在执勤场景信息上绘制一条有向曲线S1,S1的起始点坐标是(X1,Y1),S1的终止点坐标是(X2,Y2),生成对应的调度指令信息“行动路线的起始点位置是(X1,Y1),终止点位置是(X2,Y2)”,并根据有向曲线S1在该执勤场景信息上的起始点坐标,以及所有参与执勤任务的执勤人员对应的标签在该执勤场景信息中的坐标,确定与有向曲线S1起始点的距离小于预定阈值(比如10个像素)的标签所对应的执勤人员M1和执勤人员M2作为此次调度操作对应的执勤人员,并向执勤人员M1和执勤人员M2对应的执勤设备发送该调度指令信息“行动路线的起始点位置是(X1,Y1),终止点位置是(X2,Y2)”。
在一些实施例中,所述调度轨迹信息包括但不限于:
1)有向曲线
例如,有向曲线可以是一条带箭头的曲线,曲线的起始点位置表示此次调度操作的出发地,曲线的终止点位置表示此次调度操作的目的地。
2)闭合曲线
例如,闭合曲线可以是一个圆形,圆形的覆盖区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员,或者,圆形的覆盖区域也可以表示此次调度操作对应的执勤区域,相应的执勤人员在该执勤区域内执行执勤任务。
3)闭合曲线与有向曲线的组合
例如,闭合曲线与有向曲线的组合可以是一个圆形和一个带箭头的曲线的组合,若曲线的终止点在圆形的覆盖区域内部/周边,则曲线的起始点位置表示此次调度操作的出发地,圆形的覆盖区域表示此次调度操作对应的执勤区域,相应的执勤人员在该执勤区域内执行执勤任务,或者,若曲线的起始点在圆形的覆盖区域内部/周边,则曲线的终止点位置表示此次调度操作的目的地,圆形的覆盖区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员。
4)不会自相交的曲线
例如,用一条虚拟的直线连接不会自相交的曲线的两个端点,其中,该直线和该曲线没有交点,以此围成一个闭合的覆盖区域,该覆盖区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员,或者,该覆盖区域也可以表示此次调度操作对应的执勤区域,相应的执勤人员在该执勤区域内执行执勤任务。
5)不会自相交的曲线与有向曲线的组合
例如,用一条虚拟的直线连接不会自相交的曲线的两个端点,其中,该直线和该曲线没有交点,以此围成一个闭合的覆盖区域,若曲线的终止点在该覆盖区域内部/周边,则曲线的起始点位置表示此次调度操作的出发地,该覆盖区域表示此次调度操作对应的执勤区域,相应的执勤人员在该执勤区域内执行执勤任务,或者,若曲线的起始点在该覆盖区域内部/周边,则曲线的终止点位置表示此次调度操作的目的地,该覆盖区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员。
6)由两条线段组成的折线段
例如,折线段由两条相交的线段组成,两条线段的交点构成折线段的顶点,顶点位置表示此次调度操作的目的地,两条线段围成的扇形区域包括一个或多个执勤人员对应的标签,该一个或多个执勤人员是此次调度操作对应的执勤人员。
7)以上所述调度轨迹信息的任意组合
在一些实施例中,所述调度轨迹信息包括有向曲线,其中,所述根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,包括:对于参与所述执勤任务的一个或多个执勤人员,根据所述有向曲线在所述执勤场景信息上的起始位置,以及所述执勤人员在所述执勤现场的位置指示信息在所述执勤场景信息的对应坐标信息,确定所述执勤人员的位置指示信息与所述有向曲线的起始位置在所述执勤场景信息中的距离信息;根据所述距离信息从所述一个或多个执勤人员筛选确定所述调度操作对应的第一执勤人员。例如,筛选确定第一执勤人员的规则包括但不限于:在所有执勤人员中,第一执勤人员对应的标签与有向曲线的起始点的距离小于其他任何执勤人员的标签与有向曲线的起始点的距离,或者,将所有执勤人员按照其对应的标签与有向曲线的起始点的距离进行升序排列,将该升序排列的前若干个执勤人员作为第一执勤人员,再或者,第一执勤人员对应的标签与有向曲线的起始点的距离小于或等于预定的距离阈值(比如10个像素)。
在一些实施例中,所述调度轨迹信息包括闭合曲线;其中,所述根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,包括:根据所述闭合曲线在所述执勤场景信息上的覆盖区域,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,其中,所述第一执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息落入所述覆盖区域。例如,执勤人员M1的标签N1对应的坐标是(X0,Y0),闭合曲线的覆盖区域是以(X1,Y1)为圆心、以R1为半径的圆形区域,若该坐标(X0,Y0)落入该圆形区域,则将执勤人员M1作为调度操作对应的第一执勤人员。
在一些实施例中,所述调度轨迹信息包括不会自相交的曲线;其中,所述根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,包括:根据所述不会自相交的曲线在所述执勤场景信息上的覆盖区域,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,其中,所述第一执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息落入所述覆盖区域。例如,用一条虚拟的直线连接不会自相交的曲线的两个端点,其中,该直线和该曲线没有交点,以此围成一个闭合的覆盖区域,若执勤人员M1的标签N1对应的坐标落入该闭合区域,则将执勤人员M1作为调度操作对应的第一执勤人员。
在一些实施例中,所述调度轨迹信息还包括有向曲线;其中,所述根据所述指挥者在所述执勤场景信息上的调度操作,生成所述调度操作对应的调度指令信息,包括:根据所述有向曲线生成所述调度操作对应的调度指令信息,其中,所述调度指令信息包括所述有向曲线的终点位置对应的目的地信息。例如,有向曲线的终点坐标是(X1,Y1),根据该有向曲线生成调度操作对应的调度指令信息“去坐标为(X1,Y1)的位置执勤”。
在一些实施例中,所述调度轨迹信息包括由两条线段组成的折线段;其中,所述根据所述指挥者在所述执勤场景信息上的调度操作,生成所述调度操作对应的调度指令信息,包括:根据所述折线段生成所述调度操作对应的调度指令信息,其中,所述调度指令信息包括所述折线段的顶点位置对应的目的地信息;其中,所述根据所述调度操作在所述执勤场景信息上的调度轨迹信息,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,包括:根据所述折线段的两条线段在所述执勤场景信息上围成的扇形区域,以及参与所述执勤任务的一个或多个执勤人员在所述执勤现场的位置指示信息,确定所述调度操作对应的第一执勤人员,其中,所述第一执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息落入所述扇形区域。例如,折线段的两个线段的交点构成折线段的顶点o1,顶点o1的坐标是(X1,Y1),根据该折线段生成调度操作对应的调度指令信息“去坐标为(X1,Y1)的位置执勤”,执勤人员M1的标签N1对应的坐标是(X0,Y0),折线段的两个线段围成的扇形区域是以(X1,Y1)为顶点、以线段L1、线段L2为半径的扇形区域,若该坐标(X0,Y0)落入该扇形区域,则将执勤人员M1作为调度操作对应的第一执勤人员,并将该调度指令信息发送给执勤人员M1。
在一些实施例中,所述调度操作对应的执勤人员包括参与所述执勤任务的一个或多个执勤人员。例如,调度操作对应的执勤人员包括参与执勤任务的所有执勤人员,而不仅仅包括调度操作对应的第一执勤人员,其中,第一执勤人员作为调度操作对应的目标执勤人员,执行该调度操作对应的具体调度指令,而接收到该调度指令信息的其他参与执勤任务的执勤人员,不执行该调度操作对应的具体调度指令。
在一些实施例中,所述一五模块15用于:根据所述指挥者在所述执勤场景信息的截屏图像上的调度操作,向所述调度操作对应的执勤人员发送所述调度操作对应的调度指令信息。例如,参与执勤任务的执勤人员包括执勤人员M1和执勤人员M2,执勤人员M1是此次调度操作对应的目标执勤人员,执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的执勤场景视频,在执勤场景视频中执行截屏操作,在截屏图片上绘制路径S1,此时,对应的调度指令信息是包含路径S1的截屏图片,并将该截屏图片发送给执勤人员M1的执勤设备,或者,将该截屏图片发送给执勤人员M1和执勤人员M2的执勤设备。
在一些实施例中,所述执勤场景信息包括第二设备发送至所述指挥设备的执勤场景视频,其中,所述一五模块15用于:根据所述指挥者在所述执勤场景视频的视频帧上的调度操作,向所述调度操作对应的执勤人员发送所述调度操作对应的调度指令信息。例如,参与执勤任务的执勤人员包括执勤人员M1和执勤人员M2,执勤人员M1是此次调度操作对应的目标执勤人员,执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的执勤场景视频,获取执勤场景视频的某一帧图像,例如当前视频帧对应的帧图像,在该帧图像上绘制路径S1,此时,对应的调度指令信息是包含路径S1的帧图像,并将该帧图像发送给执勤人员M1的执勤设备,或者,将该帧图像发送给执勤人员M1和执勤人员M2的执勤设备。在一些实施例中,指挥者通过指挥设备先选择接收调度指令信息的执勤人员,再设置调度指令信息,并将所述调度指令信息发送给所述执勤人员。例如,执勤场景信息上呈现所有参与执勤任务的执勤人员对应的多个标签,指挥人员从该多个标签中选择执勤人员M1和和执勤人员M2对应的标签,确定执勤人员M1和和执勤人员M2为此次调度指令信息的接收者,再输入调度指令信息“去地点P1执勤”,通过消息发送模块将该调度指令信息发送给执勤人员M1和执勤人员M2使用的执勤设备。
在一些实施例中,指挥者通过指挥设备先设置调度指令信息,再选择接收所述调度指令信息的执勤人员,并将所述调度指令信息发送给所述执勤人员。例如,指挥人员在执勤场景信息中输入调度指令信息“去地点P1执勤”,执勤场景信息会弹出显示所有参与执勤任务的执勤人员名称的复选框,指挥人员从中选择执勤人员M1和执勤人员M2作为此次调度指令信息的接收者,并通过消息发送模块将该调度指令信息发送给执勤人员M1和执勤人员M2使用的执勤设备。
在一些实施例中,所述执勤场景信息包括第二设备发送至所述指挥设备的执勤场景视频;其中,所述一五模块15包括一五一模块151和一五二模块152:一五一模块151用于根据所述指挥者在所述执勤场景视频的当前视频帧上的调度操作,生成所述调度操作对应的调度指令信息;一五二模块152用于将所述调度指令信息发送至对应的第二设备,其中,所述第二设备用于将所述调度指令信息发送至所述调度操作对应的执勤人员。在一些实施例中,第二设备包括但不限于指挥中心设备、无人机飞控设备或指挥人员的终端设备等。例如,该执勤场景信息包括无人机飞控设备发送(包括通过服务器发送)至指挥中心设备的执勤场景视频,参与执勤任务的执勤人员包括执勤人员M1和执勤人员M2,此次调度操作对应的目标执勤人员是执勤人员M1,并在该执勤场景视频的当前视频帧上绘制了路径S1,指挥中心设备生成对应的调度指令信息“行动路线的起始点位置是(X1,Y1),终止点位置是(X2,Y2)”,并将该调度指令信息发送至无人机飞控设备,无人机飞控设备将该调度指令信息经过处理后生成第二调度指令信息“行动路线的起始点位置是(X3,Y3),终止点位置是(X4,Y4)”,将该第二调度指令信息发送至执勤人员M1的执勤设备,或者,将该第二调度指令信息发送至执勤人员M1和执勤人员M2的执勤设备,其中,该第二调度指令是在指挥中心设备发送给无人机飞控设备的调度指令的基础上,结合无人机实时的摄像参数,经过处理后得到的。
在一些实施例中,所述设备还包括一七模块17(未示出),一七模块17用于接收所述第二设备发送的所述执勤场景视频、所述调度指令信息的指示信息及所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上后续叠加位置信息;呈现所述执勤场景视频,并根据所述后续叠加位置信息将所述调度指令信息的指示信息叠加于所述执勤场景视频的对应后续视频帧。在一些实施例中,随着执勤场景视频的当前视频帧的不断变化,调度指令信息的指示信息在当前视频帧上的显示位置也不断变化,需要确定该指示信息在当前视频帧上的实时显示位置,并在当前视频帧的该实时显示位置上叠加呈现该指示信息,以使该指示信息贴合在当前视频帧的准确位置上。例如,指挥中心设备接收无人机飞控设备发送的执勤场景视频、指示信息“路径S1”以及该指示信息在执勤场景视频的后续当前视频帧上的实时显示位置信息“起始点坐标是(X3,Y3),终止点坐标是(X4,Y4)”,指挥中心设备呈现该执勤场景视频,并根据该实时显示位置信息将“路径S1”叠加呈现在该执勤场景视频的后续当前视频帧上。
在一些实施例中,所述设备还包括一八模块18(未示出),一八模块18用于接收所述第二设备发送的第二执勤场景视频,其中,所述第二执勤场景视频由所述执勤场景视频和所述调度指令信息的指示信息合成得到;呈现所述第二执勤场景视频。在一些实施例中,随着执勤场景视频的当前视频帧的不断变化,调度指令信息的指示信息在当前视频帧上的显示位置也不断变化,第二设备确定该指示信息在当前视频帧上的叠加位置信息,并根据该叠加位置信息将当前视频帧的像素点和该指示信息的像素点在该叠加位置处进行像素合成,将同一个叠加位置处的两个像素点成合成一个像素点,例如替换或叠加,指挥设备接收第二设备像素合成后得到的第二执勤场景视频。例如,指挥中心设备接收无人机飞控设备发送的执勤场景视频和调度指令信息的指示信息“路径S1”合成后的第二执勤场景视频,并呈现该第二执勤场景视频。
图9示出了根据本申请一个实施例的一种用于进行执勤调度的第一设备,该设备包括二一模块21、二二模块22和二三模块23。二一模块21,用于获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息;二二模块22,用于获取所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息;二三模块23,用于在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。
二一模块21,用于获取并呈现执勤任务的执勤场景信息,其中,所述执勤场景信息包括由无人机拍摄所述执勤任务的执勤现场所得的图像信息。在一些实施例中,第一设备包括但不限于执勤人员使用的终端设备等,例如,执勤人员M1的终端设备从服务器获取并呈现无人机拍摄的执勤现场图像。
二二模块22,用于获取所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息。接上例,执勤人员M1是该执勤任务的执勤人员,该执勤任务的指挥人员在该执勤现场图像的位置P1处绘制了一个红点,将包括该红点的执勤现场图像作为调度指令信息发送给执勤人员M1的终端设备,或者,将该红点的位置信息(例如(X1,Y1),或在(X1,Y1)基础上进一步处理后的位置信息,包括归一化操作)作为调度指令信息发送给执勤人员M1的终端设备。
二三模块23,用于在所述执勤场景信息上呈现所述调度指令信息对应的调度指示信息。接上例,执勤人员M1的终端设备接收到调度指令信息即绘制红点后的执勤现场图像后,将该执勤现场图像呈现在执勤人员M1的终端设备上,或者,执勤人员M1的终端设备接收到调度指令信息即(X1,Y1)后,在执勤现场图像上对应的位置处绘制红点,并将绘制红点后的执勤现场图像呈现在执勤人员M1的终端设备上。
在一些实施例中,所述二三模块23用于:在所述执勤场景信息上生成并呈现所述调度指令信息对应的调度指示信息。例如,执勤人员M1的终端设备收到的调度指令信息是“去地点P1处执勤”,然后通过定位模块找到地点P1在该执勤现场图像中的位置,并在该位置处绘制一个红点,作为该调度指令信息对应的调度指示信息,并呈现在该执勤现场图像上。
在一些实施例中,所述设备还包括二四模块24(未示出),二四模块24用于检测接收所述调度指令信息的目标执勤人员是否包括使用第一设备参与所述执勤任务的第二执勤人员;若是,通过所述第一设备呈现关于所述调度指令信息的提示信息。在一些实施例中,提示信息包括但不限于通过振动、响铃或动画的方式提示目标执勤人员收到待执行的调度指令,从而提醒目标执勤人员尽快执行该调度指令。例如,第一设备对应的执勤人员是M1,第一设备检测调度指令信息对应的目标执勤人员是否包括执勤人员M1,若是,通过振动第一设备的方式提示执勤人员M1收到待执行的调度指令。
在一些实施例中,所述调度指令信息包括接收所述调度指令信息的目标执勤人员信息;其中,所述二四模块24用于:检测所述目标执勤人员信息与所述使用第一设备参与所述执勤任务的第二执勤人员是否相匹配。例如,检测方式包括但不限于检测目标执勤人员的名单中是否包括第二执勤人员、检测目标执勤人员的目标执勤小队是否是第二执勤人员所属的执勤小队。例如,目标执勤人员信息的是“目标执勤人员的名单:执勤人员M1、执勤人员M2和执勤人员M3”,执勤人员M1通过第一设备检测到目标执勤人员的名单中包括自己,则视为匹配成功。
在一些实施例中,所述调度指令信息包括所述指挥者在所述执勤场景信息上的调度轨迹信息;其中,所述二四模块24用于:根据所述调度轨迹信息,以及使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息,检测接收所述调度指令信息的目标执勤人员是否包括所述第二执勤人员。例如,比较调度指令信息中包含的调度轨迹信息的起始点与第二执勤人员对应的标签在执勤场景信息中的距离,若该距离小于或等于预定距离阈值(比如20像素),则接收该调度指令信息的目标执勤人员包括第二执勤人员。
在一些实施例中,所述调度轨迹信息包括有向曲线,其中,所述二四模块24用于:根据所述有向曲线在所述执勤场景信息上的起始位置,以及所述使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息在所述执勤场景信息的对应坐标信息,确定所述第二执勤人员的位置指示信息与所述有向曲线的起始位置在所述执勤场景信息中的距离信息;根据所述距离信息,检测接收所述调度指令信息的目标执勤人员是否包括所述第二执勤人员。例如,检测目标执勤人员是否包括第二执勤人员的规则包括但不限于:在所有执勤人员中,若第二执勤人员对应的标签与有向曲线的起始点的距离小于其他任何执勤人员的标签与有向曲线的起始点的距离,则目标执勤人员包括第二执勤人员,或者,将所有执勤人员按照其对应的标签与有向曲线的起始点的距离进行升序排列,若该升序排列的前若干个执勤人员中包括第二执勤人员,则目标执勤人员包括第二执勤人员,再或者,若第二执勤人员对应的标签与有向曲线的起始点的距离小于或等于预定的距离阈值(比如20个像素),则目标执勤人员包括第二执勤人员。
在一些实施例中,所述调度轨迹信息包括闭合曲线,其中,所述二四模块24用于:根据所述闭合曲线在所述执勤场景信息上的覆盖区域,以及所述使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息,确定所述第二执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息是否落入所述覆盖区域;若所述对应坐标信息落入所述覆盖区域,确定接收所述调度指令信息的目标执勤人员包括所述第二执勤人员;否则,确定接收所述调度指令信息的目标执勤人员不包括所述第二执勤人员。例如,执勤人员M1的标签N1对应的坐标是(X0,Y0),闭合曲线的覆盖区域是以(X1,Y1)为圆心、以R1为半径的圆形区域,若该坐标(X0,Y0)落入该圆形区域,则目标执勤人员包括执勤人员M1,若该坐标(X0,Y0)没有落入该圆形区域,则目标执勤人员不包括执勤人员M1。
在一些实施例中,述调度轨迹信息包括不会自相交的曲线,其中,所述二四模块24用于:根据所述不会自相交的曲线在所述执勤场景信息上的覆盖区域,以及所述使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息,确定所述第二执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息是否落入所述覆盖区域;若所述对应坐标信息落入所述覆盖区域,确定接收所述调度指令信息的目标执勤人员包括所述第二执勤人员;否则,确定接收所述调度指令信息的目标执勤人员不包括所述第二执勤人员。例如,用一条虚拟的直线连接不会自相交的曲线的两个端点,其中,该直线和该曲线没有交点,以此围成一个闭合的覆盖区域,若执勤人员M1的标签N1对应的坐标落入该覆盖区域,则目标执勤人员包括执勤人员M1,否则,则目标执勤人员不包括执勤人员M1。
在一些实施例中,所述调度轨迹信息包括由两条线段组成的折线段,其中,所述二四模块24用于:根据所述折线段的两条线段所述执勤场景信息上围成的扇形区域,以及所述使用第一设备参与所述执勤任务的第二执勤人员在所述执勤现场的位置指示信息,确定所述第二执勤人员的位置指示信息在所述执勤场景信息的对应坐标信息是否落入所述扇形区域;若所述对应坐标信息落入所述扇形区域,确定接收所述调度指令信息的目标执勤人员包括所述第二执勤人员;否则,确定接收所述调度指令信息的目标执勤人员不包括所述第二执勤人员。例如,执勤人员M1的标签N1对应的坐标是(X0,Y0),折线段的两条线段围成的扇形区域是以(X1,Y1)为顶点、以线段L1、线段L2为半径的扇形区域,若该坐标(X0,Y0)落入该扇形区域,则目标执勤人员包括执勤人员M1,若该坐标(X0,Y0)没有落入该扇形区域,则目标执勤人员不包括执勤人员M1。
在一些实施例中,所述设备还包括二五模块25(未示出),二五模块25用于检测接收所述调度指令信息的目标执勤人员是否包括使用第一设备参与所述执勤任务的第二执勤人员;若是,根据所述调度指令信息以及所第二执勤人员在所述执勤场景信息的位置指示信息,生成并呈现所述调度对象在所述执勤场景信息上的行进指示信息。在一些实施例中,行进指示信息用于指示执勤人员到达调度指令信息对应的目的地的行进路线/方向。例如,执勤人员M1收到的调度指令信息是“目的地坐标(X1,Y1)”,执勤人员M1对应的标签N1在执勤场景信息中的坐标是(X2,Y2),在执勤场景信息中用一条有向曲线连接(X1,Y1)和(X2,Y2),以该有向曲线作为执勤人员M1在执勤场景信息上的行进指示信息,并将该行进指示信息呈现在第一设备上。
在一些实施例中,所述根据所述调度指令信息以及所述第二执勤人员在所述执勤场景信息的位置指示信息,生成所述调度对象在所述执勤场景信息上的行进指示信息,包括:第一设备根据所述调度指令信息,确定所述调度指令信息在所述执勤任务的执勤现场中对应的目的地物理地址信息;查询确定从所述第二执勤人员在所述执勤任务的执勤现场中对应的物理地址信息到达所述目的地物理地址信息的前进路线信息;确定所述前进路线信息中一个或多个中间点在所述执勤场景信息中对应的一个或多个中间点坐标信息;根据所述一个或多个中间点坐标信息生成所述调度对象在所述执勤场景信息上的行进指示信息,其中,所述行进指示信息从所述第二执勤人员在所述执勤场景信息的位置指示信息指向目的地信息。在一些实施例中,物理地址用于表示物体在现实场景中的绝对位置信息或者相对无人机的位置信息。例如,执勤人员M1收到的调度指令信息包括在执勤场景信息中的目的地信息“目的地坐标(X1,Y1)”,并确定该目的地信息在执勤任务的执勤现场中对应的目的地物理地址信息是“目的地经度是X,纬度是Y”,或者“目的地相对无人机的位置X,Y”,或者,执勤人员M1收到的调度指令信息包括在执勤任务的执勤现场中的目的地物理地址信息“目的地经度是X,纬度是Y”,或者“目的地相对无人机的位置X,Y”,然后通过定位模块和导航模块,确定从执勤人员M1的当前物理地址到目的地物理地址的有向曲线,并在该有向曲线中确定曲率大于某个预定曲率阈值的若干个中间点,并获取该若干个中间点在执勤场景信息中对应的坐标值,根据该若干个中间点在执勤场景信息中对应的坐标值,在执勤场景信息中绘制该若干个中间点,并将该若干个中间点连接成一条有向曲线,以该有向曲线作为执勤人员M1在执勤场景信息上的行进指示信息,其中,导航模块通过从服务器或者本地数据中获取精确的地图数据信息,并根据用户的出发点位置信息和目的地位置信息,计算出最短的可行路径来引导用户准确并快捷的到达目的地。
在一些实施例中,所述设备还包括二六模块26(未示出),二六模块26用于将更新后的执勤场景信息返回至所述指挥设备,其中,更新后的所述执勤场景信息还包括所述调度指令信息对应的调度指示信息。接上例,执勤人员M1的终端设备将该红点的位置信息(例如(X1,Y1),或在(X1,Y1)基础上进一步处理后的位置信息,包括归一化操作)直接发送至指挥中心设备或通过中间设备发送至该指挥中心设备,指挥中心设备在该执勤现场图像的对应位置处绘制红点,以使该调度指示信息即该红点显现在该执勤现场图像中。
在一些实施例中,所述执勤场景信息包括第二设备发送至所述第一设备的执勤场景视频;其中,所述二二模块22包括二二一模块221(未示出),二二一模块221用于接收所述第二设备发送的、所述执勤任务的指挥者向使用第一设备参与所述执勤任务的执勤人员发送的调度指令信息。例如,执勤场景信息包括无人机飞控设备发送给执勤人员M1的终端设备的执勤场景视频,执勤人员M1的终端设备接收无人机飞控设备发送的第二调度指令信息,其中,该第二调度指令信息是在指挥中心设备发送给无人机飞控终端的调度指令信息的基础上,经过处理后生成的。
在一些实施例中,所述设备还包括二七模块27(未示出),二七模块27用于接收所述第二设备发送的所述执勤场景视频、所述调度指令信息的指示信息及所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上后续叠加位置信息;呈现所述执勤场景视频,并根据所述后续叠加位置信息将所述调度指令信息的指示信息叠加于所述执勤场景视频的对应后续视频帧。例如,执勤人员M1的终端设备接收无人机飞控设备发送的执勤场景视频、该调度指令信息的指示信息“路径S1”以及该指示信息在该执勤场景视频的后续当前视频帧上的实时显示位置信息“起始点坐标是(X3,Y3),终止点坐标是(X4,Y4)”,执勤人员M1的终端设备呈现该执勤场景视频,并根据该实时显示位置信息将“路径S1”叠加呈现在该执勤场景视频的后续当前视频帧上。
在一些实施例中,所述设备还包括二八模块28(未示出),二八模块28(未示出)用于接收所述第二设备发送的第二执勤场景视频,其中,所述第二执勤场景视频由所述执勤场景视频和所述调度指令信息的指示信息合成得到;呈现所述第二执勤场景视频。在一些实施例中,随着执勤场景视频的当前视频帧的不断变化,调度指令信息的指示信息在当前视频帧上的显示位置也不断变化,第二设备确定该指示信息在当前视频帧上的叠加位置信息,并根据该叠加位置信息将当前视频帧的像素点和该指示信息的像素点在该叠加位置处进行像素合成,将同一个叠加位置处的两个像素点成合成一个像素点,例如替换或叠加,第一设备接收第二设备像素合成后得到的第二执勤场景视频。例如,执勤人员的终端设备接收无人机飞控设备发送的执勤场景视频和调度指令信息的指示信息“路径S1”合成后的第二执勤场景视频,并呈现该第二执勤场景视频。
图10示出了根据本申请一个实施例的一种用于进行执勤调度的第二设备,该设备包括三一模块31、三二模块32和三三模块33。三一模块31,用于向指挥设备及第一设备发送执勤场景视频;三二模块32,用于接收指挥设备发送的调度指令信息,其中,所述调度指令信息对应于指挥者在所述执勤场景视频的当前视频帧上的调度操作;三三模块33,用于将所述调度指令信息发送至所述调度操作对应的执勤人员的第一设备。
三一模块31,用于向指挥设备及第一设备发送执勤场景视频。在一些实施例中,第二设备包括但不限于指挥中心设备、无人机飞控设备或指挥人员的终端设备等。例如,无人机飞控设备向指挥中心设备和执勤人员的终端设备发送(包括通过服务器发送)无人机拍摄的执勤场景视频。
三二模块32,用于接收指挥设备发送的调度指令信息,其中,所述调度指令信息对应于指挥者在所述执勤场景视频的当前视频帧上的调度操作。例如,指挥人员在该执勤场景视频的当前视频帧的位置P1处绘制了一个红点,然后指挥中心设备向无人机飞控设备发送调度指令信息“集合的位置信息(例如(X1,Y1),或在(X1,Y1)基础上进一步处理后的位置信息,包括归一化操作)”,无人机飞控设备接收指挥中心设备发送的该调度指令信息。
三三模块33,用于将所述调度指令信息发送至所述调度操作对应的执勤人员的第一设备。接上例,执勤人员M1是该执勤任务的执勤人员,无人机飞控设备将该调度指令信息“集合的位置信息(例如(X1,Y1),或在(X1,Y1)基础上进一步处理后的位置信息,包括归一化操作)”经过处理后生成第二调度指令信息“集合的位置信息(X2,Y2)”,并将该第二调度指令信息发送至执勤人员M1的终端设备。
在一些实施例中,所述设备还包括步骤三四模块34(未示出),三四模块34用于根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息;将所述调度指令信息的指示信息及所述后续叠加位置信息随所述执勤场景视频发送至所述指挥设备与所述第一设备。例如,随着视频帧的不断变化,调度指令信息对应的指示信息在视频帧上的叠加位置也在不断变化,需要根据指示信息在当前视频上的叠加位置,通过无人机的实时拍摄参数信息,计算出指示信息在后续视频帧上的后续叠加位置,并将指示信息及指示信息对应的后续叠加位置随执勤场景视频发送至指挥中心设备或执勤人员使用的终端设备。
在一些实施例中,所述将所述调度指令信息的指示信息及所述后续叠加位置信息随所述执勤场景视频发送至所述指挥设备与所述第一设备,包括:根据所述后续叠加位置信息,将所述执勤场景视频和所述调度指令信息的指示信息合成第二执勤场景视频,并将所述第二执勤场景视频发送至所述指挥设备与所述第一设备。例如,随着视频帧的不断变化,调度指令信息对应的指示信息在视频帧上的叠加位置也在不断变化,需要根据指示信息在当前视频上的叠加位置,通过无人机的实时拍摄参数信息,计算出指示信息在后续视频帧上的后续叠加位置,并根据该后续叠加位置信息将后续视频帧的像素点和该指示信息的像素点在该后续叠加位置处进行像素合成,将同一个叠加位置处的两个像素点成合成一个像素点,例如替换或叠加,并将像素合成后的第二执勤场景视频发送给指挥中心设备和执勤人员使用的终端设备。
在一些实施例中,所述根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息,包括:根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息以及无人机拍摄所述执勤场景视频的当前视频帧时的拍摄参数信息,确定所述调度指令信息在所述执勤任务的执勤现场对应的位置信息;根据所述调度指令信息在所述执勤任务的执勤现场对应的位置信息以及无人机拍摄所述执勤场景视频的后续视频帧时的拍摄参数信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息。例如,执勤人员M1是此次调度操作的执勤人员,无人机飞控设备根据无人机拍摄该执勤场景视频的当前视频帧时的拍摄参数信息,计算得到无人机在当前视频帧时的变换矩阵的逆矩阵,其中,变换矩阵由内参矩阵和外参矩阵组成,外参矩阵描述了从世界坐标系到相机坐标系的坐标变换,由旋转矩阵和平移矩阵组成,内参矩阵描述了从相机坐标系到像素坐标系的坐标变换,然后根据无人机在当前视频帧时的变换矩阵的逆矩阵、以及该调度指令信息在该执勤场景视频的当前视频帧上的叠加位置信息,计算该调度指令信息对应的指示信息在实景中的GPS位置坐标,当无人机发生移动时,无人机拍摄的后续视频帧也随之变化,根据无人机拍摄后续视频帧时的拍摄参数信息,计算得到无人机在后续视频帧时的变换矩阵,根据该指示信息在实景中的GPS位置坐标以及无人机在后续视频帧时的变换矩阵,实时计算该指示信息在后续视频帧上的后续叠加位置信息。
在一些实施例中,所述无人机的拍摄参数信息包括但不限于:
1)所述无人机的相机分辨率
例如,相机分辨率是1920*1080。
2)所述无人机的相机视场角
例如,相机视场角是45度。
3)所述无人机的相机焦距
例如,相机焦距是50毫米。
4)所述无人机的相机旋转角度
例如,相机坐标系的坐标轴X1、坐标轴Y1、坐标轴Z1的默认方向固定,随着相机的旋转,相机坐标系的三个坐标轴方向也随之旋转并得到坐标轴X2、坐标轴Y2、坐标轴Z2,根据X1与X2的夹角,得到X轴方向上的旋转角度A1,根据Y1与Y2的夹角,得到Y轴方向上的旋转角度A2,根据Z1与Z2的夹角,得到Z轴方向上的旋转角度A3,由此得到相机旋转角度是(A1,A2,A3)。
5)所述无人机的飞行高度
例如,无人机的飞行高度是距离地平面10米。
6)所述无人机在所述执勤任务的执勤现场的位置信息
例如,无人机的经度是东经120度52分,纬度是北纬30度40分。
7)以上所述拍摄参数信息的任意组合
在一些实施例中,所述根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息,包括:根据所述调度指令信息在所述执勤场景视频的当前视频帧上的叠加位置信息,以及无人机拍摄所述执勤场景视频的当前视频帧时的拍摄参数信息(例如,相机分辨率),确定所述调度指令信息在图像坐标系中的当前位置信息;根据所述调度指令信息在图像坐标系中的当前位置信息,以及无人机拍摄所述执勤场景视频的当前视频帧时的拍摄参数信息,确定所述调度指令信息在相机坐标系中的当前位置信息;根据所述调度指令信息在相机坐标系中的当前位置信息,以及无人机拍摄所述执勤场景视频的当前视频帧时的拍摄参数信息,确定所述调度指令信息在所述执勤任务的执勤现场对应的位置信息;根据所述调度指令信息在所述执勤任务的执勤现场对应的位置信息,以及无人机拍摄所述执勤场景视频的后续视频帧时的拍摄参数信息,确定所述调度指令信息在相机坐标系中的后续位置信息;根据所述调度指令信息在相机坐标系中的后续位置信息,以及无人机拍摄所述执勤场景视频的后续视频帧时的拍摄参数信息,确定所述调度指令信息在图像坐标系中的后续位置信息;根据所述调度指令信息在图像坐标系中的后续位置信息,以及无人机拍摄所述执勤场景视频的后续视频帧时的拍摄参数信息,确定所述调度指令信息的指示信息在所述执勤场景视频的后续视频帧上的后续叠加位置信息。。例如,根据无人机的拍摄参数信息(例如,相机分辨率、视场角)或者通过相机的标定方法计算得到内参矩阵[k]以及内参矩阵的逆矩阵[k]-1,然后根据调度指令信息C1在当前视频帧上的叠加位置信息以及内参矩阵的逆矩阵[k]-1,确定C1在相机坐标系中的当前位置信息;根据无人机拍摄当前视频帧时的拍摄参数信息(例如,无人机高度、相机旋转角度),计算得到外参矩阵[R|T],并得到外参矩阵的逆矩阵Rt,根据C1在相机坐标系中的当前位置信息以及外参矩阵的逆矩阵Rt,确定C1在世界坐标系中的位置信息,也即C1在执勤现场的位置信息;根据无人机拍摄后续视频帧时的拍摄参数信息,计算得到外参矩阵[R|T]’和内参矩阵[k]’,根据C1在世界坐标系中的位置信息以及外参矩阵[R|T]’,确定C1在相机坐标系中的后续位置信息;根据C1在相机坐标系中的后续位置信息以及内参矩阵[k]’,确定C1在像素坐标系中的后续位置信息(C1在后续视频帧上的后续叠加位置信息)。。具体地,根据调度指令信息C1在当前视频帧上的叠加位置信息[u v]计算C1在执勤现场的位置信息[xw yw zw],如下:
首先像素坐标转相机坐标系,得到该指令在相机坐标系下的坐标[xc yc zc]:
其中,[k]∈R3×3是内参矩阵,[k]-1是内参矩阵的逆矩阵。
然后求解获得外参矩阵的逆矩阵:
其中,R∈R3×3是旋转矩阵,T∈R3×1是平移向量。
然后转成得到如下公式:
nzw=Rt[2][0]xc+Rt[2][1]yc+Rt[2][2]zc+Rt[2][3]a
n=Rt[3][0]xc+Rt[3][1]yc+Rt[3][2]zc+Rt[3][3]a
当zw已知时,联立上述方程式,可以结算得到a和n,从而可以得到世界坐标系中的另外两个变量xw和yw,从而得到[xw yw zw]。
当世界坐标[xw yw zw]已知后,可以计算后续某一视频帧的外参矩阵[R|T]’和内参矩阵[k]’,然后利用如下公式可以求得在后续某一视频帧上的叠加位置信息[u’v’]:
其中左右两侧坐标为齐次坐标形式。
图11示出了可被用于实施本申请中所述的各个实施例的示例性系统。
如图11所示在一些实施例中,系统300能够作为各所述实施例中的任意一个设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、持有计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。