CN113419631B - 一种编队控制方法、电子设备及存储介质 - Google Patents

一种编队控制方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113419631B
CN113419631B CN202110744987.8A CN202110744987A CN113419631B CN 113419631 B CN113419631 B CN 113419631B CN 202110744987 A CN202110744987 A CN 202110744987A CN 113419631 B CN113419631 B CN 113419631B
Authority
CN
China
Prior art keywords
focus position
geographic
coordinate
eyeball focus
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110744987.8A
Other languages
English (en)
Other versions
CN113419631A (zh
Inventor
肖剑平
蒲进菁
郑钰鹏
赵继成
侯俊兆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Yunzhou Intelligence Technology Ltd
Original Assignee
Zhuhai Yunzhou Intelligence Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Yunzhou Intelligence Technology Ltd filed Critical Zhuhai Yunzhou Intelligence Technology Ltd
Priority to CN202110744987.8A priority Critical patent/CN113419631B/zh
Publication of CN113419631A publication Critical patent/CN113419631A/zh
Application granted granted Critical
Publication of CN113419631B publication Critical patent/CN113419631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种编队控制方法、编队控制装置、电子设备及计算机可读存储介质。其中,该方法包括:基于接收到的眼球焦点位置,确定对应的地理坐标,其中,所述眼球焦点位置由眼动装置采集并发送;检测所述地理坐标的连线是否构成封闭区域;若所述地理坐标的连线构成封闭区域,则将处于所述封闭区域内的无人智能设备确定为一个集群。通过本申请方案,简化了编队控制的过程,丰富了编队控制的方式。

Description

一种编队控制方法、电子设备及存储介质
技术领域
本申请属于智能设备控制技术领域,尤其涉及一种编队控制方法、编队控制装置、电子设备及计算机可读存储介质。
背景技术
机器人、无人船艇及无人机等无人智能设备可以前往一些人无法到达的空间,并基于人的远程控制实现各项操作,以完成远程任务。在远程任务较为复杂时,往往需要多个无人智能设备进行配合,通过编队的方式组建集群去执行该远程任务。现有的集群编队交互系统只能基于预先已写入的编队信息对无人智能设备进行编队,或者接收用户在交互屏幕上通过手指点击或滑动而输入的指令实现对无人智能设备进行编队,这些方式都较为繁琐。
发明内容
本申请提供了一种编队控制方法、编队控制装置、电子设备及计算机可读存储介质,简化了编队控制的过程,丰富了编队控制的方式。
第一方面,本申请提供了一种编队控制方法,包括:
基于接收到的眼球焦点位置,确定对应的地理坐标,其中,上述眼球焦点位置由眼动装置采集并发送;
检测上述地理坐标的连线是否构成封闭区域;
若上述地理坐标的连线构成封闭区域,则将处于上述封闭区域内的无人智能设备确定为一个集群。
第二方面,本申请提供了一种编队控制装置,包括:
第一确定模块,用于基于接收到的眼球焦点位置,确定对应的地理坐标,其中,上述眼球焦点位置由眼动装置采集并发送;
第一检测模块,用于检测上述地理坐标的连线是否构成封闭区域;
第二确定模块,用于若上述地理坐标的连线构成封闭区域,则将处于上述封闭区域内的无人智能设备确定为一个集群。
第三方面,本申请提供了一种电子设备,上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面,本申请提供了一种计算机程序产品,上述计算机程序产品包括计算机程序,上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
本申请与现有技术相比存在的有益效果是:首先,基于接收到的眼球焦点位置,确定对应的地理坐标,其中,上述眼球焦点位置由眼动装置采集并发送,然后检测上述地理坐标的连线是否构成封闭区域,若上述地理坐标的连线构成封闭区域,则将处于上述封闭区域内的无人智能设备确定为一个集群。本申请方案不再需要通过提前写入的编队信息的方式或者通过手指点击或滑动进行指令输入的方式来进行编队控制,而是通过眼动装置来采集人的眼球焦点位置,以此为基础进行编队控制,省去了用户编程的时间及用户手指的操作,简化了编队控制的过程,丰富了编队控制的方式。可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的编队控制方法的实现流程示意图;
图2是本申请实施例提供的封闭区域的示意图;
图3是本申请实施例提供的地理坐标的一种筛选方式的示意图;
图4是本申请实施例提供的地理坐标的另一种筛选方式的示意图;
图5是本申请实施例提供的编队控制装置的结构框图;
图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所提出的技术方案,下面通过具体实施例来进行说明。
下面对本申请实施例所提出的编队控制方法作出说明。该编队控制方法应用于电子设备,该电子设备集成有集群编队交互系统,且该电子设备包括交互屏幕,用以显示无人智能设备所处环境的地图及无人智能设备在该地图中的位置等。用户可通过交互屏幕向集群编队交互系统发出交互指令,实现编队控制。请参阅图1,该编队控制方法包括:
步骤101,基于接收到的眼球焦点位置,确定对应的地理坐标,其中,上述眼球焦点位置由眼动装置采集并发送。
在本申请实施例中,用户可在佩戴好眼动装置之后,建立该眼动装置与电子设备的通讯连接,此处不对该通讯连接所采用的通讯方式进行限定。通过该眼动装置,可在该用户的眼球转动的过程中实现对眼球的追踪,得到该用户在各个时刻下的眼球焦点位置,此处不对该眼动装置的工作过程进行赘述。基于此,在用户佩戴好眼动装置并注视交互屏幕时,该眼动装置可将用户的眼球焦点位置实时发送给电子设备。由于交互屏幕实际上显示有无人智能设备所处环境的地图,因而,每个眼球焦点位置实际上对应了该地图所表示的一个地理坐标。电子设备由此可确定各个时刻下的眼球焦点位置所对应的地理坐标。
在一些实施例中,针对接收到的每个眼球焦点位置,电子设备可通过如下方式确定该眼球焦点位置所对应的地理坐标:
A1,将上述眼球焦点位置转换为预设的屏幕坐标系下的屏幕坐标。
屏幕坐标系基于交互屏幕而设定。仅作为示例,在交互屏幕呈现矩形时,可以该交互屏幕的左上角为原点,向右为X轴正方向,向下为Y轴正方向,建立一屏幕坐标系。当然,该交互屏幕也可以呈现为其它形状,例如可以是圆形或球形等,此处不作限定。由于眼球焦点位置实际上表示了眼球的注视位置,因而,电子设备可获得该注视位置在屏幕坐标系下的屏幕坐标。
A2,根据上述交互屏幕当前所显示的地图信息,将上述屏幕坐标转换为地理坐标。
如前文所描述的,交互屏幕通常会以一定的比例尺显示无人智能设备所处环境的地图。显然,该交互屏幕在显示地图中,交互屏幕中的每个点均唯一对应了一个真实的地理坐标。由此,可根据该交互屏幕当前所显示的地图信息,将基于眼球焦点位置所得的屏幕坐标转换为地理坐标。仅作为示例,该地理坐标以经纬度表示。
步骤102,检测上述地理坐标的连线是否构成封闭区域。
在本申请实施例中,电子设备可以检测不同时刻下的眼球焦点位置所对应的地理坐标的连线是否可以构成封闭区域。也即,检测用户是否通过眼球的注视操作框选出了一个封闭区域。
在一些实施例中,电子设备可通过如下方式确定地理坐标的连线是否构成封闭区域:
B1,基于各个眼球焦点位置的接收时间由早至晚的顺序,依次将相邻的地理坐标相连,得到至少三条连线。
需要说明的是,本实施例所说的相邻的地理坐标,并不是指位置相邻的地理坐标,而是指:对应的眼球焦点位置的接收时间相邻的地理坐标。例如,假定在T0时刻接收到眼球焦点位置E0,该眼球焦点位置E0对应地理坐标G0;在T1时刻接收到眼球焦点位置E1,该眼球焦点位置E1对应地理坐标G1;在T2时刻接收到眼球焦点位置E2,该眼球焦点位置E2对应地理坐标G2;则地理坐标G1分别与地理坐标G0及地理坐标G2相邻,也即,地理坐标G0与地理坐标G1构成了相邻的地理坐标,地理坐标G1与地理坐标G2构成了相邻的地理坐标。
可以理解,点与点直接的连线实际构成了线段,而线段所能构成的封闭区域至少应有三条边。用户在注视着交互屏幕时,基于其眼球的转动,实际上会使得注视位置在交互屏幕上形成了轨迹,也即注视轨迹。考虑到交互屏幕的每个点均唯一对应了一个真实的地理坐标,因而,基于该注视轨迹实际上形成了地理轨迹。本步骤所进行的连线操作,实际即为获得该地理轨迹的操作。
B2,检测上述至少三条连线中的最后一条连线是否与不相邻的任一其它连线相交。
该最后一条连线指的是:基于最晚接收的眼球焦点位置所对应的地理坐标所形成的连线。也即,基于该地理轨迹的终点所形成的连线。相邻的两条连线,指的是有着相同的端点的连线。作为连续的轨迹来说,该最后一条连线与倒数第二条连线相邻,基于相邻的两条连线的定义,该最后一条连线必然与倒数第二条连线相交。基于此,将该倒数第二条连线排除在外,检测该最后一条连线是否能够与不相邻的任一其它连线相交。
具体地,可通过叉乘计算的方式检测两条连线是否相交。仅作为示例,记最后一条连线为N1N2,记非相邻的任一其他连线为K1K2,则可计算N1N2×N1K1及N1N2×N1K2,且还可计算K1K2×K1N1及K1K2×K1N2;若计算结果指示N1N2×N1K1与N1N2×N1K2异号,且K1K2×K1N1与K1K2×K1N2异号,则认为这两条连线相交。
B3,若上述最后一条连线与不相邻的任一其它连线相交,则确定构成封闭区域。
当检测发现该最后一条连线与任一非相邻的其它连线相交时,即可确定构成了封闭区域。具体地,记与该最后一条连线相交的非相邻的其它连线为相交连线,则该封闭区域指的是:从该相交连线开始,至最后一条连线为止,所形成的区域。
仅作为示例,请参阅图2,假定当前有七个地理坐标,根据对应的眼球焦点坐标的接收时间由早至晚的顺序,分别为G1至G7。基于该七个地理坐标获得六条连线,该六条连线以时序划分,分别为:G1G2、G2G3、G3G4、G4G5、G5G6及G6G7。其中,G6G7为最后一条连线,与该G6G7相邻的连线(也即倒数第二条连线)为G5G6;可分别检测G6G7是否与G1G2、G2G3、G3G4或G4G5中的任一连线相交。由图2可知,G6G7与G3G4相交,则G3G4、G4G5、G5G6及G6G7构成了一封闭区域,该封闭区域在图2中以阴影示出。
步骤103,若上述地理坐标的连线构成封闭区域,则将处于上述封闭区域内的无人智能设备确定为一个集群。
在本申请实施例中,当地理坐标的连线,也即基于用户的注视所形成的地理轨迹能够构成一封闭区域时,即可将处于该封闭区域内的无人智能设备确定为一个集群。具体地,可以在确定构成封闭区域后,弹出一选择框以确定当前操作是选定操作还是取消操作。若用户注视选定操作一栏,也即,若接收到的眼球焦点位置所对应的屏幕坐标落在选定操作一栏的范围内,则选定该封闭区域内的所有无人智能设备,并以此为基础将已选定的无人智能设备确定为一个集群;反之,若用户注视取消操作一栏,也即,若接收到的眼球焦点位置所对应的屏幕坐标落在取消操作一栏的范围内,则取消选定该封闭区域内的所有无人智能设备,这表明当前用户所框选的封闭区域可能有误,需要重新进行封闭区域的框选。
在一些实施例中,集群的队形已预先设定好。基于此,可将已选定的无人智能设备按照距离最近的原则,自动分配至该集群的队形中。实际上,在基于用户对交互屏幕的注视操作来确定无人智能设备的集群时,已预先设定好该集群所默认的队形,例如“一”字形或“人”字形等,但该队形中的各个位置点并未与任何一个无人智能设备关联。因而,已选定的各个无人智能设备(也即封闭区域中的各个无人智能设备)可按照距离最近的原则,与距离最近的位置点进行自动关联。可以理解为,该过程实际上是为已选定的各无人智能设备分配在集群的队形中的位置的过程。后续在对该集群进行控制,例如平移或旋转时,集群中的各无人智能设备将基于自己所关联的位置点来确定自己所实际要执行的移动操作,以使得该集群在移动过程中能够保持队形。
在一些实施例中,眼动装置的数据发送频率与电子设备的数据接收频率保持一致。由于眼动装置是持续采集获得用户实时的眼球焦点位置,这会导致电子设备在短时间内接收到非常多个眼球焦点位置,相应地,也会得到非常多个地理坐标,这极大的增加了电子设备的运算量,给电子设备带来了一定的运算负担。基于此,电子设备可先对已确定的各个地理坐标进行筛选;相应地,步骤102可具体表现为:检测筛选后所保留的地理坐标的连线是否构成封闭区域。
在一种应用场景下,可以通过如下方式对地理坐标进行筛选:
C1,检测第一地理坐标及第二地理坐标所间隔的距离是否小于预设的距离阈值。
C2,若上述距离小于上述距离阈值,则将上述第二地理坐标剔除。
当两个地理坐标构成相邻的地理坐标时,可以检测这两个地理坐标之间的欧氏距离。为便于说明,可将这两个地理坐标记作第一地理坐标及第二地理坐标。该相邻的地理坐标在前文已有定义,指的是对应的眼球焦点位置的接收时间相邻的地理坐标,则可定义接收时间较早的眼球焦点位置所对应的地理坐标为第一地理坐标,接收时间较晚的眼球焦点位置所对应的地理坐标为第二地理坐标。当相邻的两个地理坐标之间的距离小于该距离阈值时,可将这两个地理坐标中靠后的地理坐标剔除,也即将第二地理坐标剔除。仅作为示例,该距离阈值可以是50米、100米或200米等,此处不作限定。
仅作为示例,请参阅图3,假定当前有五个地理坐标,根据对应的眼球焦点坐标的接收时间由早至晚的顺序,分别为G1至G5。假定距离阈值为100米;通过计算,得到G1与G2间隔120米,G2与G3间隔70米,G3与G4间隔105米,G4与G5间隔110米,则可剔除地理坐标G3,保留地理坐标G1、G2、G4及G5。
在另一种应用场景下,也可以通过如下方式对地理坐标进行筛选:
D1,检测第一连线的延长线与第二连线的角度是否小于预设的角度阈值。
D2,若上述角度小于上述角度阈值,则将上述第四地理坐标剔除。
第一连线为第三地理坐标与第四地理坐标的连线,第一连线的延长线为以第四地理坐标为起点,以第三地理坐标向第四地理坐标的方向为延长方向所作的延长线。第二连线为第四地理坐标与第五地理坐标的连线。该第三地理坐标及该第四地理坐标构成相邻的地理坐标,该第四地理坐标及该第五地理坐标构成相邻的地理坐标。可以理解的是,本实施例中,两条连线的角度范围为[0,180°]。该相邻的地理坐标在前文已有定义,指的是对应的眼球焦点位置的接收时间相邻的地理坐标,该第三地理坐标所对应的眼球焦点位置的接收时间早于该第四地理坐标所对应的眼球焦点位置的接收时间,该第四地理坐标所对应的眼球焦点位置的接收时间早于该第五地理坐标所对应的眼球焦点位置的接收时间。仅作为示例,该角度阈值可以是10度、15度或20度等,此处不作限定。
可以理解,记第一连线的延长线与第二连线的角度为第一角度,记第一连线与第二连线的角度为第二角度,则该第一角度与第二角度互补。则上述D1及D2的操作实际也等价于:检测第一连线与第二连线的角度(也即第二角度)是否大于或等于该角度阈值的互补角,若该第二角度大于或等于该角度阈值的互补角,则将第四地理坐标剔除。
仅作为示例,请参阅图4,假定当前有4个地理坐标,根据对应的眼球焦点坐标的接收时间由早至晚的顺序,分别为G1至G4,其中,实线表示的连线本身,虚线表示的是连线的延长线。假定角度阈值为10度;通过计算,得到G1G2的延长线与G2G3所呈现的角度为9度,G2G3的延长线与G3G4所呈现的角度为75度,则可剔除地理坐标G2,保留地理坐标G1、G3及G4。通过这种筛选方式,可在简化连线(也即降低地理坐标的数量)的同时,保留原始的连线的特征。
可以理解的是,电子设备可仅选用一种方式对地理坐标进行筛选;或者,也可以两种方式均选用来对地理坐标进行筛选,例如,先基于相邻的地理坐标的距离对所得到的所有地理坐标进行一次筛选,再基于相邻的地理坐标所呈现的连线角度对一次筛选后所保留的地理坐标进行二次筛选,此处不对电子设备所选用的筛选方式作出限定。通过对地理坐标的筛选,实现了对地理坐标的降采样,在保障地理坐标有效性的同时,提升了对地理坐标进行处理的处理效率。
在一些实施例中,交互屏幕中展示有一个或多个集群。可以理解的是,针对每个集群,集群编队交互系统都可为其设定集群控制点,该集群控制点包括有集群中心点及集群旋转点等,此处不作限定。需要注意的是,一个集群的集群中心点与集群旋转点不重合。用户可通过眼动装置实现对集群控制点的快速选中,以通过已选中的集群控制点实现对集群的控制。
以集群中心点为例,电子设备可以检测当前接收到的眼球焦点位置是否与任一预设的集群中心点相匹配(也即重合),当确定该眼球焦点位置与一集群中心点相匹配时,则认为用户已选中了该集群中心点,可通过该集群中心点实现对第一目标集群(也即该集群中心点所属的集群)的控制。后续可基于用户的眼球焦点位置的移动,控制该第一目标集群中的所有无人智能设备平移。具体地,当眼球焦点位置移动时,控制第一目标集群整体平移,使得第一目标集群平移过程中,该集群中心点保持与该眼球焦点位置重合,从而实现集群队形的快速平移变换控制。
以集群旋转点为例,电子设备可以检测当前接收到的眼球焦点位置是否与任一预设的集群旋转点相匹配(也即重合),当确定该眼球焦点位置与一集群旋转点相匹配时,则认为用户已选中了该集群旋转点,可通过该集群旋转点实现对第二目标集群(也即该集群旋转点所属的集群)的控制。后续可基于用户的眼球焦点位置的移动,控制该第二目标集群中的所有无人智能设备旋转。具体地,当眼球焦点位置移动时,可将该第二目标集群的集群中心点作为圆心,控制该第二目标集群整体旋转,使得第二目标集群旋转过程中,该集群旋转点跟随该眼球焦点位置的移动而移动(例如,该集群旋转点保持与该眼球焦点位置重合),从而实现集群队形的快速旋转变换控制。
为避免用户快速转动眼球时,出现眼球焦点位置与集群控制点误匹配的情况,可以在检测到眼球焦点位置与任一集群控制点相匹配时,开始统计匹配持续时长,也即,统计用户是否长久注视该集群控制点。若匹配持续时长超过预设的持续时长阈值,则认为用户确实希望选中该集群控制点,此时才进行后续的操作。反之,若匹配持续时长未超过该持续时长阈值,则认为用户仅仅是瞟了一眼该集群控制点,并不是真的希望选中该集群控制点,此时可忽略眼球焦点位置与该集群控制点的匹配,不进行任何操作。
由上可见,通过本申请实施例,不再需要通过提前写入的编队信息的方式或者通过手指点击或滑动进行指令输入的方式来进行编队控制,而是通过眼动装置来采集人的眼球焦点位置,以此为基础进行编队控制,省去了用户编程的时间及用户手指的操作,简化了编队控制的过程,丰富了编队控制的方式。
对应于上文所提供的编队控制方法,本申请实施例还提供了一种编队控制装置。如图5所示,该编队控制装置500包括:
第一确定模块501,用于基于接收到的眼球焦点位置,确定对应的地理坐标,其中,上述眼球焦点位置由眼动装置采集并发送;
第一检测模块502,用于检测上述地理坐标的连线是否构成封闭区域;
第二确定模块503,用于若上述地理坐标的连线构成封闭区域,则将处于上述封闭区域内的无人智能设备确定为一个集群。
可选地,上述第一确定模块501,包括:
第一转换单元,用于针对接收到的每个眼球焦点位置,将上述眼球焦点位置转换为预设的屏幕坐标系下的屏幕坐标,其中,上述预设的屏幕坐标系基于交互屏幕而设定;
第二转换单元,用于根据上述交互屏幕当前所显示的地图信息,将上述屏幕坐标转换为地理坐标。
可选地,上述第一检测模块502,包括:
连线单元,用于基于各个眼球焦点位置的接收时间由早至晚的顺序,依次将相邻的地理坐标相连,得到至少三条连线,其中,上述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标;
检测单元,用于检测上述至少三条连线中的最后一条连线是否与不相邻的任一其它连线相交,其中,上述最后一条连线为:基于最晚接收的眼球焦点位置所对应的地理坐标所形成的连线;
确定单元,用于若上述最后一条连线与不相邻的任一其它连线相交,则确定构成封闭区域。
可选地,上述编队控制装置500还包括:
筛选模块,用于在上述第一检测模块502检测上述地理坐标的连线是否构成封闭区域之前,对已确定的各个地理坐标进行筛选;
相应地,上述第一检测模块502,具体用于检测筛选后所保留的地理坐标的连线是否构成封闭区域。
可选地,上述筛选模块,包括:
距离检测单元,用于检测第一地理坐标及第二地理坐标所间隔的距离是否小于预设的距离阈值,其中,上述第一地理坐标及上述第二地理坐标构成相邻的地理坐标,上述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标,上述第一地理坐标所对应的眼球焦点位置的接收时间早于上述第二地理坐标所对应的眼球焦点位置的接收时间;
第一剔除单元,用于若上述距离小于上述距离阈值,则将上述第二地理坐标剔除。
可选地,上述筛选模块,包括:
角度检测单元,用于检测第一连线的延长线与第二连线的角度是否小于预设的角度阈值,其中,上述第一连线为第三地理坐标与第四地理坐标的连线,上述第一连线的延长线为以上述第四地理坐标为起点,以上述第三地理坐标向上述第四地理坐标的方向为延长方向所作的延长线,上述第二连线为第四地理坐标与第五地理坐标的连线,上述第三地理坐标及上述第四地理坐标构成相邻的地理坐标,上述第四地理坐标及上述第五地理坐标构成相邻的地理坐标,上述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标,上述第三地理坐标所对应的眼球焦点位置的接收时间早于上述第四地理坐标所对应的眼球焦点位置的接收时间,上述第四地理坐标所对应的眼球焦点位置的接收时间早于上述第五地理坐标所对应的眼球焦点位置的接收时间;
第二剔除单元,用于若上述角度小于上述角度阈值,则将上述第四地理坐标剔除。
可选地,上述编队控制装置500还包括:
第二检测模块,用于检测当前接收到的眼球焦点位置是否与任一预设的集群中心点相匹配;
第三确定模块,用于若上述眼球焦点位置与上述集群中心点相匹配,则将上述集群中心点所对应的集群确定为第一目标集群;
第一控制模块,用于基于上述眼球焦点位置的移动,控制上述第一目标集群中的所有无人智能设备平移。
可选地,上述编队控制装置500还包括:
第三检测模块,用于检测当前接收到的眼球焦点位置是否与任一预设的集群旋转点相匹配;
第四确定模块,用于若上述眼球焦点位置与上述集群旋转点相匹配,则将上述集群旋转点所对应的集群确定为第二目标集群;
第二控制模块,用于基于上述眼球焦点位置的移动,控制上述第二目标集群中的所有无人智能设备旋转。
由上可见,通过本申请实施例,不再需要通过提前写入的编队信息的方式或者通过手指点击或滑动进行指令输入的方式来进行编队控制,而是通过眼动装置来采集人的眼球焦点位置,以此为基础进行编队控制,省去了用户编程的时间及用户手指的操作,简化了编队控制的过程,丰富了编队控制的方式。
对应于上文所提供的编队控制方法,本申请实施例还提供了一种电子设备。请参阅图6,本申请实施例中的电子设备6包括:存储器601,一个或多个处理器602(图6中仅示出一个)及存储在存储器601上并可在处理器上运行的计算机程序。其中:存储器601用于存储软件程序以及单元,处理器602通过运行存储在存储器601的软件程序以及单元,从而执行各种功能应用以及诊断,以获取上述预设事件对应的资源。具体地,处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤:
基于接收到的眼球焦点位置,确定对应的地理坐标,其中,上述眼球焦点位置由眼动装置采集并发送;
检测上述地理坐标的连线是否构成封闭区域;
若上述地理坐标的连线构成封闭区域,则将处于上述封闭区域内的无人智能设备确定为一个集群。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,上述基于接收到的眼球焦点位置,确定对应的地理坐标,包括:
针对接收到的每个眼球焦点位置,将上述眼球焦点位置转换为预设的屏幕坐标系下的屏幕坐标,其中,上述预设的屏幕坐标系基于交互屏幕而设定;
根据上述交互屏幕当前所显示的地图信息,将上述屏幕坐标转换为地理坐标。
在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中,上述检测上述地理坐标的连线是否构成封闭区域,包括:
基于各个眼球焦点位置的接收时间由早至晚的顺序,依次将相邻的地理坐标相连,得到至少三条连线,其中,上述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标;
检测上述至少三条连线中的最后一条连线是否与不相邻的任一其它连线相交,其中,上述最后一条连线为:基于最晚接收的眼球焦点位置所对应的地理坐标所形成的连线;
若上述最后一条连线与不相邻的任一其它连线相交,则确定构成封闭区域。
在上述第一种可能的实施方式作为基础,或者上述第二种可能的实施方式作为基础,或者上述第三种可能的实施方式作为基础而提供的第四种可能的实施方式中,上述检测上述地理坐标的连线是否构成封闭区域,包括:
基于各个眼球焦点位置的接收时间由早至晚的顺序,依次将相邻的地理坐标相连,得到至少三条连线,其中,上述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标;
检测上述至少三条连线中的最后一条连线是否与任一其它连线相交,其中,上述最后一条连线为:基于最晚接收的眼球焦点位置所对应的地理坐标所形成的连线;
若上述最后一条连线与任一其它连线相交,则确定构成封闭区域。
在上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,上述对已确定的各个地理坐标进行筛选,包括:
检测第一地理坐标及第二地理坐标所间隔的距离是否小于预设的距离阈值,其中,上述第一地理坐标及上述第二地理坐标构成相邻的地理坐标,上述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标,上述第一地理坐标所对应的眼球焦点位置的接收时间早于上述第二地理坐标所对应的眼球焦点位置的接收时间;
若上述距离小于预设的距离阈值,则将上述第二地理坐标剔除。
在上述第四种可能的实施方式作为基础而提供的第六种可能的实施方式中,上述对已确定的各个地理坐标进行筛选,包括:
检测第一连线的延长线与第二连线的角度是否小于预设的角度阈值,其中,上述第一连线为第三地理坐标与第四地理坐标的连线,上述第一连线的延长线为以上述第四地理坐标为起点,以上述第三地理坐标向上述第四地理坐标的方向为延长方向所作的延长线,上述第二连线为第四地理坐标与第五地理坐标的连线,上述第三地理坐标及上述第四地理坐标构成相邻的地理坐标,上述第四地理坐标及上述第五地理坐标构成相邻的地理坐标,上述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标,上述第三地理坐标所对应的眼球焦点位置的接收时间早于上述第四地理坐标所对应的眼球焦点位置的接收时间,上述第四地理坐标所对应的眼球焦点位置的接收时间早于上述第五地理坐标所对应的眼球焦点位置的接收时间;
若上述角度小于上述角度阈值,则将上述第四地理坐标剔除。
在上述第一种可能的实施方式作为基础,或者上述第二种可能的实施方式作为基础,或者上述第三种可能的实施方式作为基础而提供的第七种可能的实施方式中,处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤:
检测当前接收到的眼球焦点位置是否与任一预设的集群中心点相匹配;
若上述眼球焦点位置与上述集群中心点相匹配,则将上述集群中心点所对应的集群确定为第一目标集群;
基于上述眼球焦点位置的移动,控制上述第一目标集群中的所有无人智能设备平移。
在上述第一种可能的实施方式作为基础,或者上述第二种可能的实施方式作为基础,或者上述第三种可能的实施方式作为基础而提供的第八种可能的实施方式中,处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤:
检测当前接收到的眼球焦点位置是否与任一预设的集群旋转点相匹配;
若上述眼球焦点位置与上述集群旋转点相匹配,则将上述集群旋转点所对应的集群确定为第二目标集群;
基于上述眼球焦点位置的移动,控制上述第二目标集群中的所有无人智能设备旋转。
应当理解,在本申请实施例中,所称处理器602可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器601可以包括只读存储器和随机存取存储器,并向处理器602提供指令和数据。存储器601的一部分或全部还可以包括非易失性随机存取存储器。例如,存储器601还可以存储设备类别的信息。
由上可见,通过本申请实施例,不再需要通过提前写入的编队信息的方式或者通过手指点击或滑动进行指令输入的方式来进行编队控制,而是通过眼动装置来采集人的眼球焦点位置,以此为基础进行编队控制,省去了用户编程的时间及用户手指的操作,简化了编队控制的过程,丰富了编队控制的方式。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关联的硬件来完成,上述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (9)

1.一种编队控制方法,其特征在于,包括:
基于接收到的眼球焦点位置,确定对应的地理坐标,其中,所述眼球焦点位置由眼动装置采集并发送;
检测所述地理坐标的连线是否构成封闭区域;
若所述地理坐标的连线构成封闭区域,则将处于所述封闭区域内的无人智能设备确定为一个集群;
所述编队控制方法还包括:
检测当前接收到的眼球焦点位置是否与任一预设的集群中心点重合;
若所述眼球焦点位置与所述集群中心点重合,则将所述集群中心点所对应的集群确定为第一目标集群;
基于所述眼球焦点位置的移动,控制所述第一目标集群中的所有无人智能设备平移,使得所述第一目标集群平移过程中,所述集群中心点保持与所述眼球焦点位置重合。
2.如权利要求1所述的编队控制方法,其特征在于,所述基于接收到的眼球焦点位置,确定对应的地理坐标,包括:
针对接收到的每个眼球焦点位置,将所述眼球焦点位置转换为预设的屏幕坐标系下的屏幕坐标,其中,所述预设的屏幕坐标系基于交互屏幕而设定;
根据所述交互屏幕当前所显示的地图信息,将所述屏幕坐标转换为地理坐标。
3.如权利要求1所述的编队控制方法,其特征在于,所述检测所述地理坐标的连线是否构成封闭区域,包括:
基于各个眼球焦点位置的接收时间由早至晚的顺序,依次将相邻的地理坐标相连,得到至少三条连线,其中,所述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标;
检测所述至少三条连线中的最后一条连线是否与不相邻的任一其它连线相交,其中,所述最后一条连线为:基于最晚接收的眼球焦点位置所对应的地理坐标所形成的连线;
若所述最后一条连线与不相邻的任一其它连线相交,则确定构成封闭区域。
4.如权利要求1至3任一项所述的编队控制方法,其特征在于,在所述检测所述地理坐标的连线是否构成封闭区域之前,所述编队控制方法还包括:
对已确定的各个地理坐标进行筛选;
相应地,所述检测所述地理坐标的连线是否构成封闭区域,包括:
检测筛选后所保留的地理坐标的连线是否构成封闭区域。
5.如权利要求4所述的编队控制方法,其特征在于,所述对已确定的各个地理坐标进行筛选,包括:
检测第一地理坐标及第二地理坐标所间隔的距离是否小于预设的距离阈值,其中,所述第一地理坐标及所述第二地理坐标构成相邻的地理坐标,所述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标,所述第一地理坐标所对应的眼球焦点位置的接收时间早于所述第二地理坐标所对应的眼球焦点位置的接收时间;
若所述距离小于所述距离阈值,则将所述第二地理坐标剔除。
6.如权利要求4所述的编队控制方法,其特征在于,所述对已确定的各个地理坐标进行筛选,包括:
检测第一连线的延长线与第二连线的角度是否小于预设的角度阈值,其中,所述第一连线为第三地理坐标与第四地理坐标的连线,所述第一连线的延长线为以所述第四地理坐标为起点,以所述第三地理坐标向所述第四地理坐标的方向为延长方向所作的延长线,所述第二连线为第四地理坐标与第五地理坐标的连线,所述第三地理坐标及所述第四地理坐标构成相邻的地理坐标,所述第四地理坐标及所述第五地理坐标构成相邻的地理坐标,所述相邻的地理坐标为对应的眼球焦点位置的接收时间相邻的地理坐标,所述第三地理坐标所对应的眼球焦点位置的接收时间早于所述第四地理坐标所对应的眼球焦点位置的接收时间,所述第四地理坐标所对应的眼球焦点位置的接收时间早于所述第五地理坐标所对应的眼球焦点位置的接收时间;
若所述角度小于所述角度阈值,则将所述第四地理坐标剔除。
7.如权利要求1至3任一项所述的编队控制方法,其特征在于,所述编队控制方法还包括:
检测当前接收到的眼球焦点位置是否与任一预设的集群旋转点相匹配;
若所述眼球焦点位置与所述集群旋转点相匹配,则将所述集群旋转点所对应的集群确定为第二目标集群;
基于所述眼球焦点位置的移动,控制所述第二目标集群中的所有无人智能设备旋转。
8.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202110744987.8A 2021-06-30 2021-06-30 一种编队控制方法、电子设备及存储介质 Active CN113419631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110744987.8A CN113419631B (zh) 2021-06-30 2021-06-30 一种编队控制方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110744987.8A CN113419631B (zh) 2021-06-30 2021-06-30 一种编队控制方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113419631A CN113419631A (zh) 2021-09-21
CN113419631B true CN113419631B (zh) 2022-08-09

Family

ID=77719951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110744987.8A Active CN113419631B (zh) 2021-06-30 2021-06-30 一种编队控制方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113419631B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825076A (zh) * 2019-09-26 2020-02-21 东南大学 基于视线和力反馈的移动机器人编队导航半自主控制方法
CN111736691A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质
CN112860059A (zh) * 2021-01-08 2021-05-28 广州朗国电子科技有限公司 一种基于眼球追踪的图像识别方法、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015183208A1 (en) * 2014-05-30 2015-12-03 Koç Üniversitesi Gaze based prediction device and method
CN105892642A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种根据眼部动作对终端进行控制的方法及装置
CN105677026B (zh) * 2015-12-31 2020-01-31 联想(北京)有限公司 信息处理方法及电子设备
CN105824410B (zh) * 2016-02-22 2017-09-15 维沃移动通信有限公司 一种自动滚屏阅读方法及移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825076A (zh) * 2019-09-26 2020-02-21 东南大学 基于视线和力反馈的移动机器人编队导航半自主控制方法
CN111736691A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质
CN112860059A (zh) * 2021-01-08 2021-05-28 广州朗国电子科技有限公司 一种基于眼球追踪的图像识别方法、设备及存储介质

Also Published As

Publication number Publication date
CN113419631A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
US10970854B2 (en) Visual target tracking method and apparatus based on deep adversarial training
US20180079427A1 (en) Gesture based control of autonomous vehicles
WO2020237921A1 (zh) 一种人眼追踪方法、装置、系统、设备和存储介质
US8781987B1 (en) Decision making using algorithmic or programmatic analysis
CN102483650A (zh) 通过眼睛控制和合适的交互方法使用通用软件应用的方法及装置
CN108763394A (zh) 面向协同交互的多用户眼动跟踪数据可视化方法和系统
CN107450586A (zh) 航路的调整方法和系统以及无人机系统
CN116030512B (zh) 注视点检测方法及装置
WO2024037299A1 (zh) 定位方法、装置、机器人和存储介质
CN113419631B (zh) 一种编队控制方法、电子设备及存储介质
CN112965592A (zh) 设备交互方法、装置及系统
CN114092985A (zh) 一种终端控制方法、装置、终端及存储介质
CN110435539A (zh) 一种平视显示器的图像显示方法和平视显示系统
CN104898823A (zh) 控制视标运动的方法和装置
WO2019246613A1 (en) Method and system for performing eye tracking using an off-axis camera
EP3805985A1 (en) Method and apparatus for recognizing target object, electronic device and storage medium
CN111399533A (zh) 异构多无人机协同任务分配与路径优化方法
CN109933203A (zh) 一种基于计算机视觉手势的液压挖掘机控制方法及系统
CN108536279A (zh) 在vr环境中基于头部运动进行数值调节的方法及系统
CN110018733A (zh) 确定用户触发意图的方法、设备和存储器设备
CN111854751B (zh) 导航目标位置确定方法、装置、可读存储介质及机器人
CN110503594B (zh) 视频跟踪装置、方法、系统和视频跟踪设备
CN115016448B (zh) 一种车辆控制方法、装置、车载终端、车辆及介质
CN109469969A (zh) 一种基于语音空调的环境修正方法及装置
CN109753140A (zh) 基于虚拟现实的操作指令获取方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant