CN115473972B - 飞行演训系统及多画面同步方法 - Google Patents
飞行演训系统及多画面同步方法 Download PDFInfo
- Publication number
- CN115473972B CN115473972B CN202211341347.3A CN202211341347A CN115473972B CN 115473972 B CN115473972 B CN 115473972B CN 202211341347 A CN202211341347 A CN 202211341347A CN 115473972 B CN115473972 B CN 115473972B
- Authority
- CN
- China
- Prior art keywords
- aircraft models
- displacement
- queue
- signals
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000006073 displacement reaction Methods 0.000 claims abstract description 79
- 230000001360 synchronised effect Effects 0.000 claims abstract description 70
- 239000011521 glass Substances 0.000 claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 12
- 150000001875 compounds Chemical class 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 abstract description 4
- 230000016776 visual perception Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000005553 drilling Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及图像通信技术领域，尤其涉及一种飞行演训系统及多画面同步方法，本发明方法首先获取获取多个操纵信号；然后，将所述多个操纵信号根据与所述多个飞行器模型的对应性，加入到多个位移队列中；接着，根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段；最后，根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包。本发明实施方式基于时延一致性，保证视觉感受不受影响的同时，截取操纵信号数据，对多个飞行器模型进行再现，保证了多个AR眼镜图像同步。
Description
技术领域
本发明涉及图像通信技术领域，尤其涉及一种飞行演训系统及多画面同步方法。
背景技术
飞行员在执行预定任务前，通常会进行地面演练，以期在执行任务时能够进行准确编队，达到预期的演练效果。
现有技术中，地面演练是多个飞行员手持木质飞机模型，在假象空间内，按照预定的程序，执行各种飞行动作，由于考虑到彼此之间的配合关系，在演练时，往往不过多考虑外在因素给任务执行带来的影响。即便经验丰富的飞行员通过所谓“脑补”地形的方式，考虑地形对任务执行的影响，也往往会忽略诸如天气、能见度、云量等随机性因素在实际任务执行时带来的不确定性，进而导致地面演练与实际执行任务时的场景存在较大的差异。
一种可以解决上述问题的技术方案是采用数字化虚拟场景技术，例如，采用AR技术（增强现实，Augmented Reality)），搭建接近真实环境的虚拟空间，飞行员在虚拟的空间内，操纵飞机模型进行飞行前的地面演练。
然而，采用数字化虚拟场景进行演练时，由于数据传输的延迟性，遇到的最大的问题是如何使得多个飞机模型在复杂多变的虚拟场景中，准确同步多个飞机模型的飞行画面。
基于此，需要开发设计出一种飞行演训系统及多画面同步方法。
发明内容
本发明实施方式提供了一种飞行演训系统及多画面同步方法，用于解决现有技术中采用虚拟场景演练时画面不同步的问题。
第一方面，本发明实施方式提供了一种飞行演训系统，包括：服务器以及多个AR眼镜；
所述服务器与所述多个AR眼镜信号连接；
所述服务器生成演训场景以及与多个飞行器模型；
所述多个AR眼镜显示所述多个飞行器模型，以及，获取操纵所述多个飞行器模型的多个操纵信号；
所述服务器根据所述演训场景以及所述多个操纵信号，生成指示画面同步的同步信号；
所述多个AR 眼镜根据所述同步信号，将所述多个飞行器模型融入至所述演训场景后进行再现。
第二方面，本发明实施方式提供了一种多画面同步方法，应用于如第一方面飞行演训系统的服务器，所述多画面同步方法包括：
获取多个操纵信号，其中，所述多个操纵信号与多个飞行器模型相对应，所述多个操纵信号指示所述多个飞行器模型相对前一时间节点的位移；
将所述多个操纵信号根据与所述多个飞行器模型的对应性，加入到多个位移队列中，其中，所述多个位移队列与所述多个飞行器模型相对应；
根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，其中，所述多个同步数据段与所述多个飞行器模型相对应；
根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包。
在一种可能实现的方式中，操纵信号包括有时间戳，所述根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，包括：
获取当前时间；
从所述多个位移队列中分别提取多个时间戳，其中，所述多个时间戳与所述多个位移队列相对应，时间戳基于位移队列中最末位的操纵信号获取；
根据所述多个时间戳与所述当前时间，确定多个时间差；
若位移队列的时间差小于或等于所述第一预设时延，则根据所述第一预设时延以及所述当前时间从所述多个位移队列中提取数据段作为所述多个同步数据段；
否则，对于时间差大于所述第一预设时延的位移队列，基于位移队列中的多个操纵信号生成预测操纵信号，以及，将所述预测操纵信号和从多个预测位移队列中提取的数据段作为同步数据段。
在一种可能实现的方式中，所述基于位移队列中的多个操纵信号生成预测操纵信号包括：
确定生成所述预测操纵信号的数量；
根据所述生成所述预测操纵信号的数量以及位移队列，提取历史队列，其中，历史队列用于生成预测操纵信号；
根据历史队列以及第一公式，确定第一预测系数以及第二预测系数，其中，所述第一公式为：
式中，
为基于第
个历史队列的第一预测系数，
为基于第
个历史队列的第二
预测系数，
为基于第
个历史队列的第一中间矩阵，
为基于第
个历史队列的第一向量
矩阵，
为基于第
个历史队列中的第
个元素，
为第
个均值变量，
为第
个历史队列中的元素总数量；
根据所述第一预测系数、所述第二预测系数、所述历史队列以及第二公式，确定所述预测操纵信号，其中，所述第二公式为：
式中，
为基于第
个历史队列生成的预测操纵信号，
为自然常数。
在一种可能实现的方式中，所述根据所述生成所述预测操纵信号的数量以及位移队列，提取历史队列，包括：
根据目标预测操纵信号与所述位移队列中最末位的操纵信号，确定位序差，其中，所述目标预测操纵信号为待生成的预测操作信号，所述位序差为所述目标预测信号加入到同步数据段时的位置与所述位移队列中最末位的操纵信号加入到同步数据段时的位置的差；
按照所述位序差从所述位移队列中依次取出多个操纵信号，并将所述取出的多个操纵信号按照与取出顺序相反的顺序排列，获得历史队列。
在一种可能实现的方式中，所述根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包，包括：
获取同步数据段的采样间隔；
根据所述采样间隔、所述多个同步数据段以及第三公式，确定不同时间节点所述多个飞行器模型在演训场景中的坐标，其中，所述第三公式为：
式中，
为第
时间节点第
个飞行器模型在演训场景中的坐标，
为采样
间隔，
为第
个同步数据段中对应第
时间节点的元素，
为演训开
始前第
个飞行器模型在演训场景中的坐标，
为演训开始后的第一个时间节点；
将不同时间节点所述多个飞行器模型在演训场景中的坐标以及所述不同时间节点的时刻加入到同步数据包。
第三方面，本发明实施方式提供了一种多画面同步方法，应用于如第一方面飞行演训系统的AR眼镜，所述多画面同步方法包括：
获取指示所述多个飞行器模型在演训场景中坐标的同步数据包；
对所述数据包进行解析，获得不同时间节点所述多个飞行器模型在演训场景中的坐标；
根据当前时间以及第二预设时延，确定目标时间节点，其中，所述目标时间节点为所述AR眼镜再现飞行演训图像的时间节点；
根据所述目标时间节点，获取所述多个飞行器模型在演训场景中的坐标；
根据所述多个飞行器模型在演训场景中的坐标将所述多个飞行器模型融入至演训场景中进行再现。
第四方面，本发明实施方式提供了一种多画面同步装置，用于实现如上第二方面或第二方面的任一种可能的实现方式所述的多画面同步方法，所述多画面同步装置包括：
操纵信号获取模块，用于获取多个操纵信号，其中，所述多个操纵信号与多个飞行器模型相对应，所述多个操纵信号指示所述多个飞行器模型相对前一时间节点的位移；
位移队列更新模块，用于将所述多个操纵信号根据与所述多个飞行器模型的对应性，加入到多个位移队列中，其中，所述多个位移队列与所述多个飞行器模型相对应；
同步数据段提取模块，用于根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，其中，所述多个同步数据段与所述多个飞行器模型相对应；
以及，
同步数据包生成模块，用于根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包。
第五方面，本发明实施方式提供了一种电子设备，包括存储器以及处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第二方面、第二方面的任一种可能的实现方式、第三方面或第三方面的任一种可能的实现方式所述方法的步骤。
第六方面，本发明实施方式提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第二方面、第二方面的任一种可能的实现方式、第三方面或第三方面的任一种可能的实现方式所述方法的步骤。
本发明实施方式与现有技术相比存在的有益效果是：
本发明实施方式，包括有多个AR眼镜以及服务器，通过构建虚拟的演训场景，模拟飞行，可以虚拟场景中可以加入地形、地貌、云、雨、雪，还可以控制可见度，在虚拟场景下进行演训，可以进行近似真实场景的再现，在演训过程中发现任务执行时可能面对的各种问题，本发明实施方式，通过将数据传送到服务器，服务器根据预定的延时条件，输出同步的数据，保证了各个AR眼镜在演练时画面的同步。
本发明多画面同步方法实施方式，其首先获取获取多个操纵信号，其中，所述多个操纵信号与多个飞行器模型相对应，所述多个操纵信号指示所述多个飞行器模型相对前一时间节点的位移；然后，将所述多个操纵信号根据与所述多个飞行器模型的对应性，加入到多个位移队列中，其中，所述多个位移队列与所述多个飞行器模型相对应；接着，根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，其中，所述多个同步数据段与所述多个飞行器模型相对应；最后，根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包。本发明实施方式基于时延一致性，保证视觉感受不受影响的同时，截取操纵信号数据，对多个飞行器模型进行再现，保证了多个AR眼镜图像同步。
本发明实施方式，还在时延影响操纵飞行器模型的一致性时，通过补足数据的方式，对延迟的数据进行补足，并在AR眼镜端，通过统一的时延设定，同步显示的画面，因此，画面显示的一致性高，演训效果好。
附图说明
为了更清楚地说明本发明实施方式中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施方式提供的飞行演训系统的原理图；
图2是本发明实施方式提供的服务器端应用的多画面同步方法的流程图；
图3是本发明实施方式提供的同步数据段获取方式过程原理图；
图4是本发明实施方式提供的历史队列提取过程原理图；
图5是本发明实施方式提供的AR端应用的多画面同步方法的流程图；
图6是本发明实施方式提供的多画面同步装置功能框图；
图7是本发明实施方式提供的电子设备功能框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施方式。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施方式中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施方式来进行说明。
下面对本发明的实施例作详细说明，本实例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
图1为本发明实施方式提供的飞行演训系统的原理图。
第一方面，本发明实施方式提供了一种飞行演训系统，包括：服务器101以及多个AR眼镜102；
所述服务器101与所述多个AR眼镜102信号连接；
所述服务器101生成演训场景以及与多个飞行器模型；
所述多个AR眼镜102显示所述多个飞行器模型，以及，获取操纵所述多个飞行器模型的多个操纵信号；
所述服务器101根据所述演训场景以及所述多个操纵信号，生成指示画面同步的同步信号；
所述多个AR 眼镜根据所述同步信号，将所述多个飞行器模型融入至所述演训场景后进行再现。
示例性地，如图1所示，一种飞行演训系统中，包括有服务器101以及与服务器101通信连接的多个AR眼镜102，服务器101为多个AR眼镜102搭建演训场景的同时，还构建了与多个AR眼镜102相对应的多个飞行器模型。
在任务分配上，AR眼镜102负责根据演训场景中提取飞行器模型的操纵信号，服务器101根据操纵信号，由于人眼有视觉暂留的效果，因此在保证延时率的前提下，例如延时为30毫秒，提供画面同步信号，此时可以理解为这个画面同步信号是30毫秒之前的图像信号，基于这个同步信号，AR眼镜102根据同步信号在保证时间一致性的前提下将飞行器模型融入到演训场景后进行再现。
在多个AR眼镜102进行画面同步的方法上，第二方面以及第三方面分别进行了论述。
本发明实施方式，包括有多个AR眼镜以及服务器，通过构建虚拟的演训场景，模拟飞行，可以虚拟场景中可以加入地形、地貌、云、雨、雪，还可以控制可见度，在虚拟场景下进行演训，可以进行近似真实场景的再现，在演训过程中发现任务执行时可能面对的各种问题，本发明实施方式，通过将数据传送到服务器，服务器根据预定的延时条件，输出同步的数据，保证了各个AR眼镜在演练时画面的同步。
图2为本发明实施方式提供的服务器端应用的多画面同步方法的流程图。
如图2所示，其示出了本发明实施方式提供的服务器端应用的多画面同步方法的实现流程图，详述如下：
在步骤201中，获取多个操纵信号，其中，所述多个操纵信号与多个飞行器模型相对应，所述多个操纵信号指示所述多个飞行器模型相对前一时间节点的位移；
在步骤202中，将所述多个操纵信号根据与所述多个飞行器模型的对应性，加入到多个位移队列中，其中，所述多个位移队列与所述多个飞行器模型相对应；
在步骤203中，根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，其中，所述多个同步数据段与所述多个飞行器模型相对应。
在一些实施方式中，操纵信号包括有时间戳，所述步骤203包括：
获取当前时间；
从所述多个位移队列中分别提取多个时间戳，其中，所述多个时间戳与所述多个位移队列相对应，时间戳基于位移队列中最末位的操纵信号获取；
根据所述多个时间戳与所述当前时间，确定多个时间差；
若位移队列的时间差小于或等于所述第一预设时延，则根据所述第一预设时延以及所述当前时间从所述多个位移队列中提取数据段作为所述多个同步数据段；
否则，对于时间差大于所述第一预设时延的位移队列，基于位移队列中的多个操纵信号生成预测操纵信号，以及，将所述预测操纵信号和从多个预测位移队列中提取的数据段作为同步数据段。
在一些实施方式中，所述基于位移队列中的多个操纵信号生成预测操纵信号包括：
确定生成所述预测操纵信号的数量；
根据所述生成所述预测操纵信号的数量以及位移队列，提取历史队列，其中，历史队列用于生成预测操纵信号；
根据历史队列以及第一公式，确定第一预测系数以及第二预测系数，其中，所述第一公式为：
式中，
为基于第
个历史队列的第一预测系数，
为基于第
个历史队列的第二
预测系数，
为基于第
个历史队列的第一中间矩阵，
为基于第
个历史队列的第一向量
矩阵，
为基于第
个历史队列中的第
个元素，
为第
个均值变量，
为第
个历史队列中的元素总数量；
根据所述第一预测系数、所述第二预测系数、所述历史队列以及第二公式，确定所述预测操纵信号，其中，所述第二公式为：
式中，
为基于第
个历史队列生成的预测操纵信号，
为自然常数。
在一些实施方式中，所述根据所述生成所述预测操纵信号的数量以及位移队列，提取历史队列，包括：
根据目标预测操纵信号与所述位移队列中最末位的操纵信号，确定位序差，其中，所述目标预测操纵信号为待生成的预测操作信号，所述位序差为所述目标预测信号加入到同步数据段时的位置与所述位移队列中最末位的操纵信号加入到同步数据段时的位置的差；
按照所述位序差从所述位移队列中依次取出多个操纵信号，并将所述取出的多个操纵信号按照与取出顺序相反的顺序排列，获得历史队列。
示例性地，在通过AR眼镜搭建虚拟场景对飞行进行演戏训练时，一个需要注意的点是需要多个AR眼镜显示的图像应当一致，也就是画面需要同步。然而受制于实际情况，例如网络延迟等等因素，如图3所示，从多个AR眼镜接收的操纵信号数据301延迟并不相同，对于中间一行的操纵信号数据301，其延时很小，而对于最下一行的操纵信号数据301，就有一个延迟，而对于最上面一行的操纵信号数据301，延迟则更为严重。
事实上，轻微延迟并不影响人的感官，例如，最下一行的延迟为d1，其是可接受的水平，而对于最上一行的延迟，显然是延迟过多，如果将上述三个数据分别发送到AR眼镜上，则使得操纵的飞机模型的位置和显示的飞机模型的位置不一致，直接影响训练的结果。
因此，有必要采取措施，使得延迟控制在可控的水平，例如，如图3所示，一种实施方式中可以通过往期数据对未来的情况作出合理的预测，生成预测的数据302，将预测的数据302作为弥补延迟的方式。
基于此，一种画面同步方法种，首先获取多个操纵信号，这些操纵信号从多个AR眼镜中获取，指示的是相对于前一时间节点飞行器模型相对前一时间节点的位移，时间节点在一些应用场景中是指AR眼镜通过采样的方式获取操纵信号时，采样的时间点。
然后，将多个操纵信号按照与飞行器模型的对应性，将多个操纵信号加入到相应的队列中，队列中的操纵信号按照时间节点的先后排列。
接着，根据当前时间，可接受的预设时延，从多个位移队列中获取同步数据段。预设时延是指不影响人的感官的延时，例如如图3所示，当前时刻为T(n)，而可以接受的延时为d1，而由于需要对操纵信号进行处理后，方可确定多个飞行器模型的坐标，因此，对于每个队列需要确定多个操纵信号数据，如图3所示，这个数据量为K。
事实上，队列中的每个数据都有一个时间戳，表明这个数据被采样的时间。而确定队列的延迟是否接受就是通过队列中最末位数据的时间戳与当前的时间的偏差确定的。
如果多个对了的这个时间偏差都是可以接受的，那么就通过按照可接受的延迟水平的时间节点进行数据截取，否则，对于时间差大于预设时延的队列，就需要生成预测操纵信号，对队列进行补足。
补足前，需要确定生成预测操纵信号的数量，之所以这么操作，是因为预测操纵信号与最末尾数据的间隔，确定了提取历史队列方式的不同。
所谓历史队列，是指从现有的队列中抽取的部分数据。当提取了历史队列，就可以按照第一公式获取两个预测系数，第一公式为：
式中，
为基于第
个历史队列的第一预测系数，
为基于第
个历史队列的第二
预测系数，
为基于第
个历史队列的第一中间矩阵，
为基于第
个历史队列的第一向量
矩阵，
为基于第
个历史队列中的第
个元素，
为第
个均值变量，
为第
个历史队列中的元素总数量；
在获取了两个预测系数后，就可以通过第二公式确定预测操纵信号：
式中，
为基于第
个历史队列生成的预测操纵信号，
为自然常数。
事实上，对于不同的需要补足的数据，其抽取历史队列的方式是不同的，之所以实现不同的抽取方式，是因为，如果对于靠近位移队列末位的数据，例如图4中的第一预测操纵信号3021，其要尽量从靠近位移队列最末位的位置进行抽取，图4中标有上箭头的数据被抽取为对应第一预测操纵信号3021的历史队列，从而实现短期内的预测。而对于远离位移队列末位的数据，例如图4中的第二预测操纵信号3022，其尽量要抽取一个较长时间段的数据，然而，如果依次进行抽取的话，显然抽取的数据量会过大，造成数据计算上的负担，因此，本发明实施方式中，按照第二预测操纵信号3022与位移队列最末位数据的间隔进行抽取，例如，图4中，标有下箭头的数据被抽取为对应第二预测操纵信号3022的历史队列，从而保证精度的同时，降低数据抽取的数量，减少计算的负担。
在步骤204中，根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包。
在一些实施方式中，步骤204包括：
获取同步数据段的采样间隔；
根据所述采样间隔、所述多个同步数据段以及第三公式，确定不同时间节点所述多个飞行器模型在演训场景中的坐标，其中，所述第三公式为：
式中，
为第
时间节点第
个飞行器模型在演训场景中的坐标，
为采样
间隔，
为第
个同步数据段中对应第
时间节点的元素，
为演训开
始前第
个飞行器模型在演训场景中的坐标，
为演训开始后的第一个时间节点；
将不同时间节点所述多个飞行器模型在演训场景中的坐标以及所述不同时间节点的时刻加入到同步数据包。
示例性地，在获取到同步数据段后，就可以按照采样的时间间隔和第三公式确定多个飞行器模型的坐标，第三公式：
式中，
为第
时间节点第
个飞行器模型在演训场景中的坐标，
为采样
间隔，
为第
个同步数据段中对应第
时间节点的元素，
为演训开
始前第
个飞行器模型在演训场景中的坐标，
为演训开始后的第一个时间节点。
将多个飞行器模型在多个时间点的坐标加入到同步数据包中，通过广播的方式发送到各个AR眼镜中，通过AR眼镜对同步数据包的解析，同步飞行器模型的坐标。
如图5所示，本发明第三方面公开了一种应用于AR眼镜的多画面同步方法，包括：
获取指示所述多个飞行器模型在演训场景中坐标的同步数据包；
对所述数据包进行解析，获得不同时间节点所述多个飞行器模型在演训场景中的坐标；
根据当前时间以及第二预设时延，确定目标时间节点，其中，所述目标时间节点为所述AR眼镜再现飞行演训图像的时间节点；
根据所述目标时间节点，获取所述多个飞行器模型在演训场景中的坐标；
根据所述多个飞行器模型在演训场景中的坐标将所述多个飞行器模型融入至演训场景中进行再现。
示例性地，事实上，AR眼镜接收同步数据包后的时刻的不同，也会导致一定程度的延迟，因此，本发明实施方式在，AR眼镜在接收到数据包后，对数据包解析获得多个飞行器模型在不同时间点的坐标后，还会根据当前时间和第二预设时延，从数据包中选取应当展现时刻的多个飞行器模型的坐标，将多个飞行器模型融入到演训场景中进行再现。
本发明多画面同步方法实施方式，其首先获取获取多个操纵信号，其中，所述多个操纵信号与多个飞行器模型相对应，所述多个操纵信号指示所述多个飞行器模型相对前一时间节点的位移；然后，将所述多个操纵信号根据与所述多个飞行器模型的对应性，加入到多个位移队列中，其中，所述多个位移队列与所述多个飞行器模型相对应；接着，根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，其中，所述多个同步数据段与所述多个飞行器模型相对应；最后，根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包。本发明实施方式基于时延一致性，保证视觉感受不受影响的同时，截取操纵信号数据，对多个飞行器模型进行再现，保证了多个AR眼镜图像同步。
本发明实施方式，还在时延影响操纵飞行器模型的一致性时，通过补足数据的方式，对延迟的数据进行补足，并在AR眼镜端，通过统一的时延设定，同步显示的画面，因此，画面显示的一致性高，演训效果好。
应理解，上述实施方式中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施方式的实施过程构成任何限定。
以下为本发明的装置实施方式，对于其中未详尽描述的细节，可以参考上述对应的方法实施方式。
图6是本发明实施方式提供的多画面同步装置功能框图，参照图6，多画面同步装置6包括：操纵信号获取模块601、位移队列更新模块602、同步数据段提取模块603以及同步数据包生成模块604，其中：
操纵信号获取模块601，用于获取多个操纵信号，其中，所述多个操纵信号与多个飞行器模型相对应，所述多个操纵信号指示所述多个飞行器模型相对前一时间节点的位移；
位移队列更新模块602，用于将所述多个操纵信号根据与所述多个飞行器模型的对应性，加入到多个位移队列中，其中，所述多个位移队列与所述多个飞行器模型相对应；
同步数据段提取模块603，用于根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，其中，所述多个同步数据段与所述多个飞行器模型相对应；
同步数据包生成模块604，用于根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包。
图7是本发明实施方式提供的电子设备的功能框图。如图7所示，该实施方式的电子设备7包括：处理器700和存储器701，所述存储器701中存储有可在所述处理器700上运行的计算机程序702。所述处理器700执行所述计算机程序702时实现上述各个多画面同步方法及实施方式中的步骤，例如图2所示的步骤201至步骤204。
示例性的，所述计算机程序702可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器701中，并由所述处理器700执行，以完成本发明。
所述电子设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备7可包括，但不仅限于，处理器700、存储器701。本领域技术人员可以理解，图7仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备7还可以包括输入输出设备、网络接入设备、总线等。
所称处理器700可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器701可以是所述电子设备7的内部存储单元，例如电子设备7的硬盘或内存。所述存储器701也可以是所述电子设备7的外部存储设备，例如所述电子设备7上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器701还可以既包括所述电子设备7的内部存储单元也包括外部存储设备。所述存储器701用于存储所述计算机程序702以及所述电子设备7所需的其他程序和数据。所述存储器701还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施方式中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再赘述。
在上述实施方式中，对各个实施方式的描述都各有侧重，某个实施方式中没有详述或记载的部分，可以参见其它实施方式的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施方式描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施方式中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施方式方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法及装置实施方式的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。
以上所述实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (9)
1.一种多画面同步方法，其特征在于，应用于飞行演训系统的服务器，其中，所述飞行演训系统包括：服务器以及多个AR眼镜；
所述服务器与所述多个AR眼镜信号连接；
所述服务器生成演训场景以及与多个飞行器模型；
所述多个AR眼镜显示所述多个飞行器模型，以及，获取操纵所述多个飞行器模型的多个操纵信号；
所述服务器根据所述演训场景以及所述多个操纵信号，生成指示画面同步的同步信号；
所述多个AR眼镜根据所述同步信号，将所述多个飞行器模型融入至所述演训场景后进行再现；
所述多画面同步方法包括：
获取多个操纵信号，其中，所述多个操纵信号与多个飞行器模型相对应，所述多个操纵信号指示所述多个飞行器模型相对前一时间节点的位移；
将所述多个操纵信号根据与所述多个飞行器模型的对应性，加入到多个位移队列中，其中，所述多个位移队列与所述多个飞行器模型相对应；
根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，其中，所述多个同步数据段与所述多个飞行器模型相对应；
根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包。
2.根据权利要求1所述的多画面同步方法，其特征在于，操纵信号包括有时间戳，所述根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，包括：
获取当前时间；
从所述多个位移队列中分别提取多个时间戳，其中，所述多个时间戳与所述多个位移队列相对应，时间戳基于位移队列中最末位的操纵信号获取；
根据所述多个时间戳与所述当前时间，确定多个时间差；
若位移队列的时间差小于或等于所述第一预设时延，则根据所述第一预设时延以及所述当前时间从所述多个位移队列中提取数据段作为所述多个同步数据段；
否则，对于时间差大于所述第一预设时延的位移队列，基于位移队列中的多个操纵信号生成预测操纵信号，以及，将所述预测操纵信号和从多个位移队列中提取的数据段作为同步数据段。
3.根据权利要求2所述的多画面同步方法，其特征在于，所述基于位移队列中的多个操纵信号生成预测操纵信号包括：
确定生成所述预测操纵信号的数量；
根据所述生成所述预测操纵信号的数量以及位移队列，提取历史队列，其中，历史队列用于生成预测操纵信号；
根据历史队列以及第一公式，确定第一预测系数以及第二预测系数，其中，所述第一公式为：
式中，αi为基于第i个历史队列的第一预测系数，βi为基于第i个历史队列的第二预测系数，Bi为基于第i个历史队列的第一中间矩阵，Yi为基于第i个历史队列的第一向量矩阵，
为基于第i个历史队列中的第j个元素，
为第k个均值变量，n为第i个历史队列中的元素总数量；
根据所述第一预测系数、所述第二预测系数、所述历史队列以及第二公式，确定所述预测操纵信号，其中，所述第二公式为：
式中，
为基于第i个历史队列生成的预测操纵信号，e为自然常数。
4.根据权利要求3所述的多画面同步方法，其特征在于，所述根据所述生成所述预测操纵信号的数量以及位移队列，提取历史队列，包括：
根据目标预测操纵信号与所述位移队列中最末位的操纵信号，确定位序差，其中，所述目标预测操纵信号为待生成的预测操作信号，所述位序差为所述目标预测信号加入到同步数据段时的位置与所述位移队列中最末位的操纵信号加入到同步数据段时的位置的差；
按照所述位序差从所述位移队列中依次取出多个操纵信号，并将所述取出的多个操纵信号按照与取出顺序相反的顺序排列，获得历史队列。
5.根据权利要求1-4任一项所述的多画面同步方法，其特征在于，所述根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包，包括：
获取同步数据段的采样间隔；
根据所述采样间隔、所述多个同步数据段以及第三公式，确定不同时间节点所述多个飞行器模型在演训场景中的坐标，其中，所述第三公式为：
式中，
为第tk时间节点第i个飞行器模型在演训场景中的坐标，Δt为采样间隔，
为第i个同步数据段中对应第tk时间节点的元素，
为演训开始前第i个飞行器模型在演训场景中的坐标，t1为演训开始后的第一个时间节点；
将不同时间节点所述多个飞行器模型在演训场景中的坐标以及所述不同时间节点的时刻加入到同步数据包。
6.一种多画面同步方法，其特征在于，应用于飞行演训系统的AR眼镜，其中，所述飞行演训系统包括：服务器以及多个AR眼镜；
所述服务器与所述多个AR眼镜信号连接；
所述服务器生成演训场景以及与多个飞行器模型；
所述多个AR眼镜显示所述多个飞行器模型，以及，获取操纵所述多个飞行器模型的多个操纵信号；
所述服务器根据所述演训场景以及所述多个操纵信号，生成指示画面同步的同步信号；
所述多个AR眼镜根据所述同步信号，将所述多个飞行器模型融入至所述演训场景后进行再现；
所述多画面同步方法包括：
获取指示所述多个飞行器模型在演训场景中坐标的同步数据包；
对所述数据包进行解析，获得不同时间节点所述多个飞行器模型在演训场景中的坐标；
根据当前时间以及第二预设时延，确定目标时间节点，其中，所述目标时间节点为所述AR眼镜再现飞行演训图像的时间节点；
根据所述目标时间节点，获取所述多个飞行器模型在演训场景中的坐标；
根据所述多个飞行器模型在演训场景中的坐标将所述多个飞行器模型融入至演训场景中进行再现。
7.一种多画面同步装置，其特征在于，用于实现如权利要求1-5任一项所述的多画面同步方法，所述多画面同步装置包括：
操纵信号获取模块，用于获取多个操纵信号，其中，所述多个操纵信号与多个飞行器模型相对应，所述多个操纵信号指示所述多个飞行器模型相对前一时间节点的位移；
位移队列更新模块，用于将所述多个操纵信号根据与所述多个飞行器模型的对应性，加入到多个位移队列中，其中，所述多个位移队列与所述多个飞行器模型相对应；
同步数据段提取模块，用于根据当前时间、第一预设时延以及所述多个位移队列，获得多个同步数据段，其中，所述多个同步数据段与所述多个飞行器模型相对应；
以及，
同步数据包生成模块，用于根据所述多个同步数据段输出指示所述多个飞行器模型在演训场景中坐标的同步数据包。
8.一种电子设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341347.3A CN115473972B (zh) | 2022-10-31 | 2022-10-31 | 飞行演训系统及多画面同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341347.3A CN115473972B (zh) | 2022-10-31 | 2022-10-31 | 飞行演训系统及多画面同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115473972A CN115473972A (zh) | 2022-12-13 |
| CN115473972B true CN115473972B (zh) | 2023-03-24 |
Family
ID=84337609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211341347.3A Active CN115473972B (zh) | 2022-10-31 | 2022-10-31 | 飞行演训系统及多画面同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115473972B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104506650A (zh) * | 2015-01-04 | 2015-04-08 | 华为技术有限公司 | 一种用户设备协同控制方法、用户设备以及通信系统 |
| CN108595181A (zh) * | 2018-04-02 | 2018-09-28 | 北京航空航天大学 | 人工智能程序员书写飞行器集群同步三维演示源代码方法 |
| CN109857261A (zh) * | 2019-03-13 | 2019-06-07 | 全景云课(武汉)网络科技有限公司 | 一种多屏互动vr教学训练方法、系统、终端及存储介质 |
| WO2021136675A1 (en) * | 2019-12-30 | 2021-07-08 | Thales | System, method and computer program product for providing adaptive training |
| CN113721767A (zh) * | 2021-08-30 | 2021-11-30 | 歌尔光学科技有限公司 | 一种手柄的追踪方法、装置、系统及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8108541B2 (en) * | 2009-11-19 | 2012-01-31 | Alcatel Lucent | Method and apparatus for providing collaborative interactive video streaming |
| US11582347B2 (en) * | 2017-01-20 | 2023-02-14 | Virtual Hold Technology Solutions, Llc | System and method for enhanced virtual queuing |
-
2022
- 2022-10-31 CN CN202211341347.3A patent/CN115473972B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104506650A (zh) * | 2015-01-04 | 2015-04-08 | 华为技术有限公司 | 一种用户设备协同控制方法、用户设备以及通信系统 |
| CN108595181A (zh) * | 2018-04-02 | 2018-09-28 | 北京航空航天大学 | 人工智能程序员书写飞行器集群同步三维演示源代码方法 |
| CN109857261A (zh) * | 2019-03-13 | 2019-06-07 | 全景云课(武汉)网络科技有限公司 | 一种多屏互动vr教学训练方法、系统、终端及存储介质 |
| WO2021136675A1 (en) * | 2019-12-30 | 2021-07-08 | Thales | System, method and computer program product for providing adaptive training |
| CN113721767A (zh) * | 2021-08-30 | 2021-11-30 | 歌尔光学科技有限公司 | 一种手柄的追踪方法、装置、系统及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于ACR的多屏同步互动应用技术浅析;马艳等;《电视技术》;20131102(第21期);全文 * |
| 基于AR技术的穿戴式智能巡检系统开发及应用;万华等;《江西电力》;20191225(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115473972A (zh) | 2022-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3965431A1 (en) | Video data processing method and related device | |
| CN110765620B (zh) | 飞行器视景仿真方法、系统、服务器及存储介质 | |
| CN111654746B (zh) | 视频的插帧方法、装置、电子设备和存储介质 | |
| FR3022655B1 (fr) | Procede pour simuler la fourniture en temps reel, a un equipement avionique, de donnees sur un systeme de bord d'un aeronef | |
| CN106546238A (zh) | 可穿戴设备及在可穿戴设备中确定用户位移的方法 | |
| CN108833877B (zh) | 图像处理方法及装置、计算机装置及可读存储介质 | |
| CN110149551B (zh) | 媒体文件播放方法和装置、存储介质及电子装置 | |
| CN111192641A (zh) | 一种用于复杂web 3D场景下用户交互的系统和方法 | |
| CN112330709A (zh) | 一种前景图像提取方法、装置、可读存储介质及终端设备 | |
| CN112927349A (zh) | 三维虚拟特效的生成方法、装置、计算机设备及存储介质 | |
| CN111460184B (zh) | 遥感卫星载荷数据动态模拟装置 | |
| CN106201396A (zh) | 一种数据展示方法及装置、虚拟现实设备与播放控制器 | |
| CN106530408A (zh) | 博物馆临时展览规划设计的系统 | |
| CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
| CN115473972B (zh) | 飞行演训系统及多画面同步方法 | |
| CN107707840A (zh) | 一种摄像模组及多图像数据传递的方法 | |
| CN105590547B (zh) | 一种座位表的实现方法、装置和系统 | |
| CN114222076A (zh) | 一种换脸视频生成方法、装置、设备以及存储介质 | |
| CN111569414A (zh) | 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质 | |
| US20220165032A1 (en) | Content distribution system, content distribution method, and content distribution program | |
| CN112017242A (zh) | 显示方法及装置、设备、存储介质 | |
| CN117278776A (zh) | 多通道视频内容实时比对方法和装置、设备及存储介质 | |
| KR101751257B1 (ko) | 항공기 조종 훈련 자가 학습을 위한 항공기 시뮬레이터 제공 시스템 | |
| CN114299152A (zh) | 一种获取姿态数据的方法及神经网络构建方法 | |
| CN103295023A (zh) | 一种增强现实信息的显示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |