CN114930112A - 用于控制战斗车辆炮塔功能的智能系统 - Google Patents

用于控制战斗车辆炮塔功能的智能系统 Download PDF

Info

Publication number
CN114930112A
CN114930112A CN202080087133.0A CN202080087133A CN114930112A CN 114930112 A CN114930112 A CN 114930112A CN 202080087133 A CN202080087133 A CN 202080087133A CN 114930112 A CN114930112 A CN 114930112A
Authority
CN
China
Prior art keywords
view
control system
operator
turret
land
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080087133.0A
Other languages
English (en)
Other versions
CN114930112B (zh
Inventor
纪尧姆·维尔海勒维根
伯尔纳德·克莱蒙特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
John Cockerill Defense SA
Original Assignee
John Cockerill Defense SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by John Cockerill Defense SA filed Critical John Cockerill Defense SA
Publication of CN114930112A publication Critical patent/CN114930112A/zh
Application granted granted Critical
Publication of CN114930112B publication Critical patent/CN114930112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G3/00—Aiming or laying means
    • F41G3/14—Indirect aiming means
    • F41G3/16—Sighting devices adapted for indirect laying of fire
    • F41G3/165—Sighting devices adapted for indirect laying of fire using a TV-monitor
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G3/00—Aiming or laying means
    • F41G3/22—Aiming or laying means for vehicle-borne armament, e.g. on aircraft
    • F41G3/225—Helmet sighting systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G5/00—Elevating or traversing control systems for guns
    • F41G5/14—Elevating or traversing control systems for guns for vehicle-borne guns
    • F41G5/24—Elevating or traversing control systems for guns for vehicle-borne guns for guns on tanks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Control Of Vehicle Engines Or Engines For Specific Uses (AREA)
  • Catching Or Destruction (AREA)
  • Lock And Its Accessories (AREA)
  • Motorcycle And Bicycle Frame (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Output Control And Ontrol Of Special Type Engine (AREA)

Abstract

公开的是一种用于陆基战斗车辆(4)炮塔功能的控制系统(2)，所述控制系统(2)包括控制单元(10)，该控制单元能够至少基于所述图像和头戴设备(6)位置和取向数据来计算增强视图(50)，所述增强视图(50)借助于所述头戴设备(6)显示给操作者(8)；其特征在于，‑所述控制单元(10)能够至少基于眼睛数据确定由该操作者(8)选择的目标的参数，所述控制单元(10)被配置为计算至少一个发射参数，并且所述控制单元(10)能够将该至少一个发射参数传递到炮塔武器控制器(40)；‑所述控制系统(2)包括至少一个发射请求检测器(20)，该至少一个发射请求检测器被配置为由该操作者(8)提供发射请求信号。

Description

用于控制战斗车辆炮塔功能的智能系统
发明主题
本发明涉及武器领域，具体地涉及一种用于控制陆基战斗车辆炮塔功能的智能系统以及配备有这种系统的陆基战斗车辆。
技术背景和现有技术
众所周知，装甲陆基车辆炮塔通常包括瞄准系统和激光遥测仪，该瞄准系统实施炮手和指挥官可用的日间通道和夜间(或热)通道。通常，炮手和指挥官各自有其单独的可用站点，该站点设有操纵杆，从而可以向瞄准系统发出关于方位角和仰角的方向命令，并因此修改视线，该站点还设有控制屏幕。指挥官的瞄准系统与炮手的瞄准系统非常相似，区别在于指挥官的瞄准系统提供更全景的视图。
因此，使用操纵杆、把手杆或更一般地具有多个按钮并与显示屏上示出外部环境和瞄准命令的视觉支持相关联的手杆来手动传递对炮塔的命令。
然而，这种已知系统并不总是允许精确地访问各种控制按钮，特别是在车辆摇晃时，车辆的摇晃会产生振动，从而导致按钮和屏幕相对于操作者的眼睛和手不断移动。因此，屏幕的视图较不平稳，而手必须保持紧握控制手柄。这个问题不仅会影响目标的选择，还会影响发射命令的手动传递。
为了解决这个问题，文献WO 2016/072927 A1提出了一种陆基战斗车辆中的态势感知系统，该系统包括：多个图像检测传感器，该多个图像检测传感器被配置为记录示出该陆基战斗车辆的不同部分环境视图的图像序列；以及多个客户端设备，比如集成的虚拟/增强现实元件，特别是包括显示装置和方向传感器，其中，每个客户端设备被配置为根据用户的意愿在显示器上显示战斗车辆的环境视图。图像检测传感器被配置为连接在网络中，并且使用比如多播等使传感器发送的每个图像序列都可以被多个接收器接收的技术通过网络发送图像序列。客户端设备也被配置为连接到所述网络，并且通过该网络接收由至少一个图像检测传感器记录的至少一个图像序列。此外，每个客户端设备被配置为通过处理来自图像序列的图像而自己生成期望的视图，并且允许显示期望的视图。
特别地，操作者可以基于使用方向传感器对用户头部位置的测量或基于集成到头戴设备中的眼睛跟踪装置来选择显示器上显示的环境视图，由此，所述用户通过看向确定的方向来指示期望的视图。因此，通过控制操作者的头部或眼睛的位置，可以基于车辆外部的传感器的数量和分布来选择要在头戴设备中查看的不同图像，即，前方图像、后方图像、半球形图像或360°图像。
上述文献教导了如何通过使用眼睛跟踪来促进对期望视图的免手动选择来部分地解决上述问题，但没有特别提及在陆基战斗车辆中受驾驶期间的振动影响的对发射命令装置的选择。
眼睛跟踪技术的使用也是已知的，该技术旨在用于患有身体或认知障碍的人，以允许他们在不使用键盘或鼠标的情况下控制计算机。存在三种使用眼睛控制“点击”的方式：眨眼，其缺点是会暂时看不见目标；时间延迟或凝视特定区域预定的时间长度；以及使用接触器，这发生在通过注视来验证“目标”之后。
这种技术是为了控制计算机而开发的。在其他方面，考虑到错误的风险，使用加农炮或导弹发射器与目标交战是更为敏感的，因此这种技术不能按原样适于此目的。
乌克兰公司LimpidArmor开发了基于MS HoloLens系统的硬件和软件接口，这是一款头戴设备，该头戴设备设有透明镜片和集成传感器以获得混合(虚拟和增强)现实体验，从而使得可以以高分辨率全息图的形式投影3D图像，并且允许用户通过手势与3D元素(叠加在真实层上的虚拟层)进行物理交互。八个稳定相机模块位于车辆外部，以便以流式传输且实时的方式向坦克乘员提供环境的360°视图。该系统还特别是基于人工智能算法来显示所有战斗子系统的遥测、任务状态、目标以及其他增强现实数据。该系统没有明确描述该系统与车辆的武器控制的耦合，并且因此未提及在驾驶情况下提高查看的流畅性和发射命令的精确性的问题。此外，与跟踪操作者的手臂和手的运动相关联的参数可以用作MSHoloLens系统中的输入数据。鉴于在坦克中遇到的振动水平，跟踪手臂和手的运动似乎是不合适的，因为这是不精确的。
文献US 7,401,920 B1披露了一种眼睛跟踪系统，该系统根据瞳孔中心与参考点之间的相对位置来确定用户的视线，该系统包括捕获眼睛图像的图像检测器、对用户瞳孔进行照明的瞳孔照明光源、对作为参考点的用户面部的不同部分进行照明的参考光源以及分析检测到的眼睛图像以确定视线的图像处理器。
文献US 2009/0087029 A1披露了一种部署基于GIS的算法的4D-GIS系统的技术，该系统用于通过记录从移动目标指示(MTI)传感器或具有GIS数字卡的小型无人驾驶飞行器(UAV)相机获得的地形图像来确定移动目标的位置。对于移动预测，使用扩展卡尔曼滤波器(EKF)来估计目标的状态。为了改善对运动目标轨迹的预测，使用模糊逻辑推理算法，通过综合来自GIS的数据、来自目标的统计数据、战术和从过去经验中得出的其他信息(比如，与地形性质和推测任务相关的目标可能的移动方向)来估计移动目标的目的地。
发明的简要说明
本发明旨在解决现有技术的上述缺点中的至少一个。
本发明旨在减少操作者的认知工作并改进机器-操作者接口。
本发明还旨在允许更快地执行操作从而更少受外部条件干扰。
更具体地，本发明旨在允许实现命令以及装甲车辆的外部和内部环境的“易读”、舒适和流畅的视图，连同对操作者眼睛的优化使用，从而使用严格意义上的交战和启动发射序列提供瞬时反应。
发明的主要特征
本发明涉及一种用于使用智能头戴设备来控制装甲车辆炮塔功能的系统，该智能头戴设备允许获得车外环境视图并访问操作和发射命令。
本发明的第一方面涉及一种用于控制陆基战斗车辆炮塔功能的系统，所述控制系统包括：
-多个图像检测传感器，该多个图像检测传感器被配置为记录具有该陆基战斗车辆的360°环境的至少部分视图的图像序列；
-适用于由操作者佩戴的至少一个虚拟、增强或混合现实头戴设备，所述头戴设备被配置为在显示器上呈现该陆基战斗车辆的环境的至少部分视图，所述头戴设备包括方向传感器，该方向传感器适用于跟踪在所述操作者的头部运动期间施加的所述头戴设备的取向，所述头戴设备还包括眼睛跟踪装置，该眼睛跟踪装置适用于跟踪所述操作者的眼睛运动；
-控制单元，该控制单元包括至少一个计算单元并适用于接收以下各项作为输入并进行处理：
o由这些图像检测传感器提供的图像；
o由所述方向传感器提供的头戴设备位置和取向数据；
o由该眼睛跟踪装置提供的眼睛位置数据；
该控制单元适用于至少基于所述图像和头戴设备的位置和取向数据来计算增强视图，所述增强视图借助于所述头戴设备显示给该操作者；
所述控制单元进一步适用于至少基于眼睛数据确定由该操作者选择的目标的参数，所述控制单元被配置为计算至少一个发射参数，并且所述控制单元适用于将该至少一个发射参数传递到炮塔武器控制器；
所述控制系统包括至少一个发射请求检测器，该至少一个发射请求检测器被配置为由该操作者提供发射请求信号。
该控制系统的特征在于，该至少一个虚拟现实头戴设备包括至少一个附加的图像检测传感器，该图像检测传感器用于记录该陆基战斗车辆内部环境的图像序列，所述控制系统适用于接收与所述图像相关联的数据并在该操作者请求时将该数据显示在该增强视图中。
根据本发明的有利实施例，用于控制陆基战斗车辆炮塔功能的系统包括根据任何可能的组合的以下技术特征中的一个或多个：
-所述发射请求检测器包括至少一个操纵杆或自由手杆，该至少一个操纵杆或自由手杆被配置为触敏传感器；
-所述发射请求检测器包括至少一个语音识别模块，该至少一个语音识别模块适用于提供该发射请求信号；
-基于眼睛跟踪装置来确定操作者在该或每个增强视图中的注视点的坐标，并且该系统被配置为使得与所述点相关联的虚拟对象被集成到所述视图中并且根据所述坐标定位；
-该系统包括用于基于由这些图像检测传感器提供的图像来确定至少一个潜在目标的参数的装置，该控制系统被配置为使与该或每个潜在目标相关联的图形对象在该或每个增强视图中与该或每个潜在目标的坐标重合；
-当分别与潜在目标相关联的图形对象同与该操作者的注视点相关联的虚拟对象重合时，该操作者选择的目标被识别或验证，基于所识别的潜在目标的参数来确定所选择的目标的参数；
-该所选择的目标的参数是基于该操作者的注视点的坐标通过时间延迟确定的，也就是说，在所述操作者的注视点在预定持续时间内变得不动时确定的；
-该或每个增强视图是基于比如合并由这些图像检测传感器和/或由该附加的图像检测传感器提供的图像等处理操作并通过所述增强视图的配置的至少一个控制参数来计算的，优选地，该至少一个控制参数包括所述视图的中心的坐标和/或所述视图的视场的宽度；
-该或每个增强视图至少在由以下各项组成的视图列表中选择：该陆基战斗车辆的环境的日间或红外外部全景视图、所述全景视图的一部分、与所述全景视图的该部分的缩放或放大相对应的区域、该陆基战斗车辆内部环境的部分视图以及这些视图的任何组合；
-基于用于控制该增强视图的配置的至少一个参数从该视图列表中选择该或每个增强视图，优选地，所述视图包括用于选择所述参数的虚拟对象，优选地，菜单被集成到该增强视图中；
-用于控制该增强视图的配置的该至少一个参数是基于操作者在该增强视图中的注视点的坐标来确定的；
-该发射参数包括以下元素中的至少一个：
o与该炮塔的所述加农炮的方位角相对应的数据和与该加农炮的仰角相对应的数据；
o与该所选择的目标的GPS坐标相对应的数据；
-这些图像检测传感器包括至少一个具有360°可视性的相机和/或至少一个可变焦高清旋转和/或枢转光电相机；
-该陆基战斗车辆的环境的该至少部分视图对应于操作者在不受该陆基战斗车辆的主体和/或炮塔的至少一个壁部分阻碍的情况下从连接到该主体和/或该炮塔的位置将具有清晰视图，所述位置优选地在该主体内部。
本发明的另一方面涉及一种陆基战斗车辆，该陆基战斗车辆包括：
-如上所述的根据本发明的系统；
-能够承载这些图像检测传感器的装甲车主体和机动炮塔；
-定位在所述炮塔上的加农炮和/或导弹发射器；
-定位在该陆基战斗车辆上的炮塔武器控制器，该炮塔武器控制器被配置为从所述系统接收该至少一个发射参数。
本发明的措施是有利的，因为它们可以改进机器-操作者接口。它们还允许更快的操作。使用虚拟或增强或混合现实头戴设备可以适用于进一步更好地保护操作者的眼睛、听觉系统和面部并因此降低严重伤害的风险，提高操作者的参与度。使用虚拟或增强或混合现实头戴设备还允许更好地管理内部视图和外部视图的叠加。
通常，本发明的每个主题的优选实施例也适用于本发明的其他主题。在可能的范围内，本发明的每个目的都可以与其他目的相结合。本发明的目的还可以与本披露内容的实施例相结合，这些实施例也可以相互结合。
附图说明
使用以下附图和描述将更好地理解本发明的其他特征和优点。
图1示意性地示出了与炮塔武器控制器组合的根据本发明的系统。
图2展示了根据本发明的图像检测装置的示例。
图3示出了根据本发明的增强视图的示意性示例。
具体实施方式
图1示出了根据本发明的用于控制陆基战斗车辆4炮塔功能的系统2的示意图。控制系统2包括适用于由比如炮手或指挥官等操作者8佩戴的虚拟、增强或混合现实头戴设备6、以及控制单元10。头戴设备6可以包括用于每只眼睛的单独显示屏或透明镜片(未示出)或波导(未示出)。瞳孔距离通常可以使用拇指轮手动调整，眼睛与光学器件之间的距离也同样可以。
虚拟现实头戴设备6被配置为在立体显示器上具有陆基战斗车辆4的外部环境的至少部分视图。因此，头戴设备6进一步包括运动或方向传感器12，该传感器设有陀螺仪、加速度计或激光位置传感器类型的一个或多个传感器，适用于使用传感器来跟踪操作者8如何通过他的头部的运动来对头戴设备6进行定向。另外，虚拟现实头戴设备6包括适用于跟踪操作者8眼睛的运动的眼睛跟踪装置14。最后，头戴设备6可以有利地包括至少一个附加的图像检测传感器、特别是集成在头戴设备6前面的一个或两个相机，从而允许操作者8在不移除头戴设备6的情况下查看或控制陆基战斗车辆内部的环境。
控制单元10通常包括硬件和软件计算机装置(用于实施数学、图像处理或机器学习算法)、特别是计算单元16，比如图1所示的控制器或膝上型计算机，该计算机装置包括专用中央计算单元和存储内存，比如硬盘和/或现场或远程服务器。控制单元10接收来自各种传感器的数据作为输入，这些传感器比如是：
-发射请求检测器20、特别是安装在自由手杆22上的触敏传感器和/或被配置为记录口述发射命令的语音识别模块24；
-多个图像传感器30，例如具有360°可视性的相机32、可变焦高清旋转和/或枢转光电相机34等；
-眼睛跟踪装置/传感器14，其包括一个或多个近IR二极管和高分辨率相机和算法；
-虚拟现实头戴设备6的方向传感器单元12，其包括加速度计、陀螺仪和/或激光位置传感器。
这些数据然后由控制单元10处理，该控制单元提供所选择的目标的参数作为输出，这些参数比如是与方位角和仰角相对应的瞄准数据，该瞄准数据将被传送到用于所选择的目标的炮塔的加农炮。使用自由手杆22(即，没有机械附件)或语音识别模块24的优点在于，当陆基接触车辆遭受行驶振动时，操作者无需保持一只手与控制站点接触。
自由(或无线)手杆22可以包括至少一个陀螺仪、加速度计和/或激光位置传感器。
“触敏传感器”是指能够响应于操作者8的呈来自手或手指的压力形式的干预而提供信号(电)的任何装置，优选地是经由来自操作者8的(多个)手指的命令而提供信号的人/机接口。该传感器例如可以是按钮、电容式传感器或触摸屏。
根据本发明的系统2具有模块化的优点。实际上，控制单元10可以适于不同类型的陆基战斗车辆。为此，控制单元10可以配置有车辆的数据。这种方法有利于简化成本并且有助于维护。
炮塔武器控制器40可以控制安装在炮塔上的加农炮和/或导弹发射器。武器控制器40的致动器不限于图1中通过示例方式展示的电命令，而是可以包括液压致动器。此外，炮塔武器控制器40通常不仅命令用于对炮塔的发射进行的装置，还命令加农炮(未示出)的装弹。
作为方位角和仰角坐标的补充或替代方案，所选择的目标的参数还可以是GPS坐标。
图像检测传感器30包括至少一个具有360°可视性的相机32和/或至少一个可变焦高清旋转和/或枢转光电相机34。优选地，图像检测传感器30定位在陆基战斗车辆4的炮塔上。实施例不限于单个360°相机32和/或单个可变焦高清旋转和/或枢转相机34，而是当然可以包括多个360°相机32和/或多个可变焦高清旋转和/或枢转相机34，以便以足够的分辨率覆盖任何360°环境。图像检测装置的减少还允许(多个)操作者8更好地跟踪目标。在一种特定配置中，可以为每个操作者8提供可变焦高清旋转和/或枢转相机34，从而允许独立选择目标。
图2示出了本发明的特定实施例，其中陆基战斗车辆4包括360°相机32和可变焦高清旋转和/或枢转相机34。根据一个实施例，高清相机的旋转和枢转可以有利地从属于头戴设备6的方向传感器12。
图3展示了操作者8在头戴设备6中感知的陆基战斗车辆4的外部环境的增强视图50的示例。操作者8还可以在多个视图中选择要投影的视图50，这些视图例如是陆基战斗车辆的外部环境的日间或红外(夜间)全景视图、所述全景视图的一部分的缩放、陆基战斗车辆4内部环境的部分视图或这些视图的任何组合。
优选地，在头戴设备6中显示立体或非立体增强视图50。该增强视图50可以包括多层，例如真实或光学视图(F1)、具有图像处理的含不可见辐射(例如IR)的光电视图(F2)、增强数据视图(F3)和炮塔控制参数的图形视图(F4)。通常，头戴设备6具有针对操作者8的每只眼睛计算的视图。该视图50还可以包括与操作者8中的至少一个操作者的注视点54相关联的一个或多个虚拟对象52、以及与该或每个潜在目标58相关联的一个或多个图形对象56。此外，可以将一个或多个菜单60集成到该或每个增强视图50中。由于菜单60，操作者可以根据请求查看关于外部视图、炮塔命令视图、目标视图、发射命令视图的不同模式。这些模式在视图上是<<可堆叠>>的。
可以根据对象识别算法基于图像分析通过计算机处理来确定或选择潜在目标58。这些潜在目标58的确定可以由根据本发明的控制单元10特别是通过机器学习从数据库中完成，该数据库包括一系列常见目标的参数，例如敌方战斗车辆的建模或程式化形式。该数据库可以下载，从而可以使人工智能装置适应地形。控制单元10还可以与其他外部或车外信息装置(比如无人机、飞机或卫星)交互并获得来自其他信息装置的数据。
如果操作者8识别到尚未被对象识别装置识别的潜在目标58，则例如当他的注视点稳定在该潜在目标上并且发出预定的交战请求时，该操作者可以与潜在目标交战。
在具有两个操作者8的配置中，可以由操作者8中的一个识别潜在目标58，并且可以由另一个操作者8发出发射请求。
陆基战斗车辆4例如是坦克或轮式全地形步兵装甲战斗车辆。
根据现行的军用标准，头戴设备8可以有利地在正面和/或侧面包括加强装置，比如一个或多个板(由Kevlar等制成)，以保护操作者的眼睛和/或听觉系统。该稳健性和安全性方面在目前市场上主要旨在用于游戏应用的虚拟现实头戴设备中完全没有解决，因此构成本发明的另一个新颖方面。
附图标记清单：
2 炮塔功能控制系统
4 陆基战斗车辆
6 虚拟现实头戴设备
8 操作者
10 控制单元
12 方向传感器
14 眼睛跟踪装置
16 计算单元
20 发射请求检测器
22 自由手杆
24 语音识别模块
30 图像检测传感器
32 具有360°可视性的相机
34 可变焦高清旋转和/或枢转光电相机
40 炮塔武器控制器
50 增强视图
52 (多个)虚拟对象
54 注视点
56 (多个)图形对象
58 (多个)潜在目标
60 菜单

Claims (15)

1.一种用于控制(2)陆基战斗车辆(4)炮塔功能的系统，所述控制系统(2)包括：
-多个图像检测传感器(30)，该多个图像检测传感器被配置为记录具有该陆基战斗车辆(4)的360°环境的至少部分视图的图像序列；
-适用于由操作者(8)佩戴的至少一个虚拟、增强或混合现实头戴设备(6)，所述头戴设备(6)被配置为在显示器上呈现该陆基战斗车辆(4)的环境的所述至少部分视图，所述头戴设备(6)包括方向传感器(12)，该方向传感器适用于跟踪在所述操作者(8)的头部运动期间施加的所述头戴设备(6)的取向，所述头戴设备还包括眼睛跟踪装置(14)，该眼睛跟踪装置适用于跟踪所述操作者(8)的眼睛运动；
-控制单元(10)，该控制单元包括至少一个计算单元(16)并适用于接收以下各项作为输入并进行处理：
ο由这些图像检测传感器(30)提供的图像；
ο由所述方向传感器(12)提供的头戴设备(6)位置和取向数据；
ο由该眼睛跟踪装置(14)提供的眼睛位置数据；
该控制单元(10)适用于至少基于所述图像和头戴设备(6)位置和取向数据来计算增强视图(50)，所述增强视图(50)借助于所述头戴设备(6)显示给该操作者(8)；
所述控制单元(10)进一步适用于至少基于眼睛数据确定由该操作者(8)选择的目标的参数，所述控制单元(10)被配置为计算至少一个发射参数，并且所述控制单元(10)适用于将该至少一个发射参数传递到炮塔武器控制器(40)；所述控制系统(2)包括至少一个发射请求检测器(20)，该至少一个发射请求检测器被配置为由该操作者(8)提供发射请求信号；其特征在于，该至少一个虚拟现实头戴设备(6)包括至少一个附加的图像检测传感器，该图像检测传感器用于记录该陆基战斗车辆(4)内部环境的图像序列，所述控制系统(2)适用于接收与所述图像相关联的数据并在该操作者(8)请求时将该数据显示在该增强视图(50)中。
2.根据权利要求1所述的控制系统(2)，其特征在于，所述发射请求检测器(20)包括至少一个操纵杆或自由手杆，该至少一个操纵杆或自由手杆被配置为触敏传感器。
3.根据权利要求1或2所述的控制系统(2)，其特征在于，所述发射请求检测器(20)包括至少一个语音识别模块(24)，该至少一个语音识别模块适用于提供该发射请求信号。
4.根据前述权利要求中任一项所述的控制系统(2)，其特征在于，基于眼睛跟踪装置(14)来确定操作者(8)在该或每个增强视图(50)中的注视点的坐标，并且该控制系统(2)被配置为使得与所述点相关联的虚拟对象(52)被集成到所述视图(50)中并且根据所述坐标定位。
5.根据前述权利要求中任一项所述的控制系统(2)，包括用于基于由这些图像检测传感器(30)提供的图像来确定至少一个潜在目标(58)的参数的装置，该控制系统(2)被配置为使与该或每个潜在目标(58)相关联的图形对象(56)在该或每个增强视图(50)中与该或每个潜在目标(58)的坐标重合。
6.根据权利要求5所述的控制系统(2)，其特征在于，当分别与潜在目标(58)相关联的图形对象(56)同与该操作者(8)的注视点(54)相关联的虚拟对象(52)重合时，该操作者(8)选择的目标被识别或验证，基于所识别的潜在目标(58)的参数来确定所选择的目标的参数。
7.根据权利要求6所述的控制系统(2)，其特征在于，该所选择的目标的参数是基于该操作者(8)的注视点的坐标通过时间延迟确定的，也就是说，在所述操作者(8)的注视点在预定持续时间内变得不动时确定的。
8.根据前述权利要求中任一项所述的控制系统(2)，其特征在于，该或每个增强视图(50)是基于比如合并由这些图像检测传感器(30)和/或由该附加的图像检测传感器提供的图像的处理操作并通过所述增强视图(50)的配置的至少一个控制参数来计算的，优选地，该至少一个参数包括所述视图的中心的坐标和/或所述视图的视场的宽度。
9.根据前述权利要求中任一项所述的控制系统(2)，其特征在于，该或每个增强视图(50)至少在由以下各项组成的视图列表中选择：该陆基战斗车辆(4)的环境的日间或红外外部全景视图、所述全景视图的一部分、与所述全景视图的该部分的缩放或放大相对应的区域、该陆基战斗车辆(4)内部环境的部分视图以及这些视图的任何组合。
10.根据权利要求9所述的控制系统(2)，其特征在于，基于用于控制该增强视图(50)的配置的至少一个参数从该视图列表中选择该或每个增强视图(50)，优选地，所述视图(50)包括用于选择所述参数的虚拟对象(52)，优选地，菜单(60)被集成到该增强视图(50)中。
11.根据权利要求10结合权利要求6所述的控制系统(2)，其特征在于，用于控制该增强视图(50)的配置的该至少一个参数是基于操作者(8)在该增强视图(50)中的注视点的坐标来确定的。
12.根据前述权利要求中任一项所述的控制系统(2)，其特征在于，该发射参数包括以下元素中的至少一个：
-与该炮塔的所述加农炮的方位角相对应的数据和与该加农炮的仰角相对应的数据；
-与该所选择的目标的GPS坐标相对应的数据。
13.根据前述权利要求中任一项所述的控制系统(2)，其特征在于，这些图像检测传感器(30)包括至少一个具有360°可视性的相机(32)和/或至少一个可变焦高清旋转和/或枢转光电相机(34)。
14.根据前述权利要求中任一项所述的控制系统(2)，其特征在于，该陆基战斗车辆(4)的环境的该至少部分视图对应于操作者(8)在不受该车辆(4)的主体和/或炮塔的至少一个壁部分阻碍的情况下从连接到该主体和/或该炮塔的位置将具有清晰视图，所述位置优选地在该主体内部。
15.一种陆基战斗车辆(4)，包括：
-根据权利要求1至14中任一项所述的控制系统(2)；
-能够承载这些图像检测传感器(30)的装甲车主体和机动炮塔；
-定位在所述炮塔上的加农炮和/或导弹发射器；
-定位在该陆基战斗车辆(4)上的炮塔武器控制器(40)，该炮塔武器控制器被配置为从所述控制系统(2)接收该至少一个发射参数。
CN202080087133.0A 2019-12-17 2020-11-27 用于控制战斗车辆炮塔功能的智能系统 Active CN114930112B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19216845.8A EP3839411B1 (fr) 2019-12-17 2019-12-17 Système intelligent pour le contrôle de fonctions dans une tourelle de véhicule de combat
EP19216845.8 2019-12-17
PCT/EP2020/083724 WO2021121909A1 (fr) 2019-12-17 2020-11-27 Systeme intelligent pour le contrôle de fonctions dans une tourelle de vehicule de combat

Publications (2)

Publication Number Publication Date
CN114930112A true CN114930112A (zh) 2022-08-19
CN114930112B CN114930112B (zh) 2024-05-28

Family

ID=69061048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080087133.0A Active CN114930112B (zh) 2019-12-17 2020-11-27 用于控制战斗车辆炮塔功能的智能系统

Country Status (11)

Country Link
US (1) US12000675B2 (zh)
EP (1) EP3839411B1 (zh)
KR (1) KR20220123516A (zh)
CN (1) CN114930112B (zh)
AU (1) AU2020406404A1 (zh)
BR (1) BR112022011574A2 (zh)
CA (1) CA3163906A1 (zh)
ES (1) ES2961614T3 (zh)
IL (1) IL294006A (zh)
PL (1) PL3839411T3 (zh)
WO (1) WO2021121909A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11767320B2 (en) 2020-10-02 2023-09-26 Incyte Corporation Bicyclic dione compounds as inhibitors of KRAS
FR3124608A1 (fr) * 2021-06-28 2022-12-30 Safran Electronics & Defense Dispositif d'observation a voies optronique et optique independantes et vehicule equipe d'un tel dispositif

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法
CN103958004A (zh) * 2013-07-16 2014-07-30 北京机械设备研究所 适用于高层和超高层建筑火灾扑救的消防车
SE1350869A1 (sv) * 2013-07-12 2015-01-13 BAE Systems Hägglunds AB System och förfarande för behandling av taktisk informationhos stridsfordon
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN106730523A (zh) * 2016-12-14 2017-05-31 长沙中联消防机械有限公司 消防水炮运动控制系统及消防车
WO2017138297A1 (ja) * 2016-02-08 2017-08-17 株式会社リコー 画像表示装置及び画像表示方法
CN206741109U (zh) * 2017-05-05 2017-12-12 西安枭龙科技有限公司 一种光学显示模组图像生成单元旋转调整系统
CN107924237A (zh) * 2015-09-02 2018-04-17 微软技术许可有限责任公司 计算设备的增强现实控制
CN108139799A (zh) * 2016-04-22 2018-06-08 深圳市大疆创新科技有限公司 基于用户的兴趣区(roi)处理图像数据的系统和方法
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN108351685A (zh) * 2015-08-15 2018-07-31 谷歌有限责任公司 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法
CN108474636A (zh) * 2015-12-30 2018-08-31 考克利尔维修工程防御有限责任公司 炮塔仿真方法及设备
US20180276898A1 (en) * 2017-03-22 2018-09-27 Seiko Epson Corporation Transmissive display device, display control method, and computer program
CN109154486A (zh) * 2016-05-31 2019-01-04 考克利尔维修工程防御有限责任公司 炮膛瞄准装置和方法
US10409363B1 (en) * 2017-03-07 2019-09-10 vGolf, LLC Mixed-reality golf tracking and simulation
CN110235170A (zh) * 2016-12-27 2019-09-13 阿托斯伊特解决方案和服务伊比利亚有限公司 控制检查点进入车辆的安全程序和安全塔楼

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1520154A (en) * 1976-02-24 1978-08-02 Elliott Brothers London Ltd Apparatus for measuring the angular displacement of a bod
US4146196A (en) * 1976-07-20 1979-03-27 The United States Of America As Represented By The Secretary Of The Air Force Simplified high accuracy guidance system
US4091273A (en) * 1976-12-17 1978-05-23 United Technologies Corporation Electro-optical switching system
US4884137A (en) * 1986-07-10 1989-11-28 Varo, Inc. Head mounted video display and remote camera system
US5838262A (en) * 1996-12-19 1998-11-17 Sikorsky Aircraft Corporation Aircraft virtual image display system and method for providing a real-time perspective threat coverage display
US7180476B1 (en) * 1999-06-30 2007-02-20 The Boeing Company Exterior aircraft vision system using a helmet-mounted display
IL138831A (en) * 2000-10-03 2007-07-24 Rafael Advanced Defense Sys An information system is operated by Mabat
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
NO327577B1 (no) * 2007-07-31 2009-08-24 Kongsberg Defence & Aerospace Naerobservasjonssensor med folgestyring og malbestemmelse for vapenstasjon
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
WO2009089342A1 (en) * 2008-01-08 2009-07-16 Lockheed Martin Corporation Method and apparatus for displaying
US9217866B2 (en) * 2008-07-14 2015-12-22 Science Applications International Corporation Computer control with heads-up display
US8678282B1 (en) * 2010-11-29 2014-03-25 Lockheed Martin Corporation Aim assist head-mounted display apparatus
SE538494C2 (sv) 2014-11-07 2016-08-02 BAE Systems Hägglunds AB Omvärldsuppfattningssystem och förfarande för omvärldsuppfattning i stridsfordon
US10642038B1 (en) * 2017-01-30 2020-05-05 Rockwell Collins, Inc. Waveguide based fused vision system for a helmet mounted or head worn application
US11200735B2 (en) * 2017-09-11 2021-12-14 Bae Systems Plc Apparatus and method for defining and interacting with regions of an operational area
FR3074307B1 (fr) * 2017-11-30 2019-12-20 Safran Electronics & Defense Dispositif de vision pour pilote d aeronef
US10557683B1 (en) * 2018-02-08 2020-02-11 Joseph Staffetti Controllable firing pattern firearm system
SE545226C2 (en) * 2020-02-17 2023-05-30 Bae Systems Haegglunds Ab A military vehicle comprising an aiming device and an aiming operation arrangement for a vehicle operator to operate the aiming device

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
SE1350869A1 (sv) * 2013-07-12 2015-01-13 BAE Systems Hägglunds AB System och förfarande för behandling av taktisk informationhos stridsfordon
CN103958004A (zh) * 2013-07-16 2014-07-30 北京机械设备研究所 适用于高层和超高层建筑火灾扑救的消防车
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN108351685A (zh) * 2015-08-15 2018-07-31 谷歌有限责任公司 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法
CN107924237A (zh) * 2015-09-02 2018-04-17 微软技术许可有限责任公司 计算设备的增强现实控制
CN108474636A (zh) * 2015-12-30 2018-08-31 考克利尔维修工程防御有限责任公司 炮塔仿真方法及设备
WO2017138297A1 (ja) * 2016-02-08 2017-08-17 株式会社リコー 画像表示装置及び画像表示方法
CN108139799A (zh) * 2016-04-22 2018-06-08 深圳市大疆创新科技有限公司 基于用户的兴趣区(roi)处理图像数据的系统和方法
CN109154486A (zh) * 2016-05-31 2019-01-04 考克利尔维修工程防御有限责任公司 炮膛瞄准装置和方法
CN106730523A (zh) * 2016-12-14 2017-05-31 长沙中联消防机械有限公司 消防水炮运动控制系统及消防车
CN110235170A (zh) * 2016-12-27 2019-09-13 阿托斯伊特解决方案和服务伊比利亚有限公司 控制检查点进入车辆的安全程序和安全塔楼
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US10409363B1 (en) * 2017-03-07 2019-09-10 vGolf, LLC Mixed-reality golf tracking and simulation
US20180276898A1 (en) * 2017-03-22 2018-09-27 Seiko Epson Corporation Transmissive display device, display control method, and computer program
CN206741109U (zh) * 2017-05-05 2017-12-12 西安枭龙科技有限公司 一种光学显示模组图像生成单元旋转调整系统

Also Published As

Publication number Publication date
KR20220123516A (ko) 2022-09-07
US20230045581A1 (en) 2023-02-09
IL294006A (en) 2022-08-01
EP3839411A1 (fr) 2021-06-23
WO2021121909A1 (fr) 2021-06-24
CN114930112B (zh) 2024-05-28
AU2020406404A1 (en) 2022-06-30
ES2961614T3 (es) 2024-03-12
CA3163906A1 (en) 2021-06-24
US12000675B2 (en) 2024-06-04
BR112022011574A2 (pt) 2022-08-30
PL3839411T3 (pl) 2023-12-27
EP3839411B1 (fr) 2023-08-23
EP3839411C0 (fr) 2023-08-23

Similar Documents

Publication Publication Date Title
US9488442B2 (en) Anti-sniper targeting and detection system
US8678282B1 (en) Aim assist head-mounted display apparatus
EP2956733B1 (en) Firearm aiming system with range finder, and method of acquiring a target
US20090229160A1 (en) Weapon Ball Stock With Integrated Weapon Orientation
JP2021535353A (ja) 観察光学機器のための表示システム
US20160379414A1 (en) Augmented reality visualization system
US20150054826A1 (en) Augmented reality system for identifying force capability and occluded terrain
US20060181483A1 (en) System and method for improving nighttime visual awareness of a pilot flying an aircraft carrying at least one air-to-air missile
CN114930112B (zh) 用于控制战斗车辆炮塔功能的智能系统
JP2021534368A (ja) ダイレクト拡張ビュー光学
KR101662032B1 (ko) 조종사의 시선 방향과 동기화 된 uav 항공 영상 촬영 시스템
FR2521328A1 (fr) Dispositif de simulation de vue panoramique a l&#39;aide d&#39;un appareil optique
US11460270B1 (en) System and method utilizing a smart camera to locate enemy and friendly forces
EP0605290B1 (fr) Dispositif optronique d&#39;aide au tir par arme individuelle et application à la progression en milieu hostile
AU2017348768B2 (en) Method for assisting the location of a target and observation device enabling the implementation of this method
FR2929700A1 (fr) Dispositif decentralise d&#39;autodefense comprenant un pointeur portable et mobile apte a assurer en urgence la defense rapprochee d&#39;un navire ou d&#39;une plate-forme en mer contre une menace de surface.
WO2023170697A1 (en) System and method for engaging targets under all weather conditions using head mounted device
CN104634185A (zh) 取证作战一体化装置
EP3454015A1 (en) Apparatus and method for displaying an operational area
KR102449070B1 (ko) 소방드론의 임무수행을 위한 고글타입의 인터페이스 장치
Bogner Application of panospheric imaging to an armoured vehicle viewing system
EP4030409A1 (fr) Simulateur et procédé de simulation à précision renforcée, en particulier un simulateur de système d&#39;arme, et système d&#39;arme pourvu d&#39;un tel simulateur
Massey et al. Human-robotic interface for controlling an armed unmanned ground vehicle
KR20240088178A (ko) 드론 전투체계를 위한 표적추적시스템 및 그 제어방법
US6705566B1 (en) Active mirror guidance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant