CN109313025A - 用于陆地车辆的光电子观察装置 - Google Patents

用于陆地车辆的光电子观察装置 Download PDF

Info

Publication number
CN109313025A
CN109313025A CN201780035101.4A CN201780035101A CN109313025A CN 109313025 A CN109313025 A CN 109313025A CN 201780035101 A CN201780035101 A CN 201780035101A CN 109313025 A CN109313025 A CN 109313025A
Authority
CN
China
Prior art keywords
image
camera
visual field
photoelectron
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780035101.4A
Other languages
English (en)
Inventor
P·杰罗
D·邦
L·佩吕绍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of CN109313025A publication Critical patent/CN109313025A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H7/00—Armoured or armed vehicles
    • F41H7/02—Land vehicles with enclosing armour, e.g. tanks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0085—Adjustable or movable supports with adjustment by rotation in their operational position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/20—Off-Road Vehicles
    • B60Y2200/24—Military vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种陆地车辆(3000)旨在配备有的光电子视觉设备，其包括：全景图像传感器(300)；至少一个可定向相机(310)，其在比全景图像传感器的视场小的视场中具有更好的分辨率；以及图像显示装置(330，430)；其特征在于，所述光电子视觉设备还包括数据处理器(320)，所述数据处理器(320)被配置或编程为：从所述全景图像传感器接收至少一个第一图像(201)以及从所述可定向相机接收一个第二图像(202)；从第一图像和第二图像合成复合图像(210)，其中第二图像(202)的至少一个区段被嵌入第一图像的区段(2011)中；以及将所述复合图像发送到图像显示装置。一种配备有这种光电子视觉设备的装甲车辆(3000)。一种由这种光电子设备实现的方法。

Description

用于陆地车辆的光电子观察装置
技术领域
本发明涉及一种用于陆地车辆、具体地是装甲车辆或坦克的光电子视觉设备。
背景技术
已知为这样的车辆配备多个在可见光或在红外光下操作的检测/指示相机，所述相机是可定向的并且具有几度(典型地在3°和9°之间或者4°和12°之间可变化，并且可能多达20°)的视场。这些相机具有非常好的分辨率，但是由于它们较小的视场，其使用并不容易：对于操作者难以在车辆正在移动的环境中定位由这种相机观测到的较小区域。在这方面，讲到了“吸管效应”，因为就像是操作员正在通过吸管观看。
通过修改这些相机的光学性能可以减轻这个缺点，从而允许它们以非常大视场的模式(大如40°-45°的视场)操作。实现这种解决方案是昂贵的，并且另外，将相机切换到非常大视场的模式阻碍了同步的小视场视觉。
文献US 2002/75258描述了一种监视系统，其包括具有多个镜头的全景的第一相机，以及可定向的高分辨率第二相机。在该系统中，由第二相机获取的高分辨率图像被嵌入从第一相机发出的全景图像中。
发明内容
本发明旨在克服现有技术的缺点，并且提供一种视觉系统，其更好地适合于诸如AFV或坦克的车辆的乘员的要求。
为此，利用了现代装甲车辆通常配备有非常大视场的视觉系统的事实，例如诸如来自Thales的“ANTARES”系统的半球形传感器，该传感器允许360°的方位角内以及沿着-15°至75°的竖直弧的视觉。该非常大视场包括一个或多个检测/指示相机(至少对于后者的定向的某些范围)的视场。因此，本发明所基于的想法在于，在给定显示器中组合由这种非常大视场的视觉系统获取的图像区段以及由检测/指示相机获取的图像。根据本发明，由检测/指示相机传送的高分辨率小视场图像被嵌入从视觉系统发出的较低分辨率较大视场图像的区段中。因此，获得了对应于将会由具有与检测/指示相机相同定向但是更大视场的虚拟相机获取的图像的合成图像。有利地，用户可以放大，以便利用检测/指示相机的高分辨率；或者缩小，以便增加其视场以及例如识别参考点。
因此，本发明的一个主题是一种陆地车辆旨在配备有的光电子视觉设备，所述光电子视觉设备包括：
-全景图像传感器；
-至少一个可定向相机，对于相机的至少一组定向，所述可定向相机在比全景图像传感器的视场小并且被包含在所述全景图像传感器的视场中的视场中具有更好的分辨率；以及
-图像显示装置；
还包括数据处理器，其被配置或编程为：
-从所述全景图像传感器接收至少一个第一图像以及从所述可定向相机接收一个第二图像；
-从第一图像和第二图像合成复合图像，其中所述第二图像的至少一个区段被嵌入所述第一图像的一个区段中；以及
-将所述复合图像发送到图像显示装置；数据处理器被配置或编程为合成所述复合图像，使得该复合图像对应于将会由具有与所述可定向相机相同定向但是更大视场的虚拟相机获取的图像。
根据这种设备的具体实施例：
-数据处理器可以被配置或编程为响应于源自用户的命令而修改所述复合图像的视场的尺寸。
-数据处理器可以被配置或编程为从所述第一图像的流和所述第二图像的流实时合成所述复合图像的流。
-图像显示装置可以是配备有定向传感器的便携式显示装置，所述设备还包括用于将相机的定向伺服控制为便携式显示装置的定向的系统。
-全景图像传感器和可定向相机可以被设计成在不同的光谱范围内操作。
-全景图像传感器可以是半球形传感器。
-可定向相机可以具有包括在1°和20°之间并且优选地在3°和12°之间的可能可变的视场。
本发明的另一个主题是一种配备有这种光电子视觉设备的装甲车辆。
本发明的又一个主题是一种由这种光电子设备实现的方法，该方法包括以下步骤：
-从全景图像传感器接收第一图像；
-从可定向相机接收第二图像，所述第二图像在比第一图像的视场小并且被包含在所述第一图像的视场中的视场中具有更好的分辨率；
-从第一图像和第二图像合成复合图像，其中所述第二图像的至少一个区段被嵌入所述第一图像的一个区段中，所述复合图像对应于将会由具有与所述可定向相机相同定向但是更大视场的虚拟相机获取的图像；以及
-显示所述复合图像。
根据这种方法的具体实施例：
-该方法还可以包括以下步骤：响应于源自用户的命令而修改所述复合图像的视场的尺寸。
-可以从所述第一图像的流和所述第二图像的流实时合成所述复合图像的流。
-所述复合图像可以被显示在配备有定向传感器的便携式显示装置上，该方法还包括以下步骤：从由所述传感器生成的信号确定所述便携式显示装置的定向；以及将相机的定向伺服控制为便携式显示装置的定向。
附图说明
在阅读参考附图给出的描述的基础上，本发明的其它特征、细节和优点将变得显而易见，所述附图以示例的方式给出，并且其中：
-图1是本发明的原理的示意表示；
-图2A至2E示出了在本发明的实施期间显示的各种图像；以及
-图3和图4示意性地示出了根据本发明的相应实施例的两个光电子设备。
具体实施方式
在本文中：
-表述“检测/指示相机”是指具有相对较小视场(典型地小于或等于12°或甚至15°，但有时可能多达20°，同时在方位角平面中并且沿着竖直弧)的可定向数码相机。检测/指示相机可以在可见光谱中、在近红外(夜间视觉)中、在中红外或远红外(热相机)或者实际上是多光谱或甚至高光谱中操作。
-表述“非常大视场”和“全景”被认为是等同的并且表示在方位角平面中、沿着竖直弧或两者延伸至少45°的视场。
-表述“半球形传感器”表示具有在方位角平面中延伸360°并且沿着竖直弧延伸至少45°的视场的图像传感器。该传感器可能是单个传感器(例如使用鱼眼物镜的一个传感器)，或者实际上是由一组较小视场的相机和组合由这些相机获取的图像的数字处理器组成的复合传感器。半球形传感器是全景或非常大视场的图像传感器的一种具体类型。
如上所述，本发明的一个方面在于，在给定显示器中组合由半球形视觉系统(或更一般地，由非常大视场的视觉系统)获取的图像区段以及由检测/指示相机获取的图像。这导致通过一个或多个显示装置(例如屏幕、虚拟现实头戴视图器等)显示的一个或多个复合图像的合成。
当使用根据本发明的设备时，操作者可以例如选择大视场观察模式——比如20°(在方位角平面中)×15°(沿着竖直弧)的视场。该选择通过合适的界面工具执行：键盘、指轮、操纵杆等。然后，适当编程的数据处理器选择从半球形视觉系统发出的图像的一个区段，该区段具有期望的视场尺寸并且被定向在检测/指示相机的瞄准方向上。由检测/指示相机获取的图像(其例如对应于9°×6°尺寸的视场)以相同的放大率被嵌入该图像的中央。这由图1中的左侧面板示出，其中附图标记100表示复合图像，101对应于该复合图像的外部部分，该外部部分源自半球形视觉系统并且其提供了允许操作者获得他的方位的“周围环境”，而102表示复合图像的中央部分，该中央部分源自检测/指示相机。将注意到，基本图像101和102具有相同的放大率，因此在由复合图像显示的场景中没有连续性的中断。撇开基本图像101和102不具有相同分辨率并且可能对应于分隔的光谱范围以及难以避免视差的事实，复合图像对应于将会由相机获取的图像——所述相机可能被认定为“虚拟”相机——具有与检测/指示相机相同定向但是更大的视场。
与文献US 2002/75258中的监视系统的情况相反，当检测/指示相机的定向被修改时，基本图像102不会在基本图像101的内部移动。相反，基本图像101的视场被修改为保持基本图像102与该基本图像101的中央部分对齐。以这种方式，始终是复合图像的中央部分具有高分辨率。
如果操作者拉远，由此进一步增加视场的尺寸，则图像的中央部分102收缩。如果操作者拉近，则该中央部分102变大而造成对外部部分101的损害，这在图1中的中央面板中示出，直到所述外部部分消失(图中的右侧面板)。在此对通过修改显示器实现了对数字变焦功能做出参考。检测/指示相机还可以包括光学变焦；然而，当相机被光学拉近时，从相机发出的图像的视场尺寸减小，并且因此复合图像100的中央部分102收缩。在适当的情况下，施加到复合图像100的数字变焦可以恢复图像101和102之间的尺寸比。
有利地，检测/指示相机和半球形视觉系统以每秒几帧的速率传送图像流。优选地，这些图像被实时或几乎实时地组合，即具有不超过1秒并且优选地不超过0.02秒(后一值对应于帧的标准持续时间)的延迟。
图2A至2E更详细地示出了显示在根据本发明的光电子设备的屏幕2上的复合图像。
图2A示出了该屏幕的概览。
屏幕的底部中的条带20对应于通过组合从半球形传感器发出的全景图像201(在方位角平面中360°，垂直于该平面从-15°到+75°)以及从检测/指示相机(其在这种情况下是红外相机)发出的图像202而获得的第一复合图像。事实上，全景图像201的矩形被图像202(或者在某些情况下，被该图像的一个区段)替代。如果检测/指示相机配备有光学变焦，则图像202可以具有可变尺寸，但是在任何情况下该图像202将仅占据全景图像201的一小部分。图2B示出了该条带的细节。将注意到，在条带显示器的情况下，复合图像不必要在检测/指示相机的瞄准方向上居中。
屏幕的顶部21显示第二复合图像210，该第二复合图像210示出从检测/指示相机发出的被嵌入从半球形图像传感器发出的周围环境2011(换句话说，全景图像201的区段2011)中的图像202。用户可以决定激活数字变焦(与检测/指示相机的光学变焦独立)以便减小复合图像210的视场的尺寸。因此，被嵌入的图像202看起来被放大而造成对全景图像的区段2011的损害。图2C、2D和2E对应于越来越高的变焦水平。具体地，图2E对应于仅显示从检测/指示相机发出的图像202的极限情况(参见图1中的右侧面板)。当然，用户可以在任何时刻决定拉远以便再次看到图像的周围环境。
本发明的一个优点是使得有可能同时从条带显示器20和中间视场尺寸的复合图像21受益，其中所述条带显示器20具有对由检测/指示相机观察的区域的识别。如果单独使用检测/指示相机的光学变焦则这将会是不可能的。
屏幕的另一部分可用于显示全景图像201的详细视图。这与本发明没有直接关系。
图3示意性地示出了根据本发明的第一实施例的光电子设备，其被安装在装甲车辆3000上。附图标记300表示安装在车辆的顶部上的半球形图像传感器；310对应于被安装在转台中的检测/指示相机；311对应于一种操纵杆型控制装置，其允许操作者350控制相机310的定向及其光学变焦；320表示从传感器300和从相机310接收图像流并且合成在屏幕330上显示的一个或多个复合图像的数据处理器。该图的底部部分示出了这些复合图像210，这些图像在以上参考图2A-2E被描述。
图4示意性地示出了根据本发明的第二实施例的光电子设备，其也被安装在装甲车辆3000上。该设备与图3中的设备的不同之处在于显示屏和控制装置311已被便携式显示装置430(例如类似于一副双筒望远镜、虚拟现实头戴视图器或平板电脑)替代。该装置430配备有位置和定向传感器：陀螺仪、加速度计、光学传感器等，允许确定该装置430的位置并且首先确定其相对于附接到车辆的坐标系的定向。伺服控制系统435——其某些部件可以与数据处理器320共享——将相机310的定向伺服控制为装置430的定向。由装置显示的复合图像实时地适应于定向的变化。因此，操作者350给人的印象是他用一副变焦双筒望远镜穿过车辆3000的装甲观看。另外，可以存在屏幕，其例如显示例如在图2A中所示的条带20的非常大视场的复合图像。
在刚刚已经被描述的各实施例中，光电子设备包括单个非常大视场的视觉系统(半球形传感器)和单个检测/指示相机。然而，更一般地，这种设备可以包括多个非常大视场的视觉系统(例如在不同光谱区域中操作的)和/或能够被可选地独立地定向的多个检测/指示相机。因此，可以生成并显示多个不同的复合图像。
数据处理器可以是专用于图像处理的通用计算机或微处理器板，或者甚至是专用数字电子电路。为了实现本发明，所述数据处理器执行本身已知的图像处理算法。

Claims (13)

1.一种陆地车辆(3000)旨在配备有的光电子视觉设备，所述光电子视觉设备包括：
-全景图像传感器(300)；
-至少一个可定向相机(310)，对于所述相机的至少一组定向，所述可定向相机在比所述全景图像传感器的视场小并且被包含在所述全景图像传感器的视场中的视场中具有更好的分辨率；以及
-图像显示装置(330，430)；
还包括数据处理器(320)，其被配置或编程为：
-从所述全景图像传感器接收至少一个第一图像(201)以及从所述能定向相机接收一个第二图像(202)；
-从所述第一图像和所述第二图像合成复合图像(20，210)，其中所述第二图像(202)的至少一个区段被嵌入所述第一图像的区段(2011)中；以及
-将所述复合图像发送到所述图像显示装置；其特征在于，所述数据处理器(320)被配置或编程为合成所述复合图像(210)使得所述复合图像(210)对应于将会由具有与所述可定向相机相同定向但是更大视场的虚拟相机获取的图像。
2.根据权利要求1所述的光电子视觉设备，其中所述数据处理器(320)被配置或编程为响应于源自用户(350)的命令而修改所述复合图像(210)的视场的尺寸。
3.根据前述权利要求之一所述的光电子视觉设备，其中所述数据处理器(320)被配置或编程为从所述第一图像的流和所述第二图像的流实时合成所述复合图像的流。
4.根据前述权利要求之一所述的光电子视觉设备，其中所述图像显示装置(430)是配备有定向传感器的便携式显示装置，所述设备还包括用于将所述相机的定向伺服控制为所述便携式显示装置的定向的系统(435)。
5.根据前述权利要求之一所述的光电子视觉设备，其中所述全景图像传感器(300)和所述可定向相机(310)被设计成在不同的光谱范围内操作。
6.根据前述权利要求之一所述的光电子视觉设备，其中所述全景图像传感器(300)是半球形传感器。
7.根据前述权利要求之一所述的光电子视觉设备，其中所述可定向相机(310)具有包括在1°和20°之间并且优选地在3°和12°之间的可能地可变视场。
8.一种装甲车辆(3000)，其配备有根据前述权利要求之一所述的光电子视觉设备。
9.一种由根据前述权利要求之一所述的光电子设备实现的方法，所述方法包括以下步骤：
-从全景图像传感器(300)接收第一图像(201)；
-从可定向相机(310)接收第二图像(202)，所述第二图像在比所述第一图像的视场小并且被包含在所述第一图像的视场中的视场中具有更好的分辨率；
-从所述第一图像和所述第二图像合成复合图像(210)，其中所述第二图像的至少一个区段被嵌入所述第一图像的区段(2011)中，所述复合图像(210)对应于将会由具有与所述可定向相机相同定向但是更大视场的虚拟相机获取的图像；以及
-显示所述复合图像。
10.根据权利要求9所述的方法，其中所述复合图像(210)对应于将会由具有与所述可定向相机相同定向但是更大视场的虚拟相机获取的图像。
11.根据权利要求9和10中任一项所述的方法，还包括以下步骤：
-响应于源自用户的命令而修改所述复合图像(210)的视场的尺寸。
12.根据权利要求9至11之一所述的方法，其中从所述第一图像的流和所述第二图像的流实时合成所述复合图像的流。
13.根据权利要求9至12之一所述的方法，其中所述复合图像被显示在配备有定向传感器的便携式显示装置(430)上，所述方法还包括以下步骤：
-从由所述传感器生成的信号确定所述便携式显示装置的定向；以及
-将所述相机(210)的定向伺服控制为所述便携式显示装置的定向。
CN201780035101.4A 2016-06-07 2017-06-01 用于陆地车辆的光电子观察装置 Pending CN109313025A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1600910 2016-06-07
FR1600910A FR3052252B1 (fr) 2016-06-07 2016-06-07 Equipement optronique de vision pour un vehicule terrestre
PCT/EP2017/063283 WO2017211672A1 (fr) 2016-06-07 2017-06-01 Equipement optronique de vision pour un vehicule terrestre

Publications (1)

Publication Number Publication Date
CN109313025A true CN109313025A (zh) 2019-02-05

Family

ID=57348724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035101.4A Pending CN109313025A (zh) 2016-06-07 2017-06-01 用于陆地车辆的光电子观察装置

Country Status (9)

Country Link
US (1) US20190126826A1 (zh)
EP (1) EP3465086B1 (zh)
JP (1) JP2019526182A (zh)
CN (1) CN109313025A (zh)
CA (1) CA3026899A1 (zh)
FR (1) FR3052252B1 (zh)
IL (1) IL263345B (zh)
RU (1) RU2722771C1 (zh)
WO (1) WO2017211672A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3065537B1 (fr) * 2017-04-19 2019-06-28 Thales Systeme optronique pour plate-forme et plate-forme associee
JP7203512B2 (ja) 2018-05-17 2023-01-13 株式会社小糸製作所 センサデータ生成装置
DE102018125790A1 (de) * 2018-10-17 2020-04-23 Rheinmetall Electronics Gmbh Vorrichtung zur validierbaren Ausgabe von Bildern
FR3100357B1 (fr) 2019-08-27 2021-09-17 Thales Sa Procédé d'aide à la détection d'éléments, dispositif et plateforme associés
FR3100358B1 (fr) 2019-08-27 2021-09-03 Thales Sa Procédé d'aide à la detection d'éléments, dispositif et plateforme associés
JP6965398B1 (ja) * 2020-05-14 2021-11-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム
CN112519679A (zh) * 2020-11-26 2021-03-19 哈尔滨北方防务装备股份有限公司 一种基于4g传输的双节履带车环境辅助观察系统
FR3124608A1 (fr) * 2021-06-28 2022-12-30 Safran Electronics & Defense Dispositif d'observation a voies optronique et optique independantes et vehicule equipe d'un tel dispositif

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075258A1 (en) * 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US20050028221A1 (en) * 2003-07-28 2005-02-03 Fuji Xerox Co., Ltd. Video enabled tele-presence control host
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
CN104714300A (zh) * 2013-12-13 2015-06-17 精工爱普生株式会社 头戴型显示装置及其控制方法
CN106062610A (zh) * 2014-03-27 2016-10-26 英特尔公司 用于捕获多个子图像以生成一幅图像的相机

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3571893B2 (ja) * 1997-12-03 2004-09-29 キヤノン株式会社 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法
JPH11168754A (ja) * 1997-12-03 1999-06-22 Mr System Kenkyusho:Kk 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体
US6853809B2 (en) * 2001-01-30 2005-02-08 Koninklijke Philips Electronics N.V. Camera system for providing instant switching between wide angle and full resolution views of a subject
JP2003134375A (ja) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
US9369679B2 (en) * 2006-11-07 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model
IL189251A0 (en) * 2008-02-05 2008-11-03 Ehud Gal A manned mobile platforms interactive virtual window vision system
US8139205B2 (en) * 2008-05-12 2012-03-20 Flir Systems, Inc. Optical payload with integrated laser rangefinder and target designator
US20130335520A1 (en) * 2012-06-19 2013-12-19 Patrick Campbell Robotic Camera System with Context Display
JP5778177B2 (ja) * 2010-12-28 2015-09-16 公立大学法人公立はこだて未来大学 画像撮像装置および画像提示システム
JP2012186591A (ja) * 2011-03-04 2012-09-27 Jvc Kenwood Corp カメラ制御装置、カメラ制御方法及びカメラ制御プログラム
JP5935432B2 (ja) * 2012-03-22 2016-06-15 株式会社リコー 画像処理装置、画像処理方法及び撮像装置
JP2015012550A (ja) * 2013-07-01 2015-01-19 キヤノン株式会社 撮像装置および撮像システム
US9646384B2 (en) * 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075258A1 (en) * 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
US20050028221A1 (en) * 2003-07-28 2005-02-03 Fuji Xerox Co., Ltd. Video enabled tele-presence control host
CN104714300A (zh) * 2013-12-13 2015-06-17 精工爱普生株式会社 头戴型显示装置及其控制方法
CN106062610A (zh) * 2014-03-27 2016-10-26 英特尔公司 用于捕获多个子图像以生成一幅图像的相机

Also Published As

Publication number Publication date
US20190126826A1 (en) 2019-05-02
RU2722771C1 (ru) 2020-06-03
JP2019526182A (ja) 2019-09-12
FR3052252B1 (fr) 2019-05-10
IL263345A (en) 2018-12-31
IL263345B (en) 2021-06-30
EP3465086B1 (fr) 2020-07-22
EP3465086A1 (fr) 2019-04-10
WO2017211672A1 (fr) 2017-12-14
CA3026899A1 (en) 2017-12-14
FR3052252A1 (fr) 2017-12-08

Similar Documents

Publication Publication Date Title
CN109313025A (zh) 用于陆地车辆的光电子观察装置
US9270976B2 (en) Multi-user stereoscopic 3-D panoramic vision system and method
JP5213880B2 (ja) パノラマ画像処理システム
US7429997B2 (en) System and method for spherical stereoscopic photographing
US7667730B2 (en) Composite surveillance camera system
US20150145950A1 (en) Multi field-of-view multi sensor electro-optical fusion-zoom camera
KR101776702B1 (ko) 3차원 영상을 생성하는 감시 카메라 및 그 방법
KR101685418B1 (ko) 3차원 영상을 생성하는 감시 시스템
US8908054B1 (en) Optics apparatus for hands-free focus
CN102907105A (zh) 提供具有感知深度的视频的摄像机
JP6165681B2 (ja) 画像表示装置及び画像表示方法
JP2006503375A (ja) 複数のカメラを用いたパノラマ映像化を可能とする方法およびシステム
CN103780817B (zh) 摄像组件
EP2685707A1 (en) System for spherical video shooting
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
KR20140100525A (ko) 비디오 영화를 촬영하기 위한 시스템
KR101297294B1 (ko) 카메라 제어용 맵 인터페이스 시스템
JP2001133854A (ja) カメラシステム及び表示装置
JP2010181826A (ja) 立体画像形成装置
US20150296142A1 (en) Imaging system and process
CN103167234B (zh) 安装监控摄像机的方法
JP2010034652A (ja) 多方位カメラ搭載型携帯端末装置
KR102485302B1 (ko) 영상 표시장치 및 영상 표시방법
KR101436231B1 (ko) 영상 표시부에 폐공간을 없앤 전방위촬영시스템 및 촬영방법
KR101983727B1 (ko) 증강현실 가상 스튜디오 시스템 및 그 구현 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination