CN115297295A - 具有有利视点变换的视频监控系统 - Google Patents

具有有利视点变换的视频监控系统 Download PDF

Info

Publication number
CN115297295A
CN115297295A CN202210463612.9A CN202210463612A CN115297295A CN 115297295 A CN115297295 A CN 115297295A CN 202210463612 A CN202210463612 A CN 202210463612A CN 115297295 A CN115297295 A CN 115297295A
Authority
CN
China
Prior art keywords
video
vantage point
camera
common
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210463612.9A
Other languages
English (en)
Inventor
阿伦·马尼坎丹·卡利拉扬
B·科利
J·S·查拉西亚
M·巴拉苏不拉马连
L·M·埃斯瓦拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN115297295A publication Critical patent/CN115297295A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明题为“具有有利视点变换的视频监控系统”。一种用于监测监控区域的方法包括接收由该监控区域中的多个摄像机捕获的多个视频流，该多个视频流中的每个视频流捕获该监控区域内的一个或多个对象，该一个或多个对象在对应摄像机的相机视场(FOV)内并且来自该对应摄像机的相机有利视点。将有利视点变换应用于在该多个视频流中的两个或更多个视频流中捕获的两个或更多个对象中的每个对象，该有利视点变换将该两个或更多个对象中的每个对象的视图从该对应摄像机的相机有利视点变换到共同有利视点。在显示器上呈现该两个或更多个对象中的每个对象从该共同有利视点变换后的视图。

Description

具有有利视点变换的视频监控系统
技术领域
本公开整体涉及视频监控系统。更具体地，本公开涉及实现有利视点变换的视频监控系统。
背景技术
多个视频监控系统采用安装或以其他方式布置在监控区域诸如城市、城市的一部分、设施或建筑物周围的摄像机。视频监控系统还可以包括移动摄像机，诸如携带摄像机的无人机。每个摄像机具有对应于其物理位置的有利视点和与特定摄像机在其特定物理位置处可以看到的内容对应的视场。在移动摄像机的情况下，应当理解，其有利视点可以改变。期望的是一种将来自多个摄像机的视频图像组合并且执行有利视点变换以提供可由操作者控制的监控区域的“鸟瞰”图的方式。
发明内容
本公开涉及视频监控系统。在示例中，提供了一种用于监测监控区域的方法。该方法包括接收由该监控区域中的多个摄像机捕获的多个视频流，其中该多个摄像机中的每个摄像机具有相机有利视点和相机视场(FOV)。该多个视频流中的每个视频流捕获该监控区域内的一个或多个对象，该一个或多个对象在对应摄像机的相机FOV内并且来自该对应摄像机的相机有利视点。将有利视点变换应用于在该多个视频流中的两个或更多个视频流中捕获的两个或更多个对象中的每个对象。该有利视点变换将该两个或更多个对象中的每个对象的视图从该对应摄像机的该相机有利视点变换到共同有利视点。然后在显示器上呈现该两个或更多个对象中的每个对象从该共同有利视点变换后的视图。在一些情况下，来自两个或更多个摄像机的视频流被拼接在一起以产生对象中的一个或多个对象的视图。
在另一个示例中，执行搜索可以包括从操作者接收搜索查询。作为响应，可以针对满足搜索查询的对象搜索多个视频。匹配对象的位置可以以第一帧速率显示在从共同有利视点变换后的视图上。可以接收将共同有利视点放大到匹配对象中的所选一个匹配对象中的操作者输入。从放大后的共同有利视点所选的匹配对象可以以可以高于或可以不高于第一帧速率的第二帧速率显示。
在另一个示例中，提供一种操作包括多个摄像机的监控系统的方法。每个摄像机被配置为从对应相机有利视点提供视频流，并且监控系统包括监控系统控制器。监控系统控制器可以被集中提供，诸如在云中，或者可以诸如分布在各个摄像机处或附近的边缘控制器中。说明性方法包括监控系统控制器分析由多个摄像机提供的视频流，以便从来自第一视频流的第一视频帧和来自第二视频流的第二视频帧中找到共同对象。用对象标识符标记共同对象。存储被标记的共同对象的包括来自第一视频流和第二视频流中的每者的相机有利视点的视图信息的视图信息。将有利视点变换应用于共同对象，有利视点变换将共同对象的视图信息从第一视频流和第二视频流的相机有利视点变换到共同有利视点。在显示器上呈现共同对象从有利视点变换后的视图信息。可以接收用户输入以将共同有利视点移动到更新后的共同有利视点，并且一旦移动，使用更新后的共同有利视点应用有利视点变换，并且呈现共同对象从更新后的共同有利视点变换后的视图信息。
在另一个示例中，无人机被配置为用于监控系统。无人机包括具有相机视场(FOV)的摄像机、存储器、收发器和可操作地耦合到摄像机、存储器和收发器的控制器。控制器被配置为使用摄像机捕获第一位置处的事件的视频的第一帧，并且确定跟随该事件的飞行路径。控制器被配置为使无人机沿着飞行路径飞行并且使用摄像机捕获第二位置处的事件的视频的第二帧，其中确定第二位置，使得在视频的第一帧与视频的第二帧之间的相机视场(FOV)中存在重叠。控制器被配置为经由收发器发射所得视频。
在另一个示例中，监控系统被配置为提供监控区域的监控。监控系统包括设置在监控区域内的多个摄像机。该多个摄像机中的每个摄像机被配置为捕获和存储对应于特定摄像机的视场的视频流。监控系统监测控制器经由高速无线网络与多个摄像机中的每个摄像机可操作地耦合。监控系统监测控制器包括：高速输入，该高速输入被配置为经由高速无线网络从多个摄像机中的一个或多个摄像机接收视频流；存储器，该存储器可操作地耦合到高速输入并且被配置为存储接收到的视频流；和控制器，该控制器可操作地耦合到高速输入和存储器。控制器被配置为分析每个视频流，以便从来自第一视频流的第一视频帧和来自第二视频流的第二视频帧两者中找到第一共同界标。当第一共同界标存在于来自第一视频流的第一视频帧和来自第二视频流的第二视频帧两者中时，控制器被配置为将来自第一视频流的第一视频帧和来自第二视频流的第二视频帧拼接在一起，并且将拼接在一起的图像放入主图像。当来自第一视频流的第一视频帧和来自第二视频流的第二视频帧两者中不存在第一共同界标时，控制器被配置为利用来自第一视频流的第一视频帧和来自第二视频流的第二视频帧来填充主图像，其中第一视频帧中的每个第一视频帧在对应于包括在第一视频帧和第二视频帧中的视图的物理位置的相对位置处设置在主图像内。控制器被配置为使用图像变换将主图像变换到主图像的俯视图中。
在另一个示例中，提供一种操作监控系统的方法，该监控系统包括监控系统控制器和被配置为提供视频流的多个摄像机。说明性方法包括监控系统控制器分析由多个摄像机提供的视频流，以便从来自第一视频流的第一视频帧和来自第二视频流的第二视频帧中找到共同界标。当共同界标存在于来自第一视频流的第一视频帧和来自第二视频流的第二视频帧两者中时，监控系统控制器将来自第一视频流的第一视频帧和来自第二视频流的第二视频帧拼接在一起，并且将拼接在一起的图像放入主图像。当来自第一视频流的第一视频帧和来自第二视频流的第二视频帧两者中不存在共同界标时，监控系统控制器利用来自第一视频流的第一视频帧和来自第二视频流的第二视频帧来填充主图像，其中第一视频帧中的每个第一视频帧在对应于包括在第一视频帧和第二视频帧中的视图的物理位置的相对位置处设置在主图像内。监控系统控制器将主图像转换到主图像的俯视图中。
在另一个示例中，无人机被配置为用于监控系统中，该监控系统包括设置在监控区域内的多个摄像机。无人机包括摄像机、存储器、蜂窝收发器和可操作地耦合到摄像机、存储器和蜂窝收发器的控制器。该控制器被配置为接收用于飞行到被认为发生事件的特定位置的指令，并且使用摄像机捕获事件的第一视频帧。控制器被配置为飞行到远离特定位置的第二位置以跟随事件，以确定捕获事件的第二视频帧的时间，使得在第一视频帧与第二视频帧之间存在足够的重叠以能够将第一视频帧和第二视频帧拼接在一起并捕获事件的第二视频帧。控制器被配置为将第一视频帧和第二视频帧拼接在一起以创建拼接视频图像并且经由蜂窝收发器发射拼接视频图像。
提供前面的发明内容是为了便于理解本公开所特有的一些创新特征，而并非意图作为完整的描述。通过将整个说明书、权利要求书、附图和说明书摘要视作一个整体，可以获得对本公开的全面理解。
附图说明
结合附图考虑以下对各种示例的描述，可以更全面地理解本公开，在附图中：
图1A是说明性监控系统的示意性框图；
图1B是说明性监控系统的示意性框图；
图2至图6是示出可以经由图1A和图1B的说明性监控系统执行的说明性方法的流程图；
图7是说明性监控系统控制器的示意性框图；
图8是示出可以经由图7的说明性监控系统控制器执行的说明性方法的流程图；
图9是示出说明性方法的流程图；
图10是示出说明性无人机的示意性框图；
图11至图12是示出可以由图10的说明性无人机执行的说明性方法的流程图；
图13至图15是示出说明性方法的流程图；并且
图16是示出可以在执行视频搜索时执行的一系列步骤的示意性框图。
虽然本公开服从于各种修改和另选形式，但是其细节已经在附图中以示例的方式示出并将被详细描述。然而，应当理解，其意图并非是将本公开限制于所述的特定示例。相反，其意图是覆盖落入本公开的实质和范围内的所有修改、等同物和替代方案。
具体实施方式
应参考附图阅读以下描述，其中不同附图中的相似元件以相同的方式编号。附图未必按比例绘制，其描绘了不旨在限制本公开范围的示例。虽然展示了各种元件的示例，但是本领域的技术人员将认识到，所提供的许多示例具有可以利用的合适替代方案。
本文假设所有数字均由术语“约”修饰，除非内容另有明确说明。用端点对数值范围的表述包括包含在该范围内的所有数字(例如，1至5包括1、1.5、2、2.75、3、3.80、4和5)。
如在本说明书和所附权利要求中所使用的，单数形式“一”、“一个”和“该”包括复数指代物，除非内容另有明确说明。如在本说明书和所附权利要求中所使用的，术语“或”通常以其包括“和/或”的意义使用，除非内容另有明确说明。
应当注意，在说明书中提及“一个实施方案”、“一些实施方案”、“其他实施方案”等，是指示所描述的实施方案可以包括特定的特征、结构或特性，但是每个实施方案可以不必包括该特定的特征、结构或特性。而且，这些短语不一定是指同一实施方案。另外，当结合实施方案描述特定特征、结构或特性时，可以设想到，无论是否明确描述，该特征、结构或特性可以应用于其他实施方案，除非另外明确相反陈述。
图1A是被配置为提供监控区域的监控的说明性监控系统10的示意性框图。说明性监控系统10包括监控系统控制器12和设置在监控区域内的多个摄像机14。该摄像机14被各自标记为14a、14b、14c。虽然示出了总共三个摄像机，但是应当理解，监控系统10可以包括例如在围绕小城市设置的数百或甚至数千个摄像机14。摄像机14中的至少一些摄像机可以是固定摄像机，这意味着它们各自安装在固定位置。摄像机14中的至少一些摄像机可以是被配置为在监控区域内四处移动的移动摄像机。例如，摄像机14中的至少一些摄像机可以安装在被配置为在监控区域内四处飞行的无人机内，从而在监控区域内的各种位置和/或竖直位置处提供摄像机。在一些情况下，移动摄像机可以是应急车辆的行车记录仪、应急人员(诸如警察)的随身摄像机和/或公民携带的便携式或可穿戴装置。这些只是示例。
每个摄像机14包括有利视点16和视场(FOV)18。有利视点16被各自标记为16a、16b、16c，并且FOV18被各自标记为18a、18b、18c。对于每个摄像机14，其有利视点16可以被至少部分地限定在其安装的位置上(如果永久固定的)或当前位置上(如果它是可移动的)。例如，特定摄像机14可以安装在位于第一街和主街的交叉口的建筑物的外部，高度为十英尺。此安装位置可以被认为是限定其有利视点16。作为另一个示例，特定摄像机14可以安装在第三街和第十六大道的交叉口处并且安装在二十五英尺的高度，诸如安装在建筑物的外部或路灯上。此特定摄像机14(安装在不同的位置处和二十五英尺的不同高度处)可以被认为是具有不同于安装在十英尺高度处的摄像机的有利视点16的有利视点16。安装到无人机的摄像机14还将具有不同的有利视点16。
摄像机14中的一些摄像机可以具有固定FOV 18，该固定FOV由安装相机以及透镜安装在相机上的位置和方式等决定。摄像机中的一些摄像机可以具有例如120度FOV或360度FOV。摄像机14中的一些摄像机可以具有可调的FOV 18。例如，摄像机14中的一些摄像机可以是云台(PTZ)相机，其可以通过调整特定摄像机14的平移、倾斜和变焦中的一者或多者来调整其FOV。
监控系统控制器12可以被配置为控制监控系统10的操作的至少一些方面。例如，监控系统控制器12可以被配置为例如向摄像机14中的至少一些摄像机提供指令以发射视频，或改变作为PTZ相机的摄像机14的平移、倾斜和变焦中的一者或多者。监控系统控制器12可以被配置为控制作为监控系统10的一部分的任何移动摄像机的操作。监控系统控制器12可以被配置为执行许多不同的方法。图2至图6是示出可由监控系统控制器12协调并且因此由监控系统10执行的说明性方法的流程图。
图1B是被配置为提供监控区域的监控的说明性监控系统11的示意性框图。监控系统11可以包括设置在监控区域内的多个摄像机15。摄像机15被各自标记为15a、15b、15c、15d。虽然示出了总共四个摄像机15，但是应当理解，监控系统11可以包括例如围绕小城市设置的数百或甚至数千个摄像机15。摄像机15中的至少一些摄像机可以是固定摄像机，这意味着它们各自安装在固定位置。摄像机15中的至少一些摄像机可以是被配置为在监控区域内四处移动的移动摄像机。例如，摄像机15中的至少一些摄像机可以安装在配置为在监控区域内四处飞行的无人机内，从而在监控区域内的各种位置和/或竖直位置处提供摄像机。在一些情况下，移动摄像机可以是应急车辆的行车记录仪、应急人员(诸如警察)的随身摄像机和/或公民携带的便携式或可穿戴装置。这些只是示例。
每个摄像机15包括可以根据纬度和经度给出的位置17和视场(FOV)18。位置17被各自标记为17a、17b、17c、17d，并且FOV 18被各自标记为18a、18b、18c、18d。对于每个摄像机15，其位置17可以被至少部分地限定在其安装的位置上(如果永久固定的)或当前位置上(如果它是可移动的)。摄像机15中的一些摄像机可以具有固定FOV 18，该固定FOV由安装相机以及透镜安装在相机上的位置和方式等决定。摄像机15中的一些固定摄像机可以具有例如120度FOV或360度FOV。摄像机15中的一些摄像机可以具有可调的FOV18。例如，摄像机15中的一些摄像机可以是云台(PTZ)相机，其可以通过调整特定摄像机15的平移、倾斜和变焦中的一者或多者来调整其FOV。
监控系统11包括一个或多个边缘装置19。示出了两个边缘装置19，被各自标记为19a和19b。应当理解，例如，可能存在大体上更大数量的边缘装置19。如图所示，摄像机15a、15b和15c与边缘装置19a可操作地耦合，并且摄像机15d(以及可能其它摄像机)与边缘装置19b可操作地耦合。在一些情况下，边缘装置19可以提供关于监控系统控制器12(图1A)描述的一些功能。关于监控系统控制器12描述的一些功能可以由基于云的服务器13和/或经由基于云的服务器13可操作地耦合到边缘装置19的计算机或工作站21提供。监控系统控制器12的功能可以诸如经由基于云的服务器13集中提供，或者可以分布在可以位于各个摄像机15处或附近的边缘装置19之间。
在一些情况下，每个边缘装置19可以是边缘控制器。在一些情况下，每个边缘装置19可以被配置为控制与特定边缘装置19可操作地耦合的每个摄像机15的操作。特定边缘装置19可以用与特定边缘装置19可操作地耦合的特定摄像机15相关的细节进行编程或以其他方式学习细节。如将讨论的，将视频拼接在一起可以例如在边缘装置19中的一个或多个边缘装置内发生，或可在基于云的服务器13和/或计算机或工作站21内发生。
基于云的服务器13、计算机或工作站21和/或边缘装置19中的一个或多个边缘装置可以被配置为控制监控系统11的操作的至少一些方面。例如，基于云的服务器13、计算机或工作站21和/或边缘装置19中的一个或多个边缘装置可以被配置为例如向摄像机15中的至少一些摄像机提供指令以发射视频，或改变作为PTZ相机的摄像机15的平移、倾斜和变焦中的一者或多者。基于云的服务器13、计算机或工作站21和/或边缘装置19中的一个或多个边缘装置可以被配置为控制作为监控系统11的一部分的任何移动摄像机的操作。基于云的服务器13、计算机或工作站21和/或边缘装置19中的一个或多个边缘装置可以被配置为执行许多不同的方法。图2至图6是示出可由监控系统控制器12协调并且因此由监控系统10执行的说明性方法的流程图。另选地，图2至图6中所示的说明性方法也可以被协调并且因此经由基于云的服务器13、计算机或工作站21和/或边缘装置19中的一个或多个边缘装置进行。
图2是示出用于监测监控区域的说明性方法20的流程图。方法20包括接收由监控区域中的多个摄像机(诸如摄像机14)捕获的多个视频流，其中多个摄像机中的每个摄像机具有相机有利视点(诸如有利视点16)和相机视场(FOV)(诸如FOV 18)。多个视频流中的每个视频流捕获监控区域内的一个或多个对象，该一个或多个对象在对应摄像机的相机FOV内并且来自对应摄像机的相机有利视点，如框22所示。有利视点变换可以应用于在多个视频流中的两个或更多个视频流中捕获的两个或更多个对象中的每个对象，该有利视点变换将两个或更多个对象中的每个对象的视图从对应摄像机的相机有利视点16变换到共同有利视点，如框24所示。共同有利视点可以对应于监控区域的“鸟瞰”图，该鸟瞰图可以由监控系统的操作者移动和/或以其它方式控制。变换可以包括从相机有利视点中的每个相机有利视点到共同有利视点的几何变换。
在一个示例中，假设第一摄像机14的相机有利视点16对应于特定位置和十英尺的高度，并且第二摄像机14的相机有利视点16对应于第一摄像机14的以南五十码的位置和二十五英尺的高度。共同有利视点可以对应于摄像机14中的一个摄像机的相机有利视点，或者共同有利视点可以对应于不同位置，诸如可以由监控系统的操作者移动和/或以其它方式控制的监控区域的“鸟瞰”图。可能期望共同有利视点对应于第一摄像机14和第二摄像机14中间的位置，并且在两者中间的高度处。在另一个示例中，共同有利视点可以对应于明显更大的竖直高度，诸如该区域的俯视图或期望的鸟瞰图。
两个或更多个对象中的每个对象从共同有利视点变换后的视图可以呈现在显示器上，如框26所示。在一些情况下，方法20可以进一步包括在显示器上呈现指示符，这些指示符指示监控区域的不在多个摄像机中的任何一个摄像机的相机FOV内的区，如框28所示。例如，方法20可以另外地或另选地包括在显示器上呈现指示符，这些指示符指示对象的和/或监控区域的不在多个摄像机中的任何一个摄像机的相机FOV内的区，如框30所示。这将监控区域的未被监控系统10的摄像机覆盖的区域通知给操作者。
图3是示出用于监测监控区域的说明性方法32的流程图。方法32包括接收由监控区域中的多个摄像机(诸如摄像机14)捕获的多个视频流，其中多个摄像机中的每个摄像机具有相机有利视点(诸如有利视点16)和相机视场(FOV)(诸如FOV 18)。多个视频流中的每个视频流捕获监控区域内的一个或多个对象，该一个或多个对象在对应摄像机的相机FOV内并且来自对应摄像机的相机有利视点，如框34所示。有利视点变换可以应用于在多个视频流中的两个或更多个视频流中捕获的两个或更多个对象中的每个对象，该有利视点变换将两个或更多个对象中的每个对象的视图从对应摄像机的相机有利视点变换到共同有利视点，如框36所示。在一些情况下，两个或更多个对象中的每个对象的视图以第一帧速率从共同有利视点变换和呈现。两个或更多个对象中的每个对象从共同有利视点变换后的视图可以呈现在显示器上，如框38所示。
在一些情况下，方法32包括接收用户输入以将共同有利视点移动到更新后的共同有利视点，如框40所示。在一些情况下，移动共同有利视点可以包括平移、变焦、倾斜和旋转中的一者或多者。作为示例，可以将共同有利视点放大到放大并更新后的共同有利视点。可以使用更新后的共同有利视点应用有利视点变换，如框42所示。可以呈现两个或更多个对象中的每个对象从更新后的共同有利视点变换后的视图，如框44所示。在一些情况下，可以以高于第一帧速率的第二帧速率呈现来自放大并更新后的共同有利视点的两个或更多个对象的视图。
图4是示出用于监测监控区域的说明性方法46的流程图。方法46包括接收由监控区域中的多个摄像机(诸如摄像机14)捕获的多个视频流，其中多个摄像机中的每个摄像机具有相机有利视点(诸如有利视点16)和相机视场(FOV)(诸如FOV 18)。多个视频流中的每个视频流捕获监控区域内的一个或多个对象，该一个或多个对象在对应摄像机的相机FOV内并且来自对应摄像机的相机有利视点，如框48所示。可以将有利视点变换应用于在多个视频流中的两个或更多个视频流中捕获的两个或更多个对象中的每个对象。有利视点变换将两个或更多个对象中的每个对象的视图从对应摄像机的相机有利视点变换到共同有利视点，如框50所示。在一些情况下，两个或更多个对象中的每个对象的视图以第一帧速率从共同有利视点变换和呈现。第一帧速率可以取决于对象的数量和感兴趣的摄像机的数量。感兴趣的对象和/或摄像机越少(例如，放大后的共同有利视点和较小的视场可以具有较少的对象和较少的感兴趣的摄像机)，帧速率越高。两个或更多个对象中的每个对象从共同有利视点变换后的视图可以呈现在显示器上，如框52所示。
在一些情况下，方法46可以进一步包括识别监控区域内的一个或多个对象，该一个或多个对象在多个摄像机中的至少一个摄像机的相机FOV内，如框54所示。确定在多个摄像机中的两个或更多个摄像机的相机FOV内识别的对象何时对应于同一对象，如框56所示。对象用对象标识符标记，如框58所示。存储被标记对象的视图信息，该视图信息包括来自随时间捕获被标记对象的多个摄像机中的两个或更多个摄像机中的每个摄像机的相机有利视点的视图信息，如框60所示。视图信息可以例如包括从不同相机和不同时间捕获的视图信息。在一些情况下，有利视点变换将视图信息变换到共同有利视点。
图5是示出用于监测监控区域的说明性方法62的流程图。方法62包括接收由监控区域中的多个摄像机(诸如摄像机14)捕获的多个视频流，其中多个摄像机中的每个摄像机具有相机有利视点(诸如有利视点16)和相机视场(FOV)(诸如FOV 18)。多个视频流中的每个视频流捕获监控区域内的一个或多个对象，该一个或多个对象在对应摄像机的相机FOV内并且来自对应摄像机的相机有利视点，如框64所示。有利视点变换可以应用于在多个视频流中的两个或更多个视频流中捕获的两个或更多个对象中的每个对象，该有利视点变换将两个或更多个对象中的每个对象的视图从对应摄像机的相机有利视点变换到共同有利视点，如框66所示。在一些情况下，两个或更多个对象中的每个对象的视图以第一帧速率从共同有利视点变换和呈现。第一帧速率可以取决于对象的数量和感兴趣的摄像机的数量。感兴趣的对象和/或摄像机越少(例如，放大后的共同有利视点和较小的视场可以具有较少的对象和较少的感兴趣的摄像机)，帧速率越高。两个或更多个对象中的每个对象从共同有利视点变换后的视图可以呈现在显示器上，如框68所示。
在一些情况下，方法62进一步包括确定多个摄像机中的一个摄像机的相机FOV何时与多个摄像机中的另一个摄像机的相机FOV重叠，如框70所示。当多个摄像机中的一个摄像机的相机FOV与多个摄像机中的另一个摄像机的相机FOV重叠时，对应视频流被拼接在一起，如框72所示。
图6是示出操作包括多个摄像机(诸如摄像机14)的监控系统的说明性方法74的流程图，每个摄像机被配置为从对应相机有利视点提供视频流，该监控系统包括监控系统控制器。方法74包括监控系统控制器分析由多个摄像机提供的视频流，以便从来自第一视频流的第一视频帧和来自第二视频流的第二视频帧中找到共同对象，如框76所示。共同对象用对象标识符标记，如框78所示。存储被标记的共同对象的包括来自第一视频流和第二视频流中的每者的相机有利视点的视图信息的视图信息，如框80所示。将有利视点变换应用于共同对象，该有利视点变换将共同对象的视图信息从第一视频流和第二视频流的相机有利视点变换到共同有利视点，如框82所示。在显示器上呈现共同对象从共同有利视点变换后的视图信息，如框84所示。
在一些情况下，方法74可以进一步包括接收用户输入以将共同有利视点移动到更新后的共同有利视点，并且一旦移动，使用更新后的共同有利视点应用有利视点，并且呈现共同对象从更新后的共同有利视点变换后的视图信息，如框86所示。可以以第一帧速率呈现共同对象从共同有利视点变换后的视图信息。共同对象从更新后的共同有利视点变换后的视图信息可以以与第一帧速率不同的第二帧速率呈现。方法74可以进一步包括在显示器上呈现指示符，该指示符指示监控区域的和/或共同对象的不在多个摄像机中的任何一个摄像机的相机FOV内的区。
图7是说明性监控系统控制器90的示意性框图。说明性监控系统控制器90可以被认为是监控系统控制器12的示例。监控系统控制器90可以经由高速无线网络(诸如但不限于5G蜂窝网络)与多个摄像机14可操作地耦合。当如此提供时，监控系统控制器90包括高速输入92，该高速输入被配置为经由高速无线网络从多个摄像机中的一个或多个摄像机接收视频流。在一些情况下，监控系统控制器90还包括高速输出94，该高速输出与高速无线网络可操作地耦合以例如输出如视频等图像。在一些情况下，高速输入92和高速输出94可以组合地被认为是形成收发器96，该收发器可以提供双向通信。存储器98与高速输入92可操作地耦合并且被配置为存储接收到的视频流。控制器100可操作地耦合到高速输入92和存储器98。控制器100被配置为执行多种方法，诸如图8和图9中概述的方法。
图8是示出可由控制器100协调并且因此由监控系统控制器90执行的说明性方法102的流程图。控制器100可以被配置为分析每个视频流，以便从来自第一视频流的第一视频帧和来自第二视频流的第二视频帧中找到第一共同界标，如框104所示。当第一共同界标存在于来自第一视频流的第一视频帧和来自第二视频流的第二视频帧两者中时，控制器100被配置为将来自第一视频流的第一视频帧和来自第二视频流的第二视频帧拼接在一起，并且将拼接在一起的图像放入主图像，如框106所示。当来自第一视频流的第一视频帧和来自第二视频流的第二视频帧两者中不存在第一共同界标时，控制器100被配置为利用来自第一视频流的第一视频帧和来自第二视频流的第二视频帧来填充主图像，其中第一视频帧中的每个第一视频帧在对应于包括在第一视频帧和第二视频帧中的视图的物理位置的相对位置处设置在主图像内，如框108所示。主图像被转换成主图像的俯视图(或其它鸟瞰图)，如框110所示。
在一些情况下，控制器100还可以被配置为分析每个视频流，以便从来自第二视频流的第二视频帧和来自第三视频流的第三视频帧中找到第二共同界标，如112所示。当第二共同界标存在于来自第二视频流的第二视频帧和来自第三视频流的第三视频帧两者中时，控制器100可以被配置为将来自第二视频流的第二视频帧和来自第三视频流的第三视频帧拼接在一起，并且将拼接在一起的图像放入主图像，如框114所示。当来自第二视频流的第二视频帧和来自第三视频流的第三视频帧两者中不存在第二共同界标时，控制器100可以被进一步配置为利用来自第三视频流的第三视频帧来填充主图像，其中第三视频帧在对应于包括在第三视频帧中的视图的物理位置的相对位置处设置在主图像内，如框116所示。
在一些情况下，如所指示的，摄像机14中的至少一些摄像机可以包括具有可调视场(FOV)的摄像机。控制器100可以被配置为发送命令以调整具有可调FOV的摄像机14中的一个或多个摄像机的FOV。当摄像机14中的一些摄像机包括可相对于无人机固定的移动摄像机时，控制器100可以被配置为向特定移动摄像机(例如，无人机)提供指令以移动到特定位置。在一些情况下，控制器100和/或移动摄像机本身可以被配置为在移动摄像机中的一个或多个移动摄像机接近和/或经过特定位置时估计用于捕获实况视频流的最佳时间。
在一些情况下，控制器100可以被配置为使得能够从多个不同的有利视点中的任一个有利视点显示主图像的俯视图内的位置。例如，多个不同的有利视点可以包括如X-Y平面中所示的地面上的不同位置。作为示例，多个不同的有利视点可以包括与X-Y平面正交的Z平面中的不同高度。控制器100可以被配置为基于在一段时间内从多个摄像机接收到的视频流创建和存储主图像的多个俯视图，并且显示对应于时间段内的时间点的主图像的所选俯视图。控制器100可以被配置为使得能够从多个不同有利视点中的任一个有利视点显示对应于时间点的主图像的所选俯视图内的位置。
图9是示出操作包括多个摄像机(诸如摄像机14)的监控系统的说明性方法118的流程图，该多个摄像机配置为提供视频流，该监控系统包括监控系统控制器(诸如监控系统控制器12、90)。方法118包括监控系统控制器分析由多个摄像机提供的视频流，以便从来自第一视频流的第一视频帧和来自第二视频流的第二视频帧中找到共同界标，如框120所示。当共同界标存在于来自第一视频流的第一视频帧和来自第二视频流的第二视频帧两者中时，监控系统控制器将来自第一视频流的第一视频帧和来自第二视频流的第二视频帧拼接在一起，并且将拼接在一起的图像放入主图像，如框122所示。当来自第一视频流的第一视频帧和来自第二视频流的第二视频帧两者中不存在共同界标时，监控系统控制器利用来自第一视频流的第一视频帧和来自第二视频流的第二视频帧填充到第二视频帧中，其中第一视频帧中的每个第一视频帧在对应于包括在第一视频帧和第二视频帧中的视图的物理位置的相对位置处设置在主图像内，如框124所示。监控系统控制器将主图像转换到主图像的俯视图中，如框126所示。
图10是被配置为用于监控系统(诸如监控系统10)的无人机128的示意性框图，该监控系统包括设置在监控区域内的多个摄像机(诸如摄像机14)。无人机128包括摄像机130、存储器132、收发器134和可操作地耦合到摄像机130、存储器132和收发器134的控制器136。在一些情况下，摄像机130可以被认为是包括相机视场(FOV)131。例如，收发器134可以是蜂窝收发器，诸如但不限于5G蜂窝收发器。控制器136可被认为是被配置为控制无人机以及摄像机130的操作，包括无人机飞行能力的操作。图11和图12是示出可由控制器136协调并且因此由无人机128执行的说明性方法的流程图。
图11是示出无人机128的控制器136可以被配置为执行的说明性方法138的流程图。使用摄像机捕获第一位置处的事件的视频的第一帧，如框140所示。确定跟随该事件的飞行路径，如框142所示。无人机沿着飞行路径飞行，如框144所示。使用摄像机捕获第二位置处的事件的视频的第二帧，其中确定第二位置，使得在视频的第一帧与视频的第二帧之间的相机视场(FOV)中存在重叠，如框146所示。经由收发器发射视频，如框148所示。在一些情况下，视频的帧速率是动态的并且可以取决于无人机沿飞行路径飞行的速度。在一些情况下，帧速率可以取决于无人机沿飞行路径飞行的高度。
图12是示出无人机128的控制器136可以被配置为执行的说明性方法150的流程图。接收指令以飞往被认为正在发生事件的特定位置，如框152所示。使用摄像机捕获事件的第一视频，如框154所示。控制器136被配置为将无人机飞行到远离特定位置的第二位置以跟随该事件，如框156所示。控制器136被配置为确定捕获事件的第二视频的时间，使得第一视频与第二视频之间存在足够的重叠以能够将第一视频和第二视频拼接在一起，如框158所示。控制器136被配置为捕获事件的第二视频，如框160所示，并且将第一视频和第二视频拼接在一起以创建拼接视频，如框162所示。控制器136被配置为经由蜂窝收发器(例如，5G收发器)发射拼接视频，如框164所示。
图13是示出用于确定何时以及如何将视频拼接在一起的说明性方法166的流程图。如所见的，方法166可以处理由固定相机168、PTZ相机170和无人机相机172中的任一者提供的视频，特别是如果无人机相机172由具有与固定相机168和/或PTZ相机170类似的高度的无人机承载。在一些情况下，具有类似视场(FOV)的无人机相机172也可以发挥作用。在框174处，识别其图像能够并且应该拼接在一起的相机。框174接收关于感兴趣的监控区域的输入细节(如框176所示)以及相机的物理位置(如框178所示)作为输入。监控感兴趣的区域可以由当前由监控系统10的操作者选择的特定鸟瞰图的视场(FOV)来定义。其图像应该拼接在一起的相机可以包括具有与当前由监控系统10的操作者选择的特定鸟瞰图的视场重叠的FOV的所有相机。当操作者放大时，当前由操作者选择的鸟瞰图的FOV的尺寸减小，并且因此可以识别其图像应当拼接在一起的较少摄像机。当涉及较少的摄像机时，给定一组处理资源可以将更多帧拼接在一起，并且拼接在一起的视频可以在操作者显示器上以较高帧速率呈现。
在一些情况下，可以根据纬度和经度指定相机位置，但也可以使用其它识别标准，诸如GPS坐标。相机视图重叠模块180确定哪些相机视图重叠并且哪些不重叠。重叠视图在图像拼接模块182中拼接在一起，从而产生拼接图像或拼接帧184。非重叠视图被按原样聚合成最终视图，或被变换为俯视图或其它鸟瞰图。
图14是示出将视图拼接在一起的说明性方法186的流程图，并且可以被被认为提供关于相机视图重叠模块180和图像拼接模块182的功能的额外细节。说明性方法186包括根据规范的每个摄像机的水平视场(HFOV)和竖直视场(VFOV)以及每个摄像机的物理位置作为输入，如框188所示。谷歌地图或类似引擎可用于识别界标和其物理位置，如框190所示。这些作为输入提供给框192，在该框中确定各种摄像机视图中的界标是否重叠和重叠多少。这可以至少部分地通过识别每个相机视图内的界标位置来确定。如果各种相机视图中的界标之间没有重叠，则控制前进到框194，在该框中主图像用相机视图细节填充。相反，如果界标在一些相机视图中重叠，则控制前进到决策框196，在该框中确定是否存在大量重叠。如果是，则控制前进到框198，在该框中进行拼接。在框200处，根据已知方法执行对俯视图或其它鸟瞰图的变换，并且被查看，如框202所示。
图15是示出说明性方法204的流程图。如206处所示，无人机在时间t1处从位置P1飞到时间t2处的位置P2。在时间t1处，无人机的视场是从A到B。在时间t2处，无人机的视场是从C到D。方法204包括在位置P1处(如框208所示)，确定无人机的高度和相机FOV，如框210所示。在位置P1处捕获第一图像，如框212所示。在框214处计算最大范围并且如框216所示确定位置E(参考206)。在一些情况下，位置E可以对应于最大范围除以二的百分之八十。这使得能够在图像之间行进一定距离，同时仍然允许相继图像之间的足够重叠。在框218处，确定预测位置P2。这可以包括以下项作为输入：无人机在时间t1时的位置(诸如纬度和经度)，如218a所示；如218b所示的移动速度、如218c所示的无人机的高度和无人机的偏航、俯仰和滚动，如218d所示。在预测位置P2处捕获第二图像，如框220所示。将第一图像和第二图像提供给图像拼接算法222，并且然后提供给提供全景视图的框224。
图16是示出可以作为进行搜索的一部分执行的的一系列步骤226的示意性框图。在框228处，可以从操作者接收搜索查询。搜索查询可以采取各种形式，并且例如可以包括请求搜索例如身高60到75英寸、穿着红色衬衫并携带黑色公文包的男性。搜索查询可以包括搜索被看到在特定时间窗口内通过特定十字路口的黄色汽车的请求。例如，搜索查询可以包括搜索超过二十人的聚会的请求。在框230处，搜索视频以查找匹配搜索查询的对象。在框232处，将匹配对象的位置以第一帧速率显示在从共同有利视点变换后的视图上。在框234处，接收用户输入，该用户输入将共同有利视点放大到匹配对象中的所选一个匹配对象中。在框236处，以第二帧速率显示从放大后的有利视点所选的匹配对象。在一些情况下，第二帧速率可以高于第一帧速率。
尽管已经如此描述了本公开的若干说明性实施方案，但是本领域的技术人员将容易理解，在本文所附权利要求书的范围内，可以制造和使用其他实施方案。然而，应当理解，本公开在许多方面仅为说明性的。在不超出本公开范围的情况下，可以对细节(尤其是与形状、尺寸、零件的布置，以及步骤的排除和顺序有关的细节)进行改变。当然，本公开的范围以表达所附权利要求书的语言来限定。

Claims (10)

1.一种用于监测监控区域的方法，所述方法包括：
接收由所述监控区域中的多个摄像机捕获的多个视频流，其中所述多个摄像机中的每个摄像机具有相机有利视点和相机视场(FOV)，所述多个视频流中的每个视频流捕获所述监控区域内的一个或多个对象，所述一个或多个对象在对应摄像机的所述相机FOV内并且来自所述对应摄像机的所述相机有利视点；
将有利视点变换应用于在所述多个视频流中的两个或更多个视频流中捕获的两个或更多个对象中的每个对象，所述有利视点变换将所述两个或更多个对象中的每个对象的视图从所述对应摄像机的所述相机有利视点变换到共同有利视点；以及
在显示器上呈现所述两个或更多个对象中的每个对象从所述共同有利视点变换后的视图。
2.根据权利要求1所述的方法，其中所述两个或更多个对象中的每个对象的所述视图以第一帧速率从所述共同有利视点变换和呈现。
3.根据权利要求2所述的方法，所述方法进一步包括接收用户输入以将所述共同有利视点移动到更新后的共同有利视点，并且一旦移动，使用所述更新后的共同有利视点应用所述有利视点变换，并且呈现所述两个或更多个对象中的每个对象从所述更新后的共同有利视点变换后的视图。
4.根据权利要求3所述的方法，其中移动所述共同有利视点包括平移、变焦和旋转中的一者或多者。
5.根据权利要求4所述的方法，所述方法进一步包括：
将所述共同有利视点放大到放大并更新后的共同有利视点；以及
以高于所述第一帧速率的第二帧速率将所述两个或更多个对象的所述视图从所述放大并更新后的共同有利视点变换并呈现。
6.根据权利要求1所述的方法，所述方法进一步包括在所述显示器上呈现指示符，所述指示符指示所述监控区域的不在所述多个摄像机中的任何一个摄像机的所述相机FOV内的区。
7.根据权利要求1所述的方法，所述方法进一步包括在所述显示器上呈现指示符，所述指示符指示对象的不在所述多个摄像机中的任何一个摄像机的所述相机FOV内的区。
8.根据权利要求1所述的方法，所述方法进一步包括：
识别所述监控区域内的一个或多个对象，所述一个或多个对象在所述多个摄像机中的至少一个摄像机的所述相机FOV内；
确定在所述多个摄像机中的两个或更多个摄像机的所述相机FOV内识别的对象何时对应于同一对象；
用对象标识符标记所述对象；以及
存储被标记对象的视图信息，所述视图信息包括来自捕获被标记对象的所述多个摄像机中的两个或更多个摄像机中的每个摄像机的所述相机有利视点的视图信息。
9.根据权利要求1所述的方法，所述方法进一步包括：
确定所述多个摄像机中的一个摄像机的所述相机FOV何时与所述多个摄像机中的另一个摄像机的所述相机FOV重叠；以及
当所述多个摄像机中的一个摄像机的所述相机FOV与所述多个摄像机中的另一个摄像机的所述相机FOV重叠时，将对应视频流拼接在一起。
10.一种监控系统，所述监控系统包括：
多个摄像机，每个摄像机被配置为从对应相机有利视点提供视频流；
监控系统控制器，所述监控系统控制器操作地耦合到所述多个相机，所述监控系统控制器被配置为：
分析由所述多个摄像机提供的视频流，以便从来自第一视频流的第一视频帧和来自第二视频流的第二视频帧中找到共同对象；
用对象标识符标记所述共同对象；
存储被标记的共同对象的视图信息，所述视图信息包括来自所述第一视频流和所述第二视频流中的每者的所述相机有利视点的视图信息；
将有利视点变换应用于共同对象，所述有利视点变换将所述共同对象的视图信息从所述第一视频流和所述第二视频流的所述相机有利视点变换到共同有利视点；
在显示器上呈现所述共同对象从所述共同有利视点变换后的视图信息；以及
接收用户输入以将所述共同有利视点移动到更新后的共同有利视点，并且一旦移动，使用所述更新后的共同有利视点应用所述有利视点变换，并且呈现所述共同对象从所述更新后的共同有利视点变换后的视图信息。
CN202210463612.9A 2021-05-03 2022-04-28 具有有利视点变换的视频监控系统 Pending CN115297295A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN202111020181 2021-05-03
IN202111020181 2021-05-03

Publications (1)

Publication Number Publication Date
CN115297295A true CN115297295A (zh) 2022-11-04

Family

ID=81346196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210463612.9A Pending CN115297295A (zh) 2021-05-03 2022-04-28 具有有利视点变换的视频监控系统

Country Status (3)

Country Link
US (1) US20220351519A1 (zh)
EP (1) EP4087236A1 (zh)
CN (1) CN115297295A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230316455A1 (en) * 2022-03-23 2023-10-05 Lenovo (Singapore) Pet. Ltd. Method and system to combine video feeds into panoramic video

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9873442B2 (en) * 2002-06-04 2018-01-23 General Electric Company Aerial camera system and method for identifying route-related hazards
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US8270767B2 (en) * 2008-04-16 2012-09-18 Johnson Controls Technology Company Systems and methods for providing immersive displays of video camera information from a plurality of cameras
EP3008535B1 (en) * 2014-09-05 2018-05-16 SZ DJI Technology Co., Ltd. Context-based flight mode selection
US10633091B2 (en) * 2015-01-29 2020-04-28 Scope Technologies Holdings Limited Accident monitoring using remotely operated or autonomous aerial vehicles
US10636150B2 (en) * 2016-07-21 2020-04-28 Gopro, Inc. Subject tracking systems for a movable imaging system
WO2018045577A1 (zh) * 2016-09-09 2018-03-15 深圳市大疆创新科技有限公司 显示无人飞行器的障碍检测的方法和系统
US10659773B2 (en) * 2017-04-13 2020-05-19 Facebook, Inc. Panoramic camera systems
CN110651295B (zh) * 2017-05-30 2024-04-26 索尼半导体解决方案公司 图像处理设备、图像处理方法和程序
US10776892B2 (en) * 2017-12-19 2020-09-15 Motorola Solutions, Inc. Device, system and method for screening of personally identifiable information
US11113841B1 (en) * 2019-06-11 2021-09-07 Amazon Technologies, Inc. Self-learning three-dimensional boundaries from images
KR20200143276A (ko) * 2019-06-14 2020-12-23 한국전자통신연구원 비디오 부호화 방법 및 비디오 복호화 방법
US11794896B2 (en) * 2021-04-28 2023-10-24 Gene Hunt Emergency response drone
US11483520B1 (en) * 2021-11-26 2022-10-25 Rubicon Technologies, Llc System for prevention and remediation of environmental contaminants in municipal solid waste and recycling facilities

Also Published As

Publication number Publication date
EP4087236A1 (en) 2022-11-09
US20220351519A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
CN110674746B (zh) 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN106791710B (zh) 目标检测方法、装置和电子设备
US11019268B2 (en) Video surveillance system and video surveillance method
CN108521808B (zh) 一种障碍信息显示方法、显示装置、无人机及系统
CA2767312C (en) Automatic video surveillance system and method
CN111145545A (zh) 基于深度学习的道路交通行为无人机监测系统及方法
WO2018006224A1 (en) System and method for automated tracking and navigation
CN102436738A (zh) 一种基于无人机的交通监测装置
US9418299B2 (en) Surveillance process and apparatus
KR20160014413A (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
WO2020211593A1 (zh) 交通道路的数字化重建方法、装置和系统
Schumann et al. An image processing pipeline for long range UAV detection
CN108734655A (zh) 空中多节点实时侦查的方法及系统
US20220351519A1 (en) Video surveillance system with vantage point transformation
CN112422905B (zh) 一种电力设备图像采集方法、装置、设备和介质
CN107045805B (zh) 一种用于小型航空器和空飘物的监测方法及系统
RU2693926C1 (ru) Система контроля и воздействия на объекты, представляющие интерес, и выполняемые ими процессы и соответствующий способ
JP2023100805A (ja) 撮像装置、撮像方法及び撮像プログラム
CN112802100A (zh) 一种入侵检测方法、装置、设备和计算机可读存储介质
CN116698044A (zh) 一种无人机导航方法及系统
KR102030736B1 (ko) 다중 분산 영상 데이터 분석 장치
KR101865835B1 (ko) 비행체 감시 장치
EP3905116A1 (en) Image processing system for identifying and tracking objects
CN111343431B (zh) 基于图像矫正的机场目标检测系统
CN109190602B (zh) 一种智能无人机载视频监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination