CN110351477B - 用于在存在延迟的环境中远程控制相机的方法和系统 - Google Patents

Abstract

本公开涉及用于在其中存在延迟的环境中远程控制相机的方法和系统。提供一种用于通过网络控制远程定位的相机的控制装置。所述控制装置包括用于查看由所述相机提供的图像的监视器。从所述控制装置将具有用于控制所述相机的功能、设置或参数中的至少一个的命令的控制信号发送到所述相机。根据所述命令修改在所述控制装置的所述监视器上显示的图像，以于在所述相机处执行所述命令之前提供模拟图像以供显示。

Description

用于在存在延迟的环境中远程控制相机的方法和系统

相关申请的交叉引用

本申请要求2018年4月6日申请的第62/653,613号美国临时申请的权益，所述申请出于所有目的以引用的方式并入本文中并成为本申请的一部分。

技术领域

本发明涉及数字视频录制的领域。更确切地说，本发明涉及在其中相机和控制位点处的监视器之间存在通信时延的环境中对相机(或其它视频录制装置)的远程控制。

背景技术

通常需要从远程位置和装置控制相机功能、设置或参数，例如平移、倾斜、缩放、亮度、对比度、白平衡和其它功能、设置和参数。例如，可以从远程定位的控制装置(例如，运行网页浏览器或控制应用程序的支持互联网的装置)控制相机，所述控制装置具有用于查看相机图像的监视器。利用此类控制装置可以使得用户能够在监视器上远程查看相机图像并从控制装置控制相机，使得由相机提供的图像的对应改变可以在监视器上查看。在其中相机和控制装置之间的通信时延较低的环境中，用户可以在远程定位的控制位点处的监视器上看到快速响应(图像改变)。

然而，当远程定位的控制装置和相机之间的通信较慢时，可在控制装置的监视器上查看的对图像上的控制信号的响应不再是即时的。这一时延使得相机调整极其困难。

考虑相机和控制装置之间的通信时延将是有利的，使得与在控制装置的监视器处观察对控制信号的相机响应的延迟相关联的缺点可以被克服或最小化。

本发明的方法和设备提供前述和其它优点。

发明内容

本发明涉及在其中相机和控制位点处的监视器之间存在通信时延的环境中对相机或其它视频录制装置的远程控制。

在用于在其中存在延迟的环境中远程控制相机的方法的一个实例实施例中，提供一种用于通过网络控制远程定位的相机的控制装置。控制装置包括用于查看由相机提供的图像的监视器。从控制装置将具有用于控制相机的功能、设置或参数中的至少一个的命令的控制信号发送到相机。根据所述命令修改在控制装置的监视器上显示的图像，以于在相机处执行所述命令之前提供模拟图像以供显示。

一旦所述命令被执行，且在控制装置处接收到来自相机的实际图像，模拟图像就可以无缝替换成实际图像。

所述方法可进一步包括在执行所述命令之后将指示符内嵌在由相机提供到控制装置的图像信号中，使得监视器在接收到所述指示符后切换到实际图像。

替代地，可以在控制信号中为所述命令提供时间代码。在相机执行所述命令后，所述时间代码可以内嵌在图像帧中。接着，在控制装置处接收到具有时间代码的图像帧后，模拟图像可以替换成实际图像。

图像和模拟图像中的每一个可包括静态图像或视频图像中的一个。

相机的功能、设置或参数中的至少一个可包括平移、倾斜、缩放、亮度、对比度、白平衡等等中的至少一个。

相机可包括PTZ相机、监控相机、智能手机相机、IP相机等等中的一个。

控制装置可包括专用硬件装置、在计算机、膝上型计算机、平板计算机、智能手机和支持互联网的装置中的一个上运行的软件应用程序、在网页浏览器上运行的网页等等中的一个。

可以基于模拟图像从控制装置向相机提供其它控制信号。

相机的传感器大小可大于图像的视频分辨率。

命令可特定于相机的相机类型。命令可基于分配给相机的模拟模型而转换成相机特定命令。相机特定命令可根据模拟模型应用于在监视器处从相机接收的实时视频信号。一旦用户完成调整相机的功能、设置或参数，相机特定命令就可从控制装置发送到相机。

本发明还涵盖用于在其中存在延迟的环境中远程控制相机的设备和系统。根据本发明的这种系统的实例实施例可包括网络、远程定位的相机，及用于通过网络控制远程定位的相机的控制装置。控制装置可包括用于查看由相机提供的图像的监视器。控制装置用于向相机发送具有用于控制相机的功能、设置或参数中的至少一个的命令的控制信号。控制装置根据所述命令修改在监视器上显示的图像，以于在相机处执行所述命令之前提供模拟图像以供显示。

本发明的系统和设备还可包括上文所论述的方法实施例的各种特征。

附图说明

将结合附图在下文描述本发明，其中类似参考标号表示类似元件，且：

图1示出本发明的实例实施例的框图；以及

图2-4示出根据本发明的实例实施例的监视器上的图像操控的实例。

具体实施方式

随后详细描述仅提供示例性实施例，且并不意图限制本发明的范围、适用性或配置。实际上，示例性实施例的随后详细描述将向所属领域的技术人员提供对实施本发明的实施例的启发性描述。应理解，在不脱离如在所附权利要求书中所阐述的本发明的精神和范围的情况下，可对元件的功能和布置进行各种改变。

本发明涉及在其中相机和控制位点处的监视器之间存在通信时延的环境中对视频录制的远程控制。本发明的实例实施例在图1中说明。

提供可以从控制装置12远程控制的相机10。相机10可包括高端PTZ(平移、倾斜、缩放)相机、低成本监控相机、智能手机相机、IP相机等等。

控制装置12是可远离相机10且用于控制相机的功能、设置和参数(例如，平移、倾斜、缩放、亮度、对比度、白平衡和其它功能、设置和参数)的各个方面的装置。控制装置12可包括用于输入控制相机10的命令的用户界面。控制装置12可包括高端专用控制装置(即，设计成用于远程控制特定相机的特定硬件组件)、在计算机装置(例如，桌上型计算机、膝上型计算机、平板计算机、智能手机或其它支持互联网的装置)上运行的软件应用程序，或用户通过支持互联网的装置上的网页浏览器访问的网页。

监视器14可设置于控制装置12上(或以其它方式与其相关联或与其连接)以查看(例如，通过图像信号20)由相机10提供的图像。

控制装置12可用于通过有线或无线网络16与相机10通信。网络16可包括广域网、局域网、射频网、蜂窝式网络、互联网、蓝牙等等中的一或多个。用户能够在控制装置12的监视器14上查看相机图像。控制装置12使得用户能够通过经由网络16向相机10发送控制信号18来远程控制相机10。控制信号可包括用于控制相机10的功能、设置或参数中的至少一个的命令。接着，可在控制装置12的监视器14上观察在相机12上由控制信号18引起的改变。

在其中在控制信号18已被发送之后相机10和控制装置12之间的图像信号20的通信存在延迟的情况下，用户在接收到控制信号18后无法即刻看到相机图像的改变。对相机10和由其提供的图像的进一步调整由于此类时延而变得困难。

为了避免此类问题，通过本发明，在控制信号18中发送的命令还提供到控制装置12的监视器14。控制装置12将根据所述命令修改在监视器14上显示的图像，模拟相机10将要交进行的行为。具体地说，在实际控制信号18到达相机10且所得图像信号20返回到控制装置12之前，监视器14将使用所述命令来模拟相机10响应于控制信号18而提供的图像。这样，用户可以精确地控制相机10的所有功能、设置和参数，而不具有延迟。一旦命令在相机10处执行且具有由控制信号18请求的实际结果的实际图像信号20到达，控制装置12的监视器14就将从模拟图像无缝切换到从相机10接收的实际图像。

通过本发明，模拟图像由监视器14和/或控制装置12通过应用控制信号中所含的相同命令来产生，从而在尚未受到控制信号18影响的来自相机10的当前图像上实行命令效果。例如，在控制信号18中发送的命令可能需要相机10增加它的亮度设置。由于相机10和控制装置12之间的通信网络的时延，在控制装置12的监视器14上显示的图像将不会即刻以增加的亮度显示。然而，因为相同命令还用于修改在监视器14上显示的当前图像，使得它模仿相机10处的图像，所以用户可以即刻看到控制信号18在图像上的效果，并继续基于在监视器14上展示的模拟图像，通过向相机提供其它控制信号/命令来对相机功能、设置或参数进行其它所需改变。

所属领域的技术人员将了解，相机10可产生将由监视器14显示的视频或静态图像，并且如本文所使用的术语“图像”涵盖静态图像和视频两者。

本发明利用相机传感器大小和正常视频分辨率之间的差来提供例如平移和缩放的特征及对应的模拟图像。通常，相机传感器大小比正常视频分辨率高得多。例如，iPhone相机传感器是12MP(4240x2832像素)，而正常HD视频仅需要1920x1080像素分辨率。通过本发明，只需要使用图像的一部分，同时不会发送较低图片质量。例如，如在图2-4中所示，相机10可捕获12MP图像19，但是仅图像20的一部分(1920x1080)流式传输到监视器14并在监视器14上显示。如果(例如)向相机10发送向右平移的命令，那么在监视器14上显示的图像首先将是其中先前图像向左偏移的模拟图像，其中屏幕的右侧部分呈黑色，如图3中所示。模拟图像的右侧呈黑色，因为监视器14尚未接收到图像的这一部分的任何数据(即使这可在相机10处获得，如图2所示)。一旦相机10实行向右平移命令，经修改图像就流式传输到监视器14，并替换模拟图像(由此提供图像的右侧的遗漏数据)，如图4中所示。因此，系统使得能够在相机10的整个传感器范围内实行平移和缩放。换句话说，最初由相机传感器捕获的原始(完整)图像大小(如图2中所示)用作平移和缩放命令的边界。

此外，有两种方式指示在相机10执行命令之后的实际流到达。第一，在执行命令之后，信号或其它指示符可以内嵌在由相机10提供的视频流20中。当所述指示符到达监视器14时，系统将关闭模拟并显示实际图像。第二，可以在具有将对相机10执行的命令的控制信号18中发送视频的时间代码。接着在相机10执行命令后，时间代码内嵌在图像帧中。然后当具有所述时间代码的图像帧到达监视器14时，可以关闭模拟。

命令可特定于相机10的相机类型。在此类实施例中，用户通过控制装置12的用户界面输入的命令可基于分配给相机10的模拟模型而转换成相机特定命令。相机特定命令可根据模拟模型应用于在监视器14处从相机10接收的实时视频信号。只有用户完成调整相机10的功能、设置或参数，相机特定命令才可从控制装置12发送到相机10。这避免了在连续调整参数期间在控制信号18中发送命令，以免发送用于在调整过程中(例如，当图像放大时，将仅在用户结束移动滑动调整工具的情况下在控制信号中发送命令，而不是在任何中间阶段发送)实行中间步骤的控制信号。

现在应了解，本发明提供用于在具有通信时延的环境中远程控制相机的有利方法和设备。

尽管已结合各种所说明的实施例描述本发明，但可在不脱离如在所附权利要求书中阐述的本发明的精神和范围的情况下对其做出众多修改和调整。

Claims (22)

1.一种用于在其中存在延迟的环境中远程控制相机的方法，包括：

提供用于通过网络控制远程定位的相机的控制装置，所述控制装置包括用于查看由所述相机提供的图像的监视器；

从所述控制装置将具有用于所述相机的功能、设置或参数中的至少一个的命令的控制信号发送到所述相机；

在将所述控制信号发送到所述相机之后或在将所述控制信号发送到所述相机的同时中的至少一个时间点，根据所述命令修改在所述控制装置的所述监视器上显示的图像，以于在所述相机处执行所述命令之前提供模拟图像以供显示；

在所述控制信号中为所述命令提供时间代码；

在所述相机执行所述命令后将所述时间代码内嵌在图像帧中；以及

一旦所述命令被执行，且在所述控制装置处接收到具有所述时间代码的所述图像帧，将所述模拟图像替换成来自所述相机的实际图像。

2.根据权利要求1所述的方法，其中所述图像和所述模拟图像中的每一个包括静态图像或视频图像中的一个。

3.根据权利要求1所述的方法，其中所述相机的功能、设置或参数中的所述至少一个包括平移、倾斜、缩放、亮度、对比度和白平衡中的至少一个。

4.根据权利要求1所述的方法，其中所述相机包括PTZ相机、监控相机、智能手机相机或IP相机中的一个。

5.根据权利要求1所述的方法，其中所述控制装置包括专用硬件装置、在计算机、膝上型计算机、平板计算机、智能手机和支持互联网的装置中的一个上运行的软件应用程序或在网页浏览器上运行的网页中的一个。

6.根据权利要求1所述的方法，其中基于所述模拟图像，从所述控制装置向所述相机提供其它控制信号。

7.根据权利要求1所述的方法，其中所述相机的传感器大小大于所述图像的视频分辨率。

8.根据权利要求1所述的方法，其中所述命令特定于所述相机的相机类型。

9.根据权利要求8所述的方法，其中：

所述命令基于分配给所述相机的模拟模型而转换成相机特定命令。

10.根据权利要求9所述的方法，其中所述相机特定命令根据所述模拟模型而应用于在所述监视器处从所述相机接收的实时视频信号。

11.根据权利要求9所述的方法，其中一旦用户完成调整所述相机的所述功能、设置或参数，所述相机特定命令就从所述控制装置发送到所述相机。

12.一种用于在其中存在延迟的环境中远程控制相机的系统，包括：

网络；

远程定位的相机；

用于通过所述网络控制所述远程定位的相机的控制装置，所述控制装置包括用于查看由所述相机提供的图像的监视器；

所述控制装置用于将具有用于控制所述相机的功能、设置或参数中的至少一个的命令的控制信号发送到所述相机；

其中：

在将所述控制信号发送到所述相机之后或在将所述控制信号发送到所述相机的同时中的至少一个时间点，所述控制装置根据所述命令修改在所述监视器上显示的图像，以于在所述相机处执行所述命令之前提供模拟图像以供显示；在所述控制信号中为所述命令提供时间代码；

在所述相机执行所述命令后将所述时间代码内嵌在图像帧中；且

一旦所述命令被执行，且在所述控制装置处接收到具有所述时间代码的所述图像帧，所述模拟图像替换成来自所述相机的实际图像。

13.根据权利要求12所述的系统，其中所述图像和所述模拟图像中的每一个包括静态图像或视频图像中的一个。

14.根据权利要求12所述的系统，其中所述相机的功能、设置或参数中的所述至少一个包括平移、倾斜、缩放、亮度、对比度和白平衡中的至少一个。

15.根据权利要求12所述的系统，其中所述相机包括PTZ相机、监控相机、智能手机相机或IP相机中的一个。

16.根据权利要求12所述的系统，其中所述控制装置包括专用硬件装置、在计算机、膝上型计算机、平板计算机、智能手机和支持互联网的装置中的一个上运行的软件应用程序或在网页浏览器上运行的网页中的一个。

17.根据权利要求12所述的系统，其中基于所述模拟图像，从所述控制装置向所述相机提供其它控制信号。

18.根据权利要求12所述的系统，其中所述相机的传感器大小大于所述图像的视频分辨率。

19.根据权利要求12所述的系统，其中所述命令特定于所述相机的相机类型。

20.根据权利要求19所述的系统，其中：

所述命令基于分配给所述相机的模拟模型而转换成相机特定命令。

21.根据权利要求20所述的系统，其中所述相机特定命令根据所述模拟模型而应用于在所述监视器处从所述相机接收的实时视频信号。

22.根据权利要求20所述的系统，其中一旦用户完成调整所述相机的所述功能、设置或参数，所述相机特定命令就从所述控制装置发送到所述相机。

Images