CN117641127A - 控制设备、摄像设备、系统、控制方法和存储介质 - Google Patents

控制设备、摄像设备、系统、控制方法和存储介质 Download PDF

Info

Publication number
CN117641127A
CN117641127A CN202311108842.4A CN202311108842A CN117641127A CN 117641127 A CN117641127 A CN 117641127A CN 202311108842 A CN202311108842 A CN 202311108842A CN 117641127 A CN117641127 A CN 117641127A
Authority
CN
China
Prior art keywords
image
state
subject
target position
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311108842.4A
Other languages
English (en)
Inventor
堀卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN117641127A publication Critical patent/CN117641127A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供控制设备、摄像设备、系统、控制方法和存储介质。控制设备用于被配置为在第一状态和第二状态之间转变的系统，所述第一状态用于根据用户的操作来改变摄像设备的视角，所述第二状态用于改变所述视角使得被摄体显示在图像上的目标位置处，所述控制设备包括：获取单元，其被配置为获取所述被摄体在图像上的位置；以及确定单元，其被配置为在所述系统从所述第一状态转变到所述第二状态的情况下，基于所述被摄体在图像上的位置来确定所述目标位置。

Description

控制设备、摄像设备、系统、控制方法和存储介质
技术领域
本实施例的一个方面涉及控制设备、摄像设备、控制方法和存储介质。
背景技术
近来提出的一种系统使得操作者能够控制单个照相机的平摇和俯仰操作，并且包括人工智能(AI)的照相机基于其自身的判断和推理来自动追踪被摄体。日本特开2005-86360公开了可以在用于自动追踪被摄体的摄像(自动摄像)和用于使得能够手动控制平摇和俯仰操作的摄像(手动摄像)之间切换的配置。日本专利5317607公开了在自动追踪照相机中将显示在画面(图像)上的标记的位置设置为用于输出所追踪的被摄体的位置的配置。
然而，日本特开2005-86360中公开的配置在从手动摄像切换至自动摄像时固定视角。尽管日本专利5317607中公开的配置可以解决这种固定视角的情况，但是操作者同时进行照相机操作和指定所追踪的被摄体的输出位置的操作，并且操作变得复杂。
发明内容
根据本实施例的一个方面的控制设备，其用于被配置为在第一状态和第二状态之间转变的系统，所述第一状态用于根据用户的操作来改变摄像设备的视角，所述第二状态用于改变所述视角使得被摄体显示在图像上的目标位置处，所述控制设备包括：获取单元，其被配置为获取所述被摄体在图像上的位置；以及确定单元，其被配置为在所述系统从所述第一状态转变到所述第二状态的情况下，基于所述被摄体在图像上的位置来确定所述目标位置。具有以上的控制设备的摄像设备和与以上的控制设备相对应的控制方法也构成本公开的另一方面。用于存储使计算机执行以上的控制方法的程序的存储介质也构成实施例的另一方面。
根据以下参考附图对实施例的描述，本公开的其他特征将变得明显。
附图说明
图1是根据一个实施例的系统的配置图。
图2A和图2B示出各个设备的框配置。
图3A和图3B是示出工作站和照相机的操作的流程图。
图4示出控制器的操作。
图5示出根据第一实施例的工作站的状态和转变条件。
图6是示出根据第一实施例的用于设置目标位置的处理的流程图。
图7是示出根据第二实施例的用于获取被摄体大小的处理的流程图。
图8是示出根据第二实施例的用于设置变焦倍率的处理的流程图。
图9是示出根据第三实施例的工作站的操作的流程图。
具体实施方式
在下文中，术语“单元”可以指软件上下文、硬件上下文或软件和硬件上下文的组合。在软件上下文中，术语“单元”指的是功能性、应用、软件模块、功能、例程、指令集或可以由(诸如微处理器、中央处理单元(CPU)或专门设计的可编程装置或控制器等的)可编程处理器执行的程序。存储器包含指令或程序，其中当指令或程序由CPU执行时使CPU进行与单元或功能相对应的操作。在硬件上下文中，术语“单元”指的是硬件元件、电路、装配件、物理结构、系统、模块或子系统。根据具体实施例，术语“单元”可以包括机械、光学或电子组件，或者它们的任意组合。术语“单元”可以包括有源(例如晶体管)或无源(例如电容器)组件。术语“单元”可以包括具有基板和具有各种电导率浓度的其他材料层的半导体装置。术语“单元”可以包括可以执行存储器中所存储的程序以进行特定功能的CPU或可编程处理器。术语“单元”可以包括由晶体管电路或任何其他开关电路实现的逻辑元件(例如，与(AND)、或(OR))。在软件和硬件上下文的组合中，术语“单元”或“电路”指的是如上所述的软件和硬件上下文的任何组合。此外，术语“元件”、“装配件”、“组件”或“装置”也可以指与封装材料结合或不与封装材料结合的“电路”。
现在将参考附图给出实施例的详细描述。在各个图中作为相应元件的那些元件将用相同的附图标记来表示，并且将省略对那些元件的重复描述。
图1是根据一个实施例的系统的配置图。该系统包括照相机(摄像设备)100、工作站200和控制器(操作设备)300。该系统被配置为在第一状态和第二状态之间转变，第一状态用于通过用户的操作来改变照相机100的视角，第二状态用于改变照相机100的视角使得要追踪的被摄体显示在图像上的目标位置处。
照相机100和工作站200经由LAN(局域网)400连接。控制器300连接到LAN 500。LAN400和500经由因特网600连接。由于这种配置，各个设备可以彼此通信。
照相机100经由各个网络或图像线缆将拍摄图像分发给各个设备。照相机100具有用于相对于被配置为拍摄被摄体的摄像单元进行平摇和俯仰操作的机构。
工作站200根据从照相机100传递的图像检测被摄体，并基于检测结果经由LAN400发送用于追踪被摄体的控制信号以改变照相机100的摄像方向等。照相机100可以具有工作站200的至少一个功能。
控制器300经由因特网600访问照相机100，以获取图像并基于用户操作来控制照相机100。
在根据本实施例的系统中，当工作站200控制照相机100以基于图像来追踪被摄体的同时，用户可以通过远程操作控制器300来将照相机100的摄像方向改变至所期望的方向。
图2A示出各个设备的框配置。照相机100包括CPU 101、RAM 102、ROM 103、图像输出接口(I/F)104、网络I/F 105、图像处理单元106、图像传感器107、驱动I/F 108和驱动单元109。CPU 101、RAM 102、ROM 103、图像输出I/F 104、网络I/F 105、图像处理单元106和驱动I/F 108经由内部总线110相互连接。
CPU 101从整体上控制照相机100。
RAM 102是诸如DRAM等的可读且可写的高速存储装置，加载有OS、各种程序和各种数据，并且用作OS和各种程序的工作区。
ROM 103是诸如闪速存储器、HDD、SSD和SD卡等的非易失性存储器，并且用作OS、各种程序和各种数据的永久存储区，并且用作各种数据的短期存储区。
图像输出I/F 104是用于将图像传感器107所拍摄的图像输出到外部的接口。图像输出I/F 104包括串行数字接口(SDI)或高清晰度多媒体接口(HDMI)(注册商标)。图像输出I/F 104连接到将在下面描述的工作站200的图像输入I/F(图像输入部件)208。
图像处理单元106连接至由CCD或CMOS构成的图像传感器107，将从图像传感器107获取的图像数据转换为预定格式，在必要时对该图像数据进行压缩，并将该图像数据传送至RAM 102。图像处理单元106还进行图像质量调整(诸如从图像传感器107获取图像数据时的变焦、聚焦和曝光控制以及用于仅切出图像数据的预定区的裁剪处理等)。根据经由网络I/F 105来自诸如工作站200或控制器300等的外部装置的指令来执行这些处理。
网络I/F 105是用于与LAN 400连接的I/F，并且负责经由诸如以太网(注册商标)等的通信介质与诸如工作站200和控制器300等的外部装置进行通信。可以经由网络I/F105或者经由诸如未示出的串行通信I/F等的其他I/F来进行照相机100的远程控制。
驱动I/F 108是与驱动单元109的连接器，并且负责用于对驱动单元109发送和接收控制信号等的通信。
驱动单元109包括机械驱动系统、驱动源马达等，并改变照相机100的摄像方向和用于变焦的透镜单元的位置。驱动单元109基于经由驱动I/F 108从CPU 101接收到的指令，进行诸如平摇和俯仰等的旋转以将视角指向水平方向或垂直方向，并且进行用于改变摄像视角的范围的变焦操作。
工作站200包括CPU 201、RAM(记录器)202、ROM 203、网络I/F 204、图像输出I/F205、用户输入I/F 206、推理单元(检测器)207和图像输入I/F(图像获取单元)208。CPU201、RAM 202、ROM 203、网络I/F 204、图像输出I/F 205、用户输入I/F 206、推理单元207和图像输入I/F 208经由内部总线209相互连接。
CPU 201控制整个工作站200。如图2B所示，CPU 201包括获取单元201a和确定单元201b。获取单元201a获取作为要追踪的目标的被摄体在图像上的位置。在系统从第一状态转变到第二状态的情况下，确定单元201b基于图像上的被摄体位置来确定目标位置。在本实施例中，CPU 201安装在工作站200中，但是可以被配置为与工作站200分离的控制设备，或者可以安装在照相机100或控制器300中。
RAM 202是诸如DRAM等的可读且可写的高速存储器，加载有OS、各种程序和各种数据，并且用作OS和各种程序的工作区。
ROM 203是诸如闪速存储器、HDD、SSD和SD卡等的非易失性存储器，并且用作OS、各种程序和各种数据的永久存储区，并且用作各种数据的短期存储区。
网络I/F 204是用于连接至LAN 400的I/F，并且负责经由诸如以太网(注册商标)等的通信介质与诸如照相机100和控制器300等的外部装置进行通信。
图像输出I/F 205是用于输出工作站200的设置信息画面等的接口。
用户输入I/F 206包括通用串行总线(USB)等，并且是用于连接至鼠标、键盘和其他输入装置的接口。
推理单元207包括专用于图像处理和推理处理的计算单元(诸如图形处理单元(GPU)等)，并根据从图像输入I/F 208等接收到的图像来推理图像中预定被摄体的位置和预定被摄体存在还是不存在。尽管使用GPU进行学习处理通常是有效的，但是也可以使用诸如现场可编程门阵列(FPGA)等的可重构逻辑电路。推理单元207的处理可以由CPU 201进行。
图像输入I/F 208从照相机100接收图像。在本实施例中，图像输入I/F 208包括SDI或HDMI。
控制器300包括CPU 301、RAM 302、ROM 303、网络I/F 304、显示单元305和用户输入I/F 306。CPU 301、RAM 302、ROM 303、网络I/F 304、显示单元305和用户输入I/F 306经由内部总线307相互连接。
CPU 301控制整个控制器300。
RAM 302是诸如DRAM等的可读且可写的高速存储器(其中，在该存储器中，加载了OS、各种程序和各种数据)，并且用作OS和各种程序的工作区。
ROM 303是诸如闪速存储器、HDD、SSD和SD卡等的非易失性存储器，并且用作OS、各种程序和各种数据的永久存储区，并且用作各种数据的短期存储区。
网络I/F 304是用于连接至LAN 500的I/F，并且负责经由诸如以太网(Ethernet(注册商标))等的通信介质与诸如照相机100和工作站200等的外部装置进行通信。这里，通信意味着相对于照相机100和控制器300发送和接收控制命令以及从照相机100接收图像。
显示单元305显示来自照相机100的图像和控制器300的设置画面。尽管在本实施例中控制器300具有显示单元305，但是本实施例不限于该示例。例如，可以设置仅显示图像的显示监视器和控制器。
用户输入I/F 306是用于接收对控制器300的用户操作的接口，并且包括例如按钮、拨盘、操纵杆和触摸面板。例如，用户输入I/F 306接收基于用户操作的用于对照相机100进行平摇和俯仰控制的输入。
现在将给出用于控制照相机100以追踪工作站200所检测到的被摄体的操作以及通过控制器300对照相机100进行控制的操作的描述，这是根据本实施例的系统中的基本操作。
现在将参考图3A和图3B给出用于使照相机100追踪工作站200所检测到的被摄体的操作的描述。图3A和图3B是示出工作站200和照相机100的操作的流程图。
图3A示出循环处理，其中在该循环处理中，工作站200经由图像输入I/F208接收从照相机100顺次发送的图像，使用图像来辨识被摄体位置，并控制照相机100以追踪被摄体。
在步骤S101中，CPU 201经由图像输入I/F 208接收由照相机100拍摄的图像。以预定的帧频从图像输出I/F 104顺次发送图像，并且图像输入I/F 208将所接收到的图像顺次写入RAM 202。也可以经由网络I/F 204接收图像，并在RAM 202中展开图像。
在步骤S102中，首先，CPU 201从RAM 202中读取图像，并将图像输入推理单元207。接下来，推理单元207将与要追踪的被摄体有关的位置信息作为推理结果写入RAM 202。推理单元207具有使用诸如深度学习等的机器学习方法创建的经训练模型，接收图像作为输入数据，并且输出用于指示要追踪的目标(诸如人等)的类型、位置信息和似然性的分数作为输出数据。本实施例使用包围所检测到的被摄体的矩形框作为推理单元207所输出的位置信息。矩形框由叠加在输入图像上的正交坐标系上的位置坐标指示，并且由矩形框的左上位置坐标和右下位置坐标唯一指定。位置坐标使用以图像的左上角被设置为坐标原点并且1是图像的右下角的方式进行标准化的值。因此，图像上的任何点由(平摇位置，倾斜位置)表示的一组数值来表示。将图像的左上设置为(0,0)，将右下设置为(1,1)，并且将图像的中心(图像的中心位置)设置为(0.5,0.5)。矩形框可以由形成矩形框的四个点的重心位置坐标来指示，或者可以由唯一定义矩形框的其他位置坐标来指示。接下来，CPU 201将写入RAM 202中的信息发送到照相机100。
在步骤S103中，CPU 201首先计算在步骤S102中从推理单元207获取的与被摄体有关的位置信息与将在下文描述的被摄体的目标位置之间的差。接下来，CPU 201计算用于追踪被摄体的、根据该差的平摇和俯仰方向上的角速度。差变得越大，即图像中的被摄体位置离目标位置变得越远，则计算出的平摇和俯仰方向上的角速度变得越高。在本实施例中，角速度根据图像中的被摄体位置和被摄体的目标位置之间的距离而线性增加，但是可以使用其他关系。
通过将图像中的预定位置设置为被摄体的目标位置并使照相机100进行平摇和俯仰使得在目标位置处拍摄被摄体，来实现追踪操作。例如，在目标位置是图像中心(0.5,0.5)的情况下，CPU 201进行追踪操作，使得要追踪的被摄体在图像中心处被拍摄。
用户可以经由用户输入I/F 206将图像中的任意位置指定为目标位置，并且目标位置坐标被存储在RAM 202中。由用户通过用户输入I/F 206将要追踪的被摄体发送到工作站200。可以从经由网络I/F 204连接到因特网600的控制器300或未示出的外部装置指定目标位置和追踪目标。
在推理单元207输出的结果包括预先指定的类型(诸如人等)的情况下，CPU 201获取的目标可以被指定为要追踪的目标。在推理单元207所输出的结果包括多个类型的要追踪的目标的情况下，最大的目标、最接近图像中心的目标和具有推理结果的最高可能性的目标可以被指定为追踪目标。
在步骤S104中，CPU 201根据被预定义为用于控制照相机100的方法的协议，将步骤S103中计算出的结果转换为控制命令，并将控制命令写入RAM 202。
在步骤S105中，CPU 201读取在步骤S104中转换并写入RAM 202的控制命令，将控制命令经由网络I/F 204发送至照相机100，并返回到循环处理的开始。
在步骤S103中，可以设置所谓的死区，其中在该死区中，在差在预定范围内的情况下不控制照相机100，以避免照相机100被过度控制。
图3B示出在从工作站200接收到控制命令的情况下的照相机100的操作流程。
在步骤S201中，CPU 101经由网络I/F 105接收控制命令。
在步骤S202中，在CPU 101接收到控制命令的情况下，针对操作方向和操作量(角速度)，CPU 101读取与平摇方向和俯仰方向相对应的值。
在步骤S203中，CPU 101基于在步骤S201中读出的值，计算用于以期望的速率在期望的方向上平摇和俯仰的驱动参数。更具体地，驱动参数是用于控制驱动单元109中包括的平摇方向和俯仰方向上的各个马达(未示出)的参数，并且可以基于所接收到的控制命令中所包括的操作量，通过参考预先存储在ROM 103中的转换表来转换该驱动参数。
在步骤S204中，CPU 101基于在步骤S203中计算出的驱动参数，经由驱动I/F 108控制驱动单元109。基于驱动参数来旋转驱动单元109可以提供用于改变照相机100的摄像方向的平摇和俯仰操作。
参考图3A和图3B描述的驱动控制也可以应用于变焦机构。
现在将参考图4给出用于基于对控制器300的操作来控制照相机100的操作的描述。图4示出控制器300的操作。
基于从控制器300发送的控制命令来控制照相机100，但照相机100的操作与参考图3B描述的操作相似，因此将省略其描述。
在步骤S301中，CPU 301经由用户输入I/F 306检测用户的操纵杆操作。
在步骤S302中，CPU 301从用户输入I/F 306获取操纵杆的操作方向和操作量。操纵杆规范的具体示例包括模拟输出规范，其中该模拟输出规范使用来自在平摇和俯仰方向中的各个方向中设置的可变电阻器的电压输出。CPU 301可以通过读出从操纵杆输入的电压作为经由A/D转换器(未示出)获得的数字值，来获取平摇方向和俯仰方向上的相应角速度。A/D转换器可以读出预定范围中的值(诸如0到1023等)作为与根据操作量的平摇和俯仰方向上的角速度相对应的值。
在步骤S303中，CPU 301根据被预定义为用于控制照相机100的方法的协议，将基于步骤S302中获得的结果的平摇和俯仰方向上的角速度转换为控制命令，并将控制命令写入RAM 102。
在步骤S304中，CPU 301读出在步骤S303中转换并写入RAM 102中的控制命令，并将控制命令经由网络I/F 105发送至照相机100。控制命令可以经由工作站200发送到照相机100。也就是说，控制命令可以在被工作站200经由网络I/F 105接收到之后从工作站200被发送到照相机100。控制命令可以同时被发送到照相机100和工作站200。
第一实施例
本实施例将说明用于确定用于自动追踪的目标位置的方法。
图5示出本实施例中的工作站200的状态和转变条件。工作站200被配置为能够通过用户的操作在手动操作状态ST1和自动追踪状态ST2之间转变。在图5中，工作站200处于如下状态：图像输入I/F 208处于基于从照相机100接收到的图像顺次更新和保持推理单元207所检测到的结果的状态。
在工作站200在手动操作状态ST1下接收到自动追踪开始信号的情况下，工作站200转变到自动追踪状态ST2，并开始包括检测图像上的被摄体的自动追踪操作。自动追踪开始信号可以由用户通过用户输入I/F 206输入到工作站200，或者可以通过用户输入I/F306和因特网600输入到工作站200。在工作站200从诸如照相机切换设备等的外部装置接收到控制信号的情况下，工作站200可以转变到自动追踪状态ST2。在工作站200没有检测到用户的操作的状态持续预定时间的情况下或者在推理单元207检测到用户所指定的任意类型的情况下，工作站200可以转变到自动追踪状态ST2。例如，在人被指定为任意类型的情况下，工作站200在推理单元207没有检测到人的情况下保持在手动操作状态ST1，并且在推理单元207检测到人而没有接收到自动追踪开始信号的情况下转变到自动追踪状态ST2。
在自动追踪状态ST2下工作站200从控制器300接收到自动追踪结束信号或手动操作信号的情况下，工作站200转变到手动操作状态ST1。即使在推理单元207没有检测到要追踪的被摄体的情况下，工作站200也可以转变到手动操作状态ST1。
图6是示出通过工作站200设置目标位置的处理的流程图。图6的流程在工作站200从手动操作状态ST1转变到自动追踪状态ST2的情况下开始。换句话说，在系统从用于通过用户的操作来改变照相机100的视角的第一状态转变到用于改变照相机100的视角使得被摄体显示在图像上的目标位置处的第二状态的情况下，图6的流程开始。
在步骤S401中，CPU 201经由图像输入I/F 208从照相机100接收图像，并将图像存储在RAM 202中。
在步骤S402中，CPU 201使用RAM 202中所存储的图像来获取从推理单元207检测到的图像中的被摄体位置。
在步骤S403中，CPU 201将在步骤S402中获取的图像中的被摄体位置设置为在自动追踪期间用于显示被摄体的目标位置，并将目标位置写入RAM 202。所设置的目标位置不限于与推理单元207所检测到的被摄体位置完全相等的位置。例如，可以设置目标位置使得以通过垂直地和水平地对图像进行分割而形成的9个分割拍摄被摄体，使得在满足所谓的三分法构图的最近位置处或者在用于指示其他构图的预定位置处拍摄被摄体。由此，用户可以通过简单地粗略指定被摄体位置而无需进行精细操作，来拍摄具有合适构图的图像。
CPU 201可以根据被摄体和照相机100之间的位置关系来判断是否执行图6的流程。例如，在被摄体正在移动的情况下，被摄体的目标位置可以被设置为图像中心，并且在被摄体静止的情况下，被摄体的目标位置可以被设置为所检测到的被摄体位置。因此，在被摄体正在移动的情况下，被摄体保持在视角的中心处，从而防止被摄体从视角偏移。
步骤S403中设置的目标位置可以是临时的。例如，可以仅在被摄体继续预定运动的同时应用所设置的目标位置，并且在运动完成之后，可以将目标位置重置为诸如图像中心等的预定的目标位置。
在照相机100正在平摇或俯仰方向上操作的同时接收到自动追踪开始信号的情况下，可以在预定时间继续使用在紧挨着接收之前执行的平摇或俯仰操作的方向和速率。因此，在自动追踪开始之前和之后被摄体保持在图像中的相同位置处的同时，可以维持平摇或俯仰操作速率。
该系统可以以根据自动追踪开始条件来设置目标位置的方式进行配置。例如，该系统可以以仅在用户指令的情况下设置目标位置的方式进行配置。在这种情况下，在用户输入自动追踪开始信号的情况下，执行根据本实施例的目标位置设置。另一方面，在未检测到用户操作的状态持续预定时间并且状态转变到自动追踪状态ST2的情况下，不执行目标位置设置。
通过在操作者从手动操作切换至自动追踪的情况下确定追踪目标位置，本实施例的配置可以在切换之前和之后在不会有任何不适感的情况下拍摄连续图像。
第二实施例
本实施例将讨论在从手动操作切换至自动追踪时指定图像中的被摄体位置并基于(考虑到)图像中的被摄体大小(以下称为被摄体大小)来改变变焦倍率的示例。
图7是示出根据本实施例的从图像获取被摄体大小的操作的流程图。
步骤S501至步骤S503分别与图3A中的步骤S101至步骤S103相对应，因此将省略其描述。步骤S506和S507分别与图3A中的步骤S104和S105相对应，因此将省略其描述。
在步骤S504中，CPU 201从RAM 202中读取图像，并计算图像中的被摄体大小。在本实施例中，从RAM 202中读出在步骤S502中推理单元207所输出的矩形框，并且将矩形框的对角线长度设置为被摄体大小。
要由推理单元207自动追踪的被摄体的检测类型可以基于被摄体的不变形状。例如，在使用整个人体以自动追踪人的情况下，包围整个人体的矩形框的大小根据人的手臂或腿如何伸展而改变。结果，即使变焦倍率相同，被摄体大小也变得不同，并且CPU 201可能错误地检测到被摄体已经在视角的深度方向上移动。因此，在自动追踪人时，要由推理单元207检测的类型是身体的一部分(诸如人的面部等)。
被摄体大小可以是矩形框的面积或在平摇或俯仰方向上相对于整个图像的比率。
在步骤S505中，CPU 201基于在步骤S504中计算出的被摄体大小，来计算变焦倍率以设置照相机100。更具体地，CPU 201首先从RAM 202中读出在步骤S504中计算出的被摄体大小，并获得与将在下面描述的被摄体的目标大小的差。接下来，CPU 201根据该差来确定向远摄侧或广角侧的变焦倍率。
工作站200以在自动追踪期间被摄体大小变成目标大小的方式进行操作。也就是说，目标大小是在工作站200确定变焦倍率的情况下用作基准的被摄体大小。
变焦倍率可以是照相机100中的变焦透镜单元中的距离变化的速度(速率)，或可以是通过图像处理实现的数字变焦倍率。
在除了要追踪的被摄体之外、推理单元207还检测到多个第二被摄体的情况下，可以将变焦倍率确定为使第二被摄体不从帧中出去的程度。由此，可以维持多个被摄体的摄像和要追踪的目标的大小。
图8是示出根据本实施例的工作站200设置变焦倍率的处理的流程图。
在步骤S601中，CPU 201从照相机100经由图像输入I/F 208接收图像，并将图像存储在RAM 202中。
在步骤S602中，CPU 201从RAM 202中读出图像，并计算图像中的被摄体大小。
在步骤S603中，CPU 201将在步骤S602中计算出的被摄体大小设置为在自动追踪期间用于拍摄被摄体的目标大小，并将目标大小写入RAM 202。
通过在操作者从手动操作切换至自动追踪的情况下确定追踪目标大小，本实施例的配置可以在切换之前和之后在不会有任何不适感的情况下拍摄连续图像。
第三实施例
本实施例将讨论如下示例，其中在该示例中，在用户指示自动追踪切换的时间和工作站200接收到切换信号的时间之间存在显著差异的情况下，使用被摄体位置来确定目标位置。该时间差是由于网络上的信号的发送和接收所引起的通信延迟以及控制器300和照相机100的内部处理所需的时间而产生的。照相机100的内部处理例如是摄像处理和图像输出处理。
根据本实施例的系统假定照相机100和工作站200安装在物理上靠近的位置处并且控制器300安装在远离照相机100和工作站200的远程地方处。在这种情况下，在控制器300和照相机100或工作站200之间的通信中可能出现延迟。
随着照相机100和操作者所操作的控制器300之间的距离增加，通信延迟趋于增加。除了通信延迟之外，还在大量未示出的中继装置介入在照相机100和控制器300之间的情况下，延迟增加。
随着延迟的增加，照相机100所拍摄的图像以较长的延时到达远程操作者，操作者所发送的照相机控制指令到达照相机100的延时较长。由于该时间差，当操作者指示开始自动摄像时操作者视觉识别的图像中的被摄体位置和当工作站200接收到自动追踪开始信号时图像中的被摄体位置可能不同。在这种情况下，如第一实施例和第二实施例那样，在工作站200接收到自动追踪开始信号时的被摄体位置被设置为自动追踪的目标位置的情况下，图像中的自动追踪期间的被摄体位置可能不同于操作者所预期的位置。
因此，在本实施例中，在工作站200接收到自动追踪开始信号的情况下，工作站200使用预定时间前所获取的图像来设置被摄体的目标位置。
图9是示出根据本实施例的工作站200的操作的流程图。在CPU 201通过用户输入I/F 206或网络I/F 204接收到自动追踪开始信号的情况下，CPU 201将开始图9的流程。
在步骤S701中，CPU 201从RAM 202中读出比CPU 201接收到自动追踪开始信号早了预定时间记录的被摄体位置。预定时间与拍摄图像的时间和操作者发送自动追踪开始信号的时间之间的差相对应，并且可以将预定时间作为固定值预先存储在ROM 203中，或者可以基于经由用户输入I/F 206的来自用户的指定来设置预定时间。
CPU 201可以通过经由网络I/F 204从控制器300接收通信延时测量信号/向控制器300发送通信延时测量信号，来测量通信所需的时间，并将所测量的时间设置为预定时间。
在通常使用引起主通信延时的因特网600的情况下，可以将工作站200附近的设备和控制器300附近的设备之间的通信所需的时间设置为预定时间。例如，连接到LAN 400的装置和连接到LAN 500的装置之间的通信所需的时间可以被设置为预定时间。
通过一起接收与在切换自动追踪时拍摄用户所视觉识别的图像的时间有关的信息以及自动追踪开始信号，CPU 201可以从RAM 202中读取相应时间处的被摄体位置。
在步骤S702中，CPU 201将在步骤S701中获取的被摄体位置设置为目标位置。
为了在步骤S701中从RAM 202获取被摄体位置，即使在手动操作状态ST1下，推理单元207也将始终检测被摄体位置并将被摄体位置连续存储在RAM 202中。由于用于检测图像中的被摄体的图像识别处理通常具有大的计算负荷，这可能引起工作站200的计算资源的沉重负担并增加功耗。因此，用于推理单元207的检测处理时间可以是短的。
因此，在手动操作状态ST1下，CPU 201可以仅将经由图像输入I/F 208接收到的照相机100的图像存储在RAM 202中，并在步骤S701中，从RAM 202中获取预定时间前所记录的图像。此后，CPU 201可以根据使用了所获取的图像的推理单元207的检测结果来获取被摄体位置。
即使在用户指示自动追踪切换的时间和工作站200接收到切换信号的时间之间存在显著差异，本实施例的配置也可以将被摄体位置设置到操作者所指定的适当位置。
尽管在各个实施例中工作站200执行照相机100的自动追踪控制，但本实施例不限于该示例。例如，照相机100和控制器300可以具有工作站200的功能。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参照实施例描述了本公开，但是应当理解，本公开不限于所公开的实施例。所附权利要求书的范围符合最广泛的解释，以便包含所有这样的修改和等同的结构和功能。
各个实施例可以提供如下的控制设备，该控制设备可以在从手动摄像切换至自动摄像时利用简单的操作以根据操作者的意图的视角进行摄像。

Claims (14)

1.一种控制设备，其用于被配置为在第一状态和第二状态之间转变的系统，所述第一状态用于根据用户的操作来改变摄像设备的视角，所述第二状态用于改变所述视角使得被摄体显示在图像上的目标位置处，所述控制设备包括：
获取单元，其被配置为获取所述被摄体在图像上的位置；以及
确定单元，其被配置为在所述系统从所述第一状态转变到所述第二状态的情况下，基于所述被摄体在图像上的位置来确定所述目标位置。
2.根据权利要求1所述的控制设备，其特征在于，所述确定单元将在所述系统从所述第一状态转变到所述第二状态时的所述被摄体在图像上的位置确定为所述目标位置。
3.根据权利要求1所述的控制设备，其特征在于，在所述系统从所述第一状态转变到所述第二状态时，在所述被摄体正在移动的情况下，所述确定单元将图像的中心位置确定为所述目标位置，并且在所述被摄体静止的情况下，所述确定单元将在所述系统从所述第一状态转变到所述第二状态时的所述被摄体在图像上的位置确定为所述目标位置。
4.根据权利要求1所述的控制设备，其特征在于，在所述第二状态下，改变视角使得图像中的所述被摄体的大小接近目标大小，
其中，所述获取单元获取图像中的所述被摄体的大小，以及
其中，所述确定单元将在所述系统从所述第一状态转变到所述第二状态时的图像中的所述被摄体的大小确定为所述目标大小。
5.根据权利要求1所述的控制设备，其特征在于，所述确定单元将在所述系统从所述第一状态转变到所述第二状态之前所述获取单元所获取的、所记录的所述被摄体的多个位置中的一个位置确定为所述目标位置。
6.根据权利要求5所述的控制设备，其特征在于，所述确定单元将比所述系统从所述第一状态转变到所述第二状态早了预定时间记录的所述被摄体的位置确定为所述目标位置。
7.根据权利要求6所述的控制设备，其特征在于，所述预定时间基于指示所述系统从所述第一状态转变到所述第二状态的时间和所述系统从所述第一状态转变到所述第二状态的时间之间的差。
8.根据权利要求5所述的控制设备，还包括被配置为记录所述被摄体的所述多个位置的记录器。
9.根据权利要求1所述的控制设备，还包括被配置为获取图像的图像获取单元。
10.根据权利要求1至9中任一项所述的控制设备，还包括被配置为使用图像来检测所述被摄体的位置的检测器。
11.一种摄像设备，其用于被配置为在第一状态和第二状态之间转变的系统，所述第一状态用于根据用户的操作来改变所述摄像设备的视角，所述第二状态用于改变所述视角使得被摄体显示在图像上的目标位置处，所述摄像设备包括：
摄像单元，其被配置为拍摄所述被摄体；
获取单元，其被配置为获取所述被摄体在图像上的位置；以及
确定单元，其被配置为在所述系统从所述第一状态转变到所述第二状态的情况下，基于所述被摄体在图像上的位置来确定所述目标位置。
12.一种系统，包括：
摄像设备，其包括被配置为拍摄被摄体的摄像单元；
操作设备，其被配置为操作所述摄像设备；以及
根据权利要求1至10中任一项所述的控制设备。
13.一种控制方法，其用于被配置为在第一状态和第二状态之间转变的系统，所述第一状态用于根据用户的操作来改变摄像设备的视角，所述第二状态用于改变所述视角使得被摄体显示在图像上的目标位置处，所述控制方法包括以下步骤：
获取所述被摄体在图像上的位置；以及
在所述系统从所述第一状态转变到所述第二状态的情况下，基于所述被摄体在图像上的位置来确定所述目标位置。
14.一种非暂态计算机可读存储介质，其存储有程序，所述程序使计算机执行根据权利要求13所述的控制方法。
CN202311108842.4A 2022-08-31 2023-08-31 控制设备、摄像设备、系统、控制方法和存储介质 Pending CN117641127A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022137526A JP2024033741A (ja) 2022-08-31 2022-08-31 制御装置、撮像装置、制御方法、及びプログラム
JP2022-137526 2022-08-31

Publications (1)

Publication Number Publication Date
CN117641127A true CN117641127A (zh) 2024-03-01

Family

ID=87748343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311108842.4A Pending CN117641127A (zh) 2022-08-31 2023-08-31 控制设备、摄像设备、系统、控制方法和存储介质

Country Status (4)

Country Link
US (1) US20240073512A1 (zh)
EP (1) EP4333448A1 (zh)
JP (1) JP2024033741A (zh)
CN (1) CN117641127A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4054859B2 (ja) 2003-09-05 2008-03-05 日本マイクロシステムズ株式会社 動体監視装置
JP4241742B2 (ja) * 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP5317607B2 (ja) 2008-09-24 2013-10-16 キヤノン株式会社 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法
JP5911201B2 (ja) * 2011-04-20 2016-04-27 キヤノン株式会社 カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
JP6574645B2 (ja) * 2015-08-28 2019-09-11 キヤノン株式会社 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム
JP2022002378A (ja) * 2020-06-22 2022-01-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
US20240073512A1 (en) 2024-02-29
JP2024033741A (ja) 2024-03-13
EP4333448A1 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
US20110090341A1 (en) Intruding object detection system and controlling method thereof
EP3739867A1 (en) Imaging device, control apparatus, imaging method, and storage medium
US9906710B2 (en) Camera pan-tilt-zoom (PTZ) control apparatus
CN108513652B (zh) 云台的控制方法及装置
CN112514366A (zh) 图像处理方法、图像处理装置和图像处理系统
JP2019054369A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP7371076B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US8692879B2 (en) Image capturing system, image capturing device, information processing device, and image capturing method
JP5847591B2 (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
JP6231757B2 (ja) 撮像装置、情報処理装置及びそれらの制御方法、プログラム
JP5631065B2 (ja) 映像配信システム、制御端末、ネットワークカメラ、制御方法およびプログラム
JP2017112438A (ja) 撮像システムおよびその制御方法、通信装置、移動撮像装置、プログラム
CN117641127A (zh) 控制设备、摄像设备、系统、控制方法和存储介质
CN112073630B (zh) 摄像装置、摄像装置的控制方法及记录介质
EP4333447A1 (en) Imaging control apparatus, image pickup apparatus, imaging control method, and program
JP6836306B2 (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
US20240022812A1 (en) Image capturing system, control apparatus, image capturing apparatus, and display apparatus constituting the system, control method, and display method
JP2022097165A (ja) 情報処理装置、情報処理方法、及びプログラム
US11516390B2 (en) Imaging apparatus and non-transitory storage medium
KR980007698A (ko) 디지털 다중 화상 감시 시스템
US20230276131A1 (en) Image capture apparatus and control method
JP2023064275A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2012019466A (ja) 撮像装置、制御装置、制御方法および画像送信制御プログラム
JP2023162945A (ja) 情報処理装置、制御方法、プログラム及びシステム
JP2023139447A (ja) 撮像装置、撮像システム、撮像方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication