CN113852754A - 控制设备、控制方法和存储介质 - Google Patents

控制设备、控制方法和存储介质 Download PDF

Info

Publication number
CN113852754A
CN113852754A CN202110709266.3A CN202110709266A CN113852754A CN 113852754 A CN113852754 A CN 113852754A CN 202110709266 A CN202110709266 A CN 202110709266A CN 113852754 A CN113852754 A CN 113852754A
Authority
CN
China
Prior art keywords
image
unit
range
image pickup
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110709266.3A
Other languages
English (en)
Inventor
铃木裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113852754A publication Critical patent/CN113852754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供控制设备、控制方法和存储介质。控制设备包括：获取单元，其被配置为获取关于第一摄像单元在旋转方向上的转动的信息、以及在第一摄像单元所拍摄的第一图像上指定的指定范围的位置信息；设置单元，其被配置为基于关于转动的信息和位置信息，来设置第二摄像范围以包括指定范围；以及控制单元，其被配置为控制第二摄像单元，以通过改变第二摄像单元的摄像方向和视角中的至少一个来指示第二摄像单元对第二摄像范围进行摄像并获取第二图像。

Description

控制设备、控制方法和存储介质
技术领域
本发明涉及控制设备、控制方法和存储介质。
背景技术
近来已知如下网络照相机，其可以使用多个照相机(以下称为多镜头照相机)来获取比使用单个照相机更宽的摄像范围的图像。多镜头照相机包括各种机构的组合，诸如多个固定照相机和可以改变摄像倍率的变焦照相机的组合、以及诸如鱼眼镜头的具有360°视场的照相机(以下称为全方位照相机)和变焦照相机的组合。多个固定照相机包括能够在绕水平轴(平摇)、垂直轴(俯仰)和光轴中心(旋转)的转动方向上手动调整视角并设置期望摄像区域的照相机。
多镜头照相机的一种已知的示例性摄像方法是如下方法：将从固定照相机获取的图像彼此连接以进行宽范围摄像(全景摄像)，并且使用具有不同机构的变焦照相机提供高分辨率摄像。日本特许第4010444号公报公开了一种系统，该系统设置全方位照相机的摄像位置以使其与变焦照相机的摄像位置一致，并且使用变焦照相机对由全方位照相机指定的位置进行摄像。
然而，日本特许第4010444号公报中公开的系统在固定照相机部分是全方位照相机时需要针对图像中的各区域指定变焦照相机的位置。在这种情况下，无法在变焦照相机上显示指定位置外部的区域或多个区域。例如，即使在固定照相机具有旋转机构而变焦照相机没有旋转机构时，也会发生该问题。当固定照相机平摇和/或俯仰时，可以通过使变焦照相机平摇和/或俯仰来覆盖固定照相机的摄像范围。然而，当固定照相机提供旋转驱动时，无法对相同的视角进行摄像，这是因为固定照相机与变焦照相机之间的功能差异无法补偿旋转角度的差异。
发明内容
本发明提供了各自能够校正并显示由固定照相机的旋转引起的、与变焦照相机的指定区域的位置偏移的控制设备、控制方法和存储介质。
根据本发明的一方面，提供了一种控制设备，其用于第一摄像单元和第二摄像单元，所述第一摄像单元在绕光轴的旋转方向上能够转动并且被配置为对第一摄像范围进行摄像，所述第二摄像单元被配置为改变摄像方向和视角中的至少一个并且对作为所述第一摄像范围的一部分的第二摄像范围进行摄像，所述控制设备的特征在于包括：获取单元，其被配置为获取关于所述第一摄像单元在所述旋转方向上的转动的信息、以及在所述第一摄像单元所拍摄的第一图像上指定的指定范围的位置信息；设置单元，其被配置为基于关于转动的所述信息和所述位置信息，来设置所述第二摄像范围以包括所述指定范围；以及控制单元，其被配置为控制所述第二摄像单元，以通过改变所述第二摄像单元的摄像方向和视角中的至少一个来指示所述第二摄像单元对所述第二摄像范围进行摄像并获取第二图像。
一种控制方法，其用于第一摄像单元和第二摄像单元，所述第一摄像单元在绕光轴的旋转方向上能够转动并且被配置为对第一摄像范围进行摄像，所述第二摄像单元被配置为改变摄像方向和视角中的至少一个并且对作为所述第一摄像范围的一部分的第二摄像范围进行摄像，所述控制方法的特征在于包括以下步骤：获取关于所述第一摄像单元在所述旋转方向上的转动的信息、以及在所述第一摄像单元所拍摄的第一图像上指定的指定范围的位置信息；基于关于转动的所述信息和所述位置信息，来设置所述第二摄像范围以包括所述指定范围；以及控制所述第二摄像单元，以通过改变所述第二摄像单元的摄像方向和视角中的至少一个来指示所述第二摄像单元对所述第二摄像范围进行摄像并获取第二图像。
一种非暂时性计算机可读存储介质，其存储使计算机执行根据上述的控制方法的计算机程序。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是根据第一实施例的摄像系统的配置图。
图2是根据第一实施例的摄像设备的框图。
图3是根据第一实施例的终端的框图。
图4示出了在终端中的显示装置上显示从根据第一实施例的摄像设备获取的图像的示例性画面。
图5示出了旋转操作之前的第一图像。
图6是示出在第一实施例中当第一摄像单元进行旋转操作时第二摄像单元的控制方法的流程图。
图7A和图7B说明了第一实施例中的指定区域的设置。
图8示出了根据第二实施例的示例性第一图像。
图9示出了根据第二实施例的显示装置上显示的示例性图像。
具体实施方式
现在将参照附图详细描述根据本发明的实施例。将通过相同的附图标记来指定各图中的对应元件，并且将省略其重复描述。
第一实施例
图1是根据本实施例的摄像系统(监视系统)的配置图。摄像系统包括安装在天花板、电线杆等上的摄像设备100、用于显示来自摄像设备100的图像和各种信息并用于远程控制摄像设备100的终端120、以及将摄像设备100和终端120相互连接的网络(IP网络网络)110。虽然图1示出了单个摄像设备100和单个终端120，但是这些装置的数量没有特别限制。
摄像设备100包括：第一摄像单元(多镜头照相机)101，其包括能够将摄像方向改变为任意角度并固定摄像方向的多个照相机；以及第二摄像单元102，其能够获得高清图像并以窄角度改变摄像方向和光学变焦倍率。第一摄像单元101中的各照相机的平摇、俯仰和旋转被单独地手动设置。各照相机执行在设置的平摇方向上的转动、在设置的俯仰方向上的转动和在设置的旋转方向上的转动，固定在任意角度，并拍摄图像。旋转方向是指绕作为中心的光轴的转动方向。在本实施例中，多个照相机是手动设置的，但也可以通过在各照相机的驱动单元上安装马达来自动设置。第二摄像单元102由终端120远程控制并且可以提供可以改变视角(摄像方向和视角中的至少一个)的平摇、俯仰和变焦中的至少一个。第二摄像单元102可以将摄像方向转动360°，并且拍摄第一摄像单元101的摄像区域(第一摄像范围)中包括的区域(或第一摄像单元101的摄像区域的一部分)(第二摄像范围)。在本实施例中，第一和第二摄像单元101和102的摄像速度被设置为15帧/秒，但是本发明不限于该示例。
摄像设备100用于向网络110上的终端120发送获取的图像。终端120经由网络110可通信地连接到摄像设备100，并且用于显示从摄像设备100接收的图像并向摄像设备100发出各种命令。
图2是摄像设备100的框图。摄像设备100包括第一摄像单元101、第二摄像单元102、控制第一和第二摄像单元101和102并处理所获取的图像的控制单元220、存储器230、以及与网络110通信的网络(NW)通信单元240。在本实施例中，控制单元220设置在摄像设备100中，但是也可以被配置为与摄像设备100分离的控制设备。
第一摄像单元101包括摄像光学系统200和204(包括用于获取广角图像的广角镜头)、图像传感器201和205、驱动单元202和206、位置检测单元203和207、以及图像处理单元208。在第一摄像单元101中，包括摄像光学系统、图像传感器、驱动单元和位置检测单元的结构拍摄单个摄像区域。虽然图2示出了两个结构，但是结构的数量没有特别限制。虽然在本实施例中摄像光学系统200和204包括广角镜头，但是它们可以包括变焦镜头、调焦镜头、光圈机构等。
摄像光学系统200和204被布置为使得它们的光轴彼此不同，并且因此在不同方向上单独拍摄图像。通过布置摄像光学系统使得摄像区域彼此部分交叠并且通过增加结构的数量，可以覆盖360度的宽范围(或所有方向)。
图像传感器201和205包括诸如CCD和CMOS的二维图像传感器，对摄像光学系统200和204形成的被摄体图像进行光电转换，并将获得的电信号提供给图像处理单元208。
驱动单元202和206可以改变第一摄像单元101的摄像方向(光轴方向)。本实施例可以通过手动和单独地设置平摇、俯仰和旋转，来将第一摄像单元101固定在预定角度。然而，设置不限于手动设置，并且可以通过在驱动单元上安装马达来进行自动设置。
位置检测单元203和207各自包括编码器(该编码器检测驱动单元202和206的机械位置变化并输出指示位置信息的电信号)，并且将获取的电信号提供给图像处理单元208。
图像处理单元208将从图像传感器201和205接收到的电信号转换为数字数据，并进行去马赛克处理、图像质量提高处理、以及用于提高获取的光量作为信号电平的增益处理。图像处理单元208进行输出清除图像传感器201和205中的累积电荷的复位信号的处理。图像处理单元208进行曝光控制，以通过改变快门速度、F数(光圈值)和增益处理的设置来调整入射在图像传感器201和205上的光量。图像处理单元208将处理后的图像数据提供给控制单元220。
第二摄像单元102包括摄像光学系统210、图像传感器211、驱动单元212、位置检测单元213和图像处理单元214。摄像光学系统210包括变焦镜头、焦距镜头、光圈机构等。图像传感器211对摄像光学系统210形成的被摄体图像进行光电转换，并将获得的电信号提供给图像处理单元214。图像处理单元214用于提供类似于图像处理单元208的处理的处理。驱动单元212根据来自控制单元220的控制信号驱动用于控制平摇、俯仰和变焦镜头的操作的各种马达(未示出)。在本实施例中，通过驱动马达来自动控制驱动单元212，但本发明不限于该实施例。可以通过驱动单元212改变第二摄像单元102的摄像方向(光轴方向)和光学变焦倍率。
存储器230例如是诸如闪速存储器和硬盘驱动器的非易失性存储器。存储器230存储关于第一摄像单元101的设置角度的信息、由终端120指定的区域的坐标信息等。存储的信息用于控制单元220的处理。
NW通信单元240是用于与网络110通信的接口。NW通信单元240与网络110之间的通信可以是有线的或无线的。
控制单元220包括驱动控制单元(驱动单元)221、图像显示生成单元222、通信控制单元223、角度获取单元224、框生成单元225、角度转换单元(设置单元)226、编码单元227和命令解释单元228。控制单元220包括例如CPU(中央处理单元)、用于存储由CPU执行的程序的ROM、以及用作CPU的工作区域的RAM。由附图标记221至228指定的处理单元由执行程序的CPU实现。然而，一些处理单元可以用专用硬件来实现。
驱动控制单元221生成用于控制第二摄像单元102中的驱动单元212的平摇、俯仰和变焦倍率的驱动信号。驱动单元212基于由驱动控制单元221生成的驱动信号，来驱动用于平摇、俯仰和移动变焦镜头的各种未示出的马达。驱动控制单元221还控制第一和第二摄像单元101和102的调焦、光圈等。驱动控制单元221用作控制单元，该控制单元被配置为控制第二摄像单元102，以通过改变第二摄像单元102的摄像方向和视角中的至少一个，来指示第二摄像单元102对第二摄像范围进行摄像并获取第二图像。
图像显示生成单元222确定来自图像处理单元208和214的数据如何显示在终端120上。特别地，指定第一摄像单元101的显示方法，诸如从多个图像传感器获取的多个图像的布置(在哪里显示该多个图像)、以及在将该多个图像结合在一起时指定的图像准备顺序。图像显示生成单元222进行数字变焦处理，以从获取的图像中裁切区域并且按比例放大和缩小到期望的显示大小。
通信控制单元223将编码单元227生成的编码数据经由NW通信单元240发送到终端120。通信控制单元223以适当的布局发送从第二摄像单元102获得的图像和从第一摄像单元101获得宽范围图像。当通信控制单元223经由NW通信单元240从终端120接收到各种请求命令时，通信控制单元223将接收到的请求命令通知给命令解释单元228。
角度获取单元224使用从第一摄像单元101中的位置检测单元203和207输出的电信号确定各图像传感器的方向，并将确定结果发送到存储器230。角度获取单元224用作获取单元，其被配置为获取关于第一摄像单元101在旋转方向上的转动的信息、以及在第一摄像单元拍摄的第一图像上指定的指定范围的位置信息。
框生成单元225在从第一和第二摄像单元101和102获取的图像上生成(绘制)围绕由终端120指定的指定区域的区域框。框生成单元225通过将图像的水平方向设置为X坐标并将垂直方向设置为Y坐标而计算指定区域在图像上的坐标，来生成区域框。当框生成单元225在从第一摄像单元101获取的图像上生成区域框时，通过第二摄像单元102的平摇、俯仰和变焦操作来显示指定区域。当框生成单元225在从第二摄像单元102获取的图像上生成区域框时，通过第二摄像单元102的变焦操作显示指定区域。
角度转换单元226指示框生成单元225使用由角度获取单元224获取的信息、由框生成单元225生成的信息、以及第一摄像单元101与第二摄像单元102之间的关系，来重新形成框。角度转换单元226用作设置单元，其被配置为基于关于转动的信息和位置信息，设置第二摄像范围以包括指定范围。
编码单元227对从图像处理单元208和214获取的图像数据进行编码并生成编码数据。编码数据被发送到通信控制单元223。
命令解释单元228分析从通信控制单元223通知的请求命令并且根据请求命令执行处理。例如，当终端120指定从第一摄像单元101获取的图像中的预定区域时，命令解释单元228指示驱动控制单元221，使得第二摄像单元102对与指定区域相同的区域进行摄像。
现在将参照图3描述终端120的内部配置。图3是终端120的框图。
终端120是以个人计算机为代表的信息处理设备。终端120包括控制整个终端的CPU 301、存储BIOS和引导程序的ROM 302、以及RAM 303(RAM 303存储OS(操作系统)、照相机应用等，并用作工作区域)。终端120还包括用于存储OS、照相机应用等的HDD 304、以及用于与网络110通信的网络I/F 305。终端120还包括操作单元306，操作单元306包括键盘、鼠标、触摸面板等以输入来自用户的指令。终端120还包括显示控制单元307和显示装置308。
当终端120接通电源时，CPU 301将OS从HDD 304加载到RAM 303，并根据存储在ROM302中的引导程序执行OS。由此，终端120用作信息处理设备。结果，操作单元306和显示装置308用作用户接口。用户对操作单元306进行操作来指示执行照相机应用程序，使得将照相机应用从HDD 304加载到RAM 303中然后执行。从而，终端120用作用于显示从摄像设备100获取的图像的设备。
图4示出了在终端120中的显示装置308上显示从根据本实施例的摄像设备100获取的图像的示例性画面。显示装置308显示从第一摄像单元101获取的第一图像401和从第二摄像单元102获取的第二图像402。第一图像401中由虚线围绕的区域403指示要由第二摄像单元102放大和显示的指定区域。即，在第二图像402中，第二摄像单元102提供平摇、俯仰和变焦处理并显示第一图像401中的区域403。
为了描述方便，第一图像401被显示为从设置在第一摄像单元101中的多个图像传感器中的一个图像传感器获取的图像，但实际被上显示为从多个图像传感器获取的图像。实际显示的图像由图像显示生成单元222生成。例如，当有四个图像传感器时，第一图像401可以被显示为四个图像，或者可以被显示为一个广角图像，其中从图像传感器获取的图像被结合在一起。
当第一摄像单元101平摇和俯仰时，如果第二摄像单元102也平摇和俯仰，则可以覆盖第一摄像单元101可以拍摄的摄像范围。即，获取区域403的坐标信息使得第二摄像单元102能够对区域403进行摄像。
当第一摄像单元101在旋转方向上转动(进行旋转操作)时，不能使用第一图像401的坐标信息在第二摄像单元102上显示区域403。此外，无法补偿由旋转操作生成的转动而导致的偏移。
图5示出了通过第一摄像单元101以45°的角度进行旋转操作而获取的第一图像401的旋转操作之前的图像401a。当用户使用显示装置308指定区域403时，这意味着实际上指定图5中的区域403a。由于第二摄像单元102不能进行旋转操作，因此不能表示区域403a。即，第二图像402示出车辆倾斜45°。
现在将描述当根据该实施例的第一摄像单元101在旋转方向上转动时第二摄像单元102的控制方法。图6是示出当根据本实施例的第一摄像单元101在旋转方向上转动时第二摄像单元102的控制方法的流程图。
在步骤S101中，控制单元220(角度获取单元224)使用从位置检测单元203和207获取的电信号来确定第一摄像单元101是否正在进行旋转操作。如果确定为第一摄像单元101正在进行旋转操作，则流程进行到步骤S105，否则流程进行到步骤S102。
在步骤S102中，控制单元220(框生成单元225)在从第一摄像单元101获取的第一图像401上生成区域框(对应于围绕图4中的区域403的框)。
在步骤S103中，控制单元220获取在步骤S102中生成的区域框的坐标信息。获取的坐标信息存储在存储器230中。
在步骤S104中，控制单元220移动第二摄像单元102，以对与在步骤S102中生成的区域框对应的区域进行摄像。在本实施例中，控制单元220基于区域框的坐标信息和预先获取的第一摄像单元101与第二摄像单元102之间的关系，使第二摄像单元102平摇、俯仰和变焦。由第二摄像单元102获取的图像作为第二图像401显示在显示装置308上。例如，关于第一摄像单元101的初始视角的信息和关于在框生成时的第二摄像单元102的设置的信息可以存储在存储器230中，并且可以使用框生成时的视角从初始视角的偏移，从框生成时的第二摄像单元102的设置移动。
在步骤S105中，控制单元220(角度获取单元224)使用从位置检测单元203和207获取的电信号，来获取第一摄像单元101的旋转操作的角度(关于旋转操作中的转动的信息)。
在步骤S106中，控制单元220(框生成单元225)在从第一摄像单元101获取的第一图像401上生成区域框(对应于围绕图4中的区域403的框)。区域403是反映第一摄像单元101的旋转操作的区域。
在步骤S107中，控制单元220获取在步骤S106中生成的区域框的坐标信息。
在步骤S108中，控制单元220(角度转换单元226)使用旋转操作的角度以及第一摄像单元101与第二摄像单元102之间的关系，来转换在步骤S107中获取的坐标信息。
在步骤S109中，控制单元220(角度转换单元226)使用转换后的坐标，在从第一摄像单元101获取的第一图像401上生成区域框(以下称为转换区域框)。
在步骤S110中，控制单元220根据在步骤S109中生成的转换区域框，来生成第二摄像单元102可以移动的放大区域框。
在步骤S111中，控制单元220移动第二摄像单元102，以拍摄与在步骤S110中生成的放大区域框对应的区域。
在步骤S112中，控制单元220(图像显示生成单元222)从移动之后的第二摄像单元102获取的图像中切出与转换区域框对应的区域，并进行放大处理，使得切出的区域与第二图像402一样大。
在步骤S113中，控制单元220(图像显示生成单元222)将在步骤S112中处理的图像转动在步骤S105中获取的旋转操作的角度(执行转动处理)，并将结果显示在显示装置308上。
现在将参照图7A和图7B描述指定区域的方法。图7A和图7B说明了指定区域的设置。图7A和图7B假设第一摄像单元101绕作为由第一坐标o(0,0)指示的光轴中心的中心点704进行45°的旋转操作，其中X轴被设置为水平方向，Y轴被设置为垂直方向，图中的一个正方形被设置为一个像素。
图7A以重叠的方式示出了旋转操作之前的图像401a和区域403a以及旋转操作之后的第一图像401和区域403。区域403中顶点a至d的坐标分别为a(-3,-2)、b(-3,-3)、c(-2,-2)和d(-2,-3)，并且对应于在图6的步骤S107中获取的坐标信息。区域403a中顶点aa至dd的坐标分别为aa(-3.53,0.7)、bb(-4.24,0)、cc(-2.82,0)和dd(-3.53,-0.7)，并且是在图6的步骤S109中生成的转换区域框的坐标。
顶点aa和dd是区域403中的顶点a和d分别在由点划线702指示的同轴圆上绕中心点704转动45°的点。顶点cc是区域403中的顶点c在由点线701指示的同轴圆上绕中心点704转动45°的点。顶点bb是区域403中的顶点b在由虚线703指示的同轴圆上绕中心点704转动45°的点。顶点aa至dd的各坐标通过三平方定理(three-square theorem)计算。
除了图7A的显示之外，图7B还示出了通过连接当第二摄像单元102进行平摇、俯仰和变焦操作时区域403a的顶点以最大量移动到的点而形成的区域403b。区域403b中顶点aaa至ddd的坐标分别是aaa(-4.24,0.7)、bbb(-4.24,-0.7)、ccc(-2.82,0.7)和ddd(-2.82,-0.7)。区域403b包括区域403a，并且区域403b的外周为在图6的步骤S110中生成的放大区域框。
如上所述，根据本实施例，即使当第一摄像单元101旋转时，图6中的步骤S111至S113也使得第二摄像单元102能够对与第一图像401上的指定区域对应的区域进行摄像。
虽然该实施例将旋转操作的角度设置为45°，但是本发明不限于该实施例。即使当提供多个第一摄像单元101时，它们也可以被单独控制。当旋转操作的角度是90°、180°和270°时，可兼容的图像传感器211可以改变读取方向。
变型例
并不总是需要生成区域框(转换区域框)或放大区域框。
当未生成区域框(转换区域框)和放大区域框时，从在步骤S108中获取的转换后的坐标中获取要由第二摄像单元102摄像的放大区域的坐标信息。然后，在步骤S111中，第二摄像单元102对与放大区域的坐标信息对应的区域进行摄像。即，在步骤S108中的坐标转换之后，跳过步骤S109和S110，取而代之的是从在步骤S108获取的转换后的坐标中获取要由第二摄像单元102摄像的放大区域的坐标信息。然后，流程进行到步骤S110。
第二实施例
根据该实施例的摄像设备具有与第一实施例的摄像设备相同的配置。本实施例将讨论与第一实施例的不同之处，并且将省略对共同部分的描述。
本实施例将讨论将第二图像402重叠到第一图像401上的配置。本实施例旨在当获取第二图像402时，仅利用光学变焦(而无需进行切出处理或转动处理)来获取高分辨率图像，并且使第一摄像单元101与第二摄像单元102之间的旋转偏移更容易被视觉识别。
图8示出了根据本实施例的从第一摄像单元101获取的第一图像401的示例。在本实施例中，第一摄像单元101的旋转操作的角度为45°。图8在第一图像401上示出了在形成区域403时由终端120的操作单元306中的鼠标指定区域。箭头801在鼠标被点击的点开始，并在正被点击的鼠标移动到预定位置然后解除单击的点结束。通过这种拖放处理确定箭头801的方向和大小可以形成区域403。
本实施例在第一图像401上显示由双点划线围绕的区域802(放大区域框)，该区域802是考虑到第一摄像单元101的旋转的第二摄像单元102的摄像区域。区域802从区域403偏移45°并且大到包括区域403。区域802可以在拖放处理期间根据用鼠标拉动箭头801的动作来显示，也可以在拖放处理完成后显示。
图9示出了根据该实施例的显示装置308上显示的图像的示例。在与第一图像402相邻的区域中，显示通过对区域802进行摄像而获取的第二图像901。在根据本实施例的配置中，相对于第二图像901中的汽车偏移45°并显示第一图像401中的汽车。第二图像901是高分辨率图像，这是因为没有对其进行数字变焦处理。
如上所述，根据本实施例的配置将从第二摄像单元102获取的第二图像402重叠到第一图像401上。该配置提供了高分辨率图像、以及要视觉表达的第一摄像单元101与第二摄像单元102之间的旋转偏移。
用户可以选择是考虑到旋转操作的与第一图像一起的第二图像的显示，还是仅光学变焦的显示。作为转换旋转操作的角度的方法，如果已经存在相同角度的计算值，则可以与其他摄像单元共享该计算值。
各实施例提供了一种控制设备(220)，其用于第一摄像单元(101)和第二摄像单元(102)，第一摄像单元在绕光轴的旋转方向上能够转动并且被配置为对第一摄像范围进行摄像，第二摄像单元被配置为改变摄像方向和视角中的至少一个并且对作为第一摄像范围的一部分的第二摄像范围进行摄像。控制设备包括：获取单元(224)，其被配置为获取关于第一摄像单元在旋转方向上的转动的信息、以及在第一摄像单元所拍摄的第一图像(401)上指定的指定范围(403)的位置信息；设置单元(226)，其被配置为基于关于转动的信息和位置信息来设置第二摄像范围以包括指定范围；以及控制单元(221)，其被配置为控制第二摄像单元，以通过改变第二摄像单元的摄像方向和视角中的至少一个来指示第二摄像单元对第二摄像范围进行摄像并获取第二图像(402)。至少一个处理器或电路被配置为进行上述单元中的至少一个单元的功能。
设置单元可以使用与在第一摄像单元在旋转方向上转动之前能够获取的图像上的指定范围相对应的区域的位置信息，来设置第二摄像范围。可以根据指定范围，利用对通过拍摄第二摄像范围而获取的图像的切出处理、以及基于关于转动的信息的转动处理，来获取第二图像。第二摄像范围的图像可以被重叠在第一图像上。可以通过用户操作来改变第二摄像范围的图像的大小。第二摄像单元在旋转方向上可能无法转动。
各实施例提供了一种控制方法，其用于第一摄像单元(101)和第二摄像单元(102)。第一摄像单元在绕光轴的旋转方向上能够转动并且被配置为对第一摄像范围进行摄像，第二摄像单元被配置为改变摄像方向和视角中的至少一个并且对作为第一摄像范围的一部分的第二摄像范围进行摄像。控制方法包括如下步骤：获取关于第一摄像单元在旋转方向上的转动的信息(S105)、以及在第一摄像单元所拍摄的第一图像(401)上指定的指定范围(403)的位置信息(S107)；基于关于转动的信息和位置信息来设置第二摄像范围以包括指定范围(S108～S110)；以及控制第二摄像单元，以通过改变第二摄像单元的摄像方向和视角中的至少一个来指示第二摄像单元对第二摄像范围进行摄像并获取第二图像(402)(S113)。
其他实施例
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、以及/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或设备的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、以及/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能而执行的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪速存储器装置以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (8)

1.一种控制设备，其用于第一摄像单元和第二摄像单元，所述第一摄像单元在绕光轴的旋转方向上能够转动并且被配置为对第一摄像范围进行摄像，所述第二摄像单元被配置为改变摄像方向和视角中的至少一个并且对作为所述第一摄像范围的一部分的第二摄像范围进行摄像，所述控制设备的特征在于包括：
获取单元，其被配置为获取关于所述第一摄像单元在所述旋转方向上的转动的信息、以及在所述第一摄像单元所拍摄的第一图像上指定的指定范围的位置信息；
设置单元，其被配置为基于关于转动的所述信息和所述位置信息，来设置所述第二摄像范围以包括所述指定范围；以及
控制单元，其被配置为控制所述第二摄像单元，以通过改变所述第二摄像单元的摄像方向和视角中的至少一个来指示所述第二摄像单元对所述第二摄像范围进行摄像并获取第二图像。
2.根据权利要求1所述的控制设备，其特征在于，所述设置单元使用与在所述第一摄像单元在所述旋转方向上转动之前能够获取的图像上的所述指定范围相对应的区域的位置信息，来设置所述第二摄像范围。
3.根据权利要求1所述的控制设备，其特征在于，根据所述指定范围，利用对通过拍摄所述第二摄像范围所获取的图像的切出处理、以及基于关于转动的所述信息的转动处理，来获取所述第二图像。
4.根据权利要求1所述的控制设备，其特征在于，所述第二摄像范围的图像被重叠在所述第一图像上。
5.根据权利要求4所述的控制设备，其特征在于，利用用户操作来改变所述第二摄像范围的图像的大小。
6.根据权利要求1所述的控制设备，其特征在于，所述第二摄像单元在所述旋转方向上不能转动。
7.一种控制方法，其用于第一摄像单元和第二摄像单元，所述第一摄像单元在绕光轴的旋转方向上能够转动并且被配置为对第一摄像范围进行摄像，所述第二摄像单元被配置为改变摄像方向和视角中的至少一个并且对作为所述第一摄像范围的一部分的第二摄像范围进行摄像，所述控制方法的特征在于包括以下步骤：
获取关于所述第一摄像单元在所述旋转方向上的转动的信息、以及在所述第一摄像单元所拍摄的第一图像上指定的指定范围的位置信息；
基于关于转动的所述信息和所述位置信息，来设置所述第二摄像范围以包括所述指定范围；以及
控制所述第二摄像单元，以通过改变所述第二摄像单元的摄像方向和视角中的至少一个来指示所述第二摄像单元对所述第二摄像范围进行摄像并获取第二图像。
8.一种非暂时性计算机可读存储介质，其存储使计算机执行根据权利要求7所述的控制方法的计算机程序。
CN202110709266.3A 2020-06-25 2021-06-25 控制设备、控制方法和存储介质 Pending CN113852754A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-109491 2020-06-25
JP2020109491A JP2022006912A (ja) 2020-06-25 2020-06-25 制御装置、撮像装置、監視システム、及び制御方法

Publications (1)

Publication Number Publication Date
CN113852754A true CN113852754A (zh) 2021-12-28

Family

ID=76601035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110709266.3A Pending CN113852754A (zh) 2020-06-25 2021-06-25 控制设备、控制方法和存储介质

Country Status (4)

Country Link
US (1) US11637958B2 (zh)
EP (1) EP3930305A1 (zh)
JP (1) JP2022006912A (zh)
CN (1) CN113852754A (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002065763A2 (en) 2001-02-12 2002-08-22 Carnegie Mellon University System and method for manipulating the point of interest in a sequence of images
JP4010444B2 (ja) 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
JP4378636B2 (ja) 2005-02-28 2009-12-09 ソニー株式会社 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
TWI307484B (en) * 2006-02-21 2009-03-11 Univ Nat Chiao Tung Image capture apparatus calibration system and method there
WO2019209069A1 (ko) * 2018-04-26 2019-10-31 주식회사 텐앤투 광각 영상 제공 방법

Also Published As

Publication number Publication date
US11637958B2 (en) 2023-04-25
US20210409607A1 (en) 2021-12-30
JP2022006912A (ja) 2022-01-13
EP3930305A1 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
JP5002506B2 (ja) カメラシステム
US20110109771A1 (en) Image capturing appratus and image capturing method
KR102280000B1 (ko) 표시 제어 장치, 표시 제어 방법 및 저장 매체
JP5322287B2 (ja) 回転台付カメラ装置
JP2006324834A (ja) 撮像装置及び撮像方法
CN110351475B (zh) 摄像系统、信息处理设备及其控制方法和存储介质
JP2019080226A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US8692879B2 (en) Image capturing system, image capturing device, information processing device, and image capturing method
US7683935B2 (en) Imaging device
CN110995982B (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质
JP2005148265A (ja) カメラ装置
US11637958B2 (en) Control apparatus, control method, and storage medium
JP2013034158A (ja) 撮像装置
US11184547B2 (en) Imaging device, method for controlling imaging device, and recording medium
JP2013012930A (ja) 全方位撮像装置、及びその制御方法
JP2012244243A (ja) 撮像装置および撮像装置の制御方法
KR20170011928A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP2006115091A (ja) 撮像装置
US11516390B2 (en) Imaging apparatus and non-transitory storage medium
JP2013012848A (ja) カメラ装置及びその制御方法
JP2018146847A (ja) 雲台撮像システム
JP2004289367A (ja) 画像取り込み装置および画像認識装置
JP2019140599A (ja) 情報処理装置、情報処理方法及びプログラム
JP2024082117A (ja) 情報処理装置、撮像装置、撮像システム、方法、及びプログラム
JP2022182840A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination