CN110572564A - 信息处理设备、信息处理方法及存储介质 - Google Patents

信息处理设备、信息处理方法及存储介质 Download PDF

Info

Publication number
CN110572564A
CN110572564A CN201910440764.5A CN201910440764A CN110572564A CN 110572564 A CN110572564 A CN 110572564A CN 201910440764 A CN201910440764 A CN 201910440764A CN 110572564 A CN110572564 A CN 110572564A
Authority
CN
China
Prior art keywords
image
image pickup
image capturing
pickup apparatus
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910440764.5A
Other languages
English (en)
Other versions
CN110572564B (zh
Inventor
铃木大渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110572564A publication Critical patent/CN110572564A/zh
Application granted granted Critical
Publication of CN110572564B publication Critical patent/CN110572564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种信息处理设备、信息处理方法及存储介质。该信息处理设备包括：检测单元，其被配置为在第一摄像设备拍摄的图像和第二摄像设备拍摄的图像中检测特征点；空间信息处理单元，其被配置为基于所述检测单元从所述第一摄像设备拍摄的图像和所述第二摄像设备拍摄的图像中所检测到的特征点来指定所述第一摄像设备和所述第二摄像设备之间的位置关系；以及确定单元，其被配置为基于所述空间信息处理单元所指定的所述第一摄像设备和所述第二摄像设备之间的位置关系以及在所述第一摄像设备拍摄的图像中所指定的位置来确定所述第二摄像设备的摄像方向。

Description

信息处理设备、信息处理方法及存储介质
技术领域
本发明涉及使用多个摄像设备的监视系统。
背景技术
近年来，使用诸如网络照相机等的摄像设备的监视系统已被广泛使用。诸如大型公共机构和大规模零售商店中的监视照相机等的一些摄像设备在广泛的领域中使用，并且包括各种操作方法。一些摄像设备具有各种功能特性以适合操作形式。一些摄像设备可以自由地改变诸如平摇和俯仰方向等的摄像方向，一些摄像设备可以使用高倍率变焦来拍摄图像，并且一些摄像设备配备有鱼眼镜头并且可以一次监视大的区域(全方位照相机)。
在一些情况下使用多个摄像设备来进行监视等。例如，全方位照相机具有非常宽的视角，而分配给远离照相机的场所的像素数量少，因此分辨率低。因此，全方位照相机不适合于获得人脸和车号等的详细信息。为了弥补这一点，美国专利9313400描述了一种具有用于使全方位照相机与具有平摇、俯仰和变焦功能的照相机(平摇-俯仰-变焦(PTZ)照相机)协作的功能的监视系统。换句话说，该系统可以通过全方位照相机一次监视宽范围，并通过PTZ照相机放大并显示要在视频中特别关注的点的图像来获得详细信息。在如上所述多个摄像设备彼此协作的情况下，需要在安装摄像设备时进行校准操作以使摄像设备彼此协作。
日本特开2006-242943描述了一种用于通过拍摄具有已知图案的物体的图像来测量物体的位置和取向的方法。还已知一种用于基于通过该方法拍摄的物体来估计照相机位置和取向的技术。
根据美国专利9313400中描述的传统技术，在由第一摄像设备和第二摄像设备拍摄的图像之间建立控制查找表(LUT)。然后，基于由第一摄像设备拍摄的图像上所指定的关注区域(ROI)和控制LUT来确定第二摄像设备的摄像方向。
然而，根据美国专利9313400，在摄像设备的设置中，需要进行用于建立用于使摄像设备彼此协作的控制LUT的操作。作为用于建立控制LUT的方法，例如，存在一种用于手动比较图像和输入对应点的方法。然而，这种方法在设置操作上需要很多工时并且给人造成很大的负担。另外，为了通过该方法建立有效的控制LUT，需要第一摄像设备和第二摄像设备各自的视角在很大程度上彼此重叠。换句话说，美国专利9313400中描述的方法可以仅应用于第一摄像设备和第二摄像设备各自的视角在很大程度上彼此重叠的情况，因此可以执行该方法的情形受限。
发明内容
一种信息处理设备，包括：检测单元，其被配置为从在第一摄像设备拍摄的图像和第二摄像设备拍摄的图像中检测特征点；空间信息处理单元，其被配置为基于所述检测单元从所述第一摄像设备拍摄的图像和所述第二摄像设备拍摄的图像中所检测到的特征点来指定所述第一摄像设备和所述第二摄像设备之间的位置关系；以及确定单元，其被配置为基于所述空间信息处理单元所指定的所述第一摄像设备和所述第二摄像设备之间的位置关系以及在所述第一摄像设备拍摄的图像中所指定的位置来确定所述第二摄像设备的摄像方向。
通过以下参考附图对实施例的说明，本发明的其它特征将变得明显。
附图说明
图1示出监视系统的系统结构的示例。
图2示出监视系统中的各元件的硬件结构的示例。
图3示出在摄像设备之间的位置关系被指定的情况下的环境的示例。
图4A和4B示出标记的示例。
图5是示出监视系统中进行的处理的示例的流程图。
图6是示出位置估计处理的示例的流程图。
图7A和7B示出平摇-俯仰-变焦(PTZ)摄像设备的结构的示例。
图8A和8B示出PTZ摄像设备中的坐标系的示例。
图9是示出位置关系指定处理的示例的流程图。
图10是示出摄像设备之间的协作处理的示例的流程图。
图11A至11D示出广角摄像设备的机构的示例。
图12示出从广角摄像设备到被摄体的向量的计算处理的示例。
图13示出从PTZ摄像设备到被摄体的向量的计算处理的示例。
图14示出用户界面(UI)的示例。
具体实施方式
在下面的描述中提供第一实施例。图1示出根据本实施例的监视系统的系统结构的示例。根据本实施例的监视系统包括摄像设备101、摄像设备102和客户端设备103。摄像设备101、摄像设备102和客户端设备103经由网络104可通信地彼此连接。
摄像设备101是平摇-俯仰-变焦(PTZ)摄像设备，其包括平摇、俯仰和变焦机构，并且可以通过进行平摇、俯仰和变焦驱动来改变摄像方向。摄像设备102是包括诸如鱼眼镜头等的广角镜头的广角摄像设备。
客户端设备103是诸如个人计算机(PC)、服务器设备、平板装置和智能电话等的信息处理设备，其经由网络104在摄像设备101和摄像设备102之间进行信息的输入和输出。网络104是诸如因特网和局域网(LAN)等的网络，但是网络不特别局限于此，只要摄像设备101、摄像设备102和客户端设备103可以经由网络彼此通信即可。可以在系统中安装多个摄像设备101。
图2示出监视系统中的各元件的硬件结构的示例。
摄像设备101包括摄像单元201、图像处理单元202、系统控制单元203、平摇驱动单元204、俯仰驱动单元205、变焦驱动单元206、平摇-俯仰-变焦控制单元207、空间信息处理单元208、存储单元209和通信单元210。
摄像单元201是包括透镜和摄像器件的机构，并且通过将经由透镜进入摄像器件的光转换为电信号来拍摄被摄体的图像。
图像处理单元202是通过对摄像单元201转换得到的电信号进行图像处理和压缩编码处理来生成图像数据、并将所生成的图像数据发送到系统控制单元203的处理器。
系统控制单元203是包括中央处理单元(CPU)和用作CPU的工作区域的诸如随机存取存储器(RAM)等的主存储装置、并控制摄像设备101的控制设备。系统控制单元203经由通信单元210将由图像处理单元202生成的图像数据发送到客户端设备103。系统控制单元203还分析经由通信单元210从客户端设备103接收到的照相机控制命令，并进行与该命令相对应的处理。例如，系统控制单元203指示图像处理单元202设置图像质量调整，并指示平摇-俯仰-变焦控制单元207进行诸如平摇、俯仰和变焦操作的设置等的摄像参数的设置。
平摇驱动单元204是包括用于进行平摇操作的机械驱动系统、作为机械驱动系统的驱动源的马达以及用于检测平摇驱动单元204的角度的角度传感器的机构，通过驱动马达来驱动机械驱动系统，并将摄像设备101的摄像方向改变为平摇方向。
俯仰驱动单元205是包括用于进行俯仰操作的机械驱动系统、作为机械驱动系统的驱动源的马达以及用于检测俯仰驱动单元的角度的角度传感器的机构，通过驱动马达来驱动机械驱动系统，并将摄像设备101的摄像方向改变为俯仰方向。
变焦驱动单元206是包括调焦透镜、变焦透镜的驱动单元、马达和用于检测变焦透镜的位置的传感器的机构。变焦驱动单元206通过驱动马达来在光轴方向上移动变焦透镜并改变摄像设备101的焦距。此外，变焦驱动单元206通过驱动马达来在光轴方向上移动调焦透镜并进行摄像设备101的调焦。
平摇-俯仰-变焦控制单元207是基于从系统控制单元203发送的指示信号来控制平摇驱动单元204、俯仰驱动单元205和变焦驱动单元206的处理器。平摇-俯仰-变焦控制单元207可以分析平摇驱动单元204、俯仰驱动单元205和变焦驱动单元206的传感器信息，并获得摄像设备101的平摇角度、俯仰角度和变焦角度。
平摇-俯仰-变焦控制单元207基于从系统控制单元203发送的指示信号来分别指示平摇驱动单元204、俯仰驱动单元205和变焦驱动单元206进行平摇、俯仰和变焦操作。此外，平摇-俯仰-变焦控制单元207分别从平摇驱动单元204、俯仰驱动单元205和变焦驱动单元206获得摄像设备101的平摇角度、俯仰角度和变焦角度，并且响应于来自系统控制单元203的请求而将平摇角度、俯仰角度和变焦角度发送到系统控制单元203。
空间信息处理单元208是用于执行与摄像设备101和摄像设备102的三维位置有关的处理以实现摄像设备101和摄像设备102的协作功能的处理器。更具体地，空间信息处理单元208进行用于根据拍摄图像上的特征点来估计其自身位置的处理。摄像设备101可以不在其中包括空间信息处理单元208，并且可以经由系统控制单元203来执行空间信息处理单元208的处理。
存储单元209是用于存储图像质量调整的参数，用于设置网络的设置值、拍摄图像的数据和各种程序等的存储装置。系统控制单元203可以在重启摄像设备101的情况下使用存储在存储单元209中的先前设置的值来控制摄像设备101。存储单元209例如是只读存储器(ROM)、硬盘驱动器(HDD)、固态驱动器(SSD)和闪速存储器。
通信单元210是用于经由网络104与诸如摄像设备102和客户端设备103等的外部设备通信的接口。
系统控制单元203根据存储在存储单元209中的程序来执行处理，并由此实现摄像设备101的功能、图6中的流程图中的处理以及摄像设备101在图5和图10的流程图中的处理。
摄像设备102包括摄像单元211、图像处理单元212、系统控制单元213、空间信息处理单元214、存储单元215和通信单元216。
摄像单元211是包括透镜和摄像器件的机构，并且通过将经由透镜进入摄像器件的光转换为电信号来拍摄被摄体的图像。摄像单元211还包括具有半球形视角的广角透镜。
图像处理单元212是通过对由摄像单元211转换得到的电信号进行图像处理和压缩编码处理来生成图像数据、并将所生成的图像数据发送到系统控制单元213的处理器。
系统控制单元213是包括CPU和用作CPU的工作区域的主存储装置、并控制摄像设备102的控制设备。系统控制单元213经由通信单元216将由图像处理单元212生成的图像数据发送到客户端设备103。系统控制单元213还分析经由通信单元216从客户端设备103接收到的照相机控制命令，并进行与该命令相对应的处理。例如，系统控制单元213指示图像处理单元212进行诸如图像质量调整的设置等的摄像参数的设置。
空间信息处理单元214是用于执行与摄像设备101和摄像设备102的三维位置有关的处理以实现摄像设备101与摄像设备102之间的协作功能的处理器。更具体地，空间信息处理单元214进行用于根据拍摄图像上的特征点来估计其自身位置的处理。摄像设备102可以不包括空间信息处理单元214，并且可以经由系统控制单元213来进行空间信息处理单元214的处理。
存储单元215是用于存储图像质量调整的参数、用于设置网络的设置值和各种程序等的存储装置。即使在重启摄像设备102的情况下，系统控制单元213也可以使用存储在存储单元215中的先前设置的值来控制摄像设备102。存储单元215例如是ROM、HDD、SSD和闪速存储器。
通信单元216是用于经由网络104与诸如摄像设备101和客户端设备103等的外部设备通信的接口。
系统控制单元213根据存储在存储单元215中的程序来执行处理，并由此实现摄像设备102的功能、图6的流程图中的处理，以及摄像设备102在图5和图10的流程图中的处理。
客户端设备103包括显示单元217、输入单元218、系统控制单元219、通信单元220、存储单元221、空间信息处理单元222和图像处理单元223。
显示单元217是诸如液晶显示设备等的显示设备，并且显示从摄像设备101和摄像设备102接收到的图像数据。显示单元217还显示用于控制摄像设备101和摄像设备102的图形用户界面(下文中，称为GUI)。GUI用于例如设置摄像设备101的变焦率、改变平摇和俯仰方向以及指示摄像设备101和摄像设备102拍摄图像。输入单元218是诸如键盘、鼠标和触摸面板等的输入装置。客户端设备103的用户经由输入单元218操作GUI。
系统控制单元219是包括CPU和用作CPU的工作区域的主存储装置、并控制客户端设备103的控制设备。系统控制单元219经由通信单元220接收从摄像设备101和摄像设备102发送的图像数据。系统控制单元219经由通信单元220向摄像设备101和摄像设备102发送控制命令，从而发出用于设置图像质量调整的摄像参数的设置的指示以及用于平摇、俯仰和变焦操作的指示等。
通信单元220是用于经由网络104与诸如摄像设备101和摄像设备102等的外部设备通信的接口。
存储单元221是用于存储诸如摄像设备101和摄像设备102的互联网协议(IP)地址等的信息、网络设置的信息和各种程序的诸如ROM、HDD、SSD和闪速存储器等的存储装置。即使在重启客户端设备103的情况下，系统控制单元219也可以使用存储在存储单元221中的先前设置的值来控制客户端设备103。
空间信息处理单元222是执行与摄像设备101和摄像设备102的三维位置有关的处理以实现摄像设备101与摄像设备102之间的协作功能的处理器。更具体地，空间信息处理单元222基于摄像设备101和摄像设备102各自的位置信息来执行诸如用于指定摄像设备101和摄像设备102之间的位置关系的处理等的处理。客户端设备103可以不包括空间信息处理单元222，并且可以经由系统控制单元219来执行空间信息处理单元222的处理。
图像处理单元223是执行各种类型的图像处理的处理器。例如，图像处理单元223执行用于将从各摄像设备发送的图像作为GUI显示在显示单元217上的处理和用于基于经由输入单元218的输入来提取图像上的坐标的处理。客户端设备103可以不包括图像处理单元223，并且可以经由系统控制单元219来执行图像处理单元223的处理。
系统控制单元219根据存储在存储单元221中的程序来执行处理，并由此实现客户端设备103的功能、图9的流程图中的处理以及客户端设备103在图5和图10的流程图中的处理。
图3示出在摄像设备101和摄像设备102之间的位置关系被指定的情况下的环境的示例。摄像设备101和摄像设备102可经由网络104与客户端设备103通信。根据本实施例，描绘预定图案的标记301作为包括容易检测的特征点的被摄体而水平地放置在地板上。下面参考图4A和4B来详细描述在标记301中描绘的图案。
摄像设备101通过使用摄像单元201和图像处理单元202拍摄标记301的图像来获得图像数据，并且经由空间信息处理单元208分析所获得的图像数据。因此，摄像设备101指定摄像设备101在基于标记301定义的坐标系中的位置。基于标记301定义的坐标系是例如包括基于标记301所确定的点作为原点、并且被定义为根据标记301的取向的改变来改变取向的坐标系。在以下描述中，基于标记301所定义的坐标系被称为标记坐标系。
摄像设备102使用摄像单元211和图像处理单元212来拍摄标记301的图像，并经由空间信息处理单元214分析所拍摄的图像。因此，摄像设备102指定摄像设备102在标记坐标系中的位置。
图4A示出在标记301中描绘的图案(设计)的示例。在标记301中，如图4A所示，描绘黑白棋盘图案。假设已知了图案中示出的棋盘的水平和垂直行中的正方形的大小和正方形的数量。此外，棋盘上的图案中的正方形的数量是奇数×偶数，因此标记301的图案不具有旋转对称性。因此，摄像设备101和102各自拍摄并分析标记301的图案的图像，并且不仅可以估计自身照相机的位置而且可以估计自身照相机的取向。
图4B示出标记坐标系的示例。将图4A的棋盘图案中的左上角(正方形的角)定义为原点OM。基于原点OM，在棋盘图案中，将右方向定义为XM轴方向，将向下方向定义为YM轴方向，并且将深度方向定义为ZM轴方向。根据本实施例，标记坐标系是包括点OM作为原点并由这三个轴定义的坐标系。
图4A和4B所示的标记301的图案和基于标记301定义的坐标系仅是示例。标记301可以包括诸如蜂窝图案等的其它图案。此外，标记301可以是三维标记而不是二维标记。此外，可以包括多个标记301。
图5是示出位置关系指定处理的示例的流程图。参照图5来描述监视系统在图3所示的环境中指定摄像设备101和摄像设备102之间的位置关系的处理。图5中的流程图包括三列。流程图的左侧部分表示由客户端设备103进行的处理，流程图的中央部分表示由摄像设备101进行的处理，并且流程图的右侧部分表示由摄像设备102进行的处理。图5中的虚线箭头表示已进行的通信。
在步骤S501中，系统控制单元219基于经由输入单元218的用户操作来接收表示摄像设备101和摄像设备102用于监视的指定。系统控制单元219还基于经由输入单元218的用户操作来接收表示标记301用于指定摄像设备101和摄像设备102之间的位置关系的指定。然后，系统控制单元219开始设置监视系统。
在步骤S502中，系统控制单元219将指示基于标记301的照相机位置和取向估计的命令发送到摄像设备101和摄像设备102中的每一个。此时，系统控制单元219将与在步骤S501中指定的标记301有关的信息与该命令一起发送。
参考图5的中央的流程图来描述在摄像设备101接收到步骤S502中所发送的命令时进行的处理。
在步骤S503中，系统控制单元203接收从客户端设备103发送的命令和与标记301有关的信息，并且执行用于基于标记301来估计摄像设备101的位置和取向的位置和取向估计处理。下面参考图6、7A和7B来详细描述位置和取向估计处理。
在步骤S504中，系统控制单元203判断在步骤S503中执行的位置和取向估计处理是否成功。如果系统控制单元203判断为在步骤S503中所执行的位置和取向估计处理成功(步骤S504中为“是”)，则处理进入步骤S505。如果系统控制单元203判断为在步骤S503中所执行的位置和取向估计处理失败(步骤S504中为“否”)，则处理进入步骤S506。
在步骤S505中，系统控制单元203向客户端设备103发送表示摄像设备101的位置和取向估计处理成功的成功通知。系统控制单元203将通过步骤S503中的处理获得的与摄像设备101的位置和取向有关的信息与成功通知一起发送到客户端设备103。在以下描述中，与位置和取向有关的信息被统称为位置和取向信息。
在步骤S506中，系统控制单元203将表示摄像设备101的位置和取向估计处理失败的失败通知发送到客户端设备103。
参考图5的右侧的流程图来描述在摄像设备102接收到步骤S502中发送的命令时进行的处理。
在步骤S507中，系统控制单元213接收从客户端设备103发送的命令和与标记301有关的信息，并且执行用于基于标记301来估计摄像设备102的位置和取向的位置和取向估计处理。下面参考图6、7A和7B来详细描述位置和取向估计处理。
在步骤S508中，系统控制单元213判断在步骤S507中所执行的位置和取向估计处理是否成功。如果系统控制单元213判断为步骤S507中所执行的位置和取向估计处理成功(步骤S508中为“是”)，则处理进入步骤S509。如果系统控制单元213判断为步骤S507中所执行的位置和取向估计处理失败(步骤S508中为“否”)，则处理进入步骤S510。
在步骤S509中，系统控制单元213向客户端设备103发送表示摄像设备102的位置和取向估计处理成功的成功通知。系统控制单元213将通过步骤S507中的处理获得的与摄像设备102有关的位置和取向信息与成功通知一起发送到客户端设备103。
在步骤S510中，系统控制单元213向客户端设备103发送表示摄像设备102的位置和取向估计处理失败的失败通知。
描述返回到客户端设备103的处理。
在步骤S511中，系统控制单元219接收在步骤S505或S506中从摄像设备101发送的信息。此外，系统控制单元219接收在步骤S509或S510中从摄像设备102发送的信息。
在步骤S512中，系统控制单元219判断是否在步骤S511中从摄像设备101和摄像设备102两者接收到表示位置和取向估计处理成功的成功通知。在系统控制单元219判断为在步骤S511中从摄像设备101和摄像设备102两者接收到表示位置和取向估计处理成功的成功通知的情况下(步骤S512中为“是”)，处理进入步骤S514。在系统控制单元219判断为在步骤S511中从摄像设备101和摄像设备102中的任一个接收到表示位置和取向估计处理失败的失败通知的情况下(步骤S512中为“否”)，处理进入步骤S513。
在步骤S513中，系统控制单元219在显示单元217上显示表示用于指定摄像设备101和摄像设备102之间的位置关系的处理失败的失败消息，并且终止图5中的处理。
在步骤S514中，系统控制单元219基于从摄像设备101和摄像设备102中的每一个接收到的位置和取向信息来指定摄像设备101和摄像设备102之间的位置关系。下面参考图9来详细描述在步骤S514中进行的位置关系指定处理。在步骤S515中，系统控制单元219将表示在步骤S514中指定的位置关系的信息发送到摄像设备101和摄像设备102。表示位置关系的信息在以下描述中被称为位置关系信息。
在步骤S516中，系统控制单元203接收在步骤S515中从客户端设备103发送的位置关系信息，并将所接收到的信息存储在存储单元209中。
在步骤S517中，系统控制单元213接收在步骤S515中从客户端设备103发送的位置关系信息，并将所接收到的信息存储在存储单元215中。
根据本实施例，摄像设备101和摄像设备102响应于来自客户端设备103的指示，分别进行步骤S503和S507中的位置和取向估计处理。然而，客户端设备103可以基于从摄像设备101和摄像设备102发送的图像来执行与步骤S503和S507类似的位置和取向估计处理。
图6是示出用于基于标记301来估计摄像设备的位置和取向的位置和取向估计处理的示例的流程图。参考图6来详细描述图5中的流程图中的步骤S503和S507中的位置和取向估计处理。图6中的流程图中的步骤S605中的处理由摄像设备101进行，而不是由摄像设备102执行。图6的流程图中的其它处理由摄像设备101和摄像设备102这两者执行。
在步骤S601中，系统控制单元203(213)经由摄像单元201(211)和图像处理单元202(212)拍摄周围环境的图像并获得图像数据。
在步骤S602中，系统控制单元203(213)经由图像处理单元202(212)基于从客户端设备103发送的与标记301有关的信息来判断在步骤S601中获得的图像数据中是否拍摄到标记301。例如，系统控制单元203(213)根据在步骤S601中获得的图像数据来进行用于检测标记301的处理。系统控制单元203(213)在检测到标记301的情况下判断为拍摄到标记301，以及在未检测到标记301的情况下判断为未拍摄到标记301。如果系统控制单元203(213)判断为在步骤S601中获得的图像数据中拍摄到标记301(步骤S602中为“是”)，则处理进入步骤S603。如果系统控制单元203(213)判断为在步骤S601中获得的图像数据中没有拍摄到标记301(步骤S602中为“否”)，则处理进入步骤S607。
在步骤S603中，系统控制单元203(213)经由图像处理单元202(212)提取在步骤S601中获得的图像数据中的预定特征点的图像中的坐标(图像的坐标系中的坐标)。根据本实施例，特征点是标记301中的棋盘上的图案的各角上的点。特征点的坐标是在图像中拍摄到标记301的角的像素的坐标。标记301包括十二个角点，使得系统控制单元203(213)提取十二个点的二维坐标。
在步骤S604中，系统控制单元203(213)经由空间信息处理单元208(214)基于在步骤S603中提取的特征点的坐标，来估计摄像设备101(102)在基于标记301所定义的标记坐标系中的位置和取向。系统控制单元203(213)使用例如日本特开2006-242943中描述的算法来估计摄像设备101(102)在标记坐标系中的位置和取向。
系统控制单元203(213)估计在标记坐标系中基于摄像设备101(102)定义的坐标系的原点的位置以及该坐标系的取向作为摄像设备101(102)的位置和取向。基于摄像设备101(102)定义的坐标系是例如包括基于摄像设备101(102)而被确定为原点的点并且根据摄像设备101(102)的取向的改变而改变其取向(各坐标轴的倾斜度)的坐标系。系统控制单元203(213)估计作为基于摄像设备101(102)定义的坐标系的示例的基于摄像单元201(213)的镜头定义的坐标系的原点的位置和坐标系的取向。在以下描述中，将基于摄像设备的镜头定义的坐标系称为镜头坐标系。
系统控制单元203(213)使用摄像设备的镜头坐标系作为表示摄像设备的位置和取向的坐标系。更具体地，系统控制单元203(213)使用镜头坐标系中的原点的位置作为摄像设备的位置并且使用镜头坐标系的取向作为摄像设备的取向。
系统控制单元203(213)获得如下面的公式(1)所表达的三维平移向量TL的数据作为表示摄像设备101(102)的位置的位置数据。公式(1)中的向量TL的各元素表示在标记坐标系中摄像设备101(102)上预定的点的坐标的坐标值。向量TL是标记坐标系中的从标记坐标系的原点到摄像设备101(102)的镜头坐标系的原点的向量。
系统控制单元203(213)获得如下面的公式(2)所表达的3×3矩阵RL的数据作为表示摄像设备101(102)的取向的取向数据。公式(2)中的矩阵RL是用于将基于标记301所定义的标记坐标系变换为摄像设备101(102)的镜头坐标系的变换矩阵。摄像设备101(102)的镜头坐标系的各轴的方向根据摄像设备101(102)的取向而变化。因此，矩阵RL与摄像设备101(102)的取向具有对应关系，并且可以被解释为表示摄像设备101(102)的取向的信息。
在步骤S605中，系统控制单元203将表示摄像设备101的位置和取向的坐标系从摄像设备101的镜头坐标系校正为不受摄像设备101的平摇-俯仰驱动影响的坐标系。下面参考图7A、7B、8A和8B来详细描述步骤S605中的处理。
在步骤S606中，系统控制单元203(213)返回表示位置和取向估计处理成功的成功标志(例如，将成功标志的信息存储在存储单元209(215)中)，并且结束图6中的处理。
在步骤S607中，系统控制单元203(213)返回表示位置和取向估计处理失败的失败标志(例如，将失败标志的信息存储在存储单元209(215)中)。
在步骤S504(S508)中，系统控制单元203(213)基于例如在存储单元209(215)中存储了成功标志还是失败标志来判断位置和取向估计处理是成功还是失败。
图7A和7B示出作为PTZ摄像设备的摄像设备101的结构的示例。图8A和8B示出基于摄像设备101定义的镜头坐标系的示例。在下面的描述中，参考图7A、7B、8A和8B来详细描述图6中的流程图的步骤S605中的处理。
首先，参考图7A和7B来描述摄像设备101的结构。图7A示出当沿摄像设备101的垂直方向从正上方观看时底面放置在地面上的摄像设备101。图7B是底面放置在地面上的摄像设备101的侧视图。
底盒701是用于储存摄像设备101的硬件组件的盒体，并且固定到摄像设备101的安装面。转台702是在底盒701上旋转以将摄像设备101的摄像方向改变为平摇方向的机构。支撑件703是支撑摄像头704的支柱。摄像头704是储存摄像单元201的部分。平摇驱动单元204使转台702相对于底盒701在水平方向上旋转，从而将摄像设备101的摄像方向改变为平摇方向。根据本实施例，当通过将基准方向视为0度时，平摇驱动单元204可使转台702从-175度至+175度在左右方向上旋转。俯仰驱动单元205使摄像头704以摄像头704固定到安装在转台702上的支撑件703的点为中心在垂直方向上旋转，因此摄像设备101的摄像方向改变为俯仰方向。根据本实施例，俯仰驱动单元205可使摄像头704从水平方向上的0度旋转到垂直于水平方向的方向上的90度。
接着，参考图8A和8B来描述基于摄像设备101定义的坐标系。如图7A那样，图8A是示出当从其正上方观看时的摄像设备101的图。如图7B那样，图8B是摄像设备101的侧视图。
假设摄像设备101具有平摇角度θ和俯仰角度φ。在这种情况下，在步骤S604的处理中使用的摄像设备101的镜头坐标系是例如如下的坐标系。具体地，坐标系包括作为原点的摄像单元201的镜头主点801，并且由与平摇驱动的负方向水平的XL轴、与俯仰驱动的正方向水平的YL轴、以及镜头光轴方向的ZL轴定义。
摄像设备101获得用于将参考图3描述的标记坐标系变换为摄像设备101的镜头坐标系的变换方式，从而计算摄像设备101在标记坐标系中的位置数据(TL)和取向数据(RL)。换句话说，位置数据TL是用于从标记坐标系的原点OM平移到镜头坐标系的原点OL的三维平移向量。此外，镜头取向数据RL是表示从标记坐标系到镜头坐标系的变换的3×3旋转矩阵。
然而，摄像设备101可以进行平摇-俯仰驱动，从而镜头坐标系本身受到平摇-俯仰驱动的影响，并且在基于标记坐标系观看时镜头坐标系的坐标轴和原点OL的位置发生改变。因此，在使用摄像设备101的镜头坐标系来表达摄像设备101的位置和取向的情况下，摄像设备101在标记坐标系中的位置和取向被摄像设备101的平摇-俯仰驱动而改变，并且发生误差。存在指定摄像设备101和摄像设备102之间的相对位置关系的精度由于误差而劣化的问题。该问题是由于使用因摄像设备101的平摇-俯仰驱动而变化的坐标系(镜头坐标系)来表达摄像设备101的位置和取向引起的。
因此，在根据本实施例的监视系统中，使用不因摄像设备101的平摇-俯仰驱动而变化的坐标系来表达摄像设备101的位置和取向。
参考图8A和8B来描述基于不受平摇-俯仰驱动影响的摄像设备101定义的坐标系的示例。在以下描述中，基于不受平摇-俯仰驱动影响的摄像设备101定义的坐标系被称为照相机坐标系。首先，将摄像设备101的平摇驱动轴和俯仰驱动轴的交点802定义为照相机坐标系的原点OC。
摄像设备101的平摇驱动轴和俯仰驱动轴的交点802(OC)的位置不会因摄像设备101的平摇-俯仰驱动而变化。因此，作为从标记坐标系的原点到原点OC的向量的摄像设备101的位置数据不受摄像设备101的平摇角度θ和俯仰角度φ的影响。
从镜头主点801到原点OC的距离d作为已知数据存储在存储单元209中。照相机坐标系的坐标轴是XC轴、YC轴和ZC轴。ZC轴的方向是在摄像设备101的平摇角度θ和俯仰角度φ分别为0度和+90度的情况下的光轴方向。XC轴的方向是在摄像设备101的平摇角度θ为-90度的情况下的方向。YC轴的方向是平摇角度θ为-180度的情况下的方向。
监视系统使用摄像设备101的照相机坐标系作为表示摄像设备101的位置和取向的坐标系。更具体地，监视系统使用摄像设备101的照相机坐标系的原点作为摄像设备101的位置，并且使用摄像设备101的照相机坐标系的取向作为摄像设备101的取向。
要计算的摄像设备101的位置数据是用于从标记坐标系的原点OM平移到照相机原点OC的平移向量。此外，要计算的摄像设备101的取向数据是表示从标记坐标系到照相机坐标系的变换的旋转矩阵。在步骤S605中，系统控制单元203使用镜头位置数据TL、镜头取向数据RL、平摇角度θ、俯仰角度φ和距离d，经由空间信息处理单元208再次计算摄像设备101的位置数据TC和取向数据RC。系统控制单元203可以通过询问平摇-俯仰-变焦控制单元207来获得平摇角度θ和俯仰角度φ。
更具体地，系统控制单元203使用下面的公式(3)来计算位置数据TC。
在以下描述中，由位置数据TC表达的向量被称为照相机位置向量。此外，系统控制单元203使用下面的公式(4)来计算摄像设备101的取向数据RC。
在以下描述中，表示取向数据的矩阵被称为取向矩阵。
系统控制单元203可以通过上述处理来计算不受平摇角度θ和俯仰角度φ影响的摄像设备101的位置和取向数据，因此可以提高后续处理的精度。
根据本实施例，作为不因摄像设备101的平摇-俯仰驱动而变化的坐标系，系统控制单元203使用包括平摇驱动轴和俯仰驱动轴的交点作为原点的坐标系。然而，系统控制单元203可以使用包括除了平摇驱动轴和俯仰驱动轴的交点之外的点作为原点的坐标系，作为不因摄像设备101的平摇-俯仰驱动而变化的坐标系。例如，系统控制单元203可以使用包括底盒701上指定的点作为原点的坐标系。
根据本实施例，摄像设备102被描述为由于其摄像方向固定而不能进行平摇-俯仰驱动的摄像设备。然而，摄像设备102也可以是能够进行平摇-俯仰驱动并改变摄像方向的摄像设备。在这种情况下，如参考图7A、7B、8A和8B描述的坐标系那样，监视系统使用基于不因摄像设备102的平摇-俯仰驱动而变化的坐标系所定义的摄像设备102的照相机坐标系来表达摄像设备102的位置和取向。更具体地，监视系统使用摄像设备102的照相机坐标系的原点的位置作为摄像设备102的位置，并且使用摄像设备102的照相机坐标系的倾斜度作为摄像设备102的取向。
图9是示出用于指定摄像设备101和摄像设备102之间的位置关系的位置关系指定处理的示例的流程图。参考图9来详细描述步骤S514中的处理。系统控制单元219经由空间信息处理单元222来执行图9中的处理。根据本实施例，摄像设备101和摄像设备102之间的位置关系被表达为摄像设备101和摄像设备102中的用作基准的任一个摄像设备相对于另一摄像设备的位置和取向数据。在以下描述中，将摄像设备101和摄像设备102中的用作基准的摄像设备称为基准摄像设备。
根据本实施例，系统控制单元219将摄像设备102定义为基准摄像设备。系统控制单元219在进行图9中的处理之前获得在步骤S505和S509中发送的摄像设备101和摄像设备102的各个标记坐标系中的位置数据(位置向量)和取向数据(取向矩阵)。
在步骤S901中，系统控制单元219计算标记坐标系中的相对位置向量。相对位置向量是从基准摄像设备(摄像设备102)观看的另一摄像设备(摄像设备101)的位置向量。标记坐标系中的相对位置向量TRM通过下面的公式(5)计算，其中TBASE是标记坐标系中的摄像设备102的位置向量，并且TPTZ是标记坐标系中的摄像设备101的位置向量。系统控制单元219使用公式(5)来计算相对位置向量TRM。
TRM＝TPTZ-TBASE (5)
表示从标记坐标系中的基准摄像设备(摄像设备102)的取向矩阵到标记坐标系中的另一摄像设备(摄像设备101)的取向矩阵的变换的矩阵被称为相对取向矩阵。
在步骤S902中，系统控制单元219计算标记坐标系中的相对取向矩阵。标记坐标系中的相对取向矩阵RRM通过下面的公式(6)来计算，其中RBASE是摄像设备102的取向矩阵，并且RPTZ是摄像设备101的取向矩阵。系统控制单元219使用公式(6)来计算相对取向矩阵RRM。
RRM＝RPTZRBASE -1 (6)
在公式(6)中，RBASE -1为RBASE的逆矩阵。在步骤S903中，系统控制单元219进行坐标变换，以在基于基准摄像设备(摄像设备102)定义的坐标系中表达在步骤S901和S902中所计算的标记坐标系中的相对位置向量TRM和相对取向矩阵RRM。在以下描述中，基于基准摄像设备定义的坐标系被称为基准照相机坐标系。由基准照相机坐标系表达的相对位置向量TR通过下面的公式(7)来计算。系统控制单元219使用公式(7)来计算由基准照相机坐标系表达的相对位置向量TR。
TR＝RBASE -1TRM (7)
此外，RR是由基准照相机坐标系表达的相对取向矩阵。系统控制单元219将标记坐标系中的相对取向矩阵RRM变换为旋转向量，以计算相对取向矩阵RR。旋转向量是方向和大小分别表示旋转轴和旋转量的向量。系统控制单元219可以使用下面的公式(8)表达的关系来进行任意旋转矩阵R和旋转向量r的变换。
在公式(8)中，rx、ry和rz是表示旋转向量r的方向的单位向量的x、y和z分量。θ表示旋转量，即旋转向量r的大小。由基准照相机坐标系表达的相对取向向量RRvec通过下面的公式(9)来计算，其中RRMvec是使用公式(8)计算的标记坐标系中的相对取向向量。系统控制单元219使用公式(9)来计算由基准照相机坐标系表达的相对取向向量RRvec。
RRvec＝RBASE -1RRMvec (9)
系统控制单元219将所计算出的相对取向向量RRvec返回到旋转矩阵，从而可以计算由基准照相机坐标系表达的相对取向矩阵RR。为了将任意旋转向量r变换为旋转矩阵R，可以使用下面的公式(10)中所示的罗德里格斯(Rodrigues)旋转公式。系统控制单元219使用由公式(10)表示的关系，根据相对取向向量RRvec来计算相对取向矩阵RR。
通过上述处理，系统控制单元219获得摄像设备101相对于摄像设备102(基准摄像设备)的位置数据(TRM,TR)和取向数据(RRM,RR)作为表示摄像设备101和摄像设备102之间的位置关系的信息。因此，系统控制单元219指定摄像设备101和摄像设备102之间的位置关系。
图10是示出摄像设备101和摄像设备102之间的协作处理的示例的流程图。图10中的流程图包括三列。流程图的左侧部分表示由客户端设备103进行的处理。流程图的中央部分表示由摄像设备102进行的处理。流程图的右侧部分表示由摄像设备101进行的处理。图10中的虚线箭头表示在设备之间进行的通信。
在步骤S1001中，系统控制单元219将用于请求发送拍摄图像的请求命令发送到摄像设备101和摄像设备102。
在步骤S1002中，摄像设备102的系统控制单元213接收在步骤S1001中发送的请求命令，并且开始用于经由摄像单元211和图像处理单元212拍摄图像并将拍摄图像发送到客户端设备103的处理。系统控制单元213可以仅拍摄图像一次并将拍摄图像发送到客户端设备103，或者可以周期性地重复图像拍摄并连续将拍摄图像发送到客户端设备103。
在步骤S1003中，摄像设备101的系统控制单元203接收在步骤S1001中发送的请求命令，并且开始用于经由摄像单元201和图像处理单元202拍摄图像并将拍摄图像发送到客户端设备103的处理。系统控制单元203可以仅拍摄图像一次并将拍摄图像发送到客户端设备103，或者可以周期性地重复图像拍摄并连续将拍摄图像发送到客户端设备103。
在步骤S1004中，系统控制单元219在显示单元217上显示从摄像设备101和摄像设备102分发的各个图像。因此，用户可以实时查看由摄像设备拍摄的各个图像。
在步骤S1005中，系统控制单元219指定用户经由输入单元218指定并显示在客户端设备103的显示单元217上的摄像设备102的图像中的区域。在以下描述中，将该步骤中指定的区域称为关注区域(ROI)。
用于指定ROI的方法包括用于通过诸如鼠标等的指点装置来从显示在显示单元217上的视频中指定要聚焦的场所的方法。在这种情况下，矩形形式的区域可以被指定为ROI，并且图像上的仅一个点可以被指定为ROI。在仅指定一个点的情况下，系统控制单元219指定例如以图像中指定的点为中心的具有预定形式的区域作为ROI。在本实施例中，图像中的仅一个点被指定为ROI。下面参考图14来描述用于指定ROI的用户界面(UI)。
在步骤S1006中，系统控制单元219经由图像处理单元223提取在步骤S1005中指定的图像中的ROI的中心点的坐标(二维数据)，并将提取的坐标数据发送到摄像设备102。
在步骤S1007中，系统控制单元213接收在步骤S1006中从客户端设备103发送的坐标数据。
在步骤S1008中，系统控制单元213经由空间信息处理单元214根据在步骤S1007中接收到的数据所表示的坐标来计算ROI的中心点的空间坐标。ROI的中心点的空间坐标是表示摄像设备102的照相机坐标系中的ROI的坐标的三维向量。下面参考图11A至11D和12来详细描述用于计算ROI的空间坐标的处理。
在步骤S1009中，系统控制单元213将步骤S1008中计算出的ROI的中心点的空间坐标的数据发送到客户端设备103。
在步骤S1010中，系统控制单元219接收在步骤S1009中从摄像设备102发送的照相机坐标系中的ROI的空间坐标的数据。
在步骤S1011中，系统控制单元219将由在步骤S1010中接收到的数据表示的坐标发送到摄像设备101。根据本实施例，在步骤S1009至S1011中，将由摄像设备102计算的ROI的中心点的空间坐标的数据经由客户端设备103发送到摄像设备101。然而，在步骤S1009中，摄像设备102的系统控制单元213可以将在步骤S1008中计算的坐标数据直接发送到摄像设备101。
在步骤S1012中，系统控制单元203接收在步骤S1011中从客户端设备103发送的坐标数据。
在步骤S1013中，系统控制单元203经由空间信息处理单元208基于由在步骤S516中接收到的信息所表示的位置关系以及ROI的中心点的空间坐标(由步骤S1012中接收到的数据表示的坐标)来计算平摇-俯仰驱动的方向。根据本实施例，在步骤S516中接收到的表示摄像设备101和摄像设备102之间的位置关系的信息是表示摄像设备101相对于基准摄像设备(摄像设备102)的位置和取向的信息(例如，TR、TRM、RR和RRM)。系统控制单元203确定平摇-俯仰驱动的方向，使得例如摄像设备101可以拍摄以在步骤S1012中接收到的数据表示的坐标为中心的指定区域的图像。下面参考图13来详细描述步骤S1013中的处理。系统控制单元203可以在步骤S1013中进行用于基于ROI的中心点的空间坐标来计算期望的变焦角度的处理。
在步骤S1014中，系统控制单元203判断是否可以通过平摇-俯仰-变焦控制单元207相对于在步骤S1013中计算的方向进行平摇-俯仰驱动。摄像设备101具有从-175度到+175度的平摇驱动范围和从0度到+90度的俯仰驱动范围，从而步骤S1014中的判断在所计算出的平摇方向和俯仰方向在这些范围外的情况下为假，并且在这些方向在这些范围内的情况下为真。在系统控制单元203判断为能够进行向步骤S1013中所计算的方向的平摇-俯仰驱动的情况下(步骤S1014中为“是”)，处理进入步骤S1015。在系统控制单元203判断为不能进行向步骤S1013中所计算的方向的平摇-俯仰驱动的情况下(步骤S1014中为“否”)，结束图10中的处理。
在步骤S1015中，系统控制单元203经由平摇-俯仰-变焦控制单元207向平摇驱动单元204和俯仰驱动单元205发出平摇-俯仰驱动指示。平摇驱动单元204和俯仰驱动单元205基于该指示来进行相应的驱动。系统控制单元203可以经由平摇-俯仰-变焦控制单元207指示变焦驱动单元206改变变焦角度。
根据本实施例，响应于来自客户端设备103的指示，通过摄像设备102和摄像设备101来分别进行步骤S1008中的处理和步骤S1013中的处理。然而，客户端设备103可以使用空间信息处理单元222和图像处理单元223基于从各监视照相机分发的视频来计算摄像设备101的平摇和俯仰方向，并且仅指示摄像设备101进行平摇-俯仰驱动。
图11A至11D示出广角摄像设备102的机构的示例。图12示出用于计算从广角摄像设备102到被摄体的向量的计算处理的示例。参考图11A至11D和12来详细描述步骤S1008中的处理。
首先，参考图11A至11D来示意性地描述摄像设备102的结构。图11A是示出当从正上方观看时水平放置在地面上的摄像设备102的图。图11B是摄像设备102的侧视图。图11C是由摄像设备102拍摄的图像的示例。摄像设备102包括基部1101和圆顶部1102。圆顶部1102在其内部包括摄像单元211。摄像单元211包括具有180度视角的非常广角的镜头。在摄像设备102拍摄图像的情况下，如图11C所示获得各侧具有S个像素的正方形图像1104。正方形图像1104包括通过在图像上投影180度的视场而获得的圆形视场1105和在圆形外侧填充黑色的掩模区域1106。对于正方形图像1104，定义了包括图像的左上作为原点、从原点起的右方向为Xi轴以及从原点起的向下方向为Yi轴的图像坐标系。
接着，描述摄像设备102的照相机坐标系。作为基于摄像设备102定义的坐标系的摄像设备102的照相机坐标系被定义为以下坐标系。摄像设备102的照相机坐标系的原点OC是镜头主点1103。摄像设备102的照相机坐标系的坐标轴被定义为ZC轴、XC轴和YC轴。ZC轴是在摄像设备102水平放置在地面上的情况下的摄像设备102的正上方的轴。XC轴和YC轴是被定义为在摄像设备102水平放置在地面上的情况下在水平方向上彼此垂直的轴。根据图11C，可以在图像1104上定义与照相机坐标系的原点OC相对应的图像上的坐标，并且将其右方向和向下方向分别定义为XC轴和YC轴。根据本实施例，与照相机原点OC相对应的像素是图像1104的中心坐标上的像素，即坐标(S/2,S/2)上的像素。
假定选择图像1104的视场1105中的任意像素，并且该像素具有图像上的坐标(Xj,Yj)。这些坐标对应于在与从摄像设备102观看的坐标相对应的像素中所拍摄到的被摄体的方向。
图11D示出摄像设备102的摄像方向。假设了从摄像设备102延伸到被摄体(作为摄像对象的被摄体、布置在周围环境中的被摄体等)上的特定点的方向向量。根据图11D，从摄像设备102延伸到被摄体的方向向量的方向根据该方向向量相对于ZC轴的角度θ和投影在(XC,YC)平面上的方向向量与XC轴之间形成的角度φ来指定。因此，该方向向量可以表达为(θ,φ)。摄像设备102的系统控制单元213可以使用定义了镜头失真的镜头模型，基于图像上的坐标(Xj,Yj)来唯一地计算在从摄像设备102观看的坐标上的像素中所拍摄的被摄体的方向(θ,φ)。可以使用以下公式(11)和(12)来从坐标(Xj,Yj)计算方向(θ,φ)。系统控制单元213使用公式(11)和公式(12)来分别计算θ和φ。
因此，系统控制单元213可以根据在图像1104上指定的坐标(Xj,Yj)来唯一地计算从摄像设备102观看的方向(θ,φ)。
接着，基于从摄像设备102观看的方向(θ,φ)，将参考图12来描述用于计算与该方向相对应的坐标(Xj,Yj)上拍摄的被摄体1201的空间坐标的方法。假设摄像设备102水平安装在天花板上。在从摄像设备102到被摄体1201的向量由VBASE表示的情况下，计算被摄体1201的空间坐标等同于计算向量VBASE。然而，不能仅从自摄像设备102观看的方向(θ,φ)指定到被摄体1201的距离，从而不能唯一地计算出向量VBASE。因此，在本实施例中，设置以下前提条件。地板是水平的，并且被摄体1201是人的面部。如果假设人的身高是恒定的，则可以定义从地板到被摄体1201的高度h的值(例如：h≈1.6[m])。
此外，从地板到摄像设备102的高度H可以被视为已知数据。这是因为，在步骤S504的处理中标记301水平放置在地板上的情况下，高度H等于由摄像设备101在标记坐标系中的位置数据表示的ZM坐标的绝对值。向量VBASE可以基于上述条件通过下面的公式(13)来计算。系统控制单元213使用公式(13)来计算向量VBASE。
在步骤S1008中，系统控制单元213将在步骤S1007中接收到的信息表示的坐标设置为(Xj,Yj)。系统控制单元213通过使用公式(11)和公式(12)分别计算θ和φ，来指定被摄体相对于摄像设备102的方向，该方向与在步骤S1007中接收到的信息所指示的坐标相对应。系统控制单元213还使用公式(13)来计算向量VBASE作为表示摄像设备102的照相机坐标系中的被摄体的位置的向量数据。
图13示出从PTZ摄像设备101到被摄体的向量的计算处理的示例。参考图13来详细描述步骤S1013中的处理。
在图13中，假设：在进行步骤S1013中的处理之前，计算从摄像设备102观看时的到被摄体1201的向量VBASE和从摄像设备102到摄像设备101的相对位置向量TR。系统控制部203通过计算向量VBASE和向量TR之间的差来计算摄像设备102的照相机坐标系中的从摄像设备101到被摄体1201的向量V'PTZ。系统控制单元203使用下面的公式(14)来计算向量V'PTZ。
V′PTZ＝VBASE-TR (14)
此外，系统控制单元203可以基于从摄像设备102到摄像设备101的相对取向矩阵RR，使用下面的公式(15)来计算摄像设备101的照相机坐标系中的从摄像设备101到被摄体1201的向量VPTZ。
VPTZ＝RR -1V′PTZ (15)
系统控制单元203基于计算出的向量VPTZ，使用下面的公式(16)和(17)来计算表示被摄体1201相对于摄像设备101的方向的平摇角度θ和俯仰角度φ。
在公式(16)和(17)中，VX、VY和VZ分别表示向量VPTZ的X、Y和Z分量。系统控制单元203在步骤S1015中进行平摇-俯仰驱动，以将摄像设备101的摄像方向改变为由如此计算出的平摇角度θ和俯仰角度φ表示的方向。因此，摄像设备101可以拍摄被摄体1201的图像。
图14示出在根据本实施例的监视系统的操作中使用的UI的示例。图14中的UI是显示在显示单元217上并由用户经由输入单元218操作的GUI。图14中的UI包括显示从摄像设备102发送的图像的广角图像区域1401、显示从摄像设备101发送的图像的PTZ图像区域1402以及诸如鼠标等的指点装置操作的指针1403。用户通过使用输入单元218的操作来将指针1403放置在广角图像区域1401中显示的图像上的关注点上，并通过使用鼠标等点击对应于关注区域的点(下文中称为关注点)来指定该关注点。
监视系统基于关注点的确定作为触发，通过图10中的处理来改变摄像设备101的摄像方向。摄像设备101在摄像方向改变的摄像条件下通过摄像单元201和图像处理单元202来拍摄图像，并且经由通信单元216将拍摄图像发送到客户端设备103。客户端设备103经由通信单元220接收图像，经由图像处理单元223将图像与GUI中的PTZ图像区域1402进行合成，并在显示单元217上显示该GUI。因此，用户可以容易地改变摄像设备101的摄像方向，并且立即确认由摄像方向改变的摄像设备101所拍摄的图像。
如上所述，根据本实施例，监视系统从由摄像设备101和摄像设备102分别拍摄的图像中检测标记301上的特征点。此外，监视系统基于所检测到的特征点来计算摄像设备101和摄像设备102在标记坐标系中的相应位置和取向，并基于所计算出的位置和取向来指定摄像设备101和摄像设备102之间的位置关系。监视系统根据经由包括由摄像设备102拍摄的图像的UI在该拍摄图像中指定的位置和指定位置关系，来确定摄像设备101的摄像方向。如上所述，与美国专利9313400中描述的技术不同，监视系统可以在没有建立用于在摄像设备之间进行协作的控制查找表(LUT)的负担的情况下，通过确定摄像设备101的摄像方向来支持设置操作。换句话说，与美国专利9313400中描述的技术相比，监视系统可以在更少负担的情况下支持设置操作。
此外，摄像设备101和摄像设备102被布置为拍摄彼此共同的特征点(标记301)的图像就足够了，并且不必使它们的视场在很大程度上相互重叠。换句话说，与美国专利9313400中描述的技术相比，监视系统可以在更多的情况下支持设置操作。
随后，监视系统使摄像设备101进行平摇-俯仰驱动，以将摄像方向改变为所确定的方向。因此，监视系统可以在更多情况下以更小的负担来调整摄像设备101的摄像方向。
本实施例可以在更多情况下以较小的负担支持彼此协作地执行的多个摄像设备的设置操作。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
例如，上述监视系统的功能结构的全部或一部分可以作为硬件安装在客户端设备103、摄像设备101和摄像设备102上。
尽管已经参考实施例说明了本发明，但是应该理解，本发明不局限于所公开的实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种信息处理设备，包括：
检测单元，其被配置为在第一摄像设备拍摄的图像中检测特征点以及在第二摄像设备拍摄的图像中检测特征点；
空间信息处理单元，其被配置为基于所述检测单元在所述第一摄像设备拍摄的图像中所检测到的特征点和在所述第二摄像设备拍摄的图像中所检测到的特征点来指定所述第一摄像设备和所述第二摄像设备之间的位置关系；以及
确定单元，其被配置为基于所述空间信息处理单元所指定的所述第一摄像设备和所述第二摄像设备之间的位置关系以及在所述第一摄像设备拍摄的图像中所指定的位置来确定所述第二摄像设备的摄像方向。
2.根据权利要求1所述的信息处理设备，其中，所述检测单元从所述第一摄像设备拍摄的图像和所述第二摄像设备拍摄的图像中检测作为描绘了预定图案的标记中的点的特征点。
3.根据权利要求2所述的信息处理设备，其中，所述空间信息处理单元基于作为根据所述标记所定义的坐标系的标记坐标系中的所述第一摄像设备的位置和取向、以及所述标记坐标系中的所述第二摄像设备的位置和取向，来指定所述第一摄像设备和所述第二摄像设备之间的位置关系。
4.根据权利要求3所述的信息处理设备，其中，
在所述第二摄像设备是摄像方向发生改变并且包括用于改变摄像方向的机构的摄像设备的情况下，将基于所述第二摄像设备定义并且不因所述第二摄像设备的摄像方向的改变而改变的坐标系视为第一照相机坐标系，并且所述空间信息处理单元基于所述标记坐标系中的所述第一摄像设备的位置和取向、以及作为所述标记坐标系中的所述第二摄像设备的位置和取向的所述标记坐标系中的所述第一照相机坐标系的原点的位置和所述标记坐标系中的所述第一照相机坐标系的取向来指定所述第一摄像设备和所述第二摄像设备之间的位置关系。
5.根据权利要求3所述的信息处理设备，其中，在所述第一摄像设备是摄像方向发生改变并且包括用于改变摄像方向的机构的摄像设备的情况下，将基于所述第一摄像设备定义并且不因所述第一摄像设备的摄像方向的改变而改变的坐标系视为第二照相机坐标系，并且所述空间信息处理单元基于作为所述标记坐标系中的所述第一摄像设备的位置和取向的所述标记坐标系中的所述第二照相机坐标系的原点的位置和所述标记坐标系中的所述第二照相机坐标系的取向、以及所述标记坐标系中的所述第二摄像设备的位置和取向来指定所述第一摄像设备和所述第二摄像设备之间的位置关系。
6.根据权利要求1所述的信息处理设备，还包括改变单元，所述改变单元被配置为将所述第二摄像设备的摄像方向改变为所述确定单元所确定的摄像方向。
7.根据权利要求1所述的信息处理设备，还包括：
显示单元，其被配置为显示所述第一摄像设备所拍摄的图像，以及显示所述第二摄像设备所拍摄的图像；以及
输入单元，其被配置为接收对第一摄像单元拍摄并在所述显示单元所显示的图像上的关注区域的用户选择，作为第一摄像装置拍摄的图像中指定的位置。
8.根据权利要求1所述的信息处理设备，还包括获取单元，所述获取单元被配置为基于所述检测单元所检测到的特征点来获取从地板到所述第一摄像设备和所述第二摄像设备至少之一的高度。
9.根据权利要求1所述的信息处理设备，其中，所述第二摄像设备是摄像方向发生改变并且包括用于改变摄像方向的机构的摄像设备。
10.一种信息处理设备所执行的信息处理方法，所述方法包括：
在第一摄像设备拍摄的图像中检测特征点和在第二摄像设备拍摄的图像中检测特征点；
基于在所述第一摄像设备拍摄的图像中所检测到的特征点和所述第二摄像设备拍摄的图像中所检测到的特征点来指定所述第一摄像设备和所述第二摄像设备之间的位置关系；以及
基于所指定的所述第一摄像设备和所述第二摄像设备之间的位置关系以及在所述第一摄像设备拍摄的图像中所指定的位置来确定所述第二摄像设备的摄像方向。
11.一种计算机可读存储介质，用于存储使计算机执行根据权利要求10所述的信息处理方法的程序。
CN201910440764.5A 2018-06-05 2019-05-24 信息处理设备、信息处理方法及存储介质 Active CN110572564B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018107658A JP7204346B2 (ja) 2018-06-05 2018-06-05 情報処理装置、システム、情報処理方法及びプログラム
JP2018-107658 2018-06-05

Publications (2)

Publication Number Publication Date
CN110572564A true CN110572564A (zh) 2019-12-13
CN110572564B CN110572564B (zh) 2022-02-08

Family

ID=66810671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910440764.5A Active CN110572564B (zh) 2018-06-05 2019-05-24 信息处理设备、信息处理方法及存储介质

Country Status (4)

Country Link
US (1) US11132814B2 (zh)
EP (1) EP3579190A1 (zh)
JP (1) JP7204346B2 (zh)
CN (1) CN110572564B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020167517A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置
CN112399033B (zh) * 2019-08-14 2022-04-15 杭州海康威视数字技术股份有限公司 摄像机组件和监控摄像机
CN113822937B (zh) * 2020-06-18 2024-01-26 中移(苏州)软件技术有限公司 一种图像校正方法、装置、设备及存储介质
JP7456911B2 (ja) 2020-10-13 2024-03-27 株式会社日立製作所 情報処理システム及び情報処理装置
US11956537B2 (en) * 2021-03-19 2024-04-09 Casio Computer Co., Ltd. Location positioning device for moving body and location positioning method for moving body

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145920A (zh) * 2006-09-15 2008-03-19 株式会社Ntt都科摩 用于通过空间布告板来进行通信的系统
US20130010081A1 (en) * 2011-07-08 2013-01-10 Tenney John A Calibration and transformation of a camera system's coordinate system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
JP4859205B2 (ja) 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
CN101681438A (zh) * 2007-03-02 2010-03-24 有机运动公司 跟踪三维对象的系统和方法
EP2075096A1 (de) * 2007-12-27 2009-07-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
US8488001B2 (en) * 2008-12-10 2013-07-16 Honeywell International Inc. Semi-automatic relative calibration method for master slave camera control
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
JP2013231607A (ja) * 2012-04-27 2013-11-14 Sharp Corp 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム
CN103780830B (zh) 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
JP6622503B2 (ja) * 2014-11-25 2019-12-18 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145920A (zh) * 2006-09-15 2008-03-19 株式会社Ntt都科摩 用于通过空间布告板来进行通信的系统
US20130010081A1 (en) * 2011-07-08 2013-01-10 Tenney John A Calibration and transformation of a camera system's coordinate system

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANKUR JAIN等: "Using Stationary-Dynamic Camera Assemblies for Wide-area Video Surveillance and Selective Attention", 《2006 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
DAVID BEYMER等: "Eye gaze tracking using an active stereo head", 《2003 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2003. PROCEEDINGS》 *
DONG-CHAN CHO等: "Long range eye gaze tracking system for a large screen", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS》 *
RICHARD YI DA XU等: "Novel methods for high-resolution facial image capture using calibrated PTZ and static cameras", 《2008 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 *

Also Published As

Publication number Publication date
US20190371000A1 (en) 2019-12-05
JP2019211337A (ja) 2019-12-12
EP3579190A1 (en) 2019-12-11
JP7204346B2 (ja) 2023-01-16
US11132814B2 (en) 2021-09-28
CN110572564B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN110572564B (zh) 信息处理设备、信息处理方法及存储介质
RU2528566C2 (ru) Устройство управления, система камеры и программа
US20120056977A1 (en) Method for generating panoramic image
JP4914171B2 (ja) 撮像装置の制御方法及びカメラシステム
KR20110108265A (ko) 제어 장치, 카메라 시스템 및 프로그램
US11818492B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
US20220103751A1 (en) Communication management apparatus, image communication system, communication management method, and recording medium
KR100585822B1 (ko) 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
CN115190237A (zh) 一种确定承载设备的转动角度信息的方法与设备
JP2021072627A (ja) ３ｄツアーの比較表示システム及び方法
JP6938237B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7504688B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10089726B2 (en) Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image
JP2015115851A (ja) フォーカス制御装置およびフォーカス制御方法
JP2008244946A (ja) 画像表示装置、画像表示制御方法、プログラムおよび監視カメラシステム
JP2020071854A (ja) 画像処理装置、画像処理方法及びプログラム
JP7237520B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7356293B2 (ja) 電子機器およびその制御方法
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP6128966B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2020198468A (ja) 撮像装置、撮像方法及びプログラム
JP2012244311A (ja) カメラ遠隔制御装置およびカメラ遠隔制御方法
JP7059829B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2021020358A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2023016580A (ja) 撮像システム、撮像方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant