CN108370412B - 控制装置、控制方法和记录介质 - Google Patents

控制装置、控制方法和记录介质 Download PDF

Info

Publication number
CN108370412B
CN108370412B CN201680068918.7A CN201680068918A CN108370412B CN 108370412 B CN108370412 B CN 108370412B CN 201680068918 A CN201680068918 A CN 201680068918A CN 108370412 B CN108370412 B CN 108370412B
Authority
CN
China
Prior art keywords
imaging
objects
control
present
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680068918.7A
Other languages
English (en)
Other versions
CN108370412A (zh
Inventor
池田广志
稻叶靖二郎
池田伸穗
佐藤秀幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108370412A publication Critical patent/CN108370412A/zh
Application granted granted Critical
Publication of CN108370412B publication Critical patent/CN108370412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

提供了一种控制装置，该控制装置设置有处理单元，该处理单元基于指示对象状态的对象信息来确定并控制用于捕获对象的图像的多个图像拾取设备，使得包括在由多个图像拾取设备捕获的预定区域中的所有对象均被包括在由图像拾取设备中的至少两个图像拾取设备捕获的视角中。

Description

控制装置、控制方法和记录介质
技术领域
本公开涉及控制装置、控制方法和程序。
背景技术
已经开发出通过控制两个成像设备来对对象进行跟踪和成像的技术。基于从配备有摇摄云台(pan head)的两个成像设备获取的捕获图像来控制摇摄云台以跟踪对象的技术的示例包括在下面的专利文献1中描述的技术。
引用列表
专利文献
专利文献1：JP 2003-97914A
发明内容
技术问题
例如，为了分析体育比赛、预防犯罪、提高诸如汽车之类的移动对象的安全性等各种目的，使用由多个成像设备中的每一个拍摄的捕获图像(运动图像或静止图像)。
为了实现如上所述的各种目的，认为对于多个成像设备来说重要的是对包括在成像设备所要成像的区域(在下文中在一些情况下将被称为“预定区域”)中的所有预定对象进行成像。上述预定区域的示例包括“球场或场地(分析体育比赛的目的的情况下的示例)”、“采取犯罪预防措施的空间(预防犯罪的目的的情况下的示例)”、“移动对象的前进方向上的空间(提高移动对象的安全性的情况下的示例)”，等等。此外，上述预定对象的示例包括“运动员和球中的一者或两者(用于分析体育比赛的目的的情况下的示例)”、“人(用于预防犯罪的目的的情况下的示例)”、“任何对象(用于提高移动对象的安全性的目的的情况下的示例)”，等等。
这里，用于对包括在预定区域中的所有预定对象进行成像的方法的示例包括使用具有固定的成像位置和成像方向的多个成像设备(下面将被称为“固态成像设备”)的方法。
然而，在使用上述固态成像设备的现有方法被使用的情况下，每个固态成像设备的成像位置和成像方向是固定的，因此全部固态成像设备不一定可以对预定对象进行成像。因此，在使用上述固态成像设备的现有方法被使用的情况下，可能无法高效地对预定对象进行成像。
本公开提出了一种新颖且改进的控制装置、控制方法和程序，其使得多个成像设备能够更高效地对包括在预定区域中的对象进行成像。
问题的解决方案
根据本公开，提供了一种控制装置，包括：处理单元，被配置为基于指示对象的状态的对象信息来确定对对象进行成像的多个成像设备以及控制所述多个成像设备中的每一个成像设备，以使得包括在由所述多个成像设备成像的预定区域中的所有对象中的每一个落入至少两个或更多个成像设备进行成像的视角内。
此外，根据本公开，提供了一种由控制装置执行的控制方法，该控制方法包括：基于指示对象的状态的对象信息来确定对对象进行成像的多个成像设备以及控制所述多个成像设备中的每一个成像设备，以使得包括在由所述多个成像设备成像的预定区域中的所有对象中的每一个都落入至少两个或更多个成像设备进行成像的视角内的步骤。
此外，根据本公开，提供了一种程序，其用于使计算机执行：基于指示对象的状态的对象信息来确定对对象进行成像的多个成像设备以及控制所述多个成像设备中的每一个成像设备，以使得包括在由所述多个成像设备成像的预定区域中的所有对象中的每一个落入至少两个或更多个成像设备进行成像的视角内的功能。
发明的有利效果
根据本公开，可以使得多个成像设备更高效地对包括在预定区域中的对象进行成像。
请注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中描述的效果中的任何一种效果或可以从本说明书掌握的其他效果。
附图说明
图1是例示出根据本实施例的成像设备的控制结果的示例的说明图。
图2是示出根据本实施例的成像设备的控制结果的示例的说明图。
图3是用于描述根据本实施例的控制方法的控制处理的概况的说明图。
图4是示出根据本实施例的捕获图像的示例的说明图。
图5是示出根据本实施例的多个成像设备的成像范围的示例的说明图。
图6是用于描述根据本实施例的用于获得预定对象的尺寸的函数的示例的说明图。
图7是用于描述根据本实施例的获得预定对象的集中程度的方式的示例的说明图。
图8是用于描述根据本实施例的将成像设备分配给每一个预定对象的示例的说明图。
图9是用于描述其中根据本实施例的预定对象被分组的示例的说明图。
图10是用于描述根据本实施例的将成像设备分配给每组预定对象的示例的说明图。
图11是用于描述根据本实施例的多个成像设备的初始状态的示例的说明图。
图12是示出使用根据本实施例的控制方法的控制处理的处理的示例的流程图。
图13是示出根据本实施例的控制装置的配置示例的框图。
图14是示出根据本实施例的控制装置的硬件配置的示例的说明图。
具体实施方式
在下文中，将参照附图详细描述本公开的一个或多个优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的附图标记来表示，并且对这些结构元件的重复说明被省略。
另外，将按照以下顺序进行描述。
1.根据本实施例的控制方法
2.根据本实施例的控制装置
3.根据本实施例的程序
(根据本实施例的控制方法)
首先，将描述根据本实施例的控制方法。以下示出由根据本实施例的控制装置进行根据本实施例的控制方法的处理的情况作为示例。
以下主要示出将根据本实施例的控制方法应用于控制对空间进行成像的多个成像设备的情况作为示例，空间例如是在其中进行体育运动的球场、场地等。此外，以下示出上述体育运动为足球的情况作为示例。注意，根据本实施例的控制方法可适用于控制对其中进行各种体育运动(诸如“包括网球、篮球、橄榄球等的球类比赛”和“包括卡巴迪等的非球类比赛”)的空间进行成像的多个成像设备。
注意，根据本实施例的控制方法的应用示例不限于控制对其中进行上述体育运动的空间进行成像的多个成像设备。例如，根据本实施例的控制方法可适用于控制各种成像设备，诸如控制用作安全相机的多个成像设备，以及控制安装在包括汽车之类的移动对象上的多个成像设备。
[1]根据本实施例的控制方法的概况
如上所述，在使用固态成像设备的现有方法被使用的情况下，可能无法高效地对预定对象进行成像。
此外，在使用固态成像设备的现有方法被使用的情况下，对于所有固态成像设备来说不一定可能对预定对象进行成像，但是例如以下缺点随着成像设备的数量增加而更加显著。
-整个系统的增加的成本
-诸如成像设备之类的装置的更复杂的安装和设置(例如，在预定区域是球场或场地的情况下等)
-处理捕获图像的增加的负载
-管理和记录捕获图像的增加的负载
然后，根据本实施例的控制装置控制多个成像设备中的每一个(控制处理)，使得包括在预定区域中的所有预定对象中的每一个都落入至少两个或更多个成像设备进行成像的视角内。
作为对多个成像设备中的每一个成像设备的控制，根据本实施例的控制装置例如进行对多个成像设备中的每一个成像设备的成像方向的控制和对由多个成像设备中的每一个成像设备成像的对象的放大或缩小的控制中的一者或两者。
这里，对成像设备的成像方向的控制的示例包括对成像设备的摇摄方向、倾斜方向和滚动方向中的一个或两个或更多个的控制。例如，根据本实施例的控制装置向物理连接到成像设备并且各自能够在摇摄方向、倾斜方向和滚动方向上移动的摇摄云台发送控制摇摄云台的操作的控制信号，并且控制摇摄云台的操作。根据本实施例的控制装置例如经由(在下面描述的)通信单元或连接的外部通信设备来发送上述控制信号。根据本实施例的控制装置控制摇摄云台的操作以便能够改变成像设备的摇摄方向、倾斜方向和滚动方向中的一个或两个或更多个，从而控制成像设备的成像方向。
此外，在由成像设备执行的成像中对对象的放大或缩小的控制的示例包括对成像设备的变焦的控制。例如，根据本实施例的控制装置向成像设备发送控制成像设备的操作的控制信号，并且控制成像设备的变焦操作以控制由成像设备执行的成像中的对象的放大或缩小。根据本实施例的控制装置例如经由(在下面描述的)通信单元或连接的外部通信设备来发送上述控制信号。
注意，根据本实施例的对每一个成像设备的控制不限于上述示例。
例如，作为对多个成像设备中的每一个成像设备的控制，根据本实施例的控制装置也可以进一步对成像设备的位置进行控制。
例如，基于包括在成像设备中并且可用于识别位置的传感器或者连接到成像设备并且可用于识别位置的传感器的检测结果来获取成像设备的位置。这里，可用于识别位置的上述传感器的示例包括全球导航卫星系统(GNSS)设备和诸如加速度传感器和角速度传感器之类的运动传感器中的一个或两个或更多个。
此外，例如，可以基于由执行成像的成像设备生成的捕获图像(运动图像或静止图像)来识别成像设备的位置。例如，示出了多个成像设备对足球场进行成像的情况作为示例。可以通过使用捕获图像中包括的场地的线条、交叉点等来计算成像设备的位置和姿态。这里，可以基于成像设备之间的关系来计算成像设备的位置和姿态(通过使用运动恢复结构(structure-from-motion)技术来执行计算的方法)，或者可以通过使用场地的形状为已知的事实来计算每一个成像设备的位置(通过求解n点透视问题来执行计算的方法)。
对成像设备的位置的控制的示例包括对物理连接到成像设备的移动设备的移动的控制(在成像设备不具有移动功能的情况下)，或者对具有移动功能的成像设备的移动的控制。上述移动设备的示例包括在诸如轨道之类的预定路线上移动的移动对象(例如，火车等)、在任何路线上移动的移动对象(例如，机器人等)，等等。此外，具有移动功能的成像设备的示例包括被称为无人飞机的无人驾驶飞行器、包括在任何路线上移动的成像设备的移动对象(例如，机器人等)，等等。
例如，根据本实施例的控制装置将控制移动设备的操作的控制信号发送到移动设备以控制移动设备的移动。根据本实施例的控制装置例如经由(在下面描述的)通信单元或连接的外部通信设备来发送上述控制信号。根据本实施例的控制装置控制移动设备的移动以便能够改变移动设备的位置，从而控制成像设备的位置。
此外，例如，根据本实施例的控制装置将控制成像设备的操作的控制信号发送到成像设备，以控制成像设备的位置。根据本实施例的控制装置例如经由(在下面描述的)通信单元或连接的外部通信设备来发送上述控制信号。
如上所述，根据本实施例的控制装置例如执行对多个成像设备中的每一个成像设备的成像方向的控制和对由多个成像设备中的每一个成像设备成像的对象的放大或缩小的控制中的一者或两者。此外，例如，如上所述，根据本实施例的控制装置能够进一步控制成像设备的位置。也就是说，要由根据本实施例的控制装置控制的成像设备可以是不使“成像方向”或“成像位置和成像方向”固定的成像设备。
图1和图2是各自示出根据本实施例的成像设备的控制结果的示例的说明图。图1示出了对足球场(预定区域的示例)进行成像的多个成像设备的示例。图2示出了对足球场进行成像的多个成像设备的另一个示例。此外，图2所示的P1表示由图2所示的可移动成像设备D1成像的预定对象的重心位置。图2所示的P2表示由图2所示的可移动成像设备D2成像的预定对象的重心位置。
例如如图1所示，根据本实施例的控制装置根据球员等(预定对象的示例)的位置，控制每一个成像设备以改变成像设备的成像方向以及由成像设备进行的成像中的对象的放大和缩小。此外，例如，在存在如图2所示的可移动成像设备的情况下，根据本实施例的控制装置根据球员等(预定对象的示例)的位置来控制每一个成像设备以改变可移动成像设备的位置。这里，在像图2所示的成像设备D1和D2那样从正上方对场地进行成像的情况下，可以进一步降低遮挡的可能性。
因此，根据本实施例的控制装置控制每一个成像设备以使得所有成像设备都能够对预定对象进行成像。
因此，根据本实施例的控制装置通过进行根据本实施例的控制方法的控制处理而使得可以使多个成像设备比在使用固态成像设备的现有方法被使用的情况下更高效地对包括在预定区域中的对象进行成像。
此外，根据本实施例的控制装置进行根据本实施例的控制方法的控制处理，并且因此可以动态地改变每一个成像设备的成像范围。因此，在根据本实施例的控制方法的控制处理被使用的情况下，与使用固态成像设备的现有方法被使用的情况相比，可以用更少的成像设备对包括在预定区域中的预定对象进行成像。
因此，在根据本实施例的控制方法的控制处理被使用的情况下，可以进一步减少在使用固态成像设备的现有方法被使用的情况下可以观察到的上述缺点。
注意，为了方便起见，根据本实施例的控制处理是通过划分根据本实施例的控制方法的处理而获得的。因此，例如，作为根据本实施例的控制方法的处理，根据本实施例的控制处理也可以解释为包括两种或更多种处理(取决于用于划分的任意方法)。
以下描述根据本实施例的控制方法的控制处理。
[2]根据本实施例的控制方法的控制处理
[2-1]控制处理的概况
首先，将描述根据本实施例的控制处理的概况。图3是用于描述根据本实施例的控制方法的控制处理的概况的说明图。
在如图3的A所示的由一个成像设备对对象O进行成像的情况下，不可能从捕获的图像中获得对象O的位置。相反，在如图3的B所示的由两个或更多个成像设备(图3的B示出了三个成像设备执行成像的示例)对对象O进行成像的情况下，例如，使用三角测量法使得可以从捕获的图像中获得对象O的位置。
然后，根据本实施例的控制装置确定对预定对象进行成像的多个成像设备，并且控制多个成像设备中的每一个。根据本实施例的控制装置例如基于对象信息来确定对预定对象进行成像的多个成像设备，使得包括在预定区域中的所有预定对象都落入至少两个或更多个成像设备进行成像的视角内。
这里，根据本实施例的对象信息是指示预定对象的状态的数据。下面将描述根据本实施例的预定对象的状态。
例如，基于从多个成像设备中的每一个成像设备获取的捕获图像来生成根据本实施例的对象信息。生成对象信息的处理可以由根据本实施例的控制装置或者根据本实施例的控制装置的外部装置(诸如服务器)来执行。
例如，根据本实施例的控制装置“基于从多个成像设备中的每一个成像设备获取的捕获图像来生成对象信息”，或者“向诸如服务器之类的外部装置发送包括用来发送对象信息的指令的发送请求，以及从该外部装置接收对象信息”，以获取对象信息。根据本实施例的控制装置例如使用包括在根据本实施例的控制装置中的(在下面描述的)通信单元或者与根据本实施例的控制装置相连的外部通信设备来与外部装置进行通信。以下一般将上述的生成对象信息和获取对象信息的处理称为“获取处理”，并且在一些情况下将上述的发送发送请求和获取对象信息的处理称为“获取处理”。
注意，根据本实施例的控制装置获取对象信息的方法不限于根据本实施例的控制装置执行获取处理。例如，在由诸如服务器之类的外部装置生成对象信息的情况下，根据本实施例的控制装置也可以通过主动接收对象信息来获取外部装置主动发送的对象信息。
也就是说，根据本实施例的控制装置可以例如基于通过执行获取处理而获取的对象信息来执行控制处理，作为根据本实施例的控制方法的处理，并且还基于从外部装置主动获取的对象信息来执行控制处理。
此外，预定区域是多个成像设备能够进行成像的区域。预定区域对应于如上所述要由成像设备成像的区域。
作为示例，将示出将根据本实施例的控制方法应用于控制对进行体育运动的空间进行成像的多个成像设备的情况。预定区域的示例包括诸如进行体育运动的球场或场地之类的空间。此外，在将根据本实施例的控制方法应用于控制对进行体育运动的空间进行成像的多个成像设备的情况下，预定区域可以例如是整个诸如球场或场地之类的区域，或者诸如球场或场地之类的区域的一部分。注意，不用说，根据本实施例的预定区域的示例不限于上述示例。
此外，预定对象是通过对预定区域进行成像而获得的捕获图像中所包括的对象当中的待检测对象。
根据本实施例的控制装置例如使用从当“分别使多个成像设备进入由多个成像设备对整个预定区域进行成像的初始状态时”获取的各个捕获图像中检测到的预定对象作为根据本实施例的所有预定对象。在使成像设备进入初始状态的情况下，将ID指派给从各个捕获图像中检测到的每一个预定对象。可以将预定对象的ID自动指派给根据使用任何对象检测技术的图像处理检测到的预定对象，或者可以基于用户的操作来手动指派预定对象的ID。下面将描述根据本实施例的成像设备的初始状态的示例。
此外，在接收到从诸如服务器之类的外部装置发送的对象信息的情况下，根据本实施例的控制装置可以使用例如由从外部装置获取的对象信息指示的各个预定对象作为根据本实施例的所有预定对象。以下主要描述根据本实施例的所有预定对象是从当使成像设备进入初始状态时获取的各个捕获图像中检测到的预定对象的情况。
作为示例，将示出将根据本实施例的控制方法应用于控制对进行体育运动的空间进行成像的多个成像设备的情况。预定对象的示例包括球员和球中的一者或两者(在体育运动是球类运动的情况下的预定对象的示例)。
这里，在预定对象是球员和球的情况下，因为球比球员小，所以在很多情况下捕获图像中包括的球员的图像尺寸比捕获图像中包括的球的图像尺寸更大。此外，在预定对象是球员和球的情况下，在许多情况下，球的移动比球员的移动快。因此，考虑到跟踪预定对象的处理(其将被称为“跟踪处理”)，在预定对象是球员和球的情况下，基于捕获图像来跟踪球会比基于捕获图像来跟踪球员更困难。
执行根据本实施例的控制处理以控制多个成像设备中的每一个成像设备，使得所有预定对象中的每一个都落入如上所述的至少两个或更多个成像设备进行成像的视角内。因此，执行根据本实施例的控制处理，使得可以更容易地基于捕获图像在跟踪处理中跟踪预定对象。
注意，不用说，根据本实施例的预定对象的示例不限于上述示例。
如上所述，作为对多个成像设备中的每一个成像设备的控制，根据本实施例的控制装置例如执行对多个成像设备中的每一个成像设备的成像方向的控制以及对由多个成像设备中的每一个成像设备成像的对象的放大或缩小的控制中的一者或两者。例如，如下面的(a)至(c)所示，根据本实施例的控制装置控制成像设备。
(a)对要成像的对象的图像尺寸的控制(对由成像设备执行的成像中的对象的放大或缩小的控制的示例)
图4是示出根据本实施例的捕获图像的示例的说明图。图4的A示出了通过对足球场(预定区域的示例)进行成像而获得的捕获图像的示例。图4的B示出了通过对足球场进行成像而获得的捕获图像的另一示例。
例如，如图4的A所示，在捕获图像中包括的球员(预定对象的示例：以下同样适用)较小的情况下，例如，可能无法从捕获图像中检测到任何球员、区分检测到的球员等。因此，例如，如图4的A所示，在捕获图像中包括的球员较小的情况下，基于捕获图像的处理可能会受到干扰，诸如无法基于捕获图像来跟踪球员等。
然后，如图4的B所示，根据本实施例的控制装置控制由多个成像设备中的每一个成像设备执行的成像中的对象的放大或缩小，使得捕获图像中包括的预定对象当被成像时具有特定尺寸或更大尺寸。
这里，根据本实施例的控制装置例如控制由多个成像设备中的每一个成像设备执行的成像中的对象的放大或缩小，使得整个预定对象的图像尺寸或预定对象的部分的图像尺寸大于设置的图像尺寸。
例如，在捕获图像包含球(预定对象的示例)的情况下，根据本实施例的控制装置控制由多个成像设备中的每一个成像设备执行的成像中的对象的放大或缩小，使得捕获图像中的球的图像尺寸具有大约20×20[像素]的尺寸或更大的尺寸。此外，例如，在捕获图像包括一个或两个或更多个球员(预定对象的示例)的情况下，根据本实施例的控制装置控制由多个成像设备中的每一个成像设备执行的成像中的对象的放大或缩小，使得捕获图像中包括的所有球员的面部的图像尺寸或指派给捕获图像中包括的所有球员的制服的编号的图像尺寸具有大约20×20[像素]的尺寸或更大的尺寸。此外，例如，在捕获图像包括球(预定对象的示例)和一个或两个或更多个球员(预定对象的示例)的情况下，根据本实施例的控制装置控制由多个成像设备中的每一个成像设备执行的成像中的对象的放大或缩小，使得“捕获图像中的球的图像尺寸”和“捕获图像中包括的所有球员的面部的图像尺寸或指派给捕获图像中包括的所有球员的制服的编号的图像尺寸”具有大约20×20[像素]的尺寸或更大的尺寸。
例如，如上所述，根据本实施例的控制装置根据预定对象的类型来控制由多个成像设备中的每一个成像设备执行的成像中的对象的放大或缩小，使得整个预定对象的图像尺寸或预定对象的部分的图像尺寸大于设置的图像尺寸。
这里，例如基于是通过识别整个预定对象还是识别预定对象的部分来识别预定对象而将整个预定对象的图像尺寸和预定对象的部分的图像尺寸中的哪一个设置为控制标准。例如，上面例示了“基于面部(预定对象的部分的示例)或指派给制服的编号(预定对象的部分的示例)来识别球员的情况”。
此外，上面将大约20×20[像素]的尺寸例示为在对由多个成像设备中的每一个成像设备执行的成像中的对象的放大或缩小的控制中的图像尺寸。但是，只要可以识别预定对象，就可以采用任何图像尺寸。
注意，不用说，在根据本实施例的控制装置中，对由多个成像设备中的每一个成像设备执行的成像中的对象的放大或缩小的控制的示例不限于上述示例。
(b)对成像设备的状态的变化量的控制(对成像设备的成像方向的控制、对由成像设备执行的成像中的对象的放大或缩小的控制，以及对成像设备的一个或两个或更多个位置的控制的示例)
完成改变成像设备的状态(姿态、缩放和位置中的一个或两个或更多个)花费时间。因此，例如，考虑到体育运动，在改变成像设备的状态完成之前，诸如球员或球之类的预定对象的状况(如预定对象的位置等)可以改变。
此外，当预定区域中的预定对象的状况的小改变显著改变成像设备的状态时，成像设备的状态转变可能不稳定。
因此，根据本实施例的控制装置例如为成像设备的状态的变化提供滞后、对成像设备的状态的变化量设置上限、将它们组合等以控制成像设备的状态的变化量，使得成像设备的当前状态平滑地改变。
(c)对对预定对象进行成像的成像设备的分配的控制
图5是示出根据本实施例的多个成像设备的成像范围的示例的说明图。图5的A示出了对足球场(预定区域的示例)进行成像的多个成像设备的成像范围的示例。图5的B示出了对足球场进行成像的多个成像设备的成像范围的另一示例。
如上所述，根据本实施例的控制装置控制多个成像设备中的每一个成像设备，使得包括在预定区域中的所有预定对象中的每一个预定对象都落入至少两个或更多个成像设备进行成像的视角内。
因此，例如，如图5的A所示，在预定对象不均匀地存在于预定区域中的情况下，预定区域中的预定对象所存在于的区域的一部分由所有成像设备成像，并且因此所有预定对象由至少两个或更多个成像设备成像。此时，成像设备的变焦比(视角)可以被设置为用来对由成像设备成像的预定对象进行成像的最长焦距，作为上面的(a)中所示的控制的例外。
此外，例如，如图5的B所示，在预定对象较少不均匀地存在于预定区域中的情况下，预定对象中的每一个都由具有到预定对象的较短距离的至少两个或更多个成像设备成像。
[2-2]控制处理的具体示例
接下来，将更具体地描述根据本实施例的控制方法的控制处理。
如上所述，根据本实施例的控制装置控制多个成像设备中的每一个成像设备，使得包括在预定区域中的所有预定对象中的每一个预定对象都落入至少两个或更多个成像设备进行成像的视角内。根据本实施例的控制装置例如执行下面的(1)中的处理至下面的(3)所示的处理中的任何处理，以控制多个成像设备中的每一个成像设备。
(1)控制处理的第一示例
根据本实施例的控制装置基于由对象信息指示的预定对象的状态以及成像设备的状态的变化中的一者或两者来确定对各个预定对象进行成像的多个成像设备，并且控制多个成像设备中的每一个成像设备。
基于捕获图像来检测根据本实施例的预定对象的状态。这里，根据本实施例的预定对象的状态的示例包括预定对象的尺寸和预定对象的集中程度中的一者或两者。
例如基于捕获图像中的预定对象的图像尺寸来获得根据本实施例的预定对象的尺寸。
图6是用于描述根据本实施例的用于获得预定对象的尺寸的函数的示例的说明图。在图6中，水平轴所示的“对象尺寸”对应于预定对象的图像尺寸。此外，在图6中，垂直轴所示的“Sij”对应于用数字j(j表示正整数)表示并且由用数字i(i表示正整数)表示的成像设备成像的预定对象的尺寸。
根据本实施例的控制装置使用例如如图6所示的函数来获得与预定对象的图像尺寸相对应的预定对象的尺寸。
注意，根据本实施例的用于获得预定对象的尺寸的方法不限于上述示例。
例如，根据本实施例的控制装置能够基于成像设备与预定对象之间的距离来获得预定对象的尺寸。根据本实施例的控制装置例如使用成像设备与预定对象之间的距离的倒数和预定对象的尺寸的函数来获得与成像设备和预定对象之间的距离的倒数相对应的预定对象的尺寸。此外，根据本实施例的控制装置还能够例如通过参考其中距离与尺寸相关联的表格(或数据库)来获得与成像设备和预定对象之间的距离相对应的预定对象的尺寸。
例如，基于捕获图像中的一个预定对象与其他预定对象之间的距离来获得根据本实施例的预定对象的集中程度。
图7是用于描述根据本实施例的获得预定对象的集中程度的方式的示例的说明图。图7的A示出了预定对象的集中程度的示例。图7的A示出了集中程度为低和集中程度为高的状态的示例。此外，图7的B示出了用于获得预定对象的集中程度的函数的示例。在图7的B中，水平轴所示的“对象之间的总距离”对应于捕获图像中的一个预定对象与其他预定对象之间的总距离。此外，在图7的B中，垂直轴所示的“Dij”对应于用数字j表示的并且由用数字i表示的成像设备成像的预定对象的集中程度。
这里，图7的B所示的对象之间的总距离可以是用数字j表示的预定对象与包括在预定区域中的所有其他预定对象之间的总距离。在图7的B所示的对象之间的总距离被设置为“用数字j表示的预定对象与包括在预定区域中的所有其他预定对象之间的总距离”的情况下，用数字j表示的预定对象与用数字i表示的成像设备的视角之外的预定对象(即，未被包括在捕获图像中的预定对象)之间的距离被认为是“0”(零)。
此外，成像设备的状态的变化被表示为示出成像设备的状态的变化的变化量。示出成像设备的状态的变化的变化量是通过例如基于成像设备的位置、成像设备的姿态(滚动、倾斜和偏航(yaw))以及成像设备的变焦(焦距)的各个变化量获得每个元素的加权线性和而获得的。
更具体而言，根据本实施例的控制装置将成像设备分配给每一个预定对象，使得所有预定对象中的每一个都落入至少两个或更多个成像设备进行成像的视角内。
图8是用于描述根据本实施例的将成像设备分配给每一个预定对象的示例的说明图。图8示出了其中预定对象是球员和球的示例。此外，在图8中，设置有“○”的成像设备和预定对象的组合表示分配给预定对象的成像设备。
当根据本实施例的控制装置例如如图8所示将成像设备分配给每一个预定对象时，根据本实施例的控制装置基于预定对象的状态和成像设备的状态的变化中的一者或两者来计算评估值。
根据本实施例的控制装置例如执行以下表达式1所示的计算来计算评估值F。
这里，以下表达式1示出了在基于预定对象的状态和成像设备的状态的变化两者来计算评估值的情况下的计算的示例。表达式1所示的“Sji”表示预定对象的尺寸，并且表达式1所示的“Dji”表示预定对象的集中程度。此外，表达式1所示的“Ti”表示成像设备的状态的变化量。此外，表达式1所示的“(WS，WD，WT)”表示权重。注意，表达式1所示的“(WS，WD，WT)”对于各个预定对象而言可以具有不同的值。
[数学式.1]
Figure GDA0002487446140000161
注意，不用说，根据本实施例的用于计算评估值的方法不限于在上述表达式1中示出的示例。
当计算评估值时，根据本实施例的控制装置基于计算出的评估值来确定包括视角内的每一个预定对象的成像设备。
根据本实施例的控制装置为例如满足“由至少两个或更多个成像设备对所有预定对象中的每一个进行成像”的条件的多个不同分配模式中的每一个分配模式计算评估值。然后，根据本实施例的控制装置基于具有多个计算出的评估值当中的最高的计算出的评估值的分配模式来确定对每一个预定对象进行成像的成像设备。也就是说，根据本实施例的控制装置确定对每一个预定对象进行成像的成像设备以使得计算出的评估值最高。
注意，基于评估值来确定对每一个预定对象进行成像的成像设备的方法不限于上述示例。
例如，在计算出的评估值大于设置的阈值的情况下(或者在评估值大于或等于该阈值的情况下)，根据本实施例的控制装置可以确定利用与评估值对应的分配模式对每一个预定对象进行成像的成像设备。上述评估值的阈值的示例包括预先设置的固定阈值，或者基于用户的操作可改变的可变阈值等。
在如上所述根据阈值处理来确定对每一个预定对象进行成像的成像设备的情况下，可以在比在确定对每一个预定对象进行成像的成像设备以使得上述计算出的评估值最高的情况下所需的时间更短的时间内确定对每一个预定对象进行成像的成像设备。
例如，当如上所述确定对每一个预定对象进行成像的成像设备时，根据本实施例的控制装置控制多个成像设备中的每一个，并使每一个成像设备对确定的预定对象进行成像。
(2)控制处理的第二示例
在根据上述第一示例的控制处理中，示出了通过将成像设备分配给每一个预定对象来确定对每一个预定对象进行成像的成像设备的示例。然而，根据本实施例的控制处理不限于根据上述第一示例的控制处理。
例如，根据本实施例的控制装置对预定对象进行分组(或分段)。然后，在预定对象被分组的情况下，根据本实施例的控制装置控制多个成像设备中的每一个，使得每组预定对象都落入至少两个或更多个成像设备进行成像的视角内。
图9是用于描述其中根据本实施例的预定对象被分组的示例的说明图。图9示出了将预定区域中包括的预定对象分类成两组：组1；和组2的示例。
根据本实施例的控制装置例如基于一个预定对象与其他预定对象之间的距离来对预定对象进行分组。在预定对象之间的距离小于设置的阈值的情况下(或者在预定对象之间的距离小于或等于该阈值的情况下)，根据本实施例的控制装置对这些预定对象进行分组。上述用于分组的阈值的示例包括预先设置的固定阈值，或者基于用户的操作等可改变的可变阈值。此外，在根据如上所述的使用阈值处理的方法对预定对象进行分组的情况下，可以存在各自包括多个预定对象的组以及各自包括一个预定对象的组。
注意，根据本实施例的用于对预定对象进行分组的方法不限于如上所述的使用阈值处理的方法。预定对象可以根据能够对预定对象进行分组的任何方法来分组。
在预定对象被分组的情况下，根据本实施例的控制装置基于基于捕获图像检测到的预定对象的组的状态以及成像设备的状态的变化中的一者或两者来确定将每组预定对象包括在视角内的成像设备，并且控制多个成像设备中的每一个。
这里，根据本实施例的预定对象的组的状态的示例包括预定对象的组的尺寸和预定对象的组的集中程度中的一者或两者。
例如基于捕获图像中的预定对象的组的图像尺寸来获得根据本实施例的预定对象的组的尺寸。类似于根据本实施例的控制装置获得预定对象的尺寸的情况，例如，在根据上述第一示例的控制处理中，根据本实施例的控制装置使用如图6所示的函数等来获得与预定对象的组的图像尺寸相对应的预定对象的尺寸。
根据本实施例的预定对象的组的集中程度例如基于属于该组的预定对象的总集中程度等来获得。
更具体而言，根据本实施例的控制装置将成像设备分配给每一个预定对象，使得预定对象的所有组中的每一组都落入至少两个或更多个成像设备进行成像的视角内。
图10是用于描述根据本实施例的将成像设备分配给每组预定对象的示例的说明图。在图10中，设置有“○”的成像设备和一组预定对象的组合表示分配给该组预定对象的成像设备。
当根据本实施例的控制装置将成像设备分配给每组预定对象时，例如，如图10所示，根据本实施例的控制装置基于该组预定对象的状态和成像设备的状态的变化中的一者或两者来计算评估值。
根据本实施例的控制装置执行例如与根据上述第一示例的控制处理中的评估值的计算类似的计算(例如，其中用该组预定对象的状态和成像设备的状态的变化来代替上述表达式1中的各个元素的计算)，以计算评估值。
当计算评估值时，根据本实施例的控制装置基于计算出的评估值来确定对每组预定对象进行成像的成像设备。
例如，与根据上述第一示例的控制处理类似，根据本实施例的控制装置确定对每组预定对象进行成像的成像设备以使得计算出的评估值最高。此外，例如，与根据上述第一示例的控制处理类似，根据本实施例的控制装置还能够根据使用评估值的阈值的阈值处理来确定对每组预定对象进行成像的成像设备。
例如，当如上所述确定对每组预定对象进行成像的成像设备时，根据本实施例的控制装置控制多个成像设备中的每一个，并且使每一个成像设备对所确定的一组预定对象进行成像。
在根据第二示例的控制处理中，执行如上所述的将根据第一示例的控制处理中的预定对象替换为一组预定对象的处理。因此，在执行根据第二示例的控制处理的情况下，预定对象的组的数量小于或等于根据第一示例的控制处理中的预定对象的数量。因此，与根据第一示例的控制处理的处理负载相比，可以减少处理负载。
(3)控制处理的第三示例
根据本实施例的控制装置能够例如基于用户的操作来切换根据上述第一示例的控制处理和根据上述第二示例的控制处理。
此外，可以基于根据本实施例的控制装置的处理负载等来动态地切换根据上述第一示例的控制处理和根据上述第二示例的控制处理。在基于根据本实施例的控制装置的处理负载进行切换的情况下，根据本实施例的控制装置例如在处理器的利用率小于预定阈值的情况(未确定处理负载为高的情况的示例)下执行根据上述第一示例的控制处理。此外，根据本实施例的控制装置例如在处理器的利用率大于或等于预定阈值的情况(确定处理负载为高的情况的示例)下执行根据上述第二示例的控制处理。
根据本实施例的控制装置例如执行根据上面的(1)所示的第一示例的控制处理至根据上面的(3)所示的第三示例的控制处理中的任何控制处理，以控制多个成像设备中的每一个。
注意，根据本实施例的控制处理不限于上述示例。
例如，当考虑根据本实施例的控制方法可适用于的各种情况(诸如将根据本实施例的控制方法应用于控制对其中进行体育运动的空间进行成像的多个成像设备的情况)时，诸如球员和球之类的预定对象的位置可以改变。因此，即使按照根据本实施例的控制方法临时控制多个成像设备以使得所有预定对象中的每一个都落入至少两个或更多个成像设备进行成像的视角内，预定对象的移动等也可以使得不知道预定对象中的任何预定对象位于预定区域中的哪里。也就是说，即使临时控制多个成像设备以使得所有预定对象中的每一个都落入至少两个或更多个成像设备进行成像的视角内，也可能无法根据基于捕获图像的跟踪处理来跟踪预定对象。
然后，例如，在“确定从获取自多个成像设备中的每一个成像设备的捕获图像中未检测到所有预定对象当中的至少一个预定对象的位置的情况”下，根据本实施例的控制装置使多个成像设备中的每一个成像设备进入初始状态。
例如，当检测到无法基于从多个成像设备中的每一个成像设备获取的捕获图像来识别其位置的预定对象时，根据本实施例的控制装置确定未检测到所有预定对象当中的至少一个预定对象的位置。
此外，例如，当未检测到至少一个预定对象的位置的状态持续了设置的预定时间或更多时间时(或者当未检测到至少一个预定对象的位置的状态继续超过预定时间时：以下同样适用)，根据本实施例的控制装置可以确定未检测到所有预定对象中的至少一个预定对象的位置。这里，上述预定时间的示例包括10[秒]、20[秒]等。此外，上述预定时间可以是预先设置的固定时间或者基于用户的操作等可变的可变时间。
如上所述，提供从出现未检测到至少一个预定对象的位置的状态起到确定未检测到所有预定对象当中的至少一个预定对象的位置的预定时间使得可以防止成像设备频繁进入初始状态。因此，提供从出现未检测到至少一个预定对象的位置的状态起到确定未检测到所有预定对象当中的至少一个预定对象的位置的预定时间使得可以提高鲁棒性。
此外，在从出现未检测到至少一个预定对象的位置的状态起过去预定时间之前，例如，在排除了无法识别其位置的预定对象的状态下，根据本实施例的控制装置可以执行根据上面的(1)所示的第一示例的控制处理至根据上面的(3)所示的第三示例的控制处理中的任何控制处理。
图11是用于描述根据本实施例的多个成像设备的初始状态的示例的说明图。图11的A示出了由至少两个或更多个成像设备对所有预定对象中的每一个预定对象进行成像的状态的示例。此外，图11的B示出了使多个成像设备中的每一个成像设备进入初始状态的状态的示例。
如图11的B所示，在初始状态下，将每一个成像设备的视角设置为广角状态(广角端状态)，并且多个成像设备对整个场地(预定区域的示例)进行成像。然后，如图11的B所示，根据本实施例的控制装置使多个成像设备进入初始状态以控制这多个成像设备中的每一个，使得检测到的所有预定对象中的每一个都再次落入至少两个或更多个成像设备进行成像的视角内。
[2-3]使用控制处理的处理的示例
接下来，将描述使用根据本实施例的控制方法的控制处理的处理。
图12是示出使用根据本实施例的控制方法的控制处理的处理的示例的流程图。图12示出了使用控制处理的跟踪处理的示例。作为示例，图12示出了将根据本实施例的控制方法应用于控制对踢足球的场地(预定区域的示例)上的球员和球(预定对象的示例)进行成像的多个成像设备的情况。这里，在图12中，例如，图12的步骤S100至S106和S114中的处理对应于根据本实施例的控制处理的示例。
根据本实施例的控制装置使每一个成像设备进入初始状态(S100)。根据本实施例的控制装置例如将每一个成像设备的视角设置为如图11的B所示的广角状态，并将每一个成像设备的位置移动到初始位置。
根据本实施例的控制装置从获取自每一个成像设备的捕获图像中检测预定对象，并将ID指派给该预定对象(S102)。可以将ID自动指派给根据如上所述的使用任何对象检测技术的图像处理检测到的预定对象，或者基于用户的操作来手动指派ID。
根据本实施例的控制装置将成像设备分配给预定对象(S104)。如例如针对根据上面的(1)所示的第一示例的控制处理和根据上面的(2)所示的第二示例的控制处理描述的，根据本实施例的控制装置基于评估值将成像设备分配给预定对象。
当在步骤S104中将成像设备分配给预定对象时，根据本实施例的控制装置例如调整每一个成像设备的姿态或变焦(焦距)(S106)。此外，在存在位置可变的成像设备的情况下，根据本实施例的控制装置还可以调整成像设备的位置。
当执行步骤S106中的处理时，根据本实施例的控制装置执行跟踪处理以使成像设备跟踪每一个预定对象(S108)。
根据本实施例的控制装置计算每一个预定对象的位置以及每一个成像设备的位置和姿态(S110)。例如，基于捕获的图像利用三角测量来获得预定对象的位置。此外，例如基于包括在成像设备中并且能够用来识别位置的传感器的检测结果以及通过使用运动恢复结构技术等获得的捕获图像的处理结果中的一者或两者来获得成像设备的位置和姿态。
此外，根据本实施例的控制装置可以使存储单元(在下面描述)或者与根据本实施例的控制装置相连接的任何记录介质(诸如外部记录介质)记录例如指示在步骤S110中计算出的结果的信息。将指示在步骤S110中计算出的结果的信息记录在记录介质中使得各种分析成为可能，例如，使用预定对象的位置或成像设备的状态的历史的对体育比赛等的分析。
根据本实施例的控制装置确定是否要结束处理(S112)。例如，在检测到用户用来结束处理的预定操作(例如，按下结束按钮等)的情况下，根据本实施例的控制装置确定处理结束。此外，在基于捕获图像等检测到预定事件的情况下，根据本实施例的控制装置可以确定处理结束。这里，在步骤S112中确定结束处理的情况的示例包括足球比赛的上半场结束的情况(上述预定事件的示例)、足球比赛结束的情况(上述预定事件的另一示例)，等等。
在步骤S112中确定结束处理的情况下，根据本实施例的控制装置结束图12所示的处理。
此外，在步骤S112中未确定结束处理的情况下，根据本实施例的控制装置确定是否掌握了所有的球员和球(所有预定对象)的位置(S114)。例如，在确定从获取自多个成像设备中的每一个成像设备的捕获图像中未检测到所有预定对象当中的至少一个预定对象的位置的情况下，根据本实施例的控制装置确定未掌握所有的球员和球的位置。
在步骤S114中确定掌握了所有的球员和球的位置的情况下，根据本实施例的控制装置重复从步骤S104起的处理。此外，在步骤S114中未确定掌握所有的球员和球的位置的情况下，根据本实施例的控制装置重复从步骤S100起的处理。
根据本实施例的控制装置例如执行图12所示的处理，作为使用控制处理的跟踪处理。注意，不用说，使用根据本实施例的控制处理的处理的示例不限于图12所示的示例。
(根据本实施例的控制装置)
接下来，将描述能够执行根据本实施例的控制方法的上述处理的根据本实施例的控制装置的配置的示例。
图13是示出根据本实施例的控制装置100的配置的示例的框图。控制装置100包括例如通信单元102和控制单元104。
此外，控制装置100可以包括例如只读存储器(ROM)(未示出)、随机存取存储器(RAM)(未示出)、存储单元(未示出)、可由用户操作的操作单元(未示出)、在显示屏幕上显示各种屏幕的显示单元(未示出)，等等。控制装置100通过使用用作数据传输路径的总线将例如上述组件彼此连接。
ROM(未示出)存储由控制单元104使用的程序和诸如运算参数之类的控制数据。RAM(未示出)临时存储由控制单元104执行的程序等。
存储单元(未示出)是包括在控制装置100中的存储装置，并且例如存储诸如其中距离和尺寸相关联的表格(或数据库)之类的用于根据本实施例的控制方法的数据，以及诸如各种应用程序之类的各种数据。这里，存储单元(未示出)的示例包括诸如硬盘之类的磁记录介质、诸如闪存之类的非易失性存储器(非易失性存储器)等。此外，存储单元(未示出)可以附接到控制装置100并且可以从控制装置100分离。
作为操作单元(未示出)，包括下面描述的操作输入设备。此外，作为显示单元(未示出)，包括下面描述的显示设备。
[控制装置100的硬件配置示例]
图14是示出根据本实施例的控制装置100的硬件配置的示例的说明图。控制装置100例如包括MPU 150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入设备160、显示设备162和通信接口164。此外，控制装置100通过使用用作数据传输路径的总线166将例如这些组件彼此连接。
MPU 150例如包括一个或两个或更多个处理器，其包括诸如MPU之类的运算电路、各种处理电路等。MPU 150用作控制整个控制装置100的控制单元104。此外，MPU 150例如用作控制装置100中的下面描述的处理单元110。注意，处理单元110可以包括能够实现处理单元110的处理的专用(或通用)电路(例如，作为与MPU 150不同的实体的处理器等)。
ROM 152存储由MPU 150使用的程序、诸如运算参数之类的控制数据等。RAM 154临时存储例如由MPU 150执行的程序等。
记录介质156用作存储单元(未示出)，并且例如存储诸如其中距离和尺寸相关联的表格之类的用于根据本实施例的控制方法的数据，以及诸如各种应用程序之类的各种数据。这里，记录介质156的示例包括诸如硬盘之类的磁记录介质，以及诸如闪存之类的非易失性存储器。此外，记录介质156可以附接到控制装置100并且可以从控制装置100分离。
输入/输出接口158连接例如操作输入设备160和显示设备162。操作输入设备160用作操作单元(未示出)，并且显示设备162用作显示单元(未示出)。这里，输入/输出接口158的示例包括通用串行总线(USB)端子、数字视频接口(DVI)端子、HDMI(高清晰度多媒体接口)(注册商标)端子、各种处理电路等。
此外，操作输入设备160例如包括在控制装置100上，并且连接到控制装置100中的输入/输出接口158。操作输入设备160的示例包括按钮、方向键、诸如轻推转盘(jog dial)之类的旋转选择器、其组合等。
此外，显示设备162例如包括在控制装置100上，并且连接到控制装置100中的输入/输出接口158。显示设备162的示例包括液晶显示器、有机电致发光(EL)显示器(其也被称为有机发光二极管(OLED)显示器)等。
注意，不用说，输入/输出接口158能够连接到诸如控制装置100的外部操作输入设备(例如，键盘、鼠标等)之类的外部设备，以及外部显示设备。此外，显示设备162可以是能够进行显示和用户操作的设备，例如触摸面板等。
通信接口164是包括在控制装置100中的通信装置，并且用作例如经由网络(或直接)与诸如控制目标成像设备之类的外部装置进行无线或有线通信的通信单元102。
这里，通信接口164的示例包括通信天线和射频(RF)电路(无线通信)、IEEE802.15.1端口和发送/接收电路(无线通信)、IEEE802.11端口和发送/接收电路(无线通信)、局域网(LAN)端子和发送/接收电路(有线通信)，等等。此外，根据本实施例的网络的示例包括诸如局域网(LAN)和广域网(WAN)之类的有线网络、诸如无线局域网(WLAN)之类的无线网络、使用诸如传输控制协议/因特网协议(TCP/IP)之类的通信协议的因特网，等等。
控制装置100使用例如图14所示的配置来执行根据本实施例的控制方法的处理。注意，根据本实施例的控制装置100的硬件配置不限于图14所示的配置。
例如，在控制装置100经由连接的外部通信设备与外部装置等进行通信的情况下，控制装置100不必包括通信接口164。此外，通信接口164可被配置为可以多种通信方案与一个或两个或更多个外部装置等通信。
此外，控制装置100还可以包括例如用作成像单元(未示出)的成像设备。
在控制装置100包括成像设备的情况下，可以例如基于由进行成像的成像设备生成的捕获图像来在控制装置100中进行根据本实施例的控制方法的处理。也就是说，在控制装置100还包括成像设备的情况下，控制装置100也可以将所包括的成像设备作为根据控制处理的控制的目标。
成像设备包括例如透镜/成像元件和信号处理电路。透镜/成像元件包括例如光学透镜，以及使用诸如互补金属氧化物半导体(CMOS)之类的多个成像元件的图像传感器。信号处理电路包括例如自动增益控制(AGC)电路和模数转换器(ADC)，并且将由成像元件生成的模拟信号转换为数字信号(图像数据)。此外，信号处理电路进行例如用于RAW显影的各种处理。另外，信号处理电路也可以进行各种信号处理，例如白平衡校正处理、颜色校正处理、伽马校正处理、YCbCr转换处理、边缘增强处理等。
此外，控制装置100可以省去例如记录介质156、操作输入设备160和显示设备162中的一个或两个或更多个。
此外，例如，图14所示的部分组件或全部组件(或根据修改的组件)可以由一个或两个或更多个IC来实现。
将再次参照图13描述控制装置100的配置的示例。通信单元102是包括在控制装置100中的通信装置，并且经由网络(或直接)与诸如控制目标成像设备之类的外部装置进行无线或有线通信。此外，通信单元102的通信例如由控制单元104来控制。
这里，通信单元102的示例包括通信天线和RF电路、LAN端子和发送/接收电路，等等。然而，通信单元102的配置不限于以上。例如，通信单元102可以被配置为支持允许USB端子、发送/接收电路等的通信的任何标准，或者以可以经由网络与外部装置进行通信的任何方式来配置通信单元102。此外，通信单元102可被配置为可以多种通信方案与一个或两个或更多个外部装置等通信。
控制单元104包括例如MPU等，并且用于控制整个控制装置100。此外，控制单元104包括例如处理单元110，并且主动进行根据本实施例的控制方法的处理。
处理单元110主动进行根据本实施例的控制处理。处理单元110基于从多个成像设备中的每一个成像设备获取的捕获图像来控制多个成像设备中的每一个成像设备，使得所有预定对象中的每一个都落入至少两个或更多个成像设备进行成像的视角内。处理单元110例如进行根据上面的(1)中示出的第一示例的控制处理至根据上面的(3)中示出的第三示例的控制处理中的任一个，以控制多个成像设备中的每一个成像设备。
控制单元104包括例如处理单元110，从而主动进行根据本实施例的控制方法的处理(例如，根据本实施例的控制处理)。
控制装置100使用例如图13所示的配置来进行根据本实施例的控制方法的处理(例如，上述控制处理)。
因此，在例如如图13所示那样配置的情况下，控制装置100能够使多个成像设备更高效地对包括在预定区域中的对象进行成像。
此外，在例如如图13所示那样配置的情况下，控制装置100能够获得通过进行根据本实施例的控制方法的处理而获得的有益效果。
注意，根据本实施例的控制装置的配置不限于图13所示的配置。
例如，根据本实施例的控制装置可以将图13所示的处理单元110包括作为与控制单元104不同的实体(即，由另一个处理电路实现)。
此外，如上所述，为了方便起见，通过划分根据本实施例的控制方法的处理来获得上述控制处理。因此，用于实现根据本实施例的控制方法的处理的配置不限于图13所示的配置。可以采用与划分根据本实施例的控制方法的处理的方式相对应的配置。
此外，根据本实施例的控制装置可以包括主动进行根据本实施例的获取处理的获取单元(未示出)。在根据本实施例的控制装置中，例如，控制单元104可以包括获取单元(未示出)，或者获取单元可被包括作为与控制单元104不同的实体。
此外，在经由具有与通信单元102的功能或配置类似的功能或配置的外部通信设备与外部装置进行通信的情况下，根据本实施例的控制装置可省去通信单元102。
此外，根据本实施例的控制装置还可以包括包括成像设备的成像单元(未示出)。在根据本实施例的控制装置包括成像单元(未示出)的情况下，根据本实施例的控制装置能够以包括在成像单元(未示出)中的成像设备作为根据控制处理的控制的目标。
以上通过使用控制装置作为本实施例进行描述。但是，本实施例不限于此。例如，本实施例可适用于能够进行根据本实施例的控制方法的处理的各种装置，诸如“包括个人计算机(PC)、服务器等的计算机”、“具有用于广播的相机、安保相机、车载相机等的成像功能的成像装置”、“包括汽车等的移动对象”、“平板型装置”、以及“包括智能电话等的通信装置”。此外，例如，本实施例也可适用于可以结合到如上所述的装置中的处理IC。
此外，根据本实施例的控制装置例如可以应用于像云计算等的基于到网络的连接(或与每个装置的通信)的处理系统。其中进行根据本实施例的控制方法的处理的处理系统的示例包括如下系统：其中，包括在处理系统中的一个装置进行根据本实施例的控制处理，并且包括在处理系统中的另一个装置进行诸如跟踪处理之类的其他处理。
(根据本实施例的程序)
用于使计算机用作根据本实施例的控制装置的程序(例如，可以根据其来执行诸如“上述控制处理”或“上述获取处理和上述控制处理”的根据本实施例的控制方法的处理的程序)由计算机中的处理器等执行，从而使得可以使多个成像设备更高效地对包括在预定区域中的对象进行成像。
此外，用于使计算机用作根据本实施例的控制装置的程序由计算机中的处理器等执行，从而使得可以获得通过根据本实施例的上述控制方法的处理而获得的有益效果。
上面已经参照附图描述了本公开的一个或多个优选实施例，而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变型和修改，并且应当明白，它们将会自然落入本公开的技术范围。
例如，以上示出了提供用于使计算机用作根据本实施例的控制装置的程序(计算机程序)。然而，本实施例也可以进一步提供其中存储有上述程序的记录介质。
上述配置示出了本实施例的示例。不用说，上述配置属于本公开的技术范围。
另外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，与上述效果一起或代替上述效果，根据本公开的技术可以实现本领域技术人员根据本说明书的描述而清楚的其他效果。
此外，本技术也可被如下配置。
(1)一种控制装置，包括：
处理单元，被配置为基于指示对象的状态的对象信息来确定对对象进行成像的多个成像设备以及控制所述多个成像设备中的每一个成像设备，以使得包括在由所述多个成像设备成像的预定区域中的所有对象中的每一个落入至少两个或更多个成像设备进行成像的视角内。
(2)根据(1)所述的控制装置，其中
所述处理单元基于由所述对象信息指示的对象的状态和成像设备的状态的变化中的一者或两者来确定对各个对象成像的多个成像设备，并且控制所述多个成像设备中的每一个成像设备。
(3)根据(2)所述的控制装置，其中
所述处理单元将成像设备分配给每个对象，使得包括在所述预定区域中的所有对象中的每一个落入至少两个或更多个成像设备进行成像的视角内，并且基于对象的状态和成像设备的状态的变化中的一者或两者来计算评估值，并且
所述处理单元基于计算出的评估值来确定将每个对象包括在所述视角内的成像设备。
(4)根据(3)所述的控制装置，其中，
所述处理单元确定将每个对象包括在所述视角内的成像设备以使得计算出的评估值最高。
(5)根据(2)至(4)中任一项所述的控制装置，其中
所述对象信息指示对象的尺寸和对象的集中程度中的一者或两者。
(6)根据(5)所述的控制装置，其中
基于从成像设备获取的捕获图像中的对象的图像尺寸来获得对象的尺寸。
(7)根据(5)所述的控制装置，其中
基于成像设备与对象之间的距离来获得对象的尺寸。
(8)根据(5)至(7)中任一项所述的控制装置，其中
基于一个对象与另一个对象之间的距离来获得对象的集中程度。
(9)根据(1)至(8)中任一项所述的控制装置，其中
所述处理单元基于一个对象与另一个对象之间的距离来对所述多个对象进行分组，并且
在对象被分组的情况下，所述处理单元控制所述多个成像设备中的每一个成像设备以使得每组对象落入至少两个或更多个成像设备进行成像的视角内。
(10)根据(9)所述的控制装置，其中
在对象被分组的情况下，所述处理单元基于根据从成像设备获取的捕获图像检测到的对象的组的状态和成像设备的状态的变化中的一者或两者来确定将每组对象包括在所述视角内的成像设备，并且控制所述多个成像设备中的每一个成像设备。
(11)根据(10)所述的控制装置，其中
所述处理单元将所述多个成像设备分配给每组对象，使得所有组对象中的每一组落入至少两个或更多个成像设备进行成像的视角内，并且基于所述对象的组的状态和成像设备的状态的变化中的一者或两者来计算评估值，并且
所述处理单元基于计算出的评估值来确定将每组对象包括在所述视角内的成像设备。
(12)根据(10)或(11)所述的控制装置，其中
所述对象的组的状态是所述对象的组的尺寸和所述对象的组的集中程度中的一者或两者。
(13)根据(1)至(12)中任一项所述的控制装置，其中
所有对象是当所述处理单元使所述多个成像设备中的每一个成像设备进入初始状态时获取的对象，在该初始状态下所述多个成像设备对整个预定区域进行成像，所述对象是从各个捕获图像检测到的。
(14)根据(13)所述的控制装置，其中
在确定从获取自所述多个成像设备中的每一个成像设备的捕获图像中未检测到所有对象中的至少一个对象的位置的情况下，所述处理单元使所述多个成像设备中的每一个成像设备进入初始状态。
(15)根据(1)至(14)中任一项所述的控制装置，其中
作为对所述多个成像设备中的每一个成像设备的控制，所述处理单元进行对所述多个成像设备中的每一个成像设备的成像方向的控制和对由所述多个成像设备中的每一个成像设备进行的成像中的对象的放大或缩小的控制中的一者或两者。
(16)根据(15)所述的控制装置，其中
作为对所述多个成像设备中的每一个成像设备的控制，所述处理单元还进行对成像设备的位置的控制。
(17)根据(1)至(16)中任一项所述的控制装置，还包括：
包括成像设备的成像单元。
(18)根据(1)至(17)中任一项所述的控制装置，包括：
获取单元，被配置为获取对象信息。
(19)一种由控制装置执行的控制方法，该控制方法包括：
基于指示对象的状态的对象信息来确定对对象进行成像的多个成像设备以及控制所述多个成像设备中的每一个成像设备，以使得包括在由所述多个成像设备成像的预定区域中的所有对象中的每一个都落入至少两个或更多个成像设备进行成像的视角内的步骤。
(20)一种程序，所述程序使计算机执行：
基于指示对象的状态的对象信息来确定对对象进行成像的多个成像设备以及控制所述多个成像设备中的每一个成像设备，以使得包括在由所述多个成像设备成像的预定区域中的所有对象中的每一个落入至少两个或更多个成像设备进行成像的视角内的功能。
附图标记列表
100 控制装置
102 通信单元
104 控制单元
110 处理单元

Claims (12)

1.一种控制装置，包括：
处理单元，所述处理单元被配置为
基于指示多个对象中的对象的状态的对象信息来确定多个成像设备的分配，以从不同的视角对所述多个对象进行捕获，
基于所述多个对象中的一个对象与所述多个对象中的其他对象之间的距离来将所述多个对象分组为多个组，并且
在所述多个对象被分组的情况下，将所述多个成像设备分配给每组对象，使得所有组对象中的每一组落入至少两个或更多个成像设备进行成像的视角内，其中
所述处理单元基于根据从成像设备获取的捕获图像检测到的一组对象的尺寸、所述一组对象的集中程度和成像设备的状态的变化量来计算评估值，并基于计算出的评估值来确定将每组对象包括在所述视角内的成像设备。
2.根据权利要求1所述的控制装置，其中
所述处理单元确定将每组对象包括在所述视角内的成像设备以使得计算出的评估值最高。
3.根据权利要求1所述的控制装置，其中
基于从成像设备获取的捕获图像中的对象的图像尺寸来获得所述一组对象的尺寸。
4.根据权利要求1所述的控制装置，其中
基于属于所述一组对象的对象的总集中程度来获得所述一组对象的集中程度。
5.根据权利要求1所述的控制装置，其中
所有对象是当所述处理单元使所述多个成像设备中的每一个成像设备进入初始状态时获取的对象，在该初始状态下所述多个成像设备对整个预定区域进行成像，所述对象是从各个捕获图像检测到的。
6.根据权利要求5所述的控制装置，其中
在确定从获取自所述多个成像设备中的每一个成像设备的捕获图像中未检测到所有对象中的至少一个对象的位置的情况下，所述处理单元使所述多个成像设备中的每一个成像设备进入初始状态。
7.根据权利要求1所述的控制装置，其中
作为对所述多个成像设备中的每一个成像设备的控制，所述处理单元进行对所述多个成像设备中的每一个成像设备的成像方向的控制和对由所述多个成像设备中的每一个成像设备进行的成像中的对象的放大或缩小的控制中的一者或两者。
8.根据权利要求7所述的控制装置，其中
作为对所述多个成像设备中的每一个成像设备的控制，所述处理单元还进行对成像设备的位置的控制。
9.根据权利要求1所述的控制装置，还包括：
包括成像设备的成像单元。
10.根据权利要求1所述的控制装置，包括：
获取单元，所述获取单元被配置为获取对象信息。
11.一种由控制装置执行的控制方法，所述控制方法包括如下步骤：
基于指示多个对象中的对象的状态的对象信息来确定多个成像设备的分配，以从不同的视角对所述多个对象进行捕获，
基于所述多个对象中的一个对象与所述多个对象中的其他对象之间的距离来将所述多个对象分组为多个组，
在所述多个对象被分组的情况下，将所述多个成像设备分配给每组对象，使得所有组对象中的每一组落入至少两个或更多个成像设备进行成像的视角内，并且
基于根据从成像设备获取的捕获图像检测到的一组对象的尺寸、所述一组对象的集中程度和成像设备的状态的变化量来计算评估值，并基于计算出的评估值来确定将每组对象包括在所述视角内的成像设备。
12.一种其上存储有程序的记录介质，所述程序当由计算机执行时，使所述计算机执行如下功能：
基于指示多个对象中的对象的状态的对象信息来确定多个成像设备的分配，以从不同的视角对所述多个对象进行捕获，
基于所述多个对象中的一个对象与所述多个对象中的其他对象之间的距离来将所述多个对象分组为多个组，
在所述多个对象被分组的情况下，将所述多个成像设备分配给每组对象，使得所有组对象中的每一组落入至少两个或更多个成像设备进行成像的视角内，并且
基于根据从成像设备获取的捕获图像检测到的一组对象的尺寸、所述一组对象的集中程度和成像设备的状态的变化量来计算评估值，并基于计算出的评估值来确定将每组对象包括在所述视角内的成像设备。
CN201680068918.7A 2015-12-02 2016-09-13 控制装置、控制方法和记录介质 Active CN108370412B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-235467 2015-12-02
JP2015235467A JP2017103619A (ja) 2015-12-02 2015-12-02 制御装置、制御方法、およびプログラム
PCT/JP2016/077004 WO2017094317A1 (ja) 2015-12-02 2016-09-13 制御装置、制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN108370412A CN108370412A (zh) 2018-08-03
CN108370412B true CN108370412B (zh) 2021-04-20

Family

ID=58796847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680068918.7A Active CN108370412B (zh) 2015-12-02 2016-09-13 控制装置、控制方法和记录介质

Country Status (4)

Country Link
US (2) US11025808B2 (zh)
JP (1) JP2017103619A (zh)
CN (1) CN108370412B (zh)
WO (1) WO2017094317A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170014609A (ko) * 2015-07-30 2017-02-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
WO2019077947A1 (ja) * 2017-10-20 2019-04-25 信越化学工業株式会社 含フッ素コーティング剤組成物、表面処理剤及び物品
JP7341652B2 (ja) * 2018-01-12 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、およびシステム
EP3944086B1 (en) * 2019-03-18 2023-09-06 JVCKenwood Corporation Information delivery device, information delivery method, and information delivery program
CN111818270B (zh) * 2020-09-10 2021-02-19 视见科技(杭州)有限公司 用于多机位摄像的自动控制方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658670A (zh) * 2004-02-20 2005-08-24 上海银晨智能识别科技有限公司 具有多摄像机的智能跟踪监控系统
CN1758132A (zh) * 2004-09-13 2006-04-12 索尼株式会社 成像系统和成像方法
CN104601878A (zh) * 2013-10-30 2015-05-06 索尼公司 用于跟踪对象的系统和方法
CN104871213A (zh) * 2012-11-13 2015-08-26 谷歌公司 对于对象的全方位视图的视频编码

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5756982A (en) * 1990-09-11 1998-05-26 Metrologic Instruments, Inc. Body-wearable automatic laser scanner with power-conserving control subsystem
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
JP2003289465A (ja) 2002-03-28 2003-10-10 Fuji Photo Film Co Ltd 撮影システム及び撮影方法
US7301569B2 (en) 2001-09-28 2007-11-27 Fujifilm Corporation Image identifying apparatus and method, order processing apparatus, and photographing system and method
JP4568009B2 (ja) * 2003-04-22 2010-10-27 パナソニック株式会社 カメラ連携による監視装置
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4464902B2 (ja) * 2005-11-09 2010-05-19 日本放送協会 カメラ制御装置およびカメラ制御プログラム
EP2479993A3 (en) * 2006-12-04 2013-12-11 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
WO2010077389A2 (en) * 2008-08-05 2010-07-08 University Of Florida Research Foundation, Inc. Systems and methods for maintaining multiple objects within a camera field-of-view
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2011135247A (ja) * 2009-12-24 2011-07-07 Nikon Corp 撮像装置
US9055226B2 (en) * 2010-08-31 2015-06-09 Cast Group Of Companies Inc. System and method for controlling fixtures based on tracking data
DE102011006570A1 (de) * 2011-03-31 2012-10-04 Robert Bosch Gmbh Verfahren und Steuergerät zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs
JP2012249117A (ja) * 2011-05-30 2012-12-13 Hitachi Ltd 監視カメラシステム
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
US9530060B2 (en) * 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
DE102012204697A1 (de) * 2012-03-23 2013-09-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur optimierung der bestimmung von aufnahmebereichen
JP6273685B2 (ja) * 2013-03-27 2018-02-07 パナソニックＩｐマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP6429454B2 (ja) * 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
KR102150703B1 (ko) * 2014-08-14 2020-09-01 한화테크윈 주식회사 지능형 비디오 분석 시스템에서 비디오를 분석하는 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658670A (zh) * 2004-02-20 2005-08-24 上海银晨智能识别科技有限公司 具有多摄像机的智能跟踪监控系统
CN1758132A (zh) * 2004-09-13 2006-04-12 索尼株式会社 成像系统和成像方法
CN104871213A (zh) * 2012-11-13 2015-08-26 谷歌公司 对于对象的全方位视图的视频编码
CN104601878A (zh) * 2013-10-30 2015-05-06 索尼公司 用于跟踪对象的系统和方法

Also Published As

Publication number Publication date
US20180352148A1 (en) 2018-12-06
US20210174520A1 (en) 2021-06-10
JP2017103619A (ja) 2017-06-08
CN108370412A (zh) 2018-08-03
US11025808B2 (en) 2021-06-01
WO2017094317A1 (ja) 2017-06-08

Similar Documents

Publication Publication Date Title
CN108370412B (zh) 控制装置、控制方法和记录介质
US9865062B2 (en) Systems and methods for determining a region in an image
JP6462183B2 (ja) 撮像装置及びフォーカス制御方法
US9798394B2 (en) Camera-assisted motion estimation for application control
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US20120020524A1 (en) Tracked object determination device, tracked object determination method and tracked object determination program
GB2557465A (en) Method for calibrating a camera and calibration system
EP2640059A1 (en) Image processing device, image processing method and program
CN105283905A (zh) 使用点和线特征的稳健跟踪
US10853658B2 (en) Image-based detection of offside in gameplay
CN103745485A (zh) 判断物体静止或运动的方法及系统
JP6462528B2 (ja) 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN113438409A (zh) 延迟校准方法、装置、计算机设备和存储介质
JP2018092547A (ja) 画像処理装置、画像処理方法およびプログラム
WO2018135095A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
WO2022165620A1 (en) Game focus estimation in team sports for immersive video
CN110226324B (zh) 信息处理设备和信息处理方法
WO2017029886A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110800313B (zh) 信息处理设备和信息处理方法
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN102968611A (zh) 信息处理器和信息处理方法
JP2023120837A (ja) 監視システム及び監視方法
JP2014110029A (ja) ポインティングシステム、ポインティング方法、表示装置および電子装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant