JP2017103619A - 制御装置、制御方法、およびプログラム - Google Patents

制御装置、制御方法、およびプログラム Download PDF

Info

Publication number
JP2017103619A
JP2017103619A JP2015235467A JP2015235467A JP2017103619A JP 2017103619 A JP2017103619 A JP 2017103619A JP 2015235467 A JP2015235467 A JP 2015235467A JP 2015235467 A JP2015235467 A JP 2015235467A JP 2017103619 A JP2017103619 A JP 2017103619A
Authority
JP
Japan
Prior art keywords
subject
imaging
imaging devices
control
subjects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015235467A
Other languages
English (en)
Inventor
広志 池田
Hiroshi Ikeda
広志 池田
靖二郎 稲葉
Yasujiro Inaba
靖二郎 稲葉
伸穂 池田
Nobuo Ikeda
伸穂 池田
秀幸 佐藤
Hideyuki Sato
秀幸 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015235467A priority Critical patent/JP2017103619A/ja
Priority to CN201680068918.7A priority patent/CN108370412B/zh
Priority to US15/777,801 priority patent/US11025808B2/en
Priority to PCT/JP2016/077004 priority patent/WO2017094317A1/ja
Publication of JP2017103619A publication Critical patent/JP2017103619A/ja
Priority to US17/180,949 priority patent/US20210174520A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field

Abstract

【課題】複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることが可能な、制御装置、制御方法、およびプログラムを提供する。
【解決手段】被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての被写体それぞれが、少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、被写体を撮像する複数の撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する処理部を備える制御装置が、提供される。
【選択図】図１３

Description

本開示は、制御装置、制御方法、およびプログラムに関する。
２つの撮像デバイスを制御することによって、被写体を追尾して撮像する技術が開発されている。２つの雲台付きの撮像デバイスから取得された撮像画像に基づいて、雲台を制御することによって被写体を追尾する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
特開２００３−９７９１４号公報
例えば、スポーツの試合の解析や、防犯、車などの移動体の安全性の向上など、様々な目的のために、複数の撮像デバイスによりそれぞれ撮像された撮像画像（動画像、または、静止画像）が利用されている。
上記のような様々な目的を達成するためには、撮像デバイスによる撮像の対象となる領域（以下、「所定の領域」と示す場合がある。）に含まれる所定の被写体の全てを、複数の撮像デバイスによって撮像することが重要であると考えられる。上記所定の領域としては、例えば、“コートやグラウンド（スポーツの試合の解析が目的である場合の一例）”、“防犯対策を施す空間（防犯が目的である場合の一例）”、“移動体の進行方向の空間（移動体の安全性の向上が目的である場合の一例）”などが、挙げられる。また、上記所定の被写体としては、例えば、“選手とボールとの一方または双方（スポーツの試合の解析が目的である場合の一例）”、“人（防犯が目的である場合の一例）”、“任意の物体（移動体の安全性の向上が目的である場合の一例）”などが、挙げられる。
ここで、所定の領域に含まれる所定の被写体の全てを撮像するための一の方法としては、例えば、撮像位置および撮像方向が固定である撮像デバイス（以下、「固定撮像デバイス」と示す。）を、複数を用いる方法が挙げられる。
しかしながら、上記固定撮像デバイスを用いる既存の方法が用いられる場合には、固定撮像デバイスそれぞれの撮像位置および撮像方向が固定であるので、全ての固定撮像デバイスが所定の被写体を撮像できているとは限らない。よって、上記固定撮像デバイスを用いる既存の方法が用いられる場合には、所定の被写体を効率的に撮像できない恐れがある。
本開示では、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることが可能な、新規かつ改良された制御装置、制御方法、およびプログラムを提案する。
本開示によれば、被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての上記被写体それぞれが、少なくとも２台以上の上記撮像デバイスによって撮像される画角に収まるように、上記被写体を撮像する複数の上記撮像デバイスを決定して、複数の上記撮像デバイスをそれぞれ制御する処理部を備える、制御装置が、提供される。
また、本開示によれば、被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての上記被写体それぞれが、少なくとも２台以上の上記撮像デバイスによって撮像される画角に収まるように、上記被写体を撮像する複数の上記撮像デバイスを決定して、複数の上記撮像デバイスをそれぞれ制御するステップを有する、制御装置により実行される制御方法が、提供される。
また、本開示によれば、被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての上記被写体それぞれが、少なくとも２台以上の上記撮像デバイスによって撮像される画角に収まるように、上記被写体を撮像する複数の上記撮像デバイスを決定して、複数の上記撮像デバイスをそれぞれ制御する機能を、コンピュータに実現させるためのプログラムが、提供される。
本開示によれば、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る撮像デバイスの制御結果の一例を示す説明図である。 本実施形態に係る撮像デバイスの制御結果の一例を示す説明図である。 本実施形態に係る制御方法に係る制御処理の概要を説明するための説明図である。 本実施形態に係る撮像画像の一例を示す説明図である。 本実施形態に係る複数の撮像デバイスにおける撮像範囲の一例を示す説明図である。 本実施形態に係る所定の被写体の大きさを求めるための関数の一例を説明するための説明図である。 本実施形態に係る所定の被写体の密集の度合いの求め方の一例を説明するための説明図である。 本実施形態に係る所定の被写体それぞれに対する撮像デバイスを割り当ての一例を説明するための説明図である。 本実施形態に係る所定の被写体のグループ化の一例を説明するための説明図である。 本実施形態に係る所定の被写体のグループそれぞれに対する撮像デバイスを割り当ての一例を説明するための説明図である。 本実施形態に係る複数の撮像デバイスの初期状態の一例を説明するための説明図である。 本実施形態に係る制御方法に係る制御処理を利用した処理の一例を示す流れ図である。 本実施形態に係る制御装置の構成の一例を示すブロック図である。 本実施形態に係る制御装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る制御方法
２．本実施形態に係る制御装置
３．本実施形態に係るプログラム
（本実施形態に係る制御方法）
まず、本実施形態に係る制御方法について説明する。以下では、本実施形態に係る制御方法に係る処理を、本実施形態に係る制御装置が行う場合を例に挙げる。
以下では、本実施形態に係る制御方法が、例えばコートやグラウンドなどのスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合を、主に例に挙げる。また、以下では、上記スポーツが、サッカーである場合を例に挙げる。なお、本実施形態に係る制御方法は、“テニスやバスケットボール、ラグビーなどの球技”、“カバディなどの非球技”など、様々なスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用することができる。
なお、本実施形態に係る制御方法の適用例は、上記スポーツが行われる空間を撮像する複数の撮像デバイスの制御に限られない。例えば、本実施形態に係る制御方法は、防犯カメラの役目を果たす複数の撮像デバイスの制御、車などの移動体に搭載されている複数の撮像デバイスの制御など、様々な撮像デバイスの制御に適用することが、可能である。
［１］本実施形態に係る制御方法の概要
上述したように、固定撮像デバイスを用いる既存の方法が用いられる場合には、所定の被写体を効率的に撮像できない恐れがある。
また、固定撮像デバイスを用いる既存の方法が用いられる場合には、全ての固定撮像デバイスが所定の被写体を撮像できているとは限らないにも関わらず、撮像デバイスの数が増えれば増える程、例えば下記に示す様なデメリットが大きくなる。
・システム全体のコストが増大する
・撮像デバイスなどの機材の設置、設定の手間が大きくなる（例えば、所定の領域が、コートやグラウンドである場合など）
・撮像画像の処理に係る負荷が増大する
・撮像画像の管理や記録に係る負担が大きくなる
そこで、本実施形態に係る制御装置は、所定の領域に含まれる全ての所定の被写体それぞれが、少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスそれぞれを制御する（制御処理）。
本実施形態に係る制御装置は、複数の撮像デバイスそれぞれの制御として、例えば、複数の撮像デバイスそれぞれの撮像方向の制御と、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方が、挙げられる。
ここで、撮像デバイスの撮像方向の制御としては、例えば、撮像デバイスにおけるパン方向、チルト方向、ロール方向のうちの１または２以上の制御が挙げられる。本実施形態に係る制御装置は、例えば、撮像デバイスが物理的に接続されている、パン方向、チルト方向、ロール方向にそれぞれ可動することが可能な雲台に対して、雲台の動作を制御する制御信号を送信して、雲台の動作を制御する。本実施形態に係る制御装置は、例えば、通信部（後述する）または接続されている外部の通信デバイスを介して、上記制御信号を送信する。本実施形態に係る制御装置が雲台の動作を制御することにより、撮像デバイスにおけるパン方向、チルト方向、ロール方向のうちの１または２以上を変えられることによって、撮像デバイスの撮像方向が制御される。
また、撮像デバイスの撮像における被写体の拡大または縮小の制御としては、例えば、撮像デバイスにおけるズームの制御が挙げられる。本実施形態に係る制御装置は、例えば、撮像デバイスに対して撮像デバイスの動作を制御する制御信号を送信して、撮像デバイスのズーム動作を制御することによって、撮像デバイスの撮像における被写体の拡大または縮小を制御する。本実施形態に係る制御装置は、例えば、通信部（後述する）または接続されている外部の通信デバイスを介して、上記制御信号を送信する。
なお、本実施形態に係る撮像デバイスそれぞれの制御は、上記に示す例に限られない。
例えば、本実施形態に係る制御装置は、複数の撮像デバイスそれぞれの制御として、さらに、撮像デバイスの位置の制御を行うことも可能である。
撮像デバイスの位置は、例えば、撮像デバイスが備える位置の特定に用いることが可能なセンサ、または、撮像デバイスに接続されている位置の特定に用いることが可能なセンサの検出結果に基づき、得られる。ここで、上記位置の特定に用いることが可能なセンサとしては、例えば、ＧＮＳＳ（Global Navigation Satellite System）デバイス、加速度センサや角速度センサなどの動きセンサのうちの、１または２以上が挙げられる。
また、撮像デバイスの位置は、例えば、撮像デバイスによる撮像により生成された撮像画像（動画像、または、静止画像）に基づき特定されてもよい。例えば、複数の撮像デバイスがサッカーのグラウンドを撮像する場合を例に挙げると、撮像画像に含まれるグラウンドの線や交点などを用いて撮像デバイスの位置および姿勢を算出することができる。ここで、撮像デバイスの位置および姿勢は、撮像デバイス間の関係性から算出してもよいし（Ｓｔｒｕｃｕｒｅ ｆｒｏm ｍｏｔｉｏｎ技術を用いた算出方法）、グラウンドの形状が既知であることを利用して撮像デバイスごとに算出してもよい（Ｐｅｒｓｐｅｃｔｉｖｅ−ｎ−Ｐｏｉｎｔ問題を解くことによる算出方法）。
撮像デバイスの位置の制御としては、例えば、撮像デバイスが物理的に接続されている移動デバイスの移動の制御（撮像デバイスが移動する機能を有さない場合）、または、移動する機能を有する撮像デバイスの移動の制御が、挙げられる。上記移動デバイスとしては、例えば、レール上などの所定の経路を移動する移動体（例えば、列車など）や、任意の経路を移動する移動体（例えば、ロボットなど）などが、挙げられる。また、移動する機能を有する撮像デバイスとしては、例えば、ドローンとよばれる無人飛行体、任意の経路を移動する撮像デバイスを備えた移動体（例えば、ロボットなど）などが、挙げられる。
本実施形態に係る制御装置は、例えば、移動デバイスに対して移動デバイスの動作を制御する制御信号を送信することによって、移動デバイスの移動を制御する。本実施形態に係る制御装置は、例えば、通信部（後述する）または接続されている外部の通信デバイスを介して、上記制御信号を送信する。本実施形態に係る制御装置が移動デバイスの移動を制御することにより移動デバイスの位置が変えられることによって、撮像デバイスの位置が制御される。
また、本実施形態に係る制御装置は、例えば、撮像デバイスに対して撮像デバイスの動作を制御する制御信号を送信することによって、撮像デバイスの位置を制御する。本実施形態に係る制御装置は、例えば、通信部（後述する）または接続されている外部の通信デバイスを介して、上記制御信号を送信する。
本実施形態に係る制御装置は、例えば上記のように、複数の撮像デバイスそれぞれの撮像方向の制御と、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方を行う。また、例えば上記のように、本実施形態に係る制御装置は、撮像デバイスの位置の制御をさらに行うことが可能である。つまり、本実施形態に係る制御装置が制御対象とする撮像デバイスは、“撮像方向”、または“撮像位置および撮像方向”がそれぞれ固定ではない撮像デバイスであるといえる。
図１、図２は、本実施形態に係る撮像デバイスの制御結果の一例を示す説明図である。図１は、サッカーのグラウンド（所定の領域の一例）を撮像する複数の撮像デバイスの一例を示しており、図２は、サッカーのグラウンドを撮像する複数の撮像デバイスの他の例を示している。また、図２に示すＰ１は、図２に示す移動可能な撮像デバイスＤ１により撮像される所定の被写体の重心位置を示しており、図２に示すＰ２は、図２に示す移動可能な撮像デバイスＤ２により撮像される所定の被写体の重心位置を示している。
本実施形態に係る制御装置が撮像デバイスそれぞれを制御することによって、撮像デバイスの撮像方向と、撮像デバイスの撮像における被写体の拡大または縮小とは、例えば図１に示すように、選手など（所定の被写体の一例）の位置に応じて変化することとなる。また、例えば図２に示すように移動可能な撮像デバイスが存在する場合には、本実施形態に係る制御装置が撮像デバイスそれぞれを制御することによって、移動可能な撮像デバイスの位置は、選手など（所定の被写体の一例）の位置に応じて変化することとなる。ここで、図２に示す撮像デバイスＤ１、Ｄ２のように、グラウンドを真上から撮像する場合には、オクルージョンが発生する可能性をより低減することが可能である。
よって、本実施形態に係る制御装置が撮像デバイスそれぞれを制御することによって、所定の被写体を全ての撮像デバイスに撮像させることが可能である。
したがって、本実施形態に係る制御装置は、本実施形態に係る制御方法に係る制御処理を行うことによって、固定撮像デバイスを用いる既存の方法が用いられる場合よりも、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることができる。
また、本実施形態に係る制御装置は、本実施形態に係る制御方法に係る制御処理を行うことによって、撮像デバイスそれぞれにおける撮像範囲を動的に変えることが可能である。よって、本実施形態に係る制御方法に係る制御処理が用いられる場合には、固定撮像デバイスを用いる既存の方法が用いられる場合よりもより少ない撮像デバイスによって、所定の領域に含まれる所定の被写体を撮像することが可能である。
したがって、本実施形態に係る制御方法に係る制御処理が用いられる場合には、上述した固定撮像デバイスを用いる既存の方法が用いられる場合において生じうるデメリットを、より小さくすることができる。
なお、本実施形態に係る制御処理は、便宜上、本実施形態に係る制御方法に係る処理を切り分けたものである。よって、本実施形態に係る制御方法に係る処理は、例えば、本実施形態に係る制御処理を、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
以下、本実施形態に係る制御方法に係る制御処理について、説明する。
［２］本実施形態に係る制御方法に係る制御処理
［２−１］制御処理の概要
まず、本実施形態に係る制御処理の概要を説明する。図３は、本実施形態に係る制御方法に係る制御処理の概要を説明するための説明図である。
図３のＡに示すように、被写体Ｏを１つの撮像デバイスで撮像する場合には、撮像画像から被写体Ｏの位置を得ることはできない。一方、図３のＢに示すように、被写体Ｏを２つ以上撮像デバイスで撮像する場合（図３のＢでは、３つの撮像デバイスで撮像している例を示している。）には、例えば三角測量を利用することによって、撮像画像から被写体Ｏの位置を得ることが可能である。
そこで、本実施形態に係る制御装置は、所定の被写体を撮像する複数の撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する。本実施形態に係る制御装置は、例えば、被写体情報に基づいて、所定の領域に含まれる全ての所定の被写体が、少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、所定の被写体を撮像する複数の撮像デバイスを決定する。
ここで、本実施形態に係る被写体情報とは、所定の被写体の状態を示すデータである。本実施形態に係る所定の被写体の状態については、後述する。
本実施形態に係る被写体情報は、例えば、複数の撮像デバイスそれぞれから取得される撮像画像に基づいて生成される。被写体情報を生成する処理は、本実施形態に係る制御装置が行ってもよいし、サーバなどの本実施形態に係る制御装置の外部装置において行われてもよい。
本実施形態に係る制御装置は、例えば、“複数の撮像デバイスそれぞれから取得される撮像画像に基づいて被写体情報を生成すること”、または、“サーバなどの外部装置に対して被写体情報の送信命令を含む送信要求を送信し、当該外部装置から被写体情報を受信すること”によって、被写体情報を取得する。本実施形態に係る制御装置は、例えば、本実施形態に係る制御装置が備える通信部（後述する）、または、本実施形態に係る制御装置に接続される外部の通信デバイスによって、外部装置と通信を行う。以下では、上記被写体情報を生成して被写体情報を取得する処理と、上記送信要求を送信して被写体情報を取得する処理とを、総称して「取得処理」と示す場合がある。
なお、本実施形態に係る制御装置が被写体情報を取得する方法は、本実施形態に係る制御装置が取得処理を行うことに限られない。例えば、サーバなどの外部装置において被写体情報が生成される場合、本実施形態に係る制御装置は、当該外部装置が主体的に送信する被写体情報を、能動的に受信することによって、被写体情報を取得することも可能である。
つまり、本実施形態に係る制御装置は、例えば、本実施形態に係る制御方法に係る処理として取得処理を行うことによって取得された被写体情報に基づいて、制御処理を行うことが可能であり、また、外部装置から能動的に取得された被写体情報に基づいて、制御処理を行うことも可能である。
また、所定の領域とは、複数の撮像デバイスにより撮像することが可能な領域である。所定の領域は、上述したように、撮像デバイスによる撮像の対象となる領域に該当する。
本実施形態に係る制御方法がスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合を例に挙げると、所定の領域としては、例えば、コートやグラウンドなどのスポーツが行われる空間が、挙げられる。また、本実施形態に係る制御方法がスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合、所定の領域は、例えば、コートやグラウンドなどの全域であってもよいし、コートやグラウンドなどの一部の領域であってもよい。なお、本実施形態に係る所定の領域の例が、上記に示す例に限られないことは、言うまでもない。
また、所定の被写体とは、所定の領域が撮像された撮像画像に含まれるオブジェクトのうち、検出の対象となるオブジェクトである。
本実施形態に係る制御装置は、例えば、“複数の撮像デバイスそれぞれを、複数の撮像デバイスにより所定の領域全体が撮像される初期状態”にさせたときに取得される、撮像画像それぞれから検出される所定の被写体を、本実施形態に係る全ての所定の被写体とする。撮像デバイスを初期状態とさせた場合、撮像画像それぞれから検出される所定の被写体それぞれに対しては、ＩＤが付される。所定の被写体に対するＩＤは、任意のオブジェクト検出技術を用いた画像処理によって検出された所定の被写体に対して、自動的に付されてもよいし、ユーザの操作に基づき手動で付されてもよい。本実施形態に係る撮像デバイスの初期状態の一例については、後述する。
また、サーバなどの外部装置から送信される被写体情報を受信する場合には、本実施形態に係る制御装置は、例えば、外部装置から得られた被写体情報それぞれが示す所定の被写体を、本実施形態に係る全ての所定の被写体としてもよい。以下では、本実施形態に係る全ての所定の被写体が、撮像デバイスを初期状態とさせたときに取得される、撮像画像それぞれから検出される所定の被写体である場合を、主に説明する。
本実施形態に係る制御方法がスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合を例に挙げると、所定の被写体としては、例えば、選手とボールとの一方または双方（スポーツが球技である場合における所定の被写体の一例）が、挙げられる。
ここで、所定の被写体が選手およびボールである場合、選手よりもボールが小さいことにより、撮像画像に含まれる選手の画像サイズが、撮像画像に含まれるボールの画像サイズよりも大きくなるケースが多い。また、所定の被写体が選手およびボールである場合、ボールの動きは、選手の動きよりも速いケースが多い。よって、所定の被写体を追尾する処理（以下「トラッキング処理」と示す場合がある。）を想定すると、所定の被写体が選手およびボールである場合には、撮像画像に基づき選手を追尾するよりも、撮像画像に基づきボールを追尾する方が、より困難となりうる。
本実施形態に係る制御処理が行われることによって、上述したように、全ての所定の被写体それぞれが、少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスがそれぞれ制御される。よって、本実施形態に係る制御処理が行われることによって、撮像画像に基づくトラッキング処理による所定の被写体の追尾を、より容易化することができうる。
なお、本実施形態に係る所定の被写体の例が、上記に示す例に限られないことは、言うまでもない。
上述したように、本実施形態に係る制御装置は、複数の撮像デバイスそれぞれの制御として、例えば、複数の撮像デバイスそれぞれの撮像方向の制御と、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方を行う。本実施形態に係る制御装置は、例えば、下記の（ａ）〜（ｃ）に示すように、撮像デバイスを制御する。
（ａ）撮像される被写体の画像サイズの制御（撮像デバイスの撮像における被写体の拡大または縮小の制御の一例）
図４は、本実施形態に係る撮像画像の一例を示す説明図である。図４のＡは、サッカーのグラウンド（所定の領域の一例）が撮像された撮像画像の一例を示しており、図４のＢは、サッカーのグラウンドが撮像された撮像画像の他の例を示している。
例えば図４のＡに示すように、撮像画像に含まれる選手（所定の被写体の一例。以下、同様とする。）が小さい場合には、例えば、撮像画像から選手を検出することができないこと、または、検出された選手の判別ができないことなどが、生じうる。そのため、例えば図４のＡに示すように撮像画像に含まれる選手が小さい場合には、撮像画像に基づいて選手を追尾することができなくなるなど、撮像画像に基づく処理に支障がでる恐れがある。
そこで、本実施形態に係る制御装置は、図４のＢに示すように、撮像画像に含まれる所定の被写体が一定以上の大きさで撮像されるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。
ここで、本実施形態に係る制御装置は、例えば、所定の被写体全体の画像サイズ、または、所定の被写体の一部の画像サイズが、設定されている画像サイズよりも大きくなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。
例えば、撮像画像にボール（所定の被写体の一例）が含まれる場合には、本実施形態に係る制御装置は、撮像画像におけるボールの画像サイズが、２０×２０［Ｐｉｘｅｌ］程度以上の大きさとなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。また、例えば、撮像画像に、１人または２人以上の選手（所定の被写体の一例）が含まれる場合には、本実施形態に係る制御装置は、撮像画像に含まれる全ての選手の顔の画像サイズ、または、撮像画像に含まれる全ての選手のユニフォームに付されている番号の画像サイズが、２０×２０［Ｐｉｘｅｌ］程度以上の大きさとなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。また、例えば、撮像画像にボール（所定の被写体の一例）、および１人または２人以上の選手（所定の被写体の一例）が含まれる場合には、本実施形態に係る制御装置は、“撮像画像におけるボールの画像サイズ”、および“撮像画像に含まれる全ての選手の顔の画像サイズ、または、撮像画像に含まれる全ての選手のユニフォームに付されている番号の画像サイズ”が、２０×２０［Ｐｉｘｅｌ］程度以上の大きさとなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。
本実施形態に係る制御装置は、例えば上記のように、所定の被写体の種類によって、所定の被写体全体の画像サイズ、または、所定の被写体の一部の画像サイズが、設定されている画像サイズよりも大きくなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。
ここで、所定の被写体全体の画像サイズを制御の基準とするか、または、所定の被写体の一部の画像サイズを制御の基準とするかは、例えば、所定の被写体の識別が、所定の被写体全体で行われるか、または、所定の被写体の一部で行われるかに基づく。例えば上記では、“選手の識別が、顔（所定の被写体の一部の一例）、または、ユニフォームに付されている番号（所定の被写体の一部の一例）により行われる場合”を例示している。
また、上記では、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御に係る画像サイズとして、２０×２０［Ｐｉｘｅｌ］程度を例示しているが、所定の被写体の識別を行うことが可能な、任意の画像サイズとすることが可能である。
なお、本実施形態に係る制御装置における、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御の例が、上記に示す例に限られないことは、言うまでもない。
（ｂ）撮像デバイスの状態の変化量の制御（撮像デバイスの撮像方向の制御、撮像デバイスの撮像における被写体の拡大または縮小の制御、および撮像デバイスの位置のうちの１または２以上の制御の一例）
撮像デバイスの状態（姿勢、ズーム、位置のうちの１または２以上）の変更が完了するまでには、時間がかかる。そのため、例えばスポーツを想定すると、選手やボールなどの所定の被写体の位置などの、所定の被写体の状況は、撮像デバイスの状態の変更が完了するまでに、変わりうる。
また、所定の領域における所定の被写体の状況のちょっとした変化で、撮像デバイスの状態を大きく変えると、撮像デバイスの状態遷移が不安定となる恐れがある。
そこで、本実施形態に係る制御装置は、例えば、撮像デバイスの状態の変化にヒステリシスを設けること、撮像デバイスの状態の変化量に上限を設けること、あるいは、これらの組み合わせなどによって、現在の撮像デバイスの状態から滑らかに変化するように、撮像デバイスの状態の変化量を制御する。
（ｃ）所定の被写体を撮像する撮像デバイスの割り当てに係る制御
図５は、本実施形態に係る複数の撮像デバイスにおける撮像範囲の一例を示す説明図である。図５のＡは、サッカーのグラウンド（所定の領域の一例）を撮像する複数の撮像デバイスにおける撮像範囲の一例を示しており、図５のＢは、サッカーのグラウンドを撮像する複数の撮像デバイスにおける撮像範囲の他の例を示している。
上述したように、本実施形態に係る制御装置は、所定の領域に含まれる全ての所定の被写体それぞれが、少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。
よって、例えば図５のＡに示すように、所定の領域内において所定の被写体が偏って存在している場合には、所定の領域における所定の被写体が存在している一部の領域が全ての撮像デバイスによって撮像されることによって、全ての所定の被写体が少なくとも２台以上の撮像デバイスによって撮像される。このとき、撮像デバイスのズーム倍率（画角）は、上記（ａ）に示す制御の例外として、撮像デバイスが撮像する所定の被写体が撮像される最長の焦点距離に設定されてもよい。
また、例えば図５のＢに示すように、所定の領域内において所定の被写体の偏りが少ない場合には、所定の被写体それぞれは、撮像デバイスとの距離がより近い、少なくとも２台以上の撮像デバイスによって、撮像される。
［２−２］制御処理の具体例
次に、本実施形態に係る制御方法に係る制御処理について、より具体的に説明する。
上述したように、本実施形態に係る制御装置は、所定の領域に含まれる全ての所定の被写体それぞれが、少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。本実施形態に係る制御装置は、例えば、下記の（１）に示す処理〜（３）に示す処理のいずれかの処理を行うことによって、複数の撮像デバイスをそれぞれ制御する。
（１）制御処理の第１の例
本実施形態に係る制御装置は、被写体情報が示す所定の被写体の状態と、撮像デバイスの状態の変化との一方または双方に基づいて、所定の被写体それぞれを撮像する複数の撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する。
本実施形態に係る所定の被写体の状態は、撮像画像に基づき検出される。ここで、本実施形態に係る所定の被写体の状態としては、例えば、所定の被写体の大きさと、所定の被写体の密集の度合いとの一方または双方が挙げられる。
本実施形態に係る所定の被写体の大きさは、例えば、撮像画像における所定の被写体の画像サイズに基づき求められる。
図６は、本実施形態に係る所定の被写体の大きさを求めるための関数の一例を説明するための説明図である。図６では、横軸に示す“被写体サイズ”が所定の被写体の画像サイズに該当する。また、図６では、縦軸に示す“Ｓｉｊ”が、番号ｉ（ｉは、正の整数）が付された撮像デバイスによって撮像されている、番号ｊ（ｊは、正の整数）が付された所定の被写体の大きさに該当する。
本実施形態に係る制御装置は、例えば図６に示すような関数を用いることによって、所定の被写体の画像サイズに対応する所定の被写体の大きさを求める。
なお、本実施形態に係る所定の被写体の大きさを求める方法は、上記に示す例に限られない。
例えば、本実施形態に係る制御装置は、撮像デバイスと所定の被写体との距離に基づいて、所定の被写体の大きさを求めることが可能である。本実施形態に係る制御装置は、例えば、撮像デバイスと所定の被写体との距離の逆数と所定の被写体の大きさとの関数を用いることによって、撮像デバイスと所定の被写体との距離の逆数に対応する所定の被写体の大きさを求める。また、本実施形態に係る制御装置は、例えば、距離と大きさとが対応付けられているテーブル（または、データベース）を参照することによって、撮像デバイスと所定の被写体との距離に対応する所定の被写体の大きさを得ることも可能である。
本実施形態に係る所定の被写体の密集の度合いは、例えば、撮像画像における一の所定の被写体と他の所定の被写体との距離に基づき求められる。
図７は、本実施形態に係る所定の被写体の密集の度合いの求め方の一例を説明するための説明図である。図７のＡは、所定の被写体の密集の度合いの一例を示しており、密集度が低い状態と密集度が高い状態との一例を示している。また、図７のＢは、所定の被写体の密集の度合いを求めるための関数の一例を示している。図７のＢでは、横軸に示す“被写体間の距離の総和”が、撮像画像における一の所定の被写体と他の所定の被写体との距離の総和に該当する。また、図７のＢでは、縦軸に示す“Ｄｉｊ”が、番号ｉが付された撮像デバイスによって撮像されている、番号ｊが付された所定の被写体における密集度に該当する。
ここで、図７のＢに示す被写体間の距離の総和は、番号ｊが付された所定の被写体と、所定の領域に含まれる他の全ての所定の被写体との距離の総和であってもよい。図７のＢに示す被写体間の距離の総和を“番号ｊが付された所定の被写体と、所定の領域に含まれる他の全ての所定の被写体との距離の総和”とする場合には、番号ｊが付された所定の被写体と、番号ｉが付された撮像デバイスの画角外の所定の被写体（すなわち撮像画像に含まれていない所定に被写体）との距離は、“０”（ゼロ）とされる。
また、撮像デバイスの状態の変化は、撮像デバイスの状態の変化を示す変化量によって表される。撮像デバイスの状態の変化を示す変化量は、例えば、撮像デバイスの位置、撮像デバイスの姿勢（ロール、ピッチ、ヨー）、および撮像デバイスのズーム（焦点距離）それぞれの変化量に基づいて、要素ごとの重み付け線形和をとることによって、求められる。
より具体的には、本実施形態に係る制御装置は、全ての所定の被写体それぞれが少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、所定の被写体それぞれに対して撮像デバイスを割り当てる。
図８は、本実施形態に係る所定の被写体それぞれに対する撮像デバイスを割り当ての一例を説明するための説明図である。図８では、所定の被写体が、選手およびボールである例を示している。また、図８では、“○”で示されている撮像デバイスと所定の被写体との組み合わせが、所定の被写体に対して割り当てられた撮像デバイスを示している。
本実施形態に係る制御装置は、例えば図８に示すように所定の被写体それぞれに対して撮像デバイスを割り当てると、所定の被写体の状態と撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出する。
本実施形態に係る制御装置は、例えば下記の数式１に示す演算を行うことによって、評価値Ｆを算出する。
ここで、下記の数式１は、所定の被写体の状態と撮像デバイスの状態の変化との双方に基づいて評価値を算出する場合の演算の一例を示している。数式１に示す“Ｓｊｉ”は、所定の被写体の大きさを示しており、数式１に示す“Ｄｊｉ”は、所定の被写体の密集度を示している。また、数式１に示す“Ｔｊ”は、撮像デバイスの状態の変化量を示している。また、数式１に示す“（ＷＳ，ＷＤ，ＷＴ）”は、重み付けを示している。なお、数式１に示す“（ＷＳ，ＷＤ，ＷＴ）”は、所定の被写体ごとに異なる値であってもよい。
なお、本実施形態に係る評価値の算出方法が、上記数式１に示す例に限られないことは、言うまでもない。
評価値が算出されると、本実施形態に係る制御装置は、算出された評価値に基づいて、所定の被写体それぞれを画角に収める撮像デバイスを決定する。
本実施形態に係る制御装置は、例えば、“全ての所定の被写体それぞれが少なくとも２台以上の撮像デバイスによって撮像される”という条件を満たす、異なる複数の割り当てパターンそれぞれに対して、評価値を算出する。そして、本実施形態に係る制御装置は、算出された複数の評価値のうちの、算出された評価値が最も高い割り当てパターンによって、所定の被写体それぞれを撮像する撮像デバイスを決定する。つまり、本実施形態に係る制御装置は、算出された評価値が最も高くなるように、所定の被写体それぞれを撮像する撮像デバイスを決定する。
なお、評価値に基づく所定の被写体それぞれを撮像する撮像デバイスの決定方法は、上記に示す例に限られない。
例えば、本実施形態に係る制御装置は、算出された評価値が、設定されている閾値よりも大きい場合（または、評価値が当該閾値以上である場合）に、当該評価値に対応する割り当てパターンによって、所定の被写体それぞれを撮像する撮像デバイスを決定してもよい。上記評価値に係る閾値としては、例えば、予め設定されている固定の閾値、または、ユーザの操作などに基づき変更可能な可変の閾値が挙げられる。
上記のような閾値処理によって、所定の被写体それぞれを撮像する撮像デバイスが決定される場合には、上述した算出された評価値が最も高くなるように所定の被写体それぞれを撮像する撮像デバイスが決定される場合よりも、より短時間で所定の被写体それぞれを撮像する撮像デバイスを決定することができうる。
例えば上記のように所定の被写体それぞれを撮像する撮像デバイスが決定されると、本実施形態に係る制御装置は、複数の撮像デバイスをそれぞれ制御し、撮像デバイスそれぞれに、決定された所定の被写体を撮像させる。
（２）制御処理の第２の例
上記第１の例に係る制御処理では、所定の被写体それぞれに対して撮像デバイスを割り当てることによって、所定の被写体それぞれを撮像する撮像デバイスを決定する例を示したが、本実施形態に係る制御処理は、上記第１の例に係る制御処理に限られない。
例えば、本実施形態に係る制御装置は、所定の被写体をグループ化する（またはセグメント化する）。そして、所定の被写体がグループ化された場合には、本実施形態に係る制御装置は、所定の被写体のグループそれぞれが、少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。
図９は、本実施形態に係る所定の被写体のグループ化の一例を説明するための説明図である。図９では、所定の領域に含まれる所定の被写体が、グループ１とグループ２という２つのグループに分類された例を示している。
本実施形態に係る制御装置は、例えば、一の所定の被写体と他の所定の被写体との距離に基づいて、所定の被写体をグループ化する。本実施形態に係る制御装置は、所定の被写体間の距離が、設定されている閾値よりも小さい場合（または、所定の被写体間の距離が当該閾値以下の場合）に、これらの所定の被写体をグループ化する。上記グループ化に係る閾値としては、例えば、予め設定されている固定の閾値、または、ユーザの操作などに基づき変更可能な可変の閾値が挙げられる。また、上記のような閾値処理を利用する方法によって所定の被写体をグループ化する場合には、複数の所定の被写体を含むグループと、１つの所定の被写体を含むグループとが混在してもよい。
なお、本実施形態に係る所定の被写体をグループ化する方法は、上記のような閾値処理を利用する方法に限られず、所定の被写体は、所定の被写体をグループ化することが可能な、任意の方法によってグループ化されてもよい。
所定の被写体がグループ化された場合、本実施形態に係る制御装置は、撮像画像に基づき検出される所定の被写体のグループの状態と、撮像デバイスの状態の変化との一方または双方に基づいて、所定の被写体のグループそれぞれを画角に収める撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する。
ここで、本実施形態に係る所定の被写体のグループの状態としては、所定の被写体のグループの大きさと、所定の被写体のグループの密集の度合いとの一方または双方が挙げられる。
本実施形態に係る所定の被写体のグループの大きさは、例えば、撮像画像におけ所定の被写体のグループの画像サイズに基づき求められる。本実施形態に係る制御装置は、例えば上記第１の例に係る制御処理において所定の被写体の大きさを求める場合と同様に、図６に示すような関数を用いることなどによって、所定の被写体のグループの画像サイズに対応する所定の被写体の大きさを求める。
本実施形態に係る所定の被写体のグループの密集の度合いは、例えば、グループ内に属する所定の被写体の密集度の総和などによって、求められる。
より具体的には、本実施形態に係る制御装置は、全ての所定の被写体のグループそれぞれが少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、全ての所定の被写体のグループそれぞれに対して撮像デバイスを割り当てる。
図１０は、本実施形態に係る所定の被写体のグループそれぞれに対する撮像デバイスを割り当ての一例を説明するための説明図である。図１０では、“○”で示されている撮像デバイスと所定の被写体のグループとの組み合わせが、所定の被写体のグループに対して割り当てられた撮像デバイスを示している。
本実施形態に係る制御装置は、例えば図１０に示すように所定の被写体のグループそれぞれに対して撮像デバイスを割り当てると、所定の被写体のグループの状態と撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出する。
本実施形態に係る制御装置は、例えば、上記第１の例に係る制御処理における評価値の算出と同様の演算（例えば、上記数式１の各要素を、所定の被写体のグループの状態と撮像デバイスの状態の変化とに置き換えた演算）を行うことによって、評価値を算出する。
評価値が算出されると、本実施形態に係る制御装置は、算出された評価値に基づいて、所定の被写体のグループそれぞれを撮像する撮像デバイスを決定する。
本実施形態に係る制御装置は、例えば上記第１の例に係る制御処理と同様に、算出された評価値が最も高くなるように、所定の被写体のグループそれぞれを撮像する撮像デバイスを、決定する。また、本実施形態に係る制御装置は、例えば上記第１の例に係る制御処理と同様に、評価値に係る閾値を用いた閾値処理によって、所定の被写体のグループそれぞれを撮像する撮像デバイスを決定することも可能である。
例えば上記のように所定の被写体のグループそれぞれを撮像する撮像デバイスが決定されると、本実施形態に係る制御装置は、複数の撮像デバイスをそれぞれ制御し、撮像デバイスそれぞれに、決定された所定の被写体のグループを、撮像させる。
第２の例に係る制御処理では、上記のように、第１の例に係る制御処理における所定の被写体を、所定の被写体のグループに置き換えた処理が行われる。よって、第２の例に係る制御処理が行われる場合には、所定の被写体のグループの数は、第１の例に係る制御処理における所定の被写体の数以下となるので、第１の例に係る制御処理よりも処理に係る負荷をより小さくすることが可能となる。
（３）制御処理の第３の例
本実施形態に係る制御装置は、例えば、ユーザの操作に基づいて、上記第１の例に係る制御処理と、上記第２の例に係る制御処理とを切り替えることが可能である。
また、上記第１の例に係る制御処理と上記第２の例に係る制御処理との切り替えは、本実施形態に係る制御装置の処理負荷などに基づいて、動的に切り替えられてもよい。本実施形態に係る制御装置の処理負荷に基づき動的に切り替える場合、本実施形態に係る制御装置は、例えば、プロセッサの使用率が所定の閾値より小さい場合（処理負荷が高いと判定されない場合の一例）に、上記第１の例に係る制御処理を行う。また、本実施形態に係る制御装置は、例えば、プロセッサの使用率が所定の閾値以上である場合（処理負荷が高いと判定される場合の一例）に、上記第２の例に係る制御処理を行う。
本実施形態に係る制御装置は、例えば上記（１）に示す第１の例に係る制御処理〜上記（３）に示す第３の例に係る制御処理のいずれかの処理を行うことによって、複数の撮像デバイスをそれぞれ制御する。
なお、本実施形態に係る制御処理は、上述した例に限られない。
例えば、本実施形態に係る制御方法がスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合など、本実施形態に係る制御方法が適用可能な様々なケースを想定すると、選手やボールなどの所定の被写体の位置は、変わりうる。そのため、本実施形態に係る制御方法により、一旦、全ての所定の被写体それぞれが少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように複数の撮像デバイスが制御されたとしても、所定の被写体が移動することなどによって、いずれかの所定の被写体が所定の領域内のどこに位置しているかが分からなくなることが、起こりうる。つまり、一旦、全ての所定の被写体それぞれが少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように複数の撮像デバイスが制御されたとしても、撮像画像に基づくトラッキング処理による所定の被写体の追尾が行えなくなる恐れがある。
そこで、本実施形態に係る制御装置は、例えば、“全ての所定の被写体のうちの少なくとも１つの所定の被写体の位置が、複数の撮像デバイスそれぞれから取得される撮像画像から検出されないと判定した場合”には、複数の撮像デバイスそれぞれを、初期状態にさせる。
本実施形態に係る制御装置は、例えば、複数の撮像デバイスそれぞれから取得される撮像画像に基づき位置を特定することができない所定の被写体が、検出されたときに、全ての所定の被写体のうちの少なくとも１つの所定の被写体の位置が検出されないと判定する。
また、本実施形態に係る制御装置は、例えば、設定されている所定の時間以上、少なくとも１つの所定の被写体の位置が検出されない状態が継続したとき（または、所定の時間を越えて、少なくとも１つの所定の被写体の位置が検出されない状態が継続したとき。以下、同様とする。）に、全ての所定の被写体のうちの少なくとも１つの所定の被写体の位置が検出されないと判定してもよい。ここで、上記所定の時間としては、例えば、１０［秒］や２０［秒］などが挙げられる。また、上記所定の時間は、予め設定されている固定の時間であってもよいし、ユーザの操作などに基づいて変更可能な可変の時間であってもよい。
上記のように、少なくとも１つの所定の被写体の位置が検出されない状態が生じてから、全ての所定の被写体のうちの少なくとも１つの所定の被写体の位置が検出されないと判定するまでに、所定の時間を設けることによって、撮像デバイスが頻繁に初期状態となることを防止することが可能となる。よって、少なくとも１つの所定の被写体の位置が検出されない状態が生じてから、全ての所定の被写体のうちの少なくとも１つの所定の被写体の位置が検出されないと判定するまでに、所定の時間を設けることによって、ロバスト性の向上を図ることができる。
また、少なくとも１つの所定の被写体の位置が検出されない状態が生じてから所定の時間が経過するまでの間、本実施形態に係る制御装置は、例えば、位置を特定することができない所定の被写体を除いた状態で、上記（１）に示す第１の例に係る制御処理〜上記（３）に示す第３の例に係る制御処理のいずれかの処理を行ってもよい。
図１１は、本実施形態に係る複数の撮像デバイスの初期状態の一例を説明するための説明図である。図１１のＡは、全ての所定の被写体それぞれが、少なくとも２台以上の撮像デバイスによって撮像されている状態の一例を示している。また、図１１のＢは、複数の撮像デバイスそれぞれを初期状態にさせた状態の一例を示している。
図１１のＢに示すように、初期状態では、各撮像デバイスの画角が広角な状態（ワイド端の状態）にされ、複数の撮像デバイスによってグラウンド（所定の領域の一例）全体が撮像される。そして、本実施形態に係る制御装置は、図１１のＢに示すように複数の撮像デバイスを初期状態とさせることによって、再度検出された全ての所定の被写体それぞれが、少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。
［２−３］制御処理を利用した処理の一例
次に、本実施形態に係る制御方法に係る制御処理を利用した処理について説明する。
図１２は、本実施形態に係る制御方法に係る制御処理を利用した処理の一例を示す流れ図であり、制御処理を利用したトラッキング処理の一例を示している。図１２では、本実施形態に係る制御方法が、サッカーが行われるグラウンド（所定の領域の一例）において選手およびボール（所定の被写体の一例）を撮像する、複数の撮像デバイスの制御に適用される場合を例に挙げる。ここで、図１２では、例えば図１２のステップＳ１００〜Ｓ１０６、Ｓ１１４の処理が、本実施形態に係る制御処理の一例に該当する。
本実施形態に係る制御装置は、撮像デバイスそれぞれを初期状態にさせる（Ｓ１００）。本実施形態に係る制御装置は、例えば、撮像デバイスそれぞれの画角を図１１のＢに示すような広角な状態とし、また、撮像デバイスそれぞれの位置を初期位置に移動させる。
本実施形態に係る制御装置は、各撮像デバイスから取得された撮像画像から所定の被写体を検出し、所定の被写体に対してＩＤ付けを行う（Ｓ１０２）。所定の被写体に対するＩＤ付けは、上述したように、任意のオブジェクト検出技術を用いた画像処理によって検出された所定の被写体に対して自動的に行われてもよいし、ユーザの操作に基づき手動で行われてもよい。
本実施形態に係る制御装置は、所定の被写体に対する撮像デバイスの割り当てを行う（Ｓ１０４）。本実施形態に係る制御装置は、例えば、上記（１）に示す第１の例に係る制御処理と上記（２）に示す第２の例に係る制御処理とにおいて示したように、評価値に基づいて所定の被写体に対する撮像デバイスを割り当てる。
ステップＳ１０４において所定の被写体に対する撮像デバイスの割り当てが行われると、本実施形態に係る制御装置は、例えば、撮像デバイスそれぞれの姿勢、ズーム（焦点距離）を調整する（Ｓ１０６）。また、位置を変更することが可能な撮像デバイスが存在する場合には、本実施形態に係る制御装置は、さらに撮像デバイスの位置を調整してもよい。
ステップＳ１０６の処理が行われると、本実施形態に係る制御装置は、トラッキング処理を行い、所定の被写体それぞれを撮像デバイスに追尾させる（Ｓ１０８）。
本実施形態に係る制御装置は、所定の被写体それぞれの位置と、撮像デバイスそれぞれの位置および姿勢を算出する（Ｓ１１０）。所定の被写体の位置は、例えば三角測量を利用することによって、撮像画像に基づき得られる。また、撮像デバイスの位置および姿勢は、例えば、撮像デバイスが備える位置の特定に用いることが可能なセンサの検出結果と、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ技術などを用いた撮像画像の処理結果との一方または双方によって、得られる。
また、本実施形態に係る制御装置は、例えば、ステップＳ１１０において算出された結果を示す情報を、記憶部（後述する）や本実施形態に係る制御装置に接続されている外部の記録媒体などの、任意の記録媒体に記録させてもよい。ステップＳ１１０において算出された結果を示す情報が記録媒体に記憶されることによって、例えばスポーツの試合の解析などの、所定の被写体の位置や撮像デバイスの状態の履歴を利用した様々な解析が、可能となる。
本実施形態に係る制御装置は、処理を終了するか否かを判定する（Ｓ１１２）。本実施形態に係る制御装置は、例えば、処理を終了させるユーザの所定の操作（例えば、終了ボタンの押下など）が検出された場合に、処理を終了すると判定する。また、本実施形態に係る制御装置は、撮像画像などに基づいて所定のイベントが検出された場合に、処理を終了すると判定してもよい。ここで、ステップＳ１１２において処理を終了すると判定される場合としては、例えば、サッカーの試合の前半が終了した場合（上記所定のイベントの一例）、または、サッカーの試合が終了した場合（上記所定のイベントの他の例）などが、挙げられる。
ステップＳ１１２において処理を終了すると判定された場合には、本実施形態に係る制御装置は、図１２に示す処理を終了する。
また、ステップＳ１１２において処理を終了すると判定されない場合には、本実施形態に係る制御装置は、全ての選手およびボール（全ての所定の被写体）の位置が、把握されているか否かを判定する（Ｓ１１４）。本実施形態に係る制御装置は、例えば、全ての所定の被写体のうちの少なくとも１つの所定の被写体の位置が、複数の撮像デバイスそれぞれから取得される撮像画像から検出されないと判定した場合に、全ての選手およびボールの位置が把握されていないと判定する。
ステップＳ１１４において、全ての選手およびボールの位置が把握されていると判定された場合には、本実施形態に係る制御装置は、ステップＳ１０４からの処理を繰り返す。また、ステップＳ１１４において、全ての選手およびボールの位置が把握されていると判定されない場合には、本実施形態に係る制御装置は、ステップＳ１００からの処理を繰り返す。
本実施形態に係る制御装置は、制御処理を利用したトラッキング処理として、例えば図１２に示す処理を行う。なお、本実施形態に係る制御処理を利用した処理の例が、図１２に示す例に限られないことは、言うまでもない。
（本実施形態に係る制御装置）
次に、上述した本実施形態に係る制御方法に係る処理を行うことが可能な本実施形態に係る制御装置の構成の一例について、説明する。
図１３は、本実施形態に係る制御装置１００の構成の一例を示すブロック図である。制御装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
また、制御装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。制御装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
記憶部（図示せず）は、制御装置１００が備える記憶手段であり、例えば、距離と大きさとが対応付けられているテーブル（または、データベース）などの、本実施形態に係る制御方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、制御装置１００から着脱可能であってもよい。
操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［制御装置１００のハードウェア構成例］
図１４は、本実施形態に係る制御装置１００のハードウェア構成の一例を示す説明図である。制御装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、制御装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、制御装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、制御装置１００において、例えば、後述する処理部１１０の役目を果たす。なお、処理部１１０は、処理部１１０の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、距離と大きさとが対応付けられているテーブルなどの本実施形態に係る制御方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、制御装置１００から着脱可能であってもよい。
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。
また、操作入力デバイス１６０は、例えば、制御装置１００上に備えられ、制御装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス１６２は、例えば、制御装置１００上に備えられ、制御装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。
なお、入出力インタフェース１５８が、制御装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース１６４は、制御装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば、制御対象の撮像デバイスなどの外部装置と、無線または有線で通信を行うための通信部１０２として機能する。
ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless Local Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
制御装置１００は、例えば図１４に示す構成によって、本実施形態に係る制御方法に係る処理を行う。なお、本実施形態に係る制御装置１００のハードウェア構成は、図１４に示す構成に限られない。
例えば、制御装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
また、制御装置１００は、例えば、撮像部（図示せず）の役目を果たす撮像デバイスを、さらに備えていてもよい。
撮像デバイスを備える場合、制御装置１００では、例えば、撮像デバイスにおいて撮像により生成された撮像画像に基づいて、本実施形態に係る制御方法に係る処理を行うことが可能である。つまり、撮像デバイスをさらに備える場合には、制御装置１００は、備えている撮像デバイスも制御処理による制御の対象としてもよい。
撮像デバイスは、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
また、制御装置１００は、例えば、記録媒体１５６、操作入力デバイス１６０、表示デバイス１６２のうちの１または２以上を、備えない構成をとることが可能である。
また、例えば、図１４に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣで実現されてもよい。
再度図１３を参照して、制御装置１００の構成の一例について説明する。通信部１０２は、制御装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、制御対象の撮像デバイスなどの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。
ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
制御部１０４は、例えばＭＰＵなどで構成され、制御装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、処理部１１０を備え、本実施形態に係る制御方法に係る処理を主導的に行う役目を果たす。
処理部１１０は、本実施形態に係る制御処理を主導的に行う役目を果たし、複数の撮像デバイスそれぞれから取得される撮像画像に基づいて、全ての所定の被写体それぞれが、少なくとも２台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。処理部１１０は、例えば、上記（１）に示す第１の例に係る制御処理〜上記（３）に示す第３の例に係る制御処理のいずれかの処理を行うことによって、複数の撮像デバイスをそれぞれ制御する。
制御部１０４は、例えば処理部１１０を備えることによって、本実施形態に係る制御方法に係る処理（例えば、本実施形態に係る制御処理）を主導的に行う。
制御装置１００は、例えば図１３に示す構成によって、本実施形態に係る制御方法に係る処理（例えば、上記制御処理）を行う。
したがって、制御装置１００は、例えば図１３に示す構成によって、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることができる。
また、例えば図１３に示す構成によって、制御装置１００は、本実施形態に係る制御方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る制御装置の構成は、図１３に示す構成に限られない。
例えば、本実施形態に係る制御装置は、図１３に示す処理部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
また、上述したように、上記制御処理は、便宜上、本実施形態に係る制御方法に係る処理を切り分けたものである。よって、本実施形態に係る制御方法に係る処理を実現するための構成は、図１３に示す構成に限られず、本実施形態に係る制御方法に係る処理の切り分け方に応じた構成をとることが可能である。
また、本実施形態に係る制御装置は、本実施形態に係る取得処理を主導的に行う役目を果たす取得部（図示せず）を、備えていてもよい。本実施形態に係る制御装置では、例えば、制御部１０４が取得部（図示せず）を備えていてもよいし、制御部１０４とは個別に備えられていてもよい。
また、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る制御装置は、通信部１０２を備えていなくてもよい。
また、本実施形態に係る制御装置は、撮像デバイスを有する撮像部（図示せず）を、さらに備えていてもよい。撮像部（図示せず）を備える場合には、本実施形態に係る制御装置は、撮像部（図示せず）を構成する撮像デバイスを、制御処理による制御の対象とすることが可能である。
以上、本実施形態として、制御装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ＰＣ（Personal Computer）やサーバなどのコンピュータ”、“放送などに用いられるカメラや、防犯カメラ、車載カメラなどの撮像機能を有する撮像装置”、“自動車などの移動体”、“タブレット型の装置”、“スマートフォンなどの通信装置”など、本実施形態に係る制御方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
また、本実施形態に係る制御装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。本実施形態に係る制御方法に係る処理が行われる処理システムの一例としては、例えば、処理システムを構成する一の装置によって、本実施形態に係る制御処理が行われ、処理システムを構成する他の装置によって、トラッキング処理などの他の処理が行われるシステムが、挙げられる。
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る制御装置として機能させるためのプログラム（例えば、“上記制御処理”、または“上記取得処理および上記制御処理”など、本実施形態に係る制御方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることができる。
また、コンピュータを、本実施形態に係る制御装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る制御方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る制御装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する処理部を備える、制御装置。
（２）
前記処理部は、前記被写体情報が示す前記被写体の状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体それぞれを撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、（１）に記載の制御装置。
（３）
前記処理部は、
前記所定の領域に含まれる前記全ての前記被写体それぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体それぞれに対して前記撮像デバイスを割り当て、前記被写体の状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
算出された評価値に基づいて、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、（２）に記載の制御装置。
（４）
前記処理部は、算出された前記評価値が最も高くなるように、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、（３）に記載の制御装置。
（５）
前記被写体情報は、前記被写体の大きさと、前記被写体の密集の度合いとの一方または双方を示す、（２）〜（４）のいずれか１つに記載の制御装置。
（６）
前記被写体の大きさは、前記撮像デバイスから取得される撮像画像における前記被写体の画像サイズに基づき求められる、（５）に記載の制御装置。
（７）
前記被写体の大きさは、前記撮像デバイスと前記被写体との距離に基づき求められる、（５）に記載の制御装置。
（８）
前記被写体の密集の度合いは、一の前記被写体と他の前記被写体との距離に基づき求められる、（５）〜（７）のいずれか１つに記載の制御装置。
（９）
前記処理部は、
一の前記被写体と他の前記被写体との距離に基づいて、複数の前記被写体をグループ化し、
前記被写体がグループ化された場合には、前記被写体のグループそれぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、複数の前記撮像デバイスをそれぞれ制御する、（１）〜（８）のいずれか１つに記載の制御装置。
（１０）
前記被写体がグループ化された場合、
前記処理部は、前記撮像デバイスから取得される撮像画像に基づき検出される前記被写体のグループの状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、（９）に記載の制御装置。
（１１）
前記処理部は、
全ての前記被写体のグループそれぞれが少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体のグループそれぞれに対して複数の前記撮像デバイスを割り当て、前記被写体のグループの状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
算出された評価値に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定する、（１０）に記載の制御装置。
（１２）
前記被写体のグループの状態は、前記被写体のグループの大きさと、前記被写体のグループの密集の度合いとの一方または双方である、（１０）、または（１１）に記載の制御装置。
（１３）
全ての前記被写体は、前記処理部が、複数の前記撮像デバイスそれぞれを複数の前記撮像デバイスにより前記所定の領域全体が撮像される初期状態にさせたときに取得される、撮像画像それぞれから検出される前記被写体である、（１）〜（１２）のいずれか１つに記載の制御装置。
（１４）
前記処理部は、全ての前記被写体のうちの少なくとも１つの前記被写体の位置が、複数の前記撮像デバイスそれぞれから取得される撮像画像から検出されないと判定した場合には、複数の前記撮像デバイスそれぞれを、前記初期状態にさせる、（１３）に記載の制御装置。
（１５）
前記処理部は、複数の前記撮像デバイスそれぞれの制御として、複数の前記撮像デバイスそれぞれの撮像方向の制御と、複数の前記撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方を、行う、（１）〜（１４）のいずれか１つに記載の制御装置。
（１６）
前記処理部は、複数の前記撮像デバイスそれぞれの制御として、さらに、前記撮像デバイスの位置の制御を行う、（１５）に記載の制御装置。
（１７）
前記撮像デバイスを有する撮像部をさらに備える、（１）〜（１６）のいずれか１つに記載の制御装置。
（１８）
前記被写体情報を取得する取得部を備える、（１）〜（１７）のいずれか１つに記載の制御装置。
（１９）
被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御するステップを有する、制御装置により実行される制御方法。
（２０）
被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する機能を、コンピュータに実現させるためのプログラム。
１００ 制御装置
１０２ 通信部
１０４ 制御部
１１０ 処理部

Claims (20)

  1. 被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する処理部を備える、制御装置。
  2. 前記処理部は、前記被写体情報が示す前記被写体の状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体それぞれを撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、請求項１に記載の制御装置。
  3. 前記処理部は、
    前記所定の領域に含まれる前記全ての前記被写体それぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体それぞれに対して前記撮像デバイスを割り当て、前記被写体の状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
    算出された評価値に基づいて、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、請求項２に記載の制御装置。
  4. 前記処理部は、算出された前記評価値が最も高くなるように、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、請求項３に記載の制御装置。
  5. 前記被写体情報は、前記被写体の大きさと、前記被写体の密集の度合いとの一方または双方を示す、請求項２に記載の制御装置。
  6. 前記被写体の大きさは、前記撮像デバイスから取得される撮像画像における前記被写体の画像サイズに基づき求められる、請求項５に記載の制御装置。
  7. 前記被写体の大きさは、前記撮像デバイスと前記被写体との距離に基づき求められる、請求項５に記載の制御装置。
  8. 前記被写体の密集の度合いは、一の前記被写体と他の前記被写体との距離に基づき求められる、請求項５に記載の制御装置。
  9. 前記処理部は、
    一の前記被写体と他の前記被写体との距離に基づいて、複数の前記被写体をグループ化し、
    前記被写体がグループ化された場合には、前記被写体のグループそれぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、複数の前記撮像デバイスをそれぞれ制御する、請求項１に記載の制御装置。
  10. 前記被写体がグループ化された場合、
    前記処理部は、前記撮像デバイスから取得される撮像画像に基づき検出される前記被写体のグループの状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、請求項９に記載の制御装置。
  11. 前記処理部は、
    全ての前記被写体のグループそれぞれが少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体のグループそれぞれに対して複数の前記撮像デバイスを割り当て、前記被写体のグループの状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
    算出された評価値に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定する、請求項１０に記載の制御装置。
  12. 前記被写体のグループの状態は、前記被写体のグループの大きさと、前記被写体のグループの密集の度合いとの一方または双方である、請求項１０に記載の制御装置。
  13. 全ての前記被写体は、前記処理部が、複数の前記撮像デバイスそれぞれを複数の前記撮像デバイスにより前記所定の領域全体が撮像される初期状態にさせたときに取得される、撮像画像それぞれから検出される前記被写体である、請求項１に記載の制御装置。
  14. 前記処理部は、全ての前記被写体のうちの少なくとも１つの前記被写体の位置が、複数の前記撮像デバイスそれぞれから取得される撮像画像から検出されないと判定した場合には、複数の前記撮像デバイスそれぞれを、前記初期状態にさせる、請求項１３に記載の制御装置。
  15. 前記処理部は、複数の前記撮像デバイスそれぞれの制御として、複数の前記撮像デバイスそれぞれの撮像方向の制御と、複数の前記撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方を、行う、請求項１に記載の制御装置。
  16. 前記処理部は、複数の前記撮像デバイスそれぞれの制御として、さらに、前記撮像デバイスの位置の制御を行う、請求項１５に記載の制御装置。
  17. 前記撮像デバイスを有する撮像部をさらに備える、請求項１に記載の制御装置。
  18. 前記被写体情報を取得する取得部を備える、請求項１に記載の制御装置。
  19. 被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御するステップを有する、制御装置により実行される制御方法。
  20. 被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも２台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する機能を、コンピュータに実現させるためのプログラム。
JP2015235467A 2015-12-02 2015-12-02 制御装置、制御方法、およびプログラム Pending JP2017103619A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015235467A JP2017103619A (ja) 2015-12-02 2015-12-02 制御装置、制御方法、およびプログラム
CN201680068918.7A CN108370412B (zh) 2015-12-02 2016-09-13 控制装置、控制方法和记录介质
US15/777,801 US11025808B2 (en) 2015-12-02 2016-09-13 Control apparatus and control method
PCT/JP2016/077004 WO2017094317A1 (ja) 2015-12-02 2016-09-13 制御装置、制御方法、およびプログラム
US17/180,949 US20210174520A1 (en) 2015-12-02 2021-02-22 Control apparatus, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015235467A JP2017103619A (ja) 2015-12-02 2015-12-02 制御装置、制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2017103619A true JP2017103619A (ja) 2017-06-08

Family

ID=58796847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015235467A Pending JP2017103619A (ja) 2015-12-02 2015-12-02 制御装置、制御方法、およびプログラム

Country Status (4)

Country Link
US (2) US11025808B2 (ja)
JP (1) JP2017103619A (ja)
CN (1) CN108370412B (ja)
WO (1) WO2017094317A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170014609A (ko) * 2015-07-30 2017-02-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP7341652B2 (ja) * 2018-01-12 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、およびシステム
EP3944086B1 (en) * 2019-03-18 2023-09-06 JVCKenwood Corporation Information delivery device, information delivery method, and information delivery program
CN111818270B (zh) * 2020-09-10 2021-02-19 视见科技(杭州)有限公司 用于多机位摄像的自动控制方法和系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5756982A (en) * 1990-09-11 1998-05-26 Metrologic Instruments, Inc. Body-wearable automatic laser scanner with power-conserving control subsystem
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
US7301569B2 (en) 2001-09-28 2007-11-27 Fujifilm Corporation Image identifying apparatus and method, order processing apparatus, and photographing system and method
JP2003289465A (ja) 2002-03-28 2003-10-10 Fuji Photo Film Co Ltd 撮影システム及び撮影方法
JP4568009B2 (ja) * 2003-04-22 2010-10-27 パナソニック株式会社 カメラ連携による監視装置
CN1658670A (zh) * 2004-02-20 2005-08-24 上海银晨智能识别科技有限公司 具有多摄像机的智能跟踪监控系统
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4140591B2 (ja) * 2004-09-13 2008-08-27 ソニー株式会社 撮像システム及び撮像方法
JP4464902B2 (ja) 2005-11-09 2010-05-19 日本放送協会 カメラ制御装置およびカメラ制御プログラム
EP2479991A3 (en) * 2006-12-04 2014-01-08 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
US9288449B2 (en) * 2008-08-05 2016-03-15 University Of Florida Research Foundation, Inc. Systems and methods for maintaining multiple objects within a camera field-of-view
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2011135247A (ja) 2009-12-24 2011-07-07 Nikon Corp 撮像装置
US9055226B2 (en) * 2010-08-31 2015-06-09 Cast Group Of Companies Inc. System and method for controlling fixtures based on tracking data
DE102011006570A1 (de) * 2011-03-31 2012-10-04 Robert Bosch Gmbh Verfahren und Steuergerät zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs
JP2012249117A (ja) * 2011-05-30 2012-12-13 Hitachi Ltd 監視カメラシステム
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
US9530060B2 (en) * 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
DE102012204697A1 (de) * 2012-03-23 2013-09-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur optimierung der bestimmung von aufnahmebereichen
US9189884B2 (en) * 2012-11-13 2015-11-17 Google Inc. Using video to encode assets for swivel/360-degree spinners
JP6273685B2 (ja) 2013-03-27 2018-02-07 パナソニックＩｐマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
US20150116501A1 (en) * 2013-10-30 2015-04-30 Sony Network Entertainment International Llc System and method for tracking objects
JP6429454B2 (ja) 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
KR102150703B1 (ko) * 2014-08-14 2020-09-01 한화테크윈 주식회사 지능형 비디오 분석 시스템에서 비디오를 분석하는 방법 및 시스템

Also Published As

Publication number Publication date
WO2017094317A1 (ja) 2017-06-08
CN108370412A (zh) 2018-08-03
CN108370412B (zh) 2021-04-20
US20210174520A1 (en) 2021-06-10
US20180352148A1 (en) 2018-12-06
US11025808B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
US20210174520A1 (en) Control apparatus, control method, and program
US9865062B2 (en) Systems and methods for determining a region in an image
US10375377B2 (en) Information processing to generate depth information of an image
JP7003628B2 (ja) 物体追跡プログラム、物体追跡装置、及び物体追跡方法
US8154616B2 (en) Data processing apparatus and method, and recording medium
CN105830093A (zh) 用于产生与非均匀大小的空间区相关的元数据的系统、方法及设备
WO2012169149A1 (en) Image display apparatus and image display method
US9392248B2 (en) Dynamic POV composite 3D video system
US20160055366A1 (en) Information processing system, information processing method, and storage medium
US20090202180A1 (en) Rotation independent face detection
JP7246005B2 (ja) 移動体追跡装置及び移動体追跡方法
US20190122389A1 (en) Information processing apparatus, information processing method, program, and imaging system
US8169495B2 (en) Method and apparatus for dynamic panoramic capturing
CN110226324B (zh) 信息处理设备和信息处理方法
EP3349177B1 (en) System, method, and program for measuring distance between spherical objects
JPWO2018135095A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11132553B2 (en) Information processing apparatus and information processing method
JP2021002152A (ja) 画像処理装置、制御方法及び制御プログラム
JP6772593B2 (ja) 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム
US11928831B2 (en) Information processing apparatus, shape data generation method, and storage medium
CN102968611A (zh) 信息处理器和信息处理方法
WO2016056628A1 (ja) 画像認識処理装置及びプログラム
JP2016225892A (ja) 画像監視装置、画像監視方法及び画像監視プログラム
JP2021002151A (ja) 画像処理装置、制御方法及び制御プログラム