JP2017103619A - 制御装置、制御方法、およびプログラム - Google Patents
制御装置、制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2017103619A JP2017103619A JP2015235467A JP2015235467A JP2017103619A JP 2017103619 A JP2017103619 A JP 2017103619A JP 2015235467 A JP2015235467 A JP 2015235467A JP 2015235467 A JP2015235467 A JP 2015235467A JP 2017103619 A JP2017103619 A JP 2017103619A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- imaging
- imaging devices
- control
- subjects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
- H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30228—Playing field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることが可能な、制御装置、制御方法、およびプログラムを提供する。
【解決手段】被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての被写体それぞれが、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、被写体を撮像する複数の撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する処理部を備える制御装置が、提供される。
【選択図】図13
【解決手段】被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての被写体それぞれが、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、被写体を撮像する複数の撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する処理部を備える制御装置が、提供される。
【選択図】図13
Description
本開示は、制御装置、制御方法、およびプログラムに関する。
2つの撮像デバイスを制御することによって、被写体を追尾して撮像する技術が開発されている。2つの雲台付きの撮像デバイスから取得された撮像画像に基づいて、雲台を制御することによって被写体を追尾する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
例えば、スポーツの試合の解析や、防犯、車などの移動体の安全性の向上など、様々な目的のために、複数の撮像デバイスによりそれぞれ撮像された撮像画像(動画像、または、静止画像)が利用されている。
上記のような様々な目的を達成するためには、撮像デバイスによる撮像の対象となる領域(以下、「所定の領域」と示す場合がある。)に含まれる所定の被写体の全てを、複数の撮像デバイスによって撮像することが重要であると考えられる。上記所定の領域としては、例えば、“コートやグラウンド(スポーツの試合の解析が目的である場合の一例)”、“防犯対策を施す空間(防犯が目的である場合の一例)”、“移動体の進行方向の空間(移動体の安全性の向上が目的である場合の一例)”などが、挙げられる。また、上記所定の被写体としては、例えば、“選手とボールとの一方または双方(スポーツの試合の解析が目的である場合の一例)”、“人(防犯が目的である場合の一例)”、“任意の物体(移動体の安全性の向上が目的である場合の一例)”などが、挙げられる。
ここで、所定の領域に含まれる所定の被写体の全てを撮像するための一の方法としては、例えば、撮像位置および撮像方向が固定である撮像デバイス(以下、「固定撮像デバイス」と示す。)を、複数を用いる方法が挙げられる。
しかしながら、上記固定撮像デバイスを用いる既存の方法が用いられる場合には、固定撮像デバイスそれぞれの撮像位置および撮像方向が固定であるので、全ての固定撮像デバイスが所定の被写体を撮像できているとは限らない。よって、上記固定撮像デバイスを用いる既存の方法が用いられる場合には、所定の被写体を効率的に撮像できない恐れがある。
本開示では、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることが可能な、新規かつ改良された制御装置、制御方法、およびプログラムを提案する。
本開示によれば、被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての上記被写体それぞれが、少なくとも2台以上の上記撮像デバイスによって撮像される画角に収まるように、上記被写体を撮像する複数の上記撮像デバイスを決定して、複数の上記撮像デバイスをそれぞれ制御する処理部を備える、制御装置が、提供される。
また、本開示によれば、被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての上記被写体それぞれが、少なくとも2台以上の上記撮像デバイスによって撮像される画角に収まるように、上記被写体を撮像する複数の上記撮像デバイスを決定して、複数の上記撮像デバイスをそれぞれ制御するステップを有する、制御装置により実行される制御方法が、提供される。
また、本開示によれば、被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての上記被写体それぞれが、少なくとも2台以上の上記撮像デバイスによって撮像される画角に収まるように、上記被写体を撮像する複数の上記撮像デバイスを決定して、複数の上記撮像デバイスをそれぞれ制御する機能を、コンピュータに実現させるためのプログラムが、提供される。
本開示によれば、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る制御方法
2.本実施形態に係る制御装置
3.本実施形態に係るプログラム
1.本実施形態に係る制御方法
2.本実施形態に係る制御装置
3.本実施形態に係るプログラム
(本実施形態に係る制御方法)
まず、本実施形態に係る制御方法について説明する。以下では、本実施形態に係る制御方法に係る処理を、本実施形態に係る制御装置が行う場合を例に挙げる。
まず、本実施形態に係る制御方法について説明する。以下では、本実施形態に係る制御方法に係る処理を、本実施形態に係る制御装置が行う場合を例に挙げる。
以下では、本実施形態に係る制御方法が、例えばコートやグラウンドなどのスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合を、主に例に挙げる。また、以下では、上記スポーツが、サッカーである場合を例に挙げる。なお、本実施形態に係る制御方法は、“テニスやバスケットボール、ラグビーなどの球技”、“カバディなどの非球技”など、様々なスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用することができる。
なお、本実施形態に係る制御方法の適用例は、上記スポーツが行われる空間を撮像する複数の撮像デバイスの制御に限られない。例えば、本実施形態に係る制御方法は、防犯カメラの役目を果たす複数の撮像デバイスの制御、車などの移動体に搭載されている複数の撮像デバイスの制御など、様々な撮像デバイスの制御に適用することが、可能である。
[1]本実施形態に係る制御方法の概要
上述したように、固定撮像デバイスを用いる既存の方法が用いられる場合には、所定の被写体を効率的に撮像できない恐れがある。
上述したように、固定撮像デバイスを用いる既存の方法が用いられる場合には、所定の被写体を効率的に撮像できない恐れがある。
また、固定撮像デバイスを用いる既存の方法が用いられる場合には、全ての固定撮像デバイスが所定の被写体を撮像できているとは限らないにも関わらず、撮像デバイスの数が増えれば増える程、例えば下記に示す様なデメリットが大きくなる。
・システム全体のコストが増大する
・撮像デバイスなどの機材の設置、設定の手間が大きくなる(例えば、所定の領域が、コートやグラウンドである場合など)
・撮像画像の処理に係る負荷が増大する
・撮像画像の管理や記録に係る負担が大きくなる
・システム全体のコストが増大する
・撮像デバイスなどの機材の設置、設定の手間が大きくなる(例えば、所定の領域が、コートやグラウンドである場合など)
・撮像画像の処理に係る負荷が増大する
・撮像画像の管理や記録に係る負担が大きくなる
そこで、本実施形態に係る制御装置は、所定の領域に含まれる全ての所定の被写体それぞれが、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスそれぞれを制御する(制御処理)。
本実施形態に係る制御装置は、複数の撮像デバイスそれぞれの制御として、例えば、複数の撮像デバイスそれぞれの撮像方向の制御と、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方が、挙げられる。
ここで、撮像デバイスの撮像方向の制御としては、例えば、撮像デバイスにおけるパン方向、チルト方向、ロール方向のうちの1または2以上の制御が挙げられる。本実施形態に係る制御装置は、例えば、撮像デバイスが物理的に接続されている、パン方向、チルト方向、ロール方向にそれぞれ可動することが可能な雲台に対して、雲台の動作を制御する制御信号を送信して、雲台の動作を制御する。本実施形態に係る制御装置は、例えば、通信部(後述する)または接続されている外部の通信デバイスを介して、上記制御信号を送信する。本実施形態に係る制御装置が雲台の動作を制御することにより、撮像デバイスにおけるパン方向、チルト方向、ロール方向のうちの1または2以上を変えられることによって、撮像デバイスの撮像方向が制御される。
また、撮像デバイスの撮像における被写体の拡大または縮小の制御としては、例えば、撮像デバイスにおけるズームの制御が挙げられる。本実施形態に係る制御装置は、例えば、撮像デバイスに対して撮像デバイスの動作を制御する制御信号を送信して、撮像デバイスのズーム動作を制御することによって、撮像デバイスの撮像における被写体の拡大または縮小を制御する。本実施形態に係る制御装置は、例えば、通信部(後述する)または接続されている外部の通信デバイスを介して、上記制御信号を送信する。
なお、本実施形態に係る撮像デバイスそれぞれの制御は、上記に示す例に限られない。
例えば、本実施形態に係る制御装置は、複数の撮像デバイスそれぞれの制御として、さらに、撮像デバイスの位置の制御を行うことも可能である。
撮像デバイスの位置は、例えば、撮像デバイスが備える位置の特定に用いることが可能なセンサ、または、撮像デバイスに接続されている位置の特定に用いることが可能なセンサの検出結果に基づき、得られる。ここで、上記位置の特定に用いることが可能なセンサとしては、例えば、GNSS(Global Navigation Satellite System)デバイス、加速度センサや角速度センサなどの動きセンサのうちの、1または2以上が挙げられる。
また、撮像デバイスの位置は、例えば、撮像デバイスによる撮像により生成された撮像画像(動画像、または、静止画像)に基づき特定されてもよい。例えば、複数の撮像デバイスがサッカーのグラウンドを撮像する場合を例に挙げると、撮像画像に含まれるグラウンドの線や交点などを用いて撮像デバイスの位置および姿勢を算出することができる。ここで、撮像デバイスの位置および姿勢は、撮像デバイス間の関係性から算出してもよいし(Strucure from motion技術を用いた算出方法)、グラウンドの形状が既知であることを利用して撮像デバイスごとに算出してもよい(Perspective−n−Point問題を解くことによる算出方法)。
撮像デバイスの位置の制御としては、例えば、撮像デバイスが物理的に接続されている移動デバイスの移動の制御(撮像デバイスが移動する機能を有さない場合)、または、移動する機能を有する撮像デバイスの移動の制御が、挙げられる。上記移動デバイスとしては、例えば、レール上などの所定の経路を移動する移動体(例えば、列車など)や、任意の経路を移動する移動体(例えば、ロボットなど)などが、挙げられる。また、移動する機能を有する撮像デバイスとしては、例えば、ドローンとよばれる無人飛行体、任意の経路を移動する撮像デバイスを備えた移動体(例えば、ロボットなど)などが、挙げられる。
本実施形態に係る制御装置は、例えば、移動デバイスに対して移動デバイスの動作を制御する制御信号を送信することによって、移動デバイスの移動を制御する。本実施形態に係る制御装置は、例えば、通信部(後述する)または接続されている外部の通信デバイスを介して、上記制御信号を送信する。本実施形態に係る制御装置が移動デバイスの移動を制御することにより移動デバイスの位置が変えられることによって、撮像デバイスの位置が制御される。
また、本実施形態に係る制御装置は、例えば、撮像デバイスに対して撮像デバイスの動作を制御する制御信号を送信することによって、撮像デバイスの位置を制御する。本実施形態に係る制御装置は、例えば、通信部(後述する)または接続されている外部の通信デバイスを介して、上記制御信号を送信する。
本実施形態に係る制御装置は、例えば上記のように、複数の撮像デバイスそれぞれの撮像方向の制御と、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方を行う。また、例えば上記のように、本実施形態に係る制御装置は、撮像デバイスの位置の制御をさらに行うことが可能である。つまり、本実施形態に係る制御装置が制御対象とする撮像デバイスは、“撮像方向”、または“撮像位置および撮像方向”がそれぞれ固定ではない撮像デバイスであるといえる。
図1、図2は、本実施形態に係る撮像デバイスの制御結果の一例を示す説明図である。図1は、サッカーのグラウンド(所定の領域の一例)を撮像する複数の撮像デバイスの一例を示しており、図2は、サッカーのグラウンドを撮像する複数の撮像デバイスの他の例を示している。また、図2に示すP1は、図2に示す移動可能な撮像デバイスD1により撮像される所定の被写体の重心位置を示しており、図2に示すP2は、図2に示す移動可能な撮像デバイスD2により撮像される所定の被写体の重心位置を示している。
本実施形態に係る制御装置が撮像デバイスそれぞれを制御することによって、撮像デバイスの撮像方向と、撮像デバイスの撮像における被写体の拡大または縮小とは、例えば図1に示すように、選手など(所定の被写体の一例)の位置に応じて変化することとなる。また、例えば図2に示すように移動可能な撮像デバイスが存在する場合には、本実施形態に係る制御装置が撮像デバイスそれぞれを制御することによって、移動可能な撮像デバイスの位置は、選手など(所定の被写体の一例)の位置に応じて変化することとなる。ここで、図2に示す撮像デバイスD1、D2のように、グラウンドを真上から撮像する場合には、オクルージョンが発生する可能性をより低減することが可能である。
よって、本実施形態に係る制御装置が撮像デバイスそれぞれを制御することによって、所定の被写体を全ての撮像デバイスに撮像させることが可能である。
したがって、本実施形態に係る制御装置は、本実施形態に係る制御方法に係る制御処理を行うことによって、固定撮像デバイスを用いる既存の方法が用いられる場合よりも、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることができる。
また、本実施形態に係る制御装置は、本実施形態に係る制御方法に係る制御処理を行うことによって、撮像デバイスそれぞれにおける撮像範囲を動的に変えることが可能である。よって、本実施形態に係る制御方法に係る制御処理が用いられる場合には、固定撮像デバイスを用いる既存の方法が用いられる場合よりもより少ない撮像デバイスによって、所定の領域に含まれる所定の被写体を撮像することが可能である。
したがって、本実施形態に係る制御方法に係る制御処理が用いられる場合には、上述した固定撮像デバイスを用いる既存の方法が用いられる場合において生じうるデメリットを、より小さくすることができる。
なお、本実施形態に係る制御処理は、便宜上、本実施形態に係る制御方法に係る処理を切り分けたものである。よって、本実施形態に係る制御方法に係る処理は、例えば、本実施形態に係る制御処理を、(任意の切り分け方によって)2以上の処理と捉えることも可能である。
以下、本実施形態に係る制御方法に係る制御処理について、説明する。
[2]本実施形態に係る制御方法に係る制御処理
[2−1]制御処理の概要
まず、本実施形態に係る制御処理の概要を説明する。図3は、本実施形態に係る制御方法に係る制御処理の概要を説明するための説明図である。
[2−1]制御処理の概要
まず、本実施形態に係る制御処理の概要を説明する。図3は、本実施形態に係る制御方法に係る制御処理の概要を説明するための説明図である。
図3のAに示すように、被写体Oを1つの撮像デバイスで撮像する場合には、撮像画像から被写体Oの位置を得ることはできない。一方、図3のBに示すように、被写体Oを2つ以上撮像デバイスで撮像する場合(図3のBでは、3つの撮像デバイスで撮像している例を示している。)には、例えば三角測量を利用することによって、撮像画像から被写体Oの位置を得ることが可能である。
そこで、本実施形態に係る制御装置は、所定の被写体を撮像する複数の撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する。本実施形態に係る制御装置は、例えば、被写体情報に基づいて、所定の領域に含まれる全ての所定の被写体が、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、所定の被写体を撮像する複数の撮像デバイスを決定する。
ここで、本実施形態に係る被写体情報とは、所定の被写体の状態を示すデータである。本実施形態に係る所定の被写体の状態については、後述する。
本実施形態に係る被写体情報は、例えば、複数の撮像デバイスそれぞれから取得される撮像画像に基づいて生成される。被写体情報を生成する処理は、本実施形態に係る制御装置が行ってもよいし、サーバなどの本実施形態に係る制御装置の外部装置において行われてもよい。
本実施形態に係る制御装置は、例えば、“複数の撮像デバイスそれぞれから取得される撮像画像に基づいて被写体情報を生成すること”、または、“サーバなどの外部装置に対して被写体情報の送信命令を含む送信要求を送信し、当該外部装置から被写体情報を受信すること”によって、被写体情報を取得する。本実施形態に係る制御装置は、例えば、本実施形態に係る制御装置が備える通信部(後述する)、または、本実施形態に係る制御装置に接続される外部の通信デバイスによって、外部装置と通信を行う。以下では、上記被写体情報を生成して被写体情報を取得する処理と、上記送信要求を送信して被写体情報を取得する処理とを、総称して「取得処理」と示す場合がある。
なお、本実施形態に係る制御装置が被写体情報を取得する方法は、本実施形態に係る制御装置が取得処理を行うことに限られない。例えば、サーバなどの外部装置において被写体情報が生成される場合、本実施形態に係る制御装置は、当該外部装置が主体的に送信する被写体情報を、能動的に受信することによって、被写体情報を取得することも可能である。
つまり、本実施形態に係る制御装置は、例えば、本実施形態に係る制御方法に係る処理として取得処理を行うことによって取得された被写体情報に基づいて、制御処理を行うことが可能であり、また、外部装置から能動的に取得された被写体情報に基づいて、制御処理を行うことも可能である。
また、所定の領域とは、複数の撮像デバイスにより撮像することが可能な領域である。所定の領域は、上述したように、撮像デバイスによる撮像の対象となる領域に該当する。
本実施形態に係る制御方法がスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合を例に挙げると、所定の領域としては、例えば、コートやグラウンドなどのスポーツが行われる空間が、挙げられる。また、本実施形態に係る制御方法がスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合、所定の領域は、例えば、コートやグラウンドなどの全域であってもよいし、コートやグラウンドなどの一部の領域であってもよい。なお、本実施形態に係る所定の領域の例が、上記に示す例に限られないことは、言うまでもない。
また、所定の被写体とは、所定の領域が撮像された撮像画像に含まれるオブジェクトのうち、検出の対象となるオブジェクトである。
本実施形態に係る制御装置は、例えば、“複数の撮像デバイスそれぞれを、複数の撮像デバイスにより所定の領域全体が撮像される初期状態”にさせたときに取得される、撮像画像それぞれから検出される所定の被写体を、本実施形態に係る全ての所定の被写体とする。撮像デバイスを初期状態とさせた場合、撮像画像それぞれから検出される所定の被写体それぞれに対しては、IDが付される。所定の被写体に対するIDは、任意のオブジェクト検出技術を用いた画像処理によって検出された所定の被写体に対して、自動的に付されてもよいし、ユーザの操作に基づき手動で付されてもよい。本実施形態に係る撮像デバイスの初期状態の一例については、後述する。
また、サーバなどの外部装置から送信される被写体情報を受信する場合には、本実施形態に係る制御装置は、例えば、外部装置から得られた被写体情報それぞれが示す所定の被写体を、本実施形態に係る全ての所定の被写体としてもよい。以下では、本実施形態に係る全ての所定の被写体が、撮像デバイスを初期状態とさせたときに取得される、撮像画像それぞれから検出される所定の被写体である場合を、主に説明する。
本実施形態に係る制御方法がスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合を例に挙げると、所定の被写体としては、例えば、選手とボールとの一方または双方(スポーツが球技である場合における所定の被写体の一例)が、挙げられる。
ここで、所定の被写体が選手およびボールである場合、選手よりもボールが小さいことにより、撮像画像に含まれる選手の画像サイズが、撮像画像に含まれるボールの画像サイズよりも大きくなるケースが多い。また、所定の被写体が選手およびボールである場合、ボールの動きは、選手の動きよりも速いケースが多い。よって、所定の被写体を追尾する処理(以下「トラッキング処理」と示す場合がある。)を想定すると、所定の被写体が選手およびボールである場合には、撮像画像に基づき選手を追尾するよりも、撮像画像に基づきボールを追尾する方が、より困難となりうる。
本実施形態に係る制御処理が行われることによって、上述したように、全ての所定の被写体それぞれが、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスがそれぞれ制御される。よって、本実施形態に係る制御処理が行われることによって、撮像画像に基づくトラッキング処理による所定の被写体の追尾を、より容易化することができうる。
なお、本実施形態に係る所定の被写体の例が、上記に示す例に限られないことは、言うまでもない。
上述したように、本実施形態に係る制御装置は、複数の撮像デバイスそれぞれの制御として、例えば、複数の撮像デバイスそれぞれの撮像方向の制御と、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方を行う。本実施形態に係る制御装置は、例えば、下記の(a)〜(c)に示すように、撮像デバイスを制御する。
(a)撮像される被写体の画像サイズの制御(撮像デバイスの撮像における被写体の拡大または縮小の制御の一例)
図4は、本実施形態に係る撮像画像の一例を示す説明図である。図4のAは、サッカーのグラウンド(所定の領域の一例)が撮像された撮像画像の一例を示しており、図4のBは、サッカーのグラウンドが撮像された撮像画像の他の例を示している。
図4は、本実施形態に係る撮像画像の一例を示す説明図である。図4のAは、サッカーのグラウンド(所定の領域の一例)が撮像された撮像画像の一例を示しており、図4のBは、サッカーのグラウンドが撮像された撮像画像の他の例を示している。
例えば図4のAに示すように、撮像画像に含まれる選手(所定の被写体の一例。以下、同様とする。)が小さい場合には、例えば、撮像画像から選手を検出することができないこと、または、検出された選手の判別ができないことなどが、生じうる。そのため、例えば図4のAに示すように撮像画像に含まれる選手が小さい場合には、撮像画像に基づいて選手を追尾することができなくなるなど、撮像画像に基づく処理に支障がでる恐れがある。
そこで、本実施形態に係る制御装置は、図4のBに示すように、撮像画像に含まれる所定の被写体が一定以上の大きさで撮像されるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。
ここで、本実施形態に係る制御装置は、例えば、所定の被写体全体の画像サイズ、または、所定の被写体の一部の画像サイズが、設定されている画像サイズよりも大きくなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。
例えば、撮像画像にボール(所定の被写体の一例)が含まれる場合には、本実施形態に係る制御装置は、撮像画像におけるボールの画像サイズが、20×20[Pixel]程度以上の大きさとなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。また、例えば、撮像画像に、1人または2人以上の選手(所定の被写体の一例)が含まれる場合には、本実施形態に係る制御装置は、撮像画像に含まれる全ての選手の顔の画像サイズ、または、撮像画像に含まれる全ての選手のユニフォームに付されている番号の画像サイズが、20×20[Pixel]程度以上の大きさとなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。また、例えば、撮像画像にボール(所定の被写体の一例)、および1人または2人以上の選手(所定の被写体の一例)が含まれる場合には、本実施形態に係る制御装置は、“撮像画像におけるボールの画像サイズ”、および“撮像画像に含まれる全ての選手の顔の画像サイズ、または、撮像画像に含まれる全ての選手のユニフォームに付されている番号の画像サイズ”が、20×20[Pixel]程度以上の大きさとなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。
本実施形態に係る制御装置は、例えば上記のように、所定の被写体の種類によって、所定の被写体全体の画像サイズ、または、所定の被写体の一部の画像サイズが、設定されている画像サイズよりも大きくなるように、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小を制御する。
ここで、所定の被写体全体の画像サイズを制御の基準とするか、または、所定の被写体の一部の画像サイズを制御の基準とするかは、例えば、所定の被写体の識別が、所定の被写体全体で行われるか、または、所定の被写体の一部で行われるかに基づく。例えば上記では、“選手の識別が、顔(所定の被写体の一部の一例)、または、ユニフォームに付されている番号(所定の被写体の一部の一例)により行われる場合”を例示している。
また、上記では、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御に係る画像サイズとして、20×20[Pixel]程度を例示しているが、所定の被写体の識別を行うことが可能な、任意の画像サイズとすることが可能である。
なお、本実施形態に係る制御装置における、複数の撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御の例が、上記に示す例に限られないことは、言うまでもない。
(b)撮像デバイスの状態の変化量の制御(撮像デバイスの撮像方向の制御、撮像デバイスの撮像における被写体の拡大または縮小の制御、および撮像デバイスの位置のうちの1または2以上の制御の一例)
撮像デバイスの状態(姿勢、ズーム、位置のうちの1または2以上)の変更が完了するまでには、時間がかかる。そのため、例えばスポーツを想定すると、選手やボールなどの所定の被写体の位置などの、所定の被写体の状況は、撮像デバイスの状態の変更が完了するまでに、変わりうる。
撮像デバイスの状態(姿勢、ズーム、位置のうちの1または2以上)の変更が完了するまでには、時間がかかる。そのため、例えばスポーツを想定すると、選手やボールなどの所定の被写体の位置などの、所定の被写体の状況は、撮像デバイスの状態の変更が完了するまでに、変わりうる。
また、所定の領域における所定の被写体の状況のちょっとした変化で、撮像デバイスの状態を大きく変えると、撮像デバイスの状態遷移が不安定となる恐れがある。
そこで、本実施形態に係る制御装置は、例えば、撮像デバイスの状態の変化にヒステリシスを設けること、撮像デバイスの状態の変化量に上限を設けること、あるいは、これらの組み合わせなどによって、現在の撮像デバイスの状態から滑らかに変化するように、撮像デバイスの状態の変化量を制御する。
(c)所定の被写体を撮像する撮像デバイスの割り当てに係る制御
図5は、本実施形態に係る複数の撮像デバイスにおける撮像範囲の一例を示す説明図である。図5のAは、サッカーのグラウンド(所定の領域の一例)を撮像する複数の撮像デバイスにおける撮像範囲の一例を示しており、図5のBは、サッカーのグラウンドを撮像する複数の撮像デバイスにおける撮像範囲の他の例を示している。
図5は、本実施形態に係る複数の撮像デバイスにおける撮像範囲の一例を示す説明図である。図5のAは、サッカーのグラウンド(所定の領域の一例)を撮像する複数の撮像デバイスにおける撮像範囲の一例を示しており、図5のBは、サッカーのグラウンドを撮像する複数の撮像デバイスにおける撮像範囲の他の例を示している。
上述したように、本実施形態に係る制御装置は、所定の領域に含まれる全ての所定の被写体それぞれが、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。
よって、例えば図5のAに示すように、所定の領域内において所定の被写体が偏って存在している場合には、所定の領域における所定の被写体が存在している一部の領域が全ての撮像デバイスによって撮像されることによって、全ての所定の被写体が少なくとも2台以上の撮像デバイスによって撮像される。このとき、撮像デバイスのズーム倍率(画角)は、上記(a)に示す制御の例外として、撮像デバイスが撮像する所定の被写体が撮像される最長の焦点距離に設定されてもよい。
また、例えば図5のBに示すように、所定の領域内において所定の被写体の偏りが少ない場合には、所定の被写体それぞれは、撮像デバイスとの距離がより近い、少なくとも2台以上の撮像デバイスによって、撮像される。
[2−2]制御処理の具体例
次に、本実施形態に係る制御方法に係る制御処理について、より具体的に説明する。
次に、本実施形態に係る制御方法に係る制御処理について、より具体的に説明する。
上述したように、本実施形態に係る制御装置は、所定の領域に含まれる全ての所定の被写体それぞれが、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。本実施形態に係る制御装置は、例えば、下記の(1)に示す処理〜(3)に示す処理のいずれかの処理を行うことによって、複数の撮像デバイスをそれぞれ制御する。
(1)制御処理の第1の例
本実施形態に係る制御装置は、被写体情報が示す所定の被写体の状態と、撮像デバイスの状態の変化との一方または双方に基づいて、所定の被写体それぞれを撮像する複数の撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する。
本実施形態に係る制御装置は、被写体情報が示す所定の被写体の状態と、撮像デバイスの状態の変化との一方または双方に基づいて、所定の被写体それぞれを撮像する複数の撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する。
本実施形態に係る所定の被写体の状態は、撮像画像に基づき検出される。ここで、本実施形態に係る所定の被写体の状態としては、例えば、所定の被写体の大きさと、所定の被写体の密集の度合いとの一方または双方が挙げられる。
本実施形態に係る所定の被写体の大きさは、例えば、撮像画像における所定の被写体の画像サイズに基づき求められる。
図6は、本実施形態に係る所定の被写体の大きさを求めるための関数の一例を説明するための説明図である。図6では、横軸に示す“被写体サイズ”が所定の被写体の画像サイズに該当する。また、図6では、縦軸に示す“Sij”が、番号i(iは、正の整数)が付された撮像デバイスによって撮像されている、番号j(jは、正の整数)が付された所定の被写体の大きさに該当する。
本実施形態に係る制御装置は、例えば図6に示すような関数を用いることによって、所定の被写体の画像サイズに対応する所定の被写体の大きさを求める。
なお、本実施形態に係る所定の被写体の大きさを求める方法は、上記に示す例に限られない。
例えば、本実施形態に係る制御装置は、撮像デバイスと所定の被写体との距離に基づいて、所定の被写体の大きさを求めることが可能である。本実施形態に係る制御装置は、例えば、撮像デバイスと所定の被写体との距離の逆数と所定の被写体の大きさとの関数を用いることによって、撮像デバイスと所定の被写体との距離の逆数に対応する所定の被写体の大きさを求める。また、本実施形態に係る制御装置は、例えば、距離と大きさとが対応付けられているテーブル(または、データベース)を参照することによって、撮像デバイスと所定の被写体との距離に対応する所定の被写体の大きさを得ることも可能である。
本実施形態に係る所定の被写体の密集の度合いは、例えば、撮像画像における一の所定の被写体と他の所定の被写体との距離に基づき求められる。
図7は、本実施形態に係る所定の被写体の密集の度合いの求め方の一例を説明するための説明図である。図7のAは、所定の被写体の密集の度合いの一例を示しており、密集度が低い状態と密集度が高い状態との一例を示している。また、図7のBは、所定の被写体の密集の度合いを求めるための関数の一例を示している。図7のBでは、横軸に示す“被写体間の距離の総和”が、撮像画像における一の所定の被写体と他の所定の被写体との距離の総和に該当する。また、図7のBでは、縦軸に示す“Dij”が、番号iが付された撮像デバイスによって撮像されている、番号jが付された所定の被写体における密集度に該当する。
ここで、図7のBに示す被写体間の距離の総和は、番号jが付された所定の被写体と、所定の領域に含まれる他の全ての所定の被写体との距離の総和であってもよい。図7のBに示す被写体間の距離の総和を“番号jが付された所定の被写体と、所定の領域に含まれる他の全ての所定の被写体との距離の総和”とする場合には、番号jが付された所定の被写体と、番号iが付された撮像デバイスの画角外の所定の被写体(すなわち撮像画像に含まれていない所定に被写体)との距離は、“0”(ゼロ)とされる。
また、撮像デバイスの状態の変化は、撮像デバイスの状態の変化を示す変化量によって表される。撮像デバイスの状態の変化を示す変化量は、例えば、撮像デバイスの位置、撮像デバイスの姿勢(ロール、ピッチ、ヨー)、および撮像デバイスのズーム(焦点距離)それぞれの変化量に基づいて、要素ごとの重み付け線形和をとることによって、求められる。
より具体的には、本実施形態に係る制御装置は、全ての所定の被写体それぞれが少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、所定の被写体それぞれに対して撮像デバイスを割り当てる。
図8は、本実施形態に係る所定の被写体それぞれに対する撮像デバイスを割り当ての一例を説明するための説明図である。図8では、所定の被写体が、選手およびボールである例を示している。また、図8では、“○”で示されている撮像デバイスと所定の被写体との組み合わせが、所定の被写体に対して割り当てられた撮像デバイスを示している。
本実施形態に係る制御装置は、例えば図8に示すように所定の被写体それぞれに対して撮像デバイスを割り当てると、所定の被写体の状態と撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出する。
本実施形態に係る制御装置は、例えば下記の数式1に示す演算を行うことによって、評価値Fを算出する。
ここで、下記の数式1は、所定の被写体の状態と撮像デバイスの状態の変化との双方に基づいて評価値を算出する場合の演算の一例を示している。数式1に示す“Sji”は、所定の被写体の大きさを示しており、数式1に示す“Dji”は、所定の被写体の密集度を示している。また、数式1に示す“Tj”は、撮像デバイスの状態の変化量を示している。また、数式1に示す“(WS,WD,WT)”は、重み付けを示している。なお、数式1に示す“(WS,WD,WT)”は、所定の被写体ごとに異なる値であってもよい。
なお、本実施形態に係る評価値の算出方法が、上記数式1に示す例に限られないことは、言うまでもない。
評価値が算出されると、本実施形態に係る制御装置は、算出された評価値に基づいて、所定の被写体それぞれを画角に収める撮像デバイスを決定する。
本実施形態に係る制御装置は、例えば、“全ての所定の被写体それぞれが少なくとも2台以上の撮像デバイスによって撮像される”という条件を満たす、異なる複数の割り当てパターンそれぞれに対して、評価値を算出する。そして、本実施形態に係る制御装置は、算出された複数の評価値のうちの、算出された評価値が最も高い割り当てパターンによって、所定の被写体それぞれを撮像する撮像デバイスを決定する。つまり、本実施形態に係る制御装置は、算出された評価値が最も高くなるように、所定の被写体それぞれを撮像する撮像デバイスを決定する。
なお、評価値に基づく所定の被写体それぞれを撮像する撮像デバイスの決定方法は、上記に示す例に限られない。
例えば、本実施形態に係る制御装置は、算出された評価値が、設定されている閾値よりも大きい場合(または、評価値が当該閾値以上である場合)に、当該評価値に対応する割り当てパターンによって、所定の被写体それぞれを撮像する撮像デバイスを決定してもよい。上記評価値に係る閾値としては、例えば、予め設定されている固定の閾値、または、ユーザの操作などに基づき変更可能な可変の閾値が挙げられる。
上記のような閾値処理によって、所定の被写体それぞれを撮像する撮像デバイスが決定される場合には、上述した算出された評価値が最も高くなるように所定の被写体それぞれを撮像する撮像デバイスが決定される場合よりも、より短時間で所定の被写体それぞれを撮像する撮像デバイスを決定することができうる。
例えば上記のように所定の被写体それぞれを撮像する撮像デバイスが決定されると、本実施形態に係る制御装置は、複数の撮像デバイスをそれぞれ制御し、撮像デバイスそれぞれに、決定された所定の被写体を撮像させる。
(2)制御処理の第2の例
上記第1の例に係る制御処理では、所定の被写体それぞれに対して撮像デバイスを割り当てることによって、所定の被写体それぞれを撮像する撮像デバイスを決定する例を示したが、本実施形態に係る制御処理は、上記第1の例に係る制御処理に限られない。
上記第1の例に係る制御処理では、所定の被写体それぞれに対して撮像デバイスを割り当てることによって、所定の被写体それぞれを撮像する撮像デバイスを決定する例を示したが、本実施形態に係る制御処理は、上記第1の例に係る制御処理に限られない。
例えば、本実施形態に係る制御装置は、所定の被写体をグループ化する(またはセグメント化する)。そして、所定の被写体がグループ化された場合には、本実施形態に係る制御装置は、所定の被写体のグループそれぞれが、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。
図9は、本実施形態に係る所定の被写体のグループ化の一例を説明するための説明図である。図9では、所定の領域に含まれる所定の被写体が、グループ1とグループ2という2つのグループに分類された例を示している。
本実施形態に係る制御装置は、例えば、一の所定の被写体と他の所定の被写体との距離に基づいて、所定の被写体をグループ化する。本実施形態に係る制御装置は、所定の被写体間の距離が、設定されている閾値よりも小さい場合(または、所定の被写体間の距離が当該閾値以下の場合)に、これらの所定の被写体をグループ化する。上記グループ化に係る閾値としては、例えば、予め設定されている固定の閾値、または、ユーザの操作などに基づき変更可能な可変の閾値が挙げられる。また、上記のような閾値処理を利用する方法によって所定の被写体をグループ化する場合には、複数の所定の被写体を含むグループと、1つの所定の被写体を含むグループとが混在してもよい。
なお、本実施形態に係る所定の被写体をグループ化する方法は、上記のような閾値処理を利用する方法に限られず、所定の被写体は、所定の被写体をグループ化することが可能な、任意の方法によってグループ化されてもよい。
所定の被写体がグループ化された場合、本実施形態に係る制御装置は、撮像画像に基づき検出される所定の被写体のグループの状態と、撮像デバイスの状態の変化との一方または双方に基づいて、所定の被写体のグループそれぞれを画角に収める撮像デバイスを決定して、複数の撮像デバイスをそれぞれ制御する。
ここで、本実施形態に係る所定の被写体のグループの状態としては、所定の被写体のグループの大きさと、所定の被写体のグループの密集の度合いとの一方または双方が挙げられる。
本実施形態に係る所定の被写体のグループの大きさは、例えば、撮像画像におけ所定の被写体のグループの画像サイズに基づき求められる。本実施形態に係る制御装置は、例えば上記第1の例に係る制御処理において所定の被写体の大きさを求める場合と同様に、図6に示すような関数を用いることなどによって、所定の被写体のグループの画像サイズに対応する所定の被写体の大きさを求める。
本実施形態に係る所定の被写体のグループの密集の度合いは、例えば、グループ内に属する所定の被写体の密集度の総和などによって、求められる。
より具体的には、本実施形態に係る制御装置は、全ての所定の被写体のグループそれぞれが少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、全ての所定の被写体のグループそれぞれに対して撮像デバイスを割り当てる。
図10は、本実施形態に係る所定の被写体のグループそれぞれに対する撮像デバイスを割り当ての一例を説明するための説明図である。図10では、“○”で示されている撮像デバイスと所定の被写体のグループとの組み合わせが、所定の被写体のグループに対して割り当てられた撮像デバイスを示している。
本実施形態に係る制御装置は、例えば図10に示すように所定の被写体のグループそれぞれに対して撮像デバイスを割り当てると、所定の被写体のグループの状態と撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出する。
本実施形態に係る制御装置は、例えば、上記第1の例に係る制御処理における評価値の算出と同様の演算(例えば、上記数式1の各要素を、所定の被写体のグループの状態と撮像デバイスの状態の変化とに置き換えた演算)を行うことによって、評価値を算出する。
評価値が算出されると、本実施形態に係る制御装置は、算出された評価値に基づいて、所定の被写体のグループそれぞれを撮像する撮像デバイスを決定する。
本実施形態に係る制御装置は、例えば上記第1の例に係る制御処理と同様に、算出された評価値が最も高くなるように、所定の被写体のグループそれぞれを撮像する撮像デバイスを、決定する。また、本実施形態に係る制御装置は、例えば上記第1の例に係る制御処理と同様に、評価値に係る閾値を用いた閾値処理によって、所定の被写体のグループそれぞれを撮像する撮像デバイスを決定することも可能である。
例えば上記のように所定の被写体のグループそれぞれを撮像する撮像デバイスが決定されると、本実施形態に係る制御装置は、複数の撮像デバイスをそれぞれ制御し、撮像デバイスそれぞれに、決定された所定の被写体のグループを、撮像させる。
第2の例に係る制御処理では、上記のように、第1の例に係る制御処理における所定の被写体を、所定の被写体のグループに置き換えた処理が行われる。よって、第2の例に係る制御処理が行われる場合には、所定の被写体のグループの数は、第1の例に係る制御処理における所定の被写体の数以下となるので、第1の例に係る制御処理よりも処理に係る負荷をより小さくすることが可能となる。
(3)制御処理の第3の例
本実施形態に係る制御装置は、例えば、ユーザの操作に基づいて、上記第1の例に係る制御処理と、上記第2の例に係る制御処理とを切り替えることが可能である。
本実施形態に係る制御装置は、例えば、ユーザの操作に基づいて、上記第1の例に係る制御処理と、上記第2の例に係る制御処理とを切り替えることが可能である。
また、上記第1の例に係る制御処理と上記第2の例に係る制御処理との切り替えは、本実施形態に係る制御装置の処理負荷などに基づいて、動的に切り替えられてもよい。本実施形態に係る制御装置の処理負荷に基づき動的に切り替える場合、本実施形態に係る制御装置は、例えば、プロセッサの使用率が所定の閾値より小さい場合(処理負荷が高いと判定されない場合の一例)に、上記第1の例に係る制御処理を行う。また、本実施形態に係る制御装置は、例えば、プロセッサの使用率が所定の閾値以上である場合(処理負荷が高いと判定される場合の一例)に、上記第2の例に係る制御処理を行う。
本実施形態に係る制御装置は、例えば上記(1)に示す第1の例に係る制御処理〜上記(3)に示す第3の例に係る制御処理のいずれかの処理を行うことによって、複数の撮像デバイスをそれぞれ制御する。
なお、本実施形態に係る制御処理は、上述した例に限られない。
例えば、本実施形態に係る制御方法がスポーツが行われる空間を撮像する複数の撮像デバイスの制御に適用される場合など、本実施形態に係る制御方法が適用可能な様々なケースを想定すると、選手やボールなどの所定の被写体の位置は、変わりうる。そのため、本実施形態に係る制御方法により、一旦、全ての所定の被写体それぞれが少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように複数の撮像デバイスが制御されたとしても、所定の被写体が移動することなどによって、いずれかの所定の被写体が所定の領域内のどこに位置しているかが分からなくなることが、起こりうる。つまり、一旦、全ての所定の被写体それぞれが少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように複数の撮像デバイスが制御されたとしても、撮像画像に基づくトラッキング処理による所定の被写体の追尾が行えなくなる恐れがある。
そこで、本実施形態に係る制御装置は、例えば、“全ての所定の被写体のうちの少なくとも1つの所定の被写体の位置が、複数の撮像デバイスそれぞれから取得される撮像画像から検出されないと判定した場合”には、複数の撮像デバイスそれぞれを、初期状態にさせる。
本実施形態に係る制御装置は、例えば、複数の撮像デバイスそれぞれから取得される撮像画像に基づき位置を特定することができない所定の被写体が、検出されたときに、全ての所定の被写体のうちの少なくとも1つの所定の被写体の位置が検出されないと判定する。
また、本実施形態に係る制御装置は、例えば、設定されている所定の時間以上、少なくとも1つの所定の被写体の位置が検出されない状態が継続したとき(または、所定の時間を越えて、少なくとも1つの所定の被写体の位置が検出されない状態が継続したとき。以下、同様とする。)に、全ての所定の被写体のうちの少なくとも1つの所定の被写体の位置が検出されないと判定してもよい。ここで、上記所定の時間としては、例えば、10[秒]や20[秒]などが挙げられる。また、上記所定の時間は、予め設定されている固定の時間であってもよいし、ユーザの操作などに基づいて変更可能な可変の時間であってもよい。
上記のように、少なくとも1つの所定の被写体の位置が検出されない状態が生じてから、全ての所定の被写体のうちの少なくとも1つの所定の被写体の位置が検出されないと判定するまでに、所定の時間を設けることによって、撮像デバイスが頻繁に初期状態となることを防止することが可能となる。よって、少なくとも1つの所定の被写体の位置が検出されない状態が生じてから、全ての所定の被写体のうちの少なくとも1つの所定の被写体の位置が検出されないと判定するまでに、所定の時間を設けることによって、ロバスト性の向上を図ることができる。
また、少なくとも1つの所定の被写体の位置が検出されない状態が生じてから所定の時間が経過するまでの間、本実施形態に係る制御装置は、例えば、位置を特定することができない所定の被写体を除いた状態で、上記(1)に示す第1の例に係る制御処理〜上記(3)に示す第3の例に係る制御処理のいずれかの処理を行ってもよい。
図11は、本実施形態に係る複数の撮像デバイスの初期状態の一例を説明するための説明図である。図11のAは、全ての所定の被写体それぞれが、少なくとも2台以上の撮像デバイスによって撮像されている状態の一例を示している。また、図11のBは、複数の撮像デバイスそれぞれを初期状態にさせた状態の一例を示している。
図11のBに示すように、初期状態では、各撮像デバイスの画角が広角な状態(ワイド端の状態)にされ、複数の撮像デバイスによってグラウンド(所定の領域の一例)全体が撮像される。そして、本実施形態に係る制御装置は、図11のBに示すように複数の撮像デバイスを初期状態とさせることによって、再度検出された全ての所定の被写体それぞれが、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。
[2−3]制御処理を利用した処理の一例
次に、本実施形態に係る制御方法に係る制御処理を利用した処理について説明する。
次に、本実施形態に係る制御方法に係る制御処理を利用した処理について説明する。
図12は、本実施形態に係る制御方法に係る制御処理を利用した処理の一例を示す流れ図であり、制御処理を利用したトラッキング処理の一例を示している。図12では、本実施形態に係る制御方法が、サッカーが行われるグラウンド(所定の領域の一例)において選手およびボール(所定の被写体の一例)を撮像する、複数の撮像デバイスの制御に適用される場合を例に挙げる。ここで、図12では、例えば図12のステップS100〜S106、S114の処理が、本実施形態に係る制御処理の一例に該当する。
本実施形態に係る制御装置は、撮像デバイスそれぞれを初期状態にさせる(S100)。本実施形態に係る制御装置は、例えば、撮像デバイスそれぞれの画角を図11のBに示すような広角な状態とし、また、撮像デバイスそれぞれの位置を初期位置に移動させる。
本実施形態に係る制御装置は、各撮像デバイスから取得された撮像画像から所定の被写体を検出し、所定の被写体に対してID付けを行う(S102)。所定の被写体に対するID付けは、上述したように、任意のオブジェクト検出技術を用いた画像処理によって検出された所定の被写体に対して自動的に行われてもよいし、ユーザの操作に基づき手動で行われてもよい。
本実施形態に係る制御装置は、所定の被写体に対する撮像デバイスの割り当てを行う(S104)。本実施形態に係る制御装置は、例えば、上記(1)に示す第1の例に係る制御処理と上記(2)に示す第2の例に係る制御処理とにおいて示したように、評価値に基づいて所定の被写体に対する撮像デバイスを割り当てる。
ステップS104において所定の被写体に対する撮像デバイスの割り当てが行われると、本実施形態に係る制御装置は、例えば、撮像デバイスそれぞれの姿勢、ズーム(焦点距離)を調整する(S106)。また、位置を変更することが可能な撮像デバイスが存在する場合には、本実施形態に係る制御装置は、さらに撮像デバイスの位置を調整してもよい。
ステップS106の処理が行われると、本実施形態に係る制御装置は、トラッキング処理を行い、所定の被写体それぞれを撮像デバイスに追尾させる(S108)。
本実施形態に係る制御装置は、所定の被写体それぞれの位置と、撮像デバイスそれぞれの位置および姿勢を算出する(S110)。所定の被写体の位置は、例えば三角測量を利用することによって、撮像画像に基づき得られる。また、撮像デバイスの位置および姿勢は、例えば、撮像デバイスが備える位置の特定に用いることが可能なセンサの検出結果と、Structure from Motion技術などを用いた撮像画像の処理結果との一方または双方によって、得られる。
また、本実施形態に係る制御装置は、例えば、ステップS110において算出された結果を示す情報を、記憶部(後述する)や本実施形態に係る制御装置に接続されている外部の記録媒体などの、任意の記録媒体に記録させてもよい。ステップS110において算出された結果を示す情報が記録媒体に記憶されることによって、例えばスポーツの試合の解析などの、所定の被写体の位置や撮像デバイスの状態の履歴を利用した様々な解析が、可能となる。
本実施形態に係る制御装置は、処理を終了するか否かを判定する(S112)。本実施形態に係る制御装置は、例えば、処理を終了させるユーザの所定の操作(例えば、終了ボタンの押下など)が検出された場合に、処理を終了すると判定する。また、本実施形態に係る制御装置は、撮像画像などに基づいて所定のイベントが検出された場合に、処理を終了すると判定してもよい。ここで、ステップS112において処理を終了すると判定される場合としては、例えば、サッカーの試合の前半が終了した場合(上記所定のイベントの一例)、または、サッカーの試合が終了した場合(上記所定のイベントの他の例)などが、挙げられる。
ステップS112において処理を終了すると判定された場合には、本実施形態に係る制御装置は、図12に示す処理を終了する。
また、ステップS112において処理を終了すると判定されない場合には、本実施形態に係る制御装置は、全ての選手およびボール(全ての所定の被写体)の位置が、把握されているか否かを判定する(S114)。本実施形態に係る制御装置は、例えば、全ての所定の被写体のうちの少なくとも1つの所定の被写体の位置が、複数の撮像デバイスそれぞれから取得される撮像画像から検出されないと判定した場合に、全ての選手およびボールの位置が把握されていないと判定する。
ステップS114において、全ての選手およびボールの位置が把握されていると判定された場合には、本実施形態に係る制御装置は、ステップS104からの処理を繰り返す。また、ステップS114において、全ての選手およびボールの位置が把握されていると判定されない場合には、本実施形態に係る制御装置は、ステップS100からの処理を繰り返す。
本実施形態に係る制御装置は、制御処理を利用したトラッキング処理として、例えば図12に示す処理を行う。なお、本実施形態に係る制御処理を利用した処理の例が、図12に示す例に限られないことは、言うまでもない。
(本実施形態に係る制御装置)
次に、上述した本実施形態に係る制御方法に係る処理を行うことが可能な本実施形態に係る制御装置の構成の一例について、説明する。
次に、上述した本実施形態に係る制御方法に係る処理を行うことが可能な本実施形態に係る制御装置の構成の一例について、説明する。
図13は、本実施形態に係る制御装置100の構成の一例を示すブロック図である。制御装置100は、例えば、通信部102と、制御部104とを備える。
また、制御装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。制御装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、制御装置100が備える記憶手段であり、例えば、距離と大きさとが対応付けられているテーブル(または、データベース)などの、本実施形態に係る制御方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、制御装置100から着脱可能であってもよい。
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[制御装置100のハードウェア構成例]
図14は、本実施形態に係る制御装置100のハードウェア構成の一例を示す説明図である。制御装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、制御装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
図14は、本実施形態に係る制御装置100のハードウェア構成の一例を示す説明図である。制御装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、制御装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、制御装置100全体を制御する制御部104として機能する。また、MPU150は、制御装置100において、例えば、後述する処理部110の役目を果たす。なお、処理部110は、処理部110の処理を実現可能な専用の(または汎用の)回路(例えば、MPU150とは別体のプロセッサなど)で構成されていてもよい。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、距離と大きさとが対応付けられているテーブルなどの本実施形態に係る制御方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、制御装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
また、操作入力デバイス160は、例えば、制御装置100上に備えられ、制御装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス162は、例えば、制御装置100上に備えられ、制御装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、制御装置100の外部の操作入力デバイス(例えば、キーボードやマウスなど)や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、制御装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、例えば、制御対象の撮像デバイスなどの外部装置と、無線または有線で通信を行うための通信部102として機能する。
ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
制御装置100は、例えば図14に示す構成によって、本実施形態に係る制御方法に係る処理を行う。なお、本実施形態に係る制御装置100のハードウェア構成は、図14に示す構成に限られない。
例えば、制御装置100は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース164を備えていなくてもよい。また、通信インタフェース164は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
また、制御装置100は、例えば、撮像部(図示せず)の役目を果たす撮像デバイスを、さらに備えていてもよい。
撮像デバイスを備える場合、制御装置100では、例えば、撮像デバイスにおいて撮像により生成された撮像画像に基づいて、本実施形態に係る制御方法に係る処理を行うことが可能である。つまり、撮像デバイスをさらに備える場合には、制御装置100は、備えている撮像デバイスも制御処理による制御の対象としてもよい。
撮像デバイスは、例えば、レンズ/撮像素子と信号処理回路とを含んで構成される。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えばRAW現像に係る各種処理を行う。さらに、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。
また、制御装置100は、例えば、記録媒体156、操作入力デバイス160、表示デバイス162のうちの1または2以上を、備えない構成をとることが可能である。
また、例えば、図14に示す構成(または変形例に係る構成)の一部または全部は、1、または2以上のICで実現されてもよい。
再度図13を参照して、制御装置100の構成の一例について説明する。通信部102は、制御装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、制御対象の撮像デバイスなどの外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。
ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部102は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
制御部104は、例えばMPUなどで構成され、制御装置100全体を制御する役目を果たす。また、制御部104は、例えば、処理部110を備え、本実施形態に係る制御方法に係る処理を主導的に行う役目を果たす。
処理部110は、本実施形態に係る制御処理を主導的に行う役目を果たし、複数の撮像デバイスそれぞれから取得される撮像画像に基づいて、全ての所定の被写体それぞれが、少なくとも2台以上の撮像デバイスによって撮像される画角に収まるように、複数の撮像デバイスをそれぞれ制御する。処理部110は、例えば、上記(1)に示す第1の例に係る制御処理〜上記(3)に示す第3の例に係る制御処理のいずれかの処理を行うことによって、複数の撮像デバイスをそれぞれ制御する。
制御部104は、例えば処理部110を備えることによって、本実施形態に係る制御方法に係る処理(例えば、本実施形態に係る制御処理)を主導的に行う。
制御装置100は、例えば図13に示す構成によって、本実施形態に係る制御方法に係る処理(例えば、上記制御処理)を行う。
したがって、制御装置100は、例えば図13に示す構成によって、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることができる。
また、例えば図13に示す構成によって、制御装置100は、本実施形態に係る制御方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る制御装置の構成は、図13に示す構成に限られない。
例えば、本実施形態に係る制御装置は、図13に示す処理部110を、制御部104とは個別に備える(例えば、別の処理回路で実現する)ことができる。
また、上述したように、上記制御処理は、便宜上、本実施形態に係る制御方法に係る処理を切り分けたものである。よって、本実施形態に係る制御方法に係る処理を実現するための構成は、図13に示す構成に限られず、本実施形態に係る制御方法に係る処理の切り分け方に応じた構成をとることが可能である。
また、本実施形態に係る制御装置は、本実施形態に係る取得処理を主導的に行う役目を果たす取得部(図示せず)を、備えていてもよい。本実施形態に係る制御装置では、例えば、制御部104が取得部(図示せず)を備えていてもよいし、制御部104とは個別に備えられていてもよい。
また、通信部102と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る制御装置は、通信部102を備えていなくてもよい。
また、本実施形態に係る制御装置は、撮像デバイスを有する撮像部(図示せず)を、さらに備えていてもよい。撮像部(図示せず)を備える場合には、本実施形態に係る制御装置は、撮像部(図示せず)を構成する撮像デバイスを、制御処理による制御の対象とすることが可能である。
以上、本実施形態として、制御装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“PC(Personal Computer)やサーバなどのコンピュータ”、“放送などに用いられるカメラや、防犯カメラ、車載カメラなどの撮像機能を有する撮像装置”、“自動車などの移動体”、“タブレット型の装置”、“スマートフォンなどの通信装置”など、本実施形態に係る制御方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
また、本実施形態に係る制御装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした処理システムに適用されてもよい。本実施形態に係る制御方法に係る処理が行われる処理システムの一例としては、例えば、処理システムを構成する一の装置によって、本実施形態に係る制御処理が行われ、処理システムを構成する他の装置によって、トラッキング処理などの他の処理が行われるシステムが、挙げられる。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る制御装置として機能させるためのプログラム(例えば、“上記制御処理”、または“上記取得処理および上記制御処理”など、本実施形態に係る制御方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることができる。
コンピュータを、本実施形態に係る制御装置として機能させるためのプログラム(例えば、“上記制御処理”、または“上記取得処理および上記制御処理”など、本実施形態に係る制御方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、複数の撮像デバイスによる所定の領域に含まれる被写体の撮像を、より効率的に行わせることができる。
また、コンピュータを、本実施形態に係る制御装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る制御方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る制御装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する処理部を備える、制御装置。
(2)
前記処理部は、前記被写体情報が示す前記被写体の状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体それぞれを撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、(1)に記載の制御装置。
(3)
前記処理部は、
前記所定の領域に含まれる前記全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体それぞれに対して前記撮像デバイスを割り当て、前記被写体の状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
算出された評価値に基づいて、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、(2)に記載の制御装置。
(4)
前記処理部は、算出された前記評価値が最も高くなるように、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、(3)に記載の制御装置。
(5)
前記被写体情報は、前記被写体の大きさと、前記被写体の密集の度合いとの一方または双方を示す、(2)〜(4)のいずれか1つに記載の制御装置。
(6)
前記被写体の大きさは、前記撮像デバイスから取得される撮像画像における前記被写体の画像サイズに基づき求められる、(5)に記載の制御装置。
(7)
前記被写体の大きさは、前記撮像デバイスと前記被写体との距離に基づき求められる、(5)に記載の制御装置。
(8)
前記被写体の密集の度合いは、一の前記被写体と他の前記被写体との距離に基づき求められる、(5)〜(7)のいずれか1つに記載の制御装置。
(9)
前記処理部は、
一の前記被写体と他の前記被写体との距離に基づいて、複数の前記被写体をグループ化し、
前記被写体がグループ化された場合には、前記被写体のグループそれぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、複数の前記撮像デバイスをそれぞれ制御する、(1)〜(8)のいずれか1つに記載の制御装置。
(10)
前記被写体がグループ化された場合、
前記処理部は、前記撮像デバイスから取得される撮像画像に基づき検出される前記被写体のグループの状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、(9)に記載の制御装置。
(11)
前記処理部は、
全ての前記被写体のグループそれぞれが少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体のグループそれぞれに対して複数の前記撮像デバイスを割り当て、前記被写体のグループの状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
算出された評価値に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定する、(10)に記載の制御装置。
(12)
前記被写体のグループの状態は、前記被写体のグループの大きさと、前記被写体のグループの密集の度合いとの一方または双方である、(10)、または(11)に記載の制御装置。
(13)
全ての前記被写体は、前記処理部が、複数の前記撮像デバイスそれぞれを複数の前記撮像デバイスにより前記所定の領域全体が撮像される初期状態にさせたときに取得される、撮像画像それぞれから検出される前記被写体である、(1)〜(12)のいずれか1つに記載の制御装置。
(14)
前記処理部は、全ての前記被写体のうちの少なくとも1つの前記被写体の位置が、複数の前記撮像デバイスそれぞれから取得される撮像画像から検出されないと判定した場合には、複数の前記撮像デバイスそれぞれを、前記初期状態にさせる、(13)に記載の制御装置。
(15)
前記処理部は、複数の前記撮像デバイスそれぞれの制御として、複数の前記撮像デバイスそれぞれの撮像方向の制御と、複数の前記撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方を、行う、(1)〜(14)のいずれか1つに記載の制御装置。
(16)
前記処理部は、複数の前記撮像デバイスそれぞれの制御として、さらに、前記撮像デバイスの位置の制御を行う、(15)に記載の制御装置。
(17)
前記撮像デバイスを有する撮像部をさらに備える、(1)〜(16)のいずれか1つに記載の制御装置。
(18)
前記被写体情報を取得する取得部を備える、(1)〜(17)のいずれか1つに記載の制御装置。
(19)
被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御するステップを有する、制御装置により実行される制御方法。
(20)
被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する機能を、コンピュータに実現させるためのプログラム。
(1)
被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する処理部を備える、制御装置。
(2)
前記処理部は、前記被写体情報が示す前記被写体の状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体それぞれを撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、(1)に記載の制御装置。
(3)
前記処理部は、
前記所定の領域に含まれる前記全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体それぞれに対して前記撮像デバイスを割り当て、前記被写体の状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
算出された評価値に基づいて、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、(2)に記載の制御装置。
(4)
前記処理部は、算出された前記評価値が最も高くなるように、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、(3)に記載の制御装置。
(5)
前記被写体情報は、前記被写体の大きさと、前記被写体の密集の度合いとの一方または双方を示す、(2)〜(4)のいずれか1つに記載の制御装置。
(6)
前記被写体の大きさは、前記撮像デバイスから取得される撮像画像における前記被写体の画像サイズに基づき求められる、(5)に記載の制御装置。
(7)
前記被写体の大きさは、前記撮像デバイスと前記被写体との距離に基づき求められる、(5)に記載の制御装置。
(8)
前記被写体の密集の度合いは、一の前記被写体と他の前記被写体との距離に基づき求められる、(5)〜(7)のいずれか1つに記載の制御装置。
(9)
前記処理部は、
一の前記被写体と他の前記被写体との距離に基づいて、複数の前記被写体をグループ化し、
前記被写体がグループ化された場合には、前記被写体のグループそれぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、複数の前記撮像デバイスをそれぞれ制御する、(1)〜(8)のいずれか1つに記載の制御装置。
(10)
前記被写体がグループ化された場合、
前記処理部は、前記撮像デバイスから取得される撮像画像に基づき検出される前記被写体のグループの状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、(9)に記載の制御装置。
(11)
前記処理部は、
全ての前記被写体のグループそれぞれが少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体のグループそれぞれに対して複数の前記撮像デバイスを割り当て、前記被写体のグループの状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
算出された評価値に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定する、(10)に記載の制御装置。
(12)
前記被写体のグループの状態は、前記被写体のグループの大きさと、前記被写体のグループの密集の度合いとの一方または双方である、(10)、または(11)に記載の制御装置。
(13)
全ての前記被写体は、前記処理部が、複数の前記撮像デバイスそれぞれを複数の前記撮像デバイスにより前記所定の領域全体が撮像される初期状態にさせたときに取得される、撮像画像それぞれから検出される前記被写体である、(1)〜(12)のいずれか1つに記載の制御装置。
(14)
前記処理部は、全ての前記被写体のうちの少なくとも1つの前記被写体の位置が、複数の前記撮像デバイスそれぞれから取得される撮像画像から検出されないと判定した場合には、複数の前記撮像デバイスそれぞれを、前記初期状態にさせる、(13)に記載の制御装置。
(15)
前記処理部は、複数の前記撮像デバイスそれぞれの制御として、複数の前記撮像デバイスそれぞれの撮像方向の制御と、複数の前記撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方を、行う、(1)〜(14)のいずれか1つに記載の制御装置。
(16)
前記処理部は、複数の前記撮像デバイスそれぞれの制御として、さらに、前記撮像デバイスの位置の制御を行う、(15)に記載の制御装置。
(17)
前記撮像デバイスを有する撮像部をさらに備える、(1)〜(16)のいずれか1つに記載の制御装置。
(18)
前記被写体情報を取得する取得部を備える、(1)〜(17)のいずれか1つに記載の制御装置。
(19)
被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御するステップを有する、制御装置により実行される制御方法。
(20)
被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する機能を、コンピュータに実現させるためのプログラム。
100 制御装置
102 通信部
104 制御部
110 処理部
102 通信部
104 制御部
110 処理部
Claims (20)
- 被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する処理部を備える、制御装置。
- 前記処理部は、前記被写体情報が示す前記被写体の状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体それぞれを撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、請求項1に記載の制御装置。
- 前記処理部は、
前記所定の領域に含まれる前記全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体それぞれに対して前記撮像デバイスを割り当て、前記被写体の状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
算出された評価値に基づいて、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、請求項2に記載の制御装置。 - 前記処理部は、算出された前記評価値が最も高くなるように、前記被写体それぞれを画角に収める前記撮像デバイスを決定する、請求項3に記載の制御装置。
- 前記被写体情報は、前記被写体の大きさと、前記被写体の密集の度合いとの一方または双方を示す、請求項2に記載の制御装置。
- 前記被写体の大きさは、前記撮像デバイスから取得される撮像画像における前記被写体の画像サイズに基づき求められる、請求項5に記載の制御装置。
- 前記被写体の大きさは、前記撮像デバイスと前記被写体との距離に基づき求められる、請求項5に記載の制御装置。
- 前記被写体の密集の度合いは、一の前記被写体と他の前記被写体との距離に基づき求められる、請求項5に記載の制御装置。
- 前記処理部は、
一の前記被写体と他の前記被写体との距離に基づいて、複数の前記被写体をグループ化し、
前記被写体がグループ化された場合には、前記被写体のグループそれぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、複数の前記撮像デバイスをそれぞれ制御する、請求項1に記載の制御装置。 - 前記被写体がグループ化された場合、
前記処理部は、前記撮像デバイスから取得される撮像画像に基づき検出される前記被写体のグループの状態と、前記撮像デバイスの状態の変化との一方または双方に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する、請求項9に記載の制御装置。 - 前記処理部は、
全ての前記被写体のグループそれぞれが少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体のグループそれぞれに対して複数の前記撮像デバイスを割り当て、前記被写体のグループの状態と前記撮像デバイスの状態の変化との一方または双方に基づいて、評価値を算出し、
算出された評価値に基づいて、前記被写体のグループそれぞれを画角に収める前記撮像デバイスを決定する、請求項10に記載の制御装置。 - 前記被写体のグループの状態は、前記被写体のグループの大きさと、前記被写体のグループの密集の度合いとの一方または双方である、請求項10に記載の制御装置。
- 全ての前記被写体は、前記処理部が、複数の前記撮像デバイスそれぞれを複数の前記撮像デバイスにより前記所定の領域全体が撮像される初期状態にさせたときに取得される、撮像画像それぞれから検出される前記被写体である、請求項1に記載の制御装置。
- 前記処理部は、全ての前記被写体のうちの少なくとも1つの前記被写体の位置が、複数の前記撮像デバイスそれぞれから取得される撮像画像から検出されないと判定した場合には、複数の前記撮像デバイスそれぞれを、前記初期状態にさせる、請求項13に記載の制御装置。
- 前記処理部は、複数の前記撮像デバイスそれぞれの制御として、複数の前記撮像デバイスそれぞれの撮像方向の制御と、複数の前記撮像デバイスそれぞれの撮像における被写体の拡大または縮小の制御との一方または双方を、行う、請求項1に記載の制御装置。
- 前記処理部は、複数の前記撮像デバイスそれぞれの制御として、さらに、前記撮像デバイスの位置の制御を行う、請求項15に記載の制御装置。
- 前記撮像デバイスを有する撮像部をさらに備える、請求項1に記載の制御装置。
- 前記被写体情報を取得する取得部を備える、請求項1に記載の制御装置。
- 被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御するステップを有する、制御装置により実行される制御方法。
- 被写体の状態を示す被写体情報に基づいて、複数の撮像デバイスにより撮像される所定の領域に含まれる全ての前記被写体それぞれが、少なくとも2台以上の前記撮像デバイスによって撮像される画角に収まるように、前記被写体を撮像する複数の前記撮像デバイスを決定して、複数の前記撮像デバイスをそれぞれ制御する機能を、コンピュータに実現させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015235467A JP2017103619A (ja) | 2015-12-02 | 2015-12-02 | 制御装置、制御方法、およびプログラム |
CN201680068918.7A CN108370412B (zh) | 2015-12-02 | 2016-09-13 | 控制装置、控制方法和记录介质 |
PCT/JP2016/077004 WO2017094317A1 (ja) | 2015-12-02 | 2016-09-13 | 制御装置、制御方法、およびプログラム |
US15/777,801 US11025808B2 (en) | 2015-12-02 | 2016-09-13 | Control apparatus and control method |
US17/180,949 US20210174520A1 (en) | 2015-12-02 | 2021-02-22 | Control apparatus, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015235467A JP2017103619A (ja) | 2015-12-02 | 2015-12-02 | 制御装置、制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017103619A true JP2017103619A (ja) | 2017-06-08 |
Family
ID=58796847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015235467A Pending JP2017103619A (ja) | 2015-12-02 | 2015-12-02 | 制御装置、制御方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US11025808B2 (ja) |
JP (1) | JP2017103619A (ja) |
CN (1) | CN108370412B (ja) |
WO (1) | WO2017094317A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170014609A (ko) * | 2015-07-30 | 2017-02-08 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
WO2019077947A1 (ja) * | 2017-10-20 | 2019-04-25 | 信越化学工業株式会社 | 含フッ素コーティング剤組成物、表面処理剤及び物品 |
JP7341652B2 (ja) * | 2018-01-12 | 2023-09-11 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム、およびシステム |
EP3944086B1 (en) * | 2019-03-18 | 2023-09-06 | JVCKenwood Corporation | Information delivery device, information delivery method, and information delivery program |
CN111818270B (zh) * | 2020-09-10 | 2021-02-19 | 视见科技(杭州)有限公司 | 用于多机位摄像的自动控制方法和系统 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5756982A (en) * | 1990-09-11 | 1998-05-26 | Metrologic Instruments, Inc. | Body-wearable automatic laser scanner with power-conserving control subsystem |
US7483049B2 (en) * | 1998-11-20 | 2009-01-27 | Aman James A | Optimizations for live event, real-time, 3D object tracking |
JP2003289465A (ja) | 2002-03-28 | 2003-10-10 | Fuji Photo Film Co Ltd | 撮影システム及び撮影方法 |
US7301569B2 (en) | 2001-09-28 | 2007-11-27 | Fujifilm Corporation | Image identifying apparatus and method, order processing apparatus, and photographing system and method |
JP4568009B2 (ja) * | 2003-04-22 | 2010-10-27 | パナソニック株式会社 | カメラ連携による監視装置 |
CN1658670A (zh) * | 2004-02-20 | 2005-08-24 | 上海银晨智能识别科技有限公司 | 具有多摄像机的智能跟踪监控系统 |
US8427538B2 (en) * | 2004-04-30 | 2013-04-23 | Oncam Grandeye | Multiple view and multiple object processing in wide-angle video camera |
JP4140591B2 (ja) * | 2004-09-13 | 2008-08-27 | ソニー株式会社 | 撮像システム及び撮像方法 |
JP4464902B2 (ja) * | 2005-11-09 | 2010-05-19 | 日本放送協会 | カメラ制御装置およびカメラ制御プログラム |
EP2479993A3 (en) * | 2006-12-04 | 2013-12-11 | Lynx System Developers, Inc. | Autonomous systems and methods for still and moving picture production |
WO2010077389A2 (en) * | 2008-08-05 | 2010-07-08 | University Of Florida Research Foundation, Inc. | Systems and methods for maintaining multiple objects within a camera field-of-view |
JP5104679B2 (ja) * | 2008-09-11 | 2012-12-19 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP2011135247A (ja) * | 2009-12-24 | 2011-07-07 | Nikon Corp | 撮像装置 |
US9055226B2 (en) * | 2010-08-31 | 2015-06-09 | Cast Group Of Companies Inc. | System and method for controlling fixtures based on tracking data |
DE102011006570A1 (de) * | 2011-03-31 | 2012-10-04 | Robert Bosch Gmbh | Verfahren und Steuergerät zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs |
JP2012249117A (ja) * | 2011-05-30 | 2012-12-13 | Hitachi Ltd | 監視カメラシステム |
JP2013101045A (ja) * | 2011-11-08 | 2013-05-23 | Fanuc Ltd | 物品の3次元位置姿勢の認識装置及び認識方法 |
US9530060B2 (en) * | 2012-01-17 | 2016-12-27 | Avigilon Fortress Corporation | System and method for building automation using video content analysis with depth sensing |
DE102012204697A1 (de) * | 2012-03-23 | 2013-09-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zur optimierung der bestimmung von aufnahmebereichen |
US9189884B2 (en) * | 2012-11-13 | 2015-11-17 | Google Inc. | Using video to encode assets for swivel/360-degree spinners |
JP6273685B2 (ja) * | 2013-03-27 | 2018-02-07 | パナソニックIpマネジメント株式会社 | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 |
US20150116501A1 (en) * | 2013-10-30 | 2015-04-30 | Sony Network Entertainment International Llc | System and method for tracking objects |
JP6429454B2 (ja) * | 2013-11-28 | 2018-11-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム |
KR102150703B1 (ko) * | 2014-08-14 | 2020-09-01 | 한화테크윈 주식회사 | 지능형 비디오 분석 시스템에서 비디오를 분석하는 방법 및 시스템 |
-
2015
- 2015-12-02 JP JP2015235467A patent/JP2017103619A/ja active Pending
-
2016
- 2016-09-13 US US15/777,801 patent/US11025808B2/en active Active
- 2016-09-13 CN CN201680068918.7A patent/CN108370412B/zh active Active
- 2016-09-13 WO PCT/JP2016/077004 patent/WO2017094317A1/ja active Application Filing
-
2021
- 2021-02-22 US US17/180,949 patent/US20210174520A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN108370412B (zh) | 2021-04-20 |
US20180352148A1 (en) | 2018-12-06 |
US20210174520A1 (en) | 2021-06-10 |
CN108370412A (zh) | 2018-08-03 |
US11025808B2 (en) | 2021-06-01 |
WO2017094317A1 (ja) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017094317A1 (ja) | 制御装置、制御方法、およびプログラム | |
US10375377B2 (en) | Information processing to generate depth information of an image | |
RU2720356C1 (ru) | Устройство управления, способ управления и носитель хранения | |
JP2019109765A (ja) | 物体追跡プログラム、物体追跡装置、及び物体追跡方法 | |
CN105830093A (zh) | 用于产生与非均匀大小的空间区相关的元数据的系统、方法及设备 | |
WO2017138995A1 (en) | Systems and methods for determining a region in an image | |
US20180196513A1 (en) | Information processing apparatus, information processing method, and program | |
WO2012169149A1 (en) | Image display apparatus and image display method | |
GB2557465A (en) | Method for calibrating a camera and calibration system | |
US10281979B2 (en) | Information processing system, information processing method, and storage medium | |
JP6447521B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20090202180A1 (en) | Rotation independent face detection | |
JP7246005B2 (ja) | 移動体追跡装置及び移動体追跡方法 | |
US20190122389A1 (en) | Information processing apparatus, information processing method, program, and imaging system | |
US8169495B2 (en) | Method and apparatus for dynamic panoramic capturing | |
CN110226324B (zh) | 信息处理设备和信息处理方法 | |
WO2018135095A1 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
WO2016129154A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11132553B2 (en) | Information processing apparatus and information processing method | |
US20210090278A1 (en) | Information processing apparatus, shape data generation method, and storage medium | |
WO2016056628A1 (ja) | 画像認識処理装置及びプログラム | |
JP2018005474A (ja) | 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム | |
JP2016225892A (ja) | 画像監視装置、画像監視方法及び画像監視プログラム | |
JP2021002151A (ja) | 画像処理装置、制御方法及び制御プログラム | |
CN112419412A (zh) | 光标定位方法、手持式光标控制设备及屏幕控制系统 |