JP2023154971A - 制御装置およびその制御方法 - Google Patents

Abstract

【課題】構図が維持された映像を取得する。【解決手段】パン・チルト・ズーム（ＰＴＺ）制御が可能に構成されたカメラを制御する制御装置は、カメラにより撮影された撮影映像を取得する取得手段と、撮影映像に含まれる被写体を検出し追尾するようにカメラをＰＴＺ制御する追尾手段と、カメラに対してＰＴＺ制御の指示を送信してからカメラから指示が反映された映像が入力されるまでの遅延時間を決定する決定手段と、遅延時間に基づいてカメラの撮影画角を設定する画角設定手段と、を有する。【選択図】図２

Description

本発明は、カメラを用いた映像取得技術に関するものである。

昨今、講義映像やスポーツなどの撮影において、コスト削減を目的とした自動撮影による映像収録が注目されている。自動撮影では、例えば、注目する対象被写体を検知し、検知した被写体が常に撮影画角内に収まるようにパン・チルト・ズーム（ＰＴＺ）カメラを制御する（メカＰＴＺとも呼ばれる）。また、被写体を追尾撮影する場合において、常に被写体を撮影画角内の特定の位置に捉える構図にて撮影することが求められる場合もある。例えば、最終的な配信映像にテロップを入れる場合などでは、テロップの領域を確保するために被写体を端に寄せて撮影することがある。

ただし、ＰＴＺカメラにより被写体の追尾撮影を行う場合、被写体が動いてからＰＴＺカメラを駆動して被写体の追尾を開始するまでの間に時間差分（遅延）がある。この時間差分により、追尾を行っている間、撮影映像における構図が所望の構図から外れてしまう場合がある。

撮影映像における構図を維持するために撮影映像から映像を切り出す手法（デジタルＰＴＺとも呼ばれる）が考えられる。例えば、特許文献１に開示される、カメラの揺れ量に基づき撮影映像から一部領域の映像を切り出す方法を用いることが出来る。

特開２０１５－２９２５０号公報

しかしながら、撮像映像から一部領域の映像を切り出す場合、画質（解像度）が低下することになる。特に、撮影映像における被写体のぶれ量が大きい場合、所望の構図となる映像を切り出すと画質が大きく劣化する場合がある。

本発明は、このような問題に鑑みてなされたものであり、構図が維持された映像を取得する技術を提供することを目的としている。

上述の問題点を解決するため、本発明に係る制御装置は以下の構成を備える。すなわち、パン・チルト・ズーム（ＰＴＺ）制御が可能に構成されたカメラを制御する制御装置は、
前記カメラにより撮影された撮影映像を取得する取得手段と、
前記撮影映像に含まれる被写体を検出し追尾するように前記カメラをＰＴＺ制御する追尾手段と、
前記カメラに対してＰＴＺ制御の指示を送信してから前記カメラから前記指示が反映された映像が入力されるまでの遅延時間を決定する決定手段と、
前記遅延時間に基づいて前記カメラの撮影画角を設定する画角設定手段と、
を有する。

本発明によれば、構図が維持された映像を取得する技術を提供することができる。

撮影制御装置のハードウェア構成を示す図である。 撮影制御装置の機能構成を示す図である。 撮影制御の概要を説明する図である。 第１実施形態における撮影制御動作を示すフローチャートである。 制御指示発行からＰＴＺ動作開始までの時間差分を説明する図である。 構図の指定方法を説明する図である。 切り出し映像の解像度を変更する解像度変換を説明する図である。 第１実施形態における撮影範囲の決定処理を説明する図である。 第２実施形態における撮影制御動作を示すフローチャートである。 第２実施形態における撮影範囲の決定処理を説明する図である。 第３実施形態における撮影制御動作を示すフローチャートである。 ブラー処理を行う理由および効果を説明する図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
本発明に係る制御装置の第１実施形態として、パン・チルト・ズーム（ＰＴＺ）カメラを利用して自動撮影（追尾撮影）を行う撮影制御装置を例に挙げて以下に説明する。特に、撮影制御装置がＰＴＺカメラにネットワークを介して制御信号を送信し遠隔制御する形態について説明する。

＜装置構成＞
図１は、撮影制御装置１００及び周辺装置のハードウェア構成を示す図である。撮影制御装置１００はネットワーク１３０を介してカメラ１１０およびコントローラ１２０と相互に通信可能に接続されデータのやり取りが実施される。

撮影制御装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、映像入力インタフェース１０４、映像出力インタフェース１０５、ネットワークインタフェース１０６を有する。

ＣＰＵ１０１は、ＲＯＭ１０３に記憶された制御プログラムを用いて、演算処理や各種プログラムを実行することで、撮影制御装置１００の各機能を実現する。なお、ＣＰＵ１０１とは異なる１つまたは複数の専用のハードウェアにより、ＣＰＵ１０１による処理の少なくとも一部を実現するよう構成してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＡＭ１０２は、ＣＰＵ１０１の主メモリとして、ワークエリア等の一時記憶領域等で用いられる。ＲＯＭ１０３は、ブートプログラム、制御プログラム、撮影制御装置１００の各部に設定するパラメータ等を記憶する記憶領域を有する。

映像入力インタフェース１０４は、映像信号を受信するためのインタフェースである。具体例としては、ＨＤＭＩ（High Definition Multimedia Interface）やＳＤＩ（Serial Digital Interface）等の規格に準拠したインタフェースである。映像出力インタフェース１０５は、映像信号を外部へ出力するためのインタフェースであり、映像入力インタフェース１０４と同様の規格に準拠したインタフェースが例としてあげられる。

ネットワークインタフェース１０６は、ネットワークを介して周辺装置との通信を行うインタフェースである。ネットワークは例えばＬＡＮ（Local Area Network）等の有線ネットワークと接続する。撮影制御装置１００は、ネットワークインタフェース１０６を介して、ネットワークに接続された周辺装置との間で各種情報の送受信を行う。

撮影制御装置１００を構成する各機能ブロックは内部バス１０７で接続され、機能ブロック間でデータの送受信が実施される。

カメラ１１０は、撮影制御装置１００が自動撮影を行うために制御する対象の撮像装置である。カメラ１１０は、パン・チルト・ズームを操作可能な機構を備え、撮影制御装置１００の操作指示に基づきＰＴＺを制御する（メカＰＴＺ）ことで自動撮影を行う。ＰＴＺ制御の指示は、ネットワーク１３０を介し、撮影制御装置１００からカメラ１１０へ送信される。

コントローラ１２０は、ユーザがカメラ１１０をマニュアルで操作するためのデバイスである。コントローラ１２０を操作することにより、ユーザは、カメラ１１０のＰＴＺ操作などを実行することが出来る。また、本実施形態において、コントローラ１２０は、ユーザが構図を決定するためにも利用される。ユーザによる操作結果は、カメラ１１０に対する制御信号としてネットワークを経由して送信される。本実施形態ではコントローラ１２０は、撮影制御装置１００を介してカメラ１１０と接続されているとし、コントローラ１２０から送信される制御信号は、撮影制御装置１００を経由してカメラ１１０へ送信される。

なお、カメラ１１０と撮影制御装置１００を一体構成としてもよいが、別体の構成とすることにより、機械学習によって得られるより高度なＡＩ処理を利用することが出来、自動撮影を効果的に実施することが可能となる。例えば、検知された被写体の追尾といった簡素な自動撮影に留まらず、望ましい撮影画角の撮影を実現する自動撮影も期待される。なお、上述の説明では、映像信号は映像入力インタフェース１０４を介して入力すると説明したが、ネットワークインタフェース１０６を介して入力するよう構成してもよい。

図２は、撮影制御装置１００の機能構成を示す図である。図２の各機能ブロックは、基本的に図１のＣＰＵ１０１が制御プログラムを実行することにより実現される。

映像入力部２０１は、カメラ１１０からの映像信号を撮影制御装置１００内に取り込む処理を行う。映像入力部２０１にて実施される機能は、図１の映像入力インタフェース１０４を利用して実施される。

画像解析部２０２は、映像入力部２０１より取り込んだカメラ１１０の映像を解析する処理を行う。画像解析部２０２にて実施される解析処理は、撮影対象の被写体の種類や画面内の位置座標の特定などである。

カメラ情報取得部２０３は、カメラ１１０の各種情報を、カメラ１１０またはコントローラ１２０からネットワークを介して取得する処理を行う。ここでカメラ１１０の各種情報とは、ＰＴＺ制御に関わる性能や映像出力までの時間情報、画質設定情報などである。

通信部２０４は、カメラ１１０に対して制御信号を送受信するための処理を行う。また、カメラ１１０に対して制御情報が伝達されるまでの通信経路に要する時間差分の情報取得も行う。

撮影範囲決定部２０５は、カメラ情報取得部２０３や通信部２０４で得られた情報を基に、カメラ１１０にて撮影する撮影範囲（撮影画角）を決定する。撮影範囲決定部２０５で実施される処理については後述する。撮影範囲決定部２０５で決定された情報は、撮影制御部２０６へ転送され、カメラ１１０への画角設定制御が決定情報に基づき実行される。

撮影制御部２０６は、カメラ１１０を制御するＰＴＺ制御信号を生成し、通信部２０４へ送出する。撮影制御部２０６では、画像解析部２０２にて得られた被写体の位置情報を利用した追尾撮影制御が実施される。追尾撮影制御においては、構図設定部２０７に基づいた撮影を行うための、撮影範囲の制御も合わせて実行される。

構図設定部２０７は、撮影制御装置１００にて行う自動撮影の構図を設定する処理を行う。構図情報は、コントローラ１２０を用いてユーザにより設定される。本実施形態でいう構図とは、撮影範囲（撮影画角）内において被写体をどの位置にどのような大きさで配置するかを示すものとする。例えば、「被写体を撮影範囲内の右寄りにかつ全体が映るように撮影する」などである。コントローラ１２０によって被写体を撮影範囲内のどの位置に据えるかを操作し、操作された後に決定された被写体の位置・大きさの情報を構図情報として、構図設定部２０７で保存する。

切り出し範囲決定部２０８は、撮影された映像から切り出す映像の範囲を決定する。切り出し範囲決定部２０８で実施される処理については後述する。

映像切り出し部２０９は、カメラ１１０にて撮影された映像から切り出し処理を行う（デジタルＰＴＺ）。具体的には、映像切り出し部２０９では、映像入力部２０１より取得した映像から、切り出し範囲決定部２０８にて決定された範囲の切り出し処理を行う。

映像生成処理部２１０は、撮影制御装置１００から出力する映像の生成を行う。ここでは、映像切り出し部２０９で切り出しされた映像の解像度変換が各種画像処理、映像の符号化処理、映像出力フォーマットへの変換処理などが実行される。

映像出力部２１１は、映像生成処理部２１０にて生成された映像を出力する処理を行う。映像出力部２１１で実施される処理は、図１の映像出力インタフェース１０５にて実行される。

＜装置の概要＞
撮像映像から一部領域の映像を切り出す場合、画質（解像度）が低下することになる。そこで、第１実施形態では、カメラ１１０に対するＰＴＺ制御指示から実際に駆動するまでの時間差分に基づいて撮影範囲を決定し、決定した撮影範囲の撮影映像から、設定された構図（所与の構図）の映像を切り出す。これにより、より高い解像度の状態での映像の切り出しを可能とする。以下では、この動作について詳細に説明する。

図３は、撮影制御装置１００にて実施される撮影制御の概要を説明する図である。横軸は時間の進みを示し、被写体の動き（上段）、固定撮影画角の追尾撮影による撮影範囲（中段）、第１実施形態における追尾撮影の撮影範囲および切り出し範囲（下段）の様子を例示的に示している。図３では、被写体は人であるとし、時間の経過に伴い、被写体が左に動く状況を想定する。

上述のように上段の図は被写体である人の時間変化を示している。動きを分かりやすくするために、図では、パン座標（０～９）およびチルト座標（Ａ～Ｇ）が併せて示されている。時刻Ｔ＋０において静止していた被写体が、時刻Ｔ＋１において左に移動している。時刻Ｔ＋２および時刻Ｔ＋３において被写体は移動した地点に留まっている。

中段の図は、所与の構図となる固定撮影画角の追尾撮影による撮影範囲の時間変化を示している。撮影範囲とは、カメラ１１０のＰＴＺ制御によって規定される範囲である。

時刻Ｔ＋０において被写体を撮影する範囲が枠３０３で示す範囲である。ここでは、所与の構図として、被写体が撮影範囲の右寄りとなる構図、具体的には画面右端からスケール３０４で示す距離Ｌだけ離れた位置に被写体を据える構図とする。時刻Ｔ＋１において被写体が動いていることを検出するが、すぐに撮影範囲を動かすことができないため、時刻Ｔ＋１における撮影範囲は枠３０５で示されるように時刻Ｔ＋０と同じ位置である。ただし、被写体は動いているため、画面右端からスケール３０６で示す距離Ｍ（Ｍ＞Ｌ）離れた位置に被写体は存在する。すなわち、所与の構図（画面右端から距離Ｌ離れた位置に被写体が存在）が維持されていない結果となっている。

下段の図は、第１実施形態における追尾撮影の撮影範囲および切り出し範囲の時間変化を示している。中段の撮影範囲に比較して撮影範囲を広げて撮影（ズーム設定をワイド側に変更）しておき、所与の構図となるように切り出す処理を行う。

時刻Ｔ＋０において、枠３０７で示される撮影範囲で被写体を撮影する。このときの、切り出し範囲は枠３０８で示されている。すなわち、所与の構図（画面右端から距離Ｌ離れた位置に被写体が存在）となるように枠３０８が決定されている。時刻Ｔ＋１において、被写体が動いていることを検出するが、すぐに撮影範囲を動かすことができないため、時刻Ｔ＋１における撮影範囲は枠３１０で示されるように時刻Ｔ＋０と同じ位置である。しかしながら、切り出し範囲は枠３１１で示されるように移動している。そのため、切り出された映像においては、所与の構図が維持される結果となっている。このように、撮影範囲と切り出し範囲を変更することで、構図を維持した撮影を継続する。なお、図３ではパン方向の動きについて説明を行ったが、チルト方向であっても同様である。

＜装置の動作＞
図４は、第１実施形態における撮影制御動作を示すフローチャートである。

ステップＳ４０１では、撮影制御装置１００は、制御対象であるカメラ１１０から、カメラの特性情報を取得する。Ｓ４０１の処理は、カメラ情報取得部２０３にて実施される。特性情報は、制御指示を受信してからＰＴＺ駆動を開始するのに要する時間の情報を含む。

ステップＳ４０２では、撮影制御装置１００は、撮影制御装置１００からの制御指示がカメラ１１０へ到達するまでの時間を取得する。Ｓ４０２の処理は、通信部２０４にて実施される。制御指示の到達までの時間の取得についてはいくつか方法が考えられる。例えば、撮影制御装置１００からカメラ１１０へなんらかの要求を送信し、当該要求に対する応答を受信までの時間を通信部２０４にて測定することで求めることが出来る。

ステップＳ４０３では、撮影制御装置１００は、制御対象であるカメラ１１０からカメラの映像が出力され撮影制御装置１００へ到達するまでの時間の情報を取得する。映像が出力され、撮影制御装置１００へ到達するまでの時間は、映像のフォーマットや伝送形態において様々であり、映像フレームのバッファリング時間もカメラによって異なる。そのため、撮像してから映像出力までに要する時間の情報をカメラの特性として併せて取得する。Ｓ４０３の処理は、カメラ情報取得部２０３にて実施される。

図５は、制御指示発行からＰＴＺ動作開始までの時間差分を説明する図である。具体的には、撮影制御装置１００からカメラ１１０へＰＴＺ制御指示を発行し、当該指示に基づき撮影範囲が変更された映像を受信するまでのシーケンス図（図の上から下に向かって時間が経過する）である。図５を参照して、Ｓ４０１～Ｓ４０３で取得する情報についてさらに説明する。

装置５０１が撮影制御装置１００であり、装置５０２がカメラ１１０である。装置５０１と装置５０２は伝送経路５０３を介して制御や映像を伝送する。ここでは、制御の伝送経路はネットワーク１３０を介した経路であり、映像の伝送経路は映像入力インタフェース１０４（例えばＨＤＭＩ）を介した経路である。撮影制御装置１００がカメラ１１０のＰＴＺ制御を行うまでには、大きく以下の手順で実施される。まず、撮影制御装置１００は、映像を受信して解析し、ＰＴＺ制御を決定する。そして、撮影制御装置１００は、決定したＰＴＺ制御信号をカメラ１１０へ発行（送信）する。カメラ１１０は、制御信号を受信した後に実際にＰＴＺを駆動し、映像を出力する。

Ｓ４０１で取得する情報は、矩形５１１で示すＰＴＺ駆動に要する時間であり、Ｓ４０２で取得する情報は、矩形５１２で示す伝送に要する時間である。また、Ｓ４０３で取得する情報は、矩形５１４で示す伝送に要する時間、および、矩形５１３で示す映像出力に要する時間である。矢印５１５が、撮影制御装置１００からカメラ１１０へＰＴＺ制御指示を発行し、当該指示が反映された（撮影範囲が変更された）映像を受信するまでに要する時間差分（遅延時間）となる。矢印５１５には、撮影制御装置１００内での各種所要時間が含まれる。

ステップＳ４０４では、撮影制御装置１００は、Ｓ４０１～Ｓ４０３で取得した情報に基づき、カメラ１１０の撮影範囲を決定する。Ｓ４０４にて実施される処理は、撮影範囲決定部２０５にて実施される。Ｓ４０４にて実施される撮影範囲の決定処理の詳細については後述する。

ステップＳ４０５では、撮影制御装置１００は、Ｓ４０４にて決定した撮影範囲をカメラ１１０に設定する。Ｓ４０５の処理は、撮影制御部２０６にて実施される。ステップＳ４０６～Ｓ４１４のループ処理は、撮影された映像のフレーム毎に処理が実施される。

ステップＳ４０７では、映像入力部２０１は、映像フレームを受信する。Ｓ４０７にて映像フレームを取得した後、ステップＳ４０８では、画像解析部２０２は、取得した映像フレームの解析を行う。ここでの解析は被写体の抽出を行い、被写体の画面内の位置を取得する。抽出の方法は様々なものが考えられるが、例えば、機械学習により得られたネットワークモデルを利用した推論による被写体の抽出などが想定される。解析情報は、撮影制御部２０５に転送され、被写体の追尾制御などに用いられる。

ステップＳ４０９では、撮影制御部２０５は、Ｓ４０８で求めた解析結果を基に、追尾制御を行うためのＰＴＺ制御値を決定する。その後、決定したＰＴＺ制御値を含むＰＴＺ制御指示をカメラ１１０に送信する。

ステップＳ４１０では、切り出し範囲決定部２０８は、指定の構図を得られるように切り出し範囲を決定し、映像のフレームから切り出す処理を行う。切り出し処理は、映像切り出し部２０９で行われる。

第１実施形態では、構図については予めユーザによって設定されているとし、図２の構図設定部２０７に、設定された構図の情報が格納されているとする。ここでユーザによる構図の設定方法について、図６を参照して説明する。

図６は、構図の指定方法を説明する図である。図６（ａ）は、ユーザが構図を設定する際のデバイスの接続関係を示す図である。構図の設定はユーザがカメラの映像を確認しながらＰＴＺを制御して実施する。また、図６（ｂ）は、構図の例を示す図である。

ユーザは、映像表示モニタ６０３（コントローラ１２０）に表示されるカメラ映像を確認しながら、図６（ｂ）に示されるような構図を設定する。設定された構図は、装置６０１（撮影制御装置１００）にて記録される。

ステップＳ４１１では、映像生成処理部２１０は、Ｓ４１０で切り出した映像に対し解像度変換処理を加える。すなわち、切り出し映像は撮影映像より解像度が低くなるため、本来出力すべき解像度への変換処理を実施する。解像度変換処理について、図７を参照して説明する。

図７は、切り出し映像の解像度を変更する解像度変換を説明する図である。図７（ａ）は、切り出しをせず撮影映像をそのまま配信する場合の図であり、図７（ｂ）は、撮影映像から一部領域の切り出しを行って配信する場合の図である。ここでは、撮影映像の横方向の解像度は４０９６画素であることを想定する。

図７（ｂ）に示すように、横方向の解像度が３０７２画素の切り出し範囲で切り出し処理を行う場合、切り出しを行った後に、横方向の解像度が４０９６画素となるような解像度変換を行う。なお、縦方向についても同じ比率で解像度変換を行う。

ステップＳ４１２では、映像生成処理部２１０は、Ｓ４１１にて解像度変換処理が実施された映像に対し符号化処理などを行い、映像出力部２１１は、所定の映像フォーマットで映像出力を行う。

ステップＳ４１３では、撮影制御装置１００は、自動撮影が終了したか否かを判定する。継続する場合はＳ４０７に戻り後続のフレームについて処理を実行する。

図８は、第１実施形態における撮影範囲の決定処理（Ｓ４０４）を説明する図である。図８（ａ）は、図３の中段で説明した固定撮影画角の追尾撮影による撮影範囲を示している。図８（ｂ）および図８（ｃ）は、図３の下段で説明した第１実施形態における追尾撮影の撮影範囲および切り出し範囲を示している。ただし、図８（ｂ）は時間差分（遅延時間）が相対的に小さい場合の例を示しており、図８（ｃ）は時間差分が相対的に大きい場合の例である。時間差分が小さい場合はＰＴＺ制御が比較的すぐに追従可能であるため、撮影範囲と切り出し範囲との差分である余剰分（幅８０２）を小さく設定する。一方、時間差分が大きい場合は、幅８０４で示すように余剰分を大きく設定する。時間差分に対する余剰分を予め設定しておき、撮影制御装置１００は、取得した時間差分に対応する余剰分となるように撮影範囲を制御するものとする。なお、余剰分の設定（すなわち撮影画角の制御）を、機械学習によって決定するよう構成してもよい。

以上説明したとおり第１実施形態によれば、撮影制御装置１００からカメラ１１０へＰＴＺ制御指示を発行し、当該指示に基づき撮影範囲が変更された映像を受信するまでに要する時間差分（遅延時間）に応じて撮影範囲（ズーム設定）を制御する。これにより、構図が維持された映像をより高い解像度で取得することが可能となる。

（第２実施形態）
第２実施形態では、制御に要する時間差分に加え、被写体の速度に基づき撮影範囲（撮影画角）を決定する形態について説明する。なお、装置構成については第１実施形態（図１および図２）と同様であるため説明を省略する。

＜装置の動作＞
図９は、第２実施形態における撮影制御動作を示すフローチャートである。

ステップＳ９０１では、撮影制御装置１００は、制御対象であるカメラ１１０から、カメラの特性情報を取得する。Ｓ９０１の処理は、第１実施形態のＳ４０１と同様である。

ステップＳ９０２では、撮影制御装置１００は、撮影制御装置１００からの制御指示がカメラ１１０へ到達するまでの時間を取得する。Ｓ９０２の処理は、第１実施形態のＳ４０２と同様である。

ステップＳ９０３では、撮影制御装置１００は、制御対象であるカメラ１１０からカメラの映像が出力され撮影制御装置１００へ到達するまでの時間を取得する。Ｓ９０３の処理は、第１実施形態のＳ４０３と同様である。

ステップＳ９０４では、撮影制御装置１００は、Ｓ９０１～Ｓ９０３で取得した情報に基づき、カメラ１１０の撮影範囲を決定する。ここでの撮影範囲は被写体の速度を考慮しない撮影範囲であり、基本的な設定として利用される。すなわち、Ｓ９０４にて実施される処理は、第１実施形態のＳ４０４と同様である。

ステップＳ９０５では、撮影制御装置１００は、Ｓ９０４にて決定した撮影範囲をカメラ１１０に設定する。Ｓ９０５の処理は、第１実施形態のＳ４０５と同様である。ステップＳ９０６～Ｓ９１８のループ処理は、撮影された映像のフレーム毎に処理が実施される。

ステップＳ９０７では、映像入力部２０１は、映像フレームを受信する。Ｓ９０７の処理は、第１実施形態のＳ４０７と同様である。Ｓ９０７にて映像フレームを取得した後、ステップＳ９０８では、画像解析部２０２は、取得した映像フレームの解析を行う。Ｓ９０８で実施される処理は、第１実施形態のＳ４０８と同様である。

ステップＳ９０９では、画像解析部２０２は、映像に含まれる被写体が新規の追尾対象（初めて追尾、または、被写体が変更）であるか否かを判定する。新規の追尾対象と判定された場合、Ｓ９１０に進み、被写体の速度に基づいた撮影範囲の決定を行う。既存の追尾対象である場合は、Ｓ９１３に進む。

ステップＳ９１０では、画像解析部２０２は、追尾対象の被写体の速度を求める。ここで被写体の速度は、被写体の種別毎に予め設定された速度を利用する。例えば、Ｓ９０８の解析結果に基づき、追尾対象の被写体が人であると判定された場合は、一般的な人の速度を事前に保存されたデータベースから取得する。なお、追尾対象の被写体の速度の求め方はこれに限らない。例えば、隣接するフレーム間の被写体位置の変化量から、実際の速度を求めてもよい。

ステップＳ９１１では、撮影範囲決定部２０５は、Ｓ９１０で求めた被写体の速度を利用してＳ９０４で決定した撮影範囲の大きさを補正する。そして、ステップＳ９１２では、撮影範囲決定部２０５は、補正した撮影範囲をカメラに適用する。なお、Ｓ９１１にて実施される撮影範囲の決定については後述する。

ステップＳ９１３では、撮影制御部２０５は、Ｓ９０８で求めた解析結果を基に、追尾制御を行うためのＰＴＺ制御値を決定する。その後、決定したＰＴＺ制御値を含むＰＴＺ制御指示をカメラ１１０に送信する。Ｓ９１３で実施される処理は、第１実施形態のＳ４０９と同様である。

ステップＳ９１４では、切り出し範囲決定部２０８は、指定の構図を得られるように切り出し範囲を決定し、映像のフレームから切り出す処理を行う。切り出し処理は、映像切り出し部２０９で行われる。Ｓ９１４で実施される処理は、第１実施形態のＳ４１０と同様である。

ステップＳ９１５では、映像生成処理部２１０は、Ｓ９１４で切り出した映像に対し解像度変換処理を加える。Ｓ９１５で実施される処理は、第１実施形態のＳ４１１と同様である。

ステップＳ９１６では、映像生成処理部２１０は、Ｓ９１５にて解像度変換処理が実施された映像に対し符号化処理などを行い、映像出力部２１１は、所定の映像フォーマットで映像出力を行う。Ｓ９１６で実施される処理は、第１実施形態のＳ４１２と同様である。

ステップＳ９１７では、撮影制御装置１００は、自動撮影が終了したか否かを判定する。継続する場合はＳ９０７に戻り後続のフレームについて処理を実行する。

図１０は、第２実施形態における撮影範囲の決定処理（Ｓ９１１）を説明する図である。図１０（ａ）は、図３の中段で説明した固定撮影画角の追尾撮影による撮影範囲を示している。図１０（ｂ）は、第２実施形態における追尾撮影の撮影範囲および切り出し範囲を示している。上述したように、第２実施形態では、被写体の速度も考慮して撮影範囲を決定する。

従来のカメラの撮影範囲（構図と一致する撮影範囲）を幅Ｗとする。被写体が左へ移動した場合、ＰＴＺが実際に動き出すまでの期間は被写体のみ動く状態となる。この期間に動く被写体の距離１００２が移動量Ｌである。移動量Ｌは、被写体の移動速度とＰＴＺが実際に動き出すまでの時間の乗算で求められる。

第２実施形態では、被写体が撮影範囲（画角）内を移動量Ｌだけ移動した場合であっても、切り出しにて同じ構図で映像の取得が可能となるよう、撮影範囲の拡大倍率（ズーム設定）を決定する。幅１００３で示す余剰量をＭとすると、撮影範囲の拡大倍率は、以下の式で求めることが可能である。
撮影範囲の拡大倍率＝幅Ｗ／（幅Ｗ＋移動量Ｌ×２）

そのため、算出された拡大倍率となるように、ワイド側にズーム設定を変更して撮影範囲を設定する。このように設定された撮影範囲を利用することにより、切り出し範囲内での被写体の相対的な位置を一定に保つことが可能な切り出し範囲を設定可能となる。図１０で、距離１００４、距離１００５、距離１００６で示す、切り出し範囲右端からの被写体の距離はすべてＮで同一である。なお、図１０で説明した撮影範囲の決定方法は一例でありこれに限らない。

以上説明したとおり第２実施形態によれば、第１実施形態で説明した時間差分（遅延時間）に加えて、被写体の移動速度をさらに考慮して撮影範囲を制御する。これにより、構図が維持された映像をより高い解像度でより効率的に取得することが可能となる。

（第３実施形態）
第３実施形態では、第２実施形態と同様に、制御に要する時間差分に加え被写体の速度に基づき撮影範囲を決定する。ただし、切り出しにより得られる映像の見え（アピアランス）が撮影映像における見えと略一致するように画像処理する点が異なる。なお、装置構成については第１実施形態（図１および図２）と同様であるため説明を省略する。

＜装置の動作＞
図１１は、第３実施形態における撮影制御動作を示すフローチャートである。なお、ステップＳ１１０１～Ｓ１１１５は第２実施形態のＳ９０１～Ｓ９１５と同様であるため説明は省略する。

ステップＳ１１１６では、カメラ情報取得部２０３は、カメラ１１０からカメラの画質に関する設定を取得する。本実施形態ではカメラに設定されているシャッタースピードの情報を取得する。

ステップＳ１１１７では、カメラ情報取得部２０３は、Ｓ１１１６で取得したカメラ１１０のシャッタースピードが所定の閾値より遅いか否かを判定する。閾値より遅い場合はＳ１１１８に進み、閾値より速い場合はＳ１１１９に進む。

ステップＳ１１１８では、映像生成処理部２１０は、解像度変換後の映像に対してブラー（ぼかし）処理を適用する。この理由については図１２を参照して後述する。

ステップＳ１１１９では、映像生成処理部２１０は、（Ｓ１１１７（Ｎｏ）から進んできた場合）Ｓ１１１５にて解像度変換処理が実施された映像に対し符号化処理などを行う。一方、（Ｓ１１１８から進んできた場合）Ｓ１１１８にてブラー処理が実施された映像に対し符号化処理などを行う。そして、映像出力部２１１は、所定の映像フォーマットで映像出力を行う。

ステップＳ１１２０では、撮影制御装置１００は、自動撮影が終了したか否かを判定する。継続する場合はＳ１１０７に戻り後続のフレームについて処理を実行する。

図１２は、ブラー処理（Ｓ１１１８）を行う理由および効果を説明する図である。図の上から順に、被写体の動き、撮影範囲と切り出し範囲の動き、被写体の移動速度、カメラのパン速度、それぞれの時間変化を例示的に示している。

図１２の最上段に示されるように、静止していた被写体が時刻Ｔ＋１から左に移動を開始する例を示している。図１２の上から２段目に示されるように、時刻Ｔ＋１では、切り出し範囲の移動により構図を維持する。そして、時刻Ｔ＋２以降はカメラのパン方向（ここでは左方向）への撮影範囲の移動が開始され、撮影範囲に対する切り出し範囲の相対的な位置は固定されている。

すなわち、図１２の上から３段目（被写体の移動速度）及び４段目（カメラのパン速度）において、領域１２０１は、被写体は動いているがカメラのパン方向の移動は行われていない期間である。上述したように、この期間では切り出し範囲を移動することにより構図を維持する。すなわち、デジタルＰＴＺのみが行われている期間である。

一方、領域１２０２は、被写体は動いておりかつカメラがパン方向に移動している期間である。上述したように、この期間では切り出し範囲は撮影範囲内で固定されている。すなわち、メカＰＴＺのみが行われている期間である。

撮影に用いているシャッタースピードが遅い場合には、構図が同じであっても、デジタルＰＴＺにより得られる映像とメカＰＴＺにより得られる映像とでは見えが異なる。具体的には、シャッタースピードが遅い場合には、メカＰＴＺにより得られる映像においては背景にぼけなどが生じる場合がある。そのため、領域１２０１の期間に得られる映像から領域１２０１の期間に得られる映像に変化した場合、構図は維持されているが見えが一貫していない映像が得られることになる。

そこで、デジタルＰＴＺにより得られる映像とメカＰＴＺにより得られる映像とで見えを略一致させるため、デジタルＰＴＺにより得られる映像（領域１２０１の期間に得られる映像）に対してブラー処理を行う。これにより、領域１２０１の期間に得られる映像から領域１２０１の期間に得られる映像に変化した場合、見えも一貫した映像が得られることになる。なお、シャッタースピードが速い場合は見えの差異は少ないためブラー処理を行っていない。

以上説明したように第３実施形態では、切り出しにより得られる映像の見え（アピアランス）が撮影映像における見えと略一致するように画像処理する。具体的には、シャッタースピードが遅い場合のデジタルＰＴＺにより得られる映像に対してブラー処理を行う。これにより、構図が維持されかつ一貫した見えの映像を取得することが可能となる。

また、上述の説明においては、閾値に依存したブラー処理適用の有無を制御したが、例えば、シャッタースピードに応じて連続的にブラー処理の強度を変更するよう制御してもよい。また、シャッタースピードの情報の代わりに、画像解析部２０２による画像解析の結果に基づきブラー処理を制御してもよい。また、見えを略一致させるためにブラー処理以外の画像処理を適用してもよい。

本明細書の開示は、以下の制御装置、制御方法、およびプログラムを含む。
（項目１）
パン・チルト・ズーム（ＰＴＺ）制御が可能に構成されたカメラを制御する制御装置であって、
前記カメラにより撮影された撮影映像を取得する取得手段と、
前記撮影映像に含まれる被写体を検出し追尾するように前記カメラをＰＴＺ制御する追尾手段と、
前記カメラに対してＰＴＺ制御の指示を送信してから前記カメラから前記指示が反映された映像が入力されるまでの遅延時間を決定する決定手段と、
前記遅延時間に基づいて前記カメラの撮影画角を設定する画角設定手段と、
を有することを特徴とする制御装置。
（項目２）
映像における被写体の位置と大きさを規定する構図を設定する構図設定手段と、
前記画角設定手段により設定された撮影画角で撮影された撮影映像から前記構図となる映像を切り出して出力する出力手段と、
をさらに有する
ことを特徴とする項目１に記載の制御装置。
（項目３）
前記取得手段は、前記撮影映像をフレーム毎に取得し、
前記出力手段は、前記撮影映像から前記構図となる映像をフレーム毎に切り出して出力する
ことを特徴とする項目２に記載の制御装置。
（項目４）
前記画角設定手段は、前記構図に対する撮影範囲の拡大倍率として前記撮影画角を設定する
ことを特徴とする項目２または３に記載の制御装置。
（項目５）
前記遅延時間は、
前記カメラが撮像してから撮像映像を出力するまでに要する第１の時間と、
撮像映像の前記カメラから前記制御装置までの伝送に要する第２の時間と、
前記制御装置が撮像映像を受信してから該撮像映像に含まれる被写体を検出するまでに要する第３の時間と、
前記制御装置が検出された被写体に基づき追尾のためのＰＴＺ制御指示を送信するのに要する第４の時間と、
ＰＴＺ制御指示の前記制御装置から前記カメラまでの伝送に要する第５の時間と、
前記カメラがＰＴＺ制御指示を受信してからＰＴＺ制御を開始するのに要する第６の時間と、
を含む
ことを特徴とする項目２乃至４の何れか１項目に記載の制御装置。
（項目６）
前記追尾手段は、機械学習によって得られたネットワークモデルに基づく推論により、前記撮影映像に含まれる被写体を検出する
ことを特徴とする項目２乃至５の何れか１項目に記載の制御装置。
（項目７）
前記画角設定手段は、前記撮影映像における前記被写体の移動速度に更に基づいて前記撮影画角を設定する
ことを特徴とする項目２乃至６の何れか１項目に記載の制御装置。
（項目８）
前記出力手段から出力された映像にブラー処理を適用する画像処理手段を有し、
前記画像処理手段は、前記カメラが前記撮影映像を取得したときのシャッタースピードに応じてブラー処理の強度を変化させる
ことを特徴とする項目２乃至７の何れか１項目に記載の制御装置。
（項目９）
パン・チルト・ズーム（ＰＴＺ）制御が可能に構成されたカメラを制御する制御装置の制御方法であって、
前記制御装置は、
前記カメラにより撮影された撮影映像を取得する取得手段と、
前記撮影映像に含まれる被写体を検出し追尾するように前記カメラをＰＴＺ制御する追尾手段と、
を有し、
前記制御方法は、
前記カメラに対してＰＴＺ制御の指示を送信してから前記カメラから前記指示が反映された映像が入力されるまでの遅延時間を決定する決定工程と、
前記遅延時間に基づいて前記カメラの撮影画角を設定する画角設定工程と、
前記画角設定工程により設定された撮影画角で撮影された撮影映像から所与の構図となる映像を切り出して出力する出力工程と、
を含むことを特徴とする制御方法。
（項目１０）
パン・チルト・ズーム（ＰＴＺ）制御が可能に構成されたカメラを制御する制御装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御装置は、
前記カメラにより撮影された撮影映像を取得する取得手段と、
前記撮影映像に含まれる被写体を検出し追尾するように前記カメラをＰＴＺ制御する追尾手段と、
を有し、
前記制御方法は、
前記カメラに対してＰＴＺ制御の指示を送信してから前記カメラから前記指示が反映された映像が入力されるまでの遅延時間を決定する決定工程と、
前記遅延時間に基づいて前記カメラの撮影画角を設定する画角設定工程と、
前記画角設定工程により設定された撮影画角で撮影された撮影映像から所与の構図となる映像を切り出して出力する出力工程と、
を含むことを特徴とするプログラム。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００ 撮影制御装置； １１０ カメラ； １２０ コントローラ； １３０ ネットワーク； ２０１ 映像入力部； ２０２ 画像解析部； ２０３ カメラ情報取得部； ２０４ 通信部； ２０５ 撮影範囲決定部； ２０６ 撮影制御部； ２０７ 構図設定部； ２０８ 切り出し範囲決定部； ２０９ 映像切り出し部； ２１０ 映像生成処理部； ２１１ 映像出力部

Claims (10)

1. パン・チルト・ズーム（ＰＴＺ）制御が可能に構成されたカメラを制御する制御装置であって、
   前記カメラにより撮影された撮影映像を取得する取得手段と、
   前記撮影映像に含まれる被写体を検出し追尾するように前記カメラをＰＴＺ制御する追尾手段と、
   前記カメラに対してＰＴＺ制御の指示を送信してから前記カメラから前記指示が反映された映像が入力されるまでの遅延時間を決定する決定手段と、
   前記遅延時間に基づいて前記カメラの撮影画角を設定する画角設定手段と、
   を有することを特徴とする制御装置。
2. 映像における被写体の位置と大きさを規定する構図を設定する構図設定手段と、
   前記画角設定手段により設定された撮影画角で撮影された撮影映像から前記構図となる映像を切り出して出力する出力手段と、
   をさらに有する
   ことを特徴とする請求項１に記載の制御装置。
3. 前記取得手段は、前記撮影映像をフレーム毎に取得し、
   前記出力手段は、前記撮影映像から前記構図となる映像をフレーム毎に切り出して出力する
   ことを特徴とする請求項２に記載の制御装置。
4. 前記画角設定手段は、前記構図に対する撮影範囲の拡大倍率として前記撮影画角を設定する
   ことを特徴とする請求項２に記載の制御装置。
5. 前記遅延時間は、
   前記カメラが撮像してから撮像映像を出力するまでに要する第１の時間と、
   撮像映像の前記カメラから前記制御装置までの伝送に要する第２の時間と、
   前記制御装置が撮像映像を受信してから該撮像映像に含まれる被写体を検出するまでに要する第３の時間と、
   前記制御装置が検出された被写体に基づき追尾のためのＰＴＺ制御指示を送信するのに要する第４の時間と、
   ＰＴＺ制御指示の前記制御装置から前記カメラまでの伝送に要する第５の時間と、
   前記カメラがＰＴＺ制御指示を受信してからＰＴＺ制御を開始するのに要する第６の時間と、
   を含む
   ことを特徴とする請求項１に記載の制御装置。
6. 前記追尾手段は、機械学習によって得られたネットワークモデルに基づく推論により、前記撮影映像に含まれる被写体を検出する
   ことを特徴とする請求項１に記載の制御装置。
7. 前記画角設定手段は、前記撮影映像における前記被写体の移動速度に更に基づいて前記撮影画角を設定する
   ことを特徴とする請求項１に記載の制御装置。
8. 前記出力手段から出力された映像にブラー処理を適用する画像処理手段を有し、
   前記画像処理手段は、前記カメラが前記撮影映像を取得したときのシャッタースピードに応じてブラー処理の強度を変化させる
   ことを特徴とする請求項２に記載の制御装置。
9. パン・チルト・ズーム（ＰＴＺ）制御が可能に構成されたカメラを制御する制御装置の制御方法であって、
   前記制御装置は、
   前記カメラにより撮影された撮影映像を取得する取得手段と、
   前記撮影映像に含まれる被写体を検出し追尾するように前記カメラをＰＴＺ制御する追尾手段と、
   を有し、
   前記制御方法は、
   前記カメラに対してＰＴＺ制御の指示を送信してから前記カメラから前記指示が反映された映像が入力されるまでの遅延時間を決定する決定工程と、
   前記遅延時間に基づいて前記カメラの撮影画角を設定する画角設定工程と、
   前記画角設定工程により設定された撮影画角で撮影された撮影映像から所与の構図となる映像を切り出して出力する出力工程と、
   を含むことを特徴とする制御方法。
10. パン・チルト・ズーム（ＰＴＺ）制御が可能に構成されたカメラを制御する制御装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記制御装置は、
    前記カメラにより撮影された撮影映像を取得する取得手段と、
    前記撮影映像に含まれる被写体を検出し追尾するように前記カメラをＰＴＺ制御する追尾手段と、
    を有し、
    前記制御方法は、
    前記カメラに対してＰＴＺ制御の指示を送信してから前記カメラから前記指示が反映された映像が入力されるまでの遅延時間を決定する決定工程と、
    前記遅延時間に基づいて前記カメラの撮影画角を設定する画角設定工程と、
    前記画角設定工程により設定された撮影画角で撮影された撮影映像から所与の構図となる映像を切り出して出力する出力工程と、
    を含むことを特徴とするプログラム。

Images