JP2023176536A - 情報処理装置、その制御方法ならびにプログラム - Google Patents

Abstract

【課題】状況が変化しても目標被写体を精度良く追尾することが可能な情報処理装置を提供する。【解決手段】本開示に係る情報処理装置は、撮像手段のパン、チルト及びズームの少なくともいずれかの駆動を制御しながら撮影された動画を受信する受信手段と、動画を構成する画像に含まれる被写体を学習モデルを用いて推定する推定手段と、被写体に対する推定の信頼度を示す尤度に応じて、追尾の対象となる目標被写体を決定する決定手段と、目標被写体の画像内の位置を、画像内の所定の位置に位置させるように撮像手段の駆動を制御するための制御情報を出力する制御手段と、を有する。ここで、決定手段は、撮像手段のチルト角度に応じて異なる、目標被写体を決定するための尤度の基準を用いて、目標被写体を決定する。【選択図】図８

Description

本発明は、情報処理装置、その制御方法ならびにプログラムに関する。

従来、ユーザが操作器からカメラを遠隔操作することで所望の映像を取得する、遠隔撮影システムが知られている。このようなシステムでは、空港の屋上に設置された雲台装置を放送局から遠隔操作することで、航空機の映像を撮影することができる。システムに画像認識技術を搭載して映像内の被写体を推定し、被写体の動きに合わせて自動的に雲台装置のカメラのパン、チルト、ズームを動作させることで、ユーザが操作器を操作しなくても、動きのある被写体を追尾して撮影することができる。

また、機械学習により学習させた学習モデルを用いた画像認識技術が知られている。特許文献１では、学習モデルを用いて撮像画像に含まれる被写体領域とその種別を推定すると共に、撮影中のカメラの動きを推定し、推定されたカメラの動きと被写体の種別に応じて、主被写体を選択する技術を提案している。

特開２０２１－０８２９４４号公報

ところで、追尾撮影の進行に伴って、被写体及びその周囲の状況が変化する場合がある。例えば、追尾撮影の進行に伴って、被写体と雲台装置との距離の変化により撮影可能な被写体の大きさが変化したり、同種の他の被写体が存在する傾向が変化したりする場合がある。

本発明は、上記課題に鑑みてなされ、その目的は、状況が変化しても目標被写体を精度良く追尾することが可能な技術を実現することである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、撮像手段のパン、チルト及びズームの少なくともいずれかの駆動を制御しながら撮影された動画を受信する受信手段と、前記動画を構成する画像に含まれる被写体を学習モデルを用いて推定する推定手段と、被写体に対する推定の信頼度を示す尤度に応じて、追尾の対象となる目標被写体を決定する決定手段と、前記目標被写体の画像内の位置を、前記画像内の所定の位置に位置させるように前記撮像手段の前記駆動を制御するための制御情報を出力する制御手段と、を有し、前記決定手段は、前記撮像手段のチルト角度に応じて異なる、前記目標被写体を決定するための尤度の基準を用いて、前記目標被写体を決定する、ことを特徴とする。

本発明によれば、状況が変化しても目標被写体を精度良く追尾することが可能になる。

本発明に係る自動追尾システムの構成を示す図 実施形態１に係る自動追尾システムのハードウェア構成を示すブロック図 実施形態１に係る自動追尾システムのソフトウェア構成を示すブロック図 実施形態１に係る学習モデル及び入出力データを説明する図 実施形態１に係る学習段階の処理を含む情報処理装置の一連の動作を示すフローチャート 実施形態１に係る学習データの一例を示す図 実施形態１に係る自動追尾システム全体としての動作を説明する図 実施形態１における、自動追尾モードの一連の動作を示すフローチャート 実施形態２に係る自動追尾システムのソフトウェア構成の別の例を示すブロック図 実施形態２における、自動追尾モードの一連の動作を示すフローチャート

＜実施形態１＞
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜システムの構成例＞
図１は、実施形態１に係るシステムの構成例を示している。情報処理装置１００、雲台装置２００、操作装置３００、ネットワーク１３０で構成される。情報処理装置１００は、例えば、機械学習モデル（単に学習モデルともいう）を用いた画像認識技術を実行可能なパーソナルコンピュータである。しかし、情報処理装置１００はパーソナルコンピュータに限らず、機械学習モデルを用いた画像認識技術を実行可能な他の任意の機器であってよい。また、雲台装置２００及び操作装置３００はそれぞれ専用の装置である場合を例に説明するが、雲台装置２００及び操作装置３００のそれぞれの一部がパーソナルコンピュータやタブレット端末などの電子機器で構成されてもよい。

ユーザは操作装置３００を操作すると、操作に応じた命令が、ネットワーク１３０および情報処理装置１００を経由し、雲台装置２００に送信される。雲台装置２００が命令の内容に応じてカメラによる撮影を制御することにより、ユーザは雲台装置２００を遠隔操作することが可能になる。雲台装置２００で撮影された映像は、情報処理装置１００に送信され、情報処理装置１００は、自動追尾撮影に必要な各種演算および記録を行う。ネットワーク１３０は、公衆電話回線、移動体通信網或いはインターネット等の通信回線である。例えば、雲台装置２００および情報処理装置１００は、空港や鉄塔、テレビ局屋上といったスポットに設置され、操作装置３００はテレビ局内等に設置される。本実施形態では、例えば、情報処理装置１００および雲台装置２００が空港に設置され、自動追尾撮影の対象物が航空機である場合を例に説明する。

図２は、図１のシステムを構成する各装置のハードウェア構成の一例を示している。情報処理装置１００は、ＲＡＭ１０１、ＧＰＵ１０２、ＣＰＵ１０３、入力部１０４、記憶部１０５、シリアル通信部１０６、ネットワーク通信部１０７、ＵＩ部１０８を含む。雲台装置２００は、カメラ２０１、駆動部２０２、シリアル通信部２０３、ＣＰＵ２０４、記憶部２０５を含む。操作装置３００は、ネットワーク通信部３０１、操作部３０２、記憶部３０３、ＣＰＵ３０４、表示部３０５を含む。

情報処理装置１００の構成について説明する。ＲＡＭ１０１は、例えば揮発性のメモリであり、ＣＰＵ１０３の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＣＰＵ１０３は、１つ以上のプロセッサを含み、例えば記憶部１０５に格納されるプログラムに従い、ＲＡＭ１０１をワークメモリとして用いて、情報処理装置１００の各部を制御する。ＧＰＵ１０２は、１つ以上のプロセッサを含み、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープニューラルネットワーク（ＤＮＮ）等の学習モデルを用いて複数回に渡り学習を行う場合、ＧＰＵ１０２による演算は有効である。

入力部１０４は、動画信号を情報処理装置１００に入力するためのインタフェースであり、例えばＵＳＢ等の各種通信インタフェースである。記憶部１０５は、例えばＨＤＤやフラッシュメモリなどの不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ１０３が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。シリアル通信部１０６は、ＣＰＵ１０３の制御に基づき、雲台装置２００と通信するためのインタフェースである。ネットワーク通信部１０７は、ＣＰＵ１０３の制御に基づき、ネットワーク１３０を介して操作装置３００と通信するための通信インタフェースである。ＵＩ部１０８は、情報処理装置１００を操作するユーザからの操作入力を受け付け、ユーザへ情報処理装置１００の情報を表示するためのユーザインタフェースである。ＵＩ部１０８は、キーボードやマウス、ディスプレイ、タッチパネルを含んでよい。

次に、雲台装置２００のハードウェア構成について説明する。カメラ２０１は、撮像センサを含み、雲台装置２００が設置された周囲を撮影し、目標被写体を映した画像を順次出力する（すなわち動画を出力する）。カメラ２０１は撮影倍率を変更可能な光学ズームレンズを含み、ＣＰＵ２０４からカメラ２０１にズーム制御命令を送信することで、撮像される画像の倍率を変更することができる。さらに、カメラ２０１は撮像された画像の一部を局所的に拡大させるデジタルズーム機能も有する。デジタルズームは、前記光学ズームでは倍率が足りない場合、すなわち、より撮影画像を拡大したい場合に実行される。また、カメラ２０１は、情報処理装置１００の入力部１０４と有線で接続され、撮影した動画を情報処理装置１００へ出力する。

駆動部２０２は、雲台装置２００をパン、チルト方向に旋回させるためのアクチュエータ、その駆動回路、及び周辺回路を含む。雲台装置２００は、目標被写体に対し、パン、チルト方向に旋回することで、目標被写体を追尾する動画を撮影することができる。

シリアル通信部２０３は、情報処理装置１００のシリアル通信部１０６と接続され、ＣＰＵ２０４の制御に基づき、情報処理装置１００と通信するためのインタフェースである。ＣＰＵ２０４は、１つ以上のプロセッサを含み、例えば記憶部２０５に格納されるプログラムに従い、雲台装置２００の各部を制御する。記憶部２０５は、不揮発性のメモリであり、雲台装置２００の設定データやその他のデータ、ＣＰＵ２０４が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。

更に、操作装置３００のハードウェア構成について説明する。ネットワーク通信部３０１は、ＣＰＵ３０４の制御に基づき、ネットワーク１３０を介して情報処理装置１００と通信するための通信インタフェースである。操作部３０２は、ジョイスティック、操作レバーや各種スイッチであり、操作者は、これを操作することで、雲台装置２００のパンやチルトの旋回制御やズーム制御、ゲインなどの調整を行う。記憶部３０３は、例えば不揮発性のメモリであり、操作装置３００の設定データやその他のデータ、ＣＰＵ３０４が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。ＣＰＵ３０４は、１つ以上のプロセッサを含み、例えば記憶部３０３に格納されるプログラムに従い、操作装置３００の各部を制御する。表示部３０５はＬＥＤを含み、雲台装置２００のステータスや警告等をユーザに通知する。表示部３０５はタッチパネルを含んでもよい。

次に、図３を参照して、自動追尾システムのソフトウェア構成について説明する。

まず、情報処理装置１００のソフトウェア構成について説明する。情報処理装置１００は、学習部１５０、データ記憶部１５１、推定対象設定部１５２、モード管理部１５３、画像処理部１５４、推定部１５５、推定結果処理部１５６、雲台制御部１５７、及び、追尾尤度決定部１５８を含む。これらの各部は、情報処理装置１００のＣＰＵ１０３或いはＧＰＵ１０２がプログラムを実行することにより実現され得る。

学習部１５０は、後述する推定部１５５で機械学習モデル（単に学習モデルともいう）による推論段階の処理を行う前に、機械学習モデルを学習させる学習段階の処理を実行する。学習段階の処理の詳細な内容については後述する。データ記憶部１５１は、自動追尾して撮影した動画の記録処理や、学習データの記録処理を行う。

推定対象設定部１５２は、推定部１５５が出力するオブジェクト（被写体）のタグを管理する。タグは、学習部１５０に入力する学習用データの一部、および推定部１５５が出力するデータのひとつであり、オブジェクトが何であるかを示すラベルである。タグの具体例として、航空機、犬、猫、鳥、炎などが挙げられる。推定対象設定部１５２は、自動追尾撮影するオブジェクトのタグを、ユーザ操作により予め設定することができ、複数のタグを設定することも可能である。本実施形態では、航空機に対する自動追尾撮影を行うため、航空機のタグが設定されているものとする。後述する推定部１５５は、オブジェクトのタグ出力に加え、推定の確からしさ（信頼度）を示す尤度を算出し、出力する。また、後述する追尾尤度決定部１５８からの指示に応じて、自動追尾撮影するタグに対し、自動追尾撮影する対象の尤度の基準を設定することも可能である。

モード管理部１５３は、情報処理装置１００の動作モードを管理する。動作モードは、学習モード、自動追尾モード、手動撮影モードの３モードを含む。各モードの詳細な内容については後述する。

画像処理部１５４は、雲台装置２００から動画を受信して、受信した動画の処理を行う。動画の処理は、例えば、画像のリサイズや、輝度調整を含む。推定部１５５は、画像処理部１５４の出力した動画を入力データとして、学習部１５０での処理によって学習済みとなった学習モデルを用いて推論段階の処理を行う。

推定結果処理部１５６は、推定部１５５の出力に対し、各種ノイズ処理、平均化処理を実施し、追尾対象である目標被写体の画像内の位置（被写体現在位置）を出力する。雲台装置２００で撮影する映像には、追尾対象以外のノイズ（航空機以外の航空機や、背景の一部や雲など航空機と見間違えるもの）が存在する。推定結果処理部１５６は、これらのノイズを処理し、信頼度の高い画像内の被写体の現在位置を出力する役割を果たす。また、推定対象設定部１５２に航空機に加えて他のタグを設定すると、推定結果処理部１５６でのノイズ処理に負荷がかかったり、出力する被写体現在位置の信頼性が低下したりする。そのため、推定対象設定部１５２に設定するタグは、必要最小限にしておくとよい。

雲台制御部１５７は、前述した動作モードに応じて、雲台装置２００を制御する制御信号を生成する。雲台制御部１５７は、現在の動作モードが自動追尾モードである場合には、被写体の現在位置と、追尾目標位置（追尾撮影中に撮影画面内で被写体を保持したい位置）をもとに、雲台装置２００を制御する制御情報を生成し、出力する。その結果、被写体を所望の画角内に位置させた自動追尾撮影を行うことができる。また、雲台制御部１５７は、通信部２５３から、雲台装置２００のカメラの向きであるパン情報、カメラの角度であるチルト情報を受信する。

動作モードが手動撮影モードである場合には、操作者が操作装置３００を操作して雲台装置２００を制御することが可能である。このとき、雲台制御部１５７は、操作装置３００からの操作指令を出力する。

追尾尤度決定部１５８は、雲台制御部１５７から受信する雲台装置２００のチルト情報をもとに、推定対象設定部１５２に対し自動追尾撮影で対象とする被写体（タグ）の尤度を設定することができる。追尾尤度決定部１５８は、例えば、チルト情報から雲台装置２００のカメラのチルト角度が所定値以下かどうかに応じて、自動追尾撮影の対象とする尤度の閾値を設定してもよい。

なお、学習部１５０による処理にはＣＰＵ１０３に加えてＧＰＵ１０２を用いてよい。例えば、学習モデルを用いた学習段階の処理を実行する場合に、ＣＰＵ１０３とＧＰＵ１０２が協働して演算を行う。なお、学習部１５０の処理はＣＰＵ１０３またはＧＰＵ１０２のみにより演算が行われてもよい。また、推定部１５５も学習部１５０と同様にＧＰＵ１０２を用いてもよい。

次に、雲台装置２００のソフトウェア構成について説明する。雲台装置２００は、パンチルト制御部２５０、カメラ制御部２５１、設定管理部２５２、通信部２５３を含む。パンチルト制御部２５０は、通信部２５３で受信した制御情報に基づいて、パン、チルト及びズームの少なくとも１つを駆動するための信号を、駆動部２０２へ出力する。カメラ制御部２５１は、通信部２５３で受信した制御情報に基づいて、カメラを制御するための信号を、カメラ２０１へ出力する。設定管理部２５２は、操作装置３００の設定を管理する。具体的な設定項目として、パン、チルトの最高速や、駆動可能範囲などが挙げられる。通信部２５３は、雲台制御部１５７とあらかじめ定めた通信ルール（プロトコル）に則って、操作指令や制御情報、ステータス情報のやり取りを行う。

更に、操作装置３００のソフトウェア構成について説明する。操作装置３００は、通信部３５０、表示部３５１を含む。通信部３５０は、雲台制御部１５７とあらかじめ定めた通信ルール（プロトコル）に従って、操作指令や制御情報、ステータス情報のやり取りを行う。表示部３５１は、例えばＬＣＤパネルなどの表示パネルを含み、操作装置３００の動作状態などを表示する。

なお、上述のソフトウェア構成における機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

次に、図４を参照して、本実施形態における学習モデルの入出力の構造について説明する。入力データ４００は、雲台装置２００で撮影された後、情報処理装置１００の画像処理部１５４で処理された画像データである。なお、雲台装置２００は動画を撮影するため、実際には、画像処理部１５４から動画像中の各フレームが順次出力される。なお、以下の説明では入力データを単に画像という。

出力データ４０１は、入力された画像内に存在する被写体のタグ、座標、尤度の情報を含む。出力されるタグは学習時に入力した学習用データに含まれるタグの中から選択される。学習用データの詳細については後述する。座標は、２点が出力され、推定結果を示す画像４０２に示すように、推定したオブジェクト（例えば目標被写体）の外接枠の左上と、右下である。出力データ４０１の座標は、オブジェクトの外接枠の座標１と座標２に該当する。出力データの２点の座標に基づいて、被写体のサイズや中心座標を求めることができる。尤度は０～１の値であり、値が大きいほど、出力したタグに対する推定の信頼度が高いことを示す。

学習モデル４０３は、例えばニューラルネットワークによって構成され、ニューラルネットワークの内部パラメータは学習部１５０による学習段階の処理によって生成され或いは求められる（最適化される）。なお、学習部１５０は、誤差検出部と、更新部を備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を計算するようにしてもよい。更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

＜情報処理装置における一連の動作＞
次に、図５を参照して、学習段階の処理を含む情報処理装置１００の一連の動作を説明する。なお、ＣＰＵ１０３又はＧＰＵ１０２が記憶部１０５に格納されたプログラムを実行することにより、学習部１５０又はモード管理部１５３などの情報処理装置１００の各部の動作を実現する。

モード管理部１５３は、まずステップＳ５００で現在の動作モードが学習モードか否かを判定する。モード管理部１５３は、情報処理装置１００の動作モードが学習モードである場合はステップＳ５０１に処理を進め、そうでない場合は、ステップＳ５０６に処理を進める。

ステップＳ５０１では、学習部１５０は、学習用データの入力を受け付ける。ここで、学習用データについて図６を参照して説明する。図６は、学習段階で用いられる学習用データの一例を示している。学習用データは、画像（入力データ）と画像内に含まれるオブジェクトのタグ（教師データ）とが紐づけられている。なお、入力データである画像に含まれるオブジェクトはひとつであることが好ましく、画像サイズは、複数の学習用データ間で同一であることが好ましい。本実施形態の例では、空港で航空機の自動追尾撮影を行うため、入力データとして航空機が含まれる画像を学習データとして、学習モデルを学習させる。加えて自動追尾撮影中に、雲台装置２００に写る可能性が高い他のオブジェクトや、航空機以外で追尾したい動画を用意して学習モデルを学習させる。例えば、他のオブジェクトは、鳥や凧、炎が挙げられる。また、これらのオブジェクトの画像は、予め雲台装置２００を用いて撮影・記録すればよい。学習用データのうち、教師データは前述したオブジェクト画像からオブジェクトが何であるかを目視で判断し、設定する。図６に示す（ａ）～（ｄ）は学習用データの例であり、それぞれ、航空機、鳥、凧、炎の画像の用いた学習用データの例を示す。

再び図５を参照して、ステップＳ５０２では、学習部１５０は、受け付けた学習用データが決められたルールに則ったもの（例えば、図６に示す学習用データの形式）であるか否かを判定する。学習部１５０は、ルール通りであると判定した場合は、ステップＳ５０３に処理を進め、そうでない場合はステップＳ５０１に処理を戻す。ステップＳ５０３では、学習部１５０は、受け付けたデータ学習用データを学習モデルに入力し、ステップＳ５０４において学習モデルの学習を行う。なお、学習モデルの学習は、図４を参照して説明したように実行される。

ステップＳ５０５では、学習部１５０は、学習用データを全て学習したか否かを判定し、全て学習した場合は処理を終了し、そうでなければステップＳ５０１に処理を戻す。以上の処理によって、学習モデル４０３の内部パラメータが決定され、推定部１５５により推定処理が実行される際の基となる学習済みモデルが生成される。

なお、ステップＳ５０６以降の処理は、現在の動作モードが、手動撮影モードもしくは自動追尾モードである場合の処理である。ステップＳ５０６では、モード管理部１５３は、現在のモードが手動撮影モードか否かを判断し、手動撮影モードである場合は、ステップＳ５０７に進み、そうでなければ、ステップＳ５０９に進む。

ステップＳ５０７では、雲台制御部１５７は、操作装置３００からの操作指令を受信する。ステップＳ５０８では、雲台制御部１５７は、受信した操作指令又は制御情報を雲台装置２００へ送信し、処理を終了する。ステップＳ５０９では、推定部１５５等が後述する自動追尾モードの処理を実行する。

＜システムにおける自動追尾モードの動作＞
次に、図７を参照して、自動追尾システムにおける自動追尾モードの動作について説明する。まず、（７－１）では、操作装置３００が情報処理装置１００に追尾開始命令を送信する。この追尾開始命令は、例えば、ユーザが、操作装置３００の所定の操作部３０２を操作することで実行される。（７－２）では、情報処理装置１００は、雲台装置２００に対し、追尾開始位置の情報を送信する。追尾開始位置は、自動追尾撮影を開始する雲台装置２００のパン、チルト及びズームの位置であり、ユーザが操作部３０２を操作することで、あらかじめ設定しておく。

（７－３）では、追尾開始位置の情報を受信した雲台装置２００は、パン、チルト及びズームの位置を開始位置に移動する。これにより、雲台装置２００のカメラ２０１が開始状態に設定される。（７－４）では、雲台装置２００は、パン、チルト及びズームの位置が開始位置に到達したら、情報処理装置１００へ開始位置に到達したことおよび、動画信号を送信する。

（７－５）では、情報処理装置１００は、記憶部１０５に雲台装置２００からの動画信号を記録する処理を開始する。続いて、（７－６－１）では、情報処理装置１００は、受信した動画を構成する画像に含まれる目標被写体を推定する処理を行う。（７－６－２）では、情報処理装置１００の推定結果処理部１５６と雲台制御部１５７は、雲台装置２００のパン、チルト及びズームを制御するための制御量を演算して、制御情報を生成する。（７－７）では、雲台制御部１５７は、生成した制御情報を雲台装置２００へ送信する。

（７－８）では、雲台装置２００は、情報処理装置１００から受信した制御情報に従って、パン、チルト及びズームを制御して撮影を行う。（７－９）では、雲台装置２００は、撮影した動画信号を情報処理装置１００へ送信する。以降、（７－６－１）～（７－６－２）及び（７－７）～（７－９）の処理が実行されることで、目標被写体の自動追尾撮影が可能となる。

＜自動追尾モードの一連の動作＞
次に、図８を参照して、情報処理装置１００における自動追尾モードの一連の動作について説明する。なお、本処理は、情報処理装置１００のＣＰＵ１０３（或いはＧＰＵ１０２）が記憶部１０５に格納されたプログラムを実行することにより、例えば推定対象設定部１５２等の情報処理装置１００の各部を機能させて実現される。

ステップＳ８０１では、雲台制御部１５７は、雲台装置２００が航空機を検出するにあたってカメラ２０１を所定の位置に移動させるように、駆動部２０２を制御する命令を送信する。このとき、推定部１５５は、航空機を検出するまで停止してもよいし、航空機の探索を行う、所定の動作を繰り返し実施してもよい。

ステップＳ８０２では、追尾尤度決定部１５８は、自動追尾撮影の対象とするタグの尤度の閾値を設定する。設定された閾値以上の尤度の航空機が検出された場合、当該尤度の航空機が自動追尾撮影の対象の被写体（目的被写体）となる。設定される尤度は、各自動追尾の動作が実行されるごとに変更されてよく、撮影時の条件に応じて自由に変更することができるものとする。

ステップＳ８０３では、推定部１５５は、雲台装置２００から受信した画像に対し、サイズの変更（リサイズ）を行う。推定部１５５は、入力する画像データのサイズが大きければ大きいほど処理に時間がかかる。そのため、推定部１５５は入力画像のサイズを小さくすることで、処理時間を低減させる。例えば、サイズ変更後の処理時間が５０ｍｓ程度になるように画像をリサイズする。なお、処理時間は情報処理装置１００の演算処理能力に関わるため、他の任意の処理時間になるように画像をリサイズしてよい。

ステップＳ８０４では、推定部１５５は、推定対象設定部１５２から推定対象とするタグを取得する。本実施形態では、推定対象設定部１５２の初期値として、航空機を設定するので、この場合、タグとして航空機が取得される。

ステップＳ８０５では、推定部１５５は、ステップＳ８０３でリサイズした画像を、学習済みの学習モデルに入力する。その後、ステップＳ８０６では、推定部１５５は推定処理を実行する。このとき、推定部１５５による出力は、図４を参照して説明したように、推定される被写体のタグや、推定されたタグに対する尤度を含む。

ステップＳ８０７では、推定結果処理部１５６は、推定部１５５による推定結果にステップＳ８０４で取得したタグ（すなわち航空機）が含まれるかを判定する。推定結果処理部１５６は、推定結果のタグに航空機が含まれる場合には処理をステップＳ８０８に進め、そうでない場合はステップＳ８０１に処理を戻す。

ステップＳ８０８では、追尾尤度決定部１５８は、ステップＳ８０６で推定されたタグに対する尤度が、所定値以上（例えば第１の尤度の値以上）であるかを判定する。追尾尤度決定部１５８は、推定されたタグに対する尤度が所定値以上であると判定した場合、検出されたタグの航空機を自動追尾の対象（目標被写体）とし、ステップＳ８０９に処理を進め、そうでない場合はステップＳ８０１に処理を戻す。

ステップＳ８０９では、雲台制御部１５７は、Ｓ８０６の推定結果の目標被写体の座標と追尾目標位置の差分とに基づいてパン、チルトの制御情報を生成し、また、推定結果の目標被写体のサイズと追尾目標サイズとに基づいてズームの制御情報を生成する。雲台制御部１５７は、生成した制御情報を雲台装置２００に送信する。なお、追尾目標位置と、追尾目標サイズは、予め情報処理装置１００に登録しておけばよい。一例として、追尾目標位置を画面内の中心座標とし、追尾目標サイズを画面の３０％のサイズとして設定することができるが、これに限らない。また、追尾目標位置と追尾目標サイズは、操作装置３００から情報処理装置１００に設定できる構成としても良い。

このように、Ｓ８０９までの処理により、制御情報に従って雲台装置２００が旋回、変倍制御される。雲台装置２００の旋回、変倍を制御しながら撮影される動画が、情報処理装置１００に再び入力されることで、継続した自動追尾撮影が実現できる。

ところで、航空機の着陸映像を、常設された雲台装置２００から撮影する場合、雲台装置２００が所望の航空機を（継続的に）検出する必要がある。着陸寸前の滑走路付近での撮影は、航空機と雲台装置２００の距離が近く、十分な大きさの被写体が撮影されるため、推定部１５５が推定する尤度は高い尤度を算出することができる。ただし、滑走路の撮影においては、停止している他の航空機も多数存在する場合が多い。追尾中の目標被写体が障害物等で画角から見えなくなったとき、他の航空機が画角に入ると目標被写体が入れ替わり、以降、所望でない航空機を誤追尾してしまう恐れがある。

このような誤追尾を防止するため、推定対象設定部１５２は、自動追尾撮影の対象を判定する尤度を、所定の値以上にしておいてもよい。自動追尾撮影では、所望の構図で航空機（被写体）が撮影されるように駆動部２０２が制御されるため、通常、目標被写体の尤度が最も高く、フレームインしてきた航空機は、最適な構図ではないため、尤度が低くなりやすい。よって、自動追尾撮影の対象を判定する尤度を高く（すなわち、Ｓ８０８の第１の尤度の値より大きい第２の尤度の値）に設定することで、誤追尾を防ぐことができる。

一方、被写体推定を開始する上空遠方での撮影では、航空機と雲台装置２００距離が遠いため、テレ側にズームしても雲台装置２００の画角に対して航空機が小さくなる。このように十分な大きさの被写体が撮影できない場合、推定部１５５が推定する尤度は小さくなる。この場合、前述のように誤追尾を防止するために尤度を高めに設定していると、推定結果処理部１５６は、被写体を目標被写体とみなさずに、自動追尾撮影が開始できなくなる恐れがある。

そこで、ステップＳ８１０以降の処理では、目標被写体を決定するための尤度の基準を撮影状況（例えばカメラのチルト角度の値）に応じて変更することにより、所望の被写体を継続して自動追尾撮影の対象とする。

ステップＳ８１０では、まず、追尾尤度決定部１５８は、雲台制御部１５７から雲台装置２００における、撮影構図に対するチルト角度の値を入手する。追尾尤度決定部１５８には、撮影構図に対するチルト角度に応じた、自動追尾撮影の対象を判定する尤度を事前に設定する。例えば、追尾尤度決定部１５８は、記憶部１０５から、チルト角度と自動追尾撮影の対象を判定する尤度とを関連付けたテーブルを読み出して、当該設定を行ってもよい。この設定により、情報処理装置１００は、自動追尾撮影中に、撮影構図に対するチルト角度の値に応じて、自動追尾撮影の対象を判定する尤度を変更することができる。例えば、目標被写体が小さくなる上空遠方を撮影する際（チルト角度が所定の値より大きい）には、自動追尾撮影の対象を判定する尤度の値を低くし（第１の尤度の値）、画角内で被写体が小さくなる場合であっても目標被写体を安定的に決定できるようにする。また、滑走路付近を撮影する際（チルト角度が所定の値以下）には、自動追尾撮影の対象を判定する尤度の値を高くし（第１の尤度の値より大きい第２の尤度の値）、最適な画角により尤度が高くなる所望の被写体のみを追尾することが可能となる。すなわち、状況が変化しても目標被写体に対する誤追尾を防止して、目標被写体を精度良く追尾することが可能になる。このように、撮影状況に応じて尤度の基準を変化させて被写体に対する尤度を判定すれば、容易に目的被写体を検出することができ、複数の被写体を検出した後に別個の処理で主要被写体を選択する動作が不要になる。

ステップＳ８１０では、追尾尤度決定部１５８は、撮影構図に対するチルト角度が所定の値以下であるかを判定する。追尾尤度決定部１５８は、撮影構図に対するチルト角度が所定の値以下であると判定した場合、処理をステップＳ８１１に進め、そうでない場合には、処理をステップＳ８０９に戻す。

ステップＳ８１１にておいて、追尾尤度決定部１５８は、所定の時間が経過するまで待機し、所定の時間が経過した後、ステップＳ８１２に進む。なお、ステップＳ８１１における所定の時間は任意に設定可能であり、経過時間ゼロとしてもよい。ここで経過時間を置くことで、検出尤度が低い状態を長く保つことができ、状況に応じて検出しやすい時間を調整することができる。

ステップＳ８１２では、追尾尤度決定部１５８は、追尾対象を判定する尤度を変更する。なお、本実施形態では、追尾撮影が進行するにつれて尤度を初期設定よりも高く設定するものとする。ステップＳ８１３では、情報処理装置１００は、設定された新たな尤度の設定値において、自動追尾撮影を継続し、その後、本処理を終了する。

以上説明したように、本実施形態では、情報処理装置１００が、カメラで撮影された画像に含まれる被写体を学習モデルを用いて推定し、被写体に対する推定の信頼度を示す尤度に応じて、追尾の対象となる目標被写体を決定するようにした。このとき、情報処理装置１００は、目標被写体を決定するための尤度の基準をカメラのチルト角度に応じて変更し、変更した基準を用いて目標被写体を決定するようにした。特に、カメラのチルト角度が所定の値より大きい場合には、尤度が第１の尤度の値以上である被写体を目標被写体として決定する。一方、カメラのチルト角度が所定の値以下である場合には、尤度が第１の尤度の値より大きい第２の尤度の値以上である被写体を目標被写体として決定する。このようにすることで、状況が変化しても目標被写体を精度良く追尾することが可能になる。

＜実施形態２＞
次に、実施形態２について説明する。上述の実施形態では、雲台装置２００の撮影構図に対するチルト角度の値が所定値になるかどうかで自動追尾撮影する尤度の閾値を変更するようにした。これに対し、本実施形態では、尤度の取りうる最大値を実験等により予め把握可能であれば、実際に検出された尤度が、取りうる最大値を検出した時点で自動追尾撮影対象とする尤度を変更する。すでに雲台装置２００は、尤度が最大値を検出できる構図に調整されているからである。最大値を検出した時点で早めに尤度の閾値を変更しておくことで、早い段階から誤追尾を防止することができる。以下、実施形態２の具体例について説明する。

なお、実施形態２では、情報処理装置１００が、ソフトウェア構成例において尤度検出部９００を新たに含む点、及び、自動追尾モードの一連の動作の一部が異なる点が実施形態１と異なる。しかし、他の構成及び処理は実施形態１と同一又は実質的に同一にすることができる。このため、実施形態２の説明では、同一又は実質的に同一である構成及び処理については同一の符号を付してその説明を省略し、相違点について説明する。

＜実施形態２に係る自動追尾システムの構成＞
図９は、実施形態２に係る、自動追尾システムのソフトウェア構成例を示している。ここでは、相違点である尤度検出部９０１について説明する。

尤度検出部９０１は、推定部１５５が検出する尤度が所定の値に達した場合には、追尾尤度決定部１５８の設定を変更することができる。例えば、尤度検出部９０１は、推定された被写体の尤度がすでに情報処理装置１００の取りうる最大値に達したと判断できれば、それ以降は追尾尤度決定部１５８におけるチルト角度の条件を取り外して自動追尾撮影を開始させることができる。また、尤度検出部９０１は、自動追尾撮影中の任意の期間において、推定部１５５で推定された被写体の尤度の値に基づいて、自動追尾撮影ごとに所定の尤度を設定し直してもよい。

＜実施形態２に係る自動追尾モードの一連の動作＞
次に、図１０を参照して、実施形態２に係る自動追尾モードにおける一連の動作について説明する。なお、本実施形態の処理も、情報処理装置１００のＣＰＵ１０３（或いはＧＰＵ１０２）が記憶部１０５に格納されたプログラムを実行することにより、例えば推定対象設定部１５２等の情報処理装置１００の各部を機能させて実現される。また、情報処理装置１００は、ステップＳ８０１～Ｓ８０９の処理を実施形態１と同様に実行して、目標被写体を追尾する自動追尾撮影を行う。

ステップＳ１００１以降の処理では、条件に応じて自動追尾撮影の対象を判定する尤度を変更することにより、継続して所望の被写体を自動追尾撮影の対象とする。ステップＳ１００１では、尤度検出部９０１は、推定部１５５が検出する尤度が所定の値以上（例えば後述の最大値）であるかを判定する。尤度検出部９０１は、推定部１５５が検出する尤度が所定の値以上である場合、処理をステップＳ８１１に進め、尤度が所定の値より小さい場合は処理をステップＳ８１０に進める。すでに検出された尤度が予め定められた尤度の最大値であることが分かった時点で、最適な構図になっていると判断することができる。そのため、（Ｓ８１０でチルト角度を判定すること無く）以降の尤度の閾値を変更することで、それ以降の誤追尾を防げる効果があるからである。なお、ステップＳ１００１にて設定する所定の尤度は、任意に設定可能であり、事前に設定してもよいが、ステップＳ８５０以降に検出された尤度の値をもとに尤度検出部９０１が自動追尾撮影を行うごとに設定してもよい。

情報処理装置１００は、その後、Ｓ８１０～Ｓ８１３の処理を実施形態１と同様に実行して、本実施期待に係る自動追尾モードの一連の動作を終了する。

以上説明したように、本実施形態では、カメラのチルト角度が所定の値より大きい角度である間に、被写体に対する尤度が、（低いチルト角度の基準で用いる）第２の尤度より大きい予め定めた第３の尤度の値以上であるかを判定するようにした。そして、被写体に対する尤度が、第３の尤度の値以上である場合には、カメラのチルト角度が低チルト角度に変化した場合にも、尤度の基準で用いる尤度の値を第３の尤度に設定するようにした。このようにすることで、早い段階で高い被写体の尤度が得られる場合には当該尤度を用いて被写体の追尾を継続することができる。

なお、上述の実施形態では、航空機が着陸するシーンを自動追尾撮影する場合を例として説明をした。しかし、本実施形態は、この例に限定されず、航空機が離陸するシーンを自動追尾撮影しても良い。航空機が離陸する場合には、まず、チルト角度が所定の値以下であるため、推定部１５５による尤度が所定値以上の被写体を目標被写体とする。その後、チルト角度が大きくなり、チルト角度が所定の値より大きくなったことに応じて、基準に用いる尤度が下がるように設定し、被写体に対する尤度が、変更後の尤度の基準を超える場合に、当該被写体を目的被写体とする。

また、上述の実施形態では、目標被写体を決定するための尤度の基準が、カメラのチルト角度に応じて異なる場合を例に説明した。しかし、カメラのチルト角度に加えて、ズーム倍率を更に考慮するようにしてもよい。すなわち、カメラのチルト角度とカメラのズーム倍率とに応じて異なる、目標被写体を決定するための尤度の基準を用いて、目標被写体を決定する。例えば、カメラのチルト角度が所定の値より大きく且つカメラのズーム倍率が所定の倍率の値より大きい場合に、尤度が上記第１の尤度の値以上である被写体を目標被写体として決定する。また、カメラのチルト角度とカメラのズーム倍率のいずれかが上記を満たさない場合、尤度が（第１の尤度の値より大きい）上記第２の尤度の値以上である被写体を目標被写体として決定する。このようにすることで、目標被写体が上空におり、かつズームを活用しても被写体の推定結果が低下し得る状況に限定して、低下させた尤度の閾値を使用することができる。

また、上述の実施形態では、情報処理装置１００と雲台装置２００間をシリアル通信と、有線の映像信号線で接続したが、これに限らず公衆電話回線や、インターネット等の通信回線で接続しても良い。

更に、上述した各処理部のうち、推定部１５５については、機械学習された学習済みモデルを用いて処理を実行したが、ルックアップテーブル（ＬＵＴ）等のルールベースの処理を行ってもよい。その場合には、例えば、入力データと出力データとの関係をあらかじめＬＵＴとして作成する。そして、この作成したＬＵＴを情報処理装置１００の記憶部１０５に格納しておくとよい。推定部１５５の処理を行う場合には、この格納されたＬＵＴを参照して、出力データを取得することができる。つまりＬＵＴは、推定部１５５と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することができる。

プロセッサまたは回路は、上述したＣＰＵやＧＰＵのほか、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の情報処理装置、情報処理装置の制御方法、及びプログラムを含む。

（項目１）
撮像手段のパン、チルト及びズームの少なくともいずれかの駆動を制御しながら撮影された動画を受信する受信手段と、
前記動画を構成する画像に含まれる被写体を学習モデルを用いて推定する推定手段と、
被写体に対する推定の信頼度を示す尤度に応じて、追尾の対象となる目標被写体を決定する決定手段と、
前記目標被写体の画像内の位置を、前記画像内の所定の位置に位置させるように前記撮像手段の前記駆動を制御するための制御情報を出力する制御手段と、を有し、
前記決定手段は、前記撮像手段のチルト角度に応じて異なる、前記目標被写体を決定するための尤度の基準を用いて、前記目標被写体を決定する、ことを特徴とする情報処理装置。

（項目２）
前記決定手段は、前記撮像手段のチルト角度が所定の値より大きい場合に、尤度が第１の尤度の値以上である被写体を前記目標被写体として決定し、前記撮像手段のチルト角度が前記所定の値以下である場合に、尤度が前記第１の尤度の値より大きい第２の尤度の値以上である被写体を前記目標被写体として決定する、ことを特徴とする項目１に記載の情報処理装置。

（項目３）
前記決定手段は、前記所定の値より大きい第１の角度から前記所定の値以下の第２の角度のうち、前記撮像手段のチルト角度が前記第２の角度になったことに応じて、前記尤度の基準で用いる尤度の値を前記第２の尤度に設定する、ことを特徴とする項目２に記載の情報処理装置。

（項目４）
前記決定手段は、前記所定の値より大きい第１の角度から前記所定の値以下の第２の角度のうち、前記撮像手段のチルト角度が前記第２の角度になり、且つ第２の角度になってから所定の時間が経過したことに応じて、前記尤度の基準で用いる尤度の値を前記第２の尤度に設定する、ことを特徴とする項目２に記載の情報処理装置。

（項目５）
前記決定手段は、前記撮像手段のチルト角度が前記所定の値より大きい角度である間に、被写体に対する尤度が、前記第２の尤度より大きい予め定めた第３の尤度の値以上である場合には、前記撮像手段のチルト角度が前記所定の値以下である前記第２の角度まで変化した場合であっても、前記尤度の基準で用いる尤度の値を前記第２の尤度に変更しない、ことを特徴とする項目３又は４に記載の情報処理装置。

（項目６）
前記決定手段は、前記撮像手段のチルト角度が前記所定の値より大きい角度である間に、被写体に対する尤度が前記第３の尤度の値以上である場合には、前記尤度の基準で用いる尤度の値として前記第３の尤度を用いる、ことを特徴とする項目５に記載の情報処理装置。

（項目７）
前記決定手段は、前記撮像手段のチルト角度が前記所定の値より大きい角度である間に、被写体に対する尤度が前記第３の尤度の値以上である場合には、前記尤度の基準で用いる尤度の値を、被写体に対して得られる尤度の値に基づいて設定する、ことを特徴とする項目５に記載の情報処理装置。

（項目８）
前記決定手段は、前記撮像手段のチルト角度と前記撮像手段のズーム倍率とに応じて異なる、前記目標被写体を決定するための尤度の基準を用いて、前記目標被写体を決定する、ことを特徴とする項目１から７のいずれか１項に記載の情報処理装置。

（項目９）
前記決定手段は、前記撮像手段のチルト角度が前記所定の値より大きく且つ前記撮像手段のズーム倍率が所定の倍率の値より大きい場合に、尤度が第１の尤度の値以上である被写体を前記目標被写体として決定する、ことを特徴とする項目８に記載の情報処理装置。

（項目１０）
撮像手段のパン、チルト及びズームの少なくともいずれかの駆動を制御しながら撮影された動画を受信する受信工程と、
前記動画を構成する画像に含まれる被写体を学習モデルを用いて推定する推定工程と、
被写体に対する推定の信頼度を示す尤度に応じて、追尾の対象となる目標被写体を決定する決定工程と、
前記目標被写体の画像内の位置を、前記画像内の所定の位置に位置させるように前記撮像手段の前記駆動を制御するための制御情報を出力する制御工程と、を有し、
前記決定工程では、前記撮像手段のチルト角度に応じて異なる、前記目標被写体を決定するための尤度の基準を用いて、前記目標被写体を決定する、情報処理装置の制御方法。

（項目１１）
コンピュータを、項目１から９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…情報処理装置、２００…雲台装置、３００…操作装置、１５５…推定部、１５７…雲台制御部、１５８…追尾尤度決定部

Claims (11)

1. 撮像手段のパン、チルト及びズームの少なくともいずれかの駆動を制御しながら撮影された動画を受信する受信手段と、
   前記動画を構成する画像に含まれる被写体を学習モデルを用いて推定する推定手段と、
   被写体に対する推定の信頼度を示す尤度に応じて、追尾の対象となる目標被写体を決定する決定手段と、
   前記目標被写体の画像内の位置を、前記画像内の所定の位置に位置させるように前記撮像手段の前記駆動を制御するための制御情報を出力する制御手段と、を有し、
   前記決定手段は、前記撮像手段のチルト角度に応じて異なる、前記目標被写体を決定するための尤度の基準を用いて、前記目標被写体を決定する、ことを特徴とする情報処理装置。
2. 前記決定手段は、前記撮像手段のチルト角度が所定の値より大きい場合に、尤度が第１の尤度の値以上である被写体を前記目標被写体として決定し、前記撮像手段のチルト角度が前記所定の値以下である場合に、尤度が前記第１の尤度の値より大きい第２の尤度の値以上である被写体を前記目標被写体として決定する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記所定の値より大きい第１の角度から前記所定の値以下の第２の角度のうち、前記撮像手段のチルト角度が前記第２の角度になったことに応じて、前記尤度の基準で用いる尤度の値を前記第２の尤度に設定する、ことを特徴とする請求項２に記載の情報処理装置。
4. 前記決定手段は、前記所定の値より大きい第１の角度から前記所定の値以下の第２の角度のうち、前記撮像手段のチルト角度が前記第２の角度になり、且つ第２の角度になってから所定の時間が経過したことに応じて、前記尤度の基準で用いる尤度の値を前記第２の尤度に設定する、ことを特徴とする請求項２に記載の情報処理装置。
5. 前記決定手段は、前記撮像手段のチルト角度が前記所定の値より大きい角度である間に、被写体に対する尤度が、前記第２の尤度より大きい予め定めた第３の尤度の値以上である場合には、前記撮像手段のチルト角度が前記所定の値以下である前記第２の角度まで変化した場合であっても、前記尤度の基準で用いる尤度の値を前記第２の尤度に変更しない、ことを特徴とする請求項３に記載の情報処理装置。
6. 前記決定手段は、前記撮像手段のチルト角度が前記所定の値より大きい角度である間に、被写体に対する尤度が前記第３の尤度の値以上である場合には、前記尤度の基準で用いる尤度の値として前記第３の尤度を用いる、ことを特徴とする請求項５に記載の情報処理装置。
7. 前記決定手段は、前記撮像手段のチルト角度が前記所定の値より大きい角度である間に、被写体に対する尤度が前記第３の尤度の値以上である場合には、前記尤度の基準で用いる尤度の値を、被写体に対して得られる尤度の値に基づいて設定する、ことを特徴とする請求項５に記載の情報処理装置。
8. 前記決定手段は、前記撮像手段のチルト角度と前記撮像手段のズーム倍率とに応じて異なる、前記目標被写体を決定するための尤度の基準を用いて、前記目標被写体を決定する、ことを特徴とする請求項１に記載の情報処理装置。
9. 前記決定手段は、前記撮像手段のチルト角度が前記所定の値より大きく且つ前記撮像手段のズーム倍率が所定の倍率の値より大きい場合に、尤度が第１の尤度の値以上である被写体を前記目標被写体として決定する、ことを特徴とする請求項８に記載の情報処理装置。
10. 撮像手段のパン、チルト及びズームの少なくともいずれかの駆動を制御しながら撮影された動画を受信する受信工程と、
    前記動画を構成する画像に含まれる被写体を学習モデルを用いて推定する推定工程と、
    被写体に対する推定の信頼度を示す尤度に応じて、追尾の対象となる目標被写体を決定する決定工程と、
    前記目標被写体の画像内の位置を、前記画像内の所定の位置に位置させるように前記撮像手段の前記駆動を制御するための制御情報を出力する制御工程と、を有し、
    前記決定工程では、前記撮像手段のチルト角度に応じて異なる、前記目標被写体を決定するための尤度の基準を用いて、前記目標被写体を決定する、情報処理装置の制御方法。
11. コンピュータを、請求項１から９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images