JP2023007575A - 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置 - Google Patents

Abstract

【課題】その時々の被写体の動きにあわせて、過去に実行された撮像に係る動作をより好適な態様で事後的に再現可能とする。【解決手段】システム制御部２０１は、ユーザからの指示に応じて撮像部２０２の撮像に係る動作を制御する。また、システム制御部２０１は、撮像範囲内の被写体を検出する。システム制御部２０１は、ユーザからの指示に応じた撮像部２０２の動作の制御内容を時系列に沿って操作情報として記録する。システム制御部２０１は、被写体の検出結果に応じた情報を、時系列に沿って検出情報として上記操作情報に関連付けて記録する。システム制御部２０１は、記録された操作情報に基づき、時系列に沿った撮像部２０２の動作の制御内容を再生する。また、システム制御部２０１は、上記記録情報と、上記再生時における被写体の検出結果に応じた情報とに基づき、当該再生に係る速度を制御する。【選択図】図１０

Description

本開示は、撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置に関する。

近年における動画配信市場の拡大に伴い、ネットワークを介した遠隔制御により動画像を撮像することが可能な撮像装置（例えば、ネットワークカメラ等）を利用して、結婚式や講演会等のようなイベントを撮像可能とするシステムが各種提案されている。特に近年では、スマートフォン等のようなモバイル端末やＰＣ等にアプリケーションをインストールすることで、当該モバイル端末や当該ＰＣ等からの遠隔操作が可能となる撮像装置も提案されている。上記遠隔操作としては、例えば、撮像装置のパン・チルト・ズームを操作するＰＴＺ操作等が挙げられる。また、上記のような撮像装置には、あらかじめ設定された画角となるように制御するプリセット機能や、ユーザから受け付けた操作に関する情報を記録しておくことで事後的に当該操作に基づく動作を再現するトレース機能等を備えたものも提案されている。例えば、特許文献１には、雲台操作による被写体の自動追尾に係る技術の一例が開示されている。

特許第４７４５７６９号公報

一方で、トレース機能を利用することで、被写体の動きに合わせた撮像装置の動作の制御を実現するような状況下において、撮像装置の動作の再現時において、当該撮像装置の動作の記録時と同様に被写体が動くとは限らない場合がある。このような場合には、例えば、撮像装置の動作の再現時に、撮像装置の動作を、当該撮像装置の動作の記録時と同様に制御したとしても、注目する被写体の動きにあわせた制御の実現が困難な場合がある。

本発明は上記の問題を鑑み、その時々の被写体の動きにあわせて、過去に実行された撮像に係る動作をより好適な態様で事後的に再現可能とすることを目的とする。

本発明に係る撮像装置は、撮像手段と、ユーザからの指示に応じて前記撮像手段の撮像に係る動作を制御する制御手段と、前記撮像手段の撮像範囲内の被写体を検出する検出手段と、前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第１の情報として記録する第１の記録手段と、前記被写体の検出結果に応じた情報を、時系列に沿って、第２の情報として前記第１の情報に関連付けて記録する第２の記録手段と、前記第１の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、を備え、前記再生手段は、前記第２の情報と、前記再生時における被写体の検出結果に応じた情報と、に基づき、当該再生に係る速度を制御する。

本発明によれば、その時々の被写体の動きにあわせて、過去に実行された撮像に係る動作をより好適な態様で事後的に再現することが可能となる。

撮像システムのシステム構成の一例を示した図である。 撮像装置の構成の一例を示した図である。 クライアント装置の構成の一例を示した図である。 トレース記録に係る処理の一例を示したフローチャートである。 トレース再生に係る処理の一例を示したフローチャートである。 撮像システムのユースケースの一例を示した図である。 トレース再生における被写体の動きの変化の一例を示した図である。 撮像装置の画角の一例を示した図である。 撮像システムの処理の一例を示したフローチャートである。 撮像システムの処理の一例を示したフローチャートである。 撮像システムのＵＩの一例を示した図である。 撮像システムのＵＩの一例を示した図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜システム構成＞
図１を参照して本実施形態に係る撮像システムのシステム構成の一例について説明する。本実施形態に係る撮像システムは、撮像装置１０１と、当該撮像装置１０１の動作の制御に利用される端末装置１０２とを含む。撮像装置１０１と端末装置１０２とは、ネットワーク１０５を介して相互に情報を送受信可能に接続される。また、撮像装置１０１に対して複数の端末装置１０２がネットワーク１０５を介して接続されていてもよい。また、少なくとも一部の端末装置１０２に替えてコントローラ１０４が適用されてもよい。また、少なくとも一部の端末装置１０２に対して、撮像装置１０１の動作の制御に係る操作をユーザから受け付けるための入力装置１０３が接続されていてもよい。

撮像装置１０１は、ネットワーク１０５を介した他の装置（例えば、端末装置１０２、コントローラ１０４等）からの指示に応じて、撮像範囲内を撮像してもよい。また、撮像装置１０１は、ネットワーク１０５を介した他の装置からの指示に応じて、撮像に係る条件（例えば、フォーカス、絞り、シャッタースピード、ゲイン等）を制御してもよい。また、撮像装置１０１は、ネットワーク１０５を介した他の装置からの指示に応じて、撮像結果に応じた静止画像や動画像のデータを当該他の装置に送信してもよい。なお、以降の説明では、静止画像と動画像とを特に区別しない場合には、便宜上「画像」とも称する。また、以降の説明では、静止画像及び動画像それぞれのデータを特に区別しない場合には、便宜上「画像データ」とも称する。

端末装置１０２は、ＰＣ、タブレット端末、及びスマートフォン等のような通信機能を有する情報処理装置により実現され得る。また、端末装置１０２は、ディスプレイ等のようなユーザに情報を提示するための出力装置と、タッチパネル等のようなユーザからの指示を受け付けるための入力装置とを備える。なお、当該出力装置及び当該入力装置のうち少なくともいずれかが、端末装置１０２に対して外付けされる装置として実現されてもよい。
例えば、入力装置１０３は、端末装置１０２に対して外付けされた入力装置の一例に相当する。入力装置１０３は、例えば、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）等の規格に基づく伝送路を介して端末装置１０２に接続されてもよい。入力装置１０３としては、例えば、ジョイスティック等のように、アプリケーションにより提示されるＧＵＩのみでは実現が困難な、滑らかなＰＴＺ操作を実現するための入力装置が適用されてもよい。

コントローラ１０４は、撮像装置１０１の操作に係る入力インターフェースを有するハードウェアを模式的に示している。なお、図１に示す例では、コントローラ１０４は、ネットワーク１０５を介して撮像装置１０１に接続されているが、必ずしもコントローラ１０４と撮像装置１０１との間の接続方式を限定するものではない。具体的な一例として、撮像装置１０１に対して、シリアル接続等の接続方式によりコントローラ１０４が接続されてもよい。

ネットワーク１０５については、撮像装置１０１と、端末装置１０２やコントローラ１０４との間で通信を確立することが可能であれば、その種別については特に限定はされない。具体的な一例として、ネットワーク１０５として、ＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠したネットワークが適用されてもよい。この場合には、ネットワーク１０５は、当該通信規格に準拠したルータ、スイッチ、及びケーブル等により実現されてもよい。また、他の一例として、ネットワーク１０５は、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標）、ＬＴＥ、及び５Ｇ等のような無線通信の通信規格に準拠したネットワークが適用されてもよい。また、ネットワーク１０５は、複数のネットワークにより実現されてもよい。この場合には、当該複数のネットワークに、互いに種別の異なる２以上のネットワークが含まれてもよい。また、撮像装置１０１と、端末装置１０２やコントローラ１０４との間の通信が、他の通信装置により仲介されてもよい。

なお、図１に示した構成はあくまで一例であり、必ずしも本実施形態に係る撮像システムのシステム構成を限定するものではない。具体的な一例として、撮像装置１０１がスタンドアロンの装置として実現されてもよい。この場合には、当該撮像装置１０１に対して、ユーザからの指示を受け付けるための入力装置と、ユーザに対して情報を提示するための出力装置が設けられていてもよい。また、この場合においても、当該入力装置及び当該出力装置のうち少なくともいずれかが、撮像装置１０１に対して外付けされる装置として実現されてもよい。

＜構成＞
本実施形態に係る撮像システムの構成の一例について、特に、撮像装置１０１と端末装置１０２とのそれぞれに着目して説明する。

まず、図２を参照して、撮像装置１０１の構成の一例について説明する。撮像装置１０１は、システム制御部２０１と、撮像部２０２と、画像処理部２０３と、レンズ駆動部２０４と、撮像画角制御部２０５と、フォーカス制御部２０６と、パン駆動部２０７と、チルト駆動部２０８と、パン・チルト制御部２０９とを含む。また、撮像装置１０１は、記憶部２１０と、プログラムメモリ２１１とを含んでもよい。また、撮像装置１０１は、通信部２２０を含んでもよい。

システム制御部２０１は、撮像装置１０１の各構成要素に対して指示を行うことで、当該撮像装置１０１の各種動作（特に、撮像に係る動作）を制御する。システム制御部２０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）等の演算装置により実現され得る。
また、システム制御部２０１は、後述する通信部２２０の動作を制御することで、ネットワーク１０５を介して他の装置（例えば、端末装置１０２）との間で各種情報の送受信を行ってもよい。具体的な一例として、システム制御部２０１は、ネットワーク１０５を介して端末装置１０２から撮像に係る制御コマンドを受信し、当該制御コマンドを解析することで、当該制御コマンドに応じた処理を実行してもよい。なお、以降では、撮像に係る制御コマンドを、便宜上「カメラ制御コマンド」とも称する。

カメラ制御コマンドには、撮像装置１０１に対して画像データや各種設定値の送信を依頼するための要求コマンドと、設定値の指定に係る設定コマンドとが含まれる。

例えば、システム制御部２０１は、端末装置１０２から画像データの送信に係る要求コマンドを受信してもよい。この場合には、システム制御部２０１は、画像処理部２０３により生成された画像データを、ネットワーク１０５を介して当該端末装置１０２に送信するように通信部２２０に指示する。
また、他の一例として、システム制御部２０１は、端末装置１０２から、フォーカス、ズーム、パン、及びチルト等に係る設定値のように、撮像に関する設定値の送信に係る要求コマンドを受信してもよい。この場合には、システム制御部２０１は、当該要求コマンドで指定された設定値を、当該設定値を管理する構成要素から取得し、取得した当該情報を、ネットワーク１０５を介して端末装置１０２に送信するように通信部２２０に指示してもよい。各種設定値を管理する構成要素の候補としては、例えば、画像処理部２０３、撮像画角制御部２０５、フォーカス制御部２０６、及びパン・チルト制御部２０９等が挙げられる。また、システム制御部２０１は、撮像に関する設定値に係る情報として、現在設定されている値のみに限らず、例えば、設定可能な当該値の範囲に関する情報等を、ネットワーク１０５を介して端末装置１０２に送信してもよい。

また、システム制御部２０１は、端末装置１０２から撮像に関する設定値の指定に係る設定コマンドを受信してもよい。この場合には、システム制御部２０１は、当該設定コマンドにより指定された設定値に基づく制御を、当該設定値に対応する構成要素に指示する。このような構成要素の候補としては、例えば、画像処理部２０３、撮像画角制御部２０５、フォーカス制御部２０６、及びパン・チルト制御部２０９等が挙げられる。また、これらの構成要素により、例えば、撮像部２０２、レンズ駆動部２０４、パン駆動部２０７、及びチルト駆動部２０８等の動作が制御されることで、端末装置１０２により指定された設定値に応じた撮像装置１０１の動作が実現される。

撮像部２０２は、レンズ等の撮像光学系と、撮像素子とを含む。撮像光学系により形成された光学像（被写体像）は、撮像素子に導光されて結像し、当該撮像素子により電気信号に光電変換される。そして、上記光学像が光電変換された電気信号（画像信号）は、例えば、ゲインの調整が行われ、Ａ／Ｄ変換器によりアナログ信号からデジタル信号にＡ／Ｄ変換されたうえで、画像処理部２０３に出力される。
画像処理部２０３は、撮像部２０２から出力される画像信号に対して、各種画像処理、解像度変換処理、及び圧縮符号化処理等を適用して、画像データを生成する。画像処理部２０３により生成された画像データは、例えば、後述する記憶部２１０に記憶されてもよい。また、他の一例として、当該画像データは、後述する通信部２２０により、ネットワーク１０５を介して他の装置（例えば、端末装置１０２）に送信されてもよい。

レンズ駆動部２０４は、撮像部２０２の撮像光学系を構成する一連の光学部材のうち、少なくとも一部の光学部材の位置の制御に係る駆動系や、当該駆動系の動力源となるモータ等により構成される。なお、本実施形態では、レンズ駆動部２０４による位置の制御の対象となる光学部材として、フォーカス制御に係る光学部材（以下、「フォーカスレンズ」とも称する）と、画角の制御に係る光学部材（以下、「ズームレンズ」とも称する）とが含まれるものとする。レンズ駆動部２０４の動作は、撮像画角制御部２０５及びフォーカス制御部２０６により制御される。
撮像画角制御部２０５は、システム制御部２０１から出力されるズームに関する設定値に基づいて、レンズ駆動部２０４に対して、ズームレンズの位置の制御を指示する。ズームに関する設定値としては、例えば、焦点距離の設定値が挙げられる。
フォーカス制御部２０６は、システム制御部２０１から出力されるフォーカスに関する設定値に基づいて、レンズ駆動部２０４に対して、フォーカスレンズの位置の制御を指示する。フォーカスレンズの位置が制御されることで、フォーカスレンズが合焦する撮像範囲内の位置（フォーカス位置）が制御される。

なお、撮像装置による撮像に係る一連の動作のうち少なくとも一部の動作については、撮像環境等の各種条件に応じて自動で制御が行われてもよい。
具体的な一例として、オートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）では、撮像部２０２による撮像結果に応じた画像のコントラストから評価値が算出され、フォーカス制御部２０６が、この評価値に応じてフォーカスレンズの位置を制御する。これにより、撮像範囲内の被写体に合焦するように撮像部２０２のフォーカスが制御される。
また、フォーカスの制御に限らず、例えば、露出（絞り、シャッタースピード、ゲイン、及びＮＤフィルタ等）、ホワイトバランス、ノイズリダクション、及びガンマの制御等についても自動での制御が適用されてもよい。このような自動での制御については、当該制御の内容に応じて、当該制御の主体が適宜変更されてもよい。具体的な一例として、ノイズリダクションやガンマ制御等については、画像処理部２０３により実行されてもよい。

パン駆動部２０７は、撮像部２０２の撮像方向をパン方向に制御するパン動作を実現するための駆動系や、当該駆動系の動力源となるモータ等により構成される。パン駆動部２０７の動作は、パン・チルト制御部２０９により制御される。
チルト駆動部２０８は、撮像部２０２の撮像方向をチルト方向に制御する所謂チルト動作を実現するための駆動系や、当該駆動系の動力源となるモータ等により構成される。チルト駆動部２０８の動作は、パン・チルト制御部２０９により制御される。
パン・チルト制御部２０９は、システム制御部２０１から出力されるパン及びチルトに関する設定値に基づいて、パン駆動部２０７及びチルト駆動部２０８の少なくともいずれかに対して、撮像方向の制御（パン動作やチルト動作に係る制御）を指示する。

記憶部２１０は、内部ストレージ及び外部ストレージのうち少なくともいずれかに各種データ（例えば、画像データ等）を記憶させる。また、記憶部２１０は、内部ストレージ及び外部ストレージに記憶された各種データを読み出してもよい。上記外部ストレージや上記内部ストレージについては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＤＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）に代表される不揮発性メモリ等により実現され得る。
プログラムメモリ２１１は、撮像装置１０１の動作の制御に係るプログラムを記憶する記憶領域である。システム制御部２０１は、プログラムメモリ２１１に記憶された当該プログラムを展開して実行することで、撮像装置１０１の各種動作を実現する。

通信部２２０は、撮像装置１０１の構成要素（例えば、システム制御部２０１）が、ネットワーク１０５を介して他の装置（例えば、端末装置１０２）との間で各種情報の送受信を行うための通信インターフェースである。例えば、通信部２２０は、ネットワーク１０５を介して端末装置１０２からカメラ制御コマンドを受信し、当該カメラ制御コマンドをシステム制御部２０１に出力してもよい。この場合には、通信部２２０は、システム制御部２０１からの指示に応じて、上記端末装置１０２に対して、ネットワーク１０５を介して、上記カメラ制御コマンドに対するレスポンスを送信してもよい。なお、カメラ制御コマンドについては前述したため、詳細な説明は省略する。

なお、図２に示す構成はあくまで一例であり、本実施形態に係る撮像装置１０１の構成を限定するものではない。例えば、図２に示す構成が、複数の装置が協働することにより実現されてもよい。
具体的な一例として、撮像装置１０１の一連の構成要素のうち、一部の構成要素が他の装置に設けられていてもよい。具体的な一例として、システム制御部２０１、記憶部２１０、及びプログラムメモリ２１１に相当する構成要素が、撮像装置１０１と所定の伝送経路を介して情報を送受信可能な他の装置側に設けられていてもよい。この場合には、当該他の装置が、撮像装置１０１の動作を制御する「情報処理装置」の一例に相当する。
また、他の一例として、撮像装置１０１の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が複数の装置に分散されてもよい。

続いて、図３を参照して、クライアント装置の構成の一例について説明する。クライアント装置は、端末装置１０２やコントローラ１０４のように、撮像装置１０１の動作の制御に用いられる装置に相当する。クライアント装置は、システム制御部３０１と、通信部３０２と、記憶部３０３と、プログラムメモリ３０５とを含む。また、クライアント装置は、入力部３０４を含んでもよい。

システム制御部３０１は、クライアント装置の各構成要素に対して指示を行うことで、当該クライアント装置の各種動作を制御する。システム制御部３０１は、例えば、ＣＰＵ等の中央演算装置により実現され得る。

例えば、システム制御部３０１は、入力部３０４がユーザから受け付けた操作に応じてカメラ制御コマンドを生成し、ネットワーク１０５を介して撮像装置１０１に当該カメラ制御コマンドを送信するように通信部３０２に指示してもよい。このように、クライアント装置から撮像装置１０１にカメラ制御コマンドが送信される仕組みにより、クライアント装置を介して当該撮像装置１０１を遠隔で操作することも可能となる。

また、システム制御部３０１は、撮像装置１０１に対して、動作の制御内容に関する情報の記録を指示したり、記録された当該情報に基づく上記動作の事後的な再現（制御内容の再生）を指示してもよい。以降では、上記したように、撮像装置１０１の動作の制御内容に関する情報を記録し、当該情報に基づき、撮像装置１０１の動作の事後的に再現する一連の機能を、便宜上「トレース機能」とも称する。また、当該トレース機能のうち、撮像装置１０１の動作の制御内容に関する情報の記録に係る機能を「トレース記録」とも称し、記録された情報に基づく撮像装置１０１の動作の事後的な再現（制御内容の再生）に係る機能を「トレース再生」とも称する。

また、システム制御部３０１は、通信部３０２が撮像装置１０１からレスポンスと受信した場合に、当該レスポンスを解析することで、当該レスポンスに応じた処理を実行してもよい。

通信部３０２は、クライアント装置の構成要素（例えば、システム制御部３０１）が、ネットワーク１０５を介して他の装置（例えば、撮像装置１０１）との間で各種情報の送受信を行うための通信インターフェースである。例えば、通信部３０２は、ネットワーク１０５を介して撮像装置１０１にカメラ制御コマンドを送信し、当該撮像装置１０１から当該カメラ制御コマンドに対するレスポンスを受信してもよい。なお、カメラ制御コマンドについては前述したため、詳細な説明は省略する。

記憶部３０３は、内部ストレージ及び外部ストレージのうち少なくともいずれかに各種データ（例えば、画像データ等）を記憶させる。また、記憶部３０３は、内部ストレージ及び外部ストレージに記憶された各種データを読み出してもよい。上記外部ストレージや上記内部ストレージについては、例えば、ＨＤＤや、ＳＤＤに代表される不揮発性メモリ等により実現され得る。
プログラムメモリ３０５は、クライアント装置の動作の制御に係るプログラム（例えば、各種アプリケーションのプログラム等）を記憶する記憶領域である。システム制御部３０１は、プログラムメモリ３０５に記憶された当該プログラムを展開して実行することで、当該クライアント装置の各種動作を実現する。

入力部３０４は、ユーザからの指示を受け付けるための入力インターフェースである。入力部３０４は、例えば、クライアント装置に備えられたボタン、キーボード、ポインティングデバイス、及びジョイスティック等の入力装置により実現され得る。また、他の一例として、入力部３０４は、ディスプレイ等の表示部（不図示）に設けられたタッチパネルにより実現されてもよい。

なお、図３に示す構成はあくまで一例であり、本実施形態に係るクライアント装置の構成を限定するものではない。
例えば、図３に示す例では、ディスプレイ等の表示部に相当する構成要素を図示していないが、クライアント装置が当該表示部に相当する構成要素を備えていてもよい。このように、クライアント装置に対して表示部に相当する構成要素が設けられることで、例えば、撮像装置１０１による撮像結果に応じた画像や、当該撮像装置１０１による撮像に係る動作に適用されている設定値等を、ユーザに提示することも可能となる。

また、図３に示す構成が、複数の装置が協働することにより実現されてもよい。
具体的な一例として、クライアント装置の一連の構成要素のうち、一部の構成要素が他の装置に設けられていてもよい。具体的な一例として、入力部３０４や記憶部３０３に相当する構成要素が、クライアント装置と所定の伝送経路を介して情報を送受信可能な他の装置側に設けられていてもよい。
また、他の一例として、クライアント装置の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が複数の装置に分散されてもよい。
なお、以降では、便宜上、クライアント装置として端末装置１０２が適用されるものとして、各種説明を行うものとする。

＜比較例＞
まず、本実施形態に係る撮像システムの特徴をより分かりやすくするために、比較例として、図４及び図５を参照して、トレース機能の実現に係る処理の一例について説明する。

まず、図４を参照して、トレース記録に係る処理の一例について説明する。
Ｓ４０１において、撮像装置１０１のシステム制御部２０１は、端末装置１０２からの指示に応じて、トレース記録に係る一連の処理を開始する。
まず、Ｓ４０２において、システム制御部２０１は、トレース記録の開始時に、現在の撮像装置１０１の状態（例えば、撮像方向や撮像条件等）に関する情報を所定の記憶領域に記録する。なお、以降では、撮像装置１０１の状態に関する情報を、便宜上「カメラ情報」とも称する。また、上記記憶領域としては、撮像装置１０１の記憶部２１０が利用されてもよいし、端末装置１０２の記憶部３０３が利用されてもよい。上記記憶領域として端末装置１０２の記憶部３０３が利用される場合には、システム制御部２０１は、ネットワーク１０５を介して端末装置１０２に上記カメラ情報を送信すればよい。
なお、以降では、便宜上、上記記憶領域として撮像装置１０１の記憶部２１０が利用されるものとして各種説明を行うものとする。

Ｓ４０３において、システム制御部２０１は、端末装置１０２がユーザからの操作を受け付けたか否か（換言すると、ユーザからの指示を受け付けたか否か）を判定する。
システム制御部２０１は、Ｓ４０３において端末装置１０２がユーザからの操作を受け付けたと判定した場合には、処理をＳ４０４に進める。この場合には、Ｓ４０４において、システム制御部２０１は、ネットワーク１０５を介して端末装置１０２から、当該端末装置１０２がユーザから受け付けた操作の内容に関する情報（以降では、「操作情報」とも称する）を記憶部２１０に記録する。この際に、システム制御部２０１は、操作情報に対して時刻情報を関連付けて記録してもよい。
一方で、システム制御部２０１は、Ｓ４０３において端末装置１０２がユーザからの操作を受け付けていないと判定した場合には、処理をＳ４０５に進める。この場合には、Ｓ４０４の処理はスキップされることとなる。

Ｓ４０５において、システム制御部２０１は、トレース記録を終了するか否かを判定する。具体的な一例として、システム制御部２０１は、ユーザからトレース記録の終了に係る指示を受け付けたか否かに応じて、トレース記録を終了するか否かを判定してもよい。
システム制御部２０１は、Ｓ４０５においてトレース記録を終了しないと判定した場合には、処理をＳ４０３に進める。この場合には、Ｓ４０３以降の処理が改めて実行されることとなる。これにより、操作情報が時系列に沿って逐次記録されることとなる。なお、以降では、トレース記録により操作情報が時系列に沿って逐次記録されたデータを、「トレースデータ」とも称する。
そして、システム制御部２０１は、Ｓ４０５においてトレース記録を終了すると判定した場合には、処理をＳ４０６に進める。

Ｓ４０７において、システム制御部２０１は、トレース記録に係る制御（例えば、操作情報の記録に係る制御）を終了する。
そして、Ｓ４０８において、システム制御部２０１は、トレース記録の終了時における撮像装置１０１の状態に関するカメラ情報を記憶部２１０に記録したうえで、図４に示す一連の処理を終了する。

次いで、図５を参照して、トレース再生に係る処理の一例について説明する。
Ｓ５０１において、撮像装置１０１のシステム制御部２０１は、端末装置１０２からの指示に応じて、トレース再生に係る一連の処理を開始する。
Ｓ５０２において、システム制御部２０１は、記憶部２１０に記録されているトレース記録開始時のカメラ情報に基づき、撮像装置１０１の状態が、当該トレース記録開始時の状態となるように制御する。これにより、撮像装置１０１の状態（例えば、撮像方向や撮像条件等）が、トレース記録の開始時（図４のＳ４０２の実行時）と実質的に同様の状態となる。

Ｓ５０３において、システム制御部２０１は、トレース記録において記録されたトレースデータ（換言すると、操作情報）を記憶部２１０から取得する。この際に、システム制御部２０１は、その時点でまだ取得していない情報のうち、より過去に記録された情報を記憶部２１０から取得する。

Ｓ５０４において、システム制御部２０１は、Ｓ５０３において取得したトレースデータ（操作情報）に基づき、撮像装置１０１の動作を制御する。

Ｓ５０５において、システム制御部２０１は、トレース再生の停止に係る指示を受け付けたか、またはトレース記録において記録された一連の情報について最後までトレース再生を実行したかを判定する。
システム制御部２０１は、Ｓ５０５において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をＳ５０３に進める。この場合には、トレース記録において記憶部２１０に記録された情報のうち、まだＳ５０３の処理により取得されていない情報について、Ｓ５０３以降の処理が改めて実行されることとなる。
そして、システム制御部２０１は、Ｓ５０５において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をＳ５０６に進める。

Ｓ５０６において、システム制御部２０１は、トレース再生に係る一連の処理を終了する。これにより、図５に示す一連の処理が終了することとなる。

ここで、図６及び図７を参照して、上記した比較例に係るトレース機能を利用してトレース記録時における撮像装置の動作を再現した場合の技術的課題について概要を説明する。
例えば、図６は、本実施形態に係る撮像システムのユースケースの一例について示した図であり、結婚式会場にて挙式が行われている状況下で、撮像装置１０１により会場内の撮像が行われている状態を模式的に示している。図６に示す例では、メインの被写体となる人物６０１が矢印で示された方向に向かって歩みを進めるシーンを想定している。撮像装置１０１は、人物６０１と対面するように配置されており、遠隔操作によりＰＴＺ制御や撮像に係る各種制御が行われるものとする。

図７は、図６に示すシーンにおける、トレース記録時の被写体の位置の遷移（換言すると、被写体の動き）と、トレース再生時の被写体の位置の遷移とをグラフとして示している。図７に示す例では、オートフォーカス制御により被写体に合焦している場合のフォーカス位置（フォーカスレンズが合焦する撮像範囲内の位置）の変化を、当該被写体の位置の遷移として、時系列に沿って示している。図７（ａ）及び図７（ｂ）それぞれに示すグラフは、横軸が時間を示しており、縦軸が奥行方向における被写体の位置（換言すると、フォーカス位置）を示している。

図７（ａ）及び図７（ｂ）に示すグラフＣ７０１は、トレース記録時における被写体の位置の遷移（すなわち、時系列に沿った被写体の位置の変化）を示している。グラフＣ７０１として示すように、トレース記録時には、時間の経過とともに被写体となる人物６０１が撮像装置１０１により近づくように移動している。
これに対して、図７（ａ）に示すグラフＣ７０２は、トレース再生時における被写体の位置の遷移の一例を示している。グラフＣ７０２をグラフＣ７０１と比較するとわかるように、図７（ａ）に示す例では、トレース再生時にはトレース記録時に比べて、被写体となる人物６０１の時系列に沿った位置の変化がより遅くなっている。
また、図７（ｂ）に示すグラフＣ７０３は、トレース再生時における被写体の位置の遷移の他の一例を示している。グラフＣ７０３をグラフＣ７０１と比較するとわかるように、図７（ｂ）に示す例では、トレース再生時にはトレース記録時に比べて、被写体となる人物６０１の時系列に沿った位置の変化がより速くなっている。

図７（ａ）及び図７（ｂ）に示すように、トレース記録時とトレース再生時との間で時系列に沿った被写体の位置の変化に差が生じる場合がある。このような差が生じる要因としては、例えば、トレース記録時とトレース再生時との間で被写体の動くスピードが異なることや、トレース再生の開始に係るタイミングのズレが生じること等の影響が考えられる。
このような状況を鑑み本実施形態に係る撮像システムでは、トレース記録時に被写体の検出結果に応じた情報（以下、「検出情報」とも称する）を記録し、この記録された検出情報とトレース再生時における検出情報との差に基づきトレース再生の速度制御を行う。そこで、以降では、上記した本実施形態に係る撮像システムの特徴についてより詳しく説明する。

＜機能概要＞
図８を参照して、本実施形態に係る撮像システムのトレース再生の速読制御に係る機能の概要について説明する。図８は、図６を参照して説明したユースケースにおける撮像装置１０１の画角を模式的に示した図である。

まず、図８（ａ）について説明する。図８（ａ）は、メインの被写体となる人物６０１が矢印で示す方向に向かって進み始める直前のシーンにおいて、より広い範囲が撮像されるように画角が広角寄りに設定されている状況を模式的に示している。Ｒ８０１は、所謂顔検出の機能による人物の顔の検出結果に応じて提示される検出枠を模式的に示している。検出枠Ｒ８０１は、例えば、現在の画角に対する検出対象が検出された位置に関する座標情報により管理される。
なお、座標情報については、画角内における検出枠Ｒ８０１の範囲を示すことが可能であれば、その種別は特に限定はされない。具体的な一例として、検出枠Ｒ８０１が矩形の場合には、当該矩形の左上の頂点の座標と右下の頂点の座標とが座標情報として管理されてもよいし、左上の頂点の座標と高さ及び幅に関する情報とが座標情報として管理されてもよい。もちろん、検出枠Ｒ８０１の形状についても特に限定はされず、当該形状に応じて座標情報の種別が適宜変更されてもよい。
また、図８に示す例では、顔検出の機能によりメインの被写体となる人物６０１の顔を検出の対象としているが、撮像範囲内の被写体を検出することが可能であれば、当該検出に利用される機能は特に限定はされない。具体的な一例として、人体検出、動体検出、及び物体検出等の機能が被写体の検出に利用されてもよい。また、検出対象となる被写体についても人物には限定されず、検出対象とする被写体の種別に応じて当該被写体の検出に利用される機能が適宜変更されてもよい。

次いで、図８（ｂ）について説明する。図８（ｂ）は、図８（ａ）に示す状態から人物６０１が矢印の方向に向かって進んだ後のシーンにおいて、主役（メインの被写体）となる人物６０１をより強調するためにズームアップした画角で撮像されている状況を模式的に示している。Ｒ８０２は、Ｒ８０１と同様に、顔検出の機能による人物の顔の検出結果に応じて提示される検出枠を模式的に示している。図８（ｂ）に示すシーンでは、図８（ａ）に示すシーンに比べて、撮像装置１０１に対して人物６０１がより近くに位置しており、さらにズームアップの制御が行われている。そのため、検出枠Ｒ８０２は、検出枠Ｒ８０１に比べて、画角中に占める範囲がより広くなっている。すなわち、検出枠Ｒ８０２は、検出枠Ｒ８０１に比べて、シーンの違いや撮像条件の違いの影響によりサイズがより大きくなっている。

本実施形態に係る撮像システムは、トレース記録時に、撮像装置１０１の動作の制御内容（例えば、ＰＴＺ制御やフォーカス位置の制御等の内容）に関する情報と、図８を参照して例示した被写体の検出結果に応じた検出情報とを関連付けて時系列に沿って記録する。また、撮像システムは、トレース再生時に、被写体の検出結果に応じた検出情報と、トレース記録時に記録された検出情報とを比較することで、被写体の動きの違い（例えば、トレース記録時に比べて被写体の動きが速いか遅いか）を判定する。そのうえで、撮像システムは、トレース再生時に、撮像装置１０１の動作の制御内容を再生する速度を、トレース記録時とトレース再生時との間での被写体の動きの違い（例えば、被写体の位置の遷移の違い）の判定結果に基づき制御する。
具体的な一例として、撮像システムは、トレース記録時に比べて被写体の動きが遅い場合には、撮像装置１０１の動作の制御内容を再生する速度がより遅くなるように制御してもよい。また、他の一例として、撮像システムは、トレース記録時に比べて被写体の動きが速い場合には、撮像装置１０１の動作の制御内容を再生する速度がより速くなるように制御してもよい。
上記のような制御が適用されることで、その時々の被写体の動きにあわせて、過去に実行された撮像装置１０１の撮像に係る動作（例えば、ＰＴＺ制御やフォーカス位置の制御に応じた動作）をより好適な態様で事後的に再現することが可能となる。

＜処理＞
図９及び図１０を参照して、本実施形態に係る撮像システム処理の一例について説明する。

まず、図９を参照して、トレース記録に係る処理の一例について説明する。図９に示す例は、検出情報の記録に係る処理が追加されている点で、図４に示す例と異なる。そこで、以降では、図９に示す例について、特に図４に示す例と異なる部分に着目して説明し、図４に示す例と実質的に同様の部分については詳細な説明を省略する。

Ｓ９０１～Ｓ９０４の処理は、図４に示すＳ４０１～Ｓ４０４の処理と実質的に同様である。すなわち、撮像装置１０１のシステム制御部２０１は、トレース記録の開始時に現在の撮像装置１０１の状態に関する情報の記録を行い、その後に、ユーザから受け付けた操作の内容に関する操作情報の記録を行う。
なお、操作情報が、「第１の情報」の一例に相当し、Ｓ９０４として示した操作情報の記録に係る処理が、「第１の記録処理」の一例に相当する。

Ｓ９０５において、システム制御部２０１は、撮像装置１０１の撮像範囲内の被写体の検出に係る処理を実行し、被写体（例えば、メインとなる被写体）が検出されたか否かを判定する。なお、被写体の検出に際して、例えば、検出範囲があらかじめ設定されていてもよい。これにより、被写体検出による検出対象を、撮像範囲内に存在する一連の被写体のうち、特に注目する被写体（例えば、メインの被写体）に制限することも可能となる。また、他の一例として、被写体検出により検出された一連の被写体のうちの一部の被写体が、ユーザからの指示に応じて、メインの被写体として選択されてもよい。
システム制御部２０１は、Ｓ９０５において被写体が検出されたと判定した場合には、処理をＳ９０６に進める。Ｓ９０６において、システム制御部２０１は、Ｓ９０５における被写体の検出結果に応じた検出情報を記憶部２１０に記録する。検出情報としては、例えば、被写体が検出されたときのフォーカス位置、検出された被写体の位置、検出された被写体との間の距離、及び検出された被写体の大きさ等に関する情報が含まれ得る。なお、Ｓ９０４において操作情報の記録が行われている場合には、当該操作情報に次いで検出情報が追記され、これにより、当該操作情報と当該検出情報とが関連付けられることとなる。また、検出情報が、「第２の情報」の一例に相当し、Ｓ９０６として示した検出情報の記録に係る処理が「第２の記録処理」の一例に相当する。
一方で、システム制御部２０１は、Ｓ９０５において被写体が検出されていないと判定した場合には、処理をＳ９０７に進める。この場合には、Ｓ９０６の処理はスキップされることとなる。

Ｓ９０７において、システム制御部２０１は、トレース記録を終了するか否かを判定する。
システム制御部２０１は、Ｓ９０７においてトレース記録を終了しないと判定した場合には、処理をＳ９０３に進める。この場合には、Ｓ９０３以降の処理が改めて実行されることとなる。これにより、操作情報や検出情報が時系列に沿って逐次記録されることとなる。なお、本実施形態では、トレース記録により操作情報や検出情報が時系列に沿って逐次記録されたデータが、「トレースデータ」に相当する。
そして、システム制御部２０１は、Ｓ９０７においてトレース記録を終了すると判定した場合には、処理をＳ９０８に進める。

Ｓ９０８において、システム制御部２０１は、トレース記録に係る制御（例えば、操作情報や検出情報の記録に係る制御）を終了する。
そして、Ｓ９０９において、システム制御部２０１は、トレース記録の終了時における撮像装置１０１の状態に関するカメラ情報を記憶部２１０に記録したうえで、図９に示す一連の処理を終了する。

次いで、図１０を参照して、トレース再生に係る処理の一例について説明する。図１０に示す例は、検出情報に基づく撮像装置１０１の動作の制御内容を再生する速度の制御に係る処理が追加されている点で、図５に示す例と異なる。そこで、以降では、図１０に示す例について、特に図５に示す例と異なる部分に着目して説明し、図５に示す例と実質的に同様の部分については詳細な説明を省略する。

Ｓ１００１～Ｓ１００３の処理は、図５に示すＳ５０１～Ｓ５０３の処理と実質的に同様である。すなわち、撮像装置１０１のシステム制御部２０１は、トレース再生の開始時に、トレース記録開始時のカメラ情報に基づき、撮像装置１０１の状態が、当該トレース記録開始時の状態となるように制御し、トレースデータを記憶部２１０から取得する。なお、システム制御部２０１は、トレースデータの取得に際し、その時点でまだ取得していない情報のうち、より過去に記録された情報を記憶部２１０から取得する。

Ｓ１００４において、システム制御部２０１は、Ｓ１００３において取得したトレースデータ（例えば、操作情報）に基づき、撮像装置１０１の動作（特に、撮像に係る動作
）を制御する。
具体的な一例として、システム制御部２０１は、トレースデータに含まれる情報のうち、被写体との間の距離に関する情報とフォーカス制御に関する情報（例えば、フォーカス位置に関する情報等）をフォーカス制御部２０６に出力してもよい。これにより、フォーカス制御部２０６は、システム制御部２０１から出力される上記情報に基づきレンズ駆動部２０４を駆動させることで、トレース記録時におけるフォーカス制御を再現することが可能となる。
また、システム制御部２０１は、トレースデータに含まれる情報のうち、パン制御及びチルト制御に関する情報（例えば、パン方向及びチルト方向の位置に関する情報等）をパン・チルト制御部２０９に出力してもよい。これにより、パン・チルト制御部２０９は、システム制御部２０１から出力される上記情報に基づきパン駆動部２０７及びチルト駆動部２０８を駆動させることで、トレース記録時におけるパン制御及びチルト制御を再現することが可能となる。
また、システム制御部２０１は、トレースデータに含まれる情報のうち、ズーム制御に関する情報（例えば、ズーム倍率に関する情報等）を撮像画角制御部２０５に出力してもよい。これにより、撮像画角制御部２０５は、トレース記録時におけるズーム制御を再現することが可能となる。
また、システム制御部２０１は、トレースデータに含まれる情報のうち、画像処理に関する情報（例えば、画質の設定に関する情報等）を画像処理部２０３に出力してもよい。これにより、画像処理部２０３は、撮像部２０２による撮像結果に応じた画像に対して、トレース記録時と同様の条件で画像処理を適用することが可能となる。

Ｓ１００５において、システム制御部２０１は、トレースデータに含まれる検出情報を画像処理部２０３に出力したうえで、当該画像処理部２０３に対して被写体の検出に係る処理を指示する。画像処理部２０３は、システム制御部２０１から出力された検出情報を基に、撮像部２０２による撮像結果に応じた画像からの被写体の検出に係る処理を実行する。これにより、画像処理部２０３は、トレース記録時と同様の条件で、撮像部２０２による撮像結果に応じた画像からの被写体の検出に係る処理を実行することが可能となる。
具体的な一例として、トレース記録時に被写体の検出範囲が制限されていた場合には、画像処理部２０３は、トレース記録時と同様に被写体の検出範囲を制限したうえで、被写体の検出に係る処理を実行することが可能となる。
また、他の一例として、トレース記録時に検出された一連の被写体の中から一部の被写体の選択が行われていた場合には、画像処理部２０３は、画像から検出された一連の被写体の中から一部の被写体を、トレース記録時と同様の条件で選択することも可能となる。

Ｓ１００６において、画像処理部２０３は、Ｓ１００５において撮像部２０２による撮像結果に応じた画像からの被写体の検出結果に応じた検出情報と、トレース記録時に記録された検出情報とを比較し、当該比較の結果をシステム制御部２０１に通知する。システム制御部２０１は、画像処理部２０３から通知される検出情報間の比較結果に基づき、トレース記録時と現在（換言すると、トレース再生時）との間で検出情報に差があるか否かを判定する。具体的な一例として、システム制御部２０１は、画像処理部２０３から通知される検出情報間の比較結果に基づき、トレース記録時と現在との間で被写体が検出された位置、被写体の大きさ、被写体との距離及びフォーカス位置等に差があるか否かを判定してもよい。

システム制御部２０１は、Ｓ１００６において比較した検出情報間に差があると判定した場合には、処理をＳ１００７に進める。Ｓ１００７において、システム制御部２０１は、Ｓ１００６におけるトレース記録時と現在との間での検出情報の比較結果に基づき、トレース再生に係る速度、すなわち、撮像装置１０１の動作の制御内容を再生する速度を制御する。具体的な一例として、システム制御部２０１は、トレース記録時と現在との間での時系列に沿った検出情報の遷移に関する差がより解消されるようにトレース再生に係る速度を制御してもよい。

ここで、トレース再生に係る速度の制御の一例について、トレース記録時とトレース再生時との間での時系列に沿った検出情報の遷移に関する差がより解消されるようにトレース再生に係る速度を制御する場合に着目して、具体的な例を挙げて説明する。

例えば、システム制御部２０１は、トレース再生時における検出情報の時系列に沿った遷移に係る速度が、トレース記録時における検出情報の時系列に沿った遷移に係る速度よりも遅い場合には、トレース再生に係る速度がより遅くなるように制御してもよい。
この場合には、システム制御部２０１は、例えば、トレースデータが記録された一連のフレームのうちの時系列に沿って連続する複数のフレーム間に、他のフレームを新たに追加することで、よりスムーズなトレース再生を実現してもよい。
例えば、システム制御部２０１は、上記他のフレームについて、前後のフレームそれぞれに対応するトレースデータに基づき、撮像装置１０１の動作の制御内容を補間したうえで、トレース再生を行ってもよい。具体的な一例として、システム制御部２０１は、上記他のフレームについて、前後のフレームそれぞれにおけるＰＴＺ制御の内容やフォーカス位置に基づき、撮像方向、撮像範囲、及びフォーカス制御に関する情報を補間したうえで、トレース再生を行ってもよい。これにより、トレース再生に係る速度を低下させた場合においても、例えば、フレームの補間によりフレームレートを維持することが可能となるため、トレース再生に伴う撮像装置１０１の動作がよりスムーズになるように制御することが可能となる。

なお、上記した他のフレームの追加に係る情報（例えば、撮像装置１０１の動作の制御内容）の補間に係る方法は特に限定はされない。具体的な一例として、線形補間が利用されてもよい。また、他の一例として、追加するフレームの前後のフレーム間における被写体が検出された位置の差分量に応じて情報の補間が行われてもよい。
また、他の一例として、システム制御部２０１は、上記連続するフレーム間に対して、トレース再生を一時的に停止するウェイト期間（例えば、トレース再生を停止させるフレーム）を挿入することで、トレース再生に係る速度がより遅くなるように制御してもよい。

このように、トレース再生に係る速度がより遅くなるように制御されることで、トレース記録時よりも遅い速度で動く被写体の当該速度に対する、撮像部２０２の動作の制御に係る相対的な速度が、トレース記録時と略一致するように制御される。具体的な一例として、パン制御に着目した場合には、トレース記録時によりも被写体の動きが遅い場合には、撮像部２０２をパン方向に回転させる速度が、被写体の速度にあわせてより遅くなるように制御される。すなわち、トレース記録時よりも遅い速度で動く被写体の動きにあわせて、トレース記録時とトレース再生時との間で撮像されるシーンが略一致するように、トレース再生に伴う撮像部２０２の動作が制御されることとなる。

また、システム制御部２０１は、トレース再生時における検出情報の時系列に沿った遷移に係る速度が、トレース記録時における検出情報の時系列に沿った遷移に係る速度よりも速い場合には、トレース再生に係る速度がより速くなるように制御してもよい。
この場合には、システム制御部２０１は、例えば、トレースデータが記録された一連のフレームのうち一部のフレームに対応するトレースデータに基づく制御をスキップすることで、トレース再生に係る速度がより速くなるように制御してもよい。
また、他の一例として、システム制御部２０１は、時系列に沿って連続する複数のフレームそれぞれに対応するトレースデータ間における検出情報の差に基づき、以降のフレームにおける撮像装置１０１の動作の制御内容の補間を行ってもよい。

このように、トレース再生に係る速度がより速くなるように制御されることで、トレース記録時よりも速い速度で動く被写体の当該速度に対する、撮像部２０２の動作の制御に係る相対的な速度が、トレース記録時と略一致するように制御される。具体的な一例として、パン制御に着目した場合には、トレース記録時によりも被写体の動きが速い場合には、撮像部２０２をパン方向に回転させる速度が、被写体の速度にあわせてより速くなるように制御される。すなわち、トレース記録時よりも速い速度で動く被写体の動きにあわせて、トレース記録時とトレース再生時との間で撮像されるシーンが略一致するように、トレース再生に伴う撮像部２０２の動作が制御されることとなる。

ここで、改めて図１０の説明を再開する。
Ｓ１００８において、システム制御部２０１は、トレース再生の停止に係る指示を受け付けたか、またはトレース記録において記録された一連の情報について最後までトレース再生を実行したかを判定する。
システム制御部２０１は、Ｓ１００８において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をＳ１００３に進める。この場合には、トレース記録において記憶部２１０に記録された情報のうち、まだＳ１００３の処理により取得されていない情報について、Ｓ１００３以降の処理が改めて実行されることとなる。
そして、システム制御部２０１は、Ｓ１００８において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をＳ１００９に進める。

Ｓ１００９において、システム制御部２０１は、トレース再生に係る一連の処理を終了する。これにより、図１０に示す一連の処理が終了することとなる。

なお、図９及び図１０を参照して説明した例では、撮像装置１０１が主体となってトレース記録及びトレース再生に係る処理を実行する場合について説明したが、必ずしも本実施形態に係る撮像システムの処理を限定するものではない。具体的な一例として、端末装置１０２等のような他の装置が、ネットワーク１０５を介した撮像装置１０１との通信に基づき、トレース記録及びトレース再生に係る処理を実行してもよい。この場合には、当該他の装置の内部ストレージや外部ストレージにトレースデータが記録されてもよい。

以上のような制御が適用されることで、例えば、トレース記録時とトレース再生時との間で被写体が動く速度に差が生じたとしても、トレース再生時における被写体の動きにあわせて、トレース記録時における撮像装置１０１の動作を再現することが可能となる。すなわち、本実施形態に係る撮像システムに依れば、その時々の被写体の動きにあわせて、過去に実行された撮像に係る動作をより好適な態様で事後的に再現することが可能となる。

＜変形例＞
図１１及び図１２を参照して、本実施形態に係る撮像システムの変形例について説明する。本変形例では、トレース記録及びトレース再生の実行に際して、ユーザが、当該トレース記録に係る制御や当該トレース再生に係る制御のモニタリング利用可能な情報の提示を可能とする仕組みの一例について説明する。なお、以降では、本変形例に係る撮像システムについて、上述した実施形態に係る撮像システムとは異なる点に着目して説明し、上述した実施形態に係る撮像システムと実質的に同様の部分については詳細な説明は省略する。

まず、図１１について説明する。図１１は、本変形例に係る撮像システムのＵＩの一例を示している。具体的には、図１１に示す操作画面１１００は、撮像装置１０１の動作（特に、撮像に係る動作）の制御に係る指示をユーザから受け付けるためのＵＩの一例を示している。操作画面１１００は、例えば、端末装置１０２において所定のアプリケーションが実行されることで、当該端末装置１０２の出力部を介してユーザに提示される。操作画面１１００は、撮像装置１０１の撮像結果に応じた画像をユーザに提示する出力インターフェースとしての役割と、ユーザから当該撮像装置１０１の操作（例えば、遠隔操作）に係る指示を受け付ける入力インターフェースとしての役割とを担う。

操作画面１１００は、画像表示領域１１０１と、ＰＴＺバー１１０２と、フォーカスモード操作部１１０３と、ＭＦ操作部１１０４とを含む。また、操作画面１１００は、トレース機能に係るＵＩとして、トレースＮｏ設定部１１０５と、記録ボタン１１０６と、再生ボタン１１０７と、モニタボタン１１０８とを含む。

画像表示領域１１０１は、撮像装置１０１による撮像結果に応じた画像を表示するための表示領域である。画像表示領域１１０１に上記画像が表示されることで、ユーザは、当該画像を確認しながら、撮像装置１０１を遠隔操作することが可能となる。

ＰＴＺバー１１０２は、パン、チルト、及びズームの制御に係る指示をユーザから受け付けるための入力インターフェースである。
フォーカスモード操作部１１０３は、フォーカス制御に係る動作モードの指定をユーザから受け付けるための入力インターフェースである。図１１に示す例では、フォーカス制御に係る動作モードとして、ＡＦ（オートフォーカス）とＭＦ（マニュアルフォーカス）とのいずれかを、フォーカスモード操作部１１０３を介して指定することが可能である。
ＭＦ操作部１１０４は、フォーカス制御に係る動作モードがＭＦに設定されている場合に、フォーカス位置の調整に係る指示をユーザから受け付けるための入力インターフェースである。図１１に示す例では、ＭＦ操作部１１０４として、フォーカス位置をＦＡＲ方向及びＮＥＡＲ方向のそれぞれに制御するための入力インターフェースが設けられている。
なお、ＰＴＺバー１１０２及びフォーカスモード操作部１１０３については、撮像装置１０１に対して現在設定されている値を提示する機能が設けられていてもよい。

トレースＮｏ設定部１１０５は、トレース記録、トレース再生、及びモニタリングの対象とするトレースデータ（操作情報及び検出情報）を識別するための識別情報の指定をユーザから受け付けるための入力インターフェースである。なお、以降では、当該識別情報を、「トレースＮｏ」とも称する。
記録ボタン１１０６は、トレース記録に係る指示をユーザから受け付けるための入力インターフェースである。記録ボタン１１０６が押下されると、図９を参照して説明したトレース記録に係る処理が開始され、その後に再度記録ボタン１１０６が押下されると、開始された当該トレース記録に係る処理が終了する。そして、トレース記録に係る処理が実行されることで記録されたトレースデータ（操作情報及び検出情報）に対して、トレースＮｏ設定部１１０５を介して指定されたトレースＮｏが割り当てられる。
再生ボタン１１０７は、トレース再生に係る指示をユーザから受け付けるための入力インターフェースである。再生ボタン１１０７が押下されると、トレースＮｏ設定部９０５を介して指定されたトレースＮｏが割り当てられたトレースデータ（操作情報及び検出情報）に基づき、図１０を参照して説明したトレース再生に係る処理が開始される。そして、再度再生ボタン１１０７が押下されると、開始された上記トレース再生に係る処理が終了する。

モニタボタン１１０８は、記録されたトレースデータに基づくトレース記録時の被写体の位置の遷移と、トレース再生時における被写体の位置の遷移とをユーザが確認するためのＵＩの提示に係る指示を当該ユーザから受け付けるための入力インターフェースである。モニタボタン１１０８が押下されると、トレースＮｏ設定部９０５を介して指定されたトレースＮｏが割り当てられたトレースデータをトレース記録時の情報の提示対象として、図１２に示すトレースモニタ画面１２００が表示される。

ここで、図１２を参照してトレースモニタ画面１２００について説明する。トレースモニタ画面１２００は、撮像装置１０１のよるトレース再生に関する制御（例えば、トレース再生に係る速度制御）の状況をユーザに提示するために利用される画面である。
トレースモニタ画面１２００は、時系列に沿って、トレースデータに含まれる検出情報に基づくトレース記録時の被写体の位置の遷移を示す情報と、当該トレースデータに基づくトレース再生時に検出された被写体の位置の遷移を示す情報とをユーザに提示する。また、トレースモニタ画面１２００は、トレース再生中における被写体が検出されなかった場合の制御に関する指示を受け付けてもよい。トレースモニタ画面１２００は、トレースＮｏ表示部１２０１と、トレースデータ表示部１２０２と、ラジオボタン１２０３～１２０５と、終了ボタン１２０６とを含む。

トレースＮｏ表示部１２０１は、トレース再生の対象として指定されたトレースデータに割り当てられたトレースＮｏが表示される領域である。例えば、トレースＮｏ表示部１２０１には、操作画面１１００のトレースＮｏ設定部１１０５を介して指定されたトレースＮｏが表示される。

トレースデータ表示部１２０２は、トレース記録時における検出された被写体の位置の遷移（換言すると、被写体の動き）に関する情報と、トレース再生時における検出された被写体の位置の遷移に関する情報とが表示される領域である。例えば、図１２に示す例では、図７を参照して説明した例と同様に、トレース記録時における被写体の位置の遷移と、トレース再生時における被写体の位置の遷移とがグラフとして示されている。また、トレース記録時における被写体の位置の遷移に関する情報については、モニタリングの対象として指定されたトレースデータに含まれる検出情報に基づき表示される。

図１２に示す例の場合には、トレース再生時に検出対象となる被写体がトレース記録時と同様に動いている場合には、当該被写体の位置の遷移を示すグラフは、トレース記録時における被写体の位置の遷移を示すグラフと一致することとなる。一方で、トレース再生時に検出対象となる被写体の動作が、トレース記録時の被写体の動作と異なる場合には、トレース再生時における被写体の位置の遷移を示すグラフと、トレース記録時における被写体の位置の遷移を示すグラフとの間にずれが生じることとなる。具体的な一例として、トレース再生時における被写体の位置の遷移に係る速度と、トレース記録時における被写体の位置の遷移に係る速度とが異なる場合には、それぞれのケースに対応するグラフ間に、速度差に応じた乖離が生じる可能性がある。
撮像装置１０１は、トレース記録時とトレース再生時との間で被写体の位置の遷移の差をモニタリングし、差が生じている場合には、トレース再生に係る速度を制御する。このような制御を適用することで、例えば、撮像装置１０１は、トレース再生時の画角内における被写体の遷移（例えば、被写体の位置の遷移）を、トレース記録時の画角内における被写体の遷移により近づける。換言すると、撮像装置１０１は、上記制御を適用することで、トレース再生時に撮像されるシーンを、トレース記録時に撮像されたシーンにより近づける。
なお、図１２では図示を省略しているが、撮像装置１０１によるトレース再生に係る速度制御に関する情報（例えば、再生速度の調整情報等）がトレースモニタ画面１２００に表示されてもよい。

ラジオボタン１２０３～１２０５は、トレース再生時に被写体が検出されなかった場合に適用される制御の候補がそれぞれ割り当てられている。
具体的な一例として、ラジオボタン１２０３には、被写体が検出されなかった場合に、トレース再生に係る速度を、現在の再生速度のまま維持する制御が割り当てられている。また、ラジオボタン１２０４には、被写体が検出されなかった場合に、トレース再生に係る速度を、あらかじめデフォルト値として設定された再生速度に変更する制御が割り当てられている。また、ラジオボタン１２０５には、被写体が検出されなかった場合に、トレース再生を停止する制御が割り当てられている。このトレース再生を停止させる制御については、トレース再生に係る一連の動作を停止させる制御が適用されてもよいし、被写体が検出されるまで一時的にトレース再生を停止する制御が適用されてもよい。
ラジオボタン１２０３～１２０５のいずれかが選択されると、選択されたラジオボタンに割り当てられた制御が適用される。

終了ボタン１２０６は、撮像装置１０１のよるトレース再生に関する制御の状況のモニタリングの終了に係る指示をユーザから受け付けるための入力インターフェースである。終了ボタン１２０６が押下されると、上記モニタリングに係る一連の処理が終了され、トレースモニタ画面１２００が閉じられる。

以上のような制御が適用されることで、ユーザは、トレース再生時における被写体の位置の遷移と、トレース記録時における被写体の位置の遷移との間で差が生じた場合に、ＵＩ（トレースモニタ画面１２００）を介してその差の発生を認識することが可能となる。また、前述したように、本実施形態に係る撮像システムでは、トレース記録時とトレース再生時との間で被写体の検出結果に差が生じた場合には、この差が解消されるようにトレース再生に係る速度の制御が行われる。この場合にも、当該トレース再生に係る速度の制御の結果が、上記ＵＩにフィードバックすされることとなる。そのため、ユーザは、トレース再生時における被写体の動きにあわせて、より好適な態様でトレース再生に係る制御が行われているか否かを、上記ＵＩを介して認識することが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像装置
１０２ 端末装置
２０１ システム制御部
２０２ 撮像部

Claims (11)

1. 撮像手段と、
   ユーザからの指示に応じて前記撮像手段の撮像に係る動作を制御する制御手段と、
   前記撮像手段の撮像範囲内の被写体を検出する検出手段と、
   前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第１の情報として記録する第１の記録手段と、
   前記被写体の検出結果に応じた情報を、時系列に沿って、第２の情報として前記第１の情報に関連付けて記録する第２の記録手段と、
   前記第１の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、
   を備え、
   前記再生手段は、前記第２の情報と、前記再生時における被写体の検出結果に応じた情報と、に基づき、当該再生に係る速度を制御する、
   撮像装置。
2. 前記検出手段は、顔検出、人体検出、動体検出、及び物体検出のうち少なくともいずれかに基づき前記被写体を検出する、
   請求項１に記載の撮像装置。
3. 前記被写体の検出結果に応じた情報は、合焦している位置、検出された被写体の位置、検出された被写体との間の距離、及び検出された被写体の大きさのうち少なくともいずれかに関する情報を含む、
   請求項１または２に記載の撮像装置。
4. 前記再生手段は、前記再生時における被写体の検出結果に応じた情報の時系列に沿った遷移と、前記第２の情報が示す被写体の検出結果に応じた情報の時系列に沿った遷移と、の差がより解消されるように、当該再生に係る速度を制御する、
   請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記再生手段は、前記再生時における被写体の検出結果に応じた情報の時系列に沿った遷移に係る速度が、前記第２の情報が示す被写体の検出結果に応じた情報の時系列に沿った遷移に係る速度よりも遅い場合に、当該再生に係る速度がより遅くなるように制御する、
   請求項４に記載の撮像装置。
6. 前記再生手段は、前記第２の情報が記録された一連のフレームのうちの時系列に沿って連続する複数のフレーム間に、当該複数のフレームそれぞれに対応する当該第２の情報に基づき、前記撮像手段の動作の制御内容と、前記被写体に関する情報と、のうち少なくともいずれかが補間された他のフレームを追加する、
   請求項５に記載の撮像装置。
7. 前記再生手段は、前記再生時における被写体の検出結果に応じた情報の時系列に沿った遷移に係る速度が、前記第２の情報が示す被写体の検出結果に応じた情報の時系列に沿った遷移に係る速度よりも速い場合に、当該再生に係る速度がより速くなるように制御する、
   請求項４乃至６のいずれか１項に記載の撮像装置。
8. 前記再生手段は、前記第２の情報が記録された一連のフレームに対応する情報のうち、一部のフレームに対応する情報に基づく前記再生に係る制御をスキップする、
   請求項７に記載の撮像装置。
9. 撮像装置の制御方法であって、
   ユーザからの指示に応じて撮像手段の撮像に係る動作を制御する制御ステップと、
   前記撮像手段の撮像範囲内の被写体を検出する検出ステップと、
   前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第１の情報として記録する第１の記録ステップと、
   前記被写体の検出結果に応じた情報を、時系列に沿って、第２の情報として前記第１の情報に関連付けて記録する第２の記録ステップと、
   前記第１の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生ステップと、
   を含み、
   前記再生ステップは、前記第２の情報と、前記再生時における被写体の検出結果に応じた情報と、に基づき、当該再生に係る速度を制御する、
   撮像装置の制御方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
11. ユーザからの指示に応じた撮像手段の動作の制御内容を、時系列に沿って、第１の情報として記録する第１の記録手段と、
    被写体の検出結果に応じた情報を、時系列に沿って、第２の情報として前記第１の情報に関連付けて記録する第２の記録手段と、
    前記第１の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、
    を備え、
    前記再生手段は、前記第２の情報と、前記再生時における被写体の検出結果に応じた情報と、に基づき、当該再生に係る速度を制御する、
    情報処理装置。

Images