JP2023007575A - 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置 - Google Patents

撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置 Download PDF

Info

Publication number
JP2023007575A
JP2023007575A JP2021110512A JP2021110512A JP2023007575A JP 2023007575 A JP2023007575 A JP 2023007575A JP 2021110512 A JP2021110512 A JP 2021110512A JP 2021110512 A JP2021110512 A JP 2021110512A JP 2023007575 A JP2023007575 A JP 2023007575A
Authority
JP
Japan
Prior art keywords
information
imaging
subject
trace
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021110512A
Other languages
English (en)
Inventor
将樹 神羽
Masaki Kamba
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021110512A priority Critical patent/JP2023007575A/ja
Priority to US17/854,954 priority patent/US20230007168A1/en
Publication of JP2023007575A publication Critical patent/JP2023007575A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

【課題】その時々の被写体の動きにあわせて、過去に実行された撮像に係る動作をより好適な態様で事後的に再現可能とする。【解決手段】システム制御部201は、ユーザからの指示に応じて撮像部202の撮像に係る動作を制御する。また、システム制御部201は、撮像範囲内の被写体を検出する。システム制御部201は、ユーザからの指示に応じた撮像部202の動作の制御内容を時系列に沿って操作情報として記録する。システム制御部201は、被写体の検出結果に応じた情報を、時系列に沿って検出情報として上記操作情報に関連付けて記録する。システム制御部201は、記録された操作情報に基づき、時系列に沿った撮像部202の動作の制御内容を再生する。また、システム制御部201は、上記記録情報と、上記再生時における被写体の検出結果に応じた情報とに基づき、当該再生に係る速度を制御する。【選択図】図10

Description

本開示は、撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置に関する。
近年における動画配信市場の拡大に伴い、ネットワークを介した遠隔制御により動画像を撮像することが可能な撮像装置(例えば、ネットワークカメラ等)を利用して、結婚式や講演会等のようなイベントを撮像可能とするシステムが各種提案されている。特に近年では、スマートフォン等のようなモバイル端末やPC等にアプリケーションをインストールすることで、当該モバイル端末や当該PC等からの遠隔操作が可能となる撮像装置も提案されている。上記遠隔操作としては、例えば、撮像装置のパン・チルト・ズームを操作するPTZ操作等が挙げられる。また、上記のような撮像装置には、あらかじめ設定された画角となるように制御するプリセット機能や、ユーザから受け付けた操作に関する情報を記録しておくことで事後的に当該操作に基づく動作を再現するトレース機能等を備えたものも提案されている。例えば、特許文献1には、雲台操作による被写体の自動追尾に係る技術の一例が開示されている。
特許第4745769号公報
一方で、トレース機能を利用することで、被写体の動きに合わせた撮像装置の動作の制御を実現するような状況下において、撮像装置の動作の再現時において、当該撮像装置の動作の記録時と同様に被写体が動くとは限らない場合がある。このような場合には、例えば、撮像装置の動作の再現時に、撮像装置の動作を、当該撮像装置の動作の記録時と同様に制御したとしても、注目する被写体の動きにあわせた制御の実現が困難な場合がある。
本発明は上記の問題を鑑み、その時々の被写体の動きにあわせて、過去に実行された撮像に係る動作をより好適な態様で事後的に再現可能とすることを目的とする。
本発明に係る撮像装置は、撮像手段と、ユーザからの指示に応じて前記撮像手段の撮像に係る動作を制御する制御手段と、前記撮像手段の撮像範囲内の被写体を検出する検出手段と、前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、前記被写体の検出結果に応じた情報を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、前記第1の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、を備え、前記再生手段は、前記第2の情報と、前記再生時における被写体の検出結果に応じた情報と、に基づき、当該再生に係る速度を制御する。
本発明によれば、その時々の被写体の動きにあわせて、過去に実行された撮像に係る動作をより好適な態様で事後的に再現することが可能となる。
撮像システムのシステム構成の一例を示した図である。 撮像装置の構成の一例を示した図である。 クライアント装置の構成の一例を示した図である。 トレース記録に係る処理の一例を示したフローチャートである。 トレース再生に係る処理の一例を示したフローチャートである。 撮像システムのユースケースの一例を示した図である。 トレース再生における被写体の動きの変化の一例を示した図である。 撮像装置の画角の一例を示した図である。 撮像システムの処理の一例を示したフローチャートである。 撮像システムの処理の一例を示したフローチャートである。 撮像システムのUIの一例を示した図である。 撮像システムのUIの一例を示した図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<システム構成>
図1を参照して本実施形態に係る撮像システムのシステム構成の一例について説明する。本実施形態に係る撮像システムは、撮像装置101と、当該撮像装置101の動作の制御に利用される端末装置102とを含む。撮像装置101と端末装置102とは、ネットワーク105を介して相互に情報を送受信可能に接続される。また、撮像装置101に対して複数の端末装置102がネットワーク105を介して接続されていてもよい。また、少なくとも一部の端末装置102に替えてコントローラ104が適用されてもよい。また、少なくとも一部の端末装置102に対して、撮像装置101の動作の制御に係る操作をユーザから受け付けるための入力装置103が接続されていてもよい。
撮像装置101は、ネットワーク105を介した他の装置(例えば、端末装置102、コントローラ104等)からの指示に応じて、撮像範囲内を撮像してもよい。また、撮像装置101は、ネットワーク105を介した他の装置からの指示に応じて、撮像に係る条件(例えば、フォーカス、絞り、シャッタースピード、ゲイン等)を制御してもよい。また、撮像装置101は、ネットワーク105を介した他の装置からの指示に応じて、撮像結果に応じた静止画像や動画像のデータを当該他の装置に送信してもよい。なお、以降の説明では、静止画像と動画像とを特に区別しない場合には、便宜上「画像」とも称する。また、以降の説明では、静止画像及び動画像それぞれのデータを特に区別しない場合には、便宜上「画像データ」とも称する。
端末装置102は、PC、タブレット端末、及びスマートフォン等のような通信機能を有する情報処理装置により実現され得る。また、端末装置102は、ディスプレイ等のようなユーザに情報を提示するための出力装置と、タッチパネル等のようなユーザからの指示を受け付けるための入力装置とを備える。なお、当該出力装置及び当該入力装置のうち少なくともいずれかが、端末装置102に対して外付けされる装置として実現されてもよい。
例えば、入力装置103は、端末装置102に対して外付けされた入力装置の一例に相当する。入力装置103は、例えば、USBやBluetooth(登録商標)等の規格に基づく伝送路を介して端末装置102に接続されてもよい。入力装置103としては、例えば、ジョイスティック等のように、アプリケーションにより提示されるGUIのみでは実現が困難な、滑らかなPTZ操作を実現するための入力装置が適用されてもよい。
コントローラ104は、撮像装置101の操作に係る入力インターフェースを有するハードウェアを模式的に示している。なお、図1に示す例では、コントローラ104は、ネットワーク105を介して撮像装置101に接続されているが、必ずしもコントローラ104と撮像装置101との間の接続方式を限定するものではない。具体的な一例として、撮像装置101に対して、シリアル接続等の接続方式によりコントローラ104が接続されてもよい。
ネットワーク105については、撮像装置101と、端末装置102やコントローラ104との間で通信を確立することが可能であれば、その種別については特に限定はされない。具体的な一例として、ネットワーク105として、ETHERNET(登録商標)等の通信規格に準拠したネットワークが適用されてもよい。この場合には、ネットワーク105は、当該通信規格に準拠したルータ、スイッチ、及びケーブル等により実現されてもよい。また、他の一例として、ネットワーク105は、WiFi(登録商標)、ブルートゥース(登録商標)、LTE、及び5G等のような無線通信の通信規格に準拠したネットワークが適用されてもよい。また、ネットワーク105は、複数のネットワークにより実現されてもよい。この場合には、当該複数のネットワークに、互いに種別の異なる2以上のネットワークが含まれてもよい。また、撮像装置101と、端末装置102やコントローラ104との間の通信が、他の通信装置により仲介されてもよい。
なお、図1に示した構成はあくまで一例であり、必ずしも本実施形態に係る撮像システムのシステム構成を限定するものではない。具体的な一例として、撮像装置101がスタンドアロンの装置として実現されてもよい。この場合には、当該撮像装置101に対して、ユーザからの指示を受け付けるための入力装置と、ユーザに対して情報を提示するための出力装置が設けられていてもよい。また、この場合においても、当該入力装置及び当該出力装置のうち少なくともいずれかが、撮像装置101に対して外付けされる装置として実現されてもよい。
<構成>
本実施形態に係る撮像システムの構成の一例について、特に、撮像装置101と端末装置102とのそれぞれに着目して説明する。
まず、図2を参照して、撮像装置101の構成の一例について説明する。撮像装置101は、システム制御部201と、撮像部202と、画像処理部203と、レンズ駆動部204と、撮像画角制御部205と、フォーカス制御部206と、パン駆動部207と、チルト駆動部208と、パン・チルト制御部209とを含む。また、撮像装置101は、記憶部210と、プログラムメモリ211とを含んでもよい。また、撮像装置101は、通信部220を含んでもよい。
システム制御部201は、撮像装置101の各構成要素に対して指示を行うことで、当該撮像装置101の各種動作(特に、撮像に係る動作)を制御する。システム制御部201は、例えば、CPU(Central Processing Unit)やMPU(Micro Processor Unit)等の演算装置により実現され得る。
また、システム制御部201は、後述する通信部220の動作を制御することで、ネットワーク105を介して他の装置(例えば、端末装置102)との間で各種情報の送受信を行ってもよい。具体的な一例として、システム制御部201は、ネットワーク105を介して端末装置102から撮像に係る制御コマンドを受信し、当該制御コマンドを解析することで、当該制御コマンドに応じた処理を実行してもよい。なお、以降では、撮像に係る制御コマンドを、便宜上「カメラ制御コマンド」とも称する。
カメラ制御コマンドには、撮像装置101に対して画像データや各種設定値の送信を依頼するための要求コマンドと、設定値の指定に係る設定コマンドとが含まれる。
例えば、システム制御部201は、端末装置102から画像データの送信に係る要求コマンドを受信してもよい。この場合には、システム制御部201は、画像処理部203により生成された画像データを、ネットワーク105を介して当該端末装置102に送信するように通信部220に指示する。
また、他の一例として、システム制御部201は、端末装置102から、フォーカス、ズーム、パン、及びチルト等に係る設定値のように、撮像に関する設定値の送信に係る要求コマンドを受信してもよい。この場合には、システム制御部201は、当該要求コマンドで指定された設定値を、当該設定値を管理する構成要素から取得し、取得した当該情報を、ネットワーク105を介して端末装置102に送信するように通信部220に指示してもよい。各種設定値を管理する構成要素の候補としては、例えば、画像処理部203、撮像画角制御部205、フォーカス制御部206、及びパン・チルト制御部209等が挙げられる。また、システム制御部201は、撮像に関する設定値に係る情報として、現在設定されている値のみに限らず、例えば、設定可能な当該値の範囲に関する情報等を、ネットワーク105を介して端末装置102に送信してもよい。
また、システム制御部201は、端末装置102から撮像に関する設定値の指定に係る設定コマンドを受信してもよい。この場合には、システム制御部201は、当該設定コマンドにより指定された設定値に基づく制御を、当該設定値に対応する構成要素に指示する。このような構成要素の候補としては、例えば、画像処理部203、撮像画角制御部205、フォーカス制御部206、及びパン・チルト制御部209等が挙げられる。また、これらの構成要素により、例えば、撮像部202、レンズ駆動部204、パン駆動部207、及びチルト駆動部208等の動作が制御されることで、端末装置102により指定された設定値に応じた撮像装置101の動作が実現される。
撮像部202は、レンズ等の撮像光学系と、撮像素子とを含む。撮像光学系により形成された光学像(被写体像)は、撮像素子に導光されて結像し、当該撮像素子により電気信号に光電変換される。そして、上記光学像が光電変換された電気信号(画像信号)は、例えば、ゲインの調整が行われ、A/D変換器によりアナログ信号からデジタル信号にA/D変換されたうえで、画像処理部203に出力される。
画像処理部203は、撮像部202から出力される画像信号に対して、各種画像処理、解像度変換処理、及び圧縮符号化処理等を適用して、画像データを生成する。画像処理部203により生成された画像データは、例えば、後述する記憶部210に記憶されてもよい。また、他の一例として、当該画像データは、後述する通信部220により、ネットワーク105を介して他の装置(例えば、端末装置102)に送信されてもよい。
レンズ駆動部204は、撮像部202の撮像光学系を構成する一連の光学部材のうち、少なくとも一部の光学部材の位置の制御に係る駆動系や、当該駆動系の動力源となるモータ等により構成される。なお、本実施形態では、レンズ駆動部204による位置の制御の対象となる光学部材として、フォーカス制御に係る光学部材(以下、「フォーカスレンズ」とも称する)と、画角の制御に係る光学部材(以下、「ズームレンズ」とも称する)とが含まれるものとする。レンズ駆動部204の動作は、撮像画角制御部205及びフォーカス制御部206により制御される。
撮像画角制御部205は、システム制御部201から出力されるズームに関する設定値に基づいて、レンズ駆動部204に対して、ズームレンズの位置の制御を指示する。ズームに関する設定値としては、例えば、焦点距離の設定値が挙げられる。
フォーカス制御部206は、システム制御部201から出力されるフォーカスに関する設定値に基づいて、レンズ駆動部204に対して、フォーカスレンズの位置の制御を指示する。フォーカスレンズの位置が制御されることで、フォーカスレンズが合焦する撮像範囲内の位置(フォーカス位置)が制御される。
なお、撮像装置による撮像に係る一連の動作のうち少なくとも一部の動作については、撮像環境等の各種条件に応じて自動で制御が行われてもよい。
具体的な一例として、オートフォーカス(AF:Auto Focus)では、撮像部202による撮像結果に応じた画像のコントラストから評価値が算出され、フォーカス制御部206が、この評価値に応じてフォーカスレンズの位置を制御する。これにより、撮像範囲内の被写体に合焦するように撮像部202のフォーカスが制御される。
また、フォーカスの制御に限らず、例えば、露出(絞り、シャッタースピード、ゲイン、及びNDフィルタ等)、ホワイトバランス、ノイズリダクション、及びガンマの制御等についても自動での制御が適用されてもよい。このような自動での制御については、当該制御の内容に応じて、当該制御の主体が適宜変更されてもよい。具体的な一例として、ノイズリダクションやガンマ制御等については、画像処理部203により実行されてもよい。
パン駆動部207は、撮像部202の撮像方向をパン方向に制御するパン動作を実現するための駆動系や、当該駆動系の動力源となるモータ等により構成される。パン駆動部207の動作は、パン・チルト制御部209により制御される。
チルト駆動部208は、撮像部202の撮像方向をチルト方向に制御する所謂チルト動作を実現するための駆動系や、当該駆動系の動力源となるモータ等により構成される。チルト駆動部208の動作は、パン・チルト制御部209により制御される。
パン・チルト制御部209は、システム制御部201から出力されるパン及びチルトに関する設定値に基づいて、パン駆動部207及びチルト駆動部208の少なくともいずれかに対して、撮像方向の制御(パン動作やチルト動作に係る制御)を指示する。
記憶部210は、内部ストレージ及び外部ストレージのうち少なくともいずれかに各種データ(例えば、画像データ等)を記憶させる。また、記憶部210は、内部ストレージ及び外部ストレージに記憶された各種データを読み出してもよい。上記外部ストレージや上記内部ストレージについては、例えば、HDD(Hard Disk Drive)や、SDD(Solid State Drive)に代表される不揮発性メモリ等により実現され得る。
プログラムメモリ211は、撮像装置101の動作の制御に係るプログラムを記憶する記憶領域である。システム制御部201は、プログラムメモリ211に記憶された当該プログラムを展開して実行することで、撮像装置101の各種動作を実現する。
通信部220は、撮像装置101の構成要素(例えば、システム制御部201)が、ネットワーク105を介して他の装置(例えば、端末装置102)との間で各種情報の送受信を行うための通信インターフェースである。例えば、通信部220は、ネットワーク105を介して端末装置102からカメラ制御コマンドを受信し、当該カメラ制御コマンドをシステム制御部201に出力してもよい。この場合には、通信部220は、システム制御部201からの指示に応じて、上記端末装置102に対して、ネットワーク105を介して、上記カメラ制御コマンドに対するレスポンスを送信してもよい。なお、カメラ制御コマンドについては前述したため、詳細な説明は省略する。
なお、図2に示す構成はあくまで一例であり、本実施形態に係る撮像装置101の構成を限定するものではない。例えば、図2に示す構成が、複数の装置が協働することにより実現されてもよい。
具体的な一例として、撮像装置101の一連の構成要素のうち、一部の構成要素が他の装置に設けられていてもよい。具体的な一例として、システム制御部201、記憶部210、及びプログラムメモリ211に相当する構成要素が、撮像装置101と所定の伝送経路を介して情報を送受信可能な他の装置側に設けられていてもよい。この場合には、当該他の装置が、撮像装置101の動作を制御する「情報処理装置」の一例に相当する。
また、他の一例として、撮像装置101の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が複数の装置に分散されてもよい。
続いて、図3を参照して、クライアント装置の構成の一例について説明する。クライアント装置は、端末装置102やコントローラ104のように、撮像装置101の動作の制御に用いられる装置に相当する。クライアント装置は、システム制御部301と、通信部302と、記憶部303と、プログラムメモリ305とを含む。また、クライアント装置は、入力部304を含んでもよい。
システム制御部301は、クライアント装置の各構成要素に対して指示を行うことで、当該クライアント装置の各種動作を制御する。システム制御部301は、例えば、CPU等の中央演算装置により実現され得る。
例えば、システム制御部301は、入力部304がユーザから受け付けた操作に応じてカメラ制御コマンドを生成し、ネットワーク105を介して撮像装置101に当該カメラ制御コマンドを送信するように通信部302に指示してもよい。このように、クライアント装置から撮像装置101にカメラ制御コマンドが送信される仕組みにより、クライアント装置を介して当該撮像装置101を遠隔で操作することも可能となる。
また、システム制御部301は、撮像装置101に対して、動作の制御内容に関する情報の記録を指示したり、記録された当該情報に基づく上記動作の事後的な再現(制御内容の再生)を指示してもよい。以降では、上記したように、撮像装置101の動作の制御内容に関する情報を記録し、当該情報に基づき、撮像装置101の動作の事後的に再現する一連の機能を、便宜上「トレース機能」とも称する。また、当該トレース機能のうち、撮像装置101の動作の制御内容に関する情報の記録に係る機能を「トレース記録」とも称し、記録された情報に基づく撮像装置101の動作の事後的な再現(制御内容の再生)に係る機能を「トレース再生」とも称する。
また、システム制御部301は、通信部302が撮像装置101からレスポンスと受信した場合に、当該レスポンスを解析することで、当該レスポンスに応じた処理を実行してもよい。
通信部302は、クライアント装置の構成要素(例えば、システム制御部301)が、ネットワーク105を介して他の装置(例えば、撮像装置101)との間で各種情報の送受信を行うための通信インターフェースである。例えば、通信部302は、ネットワーク105を介して撮像装置101にカメラ制御コマンドを送信し、当該撮像装置101から当該カメラ制御コマンドに対するレスポンスを受信してもよい。なお、カメラ制御コマンドについては前述したため、詳細な説明は省略する。
記憶部303は、内部ストレージ及び外部ストレージのうち少なくともいずれかに各種データ(例えば、画像データ等)を記憶させる。また、記憶部303は、内部ストレージ及び外部ストレージに記憶された各種データを読み出してもよい。上記外部ストレージや上記内部ストレージについては、例えば、HDDや、SDDに代表される不揮発性メモリ等により実現され得る。
プログラムメモリ305は、クライアント装置の動作の制御に係るプログラム(例えば、各種アプリケーションのプログラム等)を記憶する記憶領域である。システム制御部301は、プログラムメモリ305に記憶された当該プログラムを展開して実行することで、当該クライアント装置の各種動作を実現する。
入力部304は、ユーザからの指示を受け付けるための入力インターフェースである。入力部304は、例えば、クライアント装置に備えられたボタン、キーボード、ポインティングデバイス、及びジョイスティック等の入力装置により実現され得る。また、他の一例として、入力部304は、ディスプレイ等の表示部(不図示)に設けられたタッチパネルにより実現されてもよい。
なお、図3に示す構成はあくまで一例であり、本実施形態に係るクライアント装置の構成を限定するものではない。
例えば、図3に示す例では、ディスプレイ等の表示部に相当する構成要素を図示していないが、クライアント装置が当該表示部に相当する構成要素を備えていてもよい。このように、クライアント装置に対して表示部に相当する構成要素が設けられることで、例えば、撮像装置101による撮像結果に応じた画像や、当該撮像装置101による撮像に係る動作に適用されている設定値等を、ユーザに提示することも可能となる。
また、図3に示す構成が、複数の装置が協働することにより実現されてもよい。
具体的な一例として、クライアント装置の一連の構成要素のうち、一部の構成要素が他の装置に設けられていてもよい。具体的な一例として、入力部304や記憶部303に相当する構成要素が、クライアント装置と所定の伝送経路を介して情報を送受信可能な他の装置側に設けられていてもよい。
また、他の一例として、クライアント装置の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が複数の装置に分散されてもよい。
なお、以降では、便宜上、クライアント装置として端末装置102が適用されるものとして、各種説明を行うものとする。
<比較例>
まず、本実施形態に係る撮像システムの特徴をより分かりやすくするために、比較例として、図4及び図5を参照して、トレース機能の実現に係る処理の一例について説明する。
まず、図4を参照して、トレース記録に係る処理の一例について説明する。
S401において、撮像装置101のシステム制御部201は、端末装置102からの指示に応じて、トレース記録に係る一連の処理を開始する。
まず、S402において、システム制御部201は、トレース記録の開始時に、現在の撮像装置101の状態(例えば、撮像方向や撮像条件等)に関する情報を所定の記憶領域に記録する。なお、以降では、撮像装置101の状態に関する情報を、便宜上「カメラ情報」とも称する。また、上記記憶領域としては、撮像装置101の記憶部210が利用されてもよいし、端末装置102の記憶部303が利用されてもよい。上記記憶領域として端末装置102の記憶部303が利用される場合には、システム制御部201は、ネットワーク105を介して端末装置102に上記カメラ情報を送信すればよい。
なお、以降では、便宜上、上記記憶領域として撮像装置101の記憶部210が利用されるものとして各種説明を行うものとする。
S403において、システム制御部201は、端末装置102がユーザからの操作を受け付けたか否か(換言すると、ユーザからの指示を受け付けたか否か)を判定する。
システム制御部201は、S403において端末装置102がユーザからの操作を受け付けたと判定した場合には、処理をS404に進める。この場合には、S404において、システム制御部201は、ネットワーク105を介して端末装置102から、当該端末装置102がユーザから受け付けた操作の内容に関する情報(以降では、「操作情報」とも称する)を記憶部210に記録する。この際に、システム制御部201は、操作情報に対して時刻情報を関連付けて記録してもよい。
一方で、システム制御部201は、S403において端末装置102がユーザからの操作を受け付けていないと判定した場合には、処理をS405に進める。この場合には、S404の処理はスキップされることとなる。
S405において、システム制御部201は、トレース記録を終了するか否かを判定する。具体的な一例として、システム制御部201は、ユーザからトレース記録の終了に係る指示を受け付けたか否かに応じて、トレース記録を終了するか否かを判定してもよい。
システム制御部201は、S405においてトレース記録を終了しないと判定した場合には、処理をS403に進める。この場合には、S403以降の処理が改めて実行されることとなる。これにより、操作情報が時系列に沿って逐次記録されることとなる。なお、以降では、トレース記録により操作情報が時系列に沿って逐次記録されたデータを、「トレースデータ」とも称する。
そして、システム制御部201は、S405においてトレース記録を終了すると判定した場合には、処理をS406に進める。
S407において、システム制御部201は、トレース記録に係る制御(例えば、操作情報の記録に係る制御)を終了する。
そして、S408において、システム制御部201は、トレース記録の終了時における撮像装置101の状態に関するカメラ情報を記憶部210に記録したうえで、図4に示す一連の処理を終了する。
次いで、図5を参照して、トレース再生に係る処理の一例について説明する。
S501において、撮像装置101のシステム制御部201は、端末装置102からの指示に応じて、トレース再生に係る一連の処理を開始する。
S502において、システム制御部201は、記憶部210に記録されているトレース記録開始時のカメラ情報に基づき、撮像装置101の状態が、当該トレース記録開始時の状態となるように制御する。これにより、撮像装置101の状態(例えば、撮像方向や撮像条件等)が、トレース記録の開始時(図4のS402の実行時)と実質的に同様の状態となる。
S503において、システム制御部201は、トレース記録において記録されたトレースデータ(換言すると、操作情報)を記憶部210から取得する。この際に、システム制御部201は、その時点でまだ取得していない情報のうち、より過去に記録された情報を記憶部210から取得する。
S504において、システム制御部201は、S503において取得したトレースデータ(操作情報)に基づき、撮像装置101の動作を制御する。
S505において、システム制御部201は、トレース再生の停止に係る指示を受け付けたか、またはトレース記録において記録された一連の情報について最後までトレース再生を実行したかを判定する。
システム制御部201は、S505において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS503に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS503の処理により取得されていない情報について、S503以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S505において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS506に進める。
S506において、システム制御部201は、トレース再生に係る一連の処理を終了する。これにより、図5に示す一連の処理が終了することとなる。
ここで、図6及び図7を参照して、上記した比較例に係るトレース機能を利用してトレース記録時における撮像装置の動作を再現した場合の技術的課題について概要を説明する。
例えば、図6は、本実施形態に係る撮像システムのユースケースの一例について示した図であり、結婚式会場にて挙式が行われている状況下で、撮像装置101により会場内の撮像が行われている状態を模式的に示している。図6に示す例では、メインの被写体となる人物601が矢印で示された方向に向かって歩みを進めるシーンを想定している。撮像装置101は、人物601と対面するように配置されており、遠隔操作によりPTZ制御や撮像に係る各種制御が行われるものとする。
図7は、図6に示すシーンにおける、トレース記録時の被写体の位置の遷移(換言すると、被写体の動き)と、トレース再生時の被写体の位置の遷移とをグラフとして示している。図7に示す例では、オートフォーカス制御により被写体に合焦している場合のフォーカス位置(フォーカスレンズが合焦する撮像範囲内の位置)の変化を、当該被写体の位置の遷移として、時系列に沿って示している。図7(a)及び図7(b)それぞれに示すグラフは、横軸が時間を示しており、縦軸が奥行方向における被写体の位置(換言すると、フォーカス位置)を示している。
図7(a)及び図7(b)に示すグラフC701は、トレース記録時における被写体の位置の遷移(すなわち、時系列に沿った被写体の位置の変化)を示している。グラフC701として示すように、トレース記録時には、時間の経過とともに被写体となる人物601が撮像装置101により近づくように移動している。
これに対して、図7(a)に示すグラフC702は、トレース再生時における被写体の位置の遷移の一例を示している。グラフC702をグラフC701と比較するとわかるように、図7(a)に示す例では、トレース再生時にはトレース記録時に比べて、被写体となる人物601の時系列に沿った位置の変化がより遅くなっている。
また、図7(b)に示すグラフC703は、トレース再生時における被写体の位置の遷移の他の一例を示している。グラフC703をグラフC701と比較するとわかるように、図7(b)に示す例では、トレース再生時にはトレース記録時に比べて、被写体となる人物601の時系列に沿った位置の変化がより速くなっている。
図7(a)及び図7(b)に示すように、トレース記録時とトレース再生時との間で時系列に沿った被写体の位置の変化に差が生じる場合がある。このような差が生じる要因としては、例えば、トレース記録時とトレース再生時との間で被写体の動くスピードが異なることや、トレース再生の開始に係るタイミングのズレが生じること等の影響が考えられる。
このような状況を鑑み本実施形態に係る撮像システムでは、トレース記録時に被写体の検出結果に応じた情報(以下、「検出情報」とも称する)を記録し、この記録された検出情報とトレース再生時における検出情報との差に基づきトレース再生の速度制御を行う。そこで、以降では、上記した本実施形態に係る撮像システムの特徴についてより詳しく説明する。
<機能概要>
図8を参照して、本実施形態に係る撮像システムのトレース再生の速読制御に係る機能の概要について説明する。図8は、図6を参照して説明したユースケースにおける撮像装置101の画角を模式的に示した図である。
まず、図8(a)について説明する。図8(a)は、メインの被写体となる人物601が矢印で示す方向に向かって進み始める直前のシーンにおいて、より広い範囲が撮像されるように画角が広角寄りに設定されている状況を模式的に示している。R801は、所謂顔検出の機能による人物の顔の検出結果に応じて提示される検出枠を模式的に示している。検出枠R801は、例えば、現在の画角に対する検出対象が検出された位置に関する座標情報により管理される。
なお、座標情報については、画角内における検出枠R801の範囲を示すことが可能であれば、その種別は特に限定はされない。具体的な一例として、検出枠R801が矩形の場合には、当該矩形の左上の頂点の座標と右下の頂点の座標とが座標情報として管理されてもよいし、左上の頂点の座標と高さ及び幅に関する情報とが座標情報として管理されてもよい。もちろん、検出枠R801の形状についても特に限定はされず、当該形状に応じて座標情報の種別が適宜変更されてもよい。
また、図8に示す例では、顔検出の機能によりメインの被写体となる人物601の顔を検出の対象としているが、撮像範囲内の被写体を検出することが可能であれば、当該検出に利用される機能は特に限定はされない。具体的な一例として、人体検出、動体検出、及び物体検出等の機能が被写体の検出に利用されてもよい。また、検出対象となる被写体についても人物には限定されず、検出対象とする被写体の種別に応じて当該被写体の検出に利用される機能が適宜変更されてもよい。
次いで、図8(b)について説明する。図8(b)は、図8(a)に示す状態から人物601が矢印の方向に向かって進んだ後のシーンにおいて、主役(メインの被写体)となる人物601をより強調するためにズームアップした画角で撮像されている状況を模式的に示している。R802は、R801と同様に、顔検出の機能による人物の顔の検出結果に応じて提示される検出枠を模式的に示している。図8(b)に示すシーンでは、図8(a)に示すシーンに比べて、撮像装置101に対して人物601がより近くに位置しており、さらにズームアップの制御が行われている。そのため、検出枠R802は、検出枠R801に比べて、画角中に占める範囲がより広くなっている。すなわち、検出枠R802は、検出枠R801に比べて、シーンの違いや撮像条件の違いの影響によりサイズがより大きくなっている。
本実施形態に係る撮像システムは、トレース記録時に、撮像装置101の動作の制御内容(例えば、PTZ制御やフォーカス位置の制御等の内容)に関する情報と、図8を参照して例示した被写体の検出結果に応じた検出情報とを関連付けて時系列に沿って記録する。また、撮像システムは、トレース再生時に、被写体の検出結果に応じた検出情報と、トレース記録時に記録された検出情報とを比較することで、被写体の動きの違い(例えば、トレース記録時に比べて被写体の動きが速いか遅いか)を判定する。そのうえで、撮像システムは、トレース再生時に、撮像装置101の動作の制御内容を再生する速度を、トレース記録時とトレース再生時との間での被写体の動きの違い(例えば、被写体の位置の遷移の違い)の判定結果に基づき制御する。
具体的な一例として、撮像システムは、トレース記録時に比べて被写体の動きが遅い場合には、撮像装置101の動作の制御内容を再生する速度がより遅くなるように制御してもよい。また、他の一例として、撮像システムは、トレース記録時に比べて被写体の動きが速い場合には、撮像装置101の動作の制御内容を再生する速度がより速くなるように制御してもよい。
上記のような制御が適用されることで、その時々の被写体の動きにあわせて、過去に実行された撮像装置101の撮像に係る動作(例えば、PTZ制御やフォーカス位置の制御に応じた動作)をより好適な態様で事後的に再現することが可能となる。
<処理>
図9及び図10を参照して、本実施形態に係る撮像システム処理の一例について説明する。
まず、図9を参照して、トレース記録に係る処理の一例について説明する。図9に示す例は、検出情報の記録に係る処理が追加されている点で、図4に示す例と異なる。そこで、以降では、図9に示す例について、特に図4に示す例と異なる部分に着目して説明し、図4に示す例と実質的に同様の部分については詳細な説明を省略する。
S901~S904の処理は、図4に示すS401~S404の処理と実質的に同様である。すなわち、撮像装置101のシステム制御部201は、トレース記録の開始時に現在の撮像装置101の状態に関する情報の記録を行い、その後に、ユーザから受け付けた操作の内容に関する操作情報の記録を行う。
なお、操作情報が、「第1の情報」の一例に相当し、S904として示した操作情報の記録に係る処理が、「第1の記録処理」の一例に相当する。
S905において、システム制御部201は、撮像装置101の撮像範囲内の被写体の検出に係る処理を実行し、被写体(例えば、メインとなる被写体)が検出されたか否かを判定する。なお、被写体の検出に際して、例えば、検出範囲があらかじめ設定されていてもよい。これにより、被写体検出による検出対象を、撮像範囲内に存在する一連の被写体のうち、特に注目する被写体(例えば、メインの被写体)に制限することも可能となる。また、他の一例として、被写体検出により検出された一連の被写体のうちの一部の被写体が、ユーザからの指示に応じて、メインの被写体として選択されてもよい。
システム制御部201は、S905において被写体が検出されたと判定した場合には、処理をS906に進める。S906において、システム制御部201は、S905における被写体の検出結果に応じた検出情報を記憶部210に記録する。検出情報としては、例えば、被写体が検出されたときのフォーカス位置、検出された被写体の位置、検出された被写体との間の距離、及び検出された被写体の大きさ等に関する情報が含まれ得る。なお、S904において操作情報の記録が行われている場合には、当該操作情報に次いで検出情報が追記され、これにより、当該操作情報と当該検出情報とが関連付けられることとなる。また、検出情報が、「第2の情報」の一例に相当し、S906として示した検出情報の記録に係る処理が「第2の記録処理」の一例に相当する。
一方で、システム制御部201は、S905において被写体が検出されていないと判定した場合には、処理をS907に進める。この場合には、S906の処理はスキップされることとなる。
S907において、システム制御部201は、トレース記録を終了するか否かを判定する。
システム制御部201は、S907においてトレース記録を終了しないと判定した場合には、処理をS903に進める。この場合には、S903以降の処理が改めて実行されることとなる。これにより、操作情報や検出情報が時系列に沿って逐次記録されることとなる。なお、本実施形態では、トレース記録により操作情報や検出情報が時系列に沿って逐次記録されたデータが、「トレースデータ」に相当する。
そして、システム制御部201は、S907においてトレース記録を終了すると判定した場合には、処理をS908に進める。
S908において、システム制御部201は、トレース記録に係る制御(例えば、操作情報や検出情報の記録に係る制御)を終了する。
そして、S909において、システム制御部201は、トレース記録の終了時における撮像装置101の状態に関するカメラ情報を記憶部210に記録したうえで、図9に示す一連の処理を終了する。
次いで、図10を参照して、トレース再生に係る処理の一例について説明する。図10に示す例は、検出情報に基づく撮像装置101の動作の制御内容を再生する速度の制御に係る処理が追加されている点で、図5に示す例と異なる。そこで、以降では、図10に示す例について、特に図5に示す例と異なる部分に着目して説明し、図5に示す例と実質的に同様の部分については詳細な説明を省略する。
S1001~S1003の処理は、図5に示すS501~S503の処理と実質的に同様である。すなわち、撮像装置101のシステム制御部201は、トレース再生の開始時に、トレース記録開始時のカメラ情報に基づき、撮像装置101の状態が、当該トレース記録開始時の状態となるように制御し、トレースデータを記憶部210から取得する。なお、システム制御部201は、トレースデータの取得に際し、その時点でまだ取得していない情報のうち、より過去に記録された情報を記憶部210から取得する。
S1004において、システム制御部201は、S1003において取得したトレースデータ(例えば、操作情報)に基づき、撮像装置101の動作(特に、撮像に係る動作
)を制御する。
具体的な一例として、システム制御部201は、トレースデータに含まれる情報のうち、被写体との間の距離に関する情報とフォーカス制御に関する情報(例えば、フォーカス位置に関する情報等)をフォーカス制御部206に出力してもよい。これにより、フォーカス制御部206は、システム制御部201から出力される上記情報に基づきレンズ駆動部204を駆動させることで、トレース記録時におけるフォーカス制御を再現することが可能となる。
また、システム制御部201は、トレースデータに含まれる情報のうち、パン制御及びチルト制御に関する情報(例えば、パン方向及びチルト方向の位置に関する情報等)をパン・チルト制御部209に出力してもよい。これにより、パン・チルト制御部209は、システム制御部201から出力される上記情報に基づきパン駆動部207及びチルト駆動部208を駆動させることで、トレース記録時におけるパン制御及びチルト制御を再現することが可能となる。
また、システム制御部201は、トレースデータに含まれる情報のうち、ズーム制御に関する情報(例えば、ズーム倍率に関する情報等)を撮像画角制御部205に出力してもよい。これにより、撮像画角制御部205は、トレース記録時におけるズーム制御を再現することが可能となる。
また、システム制御部201は、トレースデータに含まれる情報のうち、画像処理に関する情報(例えば、画質の設定に関する情報等)を画像処理部203に出力してもよい。これにより、画像処理部203は、撮像部202による撮像結果に応じた画像に対して、トレース記録時と同様の条件で画像処理を適用することが可能となる。
S1005において、システム制御部201は、トレースデータに含まれる検出情報を画像処理部203に出力したうえで、当該画像処理部203に対して被写体の検出に係る処理を指示する。画像処理部203は、システム制御部201から出力された検出情報を基に、撮像部202による撮像結果に応じた画像からの被写体の検出に係る処理を実行する。これにより、画像処理部203は、トレース記録時と同様の条件で、撮像部202による撮像結果に応じた画像からの被写体の検出に係る処理を実行することが可能となる。
具体的な一例として、トレース記録時に被写体の検出範囲が制限されていた場合には、画像処理部203は、トレース記録時と同様に被写体の検出範囲を制限したうえで、被写体の検出に係る処理を実行することが可能となる。
また、他の一例として、トレース記録時に検出された一連の被写体の中から一部の被写体の選択が行われていた場合には、画像処理部203は、画像から検出された一連の被写体の中から一部の被写体を、トレース記録時と同様の条件で選択することも可能となる。
S1006において、画像処理部203は、S1005において撮像部202による撮像結果に応じた画像からの被写体の検出結果に応じた検出情報と、トレース記録時に記録された検出情報とを比較し、当該比較の結果をシステム制御部201に通知する。システム制御部201は、画像処理部203から通知される検出情報間の比較結果に基づき、トレース記録時と現在(換言すると、トレース再生時)との間で検出情報に差があるか否かを判定する。具体的な一例として、システム制御部201は、画像処理部203から通知される検出情報間の比較結果に基づき、トレース記録時と現在との間で被写体が検出された位置、被写体の大きさ、被写体との距離及びフォーカス位置等に差があるか否かを判定してもよい。
システム制御部201は、S1006において比較した検出情報間に差があると判定した場合には、処理をS1007に進める。S1007において、システム制御部201は、S1006におけるトレース記録時と現在との間での検出情報の比較結果に基づき、トレース再生に係る速度、すなわち、撮像装置101の動作の制御内容を再生する速度を制御する。具体的な一例として、システム制御部201は、トレース記録時と現在との間での時系列に沿った検出情報の遷移に関する差がより解消されるようにトレース再生に係る速度を制御してもよい。
ここで、トレース再生に係る速度の制御の一例について、トレース記録時とトレース再生時との間での時系列に沿った検出情報の遷移に関する差がより解消されるようにトレース再生に係る速度を制御する場合に着目して、具体的な例を挙げて説明する。
例えば、システム制御部201は、トレース再生時における検出情報の時系列に沿った遷移に係る速度が、トレース記録時における検出情報の時系列に沿った遷移に係る速度よりも遅い場合には、トレース再生に係る速度がより遅くなるように制御してもよい。
この場合には、システム制御部201は、例えば、トレースデータが記録された一連のフレームのうちの時系列に沿って連続する複数のフレーム間に、他のフレームを新たに追加することで、よりスムーズなトレース再生を実現してもよい。
例えば、システム制御部201は、上記他のフレームについて、前後のフレームそれぞれに対応するトレースデータに基づき、撮像装置101の動作の制御内容を補間したうえで、トレース再生を行ってもよい。具体的な一例として、システム制御部201は、上記他のフレームについて、前後のフレームそれぞれにおけるPTZ制御の内容やフォーカス位置に基づき、撮像方向、撮像範囲、及びフォーカス制御に関する情報を補間したうえで、トレース再生を行ってもよい。これにより、トレース再生に係る速度を低下させた場合においても、例えば、フレームの補間によりフレームレートを維持することが可能となるため、トレース再生に伴う撮像装置101の動作がよりスムーズになるように制御することが可能となる。
なお、上記した他のフレームの追加に係る情報(例えば、撮像装置101の動作の制御内容)の補間に係る方法は特に限定はされない。具体的な一例として、線形補間が利用されてもよい。また、他の一例として、追加するフレームの前後のフレーム間における被写体が検出された位置の差分量に応じて情報の補間が行われてもよい。
また、他の一例として、システム制御部201は、上記連続するフレーム間に対して、トレース再生を一時的に停止するウェイト期間(例えば、トレース再生を停止させるフレーム)を挿入することで、トレース再生に係る速度がより遅くなるように制御してもよい。
このように、トレース再生に係る速度がより遅くなるように制御されることで、トレース記録時よりも遅い速度で動く被写体の当該速度に対する、撮像部202の動作の制御に係る相対的な速度が、トレース記録時と略一致するように制御される。具体的な一例として、パン制御に着目した場合には、トレース記録時によりも被写体の動きが遅い場合には、撮像部202をパン方向に回転させる速度が、被写体の速度にあわせてより遅くなるように制御される。すなわち、トレース記録時よりも遅い速度で動く被写体の動きにあわせて、トレース記録時とトレース再生時との間で撮像されるシーンが略一致するように、トレース再生に伴う撮像部202の動作が制御されることとなる。
また、システム制御部201は、トレース再生時における検出情報の時系列に沿った遷移に係る速度が、トレース記録時における検出情報の時系列に沿った遷移に係る速度よりも速い場合には、トレース再生に係る速度がより速くなるように制御してもよい。
この場合には、システム制御部201は、例えば、トレースデータが記録された一連のフレームのうち一部のフレームに対応するトレースデータに基づく制御をスキップすることで、トレース再生に係る速度がより速くなるように制御してもよい。
また、他の一例として、システム制御部201は、時系列に沿って連続する複数のフレームそれぞれに対応するトレースデータ間における検出情報の差に基づき、以降のフレームにおける撮像装置101の動作の制御内容の補間を行ってもよい。
このように、トレース再生に係る速度がより速くなるように制御されることで、トレース記録時よりも速い速度で動く被写体の当該速度に対する、撮像部202の動作の制御に係る相対的な速度が、トレース記録時と略一致するように制御される。具体的な一例として、パン制御に着目した場合には、トレース記録時によりも被写体の動きが速い場合には、撮像部202をパン方向に回転させる速度が、被写体の速度にあわせてより速くなるように制御される。すなわち、トレース記録時よりも速い速度で動く被写体の動きにあわせて、トレース記録時とトレース再生時との間で撮像されるシーンが略一致するように、トレース再生に伴う撮像部202の動作が制御されることとなる。
ここで、改めて図10の説明を再開する。
S1008において、システム制御部201は、トレース再生の停止に係る指示を受け付けたか、またはトレース記録において記録された一連の情報について最後までトレース再生を実行したかを判定する。
システム制御部201は、S1008において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS1003に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS1003の処理により取得されていない情報について、S1003以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S1008において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS1009に進める。
S1009において、システム制御部201は、トレース再生に係る一連の処理を終了する。これにより、図10に示す一連の処理が終了することとなる。
なお、図9及び図10を参照して説明した例では、撮像装置101が主体となってトレース記録及びトレース再生に係る処理を実行する場合について説明したが、必ずしも本実施形態に係る撮像システムの処理を限定するものではない。具体的な一例として、端末装置102等のような他の装置が、ネットワーク105を介した撮像装置101との通信に基づき、トレース記録及びトレース再生に係る処理を実行してもよい。この場合には、当該他の装置の内部ストレージや外部ストレージにトレースデータが記録されてもよい。
以上のような制御が適用されることで、例えば、トレース記録時とトレース再生時との間で被写体が動く速度に差が生じたとしても、トレース再生時における被写体の動きにあわせて、トレース記録時における撮像装置101の動作を再現することが可能となる。すなわち、本実施形態に係る撮像システムに依れば、その時々の被写体の動きにあわせて、過去に実行された撮像に係る動作をより好適な態様で事後的に再現することが可能となる。
<変形例>
図11及び図12を参照して、本実施形態に係る撮像システムの変形例について説明する。本変形例では、トレース記録及びトレース再生の実行に際して、ユーザが、当該トレース記録に係る制御や当該トレース再生に係る制御のモニタリング利用可能な情報の提示を可能とする仕組みの一例について説明する。なお、以降では、本変形例に係る撮像システムについて、上述した実施形態に係る撮像システムとは異なる点に着目して説明し、上述した実施形態に係る撮像システムと実質的に同様の部分については詳細な説明は省略する。
まず、図11について説明する。図11は、本変形例に係る撮像システムのUIの一例を示している。具体的には、図11に示す操作画面1100は、撮像装置101の動作(特に、撮像に係る動作)の制御に係る指示をユーザから受け付けるためのUIの一例を示している。操作画面1100は、例えば、端末装置102において所定のアプリケーションが実行されることで、当該端末装置102の出力部を介してユーザに提示される。操作画面1100は、撮像装置101の撮像結果に応じた画像をユーザに提示する出力インターフェースとしての役割と、ユーザから当該撮像装置101の操作(例えば、遠隔操作)に係る指示を受け付ける入力インターフェースとしての役割とを担う。
操作画面1100は、画像表示領域1101と、PTZバー1102と、フォーカスモード操作部1103と、MF操作部1104とを含む。また、操作画面1100は、トレース機能に係るUIとして、トレースNo設定部1105と、記録ボタン1106と、再生ボタン1107と、モニタボタン1108とを含む。
画像表示領域1101は、撮像装置101による撮像結果に応じた画像を表示するための表示領域である。画像表示領域1101に上記画像が表示されることで、ユーザは、当該画像を確認しながら、撮像装置101を遠隔操作することが可能となる。
PTZバー1102は、パン、チルト、及びズームの制御に係る指示をユーザから受け付けるための入力インターフェースである。
フォーカスモード操作部1103は、フォーカス制御に係る動作モードの指定をユーザから受け付けるための入力インターフェースである。図11に示す例では、フォーカス制御に係る動作モードとして、AF(オートフォーカス)とMF(マニュアルフォーカス)とのいずれかを、フォーカスモード操作部1103を介して指定することが可能である。
MF操作部1104は、フォーカス制御に係る動作モードがMFに設定されている場合に、フォーカス位置の調整に係る指示をユーザから受け付けるための入力インターフェースである。図11に示す例では、MF操作部1104として、フォーカス位置をFAR方向及びNEAR方向のそれぞれに制御するための入力インターフェースが設けられている。
なお、PTZバー1102及びフォーカスモード操作部1103については、撮像装置101に対して現在設定されている値を提示する機能が設けられていてもよい。
トレースNo設定部1105は、トレース記録、トレース再生、及びモニタリングの対象とするトレースデータ(操作情報及び検出情報)を識別するための識別情報の指定をユーザから受け付けるための入力インターフェースである。なお、以降では、当該識別情報を、「トレースNo」とも称する。
記録ボタン1106は、トレース記録に係る指示をユーザから受け付けるための入力インターフェースである。記録ボタン1106が押下されると、図9を参照して説明したトレース記録に係る処理が開始され、その後に再度記録ボタン1106が押下されると、開始された当該トレース記録に係る処理が終了する。そして、トレース記録に係る処理が実行されることで記録されたトレースデータ(操作情報及び検出情報)に対して、トレースNo設定部1105を介して指定されたトレースNoが割り当てられる。
再生ボタン1107は、トレース再生に係る指示をユーザから受け付けるための入力インターフェースである。再生ボタン1107が押下されると、トレースNo設定部905を介して指定されたトレースNoが割り当てられたトレースデータ(操作情報及び検出情報)に基づき、図10を参照して説明したトレース再生に係る処理が開始される。そして、再度再生ボタン1107が押下されると、開始された上記トレース再生に係る処理が終了する。
モニタボタン1108は、記録されたトレースデータに基づくトレース記録時の被写体の位置の遷移と、トレース再生時における被写体の位置の遷移とをユーザが確認するためのUIの提示に係る指示を当該ユーザから受け付けるための入力インターフェースである。モニタボタン1108が押下されると、トレースNo設定部905を介して指定されたトレースNoが割り当てられたトレースデータをトレース記録時の情報の提示対象として、図12に示すトレースモニタ画面1200が表示される。
ここで、図12を参照してトレースモニタ画面1200について説明する。トレースモニタ画面1200は、撮像装置101のよるトレース再生に関する制御(例えば、トレース再生に係る速度制御)の状況をユーザに提示するために利用される画面である。
トレースモニタ画面1200は、時系列に沿って、トレースデータに含まれる検出情報に基づくトレース記録時の被写体の位置の遷移を示す情報と、当該トレースデータに基づくトレース再生時に検出された被写体の位置の遷移を示す情報とをユーザに提示する。また、トレースモニタ画面1200は、トレース再生中における被写体が検出されなかった場合の制御に関する指示を受け付けてもよい。トレースモニタ画面1200は、トレースNo表示部1201と、トレースデータ表示部1202と、ラジオボタン1203~1205と、終了ボタン1206とを含む。
トレースNo表示部1201は、トレース再生の対象として指定されたトレースデータに割り当てられたトレースNoが表示される領域である。例えば、トレースNo表示部1201には、操作画面1100のトレースNo設定部1105を介して指定されたトレースNoが表示される。
トレースデータ表示部1202は、トレース記録時における検出された被写体の位置の遷移(換言すると、被写体の動き)に関する情報と、トレース再生時における検出された被写体の位置の遷移に関する情報とが表示される領域である。例えば、図12に示す例では、図7を参照して説明した例と同様に、トレース記録時における被写体の位置の遷移と、トレース再生時における被写体の位置の遷移とがグラフとして示されている。また、トレース記録時における被写体の位置の遷移に関する情報については、モニタリングの対象として指定されたトレースデータに含まれる検出情報に基づき表示される。
図12に示す例の場合には、トレース再生時に検出対象となる被写体がトレース記録時と同様に動いている場合には、当該被写体の位置の遷移を示すグラフは、トレース記録時における被写体の位置の遷移を示すグラフと一致することとなる。一方で、トレース再生時に検出対象となる被写体の動作が、トレース記録時の被写体の動作と異なる場合には、トレース再生時における被写体の位置の遷移を示すグラフと、トレース記録時における被写体の位置の遷移を示すグラフとの間にずれが生じることとなる。具体的な一例として、トレース再生時における被写体の位置の遷移に係る速度と、トレース記録時における被写体の位置の遷移に係る速度とが異なる場合には、それぞれのケースに対応するグラフ間に、速度差に応じた乖離が生じる可能性がある。
撮像装置101は、トレース記録時とトレース再生時との間で被写体の位置の遷移の差をモニタリングし、差が生じている場合には、トレース再生に係る速度を制御する。このような制御を適用することで、例えば、撮像装置101は、トレース再生時の画角内における被写体の遷移(例えば、被写体の位置の遷移)を、トレース記録時の画角内における被写体の遷移により近づける。換言すると、撮像装置101は、上記制御を適用することで、トレース再生時に撮像されるシーンを、トレース記録時に撮像されたシーンにより近づける。
なお、図12では図示を省略しているが、撮像装置101によるトレース再生に係る速度制御に関する情報(例えば、再生速度の調整情報等)がトレースモニタ画面1200に表示されてもよい。
ラジオボタン1203~1205は、トレース再生時に被写体が検出されなかった場合に適用される制御の候補がそれぞれ割り当てられている。
具体的な一例として、ラジオボタン1203には、被写体が検出されなかった場合に、トレース再生に係る速度を、現在の再生速度のまま維持する制御が割り当てられている。また、ラジオボタン1204には、被写体が検出されなかった場合に、トレース再生に係る速度を、あらかじめデフォルト値として設定された再生速度に変更する制御が割り当てられている。また、ラジオボタン1205には、被写体が検出されなかった場合に、トレース再生を停止する制御が割り当てられている。このトレース再生を停止させる制御については、トレース再生に係る一連の動作を停止させる制御が適用されてもよいし、被写体が検出されるまで一時的にトレース再生を停止する制御が適用されてもよい。
ラジオボタン1203~1205のいずれかが選択されると、選択されたラジオボタンに割り当てられた制御が適用される。
終了ボタン1206は、撮像装置101のよるトレース再生に関する制御の状況のモニタリングの終了に係る指示をユーザから受け付けるための入力インターフェースである。終了ボタン1206が押下されると、上記モニタリングに係る一連の処理が終了され、トレースモニタ画面1200が閉じられる。
以上のような制御が適用されることで、ユーザは、トレース再生時における被写体の位置の遷移と、トレース記録時における被写体の位置の遷移との間で差が生じた場合に、UI(トレースモニタ画面1200)を介してその差の発生を認識することが可能となる。また、前述したように、本実施形態に係る撮像システムでは、トレース記録時とトレース再生時との間で被写体の検出結果に差が生じた場合には、この差が解消されるようにトレース再生に係る速度の制御が行われる。この場合にも、当該トレース再生に係る速度の制御の結果が、上記UIにフィードバックすされることとなる。そのため、ユーザは、トレース再生時における被写体の動きにあわせて、より好適な態様でトレース再生に係る制御が行われているか否かを、上記UIを介して認識することが可能となる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 撮像装置
102 端末装置
201 システム制御部
202 撮像部

Claims (11)

  1. 撮像手段と、
    ユーザからの指示に応じて前記撮像手段の撮像に係る動作を制御する制御手段と、
    前記撮像手段の撮像範囲内の被写体を検出する検出手段と、
    前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、
    前記被写体の検出結果に応じた情報を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、
    前記第1の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、
    を備え、
    前記再生手段は、前記第2の情報と、前記再生時における被写体の検出結果に応じた情報と、に基づき、当該再生に係る速度を制御する、
    撮像装置。
  2. 前記検出手段は、顔検出、人体検出、動体検出、及び物体検出のうち少なくともいずれかに基づき前記被写体を検出する、
    請求項1に記載の撮像装置。
  3. 前記被写体の検出結果に応じた情報は、合焦している位置、検出された被写体の位置、検出された被写体との間の距離、及び検出された被写体の大きさのうち少なくともいずれかに関する情報を含む、
    請求項1または2に記載の撮像装置。
  4. 前記再生手段は、前記再生時における被写体の検出結果に応じた情報の時系列に沿った遷移と、前記第2の情報が示す被写体の検出結果に応じた情報の時系列に沿った遷移と、の差がより解消されるように、当該再生に係る速度を制御する、
    請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記再生手段は、前記再生時における被写体の検出結果に応じた情報の時系列に沿った遷移に係る速度が、前記第2の情報が示す被写体の検出結果に応じた情報の時系列に沿った遷移に係る速度よりも遅い場合に、当該再生に係る速度がより遅くなるように制御する、
    請求項4に記載の撮像装置。
  6. 前記再生手段は、前記第2の情報が記録された一連のフレームのうちの時系列に沿って連続する複数のフレーム間に、当該複数のフレームそれぞれに対応する当該第2の情報に基づき、前記撮像手段の動作の制御内容と、前記被写体に関する情報と、のうち少なくともいずれかが補間された他のフレームを追加する、
    請求項5に記載の撮像装置。
  7. 前記再生手段は、前記再生時における被写体の検出結果に応じた情報の時系列に沿った遷移に係る速度が、前記第2の情報が示す被写体の検出結果に応じた情報の時系列に沿った遷移に係る速度よりも速い場合に、当該再生に係る速度がより速くなるように制御する、
    請求項4乃至6のいずれか1項に記載の撮像装置。
  8. 前記再生手段は、前記第2の情報が記録された一連のフレームに対応する情報のうち、一部のフレームに対応する情報に基づく前記再生に係る制御をスキップする、
    請求項7に記載の撮像装置。
  9. 撮像装置の制御方法であって、
    ユーザからの指示に応じて撮像手段の撮像に係る動作を制御する制御ステップと、
    前記撮像手段の撮像範囲内の被写体を検出する検出ステップと、
    前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録ステップと、
    前記被写体の検出結果に応じた情報を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録ステップと、
    前記第1の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生ステップと、
    を含み、
    前記再生ステップは、前記第2の情報と、前記再生時における被写体の検出結果に応じた情報と、に基づき、当該再生に係る速度を制御する、
    撮像装置の制御方法。
  10. コンピュータを、請求項1乃至8のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
  11. ユーザからの指示に応じた撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、
    被写体の検出結果に応じた情報を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、
    前記第1の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、
    を備え、
    前記再生手段は、前記第2の情報と、前記再生時における被写体の検出結果に応じた情報と、に基づき、当該再生に係る速度を制御する、
    情報処理装置。
JP2021110512A 2021-07-02 2021-07-02 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置 Pending JP2023007575A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021110512A JP2023007575A (ja) 2021-07-02 2021-07-02 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置
US17/854,954 US20230007168A1 (en) 2021-07-02 2022-06-30 Imaging apparatus, method for controlling imaging apparatus, recording medium, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021110512A JP2023007575A (ja) 2021-07-02 2021-07-02 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置

Publications (1)

Publication Number Publication Date
JP2023007575A true JP2023007575A (ja) 2023-01-19

Family

ID=84786423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021110512A Pending JP2023007575A (ja) 2021-07-02 2021-07-02 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置

Country Status (2)

Country Link
US (1) US20230007168A1 (ja)
JP (1) JP2023007575A (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4745769B2 (ja) * 2005-09-13 2011-08-10 キヤノン株式会社 カメラ雲台装置
WO2018195293A1 (en) * 2017-04-19 2018-10-25 Vidoni, Inc. Augmented reality learning system and method using motion captured virtual hands

Also Published As

Publication number Publication date
US20230007168A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
JP6324063B2 (ja) 画像再生装置及びその制御方法
US8040398B2 (en) Imaging apparatus and method for displaying zoom information
US11463624B2 (en) Imaging device, imaging method, display device, and display method that capture a particular capturing region corresponding to a selected cutout image
US10234653B2 (en) Imaging device with focus lens stopped at each of focus positions during video capturing
JP2011147094A (ja) 撮像装置と撮像方法
JP2015037292A (ja) 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
US8976261B2 (en) Object recognition apparatus, object recognition method and object recognition program
EP3567844B1 (en) Control apparatus and control method
US10447919B2 (en) Imaging device, external device, imaging system, imaging method, operating method, and computer-readable recording medium
JP6721084B2 (ja) ズーム制御装置、ズーム制御方法およびプログラム
JPWO2017150237A1 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP6777141B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP7491297B2 (ja) 情報処理装置、情報処理方法、プログラム
US20230069440A1 (en) Information processing apparatus, information processing method, and storage medium
JP2023007575A (ja) 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置
JP2013121173A (ja) 撮像装置
JP5607458B2 (ja) 撮像装置、及びその制御方法
WO2017061095A1 (ja) 撮像装置
JP7317566B2 (ja) 撮像装置、その制御方法及びプログラム
JP2023008828A (ja) 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置
US20150139627A1 (en) Motion picture playback apparatus and method for playing back motion picture
JP2018031981A (ja) 撮像装置及びその制御方法
JP6347056B2 (ja) 撮像装置および静止画像生成方法
US20140029923A1 (en) Image processing apparatus
US20230328366A1 (en) Information processing apparatus, method, and storage medium