JP2023008828A - 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置 - Google Patents
撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置 Download PDFInfo
- Publication number
- JP2023008828A JP2023008828A JP2022087543A JP2022087543A JP2023008828A JP 2023008828 A JP2023008828 A JP 2023008828A JP 2022087543 A JP2022087543 A JP 2022087543A JP 2022087543 A JP2022087543 A JP 2022087543A JP 2023008828 A JP2023008828 A JP 2023008828A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- information
- control
- recording
- trace
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】撮像に係る動作が自動で制御される状況下においても、過去に実行された動作をより好適な態様で事後的に再現可能とする。
【解決手段】システム制御部201は、ユーザからの指示に応じて撮像部202の撮像に係る動作を制御する。また、システム制御部201は、あらかじめ設定された条件に基づき撮像部202の撮像に係る動作を自動で制御する。システム制御部201は、ユーザからの指示に応じた撮像部202の動作の制御内容を時系列に沿って操作情報として記録する。システム制御部201は、自動での撮像部202の動作の制御内容を時系列に沿って変化情報として記録する。システム制御部201は、記録された操作情報及び変化情報に基づき、時系列に沿った撮像部202の動作の制御内容を再生する。
【選択図】図5
【解決手段】システム制御部201は、ユーザからの指示に応じて撮像部202の撮像に係る動作を制御する。また、システム制御部201は、あらかじめ設定された条件に基づき撮像部202の撮像に係る動作を自動で制御する。システム制御部201は、ユーザからの指示に応じた撮像部202の動作の制御内容を時系列に沿って操作情報として記録する。システム制御部201は、自動での撮像部202の動作の制御内容を時系列に沿って変化情報として記録する。システム制御部201は、記録された操作情報及び変化情報に基づき、時系列に沿った撮像部202の動作の制御内容を再生する。
【選択図】図5
Description
本開示は、撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置に関する。
近年における動画配信市場の拡大に伴い、ネットワークを介した遠隔制御により動画像を撮像することが可能な撮像装置(例えば、ネットワークカメラ等)を利用して、結婚式や講演会等のようなイベントを撮像可能とするシステムが各種提案されている。特に近年では、スマートフォン等のようなモバイル端末やPC等にアプリケーションをインストールすることで、当該モバイル端末や当該PC等からの遠隔操作が可能となる撮像装置も提案されている。上記遠隔操作としては、例えば、撮像装置のパン・チルト・ズームを操作するPTZ操作等が挙げられる。また、上記のような撮像装置には、あらかじめ設定された画角となるように制御するプリセット機能や、ユーザから受け付けた操作に関する情報を記録しておくことで事後的に当該操作に基づく動作を再現するトレース機能等を備えたものも提案されている。例えば、特許文献1には、パン・チルト・ズーム及びフォーカスの制御に係る操作が可能な雲台システムにおいて、トレース機能を実現するための技術の一例が開示されている。
一方で、撮像装置の中には、あらかじめ設定された条件に基づき、その時々の状況に応じて撮像に係る動作を自動で制御する機能を有するものがある。このような撮像装置においては、ユーザから受け付けた操作に応じた制御と、上記した自動での制御とにより撮像に係る条件が決定される場合がある。このような状況下では、例えば、ユーザから受け付けた操作に関する情報が記録されたとしても、当該情報に基づき当該操作が行われたときの撮像に係る動作を再現することが困難な場合がある。
本発明は上記の問題を鑑み、撮像に係る動作が自動で制御される状況下においても、過去に実行された動作をより好適な態様で事後的に再現可能とすることを目的とする。
本発明に係る撮像装置は、撮像手段と、ユーザからの指示に応じて前記撮像手段の撮像に係る動作を制御する第1の制御手段と、あらかじめ設定された条件に基づき前記撮像手段の撮像に係る動作を自動で制御する第2の制御手段と、前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、前記条件に基づく自動での前記撮像手段の動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、を備える。
本発明によれば、撮像に係る動作が自動で制御される状況下においても、過去に実行された動作をより好適な態様で事後的に再現することが可能となる。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<システム構成>
図1を参照して本実施形態に係る撮像システムのシステム構成の一例について説明する。本実施形態に係る撮像システムは、撮像装置101と、当該撮像装置101の動作の制御に利用される端末装置102とを含む。撮像装置101と端末装置102とは、ネットワーク105を介して相互に情報を送受信可能に接続される。また、撮像装置101に対して複数の端末装置102がネットワーク105を介して接続されていてもよい。また、少なくとも一部の端末装置102に替えてコントローラ104が適用されてもよい。また、少なくとも一部の端末装置102に対して、撮像装置101の動作の制御に係る操作をユーザから受け付けるための入力装置103が接続されていてもよい。
図1を参照して本実施形態に係る撮像システムのシステム構成の一例について説明する。本実施形態に係る撮像システムは、撮像装置101と、当該撮像装置101の動作の制御に利用される端末装置102とを含む。撮像装置101と端末装置102とは、ネットワーク105を介して相互に情報を送受信可能に接続される。また、撮像装置101に対して複数の端末装置102がネットワーク105を介して接続されていてもよい。また、少なくとも一部の端末装置102に替えてコントローラ104が適用されてもよい。また、少なくとも一部の端末装置102に対して、撮像装置101の動作の制御に係る操作をユーザから受け付けるための入力装置103が接続されていてもよい。
撮像装置101は、ネットワーク105を介した他の装置(例えば、端末装置102、コントローラ104等)からの指示に応じて、撮像範囲内を撮像してもよい。また、撮像装置101は、ネットワーク105を介した他の装置からの指示に応じて、撮像に係る条件(例えば、フォーカス、絞り、シャッタースピード、ゲイン等)を制御してもよい。また、撮像装置101は、ネットワーク105を介した他の装置からの指示に応じて、撮像結果に応じた静止画像や動画像のデータを当該他の装置に送信してもよい。なお、以降の説明では、静止画像と動画像とを特に区別しない場合には、便宜上「画像」とも称する。また、以降の説明では、静止画像及び動画像それぞれのデータを特に区別しない場合には、便宜上「画像データ」とも称する。
端末装置102は、PC、タブレット端末、及びスマートフォン等のような通信機能を有する情報処理装置により実現され得る。また、端末装置102は、ディスプレイ等のようなユーザに情報を提示するための出力装置と、タッチパネル等のようなユーザからの指示を受け付けるための入力装置とを備える。なお、当該出力装置及び当該入力装置のうち少なくともいずれかが、端末装置102に対して外付けされる装置として実現されてもよい。
例えば、入力装置103は、端末装置102に対して外付けされた入力装置の一例に相当する。入力装置103は、例えば、USBやBluetooth(登録商標)等の規格に基づく伝送路を介して端末装置102に接続されてもよい。入力装置103としては、例えば、ジョイスティック等のように、アプリケーションにより提示されるGUIのみでは実現が困難な、滑らかなPTZ操作を実現するための入力装置が適用されてもよい。
例えば、入力装置103は、端末装置102に対して外付けされた入力装置の一例に相当する。入力装置103は、例えば、USBやBluetooth(登録商標)等の規格に基づく伝送路を介して端末装置102に接続されてもよい。入力装置103としては、例えば、ジョイスティック等のように、アプリケーションにより提示されるGUIのみでは実現が困難な、滑らかなPTZ操作を実現するための入力装置が適用されてもよい。
コントローラ104は、撮像装置101の操作に係る入力インターフェースを有するハードウェアを模式的に示している。なお、図1に示す例では、コントローラ104は、ネットワーク105を介して撮像装置101に接続されているが、必ずしもコントローラ104と撮像装置101との間の接続方式を限定するものではない。具体的な一例として、撮像装置101に対して、シリアル接続等の接続方式によりコントローラ104が接続されてもよい。
ネットワーク105については、撮像装置101と、端末装置102やコントローラ104との間で通信を確立することが可能であれば、その種別については特に限定はされない。具体的な一例として、ネットワーク105として、ETHERNET(登録商標)等の通信規格に準拠したネットワークが適用されてもよい。この場合には、ネットワーク105は、当該通信規格に準拠したルータ、スイッチ、及びケーブル等により実現されてもよい。また、他の一例として、ネットワーク105は、WiFi(登録商標)、ブルートゥース(登録商標)、LTE、及び5G等のような無線通信の通信規格に準拠したネットワークが適用されてもよい。また、ネットワーク105は、複数のネットワークにより実現されてもよい。この場合には、当該複数のネットワークに、互いに種別の異なる2以上のネットワークが含まれてもよい。また、撮像装置101と、端末装置102やコントローラ104との間の通信が、他の通信装置により仲介されてもよい。
なお、図1に示した構成はあくまで一例であり、必ずしも本実施形態に係る撮像システムのシステム構成を限定するものではない。具体的な一例として、撮像装置101がスタンドアロンの装置として実現されてもよい。この場合には、当該撮像装置101に対して、ユーザからの指示を受け付けるための入力装置と、ユーザに対して情報を提示するための出力装置が設けられていてもよい。また、この場合においても、当該入力装置及び当該出力装置のうち少なくともいずれかが、撮像装置101に対して外付けされる装置として実現されてもよい。
<構成>
本実施形態に係る撮像システムの構成の一例について、特に、撮像装置101と端末装置102とのそれぞれに着目して説明する。
本実施形態に係る撮像システムの構成の一例について、特に、撮像装置101と端末装置102とのそれぞれに着目して説明する。
まず、図2を参照して、撮像装置101の構成の一例について説明する。撮像装置101は、システム制御部201と、撮像部202と、画像処理部203と、レンズ駆動部204と、撮像画角制御部205と、フォーカス制御部206と、パン駆動部207と、チルト駆動部208と、パン・チルト制御部209とを含む。また、撮像装置101は、記憶部210と、プログラムメモリ211とを含んでもよい。また、撮像装置101は、通信部220を含んでもよい。
システム制御部201は、撮像装置101の各構成要素に対して指示を行うことで、当該撮像装置101の各種動作(特に、撮像に係る動作)を制御する。システム制御部201は、例えば、CPU(Central Processing Unit)やMPU(Micro Processor Unit)等の演算装置により実現され得る。
また、システム制御部201は、後述する通信部220の動作を制御することで、ネットワーク105を介して他の装置(例えば、端末装置102)との間で各種情報の送受信を行ってもよい。具体的な一例として、システム制御部201は、ネットワーク105を介して端末装置102から撮像に係る制御コマンドを受信し、当該制御コマンドを解析することで、当該制御コマンドに応じた処理を実行してもよい。なお、以降では、撮像に係る制御コマンドを、便宜上「カメラ制御コマンド」とも称する。
また、システム制御部201は、後述する通信部220の動作を制御することで、ネットワーク105を介して他の装置(例えば、端末装置102)との間で各種情報の送受信を行ってもよい。具体的な一例として、システム制御部201は、ネットワーク105を介して端末装置102から撮像に係る制御コマンドを受信し、当該制御コマンドを解析することで、当該制御コマンドに応じた処理を実行してもよい。なお、以降では、撮像に係る制御コマンドを、便宜上「カメラ制御コマンド」とも称する。
カメラ制御コマンドには、撮像装置101に対して画像データや各種設定値の送信を依頼するための要求コマンドと、設定値の指定に係る設定コマンドとが含まれる。
例えば、システム制御部201は、端末装置102から画像データの送信に係る要求コマンドを受信してもよい。この場合には、システム制御部201は、画像処理部203により生成された画像データを、ネットワーク105を介して当該端末装置102に送信するように通信部220に指示する。
また、他の一例として、システム制御部201は、端末装置102から、フォーカス、ズーム、パン、及びチルト等に係る設定値のように、撮像に関する設定値の送信に係る要求コマンドを受信してもよい。この場合には、システム制御部201は、当該要求コマンドで指定された設定値を、当該設定値を管理する構成要素から取得し、取得した当該情報を、ネットワーク105を介して端末装置102に送信するように通信部220に指示してもよい。各種設定値を管理する構成要素の候補としては、例えば、画像処理部203、撮像画角制御部205、フォーカス制御部206、及びパン・チルト制御部209等が挙げられる。また、システム制御部201は、撮像に関する設定値に係る情報として、現在設定されている値のみに限らず、例えば、設定可能な当該値の範囲に関する情報等を、ネットワーク105を介して端末装置102に送信してもよい。
また、他の一例として、システム制御部201は、端末装置102から、フォーカス、ズーム、パン、及びチルト等に係る設定値のように、撮像に関する設定値の送信に係る要求コマンドを受信してもよい。この場合には、システム制御部201は、当該要求コマンドで指定された設定値を、当該設定値を管理する構成要素から取得し、取得した当該情報を、ネットワーク105を介して端末装置102に送信するように通信部220に指示してもよい。各種設定値を管理する構成要素の候補としては、例えば、画像処理部203、撮像画角制御部205、フォーカス制御部206、及びパン・チルト制御部209等が挙げられる。また、システム制御部201は、撮像に関する設定値に係る情報として、現在設定されている値のみに限らず、例えば、設定可能な当該値の範囲に関する情報等を、ネットワーク105を介して端末装置102に送信してもよい。
また、システム制御部201は、端末装置102から撮像に関する設定値の指定に係る設定コマンドを受信してもよい。この場合には、システム制御部201は、当該設定コマンドにより指定された設定値に基づく制御を、当該設定値に対応する構成要素に指示する。このような構成要素の候補としては、例えば、画像処理部203、撮像画角制御部205、フォーカス制御部206、及びパン・チルト制御部209等が挙げられる。また、これらの構成要素により、例えば、撮像部202、レンズ駆動部204、パン駆動部207、及びチルト駆動部208等の動作が制御されることで、端末装置102により指定された設定値に応じた撮像装置101の動作が実現される。
撮像部202は、レンズ等の撮像光学系と、撮像素子とを含む。撮像光学系により形成された光学像(被写体像)は、撮像素子に導光されて結像し、当該撮像素子により電気信号に光電変換される。そして、上記光学像が光電変換された電気信号(画像信号)は、例えば、ゲインの調整が行われ、A/D変換器によりアナログ信号からデジタル信号にA/D変換されたうえで、画像処理部203に出力される。
画像処理部203は、撮像部202から出力される画像信号に対して、各種画像処理、解像度変換処理、及び圧縮符号化処理等を適用して、画像データを生成する。画像処理部203により生成された画像データは、例えば、後述する記憶部210に記憶されてもよい。また、他の一例として、当該画像データは、後述する通信部220により、ネットワーク105を介して他の装置(例えば、端末装置102)に送信されてもよい。
画像処理部203は、撮像部202から出力される画像信号に対して、各種画像処理、解像度変換処理、及び圧縮符号化処理等を適用して、画像データを生成する。画像処理部203により生成された画像データは、例えば、後述する記憶部210に記憶されてもよい。また、他の一例として、当該画像データは、後述する通信部220により、ネットワーク105を介して他の装置(例えば、端末装置102)に送信されてもよい。
レンズ駆動部204は、撮像部202の撮像光学系を構成する一連の光学部材のうち、少なくとも一部の光学部材の位置の制御に係る駆動系や、当該駆動系の動力源となるモータ等により構成される。なお、本実施形態では、レンズ駆動部204による位置の制御の対象となる光学部材として、フォーカス制御に係る光学部材(以下、「フォーカスレンズ」とも称する)と、画角の制御に係る光学部材(以下、「ズームレンズ」とも称する)とが含まれるものとする。レンズ駆動部204の動作は、撮像画角制御部205及びフォーカス制御部206により制御される。
撮像画角制御部205は、システム制御部201から出力されるズームに関する設定値に基づいて、レンズ駆動部204に対して、ズームレンズの位置の制御を指示する。ズームに関する設定値としては、例えば、焦点距離の設定値が挙げられる。
フォーカス制御部206は、システム制御部201から出力されるフォーカスに関する設定値に基づいて、レンズ駆動部204に対して、フォーカスレンズの位置の制御を指示する。フォーカスレンズの位置が制御されることで、フォーカスレンズが合焦する撮像範囲内の位置(フォーカス位置)が制御される。
撮像画角制御部205は、システム制御部201から出力されるズームに関する設定値に基づいて、レンズ駆動部204に対して、ズームレンズの位置の制御を指示する。ズームに関する設定値としては、例えば、焦点距離の設定値が挙げられる。
フォーカス制御部206は、システム制御部201から出力されるフォーカスに関する設定値に基づいて、レンズ駆動部204に対して、フォーカスレンズの位置の制御を指示する。フォーカスレンズの位置が制御されることで、フォーカスレンズが合焦する撮像範囲内の位置(フォーカス位置)が制御される。
なお、撮像装置による撮像に係る一連の動作のうち少なくとも一部の動作については、撮像環境等の各種条件に応じて自動で制御が行われてもよい。
具体的な一例として、オートフォーカス(AF:Auto Focus)では、撮像部202による撮像結果に応じた画像のコントラストから評価値が算出され、フォーカス制御部206が、この評価値に応じてフォーカスレンズの位置を制御する。これにより、撮像範囲内の被写体に合焦するように撮像部202のフォーカスが制御される。
また、フォーカスの制御に限らず、例えば、露出(絞り、シャッタースピード、ゲイン、及びNDフィルタ等)、ホワイトバランス、ノイズリダクション、及びガンマの制御等についても自動での制御が適用されてもよい。このような自動での制御については、当該制御の内容に応じて、当該制御の主体が適宜変更されてもよい。具体的な一例として、ノイズリダクションやガンマ制御等については、画像処理部203により実行されてもよい。
具体的な一例として、オートフォーカス(AF:Auto Focus)では、撮像部202による撮像結果に応じた画像のコントラストから評価値が算出され、フォーカス制御部206が、この評価値に応じてフォーカスレンズの位置を制御する。これにより、撮像範囲内の被写体に合焦するように撮像部202のフォーカスが制御される。
また、フォーカスの制御に限らず、例えば、露出(絞り、シャッタースピード、ゲイン、及びNDフィルタ等)、ホワイトバランス、ノイズリダクション、及びガンマの制御等についても自動での制御が適用されてもよい。このような自動での制御については、当該制御の内容に応じて、当該制御の主体が適宜変更されてもよい。具体的な一例として、ノイズリダクションやガンマ制御等については、画像処理部203により実行されてもよい。
パン駆動部207は、撮像部202の撮像方向をパン方向に制御するパン動作を実現するための駆動系や、当該駆動系の動力源となるモータ等により構成される。パン駆動部207の動作は、パン・チルト制御部209により制御される。
チルト駆動部208は、撮像部202の撮像方向をチルト方向に制御する所謂チルト動作を実現するための駆動系や、当該駆動系の動力源となるモータ等により構成される。チルト駆動部208の動作は、パン・チルト制御部209により制御される。
パン・チルト制御部209は、システム制御部201から出力されるパン及びチルトに関する設定値に基づいて、パン駆動部207及びチルト駆動部208の少なくともいずれかに対して、撮像方向の制御(パン動作やチルト動作に係る制御)を指示する。
チルト駆動部208は、撮像部202の撮像方向をチルト方向に制御する所謂チルト動作を実現するための駆動系や、当該駆動系の動力源となるモータ等により構成される。チルト駆動部208の動作は、パン・チルト制御部209により制御される。
パン・チルト制御部209は、システム制御部201から出力されるパン及びチルトに関する設定値に基づいて、パン駆動部207及びチルト駆動部208の少なくともいずれかに対して、撮像方向の制御(パン動作やチルト動作に係る制御)を指示する。
記憶部210は、内部ストレージ及び外部ストレージのうち少なくともいずれかに各種データ(例えば、画像データ等)を記憶させる。また、記憶部210は、内部ストレージ及び外部ストレージに記憶された各種データを読み出してもよい。上記外部ストレージや上記内部ストレージについては、例えば、HDD(Hard Disk Drive)や、SDD(Solid State Drive)に代表される不揮発性メモリ等により実現され得る。
プログラムメモリ211は、撮像装置101の動作の制御に係るプログラムを記憶する記憶領域である。システム制御部201は、プログラムメモリ211に記憶された当該プログラムを展開して実行することで、撮像装置101の各種動作を実現する。
プログラムメモリ211は、撮像装置101の動作の制御に係るプログラムを記憶する記憶領域である。システム制御部201は、プログラムメモリ211に記憶された当該プログラムを展開して実行することで、撮像装置101の各種動作を実現する。
通信部220は、撮像装置101の構成要素(例えば、システム制御部201)が、ネットワーク105を介して他の装置(例えば、端末装置102)との間で各種情報の送受信を行うための通信インターフェースである。例えば、通信部220は、ネットワーク105を介して端末装置102からカメラ制御コマンドを受信し、当該カメラ制御コマンドをシステム制御部201に出力してもよい。この場合には、通信部220は、システム制御部201からの指示に応じて、上記端末装置102に対して、ネットワーク105を介して、上記カメラ制御コマンドに対するレスポンスを送信してもよい。なお、カメラ制御コマンドについては前述したため、詳細な説明は省略する。
なお、図2に示す構成はあくまで一例であり、本実施形態に係る撮像装置101の構成を限定するものではない。例えば、図2に示す構成が、複数の装置が協働することにより実現されてもよい。
具体的な一例として、撮像装置101の一連の構成要素のうち、一部の構成要素が他の装置に設けられていてもよい。具体的な一例として、システム制御部201、記憶部210、及びプログラムメモリ211に相当する構成要素が、撮像装置101と所定の伝送経路を介して情報を送受信可能な他の装置側に設けられていてもよい。この場合には、当該他の装置が、撮像装置101の動作を制御する「情報処理装置」の一例に相当する。
また、他の一例として、撮像装置101の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が複数の装置に分散されてもよい。
具体的な一例として、撮像装置101の一連の構成要素のうち、一部の構成要素が他の装置に設けられていてもよい。具体的な一例として、システム制御部201、記憶部210、及びプログラムメモリ211に相当する構成要素が、撮像装置101と所定の伝送経路を介して情報を送受信可能な他の装置側に設けられていてもよい。この場合には、当該他の装置が、撮像装置101の動作を制御する「情報処理装置」の一例に相当する。
また、他の一例として、撮像装置101の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が複数の装置に分散されてもよい。
続いて、図3を参照して、クライアント装置の構成の一例について説明する。クライアント装置は、端末装置102やコントローラ104のように、撮像装置101の動作の制御に用いられる装置に相当する。クライアント装置は、システム制御部301と、通信部302と、記憶部303と、プログラムメモリ305とを含む。また、クライアント装置は、入力部304を含んでもよい。
システム制御部301は、クライアント装置の各構成要素に対して指示を行うことで、当該クライアント装置の各種動作を制御する。システム制御部301は、例えば、CPU等の中央演算装置により実現され得る。
例えば、システム制御部301は、入力部304がユーザから受け付けた操作に応じてカメラ制御コマンドを生成し、ネットワーク105を介して撮像装置101に当該カメラ制御コマンドを送信するように通信部302に指示してもよい。このように、クライアント装置から撮像装置101にカメラ制御コマンドが送信される仕組みにより、クライアント装置を介して当該撮像装置101を遠隔で操作することも可能となる。
また、システム制御部301は、撮像装置101に対して、動作の制御内容に関する情報の記録を指示したり、記録された当該情報に基づく上記動作の事後的な再現(制御内容の再生)を指示してもよい。以降では、上記したように、撮像装置101の動作の制御内容に関する情報を記録し、当該情報に基づき、撮像装置101の動作の事後的に再現する一連の機能を、便宜上「トレース機能」とも称する。また、当該トレース機能のうち、撮像装置101の動作の制御内容に関する情報の記録に係る機能を「トレース記録」とも称し、記録された情報に基づく撮像装置101の動作の事後的な再現(制御内容の再生)に係る機能を「トレース再生」とも称する。
また、システム制御部301は、通信部302が撮像装置101からレスポンスと受信した場合に、当該レスポンスを解析することで、当該レスポンスに応じた処理を実行してもよい。
通信部302は、クライアント装置の構成要素(例えば、システム制御部301)が、ネットワーク105を介して他の装置(例えば、撮像装置101)との間で各種情報の送受信を行うための通信インターフェースである。例えば、通信部302は、ネットワーク105を介して撮像装置101にカメラ制御コマンドを送信し、当該撮像装置101から当該カメラ制御コマンドに対するレスポンスを受信してもよい。なお、カメラ制御コマンドについては前述したため、詳細な説明は省略する。
記憶部303は、内部ストレージ及び外部ストレージのうち少なくともいずれかに各種データ(例えば、画像データ等)を記憶させる。また、記憶部303は、内部ストレージ及び外部ストレージに記憶された各種データを読み出してもよい。上記外部ストレージや上記内部ストレージについては、例えば、HDDや、SDDに代表される不揮発性メモリ等により実現され得る。
プログラムメモリ305は、クライアント装置の動作の制御に係るプログラム(例えば、各種アプリケーションのプログラム等)を記憶する記憶領域である。システム制御部301は、プログラムメモリ305に記憶された当該プログラムを展開して実行することで、当該クライアント装置の各種動作を実現する。
プログラムメモリ305は、クライアント装置の動作の制御に係るプログラム(例えば、各種アプリケーションのプログラム等)を記憶する記憶領域である。システム制御部301は、プログラムメモリ305に記憶された当該プログラムを展開して実行することで、当該クライアント装置の各種動作を実現する。
入力部304は、ユーザからの指示を受け付けるための入力インターフェースである。入力部304は、例えば、クライアント装置に備えられたボタン、キーボード、ポインティングデバイス、及びジョイスティック等の入力装置により実現され得る。また、他の一例として、入力部304は、ディスプレイ等の表示部(不図示)に設けられたタッチパネルにより実現されてもよい。
なお、図3に示す構成はあくまで一例であり、本実施形態に係るクライアント装置の構成を限定するものではない。
例えば、図3に示す例では、ディスプレイ等の表示部に相当する構成要素を図示していないが、クライアント装置が当該表示部に相当する構成要素を備えていてもよい。このように、クライアント装置に対して表示部に相当する構成要素が設けられることで、例えば、撮像装置101による撮像結果に応じた画像や、当該撮像装置101による撮像に係る動作に適用されている設定値等を、ユーザに提示することも可能となる。
例えば、図3に示す例では、ディスプレイ等の表示部に相当する構成要素を図示していないが、クライアント装置が当該表示部に相当する構成要素を備えていてもよい。このように、クライアント装置に対して表示部に相当する構成要素が設けられることで、例えば、撮像装置101による撮像結果に応じた画像や、当該撮像装置101による撮像に係る動作に適用されている設定値等を、ユーザに提示することも可能となる。
また、図3に示す構成が、複数の装置が協働することにより実現されてもよい。
具体的な一例として、クライアント装置の一連の構成要素のうち、一部の構成要素が他の装置に設けられていてもよい。具体的な一例として、入力部304や記憶部303に相当する構成要素が、クライアント装置と所定の伝送経路を介して情報を送受信可能な他の装置側に設けられていてもよい。
また、他の一例として、クライアント装置の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が複数の装置に分散されてもよい。
なお、以降では、便宜上、クライアント装置として端末装置102が適用されるものとして、各種説明を行うものとする。
具体的な一例として、クライアント装置の一連の構成要素のうち、一部の構成要素が他の装置に設けられていてもよい。具体的な一例として、入力部304や記憶部303に相当する構成要素が、クライアント装置と所定の伝送経路を介して情報を送受信可能な他の装置側に設けられていてもよい。
また、他の一例として、クライアント装置の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が複数の装置に分散されてもよい。
なお、以降では、便宜上、クライアント装置として端末装置102が適用されるものとして、各種説明を行うものとする。
<処理>
図4及び図5を参照して、本実施形態に係る撮像システムの処理の一例について説明する。
図4及び図5を参照して、本実施形態に係る撮像システムの処理の一例について説明する。
まず、図4を参照して、トレース記録に係る処理の一例について説明する。
S401において、撮像装置101のシステム制御部201は、端末装置102からの指示に応じて、トレース記録に係る一連の処理を開始する。
まず、S402において、システム制御部201は、トレース記録の開始時に、現在の撮像装置101の状態(例えば、撮像方向や撮像条件等)に関する情報を所定の記憶領域に記録する。なお、以降では、撮像装置101の状態に関する情報を、便宜上「カメラ情報」とも称する。また、上記記憶領域としては、撮像装置101の記憶部210が利用されてもよいし、端末装置102の記憶部303が利用されてもよい。上記記憶領域として端末装置102の記憶部303が利用される場合には、システム制御部201は、ネットワーク105を介して端末装置102に上記カメラ情報を送信すればよい。
なお、以降では、便宜上、上記記憶領域として撮像装置101の記憶部210が利用されるものとして各種説明を行うものとする。
S401において、撮像装置101のシステム制御部201は、端末装置102からの指示に応じて、トレース記録に係る一連の処理を開始する。
まず、S402において、システム制御部201は、トレース記録の開始時に、現在の撮像装置101の状態(例えば、撮像方向や撮像条件等)に関する情報を所定の記憶領域に記録する。なお、以降では、撮像装置101の状態に関する情報を、便宜上「カメラ情報」とも称する。また、上記記憶領域としては、撮像装置101の記憶部210が利用されてもよいし、端末装置102の記憶部303が利用されてもよい。上記記憶領域として端末装置102の記憶部303が利用される場合には、システム制御部201は、ネットワーク105を介して端末装置102に上記カメラ情報を送信すればよい。
なお、以降では、便宜上、上記記憶領域として撮像装置101の記憶部210が利用されるものとして各種説明を行うものとする。
S403において、システム制御部201は、端末装置102がユーザからの操作を受け付けたか否か(換言すると、ユーザからの指示を受け付けたか否か)を判定する。
システム制御部201は、S403において端末装置102がユーザからの操作を受け付けたと判定した場合には、処理をS404に進める。この場合には、S404において、システム制御部201は、ネットワーク105を介して端末装置102から、当該端末装置102がユーザから受け付けた操作の内容に関する情報(以降では、「操作情報」とも称する)を記憶部210に記録する。なお、操作情報が、「第1の情報」の一例に相当する。また、S404の処理が、「第1の記録処理」の一例に相当する。
一方で、システム制御部201は、S403において端末装置102がユーザからの操作を受け付けていないと判定した場合には、処理をS405に進める。この場合には、S404の処理はスキップされることとなる。
システム制御部201は、S403において端末装置102がユーザからの操作を受け付けたと判定した場合には、処理をS404に進める。この場合には、S404において、システム制御部201は、ネットワーク105を介して端末装置102から、当該端末装置102がユーザから受け付けた操作の内容に関する情報(以降では、「操作情報」とも称する)を記憶部210に記録する。なお、操作情報が、「第1の情報」の一例に相当する。また、S404の処理が、「第1の記録処理」の一例に相当する。
一方で、システム制御部201は、S403において端末装置102がユーザからの操作を受け付けていないと判定した場合には、処理をS405に進める。この場合には、S404の処理はスキップされることとなる。
S405において、システム制御部201は、自動での撮像装置101の動作の制御による当該撮像装置101の状態の変化の有無を確認する。
システム制御部201は、S405において自動での撮像装置101の動作の制御による当該撮像装置101の状態の変化を検出したと判定した場合には、処理をS406に進める。この場合には、S406において、システム制御部201は、自動での撮像装置101の動作の制御による当該撮像装置101の状態の変化に関する情報(以降では、「変化情報」とも称する)を記憶部210に記録する。なお、S404において操作情報の記録が行われている場合には、当該操作情報に次いで変化情報が追記され、これにより、当該操作情報と当該変化情報とが関連付けられることとなる。また、変化情報が、「第2の情報」の一例に相当する。
一方で、システム制御部201は、S405において自動での撮像装置101の動作の制御による当該撮像装置101の状態の変化を検出していないと判定した場合には、処理をS407に進める。この場合には、S406の処理はスキップされることとなる。
システム制御部201は、S405において自動での撮像装置101の動作の制御による当該撮像装置101の状態の変化を検出したと判定した場合には、処理をS406に進める。この場合には、S406において、システム制御部201は、自動での撮像装置101の動作の制御による当該撮像装置101の状態の変化に関する情報(以降では、「変化情報」とも称する)を記憶部210に記録する。なお、S404において操作情報の記録が行われている場合には、当該操作情報に次いで変化情報が追記され、これにより、当該操作情報と当該変化情報とが関連付けられることとなる。また、変化情報が、「第2の情報」の一例に相当する。
一方で、システム制御部201は、S405において自動での撮像装置101の動作の制御による当該撮像装置101の状態の変化を検出していないと判定した場合には、処理をS407に進める。この場合には、S406の処理はスキップされることとなる。
ここで、S406にて記録される変化情報について補足する。変化情報としては、図2を参照して前述した、フォーカス、露出(絞り、シャッタースピード、ゲイン、及びNDフィルタ等)、ホワイトバランス、ノイズリダクション、及びガンマ制御等に関する情報が含まれ得る。
具体的な一例として、フォーカス制御については、合焦時の被写体との間の距離情報や評価値情報の変化等に関する情報が変化情報に含まれてもよい。また、露出制御については、線図変化に関する情報が変化情報に含まれてもよい。また、ホワイトバランスについては、色温度変化に関する情報が変化情報に含まれてよい。また、ノイズリダクションについては、フィルタ強度の変化に関する情報が変化情報に含まれてもよい。また、ガンマ制御については、暗部補正や高輝度補正の自動制御による変化に関する情報が変化情報に含まれてもよい。また、上記はあくまで一例であり、上記した例に限らず、自動での撮像装置101の動作の制御の内容に関する情報であれば、変化情報に含まれ得る。
具体的な一例として、フォーカス制御については、合焦時の被写体との間の距離情報や評価値情報の変化等に関する情報が変化情報に含まれてもよい。また、露出制御については、線図変化に関する情報が変化情報に含まれてもよい。また、ホワイトバランスについては、色温度変化に関する情報が変化情報に含まれてよい。また、ノイズリダクションについては、フィルタ強度の変化に関する情報が変化情報に含まれてもよい。また、ガンマ制御については、暗部補正や高輝度補正の自動制御による変化に関する情報が変化情報に含まれてもよい。また、上記はあくまで一例であり、上記した例に限らず、自動での撮像装置101の動作の制御の内容に関する情報であれば、変化情報に含まれ得る。
S407において、システム制御部201は、トレース記録を終了するか否かを判定する。具体的な一例として、システム制御部201は、ユーザからトレース記録の終了に係る指示を受け付けたか否かに応じて、トレース記録を終了するか否かを判定してもよい。
システム制御部201は、S407においてトレース記録を終了しないと判定した場合には、処理をS403に進める。この場合には、S404以降の処理が改めて実行されることとなる。これにより、操作情報や変化情報が時系列に沿って逐次記録されることとなる。なお、以降では、トレース記録により操作情報や変化情報が時系列に沿って逐次記録されたデータを、「トレースデータ」とも称する。
そして、システム制御部201は、S407においてトレース記録を終了すると判定した場合には、処理をS408に進める。
システム制御部201は、S407においてトレース記録を終了しないと判定した場合には、処理をS403に進める。この場合には、S404以降の処理が改めて実行されることとなる。これにより、操作情報や変化情報が時系列に沿って逐次記録されることとなる。なお、以降では、トレース記録により操作情報や変化情報が時系列に沿って逐次記録されたデータを、「トレースデータ」とも称する。
そして、システム制御部201は、S407においてトレース記録を終了すると判定した場合には、処理をS408に進める。
S408において、システム制御部201は、トレース記録に係る制御(例えば、操作情報や変化情報の記録に係る制御)を終了する。
そして、S409において、システム制御部201は、トレース記録の終了時における撮像装置101の状態に関するカメラ情報を記憶部210に記録したうえで、図4に示す一連の処理を終了する。
そして、S409において、システム制御部201は、トレース記録の終了時における撮像装置101の状態に関するカメラ情報を記憶部210に記録したうえで、図4に示す一連の処理を終了する。
次いで、図5を参照して、トレース再生に係る処理の一例について説明する。
S501において、撮像装置101のシステム制御部201は、端末装置102からの指示に応じて、トレース再生に係る一連の処理を開始する。
S502において、システム制御部201は、記憶部210に記録されているトレース記録開始時のカメラ情報に基づき、撮像装置101の状態が、当該トレース記録開始時の状態となるように制御する。これにより、撮像装置101の状態(例えば、撮像方向や撮像条件等)が、トレース記録の開始時(図4のS402の実行時)と実質的に同様の状態となる。
S501において、撮像装置101のシステム制御部201は、端末装置102からの指示に応じて、トレース再生に係る一連の処理を開始する。
S502において、システム制御部201は、記憶部210に記録されているトレース記録開始時のカメラ情報に基づき、撮像装置101の状態が、当該トレース記録開始時の状態となるように制御する。これにより、撮像装置101の状態(例えば、撮像方向や撮像条件等)が、トレース記録の開始時(図4のS402の実行時)と実質的に同様の状態となる。
S503において、システム制御部201は、トレース記録において記録されたトレースデータ(換言すると、操作情報及び変化情報)を記憶部210から取得する。この際に、システム制御部201は、その時点でまだ取得していない情報のうち、より過去に記録された情報を記憶部210から取得する。
S504において、システム制御部201は、S503において取得したトレースデータのうち、操作情報が示す撮像装置101の動作の制御内容を、撮像装置101の制御目標となる状態(以降では、「目標状態」とも称する)に反映する。
S505において、システム制御部201は、S503において取得したトレースデータのうち、変化情報が示す撮像装置101の動作の制御内容を、撮像装置101の動作の自動制御に反映する。これにより、トレース記録において記録された変化情報に基づき撮像装置101の動作の自動制御が行われるため、例えば、撮像装置101の動作の制御に伴う状態変化の範囲をトレース記録時における最大変化量の範囲内に制限することも可能となる。なお、このような制限を適用する必要がないシーンでは、例えば、トレース記録時における撮像装置101の状態の変化がそのままトレースされるような制御が適用されてもよい。
S506において、システム制御部201は、S504において操作情報が示す制御内容が反映された目標状態に向けて、S505において変化情報が示す制御内容が反映された自動制御を適用したうえで、撮像装置101の動作を制御する。
S507において、システム制御部201は、トレース再生の停止に係る指示を受け付けたか、またはトレース記録において記録された一連の情報について最後までトレース再生を実行したかを判定する。
システム制御部201は、S507において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS503に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS503の処理により取得されていない情報について、S503以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S507において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS508に進める。
システム制御部201は、S507において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS503に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS503の処理により取得されていない情報について、S503以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S507において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS508に進める。
S508において、システム制御部201は、トレース再生に係る一連の処理を終了する。これにより、図5に示す一連の処理が終了することとなる。
なお、図4及び図5を参照して説明した例では、撮像装置101が主体となってトレース記録及びトレース再生に係る処理を実行する場合について説明したが、必ずしも本実施形態に係る撮像システムの処理を限定するものではない。具体的な一例として、端末装置102等のような他の装置が、ネットワーク105を介した撮像装置101との通信に基づき、トレース記録及びトレース再生に係る処理を実行してもよい。この場合には、当該他の装置の内部ストレージや外部ストレージにトレースデータが記録されてもよい。
<実施例>
図6~図8を参照して、本実施形態に係る撮像システムの処理の実施例について、特に、レース再生時におけるオートフォーカス制御に着目して説明する。
図6~図8を参照して、本実施形態に係る撮像システムの処理の実施例について、特に、レース再生時におけるオートフォーカス制御に着目して説明する。
まず、本実施形態に係る撮像システムの特徴をよりわかりやすくするために、図6及び図7を参照して、トレース再生時におけるオートフォーカス制御の課題について概要を説明する。例えば、図6は、本実施形態に係る撮像システムのユースケースの一例について示した図であり、結婚式会場にて挙式が行われている状況下で、撮像装置101により会場内の撮像が行われている状態を模式的に示している。図6に示す例では、メインの被写体となる人物601が矢印で示された方向に向かって歩みを進めるシーンを想定している。撮像装置101は、人物601と対面するように配置されており、遠隔操作によりPTZ制御や撮像に係る各種制御が行われるものとする。
図7は、図6に示すシーンにおいてトレース記録により記録された情報を利用して、トレース再生により撮像装置101の動作を制御した場合における、当該撮像装置101の時系列に沿った動作の変化をグラフとして示している。具体的には、図7に示す例では、オートフォーカス制御により被写体に合焦している場合のフォーカス位置(フォーカスレンズが合焦する撮像範囲内の位置)の変化を時系列に沿って示している。図7(a)~図7(c)それぞれに示すグラフは、横軸が時間を示しており、縦軸が奥行方向においてフォーカス位置を示している。
図7(a)に示すグラフC701は、想定通りのフォーカス制御が行われた場合における、時系列に沿ったフォーカス位置の変化を示している。具体的には、人物601は、時間の経過に応じて撮像装置101により近づくように移動する。そのため、人物601に合焦した状態が継続している場合は、グラフC701として示すように、フォーカス位置についても時間の経過に応じて撮像装置101により近づくように変化する。
これに対して、図7(b)に示すグラフC702は、想定通りのフォーカス制御が行われなかった場合における、時系列に沿ったフォーカス位置の変化を示している。具体的には、図7(b)に示す例では、一時的に人物601以外の他の人物(例えば、ゲスト)に合焦することで、人物601に合焦した状態と他の人物に合焦した状態との間で遷移する際に、グラフC702として示すようにフォーカス位置が急激に変化している。
このような状況を鑑み、本実施形態に係る撮像システムは、トレース記録により記録された情報に基づき、トレース再生時における撮像装置101の動作の制御範囲を制限してもよい。例えば、図7(c)に示す例では、フォーカス位置をサーチする範囲(例えば、被写体に合焦するようにフォーカスレンズを駆動する範囲)を、図7(a)においてグラフC701として示す情報に基づき制限している。C703として示す範囲は、その時々のタイミングにおける、フォーカス位置をサーチする範囲を模式的に示している。図7(c)に示すように、撮像装置101の動作の制御範囲が制限されることで、図7(b)に示すような、本来想定していない事由による急激な動作の変化の発生を防止することが可能となる。
次いで、図8を参照して、本実施形態に係る撮像システムの処理の一例について、特に、トレース再生によりフォーカス制御を行う場合に着目して説明する。なお、図8に示す例では、図4を参照して説明したトレース記録の処理により、あらかじめトレース再生に使用するトレースデータ(操作情報及び変化情報)の記録が行われているものとする。また、以降では、図8に示す例について、図5に示す例と異なる部分に着目して説明し、図5に示す例と実質的に同様の部分については詳細な説明は省略する。例えば、S801及びS802の処理は、図5に示すS501及びS502の処理と実質的に同様である。
S803において、システム制御部201は、トレース記録において記録されたトレースデータ(操作情報及び変化情報)を記憶部210から取得する。取得されるトレースデータには、例えば、トレース記録時におけるPTZ位置に関する情報や、フォーカスの制御に係るモードに関する情報、フォーカス位置に関する情報、及び被写体との間の距離に関する情報等が含まれ得る。
S804において、システム制御部201は、S803において取得したトレースデータのうち、被写体との間の距離に関する情報やフォーカス位置に関する情報をフォーカス制御部206に出力する。これにより、フォーカス制御部206は、システム制御部201から出力される情報に基づき、トレース記録時におけるメインの被写体との間の距離やフォーカス位置の時系列に沿った変化を認識することが可能となる。
S805において、フォーカス制御部206は、S804においてシステム制御部201から出力された情報に基づき、フォーカス制御時における駆動範囲を更新する。具体的な一例として、フォーカス制御部206は、メインの被写体が人物の場合には、顔や人体の大きさを基準としてフォーカス位置をサーチする範囲(換言すると、被写体に合焦するようにフォーカスレンズを駆動する範囲)を決定してもよい。また、他の一例として、ズームや絞りに関する設定に応じてボケ具体が変化する特性を鑑み、フォーカス制御部206は、被写体との間の距離(換言すると、深度情報)に応じて、フォーカス位置をサーチする範囲を決定してもよい。また、他の一例として、フォーカス制御部206は、トレース記録時における各部(例えば、フォーカス制御に係る構成要素)を駆動させた範囲に応じて、フォーカス位置をサーチする範囲を決定してもよい。
S806において、フォーカス制御部206は、S805において更新した駆動範囲に基づき、レンズ駆動部204に対してフォーカス制御に係る指示を送信する。これにより、例えば、図7(c)を参照して説明したように、フォーカス制御に際して、フォーカス位置をサーチする範囲が制限されることとなる。
S807において、システム制御部201は、トレース再生の停止に係る指示を受け付けたか、またはトレース記録においてトレースデータとして記録された一連の情報(操作情報及び変化情報)について最後までトレース再生を実行したかを判定する。
システム制御部201は、S807において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS803に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS803の処理により取得されていない情報について、S803以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S807において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS808に進める。
システム制御部201は、S807において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS803に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS803の処理により取得されていない情報について、S803以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S807において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS808に進める。
S808において、システム制御部201は、トレース再生に係る一連の処理を終了する。これにより、図8に示す一連の処理が終了することとなる。
以上、図6~図8を参照して、本実施形態に係る撮像システムの処理の実施例について、特に、レース再生時におけるオートフォーカス制御に着目して説明した。上述のような制御が適用されることで、トレース記録に撮像装置101の動作の自動制御が適用されていたとしても、トレース再生時により安定した撮像装置101の動作の制御を実現することが可能となる。このように、本実施形態に係る撮像システムに依れば、撮像に係る動作が自動で制御される状況下においても、過去に実行された動作をより好適な態様で事後的に再現することが可能となる。
<変形例1>
図9及び図10を参照して、本実施形態に係る撮像システムの第1の変形例について説明する。前述したように、本実施形態に係る撮像システムでは、トレース記録においてトレースデータ(操作情報及び変化情報)の記録が行われ、トレース再生において当該トレースデータに基づき撮像装置101の動作の制御が行われる。本変形例に係る撮像システムは、トレース記録において記録されたトレースデータを編集するための機能を提供する点で、上述した実施形態に係る撮像システムと異なる。そこで、以降では、本変形例に係る撮像システムについて、上述した実施形態に係る撮像システムとは異なる点に着目して説明し、上述した実施形態に係る撮像システムと実質的に同様の部分については詳細な説明は省略する。
図9及び図10を参照して、本実施形態に係る撮像システムの第1の変形例について説明する。前述したように、本実施形態に係る撮像システムでは、トレース記録においてトレースデータ(操作情報及び変化情報)の記録が行われ、トレース再生において当該トレースデータに基づき撮像装置101の動作の制御が行われる。本変形例に係る撮像システムは、トレース記録において記録されたトレースデータを編集するための機能を提供する点で、上述した実施形態に係る撮像システムと異なる。そこで、以降では、本変形例に係る撮像システムについて、上述した実施形態に係る撮像システムとは異なる点に着目して説明し、上述した実施形態に係る撮像システムと実質的に同様の部分については詳細な説明は省略する。
まず、図9について説明する。図9は、本変形例に係る撮像システムのUIの一例を示している。具体的には、図9(a)に示す操作画面900は、撮像装置101の動作(特に、撮像に係る動作)の制御に係る指示をユーザから受け付けるためのUIの一例を示している。操作画面900は、例えば、端末装置102において所定のアプリケーションが実行されることで、当該端末装置102の出力部を介してユーザに提示される。
操作画面900は、画像表示領域901と、PTZバー902と、フォーカスモード操作部903と、MF操作部904とを含む。また、操作画面900は、トレース機能に係るUIとして、トレースNo設定部905と、記録ボタン906と、再生ボタン907と、編集ボタン908とを含む。
画像表示領域901は、撮像装置101による撮像結果に応じた画像を表示するための表示領域である。画像表示領域901に上記画像が表示されることで、ユーザは、当該画像を確認しながら、撮像装置101を遠隔操作することが可能となる。
PTZバー902は、パン、チルト、及びズームの制御に係る指示をユーザから受け付けるための入力インターフェースである。
フォーカスモード操作部903は、フォーカス制御に係る動作モードの指定をユーザから受け付けるための入力インターフェースである。図9(a)に示す例では、フォーカス制御に係る動作モードとして、AF(オートフォーカス)とMF(マニュアルフォーカス)とのいずれかを、フォーカスモード操作部903を介して指定することが可能である。
MF操作部904は、フォーカス制御に係る動作モードがMFに設定されている場合に、フォーカス位置の調整に係る指示をユーザから受け付けるための入力インターフェースである。図9(a)に示す例では、MF操作部904として、フォーカス位置をFAR方向及びNEAR方向のそれぞれに制御するための入力インターフェースが設けられている。
なお、PTZバー902及びフォーカスモード操作部903については、撮像装置101に対して現在設定されている値を提示する機能が設けられていてもよい。
フォーカスモード操作部903は、フォーカス制御に係る動作モードの指定をユーザから受け付けるための入力インターフェースである。図9(a)に示す例では、フォーカス制御に係る動作モードとして、AF(オートフォーカス)とMF(マニュアルフォーカス)とのいずれかを、フォーカスモード操作部903を介して指定することが可能である。
MF操作部904は、フォーカス制御に係る動作モードがMFに設定されている場合に、フォーカス位置の調整に係る指示をユーザから受け付けるための入力インターフェースである。図9(a)に示す例では、MF操作部904として、フォーカス位置をFAR方向及びNEAR方向のそれぞれに制御するための入力インターフェースが設けられている。
なお、PTZバー902及びフォーカスモード操作部903については、撮像装置101に対して現在設定されている値を提示する機能が設けられていてもよい。
トレースNo設定部905は、トレース記録、トレース再生、及び編集の対象とするトレースデータ(操作情報及び変化情報)を識別するための識別情報の指定をユーザから受け付けるための入力インターフェースである。なお、以降では、当該識別情報を、「トレースNo」とも称する。
記録ボタン906は、トレース記録に係る指示をユーザから受け付けるための入力インターフェースである。記録ボタン906が押下されると、図4を参照して説明したトレース記録に係る処理が開始され、その後に再度記録ボタン906が押下されると、開始された当該トレース記録に係る処理が終了する。そして、トレース記録に係る処理が実行されることで記録されたトレースデータ(操作情報及び変化情報)に対して、トレースNo設定部905を介して指定されたトレースNoが割り当てられる。
再生ボタン907は、トレース再生に係る指示をユーザから受け付けるための入力インターフェースである。再生ボタン907が押下されると、トレースNo設定部905を介して指定されたトレースNoが割り当てられたトレースデータ(操作情報及び変化情報)に基づき、図5及び図8を参照して説明したトレース再生に係る処理が開始される。そして、再度再生ボタン907が押下されると、開始された上記トレース再生に係る処理が終了する。
記録ボタン906は、トレース記録に係る指示をユーザから受け付けるための入力インターフェースである。記録ボタン906が押下されると、図4を参照して説明したトレース記録に係る処理が開始され、その後に再度記録ボタン906が押下されると、開始された当該トレース記録に係る処理が終了する。そして、トレース記録に係る処理が実行されることで記録されたトレースデータ(操作情報及び変化情報)に対して、トレースNo設定部905を介して指定されたトレースNoが割り当てられる。
再生ボタン907は、トレース再生に係る指示をユーザから受け付けるための入力インターフェースである。再生ボタン907が押下されると、トレースNo設定部905を介して指定されたトレースNoが割り当てられたトレースデータ(操作情報及び変化情報)に基づき、図5及び図8を参照して説明したトレース再生に係る処理が開始される。そして、再度再生ボタン907が押下されると、開始された上記トレース再生に係る処理が終了する。
編集ボタン908は、トレース記録により記録されたトレースデータ(操作情報及び変化情報)の編集に係る指示をユーザから受け付けるための入力インターフェースである。編集ボタン908が押下れると、トレースNo設定部905を介して指定されたトレースNoが割り当てられたトレースデータを編集の対象として、図9(b)に示すトレースデータ編集画面909が表示される。
次いで、図9(b)に示すトレースデータ編集画面909について説明する。トレースデータ編集画面909は、トレースデータの編集に係る指示をユーザから受け付けるための操作画面である。トレースデータ編集画面909は、トレースNo表示部910と、編集対象指定部911と、トレースデータ編集部912と、自動調整ボタン913と、保存ボタン914と、終了ボタン915とを含む。
トレースNo表示部910は、編集対象として指定されたトレースデータに割り当てられたトレースNoが表示される領域である。例えば、トレースNo表示部910には、トレースNo設定部905を介して指定されたトレースNoが表示される。
編集対象指定部911は、編集対象として指定されたトレースデータに含まれる撮像装置101の各種動作の制御に係るデータのうち、編集の対象とするデータの指定をユーザから受け付けるための入力インターフェースである。例えば、図9(b)に示す例では、フォーカス制御に係るデータが指定されている。もちろん、編集の対象についてトレースデータとして記録されているデータであれば、フォーカス制御に係るデータのみには限定されない。具体的な一例として、PTZ制御に係るデータや、撮像装置101の動作の制御に係るパラメータ等が編集の対象として指定できてもよい。
トレースデータ編集部912は、編集対象となるデータの表示に係る出力インターフェースと、当該データの編集に係る指示をユーザから受け付けるための入力インターフェースとの双方の役割を担う。具体的な一例として、トレースデータ編集部912には、トレースNo表示部910に表示されたトレースNoに対応するトレースデータのうち、編集対象指定部911を介して指定されたデータが表示される。
例えば、図9(b)に示す例では、トレースデータ編集部912に対して、フォーカス制御に係るデータが、時系列に沿ったフォーカス位置の変化を示すグラフとして表示されている。この場合には、例えば、ユーザからの指示に応じてトレースデータ編集部912に表示されたグラフが修正されると、当該修正の内容に応じてフォーカス制御に係るデータが編集される。
なお、トレースデータ編集部912へのデータの表示方法については、図9(b)に示すようなグラフして表示する方法のみに限らず、編集対象となるデータの種別に応じて適宜変更されてもよい。また、トレースデータ編集部912へのデータの表示方法に応じて、当該データの編集方法についても適宜変更されてもよい。具体的な一例として、トレースデータとして記録された撮像装置101の動作の制御に係る設定値が、数値等の文字情報としてトレースデータ編集部912に表示されてもよい。この場合には、例えば、文字情報として表示された設定値が修正されることで、当該修正の内容に応じてフォーカス制御に係るデータが編集されてもよい。
例えば、図9(b)に示す例では、トレースデータ編集部912に対して、フォーカス制御に係るデータが、時系列に沿ったフォーカス位置の変化を示すグラフとして表示されている。この場合には、例えば、ユーザからの指示に応じてトレースデータ編集部912に表示されたグラフが修正されると、当該修正の内容に応じてフォーカス制御に係るデータが編集される。
なお、トレースデータ編集部912へのデータの表示方法については、図9(b)に示すようなグラフして表示する方法のみに限らず、編集対象となるデータの種別に応じて適宜変更されてもよい。また、トレースデータ編集部912へのデータの表示方法に応じて、当該データの編集方法についても適宜変更されてもよい。具体的な一例として、トレースデータとして記録された撮像装置101の動作の制御に係る設定値が、数値等の文字情報としてトレースデータ編集部912に表示されてもよい。この場合には、例えば、文字情報として表示された設定値が修正されることで、当該修正の内容に応じてフォーカス制御に係るデータが編集されてもよい。
自動調整ボタン913は、トレースデータの自動調整に係る指示をユーザから受け付けるための入力インターフェースである。自動調整ボタン913が押下された場合には、トレースデータ編集部912に表示されているデータに対して、あらかじめ設定された条件に基づく自動での編集処理が適用される。
例えば、図10は、トレースデータの自動調整の一例について説明するための説明図である。
具体的には、図10(a)に示すグラフ1001は、自動調性が適用される前のフォーカス制御に係るデータに基づく、時系列に沿ったフォーカス位置の変化を示すグラフを模式的に示している。グラフ1001には、フォーカス制御のブレ等に伴うフォーカス位置の細かい変化が顕在化している。
これに対して、図10(b)に示すグラフ1002は、自動調性が適用された後のフォーカス制御に係るデータに基づく、時系列に沿ったフォーカス位置の変化を示すグラフを模式的に示している。グラフ1002は、グラフ1001に対して平滑化、スプライン補正、極端なデータの除外等の処理が適用されることで、フォーカス位置が時系列に沿ってスムーズに変化するように当該グラフ1001に調整が施された場合における、当該調整の結果の一例を示している。
具体的な一例として、編集前の一連のデータのうち、時系列に沿った変化が閾値を超えるデータ(すなわち、急激な変化を示すデータ)を除外し、除外した当該データの前後のデータに基づき線形補間を施すことで、トレースデータの自動調整が行われてもよい。このような自動調整が行われることで、例えば、グラフ1001として示すフォーカス制御の内容が、グラフ1002として示すように、フォーカス位置が時系列に沿ってスムーズに変化するように調整される。
具体的には、図10(a)に示すグラフ1001は、自動調性が適用される前のフォーカス制御に係るデータに基づく、時系列に沿ったフォーカス位置の変化を示すグラフを模式的に示している。グラフ1001には、フォーカス制御のブレ等に伴うフォーカス位置の細かい変化が顕在化している。
これに対して、図10(b)に示すグラフ1002は、自動調性が適用された後のフォーカス制御に係るデータに基づく、時系列に沿ったフォーカス位置の変化を示すグラフを模式的に示している。グラフ1002は、グラフ1001に対して平滑化、スプライン補正、極端なデータの除外等の処理が適用されることで、フォーカス位置が時系列に沿ってスムーズに変化するように当該グラフ1001に調整が施された場合における、当該調整の結果の一例を示している。
具体的な一例として、編集前の一連のデータのうち、時系列に沿った変化が閾値を超えるデータ(すなわち、急激な変化を示すデータ)を除外し、除外した当該データの前後のデータに基づき線形補間を施すことで、トレースデータの自動調整が行われてもよい。このような自動調整が行われることで、例えば、グラフ1001として示すフォーカス制御の内容が、グラフ1002として示すように、フォーカス位置が時系列に沿ってスムーズに変化するように調整される。
ここで、改めて図9を参照する。
保存ボタン914は、トレースデータに対する編集結果の反映及び編集後の当該トレースデータの保存に係る指示をユーザから受け付けるための入力インターフェースである。保存ボタン914が押下されると、トレースデータ編集部912を介して指定された編集内容や、自動調整ボタン913の押下をトリガとして実行された自動調整の内容がトレースデータに反映され、当該トレースデータが改めて記録される。なお、編集後のトレースデータの記録に際して、編集前の当該トレースデータが上書きされてもよい。
保存ボタン914は、トレースデータに対する編集結果の反映及び編集後の当該トレースデータの保存に係る指示をユーザから受け付けるための入力インターフェースである。保存ボタン914が押下されると、トレースデータ編集部912を介して指定された編集内容や、自動調整ボタン913の押下をトリガとして実行された自動調整の内容がトレースデータに反映され、当該トレースデータが改めて記録される。なお、編集後のトレースデータの記録に際して、編集前の当該トレースデータが上書きされてもよい。
終了ボタン915は、トレースデータの編集の終了に係る指示をユーザから受け付けるための入力インターフェースである。終了ボタン915が押下された場合には、トレースデータ編集部912を介して指定された編集内容や、自動調整ボタン913の押下をトリガとして実行された自動調整の内容がトレースデータに反映されず、トレースデータ編集画面909が閉じられる。この場合には、トレースデータ編集部912を介して指定された編集内容を示すデータや、自動調整ボタン913の押下をトリガとして実行された自動調整の内容を示すデータについては破棄されることとなる。
<変形例2>
図11及び図12を参照して、本実施形態に係る撮像システムの第2の変形例について説明する。本変形例に係る撮像装置101は、上記実施形態において説明した制御に関して、トレース再生時のオートフォーカス制御と同様に、トレースデータに基づいたオートホワイトバランス(AWB:Auto White Balance)制御を行う。
図11及び図12を参照して、本実施形態に係る撮像システムの第2の変形例について説明する。本変形例に係る撮像装置101は、上記実施形態において説明した制御に関して、トレース再生時のオートフォーカス制御と同様に、トレースデータに基づいたオートホワイトバランス(AWB:Auto White Balance)制御を行う。
例えば、図11は、本変形例に係る撮像装置101によるトレース再生に係る処理の一例を示したフローチャートである。なお、図11に示す一連の処理のうち、トレース記録時の制御に関する処理については図4に示す例と同様であり、トレース再生時に関しては、図11に示す例は図5を参照して説明した例のより具体的な一例に相当する。そのため、以降においては、前述した実施形態と異なる部分に着目して説明を行い、当該実施形態と実質的に同様の部分については詳細な説明は省略する。また、撮像装置101の構成に関しても、前述した実施形態と実質に同様のため詳細な説明は省略する。
また、図12は、本変形例に係る撮像装置101によるホワイトバランス制御において規定されるAWB領域の概要について説明するための図である。ホワイトバランス制御については画像処理部203にて行われる。具体的には、画像処理部203は、撮像部202からの入力画像から領域ごとの色情報を取得し、色情報の代表値を算出する。そして、画像処理部203は、出力画像の色情報の代表値が所定の目標値により近づくような(ひいては、当該目標値となるような)ホワイトバランスゲイン(WBゲイン)を算出して、当該WBゲインを出力画像に適用する。WBゲインは、例えば、出力画像の赤味を調整するためのRedゲインと、出力画像の青味を調整するためのBlueゲインとを含む。
図12(a)は、トレース記録時におけるAWB領域の一例を示しており、AWB制御の適用時に目標とするゲインの有効範囲が領域A1として示されている。なお、トレース記録時におけるAWB制御には、通常の撮影時と同様のAWB制御が適用される。
現在の画像に適用されているWBゲインをPで示し、次の入力画像について算出された目標WBゲインをQで示した場合に、画像処理部203は、WBゲインQが領域A1内に含まれるか否かを判定する。そのうえで、画像処理部203は、目標とするWBゲインQが領域A1の範囲内と判定した場合には当該WBゲインQを入力画像に乗じ、WBゲインQが領域A1の範囲外と判定した場合にはWBゲインPの状態を維持する。
AWB制御の適用時に目標とするゲインの有効範囲(例えば、領域A1)については、当該有効範囲内のWBゲインが入力画像に適用されることで、適切なホワイトバランスに制御され、ユーザに大きな違和感を与えないような範囲に設計されている。
現在の画像に適用されているWBゲインをPで示し、次の入力画像について算出された目標WBゲインをQで示した場合に、画像処理部203は、WBゲインQが領域A1内に含まれるか否かを判定する。そのうえで、画像処理部203は、目標とするWBゲインQが領域A1の範囲内と判定した場合には当該WBゲインQを入力画像に乗じ、WBゲインQが領域A1の範囲外と判定した場合にはWBゲインPの状態を維持する。
AWB制御の適用時に目標とするゲインの有効範囲(例えば、領域A1)については、当該有効範囲内のWBゲインが入力画像に適用されることで、適切なホワイトバランスに制御され、ユーザに大きな違和感を与えないような範囲に設計されている。
図12(b)は、トレース再生時におけるAWB領域の一例を示しており、AWB制御の適用時に目標とするゲインの有効範囲が、トレース記録時における領域A1よりも範囲を狭めた領域A2として示されている。
次の入力画像について算出された目標WBゲインとしては、WBゲインPの状態が保持される。トレース機能は、撮像装置の設置場所や光源環境等が同じであることが前提として使われる機能であるが、例えば、窓から入射した外光の影響等により、WBゲインの微調整が必要となる場合がある。しかし、領域A1として示したより広い範囲を対象としてAWB制御が行われると、被写体の服装等の影響により、出力画像の色見がトレースデータの記録時の色味と大きく異なってしまう可能性がある。
領域A2の範囲については、トレースデータの記録時におけるWBゲインの変化量に基づいて決定される。トレースデータには、時間と関連付けられた当該時間におけるWBゲインの値が記録される。そのため、トレースデータへの情報の記録対象となる期間のうちの少なくとも一部の期間におけるWBゲインの値の変化量の範囲内でのWBゲインの制御を適用することも可能であり、一定の補正量を加味した範囲でのWBゲインの制御を適用することも可能である。
このように、トレース再生時には、図12(b)に示した領域A2のように、有効範囲を狭めることで、トレース記録時の動作の再現やその微調整を行うことが可能となる。
次の入力画像について算出された目標WBゲインとしては、WBゲインPの状態が保持される。トレース機能は、撮像装置の設置場所や光源環境等が同じであることが前提として使われる機能であるが、例えば、窓から入射した外光の影響等により、WBゲインの微調整が必要となる場合がある。しかし、領域A1として示したより広い範囲を対象としてAWB制御が行われると、被写体の服装等の影響により、出力画像の色見がトレースデータの記録時の色味と大きく異なってしまう可能性がある。
領域A2の範囲については、トレースデータの記録時におけるWBゲインの変化量に基づいて決定される。トレースデータには、時間と関連付けられた当該時間におけるWBゲインの値が記録される。そのため、トレースデータへの情報の記録対象となる期間のうちの少なくとも一部の期間におけるWBゲインの値の変化量の範囲内でのWBゲインの制御を適用することも可能であり、一定の補正量を加味した範囲でのWBゲインの制御を適用することも可能である。
このように、トレース再生時には、図12(b)に示した領域A2のように、有効範囲を狭めることで、トレース記録時の動作の再現やその微調整を行うことが可能となる。
ここで、改めて図11を参照して、撮像装置101の処理についてより詳しく説明する。
S1101において、撮像装置101のシステム制御部201は、端末装置102からの指示に応じて、トレース再生に係る一連の処理を開始する。
S1102において、システム制御部201は、トレースデータからWBゲインの変化量を取得し、図12を参照して説明したように、当該変化量に基づきAWB制御の有効範囲を決定する。
S1103及びS1104の処理については、図5に示すS502及びS503の処理と実質的に同様である。すなわち、システム制御部201は、撮像装置101の状態が、当該トレース記録開始時の状態となるように制御し、トレース記録において記録されたトレースデータを記憶部210から取得する。
S1101において、撮像装置101のシステム制御部201は、端末装置102からの指示に応じて、トレース再生に係る一連の処理を開始する。
S1102において、システム制御部201は、トレースデータからWBゲインの変化量を取得し、図12を参照して説明したように、当該変化量に基づきAWB制御の有効範囲を決定する。
S1103及びS1104の処理については、図5に示すS502及びS503の処理と実質的に同様である。すなわち、システム制御部201は、撮像装置101の状態が、当該トレース記録開始時の状態となるように制御し、トレース記録において記録されたトレースデータを記憶部210から取得する。
S1105において、システム制御部201は、S1104において取得したトレースデータのうち、変化情報が示す撮像装置101の動作の制御内容を、撮像装置101の動作の自動制御に反映する。なお、この際に、システム制御部201は、実施形態として前述したフォーカス制御をあわせて実行してもよい。以上のようにして、システム制御部201は、トレース記録時における撮像装置101の動作(例えば、ユーザ操作に基づく動作)を再現する。
S1106において、システム制御部201は、S1102にて決定したAWB制御の有効範囲を基づいてAWB制御を実行する。
なお、S1103及びS1106にて適用される制御の内容については、露出(絞り、シャッタースピード、ゲイン、NDフィルタ)、ノイズリダクション、ガンマ等の自動制御に置き換えられてもよい。具体的には、露出制御では線図変化、ノイズリダクションではフィルタ強度の変化、ガンマについて暗部補正や高輝度補正等といった自動制御による変化も含まれ得る。このような対象について、トレース記録時における変化範囲に基づいてトレース再生時の制御範囲が制限されることで、トレース記録時との差異を抑制しつつ、画像の微調整を行うことが可能となる。他にも、撮像装置101の自動制御機能として実現される動作であれば、当該動作を実現するための制御情報をトレースデータへの記録対象に含めることで、トレース再生時にトレース記録時の動作を制限することが可能となる。
なお、S1103及びS1106にて適用される制御の内容については、露出(絞り、シャッタースピード、ゲイン、NDフィルタ)、ノイズリダクション、ガンマ等の自動制御に置き換えられてもよい。具体的には、露出制御では線図変化、ノイズリダクションではフィルタ強度の変化、ガンマについて暗部補正や高輝度補正等といった自動制御による変化も含まれ得る。このような対象について、トレース記録時における変化範囲に基づいてトレース再生時の制御範囲が制限されることで、トレース記録時との差異を抑制しつつ、画像の微調整を行うことが可能となる。他にも、撮像装置101の自動制御機能として実現される動作であれば、当該動作を実現するための制御情報をトレースデータへの記録対象に含めることで、トレース再生時にトレース記録時の動作を制限することが可能となる。
S1107において、システム制御部201は、トレース再生の停止に係る指示を受け付けたか、またはトレース記録において記録された一連の情報について最後までトレース再生を実行したかを判定する。
システム制御部201は、S1107において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS1104に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS1104の処理により取得されていない情報について、S1104以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S1107において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS1108に進める。
システム制御部201は、S1107において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS1104に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS1104の処理により取得されていない情報について、S1104以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S1107において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS1108に進める。
S1108において、システム制御部201は、トレース再生に係る一連の処理を終了する。これにより、図11に示す一連の処理が終了することとなる。
以上説明したように、本変形例に係る撮像装置101は、トレース記録時に記録されたトレースデータに基づき、トレース再生時にAWB制御を行う。これにより、撮像に係る動作が自動で制御される状況下においても、過去に実行された動作をより好適な態様で事後的に再現することが可能となる。
<変形例3>
図13~図15を参照して、本実施形態に係る撮像システムの第3の変形例について説明する。本変形例では、トレース再生時における撮像装置101の動作の制御方法をユーザが選択可能とするための仕組みの一例について説明する。なお、以降では、本変形例に係る撮像システムについて、上述した実施形態や他の変形例に係る撮像システムとは異なる点に着目して説明し、上述した実施形態や他の変形例に係る撮像システムと実質的に同様の部分については詳細な説明は省略する。
図13~図15を参照して、本実施形態に係る撮像システムの第3の変形例について説明する。本変形例では、トレース再生時における撮像装置101の動作の制御方法をユーザが選択可能とするための仕組みの一例について説明する。なお、以降では、本変形例に係る撮像システムについて、上述した実施形態や他の変形例に係る撮像システムとは異なる点に着目して説明し、上述した実施形態や他の変形例に係る撮像システムと実質的に同様の部分については詳細な説明は省略する。
まず、図13を参照して、本変形例に係る撮像システムのUIの一例について説明する。図13に例示した操作画面は、第1の変形例において説明した操作画面に対して、トレース再生時の撮像装置101の制御方法の指定をユーザから受け付けるためのインターフェースが追加されている。
具体的には、図13は、図9(a)に例示した操作画面からトレース制御に係る部分を抜き出したうえで、撮像装置101の制御方法の指定に係る入力インターフェースを追加したGUIの一例を示している。
トレース制御部1301は、図9(a)に示す例における、トレースNo設定部905、記録ボタン906、及び再生ボタン907を含む入力領域と実質的に同様である。
トレース再生制御部1302は、トレース再生時における撮像装置101の制御方法の指定をユーザから受け付けるための入力領域である。具体的には、トレース再生制御部1302は、トグルボタン1303~1305のいずれかを選択することで、トレース再生時における撮像装置101の制御方法を指定することが可能となっている。
トグルボタン1303が選択された場合には、トレース再生時において、トレース記録時における自動制御がマニュアル制御として実行される。同制御は、トレース記録時の動作を、特に手を加えずに再現するような場合において適用される。
トグルボタン1304が選択された場合には、トレース再生時において、前述した実施形態や他の変形例と同様に、トレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御が実行される。
トグルボタン1305が選択された場合には、トレース再生時において、記録時と同様の自動制御が実行される。
トグルボタン1303~1305のうちのいずれかの選択結果は、端末装置102から撮像装置101に通知され、当該撮像装置101の制御に適用される。これにより、ユーザは、撮像装置101の制御方法を適宜選択することで、その時々の撮像環境に応じたより好適なオペレーションが可能となる。
具体的には、図13は、図9(a)に例示した操作画面からトレース制御に係る部分を抜き出したうえで、撮像装置101の制御方法の指定に係る入力インターフェースを追加したGUIの一例を示している。
トレース制御部1301は、図9(a)に示す例における、トレースNo設定部905、記録ボタン906、及び再生ボタン907を含む入力領域と実質的に同様である。
トレース再生制御部1302は、トレース再生時における撮像装置101の制御方法の指定をユーザから受け付けるための入力領域である。具体的には、トレース再生制御部1302は、トグルボタン1303~1305のいずれかを選択することで、トレース再生時における撮像装置101の制御方法を指定することが可能となっている。
トグルボタン1303が選択された場合には、トレース再生時において、トレース記録時における自動制御がマニュアル制御として実行される。同制御は、トレース記録時の動作を、特に手を加えずに再現するような場合において適用される。
トグルボタン1304が選択された場合には、トレース再生時において、前述した実施形態や他の変形例と同様に、トレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御が実行される。
トグルボタン1305が選択された場合には、トレース再生時において、記録時と同様の自動制御が実行される。
トグルボタン1303~1305のうちのいずれかの選択結果は、端末装置102から撮像装置101に通知され、当該撮像装置101の制御に適用される。これにより、ユーザは、撮像装置101の制御方法を適宜選択することで、その時々の撮像環境に応じたより好適なオペレーションが可能となる。
次いで、図14を参照して、本変形例に係る撮像装置101によるトレース再生に係る処理の一例について、図11に示す例と異なる部分に着目して説明し、図11に示す例と実質的に同様の部分については詳細な説明を省略する。また、図14に示す例では、ユーザにより、トレース再生時における撮像装置101の制御方法の指定が、図13に例示したトレース再生制御部1302を介して行われるものとする。
S1401において、撮像装置101のシステム制御部201は、端末装置102からの指示に応じて、トレース再生に係る一連の処理を開始する。
S1402において、システム制御部201は、トレース再生制御部1302を介して指定された制御方法を確認する。
システム制御部201は、トグルボタン1304が選択されたと判定した場合、すなわちトレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御が選択されたと判定した場合には、処理をS1403に進める。
一方で、システム制御部201は、トグルボタン1304で示された制御方法とは異なる制御方法が選択されたと判定した場合には、処理をS1404に進める。
S1403において、システム制御部201は、第2の変形例において説明したように、WBゲイン変化量等の情報をトレースデータから取得し、自動制御時の制御範囲を決定する。
S1402において、システム制御部201は、トレース再生制御部1302を介して指定された制御方法を確認する。
システム制御部201は、トグルボタン1304が選択されたと判定した場合、すなわちトレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御が選択されたと判定した場合には、処理をS1403に進める。
一方で、システム制御部201は、トグルボタン1304で示された制御方法とは異なる制御方法が選択されたと判定した場合には、処理をS1404に進める。
S1403において、システム制御部201は、第2の変形例において説明したように、WBゲイン変化量等の情報をトレースデータから取得し、自動制御時の制御範囲を決定する。
S1404~S1406の処理については、図11に示すS1103~S1105の処理と実質的に同様である。すなわち、システム制御部201は、撮像装置101の状態が、当該トレース記録開始時の状態となるように制御し、トレース記録において記録されたトレースデータを記憶部210から取得する。そのうえで、システム制御部201は、取得したトレースデータのうち、変化情報が示す撮像装置101の動作の制御内容を、撮像装置101の動作の自動制御に反映する。以上のようにして、システム制御部201は、トレース記録時における撮像装置101の動作を再現する。
S1407において、システム制御部201は、トレース再生制御部1302を介して選択された制御方法に従い撮像装置101の動作を制御する。
S1407において、システム制御部201は、トレース再生制御部1302を介して選択された制御方法に従い撮像装置101の動作を制御する。
ここで、図15を参照して、図14に示すS1407の処理についてより詳しく説明する。システム制御部201は、トレース再生制御部1302を介して選択された制御方法を確認し、選択された制御方法に応じて撮像装置101の動作の制御を切り替える。
S1501において、システム制御部201は、トレース再生時における撮像装置101の制御方法として、トレース記録時における自動制御をマニュアル制御として実行する制御方法が選択されているか否かを判定する。具体的には、システム制御部201は、トレース再生制御部1302においてトグルボタン1303が選択されている場合に、トレース記録時における自動制御をマニュアル制御として実行する制御方法が選択されていると判定する。
システム制御部201は、S1501においてトレース記録時における自動制御をマニュアル制御として実行する制御方法が選択されていると判定した場合には、処理をS1502に進める。
一方で、システム制御部201は、S1501においてトレース記録時における自動制御をマニュアル制御として実行する制御方法が選択されていないと判定した場合には、処理をS1503に進める。
システム制御部201は、S1501においてトレース記録時における自動制御をマニュアル制御として実行する制御方法が選択されていると判定した場合には、処理をS1502に進める。
一方で、システム制御部201は、S1501においてトレース記録時における自動制御をマニュアル制御として実行する制御方法が選択されていないと判定した場合には、処理をS1503に進める。
S1502において、システム制御部201は、トレース記録時における自動制御をマニュアル制御として実行し、図15に示す一連の処理を終了する。
S1503において、システム制御部201は、トレース再生時における撮像装置101の制御方法として、トレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御を実行する制御方法が選択されているか否かを判定する。具体的には、システム制御部201は、トレース再生制御部1302においてトグルボタン1304が選択されている場合に、トレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御を実行する制御方法が選択されていると判定する。
システム制御部201は、S1503においてトレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御を実行する制御方法が選択されていると判定した場合には、処理をS1504に進める。
一方で、システム制御部201は、S1503においてトレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御を実行する制御方法が選択されていないと判定した場合には、処理をS1505に進める。
システム制御部201は、S1503においてトレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御を実行する制御方法が選択されていると判定した場合には、処理をS1504に進める。
一方で、システム制御部201は、S1503においてトレース記録時に記録されたトレースデータに含まれる変化情報に基づく自動制御を実行する制御方法が選択されていないと判定した場合には、処理をS1505に進める。
S1504において、システム制御部201は、前述した実施形態や他の変形例において説明したように、トレース記録時に記録されたトレースデータに含まれる変化情報に基づき自動制御を実行し、図15に示す一連の処理を終了する。
S1505において、システム制御部201は、トレース記録時において自動制御が適用されていた機能についてトレース記録時と同様の自動制御を実行し、図15に示す一連の処理を終了する。
ここで改めて図14を参照する。
S1408において、システム制御部201は、トレース再生の停止に係る指示を受け付けたか、またはトレース記録において記録された一連の情報について最後までトレース再生を実行したかを判定する。
システム制御部201は、S1408において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS1405に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS1405の処理により取得されていない情報について、S1405以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S1408において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS1409に進める。
S1408において、システム制御部201は、トレース再生の停止に係る指示を受け付けたか、またはトレース記録において記録された一連の情報について最後までトレース再生を実行したかを判定する。
システム制御部201は、S1408において、トレース再生の停止に係る指示を受け付けておらず、かつ最後までトレース再生を実行していないと判定した場合には、処理をS1405に進める。この場合には、トレース記録において記憶部210に記録された情報のうち、まだS1405の処理により取得されていない情報について、S1405以降の処理が改めて実行されることとなる。
そして、システム制御部201は、S1408において、トレース再生の停止に係る指示を受け付けたか、または最後までトレース再生を実行したと判定した場合には、処理をS1409に進める。
S1409において、システム制御部201は、トレース再生に係る一連の処理を終了する。これにより、図11に示す一連の処理が終了することとなる。
以上のように、本変形例に依れば、トレース記録時に自動制御が適用されていた場合に、当該自動制御に伴う変化情報やユーザ操作に伴う操作情報がトレースデータとして記録され、トレース再生時に当該トレースデータに基づき撮像装置101の動作が制御される。このような仕組みにより、トレース再生時により安定した撮像装置101の動作の制御を容易に実現することが可能となる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、本実施形態の開示は、以下の構成、方法、及びプログラムを含む。
(構成1)撮像手段と、ユーザからの指示に応じて前記撮像手段の撮像に係る動作を制御する第1の制御手段と、あらかじめ設定された条件に基づき前記撮像手段の撮像に係る動作を自動で制御する第2の制御手段と、前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、前記条件に基づく自動での前記撮像手段の動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、を備える撮像装置。
(構成2)前記第2の制御手段は、前記撮像手段による撮像に係る動作として、フォーカス、絞り値、シャッタースピード、ゲイン、NDフィルタ、ホワイトバランス、ノイズリダクション、及びガンマ制御のうち少なくともいずれかの条件に係る動作を自動で制御する、構成1に記載の撮像装置。
(構成3)前記第2の制御手段は、前記撮像手段による撮像に係る動作として、少なくともフォーカス位置を自動で制御するオートフォーカス制御を行い、前記第2の記録手段は、少なくとも前記オートフォーカス制御が行われた場合に、前記フォーカス位置の変化に関する情報を前記第2の情報に含め、前記撮像手段の動作の制御内容の再生に際し、前記第2の情報に含まれる前記フォーカス位置の変化に関する情報に基づき、フォーカス位置が制御される、構成2に記載の撮像装置。
(構成4)前記撮像手段の動作の制御内容の再生に際し、前記第2の情報に含まれる前記フォーカス位置の変化に関する情報に基づき、フォーカス位置をサーチする範囲が制限される、構成3に記載の撮像装置。
(構成5)フォーカス位置をサーチする前記範囲は、被写体の大きさと、被写体との間の距離と、前記第2の情報の記録時におけるフォーカス位置の制御に係る駆動範囲と、のうち少なくともいずれかに基づき決定される、構成4に記載の撮像装置。
(構成6)記録された前記第2の情報を更新する更新手段を備え、前記再生手段は、更新された前記第2の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する、構成1~5のいずれか1項に記載の撮像装置。
(構成7)記録された前記第2の情報に基づき、出力部を介して、前記条件に基づく自動での前記撮像手段の動作の制御内容に関する情報をユーザに提示する出力手段と、ユーザからの指示を受け付ける入力手段と、を備え、前記更新手段は、前記入力手段により受け付けられたユーザからの指示に応じて、前記第2の情報を更新する、構成6に記載の撮像装置。
(構成8)前記更新手段は、前記第2の情報として記録された、前記撮像手段の撮像に係る動作の制御内容をあらかじめ設定された条件に基づき補正することで、当該第2の情報を更新する、構成6に記載の撮像装置。
(構成9)前記第1の記録手段により記録される前記第1の情報は、ホワイトバランスゲインの情報を含み、前記再生手段は、前記ホワイトバランスゲインの情報に基づき、ホワイトバランス制御を行うことを特徴とする構成1~8のいずれか1項に記載の撮像装置。
(構成10)前記再生手段は、前記ホワイトバランスゲインの情報に基づき、オートホワイトバランスの有効範囲を制限することを特徴とする構成9に記載の撮像装置。
(構成11)前記有効範囲は、前記第1の記録手段により記録されるホワイトバランスゲインの情報に基づいて決定されることを特徴とする構成10に記載の撮像装置。
(方法1)撮像装置の制御方法であって、ユーザからの指示に応じて撮像手段の撮像に係る動作を制御する第1の制御ステップと、あらかじめ設定された条件に基づき前記撮像手段の撮像に係る動作を自動で制御する第2の制御ステップと、前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録ステップと、前記条件に基づく自動での前記撮像手段の動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録ステップと、
前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の撮像に係る動作の制御内容を再生する再生ステップと、を含む撮像装置の制御方法。
(プログラム1)コンピュータを、構成1~11のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
(構成12)ユーザからの指示に応じた撮像手段の撮像に係る動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、あらかじめ設定された条件に基づく自動での前記撮像手段の撮像に係る動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、を備える情報処理装置。
(構成1)撮像手段と、ユーザからの指示に応じて前記撮像手段の撮像に係る動作を制御する第1の制御手段と、あらかじめ設定された条件に基づき前記撮像手段の撮像に係る動作を自動で制御する第2の制御手段と、前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、前記条件に基づく自動での前記撮像手段の動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、を備える撮像装置。
(構成2)前記第2の制御手段は、前記撮像手段による撮像に係る動作として、フォーカス、絞り値、シャッタースピード、ゲイン、NDフィルタ、ホワイトバランス、ノイズリダクション、及びガンマ制御のうち少なくともいずれかの条件に係る動作を自動で制御する、構成1に記載の撮像装置。
(構成3)前記第2の制御手段は、前記撮像手段による撮像に係る動作として、少なくともフォーカス位置を自動で制御するオートフォーカス制御を行い、前記第2の記録手段は、少なくとも前記オートフォーカス制御が行われた場合に、前記フォーカス位置の変化に関する情報を前記第2の情報に含め、前記撮像手段の動作の制御内容の再生に際し、前記第2の情報に含まれる前記フォーカス位置の変化に関する情報に基づき、フォーカス位置が制御される、構成2に記載の撮像装置。
(構成4)前記撮像手段の動作の制御内容の再生に際し、前記第2の情報に含まれる前記フォーカス位置の変化に関する情報に基づき、フォーカス位置をサーチする範囲が制限される、構成3に記載の撮像装置。
(構成5)フォーカス位置をサーチする前記範囲は、被写体の大きさと、被写体との間の距離と、前記第2の情報の記録時におけるフォーカス位置の制御に係る駆動範囲と、のうち少なくともいずれかに基づき決定される、構成4に記載の撮像装置。
(構成6)記録された前記第2の情報を更新する更新手段を備え、前記再生手段は、更新された前記第2の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する、構成1~5のいずれか1項に記載の撮像装置。
(構成7)記録された前記第2の情報に基づき、出力部を介して、前記条件に基づく自動での前記撮像手段の動作の制御内容に関する情報をユーザに提示する出力手段と、ユーザからの指示を受け付ける入力手段と、を備え、前記更新手段は、前記入力手段により受け付けられたユーザからの指示に応じて、前記第2の情報を更新する、構成6に記載の撮像装置。
(構成8)前記更新手段は、前記第2の情報として記録された、前記撮像手段の撮像に係る動作の制御内容をあらかじめ設定された条件に基づき補正することで、当該第2の情報を更新する、構成6に記載の撮像装置。
(構成9)前記第1の記録手段により記録される前記第1の情報は、ホワイトバランスゲインの情報を含み、前記再生手段は、前記ホワイトバランスゲインの情報に基づき、ホワイトバランス制御を行うことを特徴とする構成1~8のいずれか1項に記載の撮像装置。
(構成10)前記再生手段は、前記ホワイトバランスゲインの情報に基づき、オートホワイトバランスの有効範囲を制限することを特徴とする構成9に記載の撮像装置。
(構成11)前記有効範囲は、前記第1の記録手段により記録されるホワイトバランスゲインの情報に基づいて決定されることを特徴とする構成10に記載の撮像装置。
(方法1)撮像装置の制御方法であって、ユーザからの指示に応じて撮像手段の撮像に係る動作を制御する第1の制御ステップと、あらかじめ設定された条件に基づき前記撮像手段の撮像に係る動作を自動で制御する第2の制御ステップと、前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録ステップと、前記条件に基づく自動での前記撮像手段の動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録ステップと、
前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の撮像に係る動作の制御内容を再生する再生ステップと、を含む撮像装置の制御方法。
(プログラム1)コンピュータを、構成1~11のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
(構成12)ユーザからの指示に応じた撮像手段の撮像に係る動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、あらかじめ設定された条件に基づく自動での前記撮像手段の撮像に係る動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、を備える情報処理装置。
101 撮像装置
102 端末装置
201 システム制御部
202 撮像部
102 端末装置
201 システム制御部
202 撮像部
Claims (14)
- 撮像手段と、
ユーザからの指示に応じて前記撮像手段の撮像に係る動作を制御する第1の制御手段と、
あらかじめ設定された条件に基づき前記撮像手段の撮像に係る動作を自動で制御する第2の制御手段と、
前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、
前記条件に基づく自動での前記撮像手段の動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、
前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、
を備える撮像装置。 - 前記第2の制御手段は、前記撮像手段による撮像に係る動作として、フォーカス、絞り値、シャッタースピード、ゲイン、NDフィルタ、ホワイトバランス、ノイズリダクション、及びガンマ制御のうち少なくともいずれかの条件に係る動作を自動で制御する、
請求項1に記載の撮像装置。 - 前記第2の制御手段は、前記撮像手段による撮像に係る動作として、少なくともフォーカス位置を自動で制御するオートフォーカス制御を行い、
前記第2の記録手段は、少なくとも前記オートフォーカス制御が行われた場合に、前記フォーカス位置の変化に関する情報を前記第2の情報に含め、
前記撮像手段の動作の制御内容の再生に際し、前記第2の情報に含まれる前記フォーカス位置の変化に関する情報に基づき、フォーカス位置が制御される、
請求項2に記載の撮像装置。 - 前記撮像手段の動作の制御内容の再生に際し、前記第2の情報に含まれる前記フォーカス位置の変化に関する情報に基づき、フォーカス位置をサーチする範囲が制限される、
請求項3に記載の撮像装置。 - フォーカス位置をサーチする前記範囲は、被写体の大きさと、被写体との間の距離と、前記第2の情報の記録時におけるフォーカス位置の制御に係る駆動範囲と、のうち少なくともいずれかに基づき決定される、
請求項4に記載の撮像装置。 - 記録された前記第2の情報を更新する更新手段を備え、
前記再生手段は、更新された前記第2の情報に基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する、
請求項1~5のいずれか1項に記載の撮像装置。 - 記録された前記第2の情報に基づき、出力部を介して、前記条件に基づく自動での前記撮像手段の動作の制御内容に関する情報をユーザに提示する出力手段と、
ユーザからの指示を受け付ける入力手段と、
を備え、
前記更新手段は、前記入力手段により受け付けられたユーザからの指示に応じて、前記第2の情報を更新する、
請求項6に記載の撮像装置。 - 前記更新手段は、前記第2の情報として記録された、前記撮像手段の撮像に係る動作の制御内容をあらかじめ設定された条件に基づき補正することで、当該第2の情報を更新する、
請求項6に記載の撮像装置。 - 前記第1の記録手段により記録される前記第1の情報は、ホワイトバランスゲインの情報を含み、
前記再生手段は、前記ホワイトバランスゲインの情報に基づき、ホワイトバランス制御を行うことを特徴とする請求項1に記載の撮像装置。 - 前記再生手段は、前記ホワイトバランスゲインの情報に基づき、オートホワイトバランスの有効範囲を制限することを特徴とする請求項9に記載の撮像装置。
- 前記有効範囲は、前記第1の記録手段により記録されるホワイトバランスゲインの情報に基づいて決定されることを特徴とする請求項10に記載の撮像装置。
- 撮像装置の制御方法であって、
ユーザからの指示に応じて撮像手段の撮像に係る動作を制御する第1の制御ステップと、
あらかじめ設定された条件に基づき前記撮像手段の撮像に係る動作を自動で制御する第2の制御ステップと、
前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録ステップと、
前記条件に基づく自動での前記撮像手段の動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録ステップと、
前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の撮像に係る動作の制御内容を再生する再生ステップと、
を含む撮像装置の制御方法。 - コンピュータを、
撮像手段と、
ユーザからの指示に応じて前記撮像手段の撮像に係る動作を制御する第1の制御手段と、
あらかじめ設定された条件に基づき前記撮像手段の撮像に係る動作を自動で制御する第2の制御手段と、
前記ユーザからの指示に応じた前記撮像手段の動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、
前記条件に基づく自動での前記撮像手段の動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、
前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、
を備える撮像装置として機能させるためのプログラム。 - ユーザからの指示に応じた撮像手段の撮像に係る動作の制御内容を、時系列に沿って、第1の情報として記録する第1の記録手段と、
あらかじめ設定された条件に基づく自動での前記撮像手段の撮像に係る動作の制御内容を、時系列に沿って、第2の情報として前記第1の情報に関連付けて記録する第2の記録手段と、
前記第1の情報と前記第2の情報とに基づき、時系列に沿った前記撮像手段の動作の制御内容を再生する再生手段と、
を備える情報処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021110503 | 2021-07-02 | ||
JP2021110503 | 2021-07-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023008828A true JP2023008828A (ja) | 2023-01-19 |
Family
ID=84786422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022087543A Pending JP2023008828A (ja) | 2021-07-02 | 2022-05-30 | 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11729491B2 (ja) |
JP (1) | JP2023008828A (ja) |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4498104B2 (ja) * | 2004-11-16 | 2010-07-07 | キヤノン株式会社 | 監視装置、その制御方法、およびプログラム |
JP5315696B2 (ja) * | 2008-01-07 | 2013-10-16 | ソニー株式会社 | 撮像制御装置、撮像制御方法 |
JP5661345B2 (ja) | 2010-06-21 | 2015-01-28 | キヤノン株式会社 | 雲台システム |
JP6443327B2 (ja) * | 2013-03-15 | 2018-12-26 | ソニー株式会社 | 画像処理装置および画像処理装置におけるgui構成指示方法 |
US10855911B2 (en) * | 2014-01-15 | 2020-12-01 | Samsung Electronics Co., Ltd | Method for setting image capture conditions and electronic device performing the same |
US9224044B1 (en) * | 2014-07-07 | 2015-12-29 | Google Inc. | Method and system for video zone monitoring |
EP3296875B1 (en) * | 2015-05-11 | 2019-09-18 | Mitsubishi Electric Corporation | Simulation reproduction device, simulation reproduction method, and simulation reproduction program |
JP6633862B2 (ja) * | 2015-08-04 | 2020-01-22 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
WO2017179120A1 (ja) * | 2016-04-12 | 2017-10-19 | 三菱電機株式会社 | シミュレーション再現装置およびシミュレーション再現プログラム |
WO2018078675A1 (ja) * | 2016-10-31 | 2018-05-03 | 日本電気株式会社 | 行動監視装置、システム、方法、及びプログラム |
JP7328849B2 (ja) * | 2019-09-25 | 2023-08-17 | キヤノン株式会社 | 撮像装置、システム、撮像装置の制御方法、プログラム |
JP7336958B2 (ja) * | 2019-10-21 | 2023-09-01 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2021175001A (ja) * | 2020-04-17 | 2021-11-01 | オリンパス株式会社 | 撮像装置および撮像方法 |
AU2021284458A1 (en) * | 2020-06-04 | 2023-01-05 | Hole-In-One Media, Inc. | Autonomous golf competition systems and methods |
-
2022
- 2022-05-30 JP JP2022087543A patent/JP2023008828A/ja active Pending
- 2022-06-30 US US17/855,426 patent/US11729491B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20230007164A1 (en) | 2023-01-05 |
US11729491B2 (en) | 2023-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101786049B1 (ko) | 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
JP6324063B2 (ja) | 画像再生装置及びその制御方法 | |
US8412037B2 (en) | Image photographing apparatus and method of controlling the same | |
US8896726B2 (en) | Imaging apparatus and imaging method for generating electronic image data and performing special effect operations | |
JP5436019B2 (ja) | 制御装置、制御方法、プログラム及び記録媒体 | |
US10234653B2 (en) | Imaging device with focus lens stopped at each of focus positions during video capturing | |
US10587809B2 (en) | Continuous shooting device, continuous shooting method and continuous shooting control method using preliminary and calculated parameter values | |
US10972674B2 (en) | Electronic apparatus | |
US20190349530A1 (en) | Control apparatus and control method | |
JP2019149840A (ja) | ズーム制御装置、ズーム制御方法およびプログラム | |
KR101839473B1 (ko) | 비교 영상 제공 방법 및 이를 적용한 영상 촬영 장치 | |
KR101837688B1 (ko) | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 | |
US20230069440A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2023008828A (ja) | 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置 | |
WO2017061095A1 (ja) | 撮像装置 | |
JP6256298B2 (ja) | 撮像装置、その制御方法とプログラム | |
JP2010062834A (ja) | 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置 | |
JP6736289B2 (ja) | 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法 | |
JP2023007575A (ja) | 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置 | |
US20230328366A1 (en) | Information processing apparatus, method, and storage medium | |
US20140029923A1 (en) | Image processing apparatus | |
KR101923185B1 (ko) | 디스플레이 장치 및 방법 | |
JP2006033160A (ja) | 撮像システム | |
JP2016127451A (ja) | 撮像装置及び撮像方法 | |
JP2023092143A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記録媒体 |